CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving
Turing Inc.(图灵公司)
针对自动驾驶缺乏大规模视觉-语言-动作数据的问题,提出CoVLA数据集,含80多小时真实驾驶视频及自动化标注流程,验证了VLA模型在端到端驾驶中的潜力。
2025-10-14 cs.CV
OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model
Technical University of Munich(慕尼黑技术大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学)
OpenDriveVLA基于开源大语言模型,通过多模态输入和分层视觉语言对齐,实现端到端自动驾驶中的高精度轨迹规划和驾驶任务回答。
2025-11-21 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University(雪城大学);Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)(博世北美研究院及博世人工智能中心)
本文提出视觉-语言-规划框架VLP,利用语言模型增强自动驾驶的推理与上下文理解,在NuScenes上显著降低规划误差和碰撞率,并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
VLA-R: Vision-Language Action Retrieval toward Open-World End-to-End Autonomous Driving
School of Electrical Engineering, KAIST(韩国科学技术院电子工程学院)
针对开放世界端到端自动驾驶在非结构化陌生环境泛化性不足的问题,提出VLA-R框架,结合冻结视觉语言模型、Q-Former与视觉动作对比学习,在真实平台验证了其少样本下的强泛化与探索性能。
2025-11-16 cs.CV
Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
QwenTeam(阿里巴巴千问团队);Huazhong University of Science and Technology(华中科技大学)
研究团队提出Qwen-Drive-1.0,在保留通用视觉-语言能力的同时,将3D感知、视觉问答、运动规划集成于统一框架,经多类评估证实其3D感知与运动规划性能具竞争力。
2026-09-02 cs.CV
Generative Planning with 3D-vision Language Pre-training for End-to-End Autonomous Driving
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);COWAROBOT(酷哇机器人);School of Electronic Engineering, University of South China(南华大学电子工程学院)
针对端到端自动驾驶的视觉理解、决策推理与场景泛化难题,提出结合3D视觉语言预训练的生成式规划模型GPVL,在nuScenes数据集上性能优于现有最优方法,具备强泛化性与实时潜力。
2025-01-15 cs.CV
Towards Corner Case Detection for Autonomous Driving
Technische Universität Braunschweig(布伦瑞克工业大学);Volkswagen Group Research - Automated Driving(大众集团自动驾驶研究院)
自动驾驶的进步也是由于基础机器学习方法的大量训练数据的可用性增加。机器学习系统通常已知缺乏鲁棒性,例如,如果训练数据很少或根本不涵盖关键情况。视频中的拐角情况检测的挑战性任务,也与异常事件或异常检测有关,旨在检测这些可能变得至关重要的异常情况,并将其传达给自动驾驶系统(在线用例)。然而,这样的系统也可以在离线模式下使用,以筛选大量的数据,并仅选择相关的情况来存储和(重新)训练机器学习算法。到目前为止,用于角落案例检测的方法仅限于从固定摄像机记录的视频,主要用于安全监控。在本文中,我们提供了一个正式的定义,一个角落的情况下,并提出了一个系统框架,在线和离线的用例,可以处理视频信号从前面的摄像头的自然移动的车辆,并可以输出一个角落的情况下得分。
2019-02-26 cs.CV
Orion-Lite: Distilling LLM Reasoning into Efficient Vision-Only Driving Models
Eindhoven University of Technology(埃因霍温理工大学)
本文提出Orion-Lite,通过潜特征蒸馏和真实轨迹监督,在闭环评估中实现高效视觉-only驾驶模型,超越大规模VLA模型ORION,达到Bench2Drive基准的80.6 Driving Score。
2026-04-09 cs.CV
OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning
针对自动驾驶中VLMs从2D扩展到3D理解的挑战,提出支持反事实推理的OmniDrive数据集及Omni-L/Omni-Q框架,通过合成标注增强决策,在DriveLM和nuScenes任务上实现显著性能提升。
2025-04-16 cs.CV
OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning
NVIDIA(英伟达);The Hong Kong Polytechnic University(香港理工大学);Beijing Institute of Technology(北京理工大学)
针对VLMs从2D扩展到3D自动驾驶的挑战,提出含反事实推理的OmniDrive数据集,通过合成标注生成监督信号,探索两种框架评估对齐与感知的重要性,在DriveLM和nuScenes任务上获显著改进。
2025-04-16 cs.CV
Judge, Then Drive: A Critic-Centric Vision Language Action Framework for Autonomous Driving
Bosch Research(博世研究院)
本文提出CriticVLA框架,通过多模态评估和单步优化提升自动驾驶决策质量,实验显示其在复杂场景中性能显著优于现有方法。
2026-04-30 cs.CV
Vision-based 3D occupancy prediction in autonomous driving: a review and outlook
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
本文针对自动驾驶领域新兴的基于视觉的3D占用预测任务,从特征增强、部署友好性、标签效率三方面全面综述其研究进展,分析各类方法的潜力与挑战,并总结研究趋势、提出未来展望,同时提供相关资源合集。
2024-07-08 cs.CV
Computer Stereo Vision for Autonomous Driving
UC San Diego(加州大学圣地亚哥分校);ATG Robotics(ATG机器人公司);University of Bristol(布里斯托尔大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
作为自动驾驶系统的重要组成部分,自动驾驶汽车感知随着并行计算架构的最新进展而有了很大的飞跃。随着微型但功能齐全的嵌入式超级计算机的使用,计算机立体视觉已被初步应用于自动驾驶汽车的深度感知。计算机立体视觉的两个关键方面是速度和精度。它们都是理想的但相互矛盾的特性,因为具有更好视差精度的算法通常具有更高的计算复杂性。因此,开发一种用于资源有限的硬件的计算机立体视觉算法的主要目的是提高速度和精度之间的权衡。在本章中,我们将介绍用于自动驾驶汽车系统的计算机立体视觉的硬件和软件方面。然后,我们讨论了四个自主汽车感知任务,包括1)视觉特征检测,描述和匹配,2)三维信息获取,3)目标检测/识别和4)语义图像分割。然后详细介绍了计算机立体视觉和多线程CPU和GPU架构上的并行计算的原理。
2020-12-17 cs.CV
TBP-Former: Learning Temporal Bird's-Eye-View Pyramid for Joint Perception and Prediction in Vision-Centric Autonomous Driving
Shanghai Jiao Tong University(上海交通大学);University of Southern California(南加州大学);Shanghai AI Laboratory(上海人工智能实验室)
以视觉为中心的联合感知和预测(PSENS)已经成为自动驾驶研究的一个新兴趋势。它从原始RGB图像中预测周围环境中交通参与者的未来状态。然而,由于不可避免的几何失真,同步在多个相机视图和时间戳处获得的特征并进一步利用这些时空特征仍然是一个关键的挑战。为了解决这个问题,我们提出了一个时间鸟瞰金字塔Transformer(TBP-Former)的视觉为中心的PADER,其中包括两个新颖的设计。首先,提出了姿态同步的BEV编码器,以在任何时间将具有任何相机姿态的原始图像输入映射到共享和同步的BEV空间,以实现更好的时空同步。其次,引入时空金字塔Transformer,在时空先验的支持下,综合提取多尺度BEV特征并预测未来BEV状态。在nuScenes数据集上进行的大量实验表明,我们提出的框架总体上优于所有最先进的基于视觉的预测方法。
2023-03-22 cs.CV
An Examination of Offline-Trained Encoders in Vision-Based Deep Reinforcement Learning for Autonomous Driving
Akkodis Germany Solutions GmbH, Research Division(阿克科迪斯德国解决方案有限公司研究部);RWTH Aachen University(亚琛工业大学)
针对自动驾驶等部分可观测场景下视觉DRL性能受限的问题,本研究采用自监督离线训练的编码器学习可泛化表征,验证了BDD100K预训练特征可零样本迁移至CARLA实现车道保持与避撞,并优化了RL网络架构以高效利用迁移表征。
2024-09-02 cs.AI cs.CV
DriveRX: A Vision-Language Reasoning Model for Cross-Task Autonomous Driving
Beijing University of Posts and Telecommunications(北京邮电大学);Zhongguancun Academy(中关村学院);Beihang University(北航)
DriveRX是一种用于自动驾驶的视觉-语言推理模型,通过结构化推理提升多阶段决策能力,并在复杂驾驶条件下表现优异。
2026-01-13 cs.CV
Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving
Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于立体视觉的方法,用于跟踪动态自动驾驶场景中的摄像机自我运动和3D语义对象。而不是直接回归的3D限界框使用端到端的方法,我们建议使用易于标记的2D检测和离散的观点分类与轻量级的语义推理方法,以获得粗略的3D对象测量。基于在动态环境中具有鲁棒性的目标感知辅助摄像机姿态跟踪,结合融合时间稀疏特征对应的动态目标光束平差(BA)方法和语义三维测量模型,获得了具有实例精度和时间一致性的三维目标姿态、速度和锚定动态点云估计。我们提出的方法的性能在不同的场景中得到了证明。自我运动估计和对象定位与国家的最先进的解决方案进行了比较。
2018-11-29 cs.CV
Vision-Based Environmental Perception for Autonomous Driving
Ontario Tech University(安大略理工大学)
视觉感知在自动驾驶中起着重要的作用。主要任务之一是目标检测和识别。由于视觉传感器具有丰富的颜色和纹理信息,可以快速准确地识别各种道路信息。常用的技术是基于提取和计算图像的各种特征。最近发展的基于深度学习的方法具有更好的可靠性和处理速度,在识别复杂元素方面具有更大的优势。对于深度估计,视觉传感器由于其小尺寸和低成本也用于测距。单目相机使用来自单个视点的图像数据作为输入来估计对象深度。相比之下,立体视觉是基于视差,匹配不同视角的特征点,深度学习的应用也进一步提高了准确度。此外,同步定位与地图构建(SLAM)可以建立道路环境模型,从而帮助车辆感知周围环境并完成任务。本文首先介绍和比较了各种目标检测和识别方法,然后阐述了深度估计的发展,并对基于单目、立体和RDBG传感器的各种方法进行了比较,接着对SLAM的各种方法进行了回顾和比较,最后总结了视觉技术目前存在的问题并提出了未来的发展趋势。
2022-12-22 cs.CV
Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving
Zhejiang University(浙江大学);Huawei Technologies(华为技术有限公司)
该研究提出Drive-OccWorld,将以视觉为中心的4D预测世界模型适配自动驾驶端到端规划,通过语义运动条件归一化、灵活动作条件注入等设计,实现可控4D占据生成与最优轨迹选择,在多个数据集上验证了有效性。
2025-01-17 cs.CV
ViLaD: A Large Vision Language Diffusion Framework for End-to-End Autonomous Driving
College of Engineering, Purdue University(普渡大学工程学院)
本文提出ViLaD框架,用掩码扩散模型替代自回归架构,实现端到端自动驾驶决策的并行生成与双向推理,在nuScenes上超越现有VLM基线并完成实车泊车验证。
2025-08-18 cs.CV
Efficient and Explainable End-to-End Autonomous Driving via Masked Vision-Language-Action Diffusion
Institute for Physical Artificial Intelligence (IPAI), Purdue University(物理人工智能研究所(IPAI)、普渡大学);College of Engineering, Purdue University(工程学院、普渡大学);Department of Computer Science, Purdue University(计算机科学系、普渡大学)
MVLAD-AD通过掩码视觉-语言-动作扩散模型,提升自动驾驶的效率与规划精度,实现高效且可解释的端到端自动驾驶。
2026-02-24 cs.CV
DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving
Tsinghua University(清华大学);Xiaomi EV(小米汽车)
提出DriveReward数据集和专用视觉语言奖励模型,通过反事实标注和时序视觉引导,解决自动驾驶中奖励获取的泛化问题,在强化学习和轨迹选择中取得与基于规则方法相当的性能。
2026-06-16 cs.CV
Topo-boundary: A Benchmark Dataset on Topological Road-boundary Detection Using Aerial Images for Autonomous Driving
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
道路边界检测是自动驾驶的重要环节。它可用于约束在道路区域上行驶的自动驾驶车辆,以确保驾驶安全。与使用车载摄像机/激光雷达的在线道路边界检测相比,使用航空图像的离线检测可以减轻严重的遮挡问题。此外,离线检测结果可以直接用于注释高清(HD)地图。近年来,深度学习技术已被用于离线检测。但目前还缺乏针对该任务的公开数据集,阻碍了该领域的研究进展。因此,在本文中,我们提出了一个新的基准数据集,命名为\textit{Topo-boundary},离线拓扑道路边界检测。该数据集包含25,295幅$1000\times1000$大小的4通道航空影像。每个图像都有8个训练标签,用于不同的子任务。我们还设计了一种新的基于熵的连通性度量,它可以更好地处理噪声或离群值。我们使用数据集实现并评估了3个基于分割的基线和5个基于图形的基线。我们还提出了一个新的模仿学习为基础的基线,这是从我们以前的工作增强。通过比较,证明了本文改进的优越性。数据集和我们为基线实现的代码可以在\texttt{\url{https://tonyxuqaq.github.io/Topo-boundary/}}上找到。
2021-07-02 cs.CV cs.RO
ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The University of California, San Diego(加利福尼亚大学圣迭戈分校);JD Explore Academy, JD.com Inc.(京东集团京东探索研究院)
许多现有的自动驾驶范例涉及多阶段离散的任务管道。为了更好地预测控制信号并增强用户安全性,需要一种受益于联合时空特征学习的端到端方法。虽然有一些基于激光雷达的输入或隐式设计的开创性工作,在本文中,我们制定了一个可解释的基于视觉的设置的问题。特别是,我们提出了一个时空特征学习方案,同时面向一组更有代表性的感知,预测和规划任务的功能,这是所谓的ST-P3。具体而言,自我中心对齐的积累技术,提出了保留在3D空间的几何信息之前的鸟瞰图变换的感知;双路径建模设计考虑到过去的运动变化,为未来的预测;一个基于时间的细化单元,以补偿识别视觉为基础的元素规划。据我们所知,我们是第一个系统地研究可解释的端到端基于视觉的自动驾驶系统的每个部分的公司。我们对我们的方法进行了基准测试,针对开环nuScenes数据集和闭环CARLA模拟的最新技术。实验结果表明了该方法的有效性。源代码、模型和协议详细信息可在https://github.com/OpenPerceptionX/ST-P3上公开获取。
2022-07-18 cs.CV
First qualitative observations on deep learning vision model YOLO and DETR for automated driving in Austria
TU Graz(格拉茨工业大学)
本文首次定性研究YOLO与RT-DETR在奥地利自动驾驶目标检测中的应用,分析其在城市、乡村及阿尔卑斯山区等多样化道路条件下的适用性与挑战。
2024-12-28 cs.CV
Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions
Microsoft STCA(微软亚洲互联网工程院);Kyung Hee University(庆熙大学)
本文研究SAM在自动驾驶恶劣天气下的鲁棒性,旨在集成前评估其表现,为未来应用提供见解。
2023-06-23 cs.CV
Inferring Driving Maps by Deep Learning-based Trail Map Extraction
University of Wuppertal(乌尔姆大学);Aptiv Services Deutschland GmbH(Aptiv Services 德国公司)
针对在线建图的时序一致性、遮挡、运行时间与泛化难题,提出融合多交通参与者轨迹并基于 transformer 的可更新离线建图方法,在两个基准上展现出更优泛化与鲁棒性。
2025-05-15 cs.CV cs.RO
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea(赵陈夏石移动研究生院)
本综述聚焦自动驾驶领域的视觉Transformer应用,梳理其基础概念与多场景应用,对比架构优劣,并指明未来研究方向。
2024-03-12 cs.CV cs.LG
A Multimodal Vision Sensor for Autonomous Driving
Zhejiang University(浙江大学)
本文介绍了一种多模态视觉传感器,它集成了三种类型的相机,包括立体相机,偏振相机和全景相机。每个传感器都提供特定维度的信息:立体相机测量每个像素的深度,偏振获得偏振度,全景相机捕获360度景观。数据融合和先进的环境感知可以建立在传感器的组合上。这款视觉传感器专为自动驾驶而设计,配备了强大的语义分割网络。此外,我们演示了如何交叉模态增强可以通过注册的彩色图像和偏振图像。最后给出了一个实例。为了证明多模态视觉传感器与不同设备的兼容性,进行了简要的运行时性能分析。
2019-08-15 cs.CV eess.IV
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University(德雷塞尔大学)
本报告通过分析基于视觉的系统与感知指标的最新进展,探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法,旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
Vision Language Models in Autonomous Driving: A Survey and Outlook
Technical University of Munich(慕尼黑工业大学);The Ohio State University(俄亥俄州立大学)
本文综述了视觉语言模型在自动驾驶领域感知、规划、决策等多方向的研究进展、任务指标与相关数据集,分析其优势挑战并指出研究空白与未来趋势。
2024-06-20 cs.AI cs.CV
Vision-Integrated LLMs for Autonomous Driving Assistance : Human Performance Comparison and Trust Evaluation
Seoul National University(首尔大学)
针对传统自动驾驶系统在复杂场景中空间推理能力不足的问题,本研究提出集成视觉适配器(YOLOv4+ViT)和GPT-4推理模块的辅助系统,实验表明其场景描述接近人类性能、决策与人类中度一致。
2025-02-06 cs.AI cs.CV cs.HC
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université(索邦大学)
本调查回顾了基于视觉的自动驾驶系统的解释方法,该系统经过行为克隆训练。可解释性的概念有几个方面,对可解释性的需求在驾驶中很强,这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献,即计算机视觉、深度学习、自动驾驶、可解释人工智能(X-AI),解决了几个问题。首先,它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机,以及该应用所特有的挑战。其次,全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三,详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后,剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
Exploring Driving Behavior for Autonomous Vehicles Based on Gramian Angular Field Vision Transformer
本文提出GAF-ViT模型,通过将多元驾驶行为序列转换为多通道图像并结合通道注意力与视觉Transformer进行分类,在Waymo Open Dataset上取得最先进性能,并验证了各模块的有效性。
2024-09-01 cs.CV eess.IV
VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving
CUHK-Shenzhen(香港中文大学(深圳));SSE(深圳大学);HKUST(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
VisionPAD提出基于3D高斯泼溅的自监督预训练范式,通过体素速度估计与多帧光度一致性增强运动与几何感知,显著提升自动驾驶3D检测、占用与地图分割性能。
2025-05-22 cs.CV cs.LG cs.RO
Poutine: Vision-Language-Trajectory Pre-Training and Reinforcement Learning Post-Training Enable Robust End-to-End Autonomous Driving
Mila - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院);CIFAR AI Chair(CIFAR人工智能主席)
Poutine 通过视觉-语言-轨迹预训练与 GRPO 强化学习微调,仅用现成 3B 参数 VLM 即实现鲁棒端到端自动驾驶,并在 2025 Waymo 挑战赛中以 RFS 7.99 夺冠。
2025-11-06 cs.CV cs.RO
CMU-Drive and V2V-VLA: Cooperative Multi-agent Unified Driving with Reasoning Benchmark and Vehicle-to-Vehicle Vision-Language-Action Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出协同多智能体统一驾驶基准CMU-Drive及车对车视觉-语言-动作模型V2V-VLA,解决现有VLA模型缺乏协同能力的问题,构建了协同自动驾驶研究的首个基准并将相关资源开源。
2026-08-11 cs.AI cs.CV cs.RO
Vision-Language-Action Autonomous Driving Agent with Language-based Memory
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
本文提出AD-Memo,一种基于语言记忆的VLA自动驾驶智能体,通过将记忆作为思维链扩展输出,并采用SFT和半闭环RL算法训练,在全向停车场和一般驾驶场景中提升驾驶质量、问答能力,并提供可移植的记忆。
2026-10-01 cs.CV cs.RO
CoT4AD: A Vision-Language-Action Model with Explicit Chain-of-Thought Reasoning for Autonomous Driving
Peking University(北京大学)
CoT4AD通过引入显式推理链提升自动驾驶中的视觉-语言-动作模型的推理能力,实现更精确的因果推理和决策。
2025-11-27 cs.AI cs.CV
Enabling Pedestrian Safety using Computer Vision Techniques: A Case Study of the 2018 Uber Inc. Self-driving Car Crash
Texas A&M University(德克萨斯农工大学);College Station, TX USA(美国德克萨斯州大学城)
人的生命很重要允许自动驾驶汽车在我们的道路上行驶的决定具有重大意义。这一直是政策制定者、技术专家和公共安全机构之间辩论的热门话题。最近Uber Inc.自动驾驶汽车相撞,导致一名行人死亡,加强了自动驾驶汽车技术尚未准备好在公共道路上部署的论点。在这项工作中,我们分析了优步车祸,并阐明了这个问题,“优步车祸可以避免吗?".我们将最先进的计算机视觉模型应用于这一高度实用的场景。更一般地说,我们的实验结果是各种图像增强和对象识别技术的评估,使行人安全在低照明条件下使用的优步碰撞作为案例研究。
2018-05-30 cs.AI cs.CV
Reasoning-VLA: A Fast and General Vision-Language-Action Reasoning Model for Autonomous Driving
Lanzhou University(兰州大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);University of New South Wales(新南威尔士大学)
Reasoning-VLA通过引入可学习的动作查询和链式思维推理的数据格式,实现了在自动驾驶中快速且通用的视觉-语言-动作推理。
2025-11-25 cs.CV cs.RO
Learning Interpretable End-to-End Vision-Based Motion Planning for Autonomous Driving with Optical Flow Distillation
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
最近,基于深度学习的方法在自动驾驶方面取得了令人印象深刻的性能。然而,端到端的基于视觉的方法通常具有有限的可解释性,使得深度网络的行为难以解释。因此,其潜在的应用在实践中可能受到限制。为了解决这个问题,我们提出了一个可解释的端到端的基于视觉的自动驾驶运动规划方法,简称为IVMP。给定一组过去的环绕视图图像,我们的IVMP首先预测鸟瞰图空间中的未来自我中心语义地图,然后将其用于规划自动驾驶车辆的轨迹。预测的未来语义地图不仅提供了有用的可解释信息,还允许我们的运动规划模块处理概率较低的对象,从而提高自动驾驶的安全性。此外,我们还开发了一个光流蒸馏范例,它可以有效地提高网络,同时仍然保持其实时性能。在nuScenes数据集和闭环仿真上进行的大量实验表明,我们的IVMP在模仿人类驾驶员方面的成功率明显高于最先进的方法。我们的项目页面可以在www.example.com上找到。
2021-04-18 cs.CV cs.RO
RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving
Tongji University(同济大学);Yale University(耶鲁大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对VLM空间感知不足与幻觉问题,提出RAD检索增强决策框架,结合三阶段RAG流程和NuScenes微调,提升自动驾驶元动作决策性能。
2025-03-18 cs.AI cs.CV
CIRL: Controllable Imitative Reinforcement Learning for Vision-based Self-driving
Petuum Inc.(Petuum公司);Carnegie Mellon University(卡内基梅隆大学)
由于学习最佳驾驶策略的困难,具有复杂多智能体动力学的自主城市驾驶导航尚未得到充分探索。传统的模块化流水线严重依赖于手工设计的规则和预处理感知系统,而基于监督学习的模型受到广泛的人类经验的可访问性的限制。我们提出了一个通用的和有原则的可控模仿强化学习(CIRL)方法,成功地使驾驶代理实现更高的成功率的基础上,只有视觉输入的高保真汽车模拟器。为了缓解大型连续动作空间的低探索效率,通常禁止在具有挑战性的真实任务中使用经典RL,我们的CIRL探索了一个合理约束的动作空间,由模仿人类演示的编码经验指导,建立在深度确定性策略梯度(DDPG)的基础上。此外,我们建议专门的自适应政策和转向角奖励设计不同的控制信号(即遵循,直行,右转,左转)的基础上共享的表示,以提高模型的能力,在处理不同的情况下。CARLA驾驶基准上的大量实验表明,CIRL在各种目标导向的驾驶任务上成功完成情节的百分比方面大大优于所有以前的方法。我们还显示了其优越的泛化能力,在看不见的环境。据我们所知,这是在高保真模拟器中通过强化学习学习驾驶策略的第一个成功案例,该模拟器的性能优于监督模仿学习。
2018-07-10 cs.CV cs.RO
Scalable Vision-Based 3D Object Detection and Monocular Depth Estimation for Autonomous Driving
Electronic and Computer Engineering(电子与计算机工程)
该论文围绕自动驾驶视觉3D感知,改进单目与立体3D检测,融合2D/3D标注训练,并提出无监督单目深度估计流程。
2024-03-04 cs.CV cs.RO
LVDrive: Latent Visual Representation Enhanced Vision-Language-Action Autonomous Driving Model
The Hong Kong University of Science and Technology(香港科技大学);Xiaomi EV(小米电动车)
本文提出LVDrive,一种增强视觉-语言-动作能力的自动驾驶模型,通过引入未来场景预测任务,在高维潜在空间中学习语义丰富的场景表示,从而提升闭环驾驶性能。
2026-05-21 cs.AI cs.CV
VisionNet: A Drivable-space-based Interactive Motion Prediction Network for Autonomous Driving
Meituan-Dianping Group(美团点评集团)
对环境交通状况的了解在很大程度上保证了自动驾驶汽车的行驶安全。近年来,虽然已有大量的研究对这一任务进行了研究,但由于复杂场景下集体影响力的限制,这一任务还很难得到很好的解决。这些方法通过目标障碍物与其邻居之间的空间关系来建模相互作用。然而,他们过于简单化的挑战,因为培训阶段的互动缺乏有效的监督。因此,这些模式远远没有前途。更直观地,我们将问题转化为计算交互感知的可驾驶空间,并提出了基于CNN的VisionNet用于轨迹预测。VisionNet接受一系列运动状态,即,位置,速度和加速度,以估计未来的可驾驶空间。具体化的交互显著提高了VisionNet的解释能力,并改进了预测。为了进一步提高性能,我们提出了一个互动的损失,以指导可驾驶空间的生成。在多个公共数据集上的实验证明了所提出的VisionNet的有效性。
2020-01-08 cs.CV cs.LG cs.RO
NeurIPS 2022 Competition: Driving SMARTS
驾驶智能是一项定期的比赛,旨在解决现实世界自动驾驶(AD)中普遍存在的动态交互环境中的分布偏移所引起的问题。拟议的比赛支持方法上的不同解决方案,如强化学习(RL)和离线学习方法,在自然AD数据和开源模拟平台SMARTS的组合上进行训练。双轨结构允许关注分布偏移的不同方面。轨道1对任何方法都是开放的,将为具有不同背景的机器学习研究人员提供解决现实世界自动驾驶挑战的机会。轨道2是专为严格的离线学习方法。因此,可以在不同方法之间进行直接比较,以确定新的有前途的研究方向。建议的设置包括:1)使用真实世界数据和微模拟器生成的真实流量,以确保场景的逼真度,2)容纳解决问题的各种方法的框架,以及3)基线方法。因此,它提供了一个独特的机会,对自动驾驶汽车部署的各个方面进行原则性调查。
2022-11-14 cs.CV cs.LG cs.RO
VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving
Waymo
本文提出VL-DPO,一种基于视觉语言模型的框架,通过零样本推理生成偏好对来微调自动驾驶模型,以提升与人类驾驶偏好的对齐程度,实验表明该方法在RFS和ADE指标上均优于基线模型。
2026-05-19 cs.AI cs.CV
GRI: General Reinforced Imitation and its Application to Vision-Based Autonomous Driving
Mines Paris - PSL University(巴黎矿业学院-PSL大学);Valeo DAR(法雷奥DAR)
深度强化学习(DRL)已被证明对自动驾驶和机器人等几个复杂的决策应用是有效的。然而,DRL因其高样品复杂性和缺乏稳定性而受到限制。先前的知识,例如专家演示,通常是可用的,但很难利用来缓解这些问题。在本文中,我们提出了通用强化模仿(GRI),这是一种新的方法,它结合了探索和专家数据的好处,并且可以直接在任何非策略RL算法上实现。我们做一个简单的假设:专家的论证可以被看作是完美的数据,其基础政策得到了持续的高回报。基于这一假设,GRI引入了离线演示代理的概念。该代理发送专家数据,这些数据与来自在线RL探索代理的经验同时且不可分割地处理。我们表明,我们的方法能够在城市环境中实现基于视觉的自动驾驶的重大改进。我们进一步验证了GRI方法的Mujoco连续控制任务与不同的政策外RL算法。我们的方法在CARLA排行榜上排名第一,比之前最先进的World on Rails高出17%。
2022-05-17 cs.CV cs.RO
Embedded Vision for Self-Driving on Forest Roads
RovisLab(机器人视觉与控制实验室)
罗马尼亚的森林道路是独特的自然野生动物景点,被无数游客用于娱乐。为了保护和维护这些道路,我们提出了RovisLab AMTU(自主移动测试单元),这是一个机器人系统,旨在自主导航越野地形,并检查是否有任何森林砍伐或损坏发生沿跟踪路线。AMTU的核心组件是其嵌入式视觉模块,针对实时环境感知进行了优化。为了实现高计算速度,我们使用学习系统来训练多任务深度神经网络(DNN),用于对象的场景和实例分割,而同时定位与地图构建所需的关键点使用手工制作的FAST特征检测器和Lucas-Kanade跟踪算法来计算。DNN和手工制作的主干都在NVIDIA AGX Xavier板的GPU上并行运行。我们展示了我们的研究设施的测试轨道上的实验结果。
2021-05-27 cs.AI cs.CV
Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving
Massachusetts Institute of Technology(麻省理工学院)
与状态感知控制场景不同,基于感知的学习系统缺乏真实状态信息,因此保证其安全性具有挑战性。在本文中,我们介绍了一个基于视觉的端到端自动驾驶的安全保证学习框架。为此,我们设计了一个学习系统,配备了可微控制障碍函数(dCBF),训练端到端的梯度下降。我们的模型是由传统的神经网络架构和dCBF。它们在规模上具有可解释性,在有限的训练数据下实现了出色的测试性能,在车道保持、避障等一系列自动驾驶场景下都有安全保障。我们在模拟到真实的环境中评估了我们的框架,并在真实的自动驾驶汽车上进行了测试,通过增强现实(AR)和真实停放的车辆实现了安全的车道跟随和避障。
2022-03-04 cs.CV cs.LG cs.RO
E3AD: An Emotion-Aware Vision-Language-Action Model for Human-Centric End-to-End Autonomous Driving
McGill University(麦吉尔大学);University of Macau(澳门大学);The Hong Kong Polytechnic University(香港理工大学);Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学)
提出E3AD框架,通过连续VAD情感模型和双路径空间推理模块,将情感理解融入视觉-语言-动作模型,实现开放域端到端自动驾驶中的情感感知轨迹规划,在真实数据集上达到SOTA性能。
2026-05-28 cs.AI cs.CV
HyWorldVLA: A Vision-Language-Action Model with Hybrid World Modeling for Autonomous Driving
Automotive New Technology Research Institute, BYD Company Limited(比亚迪汽车新技术研究院)
研究针对自动驾驶中视觉-语言-动作模型的不足,提出HyWorldVLA框架,统一像素级监督与潜在表征学习。预训练阶段预测视频潜在并重建帧,微调阶段预测潜在特征生成轨迹,实验表明其性能优于基线,还建立了世界模型噪声鲁棒性评估新基准。
2026-07-24 cs.AI cs.CV