Applications of Large Scale Foundation Models for Autonomous Driving
Futurewei Technology Inc.（未来网络技术有限公司）；University of Missouri（密苏里大学）
本文探讨了大语言模型与基础模型在自动驾驶中的应用，旨在利用人类知识与推理突破长尾困境，涵盖仿真、世界模型、数据标注及端到端规划等技术方向。
2024-01-05 cs.CV
Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
CAIR, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新研究所）；CASIA（中国科学院自动化研究所）
本文提出首个兼容端到端规划模型的驾驶世界模型 Drive-WM，通过视角分解联合时空建模生成多视角视频，并首次将其用于多未来预测与安全驾驶规划。
2023-11-29 cs.CV
Adversarial Driving: Attacking End-to-End Autonomous Driving
The University of Exeter（埃克塞特大学）；The University of the West of England（西英格兰大学）
本文针对端到端自动驾驶模型提出两种白盒定向图像扰动攻击，可在CPU上实时运行，并显著偏离预测转向角。
2023-12-12 cs.CV
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络（DNN）已广泛应用于自动驾驶等许多自主系统中。最近，DNN测试已经被广泛研究，以自动生成对抗性示例，这些示例将小幅度的扰动注入到输入中，以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的，但它们主要集中在生成数字对抗扰动（特别是对于自动驾驶），例如，改变图像像素，这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失：理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中，我们提出了DeepBillboard，这是一种系统的物理世界测试方法，针对一种常见而实用的驾驶场景：驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌，它可以在动态变化的驾驶条件下工作，包括视角，距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验，广泛评估了DeepBillboard的有效性和鲁棒性。结果表明，DeepBillboard是有效的各种转向模型和场景。此外，DeepBillboard具有足够的鲁棒性和弹性，可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知，这是第一项研究，证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional（Motional公司）
基于视觉的3D检测任务是自动驾驶系统感知的基础任务，已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而，使用相机的2D传感器输入数据来实现相当好的3D BEV（鸟瞰图）性能并不是一件容易的事情。在本文中，我们提供了一个文献调查现有的基于视觉的3D检测方法，专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析，并强调了不同的子组，以详细了解常见趋势。此外，我们强调了文献和行业趋势如何转向基于环绕视图图像的方法，并记录了这种方法解决的特殊情况的想法。最后，我们提出了基于当前技术的缺点，包括协同感知的方向，为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
DrivingGaussian提出一种复合高斯泼溅框架，通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标，并结合LiDAR先验，实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV
Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies
Black Sesame Technology Inc.（黑芝麻智能科技有限公司）；Futurewei Technology Inc.（星网锐捷技术有限公司）
自2004/05年DARPA Grand Challenges（农村）和2007年Urban Challenges以来，自动驾驶一直是人工智能应用最活跃的领域。几乎同时，深度学习也有几位先驱者取得了突破，其中Hinton、Bengio和LeCun三位（也被称为深度学习之父）在2019年获得了ACM都灵奖。这是一个关于自动驾驶技术与深度学习方法的调查。我们研究了自动驾驶系统的主要领域，如感知，地图和定位，预测，规划和控制，仿真，V2X和安全等。由于篇幅有限，我们重点分析了几个关键领域，即感知中的2D和3D目标检测，摄像机的深度估计，数据，特征和任务层面的多传感器融合，车辆驾驶和行人轨迹的行为建模和预测。
2020-07-04 cs.CV
Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System
School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械与动力工程学院）
针对V2X通信资源未被有效用于提升驾驶性能的问题，本文提出仿真平台V2Xverse和端到端协同驾驶系统CoDriving，通过面向驾驶的通信策略优化信息共享，显著提升驾驶得分并降低碰撞率。
2025-04-09 cs.CV
A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook
Technical University of Munich（慕尼黑工业大学）；The Ohio State University（俄亥俄州立大学）
本文从多角度详尽研究了265个自动驾驶数据集，提出评估影响的新指标，分析标注质量与环境条件影响，并探讨当前挑战与未来趋势。
2024-04-23 cs.CV
Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions
Microsoft STCA（微软亚洲互联网工程院）；Kyung Hee University（庆熙大学）
本文研究SAM在自动驾驶恶劣天气下的鲁棒性，旨在集成前评估其表现，为未来应用提供见解。
2023-06-23 cs.CV
PLoc: A New Evaluation Criterion Based on Physical Location for Autonomous Driving Datasets
Khoury College of Computer Science（计算机科学学院（Khoury））；Northeastern University（东北大学）
本文提出基于物理位置的自动驾驶评估准则PLoc，并构建重标注数据集ApolloScape-R，实验表明模型对车道内行人的检测准确率低于人行道行人，从而揭示传统评估忽视位置安全信息的不足。
2024-03-29 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University（雪城大学）；Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)（博世北美研究院及博世人工智能中心）
本文提出视觉-语言-规划框架VLP，利用语言模型增强自动驾驶的推理与上下文理解，在NuScenes上显著降低规划误差和碰撞率，并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
Real-time Streaming Perception System for Autonomous Driving
如今，大量的深度学习技术正在应用于自动驾驶的各个方面，并取得了可喜的成果。其中，目标检测是提高自主智能体感知环境的能力，使其能够（反应）行动的关键。然而，以前的基于视觉的目标检测器不能在实时的【形】驾驶场景下获得令人满意的性能。为了解决这个问题，我们在本文中提出了实时的【形】流感知系统，这也是流感知挑战赛（CVPR 2021自动驾驶研讨会）的第二名解决方案。与传统的目标检测主要关注绝对性能的挑战不同，流感知任务需要实现准确性和延迟的平衡，这对于实时的【形】自动驾驶至关重要。我们采用YOLOv 5作为我们的基本框架，数据增强，免费赠品袋，和Transformer采用，以提高流目标检测的性能，可以忽略不计的额外推理成本。在Argoverse-HD测试集上，我们的方法在所需的硬件条件下实现了33.2个流式AP（组织者验证了34.6个流式AP）。它的表现大大超过了13.6（主队）的固定基线，证明了应用的潜力。
2021-07-30 cs.CV
Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多任务学习已经成为一种强大的范例，可以同时解决一系列任务，在计算资源和推理时间方面都具有良好的效率。然而，这些算法是为不同的任务而设计的，大多不在自动驾驶的范围内，因此很难比较自动驾驶中的多任务方法。为了能够全面评估自动驾驶中现有的多任务学习方法，我们广泛研究了大规模驾驶数据集上流行的多任务方法的性能，这些数据集涵盖了四种常见的感知任务，即，目标检测、语义分割、可驾驶区域分割和车道检测。我们提供了一个深入的分析，目前的多任务学习方法在不同的常见设置，发现现有的方法取得了进展，但仍然有很大的性能差距相比，单任务基线。为了缓解自动驾驶中的这种困境，我们提出了一个有效的多任务框架，VE提示，它通过特定任务的提示引入视觉范例，以引导模型学习高质量的特定任务的表示。具体来说，我们基于边界框和基于颜色的标记生成视觉样本，这提供了目标类别的准确视觉外观，并进一步减轻了性能差距。此外，我们将基于transformer的编码器和卷积层连接起来，以实现自动驾驶中高效准确的统一感知。在不同的自动驾驶数据集BDD 100K上的综合实验结果表明，VE-Prompt改进了多任务基线，并进一步超越了单任务模型。
2023-03-03 cs.CV
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法，在这种方法中，我们收集驾驶任务的眼睛注视数据，并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法，我们训练一个模型，让它在学习驾驶汽车时学会预测注意力。最后，我们提出了一个比较研究，我们的结果表明，监督的方法来预测注意时，纳入比其他方法更好。
2018-12-05 cs.CV
Fast Recurrent Fully Convolutional Networks for Direct Perception in Autonomous Driving
Berkeley Deep Drive（伯克利深度驾驶）；University of California, Berkeley（加州大学伯克利分校）
深度卷积神经网络（CNN）已被证明在各种任务中表现非常出色，包括自动驾驶的子任务，如图像分割和对象分类。然而，为这些任务设计的网络通常需要大量的训练数据和长的训练周期来收敛。我们通过提出并比较三种小型且计算成本低廉的深度端到端神经网络模型来研究端到端驱动网络设计背后的设计原理，这些模型直接从输入图像生成驱动控制信号。与之前对自动驾驶任务进行分段的工作相比，我们的模型采用了一种新的方法来解决自动驾驶问题，即利用具有递归神经网络和低参数计数的深度和细的全卷积网络（FCN）来处理复杂的端到端回归任务，预测转向和加速命令。此外，我们还包括针对分类进行优化的层，以允许网络隐式学习图像语义。我们发现，由此产生的网络使用的参数比最近的端到端驱动网络少3倍，比AlexNet变体少500倍，收敛速度更快，损失更低，同时保持对过拟合的鲁棒性。
2017-11-20 cs.CV
Reason induced visual attention for explainable autonomous driving
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习（DL）的计算机视觉（CV）模型由于可解释性差而通常被认为是黑箱。这种限制阻碍了系统故障的有效诊断或预测，从而阻碍了DLCV模型在自动驾驶等安全关键任务中的广泛部署。本研究的动机是需要提高自动驾驶中DL模型的可解释性，因此提出了一个可解释的基于DL的框架，该框架生成驾驶环境的文本描述，并根据生成的描述做出适当的决策。该框架通过对视觉输入（图像）和自然语言进行联合建模来模仿人类驾驶员的学习过程，同时使用语言来诱导图像中的视觉注意。结果表明，通过关注视觉输入的相关特征获得的自动驾驶决策具有很强的可解释性。此外，输出注意力图不仅通过对模型行为提供有意义的解释，而且通过识别模型的弱点和潜在的改进方向来增强模型的可解释性。
2021-10-11 cs.CV
Development of Real-time Rendering Technology for High-Precision Models in Autonomous Driving
我们的自动驾驶模拟实验室制作了模拟停车场的高精度3D模型。然而，目前的模型在某些方面仍然存在绘制质量差的问题。在这项工作中，我们开发了一个系统，以提高模型的渲染和评估渲染模型的质量。
2023-03-20 cs.CV cs.RO
Visual Perception System for Autonomous Driving
University of Bath（巴斯大学）
本文提出一种基于视觉的自动驾驶感知系统，集成行人等运动目标跟踪预测、相机定位与稀疏建图，并通过仿真和真实数据集验证其性能。
2023-10-31 cs.CV cs.RO
Semantic video segmentation for autonomous driving
Universität Bonn（波恩大学）
我们的目标是解决自动驾驶中的语义视频分割，即实时的视频中的道路检测，使用（Shelhamer et al.，2016年a）。虽然全卷积网络给出了很好的结果，但我们证明了速度可以减半，同时保持准确性。使用的测试数据集是KITTI，它由来自德国街道的真实镜头组成。
2020-10-28 cs.CV eess.IV
Hybrid Video Anomaly Detection for Anomalous Scenarios in Autonomous Driving
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（弗劳恩霍夫信息与通信技术研究中心）
针对自动驾驶场景，提出HF$^2$-VAD$_{AD}$方法，从车辆自视角学习正常性表示，在罕见关键场景中实现逐像素异常检测。
2025-04-28 cs.CV cs.RO
High-Definition Map Generation Technologies For Autonomous Driving
Ontario Tech University（安大略理工大学）
在过去的几年里，自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自动驾驶的道路上，研究人员利用了各种传感器，如LiDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用的智能算法，如目标检测，对象分割，避障和路径规划。近年来，高清（HD）地图引起了人们的广泛关注。由于高清地图在定位方面的高精度和信息水平，它已立即成为自动驾驶的关键组成部分之一。从百度Apollo、英伟达、TomTom等大型组织到个人研究人员，研究人员已经为自动驾驶创建了不同场景和目的的高清地图。有必要回顾一下高清地图生成的最新方法。本文回顾了最近的高清地图生成技术，利用2D和3D地图生成。本文介绍了高清地图的概念及其在自动驾驶中的实用性，并详细概述了高清地图生成技术。我们还将讨论当前高清地图生成技术的局限性，以激励未来的研究。
2022-06-24 cs.CV cs.RO
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea（赵陈夏石移动研究生院）
本综述聚焦自动驾驶领域的视觉Transformer应用，梳理其基础概念与多场景应用，对比架构优劣，并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University（西蒙菲莎大学）
针对自动驾驶传感器数据量大的问题，研究面向3D目标检测的相机与LiDAR多模态学习式压缩，对比联合编码与条件编码等方案，在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；Forschungszentrum Informatik（弗劳恩霍夫信息技术研究中心）；Hochschule Esslingen（埃斯林根应用技术大学）；University of Michigan（密歇根大学）；Voxel51；Karlsruher Institut für Technologie（卡尔斯鲁厄理工学院）
本文提出能力驱动的MLLMs自动驾驶场景理解评估框架，从语义、空间、时间、物理四维度及情境层、模态、下游任务组织评估，并通过两个交通场景验证其适用性。
2025-03-14 cs.CV cs.RO
Exploring the Causality of End-to-End Autonomous Driving
Baidu Inc.（百度公司）
本文提出一种系统性方法，通过控制变量、反事实干预和统计分析，探索端到端自动驾驶的因果性，并开发了工具和基线，在CARLA中验证，将黑箱变为白箱。
2024-07-19 cs.CV cs.RO
Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University（同济大学汽车学院）；ZERON
本文提出一个现实对抗闭环评估平台，用于生成边缘情况以评估端到端自动驾驶系统，通过真实场景图像生成与对抗交通策略结合，验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO
DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving
University of Macau（澳门大学）
本文提出DME-Driver自动驾驶系统，结合大型视觉语言模型作为逻辑决策器与3D场景感知模型作为控制信号生成器，并构建新数据集以实现高精度且可解释的规划。
2024-01-08 cs.CV cs.RO
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University（德雷塞尔大学）
本报告通过分析基于视觉的系统与感知指标的最新进展，探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法，旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control
MEGVII（旷视科技）
本文提出 SubjectDrive 模型，通过主体控制机制利用多样化外部数据源提升生成数据的多样性，从而有效扩展自动驾驶训练数据生产并持续改进下游感知模型性能。
2024-12-26 cs.CV cs.RO
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology（北京理工大学）
本文介绍了在2018年中国方程式学生自主驾驶比赛（FSAC）中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中，一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构，保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶，基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后，采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后，基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
TJ4DRadSet: A 4D Radar Dataset for Autonomous Driving
下一代高分辨率汽车雷达（4D雷达）可以提供额外的高程测量和更密集的点云，这在自动驾驶的3D传感方面具有巨大的潜力。在本文中，我们介绍了一个名为TJ4DRadSet的数据集与4D雷达点的自动驾驶研究。该数据集是在各种驾驶场景中收集的，共有44个连续序列中的7757个同步帧，这些序列都用3D边界框和轨迹ID进行了很好的注释。我们为我们的数据集提供了一个基于4D雷达的3D目标检测基线，以证明4D雷达点云的深度学习方法的有效性。该数据集可通过以下链接访问：https://github.com/TJRadarLab/TJ4DRadSet。
2022-07-27 cs.AI cs.CV
Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents
自动驾驶是一个多任务问题，需要对视觉环境有深入的了解。端到端自动驾驶系统作为一种学习驾驶的方法越来越受到关注，而无需为不同的驾驶场景详尽地编程行为。当人类驾驶时，他们依赖于一个微调的感觉系统，使他们能够快速获得所需的信息，同时过滤不必要的细节。这种识别图像中特定任务的高兴趣区域的能力通常对自动驾驶代理和机器学习系统有益。为了创建一个能够模仿人类凝视模式和视觉注意力的系统，我们在虚拟现实环境中收集了人类驾驶员的眼动数据。我们使用这些数据来训练深度神经网络，预测人类开车时最有可能看的地方。然后，我们使用这个经过训练的网络的输出，使用各种掩蔽技术选择性地掩蔽驾驶图像。最后，使用这些掩蔽图像作为输入来训练自动驾驶代理。经过比较，我们发现处理原始图像和注意力掩蔽图像的双分支架构大大优于所有其他模型，与仅在原始图像上训练的标准端到端模型相比，控制信号预测的误差减少了25.5%。
2019-09-11 cs.CV cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University（奥克兰大学）
本综述系统回顾了自动驾驶领域的全景感知模型，比较了其输入、架构及在性能、响应速度和资源利用率上的表现，并探讨了当前挑战与未来研究方向，为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
RGB cameras failures and their effects in autonomous driving applications
University of Florence（佛罗伦萨大学）
RGB摄像头是自动驾驶应用中最相关的传感器之一。不可否认的是，车载摄像头的故障可能会危及自动驾驶任务，当驾驶系统随后处理的图像被更改时，可能会导致不安全的行为。为了支持安全和强大的车辆架构和智能系统的定义，在本文中，我们定义了车载摄像头的故障模式，以及影响和已知缓解措施的分析。此外，我们建立了一个软件库，用于生成相应的失败图像，并将它们馈送到单声道和立体声相机的六个对象检测器以及自动驾驶模拟器的自动驾驶代理。由此产生的与操作干净的图像有关的不当行为允许更好地理解基于图像的应用中的故障影响和相关的安全风险。
2022-03-04 cs.CV cs.LG cs.SE
Post-Training in End-to-End Autonomous Driving
Northeastern University（东北大学）；Purdue University（普渡大学）
探讨端到端自动驾驶中训练后处理技术，针对传统方法不足，将现有文献按监督形式分四类，阐述各分类的能力、局限与挑战，助力系统理解该领域并推动相关研究。
2026-07-15 cs.CV cs.RO
DrivingAgent: Design and Scheduling Agents for Autonomous Driving Systems
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；University of California, Merced（加州大学默塞德分校）
提出DrivingAgent框架，通过自动化模块开发（设计阶段）和强化学习训练的轻量级LLM实时调度（调度阶段），解决自动驾驶系统集成新模型和满足实时约束的挑战，在nuScenes和Bench2Drive上取得更优速度-精度权衡。
2026-06-12 cs.CV cs.RO
RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving
Tongji University（同济大学）；Yale University（耶鲁大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对VLM空间感知不足与幻觉问题，提出RAD检索增强决策框架，结合三阶段RAG流程和NuScenes微调，提升自动驾驶元动作决策性能。
2025-03-18 cs.AI cs.CV
Trajectory Prediction for Autonomous Driving with Topometric Map
最先进的自动驾驶系统依赖于高清（HD）地图进行定位和导航。然而，构建和维护高清地图既耗时又昂贵。此外，高清地图假设结构化的环境，如主要道路和车道的存在，这是不存在于农村地区。在这项工作中，我们提出了一个端到端的Transformer网络为基础的方法，地图无自动驾驶。该模型以原始LiDAR数据和噪声地形图作为输入，产生精确的局部导航轨迹。我们证明了我们的方法在现实世界的驾驶数据，包括城市和农村地区的有效性。实验结果表明，所提出的方法优于最先进的多模态方法，是强大的拓扑图的扰动。所提出的方法的代码是公开的\url{https://github.com/Jiaolong/trajectory-prediction}。
2021-05-09 cs.CV cs.RO
Autonomous Driving Implementation in an Experimental Environment
Sakarya University（萨卡里亚大学）
自主系统需要识别环境，在将其安全地付诸实践之前还有很长的路要走。在自动驾驶系统中，障碍物和交通信号灯的检测与车道跟踪一样重要。在这项研究中，自主驾驶系统的开发和测试的实验环境中，为此目的而设计。在该系统中，具有摄像头的模型车辆用于跟踪车道和避开障碍物，以实验研究自动驾驶行为。训练卷积神经网络模型进行车道线跟踪。针对车辆避障问题，分别建立了角点检测、光流、焦点扩展、碰撞时间、平衡计算和决策机制。
2021-05-23 cs.CV cs.LG cs.RO
One-Stage Object Detectors in Autonomous Driving
Florida Gulf Coast University（佛罗里达海湾海岸大学）
本文针对自动驾驶场景调研分析单阶段目标检测器，涵盖其演进、架构对比、相关数据集与指标等，指出该类检测器需平衡速度等性能且与实际应用仍有差距。
2026-08-20 cs.AI cs.CV
Vision Language Models in Autonomous Driving: A Survey and Outlook
Technical University of Munich（慕尼黑工业大学）；The Ohio State University（俄亥俄州立大学）
本文综述了视觉语言模型在自动驾驶领域感知、规划、决策等多方向的研究进展、任务指标与相关数据集，分析其优势挑战并指出研究空白与未来趋势。
2024-06-20 cs.AI cs.CV
Affordance Learning In Direct Perception for Autonomous Driving
University of Waterloo（滑铁卢大学）
自动驾驶的最新发展涉及高级计算机视觉和详细的道路场景理解。如今，大多数自动驾驶汽车都使用中介感知方法进行路径规划和控制，这高度依赖于高清3D地图和实时的传感器。最近的研究工作旨在用粗糙的道路属性替代大量的高清地图。在本文中，我们遵循基于直接感知的方法来训练深度神经网络，用于自动驾驶中的示能性学习。我们在这项工作中的目标是开发基于免费提供的谷歌街景地图和开放街道地图道路矢量属性的启示学习模型。驾驶场景理解可以通过从车载摄像机捕获的图像中学习启示来实现。通过学习示能表示的这种场景理解可用于证实诸如HD地图的底图，使得所需的数据存储空间被最小化并且可用于实时的处理。通过实验评估，我们比较了人类志愿者和我们的模型在道路属性识别方面的能力。我们的研究结果表明，这种方法可以作为一种更便宜的方式收集训练数据在自动驾驶。交叉验证的结果也表明了我们的模型的有效性。
2019-03-20 cs.CV cs.IR
3D Object Visibility Prediction in Autonomous Driving
LiangDao GmbH（良道有限公司）；Ilmenau University of Technology（伊尔默瑙工业大学）；Great Wall Motor Co., Ltd.（长城汽车股份有限公司）
针对自动驾驶感知阶段的需求，该研究提出3D目标可见性新属性及对应算法，结合多任务学习实现对模型效果与效率的极小影响，拓展下游任务能力，提升实时自动驾驶的安全可靠性。
2024-03-06 cs.CV cs.RO
Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；Department of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系）；David Cheriton school of Computer science, University of Waterloo（滑铁卢大学戴维·谢里顿计算机学院）；University of Waterloo（滑铁卢大学）
本文分析了自动驾驶应用中深度学习模型的鲁棒性，并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Machine Learning-Based Vehicle Intention Trajectory Recognition and Prediction for Autonomous Driving
University of Southern California（南加州大学）；Virginia Tech（弗吉尼亚理工大学）；Miami University（迈阿密大学）；Northern Arizona University（北亚利桑那大学）；Northeastern University（东北大学）
本文针对自动驾驶变道安全问题，提出一种基于深度学习的变道行为预测方法，旨在准确识别驾驶员变道意图，促进安全变道并提升道路安全性。
2024-02-25 cs.CV cs.LG cs.RO
Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas（北德克萨斯大学）；Fordham University（福特汉姆大学）；Qatar University（卡塔尔大学）；University of Nebraska at Kearney（内布拉斯加大学卡尼尔分校）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术，分析传感器天气限制及市场影响，并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
Towards Knowledge-driven Autonomous Driving
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；East China Normal University（华东师范大学）；Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）
本文综述知识驱动自动驾驶技术，分析现有系统局限，提出以数据集、环境和驾驶员智能体为核心，结合大模型等AI技术构建更全面、自适应和智能的自动驾驶系统，并展望未来研究方向。
2023-12-27 cs.AI cs.CV cs.RO
Attacking Autonomous Driving Agents with Adversarial Machine Learning: A Holistic Evaluation with the CARLA Leaderboard
Carnegie Mellon University（卡内基梅隆大学）
该研究借助CARLA模拟器与CARLA排行榜，在不修改智能体代码的前提下测试对抗补丁对多类开源自动驾驶智能体的攻击效果，发现部分非ML模块可抵消对抗样本对ML模型的误导作用。
2025-11-18 cs.CR cs.CV cs.LG
Driving the Wrong Way: Leveraging Interpretability in End2End Autonomous Driving Models
AUMOVIO（奥莫维奥）；Department of Applied Computer Science, University of Bamberg（班贝格大学应用计算机科学系）
研究端到端自动驾驶模型因复杂不透明易产生不良行为的问题，核心方法是集成无监督字典学习作为可解释性模块，主要贡献为揭示决策逻辑、纠正驾驶决策以提升模型性能。
2026-07-08 cs.AI cs.CV cs.RO
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；List（李斯特研究所）
近年来，我们见证了自动端到端驾驶领域越来越高的性能。特别是，越来越多的研究正在做的城市环境中，汽车必须遵循高级别的命令来导航驾驶。然而，很少有评价的能力，这些代理人在一个意想不到的情况下作出反应。具体地，在坏的高级命令的情况下，不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法，即一个基准，允许评估的代理的鲁棒性，并欣赏其理解的环境，通过其能力，以保持一个安全的行为，无论指令。
2021-05-20 cs.AI cs.CV cs.LG
Action-Based Representation Learning for Autonomous Driving
Computer Vision Center (CVC)（计算机视觉中心（CVC））；Universitat Autonoma de Barcelona (UAB)（巴塞罗那自治大学（UAB））；Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））
人类驾驶员产生大量数据，原则上可以用于改进自动驾驶系统。不幸的是，用于创建将传感器数据直接映射到驾驶动作的端到端驾驶模型的看似简单的方法在可解释性方面存在问题，并且通常很难处理虚假相关性。或者，我们建议使用这种基于动作的驾驶数据来学习表示。我们的实验表明，使用这种方法预训练的基于负担能力的驾驶模型可以利用相对少量的弱注释图像，并且优于纯端到端驾驶模型，同时更具可解释性。此外，我们还展示了这种策略如何优于以前基于学习逆动力学模型的方法以及其他基于人工监督的方法（ImageNet）。
2020-11-09 cs.CV cs.LG cs.RO
A Language Agent for Autonomous Driving
University of Southern California（南加州大学）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
本文提出Agent-Driver，利用大型语言模型作为认知智能体，通过工具库、认知记忆和推理引擎将类人智能集成到自动驾驶系统，在nuScenes基准上大幅超越现有方法，并具备卓越可解释性和少样本学习能力。
2024-07-28 cs.AI cs.CL cs.CV
Vision-Integrated LLMs for Autonomous Driving Assistance : Human Performance Comparison and Trust Evaluation
Seoul National University（首尔大学）
针对传统自动驾驶系统在复杂场景中空间推理能力不足的问题，本研究提出集成视觉适配器（YOLOv4+ViT）和GPT-4推理模块的辅助系统，实验表明其场景描述接近人类性能、决策与人类中度一致。
2025-02-06 cs.AI cs.CV cs.HC
