An Overview about Emerging Technologies of Autonomous Driving
本文概述了自动驾驶新兴技术，重点探讨了数据闭环框架下的关键技术和开放性问题。
2026-03-11 cs.CV
Deep Event-based Object Detection in Autonomous Driving: A Survey
School of System Engineering NUDT Changsha, China
本文综述自动驾驶中基于事件相机的深度目标检测方法，分析事件数据异步稀疏带来的低延迟与轻量架构挑战，并阐明事件相机相较传统帧相机的优势。
2024-05-07 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications（北京邮电大学）
随着自动驾驶技术的蓬勃发展，复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波（mmWave）雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先，我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说，我们将融合方法分为数据级，决策级和特征级融合方法。此外，我们还介绍了三维（3D）目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合，这些都是未来很有希望的。最后，对本文进行了总结。
2022-04-01 cs.CV
Sensor Data Validation and Driving Safety in Autonomous Driving Systems
CITY UNIVERSITY OF HONG KONG（香港城市大学）
自动驾驶技术因其快速发展和极高的商业价值而受到广泛关注。最近自动驾驶技术的飞跃主要归功于环境感知的进步。良好的环境感知提供准确的高层次环境信息，这对于自动驾驶汽车做出安全和精确的驾驶决策和策略至关重要。此外，如果没有深度学习模型和先进的机载传感器，如光学传感器（激光雷达和摄像头）、雷达、GPS，准确的环境感知就不可能取得这样的进展。然而，先进的传感器和深度学习模型很容易受到最近发明的攻击方法的影响。例如，激光雷达和摄像头可能会受到光学攻击，深度学习模型可能会受到对抗性示例的攻击。对先进传感器和深度学习模型的攻击会在很大程度上影响环境感知的准确性，对自动驾驶汽车的安全性构成巨大威胁。本论文主要研究针对车载传感器攻击的检测方法，以及受攻击的深度学习模型与自动驾驶汽车驾驶安全之间的联系。为了检测攻击，可以利用冗余数据源，因为受害者传感器数据中的攻击引起的信息失真导致与来自其他冗余源的信息不一致。研究受攻击的深度学习模型与驾驶安全之间的联系.
2022-04-01 cs.CV
The NEOLIX Open Dataset for Autonomous Driving
NEOLIX
随着5G技术的逐渐成熟，自动驾驶技术越来越受到研究界的关注。自动驾驶汽车依赖于人工智能、视觉计算、雷达、监控设备和GPS的协同工作，使计算机能够在不受人为干扰的情况下自动安全地操纵汽车，但用于训练和系统评估的大规模数据集仍然是鲁棒感知模型开发中的一个棘手问题。本文介绍了NEOLIX数据集及其在自动驾驶领域的应用。我们的模板包括大约30，000个带有点云标签的帧，以及超过600k个带有注释的3D边界框。数据汇集覆盖多个区域，各种驾驶条件，包括白天、夜晚、黎明、黄昏和晴天。为了标记这个完整的数据集，我们为每个任务开发了各种工具和算法，以加快标记过程。希望我们的数据集和相关算法能够为自动驾驶在计算机视觉领域的进一步发展提供支持和激励。
2021-01-28 cs.CV
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University（同济大学）
人车协同驾驶技术减轻了人类驾驶员的工作负担，已成为自动驾驶的关键技术。然而，复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力，提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法，将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明，合作视觉感知能更准确地反映冲突最危险区域，预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法，为规划和控制提供准确的数据。
2022-04-21 cs.CV
Applications of Large Scale Foundation Models for Autonomous Driving
Futurewei Technology Inc.（未来网络技术有限公司）；University of Missouri（密苏里大学）
本文探讨了大语言模型与基础模型在自动驾驶中的应用，旨在利用人类知识与推理突破长尾困境，涵盖仿真、世界模型、数据标注及端到端规划等技术方向。
2024-01-05 cs.CV
Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
CAIR, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新研究所）；CASIA（中国科学院自动化研究所）
本文提出首个兼容端到端规划模型的驾驶世界模型 Drive-WM，通过视角分解联合时空建模生成多视角视频，并首次将其用于多未来预测与安全驾驶规划。
2023-11-29 cs.CV
Adversarial Driving: Attacking End-to-End Autonomous Driving
The University of Exeter（埃克塞特大学）；The University of the West of England（西英格兰大学）
本文针对端到端自动驾驶模型提出两种白盒定向图像扰动攻击，可在CPU上实时运行，并显著偏离预测转向角。
2023-12-12 cs.CV
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络（DNN）已广泛应用于自动驾驶等许多自主系统中。最近，DNN测试已经被广泛研究，以自动生成对抗性示例，这些示例将小幅度的扰动注入到输入中，以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的，但它们主要集中在生成数字对抗扰动（特别是对于自动驾驶），例如，改变图像像素，这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失：理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中，我们提出了DeepBillboard，这是一种系统的物理世界测试方法，针对一种常见而实用的驾驶场景：驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌，它可以在动态变化的驾驶条件下工作，包括视角，距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验，广泛评估了DeepBillboard的有效性和鲁棒性。结果表明，DeepBillboard是有效的各种转向模型和场景。此外，DeepBillboard具有足够的鲁棒性和弹性，可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知，这是第一项研究，证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional（Motional公司）
基于视觉的3D检测任务是自动驾驶系统感知的基础任务，已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而，使用相机的2D传感器输入数据来实现相当好的3D BEV（鸟瞰图）性能并不是一件容易的事情。在本文中，我们提供了一个文献调查现有的基于视觉的3D检测方法，专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析，并强调了不同的子组，以详细了解常见趋势。此外，我们强调了文献和行业趋势如何转向基于环绕视图图像的方法，并记录了这种方法解决的特殊情况的想法。最后，我们提出了基于当前技术的缺点，包括协同感知的方向，为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
DrivingGaussian提出一种复合高斯泼溅框架，通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标，并结合LiDAR先验，实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV
Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies
Black Sesame Technology Inc.（黑芝麻智能科技有限公司）；Futurewei Technology Inc.（星网锐捷技术有限公司）
自2004/05年DARPA Grand Challenges（农村）和2007年Urban Challenges以来，自动驾驶一直是人工智能应用最活跃的领域。几乎同时，深度学习也有几位先驱者取得了突破，其中Hinton、Bengio和LeCun三位（也被称为深度学习之父）在2019年获得了ACM都灵奖。这是一个关于自动驾驶技术与深度学习方法的调查。我们研究了自动驾驶系统的主要领域，如感知，地图和定位，预测，规划和控制，仿真，V2X和安全等。由于篇幅有限，我们重点分析了几个关键领域，即感知中的2D和3D目标检测，摄像机的深度估计，数据，特征和任务层面的多传感器融合，车辆驾驶和行人轨迹的行为建模和预测。
2020-07-04 cs.CV
Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System
School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械与动力工程学院）
针对V2X通信资源未被有效用于提升驾驶性能的问题，本文提出仿真平台V2Xverse和端到端协同驾驶系统CoDriving，通过面向驾驶的通信策略优化信息共享，显著提升驾驶得分并降低碰撞率。
2025-04-09 cs.CV
A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook
Technical University of Munich（慕尼黑工业大学）；The Ohio State University（俄亥俄州立大学）
本文从多角度详尽研究了265个自动驾驶数据集，提出评估影响的新指标，分析标注质量与环境条件影响，并探讨当前挑战与未来趋势。
2024-04-23 cs.CV
Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions
Microsoft STCA（微软亚洲互联网工程院）；Kyung Hee University（庆熙大学）
本文研究SAM在自动驾驶恶劣天气下的鲁棒性，旨在集成前评估其表现，为未来应用提供见解。
2023-06-23 cs.CV
PLoc: A New Evaluation Criterion Based on Physical Location for Autonomous Driving Datasets
Khoury College of Computer Science（计算机科学学院（Khoury））；Northeastern University（东北大学）
本文提出基于物理位置的自动驾驶评估准则PLoc，并构建重标注数据集ApolloScape-R，实验表明模型对车道内行人的检测准确率低于人行道行人，从而揭示传统评估忽视位置安全信息的不足。
2024-03-29 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University（雪城大学）；Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)（博世北美研究院及博世人工智能中心）
本文提出视觉-语言-规划框架VLP，利用语言模型增强自动驾驶的推理与上下文理解，在NuScenes上显著降低规划误差和碰撞率，并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
Real-time Streaming Perception System for Autonomous Driving
如今，大量的深度学习技术正在应用于自动驾驶的各个方面，并取得了可喜的成果。其中，目标检测是提高自主智能体感知环境的能力，使其能够（反应）行动的关键。然而，以前的基于视觉的目标检测器不能在实时的【形】驾驶场景下获得令人满意的性能。为了解决这个问题，我们在本文中提出了实时的【形】流感知系统，这也是流感知挑战赛（CVPR 2021自动驾驶研讨会）的第二名解决方案。与传统的目标检测主要关注绝对性能的挑战不同，流感知任务需要实现准确性和延迟的平衡，这对于实时的【形】自动驾驶至关重要。我们采用YOLOv 5作为我们的基本框架，数据增强，免费赠品袋，和Transformer采用，以提高流目标检测的性能，可以忽略不计的额外推理成本。在Argoverse-HD测试集上，我们的方法在所需的硬件条件下实现了33.2个流式AP（组织者验证了34.6个流式AP）。它的表现大大超过了13.6（主队）的固定基线，证明了应用的潜力。
2021-07-30 cs.CV
Nighttime Autonomous Driving Scene Reconstruction with Physically-Based Gaussian Splatting
Huawei Noah’s Ark Lab（华为诺亚实验室）；University of Toronto（多伦多大学）
本文提出基于物理的高斯点云方法，提升自动驾驶夜间场景重建质量，实现实时渲染并优于现有方法。
2026-02-14 cs.CV
Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多任务学习已经成为一种强大的范例，可以同时解决一系列任务，在计算资源和推理时间方面都具有良好的效率。然而，这些算法是为不同的任务而设计的，大多不在自动驾驶的范围内，因此很难比较自动驾驶中的多任务方法。为了能够全面评估自动驾驶中现有的多任务学习方法，我们广泛研究了大规模驾驶数据集上流行的多任务方法的性能，这些数据集涵盖了四种常见的感知任务，即，目标检测、语义分割、可驾驶区域分割和车道检测。我们提供了一个深入的分析，目前的多任务学习方法在不同的常见设置，发现现有的方法取得了进展，但仍然有很大的性能差距相比，单任务基线。为了缓解自动驾驶中的这种困境，我们提出了一个有效的多任务框架，VE提示，它通过特定任务的提示引入视觉范例，以引导模型学习高质量的特定任务的表示。具体来说，我们基于边界框和基于颜色的标记生成视觉样本，这提供了目标类别的准确视觉外观，并进一步减轻了性能差距。此外，我们将基于transformer的编码器和卷积层连接起来，以实现自动驾驶中高效准确的统一感知。在不同的自动驾驶数据集BDD 100K上的综合实验结果表明，VE-Prompt改进了多任务基线，并进一步超越了单任务模型。
2023-03-03 cs.CV
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法，在这种方法中，我们收集驾驶任务的眼睛注视数据，并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法，我们训练一个模型，让它在学习驾驶汽车时学会预测注意力。最后，我们提出了一个比较研究，我们的结果表明，监督的方法来预测注意时，纳入比其他方法更好。
2018-12-05 cs.CV
Fast Recurrent Fully Convolutional Networks for Direct Perception in Autonomous Driving
Berkeley Deep Drive（伯克利深度驾驶）；University of California, Berkeley（加州大学伯克利分校）
深度卷积神经网络（CNN）已被证明在各种任务中表现非常出色，包括自动驾驶的子任务，如图像分割和对象分类。然而，为这些任务设计的网络通常需要大量的训练数据和长的训练周期来收敛。我们通过提出并比较三种小型且计算成本低廉的深度端到端神经网络模型来研究端到端驱动网络设计背后的设计原理，这些模型直接从输入图像生成驱动控制信号。与之前对自动驾驶任务进行分段的工作相比，我们的模型采用了一种新的方法来解决自动驾驶问题，即利用具有递归神经网络和低参数计数的深度和细的全卷积网络（FCN）来处理复杂的端到端回归任务，预测转向和加速命令。此外，我们还包括针对分类进行优化的层，以允许网络隐式学习图像语义。我们发现，由此产生的网络使用的参数比最近的端到端驱动网络少3倍，比AlexNet变体少500倍，收敛速度更快，损失更低，同时保持对过拟合的鲁棒性。
2017-11-20 cs.CV
Reason induced visual attention for explainable autonomous driving
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习（DL）的计算机视觉（CV）模型由于可解释性差而通常被认为是黑箱。这种限制阻碍了系统故障的有效诊断或预测，从而阻碍了DLCV模型在自动驾驶等安全关键任务中的广泛部署。本研究的动机是需要提高自动驾驶中DL模型的可解释性，因此提出了一个可解释的基于DL的框架，该框架生成驾驶环境的文本描述，并根据生成的描述做出适当的决策。该框架通过对视觉输入（图像）和自然语言进行联合建模来模仿人类驾驶员的学习过程，同时使用语言来诱导图像中的视觉注意。结果表明，通过关注视觉输入的相关特征获得的自动驾驶决策具有很强的可解释性。此外，输出注意力图不仅通过对模型行为提供有意义的解释，而且通过识别模型的弱点和潜在的改进方向来增强模型的可解释性。
2021-10-11 cs.CV
Development of Real-time Rendering Technology for High-Precision Models in Autonomous Driving
我们的自动驾驶模拟实验室制作了模拟停车场的高精度3D模型。然而，目前的模型在某些方面仍然存在绘制质量差的问题。在这项工作中，我们开发了一个系统，以提高模型的渲染和评估渲染模型的质量。
2023-03-20 cs.CV cs.RO
Visual Perception System for Autonomous Driving
University of Bath（巴斯大学）
本文提出一种基于视觉的自动驾驶感知系统，集成行人等运动目标跟踪预测、相机定位与稀疏建图，并通过仿真和真实数据集验证其性能。
2023-10-31 cs.CV cs.RO
Semantic video segmentation for autonomous driving
Universität Bonn（波恩大学）
我们的目标是解决自动驾驶中的语义视频分割，即实时的视频中的道路检测，使用（Shelhamer et al.，2016年a）。虽然全卷积网络给出了很好的结果，但我们证明了速度可以减半，同时保持准确性。使用的测试数据集是KITTI，它由来自德国街道的真实镜头组成。
2020-10-28 cs.CV eess.IV
Hybrid Video Anomaly Detection for Anomalous Scenarios in Autonomous Driving
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（弗劳恩霍夫信息与通信技术研究中心）
针对自动驾驶场景，提出HF$^2$-VAD$_{AD}$方法，从车辆自视角学习正常性表示，在罕见关键场景中实现逐像素异常检测。
2025-04-28 cs.CV cs.RO
READ: Large-Scale Neural Scene Rendering for Autonomous Driving
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
合成具有真实感的自由视角图像是多媒体领域的一项重要任务。随着先进驾驶员辅助系统（ADAS）的发展及其在自动驾驶汽车中的应用，在不同场景下进行试验成为一项挑战。虽然真实感街道场景可以通过图像到图像的平移方法合成，但由于缺乏三维信息，无法生成连贯的场景。本文提出了一种大规模神经渲染方法来合成自动驾驶场景~（READ），使得通过多种采样方案在PC上合成大规模驾驶场景成为可能。为了表示驾驶场景，我们提出了一个ω渲染网络来从稀疏点云中学习神经描述符。该模型不仅可以合成逼真的驾驶场景，而且可以拼接和编辑驾驶场景。实验表明，我们的模型在大规模的驾驶场景中表现良好。
2022-05-11 cs.AI cs.CV
High-Definition Map Generation Technologies For Autonomous Driving
Ontario Tech University（安大略理工大学）
在过去的几年里，自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自动驾驶的道路上，研究人员利用了各种传感器，如LiDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用的智能算法，如目标检测，对象分割，避障和路径规划。近年来，高清（HD）地图引起了人们的广泛关注。由于高清地图在定位方面的高精度和信息水平，它已立即成为自动驾驶的关键组成部分之一。从百度Apollo、英伟达、TomTom等大型组织到个人研究人员，研究人员已经为自动驾驶创建了不同场景和目的的高清地图。有必要回顾一下高清地图生成的最新方法。本文回顾了最近的高清地图生成技术，利用2D和3D地图生成。本文介绍了高清地图的概念及其在自动驾驶中的实用性，并详细概述了高清地图生成技术。我们还将讨论当前高清地图生成技术的局限性，以激励未来的研究。
2022-06-24 cs.CV cs.RO
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea（赵陈夏石移动研究生院）
本综述聚焦自动驾驶领域的视觉Transformer应用，梳理其基础概念与多场景应用，对比架构优劣，并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University（西蒙菲莎大学）
针对自动驾驶传感器数据量大的问题，研究面向3D目标检测的相机与LiDAR多模态学习式压缩，对比联合编码与条件编码等方案，在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；Forschungszentrum Informatik（弗劳恩霍夫信息技术研究中心）；Hochschule Esslingen（埃斯林根应用技术大学）；University of Michigan（密歇根大学）；Voxel51；Karlsruher Institut für Technologie（卡尔斯鲁厄理工学院）
本文提出能力驱动的MLLMs自动驾驶场景理解评估框架，从语义、空间、时间、物理四维度及情境层、模态、下游任务组织评估，并通过两个交通场景验证其适用性。
2025-03-14 cs.CV cs.RO
Exploring the Causality of End-to-End Autonomous Driving
Baidu Inc.（百度公司）
本文提出一种系统性方法，通过控制变量、反事实干预和统计分析，探索端到端自动驾驶的因果性，并开发了工具和基线，在CARLA中验证，将黑箱变为白箱。
2024-07-19 cs.CV cs.RO
SUSTechGAN: Image Generation for Object Detection in Adverse Conditions of Autonomous Driving
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）；University of Macau（澳门大学）
提出SUSTechGAN框架，利用双注意力模块、多尺度生成器和新损失函数生成恶劣条件驾驶图像，显著提升YOLOv5在雨天和夜晚的目标检测性能。
2024-12-21 cs.AI cs.CV
Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University（同济大学汽车学院）；ZERON
本文提出一个现实对抗闭环评估平台，用于生成边缘情况以评估端到端自动驾驶系统，通过真实场景图像生成与对抗交通策略结合，验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO
DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving
University of Macau（澳门大学）
本文提出DME-Driver自动驾驶系统，结合大型视觉语言模型作为逻辑决策器与3D场景感知模型作为控制信号生成器，并构建新数据集以实现高精度且可解释的规划。
2024-01-08 cs.CV cs.RO
Safety Metrics for Semantic Segmentation in Autonomous Driving
DENSO AUTOMOTIVE Deutschland GmbH（电装汽车德国有限公司）；TU Munich（慕尼黑工业大学）
在自动驾驶的背景下，深度神经网络的安全相关度量已被广泛研究用于图像分类和目标检测。在本文中，我们进一步考虑专门用于语义分割的安全感知的正确性和鲁棒性度量。我们的建议的新颖性是超越像素级指标：给定两个图像，每个图像有N个像素被类翻转，设计的指标应该，取决于被类翻转的像素的聚类或发生的位置，反映不同级别的安全关键性。在自动驾驶数据集上评估的结果证明了我们提出的方法的有效性和实用性。
2021-09-25 cs.CV cs.LG
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University（德雷塞尔大学）
本报告通过分析基于视觉的系统与感知指标的最新进展，探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法，旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control
MEGVII（旷视科技）
本文提出 SubjectDrive 模型，通过主体控制机制利用多样化外部数据源提升生成数据的多样性，从而有效扩展自动驾驶训练数据生产并持续改进下游感知模型性能。
2024-12-26 cs.CV cs.RO
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology（北京理工大学）
本文介绍了在2018年中国方程式学生自主驾驶比赛（FSAC）中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中，一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构，保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶，基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后，采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后，基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
TJ4DRadSet: A 4D Radar Dataset for Autonomous Driving
下一代高分辨率汽车雷达（4D雷达）可以提供额外的高程测量和更密集的点云，这在自动驾驶的3D传感方面具有巨大的潜力。在本文中，我们介绍了一个名为TJ4DRadSet的数据集与4D雷达点的自动驾驶研究。该数据集是在各种驾驶场景中收集的，共有44个连续序列中的7757个同步帧，这些序列都用3D边界框和轨迹ID进行了很好的注释。我们为我们的数据集提供了一个基于4D雷达的3D目标检测基线，以证明4D雷达点云的深度学习方法的有效性。该数据集可通过以下链接访问：https://github.com/TJRadarLab/TJ4DRadSet。
2022-07-27 cs.AI cs.CV
Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents
自动驾驶是一个多任务问题，需要对视觉环境有深入的了解。端到端自动驾驶系统作为一种学习驾驶的方法越来越受到关注，而无需为不同的驾驶场景详尽地编程行为。当人类驾驶时，他们依赖于一个微调的感觉系统，使他们能够快速获得所需的信息，同时过滤不必要的细节。这种识别图像中特定任务的高兴趣区域的能力通常对自动驾驶代理和机器学习系统有益。为了创建一个能够模仿人类凝视模式和视觉注意力的系统，我们在虚拟现实环境中收集了人类驾驶员的眼动数据。我们使用这些数据来训练深度神经网络，预测人类开车时最有可能看的地方。然后，我们使用这个经过训练的网络的输出，使用各种掩蔽技术选择性地掩蔽驾驶图像。最后，使用这些掩蔽图像作为输入来训练自动驾驶代理。经过比较，我们发现处理原始图像和注意力掩蔽图像的双分支架构大大优于所有其他模型，与仅在原始图像上训练的标准端到端模型相比，控制信号预测的误差减少了25.5%。
2019-09-11 cs.CV cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University（奥克兰大学）
本综述系统回顾了自动驾驶领域的全景感知模型，比较了其输入、架构及在性能、响应速度和资源利用率上的表现，并探讨了当前挑战与未来研究方向，为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
RGB cameras failures and their effects in autonomous driving applications
University of Florence（佛罗伦萨大学）
RGB摄像头是自动驾驶应用中最相关的传感器之一。不可否认的是，车载摄像头的故障可能会危及自动驾驶任务，当驾驶系统随后处理的图像被更改时，可能会导致不安全的行为。为了支持安全和强大的车辆架构和智能系统的定义，在本文中，我们定义了车载摄像头的故障模式，以及影响和已知缓解措施的分析。此外，我们建立了一个软件库，用于生成相应的失败图像，并将它们馈送到单声道和立体声相机的六个对象检测器以及自动驾驶模拟器的自动驾驶代理。由此产生的与操作干净的图像有关的不当行为允许更好地理解基于图像的应用中的故障影响和相关的安全风险。
2022-03-04 cs.CV cs.LG cs.SE
Post-Training in End-to-End Autonomous Driving
Northeastern University（东北大学）；Purdue University（普渡大学）
探讨端到端自动驾驶中训练后处理技术，针对传统方法不足，将现有文献按监督形式分四类，阐述各分类的能力、局限与挑战，助力系统理解该领域并推动相关研究。
2026-07-15 cs.CV cs.RO
DrivingAgent: Design and Scheduling Agents for Autonomous Driving Systems
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；University of California, Merced（加州大学默塞德分校）
提出DrivingAgent框架，通过自动化模块开发（设计阶段）和强化学习训练的轻量级LLM实时调度（调度阶段），解决自动驾驶系统集成新模型和满足实时约束的挑战，在nuScenes和Bench2Drive上取得更优速度-精度权衡。
2026-06-12 cs.CV cs.RO
RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving
Tongji University（同济大学）；Yale University（耶鲁大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对VLM空间感知不足与幻觉问题，提出RAD检索增强决策框架，结合三阶段RAG流程和NuScenes微调，提升自动驾驶元动作决策性能。
2025-03-18 cs.AI cs.CV
Trajectory Prediction for Autonomous Driving with Topometric Map
最先进的自动驾驶系统依赖于高清（HD）地图进行定位和导航。然而，构建和维护高清地图既耗时又昂贵。此外，高清地图假设结构化的环境，如主要道路和车道的存在，这是不存在于农村地区。在这项工作中，我们提出了一个端到端的Transformer网络为基础的方法，地图无自动驾驶。该模型以原始LiDAR数据和噪声地形图作为输入，产生精确的局部导航轨迹。我们证明了我们的方法在现实世界的驾驶数据，包括城市和农村地区的有效性。实验结果表明，所提出的方法优于最先进的多模态方法，是强大的拓扑图的扰动。所提出的方法的代码是公开的\url{https://github.com/Jiaolong/trajectory-prediction}。
2021-05-09 cs.CV cs.RO
Autonomous Driving Implementation in an Experimental Environment
Sakarya University（萨卡里亚大学）
自主系统需要识别环境，在将其安全地付诸实践之前还有很长的路要走。在自动驾驶系统中，障碍物和交通信号灯的检测与车道跟踪一样重要。在这项研究中，自主驾驶系统的开发和测试的实验环境中，为此目的而设计。在该系统中，具有摄像头的模型车辆用于跟踪车道和避开障碍物，以实验研究自动驾驶行为。训练卷积神经网络模型进行车道线跟踪。针对车辆避障问题，分别建立了角点检测、光流、焦点扩展、碰撞时间、平衡计算和决策机制。
2021-05-23 cs.CV cs.LG cs.RO
One-Stage Object Detectors in Autonomous Driving
Florida Gulf Coast University（佛罗里达海湾海岸大学）
本文针对自动驾驶场景调研分析单阶段目标检测器，涵盖其演进、架构对比、相关数据集与指标等，指出该类检测器需平衡速度等性能且与实际应用仍有差距。
2026-08-20 cs.AI cs.CV
Vision Language Models in Autonomous Driving: A Survey and Outlook
Technical University of Munich（慕尼黑工业大学）；The Ohio State University（俄亥俄州立大学）
本文综述了视觉语言模型在自动驾驶领域感知、规划、决策等多方向的研究进展、任务指标与相关数据集，分析其优势挑战并指出研究空白与未来趋势。
2024-06-20 cs.AI cs.CV
Affordance Learning In Direct Perception for Autonomous Driving
University of Waterloo（滑铁卢大学）
自动驾驶的最新发展涉及高级计算机视觉和详细的道路场景理解。如今，大多数自动驾驶汽车都使用中介感知方法进行路径规划和控制，这高度依赖于高清3D地图和实时的传感器。最近的研究工作旨在用粗糙的道路属性替代大量的高清地图。在本文中，我们遵循基于直接感知的方法来训练深度神经网络，用于自动驾驶中的示能性学习。我们在这项工作中的目标是开发基于免费提供的谷歌街景地图和开放街道地图道路矢量属性的启示学习模型。驾驶场景理解可以通过从车载摄像机捕获的图像中学习启示来实现。通过学习示能表示的这种场景理解可用于证实诸如HD地图的底图，使得所需的数据存储空间被最小化并且可用于实时的处理。通过实验评估，我们比较了人类志愿者和我们的模型在道路属性识别方面的能力。我们的研究结果表明，这种方法可以作为一种更便宜的方式收集训练数据在自动驾驶。交叉验证的结果也表明了我们的模型的有效性。
2019-03-20 cs.CV cs.IR
3D Object Visibility Prediction in Autonomous Driving
LiangDao GmbH（良道有限公司）；Ilmenau University of Technology（伊尔默瑙工业大学）；Great Wall Motor Co., Ltd.（长城汽车股份有限公司）
针对自动驾驶感知阶段的需求，该研究提出3D目标可见性新属性及对应算法，结合多任务学习实现对模型效果与效率的极小影响，拓展下游任务能力，提升实时自动驾驶的安全可靠性。
2024-03-06 cs.CV cs.RO
