Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas（北德克萨斯大学）；Fordham University（福特汉姆大学）；Qatar University（卡塔尔大学）；University of Nebraska at Kearney（内布拉斯加大学卡尼尔分校）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术，分析传感器天气限制及市场影响，并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
Deep Event-based Object Detection in Autonomous Driving: A Survey
School of System Engineering NUDT Changsha, China
本文综述自动驾驶中基于事件相机的深度目标检测方法，分析事件数据异步稀疏带来的低延迟与轻量架构挑战，并阐明事件相机相较传统帧相机的优势。
2024-05-07 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications（北京邮电大学）
随着自动驾驶技术的蓬勃发展，复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波（mmWave）雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先，我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说，我们将融合方法分为数据级，决策级和特征级融合方法。此外，我们还介绍了三维（3D）目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合，这些都是未来很有希望的。最后，对本文进行了总结。
2022-04-01 cs.CV
Sensor Data Validation and Driving Safety in Autonomous Driving Systems
CITY UNIVERSITY OF HONG KONG（香港城市大学）
自动驾驶技术因其快速发展和极高的商业价值而受到广泛关注。最近自动驾驶技术的飞跃主要归功于环境感知的进步。良好的环境感知提供准确的高层次环境信息，这对于自动驾驶汽车做出安全和精确的驾驶决策和策略至关重要。此外，如果没有深度学习模型和先进的机载传感器，如光学传感器（激光雷达和摄像头）、雷达、GPS，准确的环境感知就不可能取得这样的进展。然而，先进的传感器和深度学习模型很容易受到最近发明的攻击方法的影响。例如，激光雷达和摄像头可能会受到光学攻击，深度学习模型可能会受到对抗性示例的攻击。对先进传感器和深度学习模型的攻击会在很大程度上影响环境感知的准确性，对自动驾驶汽车的安全性构成巨大威胁。本论文主要研究针对车载传感器攻击的检测方法，以及受攻击的深度学习模型与自动驾驶汽车驾驶安全之间的联系。为了检测攻击，可以利用冗余数据源，因为受害者传感器数据中的攻击引起的信息失真导致与来自其他冗余源的信息不一致。研究受攻击的深度学习模型与驾驶安全之间的联系.
2022-04-01 cs.CV
The NEOLIX Open Dataset for Autonomous Driving
NEOLIX
随着5G技术的逐渐成熟，自动驾驶技术越来越受到研究界的关注。自动驾驶汽车依赖于人工智能、视觉计算、雷达、监控设备和GPS的协同工作，使计算机能够在不受人为干扰的情况下自动安全地操纵汽车，但用于训练和系统评估的大规模数据集仍然是鲁棒感知模型开发中的一个棘手问题。本文介绍了NEOLIX数据集及其在自动驾驶领域的应用。我们的模板包括大约30，000个带有点云标签的帧，以及超过600k个带有注释的3D边界框。数据汇集覆盖多个区域，各种驾驶条件，包括白天、夜晚、黎明、黄昏和晴天。为了标记这个完整的数据集，我们为每个任务开发了各种工具和算法，以加快标记过程。希望我们的数据集和相关算法能够为自动驾驶在计算机视觉领域的进一步发展提供支持和激励。
2021-01-28 cs.CV
Adversarial Agent Behavior Learning in Autonomous Driving Using Deep Reinforcement Learning
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出一种基于深度强化学习的方法，学习对抗性智能体行为以诱发自动驾驶中基于规则的周围智能体发生失败场景，并通过实验验证其能降低累积奖励。
2025-08-21 cs.CV
Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University（同济大学汽车学院）；ZERON
本文提出一个现实对抗闭环评估平台，用于生成边缘情况以评估端到端自动驾驶系统，通过真实场景图像生成与对抗交通策略结合，验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University（同济大学）
人车协同驾驶技术减轻了人类驾驶员的工作负担，已成为自动驾驶的关键技术。然而，复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力，提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法，将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明，合作视觉感知能更准确地反映冲突最危险区域，预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法，为规划和控制提供准确的数据。
2022-04-21 cs.CV
A Survey on Adversarial Robustness of LiDAR-based Machine Learning Perception in Autonomous Vehicles
本文综述了自动驾驶中基于LiDAR的机器学习感知系统面临的对抗攻击威胁及相应防御策略，强调构建稳健防御体系对保障自动驾驶安全的重要性。
2024-11-21 cs.AI cs.CR cs.LG
Applications of Large Scale Foundation Models for Autonomous Driving
Futurewei Technology Inc.（未来网络技术有限公司）；University of Missouri（密苏里大学）
本文探讨了大语言模型与基础模型在自动驾驶中的应用，旨在利用人类知识与推理突破长尾困境，涵盖仿真、世界模型、数据标注及端到端规划等技术方向。
2024-01-05 cs.CV
Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
CAIR, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新研究所）；CASIA（中国科学院自动化研究所）
本文提出首个兼容端到端规划模型的驾驶世界模型 Drive-WM，通过视角分解联合时空建模生成多视角视频，并首次将其用于多未来预测与安全驾驶规划。
2023-11-29 cs.CV
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；List（李斯特研究所）
近年来，我们见证了自动端到端驾驶领域越来越高的性能。特别是，越来越多的研究正在做的城市环境中，汽车必须遵循高级别的命令来导航驾驶。然而，很少有评价的能力，这些代理人在一个意想不到的情况下作出反应。具体地，在坏的高级命令的情况下，不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法，即一个基准，允许评估的代理的鲁棒性，并欣赏其理解的环境，通过其能力，以保持一个安全的行为，无论指令。
2021-05-20 cs.AI cs.CV cs.LG
Adversarial Driving: Attacking End-to-End Autonomous Driving
The University of Exeter（埃克塞特大学）；The University of the West of England（西英格兰大学）
本文针对端到端自动驾驶模型提出两种白盒定向图像扰动攻击，可在CPU上实时运行，并显著偏离预测转向角。
2023-12-12 cs.CV
Applying adversarial networks to increase the data efficiency and reliability of Self-Driving Cars
卷积神经网络（CNN）在存在小扰动时容易对图像进行错误分类。随着CNN在自动驾驶汽车中的日益普及，确保这些算法的鲁棒性以防止由于无法识别情况而发生碰撞至关重要。在对抗性自驱动框架中，实现生成对抗网络（GAN）以在图像中生成导致分类器CNN错误分类数据的真实扰动。然后，该扰动的数据用于进一步训练分类器CNN。对抗性自驾驶框架被应用于图像分类算法，以提高扰动图像的分类精度，随后被应用于训练自动驾驶汽车在模拟中驾驶。还建造了一辆小型自动驾驶汽车，用于在赛道上行驶并对标志进行分类。对抗性自驾驶框架通过学习数据集来生成扰动图像，从而消除了对大量数据进行训练的需要。实验表明，对抗自驱动框架识别出CNN容易受到扰动的情况，并为CNN生成这些情况的新示例进行训练。对抗自驱动框架生成的额外数据为CNN提供了足够的数据来推广到环境中。因此，它是一个可行的工具，以增加CNN的弹性扰动。特别是在现实世界的自动驾驶汽车中，对抗性自动驾驶框架的应用使准确率提高了18%，模拟的自动驾驶模型在30分钟的驾驶中没有发生碰撞。
2022-02-16 cs.CR cs.CV cs.LG
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络（DNN）已广泛应用于自动驾驶等许多自主系统中。最近，DNN测试已经被广泛研究，以自动生成对抗性示例，这些示例将小幅度的扰动注入到输入中，以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的，但它们主要集中在生成数字对抗扰动（特别是对于自动驾驶），例如，改变图像像素，这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失：理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中，我们提出了DeepBillboard，这是一种系统的物理世界测试方法，针对一种常见而实用的驾驶场景：驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌，它可以在动态变化的驾驶条件下工作，包括视角，距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验，广泛评估了DeepBillboard的有效性和鲁棒性。结果表明，DeepBillboard是有效的各种转向模型和场景。此外，DeepBillboard具有足够的鲁棒性和弹性，可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知，这是第一项研究，证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
A Language Agent for Autonomous Driving
University of Southern California（南加州大学）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
本文提出Agent-Driver，利用大型语言模型作为认知智能体，通过工具库、认知记忆和推理引擎将类人智能集成到自动驾驶系统，在nuScenes基准上大幅超越现有方法，并具备卓越可解释性和少样本学习能力。
2024-07-28 cs.AI cs.CL cs.CV
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional（Motional公司）
基于视觉的3D检测任务是自动驾驶系统感知的基础任务，已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而，使用相机的2D传感器输入数据来实现相当好的3D BEV（鸟瞰图）性能并不是一件容易的事情。在本文中，我们提供了一个文献调查现有的基于视觉的3D检测方法，专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析，并强调了不同的子组，以详细了解常见趋势。此外，我们强调了文献和行业趋势如何转向基于环绕视图图像的方法，并记录了这种方法解决的特殊情况的想法。最后，我们提出了基于当前技术的缺点，包括协同感知的方向，为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
DrivingGaussian提出一种复合高斯泼溅框架，通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标，并结合LiDAR先验，实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV
Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies
Black Sesame Technology Inc.（黑芝麻智能科技有限公司）；Futurewei Technology Inc.（星网锐捷技术有限公司）
自2004/05年DARPA Grand Challenges（农村）和2007年Urban Challenges以来，自动驾驶一直是人工智能应用最活跃的领域。几乎同时，深度学习也有几位先驱者取得了突破，其中Hinton、Bengio和LeCun三位（也被称为深度学习之父）在2019年获得了ACM都灵奖。这是一个关于自动驾驶技术与深度学习方法的调查。我们研究了自动驾驶系统的主要领域，如感知，地图和定位，预测，规划和控制，仿真，V2X和安全等。由于篇幅有限，我们重点分析了几个关键领域，即感知中的2D和3D目标检测，摄像机的深度估计，数据，特征和任务层面的多传感器融合，车辆驾驶和行人轨迹的行为建模和预测。
2020-07-04 cs.CV
Development of Real-time Rendering Technology for High-Precision Models in Autonomous Driving
我们的自动驾驶模拟实验室制作了模拟停车场的高精度3D模型。然而，目前的模型在某些方面仍然存在绘制质量差的问题。在这项工作中，我们开发了一个系统，以提高模型的渲染和评估渲染模型的质量。
2023-03-20 cs.CV cs.RO
Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System
School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械与动力工程学院）
针对V2X通信资源未被有效用于提升驾驶性能的问题，本文提出仿真平台V2Xverse和端到端协同驾驶系统CoDriving，通过面向驾驶的通信策略优化信息共享，显著提升驾驶得分并降低碰撞率。
2025-04-09 cs.CV
A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook
Technical University of Munich（慕尼黑工业大学）；The Ohio State University（俄亥俄州立大学）
本文从多角度详尽研究了265个自动驾驶数据集，提出评估影响的新指标，分析标注质量与环境条件影响，并探讨当前挑战与未来趋势。
2024-04-23 cs.CV
Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions
Microsoft STCA（微软亚洲互联网工程院）；Kyung Hee University（庆熙大学）
本文研究SAM在自动驾驶恶劣天气下的鲁棒性，旨在集成前评估其表现，为未来应用提供见解。
2023-06-23 cs.CV
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université（索邦大学）
本调查回顾了基于视觉的自动驾驶系统的解释方法，该系统经过行为克隆训练。可解释性的概念有几个方面，对可解释性的需求在驾驶中很强，这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献，即计算机视觉、深度学习、自动驾驶、可解释人工智能（X-AI），解决了几个问题。首先，它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机，以及该应用所特有的挑战。其次，全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三，详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后，剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
Towards Benchmarking and Assessing the Safety and Robustness of Autonomous Driving on Safety-critical Scenarios
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Institute of Data Space, Hefei Comprehensive National Science Center（合肥综合性国家科学中心数据空间研究院）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；A*STAR（新加坡科技研究局）
本研究针对自动驾驶在安全关键场景下的安全性与鲁棒性评估不足的问题，明确了安全关键场景定义，开发了涵盖感知与系统级评估的自动驾驶安全测试平台，为行业建立标准化测试框架和降低实际道路部署风险提供技术支持。
2025-04-07 cs.AI cs.RO
PLoc: A New Evaluation Criterion Based on Physical Location for Autonomous Driving Datasets
Khoury College of Computer Science（计算机科学学院（Khoury））；Northeastern University（东北大学）
本文提出基于物理位置的自动驾驶评估准则PLoc，并构建重标注数据集ApolloScape-R，实验表明模型对车道内行人的检测准确率低于人行道行人，从而揭示传统评估忽视位置安全信息的不足。
2024-03-29 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University（雪城大学）；Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)（博世北美研究院及博世人工智能中心）
本文提出视觉-语言-规划框架VLP，利用语言模型增强自动驾驶的推理与上下文理解，在NuScenes上显著降低规划误差和碰撞率，并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
Adversarial Appearance Learning in Augmented Cityscapes for Pedestrian Recognition in Autonomous Driving
TU Munich（慕尼黑技术大学）；BMW AG（宝马集团）；Google（谷歌）
本文提出一种基于数据增强和对抗性光照学习生成虚拟行人的流程，以缩小合成与真实域差距，有效提升自动驾驶场景下的行人识别及分割性能。
2025-09-16 cs.CV
Real-time Streaming Perception System for Autonomous Driving
如今，大量的深度学习技术正在应用于自动驾驶的各个方面，并取得了可喜的成果。其中，目标检测是提高自主智能体感知环境的能力，使其能够（反应）行动的关键。然而，以前的基于视觉的目标检测器不能在实时的【形】驾驶场景下获得令人满意的性能。为了解决这个问题，我们在本文中提出了实时的【形】流感知系统，这也是流感知挑战赛（CVPR 2021自动驾驶研讨会）的第二名解决方案。与传统的目标检测主要关注绝对性能的挑战不同，流感知任务需要实现准确性和延迟的平衡，这对于实时的【形】自动驾驶至关重要。我们采用YOLOv 5作为我们的基本框架，数据增强，免费赠品袋，和Transformer采用，以提高流目标检测的性能，可以忽略不计的额外推理成本。在Argoverse-HD测试集上，我们的方法在所需的硬件条件下实现了33.2个流式AP（组织者验证了34.6个流式AP）。它的表现大大超过了13.6（主队）的固定基线，证明了应用的潜力。
2021-07-30 cs.CV
Visual Perception System for Autonomous Driving
University of Bath（巴斯大学）
本文提出一种基于视觉的自动驾驶感知系统，集成行人等运动目标跟踪预测、相机定位与稀疏建图，并通过仿真和真实数据集验证其性能。
2023-10-31 cs.CV cs.RO
Transferable Physical-World Adversarial Patches Against Object Detection in Autonomous Driving
Huazhong University of Science（华中科技大学）
本文提出AdvAD方法，通过统一框架优化多检测模型的对抗性补丁，提升其在不同架构中的鲁棒性和转移性，实验表明其在性能和可转移性上优于现有方法。
2026-04-25 cs.CV
Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多任务学习已经成为一种强大的范例，可以同时解决一系列任务，在计算资源和推理时间方面都具有良好的效率。然而，这些算法是为不同的任务而设计的，大多不在自动驾驶的范围内，因此很难比较自动驾驶中的多任务方法。为了能够全面评估自动驾驶中现有的多任务学习方法，我们广泛研究了大规模驾驶数据集上流行的多任务方法的性能，这些数据集涵盖了四种常见的感知任务，即，目标检测、语义分割、可驾驶区域分割和车道检测。我们提供了一个深入的分析，目前的多任务学习方法在不同的常见设置，发现现有的方法取得了进展，但仍然有很大的性能差距相比，单任务基线。为了缓解自动驾驶中的这种困境，我们提出了一个有效的多任务框架，VE提示，它通过特定任务的提示引入视觉范例，以引导模型学习高质量的特定任务的表示。具体来说，我们基于边界框和基于颜色的标记生成视觉样本，这提供了目标类别的准确视觉外观，并进一步减轻了性能差距。此外，我们将基于transformer的编码器和卷积层连接起来，以实现自动驾驶中高效准确的统一感知。在不同的自动驾驶数据集BDD 100K上的综合实验结果表明，VE-Prompt改进了多任务基线，并进一步超越了单任务模型。
2023-03-03 cs.CV
Adversarial Attack and Defense of YOLO Detectors in Autonomous Driving Scenarios
Bowling Green State University（鲍灵格林州立大学）
视觉检测是自动驾驶中的一项关键任务，是自动驾驶规划和控制的重要基础。深度神经网络在各种视觉任务中取得了令人鼓舞的成果，但众所周知，它们容易受到对抗攻击的攻击。在人们提高其鲁棒性之前，需要全面了解深度视觉检测器的脆弱性。然而，只有少数对抗攻击/防御工作集中在目标检测，他们中的大多数只采用分类和/或定位损失，忽略了对象方面。在本文中，我们确定了YOLO检测器中一个严重的对象相关对抗漏洞，并针对自动驾驶汽车视觉检测的对象方面提出了一种有效的攻击策略。此外，为了解决这种脆弱性，我们提出了一种新的对象感知对抗训练方法用于视觉检测。实验表明，针对对象方面的攻击是45.17%和43.50%，分别比那些产生的分类和/或本地化损失的KITTI和COCO流量数据集，更有效。此外，所提出的对抗性防御方法可以提高检测器对面向对象攻击的鲁棒性，在KITTI和COCO流量上分别提高21%和12%mAP。
2022-07-03 cs.CV
Attack End-to-End Autonomous Driving through Module-Wise Noise
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；School of Software, Beihang University（北京航空航天大学软件学院）
针对端到端自动驾驶模型对抗攻击研究不足的问题，本文首次开展模块化端到端自动驾驶模型的全面对抗安全研究，提出模块级噪声注入的通用攻击方案，实验证明其效果优于现有方法，为自动驾驶系统安全保障提供新思路。
2024-09-12 cs.AI cs.LG
Semantic video segmentation for autonomous driving
Universität Bonn（波恩大学）
我们的目标是解决自动驾驶中的语义视频分割，即实时的视频中的道路检测，使用（Shelhamer et al.，2016年a）。虽然全卷积网络给出了很好的结果，但我们证明了速度可以减半，同时保持准确性。使用的测试数据集是KITTI，它由来自德国街道的真实镜头组成。
2020-10-28 cs.CV eess.IV
Hybrid Video Anomaly Detection for Anomalous Scenarios in Autonomous Driving
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（弗劳恩霍夫信息与通信技术研究中心）
针对自动驾驶场景，提出HF$^2$-VAD$_{AD}$方法，从车辆自视角学习正常性表示，在罕见关键场景中实现逐像素异常检测。
2025-04-28 cs.CV cs.RO
High-Definition Map Generation Technologies For Autonomous Driving
Ontario Tech University（安大略理工大学）
在过去的几年里，自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自动驾驶的道路上，研究人员利用了各种传感器，如LiDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用的智能算法，如目标检测，对象分割，避障和路径规划。近年来，高清（HD）地图引起了人们的广泛关注。由于高清地图在定位方面的高精度和信息水平，它已立即成为自动驾驶的关键组成部分之一。从百度Apollo、英伟达、TomTom等大型组织到个人研究人员，研究人员已经为自动驾驶创建了不同场景和目的的高清地图。有必要回顾一下高清地图生成的最新方法。本文回顾了最近的高清地图生成技术，利用2D和3D地图生成。本文介绍了高清地图的概念及其在自动驾驶中的实用性，并详细概述了高清地图生成技术。我们还将讨论当前高清地图生成技术的局限性，以激励未来的研究。
2022-06-24 cs.CV cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University（奥克兰大学）
本综述系统回顾了自动驾驶领域的全景感知模型，比较了其输入、架构及在性能、响应速度和资源利用率上的表现，并探讨了当前挑战与未来研究方向，为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
RGB cameras failures and their effects in autonomous driving applications
University of Florence（佛罗伦萨大学）
RGB摄像头是自动驾驶应用中最相关的传感器之一。不可否认的是，车载摄像头的故障可能会危及自动驾驶任务，当驾驶系统随后处理的图像被更改时，可能会导致不安全的行为。为了支持安全和强大的车辆架构和智能系统的定义，在本文中，我们定义了车载摄像头的故障模式，以及影响和已知缓解措施的分析。此外，我们建立了一个软件库，用于生成相应的失败图像，并将它们馈送到单声道和立体声相机的六个对象检测器以及自动驾驶模拟器的自动驾驶代理。由此产生的与操作干净的图像有关的不当行为允许更好地理解基于图像的应用中的故障影响和相关的安全风险。
2022-03-04 cs.CV cs.LG cs.SE
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea（赵陈夏石移动研究生院）
本综述聚焦自动驾驶领域的视觉Transformer应用，梳理其基础概念与多场景应用，对比架构优劣，并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Weighted Average Precision: Adversarial Example Detection in the Visual Perception of Autonomous Vehicles
Syracuse University（雪城大学）
最近的研究表明，神经网络容易受到精心制作的对抗性示例（AE）的影响。通过向输入图像添加小的扰动，AE能够使受害者模型预测不正确的输出。对抗性机器学习中的一些研究工作开始关注自动驾驶中的AE检测。然而，现有的研究要么使用初步假设的检测输出或忽略的感知管道中的跟踪系统。在本文中，我们首先提出了一种新的距离度量实际自动驾驶目标检测输出。然后，我们弥合了目前的AE检测研究和现实世界的自主系统之间的差距，通过提供一个时间检测算法，它考虑到跟踪系统的影响。我们对Berkeley Deep Drive（BDD）和CityScapes数据集进行了评估，以显示我们的方法如何通过提高17.76%的性能准确度来优于现有的基于单帧mAP的AE检测。
2020-05-04 cs.CV eess.IV
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University（西蒙菲莎大学）
针对自动驾驶传感器数据量大的问题，研究面向3D目标检测的相机与LiDAR多模态学习式压缩，对比联合编码与条件编码等方案，在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；Forschungszentrum Informatik（弗劳恩霍夫信息技术研究中心）；Hochschule Esslingen（埃斯林根应用技术大学）；University of Michigan（密歇根大学）；Voxel51；Karlsruher Institut für Technologie（卡尔斯鲁厄理工学院）
本文提出能力驱动的MLLMs自动驾驶场景理解评估框架，从语义、空间、时间、物理四维度及情境层、模态、下游任务组织评估，并通过两个交通场景验证其适用性。
2025-03-14 cs.CV cs.RO
Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；Department of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系）；David Cheriton school of Computer science, University of Waterloo（滑铁卢大学戴维·谢里顿计算机学院）；University of Waterloo（滑铁卢大学）
本文分析了自动驾驶应用中深度学习模型的鲁棒性，并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Exploring the Causality of End-to-End Autonomous Driving
Baidu Inc.（百度公司）
本文提出一种系统性方法，通过控制变量、反事实干预和统计分析，探索端到端自动驾驶的因果性，并开发了工具和基线，在CARLA中验证，将黑箱变为白箱。
2024-07-19 cs.CV cs.RO
Exploring Adversarial Robustness of LiDAR-Camera Fusion Model in Autonomous Driving
Zhejiang University（浙江大学）
本研究评估LiDAR-camera融合模型在3D目标检测中的对抗鲁棒性，提出通过在车上方添加少量物理约束对抗点即可仅凭LiDAR通道欺骗模型，并分析了多种因素对攻击成功率的影响。
2024-01-09 cs.AI cs.RO
Autonomous Driving Implementation in an Experimental Environment
Sakarya University（萨卡里亚大学）
自主系统需要识别环境，在将其安全地付诸实践之前还有很长的路要走。在自动驾驶系统中，障碍物和交通信号灯的检测与车道跟踪一样重要。在这项研究中，自主驾驶系统的开发和测试的实验环境中，为此目的而设计。在该系统中，具有摄像头的模型车辆用于跟踪车道和避开障碍物，以实验研究自动驾驶行为。训练卷积神经网络模型进行车道线跟踪。针对车辆避障问题，分别建立了角点检测、光流、焦点扩展、碰撞时间、平衡计算和决策机制。
2021-05-23 cs.CV cs.LG cs.RO
DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving
University of Macau（澳门大学）
本文提出DME-Driver自动驾驶系统，结合大型视觉语言模型作为逻辑决策器与3D场景感知模型作为控制信号生成器，并构建新数据集以实现高精度且可解释的规划。
2024-01-08 cs.CV cs.RO
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University（德雷塞尔大学）
本报告通过分析基于视觉的系统与感知指标的最新进展，探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法，旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control
MEGVII（旷视科技）
本文提出 SubjectDrive 模型，通过主体控制机制利用多样化外部数据源提升生成数据的多样性，从而有效扩展自动驾驶训练数据生产并持续改进下游感知模型性能。
2024-12-26 cs.CV cs.RO
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology（北京理工大学）
本文介绍了在2018年中国方程式学生自主驾驶比赛（FSAC）中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中，一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构，保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶，基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后，采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后，基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
Attacking Autonomous Driving Agents with Adversarial Machine Learning: A Holistic Evaluation with the CARLA Leaderboard
Carnegie Mellon University（卡内基梅隆大学）
该研究借助CARLA模拟器与CARLA排行榜，在不修改智能体代码的前提下测试对抗补丁对多类开源自动驾驶智能体的攻击效果，发现部分非ML模块可抵消对抗样本对ML模型的误导作用。
2025-11-18 cs.CR cs.CV cs.LG
Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents
自动驾驶是一个多任务问题，需要对视觉环境有深入的了解。端到端自动驾驶系统作为一种学习驾驶的方法越来越受到关注，而无需为不同的驾驶场景详尽地编程行为。当人类驾驶时，他们依赖于一个微调的感觉系统，使他们能够快速获得所需的信息，同时过滤不必要的细节。这种识别图像中特定任务的高兴趣区域的能力通常对自动驾驶代理和机器学习系统有益。为了创建一个能够模仿人类凝视模式和视觉注意力的系统，我们在虚拟现实环境中收集了人类驾驶员的眼动数据。我们使用这些数据来训练深度神经网络，预测人类开车时最有可能看的地方。然后，我们使用这个经过训练的网络的输出，使用各种掩蔽技术选择性地掩蔽驾驶图像。最后，使用这些掩蔽图像作为输入来训练自动驾驶代理。经过比较，我们发现处理原始图像和注意力掩蔽图像的双分支架构大大优于所有其他模型，与仅在原始图像上训练的标准端到端模型相比，控制信号预测的误差减少了25.5%。
2019-09-11 cs.CV cs.RO
Post-Training in End-to-End Autonomous Driving
Northeastern University（东北大学）；Purdue University（普渡大学）
探讨端到端自动驾驶中训练后处理技术，针对传统方法不足，将现有文献按监督形式分四类，阐述各分类的能力、局限与挑战，助力系统理解该领域并推动相关研究。
2026-07-15 cs.CV cs.RO
