MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications（北京邮电大学）
随着自动驾驶技术的蓬勃发展，复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波（mmWave）雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先，我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说，我们将融合方法分为数据级，决策级和特征级融合方法。此外，我们还介绍了三维（3D）目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合，这些都是未来很有希望的。最后，对本文进行了总结。
2022-04-01 cs.CV
Sensor Data Validation and Driving Safety in Autonomous Driving Systems
CITY UNIVERSITY OF HONG KONG（香港城市大学）
自动驾驶技术因其快速发展和极高的商业价值而受到广泛关注。最近自动驾驶技术的飞跃主要归功于环境感知的进步。良好的环境感知提供准确的高层次环境信息，这对于自动驾驶汽车做出安全和精确的驾驶决策和策略至关重要。此外，如果没有深度学习模型和先进的机载传感器，如光学传感器（激光雷达和摄像头）、雷达、GPS，准确的环境感知就不可能取得这样的进展。然而，先进的传感器和深度学习模型很容易受到最近发明的攻击方法的影响。例如，激光雷达和摄像头可能会受到光学攻击，深度学习模型可能会受到对抗性示例的攻击。对先进传感器和深度学习模型的攻击会在很大程度上影响环境感知的准确性，对自动驾驶汽车的安全性构成巨大威胁。本论文主要研究针对车载传感器攻击的检测方法，以及受攻击的深度学习模型与自动驾驶汽车驾驶安全之间的联系。为了检测攻击，可以利用冗余数据源，因为受害者传感器数据中的攻击引起的信息失真导致与来自其他冗余源的信息不一致。研究受攻击的深度学习模型与驾驶安全之间的联系.
2022-04-01 cs.CV
The NEOLIX Open Dataset for Autonomous Driving
NEOLIX
随着5G技术的逐渐成熟，自动驾驶技术越来越受到研究界的关注。自动驾驶汽车依赖于人工智能、视觉计算、雷达、监控设备和GPS的协同工作，使计算机能够在不受人为干扰的情况下自动安全地操纵汽车，但用于训练和系统评估的大规模数据集仍然是鲁棒感知模型开发中的一个棘手问题。本文介绍了NEOLIX数据集及其在自动驾驶领域的应用。我们的模板包括大约30，000个带有点云标签的帧，以及超过600k个带有注释的3D边界框。数据汇集覆盖多个区域，各种驾驶条件，包括白天、夜晚、黎明、黄昏和晴天。为了标记这个完整的数据集，我们为每个任务开发了各种工具和算法，以加快标记过程。希望我们的数据集和相关算法能够为自动驾驶在计算机视觉领域的进一步发展提供支持和激励。
2021-01-28 cs.CV
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University（同济大学）
人车协同驾驶技术减轻了人类驾驶员的工作负担，已成为自动驾驶的关键技术。然而，复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力，提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法，将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明，合作视觉感知能更准确地反映冲突最危险区域，预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法，为规划和控制提供准确的数据。
2022-04-21 cs.CV
Information Entropy Guided Height-aware Histogram for Quantization-friendly Pillar Feature Encoder
针对基于柱体的3D检测器在特征编码中存在高度信息丢失和数值分布差异大的问题，提出信息熵引导的高度感知直方图编码器PillarHist，通过统计点云离散分布保留高度信息并约束数值范围，显著提升了检测性能与量化友好性，且可无缝集成至现有方法。
2025-06-30 cs.CV cs.RO
Applications of Large Scale Foundation Models for Autonomous Driving
Futurewei Technology Inc.（未来网络技术有限公司）；University of Missouri（密苏里大学）
本文探讨了大语言模型与基础模型在自动驾驶中的应用，旨在利用人类知识与推理突破长尾困境，涵盖仿真、世界模型、数据标注及端到端规划等技术方向。
2024-01-05 cs.CV
Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
CAIR, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新研究所）；CASIA（中国科学院自动化研究所）
本文提出首个兼容端到端规划模型的驾驶世界模型 Drive-WM，通过视角分解联合时空建模生成多视角视频，并首次将其用于多未来预测与安全驾驶规划。
2023-11-29 cs.CV
Adversarial Driving: Attacking End-to-End Autonomous Driving
The University of Exeter（埃克塞特大学）；The University of the West of England（西英格兰大学）
本文针对端到端自动驾驶模型提出两种白盒定向图像扰动攻击，可在CPU上实时运行，并显著偏离预测转向角。
2023-12-12 cs.CV
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络（DNN）已广泛应用于自动驾驶等许多自主系统中。最近，DNN测试已经被广泛研究，以自动生成对抗性示例，这些示例将小幅度的扰动注入到输入中，以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的，但它们主要集中在生成数字对抗扰动（特别是对于自动驾驶），例如，改变图像像素，这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失：理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中，我们提出了DeepBillboard，这是一种系统的物理世界测试方法，针对一种常见而实用的驾驶场景：驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌，它可以在动态变化的驾驶条件下工作，包括视角，距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验，广泛评估了DeepBillboard的有效性和鲁棒性。结果表明，DeepBillboard是有效的各种转向模型和场景。此外，DeepBillboard具有足够的鲁棒性和弹性，可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知，这是第一项研究，证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional（Motional公司）
基于视觉的3D检测任务是自动驾驶系统感知的基础任务，已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而，使用相机的2D传感器输入数据来实现相当好的3D BEV（鸟瞰图）性能并不是一件容易的事情。在本文中，我们提供了一个文献调查现有的基于视觉的3D检测方法，专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析，并强调了不同的子组，以详细了解常见趋势。此外，我们强调了文献和行业趋势如何转向基于环绕视图图像的方法，并记录了这种方法解决的特殊情况的想法。最后，我们提出了基于当前技术的缺点，包括协同感知的方向，为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
DrivingGaussian提出一种复合高斯泼溅框架，通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标，并结合LiDAR先验，实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV
Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies
Black Sesame Technology Inc.（黑芝麻智能科技有限公司）；Futurewei Technology Inc.（星网锐捷技术有限公司）
自2004/05年DARPA Grand Challenges（农村）和2007年Urban Challenges以来，自动驾驶一直是人工智能应用最活跃的领域。几乎同时，深度学习也有几位先驱者取得了突破，其中Hinton、Bengio和LeCun三位（也被称为深度学习之父）在2019年获得了ACM都灵奖。这是一个关于自动驾驶技术与深度学习方法的调查。我们研究了自动驾驶系统的主要领域，如感知，地图和定位，预测，规划和控制，仿真，V2X和安全等。由于篇幅有限，我们重点分析了几个关键领域，即感知中的2D和3D目标检测，摄像机的深度估计，数据，特征和任务层面的多传感器融合，车辆驾驶和行人轨迹的行为建模和预测。
2020-07-04 cs.CV
Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System
School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械与动力工程学院）
针对V2X通信资源未被有效用于提升驾驶性能的问题，本文提出仿真平台V2Xverse和端到端协同驾驶系统CoDriving，通过面向驾驶的通信策略优化信息共享，显著提升驾驶得分并降低碰撞率。
2025-04-09 cs.CV
A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook
Technical University of Munich（慕尼黑工业大学）；The Ohio State University（俄亥俄州立大学）
本文从多角度详尽研究了265个自动驾驶数据集，提出评估影响的新指标，分析标注质量与环境条件影响，并探讨当前挑战与未来趋势。
2024-04-23 cs.CV
Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions
Microsoft STCA（微软亚洲互联网工程院）；Kyung Hee University（庆熙大学）
本文研究SAM在自动驾驶恶劣天气下的鲁棒性，旨在集成前评估其表现，为未来应用提供见解。
2023-06-23 cs.CV
PLoc: A New Evaluation Criterion Based on Physical Location for Autonomous Driving Datasets
Khoury College of Computer Science（计算机科学学院（Khoury））；Northeastern University（东北大学）
本文提出基于物理位置的自动驾驶评估准则PLoc，并构建重标注数据集ApolloScape-R，实验表明模型对车道内行人的检测准确率低于人行道行人，从而揭示传统评估忽视位置安全信息的不足。
2024-03-29 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University（雪城大学）；Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)（博世北美研究院及博世人工智能中心）
本文提出视觉-语言-规划框架VLP，利用语言模型增强自动驾驶的推理与上下文理解，在NuScenes上显著降低规划误差和碰撞率，并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
*: Improving the 3D detector by introducing Voxel2Pillar feature encoding and extracting multi-scale features
本文提出基于柱体的3D检测器*，通过设计Voxel2Pillar特征编码、全稀疏多尺度主干网络及稀疏ConvNeXt颈部，在Waymo数据集上有效提升了车辆、行人和骑行者的检测精度。
2024-11-13 cs.CV
Real-time Streaming Perception System for Autonomous Driving
如今，大量的深度学习技术正在应用于自动驾驶的各个方面，并取得了可喜的成果。其中，目标检测是提高自主智能体感知环境的能力，使其能够（反应）行动的关键。然而，以前的基于视觉的目标检测器不能在实时的【形】驾驶场景下获得令人满意的性能。为了解决这个问题，我们在本文中提出了实时的【形】流感知系统，这也是流感知挑战赛（CVPR 2021自动驾驶研讨会）的第二名解决方案。与传统的目标检测主要关注绝对性能的挑战不同，流感知任务需要实现准确性和延迟的平衡，这对于实时的【形】自动驾驶至关重要。我们采用YOLOv 5作为我们的基本框架，数据增强，免费赠品袋，和Transformer采用，以提高流目标检测的性能，可以忽略不计的额外推理成本。在Argoverse-HD测试集上，我们的方法在所需的硬件条件下实现了33.2个流式AP（组织者验证了34.6个流式AP）。它的表现大大超过了13.6（主队）的固定基线，证明了应用的潜力。
2021-07-30 cs.CV
Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多任务学习已经成为一种强大的范例，可以同时解决一系列任务，在计算资源和推理时间方面都具有良好的效率。然而，这些算法是为不同的任务而设计的，大多不在自动驾驶的范围内，因此很难比较自动驾驶中的多任务方法。为了能够全面评估自动驾驶中现有的多任务学习方法，我们广泛研究了大规模驾驶数据集上流行的多任务方法的性能，这些数据集涵盖了四种常见的感知任务，即，目标检测、语义分割、可驾驶区域分割和车道检测。我们提供了一个深入的分析，目前的多任务学习方法在不同的常见设置，发现现有的方法取得了进展，但仍然有很大的性能差距相比，单任务基线。为了缓解自动驾驶中的这种困境，我们提出了一个有效的多任务框架，VE提示，它通过特定任务的提示引入视觉范例，以引导模型学习高质量的特定任务的表示。具体来说，我们基于边界框和基于颜色的标记生成视觉样本，这提供了目标类别的准确视觉外观，并进一步减轻了性能差距。此外，我们将基于transformer的编码器和卷积层连接起来，以实现自动驾驶中高效准确的统一感知。在不同的自动驾驶数据集BDD 100K上的综合实验结果表明，VE-Prompt改进了多任务基线，并进一步超越了单任务模型。
2023-03-03 cs.CV
Development of Real-time Rendering Technology for High-Precision Models in Autonomous Driving
我们的自动驾驶模拟实验室制作了模拟停车场的高精度3D模型。然而，目前的模型在某些方面仍然存在绘制质量差的问题。在这项工作中，我们开发了一个系统，以提高模型的渲染和评估渲染模型的质量。
2023-03-20 cs.CV cs.RO
Visual Perception System for Autonomous Driving
University of Bath（巴斯大学）
本文提出一种基于视觉的自动驾驶感知系统，集成行人等运动目标跟踪预测、相机定位与稀疏建图，并通过仿真和真实数据集验证其性能。
2023-10-31 cs.CV cs.RO
Semantic video segmentation for autonomous driving
Universität Bonn（波恩大学）
我们的目标是解决自动驾驶中的语义视频分割，即实时的视频中的道路检测，使用（Shelhamer et al.，2016年a）。虽然全卷积网络给出了很好的结果，但我们证明了速度可以减半，同时保持准确性。使用的测试数据集是KITTI，它由来自德国街道的真实镜头组成。
2020-10-28 cs.CV eess.IV
FastPillars: A Deployment-friendly Pillar-based 3D Detector
Southeast University（东南大学）；Meituan Inc.（美团）；Fudan University（复旦大学）
针对自动驾驶场景中基于BEV的3D检测器因依赖SPConv难以端侧部署的问题，提出部署友好的FastPillars检测器，通过MAPE模块和骨干网络设计原则，在Waymo数据集上实现精度与速度的双重提升。
2023-12-13 cs.CV cs.RO
Hybrid Video Anomaly Detection for Anomalous Scenarios in Autonomous Driving
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（弗劳恩霍夫信息与通信技术研究中心）
针对自动驾驶场景，提出HF$^2$-VAD$_{AD}$方法，从车辆自视角学习正常性表示，在罕见关键场景中实现逐像素异常检测。
2025-04-28 cs.CV cs.RO
High-Definition Map Generation Technologies For Autonomous Driving
Ontario Tech University（安大略理工大学）
在过去的几年里，自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自动驾驶的道路上，研究人员利用了各种传感器，如LiDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用的智能算法，如目标检测，对象分割，避障和路径规划。近年来，高清（HD）地图引起了人们的广泛关注。由于高清地图在定位方面的高精度和信息水平，它已立即成为自动驾驶的关键组成部分之一。从百度Apollo、英伟达、TomTom等大型组织到个人研究人员，研究人员已经为自动驾驶创建了不同场景和目的的高清地图。有必要回顾一下高清地图生成的最新方法。本文回顾了最近的高清地图生成技术，利用2D和3D地图生成。本文介绍了高清地图的概念及其在自动驾驶中的实用性，并详细概述了高清地图生成技术。我们还将讨论当前高清地图生成技术的局限性，以激励未来的研究。
2022-06-24 cs.CV cs.RO
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea（赵陈夏石移动研究生院）
本综述聚焦自动驾驶领域的视觉Transformer应用，梳理其基础概念与多场景应用，对比架构优劣，并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University（西蒙菲莎大学）
针对自动驾驶传感器数据量大的问题，研究面向3D目标检测的相机与LiDAR多模态学习式压缩，对比联合编码与条件编码等方案，在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；Forschungszentrum Informatik（弗劳恩霍夫信息技术研究中心）；Hochschule Esslingen（埃斯林根应用技术大学）；University of Michigan（密歇根大学）；Voxel51；Karlsruher Institut für Technologie（卡尔斯鲁厄理工学院）
本文提出能力驱动的MLLMs自动驾驶场景理解评估框架，从语义、空间、时间、物理四维度及情境层、模态、下游任务组织评估，并通过两个交通场景验证其适用性。
2025-03-14 cs.CV cs.RO
Exploring the Causality of End-to-End Autonomous Driving
Baidu Inc.（百度公司）
本文提出一种系统性方法，通过控制变量、反事实干预和统计分析，探索端到端自动驾驶的因果性，并开发了工具和基线，在CARLA中验证，将黑箱变为白箱。
2024-07-19 cs.CV cs.RO
Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University（同济大学汽车学院）；ZERON
本文提出一个现实对抗闭环评估平台，用于生成边缘情况以评估端到端自动驾驶系统，通过真实场景图像生成与对抗交通策略结合，验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO
DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving
University of Macau（澳门大学）
本文提出DME-Driver自动驾驶系统，结合大型视觉语言模型作为逻辑决策器与3D场景感知模型作为控制信号生成器，并构建新数据集以实现高精度且可解释的规划。
2024-01-08 cs.CV cs.RO
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University（德雷塞尔大学）
本报告通过分析基于视觉的系统与感知指标的最新进展，探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法，旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control
MEGVII（旷视科技）
本文提出 SubjectDrive 模型，通过主体控制机制利用多样化外部数据源提升生成数据的多样性，从而有效扩展自动驾驶训练数据生产并持续改进下游感知模型性能。
2024-12-26 cs.CV cs.RO
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology（北京理工大学）
本文介绍了在2018年中国方程式学生自主驾驶比赛（FSAC）中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中，一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构，保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶，基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后，采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后，基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
TJ4DRadSet: A 4D Radar Dataset for Autonomous Driving
下一代高分辨率汽车雷达（4D雷达）可以提供额外的高程测量和更密集的点云，这在自动驾驶的3D传感方面具有巨大的潜力。在本文中，我们介绍了一个名为TJ4DRadSet的数据集与4D雷达点的自动驾驶研究。该数据集是在各种驾驶场景中收集的，共有44个连续序列中的7757个同步帧，这些序列都用3D边界框和轨迹ID进行了很好的注释。我们为我们的数据集提供了一个基于4D雷达的3D目标检测基线，以证明4D雷达点云的深度学习方法的有效性。该数据集可通过以下链接访问：https://github.com/TJRadarLab/TJ4DRadSet。
2022-07-27 cs.AI cs.CV
Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents
自动驾驶是一个多任务问题，需要对视觉环境有深入的了解。端到端自动驾驶系统作为一种学习驾驶的方法越来越受到关注，而无需为不同的驾驶场景详尽地编程行为。当人类驾驶时，他们依赖于一个微调的感觉系统，使他们能够快速获得所需的信息，同时过滤不必要的细节。这种识别图像中特定任务的高兴趣区域的能力通常对自动驾驶代理和机器学习系统有益。为了创建一个能够模仿人类凝视模式和视觉注意力的系统，我们在虚拟现实环境中收集了人类驾驶员的眼动数据。我们使用这些数据来训练深度神经网络，预测人类开车时最有可能看的地方。然后，我们使用这个经过训练的网络的输出，使用各种掩蔽技术选择性地掩蔽驾驶图像。最后，使用这些掩蔽图像作为输入来训练自动驾驶代理。经过比较，我们发现处理原始图像和注意力掩蔽图像的双分支架构大大优于所有其他模型，与仅在原始图像上训练的标准端到端模型相比，控制信号预测的误差减少了25.5%。
2019-09-11 cs.CV cs.RO
Post-Training in End-to-End Autonomous Driving
Northeastern University（东北大学）；Purdue University（普渡大学）
探讨端到端自动驾驶中训练后处理技术，针对传统方法不足，将现有文献按监督形式分四类，阐述各分类的能力、局限与挑战，助力系统理解该领域并推动相关研究。
2026-07-15 cs.CV cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University（奥克兰大学）
本综述系统回顾了自动驾驶领域的全景感知模型，比较了其输入、架构及在性能、响应速度和资源利用率上的表现，并探讨了当前挑战与未来研究方向，为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
RGB cameras failures and their effects in autonomous driving applications
University of Florence（佛罗伦萨大学）
RGB摄像头是自动驾驶应用中最相关的传感器之一。不可否认的是，车载摄像头的故障可能会危及自动驾驶任务，当驾驶系统随后处理的图像被更改时，可能会导致不安全的行为。为了支持安全和强大的车辆架构和智能系统的定义，在本文中，我们定义了车载摄像头的故障模式，以及影响和已知缓解措施的分析。此外，我们建立了一个软件库，用于生成相应的失败图像，并将它们馈送到单声道和立体声相机的六个对象检测器以及自动驾驶模拟器的自动驾驶代理。由此产生的与操作干净的图像有关的不当行为允许更好地理解基于图像的应用中的故障影响和相关的安全风险。
2022-03-04 cs.CV cs.LG cs.SE
Autonomous Driving Implementation in an Experimental Environment
Sakarya University（萨卡里亚大学）
自主系统需要识别环境，在将其安全地付诸实践之前还有很长的路要走。在自动驾驶系统中，障碍物和交通信号灯的检测与车道跟踪一样重要。在这项研究中，自主驾驶系统的开发和测试的实验环境中，为此目的而设计。在该系统中，具有摄像头的模型车辆用于跟踪车道和避开障碍物，以实验研究自动驾驶行为。训练卷积神经网络模型进行车道线跟踪。针对车辆避障问题，分别建立了角点检测、光流、焦点扩展、碰撞时间、平衡计算和决策机制。
2021-05-23 cs.CV cs.LG cs.RO
Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；Department of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系）；David Cheriton school of Computer science, University of Waterloo（滑铁卢大学戴维·谢里顿计算机学院）；University of Waterloo（滑铁卢大学）
本文分析了自动驾驶应用中深度学习模型的鲁棒性，并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Machine Learning-Based Vehicle Intention Trajectory Recognition and Prediction for Autonomous Driving
University of Southern California（南加州大学）；Virginia Tech（弗吉尼亚理工大学）；Miami University（迈阿密大学）；Northern Arizona University（北亚利桑那大学）；Northeastern University（东北大学）
本文针对自动驾驶变道安全问题，提出一种基于深度学习的变道行为预测方法，旨在准确识别驾驶员变道意图，促进安全变道并提升道路安全性。
2024-02-25 cs.CV cs.LG cs.RO
Towards Knowledge-driven Autonomous Driving
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；East China Normal University（华东师范大学）；Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）
本文综述知识驱动自动驾驶技术，分析现有系统局限，提出以数据集、环境和驾驶员智能体为核心，结合大模型等AI技术构建更全面、自适应和智能的自动驾驶系统，并展望未来研究方向。
2023-12-27 cs.AI cs.CV cs.RO
Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas（北德克萨斯大学）；Fordham University（福特汉姆大学）；Qatar University（卡塔尔大学）；University of Nebraska at Kearney（内布拉斯加大学卡尼尔分校）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术，分析传感器天气限制及市场影响，并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
Driving the Wrong Way: Leveraging Interpretability in End2End Autonomous Driving Models
AUMOVIO（奥莫维奥）；Department of Applied Computer Science, University of Bamberg（班贝格大学应用计算机科学系）
研究端到端自动驾驶模型因复杂不透明易产生不良行为的问题，核心方法是集成无监督字典学习作为可解释性模块，主要贡献为揭示决策逻辑、纠正驾驶决策以提升模型性能。
2026-07-08 cs.AI cs.CV cs.RO
Attacking Autonomous Driving Agents with Adversarial Machine Learning: A Holistic Evaluation with the CARLA Leaderboard
Carnegie Mellon University（卡内基梅隆大学）
该研究借助CARLA模拟器与CARLA排行榜，在不修改智能体代码的前提下测试对抗补丁对多类开源自动驾驶智能体的攻击效果，发现部分非ML模块可抵消对抗样本对ML模型的误导作用。
2025-11-18 cs.CR cs.CV cs.LG
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；List（李斯特研究所）
近年来，我们见证了自动端到端驾驶领域越来越高的性能。特别是，越来越多的研究正在做的城市环境中，汽车必须遵循高级别的命令来导航驾驶。然而，很少有评价的能力，这些代理人在一个意想不到的情况下作出反应。具体地，在坏的高级命令的情况下，不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法，即一个基准，允许评估的代理的鲁棒性，并欣赏其理解的环境，通过其能力，以保持一个安全的行为，无论指令。
2021-05-20 cs.AI cs.CV cs.LG
A Language Agent for Autonomous Driving
University of Southern California（南加州大学）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
本文提出Agent-Driver，利用大型语言模型作为认知智能体，通过工具库、认知记忆和推理引擎将类人智能集成到自动驾驶系统，在nuScenes基准上大幅超越现有方法，并具备卓越可解释性和少样本学习能力。
2024-07-28 cs.AI cs.CL cs.CV
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université（索邦大学）
本调查回顾了基于视觉的自动驾驶系统的解释方法，该系统经过行为克隆训练。可解释性的概念有几个方面，对可解释性的需求在驾驶中很强，这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献，即计算机视觉、深度学习、自动驾驶、可解释人工智能（X-AI），解决了几个问题。首先，它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机，以及该应用所特有的挑战。其次，全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三，详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后，剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
PillarTrack:Boosting Pillar Representation for Transformer-based 3D Single Object Tracking on Point Clouds
School of Mathematics and Computer Science, Nanchang University（南昌大学数学与计算机科学学院）；School of Automation, Southeast University（东南大学自动化学院）；Aberdeen Institute of Data Science and Artificial Intelligence, South China Normal University（华南师范大学 Aberdeen 数据科学与人工智能研究院）；Houmo AI
针对现有点云3D单目标跟踪方法重采样导致信息冗余或缺失的问题，提出基于柱表示的PillarTrack框架，通过密集柱转换、PE-PFE编码器和模态适配的Transformer骨干网络，在KITTI、NuScenes数据集上显著提升基线性能。
2025-05-18 cs.CV
Improved Pillar with Fine-grained Feature for 3D Object Detection
Beihang University（北京航空航天大学）；YiGo Robotics（易控机器人）
基于LiDAR点云的三维目标检测在自动驾驶感知模块中具有重要的作用，对检测速度、稳定性和准确性有较高的要求。然而，现有的基于点的方法由于原始点太多而难以达到速度要求，而基于体素的方法由于3D稀疏卷积而无法保证稳定的速度。相比之下，基于二维网格的方法，如PointPillar，可以很容易地实现一个稳定的和高效的速度基于简单的二维卷积，但它很难得到竞争力的精度受到粗粒度的点云表示。因此，本文在PointPillar的基础上提出了一种具有细粒度特征的改进型柱子，可以显著提高柱子的检测精度。该模型由高度子柱和稀疏微柱两个模块组成，分别在三维空间的垂直和水平方向上实现了细粒度的表示。对于高度敏感的子柱，我们引入了高度位置编码，以保持每个子柱的高度信息，在投影到一个2D伪图像。对于稀疏型微柱模型，我们引入了基于稀疏的CNN骨干，由密集特征和稀疏注意力模块堆叠而成，以有效地提取具有更大感受野的特征。实验结果表明，我们提出的方法在Waymo Open Dataset上的性能明显优于以前最先进的3D检测方法。相关规范将发布，以方便学术界和工业界的研究。
2021-10-12 cs.CV
Pillar R-CNN for Point Cloud 3D Object Detection
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Jiao Tong University（上海交通大学）
点云3D目标检测的性能取决于有效地表示原始点、基于网格的体素或柱。最近的两阶段3D检测器通常采用基于点体素的R-CNN范例，即，第一阶段采用基于3D体素的主干，用于在鸟瞰图（BEV）表示上生成3D建议，第二阶段通过中间点表示来细化它们。它们的主要机制涉及利用中间关键点来从转换的BEV表示恢复实质3D结构上下文。然而，熟练的点-体素特征交互使得整个检测流水线更加复杂和计算密集。在本文中，我们采取了不同的观点-基于柱的BEV表示具有足够的能力，以保持3D结构。鉴于BEV感知的最新进展，我们设计了一种概念简单但有效的两阶段3D检测架构，称为Pillar R-CNN。在加密的BEV特征图之上，Pillar R-CNN可以轻松引入特征金字塔架构，以各种尺度生成3D提案，并采用简单的2D R-CNN风格检测头进行框细化。我们的Pillar R-CNN在大规模Waymo Open Dataset上与最先进的3D检测器相比表现良好，但成本很低。应该强调的是，由于有效和优雅的Pillar R-CNN架构，现在可以进一步探索涉及自动驾驶的应用的BEV感知。
2023-02-26 cs.CV
LMAD: Integrated End-to-End Vision-Language Model for Explainable Autonomous Driving
本文提出LMAD框架，通过引入场景交互与专家适配器，将视觉-语言模型与端到端自动驾驶任务深度对齐，在DriveLM和nuScenes-QA上显著提升驾驶推理性能，推动可解释自动驾驶发展。
2025-08-17 cs.CV
