Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；Department of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系）；David Cheriton school of Computer science, University of Waterloo（滑铁卢大学戴维·谢里顿计算机学院）；University of Waterloo（滑铁卢大学）
本文分析了自动驾驶应用中深度学习模型的鲁棒性，并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
University of California Los Angeles（加州大学洛杉矶分校）；Shanghai AI Lab（上海人工智能实验室）；Beijing Institute of Technology（北京理工大学）；East China Normal University（华东师范大学）
本文综述了自动驾驶感知中多模态传感器融合方法，提出了基于融合阶段的新分类法，并分析了现有方法的剩余问题与未来研究方向。
2024-12-16 cs.CV
CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion
针对协同感知中单一传感器数据共享的局限，提出CoBEVFusion框架，融合激光雷达与相机数据生成BEV表示，利用DWCA模块和3D CNN聚合多车特征，在OPV2V数据集上优于单模态及最先进BEV融合模型。
2023-10-09 cs.CV
YOLOP: You Only Look Once for Panoptic Driving Perception
Huazhong University of Science & Technology（华中科技大学）
全景驾驶感知系统是自动驾驶的重要组成部分。高精度、实时的感知系统可以帮助车辆在行驶过程中做出合理的决策。提出了一种全景驾驶感知网络（YOLOP），用于同时进行交通目标检测、可驾驶区域分割和车道线检测。它由一个用于特征提取的编码器和三个处理特定任务的解码器组成。我们的模型在具有挑战性的BDD 100K数据集上表现非常出色，在准确性和速度方面，在所有三项任务上都达到了最先进的水平。此外，我们通过消融研究验证了我们的多任务学习模型的有效性。据我们所知，这是第一个可以在嵌入式设备Jetson TX 2（23 FPS）上同时实时处理这三个视觉感知任务并保持出色准确性的工作。为了便于进一步的研究，源代码和预训练模型在https://github.com/hustvl/YOLOP上发布。
2022-03-26 cs.CV
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University（德雷塞尔大学）
本报告通过分析基于视觉的系统与感知指标的最新进展，探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法，旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
V2X-Sim: Multi-Agent Collaborative Perception Dataset and Benchmark for Autonomous Driving
New York University（纽约大学）；University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
V2X通信技术使车辆与邻近环境中的许多其他实体之间能够进行协作，这可以从根本上改善自动驾驶的感知系统。然而，由于缺乏公共数据集，严重制约了协同感知的研究进展。为了填补这一空白，我们提出了V2X-Sim，这是一个用于V2X辅助自动驾驶的综合模拟多智能体感知数据集。V2X-Sim提供：（1）来自路边单元（RSU）和多个车辆的\hl{multi-agent}传感器记录，支持协作感知，（2）多模态传感器流，促进多模态感知，以及（3）支持各种感知任务的各种地面实况。同时，我们建立了一个开源的测试平台，并提供了一个基准的最先进的协同感知算法的三个任务，包括检测，跟踪和分割。V2X-Sim旨在在现实数据集广泛可用之前，刺激自动驾驶的协作感知研究。我们的数据集和代码可在\url{https://ai4ce.github.io/V2X-Sim/}上获得。
2022-07-16 cs.CV
Testing the Safety of Self-driving Vehicles by Simulating Perception and Prediction
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；Shanghai Jiao Tong University（上海交通大学）
我们提出了一种在模拟中测试自动驾驶车辆安全性的新方法。我们提出了一种替代传感器模拟，传感器模拟是昂贵的，有很大的领域差距。相反，我们直接模拟自动驾驶汽车的感知和预测系统的输出，从而实现逼真的运动规划测试。具体来说，我们使用以地面真实标签和真实感知和预测输出形式的成对数据来训练预测在线系统将产生什么的模型。重要的是，我们系统的输入包括高清晰度的地图、边界框和轨迹，测试工程师可以在几分钟内轻松绘制。这使得我们的方法成为一个更具可扩展性的解决方案。两个大规模数据集上的定量结果表明，我们可以现实地测试运动规划使用我们的模拟。
2020-08-13 cs.CV cs.LG cs.RO
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications（北京邮电大学）
随着自动驾驶技术的蓬勃发展，复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波（mmWave）雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先，我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说，我们将融合方法分为数据级，决策级和特征级融合方法。此外，我们还介绍了三维（3D）目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合，这些都是未来很有希望的。最后，对本文进行了总结。
2022-04-01 cs.CV
RayFusion: Ray Fusion Enhanced Collaborative Visual Perception
Zhejiang University（浙江大学）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）
针对相机协同感知缺乏深度信息导致预测不准的问题，提出基于射线占用融合的RayFusion方法，减少冗余与误检，显著提升3D检测性能。
2025-10-09 cs.CV
DOLPHINS: Dataset for Collaborative Perception enabled Harmonious and Interconnected Self-driving
Tsinghua University（清华大学）
本文发布大规模多场景多视角多模态自动驾驶协同感知数据集 DOLPHINS，支持 V2V 与 V2I 协同感知，并通过实验证明原始级 V2X 融合可提升精度并降低车载激光雷达成本。
2022-07-15 cs.CV cs.LG eess.IV
Towards Robust LiDAR-based Perception in Autonomous Driving: General Black-box Adversarial Sensor Attack and Countermeasures
University of Michigan（密歇根大学）；UC Irvine（加州大学尔湾分校）
感知在自动驾驶系统中起着关键作用，该系统利用摄像头和LiDAR（光探测和测距）等车载传感器来评估周围环境。最近的研究表明，基于LiDAR的感知很容易受到欺骗攻击，在这种攻击中，对手通过战略性地向受害者的LiDAR传感器发送激光信号来欺骗受害者自动驾驶汽车前面的假车辆。然而，现有的攻击遭受有效性和通用性的限制。在这项工作中，我们进行了第一项研究，以探索当前基于LiDAR的感知架构的一般脆弱性，并发现LiDAR点云中被忽略的遮挡模式使自动驾驶汽车容易受到欺骗攻击。我们构建了第一个黑盒欺骗攻击的基础上，我们确定的漏洞，普遍实现约80%的平均成功率在所有目标模型。我们进行了第一次防御研究，提出了CARLO来减轻LiDAR欺骗攻击。CARLO通过将忽略的遮挡模式视为不变的物理特征来检测欺骗数据，这将平均攻击成功率降低到5.5%。与此同时，我们迈出了探索基于LiDAR的鲁棒感知的通用架构的第一步，并提出了将被忽视的物理特征嵌入到端到端学习中的SVF。SVF进一步将平均攻击成功率降低到2.3%左右。
2020-06-30 cs.CR cs.CV cs.LG
Collaborative Perception for Autonomous Driving: Current Status and Future Trend
感知是自动驾驶系统的关键模块之一，近年来取得了很大的进展。然而，个体车辆能力的有限性导致了感知性能提高的瓶颈。为了突破个体感知的限制，已经提出了协作感知，其使得车辆能够共享信息以感知视线和视野之外的环境。本文对协同感知技术的相关研究进行了综述，包括基本概念的介绍、协同感知模式的归纳、协同感知的关键要素及其应用。最后，我们讨论了这一研究领域面临的挑战和问题，并给出了一些潜在的进一步发展方向。
2022-08-22 cs.CV cs.RO
RadarMP: Motion Perception for 4D mmWave Radar in Autonomous Driving
针对4D毫米波雷达因点云稀疏噪声导致运动感知不精确的问题，提出RadarMP方法，通过统一架构联合建模目标检测与运动估计，利用自监督损失函数提升感知性能，增强自动驾驶系统在恶劣条件下的感知能力。
2025-11-15 cs.CV
UniDrive: Towards Universal Driving Perception Across Camera Configurations
University of Michigan, Ann Arbor（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）
UniDrive提出统一虚拟相机与地面感知投影及配置优化方法，实现跨摄像头配置的通用3D驾驶感知，实验验证仅需微小性能损失即可泛化。
2025-06-22 cs.CV
Motion Inspired Unsupervised Perception and Prediction in Autonomous Driving
Waymo LLC（Waymo有限责任公司）
现代自动驾驶系统中基于学习的感知和预测模块通常依赖于昂贵的人工注释，并且被设计为仅感知少数预定义的对象类别。这种闭集范式不足以满足安全关键的自动驾驶任务，其中自动驾驶车辆需要在高度动态的世界中处理任意多种类型的交通参与者及其运动行为。为了解决这个困难，本文开创了一个新颖而具有挑战性的方向，即，训练感知和预测模型，以理解开放集移动对象，无需人工监督。我们提出的框架使用自学习流来触发自动Meta标记管道，以实现自动监督。Waymo Open Dataset上的3D检测实验表明，我们的方法明显优于经典的无监督方法，甚至与有监督场景流的方法相比具有竞争力。我们进一步表明，我们的方法在开集3D检测和轨迹预测方面产生了非常有希望的结果，证实了它在缩小完全监督系统的安全差距方面的潜力。
2022-10-14 cs.CV cs.LG cs.RO
Real-time Streaming Perception System for Autonomous Driving
如今，大量的深度学习技术正在应用于自动驾驶的各个方面，并取得了可喜的成果。其中，目标检测是提高自主智能体感知环境的能力，使其能够（反应）行动的关键。然而，以前的基于视觉的目标检测器不能在实时的【形】驾驶场景下获得令人满意的性能。为了解决这个问题，我们在本文中提出了实时的【形】流感知系统，这也是流感知挑战赛（CVPR 2021自动驾驶研讨会）的第二名解决方案。与传统的目标检测主要关注绝对性能的挑战不同，流感知任务需要实现准确性和延迟的平衡，这对于实时的【形】自动驾驶至关重要。我们采用YOLOv 5作为我们的基本框架，数据增强，免费赠品袋，和Transformer采用，以提高流目标检测的性能，可以忽略不计的额外推理成本。在Argoverse-HD测试集上，我们的方法在所需的硬件条件下实现了33.2个流式AP（组织者验证了34.6个流式AP）。它的表现大大超过了13.6（主队）的固定基线，证明了应用的潜力。
2021-07-30 cs.CV
YOLOPv2: Better, Faster, Stronger for Panoptic Driving Perception
T3CAIC Technology（T3CAIC科技）
在过去的十年中，多任务学习方法在解决全景驾驶感知问题方面取得了可喜的成果，提供了高精度和高效率的性能。在计算资源有限的实时实用自动驾驶系统中，它已成为设计网络的一种流行范式。提出了一种高效的多任务学习网络，能够同时完成交通目标检测、可行驶道路区域分割和车道线检测等任务。我们的模型在具有挑战性的BDD 100K数据集上的准确性和速度方面达到了最先进的（SOTA）性能。特别是，与以前的SOTA模型相比，推理时间减少了一半。代码将在不久的将来发布。
2022-08-24 cs.CV
Surround-View Cameras based Holistic Visual Perception for Automated Driving
TECHNISCHE UNIVERSITÄT ILMENAU（伊尔梅瑙工业大学）
眼睛的形成导致了进化的大爆炸。这种动力学从原始生物等待食物接触到吃的食物被视觉传感器所寻找。人类的眼睛是进化过程中最复杂的发展之一，但它仍然有缺陷。人类已经进化出了一种生物感知算法，能够驾驶汽车，操作机器，驾驶飞机和导航船舶数百万年。自动化计算机的这些功能对于各种应用至关重要，包括自动驾驶汽车，增强现实和建筑测量。自动驾驶汽车背景下的近场视觉感知可以感知车辆周围$0-10$米范围内的环境，并实现360°覆盖。它是开发更安全的自动驾驶的关键决策组件。计算机视觉和深度学习的最新进展，结合相机和激光雷达等高质量传感器，推动了成熟的视觉感知解决方案。到目前为止，远场感知一直是主要焦点。另一个重要问题是可用于开发实时应用程序的有限处理能力。由于这个瓶颈，经常需要在性能和运行时效率之间进行权衡。我们集中在以下问题，以解决这些问题：1）开发高性能和低计算复杂性的近场感知算法的各种视觉感知任务，如几何和语义任务，使用卷积神经网络。2)使用多任务学习，通过在任务之间共享初始卷积层并开发平衡任务的优化策略来克服计算瓶颈。
2022-06-11 cs.CV
A Survey on Intermediate Fusion Methods for Collaborative Perception Categorized by Real World Challenges
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
本综述按真实世界挑战分类分析了自动驾驶协同感知中的中间融合方法，详述其特征与评估指标，并探讨应对传输效率、定位误差、通信中断、异构性、对抗攻防及域偏移等挑战的策略，概述了该方法对推动该领域发展的作用。
2024-04-28 cs.CV cs.RO
A Comprehensive Review of 3D Object Detection in Autonomous Driving: Technological Advances and Future Directions
Jiangsu University（江苏大学）；Higer Bus Company Limited（海格客车有限公司）
本文全面综述了自动驾驶中基于相机、LiDAR及融合检测的传统3D目标检测方法，分析了各方法优劣，并探讨了时序感知、占据网格、端到端学习及合作感知等未来发展方向。
2024-08-28 cs.CV
Rope3D: TheRoadside Perception Dataset for Autonomous Driving and Monocular 3D Object Detection Task
Baidu Inc.（百度公司）；China University of Mining and Technology（中国矿业大学）
用于自动驾驶的并发感知数据集主要限于安装在车辆上的传感器的正面视图。它们都不是为被忽视的路边感知任务而设计的。另一方面，从路边摄像头捕获的数据比前视图数据更有优势，这被认为有助于实现更安全，更智能的自动驾驶系统。为了加速路边感知的进展，我们从一个新的角度提出了第一个高多样性的具有挑战性的路边感知3D数据集-Rope3D。该数据集由各种场景中的5万张图像和超过150万个3D对象组成，这些图像和对象是在不同的设置下捕获的，包括具有模糊安装位置、相机规格、视点和不同环境条件的各种相机。我们进行严格的2D-3D联合标注和全面的数据分析，并通过度量和评估devkit建立了新的3D路边感知基准。此外，我们调整现有的前视单目三维目标检测方法，并提出利用几何约束，以解决各种传感器，视点所造成的固有的模糊性。我们的数据集可以在www.example.com上找到。
2022-03-25 cs.CV
Uncertainty-Guided Enhancement on Driving Perception System via Foundation Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cruise（克鲁斯公司）；Northeastern University（东北大学）
本文提出一种基于共形预测不确定性校准的驾驶感知增强方法，仅在理论置信下界不足时调用基础模型，并结合时序历史预测，在提升准确率10%至15%的同时减少50%查询。
2024-10-02 cs.CV
DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving
University of Macau（澳门大学）
本文提出DME-Driver自动驾驶系统，结合大型视觉语言模型作为逻辑决策器与3D场景感知模型作为控制信号生成器，并构建新数据集以实现高精度且可解释的规划。
2024-01-08 cs.CV cs.RO
Collaborative Perception in Autonomous Driving: Methods, Datasets and Challenges
Beijing Jiaotong University（北京交通大学）
本文系统综述了自动驾驶中协同感知的协作方案、理想与现实场景方法及大规模数据集基准，并指出了当前学术研究与实际应用间的差距与挑战。
2023-08-30 cs.CV
Transformer-Based Sensor Fusion for Autonomous Driving: A Survey
Motional（莫蒂安）
传感器融合是自动驾驶和机器人等许多感知系统中的一个重要课题。根据数据集排行榜，基于变换器的检测头和基于CNN的特征编码器从原始传感器数据中提取特征，已成为性能最佳的传感器融合3D检测框架之一。在这项工作中，我们提供了一个深入的文献调查Transformer为基础的3D-目标检测任务在最近的过去，主要集中在传感器融合。我们还简要介绍了视觉Transformer（ViT）的基础知识，以便读者可以轻松地阅读本文。此外，我们还简要介绍了几种基于非变压器的不太占主导地位的自动驾驶传感器融合方法。最后，我们总结了传感器融合的发展趋势，以遵循和引发未来的研究。更多更新的摘要可以在https://github.com/ApoorvRoboticist/Transformers-Sensor-Fusion上找到
2023-02-22 cs.CV
Exploiting Temporal Relations on Radar Perception for Autonomous Driving
Brandeis University（布兰迪斯大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
我们考虑使用汽车雷达传感器的自动驾驶中的物体识别问题。与激光雷达传感器相比，雷达在全天候条件下具有成本效益和鲁棒性，可用于自动驾驶的感知。然而，雷达信号在识别周围物体时受到低角分辨率和精度的影响。为了提高汽车雷达的能力，在这项工作中，我们利用时间信息连续自我为中心的鸟瞰雷达图像帧的雷达目标识别。我们利用对象存在和属性（大小，方向等）的一致性，并提出了一个时间关系层，以显式地模拟连续雷达图像内的对象之间的关系。在目标检测和多目标跟踪中，我们显示了我们的方法相比，几个基线方法的优越性。
2022-04-03 cs.CV
COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）；Stanford University（斯坦福大学）
用于自动驾驶车辆的光学传感器和学习算法在过去几年中取得了巨大的进步。尽管如此，当今自动驾驶汽车的可靠性受到有限的视线传感能力和处理极端情况的数据驱动方法的脆弱性的阻碍。随着通信技术的发展，车对车通信的协同感知已经成为一种很有前途的范例，以加强在危险或紧急情况下的自动驾驶。我们引入了COOPERNAUT，这是一种端到端的学习模型，它使用跨车辆感知进行基于视觉的协作驾驶。我们的模型将LiDAR信息编码为紧凑的基于点的表示，这些表示可以通过真实的无线信道在车辆之间作为消息传输。为了评估我们的模型，我们开发了AutoCastSim，这是一个网络增强的驾驶模拟框架，其中包含易发生事故的场景。我们在AutoCastSim上的实验表明，我们的合作感知驾驶模型在这些具有挑战性的驾驶情况下比以自我为中心的驾驶模型平均成功率提高了40%，并且比以前的工作V2VNet的带宽要求小5倍。COOPERNAUT和AUTOCASTSIM可在https://ut-austin-rpl.github.io/Coopernaut/上找到。
2022-05-04 cs.CV cs.RO
Collaborative Perception for Connected and Autonomous Driving: Challenges, Possible Solutions and Opportunities
The University of Hong Kong（香港大学）
针对单车辆自动驾驶系统的局限性，本文分析车联网自动驾驶协同感知的挑战，讨论技术解决方案并提出信道感知框架优化通信，实验验证其有效性。
2025-04-15 cs.CV eess.SP
HEAD: A Bandwidth-Efficient Cooperative Perception Approach for Heterogeneous Connected and Autonomous Vehicles
University of North Texas（北得克萨斯大学）；Toyota InfoTech Labs（丰田信息技术实验室）
提出HEAD方法，通过融合3D目标检测网络中分类与回归头特征，实现异构传感器车辆间低带宽、高精度的协同感知。
2024-08-27 cs.CV
OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cleveland State University（克利夫兰州立大学）
利用车对车通信来增强自动驾驶技术的感知性能最近引起了相当大的关注;然而，缺乏合适的开放数据集用于基准测试算法使得难以开发和评估协作感知技术。为此，我们提出了第一个大规模的开放模拟数据集的车辆到车辆的感知。它包含70多个有趣的场景，11，464帧和232，913个带注释的3D车辆边界框，收集自CARLA的8个城镇和洛杉矶卡尔弗城的数字城镇。然后，我们构建了一个全面的基准测试，共有16个实施模型，以评估几种信息融合策略（即早期，晚期和中期融合）与最先进的激光雷达检测算法。此外，我们还提出了一种新的Attentive Intermediate Fusion管道来聚合来自多个连接车辆的信息。我们的实验表明，所提出的管道可以很容易地与现有的三维激光雷达探测器集成，即使在大压缩率下也能实现出色的性能。为了鼓励更多的研究人员研究车辆对车辆的感知，我们将在https://mobility-lab.seas.ucla.edu/opv2v/上发布数据集，基准方法和所有相关代码。
2022-06-20 cs.CV cs.RO
Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
自动驾驶依赖于大量的真实数据进行高精度标记。替代解决方案寻求利用驾驶模拟器，其可以生成具有过多内容变化的大量标记数据。然而，合成数据和真实数据之间的领域差距仍然存在，提出了以下重要问题：利用自动驾驶模拟器进行感知任务的最佳方法是什么？在这项工作中，我们建立在领域适应理论的最新进展之上，并从这个角度出发，提出了减少现实差距的方法。我们主要专注于单独在合成域中使用标签。我们的方法引入了一种学习神经不变表示的原则性方法，以及一种关于如何从模拟器中采样数据的理论启发观点。我们的方法很容易在实践中实现，因为它是不可知的网络架构和模拟器的选择。我们使用开源模拟器（CARLA）展示了我们在多传感器数据（相机，激光雷达）的鸟瞰车辆分割任务上的方法，并在真实世界的数据集（nuScenes）上评估了整个框架。最后但并非最不重要的是，我们展示了什么类型的变化（例如天气条件，资产数量，地图设计和颜色多样性）在使用驾驶模拟器训练时对感知网络的影响，以及哪些可以用我们的领域自适应技术进行补偿。
2021-11-15 cs.AI cs.CV cs.LG
Exploring Recurrent Long-term Temporal Fusion for Multi-view 3D Perception
Megvii Technology（旷视科技）；Huazhong University of Science and Technology（华中科技大学）；Waseda University（早稻田大学）；Tsinghua University（清华大学）
本文提出VideoBEV，一种基于LSS的简单长期循环时序融合方法，通过时序嵌入模块增强对丢帧的鲁棒性，在nuScenes上显著提升多视角3D检测、分割、跟踪和运动预测性能。
2024-04-09 cs.CV
RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
针对雷达与相机模态差异导致的融合难题，提出RCBEVDet及增强版RCBEVDet++，通过RadarBEVNet与CAMF稀疏融合实现多任务高性能3D感知。
2024-09-08 cs.CV
Multi-Modality Cascaded Fusion Technology for Autonomous Driving
Hikvision Research Institute（海康威视研究院）
多模态融合是自动驾驶系统稳定性的保证。本文提出了一种通用的多模态级联融合框架，充分利用决策级和特征级融合的优点，综合利用目标的位置、大小、速度、外观和置信度等信息，实现准确的融合结果。在融合过程中，进行动态坐标对准（DCA），以减少来自不同模态的传感器之间的误差。此外，亲和度矩阵的计算是传感器融合的核心模块，本文提出了一种亲和度损失，提高了深度亲和度网络（DAN）的性能。最后，提出的逐步级联融合框架是更好的解释性和灵活性相比，端到端的融合方法。在Nuscenes [2]数据集上的大量实验表明，本文的方法达到了最先进的性能。
2020-02-08 cs.CV
Self-Supervised Pre-training with Combined Datasets for 3D Perception in Autonomous Driving
University of Science and Technology of China（中国科学技术大学）
针对自动驾驶3D感知，本文提出结合异构未标记数据集的自监督预训练框架，搭配提示适配器域适应策略，显著提升下游任务性能，且性能随数据量增加而稳定提升。
2025-04-17 cs.CV
UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving
Huazhong University of Science and Technology（华中科技大学）；SKL-IOTSC, University of Macau（澳门大学智慧城市物联网国家重点实验室）
UniDriveVLA通过专家解耦和三阶段训练策略，解决自动驾驶中感知与推理的冲突，实现空间感知与语义推理的统一，取得nuScenes和Bench2Drive的优异性能。
2026-04-02 cs.CV cs.RO
Cooperative Perception with Learning-Based V2V communications
University of Warwick（华威大学）；University of Durham（杜伦大学）；University of Technology Sydney（悉尼科技大学）；Oracle UK（英国甲骨文公司）；Southern University of Science and Technology（南方科技大学）；University of Reading（雷丁大学）
针对自动驾驶协同感知，分析信道损伤影响，提出利用中间特征鲁棒性的后融合方案，并采用CNN自动编码器压缩数据，在信噪比大于0dB时中间融合更鲁棒，所提方案优于传统后融合且兼顾精度与带宽。
2023-11-17 cs.CV eess.SP
CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes
ETH Zurich（苏黎世联邦理工学院）；INSAIT；Sofia University St. Kliment Ohridski（圣克莱门特奥赫里德斯基索非亚大学）
提出条件感知多模态融合方法CAFuser，通过RGB相机生成条件令牌指导多传感器融合，并引入模态特定适配器对齐特征，在MUSES和DeLiVER基准上达到最优性能。
2025-01-27 cs.CV
Hierarchical and Decoupled BEV Perception Learning Framework for Autonomous Driving
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（清华大学智能绿色车辆与出行国家重点实验室）；University of Macau（澳门大学）
本文提出一种面向自动驾驶的分层与解耦BEV感知学习框架，通过提供基础模块库与图形界面加速定制模型构建，并结合预训练-微调策略与多模块学习（MML）方法，在Nuscenes数据集上显著提升了感知性能。
2024-07-25 cs.CV
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
如何将互补传感器的表示集成到自动驾驶中？基于几何特征的传感器融合在诸如目标检测和运动预测等感知任务中显示出巨大的前景。然而，对于实际驾驶任务，3D场景的全局上下文是关键，例如交通灯状态的变化可能会影响在几何上远离该交通灯的车辆的行为。因此，单独的几何形状可能不足以有效地融合端到端驾驶模型中的表示。在这项工作中，我们证明了模仿学习政策的基础上现有的传感器融合方法下执行的动态代理和复杂的情况下，需要全局上下文推理，如处理交通迎面而来的多个方向在不受控制的十字路口的存在下。因此，我们提出了transFuser，一种新的多模态融合Transformer，集成图像和激光雷达表示使用注意。我们的实验验证了我们的方法在城市环境中的有效性，涉及复杂的情况下，使用CARLA城市驾驶模拟器。我们的方法实现了最先进的驾驶性能，同时与基于几何的融合相比，减少了76%的碰撞。
2021-04-19 cs.AI cs.CV cs.LG
A perception centred self-driving system without HD Maps
建立一个完全自主的自动驾驶系统已经讨论了20多年，但仍然没有解决。以前的系统扩展能力有限。他们的定位子系统需要劳动密集型的地图记录才能在新的区域运行，并且在环境发生变化后准确性会下降。本文提出了一种新的定位方法，以解决可扩展性问题，一种新的方法来检测和理解不同的交通线路。就像人类驾驶一样，自动驾驶系统在大多数情况下不应该依赖于精确的位置来行驶。因此，在没有高清地图、GPS或IMU的情况下，所提出的定位子系统仅依赖于检测周围的驾驶相关特征（如车道线、停车线和合并车道线）。为了发现和推理所有这些特征，提出了一种新的线检测器，并在多个数据集上进行了测试。
2020-09-11 cs.CV
Collective Perception Datasets for Autonomous Driving: A Comprehensive Review
University of Tübingen（蒂宾根大学）
本文首次全面评述自动驾驶中的集体感知数据集，分析V2V和V2X数据集，并推荐最适合集体3D目标检测、跟踪和语义分割的数据集。
2024-05-27 cs.CV
Symbolic Perception Risk in Autonomous Driving
Lehigh University（理海大学）
我们开发了一个新的框架来评估存在外源性噪音的交通标志分类任务中的误解风险。我们在自动驾驶环境中考虑这个问题，由于分辨率的提高，视觉输入质量逐渐提高，并且由于到交通标志的距离减小，噪声减少。使用使用标准分类算法获得的估计感知统计数据，我们的目标是量化错误感知的风险，以减轻不完美的视觉观察的影响。通过探索感知输出，他们的预期高层次的行动，和潜在的成本，我们展示了封闭形式的代表性的条件风险价值（CVaR）的误解。几个案例研究支持我们提出的方法的有效性。
2023-03-16 cs.CV cs.RO
A Survey on Occupancy Perception for Autonomous Driving: The Information Fusion Perspective
The Hong Kong Polytechnic University（香港理工大学）
该综述从信息融合视角梳理自动驾驶3D占用感知的最新研究，分析不同模态方法、网络流水线与融合技术，评估主流数据集上的SOTA性能，探讨挑战与未来方向，并提供持续更新的研究列表仓库。
2024-07-21 cs.AI cs.CV cs.RO
Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多任务学习已经成为一种强大的范例，可以同时解决一系列任务，在计算资源和推理时间方面都具有良好的效率。然而，这些算法是为不同的任务而设计的，大多不在自动驾驶的范围内，因此很难比较自动驾驶中的多任务方法。为了能够全面评估自动驾驶中现有的多任务学习方法，我们广泛研究了大规模驾驶数据集上流行的多任务方法的性能，这些数据集涵盖了四种常见的感知任务，即，目标检测、语义分割、可驾驶区域分割和车道检测。我们提供了一个深入的分析，目前的多任务学习方法在不同的常见设置，发现现有的方法取得了进展，但仍然有很大的性能差距相比，单任务基线。为了缓解自动驾驶中的这种困境，我们提出了一个有效的多任务框架，VE提示，它通过特定任务的提示引入视觉范例，以引导模型学习高质量的特定任务的表示。具体来说，我们基于边界框和基于颜色的标记生成视觉样本，这提供了目标类别的准确视觉外观，并进一步减轻了性能差距。此外，我们将基于transformer的编码器和卷积层连接起来，以实现自动驾驶中高效准确的统一感知。在不同的自动驾驶数据集BDD 100K上的综合实验结果表明，VE-Prompt改进了多任务基线，并进一步超越了单任务模型。
2023-03-03 cs.CV
Geometry-Grounded Unified 3D Perception for Autonomous Driving
该研究针对现有自动驾驶3D感知框架无法保留显式度量几何的问题，提出GeoUP框架，通过分解跨图像交互并注入射线图编码实现统一3D感知，在多数据集上达到SOTA性能。
2026-09-01 cs.CV
TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们应该如何整合来自互补传感器的表示以实现自动驾驶？基于几何的融合已经显示出感知（例如，目标检测、运动预测）的前景。然而，在端到端驾驶的情况下，我们发现，模仿学习基于现有的传感器融合方法在复杂的驾驶场景中表现不佳，具有高密度的动态代理。因此，我们提出了TransFuser，这是一种使用自我注意力整合图像和LiDAR表示的机制。我们的方法使用多分辨率的Transformer模块来融合透视图和鸟瞰图特征图。我们通过实验验证了其在具有长路线和密集交通的具有挑战性的新基准上的有效性，以及CARLA城市驾驶模拟器的官方排行榜。在提交时，TransFuser在驾驶分数方面远远超过了CARLA排行榜上的所有先前工作。与基于几何的融合相比，TransFuser将每公里的平均碰撞减少了48%。
2022-05-31 cs.AI cs.CV cs.LG
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology（北京理工大学）
本文介绍了在2018年中国方程式学生自主驾驶比赛（FSAC）中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中，一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构，保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶，基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后，采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后，基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
LongShortNet: Exploring Temporal and Semantic Features Fusion in Streaming Perception
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Carnegie Mellon University（卡内基梅隆大学）
流感知是自动驾驶中的一项关键任务，需要平衡自动驾驶系统的延迟和准确性。然而，当前用于流感知的方法是有限的，因为它们仅依赖于当前和相邻的两个帧来学习运动模式。这限制了它们对复杂场景建模的能力，通常导致检测结果不佳。为了解决这一限制，我们提出了LongShortNet，这是一种新颖的双路径网络，它捕获长期的时间运动，并将其与短期的空间语义集成，以实现实时感知。LongShortNet是值得注意的，因为它是第一个将长期时间建模扩展到流感知的工作，从而实现时空特征融合。我们在具有挑战性的Argoverse-HD数据集上评估了LongShortNet，并证明它优于现有的最先进的方法，几乎没有额外的计算成本。
2023-03-30 cs.AI cs.CV cs.MM
Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches
Technische Universität Braunschweig（布伦瑞克工业大学）；Volkswagen AG（大众汽车集团）
自动驾驶已经成为一个重要的研究课题，不仅在活跃的研究界，而且在主流媒体的报道。由于深度学习技术的进步，这种智能车辆的视觉感知在过去十年中经历了很大的进步，但仍然存在一些挑战。其中一个挑战是发现角落案件。它们是驾驶时发生的意外和未知情况。传统的视觉感知方法往往无法检测到它们，因为在训练过程中没有看到角落情况。因此，它们的检测是高度安全关键的，并且检测方法可以应用于大量收集的数据以选择合适的训练数据。可靠地检测到角落情况不仅可以进一步自动化数据选择过程并提高自动驾驶的安全性，还可以积极地影响公众对新技术的接受程度。在这项工作中，我们继续以前的系统化的角落的情况下，在不同的水平，为每个级别的一组扩展的例子。此外，我们将检测方法分为不同的类别，并将它们与角落案例级别联系起来。因此，我们给出了展示特定角落案例的方向，以及如何在技术上检测它们的基本指南。
2021-02-11 cs.CV
EPSM: A Novel Metric to Evaluate the Safety of Environmental Perception in Autonomous Driving
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems Group（图宾根大学，科学学院，计算机科学系，嵌入式系统组）
EPSM提出了一种新的安全指标，用于评估自动驾驶中环境感知系统的安全性能，通过整合物体和车道检测任务的相互依赖性，识别传统指标无法捕捉的安全关键错误。
2025-12-17 cs.CV cs.RO
AmodalSynthDrive: A Synthetic Amodal Perception Dataset for Autonomous Driving
IAV GmbH（IAV有限公司）；University of Freiburg（弗赖堡大学）
针对自动驾驶领域非模态感知研究缺乏合适数据集的问题，研究团队推出合成多任务多模态数据集AmodalSynthDrive，提供多类数据与超百万标注，支持多种相关任务并搭建公开基准。
2024-03-11 cs.CV
Visual Perception System for Autonomous Driving
University of Bath（巴斯大学）
本文提出一种基于视觉的自动驾驶感知系统，集成行人等运动目标跟踪预测、相机定位与稀疏建图，并通过仿真和真实数据集验证其性能。
2023-10-31 cs.CV cs.RO
Fisheye Camera and Ultrasonic Sensor Fusion For Near-Field Obstacle Perception in Bird's-Eye-View
University of Limerick（利默里克大学）；Valeo India（法雷奥印度公司）；Valeo Driving Assistance Research（法雷奥驾驶辅助研究中心）；Valeo Vision Systems（法雷奥视觉系统公司）；Indian Statistical Institute（印度统计研究所）
针对鱼眼相机在低光等场景下近场障碍物感知性能下降的问题，提出融合鱼眼相机与超声波传感器的BEV端到端模型，通过单模态编码、特征转换、内容感知空洞卷积及两阶段解码实现精准感知，验证了方法的有效性。
2024-02-01 cs.CV
