Vision-Integrated LLMs for Autonomous Driving Assistance : Human Performance Comparison and Trust Evaluation
Seoul National University(首尔大学)
针对传统自动驾驶系统在复杂场景中空间推理能力不足的问题,本研究提出集成视觉适配器(YOLOv4+ViT)和GPT-4推理模块的辅助系统,实验表明其场景描述接近人类性能、决策与人类中度一致。
2025-02-06 cs.AI cs.CV cs.HC
A Language Agent for Autonomous Driving
University of Southern California(南加州大学);Stanford University(斯坦福大学);NVIDIA(英伟达)
本文提出Agent-Driver,利用大型语言模型作为认知智能体,通过工具库、认知记忆和推理引擎将类人智能集成到自动驾驶系统,在nuScenes基准上大幅超越现有方法,并具备卓越可解释性和少样本学习能力。
2024-07-28 cs.AI cs.CL cs.CV
RoboDriveVLM: A Novel Benchmark and Baseline towards Robust Vision-Language Models for Autonomous Driving
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
RoboDriveVLM提出了一种新型基准和基线,用于评估视觉-语言模型在自动驾驶中的鲁棒性,通过模拟多种腐蚀场景提升系统可靠性。
2025-12-01 cs.AI
PKRD-CoT: A Unified Chain-of-thought Prompting for Multi-Modal Large Language Models in Autonomous Driving
School of Information Technology, Monash University Malaysia(马来西亚莫纳什大学信息技术学院)
本文提出基于感知、知识、推理与决策的 PKRD-CoT 零样本思维链提示框架,使 GPT-4.0 等多模态大语言模型无需训练即可提升自动驾驶实时决策表现。
2024-12-02 cs.AI cs.RO
LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving
Department of Civil and Environmental Engineering, University of Michigan(土木与环境工程系,密歇根大学);University of Michigan Transportation Research Institute(密歇根大学交通研究所)
LightEMMA是评估自动驾驶领域视觉语言模型性能的纵向框架,研究发现这类模型迭代后驾驶性能未持续提升,需领域适配以提升系统安全性。
2026-09-04 cs.AI cs.RO
Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits
University at Buffalo(布法罗大学);University of Notre Dame(诺特尔大学)
本文提出LLM-RCO框架,利用大语言模型整合人类驾驶常识,以提升自动驾驶在感知缺陷下的风险规避与适应性控制能力。
2025-12-12 cs.AI cs.LG cs.RO
TJ4DRadSet: A 4D Radar Dataset for Autonomous Driving
下一代高分辨率汽车雷达(4D雷达)可以提供额外的高程测量和更密集的点云,这在自动驾驶的3D传感方面具有巨大的潜力。在本文中,我们介绍了一个名为TJ4DRadSet的数据集与4D雷达点的自动驾驶研究。该数据集是在各种驾驶场景中收集的,共有44个连续序列中的7757个同步帧,这些序列都用3D边界框和轨迹ID进行了很好的注释。我们为我们的数据集提供了一个基于4D雷达的3D目标检测基线,以证明4D雷达点云的深度学习方法的有效性。该数据集可通过以下链接访问:https://github.com/TJRadarLab/TJ4DRadSet。
2022-07-27 cs.AI cs.CV
One-Stage Object Detectors in Autonomous Driving
Florida Gulf Coast University(佛罗里达海湾海岸大学)
本文针对自动驾驶场景调研分析单阶段目标检测器,涵盖其演进、架构对比、相关数据集与指标等,指出该类检测器需平衡速度等性能且与实际应用仍有差距。
2026-08-20 cs.AI cs.CV
An Overview about Emerging Technologies of Autonomous Driving
本文概述了自动驾驶新兴技术,重点探讨了数据闭环框架下的关键技术和开放性问题。
2026-03-11 cs.CV
Driving the Wrong Way: Leveraging Interpretability in End2End Autonomous Driving Models
AUMOVIO(奥莫维奥);Department of Applied Computer Science, University of Bamberg(班贝格大学应用计算机科学系)
研究端到端自动驾驶模型因复杂不透明易产生不良行为的问题,核心方法是集成无监督字典学习作为可解释性模块,主要贡献为揭示决策逻辑、纠正驾驶决策以提升模型性能。
2026-07-08 cs.AI cs.CV cs.RO
Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas(北德克萨斯大学);Fordham University(福特汉姆大学);Qatar University(卡塔尔大学);University of Nebraska at Kearney(内布拉斯加大学卡尼尔分校);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术,分析传感器天气限制及市场影响,并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
Deep Event-based Object Detection in Autonomous Driving: A Survey
School of System Engineering NUDT Changsha, China
本文综述自动驾驶中基于事件相机的深度目标检测方法,分析事件数据异步稀疏带来的低延迟与轻量架构挑战,并阐明事件相机相较传统帧相机的优势。
2024-05-07 cs.CV
LMAD: Integrated End-to-End Vision-Language Model for Explainable Autonomous Driving
本文提出LMAD框架,通过引入场景交互与专家适配器,将视觉-语言模型与端到端自动驾驶任务深度对齐,在DriveLM和nuScenes-QA上显著提升驾驶推理性能,推动可解释自动驾驶发展。
2025-08-17 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications(北京邮电大学)
随着自动驾驶技术的蓬勃发展,复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波(mmWave)雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先,我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说,我们将融合方法分为数据级,决策级和特征级融合方法。此外,我们还介绍了三维(3D)目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合,这些都是未来很有希望的。最后,对本文进行了总结。
2022-04-01 cs.CV
Sensor Data Validation and Driving Safety in Autonomous Driving Systems
CITY UNIVERSITY OF HONG KONG(香港城市大学)
自动驾驶技术因其快速发展和极高的商业价值而受到广泛关注。最近自动驾驶技术的飞跃主要归功于环境感知的进步。良好的环境感知提供准确的高层次环境信息,这对于自动驾驶汽车做出安全和精确的驾驶决策和策略至关重要。此外,如果没有深度学习模型和先进的机载传感器,如光学传感器(激光雷达和摄像头)、雷达、GPS,准确的环境感知就不可能取得这样的进展。然而,先进的传感器和深度学习模型很容易受到最近发明的攻击方法的影响。例如,激光雷达和摄像头可能会受到光学攻击,深度学习模型可能会受到对抗性示例的攻击。对先进传感器和深度学习模型的攻击会在很大程度上影响环境感知的准确性,对自动驾驶汽车的安全性构成巨大威胁。本论文主要研究针对车载传感器攻击的检测方法,以及受攻击的深度学习模型与自动驾驶汽车驾驶安全之间的联系。为了检测攻击,可以利用冗余数据源,因为受害者传感器数据中的攻击引起的信息失真导致与来自其他冗余源的信息不一致。研究受攻击的深度学习模型与驾驶安全之间的联系.
2022-04-01 cs.CV
The NEOLIX Open Dataset for Autonomous Driving
NEOLIX
随着5G技术的逐渐成熟,自动驾驶技术越来越受到研究界的关注。自动驾驶汽车依赖于人工智能、视觉计算、雷达、监控设备和GPS的协同工作,使计算机能够在不受人为干扰的情况下自动安全地操纵汽车,但用于训练和系统评估的大规模数据集仍然是鲁棒感知模型开发中的一个棘手问题。本文介绍了NEOLIX数据集及其在自动驾驶领域的应用。我们的模板包括大约30,000个带有点云标签的帧,以及超过600k个带有注释的3D边界框。数据汇集覆盖多个区域,各种驾驶条件,包括白天、夜晚、黎明、黄昏和晴天。为了标记这个完整的数据集,我们为每个任务开发了各种工具和算法,以加快标记过程。希望我们的数据集和相关算法能够为自动驾驶在计算机视觉领域的进一步发展提供支持和激励。
2021-01-28 cs.CV
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University(同济大学)
人车协同驾驶技术减轻了人类驾驶员的工作负担,已成为自动驾驶的关键技术。然而,复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力,提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法,将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明,合作视觉感知能更准确地反映冲突最危险区域,预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法,为规划和控制提供准确的数据。
2022-04-21 cs.CV
Applications of Large Scale Foundation Models for Autonomous Driving
Futurewei Technology Inc.(未来网络技术有限公司);University of Missouri(密苏里大学)
本文探讨了大语言模型与基础模型在自动驾驶中的应用,旨在利用人类知识与推理突破长尾困境,涵盖仿真、世界模型、数据标注及端到端规划等技术方向。
2024-01-05 cs.CV
Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
CAIR, HKISI, CAS(中国科学院香港创新研究院人工智能与机器人创新研究所);CASIA(中国科学院自动化研究所)
本文提出首个兼容端到端规划模型的驾驶世界模型 Drive-WM,通过视角分解联合时空建模生成多视角视频,并首次将其用于多未来预测与安全驾驶规划。
2023-11-29 cs.CV
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);INRIA(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(李斯特研究所)
近年来,我们见证了自动端到端驾驶领域越来越高的性能。特别是,越来越多的研究正在做的城市环境中,汽车必须遵循高级别的命令来导航驾驶。然而,很少有评价的能力,这些代理人在一个意想不到的情况下作出反应。具体地,在坏的高级命令的情况下,不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法,即一个基准,允许评估的代理的鲁棒性,并欣赏其理解的环境,通过其能力,以保持一个安全的行为,无论指令。
2021-05-20 cs.AI cs.CV cs.LG
Adversarial Driving: Attacking End-to-End Autonomous Driving
The University of Exeter(埃克塞特大学);The University of the West of England(西英格兰大学)
本文针对端到端自动驾驶模型提出两种白盒定向图像扰动攻击,可在CPU上实时运行,并显著偏离预测转向角。
2023-12-12 cs.CV
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas(得克萨斯大学达拉斯分校);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已广泛应用于自动驾驶等许多自主系统中。最近,DNN测试已经被广泛研究,以自动生成对抗性示例,这些示例将小幅度的扰动注入到输入中,以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的,但它们主要集中在生成数字对抗扰动(特别是对于自动驾驶),例如,改变图像像素,这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失:理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中,我们提出了DeepBillboard,这是一种系统的物理世界测试方法,针对一种常见而实用的驾驶场景:驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌,它可以在动态变化的驾驶条件下工作,包括视角,距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验,广泛评估了DeepBillboard的有效性和鲁棒性。结果表明,DeepBillboard是有效的各种转向模型和场景。此外,DeepBillboard具有足够的鲁棒性和弹性,可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知,这是第一项研究,证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional(Motional公司)
基于视觉的3D检测任务是自动驾驶系统感知的基础任务,已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而,使用相机的2D传感器输入数据来实现相当好的3D BEV(鸟瞰图)性能并不是一件容易的事情。在本文中,我们提供了一个文献调查现有的基于视觉的3D检测方法,专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析,并强调了不同的子组,以详细了解常见趋势。此外,我们强调了文献和行业趋势如何转向基于环绕视图图像的方法,并记录了这种方法解决的特殊情况的想法。最后,我们提出了基于当前技术的缺点,包括协同感知的方向,为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Google Research(谷歌研究院);University of California, Merced(加州大学默塞德分校)
DrivingGaussian提出一种复合高斯泼溅框架,通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标,并结合LiDAR先验,实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV
Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies
Black Sesame Technology Inc.(黑芝麻智能科技有限公司);Futurewei Technology Inc.(星网锐捷技术有限公司)
自2004/05年DARPA Grand Challenges(农村)和2007年Urban Challenges以来,自动驾驶一直是人工智能应用最活跃的领域。几乎同时,深度学习也有几位先驱者取得了突破,其中Hinton、Bengio和LeCun三位(也被称为深度学习之父)在2019年获得了ACM都灵奖。这是一个关于自动驾驶技术与深度学习方法的调查。我们研究了自动驾驶系统的主要领域,如感知,地图和定位,预测,规划和控制,仿真,V2X和安全等。由于篇幅有限,我们重点分析了几个关键领域,即感知中的2D和3D目标检测,摄像机的深度估计,数据,特征和任务层面的多传感器融合,车辆驾驶和行人轨迹的行为建模和预测。
2020-07-04 cs.CV
DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
IIIS, Tsinghua University(清华大学信息科学技术学院);Li Auto(理想汽车)
针对城市自动驾驶中的复杂长尾场景,提出DriveVLM系统,结合视觉-语言模型进行场景描述、分析与分层规划,并推出混合系统DriveVLM-Dual,在数据集和量产车上验证了有效性。
2024-06-25 cs.CV
Development of Real-time Rendering Technology for High-Precision Models in Autonomous Driving
我们的自动驾驶模拟实验室制作了模拟停车场的高精度3D模型。然而,目前的模型在某些方面仍然存在绘制质量差的问题。在这项工作中,我们开发了一个系统,以提高模型的渲染和评估渲染模型的质量。
2023-03-20 cs.CV cs.RO
Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System
School of Mechanical Engineering, Shanghai Jiao Tong University(上海交通大学机械与动力工程学院)
针对V2X通信资源未被有效用于提升驾驶性能的问题,本文提出仿真平台V2Xverse和端到端协同驾驶系统CoDriving,通过面向驾驶的通信策略优化信息共享,显著提升驾驶得分并降低碰撞率。
2025-04-09 cs.CV
A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook
Technical University of Munich(慕尼黑工业大学);The Ohio State University(俄亥俄州立大学)
本文从多角度详尽研究了265个自动驾驶数据集,提出评估影响的新指标,分析标注质量与环境条件影响,并探讨当前挑战与未来趋势。
2024-04-23 cs.CV
Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions
Microsoft STCA(微软亚洲互联网工程院);Kyung Hee University(庆熙大学)
本文研究SAM在自动驾驶恶劣天气下的鲁棒性,旨在集成前评估其表现,为未来应用提供见解。
2023-06-23 cs.CV
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université(索邦大学)
本调查回顾了基于视觉的自动驾驶系统的解释方法,该系统经过行为克隆训练。可解释性的概念有几个方面,对可解释性的需求在驾驶中很强,这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献,即计算机视觉、深度学习、自动驾驶、可解释人工智能(X-AI),解决了几个问题。首先,它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机,以及该应用所特有的挑战。其次,全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三,详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后,剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
PLoc: A New Evaluation Criterion Based on Physical Location for Autonomous Driving Datasets
Khoury College of Computer Science(计算机科学学院(Khoury));Northeastern University(东北大学)
本文提出基于物理位置的自动驾驶评估准则PLoc,并构建重标注数据集ApolloScape-R,实验表明模型对车道内行人的检测准确率低于人行道行人,从而揭示传统评估忽视位置安全信息的不足。
2024-03-29 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University(雪城大学);Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)(博世北美研究院及博世人工智能中心)
本文提出视觉-语言-规划框架VLP,利用语言模型增强自动驾驶的推理与上下文理解,在NuScenes上显著降低规划误差和碰撞率,并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
WiseAD: Knowledge Augmented End-to-End Autonomous Driving with Vision-Language Model
Nanyang Technology University(南洋理工大学);Zhejiang University(浙江大学)
本文提出WiseAD,一种知识增强的端到端自动驾驶视觉语言模型,通过联合训练驾驶知识与规划数据,在Carla闭环评估中实现驾驶得分和路线完成率分别提升11.9%和12.4%,达到最先进性能。
2024-12-17 cs.CV
Visual Perception System for Autonomous Driving
University of Bath(巴斯大学)
本文提出一种基于视觉的自动驾驶感知系统,集成行人等运动目标跟踪预测、相机定位与稀疏建图,并通过仿真和真实数据集验证其性能。
2023-10-31 cs.CV cs.RO
Real-time Streaming Perception System for Autonomous Driving
如今,大量的深度学习技术正在应用于自动驾驶的各个方面,并取得了可喜的成果。其中,目标检测是提高自主智能体感知环境的能力,使其能够(反应)行动的关键。然而,以前的基于视觉的目标检测器不能在实时的【形】驾驶场景下获得令人满意的性能。为了解决这个问题,我们在本文中提出了实时的【形】流感知系统,这也是流感知挑战赛(CVPR 2021自动驾驶研讨会)的第二名解决方案。与传统的目标检测主要关注绝对性能的挑战不同,流感知任务需要实现准确性和延迟的平衡,这对于实时的【形】自动驾驶至关重要。我们采用YOLOv 5作为我们的基本框架,数据增强,免费赠品袋,和Transformer采用,以提高流目标检测的性能,可以忽略不计的额外推理成本。在Argoverse-HD测试集上,我们的方法在所需的硬件条件下实现了33.2个流式AP(组织者验证了34.6个流式AP)。它的表现大大超过了13.6(主队)的固定基线,证明了应用的潜力。
2021-07-30 cs.CV
Nighttime Autonomous Driving Scene Reconstruction with Physically-Based Gaussian Splatting
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出基于物理的高斯点云方法,提升自动驾驶夜间场景重建质量,实现实时渲染并优于现有方法。
2026-02-14 cs.CV
Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving
Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
多任务学习已经成为一种强大的范例,可以同时解决一系列任务,在计算资源和推理时间方面都具有良好的效率。然而,这些算法是为不同的任务而设计的,大多不在自动驾驶的范围内,因此很难比较自动驾驶中的多任务方法。为了能够全面评估自动驾驶中现有的多任务学习方法,我们广泛研究了大规模驾驶数据集上流行的多任务方法的性能,这些数据集涵盖了四种常见的感知任务,即,目标检测、语义分割、可驾驶区域分割和车道检测。我们提供了一个深入的分析,目前的多任务学习方法在不同的常见设置,发现现有的方法取得了进展,但仍然有很大的性能差距相比,单任务基线。为了缓解自动驾驶中的这种困境,我们提出了一个有效的多任务框架,VE提示,它通过特定任务的提示引入视觉范例,以引导模型学习高质量的特定任务的表示。具体来说,我们基于边界框和基于颜色的标记生成视觉样本,这提供了目标类别的准确视觉外观,并进一步减轻了性能差距。此外,我们将基于transformer的编码器和卷积层连接起来,以实现自动驾驶中高效准确的统一感知。在不同的自动驾驶数据集BDD 100K上的综合实验结果表明,VE-Prompt改进了多任务基线,并进一步超越了单任务模型。
2023-03-03 cs.CV
Efficient Visual Question Answering Pipeline for Autonomous Driving via Scene Region Compression
University of Southern California(南加州大学);XPeng(小鹏)
本文提出SRC-Pipeline框架,通过场景区域压缩技术,在保持性能的同时显著降低计算成本,提升自动驾驶中的实时视觉问答效率。
2026-01-11 cs.CV
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur(印度理工学院卡拉格布尔分校)
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法,在这种方法中,我们收集驾驶任务的眼睛注视数据,并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法,我们训练一个模型,让它在学习驾驶汽车时学会预测注意力。最后,我们提出了一个比较研究,我们的结果表明,监督的方法来预测注意时,纳入比其他方法更好。
2018-12-05 cs.CV
Fast Recurrent Fully Convolutional Networks for Direct Perception in Autonomous Driving
Berkeley Deep Drive(伯克利深度驾驶);University of California, Berkeley(加州大学伯克利分校)
深度卷积神经网络(CNN)已被证明在各种任务中表现非常出色,包括自动驾驶的子任务,如图像分割和对象分类。然而,为这些任务设计的网络通常需要大量的训练数据和长的训练周期来收敛。我们通过提出并比较三种小型且计算成本低廉的深度端到端神经网络模型来研究端到端驱动网络设计背后的设计原理,这些模型直接从输入图像生成驱动控制信号。与之前对自动驾驶任务进行分段的工作相比,我们的模型采用了一种新的方法来解决自动驾驶问题,即利用具有递归神经网络和低参数计数的深度和细的全卷积网络(FCN)来处理复杂的端到端回归任务,预测转向和加速命令。此外,我们还包括针对分类进行优化的层,以允许网络隐式学习图像语义。我们发现,由此产生的网络使用的参数比最近的端到端驱动网络少3倍,比AlexNet变体少500倍,收敛速度更快,损失更低,同时保持对过拟合的鲁棒性。
2017-11-20 cs.CV
Reason induced visual attention for explainable autonomous driving
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
基于深度学习(DL)的计算机视觉(CV)模型由于可解释性差而通常被认为是黑箱。这种限制阻碍了系统故障的有效诊断或预测,从而阻碍了DLCV模型在自动驾驶等安全关键任务中的广泛部署。本研究的动机是需要提高自动驾驶中DL模型的可解释性,因此提出了一个可解释的基于DL的框架,该框架生成驾驶环境的文本描述,并根据生成的描述做出适当的决策。该框架通过对视觉输入(图像)和自然语言进行联合建模来模仿人类驾驶员的学习过程,同时使用语言来诱导图像中的视觉注意。结果表明,通过关注视觉输入的相关特征获得的自动驾驶决策具有很强的可解释性。此外,输出注意力图不仅通过对模型行为提供有意义的解释,而且通过识别模型的弱点和潜在的改进方向来增强模型的可解释性。
2021-10-11 cs.CV
Semantic video segmentation for autonomous driving
Universität Bonn(波恩大学)
我们的目标是解决自动驾驶中的语义视频分割,即实时的视频中的道路检测,使用(Shelhamer et al.,2016年a)。虽然全卷积网络给出了很好的结果,但我们证明了速度可以减半,同时保持准确性。使用的测试数据集是KITTI,它由来自德国街道的真实镜头组成。
2020-10-28 cs.CV eess.IV
Hybrid Video Anomaly Detection for Anomalous Scenarios in Autonomous Driving
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(弗劳恩霍夫信息与通信技术研究中心)
针对自动驾驶场景,提出HF$^2$-VAD$_{AD}$方法,从车辆自视角学习正常性表示,在罕见关键场景中实现逐像素异常检测。
2025-04-28 cs.CV cs.RO
High-Definition Map Generation Technologies For Autonomous Driving
Ontario Tech University(安大略理工大学)
在过去的几年里,自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自动驾驶的道路上,研究人员利用了各种传感器,如LiDAR,相机,惯性测量单元(IMU)和GPS,并开发了用于自动驾驶应用的智能算法,如目标检测,对象分割,避障和路径规划。近年来,高清(HD)地图引起了人们的广泛关注。由于高清地图在定位方面的高精度和信息水平,它已立即成为自动驾驶的关键组成部分之一。从百度Apollo、英伟达、TomTom等大型组织到个人研究人员,研究人员已经为自动驾驶创建了不同场景和目的的高清地图。有必要回顾一下高清地图生成的最新方法。本文回顾了最近的高清地图生成技术,利用2D和3D地图生成。本文介绍了高清地图的概念及其在自动驾驶中的实用性,并详细概述了高清地图生成技术。我们还将讨论当前高清地图生成技术的局限性,以激励未来的研究。
2022-06-24 cs.CV cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University(奥克兰大学)
本综述系统回顾了自动驾驶领域的全景感知模型,比较了其输入、架构及在性能、响应速度和资源利用率上的表现,并探讨了当前挑战与未来研究方向,为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
RGB cameras failures and their effects in autonomous driving applications
University of Florence(佛罗伦萨大学)
RGB摄像头是自动驾驶应用中最相关的传感器之一。不可否认的是,车载摄像头的故障可能会危及自动驾驶任务,当驾驶系统随后处理的图像被更改时,可能会导致不安全的行为。为了支持安全和强大的车辆架构和智能系统的定义,在本文中,我们定义了车载摄像头的故障模式,以及影响和已知缓解措施的分析。此外,我们建立了一个软件库,用于生成相应的失败图像,并将它们馈送到单声道和立体声相机的六个对象检测器以及自动驾驶模拟器的自动驾驶代理。由此产生的与操作干净的图像有关的不当行为允许更好地理解基于图像的应用中的故障影响和相关的安全风险。
2022-03-04 cs.CV cs.LG cs.SE
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea(赵陈夏石移动研究生院)
本综述聚焦自动驾驶领域的视觉Transformer应用,梳理其基础概念与多场景应用,对比架构优劣,并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Department of Systems Design Engineering, University of Waterloo(滑铁卢大学系统设计工程系);David Cheriton school of Computer science, University of Waterloo(滑铁卢大学戴维·谢里顿计算机学院);University of Waterloo(滑铁卢大学)
本文分析了自动驾驶应用中深度学习模型的鲁棒性,并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University(西蒙菲莎大学)
针对自动驾驶传感器数据量大的问题,研究面向3D目标检测的相机与LiDAR多模态学习式压缩,对比联合编码与条件编码等方案,在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving
Dr. Ing. h.c. F. Porsche AG(保时捷股份公司);Forschungszentrum Informatik(弗劳恩霍夫信息技术研究中心);Hochschule Esslingen(埃斯林根应用技术大学);University of Michigan(密歇根大学);Voxel51;Karlsruher Institut für Technologie(卡尔斯鲁厄理工学院)
本文提出能力驱动的MLLMs自动驾驶场景理解评估框架,从语义、空间、时间、物理四维度及情境层、模态、下游任务组织评估,并通过两个交通场景验证其适用性。
2025-03-14 cs.CV cs.RO
Exploring the Causality of End-to-End Autonomous Driving
Baidu Inc.(百度公司)
本文提出一种系统性方法,通过控制变量、反事实干预和统计分析,探索端到端自动驾驶的因果性,并开发了工具和基线,在CARLA中验证,将黑箱变为白箱。
2024-07-19 cs.CV cs.RO
Autonomous Driving Implementation in an Experimental Environment
Sakarya University(萨卡里亚大学)
自主系统需要识别环境,在将其安全地付诸实践之前还有很长的路要走。在自动驾驶系统中,障碍物和交通信号灯的检测与车道跟踪一样重要。在这项研究中,自主驾驶系统的开发和测试的实验环境中,为此目的而设计。在该系统中,具有摄像头的模型车辆用于跟踪车道和避开障碍物,以实验研究自动驾驶行为。训练卷积神经网络模型进行车道线跟踪。针对车辆避障问题,分别建立了角点检测、光流、焦点扩展、碰撞时间、平衡计算和决策机制。
2021-05-23 cs.CV cs.LG cs.RO
Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University(同济大学汽车学院);ZERON
本文提出一个现实对抗闭环评估平台,用于生成边缘情况以评估端到端自动驾驶系统,通过真实场景图像生成与对抗交通策略结合,验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO