UMAD: Unsupervised Mask-Level Anomaly Detection for Autonomous Driving
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对自动驾驶中非典型场景检测难题,提出UMAD方法,结合生成式世界模型与无监督图像分割,在无需异常样本和标注数据的情况下实现优于现有方法的无监督异常检测。
2024-09-30 cs.CV cs.RO
Towards Knowledge-driven Autonomous Driving
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);East China Normal University(华东师范大学);Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学)
本文综述知识驱动自动驾驶技术,分析现有系统局限,提出以数据集、环境和驾驶员智能体为核心,结合大模型等AI技术构建更全面、自适应和智能的自动驾驶系统,并展望未来研究方向。
2023-12-27 cs.AI cs.CV cs.RO
Driving the Wrong Way: Leveraging Interpretability in End2End Autonomous Driving Models
AUMOVIO(奥莫维奥);Department of Applied Computer Science, University of Bamberg(班贝格大学应用计算机科学系)
研究端到端自动驾驶模型因复杂不透明易产生不良行为的问题,核心方法是集成无监督字典学习作为可解释性模块,主要贡献为揭示决策逻辑、纠正驾驶决策以提升模型性能。
2026-07-08 cs.AI cs.CV cs.RO
Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas(北德克萨斯大学);Fordham University(福特汉姆大学);Qatar University(卡塔尔大学);University of Nebraska at Kearney(内布拉斯加大学卡尼尔分校);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术,分析传感器天气限制及市场影响,并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
Deep Event-based Object Detection in Autonomous Driving: A Survey
School of System Engineering NUDT Changsha, China
本文综述自动驾驶中基于事件相机的深度目标检测方法,分析事件数据异步稀疏带来的低延迟与轻量架构挑战,并阐明事件相机相较传统帧相机的优势。
2024-05-07 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications(北京邮电大学)
随着自动驾驶技术的蓬勃发展,复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波(mmWave)雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先,我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说,我们将融合方法分为数据级,决策级和特征级融合方法。此外,我们还介绍了三维(3D)目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合,这些都是未来很有希望的。最后,对本文进行了总结。
2022-04-01 cs.CV
Sensor Data Validation and Driving Safety in Autonomous Driving Systems
CITY UNIVERSITY OF HONG KONG(香港城市大学)
自动驾驶技术因其快速发展和极高的商业价值而受到广泛关注。最近自动驾驶技术的飞跃主要归功于环境感知的进步。良好的环境感知提供准确的高层次环境信息,这对于自动驾驶汽车做出安全和精确的驾驶决策和策略至关重要。此外,如果没有深度学习模型和先进的机载传感器,如光学传感器(激光雷达和摄像头)、雷达、GPS,准确的环境感知就不可能取得这样的进展。然而,先进的传感器和深度学习模型很容易受到最近发明的攻击方法的影响。例如,激光雷达和摄像头可能会受到光学攻击,深度学习模型可能会受到对抗性示例的攻击。对先进传感器和深度学习模型的攻击会在很大程度上影响环境感知的准确性,对自动驾驶汽车的安全性构成巨大威胁。本论文主要研究针对车载传感器攻击的检测方法,以及受攻击的深度学习模型与自动驾驶汽车驾驶安全之间的联系。为了检测攻击,可以利用冗余数据源,因为受害者传感器数据中的攻击引起的信息失真导致与来自其他冗余源的信息不一致。研究受攻击的深度学习模型与驾驶安全之间的联系.
2022-04-01 cs.CV
The NEOLIX Open Dataset for Autonomous Driving
NEOLIX
随着5G技术的逐渐成熟,自动驾驶技术越来越受到研究界的关注。自动驾驶汽车依赖于人工智能、视觉计算、雷达、监控设备和GPS的协同工作,使计算机能够在不受人为干扰的情况下自动安全地操纵汽车,但用于训练和系统评估的大规模数据集仍然是鲁棒感知模型开发中的一个棘手问题。本文介绍了NEOLIX数据集及其在自动驾驶领域的应用。我们的模板包括大约30,000个带有点云标签的帧,以及超过600k个带有注释的3D边界框。数据汇集覆盖多个区域,各种驾驶条件,包括白天、夜晚、黎明、黄昏和晴天。为了标记这个完整的数据集,我们为每个任务开发了各种工具和算法,以加快标记过程。希望我们的数据集和相关算法能够为自动驾驶在计算机视觉领域的进一步发展提供支持和激励。
2021-01-28 cs.CV
Unsupervised Monocular Road Segmentation for Autonomous Driving via Scene Geometry
K.N. Toosi University of Technology(凯恩·托西技术大学)
本文提出完全无监督单目道路分割方法,利用几何先验生成弱标签,并通过跨帧特征跟踪与互信息最大化增强时间一致性,在 Cityscapes 上取得 0.82 IoU。
2025-10-19 cs.CV
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University(同济大学)
人车协同驾驶技术减轻了人类驾驶员的工作负担,已成为自动驾驶的关键技术。然而,复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力,提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法,将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明,合作视觉感知能更准确地反映冲突最危险区域,预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法,为规划和控制提供准确的数据。
2022-04-21 cs.CV
Applications of Large Scale Foundation Models for Autonomous Driving
Futurewei Technology Inc.(未来网络技术有限公司);University of Missouri(密苏里大学)
本文探讨了大语言模型与基础模型在自动驾驶中的应用,旨在利用人类知识与推理突破长尾困境,涵盖仿真、世界模型、数据标注及端到端规划等技术方向。
2024-01-05 cs.CV
Unsupervised Self-Driving Attention Prediction via Uncertainty Mining and Knowledge Embedding
Beijing University of Posts and Telecommunications(北京邮电大学);University of Rochester(罗切斯特大学)
针对自动驾驶注意力预测依赖大规模标注及域差距问题,提出结合UMB不确定性挖掘与KEB驾驶知识嵌入的无监督框架,在三个公开数据集上达到或超过全监督SOTA性能。
2023-07-15 cs.CV
Distill, Diffuse, Segment: Unsupervised 3D Semantic Segmentation for Autonomous Driving Based on Multi-Level Distillation and Graph Diffusion
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Pengcheng Laboratory(鹏城实验室)
DDS通过多粒度蒸馏和图扩散实现轻量级无标注3D场景理解,提升区域一致性和语义识别,实验显示在多个数据集上性能优于现有方法。
2026-07-30 cs.CV
Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
CAIR, HKISI, CAS(中国科学院香港创新研究院人工智能与机器人创新研究所);CASIA(中国科学院自动化研究所)
本文提出首个兼容端到端规划模型的驾驶世界模型 Drive-WM,通过视角分解联合时空建模生成多视角视频,并首次将其用于多未来预测与安全驾驶规划。
2023-11-29 cs.CV
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);INRIA(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(李斯特研究所)
近年来,我们见证了自动端到端驾驶领域越来越高的性能。特别是,越来越多的研究正在做的城市环境中,汽车必须遵循高级别的命令来导航驾驶。然而,很少有评价的能力,这些代理人在一个意想不到的情况下作出反应。具体地,在坏的高级命令的情况下,不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法,即一个基准,允许评估的代理的鲁棒性,并欣赏其理解的环境,通过其能力,以保持一个安全的行为,无论指令。
2021-05-20 cs.AI cs.CV cs.LG
Adversarial Driving: Attacking End-to-End Autonomous Driving
The University of Exeter(埃克塞特大学);The University of the West of England(西英格兰大学)
本文针对端到端自动驾驶模型提出两种白盒定向图像扰动攻击,可在CPU上实时运行,并显著偏离预测转向角。
2023-12-12 cs.CV
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas(得克萨斯大学达拉斯分校);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已广泛应用于自动驾驶等许多自主系统中。最近,DNN测试已经被广泛研究,以自动生成对抗性示例,这些示例将小幅度的扰动注入到输入中,以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的,但它们主要集中在生成数字对抗扰动(特别是对于自动驾驶),例如,改变图像像素,这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失:理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中,我们提出了DeepBillboard,这是一种系统的物理世界测试方法,针对一种常见而实用的驾驶场景:驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌,它可以在动态变化的驾驶条件下工作,包括视角,距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验,广泛评估了DeepBillboard的有效性和鲁棒性。结果表明,DeepBillboard是有效的各种转向模型和场景。此外,DeepBillboard具有足够的鲁棒性和弹性,可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知,这是第一项研究,证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
A Language Agent for Autonomous Driving
University of Southern California(南加州大学);Stanford University(斯坦福大学);NVIDIA(英伟达)
本文提出Agent-Driver,利用大型语言模型作为认知智能体,通过工具库、认知记忆和推理引擎将类人智能集成到自动驾驶系统,在nuScenes基准上大幅超越现有方法,并具备卓越可解释性和少样本学习能力。
2024-07-28 cs.AI cs.CL cs.CV
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional(Motional公司)
基于视觉的3D检测任务是自动驾驶系统感知的基础任务,已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而,使用相机的2D传感器输入数据来实现相当好的3D BEV(鸟瞰图)性能并不是一件容易的事情。在本文中,我们提供了一个文献调查现有的基于视觉的3D检测方法,专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析,并强调了不同的子组,以详细了解常见趋势。此外,我们强调了文献和行业趋势如何转向基于环绕视图图像的方法,并记录了这种方法解决的特殊情况的想法。最后,我们提出了基于当前技术的缺点,包括协同感知的方向,为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Google Research(谷歌研究院);University of California, Merced(加州大学默塞德分校)
DrivingGaussian提出一种复合高斯泼溅框架,通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标,并结合LiDAR先验,实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV
Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies
Black Sesame Technology Inc.(黑芝麻智能科技有限公司);Futurewei Technology Inc.(星网锐捷技术有限公司)
自2004/05年DARPA Grand Challenges(农村)和2007年Urban Challenges以来,自动驾驶一直是人工智能应用最活跃的领域。几乎同时,深度学习也有几位先驱者取得了突破,其中Hinton、Bengio和LeCun三位(也被称为深度学习之父)在2019年获得了ACM都灵奖。这是一个关于自动驾驶技术与深度学习方法的调查。我们研究了自动驾驶系统的主要领域,如感知,地图和定位,预测,规划和控制,仿真,V2X和安全等。由于篇幅有限,我们重点分析了几个关键领域,即感知中的2D和3D目标检测,摄像机的深度估计,数据,特征和任务层面的多传感器融合,车辆驾驶和行人轨迹的行为建模和预测。
2020-07-04 cs.CV
Development of Real-time Rendering Technology for High-Precision Models in Autonomous Driving
我们的自动驾驶模拟实验室制作了模拟停车场的高精度3D模型。然而,目前的模型在某些方面仍然存在绘制质量差的问题。在这项工作中,我们开发了一个系统,以提高模型的渲染和评估渲染模型的质量。
2023-03-20 cs.CV cs.RO
Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System
School of Mechanical Engineering, Shanghai Jiao Tong University(上海交通大学机械与动力工程学院)
针对V2X通信资源未被有效用于提升驾驶性能的问题,本文提出仿真平台V2Xverse和端到端协同驾驶系统CoDriving,通过面向驾驶的通信策略优化信息共享,显著提升驾驶得分并降低碰撞率。
2025-04-09 cs.CV
A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook
Technical University of Munich(慕尼黑工业大学);The Ohio State University(俄亥俄州立大学)
本文从多角度详尽研究了265个自动驾驶数据集,提出评估影响的新指标,分析标注质量与环境条件影响,并探讨当前挑战与未来趋势。
2024-04-23 cs.CV
Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions
Microsoft STCA(微软亚洲互联网工程院);Kyung Hee University(庆熙大学)
本文研究SAM在自动驾驶恶劣天气下的鲁棒性,旨在集成前评估其表现,为未来应用提供见解。
2023-06-23 cs.CV
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université(索邦大学)
本调查回顾了基于视觉的自动驾驶系统的解释方法,该系统经过行为克隆训练。可解释性的概念有几个方面,对可解释性的需求在驾驶中很强,这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献,即计算机视觉、深度学习、自动驾驶、可解释人工智能(X-AI),解决了几个问题。首先,它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机,以及该应用所特有的挑战。其次,全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三,详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后,剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
PLoc: A New Evaluation Criterion Based on Physical Location for Autonomous Driving Datasets
Khoury College of Computer Science(计算机科学学院(Khoury));Northeastern University(东北大学)
本文提出基于物理位置的自动驾驶评估准则PLoc,并构建重标注数据集ApolloScape-R,实验表明模型对车道内行人的检测准确率低于人行道行人,从而揭示传统评估忽视位置安全信息的不足。
2024-03-29 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University(雪城大学);Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)(博世北美研究院及博世人工智能中心)
本文提出视觉-语言-规划框架VLP,利用语言模型增强自动驾驶的推理与上下文理解,在NuScenes上显著降低规划误差和碰撞率,并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
Perspective, Survey and Trends: Public Driving Datasets and Toolsets for Autonomous Driving Virtual Test
Beihang University(北京航空航天大学)
与真实场景下的闭环测试相比,自动驾驶虚拟测试具有早期安全性和可靠性保证的优点,近年来受到越来越多的关注。虽然自动驾驶数据集和工具集的可用性和质量是诊断自动驾驶系统瓶颈和提高系统性能的前提,但由于数据集和工具集的多样性和隐私性,收集和表征它们的视角和质量不仅耗时而且越来越具有挑战性。本文首先提出了自动驾驶测试(SLA)的系统文献综述方法,然后概述了2000年至2020年现有的公开数据集和工具集。通过35个自动驾驶测试工具集和70个测试数据集,给出了相关场景的定量结果、观点和趋势推断以及建议。据我们所知,我们是第一个使用基于SLA的调查方法对数据集和工具集进行这种最新的实证调查。我们的多方面分析和新发现不仅揭示了我们认为对系统设计者,从业者和用户有用的见解,而且还可以促进更多关于数据集和工具集的自动驾驶调查系统调查分析的研究。
2021-06-30 cs.AI cs.RO
Real-time Streaming Perception System for Autonomous Driving
如今,大量的深度学习技术正在应用于自动驾驶的各个方面,并取得了可喜的成果。其中,目标检测是提高自主智能体感知环境的能力,使其能够(反应)行动的关键。然而,以前的基于视觉的目标检测器不能在实时的【形】驾驶场景下获得令人满意的性能。为了解决这个问题,我们在本文中提出了实时的【形】流感知系统,这也是流感知挑战赛(CVPR 2021自动驾驶研讨会)的第二名解决方案。与传统的目标检测主要关注绝对性能的挑战不同,流感知任务需要实现准确性和延迟的平衡,这对于实时的【形】自动驾驶至关重要。我们采用YOLOv 5作为我们的基本框架,数据增强,免费赠品袋,和Transformer采用,以提高流目标检测的性能,可以忽略不计的额外推理成本。在Argoverse-HD测试集上,我们的方法在所需的硬件条件下实现了33.2个流式AP(组织者验证了34.6个流式AP)。它的表现大大超过了13.6(主队)的固定基线,证明了应用的潜力。
2021-07-30 cs.CV
Visual Perception System for Autonomous Driving
University of Bath(巴斯大学)
本文提出一种基于视觉的自动驾驶感知系统,集成行人等运动目标跟踪预测、相机定位与稀疏建图,并通过仿真和真实数据集验证其性能。
2023-10-31 cs.CV cs.RO
Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving
Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
多任务学习已经成为一种强大的范例,可以同时解决一系列任务,在计算资源和推理时间方面都具有良好的效率。然而,这些算法是为不同的任务而设计的,大多不在自动驾驶的范围内,因此很难比较自动驾驶中的多任务方法。为了能够全面评估自动驾驶中现有的多任务学习方法,我们广泛研究了大规模驾驶数据集上流行的多任务方法的性能,这些数据集涵盖了四种常见的感知任务,即,目标检测、语义分割、可驾驶区域分割和车道检测。我们提供了一个深入的分析,目前的多任务学习方法在不同的常见设置,发现现有的方法取得了进展,但仍然有很大的性能差距相比,单任务基线。为了缓解自动驾驶中的这种困境,我们提出了一个有效的多任务框架,VE提示,它通过特定任务的提示引入视觉范例,以引导模型学习高质量的特定任务的表示。具体来说,我们基于边界框和基于颜色的标记生成视觉样本,这提供了目标类别的准确视觉外观,并进一步减轻了性能差距。此外,我们将基于transformer的编码器和卷积层连接起来,以实现自动驾驶中高效准确的统一感知。在不同的自动驾驶数据集BDD 100K上的综合实验结果表明,VE-Prompt改进了多任务基线,并进一步超越了单任务模型。
2023-03-03 cs.CV
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur(印度理工学院卡拉格布尔分校)
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法,在这种方法中,我们收集驾驶任务的眼睛注视数据,并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法,我们训练一个模型,让它在学习驾驶汽车时学会预测注意力。最后,我们提出了一个比较研究,我们的结果表明,监督的方法来预测注意时,纳入比其他方法更好。
2018-12-05 cs.CV
Semantic video segmentation for autonomous driving
Universität Bonn(波恩大学)
我们的目标是解决自动驾驶中的语义视频分割,即实时的视频中的道路检测,使用(Shelhamer et al.,2016年a)。虽然全卷积网络给出了很好的结果,但我们证明了速度可以减半,同时保持准确性。使用的测试数据集是KITTI,它由来自德国街道的真实镜头组成。
2020-10-28 cs.CV eess.IV
Real-Time Fully Unsupervised Domain Adaptation for Lane Detection in Autonomous Driving
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Georgia Institute of Technology(佐治亚理工学院)
提出一种仅调整批归一化参数的轻量级完全无监督实时自适应方法,用于自动驾驶车道线检测,在Nvidia Jetson Orin上以30 FPS运行,准确率与最先进半监督算法相当。
2023-06-29 cs.CV cs.RO
Hybrid Video Anomaly Detection for Anomalous Scenarios in Autonomous Driving
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(弗劳恩霍夫信息与通信技术研究中心)
针对自动驾驶场景,提出HF$^2$-VAD$_{AD}$方法,从车辆自视角学习正常性表示,在罕见关键场景中实现逐像素异常检测。
2025-04-28 cs.CV cs.RO
High-Definition Map Generation Technologies For Autonomous Driving
Ontario Tech University(安大略理工大学)
在过去的几年里,自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自动驾驶的道路上,研究人员利用了各种传感器,如LiDAR,相机,惯性测量单元(IMU)和GPS,并开发了用于自动驾驶应用的智能算法,如目标检测,对象分割,避障和路径规划。近年来,高清(HD)地图引起了人们的广泛关注。由于高清地图在定位方面的高精度和信息水平,它已立即成为自动驾驶的关键组成部分之一。从百度Apollo、英伟达、TomTom等大型组织到个人研究人员,研究人员已经为自动驾驶创建了不同场景和目的的高清地图。有必要回顾一下高清地图生成的最新方法。本文回顾了最近的高清地图生成技术,利用2D和3D地图生成。本文介绍了高清地图的概念及其在自动驾驶中的实用性,并详细概述了高清地图生成技术。我们还将讨论当前高清地图生成技术的局限性,以激励未来的研究。
2022-06-24 cs.CV cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University(奥克兰大学)
本综述系统回顾了自动驾驶领域的全景感知模型,比较了其输入、架构及在性能、响应速度和资源利用率上的表现,并探讨了当前挑战与未来研究方向,为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
RGB cameras failures and their effects in autonomous driving applications
University of Florence(佛罗伦萨大学)
RGB摄像头是自动驾驶应用中最相关的传感器之一。不可否认的是,车载摄像头的故障可能会危及自动驾驶任务,当驾驶系统随后处理的图像被更改时,可能会导致不安全的行为。为了支持安全和强大的车辆架构和智能系统的定义,在本文中,我们定义了车载摄像头的故障模式,以及影响和已知缓解措施的分析。此外,我们建立了一个软件库,用于生成相应的失败图像,并将它们馈送到单声道和立体声相机的六个对象检测器以及自动驾驶模拟器的自动驾驶代理。由此产生的与操作干净的图像有关的不当行为允许更好地理解基于图像的应用中的故障影响和相关的安全风险。
2022-03-04 cs.CV cs.LG cs.SE
A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions
Cho Chun Shik Graduate School of Mobility, Daejeon, Korea(赵陈夏石移动研究生院)
本综述聚焦自动驾驶领域的视觉Transformer应用,梳理其基础概念与多场景应用,对比架构优劣,并指明未来研究方向。
2024-03-12 cs.CV cs.LG
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University(西蒙菲莎大学)
针对自动驾驶传感器数据量大的问题,研究面向3D目标检测的相机与LiDAR多模态学习式压缩,对比联合编码与条件编码等方案,在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
A Framework for a Capability-driven Evaluation of Scenario Understanding for Multimodal Large Language Models in Autonomous Driving
Dr. Ing. h.c. F. Porsche AG(保时捷股份公司);Forschungszentrum Informatik(弗劳恩霍夫信息技术研究中心);Hochschule Esslingen(埃斯林根应用技术大学);University of Michigan(密歇根大学);Voxel51;Karlsruher Institut für Technologie(卡尔斯鲁厄理工学院)
本文提出能力驱动的MLLMs自动驾驶场景理解评估框架,从语义、空间、时间、物理四维度及情境层、模态、下游任务组织评估,并通过两个交通场景验证其适用性。
2025-03-14 cs.CV cs.RO
Motion Inspired Unsupervised Perception and Prediction in Autonomous Driving
Waymo LLC(Waymo有限责任公司)
现代自动驾驶系统中基于学习的感知和预测模块通常依赖于昂贵的人工注释,并且被设计为仅感知少数预定义的对象类别。这种闭集范式不足以满足安全关键的自动驾驶任务,其中自动驾驶车辆需要在高度动态的世界中处理任意多种类型的交通参与者及其运动行为。为了解决这个困难,本文开创了一个新颖而具有挑战性的方向,即,训练感知和预测模型,以理解开放集移动对象,无需人工监督。我们提出的框架使用自学习流来触发自动Meta标记管道,以实现自动监督。Waymo Open Dataset上的3D检测实验表明,我们的方法明显优于经典的无监督方法,甚至与有监督场景流的方法相比具有竞争力。我们进一步表明,我们的方法在开集3D检测和轨迹预测方面产生了非常有希望的结果,证实了它在缩小完全监督系统的安全差距方面的潜力。
2022-10-14 cs.CV cs.LG cs.RO
Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Department of Systems Design Engineering, University of Waterloo(滑铁卢大学系统设计工程系);David Cheriton school of Computer science, University of Waterloo(滑铁卢大学戴维·谢里顿计算机学院);University of Waterloo(滑铁卢大学)
本文分析了自动驾驶应用中深度学习模型的鲁棒性,并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Exploring the Causality of End-to-End Autonomous Driving
Baidu Inc.(百度公司)
本文提出一种系统性方法,通过控制变量、反事实干预和统计分析,探索端到端自动驾驶的因果性,并开发了工具和基线,在CARLA中验证,将黑箱变为白箱。
2024-07-19 cs.CV cs.RO
Autonomous Driving Implementation in an Experimental Environment
Sakarya University(萨卡里亚大学)
自主系统需要识别环境,在将其安全地付诸实践之前还有很长的路要走。在自动驾驶系统中,障碍物和交通信号灯的检测与车道跟踪一样重要。在这项研究中,自主驾驶系统的开发和测试的实验环境中,为此目的而设计。在该系统中,具有摄像头的模型车辆用于跟踪车道和避开障碍物,以实验研究自动驾驶行为。训练卷积神经网络模型进行车道线跟踪。针对车辆避障问题,分别建立了角点检测、光流、焦点扩展、碰撞时间、平衡计算和决策机制。
2021-05-23 cs.CV cs.LG cs.RO
Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University(同济大学汽车学院);ZERON
本文提出一个现实对抗闭环评估平台,用于生成边缘情况以评估端到端自动驾驶系统,通过真实场景图像生成与对抗交通策略结合,验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO
DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving
University of Macau(澳门大学)
本文提出DME-Driver自动驾驶系统,结合大型视觉语言模型作为逻辑决策器与3D场景感知模型作为控制信号生成器,并构建新数据集以实现高精度且可解释的规划。
2024-01-08 cs.CV cs.RO
Is it Safe to Drive? An Overview of Factors, Challenges, and Datasets for Driveability Assessment in Autonomous Driving
LG Silicon Valley Lab(LG硅谷实验室)
随着学习算法和硬件开发的最新进展,自动驾驶汽车在良好的驾驶条件下在结构化环境中运行时显示出了希望。然而,对于复杂、混乱和不可见的高度不确定性环境,自动驾驶系统仍然经常表现出错误或意外的行为,这可能导致灾难性的后果。自动驾驶车辆应该能够适应驾驶条件;虽然这可以通过多条路线来实现,但作为第一步,能够以某种量化的形式表征驾驶性能将是有益的。为此,本文旨在建立一个框架,调查不同的因素,可以影响驾驶性能。此外,使自动驾驶系统适应任何驾驶条件的主要机制之一是能够从代表性场景中学习和概括。目前这样做的机器学习算法主要以监督的方式学习,因此需要足够的数据来进行鲁棒和有效的学习。因此,我们还对45个公共驾驶数据集进行了比较概述,这些数据集支持学习,并在https://sites.google.com/view/driveability-survey-datasets上发布了此数据集索引。具体来说,我们根据用例对数据集进行分类,并突出显示捕获复杂和危险驾驶条件的数据集,这些数据集可以更好地用于训练鲁棒的驾驶模型。此外,通过讨论现有公共数据集未涵盖的驾驶场景以及需要更多调查和数据采集的驾驶性能因素,本文旨在鼓励有针对性的数据集收集和提出新的驾驶性能指标,以增强自动驾驶汽车在恶劣环境中的鲁棒性。
2018-11-27 cs.AI cs.RO
Unsupervised Adaptation from Repeated Traversals for Autonomous Driving
Cornell University(康奈尔大学);The Ohio State University(俄亥俄州立大学)
为了使自动驾驶汽车可靠地运行,其感知系统必须推广到最终用户的环境-理想情况下没有额外的注释工作。一种潜在的解决方案是利用未标记的数据(例如,未标记的LiDAR点云),以使系统适应训练和测试环境之间的差异。虽然已经对这种无监督的领域自适应问题进行了广泛的研究,但一个基本问题仍然存在:在目标域中没有可靠的信号来监督自适应过程。为了克服这个问题,我们观察到,很容易从重复路线的多次遍历中收集无监督数据。虽然与传统的无监督领域自适应不同,但由于许多驾驶员共享相同的道路,因此该假设非常现实。我们表明,这个简单的附加假设足以获得一个有效的信号,使我们能够在目标域上执行3D对象检测器的迭代自训练。具体地说,我们生成伪标签与域外检测器,但减少误报,通过删除检测到的移动对象是持久的遍历。此外,我们通过鼓励在不持久的区域进行预测来减少假阴性。我们在两个大规模驾驶数据集上对我们的方法进行了实验,并在汽车、行人和骑自行车者的3D目标检测方面表现出显着的改进,使我们更接近可推广的自动驾驶。
2023-03-27 cs.CV cs.LG
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University(德雷塞尔大学)
本报告通过分析基于视觉的系统与感知指标的最新进展,探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法,旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control
MEGVII(旷视科技)
本文提出 SubjectDrive 模型,通过主体控制机制利用多样化外部数据源提升生成数据的多样性,从而有效扩展自动驾驶训练数据生产并持续改进下游感知模型性能。
2024-12-26 cs.CV cs.RO
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology(北京理工大学)
本文介绍了在2018年中国方程式学生自主驾驶比赛(FSAC)中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中,一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构,保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶,基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后,采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后,基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents
自动驾驶是一个多任务问题,需要对视觉环境有深入的了解。端到端自动驾驶系统作为一种学习驾驶的方法越来越受到关注,而无需为不同的驾驶场景详尽地编程行为。当人类驾驶时,他们依赖于一个微调的感觉系统,使他们能够快速获得所需的信息,同时过滤不必要的细节。这种识别图像中特定任务的高兴趣区域的能力通常对自动驾驶代理和机器学习系统有益。为了创建一个能够模仿人类凝视模式和视觉注意力的系统,我们在虚拟现实环境中收集了人类驾驶员的眼动数据。我们使用这些数据来训练深度神经网络,预测人类开车时最有可能看的地方。然后,我们使用这个经过训练的网络的输出,使用各种掩蔽技术选择性地掩蔽驾驶图像。最后,使用这些掩蔽图像作为输入来训练自动驾驶代理。经过比较,我们发现处理原始图像和注意力掩蔽图像的双分支架构大大优于所有其他模型,与仅在原始图像上训练的标准端到端模型相比,控制信号预测的误差减少了25.5%。
2019-09-11 cs.CV cs.RO