Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University(同济大学汽车学院);ZERON
本文提出一个现实对抗闭环评估平台,用于生成边缘情况以评估端到端自动驾驶系统,通过真实场景图像生成与对抗交通策略结合,验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO
DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving
University of Macau(澳门大学)
本文提出DME-Driver自动驾驶系统,结合大型视觉语言模型作为逻辑决策器与3D场景感知模型作为控制信号生成器,并构建新数据集以实现高精度且可解释的规划。
2024-01-08 cs.CV cs.RO
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University(德雷塞尔大学)
本报告通过分析基于视觉的系统与感知指标的最新进展,探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法,旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
SubjectDrive: Scaling Generative Data in Autonomous Driving via Subject Control
MEGVII(旷视科技)
本文提出 SubjectDrive 模型,通过主体控制机制利用多样化外部数据源提升生成数据的多样性,从而有效扩展自动驾驶训练数据生产并持续改进下游感知模型性能。
2024-12-26 cs.CV cs.RO
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology(北京理工大学)
本文介绍了在2018年中国方程式学生自主驾驶比赛(FSAC)中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中,一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构,保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶,基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后,采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后,基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents
自动驾驶是一个多任务问题,需要对视觉环境有深入的了解。端到端自动驾驶系统作为一种学习驾驶的方法越来越受到关注,而无需为不同的驾驶场景详尽地编程行为。当人类驾驶时,他们依赖于一个微调的感觉系统,使他们能够快速获得所需的信息,同时过滤不必要的细节。这种识别图像中特定任务的高兴趣区域的能力通常对自动驾驶代理和机器学习系统有益。为了创建一个能够模仿人类凝视模式和视觉注意力的系统,我们在虚拟现实环境中收集了人类驾驶员的眼动数据。我们使用这些数据来训练深度神经网络,预测人类开车时最有可能看的地方。然后,我们使用这个经过训练的网络的输出,使用各种掩蔽技术选择性地掩蔽驾驶图像。最后,使用这些掩蔽图像作为输入来训练自动驾驶代理。经过比较,我们发现处理原始图像和注意力掩蔽图像的双分支架构大大优于所有其他模型,与仅在原始图像上训练的标准端到端模型相比,控制信号预测的误差减少了25.5%。
2019-09-11 cs.CV cs.RO
Post-Training in End-to-End Autonomous Driving
Northeastern University(东北大学);Purdue University(普渡大学)
探讨端到端自动驾驶中训练后处理技术,针对传统方法不足,将现有文献按监督形式分四类,阐述各分类的能力、局限与挑战,助力系统理解该领域并推动相关研究。
2026-07-15 cs.CV cs.RO
DrivingAgent: Design and Scheduling Agents for Autonomous Driving Systems
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所);University of California, Merced(加州大学默塞德分校)
提出DrivingAgent框架,通过自动化模块开发(设计阶段)和强化学习训练的轻量级LLM实时调度(调度阶段),解决自动驾驶系统集成新模型和满足实时约束的挑战,在nuScenes和Bench2Drive上取得更优速度-精度权衡。
2026-06-12 cs.CV cs.RO
Trajectory Prediction for Autonomous Driving with Topometric Map
最先进的自动驾驶系统依赖于高清(HD)地图进行定位和导航。然而,构建和维护高清地图既耗时又昂贵。此外,高清地图假设结构化的环境,如主要道路和车道的存在,这是不存在于农村地区。在这项工作中,我们提出了一个端到端的Transformer网络为基础的方法,地图无自动驾驶。该模型以原始LiDAR数据和噪声地形图作为输入,产生精确的局部导航轨迹。我们证明了我们的方法在现实世界的驾驶数据,包括城市和农村地区的有效性。实验结果表明,所提出的方法优于最先进的多模态方法,是强大的拓扑图的扰动。所提出的方法的代码是公开的\url{https://github.com/Jiaolong/trajectory-prediction}。
2021-05-09 cs.CV cs.RO
3D Object Visibility Prediction in Autonomous Driving
LiangDao GmbH(良道有限公司);Ilmenau University of Technology(伊尔默瑙工业大学);Great Wall Motor Co., Ltd.(长城汽车股份有限公司)
针对自动驾驶感知阶段的需求,该研究提出3D目标可见性新属性及对应算法,结合多任务学习实现对模型效果与效率的极小影响,拓展下游任务能力,提升实时自动驾驶的安全可靠性。
2024-03-06 cs.CV cs.RO
SMET: Scenario-based Metamorphic Testing for Autonomous Driving Models
为了提高自动驾驶模型的安全性和鲁棒性,提出了一种基于XML的自动驾驶模型变形测试工具SMET。将变形关系划分为时间、空间和事件三个维度,并通过两类不同输出的自动驾驶模型实例验证了该工具的有效性,实验结果表明,该工具能够很好地检测出自动驾驶模型的潜在缺陷,复杂场景比简单场景更有效.
2021-04-08 cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University(奥克兰大学)
本综述系统回顾了自动驾驶领域的全景感知模型,比较了其输入、架构及在性能、响应速度和资源利用率上的表现,并探讨了当前挑战与未来研究方向,为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
Autonomous Driving Implementation in an Experimental Environment
Sakarya University(萨卡里亚大学)
自主系统需要识别环境,在将其安全地付诸实践之前还有很长的路要走。在自动驾驶系统中,障碍物和交通信号灯的检测与车道跟踪一样重要。在这项研究中,自主驾驶系统的开发和测试的实验环境中,为此目的而设计。在该系统中,具有摄像头的模型车辆用于跟踪车道和避开障碍物,以实验研究自动驾驶行为。训练卷积神经网络模型进行车道线跟踪。针对车辆避障问题,分别建立了角点检测、光流、焦点扩展、碰撞时间、平衡计算和决策机制。
2021-05-23 cs.CV cs.LG cs.RO
Want a Ride? Attitudes Towards Autonomous Driving and Behavior in Autonomous Vehicles
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
本文通过12人实地实验,发现对自动驾驶的态度并不影响驾驶干预和视线行为,指出缺乏实地测试的自动驾驶研究在评估行为、态度与接受度方面可能不可靠。
2024-09-04 cs.HC cs.RO
An Overview about Emerging Technologies of Autonomous Driving
本文概述了自动驾驶新兴技术,重点探讨了数据闭环框架下的关键技术和开放性问题。
2026-03-11 cs.CV
Exploring the Boundaries: Thorough Software Testing for Safety-Critical Driving Scenarios Based on Kinematics in the Context of Autonomous Driving
Esslingen University of Applied Sciences(埃斯林根应用科学大学)
本文研究自动驾驶中基于运动学的安全关键边角场景测试,提出运用边界值分析识别最小距离等极端条件,以提升系统鲁棒性并为相关人员提供测试指导。
2023-06-02 cs.RO
Machine Learning-Based Vehicle Intention Trajectory Recognition and Prediction for Autonomous Driving
University of Southern California(南加州大学);Virginia Tech(弗吉尼亚理工大学);Miami University(迈阿密大学);Northern Arizona University(北亚利桑那大学);Northeastern University(东北大学)
本文针对自动驾驶变道安全问题,提出一种基于深度学习的变道行为预测方法,旨在准确识别驾驶员变道意图,促进安全变道并提升道路安全性。
2024-02-25 cs.CV cs.LG cs.RO
CAAD: Computer Architecture for Autonomous Driving
我们描述了自动驾驶中涉及的计算任务,研究了现有的自动驾驶计算平台的实现。为了实现自动驾驶,计算堆栈需要以低成本同时提供高性能、低功耗和低散热。我们讨论了设计计算平台,将满足这些需求的可能方法。
2017-02-07 cs.AR cs.RO
Towards Fully Intelligent Transportation through Infrastructure-Vehicle Cooperative Autonomous Driving: Challenges and Opportunities
PerceptIn(感知创新公司);South China University of Technology(华南理工大学);Northwestern University(西北大学)
基础设施-车辆协同自动驾驶方法依赖于智能道路和智能车辆之间的合作。与传统的车载自动驾驶方法相比,这种方法不仅更安全,而且更经济。在本文中,我们介绍了我们在协作自动驾驶领域的实际部署经验,并深入探讨了新挑战和机遇的细节。具体而言,根据我们在商业部署方面的进展,我们遵循了合作自动驾驶方法的三个阶段发展路线图:基础设施增强自动驾驶(IAAD),基础设施引导自动驾驶(IGAD)和基础设施规划自动驾驶(iPad)。
2021-03-03 cs.AR cs.NI cs.RO
Towards Knowledge-driven Autonomous Driving
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);East China Normal University(华东师范大学);Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学)
本文综述知识驱动自动驾驶技术,分析现有系统局限,提出以数据集、环境和驾驶员智能体为核心,结合大模型等AI技术构建更全面、自适应和智能的自动驾驶系统,并展望未来研究方向。
2023-12-27 cs.AI cs.CV cs.RO
Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Department of Systems Design Engineering, University of Waterloo(滑铁卢大学系统设计工程系);David Cheriton school of Computer science, University of Waterloo(滑铁卢大学戴维·谢里顿计算机学院);University of Waterloo(滑铁卢大学)
本文分析了自动驾驶应用中深度学习模型的鲁棒性,并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Driving the Wrong Way: Leveraging Interpretability in End2End Autonomous Driving Models
AUMOVIO(奥莫维奥);Department of Applied Computer Science, University of Bamberg(班贝格大学应用计算机科学系)
研究端到端自动驾驶模型因复杂不透明易产生不良行为的问题,核心方法是集成无监督字典学习作为可解释性模块,主要贡献为揭示决策逻辑、纠正驾驶决策以提升模型性能。
2026-07-08 cs.AI cs.CV cs.RO
Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas(北德克萨斯大学);Fordham University(福特汉姆大学);Qatar University(卡塔尔大学);University of Nebraska at Kearney(内布拉斯加大学卡尼尔分校);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术,分析传感器天气限制及市场影响,并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
Deep Event-based Object Detection in Autonomous Driving: A Survey
School of System Engineering NUDT Changsha, China
本文综述自动驾驶中基于事件相机的深度目标检测方法,分析事件数据异步稀疏带来的低延迟与轻量架构挑战,并阐明事件相机相较传统帧相机的优势。
2024-05-07 cs.CV
Action-Based Representation Learning for Autonomous Driving
Computer Vision Center (CVC)(计算机视觉中心(CVC));Universitat Autonoma de Barcelona (UAB)(巴塞罗那自治大学(UAB));Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA))
人类驾驶员产生大量数据,原则上可以用于改进自动驾驶系统。不幸的是,用于创建将传感器数据直接映射到驾驶动作的端到端驾驶模型的看似简单的方法在可解释性方面存在问题,并且通常很难处理虚假相关性。或者,我们建议使用这种基于动作的驾驶数据来学习表示。我们的实验表明,使用这种方法预训练的基于负担能力的驾驶模型可以利用相对少量的弱注释图像,并且优于纯端到端驾驶模型,同时更具可解释性。此外,我们还展示了这种策略如何优于以前基于学习逆动力学模型的方法以及其他基于人工监督的方法(ImageNet)。
2020-11-09 cs.CV cs.LG cs.RO
InterHub: A Naturalistic Trajectory Dataset with Dense Interaction for Autonomous Driving
Tongji University(同济大学);Beijing Institute of Technology(北京理工大学);School of Automotive Studies, Tongji University(同济大学汽车学院)
针对真实驾驶数据中交互事件稀疏的问题,本文提出 InterHub 数据集,利用形式化方法从自然驾驶记录中提取多智能体密集交互轨迹,并提供可扩展工具包以支持自动驾驶评估与研究。
2024-11-30 cs.RO
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications(北京邮电大学)
随着自动驾驶技术的蓬勃发展,复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波(mmWave)雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先,我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说,我们将融合方法分为数据级,决策级和特征级融合方法。此外,我们还介绍了三维(3D)目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合,这些都是未来很有希望的。最后,对本文进行了总结。
2022-04-01 cs.CV
Guided Policy Search Model-based Reinforcement Learning for Urban Autonomous Driving
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们继续我们以前的工作,使用模仿学习(IL)和无模型强化学习(RL),学习驾驶策略的自动驾驶在城市的情况下,通过引入基于模型的RL方法来驱动自动驾驶汽车在卡拉城市驾驶模拟器。尽管IL和无模型RL方法已被证明能够解决许多具有挑战性的任务,包括玩视频游戏,机器人,以及在我们之前的工作中,城市驾驶,但这些方法的低样本效率极大地限制了它们在实际自动驾驶中的应用。在这项工作中,我们开发了一个基于模型的RL算法的指导政策搜索(GPS)的城市驾驶任务。该算法迭代学习一个参数化的动力学模型来逼近复杂的交互式驾驶任务,并在非线性近似动力学模型下优化驾驶策略。作为一种基于模型的强化学习方法,GPS在城市自动驾驶中具有更高的样本效率、更好的可解释性和更高的稳定性。我们提供了大量的实验验证所提出的方法的有效性,学习鲁棒的驾驶政策,在卡拉城市驾驶。我们还将所提出的方法与其他策略搜索和无模型RL基线进行了比较,表明基于GPS的RL方法的样本效率提高了100倍,并且基于GPS的方法可以学习基线方法难以学习的更难任务的策略。
2020-05-11 cs.RO
Sensor Data Validation and Driving Safety in Autonomous Driving Systems
CITY UNIVERSITY OF HONG KONG(香港城市大学)
自动驾驶技术因其快速发展和极高的商业价值而受到广泛关注。最近自动驾驶技术的飞跃主要归功于环境感知的进步。良好的环境感知提供准确的高层次环境信息,这对于自动驾驶汽车做出安全和精确的驾驶决策和策略至关重要。此外,如果没有深度学习模型和先进的机载传感器,如光学传感器(激光雷达和摄像头)、雷达、GPS,准确的环境感知就不可能取得这样的进展。然而,先进的传感器和深度学习模型很容易受到最近发明的攻击方法的影响。例如,激光雷达和摄像头可能会受到光学攻击,深度学习模型可能会受到对抗性示例的攻击。对先进传感器和深度学习模型的攻击会在很大程度上影响环境感知的准确性,对自动驾驶汽车的安全性构成巨大威胁。本论文主要研究针对车载传感器攻击的检测方法,以及受攻击的深度学习模型与自动驾驶汽车驾驶安全之间的联系。为了检测攻击,可以利用冗余数据源,因为受害者传感器数据中的攻击引起的信息失真导致与来自其他冗余源的信息不一致。研究受攻击的深度学习模型与驾驶安全之间的联系.
2022-04-01 cs.CV
The NEOLIX Open Dataset for Autonomous Driving
NEOLIX
随着5G技术的逐渐成熟,自动驾驶技术越来越受到研究界的关注。自动驾驶汽车依赖于人工智能、视觉计算、雷达、监控设备和GPS的协同工作,使计算机能够在不受人为干扰的情况下自动安全地操纵汽车,但用于训练和系统评估的大规模数据集仍然是鲁棒感知模型开发中的一个棘手问题。本文介绍了NEOLIX数据集及其在自动驾驶领域的应用。我们的模板包括大约30,000个带有点云标签的帧,以及超过600k个带有注释的3D边界框。数据汇集覆盖多个区域,各种驾驶条件,包括白天、夜晚、黎明、黄昏和晴天。为了标记这个完整的数据集,我们为每个任务开发了各种工具和算法,以加快标记过程。希望我们的数据集和相关算法能够为自动驾驶在计算机视觉领域的进一步发展提供支持和激励。
2021-01-28 cs.CV
Evaluation and Optimization of Rendering Techniques for Autonomous Driving Simulation
Southern University of Science and Technology(南方科技大学)
为提升自动驾驶仿真场景质量,提出用离线工业渲染框架替代实时渲染,通过游戏引擎生成低质量场景并用IQA算法验证离线渲染的质量提升,改进后的场景用于训练。
2023-06-27 cs.RO
X-Driver: Explainable Autonomous Driving with Vision-Language Models
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Baidu Inc.(百度公司)
本文提出基于多模态大语言模型和思维链的X-Driver框架,通过自回归建模增强感知与决策,在CARLA闭环自动驾驶基准上超越现有最优方法并提升可解释性。
2025-06-03 cs.CL cs.CV cs.ET
Attacking Autonomous Driving Agents with Adversarial Machine Learning: A Holistic Evaluation with the CARLA Leaderboard
Carnegie Mellon University(卡内基梅隆大学)
该研究借助CARLA模拟器与CARLA排行榜,在不修改智能体代码的前提下测试对抗补丁对多类开源自动驾驶智能体的攻击效果,发现部分非ML模块可抵消对抗样本对ML模型的误导作用。
2025-11-18 cs.CR cs.CV cs.LG
Autonomous Driving Data Chain & Interfaces
自动驾驶技术的最新发展已经证明,地图数据不仅可以用于一般的路由目的,还可以用于增强和补充常见的传感器数据。本文档回顾了自我修复地图数据链每一步最常用的接口和格式。
2021-04-02 cs.AI cs.RO
Results and Lessons Learned from Autonomous Driving Transportation Services in Airfield, Crowded Indoor, and Urban Environments
Seoul National University(首尔大学);ThorDrive
本文分享了在机场、拥挤室内和城市环境中开展自动驾驶运输服务的研究成果与经验教训,探讨了应对独特挑战的方法并概述了未来待解决的问题。
2024-03-20 cs.RO
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University(同济大学)
人车协同驾驶技术减轻了人类驾驶员的工作负担,已成为自动驾驶的关键技术。然而,复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力,提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法,将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明,合作视觉感知能更准确地反映冲突最危险区域,预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法,为规划和控制提供准确的数据。
2022-04-21 cs.CV
Autonomous Driving Strategies at Intersections: Scenarios, State-of-the-Art, and Future Outlooks
Beijing Institute of Technology(北京理工大学);Delft University of Technology(代尔夫特理工大学)
由于交叉口场景的复杂性和动态性,交叉口自动驾驶策略一直是近年来智能交通系统研究的难点和热点。本文简要总结了交叉口自动驾驶策略的发展现状。首先,我们列举和分析了常见的交叉口场景类型,相应的仿真平台,以及相关的数据集。其次,通过回顾以往的研究,我们总结了现有的自动驾驶策略的特点,并将其分为几类。最后指出了现有自动驾驶策略存在的问题,并提出了几点有价值的研究展望。
2021-07-13 cs.AI cs.RO
Review of Deep Reinforcement Learning for Autonomous Driving
Middlesex University(密德萨斯大学)
自从深度神经网络复兴以来,强化学习在许多传统游戏中逐渐加强并超越了人类。然而,将这些成就复制到自动驾驶并不容易,因为现实世界中的状态空间非常复杂,动作空间是连续的,需要精细控制。此外,自动驾驶系统还必须保持其功能,无论环境的复杂性如何。深度强化学习域(DRL)已经成为一种鲁棒的学习框架,用于在高维环境中处理具有深度表示学习的复杂策略。这项研究概述了深度强化学习算法(DRL)。它提出了一个命名的自动驾驶DRL技术已被使用,从而讨论了重要的计算问题,在现实环境中评估自动驾驶代理。相反,它涉及类似但不是标准的RL技术,毗邻的领域,如动作仿真,建模模仿,反向强化学习。模拟器在训练代理中的作用得到了解决,验证,检查和现有RL解决方案的鲁棒性的方法也得到了解决。
2023-02-13 cs.RO
Implementing a Cloud Platform for Autonomous Driving
自动驾驶云提供支持自动驾驶汽车的基本服务。如今,这些服务包括但不限于新算法部署的分布式仿真测试、离线深度学习模型训练和高清(HD)地图生成。这些服务需要基础设施支持,包括分布式计算、分布式存储以及异构计算。在本文中,我们详细介绍了如何实现统一的自动驾驶云基础设施,以及如何在此基础设施上支持这些服务。
2017-04-10 cs.DC cs.RO
Applications of Large Scale Foundation Models for Autonomous Driving
Futurewei Technology Inc.(未来网络技术有限公司);University of Missouri(密苏里大学)
本文探讨了大语言模型与基础模型在自动驾驶中的应用,旨在利用人类知识与推理突破长尾困境,涵盖仿真、世界模型、数据标注及端到端规划等技术方向。
2024-01-05 cs.CV
Assessing the Criticality of Longitudinal Driving Scenarios using Time Series Data
Esslingen University of Applied Sciences(埃斯林根应用科学大学)
本文提出基于纵向驾驶时间序列数据的安全指标,用于检测自动驾驶中的安全关键场景,以支持算法的测试与验证。
2023-05-29 cs.RO
Optimal Trajectory Generation for Autonomous Vehicles Under Centripetal Acceleration Constraints for In-lane Driving Scenarios
本文提出了一种新的方法,生成最佳轨迹的自动驾驶车辆在车道内行驶的情况下。该方法使用两阶段优化过程来计算轨迹。在第一阶段,优化过程产生一个封闭形式的驾驶指导线与可重构的曲率。在第二阶段,该程序以行驶引导线为输入,输出车辆沿引导线行驶的动态可行、加加速度和时间最优轨迹。该方法对于在弯曲道路上生成轨迹特别有用,其中车辆需要施加频繁的加速和减速以适应向心加速度限制。
2021-12-03 cs.RO
Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
CAIR, HKISI, CAS(中国科学院香港创新研究院人工智能与机器人创新研究所);CASIA(中国科学院自动化研究所)
本文提出首个兼容端到端规划模型的驾驶世界模型 Drive-WM,通过视角分解联合时空建模生成多视角视频,并首次将其用于多未来预测与安全驾驶规划。
2023-11-29 cs.CV
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);INRIA(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(李斯特研究所)
近年来,我们见证了自动端到端驾驶领域越来越高的性能。特别是,越来越多的研究正在做的城市环境中,汽车必须遵循高级别的命令来导航驾驶。然而,很少有评价的能力,这些代理人在一个意想不到的情况下作出反应。具体地,在坏的高级命令的情况下,不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法,即一个基准,允许评估的代理的鲁棒性,并欣赏其理解的环境,通过其能力,以保持一个安全的行为,无论指令。
2021-05-20 cs.AI cs.CV cs.LG
A Driving Intention Prediction Method Based on Hidden Markov Model for Autonomous Driving
在自动驾驶车辆和人类驾驶车辆同时存在的混合交通场景中,及时预测附近人类驾驶车辆的驾驶意图对于自动驾驶车辆的安全和高效驾驶至关重要。提出了一种基于隐马尔可夫模型(HMM)的自动驾驶汽车驾驶意图预测方法。代表不同的驾驶意图的障碍训练和测试与现场收集的数据从立交桥。在训练模型时,应用车辆的移动性特征的离散或连续表征。实验结果表明,利用连续表征的移动性特征训练的Hacker用于驾驶意图预测时,具有较高的预测精度。此外,当考虑车辆周围交通时,所提出的预测方法的性能得到进一步改善。
2019-02-25 cs.LG cs.RO stat.ML
Adversarial Driving: Attacking End-to-End Autonomous Driving
The University of Exeter(埃克塞特大学);The University of the West of England(西英格兰大学)
本文针对端到端自动驾驶模型提出两种白盒定向图像扰动攻击,可在CPU上实时运行,并显著偏离预测转向角。
2023-12-12 cs.CV
NeuroFlow: Development of lightweight and efficient model integration scheduling strategy for autonomous driving system
Seoul National University(首尔国立大学)
本研究提出名为NeuroFlow的自动驾驶专用系统,通过优化数据流、动态调整深度学习模型影响因素及确定非深度学习算法资源优先级,在实车多场景实验中验证了稳定推理与有效控制能力,为自动驾驶系统发展提供新突破。
2023-12-15 cs.AI cs.RO
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas(得克萨斯大学达拉斯分校);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已广泛应用于自动驾驶等许多自主系统中。最近,DNN测试已经被广泛研究,以自动生成对抗性示例,这些示例将小幅度的扰动注入到输入中,以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的,但它们主要集中在生成数字对抗扰动(特别是对于自动驾驶),例如,改变图像像素,这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失:理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中,我们提出了DeepBillboard,这是一种系统的物理世界测试方法,针对一种常见而实用的驾驶场景:驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌,它可以在动态变化的驾驶条件下工作,包括视角,距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验,广泛评估了DeepBillboard的有效性和鲁棒性。结果表明,DeepBillboard是有效的各种转向模型和场景。此外,DeepBillboard具有足够的鲁棒性和弹性,可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知,这是第一项研究,证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
A Language Agent for Autonomous Driving
University of Southern California(南加州大学);Stanford University(斯坦福大学);NVIDIA(英伟达)
本文提出Agent-Driver,利用大型语言模型作为认知智能体,通过工具库、认知记忆和推理引擎将类人智能集成到自动驾驶系统,在nuScenes基准上大幅超越现有方法,并具备卓越可解释性和少样本学习能力。
2024-07-28 cs.AI cs.CL cs.CV
DriveFuzz: Discovering Autonomous Driving Bugs through Driving Quality-Guided Fuzzing
Georgia Institute of Technology(佐治亚理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Central Oklahoma(中央俄克拉荷马大学);UNIST(蔚山国立科学技术院);University of Virginia(弗吉尼亚大学)
自动驾驶已经成为现实;价格合理的半自动驾驶汽车已经在街上,主要汽车供应商正在积极开发全自动驾驶系统,以便在这十年内部署它们。在将产品推出给最终用户之前,测试和确保自动驾驶系统的安全性至关重要,该系统由以复杂方式交织在一起的多个层组成。然而,尽管安全关键错误可能存在于任何层中,甚至跨层,但相对较少关注跨所有层测试整个驱动系统。以前的工作主要集中在各个层的白盒测试和防止对每个层的攻击。在本文中,我们的目标是对自动驾驶系统进行整体测试,这些系统具有完整的集成层。我们不关注单个层,而是关注系统在驾驶环境中不断变化的车辆状态。这使我们能够设计DriveFuzz,这是一个新的系统模糊框架,可以发现潜在的漏洞,而不管它们的位置。DriveFuzz利用高保真驾驶模拟器,根据各种因素自动生成和改变驾驶场景。我们建立了新的驾驶测试神谕的基础上,现实世界的交通规则,以检测安全关键的不当行为,并引导模糊对这样的不当行为,通过驾驶质量指标,指的是车辆的物理状态。DriveFuzz在两个自动驾驶系统(Autoware和CARLA Behavior Agent)的各个层中发现了30个新错误,并在CARLA模拟器中发现了另外三个错误。我们进一步分析了这些漏洞的影响,以及对手如何利用它们作为安全漏洞在现实世界中造成严重事故。
2022-10-25 cs.RO
RoboCar: A Rapidly Deployable Open-Source Platform for Autonomous Driving Research
SnT - Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科研究中心)
本文提出基于 2018 款 KIA Soul EV 的开源自动驾驶研究平台 RoboCar,通过模块化软硬件架构降低改装成本,并经公共道路实测验证其研究价值。
2025-07-25 cs.RO
Towards Defensive Autonomous Driving: Collecting and Probing Driving Demonstrations of Mixed Qualities
Korea University(高丽大学);Seoul National University(首尔国立大学);Department of Artificial Intelligence, Korea University(高丽大学人工智能系);ASRI, Seoul National University(首尔国立大学先进科学研究中心);Department of Mechanical Engineering, Seoul National University(首尔国立大学机械工程系);Department of Computer Science and Engineering, Seoul National University(首尔国立大学计算机科学与工程系)
设计或学习自动驾驶政策无疑是一项具有挑战性的任务,因为该政策必须在所有情况下保持其安全性。为了确保自动驾驶的安全性,检测危险情况的能力变得至关重要,这可以被视为分发外(OOD)检测问题。然而,大多数常规数据集仅提供专家驾驶演示,尽管需要一些非专家或不常见的驾驶行为数据来实现有安全保证的自动驾驶平台。为此,我们提出了一个新的数据集,称为R3驾驶数据集,由不同质量的驾驶数据组成。该数据集将异常驾驶行为分为8类,369种不同的详细情况。这些情况包括危险的车道变化和接近碰撞的情况。为了进一步启发如何检测这些异常驾驶行为,我们利用不同的不确定性估计和异常检测方法的建议数据集。从所提出的实验的结果中,可以推断,通过使用不确定性估计和异常检测,所提出的数据集中的大多数异常情况可以被区分。本文的数据集可以从www.example.com下载。
2021-09-18 cs.RO
Surround-View Vision-based 3D Detection for Autonomous Driving: A Survey
Motional(Motional公司)
基于视觉的3D检测任务是自动驾驶系统感知的基础任务,已经引起了许多研究人员和自动驾驶工程师的极大兴趣。然而,使用相机的2D传感器输入数据来实现相当好的3D BEV(鸟瞰图)性能并不是一件容易的事情。在本文中,我们提供了一个文献调查现有的基于视觉的3D检测方法,专注于自动驾驶。我们对利用Vision BEV检测方法的超过$60$论文进行了详细分析,并强调了不同的子组,以详细了解常见趋势。此外,我们强调了文献和行业趋势如何转向基于环绕视图图像的方法,并记录了这种方法解决的特殊情况的想法。最后,我们提出了基于当前技术的缺点,包括协同感知的方向,为未来的研究三维视觉技术的想法。
2023-03-07 cs.CV
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Google Research(谷歌研究院);University of California, Merced(加州大学默塞德分校)
DrivingGaussian提出一种复合高斯泼溅框架,通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标,并结合LiDAR先验,实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV