Simulated Autonomous Driving in a Realistic Driving Environment using Deep Reinforcement Learning and a Deterministic Finite State Machine
Goethe University(歌德大学);Norwegian University of Science and Technology(挪威科技大学)
在自动驾驶领域,控制车辆的系统可以被视为在复杂环境中行动的智能体,因此自然适合强化学习的现代框架。然而,学习驾驶可能是一项具有挑战性的任务,目前的结果往往局限于简化的驾驶环境。为了推进该领域,我们提出了一种方法,根据其当前的驾驶情况自适应地限制代理的动作空间,并表明它可以用于在基于深度Q网络算法的现实环境中快速学习驾驶。
2018-11-23 cs.AI
Learning Personalized Discretionary Lane-Change Initiation for Fully Autonomous Driving Based on Reinforcement Learning
Institute of Industrial Science(产业技术研究所);The University of Tokyo(东京大学)
提出了一种通过人机交互学习全自动车辆自主换道启动的个性化策略的新方法。采用强化学习技术来学习如何从交通环境、自动驾驶车辆的动作和车载用户反馈中启动车道变更,而不是从人类驾驶演示中学习。建议的离线算法奖励的行动选择策略时,用户给予积极的反馈和惩罚时,负反馈。此外,多维驾驶场景被认为是代表一个更现实的车道变化的权衡。结果表明,该方法得到的换道启动模型能够再现个性化的换道策略,且定制模型的性能(平均准确率为86.1%)明显优于非定制模型(平均准确率为75.7%).这种方法允许在完全自动驾驶期间持续改进用户的定制,即使没有人类驾驶经验,这将显著提高用户对自动驾驶车辆高水平自主性的接受程度。
2020-10-29 cs.AI cs.HC cs.LG
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete(克里特理工大学);University of Malta(马耳他大学)
在这项工作中,被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法,该方法对环境模型和系统动态进行假设。相反,这项工作提出了基于强化学习的驱动策略的发展。通过这种方式,所提出的驾驶策略对环境做出最小假设或不做假设,因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知,这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略,首先,通过动态规划推导出的最优策略进行比较,其次,其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后,一些初步的结果,自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
Optimizing Low-Speed Autonomous Driving: A Reinforcement Learning Approach to Route Stability and Maximum Speed
本文提出一种基于强化学习的低速自动驾驶策略优化方法,在保证安全和路线准确性的前提下,使车辆稳定保持接近最高速度行驶。
2024-12-20 cs.AI cs.RO
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan(密歇根大学)
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先,我们研究了表格环境下的Q-学习算法,并将其成功地应用于OpenAi Gym环境Taxi。其次,我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三,我们还研究了强化学习在自动驾驶中的应用,以及与安全检查约束(安全控制器)的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体,并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University(南洋理工大学);Indian Institute of Technological(印度技术学院);Indian Institute of Technology(印度理工学院)
提出将车道保持建模为约束强化学习,自动学习权重系数,免去场景特定调整,实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
A Reinforcement Learning Benchmark for Autonomous Driving in Intersection Scenarios
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
近年来,城市交叉口控制成为一个新兴的研究课题.在这种情况下,自动驾驶汽车面临着复杂的情况,因为它必须在遵守交通规则的同时及时处理与社会车辆的交互。通常,自动驾驶车辆应该在追求更高效率的同时避免碰撞。现有的工作未能提供一个框架,强调场景的完整性,同时能够部署和测试强化学习(RL)方法。具体来说,我们提出了一个基准,在复杂的交叉路口场景中,这是所谓的RL-CIS的训练和测试基于RL的自动驾驶代理。然后,部署了一组由各种算法组成的基线。测试基准和基线是为交叉口场景下的自动驾驶RL研究提供一个公平、全面的训练和测试平台,推动基于RL的交叉口自动驾驶控制方法的发展。我们提出的框架的代码可以在https://github.com/liuyuqi123/ComplexUrbanScenarios上找到。
2021-09-22 cs.AI cs.RO
Multi-Agent Connected Autonomous Driving using Deep Reinforcement Learning
Microsoft AI + R(微软人工智能与研发部)
学习和适应驾驶环境变化的能力对于开发可扩展到地理围栏操作设计领域之外的自动驾驶系统至关重要。深度强化学习(RL)为开发基于自适应学习的解决方案提供了一个有前途的可扩展框架。深度强化学习方法通常将问题建模为(部分可观察的)马尔可夫决策过程,其中代理在静态环境中行动以学习最佳行为策略。然而,驾驶涉及在高度不稳定的环境中多个智能(人工或人类)代理之间的复杂交互。在本文中,我们提出使用部分可观察马尔可夫博弈(POSG)来制定具有现实假设的连接自动驾驶问题。我们提供了一个分类的多智能体学习环境的任务的性质,代理的性质和环境的性质的基础上,以帮助分类的各种自动驾驶问题,可以根据建议的制定。作为我们的主要贡献,我们提供了MACAD-Gym,一个多智能体连接的自主驾驶智能体学习平台,用于进一步研究这一方向。我们的MACAD-Gym平台提供了一套可扩展的互联自动驾驶(CAD)仿真环境,可在逼真的多智能体设置下,为具有无限操作设计域的CAD系统研究和开发基于深度RL的集成传感、感知、规划和控制算法。我们还分享了使用MACAD-Gym平台成功训练的MACAD-Agents,以在部分可观察的,停车标志控制的,3路城市交叉口环境中学习多个车辆代理的控制策略,并使用原始(摄像头)传感器观察。
2019-11-11 cs.AI cs.LG cs.MA
Risk-Aware Reward Shaping of Reinforcement Learning Agents for Autonomous Driving
Eindhoven University of Technology(埃因霍温理工大学);Northwestern Polytechnical University(西北工业大学)
针对自动驾驶强化学习奖励函数难确定、传统方法缺风险感知的问题,提出风险感知奖励塑形方法,新增鼓励探索、惩罚风险行为的奖励项,仿真验证对多类智能体有效,且PPO方法配合效果最佳。
2023-08-25 cs.AI cs.RO
A Software Architecture for Autonomous Vehicles: Team LRM-B Entry in the First CARLA Autonomous Driving Challenge
University of São Paulo(圣保罗大学)
第一届CARLA自动驾驶挑战赛的目标是部署自动驾驶系统,以应对所有参与者都面临相同挑战的复杂交通情况。据主办方介绍,这项比赛是一种民主化和加速自动驾驶汽车在世界各地的研究和开发的方式,使用CARLA模拟器有助于自动驾驶汽车领域的发展。因此,本文提出了一个自动驾驶汽车在模拟城市环境中的导航,试图犯下最少的交通违规行为,作为基线的自主导航CaRINA 2平台的原始架构的架构设计。我们的代理人在模拟场景中旅行了几个小时,展示了他的能力,赢得了挑战赛四条赛道中的三条,并在剩下的赛道中排名第二。我们的架构是为了满足CARLA自动驾驶挑战赛的要求而设计的,包括使用3D点云进行障碍物检测、使用卷积神经网络(CNN)和深度信息进行交通标志检测和分类、使用短期运动预测进行碰撞检测的风险评估、使用马尔可夫决策过程(MDP)进行决策以及使用模型预测控制(MPC)进行控制。
2020-10-23 cs.AI cs.RO
Prediction Based Decision Making for Autonomous Highway Driving
University of Surrey(萨里大学);University of Warwick(华威大学);Warwick Manufacturing Group(华威制造集团)
由于交通固有的复杂性和不确定性,自动驾驶决策是一项具有挑战性的任务。例如,相邻车辆可以随时改变车道或超车,以超过慢速车辆或帮助交通流量。预测周围车辆的意图,估计它们的未来状态并将其整合到自动驾驶汽车的决策过程中,可以提高复杂驾驶场景中自动驾驶的可靠性。提出了一种基于预测的深度强化学习(PDRL)决策模型,该模型在高速公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型使用真实的交通数据进行训练,并通过仿真平台在各种交通条件下进行测试。结果表明,与深度强化学习(DRL)模型相比,所提出的PDRL模型通过减少碰撞次数来提高决策性能,从而实现更安全的驾驶。
2022-09-05 cs.AI cs.RO
A Risk-Field Enhanced Closed-Loop Digital Twin Framework for Autonomous Driving Safety Validation
针对自动驾驶安全验证,提出风险场增强闭环数字孪生框架,集成多方面功能,引入驾驶风险场描述风险,通过评估协议比较不同方法,该框架能让验证更具针对性、可解释性和可重用性,但受模型保真度等因素限制。
2026-07-14 cs.LG cs.RO
ApolloRL: a Reinforcement Learning Platform for Autonomous Driving
Baidu Apollo Autonomous Driving(百度阿波罗自动驾驶);University of Cambridge(剑桥大学)
我们介绍ApolloRL,这是一个用于自动驾驶强化学习研究的开放平台。该平台提供了一个完整的闭环管道,包括培训,模拟和评估组件。它配备了300小时的驾驶场景和流行的基线,如近端策略优化(PPO)和软Actor-Critic(SAC)代理的真实数据。我们在本文中阐述的架构和平台中定义的环境。此外,我们还讨论了基线代理在ApolloRL环境中的性能。
2022-01-29 cs.LG cs.RO stat.ML
Attack End-to-End Autonomous Driving through Module-Wise Noise
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);State Key Lab of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Shen Yuan Honors College, Beihang University(北京航空航天大学沈元荣誉学院);School of Software, Beihang University(北京航空航天大学软件学院)
针对端到端自动驾驶模型对抗攻击研究不足的问题,本文首次开展模块化端到端自动驾驶模型的全面对抗安全研究,提出模块级噪声注入的通用攻击方案,实验证明其效果优于现有方法,为自动驾驶系统安全保障提供新思路。
2024-09-12 cs.AI cs.LG
Emerging Threats in Deep Learning-Based Autonomous Driving: A Comprehensive Survey
Hubei University(湖北大学)
自2004年DARPA Grand Challenge以来,自动驾驶技术已经经历了近二十年的快速发展。特别是近年来,随着新型传感器和深度学习技术的应用向自动驾驶领域延伸,自动驾驶技术的发展不断取得突破。因此,许多汽车制造商和高科技巨头致力于自动驾驶的研究和系统开发。然而,作为自动驾驶的基础,深度学习技术面临着许多新的安全风险。学术界针对对抗性示例和AI后门提出了深度学习对策,并将其引入自动驾驶领域进行验证。深度学习安全关系到自动驾驶系统的安全,进而关系到人身安全,是一个值得关注和研究的问题,本文综述了自动驾驶中深度学习安全技术的概念、发展和最新研究。首先,我们简要介绍了自动驾驶系统中的深度学习框架和流水线,主要包括该领域常用的深度学习技术和算法。此外,我们还重点分析了基于深度学习的自动驾驶系统在各个功能层中的潜在安全威胁。本文回顾了自动驾驶领域深度学习攻击技术的发展历程,分析了当前自动驾驶领域的最新算法,揭示了其潜在的风险。最后,我们对自动驾驶领域的深度学习安全性进行了展望,并为构建安全可信的自动驾驶系统提出了建议。
2022-10-19 cs.AI cs.CR cs.LG
Randomized Adversarial Imitation Learning for Autonomous Driving
Chung-Ang University(中央大学)
随着各种先进驾驶辅助系统(ADAS)平台的发展,自动驾驶系统的设计变得更加复杂和安全。自动驾驶系统同时激活多个ADAS功能,因此必须协调各种ADAS功能。本文提出了一种随机对抗模仿学习(RAIL)方法,模仿配备先进传感器的自主车辆的协调。RAIL策略通过无衍生优化进行训练,以供决策者协调适当的ADAS功能,例如,智能巡航控制和车道保持系统。特别是,该方法还能够处理激光雷达数据,并在复杂的多车道公路和多智能体环境中做出决策。
2019-05-13 cs.AI cs.LG cs.RO
World Models for Autonomous Driving: An Initial Survey
University of Macau(澳门大学);College of Transportation Engineering, Tongji University(同济大学交通运输工程学院);Tsinghua University(清华大学);Macau University of Science and Technology(澳门科技大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本文初步综述了世界模型在自动驾驶中的理论基础、实际应用与研究进展,强调其通过综合传感器数据预测未来场景、弥补信息缺口以辅助决策,并旨在为该领域提供基础参考。
2024-05-07 cs.AI cs.LG cs.RO
Brain-Inspired Deep Imitation Learning for Autonomous Driving Systems
University of Aberdeen(阿伯丁大学);King’s College(国王学院)
自动驾驶已经引起了学术界和工业界的高度关注。为了实现自动驾驶,深度模仿学习(DIL)被视为最有前途的解决方案之一,因为与手动设计驾驶策略相比,它通过自动从人类驾驶数据中学习复杂的映射来改进自动驾驶系统。然而,现有的DIL方法不能很好地推广跨域,也就是说,在源域的数据上训练的网络在目标域的数据上产生差的推广。在本研究中,我们提出了一种新的大脑启发的深度模仿方法,该方法基于人类大脑功能的证据,以提高深度神经网络的泛化能力,从而使自动驾驶系统能够在各种场景中表现良好。具体来说,人类有很强的概括能力,这得益于大脑两侧结构和功能的不对称。在这里,我们基于人类神经网络的不对称性,设计了深度神经网络中的双神经电路策略(NCP)架构。实验结果表明,我们的大脑启发的方法优于现有的方法在处理看不见的数据时,关于泛化。我们的源代码和预训练模型可以在https://github.com/Intenzo21/Brain-Inspired-Deep-Imitation-Learning-for-Autonomous-Driving-Systems}{https://github.com/Intenzo21/Brain-Inspired-Deep-Imitation-Learning-for-Autonomous-Driving-Systems.
2021-07-30 cs.AI
Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits
University at Buffalo(布法罗大学);University of Notre Dame(诺特尔大学)
本文提出LLM-RCO框架,利用大语言模型整合人类驾驶常识,以提升自动驾驶在感知缺陷下的风险规避与适应性控制能力。
2025-12-12 cs.AI cs.LG cs.RO
From driving automation systems to autonomous vehicles: clarifying the terminology
University of Alcalá(阿尔卡拉大学);European Commission, Joint Research Center(欧盟委员会联合研究中心)
当提到自动驾驶或车辆时,术语景观相当混乱。过多的术语可以互换使用,导致误用和混淆。随着技术、社会和法律的进步,越来越有必要建立一个明确的术语,使每一个概念都能放在相应的位置。
2021-03-19 cs.AI
Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas(北德克萨斯大学);Fordham University(福特汉姆大学);Qatar University(卡塔尔大学);University of Nebraska at Kearney(内布拉斯加大学卡尼尔分校);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术,分析传感器天气限制及市场影响,并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
Understanding Time Variations of DNN Inference in Autonomous Driving
Wayne State University(韦恩州立大学);Northeastern University(东北大学);University of Delaware(特拉华大学)
深度神经网络(DNN)由于其感知、决策和控制的高精度而广泛用于自动驾驶。在自动驾驶等安全关键系统中,实时执行传感和感知等任务对车辆的安全至关重要,这要求应用程序的执行时间是可预测的。然而,在DNN推断中观察到不可忽略的时间变化。目前的DNN推理研究要么忽略了时间变化问题,要么依赖于调度器来处理它。目前的工作都没有解释DNN推理时间变化的根本原因。理解DNN推理的时间变化成为自动驾驶实时调度的基本挑战。在这项工作中,我们从六个角度分析了DNN推理的时间变化:数据,I/O,模型,运行时,硬件和端到端感知系统。在理解DNN推理的时间变化时,得出了六个见解。
2022-09-12 cs.AI cs.LG cs.RO
Autonomous Driving Data Chain & Interfaces
自动驾驶技术的最新发展已经证明,地图数据不仅可以用于一般的路由目的,还可以用于增强和补充常见的传感器数据。本文档回顾了自我修复地图数据链每一步最常用的接口和格式。
2021-04-02 cs.AI cs.RO
Autonomous Driving Strategies at Intersections: Scenarios, State-of-the-Art, and Future Outlooks
Beijing Institute of Technology(北京理工大学);Delft University of Technology(代尔夫特理工大学)
由于交叉口场景的复杂性和动态性,交叉口自动驾驶策略一直是近年来智能交通系统研究的难点和热点。本文简要总结了交叉口自动驾驶策略的发展现状。首先,我们列举和分析了常见的交叉口场景类型,相应的仿真平台,以及相关的数据集。其次,通过回顾以往的研究,我们总结了现有的自动驾驶策略的特点,并将其分为几类。最后指出了现有自动驾驶策略存在的问题,并提出了几点有价值的研究展望。
2021-07-13 cs.AI cs.RO
Coverage-based Scene Fuzzing for Virtual Autonomous Driving Testing
Baidu Security(百度安全)
基于仿真的虚拟测试已成为确保自动驾驶系统安全性的重要步骤。测试人员需要手工制作虚拟驾驶场景,并配置各种环境设置,如周围的交通,天气条件等。由于配置的可能性巨大,人类的努力受到检测工业级自动驾驶系统缺陷的效率低下的影响。本文提出了一种覆盖率驱动的模糊技术,自动生成不同的配置参数,形成新的驾驶场景。实验结果表明,我们的模糊化方法可以显着降低成本,在派生新的风险场景从初始设置设计的测试人员。我们预计自动模糊将成为自动驾驶系统虚拟测试的常见做法。
2021-06-02 cs.AI cs.CR
Evaluating Robustness over High Level Driving Instruction for Autonomous Driving
ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);INRIA(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(李斯特研究所)
近年来,我们见证了自动端到端驾驶领域越来越高的性能。特别是,越来越多的研究正在做的城市环境中,汽车必须遵循高级别的命令来导航驾驶。然而,很少有评价的能力,这些代理人在一个意想不到的情况下作出反应。具体地,在坏的高级命令的情况下,不对驱动代理的鲁棒性进行评估。我们在这里提出了一种评估方法,即一个基准,允许评估的代理的鲁棒性,并欣赏其理解的环境,通过其能力,以保持一个安全的行为,无论指令。
2021-05-20 cs.AI cs.CV cs.LG
NeuroFlow: Development of lightweight and efficient model integration scheduling strategy for autonomous driving system
Seoul National University(首尔国立大学)
本研究提出名为NeuroFlow的自动驾驶专用系统,通过优化数据流、动态调整深度学习模型影响因素及确定非深度学习算法资源优先级,在实车多场景实验中验证了稳定推理与有效控制能力,为自动驾驶系统发展提供新突破。
2023-12-15 cs.AI cs.RO
RoboDriveVLM: A Novel Benchmark and Baseline towards Robust Vision-Language Models for Autonomous Driving
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
RoboDriveVLM提出了一种新型基准和基线,用于评估视觉-语言模型在自动驾驶中的鲁棒性,通过模拟多种腐蚀场景提升系统可靠性。
2025-12-01 cs.AI
Enabling Level-4 Autonomous Driving on a Single $1k Off-the-Shelf Card
Perceptin LLC(Perceptin有限责任公司);Northeastern Univ(东北大学);COCOPLE LLC(COCOPLE有限责任公司);College of William and Mary(威廉玛丽学院);North Carolina State University(北卡罗来纳州立大学)
自动驾驶在研究和工业中都有很大的兴趣。高成本一直是减缓自动驾驶在实践中的发展和采用的主要障碍之一。这篇论文首次表明,运行4级(即,完全自动驾驶)软件,在一个现成的卡(Jetson AGX Xavier)不到1000美元,一个数量级低于国家的最先进的系统,同时满足所有要求的延迟。这一成功来自于通过一系列措施和创新解决了现有做法共有的一些重要问题。该研究颠覆了人们对4级自动驾驶所需计算资源的普遍看法,为行业降低成本指出了一条有希望的道路,并为重新思考自动驾驶的架构、软件设计和优化提供了许多研究机会。
2021-10-12 cs.AI cs.LG cs.RO
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université(索邦大学)
本调查回顾了基于视觉的自动驾驶系统的解释方法,该系统经过行为克隆训练。可解释性的概念有几个方面,对可解释性的需求在驾驶中很强,这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献,即计算机视觉、深度学习、自动驾驶、可解释人工智能(X-AI),解决了几个问题。首先,它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机,以及该应用所特有的挑战。其次,全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三,详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后,剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
Design Space of Behaviour Planning for Autonomous Driving
University of Waterloo(滑铁卢大学)
我们探索自动驾驶行为规划的复杂设计空间。成功解决行为规划的一个方面的设计选择可以严重限制其他方面。为了帮助设计过程中,在这项工作中,我们分解的设计空间的重要选择所产生的最先进的方法,并描述了由此产生的权衡。在此过程中,我们还确定了未来工作的有趣方向。
2019-08-21 cs.AI cs.LG cs.RO
Towards Benchmarking and Assessing the Safety and Robustness of Autonomous Driving on Safety-critical Scenarios
Zhongguancun Laboratory(中关村实验室);Beihang University(北京航空航天大学);Institute of Data Space, Hefei Comprehensive National Science Center(合肥综合性国家科学中心数据空间研究院);Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);A*STAR(新加坡科技研究局)
本研究针对自动驾驶在安全关键场景下的安全性与鲁棒性评估不足的问题,明确了安全关键场景定义,开发了涵盖感知与系统级评估的自动驾驶安全测试平台,为行业建立标准化测试框架和降低实际道路部署风险提供技术支持。
2025-04-07 cs.AI cs.RO
Perspective, Survey and Trends: Public Driving Datasets and Toolsets for Autonomous Driving Virtual Test
Beihang University(北京航空航天大学)
与真实场景下的闭环测试相比,自动驾驶虚拟测试具有早期安全性和可靠性保证的优点,近年来受到越来越多的关注。虽然自动驾驶数据集和工具集的可用性和质量是诊断自动驾驶系统瓶颈和提高系统性能的前提,但由于数据集和工具集的多样性和隐私性,收集和表征它们的视角和质量不仅耗时而且越来越具有挑战性。本文首先提出了自动驾驶测试(SLA)的系统文献综述方法,然后概述了2000年至2020年现有的公开数据集和工具集。通过35个自动驾驶测试工具集和70个测试数据集,给出了相关场景的定量结果、观点和趋势推断以及建议。据我们所知,我们是第一个使用基于SLA的调查方法对数据集和工具集进行这种最新的实证调查。我们的多方面分析和新发现不仅揭示了我们认为对系统设计者,从业者和用户有用的见解,而且还可以促进更多关于数据集和工具集的自动驾驶调查系统调查分析的研究。
2021-06-30 cs.AI cs.RO
Integrating End-to-End and Modular Driving Approaches for Online Corner Case Detection in Autonomous Driving
Technical University of Munich (TUM)(慕尼黑工业大学);Institute of Automotive Technology(汽车技术研究所)
本文提出将端到端网络作为辅助系统与模块化驾驶系统并行运行,利用两者输出不一致实现在线极端情况检测,并在真实车辆上验证了该方法对提升自动驾驶安全性的潜力。
2024-09-02 cs.AI cs.RO
AUTO-DISCERN: Autonomous Driving Using Common Sense Reasoning
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
驾驶汽车涉及观察周围环境的任务,然后根据这些观察(转向,刹车,滑行等)做出驾驶决策。在自动驾驶中,所有这些任务都必须自动化。到目前为止,自动驾驶技术主要依赖于机器学习技术。我们认为,适当的技术应该用于适当的任务。也就是说,虽然机器学习技术有利于观察和自动理解汽车周围环境,但驾驶决策更好地通过常识推理而不是机器学习自动化。在本文中,我们讨论了(i)如何常识推理可以自动使用答案集编程(ASP)和目标导向的(CASP)ASP系统,和(ii)开发自动识别系统使用这种技术的自动驾驶决策。本文所述的研究目标是开发一种自动驾驶系统,该系统通过模拟人类驾驶员的思维来工作。由于驾驶决策是基于人类风格的推理,因此它们是可解释的,它们的道德可以得到保证,并且只要系统建模和系统输入是正确的,它们就永远是正确的。
2021-10-17 cs.AI cs.LO
PKRD-CoT: A Unified Chain-of-thought Prompting for Multi-Modal Large Language Models in Autonomous Driving
School of Information Technology, Monash University Malaysia(马来西亚莫纳什大学信息技术学院)
本文提出基于感知、知识、推理与决策的 PKRD-CoT 零样本思维链提示框架,使 GPT-4.0 等多模态大语言模型无需训练即可提升自动驾驶实时决策表现。
2024-12-02 cs.AI cs.RO
SuperDriverAI: Towards Design and Implementation for End-to-End Learning-based Autonomous Driving
National Institute of Informatics(国立信息学研究所);TURING, Inc.(图灵公司)
本文提出端到端自动驾驶系统SuperDriver AI,利用DNN学习人类驾驶策略并保证安全,引入slit模型和视觉注意力模块提升鲁棒性与可解释性,并在东京真实场景中验证了其有效性。
2023-05-14 cs.AI cs.RO
READ: Large-Scale Neural Scene Rendering for Autonomous Driving
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
合成具有真实感的自由视角图像是多媒体领域的一项重要任务。随着先进驾驶员辅助系统(ADAS)的发展及其在自动驾驶汽车中的应用,在不同场景下进行试验成为一项挑战。虽然真实感街道场景可以通过图像到图像的平移方法合成,但由于缺乏三维信息,无法生成连贯的场景。本文提出了一种大规模神经渲染方法来合成自动驾驶场景~(READ),使得通过多种采样方案在PC上合成大规模驾驶场景成为可能。为了表示驾驶场景,我们提出了一个ω渲染网络来从稀疏点云中学习神经描述符。该模型不仅可以合成逼真的驾驶场景,而且可以拼接和编辑驾驶场景。实验表明,我们的模型在大规模的驾驶场景中表现良好。
2022-05-11 cs.AI cs.CV
Generative AI-empowered Simulation for Autonomous Driving in Vehicular Mixed Reality Metaverses
Nanyang Technological University(南洋理工大学);Peking University(北京大学);Guangdong University of Technology(广东工业大学);Singapore University of Technology and Design(新加坡科技设计大学);Auburn University(奥本大学);University of Houston(休斯顿大学);Kyung Hee University(庆熙大学)
在车载混合现实(MR)Metaverse中,物理和虚拟实体之间的距离可以通过在自动驾驶系统中融合物理和虚拟环境与多维通信来克服。在数字孪生(DT)技术的辅助下,联网的自动驾驶汽车(AV)、路侧单元(RSU)和虚拟模拟器可以通过数字模拟来维护车载MR Metaverse,以共享数据并协同做出驾驶决策。然而,通过真实的数据汇集和融合物理世界来进行大规模交通和驾驶模拟,用于自动驾驶系统的在线预测和离线训练是困难和昂贵的。在本文中,我们提出了一种自动驾驶架构,其中生成式人工智能被用来合成模拟中的无限条件交通和驾驶数据,以提高驾驶安全性和交通效率。首先,我们提出了一个多任务DT卸载模型的可靠执行异构DT任务在RSU的不同要求。然后,基于AV的DT的偏好和收集的现实数据,虚拟模拟器可以合成无限的条件驾驶和交通数据集,以进一步提高鲁棒性。最后,我们提出了一个多任务增强拍卖为基础的机制,提供细粒度的激励RSU在提供自动驾驶资源。性能分析和实验结果表明,所提出的机制和架构是防策略和有效的,分别。
2023-02-16 cs.AI cs.NI
Teaching Autonomous Driving Using a Modular and Integrated Approach
South China University of Technology(华南理工大学);PerceptIn Inc(PerceptIn公司);University of Shanghai for Science and Technology(上海理工大学);Université de Cergy-Pontoise(塞尔吉-蓬图瓦兹大学);Clarkson University(克拉克森大学);Wayne State University(韦恩州立大学);University of California, Irvine(加利福尼亚大学欧文分校)
自动驾驶不是一种单一的技术,而是一个集成了许多技术的复杂系统,这意味着教授自动驾驶是一项具有挑战性的任务。事实上,大多数现有的自动驾驶课程都专注于其中一项技术。这不仅未能提供全面的覆盖面,而且为具有不同技术背景的学生设置了很高的入学门槛。在本文中,我们提出了一种模块化的,集成的方法来教授自动驾驶。具体来说,我们将自动驾驶中使用的技术组织成模块。我们开发的教科书以及一系列旨在为每个模块提供技术概述的多媒体在线讲座中对此进行了描述。然后,一旦学生理解了这些模块,我们开发的整合实验平台可以让学生充分理解模块之间的相互作用。为了验证这种教学方法,我们提出了三个案例研究:为只有基本技术背景的学生开设的自动驾驶入门课程;现有嵌入式系统课程中的新课程,以演示如何将嵌入式系统技术应用于自动驾驶;以及行业专业培训课程,以快速培养经验丰富的工程师从事自动驾驶工作。结果表明,学生可以保持很高的兴趣水平,并取得了很大的进步,从熟悉的概念,然后再进入其他模块。
2018-02-27 cs.AI cs.CY cs.RO
A Scenario-Based Development Framework for Autonomous Driving
本文综述了基于MIMO的自动驾驶汽车测试与开发技术的研究进展。系统分析了以往的研究成果,提出了场景的定义、场景本体的构成要素、场景数据源、场景数据的处理方法以及基于XML的V-Model。通过随机场景生成和危险场景生成,总结了测试场景的自动生成方法。
2020-11-05 cs.AI cs.DC
SUSTechGAN: Image Generation for Object Detection in Adverse Conditions of Autonomous Driving
Southern University of Science and Technology(南方科技大学);Research Institute of Trustworthy Autonomous Systems(可信自主系统研究院);University of Macau(澳门大学)
提出SUSTechGAN框架,利用双注意力模块、多尺度生成器和新损失函数生成恶劣条件驾驶图像,显著提升YOLOv5在雨天和夜晚的目标检测性能。
2024-12-21 cs.AI cs.CV
Is it Safe to Drive? An Overview of Factors, Challenges, and Datasets for Driveability Assessment in Autonomous Driving
LG Silicon Valley Lab(LG硅谷实验室)
随着学习算法和硬件开发的最新进展,自动驾驶汽车在良好的驾驶条件下在结构化环境中运行时显示出了希望。然而,对于复杂、混乱和不可见的高度不确定性环境,自动驾驶系统仍然经常表现出错误或意外的行为,这可能导致灾难性的后果。自动驾驶车辆应该能够适应驾驶条件;虽然这可以通过多条路线来实现,但作为第一步,能够以某种量化的形式表征驾驶性能将是有益的。为此,本文旨在建立一个框架,调查不同的因素,可以影响驾驶性能。此外,使自动驾驶系统适应任何驾驶条件的主要机制之一是能够从代表性场景中学习和概括。目前这样做的机器学习算法主要以监督的方式学习,因此需要足够的数据来进行鲁棒和有效的学习。因此,我们还对45个公共驾驶数据集进行了比较概述,这些数据集支持学习,并在https://sites.google.com/view/driveability-survey-datasets上发布了此数据集索引。具体来说,我们根据用例对数据集进行分类,并突出显示捕获复杂和危险驾驶条件的数据集,这些数据集可以更好地用于训练鲁棒的驾驶模型。此外,通过讨论现有公共数据集未涵盖的驾驶场景以及需要更多调查和数据采集的驾驶性能因素,本文旨在鼓励有针对性的数据集收集和提出新的驾驶性能指标,以增强自动驾驶汽车在恶劣环境中的鲁棒性。
2018-11-27 cs.AI cs.RO
Soar: Design and Deployment of A Smart Roadside Infrastructure System for Autonomous Driving
The Chinese University of Hong Kong(香港中文大学)
本文提出了首个端到端智能路侧基础设施系统Soar,通过软硬件协同设计、新型通信架构和分布式任务管理,利用现有路灯杆部署,实现了高通信可靠性与实时性能,为自动驾驶提供支持。
2024-04-21 cs.AI cs.DC cs.LG
Understanding Mental States in Active and Autonomous Driving with EEG
本文通过EEG研究主动和自动驾驶中心理状态的差异,发现两种模式在神经激活和心理状态强度上有显著区别,强调了开发自动驾驶车辆驾驶员监控系统时需使用场景特定的数据和模型。
2025-12-09 cs.AI cs.HC
TJ4DRadSet: A 4D Radar Dataset for Autonomous Driving
下一代高分辨率汽车雷达(4D雷达)可以提供额外的高程测量和更密集的点云,这在自动驾驶的3D传感方面具有巨大的潜力。在本文中,我们介绍了一个名为TJ4DRadSet的数据集与4D雷达点的自动驾驶研究。该数据集是在各种驾驶场景中收集的,共有44个连续序列中的7757个同步帧,这些序列都用3D边界框和轨迹ID进行了很好的注释。我们为我们的数据集提供了一个基于4D雷达的3D目标检测基线,以证明4D雷达点云的深度学习方法的有效性。该数据集可通过以下链接访问:https://github.com/TJRadarLab/TJ4DRadSet。
2022-07-27 cs.AI cs.CV
Intelligent Perception System for Vehicle-Road Cooperation
随着自动驾驶的发展,单个车辆自动驾驶技术的提升已经到了瓶颈。车路协同自动驾驶技术的进步,可以扩大车辆的感知范围,补充感知盲区,提高感知精度,推动自动驾驶技术的发展,实现车路融合。本项目主要利用激光雷达开发数据融合方案,实现车辆和道路设备数据的共享和融合,实现对动态目标的检测和跟踪。同时,设计了车路协同感知系统的测试场景,对车路协同感知系统进行了测试,验证了车路协同自主驾驶相对于单车自主驾驶的优势。
2022-08-30 cs.AI cs.RO
Deep Learning Based Intelligent Inter-Vehicle Distance Control for 6G Enabled Cooperative Autonomous Driving
University of Electronic Science and Technology of China(电子科技大学);University of Essex(埃塞克斯大学)
第六代蜂窝网络(6G)的研究正在获得巨大的动力,以实现无处不在的无线连接。互联自动驾驶(CAV)是6G的一个重要垂直领域,在提高道路安全、道路和能源效率方面具有巨大潜力。然而,CAV应用对可靠性、延迟和高速通信的严格服务要求将对6G网络提出巨大挑战。支持6G的CAV需要新的联网车辆信道接入算法和智能控制方案。本文研究了6G支持的协同驾驶,这是一种通过信息共享和驾驶协调的先进驾驶模式。首先,我们量化的延迟上界的6G车辆到车辆(V2V)通信的混合通信和信道接入技术。开发并训练深度学习神经网络,以快速计算实时的操作中的延迟界限。在此基础上,设计了一种智能策略来控制协作自主驾驶中的车间距。此外,我们提出了一个基于马尔可夫链的算法来预测系统状态的参数,也是一个安全的距离映射方法,使平稳的车速变化。所提出的算法在AirSim自动驾驶平台上实现。仿真结果表明,所提算法具有较好的鲁棒性和有效性,能够实现安全稳定的协同自主驾驶,极大地提高了道路的安全性、通行能力和效率。
2020-12-26 cs.AI eess.SP
Discrete Contrastive Learning for Diffusion Policies in Autonomous Driving
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心)
本文提出利用对比学习从人类驾驶数据中提取并量化驾驶风格字典,进而学习条件扩散策略来模拟人类驾驶行为,实验表明其生成的行为比基线方法更安全且更像人类。
2025-03-07 cs.AI cs.RO
Autonomous Driving Small-Scale Cars: A Survey of Recent Development
Chair of Econometrics and Statistics, esp. in the Transport Sector, Technische Universität Dresden(经济计量学与统计学教授席位(侧重交通领域));Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡);Barkhausen Institut gGmbH(巴克豪森研究所)
针对全尺寸自动驾驶车辆成本高、社会认知不足的问题,该综述梳理分类了各类小型自动驾驶汽车平台,介绍其在教育与研究领域的应用价值及相关研究进展,并提出未来发展方向建议。
2024-12-20 cs.AI cs.RO
RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving
Tongji University(同济大学);Yale University(耶鲁大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对VLM空间感知不足与幻觉问题,提出RAD检索增强决策框架,结合三阶段RAG流程和NuScenes微调,提升自动驾驶元动作决策性能。
2025-03-18 cs.AI cs.CV
LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving
Department of Civil and Environmental Engineering, University of Michigan(土木与环境工程系,密歇根大学);University of Michigan Transportation Research Institute(密歇根大学交通研究所)
LightEMMA是评估自动驾驶领域视觉语言模型性能的纵向框架,研究发现这类模型迭代后驾驶性能未持续提升,需领域适配以提升系统安全性。
2026-09-04 cs.AI cs.RO
Characterized Diffusion Networks for Enhanced Autonomous Driving Trajectory Prediction
Xiamen University Malaysia(马来西亚厦门大学)
本文提出结合特征化扩散模块与时空交互网络的轨迹预测模型,通过不确定性估计和智能体交互建模,在NGSIM、HighD和MoCAD上显著超越现有方法,提升复杂交通场景下的预测精度。
2024-11-25 cs.AI cs.RO
Deep Learning Accelerator in Loop Reliability Evaluation for Autonomous Driving
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对自动驾驶中DLA可靠性评估指标与系统级指标脱节的问题,提出DLA在环可靠性评估平台,在早期设计阶段实现系统级可靠性评估,以减少设计迭代成本。
2023-06-20 cs.AI cs.AR cs.RO