DriverGym: Democratising Reinforcement Learning for Autonomous Driving
Level 5, Woven Planet(Woven Planet Level 5);EPFL(洛桑联邦理工学院)
尽管强化学习(RL)取得了可喜的进展,但开发自动驾驶(AD)算法仍然具有挑战性:其中一个关键问题是缺乏能够在真实世界数据上训练和有效验证RL策略的开源平台。我们提出了DriverGym,这是一个开源的OpenAI Gym兼容环境,专门用于开发自动驾驶的RL算法。DriverGym提供超过1000小时的专家记录数据,并支持反应和数据驱动的代理行为。RL策略的性能可以使用我们广泛而灵活的闭环评估协议在真实数据上轻松验证。在这项工作中,我们还使用监督学习和RL提供了行为克隆基线,并在DriverGym中进行了训练。我们公开了DriverGym代码以及所有基线,以进一步刺激社区的开发。
2021-11-12 cs.CV cs.LG
Benchmarking of a software stack for autonomous racing against a professional human race driver
Technical University of Munich(慕尼黑工业大学)
公共道路车辆实现完全自主的道路需要逐步取代人类驾驶员,最终目标是完全取代驾驶员。最终,驾驶软件必须能够处理自己发生的所有情况,甚至是紧急情况。这些特殊情况需要在操纵极限下采取极端的制动和转向联合行动,以避免事故或减少其后果。普通的人类驾驶员没有受过处理这种极端和很少发生的情况的训练,因此经常无法做到这一点。然而,专业赛车手被训练成利用最大量的可能轮胎力来驾驶车辆。这些能力对于自动驾驶软件的开发具有很高的兴趣。在这里,我们将专业赛车手和我们为自动驾驶赛车开发的软件堆栈与赛车运动中建立的数据分析技术进行比较。这项研究的目标是获得进一步改善我们的软件性能的迹象,并确定它仍然无法满足人类赛车手的性能水平的领域。我们的研究结果用于扩展我们软件的功能,并将我们的研究结果纳入公共道路自动驾驶汽车的研究和开发中。
2020-05-20 cs.HC cs.RO
Joint Attention in Driver-Pedestrian Interaction: from Theory to Practice
York University(约克大学)
如今,自动驾驶汽车面临的主要挑战之一是在城市环境中驾驶的能力。这样的任务需要自动驾驶车辆和其他道路使用者之间的通信,以便解决各种交通模糊性。道路使用者之间的互动是一种协商的形式,在这种协商中,参与各方必须分享他们的注意力关于一个共同的目标或一个目标(例如,过一个十字路口),并协调他们的行动,以实现it. In这篇文献综述中,我们的目的是解决行人和司机(或车辆)之间的互动问题,从联合注意的角度来看。更具体地说,我们将讨论联合注意背后的理论背景,它在交通交互中的应用以及实现自动驾驶汽车联合注意的实用方法。
2018-03-27 cs.CV cs.RO
Characterizing Driver Interactions with Autonomous Vehicles via Response Maps
University of New Mexico(新墨西哥大学);Cornell Tech(康奈尔科技)
本文基于博弈论中的响应图概念,利用驾驶模拟器数据线性表示驾驶员行为,发现驾驶员加速行为可被响应图捕获,且对自动驾驶车辆的让行、不让行和响应行为有显著差异。
2026-06-29 cs.RO cs.SY eess.SY
Game-Theoretic Planning for Autonomous Driving among Risk-Aware Human Drivers
Stanford University(斯坦福大学);University of Maryland(马里兰大学)
我们提出了一种新的方法,风险意识规划与人类代理在多智能体交通场景。我们的方法考虑到了人类驾驶员在道路上的各种行为,从超速和超车等激进的操作,到缓慢驾驶和遵守最右侧车道等保守的特征。在我们的方法中,我们学习了从数据驱动的人类驾驶员行为模型(称为CMetric)到驾驶员熵风险偏好的映射。然后,我们在博弈论风险敏感规划器中使用导出的风险偏好来模拟人类驾驶员和自动驾驶汽车在各种交通场景中的风险感知交互。我们证明了我们的方法在合并的情况下,我们的结果表明,从风险意识规划者获得的最终轨迹产生理想的紧急行为。特别是,我们的计划器识别出具有攻击性的人类驾驶员,并在与他们保持更大距离的同时向他们屈服。在一项用户研究中,参与者能够根据我们的风险敏感计划器生成的轨迹区分激进和保守的模拟驾驶员。我们还观察到,积极的人类驾驶的结果在更频繁的车道变换的规划。最后,我们比较了我们的修改后的风险意识规划与现有的方法的性能,并表明,模拟人类驾驶员的行为,导致更安全的导航。
2022-05-01 cs.RO
Driverseat: Crowdstrapping Learning Tasks for Autonomous Driving
Stanford University(斯坦福大学)
虽然新兴的深度学习系统在许多任务中已经超越了基于知识的方法,但它们在自主技术检测任务中的应用仍然是科学探索的一个开放领域。一般来说,有两个主要的发展瓶颈:全面标记的数据集和表达的评价策略的不可用。标记数据集的方法依赖于密集的手工工程,评估学习系统的策略无法识别失败的情况。人类智慧为突破这些瓶颈提供了一种尚未开发的方法。本文介绍了Driverseat,这是一种在自动驾驶学习系统周围嵌入人群的技术。Driverseat利用人群贡献(a)收集复杂的3D标签和(b)标记不同的场景,以便随时评估学习系统。我们演示了Driverseat如何在车道检测任务上crowdstrap一个卷积神经网络。更一般地说,众包为任何可以从人类和计算机智能的强大组合中受益的技术引入了一个有价值的范例。
2015-12-07 cs.AI cs.HC cs.RO
Autonomous Driving System Design for Formula Student Driverless Racecar
Beijing Institute of Technology(北京理工大学)
本文总结了自行研制的一辆方程式学生自主赛车的自主系统,包括检测系统和路径跟踪控制器。提出了一种激光雷达与视觉协同检测作为轨道标志的交通锥的方法。赛车的检测算法还实现了一种结合GPS-INS数据和LIDAR测距的高精度、高速率定位方法。同时建立了包含视锥位置和颜色信息的轨迹图。最后,在闭环轨道上对系统和车辆的性能进行了测试。本文还简要介绍了2017年方程式学生自主竞赛(FSAC)。
2018-09-19 cs.AI cs.RO
A Framework for Analysing Driver Interactions with Semi-Autonomous Vehicles
Digital Security and Forensics (SaFe) Research Group(数字安全与取证研究组);Department of Computing, Faculty of Engineering and Computing(工程与计算学院计算机系);Coventry University(考文垂大学);Centre for Software Assurance(软件保证中心);Bond University(邦德大学)
提出一个结合人类行为经验模型与环境系统模型的框架,通过模型检验分析驾驶员与半自主车辆交互的安全性,并以驾驶员疲劳为例验证其适用性。
2013-01-01 cs.HC cs.RO cs.SY
Automated Failure-Mode Clustering and Labeling for Informed Car-To-Driver Handover in Autonomous Vehicles
University of Colorado Boulder(科罗拉多大学博尔德分校)
当车辆无法自行安全行驶时,车辆与驾驶员的切换是安全自动驾驶车辆操作的一个至关重要的组成部分。这种切换在汽车中的当前实现方式采取指示即将将控制转移回人类驾驶员的通用警报的形式。然而,某些级别的车辆自主性可能允许驾驶员在切换之前从事其他非驾驶相关的任务,导致快速恢复态势感知的巨大困难。除非采取缓解措施,否则重新定向延迟可能导致危及生命的故障。可解释的人工智能已被证明可以提高人机协作场景中的流畅性和团队合作。因此,我们假设,通过利用自主解释,这些汽车到驾驶员的转换可以更安全和可靠地进行。其基本原理是,通过为驾驶员提供额外的情境知识,他们将更快地专注于驾驶环境的相关部分。为此,我们提出了一种算法故障模式识别和解释方法,使知情的驾驶员从车辆。此外,我们提出了一套人类主体驾驶模拟器的研究,以确定适当的形式的解释,以及验证我们的框架。
2020-05-09 cs.HC cs.RO
Self-Driving like a Human driver instead of a Robocar: Personalized comfortable driving experience for autonomous vehicles
Seamless Transportation Lab (STL)(无缝交通实验室);Yonsei University(延世大学)
为了给自动驾驶汽车用户提供个性化的舒适驾驶体验,提出了一种基于个人驾驶偏好的自动驾驶汽车集成控制系统。我们提出了一个乘客的偏好度量(OPM),这是定义一个首选的横向和纵向加速度区域的最大允许加加速度为用户。此外,我们提出了一个车辆控制器的控制参数的基础上,使集成的横向和纵向控制,通过自主车辆的偏好感知操纵。该系统不仅提供了乘员驾驶偏好的标准,还提供了个性化的自动驾驶风格,就像人类驾驶员而不是Robocar一样。仿真和实验结果表明,该系统可以像人类驾驶员一样操纵自动驾驶汽车,通过跟踪指定的标准,允许的加速度和加加速度。
2022-11-18 cs.RO cs.SY eess.SY
The Application of Driver Models in the Safety Assessment of Autonomous Vehicles: A Survey
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Vehicle Safety Institute, Graz University of Technology(格拉茨技术大学车辆安全研究所);State Key Laboratory of Automotive Simulation and Control, Jilin University(吉林大学汽车仿真与控制国家重点实验室)
本文综述了驾驶员模型在自动驾驶车辆安全评估中的应用,讨论了其要求、总结了用于仿真测试和基准的模型,并通过评估指标比较优劣,指出未来研究方向。
2023-08-04 cs.RO
Effects of Augmented-Reality-Based Assisting Interfaces on Drivers' Object-wise Situational Awareness in Highly Autonomous Vehicles
University of California, Los Angeles(加州大学洛杉矶分校);Honda Research Institute USA(美国本田研究所);Zoox(Zoox公司)
本文通过20人参与的驾驶模拟器实验,研究基于增强现实的高亮提示在不同交通密度、物体位置和类型下对部分自动驾驶车辆驾驶员逐物体态势感知的影响,为优化AR辅助界面设计提供依据。
2022-06-06 cs.AI cs.HC cs.RO
Human Driver Behavior Prediction based on UrbanFlow
Carnegie Mellon University(卡内基梅隆大学);General Motors(通用汽车)
自动驾驶汽车和人类驾驶员如何共享公共交通系统是一个重要的问题,因为全自动交通环境还有很长的路要走。理解人类驾驶员的行为可以有利于自主车辆的决策和规划,特别是当自主车辆被具有各种驾驶行为和与其他车辆交互模式的人类驾驶员包围时。在本文中,我们提出了一种基于LSTM的轨迹预测方法,为人类驾驶员,可以帮助自动驾驶汽车做出更好的决策,特别是在城市交叉口的场景。同时,为了收集人类驾驶员在城市场景中的驾驶行为数据,我们描述了一个名为UrbanFlow的系统,该系统包括通过无人机从原始鸟瞰图数据汇集到最终处理轨迹的整个过程。该系统主要用于城市场景,但可以扩展到用于任何交通场景。
2019-11-09 cs.LG cs.RO
Vision-based Driver Assistance Systems: Survey, Taxonomy and Advances
Valeo Vision Systems(法雷奥视觉系统公司)
基于视觉的驾驶员辅助系统是ITS快速发展的研究领域之一,这是由于各种因素,例如汽车安全要求的提高,嵌入式系统的计算能力以及对自动驾驶的渴望。它是一个跨学科领域,涵盖计算机视觉、机器学习、机器人导航、嵌入式系统、汽车电子和安全关键软件等专业领域。在本文中,我们调查了基于视觉的高级驾驶辅助系统的列表,并提出了一个统一的术语分类。我们还提出了一个抽象的模型,试图形式化的应用程序开发的自顶向下的视图,以扩展到自动驾驶系统。
2021-04-26 cs.CV cs.RO
Autonomous Vehicles that Alert Humans to Take-Over Controls: Modeling with Real-World Data
UC San Diego(加州大学圣地亚哥分校);Toyota CSRC(丰田汽车碰撞安全研究中心)
随着乘用车自动化程度的提高,安全、平稳的人车交互和控制转换的研究成为关键。在这项研究中,我们专注于上下文的发展,语义上有意义的代表性的驾驶员状态,然后可以用来确定适当的时机和条件之间的控制转移驾驶员和车辆。为此,我们进行了一项大规模的真实世界控制数据研究,参与者被指示在不同的驾驶条件下从自主智能体接管控制权,同时从事各种分散注意力的活动。这些接管事件是使用多个面向驾驶员的摄像头捕获的,当标记时,会产生控制转换及其相应接管时间(TOT)的数据集。然后,我们开发和训练TOT模型,这些模型依次对由计算机视觉算法在不同的面向驾驶员的摄像头视图上操作产生的中高级特征进行操作。所提出的TOT模型产生连续的预测接管时间没有延迟,并在复杂的现实世界的情况下显示出有前途的定性和定量的结果。
2021-07-22 cs.CV cs.RO
DriveRX: A Vision-Language Reasoning Model for Cross-Task Autonomous Driving
Beijing University of Posts and Telecommunications(北京邮电大学);Zhongguancun Academy(中关村学院);Beihang University(北航)
DriveRX是一种用于自动驾驶的视觉-语言推理模型,通过结构化推理提升多阶段决策能力,并在复杂驾驶条件下表现优异。
2026-01-13 cs.CV
Classification of Safety Driver Attention During Autonomous Vehicle Operation
Australian Centre for Robotics(澳大利亚机器人中心);University of Sydney(悉尼大学);Universidad Nacional del Sur(南方国立大学);CONICET(阿根廷国家科学与技术研究委员会)
本文提出一种结合红外摄像头与车辆感知系统数据的双源方法,用于监测自动驾驶车辆操作员的注意力水平,以提升安全性和效率。
2023-10-17 cs.CV cs.HC cs.RO
Maintaining driver attentiveness in shared-control autonomous driving
Department of Computer Science, University of York(约克大学计算机科学系)
针对共享控制自动驾驶中驾驶员注意力维持问题,提出基于MAPE控制环路的自适应系统,结合深度神经网络分析注意力、经形式化验证的控制器规划警报与调速,并用概率模型检验综合控制器,以提升驾驶员注意力。
2021-02-05 cs.RO cs.SY eess.SY
Implementation of Road Safety Perception in Autonomous Vehicles in a Lane Change Scenario
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
理解人类驾驶行为对于开发自动驾驶汽车算法至关重要。然而,大多数低级自动化,例如高级驾驶辅助系统(ADAS)中的自动化,都是基于客观的安全措施,这些措施并不总是与驾驶员认为安全的内容及其相应的驾驶行为保持一致。本文分析了在主观感知和客观安全措施之间寻找桥梁的问题,特别关注换道场景。结果表明,什么是被认为是安全的驾驶员和客观的指标,这取决于具体的机动和位置的司机之间的统计显着差异。
2022-11-02 cs.RO
Benchmarking Autonomous Vehicles: A Driver Foundation Model Framework
National Key Laboratory of Automotive Chassis Integration and Bionics, Jilin University(汽车底盘集成与仿生国家重点实验室,吉林大学);Department of Computer Science, Durham University(杜伦大学计算机科学系);School of Engineering and Physical Sciences, Heriot-Watt University(赫瑞斯泰大学工程与物理科学学院);DRIVEResearch
本文提出一种驾驶员基础模型框架,用于全面评估自动驾驶车辆的性能,旨在解决安全、舒适和能源经济性等挑战。
2026-02-09 cs.RO
On Transferability of Driver Observation Models from Simulated to Real Environments in Autonomous Cars
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);University of Stuttgart(斯图加特大学)
本文研究驾驶员观察模型从仿真到真实环境的迁移性,通过构建真实驾驶数据集并使用I3D模型与Grad-CAM分析,发现模型平均准确率从85.7%降至46.6%,揭示了迁移挑战并促进鲁棒系统研究。
2023-07-31 cs.CV
Classification of Driver Behaviour Using External Observation Techniques for Autonomous Vehicles
Atlantic Technological University(大西洋理工大学)
本文提出了一种基于外部观测技术的自动驾驶车辆驾驶员行为分类系统,利用计算机视觉方法检测分心和受 impairment 的驾驶行为,并通过实验验证了其在不同环境下的可靠性。
2025-10-29 cs.AI cs.CV cs.ET
Personalized Federated Learning of Driver Prediction Models for Autonomous Driving
NEC Corporation(日本电气公司);Samsung Electronics(三星电子);Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
自动驾驶汽车(AV)必须在不同的地理区域与不同的人类驾驶员进行交互。理想情况下,无人驾驶汽车车队应该共享轨迹数据,以使用基于云的分布式学习,根据集体经验不断重新训练和改进轨迹预测模型。与此同时,这些机器人应该避免上传原始的驾驶员交互数据,以保护专有政策(与其他公司分享见解时)或保护驾驶员隐私免受保险公司的侵害。联邦学习(FL)是一种流行的机制,可以在云服务器中从不同的用户那里学习模型,而不会泄露私有的本地数据。然而,FL通常并不健壮--当用户数据来自高度异构的分布时,它会学习次优模型,这是人机交互的一个关键标志。在本文中,我们提出了一种新的变体个性化FL专门强大的机器人学习模型,以不同的用户分布。在我们进行的真实用户研究中,我们的算法优于标准FL基准高达2倍,其中人工驾驶的车辆必须在标准CARLA和CARLO AV模拟器中优雅地将车道与模拟AV合并。
2021-12-02 cs.LG cs.MA cs.NI
Adaptive Performance Assessment For Drivers Through Behavioral Advantage
Robotics Institute(机器人学院);Carnegie Mellon University(卡内基梅隆大学)
自动驾驶和驾驶员辅助技术的潜在积极影响是过去十年的主要推动力。另一方面,定量分析人类驾驶员或自动驾驶代理的性能一直是一个具有挑战性的问题。在这项工作中,我们提出了一种通用的方法,即使在环境条件不同的情况下,也可以通过使用驾驶员行为优势而不是绝对指标来比较驾驶员或自动驾驶代理的性能,从而有效地消除了环境因素。还介绍了该方法的一个具体应用,其中100多名卡车司机的表现进行了评估,并在燃油效率方面进行了排名,涵盖了超过90,000次行程,平均跨越300英里,在各种驾驶条件和环境。
2018-04-26 cs.AI cs.LG cs.RO
Cooperative Autonomous Vehicles that Sympathize with Human Drivers
University of Central Florida(中佛罗里达大学);Stanford University(斯坦福大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
在开发出使这些智能代理与人类共存的解决方案之前,自动驾驶汽车的广泛采用不会成为现实。这包括安全有效地与人类驾驶的车辆进行交互,特别是在冲突和竞争的情况下。我们建立在先前关于社会意识导航的工作基础上,并从心理学中借用社会价值取向的概念-正式确定一个人对他人福利的重视程度-以诱导自动驾驶中的利他行为。与现有的明确模拟人类驾驶员的行为,并依赖于他们的预期反应,以创造合作的机会,我们的同情合作驾驶(SymCoDrive)范式培训利他代理,实现安全和顺畅的交通流在竞争激烈的驾驶场景中,只有从经验学习,没有任何明确的协调。我们证明了显着的改善,在安全和交通水平的指标,作为这种利他主义的行为的结果,并得出重要的结论,利他主义的代理水平需要适当的调整,因为代理太利他主义也导致次优的交通流量。代码和补充材料可在以下网址获得:https://symcodrive.toghi.net/
2021-07-02 cs.RO
A human factors approach to validating driver models for interaction-aware automated vehicles
Delft University of Technology(代尔夫特理工大学)
自动驾驶汽车面临的一个主要挑战是与其他交通参与者安全顺畅地互动。处理这种交通交互的一种有前途的方法是为自动驾驶车辆配备交互感知控制器(IAC)。这些控制器基于驾驶员模型预测周围的人类驾驶员将如何响应自动驾驶汽车的动作。然而,在IAC中使用的驱动程序模型的预测有效性很少得到验证,这可能会限制IAC的简单模拟环境之外的互动能力,他们被证明。在本文中,我们认为除了评估IAC的交互能力之外,还应该根据人类自然驾驶行为来验证其底层驾驶员模型。我们提出了一个工作流程,这种验证,包括基于数据提取和两个阶段(战术/操作)的评估程序的基础上人为因素的文献。我们在从现有IAC复制的基于反向强化学习的驱动程序模型的案例研究中演示了此工作流程。该模型仅在40%的预测中显示了正确的战术行为。该模型的操作行为与观察到的人类行为不一致。案例研究表明,一个原则性的评价工作流程是有用的,需要的。我们相信,我们的工作流程将支持为未来的自动驾驶汽车开发合适的驾驶员模型。
2022-06-20 cs.RO
Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving
the Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Hong Kong(香港大学)
本文提出VDMoE模型,通过RGB视频和远程PPG数据监测驾驶员状态,优化多专家框架以提升多模态输入下的检测效率与准确性,通过新数据集验证其在条件自动驾驶中的有效性。
2026-03-29 cs.AI cs.CV
Learning to Navigate Intersections with Unsupervised Driver Trait Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通过不受控制的交叉路口导航是自动驾驶汽车面临的主要挑战之一。识别其他驾驶员隐藏特征的细微差异可以在这种环境中导航时带来显着的好处。我们提出了一种无监督的方法来推断驾驶员的特点,如驾驶风格从观察到的车辆轨迹。我们使用一个变分自编码器与递归神经网络来学习一个潜在的表征的特点,没有任何地面真理的特点标签。然后,我们使用这种特征表示来学习自动驾驶车辆通过深度强化学习的T形交叉口的策略。我们的管道使自动驾驶汽车能够在处理不同特征的驾驶员时调整其行动,以确保安全和效率。我们的方法表现出良好的性能,并优于最先进的基线在T型交叉口的情况下。
2022-03-01 cs.AI cs.LG cs.RO
Towards Autonomous Driving of Personal Mobility with Small and Noisy Dataset using Tsallis-statistics-based Behavioral Cloning
Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology(信息科学系,科学技术研究生院,奈良科学技术大学)
本研究提出基于Tsallis统计的损失函数,用于在小噪声数据集上实现个人移动的自动驾驶,通过改进可视化技术验证驾驶员与控制器的感兴趣区域一致性,实验表明该方法能稳健应对误差并实现自动驾驶。
2021-11-29 cs.LG cs.RO
SEIDM: A Safe and Efficient Intelligent Driver Model for Autonomous Driving Behavior
Department of Information and Communication Engineering, Tongji University(信息与通信工程系,同济大学);Department of Electrical and Computer Engineering, Duke University(电气与计算机工程系,杜克大学)
提出SEIDM模型,通过引入自适应安全因子动态调整安全减速项的影响,在保证安全的前提下提高交通流效率。
2026-04-11 cs.RO cs.SY eess.SY
Predicting Take-over Time for Autonomous Driving with Real-World Data: Robust Data Augmentation, Models, and Evaluation
UC San Diego(加州大学圣地亚哥分校);Toyota Collaborative Safety Research Center(丰田协作安全研究中心)
通过对控制转换进行建模来理解乘员与车辆的交互对于确保客车自动化的安全方法是重要的。包含驾驶员状态的上下文、语义上有意义的表示的模型可以用于确定驾驶员和车辆之间的控制转移的适当时机和条件。然而,这样的模型依赖于现实世界的控制接管数据,从从事分散注意力的活动,这是昂贵的收集。在这里,我们介绍了一个计划,这样的数据集的数据增强。使用增强的数据集,我们开发和训练接管时间(TOT)模型,这些模型顺序地在由计算机视觉算法在不同的面向驾驶员的摄像头视图上操作产生的中级和高级特征上操作,显示在增强的数据集上训练的模型优于初始数据集。演示的模型特征编码驾驶员状态的不同方面,涉及驾驶员的面部、手部、脚部和上身。我们对特征组合和模型架构进行了烧蚀实验,结果表明,由增强数据支持的TOT模型可用于无延迟地连续估计接管时间,适用于复杂的现实场景。
2022-11-12 cs.CV
Correct-by-Construction Advanced Driver Assistance Systems based on a Cognitive Architecture
University of Oxford(牛津大学);FiveAI(FiveAI公司);University of Colorado Boulder(科罗拉多大学博尔德分校)
到目前为止,对自动驾驶和半自动驾驶汽车安全性的研究主要集中在通过模拟进行测试和验证。由于这些自治系统的故障可能危及生命,形式化方法作为一种补充方法出现。本文研究了应用形式化方法验证的人类驾驶员模型建立使用认知架构ACT-R,并设计正确的建设先进的驾驶辅助系统(ADAS)。新颖之处在于集成的ACT-R的形式分析和抽象技术,使有限表示的一个大尺寸,连续系统的形式的马尔可夫过程。考虑的情况是一个多车道的高速公路驾驶的情况下,出现的相互作用。该方法的有效性说明在两个案例研究与各种驾驶条件。
2019-07-22 cs.LO cs.RO
Can LVLMs Obtain a Driver's License? A Benchmark Towards Reliable AGI for Autonomous Driving
ShanghaiTech University(上海科技大学);The Chinese University of Hong Kong(香港中文大学)
本文提出包含超百万条多国驾驶数据的IDKB数据集,覆盖理论到路考知识,并基于其对15个LVLMs进行自动驾驶可靠性基准测试与微调验证。
2024-09-04 cs.CV
DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Rhineland-Palatinate Technical University (RPTU)(莱茵兰-普法尔茨工业大学)
DriverGaze360通过全向视野和物体级引导方法,实现对驾驶员注意力的高精度预测,提升自动驾驶系统中的空间感知与交互能力。
2026-03-05 cs.CV
An Intelligent Safety System for Human-Centered Semi-Autonomous Vehicles
Institute for Advanced Studies in Basic Sciences (IASBS)(基础科学高级研究学院);Charles University(查理大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所)
如今,汽车制造商努力开发使汽车完全安全的方法。利用计算机视觉技术对驾驶员的行为进行实时监控,从而发现驾驶员的错误驾驶行为,并据此制定自动驾驶计划,避免车辆碰撞,是机器视觉和智能交通系统(ITS)研究的重要课题之一。这项研究的主要目的是防止疲劳,困倦和驾驶员分心引起的事故。为了避免这些事故,本文提出了一个集成的安全系统,连续监测驾驶员的注意力和车辆周围环境,并最终决定是否实际转向控制状态是安全的或不。为此,我们为一辆名为FARAZ的普通汽车配备了一个视觉系统,该系统由四个安装的摄像头和一个通用汽车工具组成,用于与周围工厂安装的传感器和其他汽车系统进行通信,并向执行器发送命令。所提出的系统利用使用深度卷积编码器-解码器网络的场景理解流水线和驱动器状态检测流水线。我们一直在确定和评估国内技术开发能力,特别是普通车辆,以制造智能汽车,并提供智能系统,以提高安全性,并在各种条件/情况下协助驾驶员。
2019-02-20 cs.CV cs.LG cs.RO
Altruistic Maneuver Planning for Cooperative Autonomous Vehicles Using Multi-agent Advantage Actor-Critic
University of Central Florida(中佛罗里达大学);Stanford University(斯坦福大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出一种多智能体优势Actor-Critic算法,用于自动驾驶车辆在混合交通环境中的利他性动作规划,以提升交通效率与安全。
2021-07-12 cs.AI cs.RO
Autonomous Racing with AutoRally Vehicles and Differential Games
Georgia Institute of Technology(佐治亚理工学院)
安全的自动驾驶汽车必须能够预测周围的驾驶员并做出反应。以前的控制方法严重依赖于预先计算,并且无法在动态事件实时展开时对其做出反应。在本文中,我们扩展了模型预测路径积分控制(MPPI),利用微分对策理论,并引入最佳响应MPPI(BR-MPPI)的实时多车互动。实验结果使用两个AutoRally平台的赛车格式与BR-MPPI竞争对熟练的人类司机在佐治亚理工学院的自动赛车设施。
2017-07-14 cs.RO
Fusing Driver Perceived and Physical Risk for Safety Critical Scenario Screening in Autonomous Driving
Guangdong Provincial Key Laboratory of Intelligent Transportation System, School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University(广东省智能交通系统重点实验室,智能系统工程学院,中山大学深圳校区);school of Transportation and Logistics, Southwest Jiaotong University(交通运输与物流学院,西南交通大学)
本文提出一种融合驾驶员风险的危险场景筛选方法,通过改进的驾驶员风险场和动态成本模型生成高质量风险监督信号,提升自动驾驶中安全关键场景的筛选效率与准确性。
2026-03-07 cs.AI cs.LG cs.RO
Minds on the Move: Decoding Trajectory Prediction in Autonomous Driving with Cognitive Insights
University of Macau(澳门大学);Beihang University(北京航空航天大学);Tsinghua University(清华大学)
针对自动驾驶中忽视人类决策导致轨迹预测不佳的问题,提出融合感知安全的CITF模型,含安全评估、行为画像及Leanformer交互模块,在三个数据集上显著提升长期预测精度。
2025-02-27 cs.AI cs.RO
Injecting Conflict Situations in Autonomous Driving Simulation using CARLA
Aalto University(阿尔托大学);Lund University(隆德大学)
本研究针对自动驾驶中AV与人类驾驶员交互的研究需求,在CARLA仿真中构建了共享 autonomy 场景下的典型冲突场景集,开发了可扩展的态势感知研究工具包,以探究驾驶员行为对交通安效的影响。
2025-03-04 cs.HC cs.MA cs.RO
How to Evaluate Human-likeness of Interaction-aware Driver Models
针对交互感知驾驶员模型的类人性评估,本文提出结合视频研究与人类经验调查的定性评价与设计方法,以促进自动驾驶车辆安全高效地融入人类驾驶环境。
2024-03-04 cs.RO cs.SY eess.SY
A Simulation Study of Passing Drivers' Responses to the Autonomous Truck-Mounted Attenuator System in Road Maintenance
Stony Brook University(石溪大学)
自动车载衰减器(ATMA)系统是一种基于自动驾驶和互联车辆技术的领先跟随车辆系统。引导卡车在道路上执行维护任务,无人驾驶的跟随卡车提醒过往车辆移动工作区并保护工人和设备。虽然ATMA最近一直在接受运输维护和运营机构的测试,但基于模拟器的测试能力是一种补充,特别是如果涉及人类受试者。本文的目的是发现如何通过司机感知,理解,并作出反应,ATMA系统在道路维修。利用为ATMA研究开发的驾驶模拟器,本文进行了一项模拟研究,其中基于屏幕的眼动仪收集了16名受试者的注视点和瞳孔直径。数据分析证明了受试者的视觉注意模式的变化,而通过ATMA。平均而言,ATMA从跟随卡车后面500英尺处开始吸引受试者的注意力。大多数人(87.50%)理解跟随卡车的保护目的,许多人(60%)推理出两辆卡车之间的关联。然而,近一半的参与者(43.75%)没有意识到ATMA是一个互联的自动驾驶汽车系统。虽然所有受试者都安全地改变了车道,并试图通过缓慢移动的ATMA,但他们对ATMA的理解不足是一个潜在的风险,就像切入ATAM一样。结果表明,运输维护和运营机构在制定部署指南时应考虑到这一点。
2022-11-21 cs.RO cs.SY eess.SY
Using Trust in Automation to Enhance Driver-(Semi)Autonomous Vehicle Interaction and Improve Team Performance
University of Michigan-Ann Arbor(密歇根大学安娜堡分校)
机器人中的信任一直受到多个方向的关注,因为它在人机交互的理论描述中具有特殊的相关性。这对于实现社会对机器人技术的高接受度和使用率以及实现有效的人机合作至关重要。研究人员一直在试图模拟机器人信任的发展,以改善人类和机器人之间的整体关系。不幸的是,对自动化的信任的错误校准是一个常见的问题,危及自动化使用的有效性。当用户的信任级别不适合所使用的自动化功能时,就会发生这种情况。用户可以是:不信任自动化--由于缺乏信任,他们不使用机器可以正确执行的功能;或者过度信任自动化--由于过度信任,他们在机器功能不足的情况下使用机器。这项工作的主要目标是研究驾驶员的信任发展的ADS。我们的目标是对风险因素(例如:来自ADS的错误警报和失误)以及与这些风险因素相关联的短期相互作用影响驾驶员对ADS的信任的动态。驾驶情境有助于仪器测量信任行为,例如驾驶员的眼球运动和自动化特征的使用时间。我们的研究结果表明,一个可靠的表征驾驶员的信任行为和随之而来的信任水平的估计是可能的。我们预计,这些技术将允许ADS的设计能够适应他们的行为,试图调整司机的信任水平。这种能力可以避免信任不足和过度信任,这可能会损害他们的安全或他们的表现。
2021-06-03 cs.RO
Active Learning with Dual Model Predictive Path-Integral Control for Interaction-Aware Autonomous Highway On-ramp Merging
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology(佐治亚理工学院机器人与智能机器研究所);Honda Research Institute USA, Inc.(美国本田研究所)
针对自动驾驶匝道并线,提出基于模型预测路径积分控制的双控制框架,结合贝叶斯推断主动学习其他驾驶员参数,生成交互轨迹,并通过高、低保真模拟验证有效性。
2023-10-11 cs.RO math.OC
Joint Attention in Autonomous Driving (JAAD)
在本文中,我们为自动驾驶的一个关键方面提出了一个新的数据集,即驾驶员与行人、骑自行车者或其他驾驶员之间必须发生的联合注意力。该数据集的目的是展示交通参与者的行为可变性。我们还展示了行为和场景理解的视觉复杂性如何受到各种因素的影响,如不同的天气条件,地理位置,交通和人口统计的人参与。地面实况数据传达有关参与者的位置(边界框),物理条件(例如照明和速度)以及参与方的行为的信息。
2020-04-22 cs.RO
Social Interactions for Autonomous Driving: A Review and Perspectives
McGill University(麦吉尔大学);University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学)
没有人在真空中驾驶汽车;她/他必须与其他道路使用者协商,以实现他们在社会交通场景中的目标。理性的人类驾驶员可以通过隐式通信以社会兼容的方式与其他道路使用者进行交互,以便在交互密集的安全关键环境中顺利完成驾驶任务。本文旨在回顾现有的方法和理论,以帮助理解和重新思考人类驾驶员之间的相互作用,以实现社会自动驾驶。我们通过这一调查来寻求一系列基本问题的答案:1)什么是道路交通场景中的社会互动?2)如何衡量和评估社会互动?3)如何模拟和揭示社会互动的过程?4)人类驾驶员如何在社交互动中达成隐性协议并顺利协商?本文综述了各种方法来建模和学习人类驾驶员之间的社会互动,从优化理论和图形模型,社会力理论和行为与认知科学。我们还强调了一些新的方向,关键的挑战,并为未来的研究开放的问题。
2022-11-24 cs.HC cs.RO
Steer with Me: A Predictive, Potential Field-Based Control Approach for Semi-Autonomous, Teleoperated Road Vehicles
Technical University of Munich (TUM)(慕尼黑工业大学)
自动驾驶是未来最有前途的交通安全技术之一。如今,自动驾驶汽车的原型已经在公共街道上进行了测试。然而,尽管目前的原型证明了真正无人驾驶汽车的可行性,但边缘情况仍然需要依靠人类操作员。遥控驾驶是一种允许人类通过移动无线电网络远程控制车辆的解决方案。因此,取消车载驾驶员将使当前的自动驾驶技术进一步发展成为真正的无人驾驶系统。本文提出了一种新的模型预测转向控制方案,专门为半自主,遥控道路车辆设计。控制器能够接收遥控操作员的转向命令,并且在潜在碰撞的情况下,自动校正这些命令。碰撞避免被纳入使用势场的设计。成本函数中的一个项有助于自然机动,并且对最大潜力的约束使车辆保持与障碍物的安全距离。本文还提出了使用高阶椭圆作为一种方法,以准确地模拟矩形障碍物在紧张的驾驶场景。仿真结果证明了该方法的有效性。
2020-06-28 cs.RO
Localization & Mapping Requirements for Level 2+ Autonomous Vehicles
Xona Space Systems(Xona空间系统公司)
自动驾驶汽车正在部署一系列功能,从个人车辆的高速公路驾驶员辅助功能(SAE 2级+)到在复杂城市环境中运行的全自动车队乘车共享服务(SAE 4级+)。这种自主性通常在不同的物理环境中运行,具有不同程度的假定驾驶员在环监督,因此具有非常不同的系统和子系统要求。SAE 2级至5级系统的核心是定位和地图绘制,范围从用于特征地理围栏或高级路线的道路确定,到用于高级驾驶员辅助的车道确定,再到用于全面车辆控制的车道定位。我们评估不同自治级别和支持功能的本地化和映射需求。这项工作为系统分解提供了一个框架,包括实现目标安全级别所需的冗余级别。我们研究了几个代表性的自主和援助功能,并提出建议,定位要求以及地图地理参考和信息完整性。
2023-01-05 cs.RO cs.SY eess.SY
A Language Agent for Autonomous Driving
University of Southern California(南加州大学);Stanford University(斯坦福大学);NVIDIA(英伟达)
本文提出Agent-Driver,利用大型语言模型作为认知智能体,通过工具库、认知记忆和推理引擎将类人智能集成到自动驾驶系统,在nuScenes基准上大幅超越现有方法,并具备卓越可解释性和少样本学习能力。
2024-07-28 cs.AI cs.CL cs.CV
B-GAP: Behavior-Rich Simulation and Navigation for Autonomous Driving
University of Maryland(马里兰大学)
我们解决的问题,自我车辆导航密集的模拟交通环境中的道路代理与不同的驾驶员行为。在这样的环境中导航是具有挑战性的,由于不可预测性的代理人的行动所造成的异构行为。我们提出了一种新的模拟技术,包括丰富现有的交通模拟器与行为丰富的轨迹对应不同程度的侵略性。我们生成这些轨迹的帮助下,驾驶员行为建模算法。然后,我们使用丰富的模拟器来训练深度强化学习(DRL)策略,该策略由一组高级车辆控制命令组成,并在测试时使用该策略在密集交通中执行本地导航。我们的政策隐式地模拟交通代理之间的相互作用,并计算安全的轨迹为自我车辆会计侵略性的驾驶员操作,如超车,超速,编织,和突然变道。我们增强的行为丰富的模拟器可用于生成由对应于不同驾驶员行为和交通密度的轨迹组成的数据集,并且我们基于行为的导航方案可以与最先进的导航算法相结合。
2022-02-13 cs.RO
Saliency-Based Attention Shifting: A Framework for Improving Driver Situational Awareness of Out-of-Label Hazards
Ritchie School of Engineering and Computer Science, University of Denver(工程与计算机科学学院,丹佛大学)
本文提出一个结合实时注视追踪、上下文感知显著性分析与视听同步警报的注意力转移框架,以提升驾驶员在半自动驾驶接管场景中对标签外危险的情境感知能力。
2025-08-16 cs.HC cs.RO
DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving
Tsinghua University(清华大学);Xiaomi EV(小米汽车)
提出DriveReward数据集和专用视觉语言奖励模型,通过反事实标注和时序视觉引导,解决自动驾驶中奖励获取的泛化问题,在强化学习和轨迹选择中取得与基于规则方法相当的性能。
2026-06-16 cs.CV
VLM-E2E: Enhancing End-to-End Autonomous Driving with Multimodal Driver Attention Fusion
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Li Auto Inc.(Li汽车公司);the School of Aeronautics and Astronautics, Xiamen University(厦门大学航空航天学院);The Hong Kong University of Science and Technology(香港科技大学)
针对自动驾驶系统在2D转3D时丢失语义信息的问题,提出VLM-E2E框架,通过VLM提供注意力线索并融合BEV与文本特征,在nuScenes数据集上显著提升了感知、预测与规划性能。
2025-09-18 cs.AI cs.CV
Accelerating Autonomy: Insights from Pro Racers in the Era of Autonomous Racing - An Expert Interview Study
Technical University of Munich(慕尼黑工业大学);TUM School of Engineering and Design(慕尼黑工业大学工程与设计学院);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与机器智能研究所)
通过对11名职业赛车手、数据分析师和教练的专家访谈,研究人类车手接近车辆极限并缩短单圈时间的认知与自适应策略,并与自动驾驶赛车软件栈对比,据此提出开发更具自适应性的自主软件模块。
2024-05-04 cs.RO