Automated Driving Maneuvers under Interactive Environment based on Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
在交互式和复杂的环境中安全和有效的自动驾驶机动可能是相当具有挑战性的，因为其他周围代理的不可预测的动作，这些代理在与自我车辆的交互中可能是合作的或对抗的。最先进的方法之一是应用强化学习（RL）来学习时序驾驶策略，以执行适当的控制策略或跟踪动态情况下的轨迹。然而，RL算法的直接应用并不足以令人满意地处理在自动驾驶领域的情况下，主要是由于复杂的驾驶环境和连续的动作空间。在本文中，我们采用Q学习作为我们的基本学习框架，并设计了一个独特的格式的Q函数逼近器，由神经网络来处理连续的动作空间的挑战。学习模型以连续控制变量的封闭形式存在，并在我们开发的嵌入式实时车辆交互特性的仿真平台中进行训练。所提出的算法避免了调用一个额外的演员网络，学习采取行动，在演员-评论家算法。同时，一些车辆动力学的先验知识也被输入到模型中，以辅助学习。通过一个具有挑战性的案例--变道机动，验证了所提方法的实用性和可行性。从累积的奖励和车辆性能的结果表明，RL车辆代理成功地学习一个安全，舒适和有效的驾驶策略中定义的奖励函数。
2019-01-24 cs.RO
Learning to Model Diverse Driving Behaviors in Highly Interactive Autonomous Driving Scenarios with Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）；Huzhou University（湖州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文提出个性建模网络PeMN，通过合作价值函数和个性参数建模高交互场景中的多样化驾驶行为，并训练背景交通流以提升自车策略的泛化能力。
2024-02-21 cs.AI cs.RO
Energy-Efficient Autonomous Driving Using Cognitive Driver Behavioral Models and Reinforcement Learning
University of Michigan（密歇根大学）
预计自动驾驶技术不仅可以提高机动性和道路安全性，还可以带来能源效率方面的好处。在可预见的未来，自动驾驶汽车（AV）将在与人类驾驶汽车共享的道路上运行。为了保持安全性和活力，同时最大限度地减少能源消耗，自动驾驶规划和决策过程应该考虑到自主自我车辆与周围人类驾驶车辆之间的相互作用。在本章中，我们描述了一个框架，通过利用基于认知层次理论和强化学习的人类驾驶员行为建模，在共享道路上开发节能自动驾驶政策。
2021-11-27 cs.RO cs.SY eess.SY
INTERACT: Interactive Planning for Autonomous Driving via Anchor-Conditioned Prediction and Trust-Region Refinement
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Freiburg（弗莱堡大学）；Coburg University（科堡大学）
提出INTERACT方法，通过锚定条件预测与信任域优化分解交互式规划，在nuPlan和interPlan基准上取得最先进成果，显著提升交互场景性能。
2026-09-28 cs.RO
ReWAM: Reciprocal World Action Models for Interactive Autonomous Driving
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Leapmotor（零跑汽车）
针对交互式自动驾驶，提出互惠世界动作模型（ReWAM），通过博弈论框架和Level-k响应层次建模自车与他车的互惠影响，在NAVSIM数据集上取得最先进性能，尤其显著提升交互场景表现。
2026-10-01 cs.RO
Flow Matching-Based Autonomous Driving Planning with Advanced Interactive Behavior Modeling
Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究所（AIR），清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The Chinese University of Hong Kong（香港中文大学）
针对复杂场景中交互行为建模难和数据稀缺问题，提出Flow Planner，通过轨迹分词、时空融合架构和流匹配生成，在nuPlan和interPlan数据集上取得最优性能。
2025-10-13 cs.AI cs.RO
Iterative Imitation Policy Improvement for Interactive Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一个模仿学习系统的自动驾驶在城市交通的互动。我们训练一个行为克隆（BC）策略来模仿从真实城市交通中收集的驾驶行为，并应用数据聚合算法来迭代地改进其性能。在这种情况下应用数据聚合面临两个挑战。第一个挑战是在真实的城市交通中收集在线推出数据是昂贵和危险的。在模拟器（如CARLA）中创建类似的交通场景以进行在线部署收集也很困难。相反，我们建议从训练数据集创建一个弱模拟器，其中所有周围的车辆都遵循数据集提供的数据轨迹。我们发现，在这样的模拟器中收集的在线数据仍然可以用来提高BC策略的性能。第二个挑战是在线推出期间人工标签过程的繁琐和耗时。为了解决这个问题，我们使用一个$^*$规划器作为一个伪专家提供专家一样的演示。我们在真实的城市交通场景中验证了我们提出的模仿学习系统。实验结果表明，我们的系统可以显着提高基线BC策略的性能。
2021-09-03 cs.RO
Behaviorally Diverse Traffic Simulation via Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks公司）；Toyota Research Institute（丰田研究院）
交通模拟器是自动驾驶开发的重要工具。虽然在为开发人员提供更多建模各种流量参与者的选项方面取得了不断的进展，但调整这些模型以增加其行为多样性，同时保持质量通常非常具有挑战性。本文介绍了一种易于调整的自动驾驶智能体的策略生成算法。该算法通过不同的策略集选择器利用深度强化学习的表示和探索能力来平衡多样性和驾驶技能。此外，我们提出了一个算法，利用内在奖励，以扩大行为差异的培训。为了提供定量评估，我们开发了两个基于概率的评估指标，用于衡量政策和行为覆盖率之间的差异。我们的实验表明，我们的方法在几个具有挑战性的交叉口场景的有效性。
2020-11-11 cs.LG cs.RO
Driving Through Ghosts: Behavioral Cloning with False Positives
Autonomous Systems Lab (ASL), ETH Zurich（苏黎世联邦理工学院自主系统实验室）；Toyota Research Institute (TRI)（丰田研究所）
安全的自动驾驶需要对其他交通参与者进行稳健的检测。然而，稳健并不意味着完美，安全的系统通常以较高的误报率为代价来最大限度地减少漏检。这会导致保守但潜在危险的行为，例如避免想象中的障碍物。在行为克隆的背景下，训练时的感知错误可能导致学习困难或错误的策略，因为专家的演示可能与感知的世界状态不一致。在这项工作中，我们提出了一种行为克隆的方法，可以安全地利用不完美的看法，而不是保守的。我们的核心贡献是一个新的表示感知的不确定性学习计划。我们提出了一个新的概率鸟瞰图语义网格编码对象感知系统的噪声输出。然后，我们利用专家示范学习模仿驾驶政策使用这种概率表示。使用CARLA模拟器，我们表明，我们的方法可以安全地克服关键的误报，否则会导致灾难性的故障或保守的行为。
2020-08-29 cs.CV cs.LG cs.RO
DiPA: Probabilistic Multi-Modal Interactive Prediction for Autonomous Driving
Five AI Ltd（Five AI有限公司）；University of Edinburgh（爱丁堡大学）
DiPA提出用高斯混合模型编码完整预测分布，并同时优化概率精度与最近模式度量，通过新颖训练机制解决二者权衡，在INTERACTION和NGSIM数据集上取得最先进性能，有效支持自动驾驶交互场景中的规划器。
2023-03-08 cs.RO
CoPlanner: An Interactive Motion Planner with Contingency-Aware Diffusion for Autonomous Driving
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
CoPlanner提出一种应急感知扩散规划器，通过枢轴条件扩散与多场景评分联合建模多智能体交互轨迹生成和运动规划，在nuPlan闭环实验中显著提升安全性与舒适性。
2025-09-21 cs.RO
GameFormer: Game-theoretic Modeling and Learning of Transformer-based Interactive Prediction and Planning for Autonomous Driving
Nanyang Technological University（南洋理工大学）
本文提出GameFormer模型，将交互预测形式化为层次博弈论，结合Transformer编码器和层次化解码器迭代细化交互过程，在Waymo和nuPlan等基准上取得领先性能。
2023-08-11 cs.RO
When Digital Twins Meet Large Language Models: Realistic, Interactive, and Editable Simulation for Autonomous Driving
Department of Automotive Engineering, Clemson University International Center for Automotive Research (CU-ICAR)（汽车工程系，克莱姆森大学国际汽车研究中心（CU-ICAR））
本文提出结合数字孪生与大语言模型的框架，实现自动驾驶场景的逼真、交互和可编辑模拟，提升自动驾驶研究的效率和真实性。
2026-09-22 cs.RO
Large Language Model based Interactive Decision-Making for Autonomous Driving
College of Transportation, Tongji University, Shanghai 201804, China（同济大学交通运输学院，上海201804，中国）；School of Automotive Studies, Tongji University, Shanghai 201804, China（同济大学汽车学院，上海201804，中国）；School of Computer Science and Technology, Tongji University, Shanghai 201804, China（同济大学计算机科学与技术学院，上海201804，中国）
本文提出基于大语言模型的交互决策框架，通过语义建模和意图感知提升安全性和效率，实验表明在混合交通场景中优于传统方法，且具有高度的人类相似性。
2026-04-26 cs.RO
Multi-agent Interactive Prediction under Challenging Driving Scenarios
为了在道路上安全行驶，自动驾驶汽车被期望预测其周围环境的未来结果并做出适当的反应。事实上，许多研究人员一直专注于解决自动驾驶汽车的行为预测问题。然而，很少有人考虑在具有挑战性的驾驶场景，如城市环境下的多智能体预测。在本文中，我们提出了一种预测方法，能够预测各种复杂的驾驶场景，异构的道路实体，信号灯，静态地图信息被考虑在内。此外，建议的多智能体交互式预测（MAIP）系统是能够同时预测任何数量的道路实体，同时考虑他们的相互作用。一个模拟的具有挑战性的城市交叉口的情况下，提供了一个案例研究，以证明所提出的预测系统的性能和能力。
2020-11-10 cs.LG cs.MA cs.RO
From Operational Design Domain to Action: A Systematic Behavioral Taxonomy for Autonomous Driving
本文针对ADS安全保障中ODD规范与行为验证的差距，构建了涵盖三类运行域的21项行为能力分类学，结合标准验证并确定枢纽域需专项研究，为ADS行为测试提供场景基础。
2026-08-11 cs.AI cs.RO cs.SY
Multimodal Belief-Space Covariance Steering with Active Probing and Influence for Interactive Driving
本文提出一种多模态信念空间协方差操控方法，通过主动探测和影响策略，在交互驾驶中提升安全性和决策效率。
2026-03-15 cs.RO
Behavioral Cloning Models Reality Check for Autonomous Driving
针对基于视觉的自动驾驶行为克隆系统缺乏真实世界验证的问题，本文用缩放研究车采集数据并在多赛道测试，证实前沿BC横向控制方法实时预测转向角误差低，具备实际应用潜力。
2024-09-11 cs.AI cs.CV cs.RO
End-to-End Interactive Prediction and Planning with Optical Flow Distillation for Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；The Hong Kong Polytechnic University（香港理工大学）
随着最近深度学习技术的进步，用于自动驾驶汽车预测和规划的数据驱动方法已经取得了非凡的性能。然而，大多数这些方法遵循非交互式预测和规划范式，假设车辆的行为不影响他人。基于这种非交互式原理的方法通常在稀疏交通场景中可以接受地执行，但在密集交通场景中很容易失败。因此，本文提出了一种用于自动驾驶的端到端交互式神经运动规划器（INMP）。给定一组过去的环绕视图图像和高清地图，我们的INMP首先在鸟瞰图空间中生成一个特征图，然后对其进行处理，以检测其他代理，并联合执行交互式预测和规划。此外，我们采用了一个光流蒸馏范式，它可以有效地提高网络的性能，同时仍然保持其实时推理速度。在nuScenes数据集和闭环Carla仿真环境中进行的大量实验证明了我们的INMP在检测，预测和规划任务中的有效性和效率。我们的项目页面位于sites.google.com/view/inmp-ofd。
2021-04-18 cs.CV cs.RO
Driver-Specific Risk Recognition in Interactive Driving Scenarios using Graph Representation
本文提出了一种自动驾驶汽车的驾驶员特定的风险识别框架，可以提取车辆间的相互作用。这种提取是在驾驶员认知的方式进行城市驾驶场景，以提高识别准确率的危险场景。首先，对驾驶员的操作数据进行聚类分析，学习不同驾驶员对危险场景的主观评价，并为每个场景生成相应的风险标签。其次，采用图表示模型（GRM），将真实驾驶场景中的动态车辆、车辆间交互和静态交通标记的特征统一构造成图。特定于驾驶员的风险标签提供了基础事实，以捕获不同驾驶员的风险评估标准。此外，图模型表示驾驶场景的多个特征。因此，所提出的框架可以学习不同驾驶员的驾驶场景的风险评估模式，并建立特定于驾驶员的风险标识符。最后，所提出的框架的性能进行了评估，通过实验进行使用真实世界的城市驾驶数据集收集的多个驱动程序。结果表明，该框架可以准确地识别实际驾驶环境中的风险及其水平。
2021-11-11 cs.HC cs.RO
TSC: Topology-Conditioned Stackelberg Coordination for Multi-Agent Reinforcement Learning in Interactive Driving
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Department of Natural Sciences, University of Durham（达勒姆大学自然科学系）；College of Civil and Transportation Engineering, Shenzhen University（深圳大学土木与交通工程学院）；Chair of Robotics, Artificial Intelligence and Realtime Systems, Technical University of Munich（慕尼黑技术大学机器人、人工智能与实时系统教授职位）
TSC通过拓扑条件的Stackelberg协调方法，在无通信执行下实现密集交通中的去中心化多智能体强化学习，提升训练稳定性和安全性。
2026-02-27 cs.RO
DragTraffic: Interactive and Controllable Traffic Scene Generation for Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；KTH Royal Institute of Technology（瑞典皇家理工学院）；Lotus Technology Ltd（路特斯科技有限公司）
提出基于条件扩散的交通场景生成框架DragTraffic，通过自适应混合专家架构、回归初始解与交叉注意力机制，实现高可控、多样且真实的自动驾驶边缘案例生成。
2024-10-10 cs.CV cs.RO
Behavioral Research and Practical Models of Drivers' Attention
York University（约克大学）
对许多人来说，开车是一项日常活动，但这远非简单。驾驶员同时处理多项任务，例如保持车辆在车道上，观察和预测其他道路使用者的行动，对危险做出反应，以及处理车内和车外的干扰。不注意周围的物体和事件并做出反应可能会导致事故。道路基础设施和车辆机械设计的不断改进使驾驶总体上更加安全。然而，驾驶员注意力不集中的问题仍然是事故的主要原因之一。因此，了解驾驶员看向哪里以及他们为什么这样做可以帮助消除分心的来源并识别不安全的注意力模式。对驾驶员注意力的研究对许多实际应用都有影响，例如政策制定，改善驾驶员教育，加强道路基础设施和车载信息娱乐系统，以及设计驾驶员监控，驾驶员辅助和自动驾驶系统。这份报告涵盖了由于驾驶员内部和外部因素而导致的驾驶员视觉注意力分布变化的文献。驾驶过程中的注意力方面已经在多个学科中进行了探索，包括心理学，人为因素，人机交互，智能交通和计算机视觉，每个学科都为观察到的现象提供了不同的视角，目标和解释。我们将驾驶员注意力的跨学科理论和行为研究与实际解决方案联系起来。最后，讨论了研究的局限性和未来研究的方向。该报告基于自2010年以来发表的175项行为研究，近100篇实用论文，20个数据集和70多项调查。用于本报告的精选论文列表可在\url{https://github.com/ykotseruba/attention_and_driving}上查阅。
2021-12-13 cs.CV cs.RO
Adaptive Performance Assessment For Drivers Through Behavioral Advantage
Robotics Institute（机器人学院）；Carnegie Mellon University（卡内基梅隆大学）
自动驾驶和驾驶员辅助技术的潜在积极影响是过去十年的主要推动力。另一方面，定量分析人类驾驶员或自动驾驶代理的性能一直是一个具有挑战性的问题。在这项工作中，我们提出了一种通用的方法，即使在环境条件不同的情况下，也可以通过使用驾驶员行为优势而不是绝对指标来比较驾驶员或自动驾驶代理的性能，从而有效地消除了环境因素。还介绍了该方法的一个具体应用，其中100多名卡车司机的表现进行了评估，并在燃油效率方面进行了排名，涵盖了超过90，000次行程，平均跨越300英里，在各种驾驶条件和环境。
2018-04-26 cs.AI cs.LG cs.RO
Scene-Extrapolation: Generating Interactive Traffic Scenarios
FZI Research Center for Information Technology（FZI信息技术研究中心）；KIT - Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种以交通场景为起点生成交互式场景的方法，通过轻量级仿真环境结合规则与机器学习行为模型模拟多种结果，并利用多种临界性指标分析场景重要性，解决高度自动驾驶功能验证中的测试场景识别问题。
2024-04-26 cs.RO
Towards Autonomous Driving of Personal Mobility with Small and Noisy Dataset using Tsallis-statistics-based Behavioral Cloning
Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology（信息科学系，科学技术研究生院，奈良科学技术大学）
本研究提出基于Tsallis统计的损失函数，用于在小噪声数据集上实现个人移动的自动驾驶，通过改进可视化技术验证驾驶员与控制器的感兴趣区域一致性，实验表明该方法能稳健应对误差并实现自动驾驶。
2021-11-29 cs.LG cs.RO
Situation-Aware Interactive MPC Switching for Autonomous Driving
Eindhoven University of Technology（埃因霍温理工大学）；Delft University of Technology（代尔夫特理工大学）
针对自动驾驶中交互场景的挑战，提出一种基于神经网络的分类器，根据情境需求在不同MPC控制器间切换，以平衡性能和计算开销。
2026-05-30 cs.RO cs.SY eess.SY
Interpretable Modelling of Driving Behaviors in Interactive Driving Scenarios based on Cumulative Prospect Theory
University of California at Berkeley（加州大学伯克利分校）
了解人类驾驶行为对自动驾驶汽车很重要。本文提出了一种基于累积前景理论（CPT）的交互式驾驶场景中可解释的人类行为模型。作为一种非期望效用理论，CPT可以很好地解释一些期望效用理论无法解释的人类系统性偏差或“非理性”行为/决策。因此，这项工作的目标是制定人类驾驶员的行为生成模型与CPT，使一些“非理性”的行为或人类的决定可以更好地捕捉和预测。为了实现这一目标，我们首先开发了一个CPT驱动的决策模型，专注于驾驶场景与两个相互作用的代理。提出了一种分层学习算法，用于学习CPT模型中的效用函数、价值函数和决策权函数。最后以环形交叉口并线为例进行验证。利用实际驾驶数据，比较了基于TTC的预定义模型、基于神经网络的基于学习的模型和基于CPT的模型的预测性能。实验结果表明，该模型的性能优于TTC模型，并在训练数据更少、可解释性更好的情况下达到与基于学习的模型相似的性能。
2019-07-19 cs.AI cs.RO cs.SY
Self-Driving Negotiator: An interactive, verifiable benchmark for social negotiation and theory of mind under hidden intent
Owl Autonomous Imaging, Inc（Owl 自动成像公司）
提出一个文本多轮程序化生成环境，用于衡量自动驾驶中基于隐藏意图推断的隐式社会协调能力，通过特权模拟器状态计算奖励和诊断，当前最佳模型平均成功率仅0.68。
2026-06-16 cs.GT cs.RO
Behavioral decision-making for urban autonomous driving in the presence of pedestrians using Deep Recurrent Q-Network
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
由于道路结构的复杂性和不同道路使用者行为的不确定性，城市环境中的自动驾驶决策具有挑战性。传统的方法包括手动设计的规则作为驱动策略，这需要专家领域的知识，很难推广，并可能会给次优的结果，随着环境变得复杂。而使用强化学习，可以通过与环境的多次交互来自动学习和改进最优驾驶策略。然而，目前自动驾驶强化学习领域的研究主要集中在高速公路设置上，很少或根本不重视城市环境。在这项工作中，提出了一种基于深度强化学习的决策方法，用于在行人存在的城市环境中的高级驾驶行为。为此，探索了深度递归Q网络（DRQN）的使用，这是一种将最先进的深度Q网络（DQN）与长期短期记忆（LSTM）层相结合的方法，帮助智能体获得对环境的记忆。一个3-D的状态表示被设计为输入结合一个定义良好的奖励函数训练的代理学习一个适当的行为政策，在现实世界中像城市模拟器。该方法进行了评估密集的城市场景，并与基于规则的方法和结果表明，建议DRQN为基础的驾驶行为决策优于基于规则的方法。
2020-10-26 cs.NE cs.RO stat.ML
IDE-Net: Interactive Driving Event and Pattern Extraction from Human Data
University of California, Berkeley（加州大学伯克利分校）
自动驾驶车辆（AV）需要在各种驾驶场景中与多个异构道路用户共享道路。仔细地与所有观察到的代理交互是压倒性的，也是不必要的，AV需要确定是否以及何时与周围的每个代理交互。为了方便自动驾驶汽车预测和规划模块的设计和测试，需要对交互行为进行深入的理解和正确的表示，并对行为数据中的事件进行自动提取和分类。除了回答是否和何时互动之外，回答互动的基本模式对这些动机也至关重要。因此，学习从人类数据中提取交互式驾驶事件和模式，以解决“whether-when-what”任务对自动驾驶汽车至关重要。然而，没有明确的定义和分类的交互行为，大多数现有的作品是基于手工标签或手工制作的规则和功能。在本文中，我们提出了交互式驾驶事件和模式提取网络（IDE-Net），这是一个深度学习框架，可以直接从车辆轨迹中自动提取交互事件和模式。在IDE-Net中，我们利用多任务学习的能力，并提出了三个辅助任务，以无监督的方式辅助模式提取。我们还设计了一个独特的时空块来编码的轨迹数据。在INTERACTION数据集上的实验结果验证了这种设计在更好的泛化能力和有效的模式提取方面的有效性。我们发现了三种可解释的交互模式，为驾驶员行为表示，建模和理解带来了见解。客观和主观的评价指标采用在我们的学习模式的分析。
2020-11-04 cs.AI cs.LG cs.RO
VisionNet: A Drivable-space-based Interactive Motion Prediction Network for Autonomous Driving
Meituan-Dianping Group（美团点评集团）
对环境交通状况的了解在很大程度上保证了自动驾驶汽车的行驶安全。近年来，虽然已有大量的研究对这一任务进行了研究，但由于复杂场景下集体影响力的限制，这一任务还很难得到很好的解决。这些方法通过目标障碍物与其邻居之间的空间关系来建模相互作用。然而，他们过于简单化的挑战，因为培训阶段的互动缺乏有效的监督。因此，这些模式远远没有前途。更直观地，我们将问题转化为计算交互感知的可驾驶空间，并提出了基于CNN的VisionNet用于轨迹预测。VisionNet接受一系列运动状态，即，位置，速度和加速度，以估计未来的可驾驶空间。具体化的交互显著提高了VisionNet的解释能力，并改进了预测。为了进一步提高性能，我们提出了一个互动的损失，以指导可驾驶空间的生成。在多个公共数据集上的实验证明了所提出的VisionNet的有效性。
2020-01-08 cs.CV cs.LG cs.RO
Probabilistic Prediction of Interactive Driving Behavior via Hierarchical Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
自动驾驶汽车（AVs）已经上路。为了安全有效地与其他道路参与者进行交互，自动驾驶汽车必须准确预测周围车辆的行为并相应地进行规划。这种预测应该是概率性的，以解决人类行为中的不确定性。这种预测也应该是互动的，因为在所有可能的轨迹的预测车辆的分布不仅取决于历史信息，但也对未来的计划，其他车辆与它互动。为了实现这种互动感知的预测，我们提出了一种概率预测方法的基础上分层逆强化学习（IRL）。首先，我们明确地考虑了人类驾驶员的分层自动生成过程，涉及离散和连续的驾驶决策。在此基础上，在所有未来轨迹的预测车辆的分布被制定为一个混合的分布划分的离散决策。然后，我们应用IRL分层学习分布从真正的人类示威。提供了一个案例研究的坡道合并驾驶方案。定量结果表明，所提出的方法可以准确地预测离散的驾驶决策，如屈服或通过以及连续的轨迹。
2018-09-09 cs.AI cs.LG cs.RO
Language-Driven Cost Optimization for Autonomous Driving
TU Delft（代尔夫特理工大学）
提出语言驱动框架，利用大语言模型解释场景和用户查询，生成风险感知MPPI控制器的参数，并通过人机交互验证和反馈迭代优化自动驾驶行为。
2026-06-09 cs.RO
Towards Interactive and Learnable Cooperative Driving Automation: a Large Language Model-Driven Decision-Making Framework
本文提出CoDrivingLLM框架，通过环境模块、思维链推理、冲突协调器和记忆增强生成，赋予网联自动驾驶车辆交互与持续学习能力，实现全场景协同驾驶自动化。
2025-09-19 cs.AI cs.RO
Post-Training and Test-Time Scaling of Generative Agent Behavior Models for Interactive Autonomous Driving
Qualcomm（高通）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出GRBO和Warm-K两种方法，用于提升交互式自动驾驶中生成代理行为模型的训练和测试时间性能，提高安全性和鲁棒性。
2025-12-15 cs.CV cs.RO
Interactive Double Deep Q-network: Integrating Human Interventions and Evaluative Predictions in Reinforcement Learning of Autonomous Driving
Center for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心）；Örebro University（奥雷布罗大学）；Computer Vision Laboratory（计算机视觉实验室）；Linköping University（利德斯霍尔大学）
交互式双深Q网络通过整合人类干预与评估预测，提升自动驾驶强化学习的性能和适应性。
2025-04-28 cs.AI cs.LG cs.RO
M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming
针对现有驾驶世界生成方法局限，提出M$^\text{4}$World模型，通过灵活接口与多阶段训练实现对象操纵及长时流稳定，引入后训练与生成模型，并用新管道评估，实验证明其在驾驶模拟中有高质量、可控性与稳定性。
2026-07-16 cs.CV cs.RO
Surprise Potential as a Measure of Interactivity in Driving Scenarios
NVIDIA Research（英伟达研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
本文提出基于惊奇潜力的新指标识别驾驶日志中的交互场景，通过设计空间维度定义并在nuScenes数据集上评估，其与人类直觉奖励模型相关性超0.82，优于现有方法，可用于构建数据集提升AV性能评估。
2025-02-08 cs.LG cs.RO
RITA: Boost Driving Simulators with Realistic Interactive Traffic Flow
Shanghai Jiao Tong University（上海交通大学）；IAS BU ADS Planning and Control, Huawei Technologies Co., Ltd.（华为技术有限公司IAS BU ADS规划与控制部）
本文提出RITA逼真交互式交通流组件，通过RITABackend与RITAKit实现高保真、多样且可控的交通生成，并验证其可增强驾驶策略评估与在线微调。
2023-12-08 cs.AI cs.MA cs.RO
Identifying Driver Interactions via Conditional Behavior Prediction
University of Pennsylvania（宾夕法尼亚大学）；Waymo（Waymo公司）
交互式驾驶场景，例如车道变换、合并和无保护转弯，是自动驾驶最具挑战性的情况。在交互式场景中的规划需要准确地建模其他代理对自我代理的不同未来动作的反应。我们开发了端到端的有条件的行为预测（CBP）模型，作为输入的查询未来轨迹的自我代理，并预测分布在未来的轨迹上的其他代理条件的查询。利用这样一个模型，我们开发了一个通用的代理互动得分来自概率第一原则。交互性得分使我们能够找到有趣的交互场景，用于训练和评估行为预测模型。我们进一步证明，建议的分数是有效的计算预算约束下的代理优先级。
2021-06-01 cs.RO
Joint Attention in Autonomous Driving (JAAD)
在本文中，我们为自动驾驶的一个关键方面提出了一个新的数据集，即驾驶员与行人、骑自行车者或其他驾驶员之间必须发生的联合注意力。该数据集的目的是展示交通参与者的行为可变性。我们还展示了行为和场景理解的视觉复杂性如何受到各种因素的影响，如不同的天气条件，地理位置，交通和人口统计的人参与。地面实况数据传达有关参与者的位置（边界框），物理条件（例如照明和速度）以及参与方的行为的信息。
2020-04-22 cs.RO
Safety-driven Interactive Planning for Neural Network-based Lane Changing
Northwestern University（西北大学）
基于神经网络的驾驶规划器在提高自动驾驶的任务性能方面显示出巨大的前景。然而，确保具有基于神经网络的组件的系统的安全性是至关重要的，但也是非常具有挑战性的，特别是在密集和高度交互的交通环境中。在这项工作中，我们提出了一个安全驱动的交互式规划框架的神经网络为基础的车道变换。为了防止过于保守的规划，我们识别周围车辆的驾驶行为，并评估其侵略性，然后以交互的方式相应地调整自我车辆的规划轨迹。如果即使在预测的最坏情况下也存在安全规避轨迹，则自我车辆可以继续改变车道;否则，它可以停留在当前横向位置附近或返回到原始车道。我们定量地展示了我们的规划设计的有效性及其优势，通过广泛的模拟与不同的和全面的实验设置，以及在现实世界中收集的自动驾驶汽车公司的情况下，基线方法。
2022-09-18 cs.RO cs.SY eess.SY
JFP: Joint Future Prediction with Interactive Multi-Agent Modeling for Autonomous Driving
Waymo（Waymo公司）
我们提出了JFP，一个联合未来预测模型，可以学习生成准确和一致的多智能体未来轨迹。对于这项任务，已经提出了许多不同的方法来捕获模型编码部分的社会交互，然而，在解码器和输出阶段中表示交互的关注要少得多。结果，预测的轨迹不一定彼此一致，并且经常导致不切实际的轨迹重叠。相比之下，我们提出了一个端到端的可训练模型，它直接学习结构化图形模型中的代理对之间的交互，以生成一致的未来轨迹。它在Waymo Open Motion Dataset（WOMD）上为交互式设置设置了新的最先进的结果。我们还研究了一个更复杂的多智能体设置为WOMD和一个更大的内部数据集，我们的方法显着提高了轨迹重叠指标，同时获得同等或更好的性能单智能体轨迹指标。
2022-12-16 cs.LG cs.MA cs.RO
Evaluating Scenario-based Decision-making for Interactive Autonomous Driving Using Rational Criteria: A Survey
James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院）
本文综述了深度强化学习在高速公路、匝道合流、环岛和无信号交叉口等典型场景中的自动驾驶决策应用，并提出DDTUI五项理性准则对现有算法进行系统评估，指出未来研究方向。
2025-01-03 cs.AI cs.RO cs.SY
Imagination-Augmented Hierarchical Reinforcement Learning for Safe and Interactive Autonomous Driving in Urban Environments
Seoul National University（首尔大学）
本文提出想象力增强型分层强化学习（IAHRL），通过低层策略想象安全行为、高层策略推断交互并引入排列不变注意力机制，在五个复杂城市驾驶任务中实现了更高的成功率和更低的平均回合步数。
2024-01-23 cs.LG cs.RO
CARVE: Certified Affordable Repair of Vetoed Maneuvers via Envelopes for Interactive Driving
Yifan Wang（王一帆）
针对交互驾驶中规则感知堆栈易忽略的硬规则裕度负值问题，提出CARVE认证层，通过有限格点上的自我与代理战术算子，实现被否决机动的可负担修复认证，并证明其合理性。
2026-05-31 cs.AI cs.RO
Editing Driver Character: Socially-Controllable Behavior Generation for Interactive Traffic Simulation
University of California, Berkeley（加州大学伯克利分校）
交通仿真在评估和改进自动驾驶规划系统中起着至关重要的作用。在部署在公共道路上之后，自动驾驶车辆需要与具有不同社会偏好的人类道路参与者进行交互（例如，自私或有礼貌的人类司机）。为了确保自动驾驶汽车在不同的交互式交通场景中采取安全有效的机动，我们应该能够在仿真环境中对具有不同社会特征的反应型代理评估自动驾驶汽车。为此，我们提出了一个社会可控的行为生成（SCBG）模型，它允许用户指定生成的轨迹的礼貌水平，同时通过从现实世界的驾驶数据中学习，确保现实和人性化的轨迹生成。具体来说，我们定义了一种新颖的可区分的衡量标准来量化驾驶行为的礼貌水平，利用从真实驾驶数据中训练的边际和条件行为预测模型。建议的礼貌措施，使我们能够自动标记礼貌水平的轨迹从现实世界的驾驶数据和方便地训练的SCBG模型生成轨迹的基础上输入礼貌值。我们在Waymo开放运动数据集（WOMD）上检查了SCBG模型，并表明我们能够控制SCBG模型以生成具有所需礼貌水平的真实驾驶行为。有趣的是，我们发现SCBG模型能够根据场景识别礼貌行为的不同运动模式。
2023-03-24 cs.AI cs.LG cs.RO
DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in Interactive Autonomous Driving Agents
University of Michigan（密歇根大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
在现实世界中，自动驾驶智能体在充满意外情况的高度动态环境中导航，其中预先训练的模型是不可靠的。在这些情况下，车辆立即可用的通常只有人类操作员。赋予自动驾驶智能体在连续和动态环境中导航的能力，并通过基于感觉运动的对话与人类进行交流变得至关重要。为此，我们介绍了对话的道路上处理不规则事件（DOROTHIE），一种新型的交互式仿真平台，使意外的情况下创建的飞行，以支持与自动驾驶代理人的经验研究的情况下沟通。基于这个平台，我们创建了情境对话导航（SDN），这是一个导航基准测试，共有183次试验，总共8415个话语，大约18.7小时的控制流和2.9小时的修剪音频。SDN的开发是为了评估智能体预测人类对话动作以及生成自己的对话动作和物理导航动作的能力。我们进一步为这些SDN任务开发了基于变压器的基线模型。我们的实证结果表明，在一个高度动态的环境中，语言引导导航是一个非常困难的任务，端到端的模型。这些结果将为未来强大的自动驾驶代理的工作提供见解。DOROTHIE平台、SDN基准和基线模型的代码可在https://github.com/sled-group/DOROTHIE上获得。
2022-10-22 cs.AI cs.CL cs.CV
Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset
Waymo LLC（Waymo 有限责任公司）；Google Brain（谷歌大脑）
随着自动驾驶系统的成熟，运动预测作为规划的关键要求越来越受到关注。特别重要的是互动的情况，如合并，无保护的转弯等，其中预测单个对象运动是不够的。有效的路线规划需要多个对象的联合预测。对于高质量的运动数据，具有丰富的交互和注释，以开发运动规划模型，这是一个关键的需求。在这项工作中，我们介绍了我们所知的最多样化的交互式运动数据集，并为适合开发联合预测模型的交互对象提供了特定的标签。我们的新数据集包含超过100，000个场景，每个场景以10 Hz的频率持续20秒，包含超过570小时的独特数据，覆盖1750公里的道路。它是通过挖掘美国六个城市的车辆、行人和骑自行车者之间有趣的互动而收集的。我们使用一个高精度的3D自动标注系统来为每个道路代理生成高质量的3D边界框，并为每个场景提供相应的高清晰度3D地图。此外，我们引入了一组新的指标，提供了一个全面的评估单代理和联合代理交互运动预测模型。最后，我们为个体预测和联合预测提供了强基线模型。我们希望这个新的大规模交互式运动数据集将为推进运动预测模型提供新的机会。
2021-04-20 cs.CV cs.LG cs.RO
Towards a Fatality-Aware Benchmark of Probabilistic Reaction Prediction in Highly Interactive Driving Scenarios
University of California, Berkeley（加州大学伯克利分校）
自动驾驶汽车应该能够为其他道路使用者的不确定行为生成准确的概率预测。此外，在高度互动的驾驶场景中，反应性预测是必要的，以回答自动驾驶汽车的“如果我将来采取这种行动会怎么样”。对于概率图模型（PGM）、神经网络（NN）和逆强化学习（IRL）等各种预测方法，目前还没有统一的框架来统一问题表述、表示简化和评价指标。在本文中，我们制定了一个概率反应预测问题，并揭示反应和局势预测问题之间的关系。我们采用原型轨迹指定的运动模式，而不是“意图”的表示，使概率对应于每个轨迹产生不同的方法可以进行评估。我们还讨论了为什么“意图”是不适合作为一个运动指标，在高度互动的场景。我们建议使用Brier评分作为评估的基线指标。为了揭示当预测被决策和规划采用时后果的致命性，我们提出了一种致命性感知度量，该度量是基于交互实体的轨迹对的关键性的加权Brier得分。保守主义和非防御性是从加权Brier分数中定义的，以表明不准确预测所造成的后果。基于PGM，NN和IRL的改进方法提供了一个示例性的情况下，从高速公路坡道轻推产生的概率反应预测。结果评估的基线和建议的指标，构建一个迷你基准。通过比较基准和建议的度量分数，还提供了对每种方法的属性的分析。
2018-09-10 cs.AI cs.RO
Exploring the trade off between human driving imitation and safety for traffic simulation
Univ Paris Est Creteil（巴黎东克雷泰伊大学）；Huawei Technologies France（华为技术法国公司）
交通仿真是自动驾驶汽车性能定量评价的重要手段。为了使模拟器成为一个有价值的测试平台，需要使场景中的每个交通代理动画化的驾驶策略像人类一样行事，同时保持最低限度的安全保证。从记录的人类驾驶数据或通过强化学习来学习交通代理的驾驶策略似乎是在不受控制的交叉口或环形交叉口中生成逼真且高度交互的交通情况的有吸引力的解决方案。在这项工作中，我们表明，在学习驾驶策略时，模仿人类驾驶和保持安全之间存在权衡。我们通过比较各种模仿学习和强化学习算法在应用于驾驶任务时的表现来做到这一点。我们还提出了一个多目标学习算法（MOPPO），提高了这两个目标。我们在从INTERACTION Dataset中提取的高度互动的驾驶场景上测试我们的驾驶策略，以评估它们的行为是否像人类。
2022-08-09 cs.LG cs.RO
MTDrive: Multi-turn Interactive Reinforcement Learning for Autonomous Driving
Li Auto Inc.（利汽车公司）；NVIDIA（英伟达）
MTDrive通过多轮交互式强化学习框架，结合多模态大语言模型与强化学习，提升自动驾驶轨迹规划的性能与效率。
2026-01-30 cs.AI cs.LG cs.RO
StyleDrive: Towards Driving-Style Aware Benchmarking of End-To-End Autonomous Driving
AIR, Tsinghua University（空气动力学研究所，清华大学）；King’s College London（伦敦国王学院）；The University of Manchester（曼彻斯特大学）；The University of Hong Kong（香港大学）
针对端到端自动驾驶（E2EAD）领域个性化研究被忽视的问题，本研究构建首个大规模真实世界个性化E2EAD数据集，提出混合标注流水线并建立标准化基准，实证显示融入驾驶偏好可显著提升模型与人类行为的一致性。
2025-11-18 cs.CV cs.RO
