DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
Nanyang Technological University（南洋理工大学）；Desay SV Automotive（德赛西威汽车）
DecompGAIL通过分解多智能体生成对抗模仿学习方法，解决多智能体设置中GAIL的不稳定性问题，提升交通行为的真实性和整体性能。
2026-01-26 cs.AI cs.LG cs.RO
Imitation Learning of Factored Multi-agent Reactive Models
我们将深度生成建模的最新进展应用于生物制剂的模仿学习任务。具体来说，我们将变分递归神经网络模型的变体应用于多代理设置，在该设置中，我们根据个体不协调代理的感知输入和隐藏的信念状态来学习个体不协调代理的策略。我们直接从观测数据中学习这些代理的随机策略，而不构建奖励函数。与策略联合学习的推理网络允许在给定其当前感知输入序列和其执行的先前动作的情况下对代理的信念状态进行有效推理，这使我们能够将观察到的行为序列外推到未来，同时保持对未来轨迹的不确定性估计。我们在2D环境中相互作用的苍蝇数据集上测试了我们的方法，在那里我们展示了比现有方法更好的预测性能，这些方法使用递归神经网络学习确定性策略。我们进一步表明，我们获得的未来轨迹的不确定性估计是很好的校准，这使得他们有用的各种下游处理任务。
2020-06-30 cs.AI cs.LG cs.MA
R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations
Kahlert School of Computing, University of Utah（犹他大学凯勒尔计算学院）；DEVCOM Army Research Laboratory（陆军研究实验室）
提出R2BC方法，通过轮换单智能体演示训练多机器人系统，无需联合动作空间演示，在模拟和实物任务中性能媲美或超越基于特权同步演示的基线方法。
2026-06-18 cs.AI cs.MA cs.RO
Semi-Supervised Imitation Learning of Team Policies from Suboptimal Demonstrations
Rice University（莱斯大学）
我们提出了贝叶斯团队模仿学习器（BTIL），一个模仿学习算法来模拟在马尔可夫域中执行顺序任务的团队行为。与现有的多智能体模仿学习技术相比，BTIL明确建模和推断团队成员随时间变化的心理状态，从而使分散的团队政策的学习从次优团队合作的示范。此外，为了允许从小数据集进行样本和标签有效的策略学习，BTIL采用贝叶斯观点，并且能够从半监督演示中学习。我们展示和基准的合成多智能体任务的性能，以及一个新的数据集的人类代理团队合作的BTIL。我们的实验表明，尽管团队成员的心理状态（随时间变化和潜在的不一致）对他们的行为的影响，BTIL可以成功地学习团队政策的演示。
2022-09-20 cs.AI cs.LG cs.MA
Learning Strategy Representation for Imitation Learning in Multi-Agent Games
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Beijing Wenge Technology Co., Ltd.（北京文阁科技有限公司）
针对多智能体博弈离线示范数据策略混杂的问题，提出可插拔的STRIL框架，通过学习策略表示、估计指标并过滤次优轨迹，显著提升现有模仿学习算法性能。
2025-02-14 cs.AI cs.LG cs.MA
Imitation Learning based Alternative Multi-Agent Proximal Policy Optimization for Well-Formed Swarm-Oriented Pursuit Avoidance
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；Zhejiang Lab（之江实验室）
针对去中心化大规模多机器人系统追逃规避任务的复合能力需求，提出基于模仿学习的替代式多智能体近端策略优化算法，在大幅降低通信开销的同时实现接近集中式方案的性能。
2023-11-06 cs.AI cs.RO
Deploying Ten Thousand Robots: Scalable Imitation Learning for Lifelong Multi-Agent Path Finding
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系）
针对大规模终身多智能体路径规划中学习类方法性能不足的问题，提出融合通信模块、冲突消解与全局引导的模仿学习求解器SILLM，在多场景下超越现有基线与赛事冠军，且经真实与虚拟机器人验证有效。
2025-05-18 cs.AI cs.LG cs.MA
MAPF-GPT: Imitation Learning for Multi-Agent Pathfinding at Scale
AIRI；Federal Research Center “Computer Science and Control” of the Russian Academy of Sciences（俄罗斯科学院“计算机科学与控制”联邦研究中心）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文提出 MAPF-GPT，仅用模仿学习和 Transformer 构建 MAPF 基础模型，无需额外启发式或通信，具备零样本能力，并在多种实例上显著优于现有可学习求解器且推理高效。
2025-04-08 cs.AI cs.LG cs.MA
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
Brain-Inspired Deep Imitation Learning for Autonomous Driving Systems
University of Aberdeen（阿伯丁大学）；King’s College（国王学院）
自动驾驶已经引起了学术界和工业界的高度关注。为了实现自动驾驶，深度模仿学习（DIL）被视为最有前途的解决方案之一，因为与手动设计驾驶策略相比，它通过自动从人类驾驶数据中学习复杂的映射来改进自动驾驶系统。然而，现有的DIL方法不能很好地推广跨域，也就是说，在源域的数据上训练的网络在目标域的数据上产生差的推广。在本研究中，我们提出了一种新的大脑启发的深度模仿方法，该方法基于人类大脑功能的证据，以提高深度神经网络的泛化能力，从而使自动驾驶系统能够在各种场景中表现良好。具体来说，人类有很强的概括能力，这得益于大脑两侧结构和功能的不对称。在这里，我们基于人类神经网络的不对称性，设计了深度神经网络中的双神经电路策略（NCP）架构。实验结果表明，我们的大脑启发的方法优于现有的方法在处理看不见的数据时，关于泛化。我们的源代码和预训练模型可以在https：//github.com/Intenzo21/Brain-Inspired-Deep-Imitation-Learning-for-Autonomous-Driving-Systems}{https：//github.com/Intenzo21/Brain-Inspired-Deep-Imitation-Learning-for-Autonomous-Driving-Systems.
2021-07-30 cs.AI
Modeling Human Driving Behavior through Generative Adversarial Imitation Learning
自动驾驶汽车安全性验证的一个开放性问题是在仿真中建立可靠的人类驾驶行为模型。这项工作提出了一种从真实世界驾驶演示数据中学习神经驾驶策略的方法。我们模拟人类驾驶的顺序决策问题，其特征在于非线性和随机性，和未知的潜在成本函数。模仿学习是一种用于在成本函数未知或难以指定时生成智能行为的方法。生成对抗模仿学习（GAIL）建立在逆强化学习（IRL）的基础上，旨在为具有大或连续状态和动作空间的问题提供有效的模仿，例如模拟人类驾驶。本文描述了使用GAIL进行基于学习的驱动程序建模。由于驱动程序建模本质上是一个多代理问题，代理之间的交互需要建模，本文描述了一个参数共享扩展GAIL称为PS-GAIL来解决多代理驱动程序建模。此外，GAIL是领域不可知的，使得在学习过程中难以编码与驾驶相关的特定知识。本文介绍了奖励增强模仿学习（RAIL），它修改奖励信号，提供特定领域的知识代理。最后，人类的演示取决于GAIL可能无法捕捉到的潜在因素。本文介绍了烧伤InfoGAIL，它允许在演示中的潜在变异的解开。模仿学习实验使用NGSIM，一个真实世界的高速公路驾驶数据集。实验表明，这些修改GAIL可以成功地模拟高速公路驾驶行为，准确地复制人类的示范和产生现实的，紧急的行为在交通流中所产生的驾驶代理之间的相互作用。
2023-02-07 cs.AI
Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios
Waymo Research（Waymo研究院）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文提出将模仿学习与简单奖励的强化学习相结合，利用超10万英里真实驾驶数据训练策略，在最困难场景中将失败率降低超38%，显著提升自动驾驶安全性与鲁棒性。
2023-08-10 cs.AI cs.RO
Modelling Agent Policies with Interpretable Imitation Learning
University of Bristol（布里斯托大学）
当我们在安全关键域中部署自主智能体时，了解其内部机制和表示变得非常重要。我们概述了一种方法，模仿学习逆向工程的黑盒代理政策在MDP环境中，产生简化的，可解释的模型的形式决策树。作为这个过程的一部分，我们显式地建模和学习代理的潜在状态表示，从一个大的候选特征从马尔可夫状态构建的空间进行选择。我们提出了初步的有希望的结果，在多代理交通环境中的实施。
2020-06-19 cs.AI
The Challenge of Believability in Video Games: Definitions, Agents Models and Imitation Learning
UEB（欧洲布列塔尼大学）；ENIB（法国国立布雷斯特工程师学院）；LISyC（LISyC实验室）；Virtualys（Virtualys公司）
在本文中，我们解决了在视频游戏中创建可信代理（虚拟角色）的问题。我们只考虑可信度的一个含义，“给人一种被玩家控制的感觉”，并概述了它的评估问题。我们提出了几种模型，代理在游戏中，可以产生可信的行为，无论是从行业和研究。对于高水平的可信度，学习，特别是模仿学习似乎是要走的路。我们快速概述了不同的方法，使视频游戏的代理从玩家那里学习。最后，我们提出了一个两步的方法来开发新的可信代理模型。首先，我们必须为我们的应用程序找到可信度的标准，并定义一种评估方法。然后设计模型和学习算法。
2010-09-02 cs.AI
Symbolic Imitation Learning: From Black-Box to Explainable Driving Policies
Department of Science and Engineering, the George Washington University（科学与工程系，乔治·华盛顿大学）；Autonomous Vehicles Lab, Department of Mechanical Engineering, University of Surrey（自主车辆实验室，机械工程系，萨里大学）
本文提出符号模仿学习框架，利用归纳逻辑编程生成可解释的驾驶策略，通过实验证明其在提升透明度和性能方面的优势。
2025-09-28 cs.AI cs.LG cs.RO
Parallelized and Randomized Adversarial Imitation Learning for Safety-Critical Self-Driving Vehicles
Korea University（高丽大学）；Mofl Inc.（Mofl 公司）；Hallym University（翰林大学）；California State University, Long Beach（加州州立大学长滩分校）
自动驾驶汽车和自动驾驶研究作为现代人工智能应用中的主要有前途的前景一直受到相当大的关注。随着先进驾驶辅助系统（ADAS）的发展，自动驾驶汽车和自动驾驶系统的设计变得复杂和安全。一般来说，智能系统可以同时有效地激活ADAS功能。因此，必须考虑可靠的ADAS功能协调，以安全地控制驾驶系统。针对这一问题，提出了一种随机对抗模仿学习（RAIL）算法。RAIL是一种新的无导数模仿学习方法，用于协调各种ADAS功能的自动驾驶;因此，它模仿了控制具有各种ADAS功能的自动驾驶的决策者的操作。所提出的方法能够训练决策者处理激光雷达数据和控制多车道复杂公路环境中的自动驾驶。基于仿真的评估验证了所提出的方法达到了预期的性能。
2021-12-26 cs.AI cs.LG cs.RO
Goal-Directed Design Agents: Integrating Visual Imitation with One-Step Lookahead Optimization for Generative Design
Carnegie Mellon University（卡内基梅隆大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
工程设计问题通常涉及大的状态和动作空间以及高度稀疏的奖励。由于对这些空间的穷举搜索是不可行的，因此人类利用相关领域知识来压缩搜索空间。之前，引入了深度学习代理（DLASTIC），以使用视觉模仿学习来对设计领域知识进行建模。本说明建立在DLASTRUCTURE，并将其与一步前瞻搜索相结合，以开发能够增强顺序生成设计的学习策略的目标导向代理。目标导向的DLABLOG可以采用从数据中学习的人类策略以及优化目标函数。来自DLAtron的视觉模仿网络由卷积编码器-解码器网络组成，充当对反馈不可知的粗略规划步骤。同时，前瞻搜索确定微调的设计行动的指导下的目标。这些设计代理接受无约束桁架设计问题的训练，该问题被建模为顺序的、基于动作的配置设计问题。然后，对两个版本的问题的代理进行评估：用于训练的原始版本和一个看不见的约束版本与一个受阻的建设空间。目标导向的代理优于人类设计师用于训练网络以及以前的目标不可知版本的代理在这两种情况下。这说明了一个设计代理框架，可以有效地使用反馈，不仅提高了学习的设计策略，但也适应看不见的设计问题。
2021-10-07 cs.AI
Learn what matters: cross-domain imitation learning with task-relevant embeddings
University of Oxford（牛津大学）
我们研究了一个自主智能体如何从不同领域的演示中学习执行任务，例如不同的环境或不同的代理。这种跨域模仿学习是需要的，例如，从人类专家的演示中训练人工代理。我们提出了一个可扩展的框架，使跨领域的模仿学习，而无需访问额外的演示或进一步的领域知识。我们共同训练学习者代理的政策和学习者和专家领域之间的映射与对抗训练。我们通过使用互信息标准来实现这一点，以找到一个嵌入的专家的状态空间，包含任务相关的信息，是不变的域的具体情况。这一步骤大大简化了学习者和专家领域之间的映射估计，从而促进了端到端的学习。我们展示了在相当不同的领域之间成功转移的政策，没有额外的监督，如额外的演示，并在其他方法失败的情况下。
2022-09-24 cs.AI
Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories
Johns Hopkins University（约翰·霍普金斯大学）
研究针对大语言模型智能体基于专家轨迹训练只学动作序列、难应对错误的问题，提出Agentic-DPO方法，通过转化专家轨迹为状态条件偏好监督，结合策略保持增强，实现低成本智能体策略优化，实验验证其有效性。
2026-07-14 cs.AI
Rethinking Imitation-based Planner for Autonomous Driving
Hong Kong University of Science and Technology（香港科技大学）；Lotus Technology Ltd.（路特斯科技有限公司）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文基于nuPlan基准系统研究模仿学习规划器的关键特征与数据增强技术，提出纯模仿学习基线模型PlanTF，在闭环测试中达到与手工规则方法相当的竞争力并具备更强长尾泛化能力。
2023-09-19 cs.AI cs.RO
InterPReT: Interactive Policy Restructuring and Training Enable Effective Imitation Learning from Laypersons
Carnegie Mellon University（卡内基梅隆大学）
InterPReT通过交互式策略重构与训练，使非专业人士能够更高效地训练可靠的模仿学习策略。
2026-02-04 cs.AI
Transfer Learning for Prosthetics Using Imitation Learning
University of Khartoum（喀土穆大学）；University of Witwatersrand（金山大学）；CSIR（南非科学与工业研究理事会）
在本文中，我们应用强化学习（RL）技术来训练一个逼真的生物力学模型，以适应不同的人和不同的步行环境。本文在OpenSim环境下对深度确定性策略梯度（DDPG）、信任域策略优化（TRPO）和近端策略优化（PPO）三种强化学习算法进行了测试，并将模仿学习应用于假肢领域，以减少定制假肢设计所需的训练时间。我们使用DDPG算法来训练一个原始的专家代理。然后，我们提出了一个修改的数据集聚合（Dagger）算法，重用的专家知识和训练一个新的目标代理复制该行为在不到5次迭代，相比，100次迭代的专家代理，这意味着减少95%的训练时间。我们对Dagger算法的修改提高了利用专家策略和探索环境之间的平衡。我们的经验表明，这些改善目标代理的收敛时间，特别是当有一定程度的专家和天真的代理之间的变化。
2019-01-15 cs.AI
Interpretable Motion Planner for Urban Driving via Hierarchical Imitation Learning
Horizon Robotics（地平线机器人）
本文提出一种包含高层行为规划器和低层轨迹规划器的分层规划架构，通过闭环仿真和实车测试验证，解决了神经网络在自动驾驶运动规划中的可靠性与可解释性问题，在复杂城市场景表现优异。
2023-07-30 cs.AI cs.RO
Autonomous Navigation through intersections with Graph ConvolutionalNetworks and Conditional Imitation Learning for Self-driving Cars
The Hong Kong University of Science and Technology（香港科技大学）
在自动驾驶中，通过无信号交叉路口的导航与许多交通参与者移动是一项具有挑战性的任务。为了解决这个问题，我们提出了一种新的分支网络G-CIL的导航策略学习。具体来说，我们首先表示这样的动态环境的图形结构的数据，并提出了一个有效的策略，边缘定义聚合周围的信息，为自我车辆。然后使用图卷积神经网络作为感知模块，从环境中捕获全局和几何特征。为了生成安全高效的导航策略，我们进一步将其与条件模仿学习算法相结合，直接从专家演示中学习驾驶行为。我们提出的网络能够处理不同数量的周围车辆并生成最优控制动作（例如，转向角和油门）根据给定的高级命令（例如，向左转向全球目标）。对不同交通密度的无信号交叉口的评估表明，我们的端到端可训练神经网络优于基线，具有更高的成功率和更短的导航时间。
2021-02-01 cs.AI cs.RO
Urban Driving with Conditional Imitation Learning
Wayve（Wayve公司）
为现实世界的城市自动驾驶手工制定通用的决策规则是很困难的。另外，从易于收集的人类驾驶示范中学习行为也很有吸引力。先前的工作已经研究了用于自动驾驶的模仿学习（IL），具有许多限制。示例包括仅执行车道跟随而不是遵循用户定义的路线，仅使用单个相机视图或缺乏状态可观察性的严重裁剪的帧，仅横向（转向）控制而不是纵向（速度）控制以及缺乏与交通的交互。重要的是，大多数此类系统主要在模拟中进行评估-这是一个简单的领域，缺乏现实世界的复杂性。出于这些挑战，我们专注于学习的语义，几何和运动表示与计算机视觉IL从人类驾驶示范。作为我们的主要贡献，我们提出了一个端到端的条件模仿学习的方法，结合横向和纵向控制的一个真正的车辆以下的城市路线与简单的交通。我们通过数据平衡来解决固有的数据集偏差，在六个月内收集的大约30小时的演示中训练我们的最终策略。我们通过在欧洲城市街道上行驶35公里的新路线来评估我们在自动驾驶汽车上的方法。
2019-12-05 cs.AI cs.CV cs.LG
Learning intuitive physics and one-shot imitation using state-action-prediction self-organizing maps
Weihenstephan-Triesdorf University of Applied Sciences（魏恩施蒂芬-特里斯多夫应用技术大学）；University of Regensburg（雷根斯堡大学）
人类学习和智能的工作方式与大多数深度学习架构中采用的监督模式识别方法不同。人类似乎通过探索和模仿来学习丰富的表征，建立世界的因果模型，并使用两者来灵活地解决新任务。我们提出了一个简单而有效的无监督模型，开发这些特性。智能体通过内在动机的探索来学习表示其环境的动态物理特性，并对此表示进行推理以达到目标。为此，一组自组织映射，表示状态-动作对相结合的因果关系模型的序列预测。该系统在cartpole环境中进行评估。在游戏探索的初始阶段之后，智能体可以对环境的未来进行运动学模拟，并将其用于行动规划。我们展示了它的性能上的一组几个相关的，但不同的一次性模仿任务，代理灵活地解决了一个积极的推理风格。
2021-10-27 cs.AI
Model-Based Imitation Learning for Urban Driving
Wayve（Wayve公司）；University of Cambridge（剑桥大学）
一个精确的环境模型和动态代理人在它提供了巨大的潜力，以改善运动规划。我们提出了MILE：一种基于模型的模仿学习方法，用于共同学习世界模型和自动驾驶政策。我们的方法利用3D几何作为归纳偏差，并直接从专家演示的高分辨率视频中学习高度紧凑的潜在空间。我们的模型是在离线的城市驾驶数据语料库上训练的，没有任何与环境的在线交互。当部署在一个全新的城镇和新的天气条件下时，MILE在CARLA模拟器上的驾驶分数比现有技术提高了31%。我们的模型可以预测不同的和合理的状态和动作，可以解释解码鸟瞰图语义分割。此外，我们证明，它可以执行复杂的驾驶操纵计划完全在想象中预测。我们的方法是第一个只使用摄像头的方法，可以在城市驾驶环境中模拟静态场景，动态场景和自我行为。代码和模型重量可在https://github.com/wayveai/mile上获得。
2022-11-03 cs.AI cs.CV cs.RO
Improved Reinforcement Learning through Imitation Learning Pretraining Towards Image-based Autonomous Driving
Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们为自动驾驶任务提供了一个训练管道，给定当前相机图像和车辆速度作为输入，以产生油门，刹车和转向控制输出。模拟器Airsim方便的天气和照明API在训练过程中提供了足够的多样性，这对提高训练策略的鲁棒性非常有帮助。为了不限制可能的策略的性能，我们使用连续的和确定性的控制策略设置。我们使用ResNet-34作为我们的演员和评论家网络，在完全连接的层中有一些轻微的变化。考虑到人类对这项任务的掌握和这项任务的高复杂性，我们首先使用模仿学习来模仿给定的人类策略，并将训练好的策略及其权重利用到我们使用DDPG的强化学习阶段。与纯模仿学习和纯DDPG相比，这种组合在自动驾驶任务中表现出相当大的性能提升。
2019-07-16 cs.AI cs.CV cs.LG
TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们应该如何整合来自互补传感器的表示以实现自动驾驶？基于几何的融合已经显示出感知（例如，目标检测、运动预测）的前景。然而，在端到端驾驶的情况下，我们发现，模仿学习基于现有的传感器融合方法在复杂的驾驶场景中表现不佳，具有高密度的动态代理。因此，我们提出了TransFuser，这是一种使用自我注意力整合图像和LiDAR表示的机制。我们的方法使用多分辨率的Transformer模块来融合透视图和鸟瞰图特征图。我们通过实验验证了其在具有长路线和密集交通的具有挑战性的新基准上的有效性，以及CARLA城市驾驶模拟器的官方排行榜。在提交时，TransFuser在驾驶分数方面远远超过了CARLA排行榜上的所有先前工作。与基于几何的融合相比，TransFuser将每公里的平均碰撞减少了48%。
2022-05-31 cs.AI cs.CV cs.LG
Dynamic Conditional Imitation Learning for Autonomous Driving
The American University in Cairo（开罗美国大学）；Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Valeo Egypt（法雷奥埃及公司）
条件模仿学习（CIL）以端到端的方式训练深度神经网络，以模仿人类驾驶。这种方法已经证明了在遵循道路、避开障碍物或在十字路口转弯以到达目的地时适当的车辆控制。不幸的是，当部署到看不见的环境中时，性能会急剧下降，并且在不同的天气条件下不一致。最重要的是，目前的CIL未能避免静态道路堵塞。在这项工作中，我们提出了解决这些缺陷的方法。首先，我们在特征级别将激光扫描仪与常规相机流融合，以克服泛化和一致性挑战。其次，我们引入了一个新的有效的占领网格映射（OGM）的方法，以及新的算法，避免道路堵塞和全球路线规划。因此，我们提出的方法动态检测部分和全部道路堵塞，并引导受控车辆行驶到另一条路线以到达目的地。在最初的CIL工作之后，我们在CARLA模拟器城市驾驶基准上证明了我们的建议的有效性。我们的实验表明，我们的模型将天气条件的一致性提高了四倍，自动驾驶成功率提高了52%。此外，我们的全球路线规划器将驾驶成功率提高了37%。我们提出的道路阻塞避免算法提高了27%的驾驶成功率。最后，与静止物体碰撞前的平均行驶公里数增加了1.5倍。主要的源代码可以在https://heshameraqi.github.io/dynamic_cil_autonomous_driving上找到。
2022-11-17 cs.AI cs.RO
Language-guided Task Adaptation for Imitation Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们引入了一种新的设置，其中代理需要学习一个任务，从演示的相关任务之间的差异，在自然语言沟通。建议的设置允许重用其他任务的演示，通过提供低工作量的语言描述，也可以用来提供反馈，以纠正代理错误，这都是重要的必要条件，为建设智能代理，协助人类的日常任务。为了在这个建议的设置中取得进展，我们创建了两个基准-房间重新安排和房间导航-涵盖了一组不同的任务适应。此外，我们提出了一个框架，使用基于转换器的模型来推理任务中的实体及其关系，以学习目标任务的策略
2023-01-24 cs.AI
Sequence of Expert: Boosting Imitation Planners for Autonomous Driving through Temporal Alternation
HighTech Lab, Tsinghua University（清华大学高科技实验室）；School of Mobility, Tsinghua University（清华大学移动学院）；University of Michigan（密歇根大学）
专家序列通过时间交替策略提升自动驾驶模仿规划器的闭环性能，显著改进了模型表现和训练效率。
2025-12-15 cs.AI cs.RO
Hierarchical Model-Based Imitation Learning for Planning in Autonomous Driving
Waymo（Waymo公司）
我们展示了基于模型的生成对抗模仿学习（MGAIL）在密集城市自动驾驶任务中的首次大规模应用。我们增加标准MGAIL使用层次模型，使泛化到任意目标路线，并使用模拟交互式代理的闭环评估框架来衡量性能。我们从在旧金山行驶超过10万英里的真实车辆收集的专家轨迹中训练训练策略，并展示了一种可操纵的策略，即使在zero-shot设置中也可以稳健地导航，推广到具有现实驾驶中从未发生过的新目标的合成场景。我们还证明了混合闭环MGAIL损失与开环行为克隆损失的重要性，并显示我们的最佳策略方法的专家的性能。我们评估我们的模仿模型在平均和具有挑战性的情况下，并显示它如何可以作为一个有用的计划成功的轨迹之前。
2022-10-18 cs.AI cs.LG cs.RO
SSIL: Self-Supervised Imitation Learning for End-to-End Driving
R & D Center, SL Corporation（SL公司研发中心）；Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电子与计算机工程系）；Department of Information and Communication Engineering, Handong Global University（翰林全球大学信息与通信工程系）；College of Engineering, Texas A & M University-Corpus Christi（德克萨斯A&M大学科珀斯克里斯蒂分校工程学院）；School of Computer Science and Electrical Engineering, Handong Global University（翰林全球大学计算机科学与电子工程学院）
提出自监督模仿学习框架SSIL，利用车辆位姿生成伪转向角数据，无需驾驶命令或预训练模型，结合交叉注意力条件方法CACA，在三个基准数据集上达到与监督学习相当的驾驶精度。
2026-06-17 cs.AI cs.RO
Imitation Learning for Autonomous Driving: Insights from Real-World Testing
AI and Intelligent Systems Lab.（人工智能与智能系统实验室）；Istanbul Technical University（伊斯坦布尔技术大学）
本研究在真实MIT Racecar上设计并测试了基于模仿学习的端到端DNN自动驾驶系统，通过增量设计比较了PD、CNN、CNN-LSTM和CNN-NODE，发现CNN-NODE驾驶性能最佳，突显了迭代设计的重要性。
2025-04-26 cs.AI cs.RO
Prompting Multi-Modal Tokens to Enhance End-to-End Autonomous Driving Imitation Learning with LLMs
University of Technology Sydney（悉尼科技大学）；Australia Artificial Intelligence Institute（澳大利亚人工智能研究院）；School of Computer Science（计算机学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出一种混合端到端自动驾驶框架，将视觉和LiDAR输入融合为多模态Token，并利用LLM辅助驾驶模型纠错与处理复杂场景，在CARLA离线评估中取得91.34%路线完成率。
2024-07-29 cs.AI cs.RO
Query-Efficient Imitation Learning for End-to-End Autonomous Driving
New York University（纽约大学）
实现端到端自动驾驶的一种方法是通过模仿专家驾驶员或参考策略来学习从感官输入（例如来自前置摄像头的图像帧）映射到驾驶动作的策略函数。这可以通过监督学习来完成，其中调整策略函数以最小化预测动作和地面实况动作之间的差异。然而，已知以这种方式训练的策略函数由于参考策略和训练的策略函数可达到的状态之间的不匹配而遭受意外行为。用于模仿学习的更高级的算法（诸如Dagger）通过从参考策略和训练策略两者迭代地收集训练样本来解决这个问题。这些算法通常需要对引用策略进行大量查询，这是不期望的，因为引用策略通常是昂贵的。在本文中，我们提出了一种名为SafeDagger的Dagger扩展，它具有查询效率，更适合端到端自动驾驶。我们在赛车模拟器中评估了建议的SafeDagger，并表明它确实需要较少的查询参考政策。我们观察到一个显着的收敛速度加快，我们推测是由于自动化的课程学习的效果。
2016-05-20 cs.AI cs.LG cs.RO
Efficiently Guiding Imitation Learning Agents with Human Gaze
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tufts University（塔夫茨大学）
人类的凝视被认为是人类任务演示中的意图揭示信号。在这项工作中，我们使用来自人类示范者的凝视线索来增强通过三种流行的模仿学习方法训练的代理的性能-行为克隆（BC），行为克隆观察（BCO）和轨迹排名奖励外推（T-REX）。基于强化学习代理的注意力和人类凝视之间的相似性，我们提出了一种新的方法，用于以计算高效的方式利用凝视数据，作为辅助损失函数的一部分，该函数引导网络在人类凝视的图像区域中具有更高的激活。这项工作是朝着用辅助凝视数据增强任何现有卷积模仿学习代理的训练迈出的一步。我们的辅助基于覆盖的凝视损失（CGL）引导学习更好的奖励函数或策略，而无需添加任何额外的可学习参数，也无需在测试时获得凝视数据。我们发现，我们提出的方法提高了95%的性能BC，343%的BCO，和390%的T-REX，平均超过20个不同的雅达利游戏。我们还发现，与现有的最先进的模仿学习方法辅助人类凝视（AGIL）相比，我们的方法实现了更好的性能，并且在学习方面更有效，演示更少。我们进一步解释训练CGL代理显着图可视化方法来解释他们的表现。最后，我们证明了CGL可以帮助缓解模仿学习中一个著名的因果混淆问题。
2021-04-21 cs.AI cs.LG
Accelerating Reinforcement Learning through Implicit Imitation
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
模仿可以被看作是在多智能体环境中增强学习的一种手段。它通过智能地利用合作教师或其他更有经验的代理所展示的行为中隐含的知识来增强代理学习有用行为的能力。我们提出并研究了一种形式化的内隐模仿模型，该模型在某些情况下可以显著加速强化学习。粗略地说，通过观察导师，一个自主学习的智能体可以提取关于它自己在状态空间中未访问部分的能力和相对价值的信息。我们研究了这个模型的两个具体实例，其中一个学习代理和导师具有相同的能力，一个旨在处理代理和导师不同的行动集。我们说明了隐式模仿的好处，通过将其与优先扫描相结合，并通过观察单个和多个导师来展示改进的性能和收敛性。虽然我们对可观测性和可能的相互作用做了一些严格的假设，但我们简要地评论了放松这些限制的模型的扩展。
2011-06-03 cs.AI cs.LG
A Fast Integrated Planning and Control Framework for Autonomous Driving via Imitation Learning
本文提出一种结合学习与优化方法的两层框架，通过神经网络学习长期最优策略并结合短期优化控制器提升自动驾驶的安全性和效率。
2017-07-09 cs.AI cs.LG cs.SY
Penalty-Based Imitation Learning With Cross Semantics Generation Sensor Fusion for Autonomous Driving
Huawei Munich Research Center（华为慕尼黑研究中心）；Technical University of Munich（慕尼黑工业大学）
本文提出P-CSG方法，将基于惩罚的模仿学习与跨语义生成传感器融合相结合，用于端到端自动驾驶，在Town 05 Long基准上相比InterFuser驾驶得分提升12%以上，同时推理速度提高7倍、模型规模减少约30%。
2023-10-26 cs.AI cs.RO
Imitation Learning for Multi-turn LM Agents via On-policy Expert Corrections
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；Scale AI
本文提出通过在线专家纠正解决多轮LM代理模仿学习中的协变量偏移问题，实验显示在软件工程任务中效果优于传统方法。
2025-12-16 cs.AI cs.LG
Generative Adversarial Imitation Learning for End-to-End Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
自动驾驶是一项复杂的任务，自1989年第一辆自动驾驶汽车ALVINN以来，人们一直在使用监督学习方法或行为克隆（BC）来解决这个问题。在BC中，神经网络用构成由专家制作的训练集的状态-动作对来训练，即，人类司机然而，这种类型的模仿学习没有考虑在导航轨迹的不同时刻采取的动作之间可能存在的时间依赖性。这些类型的任务更好地由强化学习（RL）算法处理，该算法需要定义奖励函数。另一方面，最近的模仿学习方法，如生成对抗模仿学习（GAIL），可以训练策略，而无需明确要求定义奖励函数，允许代理直接在专家轨迹的训练集上通过试错来学习。在这项工作中，我们提出了两个变化的GAIL自主导航的车辆在现实的CARLA模拟环境中的城市场景。它们都使用相同的网络架构，处理来自三个前置摄像头的高维图像输入，以及代表速度的其他九个连续输入，稀疏轨迹的下一个点和高级驾驶命令。我们表明，它们都能够在训练结束后从头到尾模仿专家轨迹，但用BC增强的GAIL损失函数在收敛时间和训练稳定性方面优于前者。
2021-10-16 cs.AI cs.LG cs.RO
Online Adaptation for Enhancing Imitation Learning Policies
School of Computing University of Eastern Finland Joensuu, Finland
本文提出在线自适应方法，将预训练模仿学习策略的动作提议与专家经验相结合，以在基础策略失败时恢复并提升智能体性能。
2024-06-07 cs.AI cs.LG
Co-Imitation Learning without Expert Demonstration
针对专家示范难以获取的问题，本文提出 CoIL 框架，让两个智能体交替探索并依据价值函数预期增益筛选同伴经验进行选择性模仿，实验表明其无需外部监督即可显著提升性能。
2023-07-23 cs.AI cs.LG
Imitation Learning Datasets: A Toolkit For Creating Datasets, Training Agents and Benchmarking
University of Sussex（萨塞克斯大学）
本文提出 Imitation Learning Datasets 工具包，通过多线程专家策略、现成数据集与技术及共享实现，解决模仿学习数据创建繁琐和评估不一致的问题。
2024-03-01 cs.AI cs.LG
Meta learning Framework for Automated Driving
Valeo（法雷奥）
自动驾驶部署的成功在很大程度上取决于制定高效安全驾驶政策的能力。在最优控制的框架下，将问题转化为成本优化问题。使用传统规划的基于模型的解决方案是有效的，但需要环境模型的知识。另一方面，无模型解决方案遭受样本效率低下，需要与环境进行太多的交互，这在实践中是不可行的。强化学习框架下的方法通常需要奖励函数的概念，这在现实世界中是不可用的。模仿学习通过引入从所展示的行为获得的先验知识来帮助提高样本效率，从而避免了精确行为克隆而不推广到看不见的环境的风险。在本文中，我们提出了一个Meta学习框架，基于数据集聚集，以提高模仿学习算法的泛化能力。在该框架下，我们提出了MetaDagger算法，该算法解决了传统模仿学习中的泛化问题。我们使用开放式赛车模拟器（TORCS）来测试我们的算法。对未知测试轨迹的实验结果表明，该算法较传统的模仿学习算法有明显的改进，在提高学习时间的同时，也提高了样本效率。结果也支持可视化的学习功能，以证明捕捉的细节的泛化。
2017-06-11 cs.AI stat.ML
Domain-Robust Visual Imitation Learning with Mutual Information Constraints
Centre for Robotics Research（机器人研究中心）；Department of Engineering, King’s College London（伦敦国王学院工程系）
人类能够通过简单地观察他人执行任务来理解目标和学习。模仿学习方法的目的是复制这样的能力，然而，它们通常依赖于访问代理的执行器和从代理的角度采取的一整套最佳状态和动作。在本文中，我们介绍了一种新的算法-称为解开生成对抗模仿学习（DisentanGAIL）-目的是绕过这些限制。我们的算法使自主智能体直接从执行任务的专家的高维观察中学习，通过利用对抗学习与潜在的代表性内的神经网络。通过互信息约束来正则化这种潜在表示，以激励仅学习对关于所演示的任务的完成水平的信息进行编码的特征。这允许获得一个共享的特征空间，以成功地执行模仿，同时忽略专家和代理的域之间的差异。从经验上讲，我们的算法是能够有效地模仿各种控制问题，包括平衡，操纵和机车任务，同时是强大的各种领域的差异，在环境外观和代理的实施例。
2021-03-08 cs.AI cs.LG
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts（美国艺电）
针对强化学习难以建模多样人类游戏风格的问题，提出MultiGAIL，通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略，并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
Cross-Domain Imitation Learning via Optimal Transport
Berkeley AI Research（伯克利人工智能研究）
GWIL通过Gromov-Wasserstein距离实现跨领域模仿学习，有效对齐不同空间的状态，适用于连续控制领域。
2026-01-13 cs.AI cs.LG cs.RO
What Matters to Enhance Traffic Rule Compliance of Imitation Learning for End-to-End Autonomous Driving
Technical University of Munich（慕尼黑工业大学）；Huawei Munich Research Center（华为慕尼黑研究中心）
针对端到端自动驾驶模仿学习策略交通规则依从性不足的安全问题，提出结合对比跨语义生成融合与三类交通惩罚的P-CSG方法，在CARLA基准上提升驾驶得分，且对抗攻击鲁棒性显著增强。
2024-09-12 cs.AI cs.CV cs.LG
MimicBot: Combining Imitation and Reinforcement Learning to win in Bot Bowl
Philips Research（飞利浦研究院）；Eindhoven University of Technology（埃因霍温理工大学）
本文描述了一种混合智能体，它被训练成参加Bot Bowl III比赛的Fantasy Football AI。代理MimicBot使用专门设计的深度策略网络实现，并使用模仿和强化学习相结合的方法进行训练。在这种背景下使用强化学习方法的先前尝试由于许多原因而失败，例如，由于环境中的固有随机性以及大量且不均匀数量的可用动作，其中课程学习方法未能始终如一地击败随机支付的代理。目前，没有任何机器学习方法可以击败使用游戏领域知识的脚本机器人。我们的解决方案，由于模仿学习和混合决策过程，始终击败这样的脚本代理。此外，我们揭示了如何在强化学习设置中更有效地训练，同时大幅提高样本效率。MimicBot是Bot Bowl III比赛的获胜者，它是目前最先进的解决方案。
2021-08-21 cs.AI cs.LG
Fine-tuning is Not Enough: A Parallel Framework for Collaborative Imitation and Reinforcement Learning in End-to-end Autonomous Driving
Tongji University（同济大学）；Nanyang Technological University（南洋理工大学）；Chery Automobile（奇瑞汽车）
本文提出PaIR-Drive框架，通过并行分离模仿学习与强化学习，解决传统序列微调方法导致的策略漂移和性能瓶颈问题，实现协同优化，提升自动驾驶性能。
2026-04-10 cs.AI cs.RO
On Combining Expert Demonstrations in Imitation Learning via Optimal Transport
University College London（伦敦大学学院）
针对模仿学习中多专家演示组合的标准拼接法在多模态轨迹下的缺陷，提出基于多边缘最优传输距离的组合方法，可实现演示的合理几何平均，实验验证其效率优于标准方法。
2023-07-20 cs.AI cs.LG
