Diffusion-Reward Adversarial Imitation Learning
National Taiwan University（台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；NVIDIA（英伟达）
针对生成对抗模仿学习（GAIL）训练脆弱不稳定的问题，提出扩散奖励对抗模仿学习（DRAIL），将扩散模型集成到GAIL中构建增强判别器并设计扩散奖励，在多任务实验中验证了其有效性、泛化能力和数据效率，能生成更稳健平滑的奖励。
2024-11-26 cs.AI cs.LG cs.RO
Randomized Adversarial Imitation Learning for Autonomous Driving
Chung-Ang University（中央大学）
随着各种先进驾驶辅助系统（ADAS）平台的发展，自动驾驶系统的设计变得更加复杂和安全。自动驾驶系统同时激活多个ADAS功能，因此必须协调各种ADAS功能。本文提出了一种随机对抗模仿学习（RAIL）方法，模仿配备先进传感器的自主车辆的协调。RAIL策略通过无衍生优化进行训练，以供决策者协调适当的ADAS功能，例如，智能巡航控制和车道保持系统。特别是，该方法还能够处理激光雷达数据，并在复杂的多车道公路和多智能体环境中做出决策。
2019-05-13 cs.AI cs.LG cs.RO
Addressing reward bias in Adversarial Imitation Learning with neutral reward functions
The Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
生成式对抗模仿学习存在奖励偏差的基本问题，该问题源于算法中使用的奖励函数的选择。不同类型的偏见也会影响不同类型的环境，这些环境大致分为生存环境和基于任务的环境。我们提供了一个理论上的草图，为什么现有的奖励功能会失败的模仿学习的情况下，基于任务的环境中，多个终端状态。我们还提出了一个新的GAIL奖励函数，它优于现有的GAIL方法基于任务的环境中的单个和多个终端状态，并有效地克服了生存和终止偏见。
2020-09-20 cs.LG cs.RO stat.ML
Generative Adversarial Imitation Learning for End-to-End Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
自动驾驶是一项复杂的任务，自1989年第一辆自动驾驶汽车ALVINN以来，人们一直在使用监督学习方法或行为克隆（BC）来解决这个问题。在BC中，神经网络用构成由专家制作的训练集的状态-动作对来训练，即，人类司机然而，这种类型的模仿学习没有考虑在导航轨迹的不同时刻采取的动作之间可能存在的时间依赖性。这些类型的任务更好地由强化学习（RL）算法处理，该算法需要定义奖励函数。另一方面，最近的模仿学习方法，如生成对抗模仿学习（GAIL），可以训练策略，而无需明确要求定义奖励函数，允许代理直接在专家轨迹的训练集上通过试错来学习。在这项工作中，我们提出了两个变化的GAIL自主导航的车辆在现实的CARLA模拟环境中的城市场景。它们都使用相同的网络架构，处理来自三个前置摄像头的高维图像输入，以及代表速度的其他九个连续输入，稀疏轨迹的下一个点和高级驾驶命令。我们表明，它们都能够在训练结束后从头到尾模仿专家轨迹，但用BC增强的GAIL损失函数在收敛时间和训练稳定性方面优于前者。
2021-10-16 cs.AI cs.LG cs.RO
Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Nanjing University（南京大学）；Tsinghua University（清华大学）
生成对抗模仿学习（GAIL）利用生成对抗网的优势，在机器人学习领域取得了可喜的成果。然而，孤立的单模态演示的要求限制了该方法在现实世界场景中的可扩展性，例如自动驾驶汽车对正确理解人类驾驶员行为的需求。在本文中，我们提出了一种新的多模态GAIL框架，命名为Triple-GAIL，这是能够学习技能选择和模仿共同从专家演示和不断产生的经验与数据增强的目的，通过引入一个辅助技能选择器。我们分别为生成器和选择器提供了收敛到最优解的理论保证。在真实驾驶员轨迹和实时策略游戏数据集上的实验表明，Triple-GAIL可以更好地拟合接近演示者的多模态行为，并优于最先进的方法。
2020-05-22 cs.AI cs.LG cs.RO
Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传统上，模仿学习被应用于从单个任务的演示中学习单个任务。结构化和孤立的演示的要求限制了模仿学习方法的可扩展性，因为它们难以应用于现实世界的场景，其中机器人必须能够执行大量任务。在本文中，我们提出了一个多模态的模仿学习框架，能够分割和模仿技能，从无标记和非结构化的示范学习技能分割和模仿学习联合。大量的仿真结果表明，我们的方法可以有效地分离到个人技能的演示，并学习模仿他们使用一个单一的多模态政策。我们实验的视频可以在http://sites.google.com/view/nips17intentiongan上获得
2017-11-23 cs.LG cs.RO
Wasserstein Distance guided Adversarial Imitation Learning with Reward Shape Exploration
Tsinghua University（清华大学）；Sun Yat-Sen University（中山大学）
生成式对抗模仿学习（GAIL）提供了一个对抗性学习框架，用于从高维连续任务的演示中模仿专家策略。然而，几乎所有的GAIL及其扩展都只设计了一种对数形式的奖励函数在对抗训练策略与Jensen-Shannon（JS）的分歧，为所有复杂的环境。固定对数类型的奖励函数可能难以解决所有复杂的任务，而JS发散引起的梯度消失问题将损害对抗学习过程。本文提出了一种新的Wasserstein距离引导的对抗性模仿学习（WDAIL）算法，以提高模仿学习（IL）的性能。该方法有三个改进：（a）在对抗训练过程中引入Wasserstein距离以获得更合适的度量;（b）在强化学习阶段使用近端策略优化（PPO），实现更简单，提高算法效率;（c）探索不同的奖励函数形状以适应不同的任务以提高性能。实验结果表明，该学习过程保持了显著的稳定性，在MuJoCo复杂的连续控制任务中取得了显著的效果。
2020-12-08 cs.LG cs.RO stat.ML
What Matters for Adversarial Imitation Learning?
Univ. de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Google Research（谷歌研究院）
对抗性模仿学习已经成为一个流行的框架，模仿在连续控制。多年来，它的组件的几个变化被提出来提高学习策略的性能以及算法的样本复杂度。在实践中，这些选择很少在严格的实证研究中得到检验。因此，很难讨论和理解在高级算法选项以及低级实现细节中的哪些选择是重要的。为了解决这个问题，我们在一个通用的对抗性模仿学习框架中实现了其中的50多个选择，并在一项大规模研究（>500k训练有素的代理）中研究了它们的影响，包括合成和人工生成的演示。虽然我们的许多发现证实了常见的做法，但其中一些令人惊讶，甚至与先前的工作相矛盾。特别是，我们的研究结果表明，人工演示是不是一个很好的代理人的数据和非常常见的做法，评估模仿算法只与合成演示可能会导致算法表现不佳，在更现实的情况下，与人类示威。
2021-06-01 cs.AI cs.LG cs.NE
DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
Nanyang Technological University（南洋理工大学）；Desay SV Automotive（德赛西威汽车）
DecompGAIL通过分解多智能体生成对抗模仿学习方法，解决多智能体设置中GAIL的不稳定性问题，提升交通行为的真实性和整体性能。
2026-01-26 cs.AI cs.LG cs.RO
Latent Policies for Adversarial Imitation Learning
University of California, San Diego（加州大学圣地亚哥分校）
本文认为学习机器人运动和操作任务的专家演示。生成对抗性模仿学习（GAIL）训练区分专家和代理转换的鉴别器，然后使用鉴别器输出定义的奖励来优化代理的策略生成器。这种生成式对抗训练方法非常强大，但取决于训练器和生成器训练之间的微妙平衡。在高维问题中，训练可能很容易过度拟合或利用与任务无关的特征的关联进行转换分类。这项工作的一个关键见解是，在合适的潜在任务空间中执行模仿学习可以使训练过程稳定，即使在具有挑战性的高维问题中也是如此。我们使用一个动作编码器-解码器模型来获得一个低维的潜在动作空间，并使用对抗性模仿学习（LAPAL）来训练一个潜在策略。编码器-解码器模型可以从状态-动作对离线训练以获得任务不可知的潜在动作表示，或者在线训练，同时进行编码器和生成器训练，以获得任务感知的潜在动作表示。我们证明了LAPAL训练是稳定的，具有接近单调的性能改进，并且在大多数运动和操作任务中实现了专家性能，而GAIL基线收敛较慢，并且在高维环境中没有实现专家性能。
2022-06-22 cs.LG cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University（北京大学）
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展，但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中，我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题，其中我们假设没有手工制作的密集奖励，而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题，我们确定了几个关键问题，可以失败的以前的模仿学习算法，并阻碍了推广到看不见的实例。然后，我们提出了几个一般的，但关键的技术，包括生成对抗性自我模仿学习从示范，渐进增长的学习，和实例平衡专家缓冲区，准确地指出和解决这些问题，可以受益于类别级操作策略学习，无论任务。我们在ManiSkill基准上的实验表明，所有任务都有显着的改进，我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
State-Conditional Adversarial Learning: An Off-Policy Visual Domain Transfer Method for End-to-End Imitation Learning
University of California, Berkeley, CA, USA（加州大学伯克利分校）
针对目标域数据严格离策略、无专家且稀缺的挑战，提出状态条件对抗学习（SCAL），通过状态条件潜在KL散度的判别器估计对齐分布，实现鲁棒的视觉域迁移。
2026-06-01 cs.RO
Adversarial Imitation Learning via Random Search in Lane Change Decision-Making
Chung-Ang University（中央大学）
随着高级驾驶员辅助系统（ADAS）功能变得越来越复杂，自动驾驶需要适当协调ADAS功能之间的交互和通信的策略。本文提出了一种基于无导数优化的模仿学习方法，用于协调适当的ADAS功能的决策者。该方法能够在多车道高速公路的LIDAR数据的及时决策。基于仿真的评估验证了所提出的方法呈现出预期的性能。
2021-09-11 cs.RO
Model Predictive Adversarial Imitation Learning for Planning from Observation
Paul G. Allen School of Computer Science & Engineering（保罗·G·阿伦计算机科学与工程学院）
本文提出一种基于模型预测的对抗模仿学习方法，通过端到端学习从观察中规划，提升样本效率和鲁棒性。
2026-03-02 cs.AI cs.RO
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning
Osaka University（大阪大学）；The University of Tokyo（东京大学）
生成对抗式模仿学习（GAIL）在机器人学习领域受到越来越多的关注。它使机器人能够学习一种策略来完成专家演示的任务，同时估计专家行为背后的奖励函数。然而，该框架仅限于学习具有单个奖励函数的单个任务。本研究提出了一个扩展框架，称为情境GAIL（S-GAIL），其中一个任务变量被引入到GAIL框架的生成器和生成器。任务变量的作用是区分不同的上下文，使框架学习不同的奖励函数和策略的多个任务。为了实现早期收敛的学习和鲁棒性在奖励估计，我们引入了一个术语来调整熵正则化系数在发电机的目标函数。我们使用两个设置（在离散网格世界中导航和在连续空间中手臂到达）的实验表明，所提出的框架可以比现有框架更有效地获得多个奖励函数和策略。任务变量使我们的框架能够区分上下文，同时在多个任务之间共享公共知识。
2019-11-01 cs.AI cs.LG cs.RO
On Generalization of Adversarial Imitation Learning and Beyond
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
尽管有大量的经验评估，模仿学习的一个基本问题仍然没有完全解决：AIL（对抗性模仿学习）是否可以证明比BC（行为克隆）更好地推广？我们研究这个开放的问题与表格和情节MDPs。对于使用直接最大似然估计的香草AIL，我们在已知的过渡设置下提供了否定和肯定的答案。对于一些MDP，我们表明，香草AIL有一个更糟糕的样本复杂度比BC。关键的见解是，状态-动作分布匹配原则是薄弱的，使AIL可能概括较差，即使在访问状态的专家演示。对于另一类MDP，香草AIL被证明是推广以及非访问状态。有趣的是，它的样本复杂度是无水平线的，这可以证明远远优于BC。最后，我们建立了一个框架，在未知的过渡情况下，它允许AIL探索通过无奖励的探索策略。与最著名的在线学徒学习算法相比，该算法提高了样本复杂度和交互复杂度。
2022-02-11 cs.AI cs.LG
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
University of California Berkeley（加利福尼亚大学伯克利分校）；National University of Singapore（新加坡国立大学）；Sony Research（索尼研究院）
针对序列建模难适应分布偏移、对抗模仿学习样本效率低的问题，提出结合BeT策略与在线AIL的残差式BeTAIL方法，在赛车游戏任务中减少交互、提升性能与稳定性。
2024-07-11 cs.LG cs.RO
Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
生成对抗模仿学习（GAIL）在实践中取得了巨大的成功，特别是当与神经网络相结合时。与强化学习不同，GAIL从专家（人）演示中学习策略和奖励函数。尽管其经验上的成功，它仍然不清楚是否GAIL与神经网络收敛到全局最优解。主要困难来自于非凸-非凹极小极大优化结构。为了弥合实践和理论之间的差距，我们分析了基于梯度的算法与交替更新，并建立其次线性收敛到全局最优解。据我们所知，我们的分析建立了全局最优性和收敛速度的GAIL与神经网络的第一次。
2020-06-25 cs.LG math.OC stat.ML
Visual Adversarial Imitation Learning using Variational Models
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
奖励函数规范需要大量的人力和迭代，仍然是通过深度强化学习学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常提供了一种更简单，更自然的方式来教导代理。我们考虑一个设置，其中代理提供了一个固定的可视化演示数据集，说明如何执行一项任务，必须学会使用提供的演示和无监督的环境交互来解决任务。这种设置带来了许多挑战，包括用于视觉观察的表示学习、由于高维空间导致的样本复杂性以及由于缺乏固定奖励或学习信号导致的学习不稳定性。为了应对这些挑战，我们开发了一个基于变分模型的对抗性模仿学习（V-MAIL）算法。基于模型的方法为表示学习提供了强信号，实现了样本效率，并通过启用同策略学习来提高对抗训练的稳定性。通过涉及几个基于视觉的运动和操作任务的实验，我们发现V-MAIL以样本有效的方式学习成功的视觉策略，与以前的工作相比具有更好的稳定性，并且还实现了更高的渐近性能。我们进一步发现，通过转移学习的模型，V-MAIL可以从视觉演示中学习新的任务，而无需任何额外的环境交互。包括视频在内的所有结果都可以在\url{https://sites.google.com/view/variational-mail}在线找到。
2022-06-27 cs.AI cs.LG cs.RO
Adversarial Option-Aware Hierarchical Imitation Learning
Tsinghua University（清华大学）；THU-Bosch JCML center（清华-博世机器学习联合中心）；University of California, Los Angeles（加州大学洛杉矶分校）；Bytedance AI Lab（字节跳动人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
从长期的未注释的演示中学习智能体的技能一直是一个挑战。现有的方法，如分层模仿学习（HIL）容易出现复合错误或次优解决方案。在本文中，我们提出了Option-GAIL，一种新的方法来学习技能，在长期的视野。Option-GAIL的核心思想是用选项来建模任务层次，并通过生成对抗优化来训练策略。特别是，我们提出了一个期望最大化（EM）式的算法：一个E-步骤，采样的专家条件下的当前学习的政策的选项，和一个M-步骤，更新的低和高层次的代理政策，同时最大限度地减少新提出的专家和代理之间的选项占用测量。我们从理论上证明了所提出的算法的收敛性。实验表明，Option-GAIL在各种任务中始终优于其他同行。
2021-06-11 cs.LG cs.RO
Socially Compliant Navigation through Raw Depth Inputs with Generative Adversarial Imitation Learning
The Hong Kong University of Science and Technology（香港科技大学）；Albert Ludwig University of Freiburg（阿尔伯特·路德维希 Freiburg 大学）
我们提出了一种方法，移动机器人学习导航在动态环境中与行人通过原始深度输入，在社会兼容的方式。为了实现这一目标，我们采用了生成对抗模仿学习（GAIL）策略，该策略改进了预先训练的行为克隆策略。我们的方法克服了以前的方法的缺点，因为它们严重依赖于附近行人的位置和速度信息的完整知识，这不仅需要特定的传感器，而且从原始感觉输入中提取这种状态信息可能会消耗大量的计算时间。在本文中，我们提出的基于GAIL的模型直接在原始深度输入和实时计划上执行。实验表明，我们基于GAIL的方法大大提高了移动机器人的行为从纯粹的行为克隆的安全性和效率。现实世界的部署还表明，我们的方法能够直接通过原始深度输入引导自动驾驶汽车以符合社会要求的方式导航。此外，我们还发布了一个模拟插件，用于基于社会力模型对行人行为进行建模。
2018-02-26 cs.AI cs.LG cs.RO
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China（中国海洋大学）
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题，本文提出MAGAISIL，通过人类筛选的自生成优质轨迹逐步替换次优示范，实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
SD2AIL: Adversarial Imitation Learning from Synthetic Demonstrations via Diffusion Models
本文提出SD2AIL，利用扩散模型生成合成演示作为伪专家数据，结合优先级专家演示回放策略提升性能，实验显示在Hopper任务中优于现有方法。
2026-04-29 cs.LG cs.RO
Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning
University of Toronto（多伦多大学）
有效的探索仍然是一个重大的挑战，阻碍了强化学习在许多物理系统中的部署。这对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。在稀疏奖励设置中，密集奖励设计所需的低级状态信息不可用，这一挑战更加突出。对抗性模仿学习（AIL）可以部分克服这一障碍，它利用专家生成的最佳行为演示，并从本质上替代密集的奖励信息。不幸的是，专家演示的可用性并不一定提高代理的能力，有效地探索，正如我们的经验表明，可能会导致效率低下或停滞的学习。我们提出了从引导式游戏（LfGP），一个框架，在这个框架中，我们利用专家演示，除了一个主要任务，多个辅助任务。随后，一个分层模型是用来学习每个任务的奖励和政策，通过修改后的AIL程序，其中所有任务的探索是通过一个调度器组成不同的任务在一起。这提供了许多好处：对于具有挑战性瓶颈转换的主要任务，学习效率得到提高，专家数据在任务之间变得可重复使用，并且通过重复使用学习的辅助任务模型来进行迁移学习成为可能。我们在一个具有挑战性的多任务机器人操作域的实验结果表明，我们的方法相比有利的监督模仿学习和一个国家的最先进的AIL方法。代码可在https://github.com/utiasSTARS/lfgp上获得。
2022-07-19 cs.AI cs.LG cs.RO
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
SHAIL: Safety-Aware Hierarchical Adversarial Imitation Learning for Autonomous Driving in Urban Environments
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Stanford University（斯坦福大学）
针对复杂城市场景自动驾驶决策难题，提出SHAIL分层对抗模仿学习方法，通过高层策略选择底层控制器实现同策略模仿，在基于真实数据的环岛模拟器上验证了优于传统方法的效果。
2023-06-10 cs.RO
ARC - Actor Residual Critic for Adversarial Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
对抗性模仿学习（AIL）是机器人技术中常用的一类流行的最先进的模仿学习算法。在AIL中，人工对手的错误分类被用作奖励信号，该奖励信号由任何标准的强化学习（RL）算法优化。与大多数RL设置不同，AIL中的奖励是$differentiable$，但当前的无模型RL算法没有利用此属性来训练策略。奖励是AIL也是成形的，因为它来自对手。我们利用形状AIL奖励函数的可微性，并制定了一类演员残差评论（ARC）RL算法。ARC算法与RL文献中的标准Actor-Critic（AC）算法并行，并使用残差评论家$C$函数（而不是标准$Q$函数）来仅近似贴现的未来回报（不包括即时奖励）。ARC算法具有与标准AC算法相似的收敛特性，其额外的优点是通过即时奖励的梯度是精确的。对于离散（表格）的情况下，有限的状态，行动，和已知的动态，我们证明了政策迭代与$C$功能收敛到一个最优的政策。在连续的情况下，函数逼近和未知的动态，我们的实验表明，ARC辅助AIL优于标准AIL在模拟连续控制和真正的机器人操作任务。ARC算法易于实现，并且可以与AC算法合并到任何现有的AIL实现中。视频和代码链接可在https://sites.google.com/view/actor-residual-critic上获得。
2022-11-30 cs.LG cs.RO
Noise-conditioned Energy-based Annealed Rewards (NEAR): A Generative Framework for Imitation Learning from Observation
TU Delft（代尔夫特理工大学）；TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）
本文提出噪声条件能量基退火奖励（NEAR）框架，通过去噪分数匹配学习专家运动数据分布的能量函数作为奖励，结合逐步切换策略，在人形机器人任务上避开对抗性模仿学习的优化挑战，取得与AMP相当的结果。
2025-02-12 cs.AI cs.RO
IL-flOw: Imitation Learning from Observation using Normalizing Flows
McGill University（麦吉尔大学）
我们提出了一个算法，逆强化学习（IRL）从专家状态观察。我们的方法将奖励建模与策略学习相结合，这与最先进的对抗方法不同，后者需要在策略搜索期间更新奖励模型，并且已知是不稳定的，难以优化。我们的方法IL-flOw通过对状态-状态转换进行建模来恢复专家策略，通过使用在演示轨迹上训练的深度密度估计器来生成奖励，避免了对抗方法的不稳定问题。我们证明，使用状态转移对数概率密度作为前向强化学习的奖励信号可以转化为匹配专家演示的轨迹分布，并通过实验显示出真实奖励信号的良好恢复以及运动观察和机器人连续控制任务模仿的最新结果。
2022-05-19 cs.AI cs.LG cs.RO
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
Goal-Aware Generative Adversarial Imitation Learning from Imperfect Demonstration for Robotic Cloth Manipulation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
生成对抗模仿学习（GAIL）可以学习策略，而无需从演示中明确定义奖励函数。GAIL有潜力学习以高维观测为输入的策略，例如，图像.通过将GAIL应用于真正的机器人，也许可以获得机器人的日常活动，如洗涤，折叠衣服，烹饪和清洁。然而，人类的示范数据往往是不完美的，由于错误，这降低了性能的政策。我们通过关注以下特征来解决这个问题：1）许多机器人任务都是达到目标的任务，2）在演示数据中标记这些目标状态相对容易。考虑到这些，本文提出了目标感知生成对抗性模仿学习（GA-GAIL），它通过引入第二个参数来区分目标状态，与指示演示数据的第一个参数并行地训练策略。这扩展了一个标准的GAIL框架，通过一个促进实现目标状态的目标状态学习器，即使是从不完美的演示中，也能更稳健地学习理想的策略。此外，GA-GAIL采用熵最大化深度P-网络（EDPN）作为生成器，该生成器在策略更新中同时考虑平滑性和因果熵，以实现来自两个鉴别器的稳定策略学习。我们所提出的方法被成功地应用到两个真正的机器人布料操作任务：把手帕和折叠衣服。我们证实，它学习布料操纵政策没有特定任务的奖励功能设计。真实实验的视频可在https://youtu.be/h_nII2ooUrE上获得。
2022-09-21 cs.RO
Learning from Guided Play: Improving Exploration for Adversarial Imitation Learning with Simple Auxiliary Tasks
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；University of Alberta（阿尔伯塔大学）
针对对抗性模仿学习因探索不足陷入局部最优的问题，提出LfGP框架，通过引入辅助任务专家演示强制探索，在多任务机器人操作中显著优于AIL和行为克隆，且专家样本效率更高。
2023-10-12 cs.AI cs.LG cs.RO
HumanMimic: Learning Natural Locomotion and Transitions for Humanoid Robot via Wasserstein Adversarial Imitation
The University of Tokyo（东京大学）；ETH Zürich（苏黎世联邦理工学院）
该研究提出HumanMimic Wasserstein对抗模仿学习系统，通过运动重定向、结合RL的对抗判别器与带软边界约束的Wasserstein-1距离，使人形机器人JAXON实现多种自然运动及无演示的模式间自然过渡。
2024-04-23 cs.RO
Hierarchical Generative Adversarial Imitation Learning with Mid-level Input Generation for Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出分层生成对抗模仿学习架构hGAIL，通过GAN生成鸟瞰视图中层表示并与GAIL联合训练，解决城市自动驾驶中从原始图像直接学习控制策略不稳定的问题，在CARLA中实现跨城市98%交叉口成功导航。
2024-09-05 cs.AI cs.LG cs.RO
Provably and Practically Efficient Adversarial Imitation Learning with General Function Approximation
Nanjing University（南京大学）
针对现有对抗模仿学习（AIL）理论研究场景受限、算法复杂难落地的问题，提出基于优化的OPT-AIL方法，通过奖励函数在线优化与Q值函数乐观正则贝尔曼误差最小化，实现通用函数逼近下可证明的多项式复杂度，且实际易部署，性能超越现有深度AIL方法。
2024-11-01 cs.LG
Near-Optimal Second-Order Guarantees for Model-Based Adversarial Imitation Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文提出基于模型的对抗模仿学习算法，通过二阶样本复杂性保证，实现近最优的样本效率和理论性能。
2026-02-01 cs.LG
Provably Efficient Adversarial Imitation Learning with Unknown Transitions
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对转移未知场景下对抗模仿学习理论基础不足的问题，本文构建无奖励探索与AIL的关联框架，提出MB-TAIL算法，实现了极小极大最优专家样本复杂度与更优的交互复杂度，并验证了其在函数近似场景下的泛化能力。
2023-06-11 cs.LG
SAFE-GIL: SAFEty Guided Imitation Learning for Robotic Systems
University of Southern California（南加州大学）
SAFE-GIL通过在数据收集时注入对抗性扰动引导专家进入安全关键状态，从而训练出在测试期间更安全的行为克隆策略，并在多个机器人导航任务中显著减少安全失败。
2024-11-19 cs.LG cs.RO cs.SY
How Vulnerable Is My Learned Policy? Universal Adversarial Perturbation Attacks On Modern Behavior Cloning Policies
University of Utah（犹他大学）；University of California, Irvine（加州大学尔湾分校）
研究评估了现代行为克隆策略对白盒、灰盒和黑盒对抗扰动的脆弱性，发现大多数方法易受攻击，包括跨算法的黑盒转移攻击。
2026-10-06 cs.CR cs.LG cs.RO
Task-Centric Policy Optimization from Misaligned Motion Priors
本文提出任务导向的运动先验框架，通过将模仿视为条件正则化器，提升任务性能并抑制有害模仿，验证了在嘈杂示范下的鲁棒性。
2026-02-03 cs.LG cs.RO
Discriminative Barrier Functions for Safe Adversarial Imitation Learning from Observation
University of Washington（华盛顿大学）
研究针对逆强化学习不安全及控制障碍函数设计难的问题，通过将奖励函数候选限制在CBF空间，实现安全在线控制与经验改进，能从无标签观察中恢复障碍函数，模拟实验显示其安全性能提升，并研究了不同IRL方法的权衡。
2026-10-16 cs.RO
Teaching a Robot Dog New Tricks: Diverse Quadruped Skills via Combined Reinforcement and Imitation Learning with Adversarial Task Selection
University of California at Santa Cruz（加州大学圣克鲁兹分校）
本文提出结合强化学习、模仿学习与对抗性任务选择的三阶段方法，训练单一策略完成22项四足任务，在Unitree B1机器人上验证了优于基线的性能与现实鲁棒性。
2026-10-09 cs.RO
Adversarial Data Collection: Human-Collaborative Perturbations for Efficient and Robust Robotic Imitation Learning
Shanghai Jiao Tong University（上海交通大学）；CUHK（香港中文大学）；Agibot（智源）；Beihang University（北京航空航天大学）
本文提出人在回路的 ADC 框架，通过人机协作式实时扰动压缩高信息密度演示，仅用20%数据即使机器人模仿模型获得更强泛化、鲁棒性与错误恢复能力。
2025-03-14 cs.RO
Imitation Learning with Sinkhorn Distances
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
模仿学习算法已被解释为分歧最小化问题的变体。在专家和学习者之间比较占用测量的能力对于他们从示范示教学习中学习的有效性至关重要。在本文中，我们提出了易于处理的解决方案，制定模仿学习之间的占用措施的Sinkhorn距离最小化。该配方结合了宝贵的性能的最佳运输指标比较非重叠的分布与余弦距离成本定义在一个adversarially学习的特征空间。这导致了一个高度区分的评论家网络和最佳的运输计划，随后指导模仿学习。我们评估所提出的方法使用奖励度量和Sinkhorn距离度量的MuJoCo实验的数量。有关实现和再现结果，请参考以下存储库https://github.com/gpapagiannis/sinkhorn-imitation。
2022-07-02 cs.LG cs.RO stat.ML
Experiments in Autonomous Driving Through Imitation Learning
University of Toronto（多伦多大学）
本报告演示了使用监督学习算法和前向RGBD相机制造自动驾驶汽车的几种方法。该项目最初涉及在车辆模型上创建对抗攻击的研究，但由于车辆初始训练的困难，该计划被放弃，以完成项目的模仿学习部分。探讨了许多方法，但由于不平衡的数据集带来的挑战，这些方法的有效性有限。
2020-11-25 cs.RO
CLAW: Continuous Latent Action World Models via Adversarial Regularization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Argonne National Laboratory（阿贡国家实验室）
提出CLAW框架，利用对抗潜在正则化和扩散视频生成，从无动作视频中端到端学习世界模型与连续潜在动作表示，支持观察模仿学习和目标导向规划。
2026-11-09 cs.RO
Stochastic Action Prediction for Imitation Learning
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber Physical Systems（罗伯特·博世信息物理系统中心）
模仿学习是一种数据驱动的获取技能的方法，它依赖于专家演示来学习将观察映射到行动的策略。在执行演示时，专家并不总是一致的，可能会以略有不同的方式完成相同的任务。在本文中，我们展示了固有的随机性，收集的任务，包括线以下的遥控车和操作任务，包括达到，推动，采摘和放置一个对象的演示。我们使用自回归动作生成，生成对抗网络和变分预测来模拟数据分布的随机性，并比较这些方法的性能。我们发现，占随机性的专家数据导致任务完成的成功率大幅提高。
2020-12-26 cs.LG cs.RO
CRIL: Continual Robot Imitation Learning via Generative and Prediction Model
Tsinghua University（清华大学）；Beijing Innovation Center for Future Chip（北京未来芯片创新中心）
模仿学习（IL）算法已经显示出机器人从专家演示中学习技能的有希望的结果。然而，他们需要同时提供多任务演示以获得不同的技能，这在现实世界中是困难的。本文研究如何实现机器人的持续模仿学习能力，使机器人能够不断地学习新任务，从而减轻多任务的学习负担，同时加快新任务的学习过程。我们提出了一种新的轨迹生成模型，该模型采用了生成对抗网络和动态感知预测模型，在新的任务学习过程中从所有学习到的任务中生成伪轨迹。我们在模拟和现实操作任务上的实验证明了我们方法的有效性。
2021-07-02 cs.AI cs.RO
Noise-Guided Transport for Imitation Learning
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
针对低数据场景下的模仿学习，提出噪声引导传输（NGT）方法，通过对抗训练将模仿问题转化为最优传输问题，无需预训练或特殊架构，在极低数据量下实现强性能。
2026-06-11 cs.AI cs.LG
Of Moments and Matching: A Game-Theoretic Framework for Closing the Imitation Gap
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
我们提供了一个统一的观点，以前的模仿学习算法通过镜头的时刻匹配的大家庭。在其核心，我们的分类方案是基于学习者是否试图匹配（1）奖励或（2）专家行为的行动价值时刻，每个选项导致不同的算法方法。通过考虑学习者和专家行为之间的对立选择分歧，我们能够推导出适用于这些类中的所有算法的政策性能的界限，这是我们所知的第一个。我们还介绍了瞬间可恢复性的概念，隐含在许多以前的分析模仿学习，这使我们能够清楚地描绘如何以及每个算法家族能够减轻复合错误。我们推导出三种新的算法模板（AdVIL，AdRIL和DAeQuIL）具有强有力的保证，简单的实现，和竞争力的经验性能。
2021-06-10 cs.LG cs.RO stat.ML
Imitation Learning-based Visual Servoing for Tracking Moving Objects
Università della Svizzera italiana (USI)（瑞士意大利语区大学（USI））；University of Trento（特伦托大学）；Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒莫勒人工智能研究所（IDSIA））
本研究针对跟踪移动目标问题，提出利用模仿学习结合视觉伺服范式，从数据中直接推断跟踪控制器所需的补偿项，避免了显式估计器或观测器的实现，并通过机械臂仿真验证了方法的有效性。
2023-09-14 cs.RO
Domain-Adversarial and Conditional State Space Model for Imitation Learning
Panasonic Corporation（松下电器公司）；Ritsumeikan University（立命馆大学）
研究了部分可观测马尔可夫决策过程中的状态表示学习（SRL），以学习机器人控制任务中有用数据的抽象特征。对于SRL，获取领域不可知的状态对于实现有效的模仿学习是必不可少的。如果没有这些状态，模仿学习就会受到对控制无用的领域相关信息的阻碍。然而，现有的方法无法消除这种干扰的状态时，从专家和代理的数据显示大的域转移。为了克服这个问题，我们提出了一个领域对抗和条件状态空间模型（DAC-SSM），使控制系统获得领域不可知和任务和动态感知的状态。DAC-SSM联合优化状态推断、观测重构、前向动力学和奖励模型。为了从状态中去除域相关信息，模型以对抗方式使用域鉴别器进行训练，并且重建以域标签为条件。我们实验评估的模型预测控制的性能，通过模仿学习连续控制的稀疏奖励任务的模拟器，并比较它与现有的SRL方法的性能。来自DAC-SSM的代理实现了与专家相当的性能，并且是基线的两倍多。我们得出结论，领域不可知的状态是必不可少的模仿学习，具有较大的域转移，可以使用DAC-SSM获得。
2021-06-04 cs.AI cs.LG cs.RO
Parallelized and Randomized Adversarial Imitation Learning for Safety-Critical Self-Driving Vehicles
Korea University（高丽大学）；Mofl Inc.（Mofl 公司）；Hallym University（翰林大学）；California State University, Long Beach（加州州立大学长滩分校）
自动驾驶汽车和自动驾驶研究作为现代人工智能应用中的主要有前途的前景一直受到相当大的关注。随着先进驾驶辅助系统（ADAS）的发展，自动驾驶汽车和自动驾驶系统的设计变得复杂和安全。一般来说，智能系统可以同时有效地激活ADAS功能。因此，必须考虑可靠的ADAS功能协调，以安全地控制驾驶系统。针对这一问题，提出了一种随机对抗模仿学习（RAIL）算法。RAIL是一种新的无导数模仿学习方法，用于协调各种ADAS功能的自动驾驶;因此，它模仿了控制具有各种ADAS功能的自动驾驶的决策者的操作。所提出的方法能够训练决策者处理激光雷达数据和控制多车道复杂公路环境中的自动驾驶。基于仿真的评估验证了所提出的方法达到了预期的性能。
2021-12-26 cs.AI cs.LG cs.RO
