Adversarial Imitation Learning from Visual Observations using Latent Information
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
针对视觉观察模仿学习中动作缺失与部分可观测性挑战，提出潜在对抗模仿算法，结合离策略对抗学习与潜在状态表示，在连续控制任务上达到最先进性能。
2024-05-23 cs.LG cs.SY eess.SY
Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传统上，模仿学习被应用于从单个任务的演示中学习单个任务。结构化和孤立的演示的要求限制了模仿学习方法的可扩展性，因为它们难以应用于现实世界的场景，其中机器人必须能够执行大量任务。在本文中，我们提出了一个多模态的模仿学习框架，能够分割和模仿技能，从无标记和非结构化的示范学习技能分割和模仿学习联合。大量的仿真结果表明，我们的方法可以有效地分离到个人技能的演示，并学习模仿他们使用一个单一的多模态政策。我们实验的视频可以在http://sites.google.com/view/nips17intentiongan上获得
2017-11-23 cs.LG cs.RO
Hindsight Generative Adversarial Imitation Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
与强化学习相比，模仿学习（IL）是训练智能体从专家演示中有效学习控制策略的强大范例。然而，在大多数情况下，获取演示数据既昂贵又费力，这在某些情况下构成了重大挑战。一个有前途的替代方案是通过模仿学习来训练Agent学习技能，而无需专家演示，这在一定程度上将极大地扩展模仿学习领域。为了实现这一目标，本文提出了后见之明生成对抗模仿学习（HGAIL）算法，旨在实现无需演示的模仿学习。将后见之明的思想与生成对抗模仿学习（GAIL）框架相结合，实现了在缺乏专家论证数据的情况下成功实现模仿学习。实验表明，该方法可以训练的政策表现出相当的性能，目前的模仿学习方法。HGAIL从本质上赋予了课程学习机制，而这一机制对学习政策的制定至关重要。
2019-03-19 cs.LG stat.ML
Versatile Skill Control via Self-supervised Adversarial Imitation of Unlabeled Mixed Motions
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习不同的技能是机器人技术的主要挑战之一。为此，模仿学习方法已经取得了令人印象深刻的结果。这些方法需要明确标记的数据集或假设一致的技能执行，以实现对个体行为的学习和主动控制，这限制了它们的适用性。在这项工作中，我们提出了一种合作对抗方法，通过最大限度地提高其可辨别性，从包含不同状态转换模式的未标记数据集中获得具有可控技能集的单一通用策略。此外，我们表明，通过利用生成对抗模仿学习框架中的无监督技能发现，新的和有用的技能出现与成功的任务完成。最后，所获得的多功能的政策进行了测试，一个敏捷的四足机器人称为独奏8，并提出忠实的复制编码在演示中的各种技能。
2023-02-11 cs.AI cs.LG cs.RO
Relational Mimic for Visual Adversarial Imitation Learning
University of Geneva（日内瓦大学）；Apple Inc（苹果公司）
在这项工作中，我们介绍了一种新的方法，模仿学习从视频演示。我们的方法，关系模仿（RM），通过结合生成对抗网络和关系学习，改进了以前的视觉模仿学习方法。RM是灵活的，可以与生成对抗模仿学习的其他最新进展结合使用，以更好地满足对更强大和样本效率更高的方法的需求。此外，我们还介绍了一种新的神经网络架构，该架构改进了之前的强化学习最新技术，并说明了如何提高代理的关系推理能力，使后者能够在具有挑战性的运动任务中实现越来越高的性能像素输入。最后，我们通过消融研究，研究了关系学习在政策评估、政策改进和奖励学习中的作用和贡献。
2019-12-18 cs.AI cs.CV cs.LG
Wasserstein Distance guided Adversarial Imitation Learning with Reward Shape Exploration
Tsinghua University（清华大学）；Sun Yat-Sen University（中山大学）
生成式对抗模仿学习（GAIL）提供了一个对抗性学习框架，用于从高维连续任务的演示中模仿专家策略。然而，几乎所有的GAIL及其扩展都只设计了一种对数形式的奖励函数在对抗训练策略与Jensen-Shannon（JS）的分歧，为所有复杂的环境。固定对数类型的奖励函数可能难以解决所有复杂的任务，而JS发散引起的梯度消失问题将损害对抗学习过程。本文提出了一种新的Wasserstein距离引导的对抗性模仿学习（WDAIL）算法，以提高模仿学习（IL）的性能。该方法有三个改进：（a）在对抗训练过程中引入Wasserstein距离以获得更合适的度量;（b）在强化学习阶段使用近端策略优化（PPO），实现更简单，提高算法效率;（c）探索不同的奖励函数形状以适应不同的任务以提高性能。实验结果表明，该学习过程保持了显著的稳定性，在MuJoCo复杂的连续控制任务中取得了显著的效果。
2020-12-08 cs.LG cs.RO stat.ML
Latent Policies for Adversarial Imitation Learning
University of California, San Diego（加州大学圣地亚哥分校）
本文认为学习机器人运动和操作任务的专家演示。生成对抗性模仿学习（GAIL）训练区分专家和代理转换的鉴别器，然后使用鉴别器输出定义的奖励来优化代理的策略生成器。这种生成式对抗训练方法非常强大，但取决于训练器和生成器训练之间的微妙平衡。在高维问题中，训练可能很容易过度拟合或利用与任务无关的特征的关联进行转换分类。这项工作的一个关键见解是，在合适的潜在任务空间中执行模仿学习可以使训练过程稳定，即使在具有挑战性的高维问题中也是如此。我们使用一个动作编码器-解码器模型来获得一个低维的潜在动作空间，并使用对抗性模仿学习（LAPAL）来训练一个潜在策略。编码器-解码器模型可以从状态-动作对离线训练以获得任务不可知的潜在动作表示，或者在线训练，同时进行编码器和生成器训练，以获得任务感知的潜在动作表示。我们证明了LAPAL训练是稳定的，具有接近单调的性能改进，并且在大多数运动和操作任务中实现了专家性能，而GAIL基线收敛较慢，并且在高维环境中没有实现专家性能。
2022-06-22 cs.LG cs.RO
Generative Adversarial Imitation Learning for End-to-End Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
自动驾驶是一项复杂的任务，自1989年第一辆自动驾驶汽车ALVINN以来，人们一直在使用监督学习方法或行为克隆（BC）来解决这个问题。在BC中，神经网络用构成由专家制作的训练集的状态-动作对来训练，即，人类司机然而，这种类型的模仿学习没有考虑在导航轨迹的不同时刻采取的动作之间可能存在的时间依赖性。这些类型的任务更好地由强化学习（RL）算法处理，该算法需要定义奖励函数。另一方面，最近的模仿学习方法，如生成对抗模仿学习（GAIL），可以训练策略，而无需明确要求定义奖励函数，允许代理直接在专家轨迹的训练集上通过试错来学习。在这项工作中，我们提出了两个变化的GAIL自主导航的车辆在现实的CARLA模拟环境中的城市场景。它们都使用相同的网络架构，处理来自三个前置摄像头的高维图像输入，以及代表速度的其他九个连续输入，稀疏轨迹的下一个点和高级驾驶命令。我们表明，它们都能够在训练结束后从头到尾模仿专家轨迹，但用BC增强的GAIL损失函数在收敛时间和训练稳定性方面优于前者。
2021-10-16 cs.AI cs.LG cs.RO
Generative Adversarial Self-Imitation Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文通过提出生成对抗自模仿学习（GASIL）来探索一种简单的强化学习正则化器，该正则化器通过生成对抗模仿学习框架来鼓励智能体模仿过去的良好轨迹。GASIL不是直接最大化奖励，而是专注于再现过去的良好轨迹，这可能会在奖励稀疏和延迟时使长期信用分配更容易。GASIL可以很容易地与任何策略梯度目标相结合，通过使用GASIL作为一个学习成形的奖励函数。我们的实验结果表明，GASIL提高了近端策略优化的性能在2D点质量和MuJoCo环境延迟奖励和随机动态。
2018-12-03 cs.AI cs.LG stat.ML
Diffusion-Reward Adversarial Imitation Learning
National Taiwan University（台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；NVIDIA（英伟达）
针对生成对抗模仿学习（GAIL）训练脆弱不稳定的问题，提出扩散奖励对抗模仿学习（DRAIL），将扩散模型集成到GAIL中构建增强判别器并设计扩散奖励，在多任务实验中验证了其有效性、泛化能力和数据效率，能生成更稳健平滑的奖励。
2024-11-26 cs.AI cs.LG cs.RO
Sample-efficient Adversarial Imitation Learning from Observation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；U.S. Army Research Laboratory（美国陆军研究实验室）
从观察中模仿是通过观察被证明的状态轨迹来学习任务的框架。最近，对抗性方法在模仿复杂行为方面比其他方法取得了显着的性能改进。然而，这些对抗性模仿算法通常需要许多演示示例和学习迭代来产生成功模仿演示者行为的策略。这种高样本复杂性通常会阻止这些算法部署在物理机器人上。在本文中，我们提出了一种算法，解决了样本效率低下的问题，利用轨迹为中心的强化学习算法的想法。我们测试我们的算法，并进行实验，使用模拟任务的物理机器人手臂和其模拟版本的凉亭，并将显示学习率和效率的提高。
2019-06-18 cs.LG stat.ML
Randomized Adversarial Imitation Learning for Autonomous Driving
Chung-Ang University（中央大学）
随着各种先进驾驶辅助系统（ADAS）平台的发展，自动驾驶系统的设计变得更加复杂和安全。自动驾驶系统同时激活多个ADAS功能，因此必须协调各种ADAS功能。本文提出了一种随机对抗模仿学习（RAIL）方法，模仿配备先进传感器的自主车辆的协调。RAIL策略通过无衍生优化进行训练，以供决策者协调适当的ADAS功能，例如，智能巡航控制和车道保持系统。特别是，该方法还能够处理激光雷达数据，并在复杂的多车道公路和多智能体环境中做出决策。
2019-05-13 cs.AI cs.LG cs.RO
Mitigation of Adversarial Policy Imitation via Constrained Randomization of Policy (CRoP)
SAIL Lab（SAIL实验室）；University of New Haven（纽黑文大学）
深度强化学习（DRL）策略容易受到未经授权的复制攻击，其中对手利用模仿学习从观察到的行为中复制目标策略。在本文中，我们提出了约束随机化的政策（CRoP）作为缓解这种攻击的技术。CRoP导致在性能损失约束下随机执行次优动作。我们提出了一个参数分析的CRoP，解决CRoP的最优性，并建立理论界的对抗预算和损失的期望。此外，我们报告了在Atari环境下的对抗性模仿的CRoP的实验评估，证明了我们提出的方法对策略复制攻击的有效性和可行性。
2021-09-29 cs.AI cs.LG
State-Conditional Adversarial Learning: An Off-Policy Visual Domain Transfer Method for End-to-End Imitation Learning
University of California, Berkeley, CA, USA（加州大学伯克利分校）
针对目标域数据严格离策略、无专家且稀缺的挑战，提出状态条件对抗学习（SCAL），通过状态条件潜在KL散度的判别器估计对齐分布，实现鲁棒的视觉域迁移。
2026-06-01 cs.RO
Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Nanjing University（南京大学）；Tsinghua University（清华大学）
生成对抗模仿学习（GAIL）利用生成对抗网的优势，在机器人学习领域取得了可喜的成果。然而，孤立的单模态演示的要求限制了该方法在现实世界场景中的可扩展性，例如自动驾驶汽车对正确理解人类驾驶员行为的需求。在本文中，我们提出了一种新的多模态GAIL框架，命名为Triple-GAIL，这是能够学习技能选择和模仿共同从专家演示和不断产生的经验与数据增强的目的，通过引入一个辅助技能选择器。我们分别为生成器和选择器提供了收敛到最优解的理论保证。在真实驾驶员轨迹和实时策略游戏数据集上的实验表明，Triple-GAIL可以更好地拟合接近演示者的多模态行为，并优于最先进的方法。
2020-05-22 cs.AI cs.LG cs.RO
Adversarial Imitation Learning via Random Search in Lane Change Decision-Making
Chung-Ang University（中央大学）
随着高级驾驶员辅助系统（ADAS）功能变得越来越复杂，自动驾驶需要适当协调ADAS功能之间的交互和通信的策略。本文提出了一种基于无导数优化的模仿学习方法，用于协调适当的ADAS功能的决策者。该方法能够在多车道高速公路的LIDAR数据的及时决策。基于仿真的评估验证了所提出的方法呈现出预期的性能。
2021-09-11 cs.RO
Multi-Agent Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
模仿学习算法可用于从专家演示中学习策略，而无需访问奖励信号。然而，大多数现有的方法是不适用于多智能体设置由于存在多个（纳什）均衡和非平稳环境。我们提出了一个新的框架，多智能体模仿学习一般马尔可夫游戏，在那里我们建立在广义逆强化学习的概念。我们进一步介绍了一个实用的多代理actor-critic算法具有良好的经验性能。我们的方法可以用来模仿复杂的行为在高维环境中的多个合作或竞争代理。
2018-07-26 cs.AI cs.LG cs.MA
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
University of California Berkeley（加利福尼亚大学伯克利分校）；National University of Singapore（新加坡国立大学）；Sony Research（索尼研究院）
针对序列建模难适应分布偏移、对抗模仿学习样本效率低的问题，提出结合BeT策略与在线AIL的残差式BeTAIL方法，在赛车游戏任务中减少交互、提升性能与稳定性。
2024-07-11 cs.LG cs.RO
Adversarial Option-Aware Hierarchical Imitation Learning
Tsinghua University（清华大学）；THU-Bosch JCML center（清华-博世机器学习联合中心）；University of California, Los Angeles（加州大学洛杉矶分校）；Bytedance AI Lab（字节跳动人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
从长期的未注释的演示中学习智能体的技能一直是一个挑战。现有的方法，如分层模仿学习（HIL）容易出现复合错误或次优解决方案。在本文中，我们提出了Option-GAIL，一种新的方法来学习技能，在长期的视野。Option-GAIL的核心思想是用选项来建模任务层次，并通过生成对抗优化来训练策略。特别是，我们提出了一个期望最大化（EM）式的算法：一个E-步骤，采样的专家条件下的当前学习的政策的选项，和一个M-步骤，更新的低和高层次的代理政策，同时最大限度地减少新提出的专家和代理之间的选项占用测量。我们从理论上证明了所提出的算法的收敛性。实验表明，Option-GAIL在各种任务中始终优于其他同行。
2021-06-11 cs.LG cs.RO
Error Bounds of Imitating Policies and Environments
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Polixir Technologies（波利克斯尔科技）
模仿学习通过模仿专家演示来训练策略。各种模拟方法被提出并进行了实证评价，但其理论认识还有待进一步研究。本文首先通过行为克隆和生成对抗模仿两种模仿方法分析了专家策略与被模仿策略之间的价值差距。实验结果表明，与行为克隆相比，生成对抗模仿可以减少合成错误，从而具有更好的样本复杂度。注意到通过将环境迁移模型看作一个对偶智能体，模仿学习也可以用来学习环境模型。因此，在模仿政策的边界基础上，我们进一步分析了模仿环境的绩效。实验结果表明，生成对抗性模仿比行为克隆更能有效地模仿环境模型，为基于基于模型的强化学习提供了一种新的对抗性模仿方法.我们希望这些结果能够启发未来模仿学习和基于模型的强化学习的发展。
2020-10-22 cs.LG
Regularizing Adversarial Imitation Learning Using Causal Invariance
ETH Zürich（苏黎世联邦理工学院）
针对对抗模仿学习易吸收专家数据中虚假相关性的问题，本文提出以因果不变性作为对抗训练正则化原则，并可直接用于现有框架，在二维环境和高维机器人运动任务上验证了有效性。
2023-08-17 cs.AI cs.LG
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts（美国艺电）
针对强化学习难以建模多样人类游戏风格的问题，提出MultiGAIL，通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略，并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
Wasserstein Adversarial Imitation Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
模仿学习描述了从演示中恢复专家策略的问题。虽然逆强化学习方法在专家演示方面是非常有效的，但它们通常需要问题相关的奖励函数或（任务）特定的奖励函数正则化。在本文中，我们展示了逆强化学习方法和最优运输之间的自然联系，它使更一般的奖励函数具有理想的属性（例如，平滑度）。基于我们的观察，我们提出了一种新的方法，称为Wasserstein对抗模仿学习。我们的方法将Kantorovich势视为奖励函数，并进一步利用正则化的最优传输来实现大规模应用。在几个机器人实验中，我们的方法在平均累积奖励方面优于基线，并且只需要一个专家演示，就可以显着提高样本效率。
2019-06-19 cs.LG stat.ML
DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
Nanyang Technological University（南洋理工大学）；Desay SV Automotive（德赛西威汽车）
DecompGAIL通过分解多智能体生成对抗模仿学习方法，解决多智能体设置中GAIL的不稳定性问题，提升交通行为的真实性和整体性能。
2026-01-26 cs.AI cs.LG cs.RO
Sample-Efficient Imitation Learning via Generative Adversarial Nets
University of Geneva（日内瓦大学）；Geneva School of Business Administration, HES-SO（瑞士西部高等专业学院日内瓦工商管理学院）
GAIL是最近成功的模仿学习架构，它利用了GANs中引入的对抗训练过程。尽管GAIL成功地生成了与向代理演示的行为相似的行为，但它在环境中必须进行的交互数量方面具有很高的样本复杂性，以便实现令人满意的性能。我们将学习行为良好的模仿策略所需的与环境的交互量大幅减少了几个数量级。我们的框架，在无模型的制度下运行，通过同时a）学习一个自我调整的对抗训练的代理奖励和b）利用一个非政策的演员-评论家架构，比以前的方法显着提高了样本效率。我们表明，我们的方法是简单的实施和学习代理保持非常稳定，如我们的实验中所示，跨越各种连续控制任务。视频可视化可在：\url{https://youtu.be/-nCsqUJnRKU}。
2019-03-08 cs.LG stat.ML
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China（中国海洋大学）
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题，本文提出MAGAISIL，通过人类筛选的自生成优质轨迹逐步替换次优示范，实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
SD2AIL: Adversarial Imitation Learning from Synthetic Demonstrations via Diffusion Models
本文提出SD2AIL，利用扩散模型生成合成演示作为伪专家数据，结合优先级专家演示回放策略提升性能，实验显示在Hopper任务中优于现有方法。
2026-04-29 cs.LG cs.RO
Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization
Québec AI institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Facebook AI Research（Facebook人工智能研究院）；Element AI；Ubisoft Montreal’s La Forge R&D laboratory（育碧蒙特利尔La Forge研发实验室）
对抗性模仿学习在学习一个模型（区分专家的演示和生成的演示）和一个生成器的策略之间交替进行，以生成可以欺骗这个模型的轨迹。这种交替优化在实践中是微妙的，因为它将不稳定的对抗训练与脆弱和样本效率低下的强化学习结合在一起。我们建议通过利用一种新的策略优化公式来消除政策优化步骤的负担。具体地说，我们的迭代策略明确地以两个策略为条件：来自前一个生成器的迭代的策略和可学习的策略。当优化时，该学习器直接学习最优生成器的策略。因此，我们的更新免费解决了生成器的优化问题：学习模仿专家的策略不需要额外的优化循环。这种公式通过完全去除强化学习阶段，有效地将对抗模仿学习算法的实现和计算负担减少了一半。我们在各种任务上表明，我们更简单的方法与流行的模仿学习方法相比具有竞争力。
2021-04-16 cs.AI cs.LG stat.ML
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University（北京大学）
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展，但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中，我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题，其中我们假设没有手工制作的密集奖励，而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题，我们确定了几个关键问题，可以失败的以前的模仿学习算法，并阻碍了推广到看不见的实例。然后，我们提出了几个一般的，但关键的技术，包括生成对抗性自我模仿学习从示范，渐进增长的学习，和实例平衡专家缓冲区，准确地指出和解决这些问题，可以受益于类别级操作策略学习，无论任务。我们在ManiSkill基准上的实验表明，所有任务都有显着的改进，我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
Auto-Encoding Adversarial Imitation Learning
Shanghai Qi Zhi Institute（上海期智研究院）；Tencent AI Lab（腾讯AI实验室）；Worcester Polytechnic Institute（伍斯特理工学院）；Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对强化学习需手动设计奖励函数的问题，提出基于自编码器重构误差作为奖励信号的AEAIL框架，在两类环境中表现优于现有方法，且对含噪演示鲁棒性更强。
2024-02-02 cs.LG
Understanding Adversarial Imitation Learning in Small Sample Regime: A Stage-coupled Analysis
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
模仿学习从专家轨迹中学习策略。虽然专家数据被认为是至关重要的模仿质量，它被发现，一种模仿学习的方法，对抗性模仿学习（AIL），可以有特殊的性能。由于只有一个专家轨迹，AIL即使在很长的时间内也可以在运动控制等任务上与专家表现相匹配。这一现象有两个神秘之处。第一，为什么AIL只需要几个专家轨迹就能表现良好？第二，为什么AIL尽管规划期很长，但仍能保持良好的业绩？本文从理论上对这两个问题进行了探讨。对于一个基于总变化距离的AIL（称为TV-AIL），我们的分析显示了一个地平线上的自由模仿差距$\mathcal O(\{\min\{1, \sqrt{|\mathcal S|/N} \})$抽象的一类实例从运动控制任务。这里，$|\mathcal S|$是表格马尔可夫决策过程的状态空间大小，而$N$是专家轨迹的数量。我们强调我们的约束的两个重要特征。首先，这个界限在小样本和大样本情况下都是有意义的。第二，这个界限表明，无论规划水平如何，TV-AIL的模仿差距最多为1。因此，这个界限可以解释经验观察。在技术上，我们利用TV-AIL的多阶段策略优化结构，通过动态规划提出了一种新的阶段耦合分析方法
2022-08-03 cs.LG
Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
最近对深度强化学习（RL）漏洞的研究表明，对手代理采用的对抗策略可以影响目标RL代理（受害者代理）在多代理环境中表现不佳。在现有的研究中，对抗性政策是直接训练的基础上与受害者代理的互动经验。这种方法有一个关键的缺点：从历史互动中获得的知识可能无法正确地推广到受害者代理的未探索的政策区域，这使得经过训练的对抗性政策的有效性大大降低。在这项工作中，我们设计了一个新的有效的对抗策略学习算法，克服了这一缺点。我们的新算法的核心思想是创建一个新的模仿者来模仿受害者代理的策略，而对抗策略不仅基于与受害者代理的交互，而且还基于模仿者的反馈来预测受害者的意图。通过这样做，我们可以利用模仿学习的能力，仅基于受害者的样本轨迹就可以很好地捕捉受害者策略的潜在特征。我们的受害者模仿学习模型不同于以前的模型，因为环境的动态由对手的策略驱动，并且在对抗策略训练过程中会不断变化。当对手的策略稳定时，我们给出了一个可证明的界来保证一个理想的模仿策略。我们通过让模仿者成为受害者的更强版本，进一步加强了我们的对抗性策略学习。最后，我们使用四个竞争激烈的MuJoCo游戏环境的广泛实验表明，我们提出的对抗性策略学习算法优于最先进的算法。
2022-10-30 cs.LG
DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Army Research Laboratory（陆军研究实验室）；Sony AI（索尼AI）
在从观察IfO的模仿学习中，学习代理试图仅使用对演示行为的观察来模仿演示代理，而不访问由演示者生成的控制信号。基于对抗性模仿学习的最新方法在IfO问题上具有最先进的性能，但由于依赖于数据效率低下的无模型强化学习算法，它们通常具有高样本复杂度。这个问题使得它们在现实环境中部署不切实际，在现实环境中，收集样本可能会在时间，能源和风险方面产生高成本。在这项工作中，我们假设我们可以将基于模型的强化学习的思想与IfO的对抗方法相结合，以便在不牺牲性能的情况下提高这些方法的数据效率。具体来说，我们考虑时变线性高斯政策，并提出了一种方法，集成了线性二次调节器与路径积分政策改进到现有的对抗IfO框架。其结果是一个更有效的数据IfO算法具有更好的性能，我们在四个模拟领域的经验表明：使用少得多的与环境的相互作用，所提出的方法表现出类似或更好的性能比现有技术。
2021-03-31 cs.AI cs.LG
DiffAIL: Diffusion Adversarial Imitation Learning
Shandong University（山东大学）
针对传统对抗模仿学习中判别器分布学习不准确的问题，提出将扩散模型引入AIL框架的DiffAIL方法，通过扩散损失优化判别器，在两项基准任务上取得超越专家演示的最优性能。
2023-12-12 cs.LG
Model Predictive Adversarial Imitation Learning for Planning from Observation
Paul G. Allen School of Computer Science & Engineering（保罗·G·阿伦计算机科学与工程学院）
本文提出一种基于模型预测的对抗模仿学习方法，通过端到端学习从观察中规划，提升样本效率和鲁棒性。
2026-03-02 cs.AI cs.RO
Rethinking Adversarial Inverse Reinforcement Learning: Policy Imitation, Transferable Reward Recovery and Algebraic Equilibrium Proof
本文重新审视 AIRL 面临的三项批评，通过引入 SAC 改进策略模仿，提出 PPO-AIRL + SAC 混合框架恢复可迁移奖励，并从代数理论角度重审均衡证明。
2024-10-27 cs.LG stat.ML
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning
Osaka University（大阪大学）；The University of Tokyo（东京大学）
生成对抗式模仿学习（GAIL）在机器人学习领域受到越来越多的关注。它使机器人能够学习一种策略来完成专家演示的任务，同时估计专家行为背后的奖励函数。然而，该框架仅限于学习具有单个奖励函数的单个任务。本研究提出了一个扩展框架，称为情境GAIL（S-GAIL），其中一个任务变量被引入到GAIL框架的生成器和生成器。任务变量的作用是区分不同的上下文，使框架学习不同的奖励函数和策略的多个任务。为了实现早期收敛的学习和鲁棒性在奖励估计，我们引入了一个术语来调整熵正则化系数在发电机的目标函数。我们使用两个设置（在离散网格世界中导航和在连续空间中手臂到达）的实验表明，所提出的框架可以比现有框架更有效地获得多个奖励函数和策略。任务变量使我们的框架能够区分上下文，同时在多个任务之间共享公共知识。
2019-11-01 cs.AI cs.LG cs.RO
Adversarial Exploitation of Policy Imitation
Kansas State University（堪萨斯州立大学）
本文研究了针对深度强化学习（DRL）策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性（例如，分类器）到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力，从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中，我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外，我们开发了概念验证攻击，利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念，缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
ARC - Actor Residual Critic for Adversarial Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
对抗性模仿学习（AIL）是机器人技术中常用的一类流行的最先进的模仿学习算法。在AIL中，人工对手的错误分类被用作奖励信号，该奖励信号由任何标准的强化学习（RL）算法优化。与大多数RL设置不同，AIL中的奖励是$differentiable$，但当前的无模型RL算法没有利用此属性来训练策略。奖励是AIL也是成形的，因为它来自对手。我们利用形状AIL奖励函数的可微性，并制定了一类演员残差评论（ARC）RL算法。ARC算法与RL文献中的标准Actor-Critic（AC）算法并行，并使用残差评论家$C$函数（而不是标准$Q$函数）来仅近似贴现的未来回报（不包括即时奖励）。ARC算法具有与标准AC算法相似的收敛特性，其额外的优点是通过即时奖励的梯度是精确的。对于离散（表格）的情况下，有限的状态，行动，和已知的动态，我们证明了政策迭代与$C$功能收敛到一个最优的政策。在连续的情况下，函数逼近和未知的动态，我们的实验表明，ARC辅助AIL优于标准AIL在模拟连续控制和真正的机器人操作任务。ARC算法易于实现，并且可以与AC算法合并到任何现有的AIL实现中。视频和代码链接可在https://sites.google.com/view/actor-residual-critic上获得。
2022-11-30 cs.LG cs.RO
Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google Brain（谷歌大脑）
我们确定了两个问题的基础上的对抗性模仿学习框架的算法的家庭。第一个问题是这些算法中使用的奖励函数中存在的隐式偏差。虽然这些偏见可能在某些环境中工作得很好，但它们也可能导致其他环境中的次优行为。其次，即使这些算法可以从一些专家演示中学习，它们也需要与环境进行大量的交互，以便在许多现实世界的应用中模仿专家。为了解决这些问题，我们提出了一种名为Discriminator-Actor-Critic的新算法，该算法使用非策略强化学习将策略-环境交互样本复杂度降低了10倍。此外，由于我们的奖励函数被设计为无偏的，我们可以将我们的算法应用于许多问题，而无需进行任何特定于任务的调整。
2018-10-15 cs.LG stat.ML
TrajGAIL: Generating Urban Vehicle Trajectories using Generative Adversarial Imitation Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；The University of Queensland（昆士兰大学）
近年来，大量的城市车辆轨迹数据被采集到道路网络中。许多研究已经使用机器学习算法来分析车辆轨迹中的模式以预测个体旅行者的位置序列。与以前的研究，使用判别建模方法，本研究提出了一种生成建模方法来学习城市车辆轨迹数据的基本分布。用于城市车辆轨迹的生成模型可以通过学习训练数据的潜在分布来更好地从训练数据概括，并且因此产生与具有有限观测的真实车辆轨迹类似的合成车辆轨迹。合成轨迹可以为使用位置数据时的数据稀疏或数据隐私问题提供解决方案。本研究提出TrajGAIL，一个生成式对抗模仿学习框架，用于城市车辆轨迹生成。在TrajGAIL，学习位置序列中观察到的轨迹制定为一个模仿学习问题的部分可观察马尔可夫决策过程。该模型由生成式对抗框架训练，该框架使用来自对抗性模型的奖励函数。仿真和真实世界的数据集进行测试，结果表明，该模型获得了显着的性能增益相比，现有的模型在序列建模。
2021-01-16 cs.LG stat.ML
SHAIL: Safety-Aware Hierarchical Adversarial Imitation Learning for Autonomous Driving in Urban Environments
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Stanford University（斯坦福大学）
针对复杂城市场景自动驾驶决策难题，提出SHAIL分层对抗模仿学习方法，通过高层策略选择底层控制器实现同策略模仿，在基于真实数据的环岛模拟器上验证了优于传统方法的效果。
2023-06-10 cs.RO
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Visual Adversarial Imitation Learning using Variational Models
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
奖励函数规范需要大量的人力和迭代，仍然是通过深度强化学习学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常提供了一种更简单，更自然的方式来教导代理。我们考虑一个设置，其中代理提供了一个固定的可视化演示数据集，说明如何执行一项任务，必须学会使用提供的演示和无监督的环境交互来解决任务。这种设置带来了许多挑战，包括用于视觉观察的表示学习、由于高维空间导致的样本复杂性以及由于缺乏固定奖励或学习信号导致的学习不稳定性。为了应对这些挑战，我们开发了一个基于变分模型的对抗性模仿学习（V-MAIL）算法。基于模型的方法为表示学习提供了强信号，实现了样本效率，并通过启用同策略学习来提高对抗训练的稳定性。通过涉及几个基于视觉的运动和操作任务的实验，我们发现V-MAIL以样本有效的方式学习成功的视觉策略，与以前的工作相比具有更好的稳定性，并且还实现了更高的渐近性能。我们进一步发现，通过转移学习的模型，V-MAIL可以从视觉演示中学习新的任务，而无需任何额外的环境交互。包括视频在内的所有结果都可以在\url{https://sites.google.com/view/variational-mail}在线找到。
2022-06-27 cs.AI cs.LG cs.RO
Socially Compliant Navigation through Raw Depth Inputs with Generative Adversarial Imitation Learning
The Hong Kong University of Science and Technology（香港科技大学）；Albert Ludwig University of Freiburg（阿尔伯特·路德维希 Freiburg 大学）
我们提出了一种方法，移动机器人学习导航在动态环境中与行人通过原始深度输入，在社会兼容的方式。为了实现这一目标，我们采用了生成对抗模仿学习（GAIL）策略，该策略改进了预先训练的行为克隆策略。我们的方法克服了以前的方法的缺点，因为它们严重依赖于附近行人的位置和速度信息的完整知识，这不仅需要特定的传感器，而且从原始感觉输入中提取这种状态信息可能会消耗大量的计算时间。在本文中，我们提出的基于GAIL的模型直接在原始深度输入和实时计划上执行。实验表明，我们基于GAIL的方法大大提高了移动机器人的行为从纯粹的行为克隆的安全性和效率。现实世界的部署还表明，我们的方法能够直接通过原始深度输入引导自动驾驶汽车以符合社会要求的方式导航。此外，我们还发布了一个模拟插件，用于基于社会力模型对行人行为进行建模。
2018-02-26 cs.AI cs.LG cs.RO
SAFE-GIL: SAFEty Guided Imitation Learning for Robotic Systems
University of Southern California（南加州大学）
SAFE-GIL通过在数据收集时注入对抗性扰动引导专家进入安全关键状态，从而训练出在测试期间更安全的行为克隆策略，并在多个机器人导航任务中显著减少安全失败。
2024-11-19 cs.LG cs.RO cs.SY
PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward
Boston University（波士顿大学）
本文提出PAGAR半监督奖励设计范式，通过混合奖励函数训练策略，解决IRL中奖励错位导致的任务失败，并在复杂任务中优于标准IL基线。
2024-02-07 cs.LG
When Will Generative Adversarial Imitation Learning Algorithms Attain Global Convergence
The Ohio State University（俄亥俄州立大学）
生成对抗模仿学习（GAIL）是一种流行的反向强化学习方法，用于从专家轨迹中联合优化策略和奖励。关于GAIL的一个主要问题是将某个策略梯度算法应用于GAIL是否获得全局最小值（即，产生专家策略），对此现有的理解非常有限。这样的全局收敛性仅在线性（或线性型）MDP和线性（或可线性化）报酬下得到证明。在本文中，我们研究GAIL下一般MDP和非线性奖励函数类（只要目标函数是强凹的奖励参数）。我们描述了一个次线性速率的全局收敛性的广泛使用的策略梯度算法，所有这些都是实现在一个交替的方式与随机梯度上升的奖励更新，包括预计策略梯度（PPG）-GAIL，弗兰克-沃尔夫策略梯度（FWPG）-GAIL，信任域策略优化（TRPO）-GAIL和自然策略梯度（NPG）-GAIL。这是第一次对GAIL算法的全局收敛性进行系统的理论研究。
2020-06-25 cs.LG stat.ML
On Computation and Generalization of Generative Adversarial Imitation Learning
Georgia Tech（佐治亚理工学院）；Xi’an Jiaotong University（西安交通大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
生成对抗模仿学习（GAIL）是一种学习顺序决策策略的强大而实用的方法。与强化学习（RL）不同，GAIL利用专家的演示数据（例如，人类），并学习未知环境的策略和奖励函数。尽管取得了重大的经验进展，GAIL背后的理论在很大程度上仍然是未知的。主要的困难来自潜在的时间依赖性的示范数据和极小极大计算公式GAIL没有凹凸结构。为了弥合理论与实践之间的差距，本文研究了GAIL的理论特性。具体而言，我们显示：（1）对于一般报酬参数化的GAIL，只要适当控制报酬函数的类，就可以保证推广性;（2）对于报酬参数化为再生核函数的GAIL，可以用随机一阶优化算法有效地求解，该算法可以达到次线性收敛到平稳解.据我们所知，这些是第一个结果的统计和计算保证模仿学习与奖励/政策函数近似。数值实验支持我们的分析。
2020-01-12 cs.LG stat.ML
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软人工智能研究院）
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定，这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题，我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后，在对抗逆强化学习的框架下，我们提出了一种新的对话生成奖励模型，可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明，我们的模型可以产生更多的高质量的响应，并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Generative Adversarial Neuroevolution for Control Behaviour Imitation
Montreal University Geriatric Institute（蒙特利尔大学老年医学研究所）
提出协同进化对抗生成框架，利用深度神经进化在8项OpenAI Gym控制任务上模仿预训练智能体，精英演员达到相近分数并贴合其轨迹。
2023-04-03 cs.LG cs.NE
Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning
University of Toronto（多伦多大学）
有效的探索仍然是一个重大的挑战，阻碍了强化学习在许多物理系统中的部署。这对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。在稀疏奖励设置中，密集奖励设计所需的低级状态信息不可用，这一挑战更加突出。对抗性模仿学习（AIL）可以部分克服这一障碍，它利用专家生成的最佳行为演示，并从本质上替代密集的奖励信息。不幸的是，专家演示的可用性并不一定提高代理的能力，有效地探索，正如我们的经验表明，可能会导致效率低下或停滞的学习。我们提出了从引导式游戏（LfGP），一个框架，在这个框架中，我们利用专家演示，除了一个主要任务，多个辅助任务。随后，一个分层模型是用来学习每个任务的奖励和政策，通过修改后的AIL程序，其中所有任务的探索是通过一个调度器组成不同的任务在一起。这提供了许多好处：对于具有挑战性瓶颈转换的主要任务，学习效率得到提高，专家数据在任务之间变得可重复使用，并且通过重复使用学习的辅助任务模型来进行迁移学习成为可能。我们在一个具有挑战性的多任务机器人操作域的实验结果表明，我们的方法相比有利的监督模仿学习和一个国家的最先进的AIL方法。代码可在https://github.com/utiasSTARS/lfgp上获得。
2022-07-19 cs.AI cs.LG cs.RO
Adversarial Imitation Learning via Random Search
Chung-Ang University（韩国中央大学）
开发能够执行具有挑战性的复杂任务的智能体是强化学习的目标。无模型强化学习被认为是一种可行的解决方案。然而，最先进的研究一直在开发越来越复杂的技术。这种日益增加的复杂性使得重建变得困难。此外，奖励依赖问题仍然存在。因此，从专家的演示中学习政策的模仿学习的研究开始受到关注。模仿学习直接根据专家的行为数据学习策略，而不需要环境提供明确的奖励信号。然而，模仿学习试图基于信任区域策略优化等深度强化学习来优化策略。因此，基于深度强化学习的模仿学习也带来了可复制性的危机。复杂无模型问题已经引起了广泛的关注。基于无导数优化的强化学习和策略的简化在动态复杂任务上获得了有竞争力的性能。简化的策略和无导数的方法使算法简单。研究演示的重新配置变得容易。在本文中，我们提出了一个模仿学习方法，利用简单的线性政策的导数自由优化。所提出的方法执行简单的随机搜索的参数空间的政策，并显示计算效率。实验结果表明，该模型在没有环境直接奖励信号的情况下，在MuJoCo运动任务上获得了较好的性能.
2020-08-21 cs.LG stat.ML
