Rethinking Adversarial Inverse Reinforcement Learning: Policy Imitation, Transferable Reward Recovery and Algebraic Equilibrium Proof
本文重新审视 AIRL 面临的三项批评，通过引入 SAC 改进策略模仿，提出 PPO-AIRL + SAC 混合框架恢复可迁移奖励，并从代数理论角度重审均衡证明。
2024-10-27 cs.LG stat.ML
Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google Brain（谷歌大脑）
我们确定了两个问题的基础上的对抗性模仿学习框架的算法的家庭。第一个问题是这些算法中使用的奖励函数中存在的隐式偏差。虽然这些偏见可能在某些环境中工作得很好，但它们也可能导致其他环境中的次优行为。其次，即使这些算法可以从一些专家演示中学习，它们也需要与环境进行大量的交互，以便在许多现实世界的应用中模仿专家。为了解决这些问题，我们提出了一种名为Discriminator-Actor-Critic的新算法，该算法使用非策略强化学习将策略-环境交互样本复杂度降低了10倍。此外，由于我们的奖励函数被设计为无偏的，我们可以将我们的算法应用于许多问题，而无需进行任何特定于任务的调整。
2018-10-15 cs.LG stat.ML
TrajGAIL: Generating Urban Vehicle Trajectories using Generative Adversarial Imitation Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；The University of Queensland（昆士兰大学）
近年来，大量的城市车辆轨迹数据被采集到道路网络中。许多研究已经使用机器学习算法来分析车辆轨迹中的模式以预测个体旅行者的位置序列。与以前的研究，使用判别建模方法，本研究提出了一种生成建模方法来学习城市车辆轨迹数据的基本分布。用于城市车辆轨迹的生成模型可以通过学习训练数据的潜在分布来更好地从训练数据概括，并且因此产生与具有有限观测的真实车辆轨迹类似的合成车辆轨迹。合成轨迹可以为使用位置数据时的数据稀疏或数据隐私问题提供解决方案。本研究提出TrajGAIL，一个生成式对抗模仿学习框架，用于城市车辆轨迹生成。在TrajGAIL，学习位置序列中观察到的轨迹制定为一个模仿学习问题的部分可观察马尔可夫决策过程。该模型由生成式对抗框架训练，该框架使用来自对抗性模型的奖励函数。仿真和真实世界的数据集进行测试，结果表明，该模型获得了显着的性能增益相比，现有的模型在序列建模。
2021-01-16 cs.LG stat.ML
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；US Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
虽然对抗性模仿学习（AIL）算法最近在各种模仿学习基准测试中取得了最先进的结果，但目前还不清楚各种设计决策对性能的影响。为此，我们在这里提出了一个有组织的，模块化的框架，称为强化学习为基础的对抗性模仿学习（RAIL），包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点，我们创建了两个新的IfO（Imitation from Observation）算法，我们称之为SAIfO：基于SAC的对抗性模仿来自观察和SILEM（Skilling Feature Compensation for模仿学习with Embodiment Mismatch）。我们将在单独的技术报告中更深入地介绍SILEM。在本文中，我们专注于SAIfO，在OpenAI Gym的一系列运动任务上对其进行评估，并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
Non-Adversarial Imitation Learning and its Connections to Adversarial Methods
Intelligent Autonomous Systems, TU Darmstadt（达姆施塔特工业大学智能自主系统）；Autonomous Learning Robots, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自主学习机器人）；Bosch Center for Artificial Intelligence, Renningen（博世人工智能中心（伦宁根））
许多现代的模仿学习和逆强化学习方法，如GAIL或AIRL，都是基于对抗性公式的。这些方法应用GANs将专家的状态和动作分布与代理策略引起的隐式状态-动作分布相匹配。然而，通过将模仿学习框定为鞍点问题，对抗方法可能会遭受不稳定的优化，并且只能在小的策略更新时才能显示收敛。我们通过提出一个非对抗性模仿学习的框架来解决这些问题。由此产生的算法类似于它们的对抗对手，因此，为对抗模仿学习方法提供了见解。最值得注意的是，我们证明了AIRL是我们的非对抗性公式的一个实例，这使我们能够大大简化其推导并获得更强的收敛保证。我们还表明，我们的非对抗性配方可用于衍生新的算法，提出了一种方法，离线模仿学习，是最近的ValueDice算法的启发，但不依赖于小的政策更新收敛。在我们的模拟机器人实验中，我们用于非对抗性模仿学习的离线方法在每次迭代时使用许多更新策略和策略时似乎表现最好，并且优于行为克隆和ValueDice。
2020-08-08 cs.IT cs.LG cs.RO
When Will Generative Adversarial Imitation Learning Algorithms Attain Global Convergence
The Ohio State University（俄亥俄州立大学）
生成对抗模仿学习（GAIL）是一种流行的反向强化学习方法，用于从专家轨迹中联合优化策略和奖励。关于GAIL的一个主要问题是将某个策略梯度算法应用于GAIL是否获得全局最小值（即，产生专家策略），对此现有的理解非常有限。这样的全局收敛性仅在线性（或线性型）MDP和线性（或可线性化）报酬下得到证明。在本文中，我们研究GAIL下一般MDP和非线性奖励函数类（只要目标函数是强凹的奖励参数）。我们描述了一个次线性速率的全局收敛性的广泛使用的策略梯度算法，所有这些都是实现在一个交替的方式与随机梯度上升的奖励更新，包括预计策略梯度（PPG）-GAIL，弗兰克-沃尔夫策略梯度（FWPG）-GAIL，信任域策略优化（TRPO）-GAIL和自然策略梯度（NPG）-GAIL。这是第一次对GAIL算法的全局收敛性进行系统的理论研究。
2020-06-25 cs.LG stat.ML
On Computation and Generalization of Generative Adversarial Imitation Learning
Georgia Tech（佐治亚理工学院）；Xi’an Jiaotong University（西安交通大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
生成对抗模仿学习（GAIL）是一种学习顺序决策策略的强大而实用的方法。与强化学习（RL）不同，GAIL利用专家的演示数据（例如，人类），并学习未知环境的策略和奖励函数。尽管取得了重大的经验进展，GAIL背后的理论在很大程度上仍然是未知的。主要的困难来自潜在的时间依赖性的示范数据和极小极大计算公式GAIL没有凹凸结构。为了弥合理论与实践之间的差距，本文研究了GAIL的理论特性。具体而言，我们显示：（1）对于一般报酬参数化的GAIL，只要适当控制报酬函数的类，就可以保证推广性;（2）对于报酬参数化为再生核函数的GAIL，可以用随机一阶优化算法有效地求解，该算法可以达到次线性收敛到平稳解.据我们所知，这些是第一个结果的统计和计算保证模仿学习与奖励/政策函数近似。数值实验支持我们的分析。
2020-01-12 cs.LG stat.ML
Wasserstein Distance guided Adversarial Imitation Learning with Reward Shape Exploration
Tsinghua University（清华大学）；Sun Yat-Sen University（中山大学）
生成式对抗模仿学习（GAIL）提供了一个对抗性学习框架，用于从高维连续任务的演示中模仿专家策略。然而，几乎所有的GAIL及其扩展都只设计了一种对数形式的奖励函数在对抗训练策略与Jensen-Shannon（JS）的分歧，为所有复杂的环境。固定对数类型的奖励函数可能难以解决所有复杂的任务，而JS发散引起的梯度消失问题将损害对抗学习过程。本文提出了一种新的Wasserstein距离引导的对抗性模仿学习（WDAIL）算法，以提高模仿学习（IL）的性能。该方法有三个改进：（a）在对抗训练过程中引入Wasserstein距离以获得更合适的度量;（b）在强化学习阶段使用近端策略优化（PPO），实现更简单，提高算法效率;（c）探索不同的奖励函数形状以适应不同的任务以提高性能。实验结果表明，该学习过程保持了显著的稳定性，在MuJoCo复杂的连续控制任务中取得了显著的效果。
2020-12-08 cs.LG cs.RO stat.ML
Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow
University of California, Berkeley（加州大学伯克利分校）
对抗性学习方法已经被提出用于广泛的应用，但是对抗性模型的训练可能是非常不稳定的。有效地平衡发生器和插值器的性能至关重要，因为实现非常高精度的插值器将产生相对无信息的梯度。在这项工作中，我们提出了一个简单的和一般的技术来约束信息流的信息瓶颈的手段在crosslink。通过对观测值和模型的内部表示之间的互信息施加约束，我们可以有效地调节模型的精度并保持有用的和信息丰富的梯度。我们证明了我们提出的变分学习瓶颈（VDB）在对抗学习算法的三个不同的应用领域带来了显着的改进。我们的初步评估研究的适用性的VDB动态连续控制技能，如运行的模仿学习。我们表明，我们的方法可以直接从\emph{raw}视频演示中学习这些技能，大大优于以前的对抗性模仿学习方法。VDB还可以与对抗性逆强化学习相结合，以学习可以在新设置中转移和重新优化的简约奖励函数。最后，我们证明了VDB可以更有效地训练GANs来生成图像，改进了一些先前的稳定方法。
2020-08-25 cs.LG stat.ML
Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization
Québec AI institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Facebook AI Research（Facebook人工智能研究院）；Element AI；Ubisoft Montreal’s La Forge R&D laboratory（育碧蒙特利尔La Forge研发实验室）
对抗性模仿学习在学习一个模型（区分专家的演示和生成的演示）和一个生成器的策略之间交替进行，以生成可以欺骗这个模型的轨迹。这种交替优化在实践中是微妙的，因为它将不稳定的对抗训练与脆弱和样本效率低下的强化学习结合在一起。我们建议通过利用一种新的策略优化公式来消除政策优化步骤的负担。具体地说，我们的迭代策略明确地以两个策略为条件：来自前一个生成器的迭代的策略和可学习的策略。当优化时，该学习器直接学习最优生成器的策略。因此，我们的更新免费解决了生成器的优化问题：学习模仿专家的策略不需要额外的优化循环。这种公式通过完全去除强化学习阶段，有效地将对抗模仿学习算法的实现和计算负担减少了一半。我们在各种任务上表明，我们更简单的方法与流行的模仿学习方法相比具有竞争力。
2021-04-16 cs.AI cs.LG stat.ML
Multi-Agent Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
模仿学习算法可用于从专家演示中学习策略，而无需访问奖励信号。然而，大多数现有的方法是不适用于多智能体设置由于存在多个（纳什）均衡和非平稳环境。我们提出了一个新的框架，多智能体模仿学习一般马尔可夫游戏，在那里我们建立在广义逆强化学习的概念。我们进一步介绍了一个实用的多代理actor-critic算法具有良好的经验性能。我们的方法可以用来模仿复杂的行为在高维环境中的多个合作或竞争代理。
2018-07-26 cs.AI cs.LG cs.MA
Reparameterized Variational Divergence Minimization for Stable Imitation
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
虽然最近对抗性模仿学习算法的最新成果令人鼓舞，但最近探索从观察中模仿学习（ILO）设置的工作，其中轨迹\textit{only}包含专家观察，并没有取得同样的成功。受标准模仿学习设置的$f$ -发散操纵的最近研究的启发（Ke等人，2019; Ghasemipour等人，2019），我们在这里研究概率发散选择的变化可能产生更高性能的ILO算法的程度。不幸的是，我们发现通过强化学习的$f$ -发散最小化容易受到数值不稳定性的影响。我们为对抗性模仿学习提供了一个重新参数化的技巧，以减轻有前途的$f$ -发散最小化框架的优化挑战。从经验上讲，我们证明了我们的设计选择允许劳工组织的算法，优于基线方法，更密切地匹配专家在低维连续控制任务的性能。
2020-06-18 cs.LG stat.ML
Imitation Learning by Reinforcement Learning
Spotify（声田）
模仿学习算法从专家行为的演示中学习策略。我们表明，对于确定性专家，模仿学习可以通过简化为具有固定奖励的强化学习来完成。我们的理论分析既证明了专家奖励的恢复，又限制了专家和模仿学习者之间的全变差距离，表明了与对抗性模仿学习的联系。我们进行的实验证实，我们的减少在实践中连续控制任务。
2022-03-15 cs.LG stat.ML
Mitigation of Adversarial Policy Imitation via Constrained Randomization of Policy (CRoP)
SAIL Lab（SAIL实验室）；University of New Haven（纽黑文大学）
深度强化学习（DRL）策略容易受到未经授权的复制攻击，其中对手利用模仿学习从观察到的行为中复制目标策略。在本文中，我们提出了约束随机化的政策（CRoP）作为缓解这种攻击的技术。CRoP导致在性能损失约束下随机执行次优动作。我们提出了一个参数分析的CRoP，解决CRoP的最优性，并建立理论界的对抗预算和损失的期望。此外，我们报告了在Atari环境下的对抗性模仿的CRoP的实验评估，证明了我们提出的方法对策略复制攻击的有效性和可行性。
2021-09-29 cs.AI cs.LG
Error Bounds of Imitating Policies and Environments
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Polixir Technologies（波利克斯尔科技）
模仿学习通过模仿专家演示来训练策略。各种模拟方法被提出并进行了实证评价，但其理论认识还有待进一步研究。本文首先通过行为克隆和生成对抗模仿两种模仿方法分析了专家策略与被模仿策略之间的价值差距。实验结果表明，与行为克隆相比，生成对抗模仿可以减少合成错误，从而具有更好的样本复杂度。注意到通过将环境迁移模型看作一个对偶智能体，模仿学习也可以用来学习环境模型。因此，在模仿政策的边界基础上，我们进一步分析了模仿环境的绩效。实验结果表明，生成对抗性模仿比行为克隆更能有效地模仿环境模型，为基于基于模型的强化学习提供了一种新的对抗性模仿方法.我们希望这些结果能够启发未来模仿学习和基于模型的强化学习的发展。
2020-10-22 cs.LG
Adversarial Imitation Learning from Visual Observations using Latent Information
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
针对视觉观察模仿学习中动作缺失与部分可观测性挑战，提出潜在对抗模仿算法，结合离策略对抗学习与潜在状态表示，在连续控制任务上达到最先进性能。
2024-05-23 cs.LG cs.SY eess.SY
Adversarial Exploitation of Policy Imitation
Kansas State University（堪萨斯州立大学）
本文研究了针对深度强化学习（DRL）策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性（例如，分类器）到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力，从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中，我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外，我们开发了概念验证攻击，利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念，缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
Preventing Imitation Learning with Adversarial Policy Ensembles
UC Berkeley（加州大学伯克利分校）
模仿学习可以通过观察专家来复制策略，这带来了关于策略隐私的问题。策略，如人类或部署机器人的策略，都可以在未经所有者同意的情况下克隆。我们如何防止外部观察者克隆我们的专有策略？为了回答这个问题，我们引入了一个新的强化学习框架，在这里我们训练一个接近最优的政策，其演示保证是无用的外部观察员。我们制定这个想法的约束优化问题，其目标是提高专有政策，并在同一时间恶化的虚拟政策的最终外部观察员。通过对标准策略梯度算法的改进，设计了一个易于处理的算法来解决这个新的优化问题。我们的表述可以从保密性和对抗性行为的角度来解释，这使得这项工作有了更广泛的视角。我们证明了存在“非克隆”的合奏，提供了一个解决方案，上述优化问题，这是我们的修改后的策略梯度算法计算。据我们所知，这是强化学习中关于策略保护的第一项工作。
2020-08-02 cs.AI cs.LG stat.ML
Auto-Encoding Adversarial Imitation Learning
Shanghai Qi Zhi Institute（上海期智研究院）；Tencent AI Lab（腾讯AI实验室）；Worcester Polytechnic Institute（伍斯特理工学院）；Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对强化学习需手动设计奖励函数的问题，提出基于自编码器重构误差作为奖励信号的AEAIL框架，在两类环境中表现优于现有方法，且对含噪演示鲁棒性更强。
2024-02-02 cs.LG
Regularizing Adversarial Imitation Learning Using Causal Invariance
ETH Zürich（苏黎世联邦理工学院）
针对对抗模仿学习易吸收专家数据中虚假相关性的问题，本文提出以因果不变性作为对抗训练正则化原则，并可直接用于现有框架，在二维环境和高维机器人运动任务上验证了有效性。
2023-08-17 cs.AI cs.LG
Understanding Adversarial Imitation Learning in Small Sample Regime: A Stage-coupled Analysis
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
模仿学习从专家轨迹中学习策略。虽然专家数据被认为是至关重要的模仿质量，它被发现，一种模仿学习的方法，对抗性模仿学习（AIL），可以有特殊的性能。由于只有一个专家轨迹，AIL即使在很长的时间内也可以在运动控制等任务上与专家表现相匹配。这一现象有两个神秘之处。第一，为什么AIL只需要几个专家轨迹就能表现良好？第二，为什么AIL尽管规划期很长，但仍能保持良好的业绩？本文从理论上对这两个问题进行了探讨。对于一个基于总变化距离的AIL（称为TV-AIL），我们的分析显示了一个地平线上的自由模仿差距$\mathcal O(\{\min\{1, \sqrt{|\mathcal S|/N} \})$抽象的一类实例从运动控制任务。这里，$|\mathcal S|$是表格马尔可夫决策过程的状态空间大小，而$N$是专家轨迹的数量。我们强调我们的约束的两个重要特征。首先，这个界限在小样本和大样本情况下都是有意义的。第二，这个界限表明，无论规划水平如何，TV-AIL的模仿差距最多为1。因此，这个界限可以解释经验观察。在技术上，我们利用TV-AIL的多阶段策略优化结构，通过动态规划提出了一种新的阶段耦合分析方法
2022-08-03 cs.LG
Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
最近对深度强化学习（RL）漏洞的研究表明，对手代理采用的对抗策略可以影响目标RL代理（受害者代理）在多代理环境中表现不佳。在现有的研究中，对抗性政策是直接训练的基础上与受害者代理的互动经验。这种方法有一个关键的缺点：从历史互动中获得的知识可能无法正确地推广到受害者代理的未探索的政策区域，这使得经过训练的对抗性政策的有效性大大降低。在这项工作中，我们设计了一个新的有效的对抗策略学习算法，克服了这一缺点。我们的新算法的核心思想是创建一个新的模仿者来模仿受害者代理的策略，而对抗策略不仅基于与受害者代理的交互，而且还基于模仿者的反馈来预测受害者的意图。通过这样做，我们可以利用模仿学习的能力，仅基于受害者的样本轨迹就可以很好地捕捉受害者策略的潜在特征。我们的受害者模仿学习模型不同于以前的模型，因为环境的动态由对手的策略驱动，并且在对抗策略训练过程中会不断变化。当对手的策略稳定时，我们给出了一个可证明的界来保证一个理想的模仿策略。我们通过让模仿者成为受害者的更强版本，进一步加强了我们的对抗性策略学习。最后，我们使用四个竞争激烈的MuJoCo游戏环境的广泛实验表明，我们提出的对抗性策略学习算法优于最先进的算法。
2022-10-30 cs.LG
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts（美国艺电）
针对强化学习难以建模多样人类游戏风格的问题，提出MultiGAIL，通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略，并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
DiffAIL: Diffusion Adversarial Imitation Learning
Shandong University（山东大学）
针对传统对抗模仿学习中判别器分布学习不准确的问题，提出将扩散模型引入AIL框架的DiffAIL方法，通过扩散损失优化判别器，在两项基准任务上取得超越专家演示的最优性能。
2023-12-12 cs.LG
DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Army Research Laboratory（陆军研究实验室）；Sony AI（索尼AI）
在从观察IfO的模仿学习中，学习代理试图仅使用对演示行为的观察来模仿演示代理，而不访问由演示者生成的控制信号。基于对抗性模仿学习的最新方法在IfO问题上具有最先进的性能，但由于依赖于数据效率低下的无模型强化学习算法，它们通常具有高样本复杂度。这个问题使得它们在现实环境中部署不切实际，在现实环境中，收集样本可能会在时间，能源和风险方面产生高成本。在这项工作中，我们假设我们可以将基于模型的强化学习的思想与IfO的对抗方法相结合，以便在不牺牲性能的情况下提高这些方法的数据效率。具体来说，我们考虑时变线性高斯政策，并提出了一种方法，集成了线性二次调节器与路径积分政策改进到现有的对抗IfO框架。其结果是一个更有效的数据IfO算法具有更好的性能，我们在四个模拟领域的经验表明：使用少得多的与环境的相互作用，所提出的方法表现出类似或更好的性能比现有技术。
2021-03-31 cs.AI cs.LG
PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward
Boston University（波士顿大学）
本文提出PAGAR半监督奖励设计范式，通过混合奖励函数训练策略，解决IRL中奖励错位导致的任务失败，并在复杂任务中优于标准IL基线。
2024-02-07 cs.LG
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Truncated Horizon Policy Search: Combining Reinforcement Learning & Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了通过使用预言机的奖励塑造的想法来结合模仿和强化学习。我们研究了接近最优的成本去预言机在规划视野上的有效性，并证明了成本去预言机缩短了学习者的规划视野作为其准确性的函数：全局最优预言机可以将规划范围缩短为1，从而导致更容易优化的一步贪婪马尔可夫决策过程，而远离最优性的Oracle需要在更长的范围内进行规划以实现接近最优的性能。因此，我们的新见解弥合了模仿学习和强化学习之间的差距。受上述见解的启发，我们提出了截断HORIZON策略搜索（THOR），一种专注于搜索策略的方法，最大限度地提高总重塑奖励在一个有限的规划范围内，当预言是次优的。我们的实验表明，基于梯度的实现的THOR可以实现优越的性能相比，RL基线和IL基线，即使当oracle是次优的。
2018-05-29 cs.LG stat.ML
On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator
Northwestern University（西北大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）
研究了线性二次型调节器的生成对抗模仿学习的全局收敛性，该问题被描述为极小极大优化问题。为了解决非凹凸几何所带来的挑战，我们分析了交替梯度算法，并建立了其Q-线性收敛到一个唯一的鞍点，同时恢复全局最优的策略和奖励函数。我们希望我们的结果可以作为理解和驯服模仿学习中的不稳定性的一小步，以及来自强化学习和生成对抗学习的更一般的非凸-凹交替极大极小优化。
2019-01-11 cs.AI cs.LG math.OC
Learning human behaviors from motion capture by adversarial imitation
DeepMind（深度思维）
本文提出利用生成对抗模仿学习训练神经网络策略，从有限的不完全观测状态特征中生成人类化运动模式，即使演示来自不同物理参数的躯体，也能通过子技能策略解决任务。
2017-07-10 cs.LG cs.RO cs.SY
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London（帝国理工学院）
我们考虑的问题，模仿学习从一组有限的专家轨迹，没有获得强化信号。通过逆强化学习提取专家的奖励函数，然后进行强化学习的经典方法是间接的，并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布，在训练过程中可能不稳定。我们提出了一个新的框架，通过估计专家政策的支持，以计算一个固定的奖励函数，这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性，在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
Group Effect Enhanced Generative Adversarial Imitation Learning for Individual Travel Behavior Modeling under Incentives
针对个体出行行为建模的数据密集难题，提出群体效应增强的生成对抗模仿学习（gcGAIL），利用群体共享模式提升效率，在票价折扣案例中优于现有方法，并支持个性化激励时机优化。
2025-09-08 cs.LG
Imitation Learning by State-Only Distribution Matching
Augsburg University（奥格斯堡大学）；ETAS GmbH（ETAS有限公司）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出一种非对抗性的仅状态模仿学习方法，通过最小化策略与专家状态转移轨迹间的KL散度，并结合Soft Actor Critic目标与密度模型提高样本效率，在连续控制任务中取得最先进性能。
2022-02-09 cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Generative Adversarial Neuroevolution for Control Behaviour Imitation
Montreal University Geriatric Institute（蒙特利尔大学老年医学研究所）
提出协同进化对抗生成框架，利用深度神经进化在8项OpenAI Gym控制任务上模仿预训练智能体，精英演员达到相近分数并贴合其轨迹。
2023-04-03 cs.LG cs.NE
Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning
HKUST（香港科技大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Cornell University（康奈尔大学）
本文提出双重正则化AIL算法，结合KL策略正则化与二次奖励惩罚，在有限时域MDP中证明其快速收敛率，并首次实现专家演示与在线交互的$\widetilde{O}(1/\epsilon)$样本复杂度。
2026-10-05 cs.LG
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软人工智能研究院）
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定，这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题，我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后，在对抗逆强化学习的框架下，我们提出了一种新的对话生成奖励模型，可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明，我们的模型可以产生更多的高质量的响应，并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China（中国海洋大学）
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题，本文提出MAGAISIL，通过人类筛选的自生成优质轨迹逐步替换次优示范，实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
Imitation with Neural Density Models
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
我们提出了一个新的框架，模仿学习（IL）通过密度估计的专家的占用措施，其次是最大占用熵强化学习（RL）使用的密度作为奖励。我们的方法最大限度地提高了一个非对抗性的无模型RL目标，可证明下限逆转专家和模仿者的占用测量之间的Kullback-Leibler分歧。我们提出了一个实用的IL算法，神经密度模拟（NDI），它获得了最先进的示范效率的基准控制任务。
2020-10-19 cs.AI cs.LG stat.ML
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Lipschitzness Is All You Need To Tame Off-policy Generative Adversarial Imitation Learning
University of Geneva（日内瓦大学）；HES-SO（瑞士西部应用科学与艺术大学）
针对离策略生成对抗模仿学习对超参数敏感的问题，证明强制奖励函数满足局部Lipschitz连续是关键，并提出通用的悲观奖励预处理方法提升鲁棒性，理论保证对任意满足该条件的奖励均有效。
2023-10-25 cs.AI cs.LG
Robust Imitation via Mirror Descent Inverse Reinforcement Learning
Seoul National University（首尔国立大学）；Artificial Intelligence Institute（人工智能研究院）
最近，对抗性模仿学习已经展示了一种用于逆强化学习（IRL）问题的可扩展奖励获取方法。然而，估计的奖励信号往往变得不确定，并不能训练一个可靠的统计模型，因为现有的方法往往直接解决困难的优化问题。受一阶优化方法镜像下降的启发，本文提出了预测一系列奖励函数，这是一个约束凸问题的迭代解。IRL的解决方案来自镜像下降是宽容的目标密度估计所引起的不确定性，因为奖励学习的量是相对于局部几何约束进行调节。我们证明，建议的镜像下降更新规则，确保鲁棒性最小化的Bregman分歧方面的一个严格的遗憾界的$\mathcal{O}(1/T)$步长$\{η_t\}_{t=1}^{T}$。我们的IRL方法应用于对抗框架之上，并且在一系列广泛的基准测试中优于现有的对抗方法。
2023-01-05 cs.LG
Bayesian Robust Optimization for Imitation Learning
UC Berkeley（加州大学伯克利分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of New Hampshire（新罕布什尔大学）
针对IRL中奖励不确定性导致策略过激或过保守的问题，本文提出BROIL，结合贝叶斯奖励推断与用户风险容忍度，在期望回报和CVaR间平衡优化鲁棒策略。
2024-03-01 cs.LG stat.ML
Adversarial Imitation Learning On Aggregated Data
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（计算机科学实验室LIP6）；Ubisoft La Forge（育碧La Forge）
本文提出AILAD，一种基于对抗框架的聚合数据模仿学习方法，同时学习非线性奖励与最优策略，无需完整轨迹或同质数据，生成与专家分布匹配的多样化行为。
2023-11-14 cs.AI cs.LG
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning
Osaka University（大阪大学）；The University of Tokyo（东京大学）
生成对抗式模仿学习（GAIL）在机器人学习领域受到越来越多的关注。它使机器人能够学习一种策略来完成专家演示的任务，同时估计专家行为背后的奖励函数。然而，该框架仅限于学习具有单个奖励函数的单个任务。本研究提出了一个扩展框架，称为情境GAIL（S-GAIL），其中一个任务变量被引入到GAIL框架的生成器和生成器。任务变量的作用是区分不同的上下文，使框架学习不同的奖励函数和策略的多个任务。为了实现早期收敛的学习和鲁棒性在奖励估计，我们引入了一个术语来调整熵正则化系数在发电机的目标函数。我们使用两个设置（在离散网格世界中导航和在连续空间中手臂到达）的实验表明，所提出的框架可以比现有框架更有效地获得多个奖励函数和策略。任务变量使我们的框架能够区分上下文，同时在多个任务之间共享公共知识。
2019-11-01 cs.AI cs.LG cs.RO
ARC - Actor Residual Critic for Adversarial Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
对抗性模仿学习（AIL）是机器人技术中常用的一类流行的最先进的模仿学习算法。在AIL中，人工对手的错误分类被用作奖励信号，该奖励信号由任何标准的强化学习（RL）算法优化。与大多数RL设置不同，AIL中的奖励是$differentiable$，但当前的无模型RL算法没有利用此属性来训练策略。奖励是AIL也是成形的，因为它来自对手。我们利用形状AIL奖励函数的可微性，并制定了一类演员残差评论（ARC）RL算法。ARC算法与RL文献中的标准Actor-Critic（AC）算法并行，并使用残差评论家$C$函数（而不是标准$Q$函数）来仅近似贴现的未来回报（不包括即时奖励）。ARC算法具有与标准AC算法相似的收敛特性，其额外的优点是通过即时奖励的梯度是精确的。对于离散（表格）的情况下，有限的状态，行动，和已知的动态，我们证明了政策迭代与$C$功能收敛到一个最优的政策。在连续的情况下，函数逼近和未知的动态，我们的实验表明，ARC辅助AIL优于标准AIL在模拟连续控制和真正的机器人操作任务。ARC算法易于实现，并且可以与AC算法合并到任何现有的AIL实现中。视频和代码链接可在https://sites.google.com/view/actor-residual-critic上获得。
2022-11-30 cs.LG cs.RO
Visual Adversarial Imitation Learning using Variational Models
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
奖励函数规范需要大量的人力和迭代，仍然是通过深度强化学习学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常提供了一种更简单，更自然的方式来教导代理。我们考虑一个设置，其中代理提供了一个固定的可视化演示数据集，说明如何执行一项任务，必须学会使用提供的演示和无监督的环境交互来解决任务。这种设置带来了许多挑战，包括用于视觉观察的表示学习、由于高维空间导致的样本复杂性以及由于缺乏固定奖励或学习信号导致的学习不稳定性。为了应对这些挑战，我们开发了一个基于变分模型的对抗性模仿学习（V-MAIL）算法。基于模型的方法为表示学习提供了强信号，实现了样本效率，并通过启用同策略学习来提高对抗训练的稳定性。通过涉及几个基于视觉的运动和操作任务的实验，我们发现V-MAIL以样本有效的方式学习成功的视觉策略，与以前的工作相比具有更好的稳定性，并且还实现了更高的渐近性能。我们进一步发现，通过转移学习的模型，V-MAIL可以从视觉演示中学习新的任务，而无需任何额外的环境交互。包括视频在内的所有结果都可以在\url{https://sites.google.com/view/variational-mail}在线找到。
2022-06-27 cs.AI cs.LG cs.RO
A New Framework for Query Efficient Active Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
我们寻求在强化学习（RL）环境中将代理策略与人类专家行为相结合，而无需任何关于动态，奖励函数和不安全状态的先验知识。有一个人类专家知道的奖励和不安全的状态，基于他的偏好和目标，但查询人类专家是昂贵的。为了解决这一挑战，我们提出了一个新的框架模仿学习（IL）算法，积极和互动地学习用户的奖励函数与有效的查询模型。我们建立了一个对抗性的状态生成模型和一个后继特征（SR）模型，该模型通过学习策略收集的过渡经验进行训练。我们的方法使用这些模型来选择状态-动作对，要求用户评论最优性或安全性，并训练对抗性神经网络来预测奖励。与以往几乎都是基于不确定性采样的文献不同，本文的核心思想是通过区分查询（专家）和未查询（生成）数据，最大化价值函数学习效率，从策略上和策略外的经验中主动有效地选择状态-动作对。我们称这种方法为具有后继表示的对抗性奖励查询。我们评估所提出的方法与模拟人基于状态的2D导航任务，机器人控制任务和基于图像的视频游戏，其中具有高维观测和复杂的状态动态。实验结果表明，该方法在学习奖励模型方面明显优于基于不确定性的方法，获得了更好的查询效率，其中对抗性搜索可以使Agent更有效地学习人类行为，SR可以选择对价值函数影响更大的状态。此外，所提出的方法还可以学习，以避免不安全的状态时，训练的奖励模型。
2019-12-30 cs.AI cs.LG stat.ML
Generative Adversarial Imitation Learning for End-to-End Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
自动驾驶是一项复杂的任务，自1989年第一辆自动驾驶汽车ALVINN以来，人们一直在使用监督学习方法或行为克隆（BC）来解决这个问题。在BC中，神经网络用构成由专家制作的训练集的状态-动作对来训练，即，人类司机然而，这种类型的模仿学习没有考虑在导航轨迹的不同时刻采取的动作之间可能存在的时间依赖性。这些类型的任务更好地由强化学习（RL）算法处理，该算法需要定义奖励函数。另一方面，最近的模仿学习方法，如生成对抗模仿学习（GAIL），可以训练策略，而无需明确要求定义奖励函数，允许代理直接在专家轨迹的训练集上通过试错来学习。在这项工作中，我们提出了两个变化的GAIL自主导航的车辆在现实的CARLA模拟环境中的城市场景。它们都使用相同的网络架构，处理来自三个前置摄像头的高维图像输入，以及代表速度的其他九个连续输入，稀疏轨迹的下一个点和高级驾驶命令。我们表明，它们都能够在训练结束后从头到尾模仿专家轨迹，但用BC增强的GAIL损失函数在收敛时间和训练稳定性方面优于前者。
2021-10-16 cs.AI cs.LG cs.RO
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
Enabling Off-Policy Imitation Learning with Deep Actor Critic Stabilization
Amazon Alexa（亚马逊Alexa）；Indian Institute of Science（印度科学研究院）
本文提出一种结合非策略学习的对抗模仿学习算法，通过双Q网络稳定化和价值学习（无需奖励函数推断）来提高样本效率，从而更高效地匹配专家行为。
2026-05-18 cs.AI cs.LG
Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning
University of Toronto（多伦多大学）
有效的探索仍然是一个重大的挑战，阻碍了强化学习在许多物理系统中的部署。这对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。在稀疏奖励设置中，密集奖励设计所需的低级状态信息不可用，这一挑战更加突出。对抗性模仿学习（AIL）可以部分克服这一障碍，它利用专家生成的最佳行为演示，并从本质上替代密集的奖励信息。不幸的是，专家演示的可用性并不一定提高代理的能力，有效地探索，正如我们的经验表明，可能会导致效率低下或停滞的学习。我们提出了从引导式游戏（LfGP），一个框架，在这个框架中，我们利用专家演示，除了一个主要任务，多个辅助任务。随后，一个分层模型是用来学习每个任务的奖励和政策，通过修改后的AIL程序，其中所有任务的探索是通过一个调度器组成不同的任务在一起。这提供了许多好处：对于具有挑战性瓶颈转换的主要任务，学习效率得到提高，专家数据在任务之间变得可重复使用，并且通过重复使用学习的辅助任务模型来进行迁移学习成为可能。我们在一个具有挑战性的多任务机器人操作域的实验结果表明，我们的方法相比有利的监督模仿学习和一个国家的最先进的AIL方法。代码可在https://github.com/utiasSTARS/lfgp上获得。
2022-07-19 cs.AI cs.LG cs.RO
On Value Discrepancy of Imitation Learning
Nanjing University（南京大学）；Polixir
模仿学习从专家示范中训练策略。模仿学习方法已经从各种原理中设计出来，例如通过监督学习的行为克隆，通过反向强化学习的学徒学习，以及通过生成对抗学习的GAIL。本文提出了一个基于差异传播分析的模仿学习方法的理论性质分析框架。在无限时域条件下，该框架导致行为克隆的值偏差为O（（1-γ）^{-2}）。我们还证明了该框架导致GAIL的值差异的顺序为O（（1-γ）^{-1}）。这意味着GAIL比行为克隆具有更少的复合误差，这也在本文中得到了实证验证。据我们所知，我们是第一个从理论上分析GAIL的性能。上述结果表明，所提出的框架是一个通用的工具来分析模仿学习的方法。我们希望我们的理论研究结果可以为今后模仿学习算法的改进提供参考。
2019-11-16 cs.AI cs.LG stat.ML
