Discriminator-Weighted Offline Imitation Learning from Suboptimal Demonstrations
JD Technology（京东科技）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））
我们研究离线模仿学习（IL）的问题，其中代理的目的是学习一个最佳的专家行为策略，而无需额外的在线环境的相互作用。相反，代理被提供来自次优行为的补充离线数据集。解决这个问题的现有工作要么要求专家数据占据离线数据集的大部分比例，要么需要学习奖励函数并在之后执行离线强化学习（RL）。在本文中，我们的目标是解决这个问题，没有额外的奖励学习和离线RL训练的情况下，演示包含很大比例的次优数据的步骤。在行为克隆（BC）的基础上，我们引入了一个额外的分类器来区分专家和非专家数据。我们提出了一个合作框架来促进这两个任务的学习，在这个框架的基础上，我们设计了一个新的IL算法，其中的输出作为BC损失的权重。实验结果表明，我们提出的算法实现了更高的回报率和更快的训练速度相比，基线算法。
2022-07-20 cs.AI cs.LG
Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
模仿学习的性能通常是由演示者的性能上限。虽然最近的实证结果表明，排名示范允许更好的性能比演示，演示的偏好可能很难获得，理论上知之甚少，当这种方法可以预期成功地外推超出演示的性能。为了解决这些问题，我们首先贡献了一个比演示者更好的模仿学习的充分条件，并提供了理论结果，说明为什么在执行逆强化学习时，演示的偏好可以更好地减少奖励函数的模糊性。在此理论的基础上，我们引入了基于干扰的奖励外推（D-REX），这是一种基于排名的模仿学习方法，它将噪声注入通过行为克隆学习的策略中，以自动生成排名演示。这些排名的演示用于有效地学习奖励函数，然后可以使用强化学习来优化该奖励函数。我们在模拟机器人和Atari模仿学习基准上实证验证了我们的方法，并表明D-REX优于标准的模仿学习方法，并且可以显着超过演示器的性能。D-REX是第一种模仿学习方法，可以在没有额外的辅助信息或监督（如奖励或人类偏好）的情况下，实现对演示者表现的显著外推。通过自动生成排名，我们表明，基于偏好的逆强化学习可以应用于传统的模仿学习设置中，只有未标记的演示。
2019-10-14 cs.LG stat.ML
Self-Imitation Learning from Demonstrations
JetBrains Research（JetBrains研究院）
尽管强化学习（RL）取得了许多突破，但解决具有稀疏奖励的环境仍然是一项具有挑战性的任务，需要进行复杂的探索。示教学习（LfD）通过引导智能体对专家所经历的状态的探索来解决这个问题。当然，这种方法的好处取决于演示的质量，而演示在现实场景中很少是最佳的。现代LfD算法需要对控制演示影响的超参数进行细致的调整，正如我们在论文中所展示的那样，努力从次优演示中学习。为了解决这些问题，我们扩展自模仿学习（SIL），最近的RL算法，利用代理的过去的良好经验，LfD设置通过初始化其重放缓冲区的演示。我们将我们的算法表示为来自演示的SIL（SILfD）。我们的经验表明，SILfD可以从嘈杂或远离最佳的演示中学习，并且可以在整个训练过程中自动调整演示的影响，而无需额外的超参数或手工制作的时间表。我们还发现SILfD优于现有的国家的最先进的LfD算法在稀疏环境中，特别是当示威是高度次优。
2022-03-21 cs.LG
Hindsight Generative Adversarial Imitation Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
与强化学习相比，模仿学习（IL）是训练智能体从专家演示中有效学习控制策略的强大范例。然而，在大多数情况下，获取演示数据既昂贵又费力，这在某些情况下构成了重大挑战。一个有前途的替代方案是通过模仿学习来训练Agent学习技能，而无需专家演示，这在一定程度上将极大地扩展模仿学习领域。为了实现这一目标，本文提出了后见之明生成对抗模仿学习（HGAIL）算法，旨在实现无需演示的模仿学习。将后见之明的思想与生成对抗模仿学习（GAIL）框架相结合，实现了在缺乏专家论证数据的情况下成功实现模仿学习。实验表明，该方法可以训练的政策表现出相当的性能，目前的模仿学习方法。HGAIL从本质上赋予了课程学习机制，而这一机制对学习政策的制定至关重要。
2019-03-19 cs.LG stat.ML
Accelerating Self-Imitation Learning from Demonstrations via Policy Constraints and Q-Ensemble
深度强化学习（Deep Reinforcement Learning，DRL）为机器人控制策略的生成提供了新的途径。然而，训练控制策略的过程需要漫长的探索，导致强化学习（RL）在现实世界的任务中的低样本效率。模仿学习（IL）和示教学习（LfD）都通过使用专家示范来改进培训过程，但不完美的专家示范会误导政策改进。离线到在线强化学习需要大量离线数据来初始化策略，在线微调时分布偏移容易导致性能下降。针对上述问题，本文提出了一种示教学习方法A-SILfD，该方法将专家示教视为Agent的成功经验，并利用经验约束策略改进。此外，我们防止性能下降，由于大的估计误差的Q-函数的合奏Q-函数。我们的实验表明，A-SILfD可以显着提高样本效率使用少量的不同质量的专家演示。在四个Mujoco连续控制任务中，A-SILfD在经过150，000步在线训练后可以显著优于基线方法，并且在训练期间不会被不完美的专家演示所误导。
2022-12-07 cs.LG
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
SPRINQL: Sub-optimal Demonstrations driven Offline Imitation Learning
Singapore Management Univerisity（新加坡管理大学）
本文提出基于逆向soft-Q学习的离线模仿学习方法SPRINQL，通过赋予专家演示更高权重、次优演示较低权重，将问题转化为Q函数空间上的凸优化，有效利用次优演示并避免过拟合，在离线IL基准上达到SOTA性能。
2024-10-10 cs.AI cs.LG
Reinforced Imitation Learning by Free Energy Principle
The University of Tokyo（东京大学）
强化学习（RL）需要大量的探索，尤其是在稀疏奖励环境中。模仿学习（Imitation Learning，IL）可以从专家的演示中学习而无需探索，但它永远不会超过专家的表现，而且也容易受到演示和执行之间的分布转移的影响。本文从自由能原理出发，从根本上统一了强化学习和交互学习。FEP是一种统一的大脑贝叶斯理论，它通过一个共同的基本原理来解释感知，行动和模型学习。我们提出了一个理论上的扩展FEP和推导出一个算法，在该算法中，代理学习的世界模型，内化专家演示，并在同一时间使用该模型来推断当前和未来的状态和行动，最大限度地提高回报。因此，该算法通过部分模仿专家以及以无缝的方式最大化其回报来降低探索成本，从而获得比次优专家更高的性能。我们的实验结果表明，这种方法是有前途的视觉控制任务，特别是在稀疏奖励环境。
2021-07-25 cs.AI cs.LG
Domain Adaptive Imitation Learning
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
我们研究的问题是如何模仿任务跨域的差异，如体现，观点和动态不匹配。许多以前的工作需要成对的，对齐的演示和一个额外的RL步骤，需要环境交互。然而，成对的，对齐的演示很少获得，RL程序是昂贵的。我们形式化的域自适应模仿学习（DAIL）问题，这是一个统一的框架，模仿学习的观点，实施例，和动态失配的存在。非正式地说，DAIL是学习如何最佳地执行任务的过程，在不同的领域中演示任务。我们提出了一个两步的方法DAIL：调整后的适应。在对齐步骤中，我们执行一种新的无监督MDP对齐算法，生成对抗MDP对齐（GAMA），从\emph{unpaired, unaligned}演示中学习状态和动作对应关系。在自适应步骤中，我们利用对应关系来跨域zero-shot模仿任务。为了描述DAIL通过对齐和自适应的可行性，我们引入了MDP可扩展性理论。我们的实验评估GAMA对基线的实施例，观点和动态不匹配的情况下，对齐的演示不存在，并显示我们的方法的有效性。
2020-07-18 cs.AI cs.LG stat.ML
MisoDICE: Multi-Agent Imitation from Unlabeled Mixed-Quality Demonstrations
Singapore Management University（新加坡国立管理大学）；University of Oregon（俄勒冈大学）
MisoDICE提出两阶段方法，结合大语言模型标注轨迹与新型多智能体DICE算法，从混合质量示范中学习稳健策略，在标准基准上表现优越。
2025-05-24 cs.AI cs.LG cs.MA
Third-Person Imitation Learning
OpenAI；UC Berkeley（加州大学伯克利分校）
强化学习（RL）使得训练能够在复杂和不确定的环境中实现复杂目标的智能体成为可能。强化学习中的一个关键难点是为智能体指定一个要优化的奖励函数。传统上，RL中的模仿学习被用来克服这个问题。不幸的是，迄今为止的模仿学习方法倾向于要求以第一人称提供演示：代理人被提供了一系列状态和它应该采取的行动的规范。虽然功能强大，但这种模仿学习受到收集第一人称演示的相对困难问题的限制。人类通过从第三人称演示中学习来解决这个问题：他们观察其他人执行任务，推断任务，并自己完成相同的任务。本文提出了一种无监督的第三人称模仿学习方法。这里的第三人称指的是训练一个智能体在一个简单的环境中正确地实现一个简单的目标，当它被提供了一个教师实现相同的目标，但从不同的观点的演示;和无监督指的是这样一个事实，即智能体只接收这些第三人称演示，而不是提供教师状态和学生状态之间的对应关系。我们的方法的主要观点是，可以利用领域混淆的最新进展来产生领域不可知特征，这在训练过程中至关重要。为了验证我们的方法，我们报告成功的实验学习从第三人称演示在pointmass域，reacher域，倒立摆。
2019-09-22 cs.LG
Backward Imitation and Forward Reinforcement Learning via Bi-directional Model Rollouts
The Hong Kong University of Science and Technology（香港科技大学）
传统的基于基于模型的强化学习（RL）方法使用学习到的动力学模型来生成前向滚动轨迹，以减少与真实环境的交互。最近的基于模型的RL方法考虑学习向后模型的方式，该向后模型指定给定先前动作和当前状态的先前状态的条件概率，以额外地生成向后滚动轨迹。然而，在这种类型的基于模型的方法中，从向后推出导出的样本和从向前推出导出的样本被简单地聚合在一起以经由无模型RL算法来优化策略，这可能降低样本效率和收敛速率两者。这是因为这样的方法忽略了这样一个事实，即向后滚动轨迹通常从一些高值状态开始生成，并且对于代理改进行为肯定更有指导意义。在本文中，我们提出了向后模仿和向前强化学习（BIFRL）框架，代理将向后推出的痕迹作为模仿优秀行为的专家演示，然后收集向前推出的过渡政策加强。因此，BIFRL使智能体能够以更有效的方式到达和探索高值状态，并进一步减少真实的交互，使其更适合真实的机器人学习。此外，值正则化的生成对抗网络的引入，以增加有价值的状态，这是不经常收到的代理。从理论上讲，我们提供了BIFRL优于基线方法的条件。在实验中，我们证明了BIFRL获得更好的样本效率，并产生竞争力的渐近性能的各种MuJoCo运动任务相比，国家的最先进的基于模型的方法。
2022-08-04 cs.LG cs.RO
VILD: Variational Imitation Learning with Diverse-quality Demonstrations
RIKEN AIP（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）
模仿学习（IL）的目标是从高质量的示范中学习一个好的政策。然而，在现实中，演示的质量可能是多种多样的，因为从专家和业余爱好者的混合中收集演示更容易和更便宜。在这种情况下，IL可能是具有挑战性的，特别是当示威者的专业知识水平是未知的。我们提出了一种新的IL方法称为\underline{v}变异\underline{i} mitation \underline{l} earning with \underline{d} iverse-quality demonstrations（VILD），在这里我们明确地建模与概率图形模型和估计它与奖励函数的演示者的专业知识水平。我们表明，一个天真的估计方法是不适合大的状态和动作空间，并修复其问题，使用变分方法，可以很容易地实现使用现有的强化学习方法。连续控制基准测试的实验表明，VILD优于国家的最先进的方法。我们的工作使可扩展的和数据高效的IL比以前更现实的设置下。
2019-09-15 cs.LG stat.ML
Imitator Learning: Achieve Out-of-the-Box Imitation Ability in Variable Environments
Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）；Nanjing University of Science and Technology（南京理工大学）
针对可变环境下少量演示即可完成多任务模仿的需求，提出模仿者学习新课题与DAAC算法，结合强化学习正则化与演示注意力架构，仅用单条演示即可生成适配未见任务与环境变化的策略，性能显著优于现有方法。
2023-10-09 cs.LG
Learn what matters: cross-domain imitation learning with task-relevant embeddings
University of Oxford（牛津大学）
我们研究了一个自主智能体如何从不同领域的演示中学习执行任务，例如不同的环境或不同的代理。这种跨域模仿学习是需要的，例如，从人类专家的演示中训练人工代理。我们提出了一个可扩展的框架，使跨领域的模仿学习，而无需访问额外的演示或进一步的领域知识。我们共同训练学习者代理的政策和学习者和专家领域之间的映射与对抗训练。我们通过使用互信息标准来实现这一点，以找到一个嵌入的专家的状态空间，包含任务相关的信息，是不变的域的具体情况。这一步骤大大简化了学习者和专家领域之间的映射估计，从而促进了端到端的学习。我们展示了在相当不同的领域之间成功转移的政策，没有额外的监督，如额外的演示，并在其他方法失败的情况下。
2022-09-24 cs.AI
MILES: Making Imitation Learning Easy with Self-Supervision
Imperial College London（帝国理工学院）
提出自监督自主数据收集范式 MILES，仅用单个演示和单次环境重置即可学习机器人策略，并在富接触真实任务中显著优于结合强化学习的模仿学习方法。
2024-10-25 cs.AI cs.LG cs.RO
Watch, Try, Learn: Meta-Learning from Demonstrations and Reward
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）；Google AI Resident（谷歌AI驻场研究员）
模仿学习允许代理从演示中学习复杂的行为。然而，学习复杂的基于视觉的任务可能需要不切实际的演示次数。Meta-模仿学习是一种很有前途的方法，通过利用学习类似任务的经验，使代理从一个或几个演示中学习新任务。在存在任务模糊性或未观察到的动态时，单独的演示可能无法提供足够的信息;代理还必须尝试任务以成功地推断出策略。在这项工作中，我们提出了一种方法，可以学习学习从两个示范和试错经验与稀疏奖励反馈。与元模仿相比，这种方法使智能体能够有效地、高效地自主改进自身，超越演示数据。与元强化学习相比，我们可以扩展到更广泛的任务分布，因为演示减少了探索的负担。我们的实验表明，我们的方法显着优于以前的方法在一组具有挑战性的，基于视觉的控制任务。
2020-01-30 cs.AI cs.LG stat.ML
STIR$^2$: Reward Relabelling for combined Reinforcement and Imitation Learning on sparse-reward tasks
MINES ParisTech（巴黎高等矿业学院）；PSL University（巴黎文理研究大学）
在寻找更有效的样本学习（RL）算法时，一个有希望的方向是利用尽可能多的外部非策略数据。例如，专家示范。在过去，已经提出了多种想法来充分利用添加到重放缓冲区的演示，例如仅对演示进行预训练或最小化附加成本函数。我们提出了一种新的方法，能够利用任何稀疏奖励环境中的任何离线策略算法在线收集的演示和情节。我们的方法是基于奖励奖金给予示范和成功的情节（通过重新标记），鼓励专家模仿和自我模仿。我们的实验集中在两个不同的模拟环境中的几个机器人操作任务。我们表明，我们的方法的基础上奖励重新标记提高了性能的基础算法（SAC和DDPG）对这些任务。最后，我们最好的算法STIR $^2$（通过奖励重新标记的自我和教师模仿），它集成到我们的方法中，从以前的作品中进行了多次改进，比所有基线都更有效。
2023-02-28 cs.LG cs.RO
Sample Efficient Imitation Learning via Reward Function Trained in Advance
Soochow University（苏州大学）；Jilin University（吉林大学）
模仿学习（IL）是一种从演示中学习模仿专家行为的框架。最近，IL在高维和控制任务上显示出很好的结果。然而，IL通常遭受样本效率低的环境相互作用，这严重限制了他们的应用程序模拟域。在工业应用中，学习者通常具有较高的交互成本，与环境交互越多，对环境和学习者自身造成的损害就越大。在这篇文章中，我们努力提高样本效率，通过引入一种新的计划，逆强化学习。我们的方法，我们称之为\textit{Model Reward Function Based Imitation Learning}（MRFIL），使用一个集成的动态模型作为奖励函数，什么是训练与专家演示。关键的想法是提供一个激励代理匹配的演示在一个较长的地平线上，通过提供一个积极的奖励遇到符合专家演示分布的状态。此外，我们证明了新的目标函数的收敛保证。实验结果表明，我们的算法达到了竞争的性能，并显着减少环境的相互作用相比IL方法。
2021-11-23 cs.LG
InterPReT: Interactive Policy Restructuring and Training Enable Effective Imitation Learning from Laypersons
Carnegie Mellon University（卡内基梅隆大学）
InterPReT通过交互式策略重构与训练，使非专业人士能够更高效地训练可靠的模仿学习策略。
2026-02-04 cs.AI
Cross-Domain Transfer via Semantic Skill Imitation
University of Southern California（南加州大学）；Meta AI；KAIST（韩国科学技术院）；Georgia Tech（佐治亚理工学院）
我们提出了一种语义模仿的方法，该方法使用来自源域的演示，例如人类视频，以加速不同目标域中的强化学习（RL），例如模拟厨房中的机器人机械手。我们的方法不是模仿关节速度等低级别动作，而是模仿“打开微波炉”或“打开炉子”等语义技能的序列。这使我们能够跨环境（例如从真实世界到模拟厨房）和代理实施例（例如从双手人类演示到机器人手臂）转移演示。我们评估了三个具有挑战性的跨域学习问题，并匹配了需要域内演示的演示加速RL方法的性能。在模拟的厨房环境中，我们的方法学习长视野机器人操作任务，使用不到3分钟的人类视频演示，从现实世界的厨房。这使得能够通过重复使用演示来缩放机器人学习，例如，作为人类视频收集，以用于在任何数量的目标域中学习。
2022-12-14 cs.LG cs.RO
Beyond Imitation: Recovering Dense Rewards from Demonstrations
Department of Data Science and AI, Monash University（数据科学与人工智能系，墨尔本大学）
本研究证明监督微调（SFT）与逆强化学习等价，可从SFT模型中恢复token级密集奖励，提出的Dense-Path REINFORCE方法能利用该奖励优化策略，在指令跟随基准上表现优于原始SFT模型，重新定义了SFT的价值。
2025-10-02 cs.CL cs.LG
Efficient Imitation Without Demonstrations via Value-Penalized Auxiliary Control from Examples
Space & Terrestrial Autonomous Robotic Systems (STARS) Laboratory at the University of Toronto Institute for Aerospace Studies (UTIAS)（多伦多大学航空航天研究所（UTIAS）空间与地面自主机器人系统（STARS）实验室）；Department of Computing Science at the University of Alberta（阿尔伯塔大学计算机科学系）
本文提出VPACE算法，通过添加辅助任务示例和值惩罚改善基于示例的强化学习探索，在保持有界值估计的同时显著提高学习效率。
2025-09-13 cs.AI cs.LG cs.RO
Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation
New York University（纽约大学）
优化灵巧操作的行为一直是机器人技术中的一个长期挑战，从基于模型的控制到无模型强化学习的各种方法先前已经在文献中进行了探索。也许学习复杂操作策略的最强大的技术之一是模仿学习。然而，收集和示教学习示范灵巧操作是相当具有挑战性的。多指控制涉及的复杂、高维动作空间通常导致基于学习的方法的低样本效率。在这项工作中，我们提出了“灵巧模仿容易”（DIME）一个新的模仿学习框架灵巧操作。DIME只需要一个RGB摄像头来观察人类操作员并远程操作我们的机器人手。一旦示范收集，DIME采用标准的模仿学习方法，训练灵巧的操作政策。在模拟和真实的机器人基准测试中，我们证明了DIME可用于解决复杂的手操作任务，如“翻转”，“旋转”和“旋转”对象与快板手。我们的框架以及预先收集的演示可在https://nyu-robot-learning.github.io/dime上公开获取。
2022-03-24 cs.AI cs.CV cs.LG
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego（加州大学圣地亚哥分校）
虽然计算机视觉在理解手-物交互方面取得了重大进展，但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中，我们提出了一个新的平台和流水线DexMV（灵巧操作视频）的模仿学习。我们设计了一个平台：（i）用于具有多指机器人手的复杂灵巧操纵任务的模拟系统，以及（ii）用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中，我们从视频中提取3D手部和物体姿态，并提出了一种新的演示翻译方法，将人体运动转换为机器人演示。然后，我们应用和基准多个模仿学习算法的演示。我们表明，演示确实可以大大提高机器人学习，并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到：https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
A Bayesian Solution To The Imitation Gap
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Sorbonne University（索邦大学）
本文提出BIG方法，通过贝叶斯逆强化学习结合探索代价先验推断奖励后验，学习贝叶斯最优策略，使智能体在存在模仿差距时能主动探索，而在无差距时仍能模仿专家最优行为。
2024-06-29 cs.LG
Intrinsic Reward Driven Imitation Learning via Generative Model
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
在高维环境中进行模仿学习是具有挑战性的。大多数逆强化学习（IRL）方法在这样的高维环境中无法胜过演示器，例如，雅达利的地盘。为了解决这一挑战，我们提出了一种新的奖励学习模块，通过生成模型生成内在的奖励信号。我们的生成式方法可以执行更好的前向状态转换和向后的动作编码，这提高了模块的动力学建模能力的环境。因此，我们的模块提供了模仿代理的内在意图的演示和更好的探索能力，这是至关重要的代理优于演示。实证结果表明，我们的方法优于国家的最先进的IRL方法在多个雅达利游戏，即使与一个生命的演示。值得注意的是，我们的方法实现的性能是演示性能的5倍。
2020-09-11 cs.AI cs.LG stat.ML
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China（中国海洋大学）
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题，本文提出MAGAISIL，通过人类筛选的自生成优质轨迹逐步替换次优示范，实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
Model Predictive Adversarial Imitation Learning for Planning from Observation
Paul G. Allen School of Computer Science & Engineering（保罗·G·阿伦计算机科学与工程学院）
本文提出一种基于模型预测的对抗模仿学习方法，通过端到端学习从观察中规划，提升样本效率和鲁棒性。
2026-03-02 cs.AI cs.RO
Object Manipulation Learning by Imitation
University of Michigan（密歇根大学）
我们的目标是使机器人学习对象的操作模仿。鉴于外部对对象操作演示的观察，我们认为通过模仿学习要解决的两个根本问题是：1）将给定的演示分割为可以单独学习和重用的技能，以及2）制定正确的RL（强化学习）问题，该问题只考虑每个技能的相关方面，以便可以有效地学习每个技能的策略。以前的研究在这方面取得了一定的进展，但没有考虑到私人信息。公共信息是在外部观察演示中可用的信息，而私人信息是仅对执行动作的代理可用的信息，例如触觉。我们的贡献是，我们提供了一种方法，机器人自动分割成多个技能的对象操作的演示，并制定正确的RL问题，为每个技能，并自动决定是否私人信息是一个重要方面的基础上与世界的互动，每个技能。我们的实验表明，我们的机器人学会拿起一块，并通过模仿观察到的示范堆叠到另一块。评估是基于1）演示是否合理分段，2）是否制定了正确的RL问题，3）以及是否学习了良好的策略。
2017-11-19 cs.AI cs.RO
Wasserstein Adversarial Imitation Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
模仿学习描述了从演示中恢复专家策略的问题。虽然逆强化学习方法在专家演示方面是非常有效的，但它们通常需要问题相关的奖励函数或（任务）特定的奖励函数正则化。在本文中，我们展示了逆强化学习方法和最优运输之间的自然联系，它使更一般的奖励函数具有理想的属性（例如，平滑度）。基于我们的观察，我们提出了一种新的方法，称为Wasserstein对抗模仿学习。我们的方法将Kantorovich势视为奖励函数，并进一步利用正则化的最优传输来实现大规模应用。在几个机器人实验中，我们的方法在平均累积奖励方面优于基线，并且只需要一个专家演示，就可以显着提高样本效率。
2019-06-19 cs.LG stat.ML
Modeling Human Driving Behavior through Generative Adversarial Imitation Learning
自动驾驶汽车安全性验证的一个开放性问题是在仿真中建立可靠的人类驾驶行为模型。这项工作提出了一种从真实世界驾驶演示数据中学习神经驾驶策略的方法。我们模拟人类驾驶的顺序决策问题，其特征在于非线性和随机性，和未知的潜在成本函数。模仿学习是一种用于在成本函数未知或难以指定时生成智能行为的方法。生成对抗模仿学习（GAIL）建立在逆强化学习（IRL）的基础上，旨在为具有大或连续状态和动作空间的问题提供有效的模仿，例如模拟人类驾驶。本文描述了使用GAIL进行基于学习的驱动程序建模。由于驱动程序建模本质上是一个多代理问题，代理之间的交互需要建模，本文描述了一个参数共享扩展GAIL称为PS-GAIL来解决多代理驱动程序建模。此外，GAIL是领域不可知的，使得在学习过程中难以编码与驾驶相关的特定知识。本文介绍了奖励增强模仿学习（RAIL），它修改奖励信号，提供特定领域的知识代理。最后，人类的演示取决于GAIL可能无法捕捉到的潜在因素。本文介绍了烧伤InfoGAIL，它允许在演示中的潜在变异的解开。模仿学习实验使用NGSIM，一个真实世界的高速公路驾驶数据集。实验表明，这些修改GAIL可以成功地模拟高速公路驾驶行为，准确地复制人类的示范和产生现实的，紧急的行为在交通流中所产生的驾驶代理之间的相互作用。
2023-02-07 cs.AI
Value from Observations: Towards Large-Scale Imitation Learning via Self-Improvement
Google Deepmind（谷歌DeepMind）
本文提出一种利用价值函数从无动作演示中学习的方法，适应非理想数据分布，通过自我改进实现大规模模仿学习，并揭示数据分布与算法适用性的关系。
2025-07-09 cs.LG
Imitation Learning for Fashion Style Based on Hierarchical Multimodal Representation
JD.com American Technologies（京东美国科技）
时尚是一种复杂的社会现象。人们从专家或时尚偶像的示范中追随时尚风格。然而，对于机器智能体来说，学习模仿时装专家的示范可能是具有挑战性的，特别是对于具有高维多模态观察的环境中的复杂风格。现有的研究大多是利用监督学习的方法来模仿时尚图标的行为。这些方法受到分布偏移的影响：由于智能体大量模仿一些给定的服装演示，它可以从一种风格漂移到另一种风格，给出细微的差异。在这项工作中，我们提出了一个对抗性的逆强化学习制定恢复奖励功能的基础上，分层多模态表示（HM-AIRL）在模仿过程中。层次联合表示能更全面地对专家组合服装演示进行建模，以恢复奖励函数。我们证明了所提出的HM-AIRL模型能够恢复对多模态观测变化具有鲁棒性的奖励函数，使我们能够在不同风格之间的显著变化下学习策略。
2020-04-13 cs.CV cs.LG
Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人运动规划中高质量数据收集困难的问题，提出嵌入经验规划的SILP+算法，通过策略成功状态生成演示提升性能，在仿真与实体机器人实验中均实现更优训练效率和成功率。
2023-06-11 cs.AI cs.RO
Disagreement-Regularized Imitation Learning for Image-Based Continuous Control with Gaussian and Beta Policies
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本研究提出分歧正则化模仿学习（DRIL），利用策略分歧作为奖励，在少演示图像连续控制中显著提升性能，Beta策略在更多演示时表现更优。
2026-10-01 cs.LG
Visual Imitation Learning with Patch Rewards
Shanghai Jiaotong University（上海交通大学）；Sea AI Lab（Sea人工智能实验室）
视觉模仿学习使强化学习代理能够从视频或图像序列等专家视觉演示中学习行为，而无需明确的，定义明确的奖励。以往的研究要么采用监督学习技术，要么从像素中诱导简单粗糙的标量奖励，忽略了图像演示中包含的密集信息。在这项工作中，我们提出了测量的专业知识的各种局部区域的图像样本，或称为\textit{patches}，并恢复多维\textit{patch rewards}相应。补丁奖励是一种更精确的奖励表征，可作为细粒度的专业知识测量和视觉可解释性工具。具体来说，我们提出了带有补丁奖励的对抗性模仿学习（PatchAIL），它采用基于补丁的学习来衡量给定图像中不同局部的专业知识，并提供补丁奖励。基于补丁的知识也被用来正则化的聚集奖励和稳定的训练。我们在DeepMind Control Suite和Atari任务上评估了我们的方法。实验结果表明，PatchAIL优于基线方法，并为可视化演示提供了有价值的解释。
2023-02-10 cs.AI
Universal Value Density Estimation for Imitation Learning and Goal-Conditioned Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
这项工作考虑了两种不同的设置：模仿学习和目标条件强化学习。无论哪种情况，有效的解决方案都需要代理可靠地达到指定的状态（目标）或一组状态（演示）。绘制概率长期动态和所需的价值函数之间的连接，这项工作介绍了一种方法，利用密度估计的最新进展，有效地学习达到一个给定的状态。作为我们的第一个贡献，我们使用这种方法的目标条件强化学习，并表明它是有效的，不遭受事后诸葛亮偏见随机域。作为我们的第二个贡献，我们扩展了模仿学习的方法，并表明它实现了最先进的示范样本效率的标准基准任务。
2020-02-15 cs.LG stat.ML
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
Task-Centric Policy Optimization from Misaligned Motion Priors
本文提出任务导向的运动先验框架，通过将模仿视为条件正则化器，提升任务性能并抑制有害模仿，验证了在嘈杂示范下的鲁棒性。
2026-02-03 cs.LG cs.RO
Imitation Learning by Reinforcement Learning
Spotify（声田）
模仿学习算法从专家行为的演示中学习策略。我们表明，对于确定性专家，模仿学习可以通过简化为具有固定奖励的强化学习来完成。我们的理论分析既证明了专家奖励的恢复，又限制了专家和模仿学习者之间的全变差距离，表明了与对抗性模仿学习的联系。我们进行的实验证实，我们的减少在实践中连续控制任务。
2022-03-15 cs.LG stat.ML
Self-Imitation Learning by Planning
University of Groningen（格罗宁根大学）
模仿学习（Imitation learning，IL）通过传递专家知识使机器人快速获得技能，广泛用于强化学习（reinforcement learning，RL）初始化探索。然而，在长时间运动规划任务中，部署IL和RL方法的挑战性问题是如何生成和收集大量的、广泛分布的数据，使得这些方法可以有效地推广。在这项工作中，我们解决了这个问题，使用我们提出的方法称为{自我模仿学习规划（SILP）}，其中演示数据自动收集规划的访问状态从当前的政策。SILP的灵感来自于观察到在早期强化学习阶段成功访问的状态是基于图搜索的运动规划器中的无冲突节点，因此我们可以规划和重新标记机器人自己的试验作为策略学习的示范。由于这些自我生成的演示，我们减轻了人类操作员的费力的数据准备过程中所需的IL和RL方法在解决复杂的运动规划任务。评估结果表明，我们的SILP方法实现了更高的成功率和提高样本效率相比，选定的基线，在模拟学习的政策表现良好，在现实世界的布局任务与不断变化的目标和障碍。
2021-03-26 cs.AI cs.RO
State-Only Imitation Learning for Dexterous Manipulation
UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣迭戈分校）；New York University（纽约大学）
现代无模型强化学习方法最近在许多问题上表现出令人印象深刻的结果。然而，由于样品的高度复杂性，像灵巧操作这样的复杂领域仍然是一个挑战。为了解决这个问题，目前的方法采用状态-动作对形式的专家演示，这对于现实世界的设置（例如从视频中学习）是很难获得的。在本文中，我们走向一个更现实的设置，并探讨只有状态的模仿学习。为了解决这个问题，我们训练一个逆动力学模型，并使用它来预测仅状态演示的动作。逆动力学模型和策略被联合训练。我们的方法与状态-动作方法相当，并且远远优于单独的RL。通过不依赖于专家的行动，我们能够从不同的动态，形态和对象的演示中学习。视频可在https://people.eecs.berkeley.edu/~ilija/soil获得。
2021-12-29 cs.LG cs.RO stat.ML
Relay Policy Learning: Solving Long-Horizon Tasks via Imitation and Reinforcement Learning
Berkeley AI Research（伯克利人工智能研究中心）；Google（谷歌）
我们提出了中继策略学习，模仿和强化学习的方法，可以解决多阶段，长时间的机器人任务。这种普遍适用的两阶段方法包括一个模仿学习阶段和一个强化学习阶段，模仿学习阶段产生目标条件的分层策略，强化学习阶段微调这些策略以提高任务性能。我们的方法，虽然不一定是完美的模仿学习，是非常适合通过环境交互进一步改进，使其能够扩展到具有挑战性的长期任务。我们简化了长期的策略学习问题，使用一种新的数据重新标记算法学习目标条件的分层策略，其中低级别的行为只为固定数量的步骤，无论达到的目标。虽然我们依赖于演示数据来引导策略学习，但我们并不假设可以访问正在解决的每个特定任务的演示，而是利用语义上有意义的行为的非结构化和未分割的演示，这些演示不仅提供负担较轻，而且还可以大大促进使用强化学习的进一步改进。我们证明了我们的方法在一个具有挑战性的厨房模拟环境中的多阶段，长时间的操作任务的有效性。视频可在https://relay-policy-learning.github.io/上获得
2019-10-25 cs.LG cs.RO stat.ML
Let Me Check the Examples: Enhancing Demonstration Learning via Explicit Imitation
Meituan Inc.（美团公司）
演示学习旨在通过在Few Shot设置中提供回答的演示来指导即时预测。尽管取得了可喜的成果，现有的工作只是连接回答的例子作为演示提示模板（包括原始上下文），没有任何额外的操作，忽略了演示的依赖关系。此外，先前的研究发现，随机替换演示的标签会对性能产生轻微影响，说明模型无法正确学习演示带来的知识。受人类学习过程的启发，本文引入模仿演示学习（Imitation-Demo），通过显式模仿人类的复习行为来强化演示学习，包括：（1）对比学习机制，集中于相似的演示。(2)演示-标签重新预测方法，以巩固已知的知识。实验结果表明，我们提出的方法达到了国家的最先进的性能上的11个14分类语料。进一步的研究也证明了模仿-演示强化了提示和演示之间的联系，这为探究演示学习的作用机制提供了依据。
2022-08-31 cs.AI cs.LG
Unlabeled Imperfect Demonstrations in Adversarial Imitation Learning
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
对抗性模仿学习已经成为一种广泛使用的模仿学习框架。该模型通常通过分别从两个类别（积极与消极）中选取专家演示和政策轨迹作为示例来训练，然后期望该政策产生与专家演示无法区分的轨迹。但在现实世界中，收集的专家演示更有可能是不完美的，只有一个未知的部分演示是最佳的。而不是把不完美的专家示范作为绝对积极或消极的，我们调查未标记的不完美的专家示范，因为他们是。提出了一种正向无标记对抗性模仿学习算法，用于动态地抽取专家演示样本，使其与不断优化的智能体策略的轨迹相匹配.初始代理策略的轨迹可能更接近那些非最优的专家演示，但在对抗模仿学习的框架内，代理策略将被优化以欺骗模仿者并产生与那些最优专家演示相似的轨迹。理论分析表明，我们的方法学习不完美的示威通过一个自定进度的方式。在MuJoCo和RoboSuite平台上的实验结果从不同方面验证了该方法的有效性。
2023-02-13 cs.AI cs.LG
Learning What to Do and What Not To Do: Offline Imitation from Expert and Undesirable Demonstrations
Singapore Management University（新加坡管理大学）；Institute of High Performance Computing（高性能计算研究所）；Agency for Science, Technology and Research, Singapore（新加坡科技研究局）
本文研究基于专家与不良演示的离线模仿学习，提出通过优化专家与不良数据状态-动作访问分布的KL散度差的新方法，在专家数据占优时目标转为凸优化，实现非对抗性训练，并在统一框架中处理正负演示，实验证明其优于现有基线。
2025-05-27 cs.AI cs.LG
Imitation Learning from Suboptimal Demonstrations via Meta-Learning An Action Ranker
University of Electronic Science and Technology of China（电子科技大学）；Duke Kunshan University（昆山杜克大学）；Sichuan Artificial Intelligence Research Institute（四川省人工智能研究院）
本文提出ILMAR方法，通过元学习动作排序器并利用优势函数泛函选择性整合次优演示知识，以加权行为克隆提升模仿学习性能，实验证明其显著优于现有方法。
2024-12-28 cs.AI cs.LG
Imitation Learning from Imperfect Demonstration
National Taiwan University（台湾大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）
模仿学习的目的是从示范中学习最优策略。然而，这种示范往往是不完美的，因为收集最佳的是昂贵的。为了有效地从不完美的演示中学习，我们提出了一种新的方法，利用置信度分数，它描述了演示的质量。更具体地说，我们提出了两种基于置信度的IL方法，即两步重要性加权IL（2IWIL）和生成对抗IL与不完美的示范和信心（IC-GAIL）。我们发现，只给一小部分的次优演示的信心分数显着提高IL的性能，无论是理论上和经验。
2019-01-30 cs.AI cs.LG stat.ML
On Combining Expert Demonstrations in Imitation Learning via Optimal Transport
University College London（伦敦大学学院）
针对模仿学习中多专家演示组合的标准拼接法在多模态轨迹下的缺陷，提出基于多边缘最优传输距离的组合方法，可实现演示的合理几何平均，实验验证其效率优于标准方法。
2023-07-20 cs.AI cs.LG
Confidence-Aware Imitation Learning from Demonstrations with Varying Optimality
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
大多数现有的模仿学习方法都假设演示来自最佳专家，但放松这一假设使我们能够使用更广泛的数据。标准的模仿学习可以从具有变化的最优性的演示中学习次优策略。先前的工作使用置信度分数或排名来从具有不同最优性的演示中捕获有益信息，但是它们受到许多限制，例如，手动注释的置信度得分或演示的高平均最优性。在本文中，我们提出了一个通用的框架，从不同的最优性，共同学习的信心得分和表现良好的政策的演示学习。我们的方法，信心感知模仿学习（CAIL）学习一个良好的表现政策，从信心重新加权的演示，同时使用外部损失跟踪我们的模型的性能和学习的信心。我们提供了理论保证CAIL的收敛性，并评估其性能在模拟和真实的机器人实验。我们的研究结果表明，CAIL显着优于其他模仿学习方法，从不同的最优性演示。我们进一步表明，即使没有任何最佳的示范，CAIL仍然可以学习一个成功的政策，并优于以前的工作。
2022-01-26 cs.AI cs.LG cs.RO
Robust Imitation Learning from Noisy Demonstrations
RIKEN（日本理化学研究所）；University of Tokyo（东京大学）
从噪声中进行鲁棒学习是模仿学习中的一个实际而又极具挑战性的问题。在本文中，我们首先从理论上证明了鲁棒模仿学习可以通过优化对称损失的分类风险来实现。基于这一理论发现，我们提出了一种新的模仿学习方法，通过有效地结合伪标记和协同训练来优化分类风险。与现有的方法不同，我们的方法不需要额外的标签或严格的假设噪声分布。连续控制基准上的实验结果表明，我们的方法是更强大的国家的最先进的方法相比。
2021-02-19 cs.AI cs.LG stat.ML
Semi-Supervised Imitation Learning of Team Policies from Suboptimal Demonstrations
Rice University（莱斯大学）
我们提出了贝叶斯团队模仿学习器（BTIL），一个模仿学习算法来模拟在马尔可夫域中执行顺序任务的团队行为。与现有的多智能体模仿学习技术相比，BTIL明确建模和推断团队成员随时间变化的心理状态，从而使分散的团队政策的学习从次优团队合作的示范。此外，为了允许从小数据集进行样本和标签有效的策略学习，BTIL采用贝叶斯观点，并且能够从半监督演示中学习。我们展示和基准的合成多智能体任务的性能，以及一个新的数据集的人类代理团队合作的BTIL。我们的实验表明，尽管团队成员的心理状态（随时间变化和潜在的不一致）对他们的行为的影响，BTIL可以成功地学习团队政策的演示。
2022-09-20 cs.AI cs.LG cs.MA
InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations
MIT（麻省理工学院）；Stanford University（斯坦福大学）
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。然而，由人类提供的专家演示通常由于通常未明确建模的潜在因素而显示出显著的可变性。在本文中，我们提出了一个新的算法，可以推断的潜在结构的专家演示在一个无监督的方式。我们的方法建立在生成对抗模仿学习之上，不仅可以模仿复杂的行为，还可以学习复杂行为数据的可解释和有意义的表示，包括视觉演示。在驾驶领域，我们表明，从人类演示中学习的模型能够准确地再现各种行为，并使用原始视觉输入准确地预测人类的行为。与各种基线相比，我们的方法可以更好地捕捉潜在的结构专家演示，往往恢复语义有意义的因素的变化的数据。
2017-11-14 cs.AI cs.CV cs.LG
