IL-flOw: Imitation Learning from Observation using Normalizing Flows
McGill University（麦吉尔大学）
我们提出了一个算法，逆强化学习（IRL）从专家状态观察。我们的方法将奖励建模与策略学习相结合，这与最先进的对抗方法不同，后者需要在策略搜索期间更新奖励模型，并且已知是不稳定的，难以优化。我们的方法IL-flOw通过对状态-状态转换进行建模来恢复专家策略，通过使用在演示轨迹上训练的深度密度估计器来生成奖励，避免了对抗方法的不稳定问题。我们证明，使用状态转移对数概率密度作为前向强化学习的奖励信号可以转化为匹配专家演示的轨迹分布，并通过实验显示出真实奖励信号的良好恢复以及运动观察和机器人连续控制任务模仿的最新结果。
2022-05-19 cs.AI cs.LG cs.RO
ARC - Actor Residual Critic for Adversarial Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
对抗性模仿学习（AIL）是机器人技术中常用的一类流行的最先进的模仿学习算法。在AIL中，人工对手的错误分类被用作奖励信号，该奖励信号由任何标准的强化学习（RL）算法优化。与大多数RL设置不同，AIL中的奖励是$differentiable$，但当前的无模型RL算法没有利用此属性来训练策略。奖励是AIL也是成形的，因为它来自对手。我们利用形状AIL奖励函数的可微性，并制定了一类演员残差评论（ARC）RL算法。ARC算法与RL文献中的标准Actor-Critic（AC）算法并行，并使用残差评论家$C$函数（而不是标准$Q$函数）来仅近似贴现的未来回报（不包括即时奖励）。ARC算法具有与标准AC算法相似的收敛特性，其额外的优点是通过即时奖励的梯度是精确的。对于离散（表格）的情况下，有限的状态，行动，和已知的动态，我们证明了政策迭代与$C$功能收敛到一个最优的政策。在连续的情况下，函数逼近和未知的动态，我们的实验表明，ARC辅助AIL优于标准AIL在模拟连续控制和真正的机器人操作任务。ARC算法易于实现，并且可以与AC算法合并到任何现有的AIL实现中。视频和代码链接可在https://sites.google.com/view/actor-residual-critic上获得。
2022-11-30 cs.LG cs.RO
Noise-conditioned Energy-based Annealed Rewards (NEAR): A Generative Framework for Imitation Learning from Observation
TU Delft（代尔夫特理工大学）；TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）
本文提出噪声条件能量基退火奖励（NEAR）框架，通过去噪分数匹配学习专家运动数据分布的能量函数作为奖励，结合逐步切换策略，在人形机器人任务上避开对抗性模仿学习的优化挑战，取得与AMP相当的结果。
2025-02-12 cs.AI cs.RO
RILe: Reinforced Imitation Learning
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
RILe结合模仿学习与逆强化学习，通过教练-学生框架动态学习稠密奖励函数，在高维机器人运动任务中实现接近专家的性能，显著优于现有方法。
2025-04-21 cs.AI cs.LG cs.RO
Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning
Osaka University（大阪大学）；The University of Tokyo（东京大学）
生成对抗式模仿学习（GAIL）在机器人学习领域受到越来越多的关注。它使机器人能够学习一种策略来完成专家演示的任务，同时估计专家行为背后的奖励函数。然而，该框架仅限于学习具有单个奖励函数的单个任务。本研究提出了一个扩展框架，称为情境GAIL（S-GAIL），其中一个任务变量被引入到GAIL框架的生成器和生成器。任务变量的作用是区分不同的上下文，使框架学习不同的奖励函数和策略的多个任务。为了实现早期收敛的学习和鲁棒性在奖励估计，我们引入了一个术语来调整熵正则化系数在发电机的目标函数。我们使用两个设置（在离散网格世界中导航和在连续空间中手臂到达）的实验表明，所提出的框架可以比现有框架更有效地获得多个奖励函数和策略。任务变量使我们的框架能够区分上下文，同时在多个任务之间共享公共知识。
2019-11-01 cs.AI cs.LG cs.RO
A Ranking Game for Imitation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个新的模仿学习框架--将模仿视为策略和奖励之间基于排名的两人博弈。在这个游戏中，奖励代理学习满足行为之间的成对性能排名，而策略代理学习最大化此奖励。在模仿学习中，接近最优的专家数据可能很难获得，即使在无限数据的限制下，也不能像偏好那样暗示轨迹上的总排序。另一方面，仅从偏好中学习是具有挑战性的，因为需要大量的偏好来推断高维奖励函数，尽管偏好数据通常比专家演示更容易收集。经典的逆强化学习（IRL）公式从专家演示中学习，但没有提供从离线偏好中学习的机制，反之亦然。我们实例化建议的排名游戏框架与一个新的排名损失给出了一个算法，可以同时从专家演示和偏好学习，获得这两种方式的优势。我们的实验表明，所提出的方法达到了最先进的样本效率，并可以解决以前无法解决的任务，从观察学习（LfO）设置。项目视频和代码可以在https://hari-sikchi.github.io/rank-game/上找到
2023-01-16 cs.AI cs.LG cs.RO
Reward-DAgger: Robot-Gated Interactive Imitation Learning with General-Purpose Progress-Based Reward Models
University of Southern California（南加州大学）
Reward-DAgger提出一种机器人门控交互式模仿学习框架，利用通用进度奖励模型检测失败并触发人工干预，无需任务特定调参，在八个模拟和真实任务中提升自主成功率并优于现有基线。
2026-10-06 cs.AI cs.RO
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
SynIL: Leveraging Synergy for Offline Imitation Learning from Imperfect Demonstration Datasets
Tohoku University（东北大学）
SynIL提出基于协同性的无标签演示质量评估框架，通过量化运动协同性生成密集奖励信号，在D4RL和Robomimic基准上超越行为克隆，媲美甚至优于真实奖励训练的离线强化学习。
2026-10-01 cs.AI cs.RO
RIZE: Adaptive Regularization for Imitation Learning
Amirkabir University of Technology（阿米尔卡比尔理工大学）
RIZE提出了一种基于最大熵IRL框架的自适应正则化方法，通过动态目标正则化和分布式强化学习提升模仿学习的鲁棒性和性能。
2025-11-19 cs.AI cs.LG cs.RO
Imitation Learning with Sinkhorn Distances
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
模仿学习算法已被解释为分歧最小化问题的变体。在专家和学习者之间比较占用测量的能力对于他们从示范示教学习中学习的有效性至关重要。在本文中，我们提出了易于处理的解决方案，制定模仿学习之间的占用措施的Sinkhorn距离最小化。该配方结合了宝贵的性能的最佳运输指标比较非重叠的分布与余弦距离成本定义在一个adversarially学习的特征空间。这导致了一个高度区分的评论家网络和最佳的运输计划，随后指导模仿学习。我们评估所提出的方法使用奖励度量和Sinkhorn距离度量的MuJoCo实验的数量。有关实现和再现结果，请参考以下存储库https://github.com/gpapagiannis/sinkhorn-imitation。
2022-07-02 cs.LG cs.RO stat.ML
On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning
Technion University（以色列理工学院）；Nvidia Research（英伟达研究部门）
我们考虑的问题，使用专家数据与未观察到的混杂因素的模仿和强化学习。我们首先定义的问题，从混淆的专家数据在上下文MDP设置的学习。我们分析了在有和没有外部奖励的情况下从这些数据中学习的局限性，并提出了一种调整标准模仿学习算法以适应这种设置。然后，我们讨论的问题之间的分布偏移的专家数据和在线环境中的数据只有部分可观察。我们证明了在缺失协变量的任意分布偏移下模仿学习的可能性和不可能性结果。当提供额外的外部奖励，我们提出了一个采样过程，解决了未知的转变，并证明收敛到最优解。最后，我们验证了我们的主张经验上具有挑战性的辅助医疗和推荐系统模拟任务。
2021-10-13 cs.AI cs.LG cs.RO
Co-Imitation: Learning Design and Behaviour by Imitation
University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence（芬兰人工智能中心）
机器人的共同适应是一项长期的研究工作，其目标是在动物自然进化的启发下，使系统的身体和行为适应给定的任务。协同适应有可能消除昂贵的手动硬件工程并提高系统性能。共同适应的标准方法是使用奖励函数来优化行为和形态。然而，定义和构造这样的奖励函数是非常困难的，通常是一项重大的工程工作。本文介绍了一个新的观点，我们称之为共同模仿的问题：找到一个形态和政策，允许模仿者密切匹配的行为演示。为此，我们提出了一种协同模仿方法，通过匹配演示者的状态分布来调整行为和形态。具体来说，我们专注于具有挑战性的情况下，两个代理之间的不匹配的状态和动作空间。我们发现，共同模仿增加了各种任务和设置的行为相似性，并通过将人类的行走，慢跑和踢腿技能转移到模拟人形机器人上来展示共同模仿。
2023-02-07 cs.AI cs.LG cs.RO
Addressing Ambiguity in Imitation Learning through Product of Experts based Negative Feedback
University of York（约克大学）
本文提出一种利用次优示范解决歧义任务的系统，通过自身失败学习，显著提升成功率，优于传统正反馈模仿学习，且在效能和效率上更优。
2026-03-27 cs.RO
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University（纽约大学）
虽然模仿学习为我们提供了一个有效的工具包来训练机器人，学习技能，是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中，我们提出了快速模仿人类技能（FISH），一种新的模仿学习方法，可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略，FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后，这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中，FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是，FISH被构造为通用的，这允许它在机器人形态（例如xArm，Allegro，Stretch）和相机配置（例如第三人称，手眼）中使用。我们对9个不同任务的实验评估表明，FISH的平均成功率为93%，比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning
University of Toronto（多伦多大学）
有效的探索仍然是一个重大的挑战，阻碍了强化学习在许多物理系统中的部署。这对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。在稀疏奖励设置中，密集奖励设计所需的低级状态信息不可用，这一挑战更加突出。对抗性模仿学习（AIL）可以部分克服这一障碍，它利用专家生成的最佳行为演示，并从本质上替代密集的奖励信息。不幸的是，专家演示的可用性并不一定提高代理的能力，有效地探索，正如我们的经验表明，可能会导致效率低下或停滞的学习。我们提出了从引导式游戏（LfGP），一个框架，在这个框架中，我们利用专家演示，除了一个主要任务，多个辅助任务。随后，一个分层模型是用来学习每个任务的奖励和政策，通过修改后的AIL程序，其中所有任务的探索是通过一个调度器组成不同的任务在一起。这提供了许多好处：对于具有挑战性瓶颈转换的主要任务，学习效率得到提高，专家数据在任务之间变得可重复使用，并且通过重复使用学习的辅助任务模型来进行迁移学习成为可能。我们在一个具有挑战性的多任务机器人操作域的实验结果表明，我们的方法相比有利的监督模仿学习和一个国家的最先进的AIL方法。代码可在https://github.com/utiasSTARS/lfgp上获得。
2022-07-19 cs.AI cs.LG cs.RO
Learning 6DoF Grasping Using Reward-Consistent Demonstration
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；LINE Corporation（LINE公司）；Faculty of Engineering, Kyoto University of Advanced Science（京都先进科学大学工学部）
随着机器人自由度的增加，机器人运动的实现变得更加复杂和困难。在这项研究中，我们专注于学习6DOF抓取运动，并考虑将抓取运动分为多个任务。我们建议结合模仿和强化学习，以促进更有效地学习所需的运动。为了收集演示数据作为模仿学习的教师数据，我们创建了一个虚拟现实（VR）界面，允许人类直观地操作机器人。此外，通过将动作划分为更简单的任务，我们简化了强化学习的奖励函数的设计，并在我们的实验中显示，学习抓握动作所需的步骤减少了。
2021-03-23 cs.LG cs.RO
Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations
Michigan State University（密歇根州立大学）；Google Research（谷歌研究院）
无模型深度强化学习（RL）在许多复杂的序贯决策问题上已经显示出其优越性。然而，对密集奖励和高样本复杂性的严重依赖阻碍了这些方法在现实世界中的广泛采用。另一方面，模仿学习（IL）通过利用现有的专家演示，在稀疏奖励任务中有效地学习。在实践中，收集足够数量的专家演示可能是非常昂贵的，并且演示的质量通常限制了学习策略的性能。在这项工作中，我们提出了自适应模仿学习（SAIL），可以实现（近）最佳性能，只有有限数量的次优演示高度挑战性的稀疏奖励任务。SAIL结合了IL和RL的优势，通过有效地利用超最佳演示和有效地探索环境来超越演示的性能，从而大大降低了样本的复杂性。大量的实验结果表明，SAIL不仅显着提高了样本效率，但也导致更好的最终性能在不同的连续控制任务，相比国家的最先进的。
2020-04-01 cs.AI cs.LG cs.RO
Episodic Self-Imitation Learning with Hindsight
Imperial College London（帝国理工学院）
提出了一种新的具有轨迹选择模块和自适应损失函数的自模仿学习算法--情节自模仿学习，以加快强化学习的速度。与原始的自我模仿学习算法相比，该算法从经验重放缓冲区中采样良好的状态-动作对，我们的代理利用具有后见之明的整个情节来帮助自我模仿学习。一个选择模块被引入到过滤器的更新的每一集的无信息的样本。该方法克服了标准自模仿学习算法的局限性，该算法是一种基于转换的方法，在处理具有稀疏奖励的连续控制环境时表现不佳。从实验中，情节自我模仿学习的表现优于基线上的政策算法，实现可比的性能，以国家的最先进的关闭政策算法在几个模拟机器人控制任务。轨迹选择模块示出，以防止代理学习不良的事后经验。情景自模仿学习具有在连续控制环境中解决稀疏奖励问题的能力，因此有可能应用于具有连续动作空间的现实问题，例如机器人引导和操纵。
2020-11-26 cs.AI cs.RO
Watch and Match: Supercharging Imitation with Regularized Optimal Transport
New York University（纽约大学）
模仿学习在复杂决策问题的有效学习策略方面具有巨大的潜力。当前最先进的算法通常使用逆强化学习（IRL），其中给定一组专家演示，代理交替地推断奖励函数和相关联的最优策略。然而，这样的IRL方法往往需要大量的在线交互复杂的控制问题。在这项工作中，我们提出了正则化的最佳运输（ROT），一个新的模仿学习算法，建立在最佳运输的最新进展为基础的随机匹配。我们的关键技术见解是，自适应地将自动匹配奖励与行为克隆相结合，即使只有几个演示，也可以显着加速模仿。我们在DeepMind Control Suite、OpenAI Robotics Suite和Meta-World Benchmark上对20个视觉控制任务进行的实验表明，与现有最先进的方法相比，模仿速度平均提高了7.8倍，达到了专家性能的90%。在现实世界的机器人操作中，只需一次演示和一小时的在线培训，ROT在14项任务中的平均成功率为90.1%。
2023-02-20 cs.AI cs.CV cs.LG
Imitation Learning from Observation with Automatic Discount Scheduling
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；UC Berkeley（加州大学伯克利分校）；Washington University in St. Louis（圣路易斯华盛顿大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对观察模仿学习（ILfO）中进度依赖任务难以学习的问题，本文提出自动折扣调度（ADS）机制，自适应调整折扣因子以先学早期行为，在九个Meta-World任务上全面超越现有方法。
2024-02-07 cs.AI cs.LG cs.RO
Unsupervised Perceptual Rewards for Imitation Learning
Google Brain（谷歌大脑）
奖励函数设计和探索时间可以说是在现实世界中部署强化学习（RL）代理的最大障碍。在许多现实任务中，设计奖励函数需要大量的手工工程，并且通常需要安装额外的传感器来测量任务是否成功执行。此外，许多有趣的任务由多个必须按顺序执行的隐式中间步骤组成。即使最终结果可以衡量，它也不一定提供关于这些中间步骤的反馈。为了解决这些问题，我们建议利用深度模型学习的中间视觉表示的抽象能力，从少量的演示中快速推断感知奖励函数。我们提出了一种方法，能够识别关键的中间步骤的任务，从只有少数的演示序列，并自动识别识别这些步骤的最有区别的功能。这种方法利用了预先训练的深度模型中的特征，但不需要任何明确的子目标规范。由此产生的奖励函数可以被RL代理用来学习在现实世界中执行任务。为了评估学习的奖励，我们提出了两个现实世界的任务和定量评价对人类设计的奖励功能的定性结果。我们还表明，我们的方法可以用来学习一个真实世界的开门技能，使用一个真正的机器人，即使用于奖励学习的演示是由一个人用自己的手。据我们所知，这些是第一个结果，表明复杂的机器人操作技能可以直接学习，而无需来自人类执行任务的视频的监督标签。补充材料和数据可在https://sermanet.github.io/rewards上获得
2017-06-12 cs.CV cs.RO
Safe CoR: A Dual-Expert Approach to Integrating Imitation Learning and Safe Reinforcement Learning Using Constraint Rewards
Seoul National University（首尔大学）；ASRI（先进技术与科学研究院（ASRI））；Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出Safe CoR双专家框架，利用奖励与安全专家演示及约束奖励平衡性能和安全，在仿真与真实Jackal平台上验证可显著提升性能并减少约束违反。
2024-07-02 cs.AI cs.RO
Flow-Matched Motion Priors: Online Optimal-Transport Rewards for Imitation Learning
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
针对模仿学习中对抗奖励在分布差异大时失效的问题，提出流匹配运动先验（FMP），利用最优传输耦合和流匹配神经势函数提供在线标量奖励，在Unitree G1上实现稳定行走并显著减少跌倒。
2026-09-15 cs.RO
KOI: Accelerating Online Imitation Learning via Hybrid Key-state Guidance
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence, China Telecom Corp Ltd（中国电信股份有限公司人工智能研究院）
KOI方法通过融合语义与运动混合关键状态来改进奖励估计，从而在在线模仿学习中实现任务感知的高效探索，并在仿真和真实机器人实验中验证了其样本效率与实用性。
2024-10-17 cs.AI cs.RO
DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
Nanyang Technological University（南洋理工大学）；Desay SV Automotive（德赛西威汽车）
DecompGAIL通过分解多智能体生成对抗模仿学习方法，解决多智能体设置中GAIL的不稳定性问题，提升交通行为的真实性和整体性能。
2026-01-26 cs.AI cs.LG cs.RO
Policy Contrastive Imitation Learning
University of Tsinghua（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Hong Kong University of Science and Technology（香港科技大学）
本文提出策略对比模仿学习（PCIL），通过锚定不同策略学习对比表示空间并生成平滑余弦相似度奖励，以解决 AIL 判别器表示质量低的问题，在 DeepMind Control suite 上取得最先进性能。
2023-07-06 cs.LG cs.RO
Addressing Limitations of State-Aware Imitation Learning for Autonomous Driving
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
本文针对条件模仿学习在自动驾驶中的惯性问题和离线在线性能相关性低的问题，提出一种基于多阶段视觉Transformer与状态令牌传播的多任务学习智能体，通过状态引导、数据增强和可视化解释显著减少惯性并提升指标一致性。
2023-10-31 cs.CV cs.RO
Reinforced Imitation: Sample Efficient Deep Reinforcement Learning for Map-less Navigation by Leveraging Prior Demonstrations
ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学习系统中心）
这项工作提出了一个基于学习的方法为目标驱动的无地图导航的案例研究。底层导航模型是一个端到端的神经网络，它是使用专家演示，模仿学习（IL）和强化学习（RL）的组合进行训练。虽然RL和IL分别遭受大样本复杂性和分布失配问题，但我们表明，利用先前的专家演示进行预训练可以减少训练时间，以达到与普通RL相比至少相同的性能水平。我们提出了一个全面的评估专家演示，不同的RL算法和奖励函数的不同组合，无论是在模拟和一个真正的机器人平台上。我们的研究结果表明，最终的模型优于两个独立的方法在成功的导航任务的数量。此外，当使用预训练时，例如通过仅使用稀疏奖励，可以显著简化RL奖励函数。学习的导航策略能够推广到看不见的和真实世界的环境。
2018-08-31 cs.RO
Relational Mimic for Visual Adversarial Imitation Learning
University of Geneva（日内瓦大学）；Apple Inc（苹果公司）
在这项工作中，我们介绍了一种新的方法，模仿学习从视频演示。我们的方法，关系模仿（RM），通过结合生成对抗网络和关系学习，改进了以前的视觉模仿学习方法。RM是灵活的，可以与生成对抗模仿学习的其他最新进展结合使用，以更好地满足对更强大和样本效率更高的方法的需求。此外，我们还介绍了一种新的神经网络架构，该架构改进了之前的强化学习最新技术，并说明了如何提高代理的关系推理能力，使后者能够在具有挑战性的运动任务中实现越来越高的性能像素输入。最后，我们通过消融研究，研究了关系学习在政策评估、政策改进和奖励学习中的作用和贡献。
2019-12-18 cs.AI cs.CV cs.LG
Integrating Imitation Learning with Human Driving Data into Reinforcement Learning to Improve Training Efficiency for Autonomous Driving
The Harker School（哈克学校）
目前用于训练自动驾驶汽车的两种方法是强化学习和模仿学习。本研究开发了一种新的学习方法和系统的方法，在模拟和一个较小的现实世界的环境中，通过集成监督模仿学习到强化学习，使RL训练数据收集过程更加有效和高效。通过结合这两种方法，所提出的研究成功地利用了RL和IL方法的优点。首先，一个真正的微型机器人汽车组装和训练6英尺9英尺的现实世界的轨道上使用模仿学习。在此过程中，手柄控制器用于通过模仿人类专家驾驶员来控制小型机器人汽车在轨道上行驶，并使用Microsoft AirSim的API手动记录动作。331个准确的类人奖励训练样本能够被生成和收集。然后，使用强化学习在Microsoft AirSim模拟器中训练代理6小时，其中初始331个奖励数据从模仿学习训练中输入。经过6小时的训练后，迷你机器人汽车能够成功地绕着6英尺乘9英尺的轨道自主驾驶一整圈，而迷你机器人汽车即使经过30小时的纯RL训练也无法绕着轨道完成一整圈。新方法减少了80%的训练时间，每小时产生的平均奖励显著增加。因此，新方法能够节省大量的训练时间，并可用于加速RL在自动驾驶中的采用，这将有助于在应用于现实生活场景时产生更有效和更好的长期结果。关键词：强化学习（RL），模仿学习（IL），自动驾驶，人类驾驶数据，CNN
2021-11-23 cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University（北京大学）
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展，但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中，我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题，其中我们假设没有手工制作的密集奖励，而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题，我们确定了几个关键问题，可以失败的以前的模仿学习算法，并阻碍了推广到看不见的实例。然后，我们提出了几个一般的，但关键的技术，包括生成对抗性自我模仿学习从示范，渐进增长的学习，和实例平衡专家缓冲区，准确地指出和解决这些问题，可以受益于类别级操作策略学习，无论任务。我们在ManiSkill基准上的实验表明，所有任务都有显着的改进，我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China（中国海洋大学）
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题，本文提出MAGAISIL，通过人类筛选的自生成优质轨迹逐步替换次优示范，实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
Imitation Learning from Observation through Optimal Transport
McGill University（麦吉尔大学）
该研究提出一种简化的最优传输ILfO方法，无需学习模型或对抗学习即可生成奖励，可适配任意RL算法，在连续控制任务上超越现有最优水平，单条无动作专家轨迹即可实现专家级性能。
2024-10-03 cs.AI cs.LG cs.RO
Model Predictive Adversarial Imitation Learning for Planning from Observation
Paul G. Allen School of Computer Science & Engineering（保罗·G·阿伦计算机科学与工程学院）
本文提出一种基于模型预测的对抗模仿学习方法，通过端到端学习从观察中规划，提升样本效率和鲁棒性。
2026-03-02 cs.AI cs.RO
RoboCLIP: One Demonstration is Enough to Learn Robot Policies
University of Southern California（南加利福尼亚大学）；Google Research（谷歌研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Stanford University（斯坦福大学）
RoboCLIP利用预训练视频-语言模型，通过单个视频或文本演示生成奖励，无需微调，使强化学习智能体在机器人操作任务上零样本性能提升2-3倍。
2023-10-11 cs.AI cs.RO
NIL: No-data Imitation Learning by Leveraging Pre-trained Video Diffusion Models
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出NIL框架，利用预训练视频扩散模型生成的2D视频并结合视频嵌入距离与帧相似度奖励，引导3D运动技能模仿学习，在人形机器人运动任务上优于使用3D动捕数据的基线。
2025-03-13 cs.AI cs.CV cs.LG
Generative Adversarial Imitation Learning for End-to-End Autonomous Driving on Urban Environments
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
自动驾驶是一项复杂的任务，自1989年第一辆自动驾驶汽车ALVINN以来，人们一直在使用监督学习方法或行为克隆（BC）来解决这个问题。在BC中，神经网络用构成由专家制作的训练集的状态-动作对来训练，即，人类司机然而，这种类型的模仿学习没有考虑在导航轨迹的不同时刻采取的动作之间可能存在的时间依赖性。这些类型的任务更好地由强化学习（RL）算法处理，该算法需要定义奖励函数。另一方面，最近的模仿学习方法，如生成对抗模仿学习（GAIL），可以训练策略，而无需明确要求定义奖励函数，允许代理直接在专家轨迹的训练集上通过试错来学习。在这项工作中，我们提出了两个变化的GAIL自主导航的车辆在现实的CARLA模拟环境中的城市场景。它们都使用相同的网络架构，处理来自三个前置摄像头的高维图像输入，以及代表速度的其他九个连续输入，稀疏轨迹的下一个点和高级驾驶命令。我们表明，它们都能够在训练结束后从头到尾模仿专家轨迹，但用BC增强的GAIL损失函数在收敛时间和训练稳定性方面优于前者。
2021-10-16 cs.AI cs.LG cs.RO
NavOL: Navigation Policy with Online Imitation Learning
Shanghai Innovation Institute（上海创新研究院）；School of Data Science, Fudan University（复旦大学数据科学学院）
NavOL通过在线模仿学习在仿真环境中训练导航策略，利用预训练的扩散策略和全局规划器，提升学习效率并减少分布偏移，实现在50个场景中每小时生成2000多条轨迹。
2026-05-12 cs.RO
Benchmarking the Full-Order Model Optimization Based Imitation in the Humanoid Robot Reinforcement Learning Walk
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
该研究针对人形机器人强化学习行走，测试不同参考轨迹模仿奖励比例的步态效果，发现模仿与速度遵循奖励平衡的方法可兼顾步态自然感与鲁棒性。
2023-12-15 cs.RO
Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios
Waymo Research（Waymo研究院）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文提出将模仿学习与简单奖励的强化学习相结合，利用超10万英里真实驾驶数据训练策略，在最困难场景中将失败率降低超38%，显著提升自动驾驶安全性与鲁棒性。
2023-08-10 cs.AI cs.RO
Safe Imitation Learning via Fast Bayesian Reward Inference from Preferences
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Applied Research Laboratories, The University of Texas at Austin（德克萨斯大学奥斯汀分校应用研究实验室）
通过演示进行贝叶斯奖励示教学习，可在执行模仿学习时进行严格的安全性和不确定性分析。然而，贝叶斯奖励学习方法对于复杂的控制问题通常是计算上难以处理的。我们提出了贝叶斯奖励外推（贝叶斯REX），一个高效的贝叶斯奖励学习算法，规模高维模仿学习的问题，通过预训练低维特征编码通过自我监督的任务，然后利用偏好的演示，以执行快速贝叶斯推理。Bayesian REX可以从演示中学习玩Atari游戏，而无需访问游戏分数，并且可以在个人笔记本电脑上仅用5分钟就从奖励函数中生成100，000个样本。贝叶斯REX还导致模仿学习性能与仅学习奖励函数的点估计的最新方法竞争或更好。最后，Bayesian REX能够在不访问奖励函数样本的情况下进行高效的高置信度策略评估。这些高置信度性能界限可用于对各种评估策略的性能和风险进行排名，并提供一种检测奖励投机行为的方法。
2020-12-17 cs.LG stat.ML
Rethinking Adversarial Inverse Reinforcement Learning: Policy Imitation, Transferable Reward Recovery and Algebraic Equilibrium Proof
本文重新审视 AIRL 面临的三项批评，通过引入 SAC 改进策略模仿，提出 PPO-AIRL + SAC 混合框架恢复可迁移奖励，并从代数理论角度重审均衡证明。
2024-10-27 cs.LG stat.ML
Wasserstein Adversarial Imitation Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
模仿学习描述了从演示中恢复专家策略的问题。虽然逆强化学习方法在专家演示方面是非常有效的，但它们通常需要问题相关的奖励函数或（任务）特定的奖励函数正则化。在本文中，我们展示了逆强化学习方法和最优运输之间的自然联系，它使更一般的奖励函数具有理想的属性（例如，平滑度）。基于我们的观察，我们提出了一种新的方法，称为Wasserstein对抗模仿学习。我们的方法将Kantorovich势视为奖励函数，并进一步利用正则化的最优传输来实现大规模应用。在几个机器人实验中，我们的方法在平均累积奖励方面优于基线，并且只需要一个专家演示，就可以显着提高样本效率。
2019-06-19 cs.LG stat.ML
Imitation Learning by Reinforcement Learning
Spotify（声田）
模仿学习算法从专家行为的演示中学习策略。我们表明，对于确定性专家，模仿学习可以通过简化为具有固定奖励的强化学习来完成。我们的理论分析既证明了专家奖励的恢复，又限制了专家和模仿学习者之间的全变差距离，表明了与对抗性模仿学习的联系。我们进行的实验证实，我们的减少在实践中连续控制任务。
2022-03-15 cs.LG stat.ML
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Generative Adversarial Self-Imitation Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文通过提出生成对抗自模仿学习（GASIL）来探索一种简单的强化学习正则化器，该正则化器通过生成对抗模仿学习框架来鼓励智能体模仿过去的良好轨迹。GASIL不是直接最大化奖励，而是专注于再现过去的良好轨迹，这可能会在奖励稀疏和延迟时使长期信用分配更容易。GASIL可以很容易地与任何策略梯度目标相结合，通过使用GASIL作为一个学习成形的奖励函数。我们的实验结果表明，GASIL提高了近端策略优化的性能在2D点质量和MuJoCo环境延迟奖励和随机动态。
2018-12-03 cs.AI cs.LG stat.ML
Intrinsic Reward Driven Imitation Learning via Generative Model
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
在高维环境中进行模仿学习是具有挑战性的。大多数逆强化学习（IRL）方法在这样的高维环境中无法胜过演示器，例如，雅达利的地盘。为了解决这一挑战，我们提出了一种新的奖励学习模块，通过生成模型生成内在的奖励信号。我们的生成式方法可以执行更好的前向状态转换和向后的动作编码，这提高了模块的动力学建模能力的环境。因此，我们的模块提供了模仿代理的内在意图的演示和更好的探索能力，这是至关重要的代理优于演示。实证结果表明，我们的方法优于国家的最先进的IRL方法在多个雅达利游戏，即使与一个生命的演示。值得注意的是，我们的方法实现的性能是演示性能的5倍。
2020-09-11 cs.AI cs.LG stat.ML
Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google Brain（谷歌大脑）
我们确定了两个问题的基础上的对抗性模仿学习框架的算法的家庭。第一个问题是这些算法中使用的奖励函数中存在的隐式偏差。虽然这些偏见可能在某些环境中工作得很好，但它们也可能导致其他环境中的次优行为。其次，即使这些算法可以从一些专家演示中学习，它们也需要与环境进行大量的交互，以便在许多现实世界的应用中模仿专家。为了解决这些问题，我们提出了一种名为Discriminator-Actor-Critic的新算法，该算法使用非策略强化学习将策略-环境交互样本复杂度降低了10倍。此外，由于我们的奖励函数被设计为无偏的，我们可以将我们的算法应用于许多问题，而无需进行任何特定于任务的调整。
2018-10-15 cs.LG stat.ML
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London（帝国理工学院）
我们考虑的问题，模仿学习从一组有限的专家轨迹，没有获得强化信号。通过逆强化学习提取专家的奖励函数，然后进行强化学习的经典方法是间接的，并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布，在训练过程中可能不稳定。我们提出了一个新的框架，通过估计专家政策的支持，以计算一个固定的奖励函数，这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性，在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
Self-Imitation Learning for Robot Tasks with Sparse and Delayed Rewards
Beihang University（北京航空航天大学）；Nanjing Research Institute of Electronics Technology（南京电子技术研究所）
强化学习（RL）在机器人控制中的应用在具有稀疏和延迟奖励的环境中仍然受到限制。本文提出了一种实用的自模仿学习方法--具有恒定奖励的自模仿学习（SILCR）.我们的方法不需要从环境中手工定义即时奖励，而是根据最终的情节奖励在每个时间步为即时奖励分配恒定值。通过这种方式，即使来自环境的密集奖励不可用，智能体采取的每一个行动都将得到正确的指导。我们证明了我们的方法在一些具有挑战性的连续机器人控制任务的MuJoCo模拟的有效性，结果表明，我们的方法显着优于其他方法在稀疏和延迟奖励的任务。即使与具有密集奖励的替代品相比，我们的方法也达到了有竞争力的性能。烧蚀实验也证明了该方法的稳定性和可重复性。
2021-05-25 cs.AI cs.LG
SQIL: Imitation Learning via Reinforcement Learning with Sparse Rewards
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of California, Berkeley（加州大学伯克利分校）
从演示中学习模仿专家行为可能具有挑战性，特别是在高维、连续观测和未知动态的环境中。基于行为克隆（BC）的监督学习方法遭受分布偏移：由于代理大量模仿演示的动作，它可能由于误差积累而偏离演示的状态。最近的基于强化学习（RL）的方法，如逆RL和生成对抗模仿学习（GAIL），通过训练RL代理来在长时间内匹配演示来克服这个问题。由于任务的真实奖励函数是未知的，这些方法从演示中学习奖励函数，通常使用复杂而脆弱的近似技术，包括对抗训练。我们提出了一个简单的替代方案，仍然使用RL，但不需要学习奖励函数。关键的想法是提供一个激励，以配合演示在一个较长的地平线上，通过鼓励它返回演示状态后，遇到新的，分布外的国家。我们通过给智能体一个恒定的奖励r=+1来匹配演示状态中的演示动作，并为所有其他行为提供一个恒定的奖励r=0来实现这一点。我们的方法，我们称之为软Q模仿学习（SQIL），可以通过对任何标准Q学习或非策略行为者-批评者算法进行少量修改来实现。从理论上讲，我们表明，SQIL可以被解释为一个正则化的BC的变体，使用稀疏性之前，鼓励长期的模仿。从经验上讲，我们表明，SQIL优于BC和GAIL相比，在Box 2D，Atari和MuJoCo的各种基于图像和低维的任务，取得了有竞争力的结果。
2019-09-25 cs.LG stat.ML
Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
模仿学习的性能通常是由演示者的性能上限。虽然最近的实证结果表明，排名示范允许更好的性能比演示，演示的偏好可能很难获得，理论上知之甚少，当这种方法可以预期成功地外推超出演示的性能。为了解决这些问题，我们首先贡献了一个比演示者更好的模仿学习的充分条件，并提供了理论结果，说明为什么在执行逆强化学习时，演示的偏好可以更好地减少奖励函数的模糊性。在此理论的基础上，我们引入了基于干扰的奖励外推（D-REX），这是一种基于排名的模仿学习方法，它将噪声注入通过行为克隆学习的策略中，以自动生成排名演示。这些排名的演示用于有效地学习奖励函数，然后可以使用强化学习来优化该奖励函数。我们在模拟机器人和Atari模仿学习基准上实证验证了我们的方法，并表明D-REX优于标准的模仿学习方法，并且可以显着超过演示器的性能。D-REX是第一种模仿学习方法，可以在没有额外的辅助信息或监督（如奖励或人类偏好）的情况下，实现对演示者表现的显著外推。通过自动生成排名，我们表明，基于偏好的逆强化学习可以应用于传统的模仿学习设置中，只有未标记的演示。
2019-10-14 cs.LG stat.ML
Inverse Contextual Bandits without Rewards: Learning from a Non-Stationary Learner via Suffix Imitation
Gaoling School of Artificial Intelligence, Renmin University of China（人工智能学院，中国人民大学）
通过后缀模仿学习非平稳学习者，无奖励观察者可实现与完全奖励感知学习者相当的收敛率。
2026-03-04 cs.LG stat.ML
