An Empirical Comparison on Imitation Learning and Reinforcement Learning for Paraphrase Generation
University of Virginia（弗吉尼亚大学）
从给定的句子中生成释义涉及到从大量词汇中逐步解码单词。为了学习解码器，监督学习最大化令牌的可能性总是遭受暴露偏差。虽然强化学习（RL）和模仿学习（IL）都被广泛用于减轻偏差，但由于缺乏直接的比较，导致对它们的好处只有部分的了解。在这项工作中，我们提出了一个实证研究如何RL和IL可以帮助提高性能的生成释义，与指针生成器作为一个基础模型。在基准数据集上的实验表明：（1）模仿学习始终优于强化学习;（2）具有模仿学习的指针生成器模型的性能大大优于最先进的方法。
2019-08-28 cs.CL cs.LG
Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
考虑从示例专家行为中学习策略，而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数，然后用强化学习从该成本函数中提取策略。这种方法是间接的，可能会很慢。我们提出了一个新的一般框架，直接从数据中提取的政策，就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比，从中我们得到了一个无模型的模仿学习算法，该算法在模仿大型高维环境中的复杂行为时，比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Amplifying the Imitation Effect for Reinforcement Learning of UCAV's Mission Execution
University of Yonsei（延世大学）
本文提出了一种新的强化学习（RL）算法，通过放大模仿效应（AIE）来增强探索。该算法由自模仿学习和随机网络蒸馏算法组成。我们认为，这两个算法相辅相成，这两个算法相结合，可以放大模仿效果的探索。此外，通过向RL代理频繁访问的状态添加固有惩罚奖励，并在使用探索奖励时使用重放记忆来学习特征状态，所提出的方法导致深度探索并偏离当前的收敛策略。通过在二维网格环境中的实验，验证了算法的探索性能。最后，将该算法应用于无人作战飞机（UCAV）任务执行的仿真环境中，实验结果表明，该算法能够有效地找到UCAV规避敌方导弹的最短飞行路径。
2019-01-17 cs.AI cs.LG
MimicBot: Combining Imitation and Reinforcement Learning to win in Bot Bowl
Philips Research（飞利浦研究院）；Eindhoven University of Technology（埃因霍温理工大学）
本文描述了一种混合智能体，它被训练成参加Bot Bowl III比赛的Fantasy Football AI。代理MimicBot使用专门设计的深度策略网络实现，并使用模仿和强化学习相结合的方法进行训练。在这种背景下使用强化学习方法的先前尝试由于许多原因而失败，例如，由于环境中的固有随机性以及大量且不均匀数量的可用动作，其中课程学习方法未能始终如一地击败随机支付的代理。目前，没有任何机器学习方法可以击败使用游戏领域知识的脚本机器人。我们的解决方案，由于模仿学习和混合决策过程，始终击败这样的脚本代理。此外，我们揭示了如何在强化学习设置中更有效地训练，同时大幅提高样本效率。MimicBot是Bot Bowl III比赛的获胜者，它是目前最先进的解决方案。
2021-08-21 cs.AI cs.LG
Accelerating Reinforcement Learning through Implicit Imitation
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
模仿可以被看作是在多智能体环境中增强学习的一种手段。它通过智能地利用合作教师或其他更有经验的代理所展示的行为中隐含的知识来增强代理学习有用行为的能力。我们提出并研究了一种形式化的内隐模仿模型，该模型在某些情况下可以显著加速强化学习。粗略地说，通过观察导师，一个自主学习的智能体可以提取关于它自己在状态空间中未访问部分的能力和相对价值的信息。我们研究了这个模型的两个具体实例，其中一个学习代理和导师具有相同的能力，一个旨在处理代理和导师不同的行动集。我们说明了隐式模仿的好处，通过将其与优先扫描相结合，并通过观察单个和多个导师来展示改进的性能和收敛性。虽然我们对可观测性和可能的相互作用做了一些严格的假设，但我们简要地评论了放松这些限制的模型的扩展。
2011-06-03 cs.AI cs.LG
Reinforcement Learning via Implicit Imitation Guidance
Stanford University（斯坦福大学）
针对样本高效强化学习中模仿目标可能损害长期回报的问题，本文提出DGN框架，仅用演示数据通过策略噪声隐式引导探索，在七个连续控制任务上较离线数据RL方法最高提升2至3倍。
2025-06-09 cs.AI cs.LG
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Imitation Bootstrapped Reinforcement Learning
Stanford University（斯坦福大学）
针对模仿学习泛化难、强化学习样本效率低的问题，提出模仿自举强化学习框架，先训练模仿策略再用于探索和自举目标，在多类任务中性能显著优于现有方法。
2024-05-20 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Reinforcement and Imitation Learning for Diverse Visuomotor Skills
Stanford University（斯坦福大学）；DeepMind（深度思维）
我们提出了一种无模型的深度强化学习方法，该方法利用少量的演示数据来辅助强化学习代理。我们将这种方法应用于机器人操作任务和训练端到端的可视化策略，直接从RGB相机输入映射到关节速度。我们证明，我们的方法可以解决各种各样的可视化任务，工程脚本控制器将是费力的。在实验中，我们的强化和模仿代理取得了显着更好的性能比代理与强化学习或模仿学习单独训练。我们还说明了这些政策，训练与大的视觉和动态变化，可以取得初步的成功，在zero-shot sim2real传输。这项工作的简要视觉描述可以在https://youtu.be/EDl8SQUNjj0上查看
2018-05-27 cs.AI cs.LG cs.RO
Imitation Learning by Reinforcement Learning
Spotify（声田）
模仿学习算法从专家行为的演示中学习策略。我们表明，对于确定性专家，模仿学习可以通过简化为具有固定奖励的强化学习来完成。我们的理论分析既证明了专家奖励的恢复，又限制了专家和模仿学习者之间的全变差距离，表明了与对抗性模仿学习的联系。我们进行的实验证实，我们的减少在实践中连续控制任务。
2022-03-15 cs.LG stat.ML
Imitation Game: A Model-based and Imitation Learning Deep Reinforcement Learning Hybrid
Carl von Ossietzky University Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）；OFFIS – Institute for Information Technology（OFFIS信息技术研究所）
针对深度强化学习在能源系统中样本效率低和灾难性遗忘问题，本文提出一种结合基于模型深度强化学习与模仿学习的混合智能体架构。
2024-04-02 cs.AI
On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning
Technion University（以色列理工学院）；Nvidia Research（英伟达研究部门）
我们考虑的问题，使用专家数据与未观察到的混杂因素的模仿和强化学习。我们首先定义的问题，从混淆的专家数据在上下文MDP设置的学习。我们分析了在有和没有外部奖励的情况下从这些数据中学习的局限性，并提出了一种调整标准模仿学习算法以适应这种设置。然后，我们讨论的问题之间的分布偏移的专家数据和在线环境中的数据只有部分可观察。我们证明了在缺失协变量的任意分布偏移下模仿学习的可能性和不可能性结果。当提供额外的外部奖励，我们提出了一个采样过程，解决了未知的转变，并证明收敛到最优解。最后，我们验证了我们的主张经验上具有挑战性的辅助医疗和推荐系统模拟任务。
2021-10-13 cs.AI cs.LG cs.RO
BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning
New York University Shanghai（上海纽约大学）；New York University（纽约大学）
最近，批量深度强化学习（DRL）的研究激增，其目的是从给定的数据集中学习高性能的策略，而无需与环境进行额外的交互。我们提出了一种新的算法，最佳行动模仿学习（BAIL），力求简单性和性能。BAIL学习V函数，使用V函数选择它认为高性能的动作，然后使用这些动作使用模仿学习来训练策略网络。对于MuJoCo基准测试，我们提供了BAIL的全面实验研究，将其性能与其他四种批量Q学习和模仿学习方案进行了比较。我们的实验表明，BAIL的性能远远高于其他计划，也是计算速度远远快于批量Q学习计划。
2020-11-02 cs.AI cs.LG stat.ML
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；US Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
虽然对抗性模仿学习（AIL）算法最近在各种模仿学习基准测试中取得了最先进的结果，但目前还不清楚各种设计决策对性能的影响。为此，我们在这里提出了一个有组织的，模块化的框架，称为强化学习为基础的对抗性模仿学习（RAIL），包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点，我们创建了两个新的IfO（Imitation from Observation）算法，我们称之为SAIfO：基于SAC的对抗性模仿来自观察和SILEM（Skilling Feature Compensation for模仿学习with Embodiment Mismatch）。我们将在单独的技术报告中更深入地介绍SILEM。在本文中，我们专注于SAIfO，在OpenAI Gym的一系列运动任务上对其进行评估，并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
Reinforcement and Imitation Learning via Interactive No-Regret Learning
Carnegie Mellon University（卡内基梅隆大学）
最近的工作表明，问题-特别是模仿学习和结构化预测-其中学习者的预测影响其测试的输入分布，可以通过交互式方法自然解决，并使用无遗憾在线学习进行分析。然而，这些模仿学习的方法既不需要也不受益于关于行动成本的信息。我们在两个方向上扩展现有的结果：首先，我们开发了一种利用成本信息的交互式模仿学习方法;其次，我们扩展了该技术以解决强化学习。研究结果为在线近似策略迭代的成功提供了理论支持。我们的方法提出了一个广泛的新的算法家族，并提供了一个统一的观点，现有的技术模仿和强化学习。
2014-06-23 cs.LG stat.ML
Data-Driven Simulation of Ride-Hailing Services using Imitation and Reinforcement Learning
University of Moratuwa（莫拉图瓦大学）
网约车平台的快速增长创造了一个竞争激烈的市场，企业难以盈利，需要更好的运营策略。然而，对于这些平台来说，现实世界的实验是有风险和昂贵的，因为它们每天都要处理数百万用户。因此，需要一个模拟的环境，他们可以预测用户的反应，在平台特定的参数，如旅行费用和奖励的变化。构建这样的模拟是具有挑战性的，因为这些平台存在于动态环境中，成千上万的用户经常相互交互。本文提出了一个框架来模拟和预测用户，特别是司机，在乘车服务的行为。为此，我们使用了数据驱动的混合强化学习和模仿学习方法。首先，该代理利用行为克隆来模仿驾驶员的行为，使用真实世界的数据集。接下来，强化学习应用于模拟环境中预先训练的代理之上，以使它们能够适应平台中的变化。我们的框架为网约车平台提供了一个理想的平台，可以实验平台特定的参数来预测驾驶员的行为模式。
2021-04-06 cs.AI cs.LG
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题，这通常会给强化学习带来重大挑战。我们提出了一个算法框架，称为分层指导，它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习（IL）和强化学习（RL）的不同组合，从而大大减少专家的努力和探索成本。使用长期基准测试，包括Montezuma的Revenge，我们证明了我们的方法可以比分层RL更快地学习，并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
Apple（苹果公司）
GRACE通过大型语言模型和进化搜索，从专家轨迹中逆向工程可解释的代码奖励函数，实现高效准确的奖励学习并生成强大策略。
2026-01-28 cs.AI cs.LG
Approximate Inverse Reinforcement Learning from Vision-based Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一种方法，用于获得基于视觉的导航的隐式目标函数。所提出的方法依赖于模仿学习、模型预测控制（MPC）和深度神经网络中使用的解释技术。我们使用模仿学习作为进行逆强化学习的手段，以便为视觉导航挑战创建近似的成本函数生成器。由此产生的成本函数，costmap，用于与MPC的实时控制，并优于其他国家的最先进的costmap发电机在新的环境。所提出的过程允许简单的训练和对样本外数据的鲁棒性。我们将我们的方法应用于多个真实和模拟环境中基于视觉的自动驾驶任务，并展示了其通用性。
2021-04-08 cs.AI cs.CV cs.LG
Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator
Kanazawa University（金泽大学）
针对少量数据下模仿学习的分布偏移与交互成本问题，提出结合对抗逆强化学习奖励的DSQIL算法，在SQIL基础上提升鲁棒性与效率，并在MuJoCo环境完成评估。
2024-01-30 cs.AI cs.LG
Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios
Waymo Research（Waymo研究院）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文提出将模仿学习与简单奖励的强化学习相结合，利用超10万英里真实驾驶数据训练策略，在最困难场景中将失败率降低超38%，显著提升自动驾驶安全性与鲁棒性。
2023-08-10 cs.AI cs.RO
Asking for Knowledge: Training RL Agents to Query External Knowledge Using Language
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
为了解决困难的任务，人类会问问题，从外部来源获取知识。相比之下，经典的强化学习代理缺乏这样的能力，往往诉诸探索行为。这是加剧了目前的环境支持查询的知识。为了研究如何教代理通过语言查询外部知识，我们首先介绍了两个新的环境：基于网格世界的Q-BabyAI和基于文本的Q-TextWorld。除了物理交互之外，代理还可以查询专门针对这些环境的外部知识源以收集信息。其次，我们提出了“询问知识”（AFK）代理，它学习生成语言命令来查询有意义的知识，帮助解决任务。AFK利用非参数存储器、指针机制和情节探索奖励来处理（1）不相关的信息，（2）大的查询语言空间，（3）进行有意义的查询的延迟奖励。大量的实验表明，AFK代理在具有挑战性的Q-BabyAI和Q-TextWorld环境中的表现优于最近的基线。
2022-07-03 cs.AI cs.CL
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI（艾伦人工智能研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在实践中，模仿学习优于纯强化学习，只要有可能设计一个教学代理提供专家监督。然而，我们发现，当教学代理人作出决定，访问特权信息是不可用的学生，这些信息被边缘化在模仿学习，导致“模仿差距”，并可能，效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的，但对于需要在探索和记忆之间频繁切换的任务来说，渐进式学习是失败的。为了更好地解决这些任务，并减轻模仿差距，我们提出了“适应性不服从”（ADVISOR）。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权，从而实现在模仿和探索之间的动态切换。在网格世界，多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中，我们证明了ADVISOR的动态切换优于纯模仿，纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
From Imitation to Interaction: Mastering Game of Schnapsen with Shallow Reinforcement Learning
Vrije Universiteit Amsterdam（弗里兹大学阿姆斯特丹）
本文研究浅层神经网络代理是否能掌握纸牌游戏斯纳普森，并挑战使用蒙特卡洛采样和前瞻搜索的强搜索基线RdeepBot。通过逐步更复杂的实验设计，首先评估了基于回放数据训练的监督学习代理（MLPBot）以及通过异步蒙特卡洛更新和经验回放训练的强化学习代理（RLBot）。结果表明，监督模仿不足以击败强RdeepBot对手，而强化学习产生了更强的代理。在聚焦RdeepBot深度参数的设置中，最佳性能是在学习的价值函数与游戏过程中更深层次的前瞻搜索结合时实现的，使RLBot在最强的RdeepBot基线下实现了统计显著更高的胜率。在基于样本的设置中，收益更具条件性：最强性能出现在相对较低的训练num_samples参数下，而不是随着更强采样均匀增加。
2026-05-16 cs.AI cs.LG
A Policy-Guided Imitation Approach for Offline Reinforcement Learning
JD Technology（京东科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出策略引导离线RL方法POR，将策略分解为引导策略与执行策略，以监督解耦方式训练，实现状态组合性与分布外泛化，在D4RL基准上达到SOTA。
2023-04-05 cs.AI cs.LG
Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）
低资源关系抽取（LRE）的目标是在人工标注不足的情况下，从有限的标注语料中抽取关系事实。现有的工作要么利用自我训练计划，以产生伪标签，将导致逐渐漂移的问题，或利用元学习计划，不征求反馈显式。为了减轻由于现有LRE学习范例中缺乏反馈回路而导致的选择偏差，我们开发了梯度模仿强化学习方法，以鼓励伪标签数据模仿标签数据上的梯度下降方向，并通过试错来引导其优化能力。我们还提出了一个框架，称为GradLRE，它处理两个主要的情况下，低资源关系抽取。除了未标记的数据是足够的情况下，GradLRE处理的情况下，没有未标记的数据是可用的，通过利用上下文增强方法来生成数据。在两个公开数据集上的实验结果表明，与基线相比，GradLRE在低资源关系抽取上是有效的。
2021-09-14 cs.AI cs.CL
Unveiling the Role of Expert Guidance: A Comparative Analysis of User-centered Imitation Learning and Traditional Reinforcement Learning
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Saarland University（萨尔大学）
本研究对比以用户为中心的模仿学习与传统强化学习，探究专家指导与次优演示的影响，通过Unity仿真实验分析两类方法的效能与局限，为以人为中心的AI发展提供参考。
2024-10-28 cs.AI cs.LG
Universal Value Density Estimation for Imitation Learning and Goal-Conditioned Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
这项工作考虑了两种不同的设置：模仿学习和目标条件强化学习。无论哪种情况，有效的解决方案都需要代理可靠地达到指定的状态（目标）或一组状态（演示）。绘制概率长期动态和所需的价值函数之间的连接，这项工作介绍了一种方法，利用密度估计的最新进展，有效地学习达到一个给定的状态。作为我们的第一个贡献，我们使用这种方法的目标条件强化学习，并表明它是有效的，不遭受事后诸葛亮偏见随机域。作为我们的第二个贡献，我们扩展了模仿学习的方法，并表明它实现了最先进的示范样本效率的标准基准任务。
2020-02-15 cs.LG stat.ML
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology（SRM科学技术研究所）
在这项工作中，我们提出了一个严格的端到端的自动驾驶汽车控制策略，旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器，该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构，并制作了一种新颖的奖励函数来训练深度神经网络策略，以便在不到20小时的时间内自主驾驶（使用模仿学习）和比赛（使用强化学习）一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能，比最佳手动圈速快了0.96秒，而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London（帝国理工学院）
我们考虑的问题，模仿学习从一组有限的专家轨迹，没有获得强化信号。通过逆强化学习提取专家的奖励函数，然后进行强化学习的经典方法是间接的，并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布，在训练过程中可能不稳定。我们提出了一个新的框架，通过估计专家政策的支持，以计算一个固定的奖励函数，这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性，在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
Mirror Mode in Fire Emblem: Beating Players at their own Game with Imitation and Reinforcement Learning
LIACS, Leiden University（莱顿大学 LIACS）
本研究通过模仿与强化学习实现镜像模式，使敌方AI模仿玩家策略以提升玩家体验。
2025-12-10 cs.AI cs.GT cs.LG
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
Northwestern University（西北大学）
针对带可验证奖励的强化学习中回合预算浪费问题，提出VSR方法，通过方差最优状态重采样改进GRPO，在数学推理及Sokoban、BabyAI等任务上性能优于GRPO、GiGPO且生成token更少。
2026-10-14 cs.AI cs.LG
Delayed Reinforcement Learning by Imitation
Politecnico di Milano（米兰理工大学）
当智能体的观察或交互延迟时，经典的强化学习工具通常会失败。在本文中，我们提出了一个简单而又新颖有效的解决方案。我们假设，在无延迟的环境中，一个有效的政策是已知的，或者可以很容易地学习，但任务可能会受到延迟在实践中，因此我们要考虑到他们。我们提出了一种新的算法，延迟模仿与数据集聚合（DIDA），它建立在模仿学习方法来学习如何在延迟的环境中从无延迟的演示。我们提供了一个理论分析的方法，将指导DIDA的实际设计。这些结果也是普遍感兴趣的延迟强化学习文学延迟和非延迟任务之间的性能，平滑条件下提供的界限。我们的经验表明，DIDA获得了显着的样本效率的各种任务，包括机器人运动，经典的控制，和交易的高性能。
2022-05-11 cs.LG
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale
Google Deepmind（谷歌DeepMind）；University of Southern California（南加州大学）
针对不完美专家离线演示如何引导 MDP 在线学习的问题，提出 iPSRL 分析算法及可计算的 iRLSVI，将 RLSVI 与模仿学习结合，并显著降低贝叶斯遗憾。
2023-07-16 cs.AI cs.LG
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg（弗赖堡大学）
本文综述了深度学习在机器人学习控制中的应用，探讨了深度强化学习和模仿学习两大主流方法，分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
MimicKit: A Reinforcement Learning Framework for Motion Imitation and Control
Simon Fraser University（西蒙弗雷泽大学）；NVIDIA（英伟达）
MimicKit 通过运动模仿和强化学习结合，提供统一的运动控制训练框架，支持计算机图形学和机器人学的研究与应用。
2026-01-18 cs.GR cs.LG cs.RO
CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving
Nuro, Inc.（Nuro公司）
本文提出CIMRL框架，结合模仿学习和强化学习，利用模仿先验与安全约束在仿真中训练驾驶策略，无需复杂奖励设计，在闭环仿真和真实驾驶基准中达到最先进性能。
2024-11-11 cs.LG
imitation: Clean Imitation Learning Implementations
UC Berkeley（加州大学伯克利分校）；FAR AI（FAR人工智能研究所）；ETH Zurich（苏黎世联邦理工学院）
Imitation提供了PyTorch中模仿和奖励学习算法的开源实现。我们包括三个逆强化学习（IRL）算法，三个模仿学习算法和偏好比较算法。这些实现已经根据以前的结果进行了基准测试，自动化测试覆盖了98%的代码。此外，算法是以模块化的方式实现的，使得在框架中开发新的算法变得简单。我们的源代码，包括文档和示例，可以在https://github.com/HumanCompatibleAI/imitation上找到
2022-11-22 cs.AI cs.LG
Generating stable molecules using imitation and reinforcement learning
Aarhus University（奥胡斯大学）；Freie Universität Berlin（柏林自由大学）；Rice University（莱斯大学）
在尝试耗时的实验合成之前，通常通过机器学习方法探索化学空间以发现有趣的分子。然而，这些方法通常依赖于图形表示，忽略了确定分子稳定性所需的3D信息。我们提出了一种强化学习方法，用于在Carnival坐标中生成分子，从而可以对稳定性进行量子化学预测。为了提高样本效率，我们从GDB-11数据库上的模仿学习中学习基本的化学规则，以创建适用于所有化学计量的初始模型。然后，我们在强化学习设置中部署以特定化学计量为条件的模型的多个副本。该模型正确识别数据库中的低能分子，并产生训练集中未发现的新型异构体。最后，我们将该模型应用于更大的分子，以展示强化学习如何在远离训练数据的领域进一步改进模仿学习模型。
2021-07-11 cs.LG physics.chem-ph
Improved Reinforcement Learning through Imitation Learning Pretraining Towards Image-based Autonomous Driving
Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们为自动驾驶任务提供了一个训练管道，给定当前相机图像和车辆速度作为输入，以产生油门，刹车和转向控制输出。模拟器Airsim方便的天气和照明API在训练过程中提供了足够的多样性，这对提高训练策略的鲁棒性非常有帮助。为了不限制可能的策略的性能，我们使用连续的和确定性的控制策略设置。我们使用ResNet-34作为我们的演员和评论家网络，在完全连接的层中有一些轻微的变化。考虑到人类对这项任务的掌握和这项任务的高复杂性，我们首先使用模仿学习来模仿给定的人类策略，并将训练好的策略及其权重利用到我们使用DDPG的强化学习阶段。与纯模仿学习和纯DDPG相比，这种组合在自动驾驶任务中表现出相当大的性能提升。
2019-07-16 cs.AI cs.CV cs.LG
Model Imitation for Model-Based Reinforcement Learning
National Taiwan University（台湾大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Princeton University（普林斯顿大学）
基于模型的强化学习（MBRL）旨在学习动态模型，以减少与真实世界环境的交互次数。然而，由于估计误差，学习模型中的推出，特别是那些长期的视野，无法匹配在现实世界中的环境。这种不匹配严重影响了MBRL的样本复杂度。这一现象可以归因于这样一个事实，即以前的作品采用监督学习来学习一步过渡模型，这具有内在的困难，以确保从多步推出的分布的匹配。基于这一主张，我们提出通过WGAN匹配从过渡模型和真实模型中采样的多步推出的分布来学习过渡模型。我们从理论上表明，匹配的两个可以最小化之间的差异的累积奖励的真正的过渡和学习。我们的实验还表明，所提出的模型模仿方法可以竞争或优于国家的最先进的样本复杂性和平均回报。
2020-03-16 cs.AI cs.LG stat.ML
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University（德克萨斯农工大学）；University of Edinburgh（爱丁堡大学）
在各种控制任务领域中，现有的控制器提供了一个基线水平的性能，尽管可能是次优的，但应该保持。依赖于对状态和动作空间的广泛探索的强化学习（RL）算法可以用于优化控制策略。然而，完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中，我们解决的问题，在线优化的控制策略，同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架，表示为JIRL。JIRL中的学习过程假设基线策略可用，并在设计时考虑了两个目标：\textbf{(a)}利用基线的在线演示，以最大限度地减少培训期间对基线策略的遗憾，以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明，JIRL有效地实现了上述目标，在几个连续的动作空间域。结果表明，JIRL是一个国家的最先进的算法，在其最终的性能，而招致显着较低的基线遗憾在训练过程中，在所有提出的领域。此外，结果表明，在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
I-CTRL: Imitation to Control Humanoid Robots Through Constrained Reinforcement Learning
Technische Universität Wien (TU Wien)（维也纳技术大学）；Institute of Robotics and Mechatronics (DLR), German Aerospace Center（德国航空航天中心机器人与机电一体化研究所）
针对人形机器人高保真动作难以物理落地的问题，本文提出I-CTRL框架，用有界残差强化学习约束非物理重定向动作，并以自动优先级调度器训练统一策略，实现跨五种机器人的高质量物理模仿。
2025-02-17 cs.AI cs.RO
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文扩展 BabyAI 自动生成自然语言反馈，并改造 Decision Transformer 利用该信号，证明其可替代或补充回报与目标描述，提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Georgia Institute of Technology（佐治亚理工学院）
SPIRE通过任务与运动规划分解长时程操作任务，并结合模仿学习与强化学习，在性能、数据效率和训练速度上显著超越已有方法。
2024-10-23 cs.AI cs.CV cs.LG
DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
针对以往基于模型的强化学习的目标不匹配问题，提出将可微轨迹优化作为策略表示的DiffTORI方法，实现端到端学习，在多类机器人操作任务上性能优于现有最优方法。
2025-06-13 cs.AI cs.LG cs.RO
Behavior Imitation for Manipulator Control and Grasping with Deep Reinforcement Learning
School of Mechanical & Aerospace Engineering（机械与航空航天工程学院）；Nanyang Technological University（南洋理工大学）
本文提出将三维人体姿态估计与深度强化学习结合，把运动模仿转化为关节角度预测问题，仅需几秒视频即可让机械臂学会模仿人类手臂动作，实现轻量高效且泛化性强的行为模仿。
2024-05-02 cs.LG cs.RO
Action Advising with Advice Imitation in Deep Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
行动建议是一种基于师生范式的对等知识交换技术，用于缓解深度强化学习中的样本效率低下问题。最近提出的学生发起的方法已经取得了可喜的成果。但是，由于处于发展的早期阶段，这些也有一些实质性的缺点。在当前方法中缺乏的能力之一是通过重用进一步利用建议，这在考虑对等网络中的预算和成本约束的实际环境中尤其重要。在这项研究中，我们提出了一种方法，使学生代理模仿以前获得的意见，直接在其探索政策，没有任何干预的学习机制本身重用。特别是，我们采用了一个行为克隆模块来模仿教师的政策，并使用辍学正规化有一个概念的认识不确定性，以跟踪哪些国家的建议对实际收集。正如我们在三款Atari游戏中进行的实验结果所示，通过泛化进行建议重用确实是深度RL中的一个可行选择，我们的方法可以成功实现这一点，同时显着提高学习性能，即使与简单的早期建议启发式配对。
2021-04-17 cs.AI cs.LG
Going Beyond Expert Performance via Deep Implicit Imitation Reinforcement Learning
Department of Physics, J.K. Institute of Science（J.K.科学研究院物理系）；World Scientific University（世界科学大学）；University of Intelligent Studies（智能研究大学）；Technical University of Crete（克里特技术大学）
本文提出深度隐式模仿强化学习框架DIIQN及异构动作扩展HA-DIIQN，通过动作推断与动态置信机制利用仅观测的次优专家数据，实现超越专家表现并处理动作集不一致场景。
2025-11-05 cs.LG
STIR$^2$: Reward Relabelling for combined Reinforcement and Imitation Learning on sparse-reward tasks
MINES ParisTech（巴黎高等矿业学院）；PSL University（巴黎文理研究大学）
在寻找更有效的样本学习（RL）算法时，一个有希望的方向是利用尽可能多的外部非策略数据。例如，专家示范。在过去，已经提出了多种想法来充分利用添加到重放缓冲区的演示，例如仅对演示进行预训练或最小化附加成本函数。我们提出了一种新的方法，能够利用任何稀疏奖励环境中的任何离线策略算法在线收集的演示和情节。我们的方法是基于奖励奖金给予示范和成功的情节（通过重新标记），鼓励专家模仿和自我模仿。我们的实验集中在两个不同的模拟环境中的几个机器人操作任务。我们表明，我们的方法的基础上奖励重新标记提高了性能的基础算法（SAC和DDPG）对这些任务。最后，我们最好的算法STIR $^2$（通过奖励重新标记的自我和教师模仿），它集成到我们的方法中，从以前的作品中进行了多次改进，比所有基线都更有效。
2023-02-28 cs.LG cs.RO
FinFlowRL: An Imitation-Reinforcement Learning Framework for Adaptive Stochastic Control in Finance
School of Business, Stevens Institute of Technology（斯蒂文斯理工学院商学院）
针对传统金融随机控制难以适应非平稳市场的问题，提出 FinFlowRL 框架，融合多专家模仿预训练、噪声空间强化微调与动作分块，实现跨市场条件的自适应最优控制。
2025-08-30 cs.AI cs.LG q-fin.CP
