Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University（萨尔兰大学）
近年来，基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同，他们的特点取决于那些底层的学习方法。在这里，我们考虑一个基准规划问题，从强化学习域，赛道，调查来自不同的深度（强化）学习方法的代理的属性。我们比较了深度监督学习的性能，特别是模仿学习，以及赛道模型的强化学习。我们发现，模仿学习产生的代理人遵循更危险的路径。相比之下，深度强化学习的决策更具预见性，即，避免出现更有可能做出致命决定的状态。我们的评估表明，对于这个顺序决策问题，深度强化学习在许多方面表现最好，即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios
Waymo Research（Waymo研究院）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文提出将模仿学习与简单奖励的强化学习相结合，利用超10万英里真实驾驶数据训练策略，在最困难场景中将失败率降低超38%，显著提升自动驾驶安全性与鲁棒性。
2023-08-10 cs.AI cs.RO
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软人工智能研究院）
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定，这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题，我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后，在对抗逆强化学习的框架下，我们提出了一种新的对话生成奖励模型，可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明，我们的模型可以产生更多的高质量的响应，并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
考虑从示例专家行为中学习策略，而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数，然后用强化学习从该成本函数中提取策略。这种方法是间接的，可能会很慢。我们提出了一个新的一般框架，直接从数据中提取的政策，就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比，从中我们得到了一个无模型的模仿学习算法，该算法在模仿大型高维环境中的复杂行为时，比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Reinforcement and Imitation Learning for Diverse Visuomotor Skills
Stanford University（斯坦福大学）；DeepMind（深度思维）
我们提出了一种无模型的深度强化学习方法，该方法利用少量的演示数据来辅助强化学习代理。我们将这种方法应用于机器人操作任务和训练端到端的可视化策略，直接从RGB相机输入映射到关节速度。我们证明，我们的方法可以解决各种各样的可视化任务，工程脚本控制器将是费力的。在实验中，我们的强化和模仿代理取得了显着更好的性能比代理与强化学习或模仿学习单独训练。我们还说明了这些政策，训练与大的视觉和动态变化，可以取得初步的成功，在zero-shot sim2real传输。这项工作的简要视觉描述可以在https://youtu.be/EDl8SQUNjj0上查看
2018-05-27 cs.AI cs.LG cs.RO
Amplifying the Imitation Effect for Reinforcement Learning of UCAV's Mission Execution
University of Yonsei（延世大学）
本文提出了一种新的强化学习（RL）算法，通过放大模仿效应（AIE）来增强探索。该算法由自模仿学习和随机网络蒸馏算法组成。我们认为，这两个算法相辅相成，这两个算法相结合，可以放大模仿效果的探索。此外，通过向RL代理频繁访问的状态添加固有惩罚奖励，并在使用探索奖励时使用重放记忆来学习特征状态，所提出的方法导致深度探索并偏离当前的收敛策略。通过在二维网格环境中的实验，验证了算法的探索性能。最后，将该算法应用于无人作战飞机（UCAV）任务执行的仿真环境中，实验结果表明，该算法能够有效地找到UCAV规避敌方导弹的最短飞行路径。
2019-01-17 cs.AI cs.LG
MimicBot: Combining Imitation and Reinforcement Learning to win in Bot Bowl
Philips Research（飞利浦研究院）；Eindhoven University of Technology（埃因霍温理工大学）
本文描述了一种混合智能体，它被训练成参加Bot Bowl III比赛的Fantasy Football AI。代理MimicBot使用专门设计的深度策略网络实现，并使用模仿和强化学习相结合的方法进行训练。在这种背景下使用强化学习方法的先前尝试由于许多原因而失败，例如，由于环境中的固有随机性以及大量且不均匀数量的可用动作，其中课程学习方法未能始终如一地击败随机支付的代理。目前，没有任何机器学习方法可以击败使用游戏领域知识的脚本机器人。我们的解决方案，由于模仿学习和混合决策过程，始终击败这样的脚本代理。此外，我们揭示了如何在强化学习设置中更有效地训练，同时大幅提高样本效率。MimicBot是Bot Bowl III比赛的获胜者，它是目前最先进的解决方案。
2021-08-21 cs.AI cs.LG
Accelerating Reinforcement Learning through Implicit Imitation
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
模仿可以被看作是在多智能体环境中增强学习的一种手段。它通过智能地利用合作教师或其他更有经验的代理所展示的行为中隐含的知识来增强代理学习有用行为的能力。我们提出并研究了一种形式化的内隐模仿模型，该模型在某些情况下可以显著加速强化学习。粗略地说，通过观察导师，一个自主学习的智能体可以提取关于它自己在状态空间中未访问部分的能力和相对价值的信息。我们研究了这个模型的两个具体实例，其中一个学习代理和导师具有相同的能力，一个旨在处理代理和导师不同的行动集。我们说明了隐式模仿的好处，通过将其与优先扫描相结合，并通过观察单个和多个导师来展示改进的性能和收敛性。虽然我们对可观测性和可能的相互作用做了一些严格的假设，但我们简要地评论了放松这些限制的模型的扩展。
2011-06-03 cs.AI cs.LG
I-CTRL: Imitation to Control Humanoid Robots Through Constrained Reinforcement Learning
Technische Universität Wien (TU Wien)（维也纳技术大学）；Institute of Robotics and Mechatronics (DLR), German Aerospace Center（德国航空航天中心机器人与机电一体化研究所）
针对人形机器人高保真动作难以物理落地的问题，本文提出I-CTRL框架，用有界残差强化学习约束非物理重定向动作，并以自动优先级调度器训练统一策略，实现跨五种机器人的高质量物理模仿。
2025-02-17 cs.AI cs.RO
On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning
Technion University（以色列理工学院）；Nvidia Research（英伟达研究部门）
我们考虑的问题，使用专家数据与未观察到的混杂因素的模仿和强化学习。我们首先定义的问题，从混淆的专家数据在上下文MDP设置的学习。我们分析了在有和没有外部奖励的情况下从这些数据中学习的局限性，并提出了一种调整标准模仿学习算法以适应这种设置。然后，我们讨论的问题之间的分布偏移的专家数据和在线环境中的数据只有部分可观察。我们证明了在缺失协变量的任意分布偏移下模仿学习的可能性和不可能性结果。当提供额外的外部奖励，我们提出了一个采样过程，解决了未知的转变，并证明收敛到最优解。最后，我们验证了我们的主张经验上具有挑战性的辅助医疗和推荐系统模拟任务。
2021-10-13 cs.AI cs.LG cs.RO
Reinforcement Learning via Implicit Imitation Guidance
Stanford University（斯坦福大学）
针对样本高效强化学习中模仿目标可能损害长期回报的问题，本文提出DGN框架，仅用演示数据通过策略噪声隐式引导探索，在七个连续控制任务上较离线数据RL方法最高提升2至3倍。
2025-06-09 cs.AI cs.LG
Imitation Bootstrapped Reinforcement Learning
Stanford University（斯坦福大学）
针对模仿学习泛化难、强化学习样本效率低的问题，提出模仿自举强化学习框架，先训练模仿策略再用于探索和自举目标，在多类任务中性能显著优于现有方法。
2024-05-20 cs.AI cs.LG
Approximate Inverse Reinforcement Learning from Vision-based Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一种方法，用于获得基于视觉的导航的隐式目标函数。所提出的方法依赖于模仿学习、模型预测控制（MPC）和深度神经网络中使用的解释技术。我们使用模仿学习作为进行逆强化学习的手段，以便为视觉导航挑战创建近似的成本函数生成器。由此产生的成本函数，costmap，用于与MPC的实时控制，并优于其他国家的最先进的costmap发电机在新的环境。所提出的过程允许简单的训练和对样本外数据的鲁棒性。我们将我们的方法应用于多个真实和模拟环境中基于视觉的自动驾驶任务，并展示了其通用性。
2021-04-08 cs.AI cs.CV cs.LG
BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning
New York University Shanghai（上海纽约大学）；New York University（纽约大学）
最近，批量深度强化学习（DRL）的研究激增，其目的是从给定的数据集中学习高性能的策略，而无需与环境进行额外的交互。我们提出了一种新的算法，最佳行动模仿学习（BAIL），力求简单性和性能。BAIL学习V函数，使用V函数选择它认为高性能的动作，然后使用这些动作使用模仿学习来训练策略网络。对于MuJoCo基准测试，我们提供了BAIL的全面实验研究，将其性能与其他四种批量Q学习和模仿学习方案进行了比较。我们的实验表明，BAIL的性能远远高于其他计划，也是计算速度远远快于批量Q学习计划。
2020-11-02 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Based on Location-Aware Imitation Environment for RIS-Aided mmWave MIMO Systems
University of Electronic Science and Technology of China（电子科技大学）；Yibin Institute of UESTC（电子科技大学宜宾研究院）；Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）
可重构智能表面（Reconfigurable Intelligent Surface，RIS）作为一种以较少的硬件成本和能量消耗来改善无线通信的信号传输质量的有前途的解决方案，近年来得到了广泛的应用。本文提出了一种基于位置感知仿真环境的深度强化学习（Deep Reinforcement Learning，DRL）算法，用于RIS辅助毫米波多输入多输出系统的联合波束形成设计。具体来说，我们设计了一个神经网络来模仿传输环境的基础上用户的位置和毫米波信道之间的几何关系。在此之后，一种新的DRL为基础的方法，与模仿环境中使用的位置信息进行交互。最后，仿真结果表明，所提出的基于DRL的算法提供了更强大的性能，没有过多的交互开销相比，现有的基于DRL的方法。
2022-05-18 cs.AI eess.SP
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI（艾伦人工智能研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在实践中，模仿学习优于纯强化学习，只要有可能设计一个教学代理提供专家监督。然而，我们发现，当教学代理人作出决定，访问特权信息是不可用的学生，这些信息被边缘化在模仿学习，导致“模仿差距”，并可能，效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的，但对于需要在探索和记忆之间频繁切换的任务来说，渐进式学习是失败的。为了更好地解决这些任务，并减轻模仿差距，我们提出了“适应性不服从”（ADVISOR）。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权，从而实现在模仿和探索之间的动态切换。在网格世界，多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中，我们证明了ADVISOR的动态切换优于纯模仿，纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题，这通常会给强化学习带来重大挑战。我们提出了一个算法框架，称为分层指导，它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习（IL）和强化学习（RL）的不同组合，从而大大减少专家的努力和探索成本。使用长期基准测试，包括Montezuma的Revenge，我们证明了我们的方法可以比分层RL更快地学习，并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
RLIF: Interactive Imitation Learning as Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
本文提出RLIF方法，将交互式模仿学习转化为以干预信号为奖励的强化学习，放宽专家近最优假设，统一分析框架，在模拟和真实机器人任务上优于DAgger。
2024-03-18 cs.AI cs.RO
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology（SRM科学技术研究所）
在这项工作中，我们提出了一个严格的端到端的自动驾驶汽车控制策略，旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器，该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构，并制作了一种新颖的奖励函数来训练深度神经网络策略，以便在不到20小时的时间内自主驾驶（使用模仿学习）和比赛（使用强化学习）一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能，比最佳手动圈速快了0.96秒，而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg（弗赖堡大学）
本文综述了深度学习在机器人学习控制中的应用，探讨了深度强化学习和模仿学习两大主流方法，分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人运动规划中高质量数据收集困难的问题，提出嵌入经验规划的SILP+算法，通过策略成功状态生成演示提升性能，在仿真与实体机器人实验中均实现更优训练效率和成功率。
2023-06-11 cs.AI cs.RO
Data-Driven Simulation of Ride-Hailing Services using Imitation and Reinforcement Learning
University of Moratuwa（莫拉图瓦大学）
网约车平台的快速增长创造了一个竞争激烈的市场，企业难以盈利，需要更好的运营策略。然而，对于这些平台来说，现实世界的实验是有风险和昂贵的，因为它们每天都要处理数百万用户。因此，需要一个模拟的环境，他们可以预测用户的反应，在平台特定的参数，如旅行费用和奖励的变化。构建这样的模拟是具有挑战性的，因为这些平台存在于动态环境中，成千上万的用户经常相互交互。本文提出了一个框架来模拟和预测用户，特别是司机，在乘车服务的行为。为此，我们使用了数据驱动的混合强化学习和模仿学习方法。首先，该代理利用行为克隆来模仿驾驶员的行为，使用真实世界的数据集。接下来，强化学习应用于模拟环境中预先训练的代理之上，以使它们能够适应平台中的变化。我们的框架为网约车平台提供了一个理想的平台，可以实验平台特定的参数来预测驾驶员的行为模式。
2021-04-06 cs.AI cs.LG
Personalized Dynamic Difficulty Adjustment -- Imitation Learning Meets Reinforcement Learning
Faculty of EECS Leibniz University Hannover Hannover, Germany
针对电子游戏难度与玩家技能不匹配影响体验的问题，提出结合模仿学习与强化学习的双智能体框架，用于格斗游戏场景下的个性化动态难度调整。
2024-08-13 cs.AI
Mirror Mode in Fire Emblem: Beating Players at their own Game with Imitation and Reinforcement Learning
LIACS, Leiden University（莱顿大学 LIACS）
本研究通过模仿与强化学习实现镜像模式，使敌方AI模仿玩家策略以提升玩家体验。
2025-12-10 cs.AI cs.GT cs.LG
Improved Reinforcement Learning through Imitation Learning Pretraining Towards Image-based Autonomous Driving
Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们为自动驾驶任务提供了一个训练管道，给定当前相机图像和车辆速度作为输入，以产生油门，刹车和转向控制输出。模拟器Airsim方便的天气和照明API在训练过程中提供了足够的多样性，这对提高训练策略的鲁棒性非常有帮助。为了不限制可能的策略的性能，我们使用连续的和确定性的控制策略设置。我们使用ResNet-34作为我们的演员和评论家网络，在完全连接的层中有一些轻微的变化。考虑到人类对这项任务的掌握和这项任务的高复杂性，我们首先使用模仿学习来模仿给定的人类策略，并将训练好的策略及其权重利用到我们使用DDPG的强化学习阶段。与纯模仿学习和纯DDPG相比，这种组合在自动驾驶任务中表现出相当大的性能提升。
2019-07-16 cs.AI cs.CV cs.LG
Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator
Kanazawa University（金泽大学）
针对少量数据下模仿学习的分布偏移与交互成本问题，提出结合对抗逆强化学习奖励的DSQIL算法，在SQIL基础上提升鲁棒性与效率，并在MuJoCo环境完成评估。
2024-01-30 cs.AI cs.LG
From Imitation to Interaction: Mastering Game of Schnapsen with Shallow Reinforcement Learning
Vrije Universiteit Amsterdam（弗里兹大学阿姆斯特丹）
本文研究浅层神经网络代理是否能掌握纸牌游戏斯纳普森，并挑战使用蒙特卡洛采样和前瞻搜索的强搜索基线RdeepBot。通过逐步更复杂的实验设计，首先评估了基于回放数据训练的监督学习代理（MLPBot）以及通过异步蒙特卡洛更新和经验回放训练的强化学习代理（RLBot）。结果表明，监督模仿不足以击败强RdeepBot对手，而强化学习产生了更强的代理。在聚焦RdeepBot深度参数的设置中，最佳性能是在学习的价值函数与游戏过程中更深层次的前瞻搜索结合时实现的，使RLBot在最强的RdeepBot基线下实现了统计显著更高的胜率。在基于样本的设置中，收益更具条件性：最强性能出现在相对较低的训练num_samples参数下，而不是随着更强采样均匀增加。
2026-05-16 cs.AI cs.LG
SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Georgia Institute of Technology（佐治亚理工学院）
SPIRE通过任务与运动规划分解长时程操作任务，并结合模仿学习与强化学习，在性能、数据效率和训练速度上显著超越已有方法。
2024-10-23 cs.AI cs.CV cs.LG
PLANRL: A Motion Planning and Imitation Learning Framework to Bootstrap Reinforcement Learning
University of Maryland, College Park（马里兰大学帕克分校）
PLANRL框架通过动态切换经典运动规划与强化学习，并利用模仿数据引导探索，显著提升了机器人在仿真和真实任务中的样本效率、泛化能力与操作成功率。
2024-10-17 cs.AI
A Policy-Guided Imitation Approach for Offline Reinforcement Learning
JD Technology（京东科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出策略引导离线RL方法POR，将策略分解为引导策略与执行策略，以监督解耦方式训练，实现状态组合性与分布外泛化，在D4RL基准上达到SOTA。
2023-04-05 cs.AI cs.LG
Model Imitation for Model-Based Reinforcement Learning
National Taiwan University（台湾大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Princeton University（普林斯顿大学）
基于模型的强化学习（MBRL）旨在学习动态模型，以减少与真实世界环境的交互次数。然而，由于估计误差，学习模型中的推出，特别是那些长期的视野，无法匹配在现实世界中的环境。这种不匹配严重影响了MBRL的样本复杂度。这一现象可以归因于这样一个事实，即以前的作品采用监督学习来学习一步过渡模型，这具有内在的困难，以确保从多步推出的分布的匹配。基于这一主张，我们提出通过WGAN匹配从过渡模型和真实模型中采样的多步推出的分布来学习过渡模型。我们从理论上表明，匹配的两个可以最小化之间的差异的累积奖励的真正的过渡和学习。我们的实验还表明，所提出的模型模仿方法可以竞争或优于国家的最先进的样本复杂性和平均回报。
2020-03-16 cs.AI cs.LG stat.ML
Unveiling the Role of Expert Guidance: A Comparative Analysis of User-centered Imitation Learning and Traditional Reinforcement Learning
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Saarland University（萨尔大学）
本研究对比以用户为中心的模仿学习与传统强化学习，探究专家指导与次优演示的影响，通过Unity仿真实验分析两类方法的效能与局限，为以人为中心的AI发展提供参考。
2024-10-28 cs.AI cs.LG
FinFlowRL: An Imitation-Reinforcement Learning Framework for Adaptive Stochastic Control in Finance
School of Business, Stevens Institute of Technology（斯蒂文斯理工学院商学院）
针对传统金融随机控制难以适应非平稳市场的问题，提出 FinFlowRL 框架，融合多专家模仿预训练、噪声空间强化微调与动作分块，实现跨市场条件的自适应最优控制。
2025-08-30 cs.AI cs.LG q-fin.CP
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale
Google Deepmind（谷歌DeepMind）；University of Southern California（南加州大学）
针对不完美专家离线演示如何引导 MDP 在线学习的问题，提出 iPSRL 分析算法及可计算的 iRLSVI，将 RLSVI 与模仿学习结合，并显著降低贝叶斯遗憾。
2023-07-16 cs.AI cs.LG
imitation: Clean Imitation Learning Implementations
UC Berkeley（加州大学伯克利分校）；FAR AI（FAR人工智能研究所）；ETH Zurich（苏黎世联邦理工学院）
Imitation提供了PyTorch中模仿和奖励学习算法的开源实现。我们包括三个逆强化学习（IRL）算法，三个模仿学习算法和偏好比较算法。这些实现已经根据以前的结果进行了基准测试，自动化测试覆盖了98%的代码。此外，算法是以模块化的方式实现的，使得在框架中开发新的算法变得简单。我们的源代码，包括文档和示例，可以在https://github.com/HumanCompatibleAI/imitation上找到
2022-11-22 cs.AI cs.LG
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Imitation-Projected Programmatic Reinforcement Learning
Rice University（莱斯大学）；Caltech（加州理工学院）
我们研究了程序化强化学习的问题，在该学习中，策略被表示为符号语言的短程序。编程策略比神经策略更容易解释、更容易推广，更容易接受形式化验证;然而，为这些策略设计严格的学习方法仍然是一个挑战。我们应对这一挑战的方法--一种名为PROPEL的元算法--基于三个见解。首先，我们将我们的学习任务视为策略空间中的优化，对所需策略具有编程表示的约束取模，并使用镜像下降的形式来解决此优化问题，该形式将梯度步骤引入无约束的策略空间，然后投影回约束空间。其次，我们将不受约束的策略空间视为神经和编程表示的混合，这使得能够采用最先进的深度策略梯度方法。第三，我们通过模仿学习将投影步骤转换为程序合成，并利用当代组合方法完成这项任务。我们目前的理论收敛结果PROPEL和经验评估的方法在三个连续的控制域。实验表明，PROPEL可以显着优于国家的最先进的方法学习程序化政策。
2021-01-19 cs.AI cs.LG cs.PL
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University（德克萨斯农工大学）；University of Edinburgh（爱丁堡大学）
在各种控制任务领域中，现有的控制器提供了一个基线水平的性能，尽管可能是次优的，但应该保持。依赖于对状态和动作空间的广泛探索的强化学习（RL）算法可以用于优化控制策略。然而，完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中，我们解决的问题，在线优化的控制策略，同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架，表示为JIRL。JIRL中的学习过程假设基线策略可用，并在设计时考虑了两个目标：\textbf{(a)}利用基线的在线演示，以最大限度地减少培训期间对基线策略的遗憾，以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明，JIRL有效地实现了上述目标，在几个连续的动作空间域。结果表明，JIRL是一个国家的最先进的算法，在其最终的性能，而招致显着较低的基线遗憾在训练过程中，在所有提出的领域。此外，结果表明，在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Duke University（杜克大学）
提出DARAIL方法，结合领域适应与奖励增强模仿学习，解决动力学偏移下策略迁移问题，在基准环境中优于纯修改奖励等方法。
2024-11-15 cs.AI cs.LG cs.RO
Adversarial Exploitation of Policy Imitation
Kansas State University（堪萨斯州立大学）
本文研究了针对深度强化学习（DRL）策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性（例如，分类器）到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力，从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中，我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外，我们开发了概念验证攻击，利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念，缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
Action Advising with Advice Imitation in Deep Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
行动建议是一种基于师生范式的对等知识交换技术，用于缓解深度强化学习中的样本效率低下问题。最近提出的学生发起的方法已经取得了可喜的成果。但是，由于处于发展的早期阶段，这些也有一些实质性的缺点。在当前方法中缺乏的能力之一是通过重用进一步利用建议，这在考虑对等网络中的预算和成本约束的实际环境中尤其重要。在这项研究中，我们提出了一种方法，使学生代理模仿以前获得的意见，直接在其探索政策，没有任何干预的学习机制本身重用。特别是，我们采用了一个行为克隆模块来模仿教师的政策，并使用辍学正规化有一个概念的认识不确定性，以跟踪哪些国家的建议对实际收集。正如我们在三款Atari游戏中进行的实验结果所示，通过泛化进行建议重用确实是深度RL中的一个可行选择，我们的方法可以成功实现这一点，同时显着提高学习性能，即使与简单的早期建议启发式配对。
2021-04-17 cs.AI cs.LG
Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning
Osaka University（大阪大学）；The University of Tokyo（东京大学）
生成对抗式模仿学习（GAIL）在机器人学习领域受到越来越多的关注。它使机器人能够学习一种策略来完成专家演示的任务，同时估计专家行为背后的奖励函数。然而，该框架仅限于学习具有单个奖励函数的单个任务。本研究提出了一个扩展框架，称为情境GAIL（S-GAIL），其中一个任务变量被引入到GAIL框架的生成器和生成器。任务变量的作用是区分不同的上下文，使框架学习不同的奖励函数和策略的多个任务。为了实现早期收敛的学习和鲁棒性在奖励估计，我们引入了一个术语来调整熵正则化系数在发电机的目标函数。我们使用两个设置（在离散网格世界中导航和在连续空间中手臂到达）的实验表明，所提出的框架可以比现有框架更有效地获得多个奖励函数和策略。任务变量使我们的框架能够区分上下文，同时在多个任务之间共享公共知识。
2019-11-01 cs.AI cs.LG cs.RO
Using Non-Expert Data to Robustify Imitation Learning via Offline Reinforcement Learning
University of Washington（华盛顿大学）；Toyota Research Institute (TRI)（丰田研究院）
本研究提出利用离线强化学习算法修改，有效整合非专家数据以增强模仿学习策略的鲁棒性，显著提升操作任务的恢复与泛化能力。
2025-10-25 cs.AI cs.LG cs.RO
Imitating Language via Scalable Inverse Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Cohere（科here）
该研究从逆强化学习视角出发研究语言模仿，将逆软Q学习重构为带时间差分正则化的MLE扩展，验证了其在监督微调中兼顾性能与多样性的优势，为大模型后训练提供更鲁棒的奖励方案。
2024-12-09 cs.AI cs.CL cs.LG
Reinforcement Learning for Battery Energy Storage Dispatch augmented with Model-based Optimizer
Washington State University（华盛顿州立大学）
强化学习已被发现在解决电力分配系统中的最优潮流（OPF）问题中是有用的。然而，使用完全忽略基于物理的电网建模的基本上无无模型强化学习算法会损害优化器性能并带来可扩展性挑战。本文提出了一种新的方法，协同结合基于物理的模型和基于学习的算法，使用模仿学习来解决分布级的最优潮流问题。具体而言，我们提出了基于模仿学习的改进深度强化学习（DRL）方法，以解决配电系统中电池存储调度的特定情况下的OPF问题。提出的模仿学习算法使用从线性化的基于模型的OPF求解器获得的近似最优解，为DRL算法提供良好的初始策略，同时提高训练效率。所提出的方法的有效性证明了使用IEEE 34总线和123总线配电馈线与众多的分布式级电池存储系统。
2021-09-02 cs.AI cs.LG cs.SY
Distributed Resource Scheduling for Large-Scale MEC Systems: A Multi-Agent Ensemble Deep Reinforcement Learning with Imitation Acceleration
Hunan Normal University（湖南师范大学）；Hunan University of Commerce（湖南商学院）；Northumbria University（诺森比亚大学）；University of Essex（埃塞克斯大学）；Queen Mary University of London（伦敦玛丽女王大学）
我们考虑分布式资源调度的优化，以最小化大规模移动边缘计算（MEC）系统中所有物联网设备（IoTD）的任务延迟和能耗之和。为了解决这个问题，我们提出了一个分布式智能资源调度（DIRS）框架，其中包括集中训练依赖于全球信息和分布式决策部署在每个MEC服务器上的每个代理。更具体地说，我们首先介绍了一种新的多智能体集成辅助分布式深度强化学习（DRL）架构，它可以通过划分状态空间来简化每个智能体的整体神经网络结构，并通过组合所有智能体的决策来提高单个智能体的性能。其次，我们应用行动细化，以提高所提出的DIRS框架的探索能力，其中接近最优的状态-行动对获得一种新的Lévy飞行搜索。最后，提出了一种模拟加速方案，对所有智能体进行预训练，通过从少量演示数据中学习专业经验，显著加快了该框架的学习过程。大量的仿真结果表明，建议的DIRS框架是有效的，优于现有的基准计划。
2020-05-21 cs.AI cs.DC cs.NI
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts（美国艺电）
针对强化学习难以建模多样人类游戏风格的问题，提出MultiGAIL，通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略，并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
Imitating Cost-Constrained Behaviors in Reinforcement Learning
本文针对现实世界中受成本约束的专家行为，提出多种模仿学习方法（拉格朗日、元梯度、交替梯度），实验证明元梯度方法在匹配成本约束分布上性能最优。
2024-05-23 cs.AI cs.LG
Fine-tuning is Not Enough: A Parallel Framework for Collaborative Imitation and Reinforcement Learning in End-to-end Autonomous Driving
Tongji University（同济大学）；Nanyang Technological University（南洋理工大学）；Chery Automobile（奇瑞汽车）
本文提出PaIR-Drive框架，通过并行分离模仿学习与强化学习，解决传统序列微调方法导致的策略漂移和性能瓶颈问题，实现协同优化，提升自动驾驶性能。
2026-04-10 cs.AI cs.RO
Enhanced Generalization through Prioritization and Diversity in Self-Imitation Reinforcement Learning over Procedural Environments with Sparse Rewards
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；Rice University（莱斯大学）
本文针对程序化生成环境中的稀疏奖励探索问题，提出基于优先级和多样性的自模仿学习采样策略，并在MiniGrid-MultiRoom-N12-S10上取得最先进性能。
2023-11-01 cs.AI cs.LG
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
模仿学习的目标是通过演示模仿专家的行为，而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习（IRL）推断（未知）奖励函数，然后通过强化学习（RL）最大化该奖励函数。然而，通过这些方法学习的策略在实践中非常脆弱，即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时（植入），一个新的元算法模仿学习，利用决策时规划，以纠正任何基础模仿政策的复合错误。与现有方法相比，我们在决策时保留了模仿策略和奖励模型，从而受益于这两个组件的学习信号。从经验上讲，我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时，受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
