Imitation Learning from Suboptimal Demonstrations via Meta-Learning An Action Ranker
University of Electronic Science and Technology of China（电子科技大学）；Duke Kunshan University（昆山杜克大学）；Sichuan Artificial Intelligence Research Institute（四川省人工智能研究院）
本文提出ILMAR方法，通过元学习动作排序器并利用优势函数泛函选择性整合次优演示知识，以加权行为克隆提升模仿学习性能，实验证明其显著优于现有方法。
2024-12-28 cs.AI cs.LG
Skill Disentanglement for Imitation Learning from Suboptimal Demonstrations
the Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（NEC美国实验室）；East China Normal University（华东师范大学）
针对模仿学习需大量高质量演示的难题，提出一种在子演示层面评估模仿的技能解耦方法，通过两阶段训练与互信息正则化等设计，在gym环境和医疗数据集上实现了更优的次优演示学习效果与可解释性。
2023-06-13 cs.LG
Self-Imitation Learning from Demonstrations
JetBrains Research（JetBrains研究院）
尽管强化学习（RL）取得了许多突破，但解决具有稀疏奖励的环境仍然是一项具有挑战性的任务，需要进行复杂的探索。示教学习（LfD）通过引导智能体对专家所经历的状态的探索来解决这个问题。当然，这种方法的好处取决于演示的质量，而演示在现实场景中很少是最佳的。现代LfD算法需要对控制演示影响的超参数进行细致的调整，正如我们在论文中所展示的那样，努力从次优演示中学习。为了解决这些问题，我们扩展自模仿学习（SIL），最近的RL算法，利用代理的过去的良好经验，LfD设置通过初始化其重放缓冲区的演示。我们将我们的算法表示为来自演示的SIL（SILfD）。我们的经验表明，SILfD可以从嘈杂或远离最佳的演示中学习，并且可以在整个训练过程中自动调整演示的影响，而无需额外的超参数或手工制作的时间表。我们还发现SILfD优于现有的国家的最先进的LfD算法在稀疏环境中，特别是当示威是高度次优。
2022-03-21 cs.LG
Imitating Past Successes can be Very Suboptimal
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
先前的工作提出了一种简单的强化学习（RL）策略：用该经验中获得的结果标记经验，然后模仿重新标记的经验。这些基于结果的模仿学习方法因其简单、性能强以及与监督学习的紧密联系而备受关注。然而，目前还不清楚这些方法如何与标准RL目标，奖励最大化。在本文中，我们正式与结果条件模仿学习奖励最大化，绘制一个精确的学习政策和Q值之间的关系，并解释这些方法和以前的EM为基础的政策搜索方法之间的密切联系。该分析表明，现有的以结果为条件的模仿学习方法不一定改善策略，但是在某些假设下，简单的修改导致确实保证策略改善的方法。
2023-02-17 cs.AI cs.LG
Discriminator-Guided Model-Based Offline Imitation Learning
Tsinghua University（清华大学）；JD Technology（京东科技）；Beijing Jiaotong University（北京交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
离线模仿学习（IL）是一种解决决策问题的强有力的方法，从专家示范没有奖励标签。现有的离线IL方法在有限的专家数据下遭受严重的性能退化。包括学习的动态模型可以潜在地改善专家数据的状态-动作空间覆盖，然而，它也面临着具有挑战性的问题，如模型近似/泛化误差和推出数据的次优性。在本文中，我们提出了鉴别器引导的基于模型的离线模仿学习（DMIL）框架，该框架引入了一个鉴别器，以同时区分模型推出数据的动态正确性和次优性与真实的专家演示。DMIL采用了一种新颖的合作对抗学习策略，利用策略学习器引导和耦合策略和动力学模型的学习过程，从而提高了模型的性能和鲁棒性。我们的框架也可以扩展到的情况下，当演示包含很大比例的次优数据。实验结果表明，DMIL及其扩展实现了优越的性能和鲁棒性相比，国家的最先进的离线IL方法在小数据集。
2023-01-10 cs.AI cs.LG
Sequence Model Imitation Learning with Unobserved Contexts
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（极光创新公司）
我们考虑模仿学习问题，其中学习者模仿专家的能力随着更多信息的揭示而在整个事件过程中增加。其中一个例子是当专家可以访问特权信息时：虽然学习者可能无法在一个事件的早期准确地再现专家的行为，但通过考虑状态和动作的整个历史，他们可能最终能够识别隐藏的上下文并像专家一样行事。我们证明了政策上的模仿学习算法（有或没有访问一个可查询的专家）更好地装备，以处理这类渐近可实现的问题比政策外的方法。这是因为策略算法可以证明从最初的次优行为中恢复过来，而非策略方法则将其次优的过去行为视为来自专家。这通常表现为闭锁行为：对过去行为的天真重复。我们在一个玩具强盗域进行实验，结果表明，存在急剧的相变是否关闭政策的方法是能够渐近匹配专家的性能，在一致的良好性能的政策方法。我们证明，在几个连续的控制任务，对政策的方法是能够使用历史来确定上下文，而关闭政策的方法实际上表现得更差，当访问历史。
2023-01-14 cs.LG
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech（佐治亚理工学院）
模仿学习（IL）由一组工具组成，这些工具利用专家演示来快速学习策略。然而，如果专家是次优的，IL可以产生性能较差的政策相比，强化学习（RL）。在本文中，我们的目标是提供一个算法，结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点，表明这些算法可以被视为单一方法的变体。然后，我们提出了LOKI，策略学习的策略，首先执行一个小的，但随机数的IL迭代之前切换到策略梯度RL方法。我们表明，如果切换时间是适当的随机化，LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后，我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Zero-Shot Offline Imitation Learning via Optimal Transport
ETH, Zürich, Switzerland（苏黎世联邦理工学院）
针对现有零样本模仿学习框架的短视行为问题，提出基于最优传输的方法，通过优化占用匹配目标、用世界模型近似占用度量，实现从离线次优数据学习的非短视零样本模仿，在连续基准测试中验证有效。
2025-06-12 cs.LG
GRAIL: Goal Recognition Alignment through Imitation Learning
Department of Computer Science, Bar Ilan University（巴伊兰大学计算机科学系）；Department of Computer Science, Aberdeen University（阿伯丁大学计算机科学系）；Department of Computer Science, Tufts University（塔夫茨大学计算机科学系）
GRAIL通过模仿学习和逆强化学习，从演示轨迹中学习目标导向策略，提高目标识别的准确性和鲁棒性。
2026-02-15 cs.AI cs.LG cs.RO
Toward the Fundamental Limits of Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
模仿学习（IL）的目的是模仿行为的专家政策在一个顺序的决策问题，只有示范。在本文中，我们专注于了解的最小最大的统计限制，在情节马尔可夫决策过程（MDP）的IL。我们首先考虑这样的设置，其中提前向学习者提供$N$专家轨迹的数据集，并且不能与MDP交互。在这里，我们表明，模仿专家的政策，尽可能是在预期$\lesssim \frac{|\mathcal{S}| H^2 \log (N)}{N}$次优的专家相比，价值，即使当专家遵循任意的随机政策。这里$\mathcal{S}$是状态空间，$H$是事件的长度。此外，我们建立了一个次优下限的$\gtrsim |\mathcal{S}| H^2 / N$适用，即使专家被限制为确定性的，或者如果学习者被允许积极查询专家在访问状态，同时与MDP的$N$插曲。据我们所知，这是第一个具有次优性的算法，在没有额外假设的情况下不依赖于动作数量。然后，我们提出了一种新的算法，基于最小距离泛函的设置中的过渡模型和专家是确定性的。该算法是次优的$\lesssim \min \{ H \sqrt{|\mathcal{S}| / N} ,\ |\mathcal{S}| H^{3/2} / N \}$，表明知识的过渡提高极小极大率至少一个$\sqrt{H}$的因素。
2020-09-13 cs.AI cs.LG math.OC
Pareto Invariant Risk Minimization: Towards Mitigating the Optimization Dilemma in Out-of-Distribution Generalization
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Hong Kong Baptist University（香港浸会大学）
最近，人们对使机器学习系统能够很好地推广到分布外（OOD）数据的兴趣越来越大。大部分的努力都致力于推进优化目标，正则化模型，以捕捉潜在的不变性，然而，在这些OOD目标的优化过程中往往有妥协：i）许多OOD目标必须放松作为惩罚项的经验风险最小化（ERM），以便于优化，而放松的形式可能会削弱原目标的鲁棒性; ii）由于企业风险管理和面向对象开发目标之间的内在冲突，惩罚条款还需要仔细调整惩罚权重。因此，这些妥协很容易导致机构风险管理或业务发展目标的业绩欠佳。为了解决这些问题，我们引入了多目标优化（MOO）的角度来理解OOD优化过程，并提出了一种新的优化方案，称为PAreto不变风险最小化（PAIR）。PAIR通过与其他OOD目标的协同优化，提高了OOD目标的鲁棒性，从而弥补了由松弛引起的差距。然后，PAIR接近帕累托最优解，权衡了企业风险管理和OOD目标适当。在具有挑战性的基准测试WILDS上进行的大量实验表明，PAIR能够消除这些妥协，并获得最佳的OOD性能。
2023-03-02 cs.LG stat.ML
SORREL: Suboptimal-Demonstration-Guided Reinforcement Learning for Learning to Branch
Carnegie Mellon University（卡内基梅隆大学）
本文提出SORREL，一种基于价值估计选择性利用次优演示的强化学习方法，用于学习分支策略，在多种MILP上显著提升分支质量和训练效率。
2025-02-25 cs.LG
Genetic Imitation Learning by Reward Extrapolation
University of Technology Sydney（悉尼科技大学）
模仿学习在各个领域都表现出显著的表现。然而，模仿学习也受到许多先决条件的限制。研究界已经做了大量的研究来减轻这些限制，例如添加随机策略来避免看不见的状态，消除对动作标签的需要，以及从次优演示中学习。受自然繁殖过程的启发，我们提出了一种将遗传算法与模仿学习相结合的方法GenIL。遗传算法的参与通过再现具有各种返回的轨迹来提高数据效率，并帮助模型估计更准确和紧凑的奖励函数参数。我们在Atari和Mujoco域中测试了GenIL，结果表明，当输入数据有限时，它在外推准确性、鲁棒性和整体策略性能方面成功优于之前的外推方法。
2023-01-03 cs.LG cs.NE
Imitation Learning: Progress, Taxonomies and Challenges
University of Technology Sydney（悉尼科技大学）
模仿学习旨在从人类专家的演示或人工创建的代理中提取知识，以便复制他们的行为。它的成功已经在视频游戏、自动驾驶、机器人模拟和物体操纵等领域得到了证明。然而，这种复制过程可能是有问题的，例如性能高度依赖于演示质量，并且大多数训练有素的代理仅限于在特定任务环境中表现良好。本文对模仿学习进行了系统的综述。首先介绍了背景知识学习的发展历史和分类，然后介绍了模仿学习的不同分类和该领域的关键里程碑。然后，我们详细介绍了学习策略的挑战，并从次优演示，语音指令和其他相关的优化方案的学习策略，目前的研究机会。
2022-10-21 cs.LG cs.RO
Using Non-Expert Data to Robustify Imitation Learning via Offline Reinforcement Learning
University of Washington（华盛顿大学）；Toyota Research Institute (TRI)（丰田研究院）
本研究提出利用离线强化学习算法修改，有效整合非专家数据以增强模仿学习策略的鲁棒性，显著提升操作任务的恢复与泛化能力。
2025-10-25 cs.AI cs.LG cs.RO
Offline Imitation Learning by Controlling the Effective Planning Horizon
Korea University（高丽大学）；Gauss Labs（高斯实验室）
本文研究离线模仿学习中通过缩短有效规划视野替代显式正则化的方法，分析现有算法误差放大原因并提出修正方案，在多个基准上取得性能提升。
2024-01-18 cs.LG
Task Tokens: A Flexible Approach to Adapting Behavior Foundation Models
Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
本文提出任务标记方法，通过强化学习学习任务特定编码器，使行为基础模型适应特定任务，同时保持灵活性和泛化能力。
2026-03-26 cs.LG cs.RO
Imitation from Observations with Trajectory-Level Generative Embeddings
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
TGE通过轨迹级生成嵌入解决离线模仿学习中专家数据稀缺的问题，利用时序扩散模型构建平滑奖励，提升离线数据与专家行为间的学习信号。
2026-02-01 cs.LG
Proximal Point Imitation Learning
EPFL（洛桑联邦理工学院）；ETH Zurich（苏黎世联邦理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）
本文提出基于近端点方法和对偶平滑的无限时域模仿学习新算法，通过优化单一凸光滑目标避免嵌套更新，并在线性与神经网络逼近下取得理论与实证双重保证。
2023-05-30 cs.LG
Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对对抗模仿学习（AIL）需大量在线交互的问题，提出基于奖励塑形分析的理论框架，设计策略-奖励联合预训练方法CoPT-AIL，首次从理论上证明预训练能提升AIL的模仿性能。
2026-06-23 cs.LG
Avoidance of Manual Labeling in Robotic Autonomous Navigation Through Multi-Sensory Semi-Supervised Learning
Ball State University（波尔州立大学）
模仿学习有望解决具有挑战性的机器人任务，如自主导航。然而，它需要一个人类监督员来监督训练过程，并在没有反馈的情况下向机器人发送正确的控制命令，这总是容易出错，而且成本高昂。为了最大限度地减少人工参与和避免人工标记的数据在机器人自主导航与模仿学习，本文提出了一种新的半监督模仿学习解决方案的基础上的多传感器设计。该解决方案包括基于传感器融合的次优传感器策略，以自动标记机器人遇到的状态，以避免训练期间的人类监督。此外，开发了一种记录策略，以抑制从次优传感器策略中学习太多的对抗性影响。该解决方案允许机器人以自我监督的方式学习导航策略。通过在室内环境中的大量实验，该解决方案可以在大多数任务中实现接近人类的性能，甚至在硬件故障或人为操作错误等意外事件中超过人类的性能。据我们所知，这是第一个综合传感器融合和模仿学习的工作，使机器人自主导航在现实世界中没有人的监督。
2018-02-20 cs.LG cs.RO
SCIZOR: A Self-Supervised Approach to Data Curation for Large-Scale Imitation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA Research（NVIDIA研究）
SCIZOR是一种自监督数据整理框架，通过过滤低质量状态-动作对提升模仿学习性能，在多个基准上平均提升15.4%。
2025-09-09 cs.AI cs.LG cs.RO
Guided Data Augmentation for Offline Reinforcement Learning and Imitation Learning
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出引导式数据增强框架GuDA，通过人类对轨迹进展的简单判断自动筛选专家质量增强数据，在少量次优数据下提升离线强化学习与模仿学习性能，并优于随机和基于模型的数据增强策略。
2024-08-08 cs.LG cs.RO
Curriculum-Based Imitation of Versatile Skills
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对多模态人类演示导致最大似然模仿出现模式平均的问题，提出带数据权重与熵奖励的课程学习及MoE扩展，在仿真和真实机器人任务中显著优于现有SOTA。
2023-04-11 cs.LG
The Boltzmann Policy Distribution: Accounting for Systematic Suboptimality in Human Models
University of California, Berkeley（加州大学伯克利分校）
用于预测和协作的人类行为模型往往分为两类：一类是通过模仿学习从大量数据中学习，另一类是假设人类行为对于某些奖励函数是噪声最优的。前者是非常有用的，但只有当它有可能收集大量的人类数据在目标环境和分布。后一种类型的优势，包括玻尔兹曼理性，是能够在没有大量数据的新环境中做出准确的预测，而人类实际上接近最佳状态。然而，当人类表现出系统次优性时，这些模型就会失败，即当他们与最优行为的偏差不是独立的，而是随着时间的推移而一致时。我们的关键见解是，系统的次优性可以通过预测政策来建模，随着时间的推移，而不是轨迹，耦合行动选择。我们引入了玻尔兹曼策略分布（BPD），它作为人类策略的先验，并通过贝叶斯推理进行调整，通过观察人类在单个事件中的行为来捕获系统偏差。BPD很难计算和表示，因为策略位于高维连续空间中，但我们利用生成和序列模型的工具来实现有效的采样和推理。我们表明，BPD能够预测人类行为和人类-AI协作，以及基于模仿学习的人类模型，同时使用更少的数据。
2022-04-22 cs.AI cs.LG cs.MA
Reinforced Imitation Learning by Free Energy Principle
The University of Tokyo（东京大学）
强化学习（RL）需要大量的探索，尤其是在稀疏奖励环境中。模仿学习（Imitation Learning，IL）可以从专家的演示中学习而无需探索，但它永远不会超过专家的表现，而且也容易受到演示和执行之间的分布转移的影响。本文从自由能原理出发，从根本上统一了强化学习和交互学习。FEP是一种统一的大脑贝叶斯理论，它通过一个共同的基本原理来解释感知，行动和模型学习。我们提出了一个理论上的扩展FEP和推导出一个算法，在该算法中，代理学习的世界模型，内化专家演示，并在同一时间使用该模型来推断当前和未来的状态和行动，最大限度地提高回报。因此，该算法通过部分模仿专家以及以无缝的方式最大化其回报来降低探索成本，从而获得比次优专家更高的性能。我们的实验结果表明，这种方法是有前途的视觉控制任务，特别是在稀疏奖励环境。
2021-07-25 cs.AI cs.LG
In-Context Reinforcement Learning From Suboptimal Historical Data
Department of Electrical and Computer Engineering, Duke University, Durham, US（电气与计算机工程系，杜克大学，达勒姆，美国）；Department of Biostatistics and Bioinformatics, Duke University, Durham, US（生物统计学与生物信息学系，杜克大学，达勒姆，美国）；Department of Statistics and Data Science, Yale University, New Haven, US（统计学与数据科学系，耶鲁大学，新 Haven，美国）
DIT框架通过结合价值函数估计和加权最大似然估计，有效提升在次优历史数据下的强化学习性能。
2026-01-27 cs.LG
Offline Imitation Learning Through Graph Search and Retrieval
UC Berkeley（加州大学伯克利分校）
提出GSR算法，通过图搜索和检索从次优演示中学习，在模拟和真实机器人操作任务中显著提升成功率和熟练度，克服了离线深度强化学习的不稳定性。
2024-07-22 cs.AI cs.LG cs.RO
Task-Centric Policy Optimization from Misaligned Motion Priors
本文提出任务导向的运动先验框架，通过将模仿视为条件正则化器，提升任务性能并抑制有害模仿，验证了在嘈杂示范下的鲁棒性。
2026-02-03 cs.LG cs.RO
Adversarial Option-Aware Hierarchical Imitation Learning
Tsinghua University（清华大学）；THU-Bosch JCML center（清华-博世机器学习联合中心）；University of California, Los Angeles（加州大学洛杉矶分校）；Bytedance AI Lab（字节跳动人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
从长期的未注释的演示中学习智能体的技能一直是一个挑战。现有的方法，如分层模仿学习（HIL）容易出现复合错误或次优解决方案。在本文中，我们提出了Option-GAIL，一种新的方法来学习技能，在长期的视野。Option-GAIL的核心思想是用选项来建模任务层次，并通过生成对抗优化来训练策略。特别是，我们提出了一个期望最大化（EM）式的算法：一个E-步骤，采样的专家条件下的当前学习的政策的选项，和一个M-步骤，更新的低和高层次的代理政策，同时最大限度地减少新提出的专家和代理之间的选项占用测量。我们从理论上证明了所提出的算法的收敛性。实验表明，Option-GAIL在各种任务中始终优于其他同行。
2021-06-11 cs.LG cs.RO
Offline Imitation Learning from Multiple Baselines with Applications to Compiler Optimization
Google Research（谷歌研究院）；Google（谷歌公司）
本文针对多个互补基线策略的离线模仿学习问题，提出一种极小极大最优的简单算法，并将其应用于编译器内联优化，以生成更小二进制文件，实验表明该策略优于标准强化学习初始策略。
2024-03-28 cs.LG cs.PL
MaIL: Improving Imitation Learning with Mamba
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Intuitive Robots Lab（直觉机器人实验室）
本文提出基于Mamba状态空间模型的模仿学习架构MaIL，通过选择性关注关键特征和降低模型复杂度，在有限数据下缓解过拟合，在LIBERO基准和真实机器人实验中优于或匹配Transformer策略。
2024-11-19 cs.LG cs.RO
Confidence-Aware Imitation Learning from Demonstrations with Varying Optimality
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
大多数现有的模仿学习方法都假设演示来自最佳专家，但放松这一假设使我们能够使用更广泛的数据。标准的模仿学习可以从具有变化的最优性的演示中学习次优策略。先前的工作使用置信度分数或排名来从具有不同最优性的演示中捕获有益信息，但是它们受到许多限制，例如，手动注释的置信度得分或演示的高平均最优性。在本文中，我们提出了一个通用的框架，从不同的最优性，共同学习的信心得分和表现良好的政策的演示学习。我们的方法，信心感知模仿学习（CAIL）学习一个良好的表现政策，从信心重新加权的演示，同时使用外部损失跟踪我们的模型的性能和学习的信心。我们提供了理论保证CAIL的收敛性，并评估其性能在模拟和真实的机器人实验。我们的研究结果表明，CAIL显着优于其他模仿学习方法，从不同的最优性演示。我们进一步表明，即使没有任何最佳的示范，CAIL仍然可以学习一个成功的政策，并优于以前的工作。
2022-01-26 cs.AI cs.LG cs.RO
MisoDICE: Multi-Agent Imitation from Unlabeled Mixed-Quality Demonstrations
Singapore Management University（新加坡国立管理大学）；University of Oregon（俄勒冈大学）
MisoDICE提出两阶段方法，结合大语言模型标注轨迹与新型多智能体DICE算法，从混合质量示范中学习稳健策略，在标准基准上表现优越。
2025-05-24 cs.AI cs.LG cs.MA
On the Sample Complexity of Stability Constrained Imitation Learning
Google Brain Robotics（谷歌大脑机器人）；University of Pennsylvania（宾夕法尼亚大学）
我们研究以下问题的背景下，连续控制的模仿学习：如何反映在样本复杂性的模仿学习任务的专家政策的潜在稳定性？我们提供的第一个结果表明，一个令人惊讶的粒度之间的连接可以底层专家系统的增量增益稳定性，一种新的措施之间的鲁棒收敛对系统轨迹，并依赖于任务范围$T$的泛化界限。特别是，我们提出并分析了增量增益稳定性约束版本的行为克隆和Dagger算法，并表明所得到的样本复杂性界自然反映了潜在的稳定性属性的专家系统。作为一个特殊的情况下，我们描绘了一类系统的数量需要实现$\varepsilon$ -次优是次线性的任务范围$T$，这样做，而不需要（强）凸的损失函数的政策参数。最后，我们进行了数值实验，证明了我们的见解的有效性，一个简单的非线性系统，其基本的稳定性可以很容易地调整，并在一个高维四足机器人模拟。
2023-01-15 cs.LG cs.SY eess.SY
A Policy-Guided Imitation Approach for Offline Reinforcement Learning
JD Technology（京东科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出策略引导离线RL方法POR，将策略分解为引导策略与执行策略，以监督解耦方式训练，实现状态组合性与分布外泛化，在D4RL基准上达到SOTA。
2023-04-05 cs.AI cs.LG
Scaling Reasoning Efficiently via Relaxed On-Policy Distillation
REOPOLD通过放松在线策略蒸馏的约束，提升模型训练效率和推理扩展能力，尤其在视觉推理任务中表现突出。
2026-10-28 cs.CL cs.LG
Inverse Reinforcement Learning by Estimating Expertise of Demonstrators
University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对模仿学习中次优异构演示数据利用难的问题，提出无需演示者专业度先验的IRLEED框架，结合次优性模型与最大熵IRL改进算法，经多场景实验验证其适应性与有效性。
2024-12-13 cs.AI cs.LG
Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Preferred Networks（首选网络）
现有的逆强化学习（IRL）方法的一个关键缺陷是它们无法显著优于演示器。这是因为IRL通常会寻求一个奖励函数，使演示者看起来接近最优，而不是推断演示者的潜在意图，这些意图在实践中可能执行得很差。在本文中，我们介绍了一种新的奖励学习从观察算法，轨迹排名奖励EXTRAPOLATION（T-REX），外推超出一组（近似）排名的演示，以推断高质量的奖励功能，从一组潜在的穷人的演示。当与深度强化学习相结合时，T-REX在多个Atari和MuJoCo基准测试任务上的表现优于最先进的模仿学习和IRL方法，并实现了通常是最佳演示性能两倍以上的性能。我们还证明了T-REX对排名噪声具有鲁棒性，并且可以通过简单地观察学习者随着时间的推移在任务中的嘈杂改进来准确地推断意图。
2019-07-09 cs.LG stat.ML
Active Policy Improvement from Multiple Black-box Oracles
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
针对多黑盒次优专家选择难题，提出MAPS与MAPS-SE算法，通过主动选择模仿预言机并探索状态，显著提升了策略优化的样本效率。
2025-08-11 cs.AI cs.LG stat.ML
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University（德克萨斯农工大学）；University of Edinburgh（爱丁堡大学）
在各种控制任务领域中，现有的控制器提供了一个基线水平的性能，尽管可能是次优的，但应该保持。依赖于对状态和动作空间的广泛探索的强化学习（RL）算法可以用于优化控制策略。然而，完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中，我们解决的问题，在线优化的控制策略，同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架，表示为JIRL。JIRL中的学习过程假设基线策略可用，并在设计时考虑了两个目标：\textbf{(a)}利用基线的在线演示，以最大限度地减少培训期间对基线策略的遗憾，以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明，JIRL有效地实现了上述目标，在几个连续的动作空间域。结果表明，JIRL是一个国家的最先进的算法，在其最终的性能，而招致显着较低的基线遗憾在训练过程中，在所有提出的领域。此外，结果表明，在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning?
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
离线强化学习（RL）算法可以利用先前收集的经验获得有效的策略，而无需任何在线交互。人们普遍认为，离线RL即使从高度次优的数据中也能够提取出良好的策略，在这种情况下，模仿学习找到的次优解决方案并没有比生成数据集的演示器更好。然而，从业者的另一个常见用例是从类似于演示的数据中学习。在这种情况下，可以选择应用离线RL，但也可以使用行为克隆（BC）算法，该算法通过监督学习模拟数据集的子集。因此，很自然地会问：即使BC是一种自然的选择，离线RL方法何时可以在同等数量的专家数据下优于BC？为了回答这个问题，我们描述了允许离线RL方法比BC方法执行得更好的环境的特性，即使只提供专家数据。此外，我们表明，在足够多的噪声次优数据上训练的策略可以获得比具有专家数据的BC算法更好的性能，特别是在长期问题上。我们验证了我们的理论结果，通过广泛的实验诊断和高维域，包括机器人操作，迷宫导航，雅达利游戏，各种数据分布。我们观察到，在特定但常见的条件下，如稀疏奖励或嘈杂的数据源，现代离线RL方法可以显着优于BC。
2022-04-12 cs.LG
Reinforcement Learning for Flow-Matching Policies
Department of Electrical Engineering and Computer Sciences University of California, Berkeley（电气工程与计算机科学系 加州大学伯克利分校）
本文研究如何用强化学习训练流匹配策略以超越次优演示，提出RWFM和GRPO两种方法，并在模拟独轮车任务中验证其相比模仿学习流匹配可降低50%至85%成本。
2025-07-20 cs.LG
Reward Learning from Suboptimal Demonstrations with Applications in Surgical Electrocautery
本文提出一种从有限且包含部分视角点云的排序次优演示中学习鲁棒奖励函数的样本高效方法，并通过强化学习优化该函数以学习策略，在外科电灼术任务中表现优于纯模仿学习。
2024-04-16 cs.AI cs.LG cs.RO
FlowOE: Imitation Learning with Flow Policy from Ensemble RL Experts for Optimal Execution under Heston Volatility and Concave Market Impacts
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出FlowOE，一种基于流匹配的模仿学习框架，从集成专家策略中学习并自适应选择最优执行行为，通过精炼损失函数超越专家表现，在赫斯顿波动率与凹市场冲击下显著优于传统基准。
2025-06-06 cs.AI cs.CE cs.LG
An Optimal Discriminator Weighted Imitation Perspective for Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）；Meta AI
针对现有对偶强化学习（Dual-RL）无法正确估计最优访问分布比率的问题，提出迭代对偶强化学习（IDRL），通过迭代校正逼近最优比率并优化数据集，在D4RL等数据集上性能和稳定性均优于主流基线。
2025-04-17 cs.AI cs.LG
Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
本文提出近端动作替换方法，解决离线强化学习中行为克隆导致的性能瓶颈问题，通过替换亚优动作提升Actor-Critic算法性能。
2026-05-14 cs.AI cs.LG
Hierarchical Imitation Learning of Team Behavior from Heterogeneous Demonstrations
Rice University（莱斯大学）
本文提出层次化模仿学习算法DTIL，从异构示范中学习多模态团队行为，通过层次化策略和分布匹配方法，有效处理复杂序列任务，优于现有MAIL基线。
2025-02-24 cs.AI cs.LG cs.MA
Policy Improvement via Imitation of Multiple Oracles
Microsoft Research（微软研究院）
尽管强化学习很有前途，但由于需要进行昂贵的探索来学习一个好的策略，它在现实世界中的应用受到了阻碍。模仿学习（IL）通过在训练期间使用oracle策略作为引导来加速学习过程，从而减轻了这一缺点。然而，在许多实际情况下，学习者可以访问多个次优的神谕，这可能会在一个状态下提供相互矛盾的建议。现有的IL文献提供了一个有限的治疗这种情况下。而在单一的甲骨文的情况下，返回的甲骨文的政策提供了一个明显的基准，学习者竞争，既不是这样的基准，也没有原则的方式超越它是已知的多甲骨文设置。在本文中，我们提出了状态明智的最大值的预言机策略的值作为一个自然的基线，以解决冲突的意见，从多个预言机。使用减少的政策优化在线学习，我们介绍了一种新的IL算法MAMBA，它可以证明学习与此基准竞争的政策。特别是，MAMBA通过使用广义优势估计（GAE）风格的梯度估计器来优化策略。我们的理论分析表明，这种设计使得MAMBA强大，使它能够超越Oracle的政策由一个更大的利润比IL国家的最先进的，即使在单Oracle的情况下。在使用GAE和AggreVaTe（D）对标准策略梯度进行的评估中，我们展示了MAMBA利用来自单个和多个弱预言机的演示的能力，并显着加快了策略优化。
2020-12-06 cs.AI cs.LG stat.ML
A Dual Approach to Imitation Learning from Observations with Offline Datasets
UT Austin（得克萨斯大学奥斯汀分校）；Meta AI；UMass Amherst（马萨诸塞大学阿默斯特分校）
提出DILO算法，通过直接学习多步效用函数量化动作对专家分布偏差的影响，利用对偶原理简化从观测模仿学习为演员-评论家学习，无需专家动作，可扩展至高维观测并提升性能。
2024-09-19 cs.AI cs.LG cs.RO
Amortized Score-Hamiltonian Policy Iteration: A Grid-Free Scheme for Relaxed Stochastic Control Problems
Florida State University（佛罗里达州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出摊销无网格的得分-哈密顿策略迭代算法，用于熵正则化松弛随机控制问题，通过共享条件采样器和参数化评论家实现耦合演员-评论家学习，并给出误差界限与高维数值验证。
2026-11-09 cs.LG math.OC
From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；University at Buffalo（纽约州立大学布法罗分校）
提出QTPT方法，用Q目标替代行为克隆进行上下文强化学习预训练，在理论和实验上证明其对弱数据更鲁棒，优于监督行为预测。
2026-09-28 cs.LG
Learning from Guided Play: Improving Exploration for Adversarial Imitation Learning with Simple Auxiliary Tasks
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；University of Alberta（阿尔伯塔大学）
针对对抗性模仿学习因探索不足陷入局部最优的问题，提出LfGP框架，通过引入辅助任务专家演示强制探索，在多任务机器人操作中显著优于AIL和行为克隆，且专家样本效率更高。
2023-10-12 cs.AI cs.LG cs.RO
Information Maximizing Curriculum: A Curriculum-Based Approach for Imitating Diverse Skills
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
本文提出信息最大化课程方法，通过为数据点分配权重并结合专家混合策略与最大熵目标，缓解模仿学习中的模式平均问题，实现多样化技能学习，在复杂模拟控制任务上优于现有方法。
2023-10-31 cs.LG
