Improving Generalization Ability of Robotic Imitation Learning by Resolving Causal Confusion in Observations
DATA61 of CSIRO（CSIRO DATA61）
针对机器人模仿学习泛化性差的问题，本研究提出显式学习观测与动作的因果关系，简化了特征解耦要求，构建可嵌入主流架构的因果学习框架，经仿真验证能显著提升域偏移下的性能。
2025-07-30 cs.LG cs.RO
Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Nanjing University（南京大学）；Tsinghua University（清华大学）
生成对抗模仿学习（GAIL）利用生成对抗网的优势，在机器人学习领域取得了可喜的成果。然而，孤立的单模态演示的要求限制了该方法在现实世界场景中的可扩展性，例如自动驾驶汽车对正确理解人类驾驶员行为的需求。在本文中，我们提出了一种新的多模态GAIL框架，命名为Triple-GAIL，这是能够学习技能选择和模仿共同从专家演示和不断产生的经验与数据增强的目的，通过引入一个辅助技能选择器。我们分别为生成器和选择器提供了收敛到最优解的理论保证。在真实驾驶员轨迹和实时策略游戏数据集上的实验表明，Triple-GAIL可以更好地拟合接近演示者的多模态行为，并优于最先进的方法。
2020-05-22 cs.AI cs.LG cs.RO
An Algorithmic Perspective on Imitation Learning
University of Tokyo（东京大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Lincoln（林肯大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
随着机器人和其他智能代理从简单的环境和问题转向更复杂的非结构化设置，手动编程其行为变得越来越具有挑战性和昂贵。通常情况下，教师演示所需的行为比手动设计更容易，这种从演示中学习的示教学习过程以及为此而进行的算法研究被称为模仿学习。这项工作提供了一个介绍模仿学习。它涵盖了基本的假设，方法以及它们之间的关系;为解决问题而开发的丰富算法集;以及关于有效工具和实施的建议。我们打算让这份文件为两个读者服务。首先，我们希望让机器学习专家熟悉模仿学习的挑战，特别是机器人技术中出现的挑战，以及它与统计监督学习理论和强化学习等更熟悉的框架之间有趣的理论和实践区别。其次，我们希望让机器人专家和应用人工智能的专家对模仿学习的框架和工具有更广泛的了解。
2018-11-16 cs.LG cs.RO
Causal Imitation Learning under Temporally Correlated Noise
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新）
我们开发的模仿学习的算法，从政策数据，被破坏的时间相关的噪声在专家的行动。当噪声影响记录数据的多个时间步时，它可能表现为学习者可能会抓住的状态和动作之间的虚假相关性，导致策略性能低下。为了打破这些虚假的相关性，我们应用计量经济学的工具变量回归（IVR）技术的现代变体，使我们能够在不需要访问交互式专家的情况下恢复基本政策。特别是，我们提出了两种技术，一个生成的建模风味（DoubIL），可以利用访问模拟器，和一个游戏理论风味（ResiduIL），可以完全离线运行。我们发现，我们的算法相比，毫不逊色，模拟控制任务的行为克隆。
2022-02-02 cs.LG cs.RO
Feedback in Imitation Learning: The Three Regimes of Covariate Shift
Princeton（普林斯顿大学）；Aurora Innovation（奥罗拉创新公司）；Carnegie Mellon（卡内基梅隆大学）
模仿学习的实践者经常注意到，对先前行为的条件化策略导致学习者在原地的“坚持”错误和表现之间的巨大差异。互动的方法可以证明解决这个分歧，但需要反复查询的演示。最近的工作确定了这种分歧是源于一个“因果混淆”在预测当前的行动，并寻求消融因果方面的当前状态使用工具的因果推理。在这项工作中，我们认为，这种分歧只是协变量偏移的另一种表现形式，加剧了决策和输入功能之间的反馈设置。学习者通常依赖于对决策具有强预测性的特征，但这些特征受到强协变量偏移的影响。我们的工作证明了广泛的一类问题，这种转变可以减轻，理论上和实践中，利用模拟器，但没有任何进一步的查询专家演示。我们分析了现有的基准用于测试模仿学习的方法，并发现这些基准是可实现的和简单的，因此不足以捕捉更难的制度错误复合在现实世界中的决策问题。我们发现，在一个令人惊讶的对比与以前的文献，但与我们的理论相一致，天真的行为克隆提供了极好的结果。我们详细介绍了需要新的标准化基准，捕捉机器人问题中看到的现象。
2021-02-11 cs.LG cs.RO stat.ML
Task-Centric Policy Optimization from Misaligned Motion Priors
本文提出任务导向的运动先验框架，通过将模仿视为条件正则化器，提升任务性能并抑制有害模仿，验证了在嘈杂示范下的鲁棒性。
2026-02-03 cs.LG cs.RO
A Model-Based Approach to Imitation Learning through Multi-Step Predictions
School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对模仿学习中累积误差和泛化有限的问题，本文提出受模型预测控制启发的模型驱动框架，通过多步状态预测提升鲁棒性，在数值基准上优于传统行为克隆，并提供样本复杂度和误差界的理论保证。
2025-04-18 cs.LG cs.RO cs.SY
Confidence-Aware Imitation Learning from Demonstrations with Varying Optimality
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
大多数现有的模仿学习方法都假设演示来自最佳专家，但放松这一假设使我们能够使用更广泛的数据。标准的模仿学习可以从具有变化的最优性的演示中学习次优策略。先前的工作使用置信度分数或排名来从具有不同最优性的演示中捕获有益信息，但是它们受到许多限制，例如，手动注释的置信度得分或演示的高平均最优性。在本文中，我们提出了一个通用的框架，从不同的最优性，共同学习的信心得分和表现良好的政策的演示学习。我们的方法，信心感知模仿学习（CAIL）学习一个良好的表现政策，从信心重新加权的演示，同时使用外部损失跟踪我们的模型的性能和学习的信心。我们提供了理论保证CAIL的收敛性，并评估其性能在模拟和真实的机器人实验。我们的研究结果表明，CAIL显着优于其他模仿学习方法，从不同的最优性演示。我们进一步表明，即使没有任何最佳的示范，CAIL仍然可以学习一个成功的政策，并优于以前的工作。
2022-01-26 cs.AI cs.LG cs.RO
Adversarial Option-Aware Hierarchical Imitation Learning
Tsinghua University（清华大学）；THU-Bosch JCML center（清华-博世机器学习联合中心）；University of California, Los Angeles（加州大学洛杉矶分校）；Bytedance AI Lab（字节跳动人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
从长期的未注释的演示中学习智能体的技能一直是一个挑战。现有的方法，如分层模仿学习（HIL）容易出现复合错误或次优解决方案。在本文中，我们提出了Option-GAIL，一种新的方法来学习技能，在长期的视野。Option-GAIL的核心思想是用选项来建模任务层次，并通过生成对抗优化来训练策略。特别是，我们提出了一个期望最大化（EM）式的算法：一个E-步骤，采样的专家条件下的当前学习的政策的选项，和一个M-步骤，更新的低和高层次的代理政策，同时最大限度地减少新提出的专家和代理之间的选项占用测量。我们从理论上证明了所提出的算法的收敛性。实验表明，Option-GAIL在各种任务中始终优于其他同行。
2021-06-11 cs.LG cs.RO
Imitation Learning from Observations by Minimizing Inverse Dynamics Disagreement
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文研究了从观察中学习（LfO）的模仿学习访问状态只有示范。与涉及行动和状态监督的示教学习（LfD）相比，LfO在利用以前不适用的资源（例如视频）方面更实用，但由于专家指导不完整，更具挑战性。本文从理论和实践两个方面探讨了LfO及其与LfD的区别。我们首先证明了LfD和LfO之间的差距实际上在于模仿者和专家之间的逆动力学模型的不一致，如果按照GAIL的建模方法。更重要的是，这个差距的上限是揭示了一个负的因果熵，可以在一个无模型的方式最小化。我们称我们的方法为逆动力学分歧最小化（IDM），它通过进一步弥合与LfD的差距来增强传统的LfO方法。具有挑战性的基准相当多的实证结果表明，我们的方法比其他LfO同行取得一致的改善。
2019-11-18 cs.AI cs.LG cs.RO
State-Conditional Adversarial Learning: An Off-Policy Visual Domain Transfer Method for End-to-End Imitation Learning
University of California, Berkeley, CA, USA（加州大学伯克利分校）
针对目标域数据严格离策略、无专家且稀缺的挑战，提出状态条件对抗学习（SCAL），通过状态条件潜在KL散度的判别器估计对齐分布，实现鲁棒的视觉域迁移。
2026-06-01 cs.RO
Infeasible optimization problems and the hierarchical augmented Lagrangian method in imitation learning
University of Cambridge（剑桥大学）
针对模仿学习中约束不可行导致训练不稳定的问题，提出基于增广拉格朗日方法的解决方案，将策略引导至最近可行约束问题的解，并在驾驶示例中验证其有效性。
2026-05-30 cs.RO
No Need for Interactions: Robust Model-Based Imitation Learning using Neural ODE
ETH Zurich（苏黎世联邦理工学院）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong（香港中文大学）
当前的大多数模仿学习（IL）算法都需要在训练过程中与环境或专家策略进行交互。对于没有交互的IL问题，典型的方法是行为克隆（BC）。然而，类BC方法往往受到分布偏移的影响。为了缓解这个问题，我们提出了一个基于鲁棒模型的模仿学习（RMBIL）框架，将模仿学习转换为端到端的可微分非线性闭环跟踪问题。RMBIL应用神经ODE学习精确的多步动态和鲁棒跟踪控制器通过非线性动力学逆（NDI）算法。然后，学习的NDI控制器将与轨迹生成器（条件VAE）相结合，以模仿专家的行为。理论推导表明，在最小化神经常微分方程训练损失的情况下，控制器网络可以逼近NDI。在Mujoco任务上的实验还表明，RMBIL与最先进的生成对抗方法（GAIL）相比具有竞争力，并且在不平坦的表面上实现了至少30%的性能增益。
2021-04-03 cs.LG cs.RO cs.SY
Policy Contrastive Imitation Learning
University of Tsinghua（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Hong Kong University of Science and Technology（香港科技大学）
本文提出策略对比模仿学习（PCIL），通过锚定不同策略学习对比表示空间并生成平滑余弦相似度奖励，以解决 AIL 判别器表示质量低的问题，在 DeepMind Control suite 上取得最先进性能。
2023-07-06 cs.LG cs.RO
Transfering Hierarchical Structure with Dual Meta Imitation Learning
Tsinghua University（清华大学）
分层模仿学习（HIL）是一种有效的方法，机器人学习的子技能，从长期的地平线不分割的演示。然而，学习到的层次结构缺乏跨多任务或向新任务转移的机制，这使得他们在面对新情况时不得不从头开始学习。模块化子技能的迁移和重组需要整个层次结构的快速适应能力。在这项工作中，我们提出了双重Meta模仿学习（DMIL），一个分层的元模仿学习方法，其中的高级网络和子技能迭代元学习与模型无关的元学习。DMIL使用来自每个子技能的状态-动作对的可能性作为高级网络适配的监督，并且使用适配的高级网络来确定用于每个子技能适配的不同数据集。从理论上证明了DMIL迭代训练过程的收敛性，建立了DMIL与期望最大化算法之间的联系。从经验上讲，我们实现了最先进的Few-Shot模仿学习性能的元世界\cite{metaworld}基准和厨房环境的长期任务的竞争结果。
2022-02-19 cs.AI cs.RO
Generalization Capability for Imitation Learning
University of California, Berkeley（加州大学伯克利分校）
本研究基于信息论和数据分布特性，提出统一视角解释模仿学习泛化能力，证明泛化差距受条件信息瓶颈和互信息约束，并强调高条件熵促进平坦似然景观，从而指导训练策略选择。
2025-04-25 cs.AI cs.LG cs.RO
TamedPUMA: safe and stable imitation learning with geometric fabrics
TU Delft（代尔夫特理工大学）
针对现有模仿学习难以保障机器人运动安全与物理约束满足的问题，提出融合几何织物的TamedPUMA算法，通过两种IL导航变体实现稳定且兼容避障、关节限位约束的模仿学习，并在仿真与7自由度机械臂真实任务中验证有效性。
2025-03-21 cs.LG cs.RO cs.SY
Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Duke University（杜克大学）
提出DARAIL方法，结合领域适应与奖励增强模仿学习，解决动力学偏移下策略迁移问题，在基准环境中优于纯修改奖励等方法。
2024-11-15 cs.AI cs.LG cs.RO
Semi-Supervised Cross-Domain Imitation Learning
Department of Computer Science, National Yang Ming Chiao Tung University（计算机科学系，国家阳明交通大学）
本文提出半监督跨领域模仿学习方法，通过结合监督与无监督学习，实现稳定且高效的数据驱动策略学习。
2026-02-11 cs.LG cs.RO
Offline Imitation Learning upon Arbitrary Demonstrations by Pre-Training Dynamics Representations
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；MERL（三菱电机研究实验室）
针对离线模仿学习有限数据瓶颈问题，提出预训练动力学表示的方法，理论证明最优决策变量位于表示空间以减少参数，可复用非专家数据，实验表明单轨迹即可模仿专家策略，还能从少量真实演示中学习行走。
2025-08-20 cs.LG cs.RO
Data Quality in Imitation Learning
Stanford University（斯坦福大学）
本文从分布偏移视角形式化模仿学习的数据质量，提出动作散度与转移多样性两项属性，并通过理论与实证分析揭示其对策略性能的交互影响。
2023-06-04 cs.LG cs.RO
Backward Imitation and Forward Reinforcement Learning via Bi-directional Model Rollouts
The Hong Kong University of Science and Technology（香港科技大学）
传统的基于基于模型的强化学习（RL）方法使用学习到的动力学模型来生成前向滚动轨迹，以减少与真实环境的交互。最近的基于模型的RL方法考虑学习向后模型的方式，该向后模型指定给定先前动作和当前状态的先前状态的条件概率，以额外地生成向后滚动轨迹。然而，在这种类型的基于模型的方法中，从向后推出导出的样本和从向前推出导出的样本被简单地聚合在一起以经由无模型RL算法来优化策略，这可能降低样本效率和收敛速率两者。这是因为这样的方法忽略了这样一个事实，即向后滚动轨迹通常从一些高值状态开始生成，并且对于代理改进行为肯定更有指导意义。在本文中，我们提出了向后模仿和向前强化学习（BIFRL）框架，代理将向后推出的痕迹作为模仿优秀行为的专家演示，然后收集向前推出的过渡政策加强。因此，BIFRL使智能体能够以更有效的方式到达和探索高值状态，并进一步减少真实的交互，使其更适合真实的机器人学习。此外，值正则化的生成对抗网络的引入，以增加有价值的状态，这是不经常收到的代理。从理论上讲，我们提供了BIFRL优于基线方法的条件。在实验中，我们证明了BIFRL获得更好的样本效率，并产生竞争力的渐近性能的各种MuJoCo运动任务相比，国家的最先进的基于模型的方法。
2022-08-04 cs.LG cs.RO
RoboCopilot: Human-in-the-loop Interactive Imitation Learning for Robot Manipulation
University of California, Berkeley（加州大学伯克利分校）
本文提出RoboCopilot系统，通过柔顺双边遥操作实现人与自主策略的无缝控制切换，在双手操作任务中支持交互式人类教学，从而更高效地学习复杂操作技能。
2025-03-10 cs.RO
Learning to Gather Information via Imitation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
预算的信息收集问题-其中需要具有固定燃料预算的机器人以最大化从世界收集的信息量-在实践中出现在移动机器人自主探索和检查的广泛应用中。虽然有大量的现有工作调查有效的近似的问题，这些方法没有解决的事实，他们的表现是严重依赖于分布的对象在世界上。在本文中，我们试图解决这个问题，提出了一个新的数据驱动的模仿学习框架。我们提出了一个有效的算法，探索，训练的目标分布的政策，模仿千里眼的甲骨文-一个甲骨文，有关于世界的全部信息，并计算非近视的解决方案，以最大限度地收集信息。我们验证了一些二维和三维勘探问题，证明了EXPLORE的能力，以适应不同的对象分布的结果频谱的方法。此外，我们的分析提供了理论洞察的行为探索。我们的方法为有效地将数据驱动方法应用于信息收集领域铺平了道路。
2016-11-13 cs.AI cs.RO
GrOMP: Grasped Object Manifold Projection for Multimodal Imitation Learning of Manipulation
Mechanical Engineering Department at the University of Michigan（密歇根大学机械工程系）；Robotics & Automation Research Department at the Ford Motor Company（福特汽车公司机器人与自动化研究部）；Robotics Department at the University of Michigan（密歇根大学机器人系）
GrOMP通过抓取物体流形投影技术，提升多模态模仿学习中操控任务的精度和鲁棒性，基于累积误差界理论，利用触觉反馈在多个装配任务中验证其有效性。
2025-12-29 cs.RO
Fusion Dynamical Systems with Machine Learning in Imitation Learning: A Comprehensive Overview
Multi-Scale Medical Robotics Centre, Ltd.（多尺度医疗机器人中心有限公司）；The Chinese University of Hong Kong（香港中文大学）；Technical University of Munich（慕尼黑工业大学）；Mondragon Unibertsitatea（蒙德拉贡大学）；Nantong University（南通大学）
本文系统综述了基于动力系统的模仿学习方法，将其分为自治与非自治系统，并分析了稳定性理论与策略改进方法，以提升模仿学习在新场景中的泛化性、鲁棒性和收敛性。
2024-03-29 cs.RO
Imitation Learning by Reinforcement Learning
Spotify（声田）
模仿学习算法从专家行为的演示中学习策略。我们表明，对于确定性专家，模仿学习可以通过简化为具有固定奖励的强化学习来完成。我们的理论分析既证明了专家奖励的恢复，又限制了专家和模仿学习者之间的全变差距离，表明了与对抗性模仿学习的联系。我们进行的实验证实，我们的减少在实践中连续控制任务。
2022-03-15 cs.LG stat.ML
How To Guide Your Learner: Imitation Learning with Active Adaptive Expert Involvement
Nanjing University（南京大学）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。使用静态专家数据集的被动模仿学习方法通常遭受复合误差、低样本效率和高超参数敏感性。相反，主动模仿学习方法需要专家干预来解决局限性。然而，目前的主动模仿学习方法都是基于人的直觉或经验而设计的，没有理论保证。在本文中，我们提出了一个新的主动模仿学习框架的基础上，教师的目标是确定最佳的教学行为，并积极影响学生的学习过程。通过解决这个框架的优化目标，我们提出了一个实际的实现，命名为AdapMen。理论分析表明，AdapMen在较温和的条件下，可以提高误差界，避免复合误差。MetaDrive基准测试和Atari 2600游戏上的实验验证了我们的理论分析，并表明我们的方法比以前的方法具有更少的专家参与和总采样步骤，达到了接近专家的性能。该代码可在https://github.com/liuxhym/AdapMen上获得。
2023-03-03 cs.LG
Your Self-Play Algorithm is Secretly an Adversarial Imitator: Understanding LLM Self-Play through the Lens of Imitation Learning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Research（微软研究院）
本文通过将自对弈微调建模为模型与自身参数化的正则化隐式奖励玩家之间的极小极大博弈，统一了自对弈模仿与偏好对齐，并提出了基于χ²散度的新算法，在多种语言模型微调任务上优于现有方法。
2026-06-08 cs.LG
Theoretical Analysis of Offline Imitation With Supplementary Dataset
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Nanjing University（南京大学）
行为克隆可以从丰富的专家数据中恢复出好的策略，但当专家数据不足时，行为克隆可能会失败。本文考虑的情况下，除了少量的专家数据，一个补充的数据集是可用的，它可以从次优政策收集便宜。补充数据集的模仿学习是一个新兴的实用框架，但其理论基础仍然不发达。为了促进理解，我们首先研究了BC的直接扩展，称为NBCU，它从所有可用数据的联合中学习。我们的分析表明，虽然NBCU遭受的模仿差距是大于BC在最坏的情况下，存在NBCU表现优于或等同于BC的特殊情况。这一发现意味着，如果精心利用，噪声数据也可以是有帮助的。因此，我们进一步引入了基于鉴别器的重要性采样技术来重新加权补充数据，提出了WBCU方法。通过我们新开发的基于遗传算法的分析，我们证明了WBCU在温和条件下的性能优于BC。实证研究表明，WBCU同时实现两个具有挑战性的任务，现有的最先进的方法失败的最佳性能。
2023-01-27 cs.LG
EvIL: Evolution Strategies for Generalisable Imitation Learning
University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）
针对模仿学习中跨环境迁移时奖励恢复质量差、塑形效率低的问题，提出结合奖励模型集成与进化策略的EvIL方法，提升策略重训练与迁移的交互效率。
2024-06-15 cs.LG cs.NE
Provable Hierarchical Imitation Learning via EM
Boston University（波士顿大学）
由于最近的经验成功，分层强化学习的选项框架越来越受欢迎。而不是从奖励，从维数灾难的痛苦，我们考虑学习一个选项型的层次政策，从专家演示。这种问题被称为分层模仿学习。将这个问题转换为潜变量模型中的参数推断，我们从理论上描述了Daniel et al.（2016）提出的EM方法。人口水平算法作为一个中间步骤进行分析，这是不平凡的，由于相关的样本。如果专家策略可以参数化的选项框架的一个变种，然后在正则性条件下，我们证明了该算法收敛到一个正常的球周围的真实参数的概率很高。据我们所知，这是第一个性能保证分层模仿学习算法，只观察原始的状态-动作对。
2021-02-14 cs.LG stat.ML
MobILE: Model-Based Imitation Learning From Observation Alone
Amazon Search & AI（亚马逊搜索与人工智能）；Cornell University（康奈尔大学）
本文研究了仅从观察的模仿学习（ILFO），学习者呈现专家演示，仅包括由专家访问的状态（没有访问专家采取的行动）。我们提出了一个可证明有效的基于模型的框架MobILE来解决ILFO问题。MobiLE涉及谨慎地权衡战略探索与模仿--这是通过将面对不确定性时的乐观思想融入分布匹配模仿学习（IL）框架来实现的。我们提供了一个统一的分析MobILE，并证明MobILE享有强大的性能保证类MDP动态，满足一定的结构复杂性的概念研究。我们还表明，ILFO问题是严格困难比标准IL问题，IL和ILFO之间的指数样本复杂性分离。我们补充这些理论结果与基准OpenAI健身房任务的实验模拟，表明MobILE的功效。实现MobILE框架的代码可在https://github.com/rahulkidambi/MobILE-NeurIPS2021上获得。
2022-01-31 cs.LG stat.ML
Active Third-Person Imitation Learning
University of Vienna（维也纳大学）；Max Planck Institute of Software Systems（马克斯·普朗克软件系统研究所）
本文提出主动第三人称模仿学习问题，学习者需选择观察视角，并采用基于生成对抗网络的主动学习方法，有效整合多视角信息以提升模仿性能。
2023-12-27 cs.AI cs.LG stat.ML
Error Bounds of Imitating Policies and Environments
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Polixir Technologies（波利克斯尔科技）
模仿学习通过模仿专家演示来训练策略。各种模拟方法被提出并进行了实证评价，但其理论认识还有待进一步研究。本文首先通过行为克隆和生成对抗模仿两种模仿方法分析了专家策略与被模仿策略之间的价值差距。实验结果表明，与行为克隆相比，生成对抗模仿可以减少合成错误，从而具有更好的样本复杂度。注意到通过将环境迁移模型看作一个对偶智能体，模仿学习也可以用来学习环境模型。因此，在模仿政策的边界基础上，我们进一步分析了模仿环境的绩效。实验结果表明，生成对抗性模仿比行为克隆更能有效地模仿环境模型，为基于基于模型的强化学习提供了一种新的对抗性模仿方法.我们希望这些结果能够启发未来模仿学习和基于模型的强化学习的发展。
2020-10-22 cs.LG
Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation
University of Tübingen（图宾根大学）；EPFL（苏黎世联邦理工学院）；University of Technology Nuremberg（纽伦堡技术大学）
本文研究了多目标模仿学习问题，即在多目标马尔可夫决策过程（MOMDP）中，根据多个帕累托最优专家的演示数据恢复位于帕累托前沿的策略。传统模仿方法无法应对这一场景，因为简单地聚合冲突的专家轨迹可能导致被支配的策略。为此，我们引入了多输出增强行为克隆（MA-BC）算法，该算法系统地划分分歧的专家数据，同时融合无行为冲突的状态-动作对。理论上，我们证明MA-BC以比单独考虑每个专家数据集的学习器更快的统计速率收敛到帕累托最优策略。此外，我们建立了多目标模仿学习的新下界，证明MA-BC是最小最大最优的。最后，我们在多样化的离散环境和连续线性二次调节器（LQR）控制任务中经验验证了我们的算法。
2026-10-15 cs.LG
Model-based Offline Imitation Learning with Non-expert Data
UCLA（加州大学洛杉矶分校）
尽管行为克隆（BC）在理论上存在复合错误，但其可扩展性和简单性仍然使其成为一种有吸引力的模仿学习算法。相比之下，对抗性训练的模仿方法通常没有相同的问题，但需要与环境进行交互。同时，大多数模仿学习方法只利用最佳数据集，这可能比其次优对应物更昂贵。出现的一个问题是，我们能否以原则性的方式利用次优数据集，否则这些数据集将是空闲的？我们提出了一个可扩展的基于模型的离线模仿学习算法框架，该框架利用次优和最优策略收集的数据集，并表明其最坏情况下的次优性在时间范围内与专家样本成线性关系。我们的实验验证了我们的理论结果，并表明，所提出的方法\textit{always}优于BC在低数据制度的模拟连续控制域
2022-06-11 cs.AI cs.LG
Deconfounding Imitation Learning with Variational Inference
University of Oxford（牛津大学）；Qualcomm AI Research（高通人工智能研究部）；University of Amsterdam（阿姆斯特丹大学）
针对模仿学习中因部分可观测性导致的隐藏混淆因子问题，提出利用变分推断模型推断专家潜在信息以训练潜在条件策略，理论上证明了该算法能收敛到正确的干预策略并解决混淆问题，在特定假设下可实现渐近最优的模仿性能。
2024-08-25 cs.LG stat.ML
Closing the Loop: A Control-Theoretic Framework for Provably Stable Time Series Forecasting with LLMs
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文提出F-LLM框架，通过控制理论方法解决大语言模型在时序预测中的误差累积问题，提供理论保证并实验验证其有效性。
2026-08-18 cs.LG
When Will Generative Adversarial Imitation Learning Algorithms Attain Global Convergence
The Ohio State University（俄亥俄州立大学）
生成对抗模仿学习（GAIL）是一种流行的反向强化学习方法，用于从专家轨迹中联合优化策略和奖励。关于GAIL的一个主要问题是将某个策略梯度算法应用于GAIL是否获得全局最小值（即，产生专家策略），对此现有的理解非常有限。这样的全局收敛性仅在线性（或线性型）MDP和线性（或可线性化）报酬下得到证明。在本文中，我们研究GAIL下一般MDP和非线性奖励函数类（只要目标函数是强凹的奖励参数）。我们描述了一个次线性速率的全局收敛性的广泛使用的策略梯度算法，所有这些都是实现在一个交替的方式与随机梯度上升的奖励更新，包括预计策略梯度（PPG）-GAIL，弗兰克-沃尔夫策略梯度（FWPG）-GAIL，信任域策略优化（TRPO）-GAIL和自然策略梯度（NPG）-GAIL。这是第一次对GAIL算法的全局收敛性进行系统的理论研究。
2020-06-25 cs.LG stat.ML
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题，这通常会给强化学习带来重大挑战。我们提出了一个算法框架，称为分层指导，它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习（IL）和强化学习（RL）的不同组合，从而大大减少专家的努力和探索成本。使用长期基准测试，包括Montezuma的Revenge，我们证明了我们的方法可以比分层RL更快地学习，并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
Adversarial Imitation Learning from Visual Observations using Latent Information
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
针对视觉观察模仿学习中动作缺失与部分可观测性挑战，提出潜在对抗模仿算法，结合离策略对抗学习与潜在状态表示，在连续控制任务上达到最先进性能。
2024-05-23 cs.LG cs.SY eess.SY
Multi-agent imitation learning with function approximation: Linear Markov games and beyond
EPFL（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
本文首次理论分析线性马尔可夫博弈中的多智能体模仿学习，利用特征级集中性系数替代状态-动作级系数，并提出首个计算高效的交互式MAIL算法，样本复杂度仅依赖特征维度d。
2026-06-24 cs.LG
TRAIL: Near-Optimal Imitation Learning with Suboptimal Data
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
模仿学习的目的是通过利用接近最优的专家演示来学习有效的策略。然而，大量获得人类专家的高质量演示可能很昂贵。另一方面，获得大量次优或任务不可知的轨迹通常要容易得多，这些轨迹对直接模仿没有用处，但却可以提供对环境动态结构的洞察，表明在环境中可以做什么，即使不应该做什么。我们提出了一个问题，是否有可能利用这种次优的离线数据集来促进可证明的改进的下游模仿学习？在这项工作中，我们肯定地回答了这个问题，并提出了使用离线数据集来学习因子转换模型的训练目标，该模型的结构可以提取潜在的动作空间。我们的理论分析表明，学习的潜在动作空间可以提高下游模仿学习的样本效率，通过使用辅助非专家数据，有效地减少了对大型近似最优专家数据集的需求。为了在实践中学习潜在的动作空间，我们提出了TRAIL（Transition-Reparametrized Actions for模仿学习），一种对比学习基于能量的转换模型的算法，并使用转换模型来重新参数化动作空间，以实现样本高效的模仿学习。我们通过一组导航和运动任务的实验来评估我们的目标的实用性。我们的研究结果验证了我们的理论所提出的好处，并表明TRAIL能够将基线模仿学习的性能提高4倍。
2021-10-27 cs.LG
On Efficient Online Imitation Learning via Classification
University of Arizona（亚利桑那大学）
模仿学习是解决序列决策问题的一种通用学习范式。交互式模仿学习，其中学习者可以交互式查询专家演示，已被证明可以实现可证明的优越的样本效率保证相比，其离线对应或强化学习。在这项工作中，我们研究了基于分类的在线模仿学习（焦v. $\textbf{COIL}$）和基本的可行性，在这种情况下，设计甲骨文高效的遗憾最小化算法，重点放在一般的不可实现的情况下。（2）提出了一个非线性在线学习算法框架--$\textbf{Logger}$，它利用混合策略类的新定义将$\textbf{COIL}$简化为在线线性优化问题;（3）在$\textbf{Logger}$框架下设计了两个具有不同样本和交互轮复杂度权衡的Oracle高效算法，并进行了有限样本分析，以显示它们相对于朴素行为克隆的改进;（4）证明了在标准复杂性理论假设下，有效的动态后悔最小化在$\textbf{Logger}$框架下是不可行的。我们的工作把基于分类的在线模仿学习，一个重要的IL设置，到一个坚实的基础。
2022-09-26 cs.LG
Good Better Best: Self-Motivated Imitation Learning for noisy Demonstrations
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Electronic System Engineering（北京电子系统工程研究所）；University of the Sunshine Coast（阳光海岸大学）
本文提出自我激励模仿学习方法SMILE，利用扩散模型预测当前策略与演示者的专业性差距，在无需额外信息下逐步过滤噪声演示，有效学习专家策略。
2023-10-24 cs.LG
On the Sample Complexity of Imitation Learning for Smoothed Model Predictive Control
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Oxford（牛津大学）
本文针对带约束系统提出基于对数障碍MPC松弛的平滑专家设计方法，证明了解析中心最优性间隙的新下界，并通过实验验证其优于随机平滑。
2024-09-03 cs.LG cs.SY eess.SY
Understanding Adversarial Imitation Learning in Small Sample Regime: A Stage-coupled Analysis
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
模仿学习从专家轨迹中学习策略。虽然专家数据被认为是至关重要的模仿质量，它被发现，一种模仿学习的方法，对抗性模仿学习（AIL），可以有特殊的性能。由于只有一个专家轨迹，AIL即使在很长的时间内也可以在运动控制等任务上与专家表现相匹配。这一现象有两个神秘之处。第一，为什么AIL只需要几个专家轨迹就能表现良好？第二，为什么AIL尽管规划期很长，但仍能保持良好的业绩？本文从理论上对这两个问题进行了探讨。对于一个基于总变化距离的AIL（称为TV-AIL），我们的分析显示了一个地平线上的自由模仿差距$\mathcal O(\{\min\{1, \sqrt{|\mathcal S|/N} \})$抽象的一类实例从运动控制任务。这里，$|\mathcal S|$是表格马尔可夫决策过程的状态空间大小，而$N$是专家轨迹的数量。我们强调我们的约束的两个重要特征。首先，这个界限在小样本和大样本情况下都是有意义的。第二，这个界限表明，无论规划水平如何，TV-AIL的模仿差距最多为1。因此，这个界限可以解释经验观察。在技术上，我们利用TV-AIL的多阶段策略优化结构，通过动态规划提出了一种新的阶段耦合分析方法
2022-08-03 cs.LG
Energy-Based Imitation Learning
Shanghai Jiaotong University（上海交通大学）
我们解决了一个常见的情况下，在模仿学习（IL），代理人试图恢复最优的政策，从专家演示，而无需进一步访问专家或环境奖励信号。除了简单的行为克隆（BC）采用监督学习，然后是复合错误的问题，以前的解决方案，如逆强化学习（IRL）和最近的生成对抗方法涉及一个双层或交替优化更新奖励函数和策略，遭受高计算成本和训练不稳定性。受基于能量模型（EBM）的启发，本文提出了一个简化的IL框架--基于能量的模仿学习（EBIL）。EBIL打破了传统的IRL范式，通过一个简单而灵活的两阶段的解决方案：首先通过分数匹配估计专家能量作为代理奖励函数，然后利用这样的奖励学习策略的强化学习算法。EBIL结合了EBM和占用度量匹配的思想，通过理论分析，我们发现EBIL和Max-Entropy IRL（MaxEnt IRL）方法是同一枚硬币的两面，因此EBIL可以作为对抗性IRL方法的替代方案。定性和定量评估的广泛实验表明，EBIL能够恢复有意义的和解释性的奖励信号，同时实现有效的和可比的性能对现有的算法IL基准。
2021-04-15 cs.LG stat.ML
Unlabeled Imperfect Demonstrations in Adversarial Imitation Learning
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
对抗性模仿学习已经成为一种广泛使用的模仿学习框架。该模型通常通过分别从两个类别（积极与消极）中选取专家演示和政策轨迹作为示例来训练，然后期望该政策产生与专家演示无法区分的轨迹。但在现实世界中，收集的专家演示更有可能是不完美的，只有一个未知的部分演示是最佳的。而不是把不完美的专家示范作为绝对积极或消极的，我们调查未标记的不完美的专家示范，因为他们是。提出了一种正向无标记对抗性模仿学习算法，用于动态地抽取专家演示样本，使其与不断优化的智能体策略的轨迹相匹配.初始代理策略的轨迹可能更接近那些非最优的专家演示，但在对抗模仿学习的框架内，代理策略将被优化以欺骗模仿者并产生与那些最优专家演示相似的轨迹。理论分析表明，我们的方法学习不完美的示威通过一个自定进度的方式。在MuJoCo和RoboSuite平台上的实验结果从不同方面验证了该方法的有效性。
2023-02-13 cs.AI cs.LG
Model Imitation for Model-Based Reinforcement Learning
National Taiwan University（台湾大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Princeton University（普林斯顿大学）
基于模型的强化学习（MBRL）旨在学习动态模型，以减少与真实世界环境的交互次数。然而，由于估计误差，学习模型中的推出，特别是那些长期的视野，无法匹配在现实世界中的环境。这种不匹配严重影响了MBRL的样本复杂度。这一现象可以归因于这样一个事实，即以前的作品采用监督学习来学习一步过渡模型，这具有内在的困难，以确保从多步推出的分布的匹配。基于这一主张，我们提出通过WGAN匹配从过渡模型和真实模型中采样的多步推出的分布来学习过渡模型。我们从理论上表明，匹配的两个可以最小化之间的差异的累积奖励的真正的过渡和学习。我们的实验还表明，所提出的模型模仿方法可以竞争或优于国家的最先进的样本复杂性和平均回报。
2020-03-16 cs.AI cs.LG stat.ML
Improved Sample Complexity of Imitation Learning for Barrier Model Predictive Control
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Oxford（牛津大学）
本文提出用对数障碍松弛MPC构造平滑专家控制器，证明障碍MPC达到理论最优误差-平滑权衡，并给出凸Lipschitz函数解析中心最优性间隙的改进下界，实验验证其优于随机平滑。
2024-10-01 cs.LG cs.SY eess.SY
Model Predictive Control via On-Policy Imitation Learning
在本文中，我们利用模仿学习的快速发展，强化学习（RL）文献中最近集中的一个主题，为约束线性系的数据驱动模型预测控制（MPC）开发新的样本复杂性结果和性能保证。在其最简单的形式中，模仿学习是一种试图通过从专家那里查询样本来学习专家策略的方法。最近的数据驱动MPC方法使用了最简单的模仿学习形式，称为行为克隆，通过在线采样闭环MPC系统的轨迹来学习模仿MPC性能的控制器。然而，行为克隆是一种已知的数据效率低并且遭受分布变化的方法。作为替代方案，我们开发了前向训练算法的变体，这是Ross等人提出的一种策略模仿学习方法。我们的算法使用约束线性MPC的结构，我们的分析使用显式MPC解决方案的属性，理论上限制了实现最佳性能所需的在线MPC轨迹的数量。我们通过仿真验证了我们的结果，并表明，前向训练算法确实优于行为克隆时，应用到MPC。
2022-10-17 cs.LG math.OC
