Decomposing the Generalization Gap in Imitation Learning for Visual Robotic Manipulation
Google DeepMind（谷歌DeepMind）；Stanford University（斯坦福大学）
本文通过仿真与真实机器人实验量化视觉操作模仿学习中各变化因素对泛化难度的影响，并构建含19个任务和11个因素的基准，得出跨环境一致的因素难度排序。
2023-07-07 cs.AI cs.RO
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
On the Guaranteed Almost Equivalence between Imitation Learning from Observation and Demonstration
The University of Sydney（悉尼大学）；Beihang University（北京航空航天大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent Robotics X（腾讯机器人X实验室）
从观察的模仿学习（LfO）比从示范的模仿学习（LfD）更可取，因为在从专家数据重构专家策略时不需要专家动作。然而，以往的研究表明，LfO的性能是劣于LfD的巨大差距，这使得它具有挑战性，在实践中使用LfO。通过对比，本文证明了LfO几乎等价于LfD在确定性的机器人环境中，更一般地，即使在机器人环境中有界随机性。在确定性的机器人环境中，从控制理论的角度来看，我们表明，LfO和LfD之间的逆动力学不一致接近零，这意味着LfO几乎相当于LfD。为了进一步放松确定性约束，更好地适应实际环境，我们考虑了机器人环境中的有界随机性，并证明了LfD和LfO的优化目标在更广义的设置中几乎保持相同。多个机器人任务进行了大量的实验，以经验证明，LfO实现可比的性能LfD。实际上，现实中最常见的机器人系统是具有有界随机性的机器人环境（即，本文所考虑的环境）。因此，我们的研究结果大大扩展了LfO的潜力，并表明我们可以安全地应用LfO，而不会牺牲LfD在实践中的性能。
2020-10-16 cs.LG cs.RO
Generalizable Imitation Learning Through Pre-Trained Representations
Center for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）
本文提出DVK算法，利用预训练视觉Transformer的块级嵌入聚类形成稳定语义关键点，以提升模仿学习在物体操作任务中的泛化能力，并公开代码与数据集。
2025-03-10 cs.AI cs.RO
Knowledge-Driven Imitation Learning: Enabling Generalization Across Diverse Conditions
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institution（上海创新研究所）；Shanghai Noematrix Intelligence Technology Ltd（上海Noematrix智能科技有限公司）
提出知识驱动的模仿学习框架，利用语义关键点图和由粗到细模板匹配算法抽象物体表示，在仅用四分之一专家演示下超越扩散策略，实现对新物体、背景和光照的鲁棒泛化。
2025-06-26 cs.RO
A Model-Based Approach to Imitation Learning through Multi-Step Predictions
School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对模仿学习中累积误差和泛化有限的问题，本文提出受模型预测控制启发的模型驱动框架，通过多步状态预测提升鲁棒性，在数值基准上优于传统行为克隆，并提供样本复杂度和误差界的理论保证。
2025-04-18 cs.LG cs.RO cs.SY
On the Sample Complexity of Imitation Learning for Smoothed Model Predictive Control
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Oxford（牛津大学）
本文针对带约束系统提出基于对数障碍MPC松弛的平滑专家设计方法，证明了解析中心最优性间隙的新下界，并通过实验验证其优于随机平滑。
2024-09-03 cs.LG cs.SY eess.SY
Deep Imitation Learning for Autonomous Driving in Generic Urban Scenarios with Enhanced Safety
University of California, Berkeley（加州大学伯克利分校）
城市环境中自动驾驶的决策和规划系统很难设计。大多数当前方法手动设计驱动策略，这对于大规模开发和维护来说可能是昂贵的。相反，通过模仿学习，我们只需要收集数据，计算机就会自动学习和改进驾驶策略。然而，现有的自动驾驶模仿学习方法在复杂的城市场景中表现不佳。此外，当我们使用深度神经网络策略时，安全性得不到保证。在本文中，我们提出了一个框架，在离线连接的驾驶数据的情况下，有效地学习城市场景中的驾驶策略，并结合了一个安全控制器，以保证测试时的安全。实验表明，我们的方法可以实现高性能的现实模拟城市驾驶场景。
2019-10-12 cs.RO
Flow-Enabled Generalization to Human Demonstrations in Few-Shot Imitation Learning
The Australian National University（澳大利亚国立大学）
本文提出SFCrP方法，通过场景流预测和流条件策略实现人类演示在少样本模仿学习中的泛化，提升机器人在现实任务中的表现和泛化能力。
2026-02-27 cs.LG cs.RO
Imitation Learning of Stabilizing Policies for Nonlinear Systems
Department of Aerospace Engineering, University of Bristol（布里斯托尔大学航空航天工程系）
最近，人们对保证产生关于已知系统的稳定控制律的模仿学习方法产生了兴趣。在这一领域的工作通常考虑线性系和控制器，稳定模仿学习的形式是一个双凸最优化问题。在本文中，它表明，同样的方法开发的线性系和控制器可以很容易地扩展到多项式系统和控制器使用平方和技术。提出了投影梯度下降算法和乘子交替方向法算法作为解决稳定化模仿学习问题的算法，并通过数值实验说明了它们的性能。
2021-09-22 cs.LG math.OC
Robust Imitation Learning from Corrupted Demonstrations
Tencent AI Lab（腾讯人工智能实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑从损坏的演示中离线模仿学习，其中恒定部分的数据可能是噪声甚至是任意离群值。经典的方法，如行为克隆假设，示范是由一个假定的最佳专家收集，因此可能会严重失败时，从损坏的示范学习。我们提出了一种新的鲁棒算法，通过最小化的中位数（MENS）的目标，保证了准确的估计政策，即使在存在恒定比例的离群值。我们的理论分析表明，我们的强大的方法在损坏的设置享有几乎相同的错误缩放和样本复杂性的保证，作为经典的行为克隆在专家演示设置。在连续控制基准上的实验验证了该方法的鲁棒性和有效性，与现有的模仿学习方法相比，取得了较好的效果。
2022-01-29 cs.AI cs.LG stat.ML
Near-Optimal Second-Order Guarantees for Model-Based Adversarial Imitation Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文提出基于模型的对抗模仿学习算法，通过二阶样本复杂性保证，实现近最优的样本效率和理论性能。
2026-02-01 cs.LG
On the Generalization Capabilities, Design Choices and Limitations of Keypoint Imitation Learning
AI and Robotics Lab, IDLAB-AIRO, Ghent University-imec（人工智能与机器人实验室，IDLAB-AIRO，根特大学-imec）；Robotics, Perception and Learning Lab, (RPL), EECS, KTH Royal Institute of Technology（机器人、感知与学习实验室，（RPL），EECS，皇家理工学院）；INCAR Robotics AB, Stockholm, Sweden（INCAR机器人公司，斯德哥尔摩，瑞典）
本文通过2000多次真实世界实验，系统评估了基于视觉基础模型的关键点模仿学习在机器人操作中的泛化能力、设计选择及局限性，发现其总体成功率达75%，显著优于RGB基线（47%），与S2扩散模型（73%）相当，但未超越其他表示方法且继承了基础模型的局限。
2026-05-26 cs.RO
On Generalization of Adversarial Imitation Learning and Beyond
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
尽管有大量的经验评估，模仿学习的一个基本问题仍然没有完全解决：AIL（对抗性模仿学习）是否可以证明比BC（行为克隆）更好地推广？我们研究这个开放的问题与表格和情节MDPs。对于使用直接最大似然估计的香草AIL，我们在已知的过渡设置下提供了否定和肯定的答案。对于一些MDP，我们表明，香草AIL有一个更糟糕的样本复杂度比BC。关键的见解是，状态-动作分布匹配原则是薄弱的，使AIL可能概括较差，即使在访问状态的专家演示。对于另一类MDP，香草AIL被证明是推广以及非访问状态。有趣的是，它的样本复杂度是无水平线的，这可以证明远远优于BC。最后，我们建立了一个框架，在未知的过渡情况下，它允许AIL探索通过无奖励的探索策略。与最著名的在线学徒学习算法相比，该算法提高了样本复杂度和交互复杂度。
2022-02-11 cs.AI cs.LG
Contractive Dynamical Imitation Policies for Efficient Out-of-Sample Recovery
McGill University（麦吉尔大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
提出基于收缩动态系统的模仿学习框架，利用循环均衡网络和耦合层保证策略收缩性，实现高效样本外恢复，并在模拟机器人任务中验证性能提升。
2025-03-26 cs.LG cs.RO stat.ML
Temporal Logic Imitation: Learning Plan-Satisficing Motion Policies from Demonstrations
MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Brown University（布朗大学）
针对从演示中学习方法在人在回路扰动下无法保证任务复现的问题，提出以模式为离散抽象、结合具模式不变性与目标可达性的运动策略的时序逻辑模仿方法，可模拟LTL指定的离散规划，对两级扰动鲁棒且保证任务成功。
2022-12-14 cs.AI cs.FL cs.LG
Improved Sample Complexity of Imitation Learning for Barrier Model Predictive Control
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Oxford（牛津大学）
本文提出用对数障碍松弛MPC构造平滑专家控制器，证明障碍MPC达到理论最优误差-平滑权衡，并给出凸Lipschitz函数解析中心最优性间隙的改进下界，实验验证其优于随机平滑。
2024-10-01 cs.LG cs.SY eess.SY
Dissipative Imitation Learning for Discrete Dynamic Output Feedback Control with Sparse Data Sets
本文提出一种基于输入输出稳定性的耗散模仿学习方法，利用稀疏数据集和粗略被控对象模型，通过迭代凸上界和投影梯度下降学习闭环稳定的动态输出反馈控制器，在极少模型信息下实现稳定性并成功模仿专家行为。
2023-09-13 cs.LG cs.SY eess.SY
Teleoperator Imitation with Continuous-time Safety
Princeton University（普林斯顿大学）；Google Brain Robotics（谷歌大脑机器人）
学习有效地模仿人类遥控操作员，并将其推广到不可见和动态的环境中，这是一条有希望的道路，可以使机器人获得更大的自主权，使其能够从监督中稳步获得复杂的技能。我们提出了一种新的运动学习技术植根于收缩理论和平方和规划估计的控制律的形式，从一组给定的演示多项式向量场。值得注意的是，这个向量场是可证明的最佳问题的模仿损失最小化，同时提供连续时间的保证诱导模仿行为。我们的方法推广到新的初始和目标姿态的机器人，并可以在执行过程中实时适应动态障碍物，收敛到一个明确定义的安全管内的遥操作行为。我们提出了一个应用程序，我们的框架取放任务中存在的移动障碍物的7自由度库卡IIWA手臂。该方法相比，毫不逊色于其他学习从示范方法的基准手写模仿任务。
2019-05-23 cs.RO math.OC
Elastic Motion Policy: An Adaptive Dynamical System for Robust and Efficient One-Shot Imitation Learning
School of Engineering and Applied Science, University of Pennsylvania（工程与应用科学学院，宾夕法尼亚大学）
针对行为克隆在动态环境中泛化性差且缺乏收敛保证的问题，提出一次性模仿学习框架EMP，利用动力学系统和Laplacian编辑在线适应新场景，实现鲁棒高效的避障与多步任务。
2025-08-11 cs.RO cs.SY eess.SY
Task-Relevant and Irrelevant Region-Aware Augmentation for Generalizable Vision-Based Imitation Learning in Agricultural Manipulation
Division of Information Science, Graduate School of Information Science, Nara Institute of Science and Technology (NAIST)（信息科学系，信息科学研究生院，奈良科学技术研究所）
本文提出DRAIL框架，通过区分任务相关与无关区域，提升农业操作中视觉模仿学习的泛化能力。
2026-03-05 cs.RO
Multi-Camera View Scaling for Data-Efficient Robot Imitation Learning
UC Berkeley（加州大学伯克利分校）；Lambda, Inc（Lambda公司）；MIT（麻省理工学院）
本文提出一种利用场景多样性提升机器人模仿学习数据效率的方法，通过摄像头视角缩放生成伪演示，增强视觉表示的视角不变性，并在仿真和现实任务中验证了其有效性。
2026-04-01 cs.CV cs.LG cs.RO
Learning Sidewalk Autopilot from Multi-Scale Imitation with Corrective Behavior Expansion
Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Coco Robotics（Coco机器人）
本文提出通过纠正行为扩展和多尺度模仿学习提升人行道微出行的鲁棒性和泛化能力，通过数据和模型双重改进解决传统模仿学习的局限。
2026-03-23 cs.CV cs.RO
Towards More Generalizable One-shot Visual Imitation Learning
University of California, Berkeley（加州大学伯克利分校）
通用机器人应该能够掌握广泛的任务，并通过利用过去的经验快速学习新的任务。单次模仿学习（OSIL）通过用（成对的）专家演示来训练智能体来实现这一目标，这样在测试时，它可以直接从一个演示中执行新任务。然而，到目前为止，这个框架仅限于对一个任务的许多变体进行训练，并对同一任务的其他看不见但相似的变体进行测试。在这项工作中，我们通过研究更雄心勃勃的多任务设置来推动更高水平的泛化能力。我们介绍了一套不同的基于视觉的机器人操作任务，包括7个任务，共61个变化，并在每个变化的实例连续。出于一致性和比较的目的，我们首先训练和评估单任务代理（如在先前的Few-Shot模仿工作中所做的那样）。然后，我们研究了多任务设置，其中多任务训练之后是（i）对训练任务中的变化进行一次性模仿，（ii）对新任务进行一次性模仿，以及（iii）对新任务进行微调。现有技术虽然在一些单一任务中表现良好，但在这些更难的多任务设置中表现不佳。为了解决这些限制，我们提出了MOSAIC（多任务单次模仿与自我注意和对比学习），它集成了自我注意模型架构和时间对比模块，以实现更好的任务消歧和更强大的表示学习。我们的实验表明，MOSAIC优于现有的最先进的学习效率，最终的性能，并学习多任务的政策，通过微调新的任务有前途的泛化能力。
2022-02-08 cs.AI cs.LG cs.RO
Of Moments and Matching: A Game-Theoretic Framework for Closing the Imitation Gap
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
我们提供了一个统一的观点，以前的模仿学习算法通过镜头的时刻匹配的大家庭。在其核心，我们的分类方案是基于学习者是否试图匹配（1）奖励或（2）专家行为的行动价值时刻，每个选项导致不同的算法方法。通过考虑学习者和专家行为之间的对立选择分歧，我们能够推导出适用于这些类中的所有算法的政策性能的界限，这是我们所知的第一个。我们还介绍了瞬间可恢复性的概念，隐含在许多以前的分析模仿学习，这使我们能够清楚地描绘如何以及每个算法家族能够减轻复合错误。我们推导出三种新的算法模板（AdVIL，AdRIL和DAeQuIL）具有强有力的保证，简单的实现，和竞争力的经验性能。
2021-06-10 cs.LG cs.RO stat.ML
Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift
研究在动态偏移下选择性模仿学习的方法，提出SeqRejectron算法，实现无 horizon 的样本复杂度保证，适用于确定性和随机性策略。
2026-05-16 cs.LG
Analyzing the Impact of Multimodal Perception on Sample Complexity and Optimization Landscapes in Imitation Learning
University of California, Berkeley（加州大学伯克利分校）
本文基于统计学习理论，分析了多模态感知对模仿学习样本复杂度与优化景观的影响，证明适当集成的多模态策略优于单模态策略，并从理论框架解释了PerAct和CLIPort等架构的卓越性能。
2025-08-07 cs.LG cs.RO
Efficient Motion Planning for Automated Lane Change based on Imitation Learning and Mixed-Integer Optimization
Beijing Institute of Technology（北京理工大学）；McGill University（麦吉尔大学）
智能运动规划是自动驾驶汽车的核心组成部分之一，受到了广泛的关注。传统的运动规划方法在最优性、效率和泛化能力方面存在一些缺陷。基于采样的方法不能保证生成的轨迹的最优性。而基于优化的方法不能够实时地进行运动规划，并且受到简化形式化的限制。在这项工作中，我们提出了一种基于学习的方法来处理这些缺点。基于混合二次优化问题（MIQP）生成最优换道轨迹，作为基于学习的动作生成算法的训练数据集。设计了一种分层监督学习模型来进行快速换道决策。大量的实验已经进行了评估所提出的方法的最优性，效率和泛化能力。实验结果表明，该模型优于几种常用的运动规划基线。
2020-05-08 cs.LG cs.RO stat.ML
Imitation Learning for End to End Vehicle Longitudinal Control with Forward Camera
Valeo Driving Assistance Research（法雷奥驾驶辅助研究部门）
在本文中，我们提出了一个完整的研究的端到端的模仿学习系统的速度控制的真正的汽车，基于神经网络与长短期记忆（LSTM）。为了实现鲁棒性和泛化的专家演示，我们提出了数据增强和标签增强，在纵向控制上下文中的模仿学习相关。仅基于前置摄像头图像，我们的系统能够在模拟环境中正确控制汽车的速度，并在具有挑战性的测试轨道上的真实汽车中进行控制。该系统在开放道路环境中也显示出良好的效果。
2018-12-14 cs.CV cs.RO
ICLR: In-Context Imitation Learning with Visual Reasoning
University of Southern California（南加州大学）；Autodesk Research（Autodesk研究）
ICLR通过结合视觉推理与上下文模仿学习，提升机器人在复杂任务中的适应性和泛化能力。
2026-07-21 cs.RO
A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing
Department of Mechanical Engineering, University of California at Berkeley（加州大学伯克利分校机械工程系）；Zoox
针对模仿学习中约束满足难、传统行为克隆方法在高精度任务表现欠佳的问题，提出将安全性纳入模仿学习目标的简单方法，经自主赛车仿真验证，该方法较BC约束满足度更高、任务表现更一致。
2025-08-27 cs.AI cs.LG cs.RO
Confidence-Aware Imitation Learning from Demonstrations with Varying Optimality
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
大多数现有的模仿学习方法都假设演示来自最佳专家，但放松这一假设使我们能够使用更广泛的数据。标准的模仿学习可以从具有变化的最优性的演示中学习次优策略。先前的工作使用置信度分数或排名来从具有不同最优性的演示中捕获有益信息，但是它们受到许多限制，例如，手动注释的置信度得分或演示的高平均最优性。在本文中，我们提出了一个通用的框架，从不同的最优性，共同学习的信心得分和表现良好的政策的演示学习。我们的方法，信心感知模仿学习（CAIL）学习一个良好的表现政策，从信心重新加权的演示，同时使用外部损失跟踪我们的模型的性能和学习的信心。我们提供了理论保证CAIL的收敛性，并评估其性能在模拟和真实的机器人实验。我们的研究结果表明，CAIL显着优于其他模仿学习方法，从不同的最优性演示。我们进一步表明，即使没有任何最佳的示范，CAIL仍然可以学习一个成功的政策，并优于以前的工作。
2022-01-26 cs.AI cs.LG cs.RO
Globally Stable Neural Imitation Policies
McGill University（麦吉尔大学）；Universidad Veracruzana（韦拉克鲁斯大学）
本文提出稳定神经动力系统（SNDS），通过基于李雅普诺夫定理的神经策略架构联合训练策略与李雅普诺夫候选函数，实现具有全局稳定性保证的模仿学习，并在仿真和真实机械臂上验证其克服了不稳定、精度低和计算密集等问题。
2024-09-02 cs.LG cs.RO
MPC-based Imitation Learning for Safe and Human-like Autonomous Driving
Siemens Digital Industries Software（西门子数字工业软件）；KU Leuven（鲁汶大学）；Flanders Make（法兰德斯制造研究院）
为了确保用户接受自动驾驶车辆（AV），正在开发控制系统以从所需驾驶行为的演示来模仿人类驾驶员。模仿学习（IL）算法服务于此目的，但难以在所得到的闭环系统轨迹上提供安全保证。另一方面，模型预测控制（MPC）可以处理具有安全约束的非线性系统，但是用它来实现类似人类的驾驶需要广泛的领域知识。这项工作建议使用两种技术的无缝结合，学习安全AV控制器从所需的驾驶行为的演示，通过使用MPC作为一个可区分的控制层内的分层IL政策。通过这种策略，IL通过MPC成本、模型或约束中的参数在闭环和端到端中执行。这种方法的实验结果进行了分析，车道保持控制系统的设计，通过行为克隆观察（BCO）的经验教训，在一个固定底座的驾驶模拟器上的人类演示。
2022-06-24 cs.RO cs.SY eess.SY
Non-Adversarial Imitation Learning and its Connections to Adversarial Methods
Intelligent Autonomous Systems, TU Darmstadt（达姆施塔特工业大学智能自主系统）；Autonomous Learning Robots, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自主学习机器人）；Bosch Center for Artificial Intelligence, Renningen（博世人工智能中心（伦宁根））
许多现代的模仿学习和逆强化学习方法，如GAIL或AIRL，都是基于对抗性公式的。这些方法应用GANs将专家的状态和动作分布与代理策略引起的隐式状态-动作分布相匹配。然而，通过将模仿学习框定为鞍点问题，对抗方法可能会遭受不稳定的优化，并且只能在小的策略更新时才能显示收敛。我们通过提出一个非对抗性模仿学习的框架来解决这些问题。由此产生的算法类似于它们的对抗对手，因此，为对抗模仿学习方法提供了见解。最值得注意的是，我们证明了AIRL是我们的非对抗性公式的一个实例，这使我们能够大大简化其推导并获得更强的收敛保证。我们还表明，我们的非对抗性配方可用于衍生新的算法，提出了一种方法，离线模仿学习，是最近的ValueDice算法的启发，但不依赖于小的政策更新收敛。在我们的模拟机器人实验中，我们用于非对抗性模仿学习的离线方法在每次迭代时使用许多更新策略和策略时似乎表现最好，并且优于行为克隆和ValueDice。
2020-08-08 cs.IT cs.LG cs.RO
On-Policy Robot Imitation Learning from a Converging Supervisor
University of California Berkeley（加州大学伯克利分校）
现有的政策上的模仿学习算法，如Dagger，假设访问一个固定的监督。然而，在策略学习过程中，存在许多监管者可能演变的设置，例如执行新任务的人或改进算法控制器。我们正式模仿学习从一个“收敛监督”，并提供次线性静态和动态的后悔保证最好的政策在事后与标签从收敛监督，即使标签在学习过程中只从中间监督。然后，我们表明，这个框架是密切相关的一类强化学习（RL）算法称为双策略迭代（DPI），交替训练反应式学习者与模仿学习和基于模型的监督与数据从学习者。实验表明，当该框架与最先进的基于深度模型的RL算法PETS一起应用时，它在连续控制任务上的性能优于深度RL基线，并在策略评估中提供高达80倍的加速。
2020-05-16 cs.AI cs.LG cs.RO
PICO: Primitive Imitation for COntrol
Intelligent Systems Center（智能系统中心）；Johns Hopkins University Applied Physics Lab（约翰斯·霍普金斯大学应用物理实验室）
在这项工作中，我们探索了一种用于控制复杂系统的新型框架，称为Primitive Imitation for Control PICO。该方法结合了模仿学习、任务分解和新任务排序的思想，从演示推广到新行为。演示被自动分解为现有的或缺失的子行为，这允许框架识别新的行为，同时不复制现有的行为。通过行为原语的动态混合来实现对新任务的泛化。我们评估的方法，使用演示从两个不同的机器人平台。实验结果表明，PICO能够检测到一个新的行为原语的存在，并建立丢失的控制策略。
2020-06-22 cs.AI cs.RO
Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration
Intel AI Lab（英特尔人工智能实验室）
在这项工作中，我们提出了一种新的端到端的模仿学习方法，结合自然语言，视觉和运动信息，产生一个抽象的任务表示，这反过来又是用来合成特定的运动控制器在运行时。这种多模式的方法能够推广到各种各样的环境条件，并允许最终用户通过口头沟通来指导机器人策略。我们经验验证我们的方法与广泛的一组模拟，并表明它实现了高的任务成功率在各种条件下，同时保持服从概率可解释性。
2019-11-26 cs.CL cs.CV cs.LG
On the Sample Complexity of Stability Constrained Imitation Learning
Google Brain Robotics（谷歌大脑机器人）；University of Pennsylvania（宾夕法尼亚大学）
我们研究以下问题的背景下，连续控制的模仿学习：如何反映在样本复杂性的模仿学习任务的专家政策的潜在稳定性？我们提供的第一个结果表明，一个令人惊讶的粒度之间的连接可以底层专家系统的增量增益稳定性，一种新的措施之间的鲁棒收敛对系统轨迹，并依赖于任务范围$T$的泛化界限。特别是，我们提出并分析了增量增益稳定性约束版本的行为克隆和Dagger算法，并表明所得到的样本复杂性界自然反映了潜在的稳定性属性的专家系统。作为一个特殊的情况下，我们描绘了一类系统的数量需要实现$\varepsilon$ -次优是次线性的任务范围$T$，这样做，而不需要（强）凸的损失函数的政策参数。最后，我们进行了数值实验，证明了我们的见解的有效性，一个简单的非线性系统，其基本的稳定性可以很容易地调整，并在一个高维四足机器人模拟。
2023-01-15 cs.LG cs.SY eess.SY
Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Nanjing University（南京大学）；Tsinghua University（清华大学）
生成对抗模仿学习（GAIL）利用生成对抗网的优势，在机器人学习领域取得了可喜的成果。然而，孤立的单模态演示的要求限制了该方法在现实世界场景中的可扩展性，例如自动驾驶汽车对正确理解人类驾驶员行为的需求。在本文中，我们提出了一种新的多模态GAIL框架，命名为Triple-GAIL，这是能够学习技能选择和模仿共同从专家演示和不断产生的经验与数据增强的目的，通过引入一个辅助技能选择器。我们分别为生成器和选择器提供了收敛到最优解的理论保证。在真实驾驶员轨迹和实时策略游戏数据集上的实验表明，Triple-GAIL可以更好地拟合接近演示者的多模态行为，并优于最先进的方法。
2020-05-22 cs.AI cs.LG cs.RO
MobILE: Model-Based Imitation Learning From Observation Alone
Amazon Search & AI（亚马逊搜索与人工智能）；Cornell University（康奈尔大学）
本文研究了仅从观察的模仿学习（ILFO），学习者呈现专家演示，仅包括由专家访问的状态（没有访问专家采取的行动）。我们提出了一个可证明有效的基于模型的框架MobILE来解决ILFO问题。MobiLE涉及谨慎地权衡战略探索与模仿--这是通过将面对不确定性时的乐观思想融入分布匹配模仿学习（IL）框架来实现的。我们提供了一个统一的分析MobILE，并证明MobILE享有强大的性能保证类MDP动态，满足一定的结构复杂性的概念研究。我们还表明，ILFO问题是严格困难比标准IL问题，IL和ILFO之间的指数样本复杂性分离。我们补充这些理论结果与基准OpenAI健身房任务的实验模拟，表明MobILE的功效。实现MobILE框架的代码可在https://github.com/rahulkidambi/MobILE-NeurIPS2021上获得。
2022-01-31 cs.LG stat.ML
Learning and Retrieval from Prior Data for Skill-based Imitation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IIIS, Tsinghua（清华大学智能产业研究院）；NVIDIA Research（英伟达研究院）
模仿学习为机器人学习通用行为提供了一条很有前途的途径，但由于高数据监督要求和脆弱的泛化能力，传统上表现出有限的可扩展性。受多任务模仿学习最新进展的启发，我们研究了使用以前的任务，以促进学习新的任务，在一个强大的，数据有效的方式。为了有效地利用先验数据，机器人必须从过去的经验中内化知识，并将这些知识应用于新的任务中。为此，我们开发了一个基于技能的模仿学习框架，该框架从先前数据中提取时间扩展的感觉运动技能，并随后学习调用这些学习技能的目标任务的策略。我们确定了几个关键的设计选择，显着提高性能的新任务，即表示学习目标，使更多的可预测的技能表示和检索为基础的数据增强机制，以增加监督范围的政策培训。在模拟和现实世界的操作域的集合上，我们证明了我们的方法显着优于现有的模仿学习和离线强化学习方法。视频和代码可在https://ut-austin-rpl.github.io/sailor上获得
2022-11-15 cs.LG cs.RO
TaSIL: Taylor Series Imitation Learning
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Google Brain Robotics（谷歌大脑机器人部门）
我们提出了泰勒系列模仿学习（TaSIL），一个简单的增强标准的行为克隆损失的背景下，连续控制。TaSIL惩罚学习策略和专家策略之间高阶泰勒级数项的偏差。我们表明，专家满足$\textit{incremental input-to-state stability}$的概念是很容易学习的，在这个意义上说，一个小的TaSIL增强模仿损失超过专家轨迹保证一个小的模仿损失超过轨迹所产生的学习政策。我们提供了TaSIL的样本复杂性范围，其在可实现的设置中扩展为$\tilde{\mathcal{O}}(1/n)$，对于$n$，专家演示的数量。最后，我们通过实验证明了专家策略的鲁棒性和TaSIL中所需的Taylor展开顺序之间的关系，并将标准行为克隆，DART和DAGGER与TaSIL损失增强变体进行比较。在所有情况下，我们在各种MuJoCo任务中显示出比基线的显着改进。
2023-01-16 cs.LG
Imitation Learning with Additional Constraints on Motion Style using Parametric Bias
The University of Tokyo（东京大学）
针对模仿学习中机器人运动风格依赖演示数据且易收敛为平均风格的问题，本研究在传统模仿学习网络中加入参数化偏置以约束运动风格，经PR2和MusashiLarm实验验证可通过多类约束按需改变运动风格完成任务。
2024-07-10 cs.RO
Memory-Consistent Neural Networks for Imitation Learning
University of Pennsylvania（宾夕法尼亚大学）；Vanderbilt University（范德堡大学）
提出记忆一致的神经网络（MCNN），通过硬约束输出在记忆样本锚定的允许区域内，缓解模仿学习中复合误差，在10个任务上取得一致性能提升。
2024-03-16 cs.AI cs.LG cs.RO
Dynamical System-Based Imitation Learning and Neuroadaptive Control for Trajectory Recovery in Autonomous Ships
University of Seville（塞维利亚大学）；CUN（哥伦比亚国立大学（昆迪纳马卡））
该研究针对自主船舶轨迹恢复问题，提出融合基于动力学系统的模仿学习参考生成器与神经自适应控制器的混合架构，经海洋系统模拟器验证，可提升扰动下的轨迹跟踪保真度并泛化复杂机动任务。
2026-08-26 cs.RO cs.SY eess.SY
Human-to-Robot Imitation in the Wild
Carnegie Mellon University（卡内基梅隆大学）
我们通过观察野外的人类来探讨学习的问题。虽然模仿和强化学习中的传统方法在现实世界中的学习中很有前途，但它们要么是样本效率低下，要么局限于实验室环境。与此同时，在处理被动的、非结构化的人类数据方面取得了很多成功。我们建议通过一个有效的一次性机器人学习算法来解决这个问题，该算法以第三人称视角为中心。我们称这种方法为WHIRL：在野外模仿人类的机器人学习。WHIRL提取了一个优先于人类演示者的意图，使用它来初始化我们的代理的策略。我们介绍了一个有效的现实世界的策略学习计划，提高使用的互动。我们的主要贡献是一个简单的基于采样的策略优化方法，一个新的目标函数对齐人类和机器人的视频，以及探索方法，以提高样本效率。我们展示了在现实世界中的一次性泛化和成功，包括野外20种不同的操作任务。视频和谈话https://human2robot.github.io
2022-07-19 cs.AI cs.CV cs.LG
Learning Lyapunov-Stable Polynomial Dynamical Systems through Imitation
McGill University（麦吉尔大学）
本文提出一种通过联合学习参数化多项式动力系统与李雅普诺夫候选函数的方法，实现全局稳定的运动规划策略，在仿真和真实机械臂实验中展示了高样本效率和复现精度，并保持扰动下的稳定性。
2024-11-05 cs.RO cs.SY eess.SY
Simulation-Driven Imitation Learning for Biosignals-Free Shared-Autonomy Prosthetic Grasping
Memorial University of Newfoundland（缅因大学）；Wenzhou University（温州大学）
提出一个自动生成多样化抓取演示的模拟框架，结合物理可行抓取合成、自然到达轨迹重定向和程序化环境执行，通过模仿学习实现高成功率和强泛化能力的假肢控制。
2026-06-05 cs.RO
Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning
Stanford University（斯坦福大学）；Nvidia（英伟达）
我们解决一次性模仿学习，其目标是执行一个以前看不见的任务的基础上一个单一的演示。虽然在这个方向上已经取得了令人兴奋的进展，但大多数方法仍然需要几百个任务进行元训练，这限制了方法的可扩展性。我们的主要贡献是制定一杆模仿学习作为一个象征性的规划问题，随着符号接地问题。该公式将策略执行从任务间泛化中解脱出来，从而提高了数据效率。关键的技术挑战是符号基础在有限的训练数据下容易出错，并导致随后的符号规划失败。我们解决这个挑战，提出了一个连续放松的离散符号规划，直接计划的概率输出的符号接地模型。我们对规划器的连续放松仍然可以利用概率符号基础中包含的信息，并且在不使用大的训练数据的情况下，显著地改善了一次性模仿学习任务的基线规划器。
2019-11-05 cs.AI cs.LG cs.RO
Uncertainty-Aware Deployment of Pre-trained Language-Conditioned Imitation Learning Policies
University of Pennsylvania（宾夕法尼亚大学）；University of Michigan（密歇根大学）
针对预训练语言条件模仿学习智能体在新环境中泛化困难的问题，提出基于温度缩放校准和候选动作局部信息聚合的不确定性感知部署方法，显著提升了仿真环境下的任务完成率。
2024-07-28 cs.LG cs.RO
Learning Representative Trajectories of Dynamical Systems via Domain-Adaptive Imitation
German Aerospace Center (DLR)（德国航空航天中心（DLR））
本文提出深度强化学习智能体 DATI，利用循环一致生成对抗方法实现领域自适应轨迹模仿，并在合成轨迹与海上交通异常检测中验证其优势与泛化性。
2023-04-19 cs.AI cs.LG cs.RO
An Empirical Study on What Matters for Viewpoint-Generalizable Policies in Visual Imitation Learning
该研究通过受控实验发现，保留密集视觉标记并让动作头参与几何推理能显著提升视觉模仿学习策略的跨视点泛化能力，并在模拟和真实世界随机相机配置下验证了有效性。
2026-09-29 cs.CV cs.LG cs.RO
HybridGen: VLM-Guided Hybrid Planning for Scalable Data Generation of Imitation Learning
Sun Yat-sen University（中山大学）
本文提出 HybridGen 框架，利用 VLM 解析专家演示并结合混合规划与位姿变换，可跨算法生成大规模模仿学习数据，在七项任务上显著提升性能与泛化。
2025-03-17 cs.AI cs.RO
