BlenDAgger: Blended Shared Control for Interactive Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）
BlenDAgger通过共享控制混合策略与人类动作，在干预中提升模仿学习性能，实验显示自主性能显著优于HG-DAgger，并提高过渡平滑度和数据收集效率。
2026-09-30 cs.LG cs.RO
HG-DAgger: Interactive Imitation Learning with Human Experts
Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
模仿学习已被证明对许多现实问题有用，但行为克隆等方法存在数据不匹配和复合错误问题。解决这些限制的一种尝试是Dagger算法，它使用新手引起的状态分布来从专家那里采样纠正措施。然而，这种抽样方案要求专家提供行动标签，而不完全控制系统。这会降低安全性，并且当使用人类作为专家时，由于感知到的致动器滞后，可能会降低所收集的标签的质量。在这项工作中，我们提出了HG-Dagger，Dagger的一个变体，更适合于在现实世界的系统中从人类专家进行交互式模仿学习。除了训练新手策略外，HG-Dagger还学习了基于模型不确定性的风险度量的安全阈值，该风险度量可用于预测经过充分训练的新手在状态空间不同区域的表现。我们在模拟和真实世界的自动驾驶任务上评估了我们的方法，并证明了Dagger和行为克隆的性能改善。
2019-03-11 cs.RO
Easy-IIL: Reducing Human Operational Burden in Interactive Imitation Learning via an Assistant Expert
Shenzhen Key Laboratory of Robotics and Computer Vision（深圳机器人与计算机视觉重点实验室）；Department of Electronic and Electrical Engineering（电子与电气工程系）；Department of Robotics, Perception, and Learning（机器人、感知与学习系）
Easy-IIL通过利用现成的基于模型的模仿方法作为助手专家，减少交互模仿学习中的人力操作负担，同时保持性能与主流基线相当。
2026-10-12 cs.RO
Model-Based Runtime Monitoring with Interactive Imitation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有交互式模仿学习方法需持续人工监督的问题，提出基于模型的运行时监控算法，通过学习隐空间动力学模型与故障分类器提前预测故障，减少人工工作量并提升任务成功率。
2023-10-26 cs.AI cs.LG cs.RO
Leveraging Demonstrator-perceived Precision for Safe Interactive Imitation Learning of Clearance-limited Tasks
Nara Institute of Science and Technology（奈良科学技术研究所）
针对间隙受限任务中交互式模仿学习的安全问题，本文提出 DPIIL 方法，利用人类演示中的速度-精度权衡感知环境精度，在高风险状态让渡控制权给人类，从而在无需显式环境模型的情况下提升训练安全性，并通过仿真和 UR5e 机械臂装配实验验证了其有效性。
2024-02-21 cs.RO
Robot-Gated Interactive Imitation Learning with Adaptive Intervention Mechanism
Computer Science Department, University of California, Los Angeles (UCLA)（加州大学洛杉矶分校计算机科学系）
针对交互式模仿学习中人类监督负担过重的问题，提出机器人门控的AIM算法，用代理Q函数学习自适应干预请求准则，显著降低接管成本并提升学习效率。
2025-06-10 cs.AI cs.LG cs.RO
RLIF: Interactive Imitation Learning as Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
本文提出RLIF方法，将交互式模仿学习转化为以干预信号为奖励的强化学习，放宽专家近最优假设，统一分析框架，在模拟和真实机器人任务上优于DAgger。
2024-03-18 cs.AI cs.RO
LazyDAgger: Reducing Context Switching in Interactive Imitation Learning
University of California, Berkeley（加州大学伯克利分校）
在机器人学习自动化任务时的纠正干预为人类监督者提供了一种直观的方法来帮助机器人并传达有关期望行为的信息。然而，这些干预可能会给人类监督者带来很大的负担，因为每个干预都会中断人类正在进行的其他工作，在监督者和自主控制之间的每个上下文切换都会引起延迟，并且需要时间来执行。我们提出了LazyDagger，它扩展了交互式模仿学习（IL）算法SafeDagger，以减少管理员和自主控制之间的上下文切换。我们发现，LazyDagger在学习和执行过程中提高了学习策略的性能和鲁棒性，同时限制了管理员的负担。模拟实验表明，LazyDagger可以减少上下文切换的平均60%以上的SafeDagger 3个连续的控制任务，同时保持国家的最先进的政策性能。在ABB YuMi机器人的物理织物操作实验中，LazyDagger将上下文切换减少了60%，同时在执行时的成功率比SafeDagger高60%。
2021-07-20 cs.AI cs.RO
LLM-based Interactive Imitation Learning for Robotic Manipulation
Knowledge Technology, Department of Informatics University of Hamburg（信息学院知识技术部汉堡大学）
本文提出LLM-iTeach框架，利用LLM作为交互式教师，通过分层提示生成Python策略并基于相似度提供反馈，在机器人操作任务中降低对人类依赖的同时性能超越BC并媲美CEILing。
2025-04-30 cs.RO
ASkDAgger: Active Skill-level Data Aggregation for Interactive Imitation Learning
Department of Cognitive Robotics（认知机器人学系）；Delft University of Technology（代尔夫特理工大学）；Department of Computer Science（计算机科学系）；RWTH Aachen University（亚琛工业大学）
ASkDAgger框架通过利用新手计划中的不确定性信息，结合三种机制减少交互式模仿学习中的查询次数，提升泛化与适应能力，并在模拟和真实环境中验证有效性。
2025-08-07 cs.AI cs.HC cs.LG
Interactive Imitation Learning of Bimanual Movement Primitives
针对双臂任务的单臂策略同步协调难题，提出SIMPLe算法，基于GPR的新型策略图编码结合刚度调节，可通过人类动觉示教教授修正单/双臂阻抗策略，经真实双臂平台验证有效。
2023-08-25 cs.RO
A Geometric Perspective on Visual Imitation Learning
University of Alberta（阿尔伯塔大学）
我们考虑的问题，视觉模仿学习没有人的监督（如动觉教学或遥操作），也没有访问交互式强化学习（RL）的培训环境。我们提出了一个几何的角度来得出这个问题的解决方案。具体而言，我们提出了VGS-IL（视觉几何技能模仿学习），一个端到端的几何参数化的任务概念推理方法，推断全局一致的几何特征关联规则从人类演示视频帧。我们发现，而不是从图像像素学习动作，学习几何参数化的任务概念提供了一个可解释的和不变的表示在各种环境设置下的演示者模仿者。此外，这样的任务概念表示提供了与基于几何视觉的控制器（例如，视觉伺服）的直接链接，从而允许将高级任务概念高效映射到低级机器人动作。
2020-03-05 cs.LG cs.RO
Reward-DAgger: Robot-Gated Interactive Imitation Learning with General-Purpose Progress-Based Reward Models
University of Southern California（南加州大学）
Reward-DAgger提出一种机器人门控交互式模仿学习框架，利用通用进度奖励模型检测失败并触发人工干预，无需任务特定调参，在八个模拟和真实任务中提升自主成功率并优于现有基线。
2026-10-06 cs.AI cs.RO
ThriftyDAgger: Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning
AUTOLAB at the University of California, Berkeley（加利福尼亚大学伯克利分校 AUTOLAB）
有效的机器人学习通常需要在线的人类反馈和干预，这可能会花费大量的人类时间，从而引发交互式模仿学习的核心挑战：是否有可能控制干预的时间和长度，以促进学习并限制人类监督者的负担？本文介绍了ThriftyDagger，积极查询人类主管给定的人类干预的预期预算的算法。ThriftyDagger使用学习的切换策略，仅在以下状态下请求干预：（1）足够新颖，其中机器人策略没有参考行为可供模仿，或（2）有风险，其中机器人对任务完成的信心较低。为了检测后者，我们引入了一种新的度量来估计当前机器人策略下的风险。模拟实验和物理电缆路由实验表明，ThriftyDagger的干预标准比以前的算法更有效地平衡任务性能和主管负担。ThriftyDagger也可以在执行时应用，在模拟和物理任务上都实现了100%的成功率。一项用户研究（N=10）表明，与下一个最佳算法相比，ThriftyDagger在执行集中任务的同时控制三个机器人舰队，同时减少了管理员的负担，使人类和机器人的性能分别提高了58%和80%。
2021-09-17 cs.AI cs.RO
GAN-Based Interactive Reinforcement Learning from Demonstration and Human Evaluative Feedback
Honda Research Institute Japan Co., Ltd（本田日本研究所）；College of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院）
深度强化学习（Deep Reinforcement Learning，DRL）在许多模拟任务中取得了巨大的成功。样本效率低的问题使得传统的DRL方法应用于现实世界的机器人是一个巨大的挑战。生成对抗模仿学习（GAIL）--一种通用的无模型模仿学习方法，允许机器人在大环境中直接从专家轨迹中学习策略。然而，GAIL共享其他模仿学习方法的局限性，他们很少能超过演示的性能。本文针对GAIL的局限性，结合GAIL和交互式强化学习的优点，提出了基于GAN的交互式强化学习（GAIRL）。我们在六个基于物理的控制任务中测试了我们提出的方法，从简单的低维控制任务--推车杆和山地车，到困难的高维任务--倒立双摆、月球着陆器、料斗和半猎豹。我们的研究结果表明，无论是最优还是次优的演示，GAIRL智能体总是可以学习一个更稳定的政策与最佳或接近最优的性能，而GAIL智能体的性能是上界的演示的性能，甚至比它更差。此外，我们的研究结果表明，GAIRL优于GAIL的原因是演示和人类的评价反馈的互补效应。
2021-04-14 cs.AI cs.LG cs.RO
Conformalized Interactive Imitation Learning: Handling Expert Shift and Intermittent Feedback
Robotics Institute, School of Computer Science, Carnegie Mellon University（机器人研究所、计算机科学学院、卡内基梅隆大学）；Departments of Statistics and Machine Learning, Carnegie Mellon University（统计学与机器学习系、卡内基梅隆大学）
针对交互式模仿学习中部署时的分布偏移与间歇性专家反馈问题，提出基于在线共形预测的IQT算法与ConformalDAgger框架，利用校准的预测区间主动查询专家反馈，使机器人更快适应专家策略变化。
2025-04-29 cs.AI cs.HC cs.LG
Causal Imitation Learning under Temporally Correlated Noise
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新）
我们开发的模仿学习的算法，从政策数据，被破坏的时间相关的噪声在专家的行动。当噪声影响记录数据的多个时间步时，它可能表现为学习者可能会抓住的状态和动作之间的虚假相关性，导致策略性能低下。为了打破这些虚假的相关性，我们应用计量经济学的工具变量回归（IVR）技术的现代变体，使我们能够在不需要访问交互式专家的情况下恢复基本政策。特别是，我们提出了两种技术，一个生成的建模风味（DoubIL），可以利用访问模拟器，和一个游戏理论风味（ResiduIL），可以完全离线运行。我们发现，我们的算法相比，毫不逊色，模拟控制任务的行为克隆。
2022-02-02 cs.LG cs.RO
BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning
Everyday Robots；Robotics at Google（Google机器人学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
在本文中，我们研究的问题，使基于视觉的机器人操作系统推广到新的任务，长期以来在机器人学习的挑战。我们从模仿学习的角度来处理这一挑战，旨在研究如何扩展和扩大收集的数据可以促进这种泛化。为此，我们开发了一个交互式和灵活的模仿学习系统，可以从演示和干预中学习，并且可以以传达任务的不同形式的信息为条件，包括预先训练的自然语言嵌入或人类执行任务的视频。当将真实机器人上的数据汇集扩展到100多个不同的任务时，我们发现该系统可以执行24个看不见的操作任务，平均成功率为44%，而无需任何机器人演示这些任务。
2022-02-04 cs.LG cs.RO
Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations
University of Bonn（波恩大学）
由于机器人的状态空间、动作空间和接触空间都是高维的，拟人机器人手的灵巧操作一直是机器人学中的一个难题。然而，需要熟练的闭环操纵，使人形机器人在非结构化的现实世界的环境中操作。强化学习（RL）传统上对优化此类复杂控制问题施加了巨大的交互数据需求。我们引入了一个新的框架，该框架利用了基于GPU的模拟的最新进展以及模仿学习在引导策略搜索方面的优势，使RL训练在这些领域变得可行。为此，我们提出了一个沉浸式的虚拟现实遥操作界面设计的交互式人性化的操作接触丰富的任务和一套操作环境的启发任务的日常生活。最后，我们展示了大规模并行RL和模仿学习的互补优势，产生了强大而自然的行为。经过训练的策略、我们的源代码和收集的演示数据集的视频可以在https://maltemosbach.github.io/interactive_ human_like_manipulation/上找到。
2022-12-05 cs.AI cs.LG cs.RO
Interactive Imitation Learning in Robotics: A Survey
Delft University of Technology（代尔夫特理工大学）；University of Freiburg（弗莱堡大学）
本文系统综述了机器人交互式模仿学习，梳理其反馈类型、接口、学习模型、用户体验、应用与基准，并探讨与强化学习概念的对应关系及现实应用前景。
2022-10-31 cs.RO
VITAL: Interactive Few-Shot Imitation Learning via Visual Human-in-the-Loop Corrections
Department of Artificial Intelligence, University of Groningen（格罗宁根大学人工智能系）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出VITAL，一种通过模拟数据增强和人在回路修正的少样本模仿学习方法，在多种机器人任务中验证了其有效性和泛化能力。
2025-05-21 cs.AI cs.CV cs.RO
Grasping with Chopsticks: Combating Covariate Shift in Model-free Imitation Learning for Fine Manipulation
University of Washington（华盛顿大学）
数十亿人使用筷子，这是一种简单而多功能的工具，用于精细操作日常物品。筷子的小，弯曲和光滑的尖端对拾取小物体构成了挑战，使其成为一个适当的复杂测试案例。本文利用人的示范，开发一个自主的筷子装备机器人机械手。由于缺乏精确的模型进行精细操作，我们探索无模型模仿学习，传统上遭受协变量偏移现象，导致泛化能力差。我们提出了两种方法来减少协变量偏移，这两种方法都不需要访问交互式专家或模型，不像以前的方法。首先，我们通过应用不变算子来增加抓取关键步骤的数据支持，从而减轻单步预测误差。其次，我们通过添加有界噪声并结合参数和非参数方法来生成合成校正标签，以防止错误累积。我们展示了我们的方法，我们建立了一个真正的筷子装备的机器人，并观察代理的成功率从37.3%增加到80%，这是人类专家的性能82.6%。
2020-11-13 cs.LG cs.RO
A Benchmark Comparison of Imitation Learning-based Control Policies for Autonomous Racing
University of Pennsylvania（宾夕法尼亚大学）
本文针对自动驾驶赛车控制策略，系统基准测试了多种模仿学习方法，证明交互式模仿学习优于传统方法，并能通过引导显著提升强化学习性能。
2023-05-28 cs.RO
GrOMP: Grasped Object Manifold Projection for Multimodal Imitation Learning of Manipulation
Mechanical Engineering Department at the University of Michigan（密歇根大学机械工程系）；Robotics & Automation Research Department at the Ford Motor Company（福特汽车公司机器人与自动化研究部）；Robotics Department at the University of Michigan（密歇根大学机器人系）
GrOMP通过抓取物体流形投影技术，提升多模态模仿学习中操控任务的精度和鲁棒性，基于累积误差界理论，利用触觉反馈在多个装配任务中验证其有效性。
2025-12-29 cs.RO
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
IIFL: Implicit Interactive Fleet Learning from Heterogeneous Human Supervisors
UC Berkeley（加州大学伯克利分校）；Siemens Research Lab（西门子研究实验室）
本文提出IIFL算法，通过基于能量的模型和Jeffreys散度进行不确定性量化，实现从多个异构人类监督者中学习，显著提升了模拟实验成功率和物理任务中的人类努力回报。
2023-10-20 cs.AI cs.RO
Temporal Self-Imitation Learning
Duke University（杜克大学）
提出时间自我模仿学习框架，通过挖掘高效成功轨迹并转化为可重用监督信号，提升长时域机器人操作任务的学习效率与鲁棒性。
2026-09-30 cs.AI cs.RO
AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；BIGAI（北京智源人工智能研究院）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
提出AnySkill分层方法，通过低层原子动作与高层CLIP图像奖励策略，实现交互智能体遵循开放词汇指令的物理技能学习。
2024-03-19 cs.CV cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景，探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
I3L: Iterative Interactive Imitation Learning for Whole-Body Mobile Manipulation
Stanford University（斯坦福大学）；Lambda Inc.（Lambda公司）
I3L是结合全身校正与迭代策略优化的集成系统，经多机器人多任务评估，可显著提升全身移动操作的自主成功率，缩小离线训练与可靠部署的差距。
2026-11-02 cs.AI cs.RO
Hierarchical Model-Based Imitation Learning for Planning in Autonomous Driving
Waymo（Waymo公司）
我们展示了基于模型的生成对抗模仿学习（MGAIL）在密集城市自动驾驶任务中的首次大规模应用。我们增加标准MGAIL使用层次模型，使泛化到任意目标路线，并使用模拟交互式代理的闭环评估框架来衡量性能。我们从在旧金山行驶超过10万英里的真实车辆收集的专家轨迹中训练训练策略，并展示了一种可操纵的策略，即使在zero-shot设置中也可以稳健地导航，推广到具有现实驾驶中从未发生过的新目标的合成场景。我们还证明了混合闭环MGAIL损失与开环行为克隆损失的重要性，并显示我们的最佳策略方法的专家的性能。我们评估我们的模仿模型在平均和具有挑战性的情况下，并显示它如何可以作为一个有用的计划成功的轨迹之前。
2022-10-18 cs.AI cs.LG cs.RO
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University（纽约大学）
虽然模仿学习为我们提供了一个有效的工具包来训练机器人，学习技能，是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中，我们提出了快速模仿人类技能（FISH），一种新的模仿学习方法，可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略，FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后，这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中，FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是，FISH被构造为通用的，这允许它在机器人形态（例如xArm，Allegro，Stretch）和相机配置（例如第三人称，手眼）中使用。我们对9个不同任务的实验评估表明，FISH的平均成功率为93%，比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
Safety-Aware Imitation Learning via MPC-Guided Disturbance Injection
Department of Electrical Engineering, Tsinghua University（电子工程系，清华大学）；Department of Electrical and Computer Engineering, University of Southern California（电气与计算机工程系，南加州大学）；Department of Aeronautics and Astronautics, Stanford University（航空与航天工程系，斯坦福大学）
提出MPC-SafeGIL方法，通过MPC引导的对抗性扰动注入增强模仿学习安全性，在四足、视觉导航和四旋翼实验中提升安全与任务性能。
2025-08-05 cs.RO
Feedback in Imitation Learning: The Three Regimes of Covariate Shift
Princeton（普林斯顿大学）；Aurora Innovation（奥罗拉创新公司）；Carnegie Mellon（卡内基梅隆大学）
模仿学习的实践者经常注意到，对先前行为的条件化策略导致学习者在原地的“坚持”错误和表现之间的巨大差异。互动的方法可以证明解决这个分歧，但需要反复查询的演示。最近的工作确定了这种分歧是源于一个“因果混淆”在预测当前的行动，并寻求消融因果方面的当前状态使用工具的因果推理。在这项工作中，我们认为，这种分歧只是协变量偏移的另一种表现形式，加剧了决策和输入功能之间的反馈设置。学习者通常依赖于对决策具有强预测性的特征，但这些特征受到强协变量偏移的影响。我们的工作证明了广泛的一类问题，这种转变可以减轻，理论上和实践中，利用模拟器，但没有任何进一步的查询专家演示。我们分析了现有的基准用于测试模仿学习的方法，并发现这些基准是可实现的和简单的，因此不足以捕捉更难的制度错误复合在现实世界中的决策问题。我们发现，在一个令人惊讶的对比与以前的文献，但与我们的理论相一致，天真的行为克隆提供了极好的结果。我们详细介绍了需要新的标准化基准，捕捉机器人问题中看到的现象。
2021-02-11 cs.LG cs.RO stat.ML
Model Predictive Adversarial Imitation Learning for Planning from Observation
Paul G. Allen School of Computer Science & Engineering（保罗·G·阿伦计算机科学与工程学院）
本文提出一种基于模型预测的对抗模仿学习方法，通过端到端学习从观察中规划，提升样本效率和鲁棒性。
2026-03-02 cs.AI cs.RO
Learning Sidewalk Autopilot from Multi-Scale Imitation with Corrective Behavior Expansion
Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Coco Robotics（Coco机器人）
本文提出通过纠正行为扩展和多尺度模仿学习提升人行道微出行的鲁棒性和泛化能力，通过数据和模型双重改进解决传统模仿学习的局限。
2026-03-23 cs.CV cs.RO
X-IL: Exploring the Design Space of Imitation Learning Policies
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Liverpool（利物浦大学）；Reality Labs, Meta（元宇宙实验室（元公司））
本文提出开源模块化框架X-IL，用于系统探索模仿学习策略在骨干网络与优化技术等方面的设计空间，并通过机器人学习基准发现更优配置。
2025-02-19 cs.LG cs.RO
RoboManipBaselines: A Unified Framework for Imitation Learning in Robotic Manipulation across Real and Simulation Environments
Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology (AIST)（日本国家先进工业科学技术研究院人工智能研究中心）；CNRS-AIST JRL (Joint Robotics Laboratory), IRL（法国国家科学研究中心与日本AIST联合机器人实验室）；Institute for AI and Robotics, Future Robotics Organization, Waseda University（早稻田大学未来机器人组织人工智能与机器人研究所）；AI Robot Association (AIRoA)（人工智能机器人协会）
提出RoboManipBaselines开源框架，统一支持仿真和真实环境下的机器人操作模仿学习全流程，包括数据收集、策略训练和部署，并通过基准测试和研究应用验证其有效性。
2026-05-25 cs.RO
Teacher-Student Representational Alignment for Reinforcement Learning-Driven Imitation Learning
Department of Computer Science（计算机科学系）；Örebro University（奥雷布罗大学）
提出一种通过自监督对比学习构建共享嵌入空间的方法，以减小教师和学生策略之间的不可模仿差距，从而提升学生策略性能。
2026-05-27 cs.LG cs.RO
Human-Robot Copilot for Data-Efficient Imitation Learning
UC San Diego（加州大学圣地亚哥分校）
本文提出人机协同框架，通过调整缩放因子实现灵活远程操作，同时兼容多种工业和研究机械臂，实验显示在相同演示轨迹数下性能更优，数据收集更高效。
2026-04-04 cs.RO
Out-of-Dynamics Imitation Learning from Multimodal Demonstrations
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
现有的模仿学习工作主要假设收集演示的演示者与模仿者共享相同的动力学。然而，这个假设限制了模仿学习的使用，特别是当模仿者很难收集示范时。在本文中，我们研究了动态外模仿学习（OOD-IL），它放宽了假设，演示者和模仿者有相同的状态空间，但可以有不同的动作空间和动力。OOD-IL使模仿学习能够利用来自广泛的演示者的演示，但引入了一个新的挑战：由于不同的动态，一些演示无法由模仿者实现。以前的作品试图过滤出这样的示威可行性测量，但忽略了这样一个事实，即示威表现出多峰分布，因为不同的示威者可能会采取不同的政策，在不同的动态。我们开发了一个更好的可转移性度量来应对这一新出现的挑战。首先设计了一种新的基于序列的对比聚类算法，对同一模式下的演示进行聚类，避免不同模式下演示的相互干扰，然后在每个聚类中使用基于对抗学习的算法学习每个演示的可迁移性。几个MuJoCo环境，驾驶环境，和模拟机器人环境的实验结果表明，所提出的可转移性测量更准确地发现和向下加权不可转移的演示，并优于以前的作品的最终模仿学习性能。我们在网站上展示了实验结果的视频。
2022-11-13 cs.LG cs.RO
Eliciting Compatible Demonstrations for Multi-Human Imitation Learning
Stanford University（斯坦福大学）
从人类提供的演示中进行模仿学习是学习机器人操作策略的强有力方法。虽然模仿学习的理想数据集是同质和低方差的-反映了执行任务的单一最佳方法-但自然的人类行为具有很大的异质性，有几种最佳方法来演示任务。这种多模态对人类用户来说是无关紧要的，任务的变化表现为潜意识的选择;例如，向下伸手，然后穿过去抓住一个物体，而不是向前伸手，然后向下。然而，这种不匹配给交互式模仿学习带来了问题，在交互式学习中，用户序列通过迭代地收集新的、可能相互冲突的演示来改进策略。为了解决这个问题的演示不兼容，这项工作设计了一种方法，1）测量一个新的演示给定的基本政策的兼容性，和2）积极引发更多的兼容性演示新用户。在两个模拟任务，需要长期的视野，灵巧的操作和现实世界的“食品电镀”任务与弗兰卡Panda手臂，我们表明，我们都可以通过事后过滤识别不兼容的演示，并应用我们的兼容性措施，积极引出新用户的兼容演示，从而提高任务成功率在模拟和真实环境。
2022-10-14 cs.AI cs.HC cs.RO
CCIL: Continuity-based Data Augmentation for Corrective Imitation Learning
Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
提出CCIL技术，利用环境动力学的局部连续性生成纠正性标签以增强模仿学习对复合误差和扰动的鲁棒性，在多种机器人仿真领域验证了有效性。
2024-06-03 cs.RO
Globally Stable Neural Imitation Policies
McGill University（麦吉尔大学）；Universidad Veracruzana（韦拉克鲁斯大学）
本文提出稳定神经动力系统（SNDS），通过基于李雅普诺夫定理的神经策略架构联合训练策略与李雅普诺夫候选函数，实现具有全局稳定性保证的模仿学习，并在仿真和真实机械臂上验证其克服了不稳定、精度低和计算密集等问题。
2024-09-02 cs.LG cs.RO
IntervenGen: Interventional Data Generation for Robust and Data-Efficient Robot Imitation Learning
UC Berkeley（加州大学伯克利分校）；NVIDIA（英伟达公司）
IntervenGen 系统从少量人类干预中自主生成大量覆盖丰富状态空间的纠正性干预数据，以提升机器人模仿学习策略在分布偏移下的鲁棒性，实验表明仅用 10 次人类干预即可将策略鲁棒性提高多达 39 倍。
2024-05-02 cs.AI cs.RO
Latent Policies for Adversarial Imitation Learning
University of California, San Diego（加州大学圣地亚哥分校）
本文认为学习机器人运动和操作任务的专家演示。生成对抗性模仿学习（GAIL）训练区分专家和代理转换的鉴别器，然后使用鉴别器输出定义的奖励来优化代理的策略生成器。这种生成式对抗训练方法非常强大，但取决于训练器和生成器训练之间的微妙平衡。在高维问题中，训练可能很容易过度拟合或利用与任务无关的特征的关联进行转换分类。这项工作的一个关键见解是，在合适的潜在任务空间中执行模仿学习可以使训练过程稳定，即使在具有挑战性的高维问题中也是如此。我们使用一个动作编码器-解码器模型来获得一个低维的潜在动作空间，并使用对抗性模仿学习（LAPAL）来训练一个潜在策略。编码器-解码器模型可以从状态-动作对离线训练以获得任务不可知的潜在动作表示，或者在线训练，同时进行编码器和生成器训练，以获得任务感知的潜在动作表示。我们证明了LAPAL训练是稳定的，具有接近单调的性能改进，并且在大多数运动和操作任务中实现了专家性能，而GAIL基线收敛较慢，并且在高维环境中没有实现专家性能。
2022-06-22 cs.LG cs.RO
End-to-End Imitation Learning for Optimal Asteroid Proximity Operations
Florida Institute of Technology（佛罗里达理工学院）
本文针对深空小行星附近航天器控制中计算与燃料效率低、状态确定困难的问题，提出基于神经网络的端到端算法和MPC引导的模仿学习控制器，从原始传感器数据生成近最优控制指令并提升计算效率。
2025-02-03 cs.LG cs.RO
Policy Contrastive Imitation Learning
University of Tsinghua（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）；Hong Kong University of Science and Technology（香港科技大学）
本文提出策略对比模仿学习（PCIL），通过锚定不同策略学习对比表示空间并生成平滑余弦相似度奖励，以解决 AIL 判别器表示质量低的问题，在 DeepMind Control suite 上取得最先进性能。
2023-07-06 cs.LG cs.RO
DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning
Deakin Applied Artificial Intelligence Initiative（迪肯应用人工智能倡议）
本文提出DISEIL，通过有意选择失败模式和演示起点，用视觉-语言模型生成演示请求，在模拟任务中显著提升样本效率，实现高成功率。
2026-09-09 cs.AI cs.LG cs.RO
Cross-Domain Imitation Learning via Optimal Transport
Berkeley AI Research（伯克利人工智能研究）
GWIL通过Gromov-Wasserstein距离实现跨领域模仿学习，有效对齐不同空间的状态，适用于连续控制领域。
2026-01-13 cs.AI cs.LG cs.RO
Imitation Learning with Sinkhorn Distances
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
模仿学习算法已被解释为分歧最小化问题的变体。在专家和学习者之间比较占用测量的能力对于他们从示范示教学习中学习的有效性至关重要。在本文中，我们提出了易于处理的解决方案，制定模仿学习之间的占用措施的Sinkhorn距离最小化。该配方结合了宝贵的性能的最佳运输指标比较非重叠的分布与余弦距离成本定义在一个adversarially学习的特征空间。这导致了一个高度区分的评论家网络和最佳的运输计划，随后指导模仿学习。我们评估所提出的方法使用奖励度量和Sinkhorn距离度量的MuJoCo实验的数量。有关实现和再现结果，请参考以下存储库https://github.com/gpapagiannis/sinkhorn-imitation。
2022-07-02 cs.LG cs.RO stat.ML
Co-Imitation: Learning Design and Behaviour by Imitation
University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence（芬兰人工智能中心）
机器人的共同适应是一项长期的研究工作，其目标是在动物自然进化的启发下，使系统的身体和行为适应给定的任务。协同适应有可能消除昂贵的手动硬件工程并提高系统性能。共同适应的标准方法是使用奖励函数来优化行为和形态。然而，定义和构造这样的奖励函数是非常困难的，通常是一项重大的工程工作。本文介绍了一个新的观点，我们称之为共同模仿的问题：找到一个形态和政策，允许模仿者密切匹配的行为演示。为此，我们提出了一种协同模仿方法，通过匹配演示者的状态分布来调整行为和形态。具体来说，我们专注于具有挑战性的情况下，两个代理之间的不匹配的状态和动作空间。我们发现，共同模仿增加了各种任务和设置的行为相似性，并通过将人类的行走，慢跑和踢腿技能转移到模拟人形机器人上来展示共同模仿。
2023-02-07 cs.AI cs.LG cs.RO
Imitating by generating: deep generative models for imitation of interactive tasks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）；Alanya Alaaddin Keykubat University（阿拉尼亚·阿拉丁·库库巴特大学）
为了与互动伙伴协调行动，需要不断交换感觉运动信号。人类在婴儿期和幼儿期获得这些技能主要是通过模仿学习和与熟练伙伴的积极参与。他们需要在互动过程中预测和适应伴侣的能力。在这项工作中，我们要探索这些想法在人与机器人的互动设置中，机器人需要学习互动任务的观察和动觉学习的组合。为此，我们提出了一个深度学习框架，该框架由多个组件组成，用于（1）人类和机器人运动嵌入，（2）人类伙伴的运动预测和（3）生成与人类运动匹配的机器人关节轨迹。为了验证这些想法，我们收集了四个交互任务“握手”，“挥手”，“降落伞拳头碰撞”和“火箭拳头碰撞”的人机交互数据和人机交互数据。我们通过实验证明了预测和自适应组件以及低级别抽象的重要性，以成功地学习模仿人类行为的互动社会任务。
2019-10-14 cs.LG cs.RO stat.ML
VISITRON: Visual Semantics-Aligned Interactively Trained Object-Navigator
Georgia Tech（佐治亚理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
除了视觉和语言导航（VLN）的挑战之外，导航照片逼真环境的交互式机器人需要经过训练，以有效地利用和处理对话的动态性质。在本文中，我们提出了VISITRON，一个多模态的基于变压器的导航仪更适合固有的合作视觉和对话导航（CVDN）的互动制度。VISITRON接受过以下培训：i）识别并关联环境和对话历史之间的对象级概念和语义，ii）经由二元分类头的模仿学习识别何时交互与导航。我们使用VISITRON进行广泛的预训练和微调消融，以获得经验性见解并提高CVDN的性能。VISITRON的能力，以确定何时进行交互导致了一个自然的概括的游戏模式介绍了罗马等。（arXiv：2005.00728），使这样的模型在不同的环境中使用。VISITRON与静态CVDN排行榜上的模型相比具有竞争力，并在路径长度（SPL）指标的成功加权方面达到最先进的性能。
2022-03-16 cs.AI cs.CL cs.CV
