JUICER: Data-Efficient Imitation Learning for Robotic Assembly
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出JUICER流程，通过结合表达性策略架构与数据集扩展及模拟增强技术，在少量人类演示预算下提升机器人长时程装配任务的模仿学习性能，并在模拟中实现多部件组装，优于基线方法。
2024-11-11 cs.LG cs.RO
Metric-Based Imitation Learning Between Two Dissimilar Anthropomorphic Robotic Arms
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Technical University Darmstadt（达姆施塔特工业大学）
自主机器人系统的发展，可以从人类的示范学习模仿所需的行为-而不是手动编程-具有巨大的技术潜力。模仿学习中的一个主要挑战是对应问题：当主体的具体化（形态、动力学、自由度等）不同时，如何在专家和学习者之间建立对应的状态和动作。现有的许多模仿学习方法，如动觉教学或遥操作，都是在机器人上进行的。在这项工作中，我们明确地解决对应问题，通过引入不同的实施例之间的距离测量。然后，该度量被用作静态姿势模仿的损失函数，并在无模型深度强化学习框架内用作反馈信号，用于仿真中两个拟人机器人手臂之间的动态运动模仿。我们发现，该措施是非常适合于描述实施例之间的相似性和学习模仿政策的距离最小化。
2020-02-25 cs.LG cs.RO stat.ML
Imitation Learning for High Precision Peg-in-Hole Tasks
Yaskawa India Pvt. Ltd.（安川印度私人有限公司）；Robert Bosch Center for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）
工业机器人操纵器无法匹配的精度和速度，人类能够执行接触丰富的任务，即使到今天。因此，作为克服这一差距的一种手段，我们演示了生成方法，用于模仿在6自由度机器人操作器的钉孔插入任务。特别是，生成对抗模仿学习（GAIL）是用来成功地实现这一任务与10微米，和6微米的钉孔间隙的安川GP8工业机器人。实验结果表明，该策略在20集内成功地从机器人上的少数人类专家演示（即，< 10个遥控机器人演示）。插入时间从> 20秒（其还包括失败的插入）改善到< 15秒，从而验证了该方法的有效性。
2020-12-26 cs.LG cs.RO
Federated Imitation Learning: A Novel Framework for Cloud Robotic Systems with Heterogeneous Sensor Data
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Macau（澳门大学）
人类能够通过观察他人来学习一种新的行为。同样，机器人也可以通过模仿学习来实现这一点。此外，如果有外部指导，人类可以更有效地掌握新的行为。机器人如何做到这一点？为了解决这个问题，我们提出了一个新的框架命名为FIL。它为云机器人系统提供了一种异构知识融合机制。提出了一种FIL中的知识融合算法。它使云能够融合来自本地机器人的异构知识，并为具有服务请求的机器人生成指导模型。在此之后，我们引入了一个知识转移计划，以促进本地机器人从云获取知识。利用FIL，机器人能够利用来自其他机器人的知识来提高其模仿学习的准确性和效率。与迁移学习和元学习相比，FIL更适合部署在云机器人系统中。最后，我们对机器人（汽车）的自动驾驶任务进行了实验。实验结果表明，FIL生成的共享模型提高了云机器人系统中本地机器人的模仿学习效率。
2019-12-24 cs.AI cs.LG cs.RO
Dynamic Regret Convergence Analysis and an Adaptive Regularization Algorithm for On-Policy Robot Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
基于策略的模仿学习算法（如Dagger）通过执行机器人控制策略、测量性能（损失）、从监督者获得纠正反馈并生成下一个策略来进化机器人控制策略。由于迭代之间的损失可能会不可预测地变化，因此一个基本问题是在什么条件下此过程最终将实现收敛策略。如果假设基本的轨迹分布是静态的（平稳的），则可以证明Dagger的收敛性。然而，在更现实的机器人模型中，潜在的轨迹分布是动态的，因为它是策略的函数。最近的结果表明，它是可能的，以证明收敛的Dagger时，一个规则性条件的变化率的轨迹分布是满意的。在这篇文章中，我们使用来自在线优化领域的动态后悔理论重新构建了这一结果，并表明动态后悔可以应用于任何策略算法，以分析其收敛性和最优性。这些结果启发了一种新的算法，自适应按策略正则化（AOR），以确保收敛的条件。我们目前的仿真结果与车杆平衡和运动的基准，表明AOR可以显着减少动态遗憾和抖动的机器人学习。据我们所知，这是动态后悔理论在模仿学习中的首次应用。
2019-07-08 cs.LG cs.RO
Robot See, Robot Do: Imitation Reward for Noisy Financial Environments
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算机学院）
本文针对金融市场的低信噪比导致强化学习奖励函数估计存在噪声的问题，提出一种结合模仿学习与强化学习反馈的新颖稳健奖励函数，实证表明该方法显著提升了金融绩效指标。
2024-11-13 cs.LG cs.RO q-fin.TR
Augmented Reality Demonstrations for Scalable Robot Imitation Learning
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种基于增强现实的辅助框架，使非专家用户能用HoloLens 2为机器人模仿学习提供演示，实现可扩展的演示收集，并在到达、推、拾取与放置三项任务上验证了真实机器人重播演示的成功执行。
2024-03-20 cs.GR cs.LG cs.RO
Coarse-to-Fine Imitation Learning: Robot Manipulation from a Single Demonstration
Imperial College London（帝国理工学院）
我们介绍了一种简单的新方法，视觉模仿学习，它允许一个新的机器人操作任务，从一个单一的人类示范学习，而不需要任何先验知识的对象进行交互。我们的方法将模仿学习建模为状态估计问题，状态定义为对象交互开始时末端执行器的姿势，如从演示中观察到的。然后通过将操纵任务建模为粗略的接近轨迹，然后是精细的交互轨迹，可以通过自动地围绕对象移动末端执行器的相机来以自我监督的方式训练该状态估计器。在测试时，末端执行器通过线性路径移动到估计状态，在该点处简单地重放原始演示的末端执行器速度。这使得能够方便地获取复杂的交互轨迹，而实际上不需要显式地学习策略。在8个日常任务上的真实实验表明，我们的方法可以从单个人类演示中学习各种技能，同时还可以生成稳定且可解释的控制器。
2021-06-10 cs.LG cs.RO
ConceptACT: Episode-Level Concepts for Sample-Efficient Robotic Imitation Learning
Institute of Artificial Intelligence, Ulm University（人工智能研究所，乌尔姆大学）；Institute of Neuroinformatics, Ulm University（神经信息研究所，乌尔姆大学）
ConceptACT通过整合事件级语义概念提升机器人模仿学习的样本效率，采用改进的Transformer架构实现概念感知的交叉注意力，实验表明其在收敛速度和样本效率上优于标准ACT。
2026-01-23 cs.LG cs.RO
On the Guaranteed Almost Equivalence between Imitation Learning from Observation and Demonstration
The University of Sydney（悉尼大学）；Beihang University（北京航空航天大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent Robotics X（腾讯机器人X实验室）
从观察的模仿学习（LfO）比从示范的模仿学习（LfD）更可取，因为在从专家数据重构专家策略时不需要专家动作。然而，以往的研究表明，LfO的性能是劣于LfD的巨大差距，这使得它具有挑战性，在实践中使用LfO。通过对比，本文证明了LfO几乎等价于LfD在确定性的机器人环境中，更一般地，即使在机器人环境中有界随机性。在确定性的机器人环境中，从控制理论的角度来看，我们表明，LfO和LfD之间的逆动力学不一致接近零，这意味着LfO几乎相当于LfD。为了进一步放松确定性约束，更好地适应实际环境，我们考虑了机器人环境中的有界随机性，并证明了LfD和LfO的优化目标在更广义的设置中几乎保持相同。多个机器人任务进行了大量的实验，以经验证明，LfO实现可比的性能LfD。实际上，现实中最常见的机器人系统是具有有界随机性的机器人环境（即，本文所考虑的环境）。因此，我们的研究结果大大扩展了LfO的潜力，并表明我们可以安全地应用LfO，而不会牺牲LfD在实践中的性能。
2020-10-16 cs.LG cs.RO
Interactive Imitation Learning in Robotics based on Simulations
Tongji University（同济大学）
各行业向智能化的转型，正在创造对智能化、柔性化产品的更多需求。在机器人领域，基于学习的方法越来越多地被应用，目的是通过数据训练机器人学会应对复杂多变的外部环境。在此背景下，强化学习和模仿学习正以各自的特点成为研究热点。但两者在某些情况下也有各自的局限性，比如强化学习的数据采集成本较高。而且，模仿学习很难提供完美的示范。作为模仿学习的一个分支，交互式模仿学习的目的是通过演示者和机器人之间的交互将人类的知识传递给智能体，从而降低了教学的难度。本文在四个仿真场景中实现了IIL算法，并进行了大量的实验，旨在提供IIL方法在动作空间和状态空间的详尽信息，以及与RL方法的比较。
2022-07-26 cs.RO
SPECI: Skill Prompts based Hierarchical Continual Imitation Learning for Robot Manipulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
针对现有持续模仿学习忽视技能特性、知识迁移欠佳的问题，提出SPECI分层架构，通过技能码本与注意力机制实现技能复用，并引入模式近似增强任务迁移，实验全面超越现有方法。
2025-04-22 cs.LG cs.RO
Robotic Constrained Imitation Learning for the Peg Transfer Task in Fundamentals of Laparoscopic Surgery
The University of Tokyo（东京大学）
本研究针对腹腔镜手术基础技能中钉转移任务，通过提取熟练操作员的运动约束来收集数据并进行模仿学习，仅用单目图像即可实现更准确的自主机器人操作，并在双臂系统上验证了有效性。
2024-05-06 cs.AI cs.LG cs.RO
Differentiable Constrained Imitation Learning for Robot Motion Planning and Control
TU Dortmund University（多特蒙德工业大学）
针对机器人运动规划中软约束模仿学习在分布外场景易出安全故障的问题，提出融合硬约束的可微模仿学习框架，经仿真实验验证了其在移动机器人与自动驾驶场景的有效性。
2023-08-28 cs.LG cs.RO
From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation
UC San Diego（加州大学圣地亚哥分校）
我们建议执行模仿学习灵巧操作与多指机器人手从人类示范，并转移到真正的机器人手的政策。我们介绍了一种新颖的单摄像机遥操作系统，只需一台iPad和一台电脑就可以有效地收集3D演示。我们的系统的一个关键贡献是，我们构建了一个定制的机器人手为每个用户在物理模拟器，这是一个类似于相同的运动学结构和形状的操作员的手的机械手。这提供了一个直观的界面，并避免了不稳定的人机手重定向数据汇集，导致大规模和高质量的数据。一旦收集到数据，定制的机器人手轨迹可以转换为不同的指定机器人手（制造的模型），以生成训练演示。通过使用我们的数据进行模仿学习，我们在多个复杂操作任务的基线上显示出很大的改进。重要的是，我们证明了我们学习的策略在转移到真实机器人时更加强大。更多视频可以在https://yzqin.github.io/dex-teleop-imitation上找到。
2023-01-18 cs.CV cs.LG cs.RO
Phase-Amplitude Reduction-Based Imitation Learning
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本研究提出基于相位-幅度缩减的模仿学习框架，不仅可模仿极限环轨迹，还能准确复现从初始或受扰状态到极限环的瞬态运动，提供更安全的类人机器人运动生成方法。
2025-03-02 cs.LG cs.RO
How to Train Your Robots? The Impact of Demonstration Modality on Imitation Learning
Stanford University（斯坦福大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文比较动觉示教、VR控制器遥操作和空间鼠标遥操作三种示教模态对模仿学习性能与用户体验的影响，发现动觉示教最直观且数据质量最高，但体力负担大，进而提出少量动觉示教与遥操作数据混合的采集方案以兼顾学习性能与采集效率。
2025-03-10 cs.LG cs.RO
An Algorithmic Perspective on Imitation Learning
University of Tokyo（东京大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Lincoln（林肯大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
随着机器人和其他智能代理从简单的环境和问题转向更复杂的非结构化设置，手动编程其行为变得越来越具有挑战性和昂贵。通常情况下，教师演示所需的行为比手动设计更容易，这种从演示中学习的示教学习过程以及为此而进行的算法研究被称为模仿学习。这项工作提供了一个介绍模仿学习。它涵盖了基本的假设，方法以及它们之间的关系;为解决问题而开发的丰富算法集;以及关于有效工具和实施的建议。我们打算让这份文件为两个读者服务。首先，我们希望让机器学习专家熟悉模仿学习的挑战，特别是机器人技术中出现的挑战，以及它与统计监督学习理论和强化学习等更熟悉的框架之间有趣的理论和实践区别。其次，我们希望让机器人专家和应用人工智能的专家对模仿学习的框架和工具有更广泛的了解。
2018-11-16 cs.LG cs.RO
Learning from demonstrations: An intuitive VR environment for imitation learning of construction robots
The University of British Columbia（不列颠哥伦比亚大学）
本文提出一个用于建筑机器人模仿学习的双模块框架，通过直观VR平台收集专家演示，并结合BC、GAIL与PPO进行策略训练，显著加速了训练过程并提升了策略性能。
2023-05-23 cs.RO
Bi-Level Motion Imitation for Humanoid Robots
Aalto University（阿尔托大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对人形机器人模仿学习中因形态差异导致人类MoCap数据物理不可行的问题，提出一种双层优化框架，通过自洽自编码器构建潜在动力学模型并生成物理一致的参考运动，从而提升机器人策略性能。
2024-10-02 cs.RO
One-shot Imitation Learning via Interaction Warping
Northeastern University（东北大学）；Brown University（布朗大学）；Microsoft Research（微软研究院）；Google DeepMind（谷歌DeepMind）；University of Amsterdam（阿姆斯特丹大学）
针对少样本机器人模仿学习需求，提出Interaction Warping方法，通过形状扭曲推断物体3D网格并将动作表示为可随形状扭曲的关键点，实现单次演示下的SE(3)操作策略学习，在多类重排任务及真实场景预测中有效。
2023-11-04 cs.LG cs.RO
Scalable Multi-Task Imitation Learning with Autonomous Improvement
UC Berkeley（加州大学伯克利分校）；Robotics at Google（谷歌机器人）；Stanford（斯坦福大学）
虽然机器人学习已经证明了使机器人能够自动获得新技能的有希望的结果，但部署基于学习的系统的关键挑战是规模：为机器人获得足够的数据以有效地广泛推广。特别是，模仿学习仍然是机器人学习的一种稳定而强大的方法，但严重依赖于专家操作员进行数据汇集。在这项工作中，我们针对这一挑战，旨在建立一个模仿学习系统，可以通过自主数据汇集不断改进，同时避免明确使用强化学习，以保持监督模仿的稳定性，简单性和可扩展性。为了实现这一目标，我们把自主改进的模仿问题转化为多任务设置。我们利用的洞察力，在多任务设置中，一个任务的失败尝试可能代表另一个任务的成功尝试。这使我们能够利用机器人自己的试验作为示范任务以外的机器人实际尝试。使用多任务演示数据的初始数据集，机器人自主地收集试验，这些试验仅稀疏地标记有试验是否完成任何有用任务的二进制指示。然后，我们将试验嵌入到学习的任务潜在空间中，仅使用初始演示数据集进行训练，以绘制各种试验之间的相似性，使机器人能够实现对新任务的一次性泛化。与先前的模仿学习方法相比，我们的方法可以自主收集稀疏监督的数据以进行持续改进，与强化学习算法相比，我们的方法可以有效地从稀疏的，任务不可知的奖励信号中进行改进。
2020-02-25 cs.LG cs.RO stat.ML
Detecting Unsafe Behavior in Neural Network Imitation Policies for Caregiving Robotics
本文研究护理机器人模仿学习中的不安全行为检测，针对扩散策略提出集成预测器与改进归一化流算法以解决“Policy Stopping”问题，在辅助机器人基准上优于 VAE 和 Tran-AD。
2024-07-29 cs.RO
Efficient Supervision for Robot Learning via Imitation, Simulation, and Adaptation
DeepMind
最近在机器学习方面取得的成功导致了自主系统设计的转变，提高了现有任务的性能，并使新的应用成为可能。当开发数据汇集和管理管道变得比手动行为设计更有效时，以数据为中心的方法可以在各种复杂的应用程序中获得相关性。以下工作旨在通过两种主要方式提高这一管道的效率：利用更强大的信息数据来源和从现有数据中提取更多信息。特别是，我们的目标是三个正交前沿：模仿学习，领域自适应，从模拟转移。
2019-04-15 cs.AI cs.LG cs.RO
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University（纽约大学）
虽然模仿学习为我们提供了一个有效的工具包来训练机器人，学习技能，是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中，我们提出了快速模仿人类技能（FISH），一种新的模仿学习方法，可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略，FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后，这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中，FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是，FISH被构造为通用的，这允许它在机器人形态（例如xArm，Allegro，Stretch）和相机配置（例如第三人称，手眼）中使用。我们对9个不同任务的实验评估表明，FISH的平均成功率为93%，比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
A Survey on Imitation Learning for Contact-Rich Tasks in Robotics
该综述全面梳理了机器人接触丰富型任务的模仿学习研究，涵盖示教收集方法、学习算法及多模态/基础模型带来的性能提升，明确了现有挑战，为该领域后续发展提供基础。
2025-06-16 cs.HC cs.LG cs.RO
RoboManipBaselines: A Unified Framework for Imitation Learning in Robotic Manipulation across Real and Simulation Environments
Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology (AIST)（日本国家先进工业科学技术研究院人工智能研究中心）；CNRS-AIST JRL (Joint Robotics Laboratory), IRL（法国国家科学研究中心与日本AIST联合机器人实验室）；Institute for AI and Robotics, Future Robotics Organization, Waseda University（早稻田大学未来机器人组织人工智能与机器人研究所）；AI Robot Association (AIRoA)（人工智能机器人协会）
提出RoboManipBaselines开源框架，统一支持仿真和真实环境下的机器人操作模仿学习全流程，包括数据收集、策略训练和部署，并通过基准测试和研究应用验证其有效性。
2026-05-25 cs.RO
Domain Adaptive Imitation Learning with Visual Observation
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；LG AI Research（LG人工智能研究院）
本文针对视觉观测下跨域模仿学习中的域偏移问题，提出基于双特征提取与图像重建的域无关行为特征提取框架，实验证明其性能优于已有算法。
2023-12-01 cs.CV cs.LG cs.RO
End-to-End Deep Imitation Learning: Robot Soccer Case Study
Boğaziçi University（海峡大学）
在模仿学习中，通常使用从演示数据中提取的特征来进行行为学习。最近的深度学习算法使得机器学习方法的开发成为可能，这些方法可以获得高维数据作为输入。在这项工作中，我们使用模仿学习来教机器人运球到球门。我们使用B-Human机器人软件来收集演示数据，并使用深度卷积网络来表示策略。我们使用机器人的顶部和底部摄像头图像作为输入，速度命令作为输出。CNN策略学习一系列图像和速度命令之间的映射。在3D逼真的机器人模拟器实验中，我们表明机器人能够学习搜索球和运球，但它很难与目标对齐。最佳策略模型学习在20个测试集中获得4个目标。
2018-06-28 cs.AI cs.RO
Bilateral Control-Based Imitation Learning for Velocity-Controlled Robot
University of Tsukuba（筑波大学）
机器学习在机器人对象操作中发挥着重要作用。此外，力控制是必要的操纵各种对象，以实现对配置和刚度的扰动的鲁棒性。作者的研究小组发现，通过基于双侧控制的模仿学习，可以获得快速和动态的力控制对象操作。然而，该方法仅适用于可以控制扭矩的机器人，而不适用于像许多市售机器人那样只能遵循位置或速度命令的机器人。在此基础上，提出了一种基于双边控制的速度控制机器人模仿学习方法。通过一个拖地任务的实验验证了该方法的有效性。
2021-06-01 cs.RO cs.SY eess.SY
Multi-Camera View Scaling for Data-Efficient Robot Imitation Learning
UC Berkeley（加州大学伯克利分校）；Lambda, Inc（Lambda公司）；MIT（麻省理工学院）
本文提出一种利用场景多样性提升机器人模仿学习数据效率的方法，通过摄像头视角缩放生成伪演示，增强视觉表示的视角不变性，并在仿真和现实任务中验证了其有效性。
2026-04-01 cs.CV cs.LG cs.RO
Multiple Interactions Made Easy (MIME): Large Scale Demonstrations Data for Imitation
Carnegie Mellon University（卡内基梅隆大学）
近年来，我们看到了机器人技术中数据驱动方法的出现。然而，大多数现有的努力和数据集要么是在模拟中，要么是孤立地专注于单个任务，如抓取，推动或戳。为了取得进展并捕获操作空间，我们需要收集各种任务的大规模数据集，例如倾倒，打开瓶子，堆叠物体等，但是如何收集这样的数据集呢？在本文中，我们提出了最大的可用机器人演示数据集（MIME），其中包含8260个人类机器人演示超过20个不同的机器人任务（https：//sites.google.com/view/mimedaset）。这些任务的范围从简单的推动物体的任务，以堆叠家居物品的困难任务。我们的数据集包括人类演示和机器人演示的动觉轨迹的视频。我们还建议使用该数据集来完成将第三人称视频特征映射到机器人轨迹的任务。此外，我们提出了两种不同的方法，使用这个数据集和评估预测的机器人轨迹对地面实况轨迹。我们希望我们的数据集能激发多个领域的研究，包括视觉模仿、轨迹预测和多任务机器人学习。
2018-10-16 cs.CV cs.LG cs.RO
Training Robots without Robots: Deep Imitation Learning for Master-to-Robot Policy Transfer
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology（国立研究开发法人产业技术综合研究所）
本文提出主端到机器人（M2R）策略迁移系统，通过无机器人控制器演示力反馈任务，结合注视模仿学习、简单校准和Transformer，实现从主端到机器人的深度模仿学习策略迁移，并在开瓶盖任务中验证有效性。
2024-02-26 cs.AI cs.RO
Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration
Intel AI Lab（英特尔人工智能实验室）
在这项工作中，我们提出了一种新的端到端的模仿学习方法，结合自然语言，视觉和运动信息，产生一个抽象的任务表示，这反过来又是用来合成特定的运动控制器在运行时。这种多模式的方法能够推广到各种各样的环境条件，并允许最终用户通过口头沟通来指导机器人策略。我们经验验证我们的方法与广泛的一组模拟，并表明它实现了高的任务成功率在各种条件下，同时保持服从概率可解释性。
2019-11-26 cs.CL cs.CV cs.LG
Proleptic Temporal Ensemble for Improving the Speed of Robot Tasks Generated by Imitation Learning
Robros Inc.（로브로스 Inc.）
针对模仿学习策略受演示者速度限制的问题，提出 Proleptic Temporal Ensemble，通过执行未来动作复用现有演示与预训练策略，在真实分拣任务中最高提速3倍且保持高成功率。
2024-11-13 cs.RO
Surgical Robot Transformer (SRT): Imitation Learning for Surgical Tasks
Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）
本文提出相对动作公式，使达芬奇机器人能在近似运动学数据下通过模仿学习成功执行组织操作、针处理和打结等手术任务。
2024-07-17 cs.RO
Self-Supervised Disentangled Representation Learning for Third-Person Imitation Learning
Stony Brook University（石溪大学）
人类通过观察别人来学习模仿。然而，机器人模仿学习通常需要第一人称视角（FPV）的专家演示。为每个机器人收集这样的FPV视频可能非常昂贵。第三人称模仿学习（英语：Third-person imitation learning，TPIL）是一种通过以第三人称视角（英语：Third-person view，TPV）观察其他主体来学习行为策略的概念，类似于人类的行为。这最终允许在TPV中利用来自许多不同数据源的人类和机器人演示视频，用于策略学习。在本文中，我们提出了一个TPIL方法的机器人任务与egomotion。虽然许多具有地面/空中机动性的机器人任务通常涉及摄像机自运动的动作，但针对此类任务的TPIL研究一直有限。在这里，FPV和TPV观察在视觉上非常不同; FPV显示自我运动，而代理外观仅在TPV中可见。为了使TPIL更好的状态学习，我们提出了我们的解纠缠表示学习方法。我们使用双自动编码器结构加上表示置换损失和时间对比损失，以确保状态和视点表示很好地解开。我们的实验表明我们的方法的有效性。
2021-08-02 cs.CV cs.LG cs.RO
RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation
Stanford University（斯坦福大学）
模仿学习通过解决强化学习的缺点，如探索和奖励规范，使机器人操作任务的学习取得了最新进展。然而，在这方面的研究一直局限于中等规模的数据集，由于难以收集大量的任务演示通过现有的机制。本文介绍了RoboTurk来应对这一挑战。RoboTurk是一个众包平台，用于通过使用广泛可用的移动设备（例如iPhone）进行高质量的基于6自由度轨迹的远程操作。我们评估RoboTurk的三个不同的时间尺度（15- 120秒）的操作任务，并观察到我们的用户界面是统计上类似的专用硬件，如虚拟现实控制器的任务完成时间。此外，我们观察到，网络条件差，如低带宽和高延迟的链接，并没有实质性地影响远程用户的能力，成功地执行任务演示RoboTurk。最后，我们通过收集一个试点数据集来展示RoboTurk的功效;使用RoboTurk，我们从远程工作人员那里收集了137.5小时的操作数据，在22小时的总系统使用中，成功完成了2200多个任务演示。我们表明，通过RoboTurk获得的数据，使策略学习的多步操作任务与稀疏奖励，并在策略学习过程中使用大量的演示提供了学习的一致性和最终性能方面的好处。有关其他结果、视频和下载我们的试点数据集，请访问$\href{http://roboturk.stanford.edu/}{\texttt{roboturk.stanford.edu}}$
2018-11-07 cs.AI cs.LG cs.RO
EKMP: Generalized Imitation Learning with Adaptation, Nonlinear Hard Constraints and Obstacle Avoidance
School of Computing, University of Leeds（利兹大学计算机学院）
模仿学习作为机器人轨迹生成的一种简单易行的方法，已被视为机器人技能学习的一个重要方向。无约束模仿学习忽略了环境和机器人运动学/动力学可能产生的内部和外部约束，与此相反，约束模仿学习允许将人类技能转移到非结构化场景，进一步扩大了模仿学习的应用领域。虽然已经研究了各种约束，例如，关节限制，避障和平面约束，非线性硬约束的问题还没有得到很好的解决。在本文中，我们提出了扩展核化运动原语（EKMP），以应付大多数的关键问题，在模仿学习，包括非线性硬约束。具体来说，EKMP是能够学习的概率特性的多个演示，适应学习的技能对任意所需的关节位置和速度方面的点，避免障碍物的机器人链接的水平，以及满足任意的线性和非线性，等式和不等式硬约束。此外，EKMP和最先进的运动规划方法之间的联系进行了讨论。几个评估，包括规划关节轨迹的7自由度的机器人手臂，以验证我们的框架的有效性。
2021-03-12 cs.RO
EmbodiSwap for Zero-Shot Robot Imitation Learning
department of Computer Science, University of Maryland, College Park, MD, 20742（计算机科学系，马里兰大学， College Park, MD）
本研究提出EmbodiSwap方法生成合成机器人叠加视频，创新性将V-JEPA作为视觉骨干用于零样本机器人模仿学习，真实测试成功率达82%，并开源相关代码、数据集与模型权重。
2025-10-04 cs.AI cs.CV cs.LG
Memory-based gaze prediction in deep imitation learning for robot manipulation
The University of Tokyo（东京大学）
深度模仿学习是一种很有前途的方法，在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而，未来的机器人也将被要求利用它们在复杂环境中的经验获得的记忆来解决任务（例如，当要求机器人在架子上找到先前使用过的物体时）。在这种情况下，简单的深度模仿学习可能会因为复杂环境造成的分心而失败。我们建议，从顺序的视觉输入的凝视预测，使机器人能够执行需要记忆的操作任务。该算法采用基于Transformer的自注意结构，对基于序列数据的视线估计进行记忆。所提出的方法进行了评估与一个真正的机器人多对象操作任务，需要以前的状态记忆。
2022-02-10 cs.AI cs.CV cs.RO
NeuroCERIL: Robotic Imitation Learning via Hierarchical Cause-Effect Reasoning in Programmable Attractor Neural Networks
University of Maryland（马里兰大学）；Syracuse University（雪城大学）
模仿学习允许社交机器人在没有大量手动编程的情况下从人类教师那里学习新技能，但机器人模仿学习系统很难像人类学习者那样概括演示的技能。当代模仿学习的神经计算方法以数据密集型训练为代价实现了有限的泛化，并且经常产生难以理解和调试的不透明模型。在这项研究中，我们探讨了开发纯神经控制器的社会机器人，学习模仿推理的潜在意图的演示行为的可行性。我们提出了NeuroCERIL，一个受大脑启发的神经认知架构，它使用一种新的假设演绎推理程序来产生可推广的和人类可读的解释。这种方法将自下而上的溯因推理与自上而下的预测验证相结合，并捕获了与广泛的认知领域相关的人类因果推理的重要方面。我们的实验结果表明，NeuroCERIL可以学习各种程序技能，在一个模拟的机器人模仿学习域。我们还表明，它的因果推理过程是计算效率高，它的记忆使用是由高度短暂的短期记忆，很像人类的工作记忆。我们的结论是，NeuroCERIL是一个可行的类人模仿学习的神经模型，可以提高人类与机器人的协作，并有助于人类认知的神经计算基础的调查。
2022-11-11 cs.AI cs.RO
SurgVIL: Scaling Surgical Robot Imitation Learning with Open-source Surgical Videos
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达公司）
SurgVIL框架结合带运动学标签的体模机器人演示与开源外科视频，以弱监督补充运动学标签，在达芬奇机器人任务上提升了策略对真实组织等场景的泛化能力，为外科机器人模仿学习提供了可扩展方案。
2026-09-29 cs.RO
On-Policy Robot Imitation Learning from a Converging Supervisor
University of California Berkeley（加州大学伯克利分校）
现有的政策上的模仿学习算法，如Dagger，假设访问一个固定的监督。然而，在策略学习过程中，存在许多监管者可能演变的设置，例如执行新任务的人或改进算法控制器。我们正式模仿学习从一个“收敛监督”，并提供次线性静态和动态的后悔保证最好的政策在事后与标签从收敛监督，即使标签在学习过程中只从中间监督。然后，我们表明，这个框架是密切相关的一类强化学习（RL）算法称为双策略迭代（DPI），交替训练反应式学习者与模仿学习和基于模型的监督与数据从学习者。实验表明，当该框架与最先进的基于深度模型的RL算法PETS一起应用时，它在连续控制任务上的性能优于深度RL基线，并在策略评估中提供高达80倍的加速。
2020-05-16 cs.AI cs.LG cs.RO
A Wearable Robotic Hand for Hand-over-Hand Imitation Learning
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai AI Lab（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
针对数据手套难以直接映射机器人自由度且无法准确采集力反馈的问题，本文提出可穿戴灵巧手 HIRO Hand，融合专家示教数据采集与触觉反馈，并通过非学习及视觉行为克隆控制器实现抓取和手内操作。
2023-09-26 cs.RO
ILBiT: Imitation Learning for Robot Using Position and Torque Information based on Bilateral Control with Transformer
Cybermedia Center, Osaka University（大阪大学媒体融合中心）；School of Engineering Science, Osaka University（大阪大学工程科学学院）
本文提出ILBiT，一种基于Transformer的双边控制模仿学习方法，利用位置与力矩信息，以100Hz高频运行，提升机器人操作的精确性和适应性。
2024-02-05 cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego（加州大学圣地亚哥分校）
虽然计算机视觉在理解手-物交互方面取得了重大进展，但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中，我们提出了一个新的平台和流水线DexMV（灵巧操作视频）的模仿学习。我们设计了一个平台：（i）用于具有多指机器人手的复杂灵巧操纵任务的模拟系统，以及（ii）用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中，我们从视频中提取3D手部和物体姿态，并提出了一种新的演示翻译方法，将人体运动转换为机器人演示。然后，我们应用和基准多个模仿学习算法的演示。我们表明，演示确实可以大大提高机器人学习，并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到：https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
Multi-Robot Pursuit in Parameterized Formation via Imitation Learning
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
针对多机器人围捕中防御方通信受限、攻击者速度快且策略未知的难题，提出带5个可调参数的参数化编队控制器，结合模仿学习与模型预测控制优化参数，经仿真和真实机器人实验验证了策略的有效性与鲁棒性。
2024-10-31 cs.RO
Imitation Learning Based on Bilateral Control for Human-Robot Cooperation
Saitama University（埼玉大学）；University of Tsukuba（筑波大学）
机器人需要自主地对不断变化的情况做出反应。模仿学习是实现泛化性能的一个有前途的候选者，并且在对象操作中已经证明了广泛的结果。然而，人类和机器人之间的合作仍然是一个具有挑战性的问题，因为机器人必须控制自己，人类和物体之间的动态交互。此外，很难跟踪可能发生在同事之间的微妙干扰。在本研究中，我们发现合作工作可以通过使用双边控制的模仿学习来完成。由于双边控制可以独立地提取响应值和命令值，因此可以提取控制动态交互的人类技能。然后，考虑提供食物的任务。实验结果清楚地表明了力控制的重要性，并且动力相互作用可以通过推断的作用力来控制。
2021-01-20 cs.RO
Autonomous Robotic Pepper Harvesting: Imitation Learning in Unstructured Agricultural Environments
Robotic Institute at Carnegie Mellon University（卡内基梅隆大学机器人研究所）
针对非结构化农业环境中的采摘挑战，提出一种基于300次演示训练视觉运动策略的自主胡椒采摘机器人系统，在无保护田间实现28.95%成功率，验证了模仿学习在复杂农业场景中的可行性与有效性。
2024-11-15 cs.RO
Bayesian Disturbance Injection: Robust Imitation Learning of Flexible Policies for Robot Manipulation
NAIST（奈良先端科学技术大学院大学）
人类在执行任务时表现出各种有趣的行为特征，例如在看似等效的最佳行动之间进行选择，在偏离最佳轨迹时执行恢复行动，或根据感知到的风险调整行动。然而，模仿学习试图通过观察人类的演示来教机器人执行这些相同的任务，但往往无法捕捉到这种行为。具体地，常用的学习算法体现了学习假设之间的固有矛盾（例如，单个最佳动作）和实际人类行为（例如，多个最佳动作），从而限制了机器人的通用性、适用性和演示可行性。为了解决这个问题，本文提出了设计模仿学习算法，重点是利用人类的行为特征，从而体现捕捉和利用实际的演示者的行为特征的原则。本文提出了第一个模仿学习框架，贝叶斯扰动注入（BDI），典型的人类行为特征，将模型的灵活性，鲁棒性和风险敏感性。贝叶斯推理用于学习灵活的非参数多行动策略，同时通过注入风险敏感的干扰来诱导人类恢复行动并确保演示可行性来增强策略。我们的方法是通过风险敏感的模拟和真实的机器人实验（例如，表扫描任务，轴达到任务和轴插入任务），使用UR 5e 6-DOF机械臂，以证明行为的改进表征。结果表明，通过提高灵活性，鲁棒性以及演示的可行性，任务性能显着改善。
2022-11-07 cs.RO
Zero-shot Imitation Learning from Demonstrations for Legged Robot Visual Navigation
University of California, Berkeley（加州大学伯克利分校）；Robotics at Google（谷歌机器人学）
模仿学习是训练视觉导航策略的一种流行方法。然而，收集足式机器人的专家演示是具有挑战性的，因为这些机器人可能难以控制，移动缓慢，并且不能长时间连续操作。在这里，我们提出了一个zero-shot模仿学习的方法，从人类（第三人称视角）的演示训练足式机器人的视觉导航政策，使高品质的导航和成本效益的数据汇集。然而，来自第三人称演示的模仿学习提出了独特的挑战。首先，这些演示是从不同的摄像机角度捕捉的，我们通过一个特征解纠缠网络（FDN）来提取透视不变的状态特征。其次，由于过渡动态系统之间的变化，我们标签丢失的动作，要么建立一个逆模型的机器人的动态特征空间，并将其应用到人类的演示或开发一个图形用户界面（GUI）标记人类的演示。为了训练导航策略，我们使用基于模型的模仿学习方法，使用FDN和标记的人类演示。我们表明，我们的框架可以学习一个有效的政策，一个足式机器人，Laikago，从模拟和现实世界的环境中的人类演示。我们的方法是zero-shot，因为机器人在训练期间从不导航相同的路径。我们证明我们的框架进行比较研究。
2020-03-04 cs.AI cs.RO
DAISS: Phase-Aware Imitation Learning for Dual-Arm Robotic Ultrasound-Guided Interventions
Chair for Computer Aided Medical Procedures(CAMP), Technical University of Munich(TUM)（计算机辅助医疗程序主席职位（CAMP），慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；The University of Hong Kong(HKU)（香港大学）
DAISS通过相位感知模仿学习实现双臂机器人在超声引导干预中的精准操作，减少认知负担。
2026-03-08 cs.RO
Keypoint Action Tokens Enable In-Context Imitation Learning in Robotics
Imperial College London（帝国理工学院）
本文提出关键点动作令牌（KAT）框架，将视觉观测和动作轨迹令牌化后输入文本预训练Transformer（GPT-4 Turbo），无需额外训练即可实现少样本上下文模仿学习，在低数据真实任务中性能达到或超越扩散策略。
2024-10-17 cs.LG cs.NE cs.RO
