Ergodic Imitation for Adaptive Exploration around Demonstrations
Ecole Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑校区）；Idiap Research Institute（伊迪亚普研究 institute）
本文提出一种自适应遍历模仿方法，通过构建演示的几何目标分布，生成适应性插值轨迹，解决机器人模仿学习中训练与部署条件不匹配的问题。
2026-05-13 cs.RO
Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）
深度模仿学习需要许多专家演示，这可能很难获得，特别是当涉及许多任务时。然而，不同的任务通常具有相似之处，因此共同学习它们可以极大地使它们受益，并减轻对许多演示的需求。但是，联合多任务学习往往遭受负迁移，共享信息，应该是特定的任务。在这项工作中，我们介绍了一种方法来执行多任务模仿，同时允许特定于任务的功能。这是通过使用原型策略作为模块来将任务划分为可以共享的简单子行为来完成的。原型策略并行操作，并由与模块联合训练的选择器机制自适应地选择。在不同任务集上的实验表明，该方法提高了单代理，任务条件和多头多任务代理，以及最先进的元学习代理的准确性。我们还展示了它自主地将任务划分为共享和特定于任务的子行为的能力。
2022-05-13 cs.LG cs.RO
One-Shot Visual Imitation Learning via Meta-Learning
University of California, Berkeley（加州大学伯克利分校）；OpenAI
为了使机器人成为能够执行各种工作的多面手，它必须能够在复杂的非结构化环境中快速有效地获得各种技能。像深度神经网络这样的高容量模型可以让机器人表现复杂的技能，但是从头开始学习每一项技能就变得不可行了。在这项工作中，我们提出了一种Meta模仿学习方法，使机器人能够学习如何更有效地学习，使其能够从一个单一的演示获得新的技能。与以前的一次性模仿方法不同，我们的方法可以扩展到原始像素输入，并且需要来自显著较少的先前任务的数据来有效学习新技能。我们在模拟和真实机器人平台上的实验证明了从单个视觉演示中学习新任务的能力。
2017-09-14 cs.AI cs.CV cs.LG
Learning Representative Trajectories of Dynamical Systems via Domain-Adaptive Imitation
German Aerospace Center (DLR)（德国航空航天中心（DLR））
本文提出深度强化学习智能体 DATI，利用循环一致生成对抗方法实现领域自适应轨迹模仿，并在合成轨迹与海上交通异常检测中验证其优势与泛化性。
2023-04-19 cs.AI cs.LG cs.RO
VOILA: Visual-Observation-Only Imitation Learning for Autonomous Navigation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Army Research Laboratory（陆军研究实验室）；Sony AI（索尼人工智能）
虽然基于视觉的自主移动机器人导航的模仿学习最近在研究界受到了极大的关注，但现有方法通常需要使用部署平台收集的状态动作演示。然而，如果一个人不能很容易地装备他们的平台来记录这些演示信号，或者更糟的是，演示者根本无法进入平台，那该怎么办？基于视觉的自主导航的模仿学习在这样的场景中是否可能？在这项工作中，我们假设，答案是肯定的，最近的想法从模仿观察（IfO）文学可以承担这样的机器人可以学习导航使用仅自我为中心的视频收集的演示，即使在存在的观点不匹配。为此，我们引入了一种新的算法，视觉观察只有模仿学习自主导航（VOILA），可以成功地学习导航策略从一个单一的视频演示收集从一个物理上不同的代理。我们在真实感AirSim模拟器中评估了VOILA，并表明VOILA不仅成功地模仿了专家，而且还学习了可以推广到新环境的导航策略。此外，我们证明了VOILA在现实世界中的有效性，它允许轮式豺狼机器人成功地模仿人类行走的环境中使用的视频记录使用手机摄像头。
2021-10-08 cs.AI cs.CV cs.LG
One-Shot Domain-Adaptive Imitation Learning via Progressive Learning
University of Bristol（布里斯托大学）；University of the West of England（西英格兰大学）；Bristol Robotic Laboratory（布里斯托机器人实验室）
传统的基于深度学习的视觉模仿学习技术需要大量演示数据进行模型训练，预先训练好的模型难以适应新场景。为了解决这些限制，我们提出了一个统一的框架，使用一种新的渐进式学习方法，包括三个阶段：i）一个粗略的学习阶段的概念表示，ii）一个精细的学习阶段的动作生成，和iii）一个虚构的学习阶段的领域自适应。总的来说，这种方法导致一个一次性的域自适应模仿学习框架。我们使用机器人浇注任务作为一个例子来评估其有效性。我们的研究结果表明，与当代端到端的模仿学习方法相比，该方法具有几个优势，包括提高任务执行的成功率和更有效的深度模仿学习训练。此外，提高了对新领域的概括性，如这里所示，具有新的背景、目标容器和颗粒组合。我们相信，所提出的方法可以广泛适用于不同的工业或家庭应用，涉及深度模仿学习的机器人操作，其中目标场景具有高度的多样性，而人类的演示数据是有限的。
2022-04-24 cs.RO
Adaptive Visual Imitation Learning for Robotic Assisted Feeding Across Varied Bowl Configurations and Food Types
University of Maryland（马里兰大学）
本研究提出自适应视觉模仿学习框架AVIL，结合视觉感知与模仿学习，使机器人能在不同碗配置和食物类型下稳健舀取食物，实验显示成功率提升达2.5倍，并具备零样本泛化能力。
2024-03-19 cs.AI cs.CV cs.RO
Dynamic Regret Convergence Analysis and an Adaptive Regularization Algorithm for On-Policy Robot Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
基于策略的模仿学习算法（如Dagger）通过执行机器人控制策略、测量性能（损失）、从监督者获得纠正反馈并生成下一个策略来进化机器人控制策略。由于迭代之间的损失可能会不可预测地变化，因此一个基本问题是在什么条件下此过程最终将实现收敛策略。如果假设基本的轨迹分布是静态的（平稳的），则可以证明Dagger的收敛性。然而，在更现实的机器人模型中，潜在的轨迹分布是动态的，因为它是策略的函数。最近的结果表明，它是可能的，以证明收敛的Dagger时，一个规则性条件的变化率的轨迹分布是满意的。在这篇文章中，我们使用来自在线优化领域的动态后悔理论重新构建了这一结果，并表明动态后悔可以应用于任何策略算法，以分析其收敛性和最优性。这些结果启发了一种新的算法，自适应按策略正则化（AOR），以确保收敛的条件。我们目前的仿真结果与车杆平衡和运动的基准，表明AOR可以显着减少动态遗憾和抖动的机器人学习。据我们所知，这是动态后悔理论在模仿学习中的首次应用。
2019-07-08 cs.LG cs.RO
RIZE: Adaptive Regularization for Imitation Learning
Amirkabir University of Technology（阿米尔卡比尔理工大学）
RIZE提出了一种基于最大熵IRL框架的自适应正则化方法，通过动态目标正则化和分布式强化学习提升模仿学习的鲁棒性和性能。
2025-11-19 cs.AI cs.LG cs.RO
State-Conditional Adversarial Learning: An Off-Policy Visual Domain Transfer Method for End-to-End Imitation Learning
University of California, Berkeley, CA, USA（加州大学伯克利分校）
针对目标域数据严格离策略、无专家且稀缺的挑战，提出状态条件对抗学习（SCAL），通过状态条件潜在KL散度的判别器估计对齐分布，实现鲁棒的视觉域迁移。
2026-06-01 cs.RO
Manipulator-Independent Representations for Visual Imitation
DeepMind（深度思维）
模仿学习是机器人学习任务的有效工具，其中指定强化学习（RL）奖励是不可行的，或者探索问题特别困难。模仿，通常是行为克隆或逆RL，从第一人称动作-状态轨迹的集合中导出策略。这与人类和其他动物的模仿方式相反：我们观察一种行为，即使是来自其他物种的行为，了解其对环境状态的感知效果，并弄清楚我们的身体可以执行什么动作来达到类似的结果。在这项工作中，我们探讨了第三人称视觉模仿的操作轨迹的可能性，只有从视觉和没有访问的行动，表现出不同的实施例，我们的模仿代理。具体来说，我们研究了什么是一个适当的表示方法，RL代理可以在视觉上跟踪复杂的操作行为的轨迹-非平面与多对象交互-由不同实施例的专家演示。我们提出了一种方法来训练操纵器无关的表示（MIR），主要集中在环境的变化，并具有所有的特点，使他们适合跨具体的视觉模仿与RL：跨域对齐，时间平滑，并可操作。我们表明，我们提出的方法，我们的代理能够模仿，复杂的机器人控制，轨迹从各种实施例和显着的视觉和动态差异，例如模拟到现实的差距。
2021-03-18 cs.RO
Adapt3R: Adaptive 3D Scene Representation for Domain Transfer in Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究学院）；University of Toronto（多伦多大学）
针对模仿学习策略在域外观测下鲁棒性差、现有3D场景表示迁移效果有限的问题，提出通用3D观测编码器Adapt3R，结合预训练2D骨干与3D定位，在保留IL算法学习能力的同时实现跨实体与视角的零样本迁移。
2025-05-15 cs.AI cs.CV cs.LG
Stem-OB: Generalizable Visual Imitation Learning with Stem-Like Convergent Observation through Diffusion Inversion
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai AI Lab（上海人工智能实验室）
针对视觉模仿学习在光照和纹理等扰动下泛化性差的问题，提出Stem-OB方法，利用预训练图像扩散模型进行图像反演以抑制低级视觉差异并保持场景结构，作为即插即用方案显著提升了真实世界任务的成功率。
2024-11-13 cs.CV cs.RO
Towards Fusing Point Cloud and Visual Representations for Imitation Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Liverpool（利物浦大学）
针对现有模仿学习中融合点云和视觉模态时丢失图像全局上下文信息的问题，提出FPV-Net方法，通过自适应层归一化条件作用结合两种模态优势，在RoboCasa基准上验证了其优于单一模态且达到最先进性能。
2025-02-19 cs.CV cs.RO
Transformers for One-Shot Visual Imitation
Carnegie Mellon University（卡内基梅隆大学）
人类能够无缝地在视觉上模仿他人，通过推断他们的意图并利用过去的经验来实现相同的最终目标。换句话说，我们可以从原始视频中解析复杂的语义知识，并有效地将其转化为具体的运动控制。有没有可能让机器人拥有同样的能力？机器人模仿学习的先前研究已经创建了可以从专家人类操作员获得不同技能的代理。然而，将这些技术扩展到在测试期间使用单个正面示例仍然是一个开放的挑战。除了控制之外，困难还来自演示者和机器人领域之间的不匹配。例如，对象可以被放置在不同的位置（例如，厨房布局在每个房子中是不同的）。此外，演示可能来自具有不同形态和物理外观的代理（例如人类），因此一对一的动作对应不可用。本文探讨的技术，使机器人部分弥合这些领域的差距，利用他们过去的经验。一个神经网络被训练来模仿来自另一个代理的给定上下文视频的地面真实机器人动作，并且必须在测试时间期间用新视频提示时推广到看不见的任务实例。我们假设，我们的政策表示必须是上下文驱动和动态感知，以执行这些任务。使用Transformers注意力机制和自监督逆动力学损失将这些假设烘焙到神经网络中。最后，我们通过实验确定，我们的方法完成了$\sim 2$ x的改进，在一套一次性操作任务的任务成功率超过先前的基线。
2020-11-11 cs.CV cs.LG cs.RO
Imitation Learning-based Direct Visual Servoing using the Large Projection Formulation
University of Innsbruck（因斯布鲁克大学）；Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒·莫勒人工智能研究所（IDSIA））；University of Trento（特伦托大学）
本文提出一种基于动力系统模仿学习的直接视觉伺服方法，利用深度学习感知模块提取鲁棒特征，并通过大投影任务优先级公式集成学习模块，使机械臂在非结构化环境中稳定执行复杂视觉伺服任务。
2025-03-09 cs.RO
Third-Person Visual Imitation Learning via Decoupled Hierarchical Controller
MIT（麻省理工学院）；Facebook AI Research（脸书人工智能研究院）；CMU（卡内基梅隆大学）
我们研究了一个广义的设置，从演示示教学习建立一个代理，可以操纵新的对象在看不见的情况下，只看一个视频的人类演示从第三人称的角度。为了实现这一目标，我们的智能体不仅要学会理解所演示的第三人称视频在其上下文中的意图，还要在其环境配置中执行预期的任务。我们的核心观点是在学习过程中通过将实现什么（预期任务）与如何执行它（控制器）解耦来明确地执行这种结构。我们提出了一个层次化的设置，其中一个高级模块学习生成一系列第一人称子目标的条件下的第三人称视频演示，和一个低级别的控制器预测的行动，以实现这些子目标。我们的代理根据原始图像观察进行操作，而无需访问完整的状态信息。我们展示了在一个真正的机器人平台上使用Baxter的倾倒和放置物体在一个盒子里的操作任务的结果。项目视频和代码在https://pathak22.github.io/hierarchical-imitation/
2019-11-21 cs.CV cs.LG cs.RO
Imitation Learning-based Visual Servoing for Tracking Moving Objects
Università della Svizzera italiana (USI)（瑞士意大利语区大学（USI））；University of Trento（特伦托大学）；Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒莫勒人工智能研究所（IDSIA））
本研究针对跟踪移动目标问题，提出利用模仿学习结合视觉伺服范式，从数据中直接推断跟踪控制器所需的补偿项，避免了显式估计器或观测器的实现，并通过机械臂仿真验证了方法的有效性。
2023-09-14 cs.RO
Adaptive Information Gathering via Imitation Learning
The Robotics Institute Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Microsoft Research（微软研究院）
在自适应信息收集问题中，需要一种策略来使用迄今为止获得的测量历史来选择信息丰富的感测位置。虽然有大量的先前工作调查有效的实际近似使用香农熵的变体，这种政策的效力在很大程度上取决于对象在世界上的几何分布。另一方面，采用在线POMDP求解器的原则性方法由于需要从世界地图的后验分布中在线明确采样而变得不切实际。我们提出了一种新的数据驱动的模仿学习框架，有效地训练信息收集政策。该策略模仿了一个千里眼的预言机--一个在训练时间具有关于世界地图的全部知识并且可以计算出最大信息量的感测位置的预言机。我们分析了习得的策略，表明离线模仿千里眼预言隐含地等效于在线预言执行结合后验抽样。这一观察使我们能够获得强大的近最优保证信息收集问题具有自适应子模块化属性。正如在一系列2D和3D探索问题上所展示的那样，经过训练的策略在两个方面都是最好的-它们适应不同的世界地图分布，同时计算成本低廉。
2017-05-22 cs.RO
Learning Speed-Adaptive Walking Agent Using Imitation Learning with Physics-Informed Simulation
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
提出融合物理信息仿真与对抗模仿学习的框架，训练可适应不同步速且运动生物力学真实的骨骼人形行走智能体，误差达5.24±0.09度。
2024-12-05 cs.LG cs.RO
AutoFocus-IL: VLM-based Saliency Maps for Data-Efficient Visual Imitation Learning without Extra Human Annotations
Department of Electrical and Computer Engineering, University of California, Riverside, USA（电气与计算机工程系，加州大学河滨分校）；Thomas Lord Department of Computer Science, University of Southern California, USA（汤姆斯·劳德计算机科学系，南加州大学）
AutoFocus-IL通过视觉语言模型自动生成显著性图，提升视觉模仿学习的数据效率和泛化能力，无需额外人类标注。
2025-11-25 cs.CV cs.RO
Demonstrate Once, Imitate Immediately (DOME): Learning Visual Servoing for One-Shot Imitation Learning
Imperial College London（伦敦帝国理工学院）
我们提出了DOME，一种用于一次性模仿学习的新方法，其中可以从单个演示中学习任务，然后立即部署，而无需任何进一步的数据汇集或训练。DOME不需要先前的任务或对象知识，并且可以在新颖的对象配置和干扰物中执行任务。在其核心，DOME使用一个图像调节的对象分割网络，其次是一个学习的视觉伺服网络，移动机器人的末端执行器到相同的相对姿势的对象在演示过程中，之后，可以通过重放演示的末端执行器的速度来完成任务。我们表明，DOME在7个现实世界的日常任务中实现了接近100%的成功率，我们进行了几项研究，以彻底了解DOME的每个组成部分。视频和补充材料可在https://www.robot-learning.uk/dome上获得。
2022-07-27 cs.AI cs.CV cs.RO
ICLR: In-Context Imitation Learning with Visual Reasoning
University of Southern California（南加州大学）；Autodesk Research（Autodesk研究）
ICLR通过结合视觉推理与上下文模仿学习，提升机器人在复杂任务中的适应性和泛化能力。
2026-07-21 cs.RO
Bi-KVIL: Keypoints-based Visual Imitation Learning of Bimanual Manipulation Tasks
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人类工程与机器人研究所）
本文提出Bi-KVIL方法，通过提取混合主从关系、双臂协调策略和亚符号任务表示，实现了从少量人类演示视频中学习细粒度双臂操作任务，并能有效泛化到新场景中的同类物体。
2024-03-22 cs.RO
GuidedAttention: Interpretable and Correctable Visual Attention for OOD-Robust Robot Manipulation via Imitation Learning
Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所人工智能研究中心）
研究针对端到端视觉运动策略中人类难以理解和校正视觉注意力的问题，提出引导注意力框架，通过预测任务相关注意力关键点并结合扩散动作策略，经用户校正后由跟踪模块传播，提升了机器人在OOD条件下的操纵性能。
2026-07-27 cs.RO
How to Mitigate the Distribution Shift Problem in Robotics Control: A Robust and Adaptive Approach Based on Offline to Online Imitation Learning
Department of Electronic and Computer Engineering, Seoul National University, Seoul, South Korea（电子与计算机工程系，首尔国立大学，首尔，韩国）
提出一种鲁棒离线到自适应在线模仿学习框架，通过离线阶段利用判别器扩展状态-动作覆盖和在线阶段自监督模仿学习，缓解分布偏移问题。
2026-05-25 cs.RO
RayViT: Ray-Conditioned Visual Representations for Viewpoint-Robust Imitation Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Leeds（利兹大学）
针对视觉模仿学习中RGB观测缺乏几何线索导致策略对相机扰动脆弱的问题，提出RayViT架构，结合辅助余弦相似度损失，在RoboCasa基准及真实机器人任务中提升了策略的鲁棒性与多任务表现。
2026-08-03 cs.CV cs.RO
Robot-Gated Interactive Imitation Learning with Adaptive Intervention Mechanism
Computer Science Department, University of California, Los Angeles (UCLA)（加州大学洛杉矶分校计算机科学系）
针对交互式模仿学习中人类监督负担过重的问题，提出机器人门控的AIM算法，用代理Q函数学习自适应干预请求准则，显著降低接管成本并提升学习效率。
2025-06-10 cs.AI cs.LG cs.RO
Zero-Shot Visual Imitation
UC Berkeley（加州大学伯克利分校）
当前模仿学习的主导范式依赖于对专家行为的强有力的监督，以学习模仿“什么”和“如何"。我们追求一种替代范式，其中代理人首先探索世界没有任何专家的监督，然后将其经验提炼成一个目标条件的技能政策与一个新的向前一致性损失。在我们的框架中，专家的作用只是传达目标（即，在推理过程中模仿什么）。然后采用所学习的策略来模仿专家（即，如何模仿）在看到一系列演示所需任务的图像后。我们的方法是“zero-shot”，在这个意义上，代理从来没有访问专家的行动在训练过程中或在推理的任务演示。我们评估我们的zero-shot模仿者在两个现实世界中的设置：复杂的绳索操作与巴克斯特机器人和导航在以前看不见的办公环境与TurtleBot。通过在VizDoom模拟中的进一步实验，我们提供了证据表明，更好的探索机制可以学习到更有能力的策略，从而提高最终任务的性能。视频、模型和更多详细信息，请访问https://pathak22.github.io/zeroshot-imitation/
2018-04-23 cs.AI cs.CV cs.LG
Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight
University of Zurich（苏黎世大学）；Robotics and Perception Group（机器人与感知组）
针对视觉敏捷四旋翼飞行中策略探索低效的问题，提出结合强化学习与模仿学习的三阶段框架，通过教师策略训练、蒸馏与自适应微调，在模拟与真实场景中显著提升了鲁棒性与性能。
2024-11-12 cs.CV cs.LG cs.RO
Visual Adversarial Imitation Learning using Variational Models
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
奖励函数规范需要大量的人力和迭代，仍然是通过深度强化学习学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常提供了一种更简单，更自然的方式来教导代理。我们考虑一个设置，其中代理提供了一个固定的可视化演示数据集，说明如何执行一项任务，必须学会使用提供的演示和无监督的环境交互来解决任务。这种设置带来了许多挑战，包括用于视觉观察的表示学习、由于高维空间导致的样本复杂性以及由于缺乏固定奖励或学习信号导致的学习不稳定性。为了应对这些挑战，我们开发了一个基于变分模型的对抗性模仿学习（V-MAIL）算法。基于模型的方法为表示学习提供了强信号，实现了样本效率，并通过启用同策略学习来提高对抗训练的稳定性。通过涉及几个基于视觉的运动和操作任务的实验，我们发现V-MAIL以样本有效的方式学习成功的视觉策略，与以前的工作相比具有更好的稳定性，并且还实现了更高的渐近性能。我们进一步发现，通过转移学习的模型，V-MAIL可以从视觉演示中学习新的任务，而无需任何额外的环境交互。包括视频在内的所有结果都可以在\url{https://sites.google.com/view/variational-mail}在线找到。
2022-06-27 cs.AI cs.LG cs.RO
S2A2: Audio-Visual Imitation Learning for Manipulation Tasks Using Acoustic Spatial Information
Kyoto University（京都大学）；RIKEN（理化学研究所）；Institute of Science Tokyo（东京理科大学）
研究利用声学信息进行操作任务的模仿学习，提出多模态框架S2A2，集成视觉与声学信息，实现多种策略集成，模拟与真实机器人实验表明其对特定任务有效且适用于现实操作。
2026-09-30 cs.RO
K-VIL: Keypoints-based Visual Imitation Learning
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院拟人化信息学与机器人研究所）
提出K-VIL方法，从少量演示视频自动提取基于关键点的几何约束任务表示，结合新型导纳控制器，实现一次和少样本视觉模仿学习，在杂乱场景等实际应用中表现高效鲁棒。
2023-07-25 cs.RO
Task-Relevant and Irrelevant Region-Aware Augmentation for Generalizable Vision-Based Imitation Learning in Agricultural Manipulation
Division of Information Science, Graduate School of Information Science, Nara Institute of Science and Technology (NAIST)（信息科学系，信息科学研究生院，奈良科学技术研究所）
本文提出DRAIL框架，通过区分任务相关与无关区域，提升农业操作中视觉模仿学习的泛化能力。
2026-03-05 cs.RO
KiRAS: Keyframe Guided Self-Imitation for Robust and Adaptive Skill Learning in Quadruped Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University, China（复旦大学智能机器人与先进制造学院）
KiRAS通过关键帧引导的自我模仿学习，在复杂地形上实现多样技能的获取与过渡，无需专家数据集，提升机器人在无结构环境中的鲁棒性和适应性。
2026-03-16 cs.RO
Play it by Ear: Learning Skills amidst Occlusion through Audio-Visual Imitation Learning
Stanford University（斯坦福大学）
人类能够完成一系列具有挑战性的操作任务，这些任务需要对视觉、触觉和声音等模态进行联合推理。此外，许多这样的任务是部分观察到的;例如，从背包中取出笔记本将导致视觉遮挡，并需要对音频或触觉信息的历史进行推理。虽然在机器人上捕获鲁棒的触觉感知可能成本高昂，但机器人夹具附近或夹具上的麦克风是获取接触事件的音频反馈的廉价且简单的方法，这可能是在缺乏视觉的情况下感知的惊人有价值的数据源。出于声音缓解视觉遮挡的潜力，我们的目标是从视觉和音频输入中学习一组具有挑战性的部分观察到的操作任务。我们提出的系统学习这些任务相结合的离线模仿学习从一个适度数量的远程操作的演示和在线微调使用人类提供的干预。在一组模拟任务中，我们发现我们的系统受益于使用音频，并且通过使用在线干预，我们能够将离线模仿学习的成功率提高约20%。最后，我们发现我们的系统可以在Franka Panda机器人上完成一组具有挑战性的部分观察任务，例如从包中提取钥匙，成功率为70%，比不使用音频的策略高出50%。
2022-05-30 cs.LG cs.RO cs.SD
Towards More Generalizable One-shot Visual Imitation Learning
University of California, Berkeley（加州大学伯克利分校）
通用机器人应该能够掌握广泛的任务，并通过利用过去的经验快速学习新的任务。单次模仿学习（OSIL）通过用（成对的）专家演示来训练智能体来实现这一目标，这样在测试时，它可以直接从一个演示中执行新任务。然而，到目前为止，这个框架仅限于对一个任务的许多变体进行训练，并对同一任务的其他看不见但相似的变体进行测试。在这项工作中，我们通过研究更雄心勃勃的多任务设置来推动更高水平的泛化能力。我们介绍了一套不同的基于视觉的机器人操作任务，包括7个任务，共61个变化，并在每个变化的实例连续。出于一致性和比较的目的，我们首先训练和评估单任务代理（如在先前的Few-Shot模仿工作中所做的那样）。然后，我们研究了多任务设置，其中多任务训练之后是（i）对训练任务中的变化进行一次性模仿，（ii）对新任务进行一次性模仿，以及（iii）对新任务进行微调。现有技术虽然在一些单一任务中表现良好，但在这些更难的多任务设置中表现不佳。为了解决这些限制，我们提出了MOSAIC（多任务单次模仿与自我注意和对比学习），它集成了自我注意模型架构和时间对比模块，以实现更好的任务消歧和更强大的表示学习。我们的实验表明，MOSAIC优于现有的最先进的学习效率，最终的性能，并学习多任务的政策，通过微调新的任务有前途的泛化能力。
2022-02-08 cs.AI cs.LG cs.RO
Keypoint Action Tokens Enable In-Context Imitation Learning in Robotics
Imperial College London（帝国理工学院）
本文提出关键点动作令牌（KAT）框架，将视觉观测和动作轨迹令牌化后输入文本预训练Transformer（GPT-4 Turbo），无需额外训练即可实现少样本上下文模仿学习，在低数据真实任务中性能达到或超越扩散策略。
2024-10-17 cs.LG cs.NE cs.RO
Zero-shot Imitation Learning from Demonstrations for Legged Robot Visual Navigation
University of California, Berkeley（加州大学伯克利分校）；Robotics at Google（谷歌机器人学）
模仿学习是训练视觉导航策略的一种流行方法。然而，收集足式机器人的专家演示是具有挑战性的，因为这些机器人可能难以控制，移动缓慢，并且不能长时间连续操作。在这里，我们提出了一个zero-shot模仿学习的方法，从人类（第三人称视角）的演示训练足式机器人的视觉导航政策，使高品质的导航和成本效益的数据汇集。然而，来自第三人称演示的模仿学习提出了独特的挑战。首先，这些演示是从不同的摄像机角度捕捉的，我们通过一个特征解纠缠网络（FDN）来提取透视不变的状态特征。其次，由于过渡动态系统之间的变化，我们标签丢失的动作，要么建立一个逆模型的机器人的动态特征空间，并将其应用到人类的演示或开发一个图形用户界面（GUI）标记人类的演示。为了训练导航策略，我们使用基于模型的模仿学习方法，使用FDN和标记的人类演示。我们表明，我们的框架可以学习一个有效的政策，一个足式机器人，Laikago，从模拟和现实世界的环境中的人类演示。我们的方法是zero-shot，因为机器人在训练期间从不导航相同的路径。我们证明我们的框架进行比较研究。
2020-03-04 cs.AI cs.RO
LIDEA: Human-to-Robot Imitation Learning via Implicit Feature Distillation and Explicit Geometry Alignment
LIDEA通过隐式特征蒸馏和显式几何对齐，解决人机交互中的表征对齐问题，提升机器人学习效率和域外鲁棒性。
2026-04-12 cs.CV cs.RO
IL-ACT: Imitation Learning with Adaptive Cartesian Tracking Control for a 30-ton Excavator
Tampere University（坦佩雷大学）；Korea University（高丽大学）；Ajou University（亚洲大学）
针对30吨级挖掘机，提出IL-ACT框架，结合模仿学习与自适应笛卡尔跟踪，在仿真中实现更短时长、更低误差的自主控制，显著优于对比方法。
2026-09-16 cs.RO
Imitation Learning with Human Eye Gaze via Multi-Objective Prediction
Texas A&M University（德克萨斯农工大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
提出GRIL架构，将人类示教动作与眼动注视作为多目标预测信号联合学习，在四旋翼视觉导航中提升性能、注意力预测与跨场景泛化。
2023-07-22 cs.HC cs.LG cs.RO
One-Shot Robust Imitation Learning for Long-Horizon Visuomotor Tasks from Unsegmented Demonstrations
School of Computing, University of Leeds（利兹大学计算学院）
针对长时域视觉运动模仿依赖语义分段演示且易受扰动、遮挡影响的问题，提出MiLa框架，结合动态运动基元与元学习，实现未分段演示学习、单次演示泛化及鲁棒执行。
2024-10-02 cs.RO
Decomposing the Generalization Gap in Imitation Learning for Visual Robotic Manipulation
Google DeepMind（谷歌DeepMind）；Stanford University（斯坦福大学）
本文通过仿真与真实机器人实验量化视觉操作模仿学习中各变化因素对泛化难度的影响，并构建含19个任务和11个因素的基准，得出跨环境一致的因素难度排序。
2023-07-07 cs.AI cs.RO
VIEW: Visual Imitation Learning with Waypoints
Virginia Tech（弗吉尼亚理工大学）
VIEW算法通过提取紧凑先验轨迹、采用智能体无关奖励函数和航路点周围高效探索，显著提升人-机器人视觉模仿学习的样本效率，支持从任意长视频中学习多对象操作任务，并在30分钟内从单视频演示学会标准操作。
2025-01-19 cs.RO
Reinforcement and Imitation Learning for Diverse Visuomotor Skills
Stanford University（斯坦福大学）；DeepMind（深度思维）
我们提出了一种无模型的深度强化学习方法，该方法利用少量的演示数据来辅助强化学习代理。我们将这种方法应用于机器人操作任务和训练端到端的可视化策略，直接从RGB相机输入映射到关节速度。我们证明，我们的方法可以解决各种各样的可视化任务，工程脚本控制器将是费力的。在实验中，我们的强化和模仿代理取得了显着更好的性能比代理与强化学习或模仿学习单独训练。我们还说明了这些政策，训练与大的视觉和动态变化，可以取得初步的成功，在zero-shot sim2real传输。这项工作的简要视觉描述可以在https://youtu.be/EDl8SQUNjj0上查看
2018-05-27 cs.AI cs.LG cs.RO
Adaptive Wiping: Adaptive contact-rich manipulation through few-shot imitation learning with Force-Torque feedback and pre-trained object representations
Department of Mechano-Informatics, The University of Tokyo（东京大学机械信息学系）；National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院）；Department of Mechanical Systems Engineering, Tokyo University of Agriculture and Technology（东京农业大学机械系统工程系）；Department of Mechanical Engineering, The University of Tokyo（东京大学机械工程系）
针对柔软可变形物体擦拭等接触丰富任务，提出融合实时FT反馈与预训练物体表征的少样本模仿学习方法，显著提升机器人对未见表面高度和海绵属性变化的适应能力。
2025-05-09 cs.RO
VITAL: Interactive Few-Shot Imitation Learning via Visual Human-in-the-Loop Corrections
Department of Artificial Intelligence, University of Groningen（格罗宁根大学人工智能系）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出VITAL，一种通过模拟数据增强和人在回路修正的少样本模仿学习方法，在多种机器人任务中验证了其有效性和泛化能力。
2025-05-21 cs.AI cs.CV cs.RO
End-to-end Driving via Conditional Imitation Learning
Intel Labs（英特尔实验室）；Computer Vision Center & Univ. Autonoma de Barcelona（计算机视觉中心与巴塞罗那自治大学）；King Abdullah University of Science & Technology（阿卜杜拉国王科技大学）
经过人类驾驶示范训练的深度网络已经学会了跟随道路并避开障碍物。然而，通过模仿学习训练的驾驶策略在测试时不能被控制。经过端到端训练以模仿专家的车辆无法被引导在即将到来的十字路口进行特定转弯。这限制了这种系统的实用性。我们建议将模仿学习置于高水平的指令输入之上。在测试时，学习的驾驶策略作为一个司机，处理感觉运动协调，但继续响应导航命令。我们评估不同的架构，有条件的模仿学习在基于视觉的驾驶。我们进行实验，在现实的三维模拟城市驾驶和1/5规模的机器人卡车，训练驾驶在住宅区。这两个系统都基于视觉输入进行驾驶，但仍能对高级导航命令做出响应。补充视频可以在https://youtu.be/cFtnflNe5fM上观看
2018-03-02 cs.CV cs.LG cs.RO
Long-Horizon Visual Imitation Learning via Plan and Code Reflection
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science and Technology, Beijing Institute of Technology, China（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学，中国）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China（广东机器感知与智能计算实验室，深圳MSU-BIT大学，中国）；Beijing Innovation Center of Humanoid Robotics, China（北京人形机器人创新中心，中国）
本文提出通过计划与代码反思模块提升长 horizon 视觉模仿学习性能，引入 LongVILBench 基准验证方法有效性。
2025-12-18 cs.AI cs.LG cs.RO
Imitation Learning for Adaptive Control of a Virtual Soft Exoglove
Department of Informatics, King’s College London（信息学院，伦敦国王学院）；MyoLab；Harvard Medical School（哈佛医学院）；Spaulding Rehabilitation Hospital（斯波林康复医院）；Department of Bioengineering, Faculty of Engineering, Imperial College London（生物工程系，伦敦帝国理工学院工程学院）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院）
本文结合模仿学习、强化学习与肌肉骨骼仿真，提出可补偿个体肌肉缺陷的虚拟柔性外手套控制器，在手部运动受损场景下平均恢复90.5%的原始操作能力。
2025-05-14 cs.LG cs.RO
OSVI-WM: One-Shot Visual Imitation for Unseen Tasks using World-Model-Guided Trajectory Generation
New York University Tandon School of Engineering（纽约大学Tandon工程学院）；New York University Courant Institute of Mathematical Sciences（纽约大学Courant数学科学研究所）；Meta-FAIR
OSVI-WM通过世界模型引导轨迹生成，实现对未见任务的单次视觉模仿学习，提升机器人执行复杂任务的能力。
2025-12-30 cs.RO
CACTI: A Framework for Scalable Multi-Task Multi-Scene Visual Imitation Learning
Columbia University（哥伦比亚大学）；Meta AI；Carnegie Mellon University（卡内基梅隆大学）
大规模的培训推动了人工智能各个子领域的重大进展，如计算机视觉和自然语言处理。然而，以可比的规模构建机器人学习系统仍然具有挑战性。为了开发能够执行广泛技能并适应新场景的机器人，需要用于收集物理机器人系统上的大量和不同数量的数据的有效方法，以及使用这些数据集训练高容量策略的能力。在这项工作中，我们提出了一个扩展机器人学习的框架，特别关注在厨房环境中的多任务和多场景操作，无论是在模拟和现实世界中。我们提出的框架，CACTI，包括四个阶段，分别处理：数据汇集，数据增强，视觉表示学习，模仿策略训练，使机器人学习的可扩展性。我们使用最先进的生成模型作为数据增强阶段的一部分，并使用预先训练的域外视觉表示来提高训练效率。实验结果证明了该方法的有效性。在真实的机器人设置上，CACTI可以有效地训练单个策略，该策略可以执行涉及厨房对象的10个操作任务，并且对不同布局的干扰项具有鲁棒性。在一个模拟的厨房环境中，CACTI训练一个策略来执行18个语义任务，每个任务有100个布局变化。我们将在真实和模拟环境中发布模拟任务基准和增强数据集，以促进未来的研究。
2023-02-16 cs.AI cs.LG cs.RO
Slot-Level Robotic Placement via Visual Imitation from Single Human Video
NVIDIA Research（英伟达研究院）；Univ. of Michigan（密歇根大学）；NYU（纽约大学）；Univ. of Washington（华盛顿大学）
针对机器人学习新任务需大量数据的问题，提出SLeRP模块化系统，结合视觉基础模型与Slot-Net检测器，从单个人类视频中学习槽位级放置技能，无需昂贵视频训练即可部署于真实机器人。
2025-04-02 cs.CV cs.RO
