Self-Augmented Robot Trajectory: Efficient Imitation Learning via Safe Self-augmentation with Demonstrator-annotated Precision
AIST(日本产业技术综合研究所)
SART通过安全自增强技术,从单次人类演示中高效学习机器人轨迹,提升数据收集效率并减少碰撞风险。
2026-02-11 cs.AI cs.RO
Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(信息处理国家重点实验室,计算机学院,北京大学);University of Washington(华盛顿大学);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心)
本文提出Demo-JEPA,一种跨体态模仿框架,通过解耦示范意图与体态特定的执行,利用共享预测表示空间将源视觉示范转换为目标兼容的未来潜在轨迹,使目标代理通过规划实现这些子目标,从而在异构体态间实现灵活的模仿。
2026-05-20 cs.RO
Exploring Pose-Guided Imitation Learning for Robotic Precise Insertion
School of Mechanical Engineering, Shanghai Jiao Tong University(上海交通大学机械工程学院);Karlsruhe Institute of Technology(卡尔斯鲁厄大学);Shanghai Huawei Technologies Co., Ltd.(上海华为技术有限公司)
本文提出基于姿态引导的模仿学习方法,通过紧凑的对象中心观测实现精确插入任务,提升数据效率和泛化能力。
2026-03-23 cs.RO
Interactive Imitation Learning in Robotics based on Simulations
Tongji University(同济大学)
各行业向智能化的转型,正在创造对智能化、柔性化产品的更多需求。在机器人领域,基于学习的方法越来越多地被应用,目的是通过数据训练机器人学会应对复杂多变的外部环境。在此背景下,强化学习和模仿学习正以各自的特点成为研究热点。但两者在某些情况下也有各自的局限性,比如强化学习的数据采集成本较高。而且,模仿学习很难提供完美的示范。作为模仿学习的一个分支,交互式模仿学习的目的是通过演示者和机器人之间的交互将人类的知识传递给智能体,从而降低了教学的难度。本文在四个仿真场景中实现了IIL算法,并进行了大量的实验,旨在提供IIL方法在动作空间和状态空间的详尽信息,以及与RL方法的比较。
2022-07-26 cs.RO
Motion Reasoning for Goal-Based Imitation Learning
Stanford University(斯坦福大学);NVIDIA(英伟达);UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Toronto(多伦多大学);University of Washington(华盛顿大学)
我们解决了基于目标的模仿学习,其目的是从第三人称视频演示中输出符号目标。这使机器人能够计划执行,并在完全不同的环境中重现相同的目标。关键的挑战是,视频演示的目标往往是模糊的语义动作的水平。人类示威者可能会无意中通过他们的行动实现示威中的某些子目标。我们的主要贡献是提出了一个运动推理框架,结合任务和运动规划,以消除歧义的真实意图的演示视频演示。这使我们能够有力地认识到以前基于行动的方法无法消除的目标。我们评估我们的方法,通过收集一个数据集的96个视频演示在一个模拟厨房环境。我们表明,我们的运动推理起着重要的作用,在认识到实际目标的演示,并提高了20%以上的成功率。我们进一步表明,通过使用从视频演示自动推断的目标,我们的机器人能够在真实的厨房环境中再现相同的任务。
2019-11-13 cs.AI cs.CV cs.RO
Co-Imitation: Learning Design and Behaviour by Imitation
University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence(芬兰人工智能中心)
机器人的共同适应是一项长期的研究工作,其目标是在动物自然进化的启发下,使系统的身体和行为适应给定的任务。协同适应有可能消除昂贵的手动硬件工程并提高系统性能。共同适应的标准方法是使用奖励函数来优化行为和形态。然而,定义和构造这样的奖励函数是非常困难的,通常是一项重大的工程工作。本文介绍了一个新的观点,我们称之为共同模仿的问题:找到一个形态和政策,允许模仿者密切匹配的行为演示。为此,我们提出了一种协同模仿方法,通过匹配演示者的状态分布来调整行为和形态。具体来说,我们专注于具有挑战性的情况下,两个代理之间的不匹配的状态和动作空间。我们发现,共同模仿增加了各种任务和设置的行为相似性,并通过将人类的行走,慢跑和踢腿技能转移到模拟人形机器人上来展示共同模仿。
2023-02-07 cs.AI cs.LG cs.RO
Where Do Humans Look When Demonstrating to Robots? Human Gaze Behavior in Pick-and-Place Tasks Across Demonstration Devices
Toyota Motor Corporation(丰田汽车公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
研究探讨了人类在不同机器人演示设备中 gaze 行为的变化,发现设备特性会影响 gaze 从任务目标线索转向控制监控线索,影响基于 gaze 的模仿学习性能。
2026-06-29 cs.RO
VOILA: Visual-Observation-Only Imitation Learning for Autonomous Navigation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能)
虽然基于视觉的自主移动机器人导航的模仿学习最近在研究界受到了极大的关注,但现有方法通常需要使用部署平台收集的状态动作演示。然而,如果一个人不能很容易地装备他们的平台来记录这些演示信号,或者更糟的是,演示者根本无法进入平台,那该怎么办?基于视觉的自主导航的模仿学习在这样的场景中是否可能?在这项工作中,我们假设,答案是肯定的,最近的想法从模仿观察(IfO)文学可以承担这样的机器人可以学习导航使用仅自我为中心的视频收集的演示,即使在存在的观点不匹配。为此,我们引入了一种新的算法,视觉观察只有模仿学习自主导航(VOILA),可以成功地学习导航策略从一个单一的视频演示收集从一个物理上不同的代理。我们在真实感AirSim模拟器中评估了VOILA,并表明VOILA不仅成功地模仿了专家,而且还学习了可以推广到新环境的导航策略。此外,我们证明了VOILA在现实世界中的有效性,它允许轮式豺狼机器人成功地模仿人类行走的环境中使用的视频记录使用手机摄像头。
2021-10-08 cs.AI cs.CV cs.LG
BlenDAgger: Blended Shared Control for Interactive Imitation Learning
Carnegie Mellon University(卡内基梅隆大学)
BlenDAgger通过共享控制混合策略与人类动作,在干预中提升模仿学习性能,实验显示自主性能显著优于HG-DAgger,并提高过渡平滑度和数据收集效率。
2026-09-30 cs.LG cs.RO
Imitation Learning with Human Eye Gaze via Multi-Objective Prediction
Texas A&M University(德克萨斯农工大学);DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
提出GRIL架构,将人类示教动作与眼动注视作为多目标预测信号联合学习,在四旋翼视觉导航中提升性能、注意力预测与跨场景泛化。
2023-07-22 cs.HC cs.LG cs.RO
A Geometric Perspective on Visual Imitation Learning
University of Alberta(阿尔伯塔大学)
我们考虑的问题,视觉模仿学习没有人的监督(如动觉教学或遥操作),也没有访问交互式强化学习(RL)的培训环境。我们提出了一个几何的角度来得出这个问题的解决方案。具体而言,我们提出了VGS-IL(视觉几何技能模仿学习),一个端到端的几何参数化的任务概念推理方法,推断全局一致的几何特征关联规则从人类演示视频帧。我们发现,而不是从图像像素学习动作,学习几何参数化的任务概念提供了一个可解释的和不变的表示在各种环境设置下的演示者模仿者。此外,这样的任务概念表示提供了与基于几何视觉的控制器(例如,视觉伺服)的直接链接,从而允许将高级任务概念高效映射到低级机器人动作。
2020-03-05 cs.LG cs.RO
BEAC: Imitating Complex Exploration and Task-oriented Behaviors for Invisible Object Nonprehensile Manipulation
Nara Institute of Science and Technology(奈良科学技术研究所);Kobe City College of Technology(神户市立工业高等专门学校)
针对部分观测下不可见物体非抓取操作的模仿学习存在示教动作不一致、认知负荷高的问题,提出BEAC框架,结合预设计探索策略与任务导向策略的切换结构,实现更优性能并降低示教认知负荷。
2025-03-21 cs.LG cs.RO
Robotic Imitation of Human Assembly Skills Using Hybrid Trajectory and Force Learning
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院)
机器人装配任务涉及复杂和低间隙的插入轨迹,在不同阶段具有不同的接触力。虽然名义上的运动轨迹可以很容易地从人的演示,通过动觉教学,遥操作,仿真,以及其他方法,力的轮廓是很难获得,特别是当一个真正的机器人是不可用的。即使使用物理引擎,在仿真中也很难获得真实的力分布。由于装配过程中的现实差距和不确定性,这种模拟的力分布往往不适合实际的机器人装配。为了解决这个问题,我们提出了一个基于学习的组合框架,通过混合轨迹学习和力学习来模仿人类的装配技能。这项工作的主要贡献是开发了一个框架,结合分层模仿学习,学习标称运动轨迹,与基于强化学习的力控制计划学习最佳的力控制政策,可以满足标称轨迹,同时适应装配任务的力要求。为了进一步改进模仿学习部分,我们开发了一个分层的架构,遵循目标条件模仿学习的思想,离线生成\textit{skill}级别的轨迹学习策略。通过实验验证,我们证实,所提出的基于学习的框架是强大的装配任务中的不确定性,可以生成高质量的轨迹,并可以找到合适的力控制政策,适应任务的力要求更有效。
2021-03-10 cs.RO
Skeletal Feature Compensation for Imitation Learning with Embodiment Mismatch
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能)
在模仿学习中,从野外的演示(例如YouTube视频)中学习是一个诱人的目标。然而,为了实现这一目标,模仿学习算法必须处理演示者和学习者可能具有彼此不同的身体的事实。这种情况--“具体化不匹配”--被许多最近的模仿学习算法所忽略。我们提出的模仿学习技术,SILEM(\textbf{S},用于\textbf{I}模仿的骨架特征补偿,\textbf{L}获得\textbf{E}实施例\textbf{M}不匹配),通过引入学习的仿射变换来补偿从学习者和专家获得的骨架特征中的差异,来解决特定类型的实施例失配。我们基于PyBullet的HalfCheetah和Ant创建了玩具域,以评估SILEM对这种类型的实施例不匹配的好处。我们还提供定性和定量的结果,更现实的问题-教学模拟人形代理,包括阿特拉斯从波士顿动力学,通过观察人类的示范走。
2022-02-12 cs.LG cs.RO
Imitation Learning for High Precision Peg-in-Hole Tasks
Yaskawa India Pvt. Ltd.(安川印度私人有限公司);Robert Bosch Center for Cyber-Physical Systems, Indian Institute of Science(印度科学学院罗伯特·博世信息物理系统中心)
工业机器人操纵器无法匹配的精度和速度,人类能够执行接触丰富的任务,即使到今天。因此,作为克服这一差距的一种手段,我们演示了生成方法,用于模仿在6自由度机器人操作器的钉孔插入任务。特别是,生成对抗模仿学习(GAIL)是用来成功地实现这一任务与10微米,和6微米的钉孔间隙的安川GP8工业机器人。实验结果表明,该策略在20集内成功地从机器人上的少数人类专家演示(即,< 10个遥控机器人演示)。插入时间从> 20秒(其还包括失败的插入)改善到< 15秒,从而验证了该方法的有效性。
2020-12-26 cs.LG cs.RO
Bayesian Disturbance Injection: Robust Imitation Learning of Flexible Policies for Robot Manipulation
NAIST(奈良先端科学技术大学院大学)
人类在执行任务时表现出各种有趣的行为特征,例如在看似等效的最佳行动之间进行选择,在偏离最佳轨迹时执行恢复行动,或根据感知到的风险调整行动。然而,模仿学习试图通过观察人类的演示来教机器人执行这些相同的任务,但往往无法捕捉到这种行为。具体地,常用的学习算法体现了学习假设之间的固有矛盾(例如,单个最佳动作)和实际人类行为(例如,多个最佳动作),从而限制了机器人的通用性、适用性和演示可行性。为了解决这个问题,本文提出了设计模仿学习算法,重点是利用人类的行为特征,从而体现捕捉和利用实际的演示者的行为特征的原则。本文提出了第一个模仿学习框架,贝叶斯扰动注入(BDI),典型的人类行为特征,将模型的灵活性,鲁棒性和风险敏感性。贝叶斯推理用于学习灵活的非参数多行动策略,同时通过注入风险敏感的干扰来诱导人类恢复行动并确保演示可行性来增强策略。我们的方法是通过风险敏感的模拟和真实的机器人实验(例如,表扫描任务,轴达到任务和轴插入任务),使用UR 5e 6-DOF机械臂,以证明行为的改进表征。结果表明,通过提高灵活性,鲁棒性以及演示的可行性,任务性能显着改善。
2022-11-07 cs.RO
When a Robot is More Capable than a Human: Learning from Constrained Demonstrators
Thomas Lord Department of Computer Science, University of Southern California(汤姆·劳德计算机科学系,南加州大学);Meta AI;Department of Computer Science & Engineering, University of California San Diego(计算机科学与工程系,加州大学圣地亚哥分校)
本文探讨机器人能否超越受限专家的演示学习,通过探索更高效轨迹和自定义奖励信号,提升学习效率和任务完成速度。
2026-05-09 cs.AI cs.LG cs.RO
Simitate: A Hybrid Imitation Learning Benchmark
University of Koblenz-Landau(科布伦茨-兰道大学)
我们提出了模拟-一个混合基准套件,针对评估的方法模仿学习。一个数据集包含1938个序列,人类在现实环境中进行日常活动。该数据集与集成到模拟器中紧密耦合。提供了分辨率为960 $\mathbb{\times}$ 540(30 Hz)的RGB和深度流,以及演示者手部的精确地面真实姿势,以及120 Hz的6 DOF对象。除了我们的数据集,我们还提供了所使用环境的3D模型、标记的对象图像和预训练模型。一套旨在促进可比性和可重复性的基准测试支持模仿学习方法的发展。此外,我们提出并整合评估指标的效果和轨迹的模拟进行评估的质量。Simitate可在我们的项目网站上找到:\url{https://agas.uni-koblenz.de/data/simitate/}。
2019-05-15 cs.LG cs.RO stat.ML
HumanMimic: Learning Natural Locomotion and Transitions for Humanoid Robot via Wasserstein Adversarial Imitation
The University of Tokyo(东京大学);ETH Zürich(苏黎世联邦理工学院)
该研究提出HumanMimic Wasserstein对抗模仿学习系统,通过运动重定向、结合RL的对抗判别器与带软边界约束的Wasserstein-1距离,使人形机器人JAXON实现多种自然运动及无演示的模式间自然过渡。
2024-04-23 cs.RO
VIEW: Visual Imitation Learning with Waypoints
Virginia Tech(弗吉尼亚理工大学)
VIEW算法通过提取紧凑先验轨迹、采用智能体无关奖励函数和航路点周围高效探索,显著提升人-机器人视觉模仿学习的样本效率,支持从任意长视频中学习多对象操作任务,并在30分钟内从单视频演示学会标准操作。
2025-01-19 cs.RO
Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Nanjing University(南京大学);Tsinghua University(清华大学)
生成对抗模仿学习(GAIL)利用生成对抗网的优势,在机器人学习领域取得了可喜的成果。然而,孤立的单模态演示的要求限制了该方法在现实世界场景中的可扩展性,例如自动驾驶汽车对正确理解人类驾驶员行为的需求。在本文中,我们提出了一种新的多模态GAIL框架,命名为Triple-GAIL,这是能够学习技能选择和模仿共同从专家演示和不断产生的经验与数据增强的目的,通过引入一个辅助技能选择器。我们分别为生成器和选择器提供了收敛到最优解的理论保证。在真实驾驶员轨迹和实时策略游戏数据集上的实验表明,Triple-GAIL可以更好地拟合接近演示者的多模态行为,并优于最先进的方法。
2020-05-22 cs.AI cs.LG cs.RO
Adversarial Imitation Learning from Video using a State Observer
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能研究院)
模仿学习研究界最近在实现使人工智能体能够仅从视频演示中模仿行为的目标方面取得了重大进展。然而,目前的国家的最先进的方法开发的这个问题表现出高样本的复杂性,部分原因是由于视频观测的高维性质。为了解决这个问题,我们在这里介绍一个新的算法,称为视觉生成对抗模仿从观察使用状态观察VGAIfO-SO。在其核心,VGAIfO-SO试图解决样本效率低下,使用一种新的,自我监督的状态观测器,它提供了估计的低维本体感觉状态表示从高维图像。我们的实验表明,在几个连续的控制环境中,VGAIFO-SO是更有效的样本比其他IfO算法在学习视频只有演示,有时甚至可以实现性能接近生成对抗模仿观察(GAIFO)算法,有特权访问演示的本体感受状态信息。
2022-07-27 cs.AI cs.CV cs.LG
RIDM: Reinforced Inverse Dynamics Modeling for Learning from a Single Observed Demonstration
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Edinburgh(爱丁堡大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Army Research Laboratory(美国陆军研究实验室);Sony AI(索尼人工智能)
用模仿学习增强强化学习通常被誉为一种改进从头开始学习的方法。然而,大多数现有的方法集成这两种技术是受几个强有力的假设-其中最主要的是,有关演示行动的信息是可用的。在本文中,我们调查在何种程度上这一假设是必要的,通过引入和评估强化逆动力学建模(RIDM),一种新的范式相结合的模仿从观察(IfO)和强化学习,不依赖于演示动作信息。此外,RIDM只需要一个演示轨迹,并且能够直接在原始(未增强)状态特征上操作。我们发现,实验RIDM表现良好的几个任务在模拟中的基线方法相比,以及一个真正的UR 5机器人手臂上的任务。实验视频可以在https://sites.google.com/view/ridm-reinforced-inverse-dynami上找到。
2020-07-21 cs.LG cs.RO stat.ML
Feasibility-aware Imitation Learning from Observations through a Hand-mounted Demonstration Interface
Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所)
本文提出FABCO框架,利用机器人动力学模型评估示教可行性并以视觉反馈引导示教者改进,同时将可行性作为数据权重,在移液管插入任务中验证了其对数据效率和策略鲁棒性的提升作用。
2025-03-12 cs.LG cs.RO
Eliciting Compatible Demonstrations for Multi-Human Imitation Learning
Stanford University(斯坦福大学)
从人类提供的演示中进行模仿学习是学习机器人操作策略的强有力方法。虽然模仿学习的理想数据集是同质和低方差的-反映了执行任务的单一最佳方法-但自然的人类行为具有很大的异质性,有几种最佳方法来演示任务。这种多模态对人类用户来说是无关紧要的,任务的变化表现为潜意识的选择;例如,向下伸手,然后穿过去抓住一个物体,而不是向前伸手,然后向下。然而,这种不匹配给交互式模仿学习带来了问题,在交互式学习中,用户序列通过迭代地收集新的、可能相互冲突的演示来改进策略。为了解决这个问题的演示不兼容,这项工作设计了一种方法,1)测量一个新的演示给定的基本政策的兼容性,和2)积极引发更多的兼容性演示新用户。在两个模拟任务,需要长期的视野,灵巧的操作和现实世界的“食品电镀”任务与弗兰卡Panda手臂,我们表明,我们都可以通过事后过滤识别不兼容的演示,并应用我们的兼容性措施,积极引出新用户的兼容演示,从而提高任务成功率在模拟和真实环境。
2022-10-14 cs.AI cs.HC cs.RO
ReTac-ACT: A State-Gated Vision-Tactile Fusion Transformer for Precision Assembly
本文提出ReTac-ACT,通过双向交叉注意力、体感条件门控网络和触觉重建目标,解决视觉反馈失效下的精密装配问题,实现90%的成功率,优于传统方法。
2026-03-18 cs.RO
Imitation from Observation: Learning to Imitate Behaviors from Raw Video via Context Translation
UC Berkeley(加州大学伯克利分校);OpenAI
模仿学习是一种有效的方法,自治系统获得控制策略时,显式的奖励功能是不可用的,使用监督提供的示范,从专家,通常是人类操作员。然而,标准的模仿学习方法假设代理接收可以提供给例如监督学习算法的观察-动作元组的示例。这与人类和动物的模仿方式形成鲜明对比:我们观察另一个人执行某种行为,然后找出哪些行为会实现该行为,补偿视角,环境,对象位置和类型以及其他因素的变化。我们将这种模仿学习称为“从观察中模仿”,并提出了一种基于上下文翻译和深度强化学习的视频预测的模仿学习方法。这提升了模仿学习中的假设,即演示应该包括在相同环境配置中的观察,并实现了各种有趣的应用,包括简单地通过观察人类工具使用的视频来学习涉及工具使用的机器人技能。我们的实验结果表明,我们的方法在学习广泛的现实世界中的机器人任务建模后,从视频的人类演示,包括扫地,舀杏仁,推物体以及一些任务的模拟。
2018-06-18 cs.AI cs.CV cs.LG
PACT: Posture-Aligned Co-Design Technique for Hand Configuration and Retargeting in Multi-Finger Imitation Learning
Waseda University(早稻田大学)
PACT是一种联合优化机器人手机械参数与姿态重定向器的技术,其制造的PACT手在姿态复现精度、负载能力、抓握成功率等指标上优于LEAP Hand基线,基于其演示训练的模仿学习策略在罐头抓取任务中表现良好。
2026-10-14 cs.RO
Keypoint Action Tokens Enable In-Context Imitation Learning in Robotics
Imperial College London(帝国理工学院)
本文提出关键点动作令牌(KAT)框架,将视觉观测和动作轨迹令牌化后输入文本预训练Transformer(GPT-4 Turbo),无需额外训练即可实现少样本上下文模仿学习,在低数据真实任务中性能达到或超越扩散策略。
2024-10-17 cs.LG cs.NE cs.RO
Human-to-Robot Imitation in the Wild
Carnegie Mellon University(卡内基梅隆大学)
我们通过观察野外的人类来探讨学习的问题。虽然模仿和强化学习中的传统方法在现实世界中的学习中很有前途,但它们要么是样本效率低下,要么局限于实验室环境。与此同时,在处理被动的、非结构化的人类数据方面取得了很多成功。我们建议通过一个有效的一次性机器人学习算法来解决这个问题,该算法以第三人称视角为中心。我们称这种方法为WHIRL:在野外模仿人类的机器人学习。WHIRL提取了一个优先于人类演示者的意图,使用它来初始化我们的代理的策略。我们介绍了一个有效的现实世界的策略学习计划,提高使用的互动。我们的主要贡献是一个简单的基于采样的策略优化方法,一个新的目标函数对齐人类和机器人的视频,以及探索方法,以提高样本效率。我们展示了在现实世界中的一次性泛化和成功,包括野外20种不同的操作任务。视频和谈话https://human2robot.github.io
2022-07-19 cs.AI cs.CV cs.LG
Naturalistic Robot Arm Trajectory Generation via Representation Learning
Imperial College London(帝国理工学院)
本文提出一种基于自回归时空图神经网络的自监督模仿学习方法,利用可穿戴IMU传感器捕获的人类手臂运动数据,为UR5e机械臂生成自然且实用的辅助饮水运动轨迹。
2023-09-14 cs.LG cs.RO
Feedback in Imitation Learning: The Three Regimes of Covariate Shift
Princeton(普林斯顿大学);Aurora Innovation(奥罗拉创新公司);Carnegie Mellon(卡内基梅隆大学)
模仿学习的实践者经常注意到,对先前行为的条件化策略导致学习者在原地的“坚持”错误和表现之间的巨大差异。互动的方法可以证明解决这个分歧,但需要反复查询的演示。最近的工作确定了这种分歧是源于一个“因果混淆”在预测当前的行动,并寻求消融因果方面的当前状态使用工具的因果推理。在这项工作中,我们认为,这种分歧只是协变量偏移的另一种表现形式,加剧了决策和输入功能之间的反馈设置。学习者通常依赖于对决策具有强预测性的特征,但这些特征受到强协变量偏移的影响。我们的工作证明了广泛的一类问题,这种转变可以减轻,理论上和实践中,利用模拟器,但没有任何进一步的查询专家演示。我们分析了现有的基准用于测试模仿学习的方法,并发现这些基准是可实现的和简单的,因此不足以捕捉更难的制度错误复合在现实世界中的决策问题。我们发现,在一个令人惊讶的对比与以前的文献,但与我们的理论相一致,天真的行为克隆提供了极好的结果。我们详细介绍了需要新的标准化基准,捕捉机器人问题中看到的现象。
2021-02-11 cs.LG cs.RO stat.ML
Spacetime Optimal-Transport Attention for Visuo-Haptic Imitation Learning of Contact-Rich Manipulation
Robotics Research Centre, School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore(机器人研究中心,机械与航空航天工程学院,南洋理工大学,新加坡);Wings Robotics(Wings机器人)
本文提出了一种三模态融合框架Spacetime Optimal-Transport Attention (SO-TA),通过熵正则化的最优传输对力-姿态衍生的子查询和视觉块进行对齐,以解决富接触操作中多模态信息融合的问题,并在真实机器人任务中实现了高成功率。
2026-05-19 cs.RO
One-Shot Hierarchical Imitation Learning of Compound Visuomotor Tasks
UC Berkeley(加州大学伯克利分校)
我们考虑的问题,学习多阶段的视觉为基础的任务在一个真正的机器人从一个单一的视频的人执行的任务,同时利用演示数据的子任务与其他对象。这一问题提出了若干重大挑战。没有遥操作的视频演示很容易为人类提供,但不提供任何直接的监督。从原始像素学习策略可以实现完全的通用性,但需要学习具有许多参数的大型函数逼近器。最后,复合任务可能需要不切实际的演示数据量,当被视为一个整体的技能。为了解决这些挑战,我们提出了一种方法,学习如何学习原始的行为,从视频演示和如何动态地组成这些行为来执行多阶段的任务,通过“看”一个人的演示。我们的研究结果模拟Sawyer机器人和真正的PR2机器人说明了我们的方法学习各种订单履行和厨房服务任务与新的对象和原始像素输入。
2018-10-25 cs.AI cs.CV cs.LG
Rational Inverse Reasoning: Few-Shot Imitation by Inferring Intent through Planning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
研究人类能从少量示范学习新操作任务,而现代机器人模仿学习需大量示范且适应性差的差距。提出理性逆推理,将少样本模仿视为对潜在解释程序的推理,通过视觉语言模型和分层规划器迭代优化候选集,在少样本设置中表现优于基线。
2026-07-07 cs.AI cs.RO
Learning Multi-Stage Tasks with One Demonstration via Self-Replay
Imperial College London(帝国理工学院)
在这项工作中,我们介绍了一种新的方法,从一个单一的人类演示学习日常的多阶段任务,而不需要任何先验的对象知识。受最近的粗到精模仿学习方法的启发,我们将模仿学习建模为一个学习对象到达阶段,然后是演示者动作的开环重放。我们在此基础上构建了多阶段任务,在人类演示之后,机器人可以自动收集整个多阶段任务的图像数据,通过到达序列中的下一个对象,然后重播演示,然后在任务的所有阶段循环重复。我们评估与现实世界的一组日常的多阶段的任务,我们表明,我们的方法可以解决从一个单一的演示实验。视频和补充材料可以在https://www.robot-learning.uk/self-replay上找到。
2021-11-14 cs.LG cs.RO
Human-in-the-Loop Imitation Learning using Remote Teleoperation
Stanford Vision & Learning Lab(斯坦福视觉与学习实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习是一种很有前途的范例,学习复杂的机器人操作技能,从人类的示范行为再现。然而,操作任务通常包含瓶颈区域,需要一系列精确的动作才能取得有意义的进展,例如机器人将豆荚插入咖啡机中制作咖啡。训练有素的政策可能会在这些地区失败,因为行动中的微小偏差可能导致政策进入示威活动未涵盖的国家。基于干预的策略学习是一种可以解决这个问题的替代方案-它允许人类操作员监控经过训练的策略,并在遇到失败时接管控制权。在本文中,我们建立了一个数据汇集系统量身定制的6自由度的操作设置,使远程操作人员能够监控和干预训练的政策。我们开发了一个简单而有效的算法,训练的政策迭代收集的新数据的系统,鼓励政策学习如何通过干预穿越瓶颈。我们证明,在我们基于干预的系统和算法收集的数据上训练的代理优于在非干预性演示者收集的相同数量的样本上训练的代理,并进一步表明,我们的方法优于多个最先进的基线,用于从具有挑战性的机器人线程任务和咖啡制作任务的人类干预中学习。更多结果和视频请访问https://sites.google.com/stanford.edu/iwr。
2020-12-12 cs.AI cs.LG cs.RO
From Reach to Insert: Tactile-Augmented Precision Assembly under Sub-Millimeter Tolerances
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文针对亚毫米公差下精密插入装配难题,提出结合IL与RL的触觉增强两阶段方法,引入触觉分组采样与触觉评判器,在多间隙实验中提升插入成功率并降低接触力,验证了方法的有效性与安全性。
2026-09-24 cs.RO
Transformers for One-Shot Visual Imitation
Carnegie Mellon University(卡内基梅隆大学)
人类能够无缝地在视觉上模仿他人,通过推断他们的意图并利用过去的经验来实现相同的最终目标。换句话说,我们可以从原始视频中解析复杂的语义知识,并有效地将其转化为具体的运动控制。有没有可能让机器人拥有同样的能力?机器人模仿学习的先前研究已经创建了可以从专家人类操作员获得不同技能的代理。然而,将这些技术扩展到在测试期间使用单个正面示例仍然是一个开放的挑战。除了控制之外,困难还来自演示者和机器人领域之间的不匹配。例如,对象可以被放置在不同的位置(例如,厨房布局在每个房子中是不同的)。此外,演示可能来自具有不同形态和物理外观的代理(例如人类),因此一对一的动作对应不可用。本文探讨的技术,使机器人部分弥合这些领域的差距,利用他们过去的经验。一个神经网络被训练来模仿来自另一个代理的给定上下文视频的地面真实机器人动作,并且必须在测试时间期间用新视频提示时推广到看不见的任务实例。我们假设,我们的政策表示必须是上下文驱动和动态感知,以执行这些任务。使用Transformers注意力机制和自监督逆动力学损失将这些假设烘焙到神经网络中。最后,我们通过实验确定,我们的方法完成了$\sim 2$ x的改进,在一套一次性操作任务的任务成功率超过先前的基线。
2020-11-11 cs.CV cs.LG cs.RO
Learning to Discern: Imitating Heterogeneous Human Demonstrations with Preference and Representation Learning
Georgia Institute of Technology(佐治亚理工学院)
本文提出离线模仿学习框架L2D,通过潜在表示学习和偏好学习训练质量评估器,以辨别并利用质量和风格各异的演示,从而提升策略在仿真和实体机器人任务中的表现。
2023-10-22 cs.AI cs.RO
VICAR: Video Imitation with Contact-Aware Retargeting for Humanoid Interactive Skills
University of California, Berkeley(加州大学伯克利分校)
该研究提出VICAR框架,从第三人称人类视频学习人形机器人交互技能,通过接触感知重定向保留关键运动信息,经10类技能验证后成功部署到硬件,为机器人模仿学习提供新方案。
2026-10-12 cs.RO
Learning a Thousand Tasks in a Day
The Robot Learning Lab at Imperial College London(帝国理工学院伦敦校区机器人学习实验室)
针对机器人模仿学习单任务演示需求高、效率低的问题,本文提出结合轨迹分阶段分解与检索机制的MT3方法,实现仅用不到24小时人类演示教会机器人千项日常操控任务,数据效率较主流方法提升一个数量级。
2025-11-13 cs.RO
NeurRAFT: Robot Motion Planning via Anchor-Level Flow Matching with Clearance-Aware Preference Tuning
Texas A&M University(德克萨斯农工大学)
NeurRAFT是基于锚点级流匹配与避障距离感知偏好调优的生成式机器人运动规划框架,可显著提升杂乱环境下的无碰撞规划性能,且能零样本迁移至Franka机器人。
2026-08-26 cs.RO
One-Shot High-Fidelity Imitation: Training Large-Scale Deep Nets with RL
DeepMind(深度思维)
人类是高保真模仿的专家--密切模仿演示,通常是一次尝试。人类使用这种能力来快速解决任务实例,并引导学习新任务。在自主智能体中实现这些能力是一个开放的问题。在本文中,我们引入了一种非策略RL算法(MetaMimic)来缩小这一差距。MetaMimic可以学习(i)高保真一次性模仿各种新技能的策略,以及(ii)使代理能够比演示者更有效地解决任务的策略。MetaMimic依赖于将所有经验存储在内存中并重放这些经验的原理,通过离线策略RL来学习大量深度神经网络策略。据我们所知,本文介绍了现有最大的深度RL神经网络,并表明需要更大的归一化网络来实现具有挑战性的操作任务的一次性高保真模拟。研究结果还表明,这两种类型的政策可以从视觉中学习,尽管任务奖励稀疏,并没有获得示范行动。
2018-10-11 cs.AI cs.CV cs.LG
Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of Demonstrations for Social Navigation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);Google(谷歌)
社会导航是自主智能体(如机器人)在其他智能体(如人类)存在的情况下以“社会顺应”方式导航的能力。随着在人类居住的环境中自主导航的移动机器人的出现(例如,家庭和餐馆中的家庭服务机器人以及公共人行道上的食品递送机器人),在这些机器人上结合社会兼容的导航行为对于确保安全和舒适的人类机器人共存变得至关重要。为了应对这一挑战,模仿学习是一个很有前途的框架,因为它更容易让人类展示社会导航的任务,而不是制定奖励函数,准确地捕捉社会导航的复杂多目标设置。然而,模仿学习和逆强化学习在移动机器人社交导航中的应用目前受到缺乏大规模数据集的阻碍,这些数据集可以捕获野外社交兼容的机器人导航演示。为了填补这一空白,我们引入了社交兼容导航数据集(SCAND),这是一个大规模的社交兼容导航演示的第一人称视图数据集。我们的数据集包含8.7小时,138个轨迹,25英里的社会兼容性,人类遥控驾驶演示,包括多模态数据流,包括3D激光雷达,操纵杆命令,里程计,视觉和惯性信息,由四个不同的人类演示者在室内和室外环境中收集两个形态不同的移动机器人Boston Dynamics Spot和Clearpath Jackal。我们还通过真实世界的机器人实验进行了初步的分析和验证,并表明在SCAND上通过模仿学习学习的导航策略会产生社会顺应行为
2022-06-08 cs.CV cs.LG cs.RO
Offline Learning from Demonstrations and Unlabeled Experience
DeepMind;Google Brain(谷歌大脑)
行为克隆(BC)对于机器人学习通常是实用的,因为它允许通过专家演示的监督学习在没有奖励的情况下离线训练策略。然而,BC并没有有效地利用我们将称为未标记体验的东西:没有奖励注释的混合和未知质量的数据。这种未标记的数据可以由各种来源生成,例如人类远程操作,脚本策略和同一机器人上的其他代理。为了实现数据驱动的离线机器人学习,我们引入了离线强化模仿学习(ORIL)。ORIL首先通过对比来自演示者和未标记轨迹的观察来学习奖励函数,然后用学习到的奖励来注释所有数据,最后通过离线强化学习来训练智能体。在一组不同的连续控制和模拟机器人操作任务,我们表明,ORIL始终优于可比的BC代理有效地利用未标记的经验。
2020-11-27 cs.AI cs.LG cs.RO
Diffusion Policy for Coordinated Control of a Nonholonomic Mobile Base and Dual Arms in Door Opening and Passing
Manning College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);alpha-z
本文提出基于扩散的视觉-运动控制策略,实现非holonomic移动基底与双臂的协调控制,以完成开门和通过任务,展示了在复杂约束下的高成功率和鲁棒性。
2026-05-14 cs.RO
Graph-Structured Visual Imitation
Carnegie Mellon University(卡内基梅隆大学)
我们把视觉模仿看作是一个视觉对应问题。我们的机器人代理奖励时,它的行动导致在其工作空间和教师的演示中检测到相应的视觉实体的相对空间配置更好的匹配。我们基于计算机视觉的最新进展,例如人类手指关键点检测器,使用合成增强训练的对象检测器,以及由视点变化监督的点检测器,并在没有人类注释或机器人交互的情况下为每个演示学习多个视觉实体检测器。我们的经验表明,提出的因素化的视觉表示的实体和他们的空间安排驱动成功模仿的各种操作技能在几分钟内,使用一个单一的演示,没有任何环境仪器。它对背景杂波具有鲁棒性,并且可以有效地概括演示者和模仿者之间的环境变化,大大优于以前作品的非结构化非因子分解全帧CNN编码。
2020-03-05 cs.AI cs.CV cs.RO
KineSoft: Learning Proprioceptive Manipulation Policies with Soft Robot Hands
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
KineSoft 利用软体手内部应变传感和形状条件扩散策略,实现直接动觉示教与本体感知模仿学习,在形状估计、轨迹跟踪和任务成功率上优于基线方法。
2025-05-08 cs.RO
Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration
College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学)
本文提出一种基于手套的触觉-运动学感知-预测框架,通过模仿学习将人类抓取技能迁移至机器人手,利用图结构和时空图网络实现泛化抓取。
2025-09-10 cs.AI cs.RO
One-Shot Imitation under Mismatched Execution
Cornell University(康奈尔大学)
针对人机演示执行不匹配问题,提出RHyME框架,利用序列级最优传输自动配对轨迹并合成语义等价视频,无需配对数据,任务成功率提升超50%。
2025-03-28 cs.AI cs.LG cs.RO
Haptic-ACT: Bridging Human Intuition with Compliant Robotic Manipulation via Immersive VR
Robot Intelligence Lab, Imperial College London(帝国理工学院机器人智能实验室);Extend Robotics(Extend Robotics公司)
提出基于沉浸式VR的遥操作平台和Haptic-ACT模仿学习框架,通过触觉反馈降低指尖力,实现比原始ACT更柔顺的机器人精细操作。
2025-03-01 cs.RO
Perceptive Behavior Foundation Model: Adapting Human Motion Priors to Robot-Centric Terrain
Mondo Robotics;The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Artificial General Intelligence Institute, University of Science and Technology of China(中国科学技术大学通用人工智能研究院)
提出感知行为基础模型(Perceptive BFM),通过地形一致参考合成(TCRS)将人体运动先验适应到机器人局部地形,实现地形感知的人形机器人控制。
2026-10-19 cs.RO
The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction
The University of Hong Kong(香港大学);TranscEngram;Fudan University(复旦大学);Zhejiang University(浙江大学)
该研究推出四级基准《模仿者游戏》及配套数据集、评估平台,发现功能替代是机器人意图层面模仿的关键障碍,微调IG-10K预训练模型可显著提升性能。
2026-08-25 cs.AI cs.RO