Demonstration-Enhanced Adaptable Multi-Objective Robot Navigation
Humanoid Robots Lab, University of Bonn, Germany(波恩大学人形机器人实验室)
针对用户偏好随情境变化的问题,提出融合演示学习与MORL的框架,使机器人无需重训即可动态调节导航策略,并在双机器人仿真到真实实验中验证其适应性与导航性能。
2025-10-18 cs.RO
Missing Bridges: Composition-Aware Active Imitation Learning
Purdue University(普渡大学)
提出AALT方法,通过构建潜在枢纽拓扑并请求最大化起始-目标连通性增益的桥梁演示,在72任务模拟中仅用3个演示即达100%成功率。
2026-09-17 cs.AI cs.RO
Interactive and Incremental Learning of Spatial Object Relations from Human Demonstrations
本文提出一种在交互中从少量人类示范增量学习空间关系几何模型的方法,利用圆柱概率分布和增量最大似然估计实现样本高效更新,使机器人能根据口头指令操纵物体满足空间关系。
2023-05-16 cs.RO
SDS -- See it, Do it, Sorted: Quadruped Skill Synthesis from Single Video Demonstration
Robot Perception Lab, University College London, United Kingdom(伦敦大学学院机器人感知实验室)
针对机器人从单视频学技能无需标签或奖励工程的问题,提出SDS自动化流程,用GPT-4o的时空网格编码等技术生成奖励函数训练PPO策略并闭环优化,四足机器人步态匹配等性能优且泛化性强。
2025-08-20 cs.RO
See, Learn, Assist: Safe and Self-Paced Robotic Rehabilitation via Video-Based Learning from Demonstration
本文提出一种基于视频的远程机器人康复教学框架,通过动态运动基元编码示范为6自由度身体中心轨迹,结合空间合规虚拟隧道和努力基 temporal dilation 机制,实现安全自适应康复训练。
2026-07-20 cs.RO
HRT1: One-Shot Human-to-Robot Trajectory Transfer for Mobile Manipulation
University of Texas at Dallas(德克萨斯大学达拉斯分校);XPeng(小鹏)
提出一种四模块人机轨迹迁移系统,使机器人通过一次演示视频学习并迁移移动操作任务,在不同环境中重复执行,实验验证了其有效性。
2025-10-23 cs.RO
Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation
Georgia Institute of Technology(佐治亚理工学院);Autodesk Research(欧特克研究院);NVIDIA(英伟达)
提出See2Act模仿学习方法,通过耦合动作去噪与视角优化,在测试时基于主动推断的视角序列预测动作,解决遮挡下的部分可观测问题,在Ravens和RLBench任务上性能提升达34%。
2026-10-14 cs.RO
One Demonstration Is Enough for Real-World Robotic Reinforcement Learning
National Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institution of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能国家重点实验室);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);PKU-PsiBot Joint Lab(北大-鹏城实验室联合实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
提出AutoSERL框架,仅需一个演示即可自动化真实世界机器人强化学习,通过滑动窗口干预、安全恢复和自动终止机制,在六个接触密集型任务上超越基线方法。
2026-09-01 cs.RO
Learning Modular Robot Locomotion from Demonstrations
Carnegie Mellon University(卡内基梅隆大学)
模块化机器人可以重新配置,从一小部分组件中创建各种设计。但是,仅仅构建机器人的硬件是不够的-每个机器人都需要一个控制器。可以单独为某些设计创建控制器,但为其他设计开发策略可能非常耗时。这项工作提出了一种方法,使用一组设计的演示,以加速其他设计的策略学习。我们利用一个学习框架,其中图神经网络由模块化组件组成,每个组件对应于一种类型的模块(例如,腿、轮或身体),并且这些组件可以重新组合以一次从多个设计中学习。在本文中,我们开发了一个组合的强化和模仿学习算法。我们的方法是新颖的,因为该政策是优化的,既最大限度地提高一个设计的奖励,同时模仿演示从不同的设计,在一个目标函数。我们表明,当模块化的政策与此组合的目标进行优化,从一组设计的演示会影响政策的行为在不同的设计,减少所需的训练迭代次数。
2022-10-31 cs.LG cs.RO
DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting
KU Leuven(库勒万大学);Toyota Motor Europe(丰田欧洲公司);Toyota Research Institute(丰田研究院)
DemoBridge工具包可将单视图人类手部演示转化为机器人手臂轨迹,核心是碰撞感知规划器,能综合考虑多种因素优化轨迹,经物理模拟器验证,还可用于策略学习,在实际任务和基准测试中评估了其性能。
2026-07-13 cs.RO
The Surprising Effectiveness of Representation Learning for Visual Imitation
New York University(纽约大学)
虽然视觉模仿学习提供了从视觉演示中学习的最有效方法之一,但从它们中概括需要数百个不同的演示,特定于任务的先验,或大型的难以训练的参数模型。出现这种复杂性的一个原因是因为标准的视觉模仿框架试图同时解决两个耦合的问题:从不同的视觉数据中学习简洁但良好的表示,同时学习将演示的动作与这些表示相关联。这种联合学习导致这两个问题之间的相互依赖性,这往往导致需要大量的学习示范。为了解决这一挑战,我们建议将表示学习与视觉模仿的行为学习解耦。首先,我们使用标准的监督和自监督学习方法从离线数据中学习视觉表示编码器。一旦表示被训练,我们使用非参数局部加权回归来预测动作。我们的实验表明,这种简单的解耦提高了离线演示数据集和真实机器人开门视觉模仿模型的性能相比,以前的工作在视觉模仿。我们生成的所有数据、代码和机器人视频都可在https://jyopari.github.io/VINN/上公开获取。
2021-12-06 cs.AI cs.CV cs.LG
Residual Compliant Policy: Learning Compliant Policies from Few Demonstrations
University of Pennsylvania(宾夕法尼亚大学);Technical University of Darmstadt(达姆施塔特工业大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);German Research Center for AI (DFKI)(德国人工智能研究中心);Robotics Institute Germany (RIG)(德国机器人研究所)
该研究提出残差柔顺策略框架,结合数字孪生、拉普拉斯编辑、仿真轨迹优化与残差强化学习,从少量演示中学习柔顺策略,在Franka FR3的40个分布外操纵试验中成功率达100%,优于基线方法。
2026-10-14 cs.RO
Dexterous Robot Manipulation from Human Demonstrations via Contact-Anchored Retargeting and Residual Policy Learning
DexGEM Lab(DexGEM实验室);Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学);DexRobot Co. Ltd.(DexRobot有限公司)
针对人类示教缺乏接触力导致灵巧操作学习困难的问题,提出物理细化、接触锚定重定向和残差策略学习三阶段流水线,无需真实机器人数据即可将人类运动捕捉转化为机器人策略,显著提升成功率并跨手迁移。
2026-11-04 cs.RO
Toward Learning Context-Dependent Tasks from Demonstration for Tendon-Driven Surgical Robots
University of Utah(犹他大学);NVIDIA(英伟达)
肌腱驱动机器人是连续体机器人的一种,通过接近难以到达的解剖目标,有可能减少手术的侵入性。在未来,这些机器人的手术任务自动化可能有助于减少外科医生面对快速增长的人口的压力。然而,直接编码这些机器人的手术任务及其相关的上下文是不可行的。在这项工作中,我们采取措施,能够学习成功地执行上下文相关的手术任务,直接从一组专家演示学习的系统。我们提出了三个模型训练的示范条件下的矢量编码的演示环境。然后,我们使用这些模型来规划和执行肌腱驱动机器人的运动,类似于训练集中没有看到的新环境的演示。我们证明了我们的方法在三个手术启发的任务的有效性。
2021-10-15 cs.RO
Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies
Aarav Bedi
本研究构建受控测试平台,注入两类示范缺陷(细微扰动和结构错误),审计七种策展指标,发现仅动作指标无法检测结构错误,且部分指标评分倒置,而状态轨迹指标能部分检测但下游性能恢复有限。
2026-06-04 cs.LG cs.RO
Learning Latent Actions without Human Demonstrations
Virginia Tech(弗吉尼亚理工大学)
我们可以通过将用户的低维操纵杆输入映射到高维复杂动作,使残疾用户更容易控制辅助机器人。以前的作品学习这些映射从人类示威:一个非残疾人要么遥控或动觉引导机器人手臂通过各种运动,机器人学会再现演示的行为。但是这个框架通常是不切实际的--被禁用的用户并不总是能够访问外部演示!在这里,我们学习不同的远程操作映射,而无需人工演示或预定义的任务。在我们的无监督方法下,机器人首先优化对象状态熵:即,机器人自主学习推、拉、打开、关闭或以其他方式改变附近物体的状态。然后,我们将这些不同的、面向对象的行为嵌入到一个潜在的空间中进行实时控制:现在,按下操纵杆会使机器人执行灵巧的动作,比如推动或打开。我们的实验表明,-最好的情况下,人类操作员-我们的无监督的方法实际上优于从人类演示学习的遥操作映射,特别是如果这些演示是嘈杂的或不完善的。但我们的用户研究结果并不那么明确:尽管我们的方法使参与者能够更快地完成任务,并且方向变化更少,但当无人监督的机器人学习意外行为时,用户会感到困惑。查看用户研究视频:https://youtu.be/BkqHQjsUKDg
2022-02-22 cs.RO
Data Scaling Laws in Imitation Learning for Robotic Manipulation
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
通过收集超过4万次演示和1.5万次真实机器人 rollout,发现策略泛化性能与环境和物体数量呈幂律关系,环境和物体多样性比演示数量更重要,据此提出高效数据收集策略。
2026-06-29 cs.RO
One ACT Play: Single Demonstration Behavior Cloning with Action Chunking Transformers
Carnegie Mellon University(卡内基梅隆大学)
本文提出仅用一次人类演示即可完成机器人行为克隆的方法,通过线性变换扩充演示轨迹,并改进动作分块Transformer的时间集成策略,在三个积木操作任务上取得显著性能提升。
2023-09-18 cs.AI cs.LG cs.RO
Learning Generalizable Language-Conditioned Cloth Manipulation from Long Demonstrations
Center for Artificial Intelligence and Robotics, Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院人工智能与机器人中心);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对多步布料操作难以泛化到未见任务的问题,提出一种基于分解策略的新流程,利用LLM从长演示中学习并组合基本技能,在已见和未见任务上均优于基线方法。
2025-03-06 cs.RO
LLM Trainer: Automated Robotic Data Generation via Demonstration Augmentation using LLMs
Carnegie Mellon University(卡内基梅隆大学)
提出LLM Trainer,一种利用大语言模型的世界知识将少量人类演示自动扩展为大规模机器人数据集的管道,通过离线标注和在线关键姿势重定向生成新轨迹,并采用汤普森采样优化标注。
2026-05-31 cs.RO
Improving Robot-Centric Learning from Demonstration via Personalized Embeddings
示教学习(LfD)技术寻求使新手用户能够在现实世界中教机器人新的任务。然而,先前的工作表明,以机器人为中心的LfD方法,如数据集聚合(Dagger),在人类教师中表现不佳。Dagger需要一个人类演示者提供纠正反馈给学习者,无论是实时的,这可能会导致性能下降,由于次优的人类标签,或在事后的方式是时间密集型的,往往是不可行的。为了解决这个问题,我们提出了互信息驱动的Meta-从演示示教学习(MIND MELD),其元学习从低质量的人类标签到预测的地面真实标签的映射,从而改进用于基于Dagger的训练的先前LfD方法的性能。改进次优反馈的方法的关键是通过变分推理实现互信息最大化。我们的方法通过变分推理学习一个有意义的,个性化的嵌入,它通知从人类提供的标签到预测的地面真实标签的映射。我们在合成域和人类受试者实验中展示了我们的框架,说明我们的方法在人类演示者提供的纠正标签上提高了63%。
2021-10-07 cs.RO
Screw Geometry Meets Bandits: Incremental Acquisition of Demonstrations to Generate Manipulation Plans
Stony Brook University(石溪大学)
本文结合螺旋几何表示与多臂赌博机 PAC 学习,提出机器人主动增量获取动觉演示、评估并补足薄弱区域直至高置信度生成操作计划的方法。
2026-10-06 cs.AI cs.RO
Seeing All the Angles: Learning Multiview Manipulation Policies for Contact-Rich Tasks from Demonstrations
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);Vector Institute(矢量研究所)
作为传统的手工制作的机器人操作框架的替代方案,学习的可视化策略已经取得了相当大的成功。令人惊讶的是,这些方法的扩展到多视图域是相对未开发的。一个成功的多视图策略可以部署在移动操作平台上,允许机器人完成任务,而不管它的场景视图。在这项工作中,我们证明了一个多视角的政策,可以通过模仿学习从各种角度收集数据。我们通过学习完成几个具有挑战性的多阶段和接触丰富的任务,从许多角度来看,无论是在模拟环境中,并在一个真正的移动操作平台上,说明了该方法的普遍适用性。此外,我们分析了我们的政策,以确定从多视图数据学习的好处相比,从一个固定的角度收集的数据学习。我们表明,从多视图数据的学习结果很少,如果有的话,惩罚性能的固定视图任务相比,学习与等量的固定视图数据。最后,我们研究了多视图和固定视图策略的视觉功能。我们的结果表明,多视图策略隐含地学习识别空间相关特征。
2022-07-08 cs.LG cs.RO
Learning Navigation from Multimodal Demonstrations with Geometric Candidate Modes
The Ohio State University(俄亥俄州立大学)
该研究针对离线导航演示多模态导致行为克隆路径不安全的问题,提出分层神经网络策略,从局部几何计算候选模式,仿真测试成功率超95%且可迁移至双足机器人。
2026-10-15 cs.RO
Learning from Suboptimal Demonstration via Self-Supervised Reward Regression
Georgia Institute of Technology(佐治亚理工学院)
示教学习(LfD)旨在通过提供人类演示,使非机器人学家的最终用户能够教机器人执行任务,从而使机器人技术民主化。然而,现代LfD技术,例如逆强化学习(IRL),假设用户提供至少随机最优的演示。这种假设在大多数现实世界的场景中都不成立。最近尝试从次优示范杠杆成对排名和以下的Luce-Shepard规则学习。然而,我们发现这些方法做出了不正确的假设,从而遭受脆弱,性能下降。我们克服了这些局限性,开发了一种新的方法,引导关闭次优的演示,合成最优参数化的数据,训练一个理想化的奖励函数。我们经验验证,我们学习了一个理想化的奖励函数,与地面真实奖励的相关性为~0.95,而之前的工作为~0.75。然后,我们可以训练策略,实现比次优演示提高200%,比先前工作提高90%。我们提出了一个物理演示教一个机器人在乒乓球上旋球罢工,实现32%更快的回报和40%以上的上旋比用户演示。
2020-11-23 cs.LG cs.RO
ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations
Thomas Lord Department of Computer Science, University of Southern California(南加州大学计算机科学系);Amazon Robotics(亚马逊机器人技术);Kim Jaechul School of Artificial Intelligence, KAIST(韩国科学技术院人工智能学院)
ReWiND 框架利用语言指令和小型演示数据集学习语言条件奖励函数并预训练策略,在无需新演示的情况下实现样本高效的任务适应,显著优于基线。
2025-09-19 cs.RO
See and Switch: Vision-Based Branching for Interactive Robot-Skill Programming
See & Switch通过视觉输入实现机器人技能编程的条件分支,通过决策状态实现任务分支选择,提升机器人在现实环境中的适应能力。
2026-06-29 cs.CV cs.RO
Active Robot Curriculum Learning from Online Human Demonstrations
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
提出一种基于课程学习的主动 LfD 方法,通过优化在线人类演示的查询序列引导难度递增,显著提升了机器人的学习性能与样本效率,并改善了人类教学表现、适应性和可迁移性。
2025-03-04 cs.RO
Training People to Reward Robots
Centre for Robotics Research, Department of Engineering, King’s College London, UK(机器人研究中心,工程系,伦敦国王学院,英国)
本文研究用机器教学引导新手教师,在仅8次演示下提升RLfD教学与泛化能力,使机器人训练技能性能提升89%、未见技能提升70%。
2025-05-15 cs.RO
ET-SEED: Efficient Trajectory-Level SE(3) Equivariant Diffusion Policy
Peking University(北京大学);National University of Singapore(新加坡国立大学)
为减少机器人模仿学习对大量演示的依赖,本文提出高效的轨迹级 SE(3) 等变扩散模型 ET-SEED,通过扩展等变马尔可夫核简化扩散约束,显著提升端到端训练效率,并在少量演示下实现高数据效率与强泛化能力。
2025-03-02 cs.CV cs.LG cs.RO
Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction
UC Berkeley(加州大学伯克利分校)
本研究提出RSRD方法,通过4D可微部件模型(4D-DPM)从单目RGB视频恢复3D部件运动,使双臂机器人能模仿人类演示的铰接物体操作,在90次试验中端到端成功率达60%。
2024-09-26 cs.CV cs.RO
Self-Augmented Robot Trajectory: Efficient Imitation Learning via Safe Self-augmentation with Demonstrator-annotated Precision
AIST(日本产业技术综合研究所)
SART通过安全自增强技术,从单次人类演示中高效学习机器人轨迹,提升数据收集效率并减少碰撞风险。
2026-02-11 cs.AI cs.RO
Decompose and Recompose: Reasoning New Skills from Existing Abilities for Cross-Task Robotic Manipulation
School of Artificial Intelligence, College of Intelligence and Computing, Tianjin University, China(人工智能学院,智能与计算学院,天津大学,中国);School of Computer Science and Information Engineering, Hefei University of Technology, China(计算机科学与信息工程学院,合肥工业大学,中国)
本文提出Decompose and Recompose框架,通过分解现有任务演示为可解释的技能-动作对,实现跨任务机械操作的零样本泛化。
2026-05-02 cs.CV cs.RO
Efficient and Interpretable Robot Manipulation with Graph Neural Networks
Facebook AI Research(Facebook 人工智能研究院)
操作任务,如装载洗碗机,可以被视为一系列空间约束和不同对象之间的关系。我们的目标是发现这些规则,从演示构成操纵作为一个分类问题的图,其节点代表任务相关的实体,如对象和目标,并提出了一个图神经网络(GNN)的政策架构,解决这个问题的演示。在我们的实验中,使用模仿学习(IL)在20个专家演示中训练的单个GNN策略可以解决块堆叠,重排和洗碗机装载任务;一旦策略学习了空间结构,它就可以推广到更多的对象,目标配置,并从模拟到现实世界。这些实验表明,图形IL可以解决复杂的长期操作问题,而不需要详细的任务描述。视频可以在https://youtu.be/POxaTDAj7aY上找到。
2022-01-12 cs.LG cs.RO
Any-point Trajectory Modeling for Policy Learning
IIIS, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);CUHK(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
针对机器人演示数据收集成本高的问题,提出ATM框架,通过预训练轨迹模型预测视频帧任意点未来轨迹提供控制引导,仅需少量带动作标签数据即可学习鲁棒视觉运动策略,在130余项任务中平均优于基线80%,还支持跨主体技能迁移。
2024-07-12 cs.CV cs.RO
CRIL: Continual Robot Imitation Learning via Generative and Prediction Model
Tsinghua University(清华大学);Beijing Innovation Center for Future Chip(北京未来芯片创新中心)
模仿学习(IL)算法已经显示出机器人从专家演示中学习技能的有希望的结果。然而,他们需要同时提供多任务演示以获得不同的技能,这在现实世界中是困难的。本文研究如何实现机器人的持续模仿学习能力,使机器人能够不断地学习新任务,从而减轻多任务的学习负担,同时加快新任务的学习过程。我们提出了一种新的轨迹生成模型,该模型采用了生成对抗网络和动态感知预测模型,在新的任务学习过程中从所有学习到的任务中生成伪轨迹。我们在模拟和现实操作任务上的实验证明了我们方法的有效性。
2021-07-02 cs.AI cs.RO
DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation
DexRobot Co. Ltd.(德克斯机器人有限公司);University of Michigan(密歇根大学);Shanghai Jiao Tong University(上海交通大学);Chongqing University(重庆大学);East China University of Science and Technology(东华大学)
DexCanvas是一个包含7000小时混合真实-合成数据的大规模灵巧操作数据集,基于Cutkosky分类法覆盖21种操作类型,结合真实到模拟流程和强化学习,实现物理验证的接触力发现,促进机器人操作学习与技能迁移。
2026-11-04 cs.LG cs.RO
Diffusing in Someone Else's Shoes: Robotic Perspective Taking with Diffusion
University of Hamburg(汉堡大学)
针对机器人从第三人称演示学习动作需制作第一人称演示成本高的问题,提出一种新型扩散模型,可实现第三人称到第一人称视角的物体与环境尺寸、旋转转换,让机器人直接从第三人称演示学习,兼顾两种视角的优势。
2024-10-04 cs.AI cs.RO
Learning Online from Corrective Feedback: A Meta-Algorithm for Robotics
University of Washington(华盛顿大学)
在模仿学习(IL)的一个关键挑战是,教师很难提供最佳状态动作演示。例如,在机器人技术中,在机器人操纵器上提供动觉演示需要教师同时控制多个自由度。要求最佳状态行动示范的困难限制了教师可以提供高质量反馈的问题空间。作为国家行动示范的替代方案,教师可以提供纠正性反馈,如他们的偏好或奖励。先前的工作已经创建了旨在从特定类型的嘈杂反馈中学习的算法,但在教师和任务中可能需要不同形式的反馈。相反,我们建议,为了从各种场景中学习,我们需要从各种反馈中学习。为了从各种反馈中学习,我们做出以下见解:教师的成本函数是潜在的,我们可以将反馈流建模为损失函数流。然后我们使用任何在线学习算法来最小化这些损失的总和。有了这个洞察力,我们可以从各种反馈中学习,这些反馈与教师的真实成本函数弱相关。我们统一以前的工作到一个一般的纠正反馈元算法,并表明,无论反馈,我们可以获得相同的遗憾界。我们通过学习在机器人赛车平台上执行家庭导航任务来展示我们的方法。我们的研究结果表明,我们的方法可以从各种噪声反馈中快速学习。
2021-04-02 cs.LG cs.RO
Multimodal Robot Programming by Demonstration: A Preliminary Exploration
Johns Hopkins University(约翰斯·霍普金斯大学)
近年来,与最终用户(如工厂工人)密切合作的工业机器人数量有所增加。协作机器人的使用越来越多,部分原因是终端用户机器人编程方法的可用性,这些方法允许不是机器人程序员的用户教机器人任务动作。演示编程(PbD)是这样一种最终用户编程方法,其使用户能够通过代替演示期望的机器人行为来绕过使用程序设计语言指定机器人运动的复杂性。演示通常通过物理引导机器人完成任务动作所需的动作来提供,这一过程称为动觉教学。动觉教学使用户能够直接演示机器人的配置空间中的任务行为,使其成为一种流行的终端用户机器人编程方法,以其低认知负担而闻名的协作机器人。然而,由于动觉教学限制了程序员的教学动作演示,它无法利用人类在提供物理任务演示时自然使用的其他模式的信息,例如凝视和语音。将多模态信息引入传统的动觉编程工作流程中,通过突出程序的关键方面、减少歧义和提高机器人学习者的情境意识,具有增强机器人学习的潜力,并且可以提供对人类程序员的意图和困难的洞察。在这个扩展的摘要中,我们描述了一个初步的研究多模态动觉演示和未来的方向,使用多模态演示,以提高机器人学习和用户编程经验。
2023-01-17 cs.HC cs.RO
From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation
UC San Diego(加州大学圣地亚哥分校)
我们建议执行模仿学习灵巧操作与多指机器人手从人类示范,并转移到真正的机器人手的政策。我们介绍了一种新颖的单摄像机遥操作系统,只需一台iPad和一台电脑就可以有效地收集3D演示。我们的系统的一个关键贡献是,我们构建了一个定制的机器人手为每个用户在物理模拟器,这是一个类似于相同的运动学结构和形状的操作员的手的机械手。这提供了一个直观的界面,并避免了不稳定的人机手重定向数据汇集,导致大规模和高质量的数据。一旦收集到数据,定制的机器人手轨迹可以转换为不同的指定机器人手(制造的模型),以生成训练演示。通过使用我们的数据进行模仿学习,我们在多个复杂操作任务的基线上显示出很大的改进。重要的是,我们证明了我们学习的策略在转移到真实机器人时更加强大。更多视频可以在https://yzqin.github.io/dex-teleop-imitation上找到。
2023-01-18 cs.CV cs.LG cs.RO
Multiple Interactions Made Easy (MIME): Large Scale Demonstrations Data for Imitation
Carnegie Mellon University(卡内基梅隆大学)
近年来,我们看到了机器人技术中数据驱动方法的出现。然而,大多数现有的努力和数据集要么是在模拟中,要么是孤立地专注于单个任务,如抓取,推动或戳。为了取得进展并捕获操作空间,我们需要收集各种任务的大规模数据集,例如倾倒,打开瓶子,堆叠物体等,但是如何收集这样的数据集呢?在本文中,我们提出了最大的可用机器人演示数据集(MIME),其中包含8260个人类机器人演示超过20个不同的机器人任务(https://sites.google.com/view/mimedaset)。这些任务的范围从简单的推动物体的任务,以堆叠家居物品的困难任务。我们的数据集包括人类演示和机器人演示的动觉轨迹的视频。我们还建议使用该数据集来完成将第三人称视频特征映射到机器人轨迹的任务。此外,我们提出了两种不同的方法,使用这个数据集和评估预测的机器人轨迹对地面实况轨迹。我们希望我们的数据集能激发多个领域的研究,包括视觉模仿、轨迹预测和多任务机器人学习。
2018-10-16 cs.CV cs.LG cs.RO
Quantifying Demonstration Quality for Robot Learning and Generalization
Faculty of Engineering, Monash University(莫纳什大学工程学院);University of British Columbia(不列颠哥伦比亚大学)
本文提出基于任务表现量化机器人从演示中学习的演示质量,通过用户研究验证任务表现与泛化性能显著相关,并发现用户可分为快速适应者与缓慢适应者两组。
2022-03-25 cs.HC cs.RO
Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation
New York University(纽约大学)
优化灵巧操作的行为一直是机器人技术中的一个长期挑战,从基于模型的控制到无模型强化学习的各种方法先前已经在文献中进行了探索。也许学习复杂操作策略的最强大的技术之一是模仿学习。然而,收集和示教学习示范灵巧操作是相当具有挑战性的。多指控制涉及的复杂、高维动作空间通常导致基于学习的方法的低样本效率。在这项工作中,我们提出了“灵巧模仿容易”(DIME)一个新的模仿学习框架灵巧操作。DIME只需要一个RGB摄像头来观察人类操作员并远程操作我们的机器人手。一旦示范收集,DIME采用标准的模仿学习方法,训练灵巧的操作政策。在模拟和真实的机器人基准测试中,我们证明了DIME可用于解决复杂的手操作任务,如“翻转”,“旋转”和“旋转”对象与快板手。我们的框架以及预先收集的演示可在https://nyu-robot-learning.github.io/dime上公开获取。
2022-03-24 cs.AI cs.CV cs.LG
VLM See, Robot Do: Human Demo Video to Robot Action Plan via Vision Language Model
New York University(纽约大学)
本研究提出SeeDo方法,利用视觉语言模型解释人类演示视频,通过关键帧选择、视觉感知和推理生成机器人任务规划,实验验证其优越性并成功部署于仿真和真实机器人。
2025-09-24 cs.AI cs.CV cs.LG
UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation
本文提出UMI-Underwater系统,通过自监督数据收集管道自主获取水下抓取示范,并利用基于深度的 affordance 表示将陆地到水下领域差距桥接,提升水下抓取性能和鲁棒性。
2026-03-27 cs.AI cs.RO
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University(纽约大学)
虽然模仿学习为我们提供了一个有效的工具包来训练机器人,学习技能,是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中,我们提出了快速模仿人类技能(FISH),一种新的模仿学习方法,可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略,FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后,这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中,FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是,FISH被构造为通用的,这允许它在机器人形态(例如xArm,Allegro,Stretch)和相机配置(例如第三人称,手眼)中使用。我们对9个不同任务的实验评估表明,FISH的平均成功率为93%,比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
Using Both Demonstrations and Language Instructions to Efficiently Learn Robotic Tasks
UT Austin(德克萨斯大学奥斯汀分校)
针对单模态任务指定存在歧义的问题,提出DeL-TaCo方法,结合视觉演示与语言嵌入对多任务机器人策略做条件化,既降低施教成本,又提升新场景下的样本效率与泛化性能。
2023-04-28 cs.CL cs.LG cs.RO
Flow-Enabled Generalization to Human Demonstrations in Few-Shot Imitation Learning
The Australian National University(澳大利亚国立大学)
本文提出SFCrP方法,通过场景流预测和流条件策略实现人类演示在少样本模仿学习中的泛化,提升机器人在现实任务中的表现和泛化能力。
2026-02-27 cs.LG cs.RO
Beyond Non-Expert Demonstrations: Outcome-Driven Action Constraint for Offline Reinforcement Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院)
针对离线强化学习中的次优非专家数据问题,提出ODAF方法,通过结果驱动的保守奖励机制减少对行为策略动作分布的依赖,在MuJoCo等基准上有效容忍未见转移并提升轨迹拼接与学习能力。
2025-04-03 cs.LG cs.RO
Touch2Robot: Robot Touch in the Human Demonstration Loop
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学)
提出Touch2Robot框架,在人类演示时可视化目标机器人手的接触,引导RL策略复现物体运动并偏好一致触觉,将行为蒸馏为实时重定向器。在四个真实任务中,将重放完成率从37.9%提升至72.1%,收集时间减少至18.2秒,并提升下游扩散策略性能29.1个百分点。
2026-09-23 cs.AI cs.RO
Learning One-Shot Imitation from Humans without Humans
Imperial College London(帝国理工学院)
人类可以通过观察其他个体执行一次新任务来自然地学习执行该任务,然后以各种配置复制它。赋予机器人这种从第三人称模仿人类的能力是教授新任务的一种非常直接和自然的方式。直到最近,通过元学习,已经有成功的尝试一次性模仿学习;然而,这些方法需要大量的人力资源来收集现实世界中的数据来训练机器人。但是,有没有一种方法可以消除在培训过程中对真实世界人类演示的需求?我们表明,与任务嵌入式控制网络,我们可以推断控制策略,通过嵌入人的示范,可以条件的控制策略,实现一次性的模仿学习。重要的是,我们在训练期间不使用真实的人类手臂来提供演示,而是在以前从未见过的应用中利用域随机化:人类的仿真到现实迁移。在评估我们在模拟和现实世界中推送和放置任务的方法时,我们表明,与在真实世界数据上训练的系统相比,我们能够通过仅利用模拟数据来实现类似的结果。
2019-11-04 cs.AI cs.CV cs.LG
Incorporating Human Domain Knowledge into Large Scale Cost Function Learning
University of Oxford(牛津大学)
最近的进展已经显示出全卷积神经网络(FCN)在纯粹基于来自人类驾驶员的演示数据学习驾驶偏好的背景下对用于运动规划的成本函数进行建模的能力。虽然在逆强化学习(IRL)框架中从演示中进行纯示教学习是一种很有前途的方法,但我们可以从信息灵通的人类先验知识中受益,并将其纳入学习过程。我们的工作通过预训练模型回归到手动成本函数并基于最大熵深度逆强化学习对其进行优化来实现这一点。当注入先验知识作为网络的预训练时,我们实现了更高的鲁棒性,视觉上更明显的障碍边界,以及捕获障碍物实例的能力,这些障碍物避开了纯粹从演示数据中学习的模型。此外,通过利用这些人类先验知识,所得到的模型可以更准确地处理在演示数据中几乎看不到的拐角情况,例如楼梯,斜坡和地下通道。
2016-12-13 cs.AI cs.LG cs.RO
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG;University of Warwick(华威大学)
通过强化学习(RL)掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明,使用稀疏奖励,即只有在任务成功完成时才奖励代理,可以产生更好的策略。然而,在这种情况下,状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习,利用了高质量的人类演示来完成任务,但这些演示可能是昂贵的,耗时的,甚至不可能获得。在本文中,我们提出了一种新颖而有效的方法,不需要人类的示范。我们观察到,从被操纵对象的角度来看,每个机器人操纵任务都可以被视为涉及运动任务,即对象可以学习如何自行达到目标状态。为了利用这一想法,我们引入了一个框架,通过该框架,最初使用现实的物理模拟器获得对象运动策略。然后,该策略用于生成辅助奖励,称为模拟运动演示奖励(SLDR),使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加,并可以实现更高的成功率和更快的学习率相比,替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO