DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
The Hong Kong University of Science and Technology(香港科技大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机学院多媒体信息处理国家重点实验室);Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
DexRoam提出无追踪器采集系统与三阶段对齐方法,利用自我中心全身人体演示提升移动双臂灵巧操作策略学习,将成功率提升至约56-57%。
2026-09-29 cs.RO
Learning Latent Actions without Human Demonstrations
Virginia Tech(弗吉尼亚理工大学)
我们可以通过将用户的低维操纵杆输入映射到高维复杂动作,使残疾用户更容易控制辅助机器人。以前的作品学习这些映射从人类示威:一个非残疾人要么遥控或动觉引导机器人手臂通过各种运动,机器人学会再现演示的行为。但是这个框架通常是不切实际的--被禁用的用户并不总是能够访问外部演示!在这里,我们学习不同的远程操作映射,而无需人工演示或预定义的任务。在我们的无监督方法下,机器人首先优化对象状态熵:即,机器人自主学习推、拉、打开、关闭或以其他方式改变附近物体的状态。然后,我们将这些不同的、面向对象的行为嵌入到一个潜在的空间中进行实时控制:现在,按下操纵杆会使机器人执行灵巧的动作,比如推动或打开。我们的实验表明,-最好的情况下,人类操作员-我们的无监督的方法实际上优于从人类演示学习的遥操作映射,特别是如果这些演示是嘈杂的或不完善的。但我们的用户研究结果并不那么明确:尽管我们的方法使参与者能够更快地完成任务,并且方向变化更少,但当无人监督的机器人学习意外行为时,用户会感到困惑。查看用户研究视频:https://youtu.be/BkqHQjsUKDg
2022-02-22 cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida(中佛罗里达大学)
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法,通过无监督跨具身对齐和人类示范动力学学习,在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
HALOMI: Learning Humanoid Loco-Manipulation with Active Perception from Human Demonstrations
Shanghai Jiao Tong University(上海交通大学);University of Sussex(萨塞克斯大学);East China University of Science and Technology(华东理工大学)
提出HALOMI框架,通过扩展通用操控接口(UMI)实现主动感知,利用流形约束控制器和观察-动作对齐,使Unitree G1人形机器人在五项真实任务中平均成功率达85%。
2026-06-18 cs.RO
Sensorized gripper for human demonstrations
Nanyang Technological University(南洋理工大学)
为提升机器人编程便捷性,研究团队用现成部件打造带传感器夹爪记录人类盒中盒装配示教,结合笛卡尔运动生成、GMM特征提取与阻抗控制,经少量试验即可让机器人成功复现任务。
2025-03-19 cs.RO
Where Do Humans Look When Demonstrating to Robots? Human Gaze Behavior in Pick-and-Place Tasks Across Demonstration Devices
Toyota Motor Corporation(丰田汽车公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
研究探讨了人类在不同机器人演示设备中 gaze 行为的变化,发现设备特性会影响 gaze 从任务目标线索转向控制监控线索,影响基于 gaze 的模仿学习性能。
2026-06-29 cs.RO
Learning Multi-Step Manipulation Tasks from A Single Human Demonstration
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出一种从单次人类演示中学习多步操作任务的系统,通过RGBD视频和Grounded Segment Anything技术将人类动作转化为机器人基元并识别关键姿态,在手工洗碗任务中实现高达40%的整体成功率。
2024-01-04 cs.RO
Aligning Human Intent from Imperfect Demonstrations with Confidence-based Inverse soft-Q Learning
School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院)
针对不完美演示含非意图随机行为且现有置信度方法依赖真实奖励或人工监督的问题,提出基于转移的细粒度置信度方法与 CIQL 框架,并证明惩罚噪声优于过滤。
2024-06-19 cs.RO
Learning and Generalizing Variable Impedance Manipulation Skills from Human Demonstrations
通过学习可变阻抗控制策略,机器人助手可以智能地调整其操作依从性,以确保在人机交互环境中操作时的安全交互和正确的任务完成。在本文中,我们提出了一个基于DMP的框架,学习和推广可变阻抗操纵技能,从人类的示范。该框架提高了机器人$'$对环境变化(即机器人末端执行器抓取物体的重量和形状变化)的适应性,并继承了基于演示方差的刚度估计方法的效率。此外,我们的刚度估计方法,我们不仅产生平移刚度配置文件,但也旋转刚度配置文件中被忽略或不完整的大多数学习变阻抗控制文件。一个7自由度冗余度机器人操作器的真实世界的实验已经进行了验证我们的框架的有效性。
2021-12-27 cs.RO
BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation
Beijing Academy of Artificial Intelligence(北京人工智能研究院)
研究针对人形机器人全身技能学习数据收集难题,提出无机器人框架BifrostUMI,利用轻量级VR设备和特制夹具收集数据,训练高级策略预测关键点,经实验验证其对可转移人形机器人全身技能学习的有效性。
2026-07-09 cs.RO
Counterfactual Behavior Cloning: Offline Imitation Learning from Imperfect Human Demonstrations
Virginia Tech(弗吉尼亚理工大学)
本研究提出Counter-BC算法,通过扩展数据集纳入反事实动作,从不完美人类演示中恢复潜在策略,实现更高效的离线模仿学习,经实验验证其性能优于现有方法。
2026-08-20 cs.RO
Credit Assignment Safety Learning from Human Demonstrations
Ecole Polytechnique Federal de Lausanne(洛桑联邦理工学院)
辅助机器人技术(例如用于导航的辅助轮椅)的一个关键需求是需要通过用户交互来学习任务意图和安全保证,以确保安全的任务性能。对于用户的目标不容易定义的任务,从用户演示中学习是实现学习的关键步骤。然而,大多数机器人学习从演示(LfD)方法主要依赖于最佳演示,以成功地学习控制策略,这可能是具有挑战性的新手用户获得。最近的工作确实使用次优和失败的演示来了解任务意图;很少有人关注学习安全保证以防止重复失败,这对辅助机器人至关重要。此外,交互式人类-机器人学习旨在最小化人类用户的努力以促进在现实世界中的部署。因此,要求用户标记来自演示的不安全状态或关键帧不应该是学习的必要要求。在这里,我们提出了一种算法来学习一个安全价值函数从一组次优和失败的演示,用于生成一个实时的安全控制过滤器。重要的是,我们开发了一种信用分配方法,该方法从失败的演示中提取失败状态,而不需要人为标记或预先指定的不安全区域的知识。此外,我们扩展我们的配方,允许用户特定的安全功能,通过将用户定义的安全排名,我们可以根据用户的喜好生成安全水平集。通过使用次优和失败的演示和开发的信用分配配方,我们使学习的安全价值函数,需要从用户的努力最小,使其更可行的广泛使用的人机交互学习任务。
2021-10-09 cs.RO
Inferring the Geometric Nullspace of Robot Skills from Human Demonstrations
A*STAR Institute for Infocomm Research (I2R)(新加坡科技研究局资讯通信研究院);A*STAR Human-centric AI (CHEEM) Programme, Institute of High Performance Computing(新加坡科技研究局高性能计算研究院人类中心人工智能项目);A*STAR Advanced Remanufacturing and Technology Centre (ARTC)(新加坡科技研究局先进再制造与技术中心)
在本文中,我们提出了一个框架来学习技能,从人类示威的几何零空间的形式,它可以使用机器人执行。我们收集的数据的人示威,适合几何零空间,他们也推断出相应的几何约束模型。这些几何约束提供了一个强大的数学模型,以及在所涉及的对象方面的技能的直观表示。为了使用机器人执行技能,我们将此几何技能描述与机器人的运动学和其他环境约束相结合,从中可以对机器人的执行进行采样。我们的框架的结果是一个系统,以人类示范作为输入,学习底层的技能模型,并在不同的动态环境中与不同的机器人执行学习的技能。我们评估我们的方法在一个模拟的工业机器人,并执行iCub人形机器人的最终任务。
2021-03-30 cs.RO
Active Robot Curriculum Learning from Online Human Demonstrations
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
提出一种基于课程学习的主动 LfD 方法,通过优化在线人类演示的查询序列引导难度递增,显著提升了机器人的学习性能与样本效率,并改善了人类教学表现、适应性和可迁移性。
2025-03-04 cs.RO
On Hand-Held Grippers and the Morphological Gap in Human Manipulation Demonstration
ETH Zürich(苏黎世联邦理工学院)
本文提出让人类使用手持手动平行夹爪和头戴相机采集可直接用于LfD的操作演示,并通过对比人手与夹爪策略揭示形态差异的影响。
2023-11-03 cs.RO
Interactive and Incremental Learning of Spatial Object Relations from Human Demonstrations
本文提出一种在交互中从少量人类示范增量学习空间关系几何模型的方法,利用圆柱概率分布和增量最大似然估计实现样本高效更新,使机器人能根据口头指令操纵物体满足空间关系。
2023-05-16 cs.RO
BridgeACT: Bridging Human Demonstrations to Robot Actions via Unified Tool-Target Affordances
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
BridgeACT通过统一的工具-目标可及性表示,直接从人类视频学习机器人操作,无需机器人示范数据,有效提升真实世界执行能力。
2026-04-25 cs.RO
Train Robots in a JIF: Joint Inverse and Forward Dynamics with Human and Robot Demonstrations
Dept. of Computer Science(计算机科学系);Dept. of Mechanical Engineering(机械工程系);Columbia University(哥伦比亚大学)
提出一种结合多模态人类演示的联合逆正向动力学预训练方法,通过提取潜在状态表示提升数据效率,实现仅需少量机器人演示的高效微调,支持视觉与触觉多模态融合,推动可扩展的机器人操作学习。
2025-04-28 cs.RO
EgoEngine: From Egocentric Human Videos to High-Fidelity Dexterous Robot Demonstrations
Georgia Institute of Technology(佐治亚理工学院);Tsinghua University(清华大学)
提出EgoEngine框架,通过视觉和动作桥接,将自我中心人类视频转化为高保真机器人数据,首次实现零样本灵巧策略学习。
2026-06-12 cs.RO
CHILD (Controller for Humanoid Imitation and Live Demonstration): a Whole-Body Humanoid Teleoperation System
KIMLAB (Kinetic Intelligent Machine LAB), University of Illinois Urbana-Champaign(KIMLAB(运动智能机器实验室),伊利诺伊大学厄巴纳-香槟分校)
提出CHILD全身人形遥操作系统,实现关节级控制,支持全身控制与移动操作,集成力反馈,并通过实验验证,开源硬件设计。
2025-09-24 cs.RO
Learning Generalizable Robot Policy with Human Demonstration Video as a Prompt
Tsinghua University, China(清华大学,中国);Shanghai Qi Zhi Institute, China(上海启智研究院,中国)
提出两阶段框架,利用人类演示视频学习可泛化机器人策略,无需遥操作数据或微调即可执行新任务。
2026-05-29 cs.RO
A Modular Approach to the Embodiment of Hand Motions from Human Demonstrations
DFKI GmbH(德国人工智能研究中心);Scuola Superiore Sant’Anna(圣安娜高等研究院);University of Bremen(不来梅大学)
用机器人手操纵物体是一项复杂的任务。不仅手的手指,而且机器人的末端执行器的姿势需要协调。使用人类的动作演示是指导机器人行为的直观和数据有效的方式。我们提出了一个模块化的框架与自动实施例映射转移记录的人手动作的机器人系统。在这项工作中,我们使用运动捕捉记录人体运动。我们评估我们的方法上八个具有挑战性的任务,其中一个机器人的手需要抓住和操纵可变形或小而脆弱的物体。我们在模拟和真实机器人上测试了一部分轨迹,并且整体成功率是一致的。
2022-07-15 cs.RO
Characterizing Input Methods for Human-to-robot Demonstrations
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对人对机器人演示输入方法设计空间研究不足的问题,聚焦两指夹爪机械臂手尺度操作任务,提取设计空间特征,提出新型传感夹具输入方法,经用户研究验证其在演示质量、用户体验及机器人匹配度上表现更优。
2019-01-31 cs.RO
Inferring geometric constraints in human demonstrations
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本研究提出一种结合运动学与力/力矩信息的方法,可在无需预先知晓约束类型和接触几何的情况下,从人类演示中鲁棒推断多类几何约束。
2018-09-29 cs.RO
RoboPaint: From Human Demonstration to Any Robot and Any View
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
RoboPaint通过真实-仿真-真实数据流程,将人类示范转化为机器人训练数据,实现高效、低成本的复杂灵巧操作训练。
2026-02-07 cs.RO
Learning Scene-Aware Humanoid Locomotion through 3D Clutter from Immersive Human Demonstrations
George Mason University(乔治梅森大学);New York University(纽约大学)
提出MTC框架,利用VR演示和场景感知重定向训练人形机器人策略,在杂乱环境中实现70.2%无碰撞穿越。
2026-09-21 cs.RO
TacOT: Learning Contact-Rich Dexterous Manipulation from Human Demonstrations via Tactile-Guided Optimal Transport
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Xspark AI;School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与宇航工程学院)
本文提出TacOT框架,利用触觉引导的最优传输对齐人类演示与机器人操作,解决接触丰富灵巧操作中的人-机器人对应问题,在真实任务中显著提升成功率。
2026-10-06 cs.RO
Scaling Single Human Demonstrations for Imitation Learning using Generative Foundational Models
Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Zuse School ELIZA(泽乌斯学校ELIZA)
通过生成基础模型扩展单人示范用于模仿学习,实现从单人示范到机器人任务的高效训练与泛化
2026-02-13 cs.RO
VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations using Visual-Tactile Alignment
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
VisTacAlign通过对齐人类与机器人演示的视觉和触觉模态,共同训练灵巧策略,在精确力任务上优于仅机器人策略。
2026-10-14 cs.RO
WARP: Whole-Body Retargeting for Learning from Offline Human Demonstrations
提出WARP离线管线,通过闭式肩-肘-腕几何求解器精确跟踪末端执行器并保持全身结构意图,实现从人类演示到机器人动作的零样本全身移动操作。
2026-08-20 cs.RO
HRT1: One-Shot Human-to-Robot Trajectory Transfer for Mobile Manipulation
University of Texas at Dallas(德克萨斯大学达拉斯分校);XPeng(小鹏)
提出一种四模块人机轨迹迁移系统,使机器人通过一次演示视频学习并迁移移动操作任务,在不同环境中重复执行,实验验证了其有效性。
2025-10-23 cs.RO
DeepGoal: Learning to Drive with driving intention from Human Control Demonstration
Zhejiang University(浙江大学);The University of Technology, Sydney(悉尼科技大学)
最近对汽车驾驶的研究开发了一种高效的端到端学习模式,可以直接将视觉输入映射到控制命令。然而,它在单个网络中对不同的驱动变化进行建模,这增加了学习复杂性,并且对模块化集成的适应性较差。在本文中,我们重新研究人类的驾驶风格,并提出学习一个中间驾驶意图区域,以缓解端到端方法中的困难。意图区域既遵循道路的图像结构,又遵循公共路线规划器中的目标方向,仅解决视觉变化,并在没有常规精确定位的情况下确定要去哪里。然后将学习到的视觉意图投影到车辆局部坐标上,并与可靠的障碍物感知融合,以绘制广泛用于运动规划的导航得分图。该系统的核心是一个弱监督的cGAN-LSTM模型,该模型经过训练,可以从人类演示中学习驾驶意图。对抗性损失从具有一个本地规划路线的有限演示数据中学习,并在测试时能够推理具有不同路线的多模态行为。用真实世界的数据集进行了全面的实验。实验结果表明,该方法能够产生与人演示更加一致的运动指令,并具有较好的可靠性和对环境变化的鲁棒性。
2019-11-28 cs.RO
Interactive Human-in-the-loop Coordination of Manipulation Skills Learned from Demonstration
College of Engineering, Peking University(北京大学工学院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
示教学习(LfD)提供了一种快速、直观和有效的机器人技能编程框架,在研究和工业应用中获得了越来越多的兴趣。大多数复杂的操作任务是长期的,涉及一组技能原语。因此,至关重要的是要有一个可靠的协调方案,选择正确的序列的技能原语和正确的参数为每个技能,在各种情况下。而不是依赖于一个精确的模拟器,这项工作提出了一个人在回路协调框架LfD技能:从动觉演示建立参数化的技能模型;构建一个几何任务网络(GTN)的飞行从人类的指令;学习分层控制策略在执行过程中递增。该框架可以大大减少人工设计的工作量,同时提高对新场景的适应性。我们在一个7自由度的机器人机械手上展示了所提出的方法可以在不到30分钟的时间内教授复杂的工业任务,如垃圾箱分拣和装配。
2022-03-01 cs.RO
Risk Averse Bayesian Reward Learning for Autonomous Navigation from Human Demonstration
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);United States Army Research Laboratory(美国陆军研究实验室)
传统的模仿学习提供了一组方法和算法来从专家演示中学习奖励函数或策略。示教学习已被证明对导航任务是有利的,因为它允许机器学习非专家快速提供学习复杂遍历行为所需的信息。然而,一组最小的演示不太可能捕获在每个可能的未来操作环境中实现所需行为所需的所有相关信息。由于环境之间的分布变化,机器人可能会遇到在训练期间很少或从未观察到的特征,因此适当的奖励值是不确定的,从而导致不期望的结果。本文提出了一种贝叶斯技术,它量化的线性奖励函数的权重的不确定性给出了一个数据集的最小的人类示范,在动态环境中安全地操作。这种不确定性被量化,并纳入一个风险规避的权重集,用于生成规划成本图。在3-D环境中的模拟机器人的实验表明,我们提出的算法使机器人能够完全避免危险的地形在两个三个测试方案,并积累了较低的风险比相关的方法在所有的情况下,不需要任何额外的演示。
2021-07-31 cs.RO
KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
Gamma Robotics(伽马机器人公司);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI));Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文提出KODA方法,将人类第一人称演示转换为人形机器人全身VLA训练数据,在Unitree G1的四个任务上,两种控制器下对应指标分别提升45.0和46.25个百分点,具备扩展潜力。
2026-10-16 cs.RO
Combined Task and Action Learning from Human Demonstrations for Mobile Manipulation Applications
University of Freiburg(弗莱堡大学)
示教学习是向机器人传递知识的一种很有前途的范例。然而,直接从人类教师学习移动操作任务是一个复杂的问题,因为它需要学习模型的总体任务目标和基本的行动。此外,从少量的演示中学习通常会导致教师意图的模糊性,这使得致力于将任务推广到新环境的一个模型具有挑战性。在本文中,我们提出了一种方法来学习灵活的移动操作动作模型和任务目标表示教师演示。我们的动作模型使机器人能够考虑每个动作的不同可能结果,并生成实现这些结果的可行轨迹。因此,我们利用基于蒙特卡罗树搜索的概率框架来计算在新设置中模仿教师意图的可行动作序列,而不需要教师指定明确的目标状态。我们证明了我们的方法在现实世界中进行的复杂任务的有效性。
2019-08-25 cs.RO
WARPED: Wrist-Aligned Rendering for Robot Policy Learning from Egocentric Human Demonstrations
WARPED通过单目RGB数据合成腕部视角观测,实现从第一人称人类示范数据中训练视觉运动策略,相比传统方法减少5-8倍的数据收集时间。
2026-10-22 cs.RO
Learning Human-Intention Priors from Large-Scale Human Demonstrations for Robotic Manipulation
Tsinghua University(清华大学);ByteDance(字节跳动)
本文提出MoT-HRA框架,通过大规模人类示范学习人类意图先验,用于机器人操作,通过构建HA-2.2M数据集和三个耦合专家提升动作合理性和鲁棒性。
2026-05-21 cs.RO
ThorArena: Benchmarking Humanoid Physical Interaction with Human Motion-Force Demonstrations
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Technical University of Munich(慕尼黑工业大学)
本文提出ThorArena基准,通过人类运动-力演示评估力感知人形机器人交互。收集真实世界交互数据集,提出评估指标与统一协议,实验表明力感知评估能揭示传统评估下隐藏的性能差异,为人形机器人交互研究提供实用框架与新基准。
2026-07-08 cs.RO
Understanding Acoustic Patterns of Human Teachers Demonstrating Manipulation Tasks to Robots
Microsoft Research(微软研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类在向其他人教授新技能或任务时,有效地使用口头语言或口头反应形式的音频信号。虽然演示允许人类以自然的方式教授机器人,但仅从轨迹学习并不能利用其他可用的模式,包括来自人类教师的音频。为了有效地利用伴随人类演示的音频提示,首先重要的是要了解存在什么样的信息并通过这些提示传达。这项工作的特点音频从人类教师演示多步操作任务的Sawyer机器人使用三种特征类型:(1)持续时间的语音使用,(2)在语音或韵律的表现力,和(3)语音的语义内容。我们从四个维度对这些特征进行分析,发现教师在(1)演示类型、(2)音频使用说明、(3)子任务和(4)演示错误等不同情况下,通过口语传达相似的语义概念。然而,语音在持续时间和表现力方面的差异性沿着四个维度存在,突出了人类音频携带的丰富信息,潜在地有利于机器人学习从演示方法的技术进步。
2022-11-01 cs.RO
Learning Flight Control Systems from Human Demonstrations and Real-Time Uncertainty-Informed Interventions
University of Florida(佛罗里达大学);U.S. Army Research Laboratory(美国陆军研究实验室);Air Force Research Lab(空军研究实验室)
本研究提出一种结合人类演示、实时干预与不确定性估计的飞行控制学习方法,通过模仿学习初始化模型,借蒙特卡洛随机失活检测不确定性并触发人类干预,在四旋翼着陆任务中验证了其快速教学与模型适配能力。
2023-05-01 cs.RO
Learning Generalizable Robot Skills from Demonstrations in Cluttered Environments
Institute for Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology(佐治亚理工学院机器人与智能机器研究所(IRIM))
示教学习(LfD)是一种流行的方法,可以赋予机器人技能,而不必手动编程。通常,LfD依赖于人类在无干扰环境中的演示。这可以防止演示受到不相关对象的影响,这些对象的影响可能会混淆人的真实意图或所需技能的约束。然而,假设机器人的环境总是可以被重构以在捕捉人类演示时消除混乱是不现实的。为了解决这个问题,我们开发了一个重要性加权批量和增量技能学习方法,建立在最近的推理为基础的技术技能表示和再现。我们的方法减少了不必要的环境对学习技能的影响,同时仍然捕捉了突出的人类行为。我们提供了我们的方法的批量和增量版本,并验证我们的算法上的7自由度JACO2机械手达到和放置技能。
2018-08-04 cs.RO
Vision in Action: Learning Active Perception from Human Demonstrations
Stanford University(斯坦福大学)
本文提出ViA主动感知系统,通过VR遥操作从人类演示学习双臂机器人的搜索、跟踪等感知策略,利用6自由度机械颈和中间3D场景表示,在视觉遮挡任务中显著优于基线。
2025-06-18 cs.RO
Synthetically Trained Neural Networks for Learning Human-Readable Plans from Real-World Demonstrations
NVIDIA(英伟达);University of Southern California(南加州大学)
我们提出了一个系统来推断和执行一个人类可读的程序,从现实世界的演示。该系统由一系列神经网络组成,用于执行感知、程序生成和程序执行。利用卷积姿态机器,感知网络在使用域随机化仅在合成图像上训练后,即使在严重遮挡的情况下,也能可靠地检测真实图像中物体的边界长方体。为了增加感知网络对新场景的适用性,该网络被制定为在图像空间而不是世界空间中进行预测。其他网络检测对象之间的关系,生成计划,并确定再现真实世界演示的操作。网络完全在模拟中训练,系统在现实世界中使用Baxter机器人堆叠彩色立方体的拾取和放置问题上进行测试。
2018-07-10 cs.RO
Joint Estimation of Expertise and Reward Preferences From Human Demonstrations
Monash University(莫纳什大学);University of Waterloo(滑铁卢大学)
当机器人从人类的例子中学习时,大多数方法都假设人类伙伴提供了最佳行为的例子。然而,在一些应用中,机器人向非专家人类学习。我们认为,机器人不仅应该了解人类的目标,而且还应该了解他们的专业知识水平。然后,机器人可以利用这些关节信息来减少或增加它向人类伴侣提供帮助的频率,或者在从新手用户那里学习新技能时更加谨慎。同样,通过考虑人类的专业知识,机器人也能够推断出人类的真实目标,即使人类由于缺乏专业知识而无法正确展示这些目标。在本文中,我们建议联合推断的专业知识水平和目标函数的人类观察他们(可能)的非最佳示范。提出了两种推理方法。在第一种方法中,推理是在一个有限的,离散的一组可能的目标函数和专业知识水平。在第二种方法中,机器人优化所有可能的假设空间,并找到最能解释观察到的人类行为的目标函数和专业水平。我们证明了我们提出的方法在模拟和真实的用户数据。
2020-11-09 cs.RO
Generalizing Robot Trajectories from Single-Context Human Demonstrations: A Probabilistic Approach
Robotics Research Centre, School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore(南洋理工大学机器人研究中心,机械与航空航天工程学院);Delta-NTU Corporate Lab, Singapore(Delta-NTU企业实验室)
本文提出一种基于高斯混合模型组件级重参数化与高斯混合回归的方法,从单上下文人类演示泛化机器人轨迹,并在双臂抓取放置任务中验证其在平移和旋转变化下仍优于基线。
2025-11-07 cs.RO
Unified Learning from Demonstrations, Corrections, and Preferences during Physical Human-Robot Interaction
Virginia Tech(弗吉尼亚理工大学)
本文提出一种统一学习示范、纠正和偏好的算法,通过从头学习奖励模型并应用约束优化生成轨迹,使机器人能更准确地从物理交互中学习操作任务。
2024-01-09 cs.RO
Improving Robot-Centric Learning from Demonstration via Personalized Embeddings
示教学习(LfD)技术寻求使新手用户能够在现实世界中教机器人新的任务。然而,先前的工作表明,以机器人为中心的LfD方法,如数据集聚合(Dagger),在人类教师中表现不佳。Dagger需要一个人类演示者提供纠正反馈给学习者,无论是实时的,这可能会导致性能下降,由于次优的人类标签,或在事后的方式是时间密集型的,往往是不可行的。为了解决这个问题,我们提出了互信息驱动的Meta-从演示示教学习(MIND MELD),其元学习从低质量的人类标签到预测的地面真实标签的映射,从而改进用于基于Dagger的训练的先前LfD方法的性能。改进次优反馈的方法的关键是通过变分推理实现互信息最大化。我们的方法通过变分推理学习一个有意义的,个性化的嵌入,它通知从人类提供的标签到预测的地面真实标签的映射。我们在合成域和人类受试者实验中展示了我们的框架,说明我们的方法在人类演示者提供的纠正标签上提高了63%。
2021-10-07 cs.RO
Vision-Based Dexterous Motion Planning by Dynamic Movement Primitives with Human Hand Demonstration
Dalhousie University(达尔豪斯大学)
针对现有机械臂演示学习未考虑手部姿态的问题,本文提出基于单深度相机与MediaPipe的人手动作捕捉框架,结合动态运动基元让7自由度机械臂学习含姿态的灵巧抓取放置任务,可适配不同起止点。
2024-08-19 cs.RO
Gaussian path model library for intuitive robot motion programming by demonstration
VTT Technical Research Centre of Finland Ltd(芬兰技术研究有限公司)
本文提出一种从教学数据生成高斯路径模型的系统,构建多形状模型库用于人类示教分类,实现直观的机器人运动编程,并提出基于几何分析修改现有模型的方法。
2025-09-15 cs.RO
ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Noematrix Ltd(Noematrix有限公司)
ActiveGlasses 通过主动视觉从第一人称人类示范中学习机器人 manipulation,实现零样本迁移,优于基线方法并在不同机器人平台间泛化。
2026-04-09 cs.RO
Human-Like Robot Impedance Regulation Skill Learning from Human-Human Demonstrations
Department of Mechanical and Automation Engineering, T-Stone Robotics Institute, The Chinese University of Hong Kong(机械与自动化工程系,T-Stone机器人研究院,香港中文大学);College of Science and Technology, Ningbo University(科学与技术学院,宁波大学);Idiap Research Institute(Idiap研究机构)
本文提出HIImpRSL框架,通过模仿学习和LSTM模块实现机器人在多人协作任务中类人阻抗调节与适应能力。
2025-12-14 cs.RO
Minimizing Human Assistance: Augmenting a Single Demonstration for Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
在强化学习中使用人类演示已被证明可以显着提高代理性能。然而,任何人工“教导”模型的要求都与强化学习的目标有些对立。本文试图通过使用一个简单易用的虚拟现实模拟收集的单个人的例子来帮助RL训练,以尽量减少人类参与学习过程,同时保留性能优势。我们的方法增加了一个单一的演示,以生成许多类似人类的演示,当与深度确定性策略梯度和事后经验重演(DDPG + HER)相结合时,显着提高了简单任务的训练时间,并允许代理解决DDPG + HER单独无法解决的复杂任务(块堆叠)。该模型使用单个人类示例实现了这一显著的训练优势,需要不到一分钟的人工输入。此外,尽管从人类的例子中学习,智能体并不局限于人类水平的表现,往往学习的政策是显着不同的人类示范。
2023-03-19 cs.LG cs.RO
Learning Object-Action Relations from Bimanual Human Demonstration Using Graph Networks
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
识别人的动作是人形机器人的一项重要任务,特别是在演示编程等领域。以前的动作识别方法主要集中在整体流行的动作正在执行,但我们认为,双手的人类运动不能总是充分描述一个单一的动作标签。我们提出了一个系统的框架明智的行动分类和分割双手的人类示范。该系统从从机器人的角度捕获的原始RGB-D视频数据中提取符号空间对象关系,以构建基于图形的场景表示。为了学习对象-动作关系,使用这些表示与地面真实动作标签一起训练图网络分类器,以预测每只手执行的动作。我们在一个新的RGB-D视频数据集上评估了所提出的分类器,该数据集显示了专注于双手操作动作的日常动作序列。它由6名受试者执行9项任务,每项任务重复10次,这导致540个视频记录,总播放时间为2小时18分钟,每帧的每手地面真实动作标签。我们表明,该分类器能够可靠地识别(动作分类宏F1-分数为0.86)的真正执行的动作,每只手在其前3名的预测在一帧一帧的基础上,没有事先的时间动作分割。
2019-09-12 cs.RO