From a Single Demonstration to a General Policy for Contact-Rich Manipulation
Robotics and Biology Laboratory, Technische Universität Berlin(技术大学柏林机器人与生物学实验室);Science of Intelligence, Research Cluster of Excellence, Berlin(智能科学,卓越研究集群,柏林);Robotics Institute Germany(德国机器人研究所)
本文提出了一种学习从示范(LfD)框架,通过利用环境约束作为归纳偏差,实现多阶段、接触密集任务的一次性泛化。该方法将示范表示为利用环境约束的行为序列,将任务通用结构(约束类型及其转换)与实例特定细节(精确示范轨迹、姿态和局部几何)分离。四阶段流程在该表示上构建完整策略:机器人首先将单次示范抽象为环境约束原语,然后通过自我引导探索进行歧义消除,接着整合针对人类修正以处理超出分布的变化,最后通过合规交互在线恢复抽象掉的细节。由于最终策略遵循约束而非模仿轨迹,它在物体姿态、局部几何和未建模接触动力学上实现了泛化。我们在七个现实世界多阶段接触密集操纵任务上验证了该方法,成功率达到90%以上。这些广泛实验结果确立了环境约束作为学习从示范中高效泛化基本构建块的重要性。
2026-05-17 cs.RO
Interactive Human-in-the-loop Coordination of Manipulation Skills Learned from Demonstration
College of Engineering, Peking University(北京大学工学院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
示教学习(LfD)提供了一种快速、直观和有效的机器人技能编程框架,在研究和工业应用中获得了越来越多的兴趣。大多数复杂的操作任务是长期的,涉及一组技能原语。因此,至关重要的是要有一个可靠的协调方案,选择正确的序列的技能原语和正确的参数为每个技能,在各种情况下。而不是依赖于一个精确的模拟器,这项工作提出了一个人在回路协调框架LfD技能:从动觉演示建立参数化的技能模型;构建一个几何任务网络(GTN)的飞行从人类的指令;学习分层控制策略在执行过程中递增。该框架可以大大减少人工设计的工作量,同时提高对新场景的适应性。我们在一个7自由度的机器人机械手上展示了所提出的方法可以在不到30分钟的时间内教授复杂的工业任务,如垃圾箱分拣和装配。
2022-03-01 cs.RO
Gentle Manipulation Policy Learning via Demonstrations from VLM Planned Atomic Skills
本文提出一种结合层次语义分解、强化学习、视觉语言模型与知识蒸馏的框架,将复杂操作任务分解为原子技能并在仿真中训练,通过VLM生成演示并蒸馏为统一策略,实现无需人类演示的长时程温和操作学习与可扩展泛化。
2025-11-08 cs.RO
Goal-Aware Generative Adversarial Imitation Learning from Imperfect Demonstration for Robotic Cloth Manipulation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
生成对抗模仿学习(GAIL)可以学习策略,而无需从演示中明确定义奖励函数。GAIL有潜力学习以高维观测为输入的策略,例如,图像.通过将GAIL应用于真正的机器人,也许可以获得机器人的日常活动,如洗涤,折叠衣服,烹饪和清洁。然而,人类的示范数据往往是不完美的,由于错误,这降低了性能的政策。我们通过关注以下特征来解决这个问题:1)许多机器人任务都是达到目标的任务,2)在演示数据中标记这些目标状态相对容易。考虑到这些,本文提出了目标感知生成对抗性模仿学习(GA-GAIL),它通过引入第二个参数来区分目标状态,与指示演示数据的第一个参数并行地训练策略。这扩展了一个标准的GAIL框架,通过一个促进实现目标状态的目标状态学习器,即使是从不完美的演示中,也能更稳健地学习理想的策略。此外,GA-GAIL采用熵最大化深度P-网络(EDPN)作为生成器,该生成器在策略更新中同时考虑平滑性和因果熵,以实现来自两个鉴别器的稳定策略学习。我们所提出的方法被成功地应用到两个真正的机器人布料操作任务:把手帕和折叠衣服。我们证实,它学习布料操纵政策没有特定任务的奖励功能设计。真实实验的视频可在https://youtu.be/h_nII2ooUrE上获得。
2022-09-21 cs.RO
One-Shot Learning from Demonstration of Contact-Rich Robotic Manipulation by Identifying Physical Interactions
该研究提出一种明确建模物理交互的机器人操作演示学习方法,仅用单次演示即可复现复杂接触型任务,提升了对环境几何变化的鲁棒性、泛化性与在线自适应能力,填补了可解释少样本LfD的空白。
2026-08-26 cs.RO
ILCL: Inverse Logic-Constraint Learning from Temporally Constrained Demonstrations
Korea Advanced Institute of Science and Technology(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文提出逆向逻辑约束学习(ILCL),将时间约束学习建模为遗传算法时序逻辑挖掘与逻辑约束强化学习的零和博弈,在多个任务上优于现有方法并实现真实世界迁移。
2025-11-08 cs.RO
TWINS: A Tactile Wearable Isomorphic Arm Networked System for Contact-Rich Manipulation Learning
National Institute of Advanced Industrial Science and Technology (AIST)(独立行政法人产业技术综合研究所(AIST))
本文提出TWINS触觉可穿戴同构臂联网系统,用于解决现有机器人难以完成身体表面接触操作的问题,通过采集演示数据训练模仿学习策略,实现了身体表面触觉引导的接触丰富操作。
2026-08-04 cs.RO
EgoMI: Learning Active Vision and Whole-Body Manipulation from Egocentric Human Demonstrations
UC Berkeley(伯克利大学)
EgoMI通过同步捕捉头部和末端执行器轨迹,实现从第一人称人类演示中学习主动视觉与全身操作,有效弥合人机身体差距,提升半人形机器人模仿学习性能。
2026-03-10 cs.RO
Learning Forceful Manipulation Skills from Multi-modal Human Demonstrations
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Bosch Corporate Research(博世企业研究)
示教学习(LfD)提供了一种直观、快速的机器人操作器编程方法。任务参数化表示允许轻松适应新场景和在线观察。然而,这种方法仅限于姿势演示,因此仅限于具有空间和时间特征的技能。在这项工作中,我们扩展了LfD框架,以解决有力的操作技能,这是非常重要的工业过程,如装配。对于这些技能,包括机器人末端执行器姿势,力和扭矩读数以及操作场景在内的多模态演示是必不可少的。我们的目标是根据不同场景中所展示的姿势和力量分布可靠地再现这些技能。该方法结合了我们以前的工作任务参数化优化和吸引子为基础的阻抗控制。所学习的技能模型包括(i)统一姿势和力特征的吸引子模型,以及(ii)针对技能的不同阶段优化刚度的刚度模型。此外,提出了一种在线执行算法,以适应技能执行的机器人姿态,测量力,和变化的场景的实时观察。我们在电动自行车电机装配过程的几个步骤中对7自由度机器人手臂进行了严格的验证,这些步骤需要不同类型的有力交互,例如插入,滑动和扭转。
2021-09-09 cs.RO
EgoSpeedUp: Transferring Human Manipulation Tempo to Robot Policies
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立产业技术综合研究所(AIST))
EgoSpeedUp通过人类演示的节奏监督,对齐并迁移分阶段操作节奏至机器人模仿学习,在真实任务中提升成功率25个百分点并减少36.5%执行时间。
2026-09-28 cs.CV cs.RO
Learning Cooperative Dynamic Manipulation Skills from Human Demonstration Videos
Italian Institute of Technology(意大利技术研究院);Politecnico di Milano(米兰理工大学);Xi’an Jiaotong University(西安交通大学);Hanyang University ERICA(汉阳大学ERICA校区)
本文提出了一种从离线视频中学习和机器人复制动态协作任务的方法。我们的目标是将示教学习(LfD)的概念扩展到动态场景,受益于广泛可用或易于制作的离线视频。为了实现这一目标,我们解码重要的动态信息,如配置相关刚度(CDS),揭示了手臂姿势的贡献,手臂端点刚度,从三维人体骨架模型。接着,通过高斯混合模型(GMM)编码的CDS和解码通过高斯混合回归(GMR),机器人的笛卡尔阻抗轮廓的估计和复制。我们证明了所提出的方法在一个协同锯任务的领导者-追随者结构,考虑环境约束和动态不确定性。实验装置包括两个熊猫机器人,复制领导者和追随者的角色和阻抗配置文件提取的两个人锯视频。
2022-04-08 cs.RO
Taming VR Teleoperation and Learning from Demonstration for Multi-Task Bimanual Table Service Manipulation
AIR, Tsinghua University(空气动力学研究所,清华大学);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院);HKUST (GZ)(香港科技大学(广州));NUS (Suzhou) Research Institute(国立大学(苏州)研究所);University of Michigan(密歇根大学)
本文提出结合VR遥操作与示教学习的双手操作方案,通过ACT策略训练披萨放置任务,在ICRA 2025 WBCD桌面服务竞赛中夺冠。
2025-08-21 cs.RO
Understanding Acoustic Patterns of Human Teachers Demonstrating Manipulation Tasks to Robots
Microsoft Research(微软研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类在向其他人教授新技能或任务时,有效地使用口头语言或口头反应形式的音频信号。虽然演示允许人类以自然的方式教授机器人,但仅从轨迹学习并不能利用其他可用的模式,包括来自人类教师的音频。为了有效地利用伴随人类演示的音频提示,首先重要的是要了解存在什么样的信息并通过这些提示传达。这项工作的特点音频从人类教师演示多步操作任务的Sawyer机器人使用三种特征类型:(1)持续时间的语音使用,(2)在语音或韵律的表现力,和(3)语音的语义内容。我们从四个维度对这些特征进行分析,发现教师在(1)演示类型、(2)音频使用说明、(3)子任务和(4)演示错误等不同情况下,通过口语传达相似的语义概念。然而,语音在持续时间和表现力方面的差异性沿着四个维度存在,突出了人类音频携带的丰富信息,潜在地有利于机器人学习从演示方法的技术进步。
2022-11-01 cs.RO
A Physics-informed Demonstration-guided Learning Framework for Granular Material Manipulation
School of Engineering, Cardiff University(工程学院,卡迪夫大学);School of Computer Science and Informatics, Cardiff University(计算机科学与信息学学院,卡迪夫大学)
本文提出一种融合物理信息的示范引导学习框架,通过可微分模拟器和梯度优化生成示范,实现高效学习颗粒材料操控任务。
2025-11-25 cs.RO
Deep Imitation Learning for Humanoid Loco-manipulation through Human Teleoperation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出数据高效框架TRILL,通过VR界面收集人类演示,结合全身控制与高层动作抽象,解决高自由度仿人机器人移动操作技能的深度模仿学习难题,并在仿真和真实机器人上验证了其有效性。
2023-11-19 cs.RO
SADP: Subgoal-Aware Diffusion Policy for Long-Horizon Manipulation Learned from Foundation Model Generated Demonstrations
Department of Systems Innovation, Graduate School of Engineering Science, Osaka University(系统创新系,工学研究科,大阪大学)
本文提出SADP,一种基于基础模型生成示范的子目标感知扩散策略,用于可解释机器人,通过自主生成子目标标注的示范数据,训练扩散策略,使机器人能够通过子目标结构和执行进度向用户解释决策过程,从而在长周期操作中实现更高的任务成功率和故障诊断能力。
2026-10-20 cs.RO
ReMoBot: Retrieval-Based Few-Shot Imitation Learning for Mobile Manipulation with Vision Foundation Models
School of Electrical Engineering, Aalto University, Espoo, Finland(艾尔沃大学电气工程学院,埃斯波,芬兰)
提出ReMoBot,一种基于检索的少样本模仿学习框架,利用视觉基础模型从演示中检索信息,解决移动操作任务中的部分可观测性和数据有限问题,在真实世界任务中取得高成功率。
2026-06-16 cs.RO
Coarse-to-Fine Imitation Learning: Robot Manipulation from a Single Demonstration
Imperial College London(帝国理工学院)
我们介绍了一种简单的新方法,视觉模仿学习,它允许一个新的机器人操作任务,从一个单一的人类示范学习,而不需要任何先验知识的对象进行交互。我们的方法将模仿学习建模为状态估计问题,状态定义为对象交互开始时末端执行器的姿势,如从演示中观察到的。然后通过将操纵任务建模为粗略的接近轨迹,然后是精细的交互轨迹,可以通过自动地围绕对象移动末端执行器的相机来以自我监督的方式训练该状态估计器。在测试时,末端执行器通过线性路径移动到估计状态,在该点处简单地重放原始演示的末端执行器速度。这使得能够方便地获取复杂的交互轨迹,而实际上不需要显式地学习策略。在8个日常任务上的真实实验表明,我们的方法可以从单个人类演示中学习各种技能,同时还可以生成稳定且可解释的控制器。
2021-06-10 cs.LG cs.RO
ManipForce: Force-Guided Policy Learning with Frequency-Aware Representation for Contact-Rich Manipulation
Department of AI Convergence, Gwangju Institute of Science and Technology (GIST)(人工智能融合系,全州科学技术院);Department of AI Machinery, Korea Institute of Machinery & Materials (KIMM)(人工智能机械系,韩国机械材料研究院)
针对接触丰富操作中视觉模仿学习缺乏力觉信息的问题,本文提出ManipForce手持采集系统与频率感知多模态Transformer(FMT),通过融合高频力-力矩和RGB数据,在六项真实任务中平均成功率83%,显著优于仅视觉基线。
2025-09-23 cs.RO
SparTa: Sparse Graphical Task Models from a Handful of Demonstrations
University of Freiburg(弗赖堡大学);Zuse School ELIZA(祖斯学校ELIZA)
SparTa通过从少量示范中学习稀疏图形任务模型,提高机器人在不同环境中的可靠执行能力。
2026-02-18 cs.RO
Teaching contact-rich tasks from visual demonstrations by constraint extraction
Fraunhofer IPK(弗劳恩霍夫生产设备与设计技术研究所);Politecnico di Milano(米兰理工大学);Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达莱莫勒人工智能研究所(IDSIA));Scuola Universitaria Professionale della Svizzera Italiana (SUPSI)(瑞士意大利语区应用科学大学(SUPSI));Università della Svizzera Italiana (USI)(瑞士意大利语区大学(USI))
针对富接触操作任务,提出从视觉演示中提取运动学约束的方法,通过聚类轨迹为离散接触模式并拟合约束,实现接触在线检测与机器人策略规划,实验证明其在接触转换中具有鲁棒性。
2023-04-03 cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University(北京大学)
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展,但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中,我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题,其中我们假设没有手工制作的密集奖励,而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题,我们确定了几个关键问题,可以失败的以前的模仿学习算法,并阻碍了推广到看不见的实例。然后,我们提出了几个一般的,但关键的技术,包括生成对抗性自我模仿学习从示范,渐进增长的学习,和实例平衡专家缓冲区,准确地指出和解决这些问题,可以受益于类别级操作策略学习,无论任务。我们在ManiSkill基准上的实验表明,所有任务都有显着的改进,我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
Learning Sensorimotor Primitives of Sequential Manipulation Tasks from Visual Demonstrations
Rutgers University(罗格斯大学)
这项工作的目的是学习如何执行复杂的机器人操作任务,这些任务是由几个连续执行的低级别子任务组成的,作为输入,由一个人执行的任务的一些视觉演示。子任务包括移动机器人的末端执行器,直到它到达任务空间中的子目标区域,执行动作,并在满足先决条件时触发下一个子任务。在这一领域的大多数先前的工作一直只关注学习低级别的任务,如击球或达到一个对象,抓住it.This本文描述了一个新的神经网络为基础的框架,同时学习低级别的政策,以及高级别的政策,如决定哪个对象接下或在哪里放置它相对于其他对象在场景中。所提出的方法的一个关键特征是,直接从任务演示的原始视频中学习策略,而不需要对数据进行任何手动注释或后处理。机器人手臂的物体操作任务的实验结果表明,该网络可以有效地学习从真实的视觉演示来执行任务,并优于流行的模仿学习算法。
2022-03-08 cs.LG cs.RO
Learning Deformable Object Manipulation from Expert Demonstrations
University of Southern California(南加州大学)
我们提出了一种新的示教学习(LfD)方法,变形操纵演示(DMfD),解决变形操纵任务使用状态或图像作为输入,专家演示。我们的方法以三种不同的方式使用演示,并平衡了在线探索环境和使用专家指导有效探索高维空间之间的权衡。我们测试DMfD上的一组代表性的操作任务的1维绳子和2维布从SoftGym套件的任务,每个状态和图像观察。对于基于状态的任务,我们的方法超过基线性能高达12.9%,对于基于图像的任务,超过基线性能高达33.44%,对随机性具有相当或更好的鲁棒性。此外,我们使用基于图像的观察创建了两个具有挑战性的环境来折叠2D布料,并为它们设置了性能基准。我们在真实机器人上部署DMfD,与模拟相比,在真实执行过程中的归一化性能损失最小(约6%)。源代码在github.com/uscresl/dmfd上
2022-07-20 cs.AI cs.LG cs.RO
From virtual demonstration to real-world manipulation using LSTM and MDN
University of Central Florida(中佛罗里达大学)
帮助残疾人或老年人的机器人必须执行复杂的操作任务,并且必须适应家庭环境和用户的偏好。示教学习是一个很有前途的选择,它允许非技术用户教机器人不同的任务。然而,在残疾用户的家庭环境中收集演示是耗时的,破坏用户的舒适度,并且提出了安全挑战。期望在虚拟环境中执行演示。在本文中,我们描述了一个具有挑战性的问题,从虚拟演示的物理机器人的行为转移的解决方案。虚拟演示用于训练基于深度神经网络的控制器,其使用长短期记忆(LSTM)递归神经网络来生成轨迹。训练过程使用混合密度网络(MDN)来计算适合演示的多模态性质的误差信号。在虚拟环境中学习的控制器被转移到物理机器人(Rethink Robotics Baxter)。一个现成的视觉组件用于替代模拟中可用的几何知识,一个逆运动学模块用于使Baxter制定轨迹。我们的实验研究验证了本文的三个贡献:(1)从虚拟演示中学习的控制器可以用于在物理机器人上成功执行操作任务,(2)LSTM+MDN架构选择优于其他选择,例如使用前馈网络和基于均方误差的训练信号,以及(3)在训练集中允许不完美的演示也允许控制器学习如何校正其操纵错误。
2017-11-22 cs.AI cs.LG cs.RO
Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations
University of Bonn(波恩大学)
由于机器人的状态空间、动作空间和接触空间都是高维的,拟人机器人手的灵巧操作一直是机器人学中的一个难题。然而,需要熟练的闭环操纵,使人形机器人在非结构化的现实世界的环境中操作。强化学习(RL)传统上对优化此类复杂控制问题施加了巨大的交互数据需求。我们引入了一个新的框架,该框架利用了基于GPU的模拟的最新进展以及模仿学习在引导策略搜索方面的优势,使RL训练在这些领域变得可行。为此,我们提出了一个沉浸式的虚拟现实遥操作界面设计的交互式人性化的操作接触丰富的任务和一套操作环境的启发任务的日常生活。最后,我们展示了大规模并行RL和模仿学习的互补优势,产生了强大而自然的行为。经过训练的策略、我们的源代码和收集的演示数据集的视频可以在https://maltemosbach.github.io/interactive_ human_like_manipulation/上找到。
2022-12-05 cs.AI cs.LG cs.RO
Learning Generalizable 3D Manipulation With 10 Demonstrations
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所 机器人学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);College of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
提出一种仅需10次演示即可学习3D操作技能的框架,通过SGP和SGD模块及空间等变训练策略,在物体姿态和相机视角变化下成功率提升60%。
2024-11-15 cs.CV cs.RO
Vision-Based Multi-Task Manipulation for Inexpensive Robots Using End-To-End Learning from Demonstration
University of Central Florida(中佛罗里达大学);University of California Berkeley(加州大学伯克利分校)
我们提出了一种多任务的示教学习技术,从演示,培训控制器的低成本的机器人手臂,以完成几个复杂的拾取和放置任务,以及非易失性操作。控制器是一个递归神经网络,使用原始图像作为输入并生成机器人手臂轨迹,其中参数在任务之间共享。该控制器还将基于VAE-GAN的重构与自回归多模态动作预测相结合。我们的研究结果表明,它是可以学习复杂的操作任务,如拿起毛巾,擦拭物体,并存放毛巾到其先前的位置,完全从原始图像与直接行为克隆。我们发现,权重共享和基于重建的正则化大大提高了泛化能力和鲁棒性,同时对多个任务进行训练可以提高所有任务的成功率。
2018-04-22 cs.AI cs.LG cs.RO
Learning from Demonstrations using Signal Temporal Logic
University of Southern California(南加州大学)
从演示中学习是一种新兴的范例,通过强化学习获得有效的机器人控制策略,而不需要显式地设计奖励函数。然而,它是容易受到不完善的示范,也提出了关注的安全性和可解释性的学习控制政策。为了解决这些问题,我们使用信号时序逻辑来评估和排名演示的质量。基于时序逻辑的规范允许我们创建非马尔可夫奖励,并定义有趣的因果关系之间的依赖关系,如顺序任务规范。我们通过在离散世界和OpenAI Gym环境中的实验验证了我们的方法,并表明我们的方法优于最先进的最大因果熵逆强化学习。
2021-02-15 cs.AI cs.LG cs.RO
You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration
Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Rutgers University(罗格斯大学)
最近在类别级操作中已经取得了令人满意的结果,这些操作概括了对象实例。然而,它通常需要昂贵的真实世界的数据汇集和手动规范的语义关键点的每个对象类别和任务。此外,粗略的关键点预测和忽略中间动作序列阻碍了在拾取和放置之外的复杂操作任务中的采用。这项工作提出了一种新的,类别级的操作框架,利用以对象为中心的,类别级的表示和无模型的6自由度运动跟踪。规范对象表示仅在模拟中学习,然后用于解析来自单个演示视频的类别级任务轨迹。演示通过规范表示被重新投影到针对新对象定制的目标轨迹。在执行过程中,操作地平线被分解为远程,无碰撞的运动和最后一英寸的操作。对于后一部分,类别级行为克隆(CatBC)方法利用运动跟踪来执行闭环控制。CatBC遵循从演示投影并锚定到动态选择的类别级别坐标框架的目标轨迹。通过局部注意力机制沿着操纵水平线自动选择帧。该框架允许通过仅提供单个演示来教授不同的操作策略,而无需复杂的手动编程。广泛的实验证明了它在高精度装配中一系列具有挑战性的工业任务中的有效性,这些任务涉及学习复杂的、长期的政策。该过程表现出鲁棒性对不确定性,由于动态以及泛化对象实例和场景配置。补充视频可在www.example.com上获得v = WAr8ZY3mYyw
2022-05-06 cs.AI cs.CV cs.RO
The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations
University of Freiburg(弗赖堡大学)
本文提出将末端执行器速度分解为方向与大小并用黎曼GMM建模,结合技能分割对齐和视觉任务参数自动检测,使机器人仅凭五次RGB-D演示即可学习长时程操作任务,在RLBench上达到最先进性能且样本效率提升20倍。
2024-10-23 cs.LG cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego(加州大学圣地亚哥分校)
虽然计算机视觉在理解手-物交互方面取得了重大进展,但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中,我们提出了一个新的平台和流水线DexMV(灵巧操作视频)的模仿学习。我们设计了一个平台:(i)用于具有多指机器人手的复杂灵巧操纵任务的模拟系统,以及(ii)用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中,我们从视频中提取3D手部和物体姿态,并提出了一种新的演示翻译方法,将人体运动转换为机器人演示。然后,我们应用和基准多个模仿学习算法的演示。我们表明,演示确实可以大大提高机器人学习,并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到:https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation
Georgia Institute of Technology(佐治亚理工学院);Zhejiang Technology(浙江理工大学)
MimicTouch提出通过采集人类多模态触觉演示数据,结合模仿学习与在线残差强化学习,直接学习触觉引导策略,以弥合人手与机器人夹爪的差距,有效解决接触丰富操作任务。
2025-02-06 cs.LG cs.RO
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG;University of Warwick(华威大学)
通过强化学习(RL)掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明,使用稀疏奖励,即只有在任务成功完成时才奖励代理,可以产生更好的策略。然而,在这种情况下,状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习,利用了高质量的人类演示来完成任务,但这些演示可能是昂贵的,耗时的,甚至不可能获得。在本文中,我们提出了一种新颖而有效的方法,不需要人类的示范。我们观察到,从被操纵对象的角度来看,每个机器人操纵任务都可以被视为涉及运动任务,即对象可以学习如何自行达到目标状态。为了利用这一想法,我们引入了一个框架,通过该框架,最初使用现实的物理模拟器获得对象运动策略。然后,该策略用于生成辅助奖励,称为模拟运动演示奖励(SLDR),使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加,并可以实现更高的成功率和更快的学习率相比,替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
AffordGen: Generating Diverse Demonstrations for Generalizable Object Manipulation with Afford Correspondence
Shanghai Qi Zhi Institute(上海启智研究院);Tsinghua University(清华大学);Fudan University(复旦大学);UC Berkeley(伯克利大学)
提出AffordGen框架,利用3D生成模型和视觉基础模型在大规模3D网格上的语义对应生成多样化操作轨迹,训练鲁棒的闭环视觉运动策略,实现零样本泛化到未见物体。
2026-05-30 cs.AI cs.RO
ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations
University of California San Diego(加利福尼亚大学圣迭戈分校)
从3D视觉输入的对象操作对构建可推广的感知和策略模型提出了许多挑战。然而,现有基准中的3D资产大多缺乏与现实世界中的类内拓扑和几何复杂性相一致的3D形状的多样性。在这里,我们提出了SAPIEN操纵技能基准(ManiSkill),以基准在全物理模拟器中的不同对象的操纵技能。ManiSkill中的3D资源包括大型类内拓扑和几何变化。任务经过精心选择,以涵盖不同类型的操纵挑战。3D视觉的最新进展也使我们相信,我们应该定制基准,以便挑战邀请从事3D深度学习的研究人员。为此,我们模拟了一个移动的全景相机,返回以自我为中心的点云或RGB-D图像。此外,我们希望ManiSkill能够为对操作研究感兴趣的广泛研究人员提供服务。除了支持从交互中学习策略外,我们还支持从演示中学习(LfD)方法,提供大量高质量的演示(约36,000个成功的轨迹,约150万个点云/RGB-D帧)。我们使用3D深度学习和LfD算法提供基线。我们的基准测试(模拟器,环境,SDK和基线)的所有代码都是开源的,跨学科研究人员面临的挑战将基于基准测试。
2021-11-04 cs.AI cs.CV cs.LG
Elaborating on Learned Demonstrations with Temporal Logic Specifications
University of Edinburgh(爱丁堡大学)
大多数当前用于从演示示教学习的方法假设仅这些演示就足以学习底层任务。这通常是不正确的,特别是如果存在原始演示中没有的额外安全规范。在本文中,我们允许专家详细说明他们原来的演示与额外的规范信息,使用线性时序逻辑(LTL)。我们的系统将LTL规格转换为可微损失。然后,这种损失用于学习满足底层规范的动态移动原语,同时保持接近原始演示。此外,通过利用对抗性训练,我们的系统学习在看不见的输入上鲁棒地满足给定的LTL规范,而不仅仅是在训练中看到的输入。我们表明,我们的方法是足够的表达工作在各种常见的运动规范模式,如避障,巡逻,保持稳定,速度限制。此外,我们表明,我们的系统可以修改一个基础演示与复杂的规范,逐步组成多个简单的规范。我们还实现了我们的系统上的PR-2机器人演示如何可以开始与初始(次优)演示,然后交互式地提高任务的成功,包括额外的规范执行我们的可微LTL损失。
2020-05-22 cs.LG cs.RO stat.ML
Force-Modulated Dexterity: Unified Compliance for Contact-Rich Manipulation
Amazon FAR(亚马逊FAR);Carnegie Mellon University(卡内基梅隆大学)
针对远程操作中接触力调整困难的问题,提出FOMO-Dex统一柔顺性方法,在多类接触操作任务中降低过度接触力,提升演示数据质量与机器人操作策略性能。
2026-10-14 cs.AI cs.RO
DefGoalNet: Contextual Goal Learning from Demonstrations For Deformable Object Manipulation
University of Utah(犹他大学);NVIDIA Corporation(英伟达公司)
针对形状伺服依赖人工指定目标形状的问题,本文提出 DefGoalNet,从少量人类演示中学习可变形物体目标形状,并在仿真和实体机器人任务中验证其有效性。
2023-09-25 cs.AI cs.LG cs.RO
Learning Diffusion Policies from Demonstrations For Compliant Contact-rich Manipulation
OMRON SINIC X Corporation(欧姆龙SINIC X公司);Department of Engineering Science, Osaka University(大阪大学工程科学系)
针对富接触操作中稳定接触与力控制难题,提出DIPCOM扩散策略框架,从演示学习末端位姿与刚度调节,并通过真实任务验证其优势。
2024-10-25 cs.AI cs.RO
RE4: Transformation-aware Imitation of Object Interactions Using Manipulation Modes
Australian National University(澳大利亚国立大学)
提出RE4框架,通过轻量级自监督姿态估计和操作模式感知的检索、变换、重规划与执行,在保持可解释性的同时提升物体交互模仿学习的性能和鲁棒性。
2026-10-30 cs.LG cs.RO
Residual Learning from Demonstration: Adapting DMPs for Contact-rich Manipulation
University of Edinburgh(爱丁堡大学);Aalto University(阿尔托大学);Monash University(莫纳什大学);Intrinsic(Intrinsic公司);Facebook AI Research(脸书人工智能研究院)
涉及接触和摩擦的操作技能是许多机器人任务所固有的。使用类的电机原语钉孔一样插入,我们研究机器人如何学习这些技能。动态运动原语(Dynamic Movement Primitives,缩写为DMOR)是一种通过行为克隆(Behavior Cloning,缩写为BC)提取此类策略的流行方法,但在插入上下文中可能会遇到困难。策略自适应策略,如剩余学习,可以帮助提高策略的整体性能,在接触丰富的操纵。然而,目前尚不清楚如何最好地使用DMP。因此,我们考虑了几种可能的方法来适应一个学习的公式,并提出了“残余示教学习”(rLfD),一个框架,结合DMPS与强化学习(RL)学习残余校正策略。我们的评估表明,直接在任务空间中应用残差学习并在机器人的完整姿势上操作可以显着提高DMPs的整体性能。我们发现,rLfD提供了一个温和的关节解决方案,提高了任务的成功和推广的DMPS \rb{and enables transfer to different geometries and frictions through few-shot task adaptation}。根据一系列任务对拟议框架进行评价。一个模拟机器人和一个物理机器人必须成功地将钉子、齿轮和插头插入各自的插座。本文附带的其他材料和视频可在https://sites.google.com/view/rlfd/上找到。
2022-03-22 cs.AI cs.RO
LodeStar: Long-horizon Dexterity via Synthetic Data Augmentation from Human Demonstrations
University of California San Diego(加州大学圣地亚哥分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对长时程灵巧操作任务数据获取难的问题,提出LodeStar框架,通过基础模型分解人类演示技能,结合强化学习生成合成数据集训练技能,再用SRT策略链接受训技能,显著提升任务性能与稳健性。
2025-08-24 cs.AI cs.LG cs.RO
Learning Variable Compliance Control From a Few Demonstrations for Bimanual Robot with Haptic Feedback Teleoperation System
OMRON SINIC X Corporation(欧姆龙SINIC X公司);The University of Tokyo(东京大学)
针对刚性机器人在富接触任务中难以适应环境的问题,提出结合VR触觉反馈遥操作界面与基于Transformer动作分块的Comp-ACT方法,从少量示范中学习变柔顺控制,有效提升了机器人灵巧操作的适应性与安全性。
2024-09-26 cs.AI cs.LG cs.RO
Instant-Fold: In-Context Imitation Learning for Deformable Object Manipulation
The Robot Learning Lab(机器人学习实验室);Imperial College London(伦敦帝国学院)
提出Instant-Fold框架,通过单次人类演示的情境模仿学习,无需梯度更新即可推断并执行多种可变形物体操作模式,在仿真训练后零样本迁移到真实世界。
2026-10-14 cs.AI cs.CV cs.RO
State-Only Imitation Learning for Dexterous Manipulation
UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校);New York University(纽约大学)
现代无模型强化学习方法最近在许多问题上表现出令人印象深刻的结果。然而,由于样品的高度复杂性,像灵巧操作这样的复杂领域仍然是一个挑战。为了解决这个问题,目前的方法采用状态-动作对形式的专家演示,这对于现实世界的设置(例如从视频中学习)是很难获得的。在本文中,我们走向一个更现实的设置,并探讨只有状态的模仿学习。为了解决这个问题,我们训练一个逆动力学模型,并使用它来预测仅状态演示的动作。逆动力学模型和策略被联合训练。我们的方法与状态-动作方法相当,并且远远优于单独的RL。通过不依赖于专家的行动,我们能够从不同的动态,形态和对象的演示中学习。视频可在https://people.eecs.berkeley.edu/~ilija/soil获得。
2021-12-29 cs.LG cs.RO stat.ML
Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation
JD Explore Academy(京东探索研究院)
本文介绍了我们为SAPIEN ManiSkill挑战2021中的以下两个轨道设计的系统的概述和比较分析:无交互轨道:无交互轨道目标,用于从预先收集的演示轨道中学习策略。我们研究了两种基于模仿学习的方法,即,使用经典的监督学习技术和基于离线强化学习的方法来模仿该轨道的观察到的行为。此外,物体和机器人手臂的几何和纹理结构通过基于transformer的网络来促进模仿学习。无限制轨道:在这条赛道上,我们设计了一个启发式的基于规则的方法(HRM)触发高质量的对象操作分解成一系列的子任务的任务。对于每个子任务,采用简单的基于规则的控制策略来预测可以应用于机器人手臂的动作。为了简化我们系统的实现,所有源代码和预训练模型都可以在\url{https://github.com/caiqi/Silver-Bullet-3D/}上获得。
2022-06-13 cs.CV cs.LG cs.MM
Temporal Logic Imitation: Learning Plan-Satisficing Motion Policies from Demonstrations
MIT(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学);Brown University(布朗大学)
针对从演示中学习方法在人在回路扰动下无法保证任务复现的问题,提出以模式为离散抽象、结合具模式不变性与目标可达性的运动策略的时序逻辑模仿方法,可模拟LTL指定的离散规划,对两级扰动鲁棒且保证任务成功。
2022-12-14 cs.AI cs.FL cs.LG
EaDex: A Cross-Embodiment Dexterous Manipulation Framework from Low-Cost Demonstrations
Faculty of Robot Science and Engineering, Northeastern University(机器人科学与工程学院,东北大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);School of Automation, Nanjing University of Information Science and Technology(自动化学院,南京信息科学技术大学)
提出EaDex框架,通过RGB-D相机捕捉人手运动并构建结构化演示数据,结合基于接触奖励的动态演示退火机制,在低成本演示条件下实现多形态灵巧操作的快速学习和训练。
2026-06-02 cs.RO
Vision-based Robot Manipulation Learning via Human Demonstrations
Beihang University(北京航空航天大学)
基于视觉的学习方法为机器人学习复杂的操作任务提供了希望。然而,如何将学习到的操作技能推广到现实世界的交互仍然是一个悬而未决的问题。在这项工作中,我们研究了机器人操作技能的学习,从一个单一的第三人称视图演示使用活动识别和目标检测在计算机视觉。为了促进跨对象和环境的泛化,我们建议使用文本语料库形式的先验知识库来推断在机器人的上下文中要与之交互的对象。我们评估我们的方法在现实世界中的机器人,使用几个简单和复杂的操作任务,在日常生活中经常执行。实验结果表明,即使在少量训练数据的情况下,该方法也能取得良好的泛化性能。
2020-03-01 cs.RO
Learning and Generalizing Variable Impedance Manipulation Skills from Human Demonstrations
通过学习可变阻抗控制策略,机器人助手可以智能地调整其操作依从性,以确保在人机交互环境中操作时的安全交互和正确的任务完成。在本文中,我们提出了一个基于DMP的框架,学习和推广可变阻抗操纵技能,从人类的示范。该框架提高了机器人$'$对环境变化(即机器人末端执行器抓取物体的重量和形状变化)的适应性,并继承了基于演示方差的刚度估计方法的效率。此外,我们的刚度估计方法,我们不仅产生平移刚度配置文件,但也旋转刚度配置文件中被忽略或不完整的大多数学习变阻抗控制文件。一个7自由度冗余度机器人操作器的真实世界的实验已经进行了验证我们的框架的有效性。
2021-12-27 cs.RO
Combined Task and Action Learning from Human Demonstrations for Mobile Manipulation Applications
University of Freiburg(弗莱堡大学)
示教学习是向机器人传递知识的一种很有前途的范例。然而,直接从人类教师学习移动操作任务是一个复杂的问题,因为它需要学习模型的总体任务目标和基本的行动。此外,从少量的演示中学习通常会导致教师意图的模糊性,这使得致力于将任务推广到新环境的一个模型具有挑战性。在本文中,我们提出了一种方法来学习灵活的移动操作动作模型和任务目标表示教师演示。我们的动作模型使机器人能够考虑每个动作的不同可能结果,并生成实现这些结果的可行轨迹。因此,我们利用基于蒙特卡罗树搜索的概率框架来计算在新设置中模仿教师意图的可行动作序列,而不需要教师指定明确的目标状态。我们证明了我们的方法在现实世界中进行的复杂任务的有效性。
2019-08-25 cs.RO
ManiSkillFormer: Demonstration-Free Compositional Manipulation via Geometric Contracts and Agentic Skill Graph
Carnegie Mellon University(卡内基梅隆大学)
ManiSkillFormer通过任务条件几何契约连接感知与行动,利用LLM生成技能模板,实现无演示的组合操作,在多种任务上取得高成功率。
2026-09-24 cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida(中佛罗里达大学)
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法,通过无监督跨具身对齐和人类示范动力学学习,在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO