Bootstrapping Robotic Skill Learning With Intuitive Teleoperation: Initial Feasibility Study
The Chinese University of Hong Kong(香港中文大学);Multi-Scale Medical Robotics Center(多尺度医疗机器人中心);Technical University of Munich(慕尼黑工业大学);Cornerstone Robotics Limited(基石机器人有限公司)
本文提出利用直观遥操作设备高效生成高质量演示,构建dS4D系统,验证其在多种操作任务中优于其他接口,并初步证明用于策略学习的可行性。
2023-11-11 cs.RO
A Framework for Learning and Reusing Robotic Skills
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Persistent Autonomy and Robot Learning (PeARL) Lab(持久自主与机器人学习实验室)
本文提出一种机器人技能学习与复用框架,通过多模态分割和轨迹聚类将演示自动构建为运动基元库,并利用轨迹编辑实现基元在新环境中的复用。
2024-06-28 cs.RO
Learning Robotic Ultrasound Scanning Skills via Human Demonstrations and Guided Explorations
Wuhan University(武汉大学);The Chinese University of Hong Kong(香港中文大学)
本文提出一种基于人类示范和引导探索的学习方法,将超声扫描技能建模为多模态模型,利用模仿学习训练并后优化,以实现机器人自主超声扫描。
2021-11-02 cs.AI cs.RO
ZeroMimic: Distilling Robotic Manipulation Skills from Web Videos
University of Pennsylvania(宾夕法尼亚大学)
提出 ZeroMimic 系统,通过蒸馏网络人类视频数据集生成可立即部署的图像目标条件化机器人操作技能策略,无需特定机器人示范,在多种真实与模拟环境中展现出色泛化能力。
2025-03-31 cs.CV cs.LG cs.RO
AW-Opt: Learning Robotic Skills with Imitation and Reinforcement at Scale
Robotics at Google(谷歌机器人部门);X, The Moonshot Factory(X(登月工厂));UC Berkeley(加州大学伯克利分校)
机器人技能可以通过模仿学习(IL)使用用户提供的演示来学习,或者通过强化学习(RL)使用大量自主收集的经验来学习。这两种方法都有互补的优点和缺点:RL可以达到高水平的性能,但需要探索,这可能非常耗时且不安全; IL不需要探索,只需要学习与所提供的演示一样好的技能。单一方法可以结合两种方法的优点吗?许多先前的方法旨在解决这个问题,提出了各种技术,整合IL和RL的元素。然而,将这些方法扩展到复杂的机器人技能,整合各种离线数据并将其推广到现实世界的场景仍然是一个重大挑战。在本文中,我们的目标是测试现有IL + RL算法的可扩展性,并设计一个系统的基础上详细的实证实验,结合现有的组件在themost有效和可扩展的方式。为此,我们提出了一系列的experimentsaimed在理解每个设计决策的影响,从而开发combined方法,可以利用示范和异构先验datato实现最佳性能的一系列现实世界和现实simulatedrobotic问题。我们的完整方法,我们称之为AW-Opt,结合了加权回归[1,2]和QT-Opt [3]的元素,为机器人操作集成演示和离线数据提供了统一的方法。请参阅https://awopt.github.io了解更多详细信息。
2021-11-11 cs.RO
GPLAC: Generalizing Vision-Based Robotic Skills using Weakly Labeled Images
University Of California, Berkeley(加州大学伯克利分校)
我们解决了学习机器人感觉运动控制策略的问题,这些策略可以推广到视觉多样和看不见的环境。实现广泛的泛化通常需要大型数据集,这对于特定于任务的交互过程(例如强化学习或从演示示教学习)来说是难以获得的。然而,世界上的许多视觉多样性可以通过被动收集的图像或视频数据集来捕获。在我们的方法中,我们称之为GPLAC(广义策略学习与注意力分类器),我们使用交互数据和弱标记的图像数据来增强感觉运动策略的泛化能力。我们的方法结合了动作选择和辅助二进制分类目标的多任务学习,以及使用注意力机制来避免干扰的卷积神经网络架构。我们表明,配对交互数据从一个单一的环境与不同的数据集的弱标记的数据结果大大提高了泛化到看不见的环境,并表明,这种泛化依赖于辅助目标和注意力的架构,我们提出。我们在模拟和真实的机器人机械手上展示了我们的结果,并证明了标准卷积架构和领域自适应方法的实质性改进。
2017-08-07 cs.CV cs.LG cs.RO
Robotic Imitation of Human Assembly Skills Using Hybrid Trajectory and Force Learning
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院)
机器人装配任务涉及复杂和低间隙的插入轨迹,在不同阶段具有不同的接触力。虽然名义上的运动轨迹可以很容易地从人的演示,通过动觉教学,遥操作,仿真,以及其他方法,力的轮廓是很难获得,特别是当一个真正的机器人是不可用的。即使使用物理引擎,在仿真中也很难获得真实的力分布。由于装配过程中的现实差距和不确定性,这种模拟的力分布往往不适合实际的机器人装配。为了解决这个问题,我们提出了一个基于学习的组合框架,通过混合轨迹学习和力学习来模仿人类的装配技能。这项工作的主要贡献是开发了一个框架,结合分层模仿学习,学习标称运动轨迹,与基于强化学习的力控制计划学习最佳的力控制政策,可以满足标称轨迹,同时适应装配任务的力要求。为了进一步改进模仿学习部分,我们开发了一个分层的架构,遵循目标条件模仿学习的思想,离线生成\textit{skill}级别的轨迹学习策略。通过实验验证,我们证实,所提出的基于学习的框架是强大的装配任务中的不确定性,可以生成高质量的轨迹,并可以找到合适的力控制政策,适应任务的力要求更有效。
2021-03-10 cs.RO
Multiform Adaptive Robot Skill Learning from Humans
Hunan University(湖南大学);New Jersey Institute of Technology(新泽西理工学院)
对象操作是人类日常生活中的基本元素。机器人操作已经从操纵刚性物体与坚定的把握,以操纵软物体和处理接触丰富的行动。与此同时,机器人示教学习等技术使人类能够直观地训练机器人。本文讨论了一个新的水平的机器人学习为基础的操作。与单一形式的示教学习相反,我们提出了一种多形式的学习方法,它集成了额外形式的技能获取,包括从定义和评估中进行自适应学习。此外,超越了以伪静态方式处理纯刚性或柔软物体的最先进技术,我们的工作使机器人能够学习处理具有时间关键技能和复杂接触控制的部分刚性部分柔软物体。这种机器人操作能力为人机交互提供了各种新的可能性。
2017-08-17 cs.RO
Never-Ending Behavior-Cloning Agent for Robotic Manipulation
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(机器人国家重点实验室,沈阳自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);School of Automation Science and Engineering, South China University of Technology(自动化科学与工程学院,华南理工大学);Mohamed bin Zayed University of Artificial Intelligence(马斯达尔大学人工智能学院)
本文提出NBAgent,通过持续学习技能共享和特定属性,解决具身机器人中3D场景表示和人类水平任务学习的挑战。
2025-12-26 cs.AI cs.RO
MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale
Robotics at Google(谷歌机器人)
通用机器人系统必须掌握大量不同的技能,才能在一系列日常任务中发挥作用。虽然强化学习为获取个体行为提供了一个强大的框架,但获得每项技能所需的时间使得用RL训练的通才机器人的前景令人生畏。在本文中,我们研究了一个大规模的集体机器人学习系统如何能够同时获得一系列行为,在任务之间共享探索,经验和表示。在这个框架中,新的任务可以从以前学习的任务中不断地实例化,从而提高系统的整体性能和能力。为了实例化这个系统,我们开发了一个可扩展和直观的框架,通过用户提供的期望结果的例子来指定新任务,设计了一个多机器人集体学习系统,用于同时收集多个任务的经验的数据汇集,并开发了一个可扩展和可推广的多任务深度强化学习方法,我们称之为MT-Opt。我们演示了MT-Opt如何学习广泛的技能,包括语义挑选(即,从特定类别中挑选对象),放置到各种固定装置中(例如,将食物放置在盘子上)、覆盖、对准和重新排列。我们训练和评估我们的系统上的一组12个现实世界的任务,从7个机器人收集的数据,并证明了我们的系统的性能,无论是在其能力,以概括到结构相似的新任务,并获得不同的新任务更快地利用过去的经验。我们建议您在https://karolhausman.github.io/mt-opt/上观看视频
2021-04-27 cs.LG cs.RO
Cross-Domain Transfer via Semantic Skill Imitation
University of Southern California(南加州大学);Meta AI;KAIST(韩国科学技术院);Georgia Tech(佐治亚理工学院)
我们提出了一种语义模仿的方法,该方法使用来自源域的演示,例如人类视频,以加速不同目标域中的强化学习(RL),例如模拟厨房中的机器人机械手。我们的方法不是模仿关节速度等低级别动作,而是模仿“打开微波炉”或“打开炉子”等语义技能的序列。这使我们能够跨环境(例如从真实世界到模拟厨房)和代理实施例(例如从双手人类演示到机器人手臂)转移演示。我们评估了三个具有挑战性的跨域学习问题,并匹配了需要域内演示的演示加速RL方法的性能。在模拟的厨房环境中,我们的方法学习长视野机器人操作任务,使用不到3分钟的人类视频演示,从现实世界的厨房。这使得能够通过重复使用演示来缩放机器人学习,例如,作为人类视频收集,以用于在任何数量的目标域中学习。
2022-12-14 cs.LG cs.RO
Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models
Robotics at Google(谷歌机器人部门);University of Toronto(多伦多大学)
本文提出DIAL方法,利用预训练视觉语言模型CLIP的语义理解能力,为大规模未标注机器人演示数据自动生成语言标签,使模仿学习策略能以更低成本获取新能力并泛化至未见指令。
2023-07-01 cs.AI cs.LG cs.RO
Learning Transferable Motor Skills for Geometry-Aware Robotic Surface Tasks
Czech Institute of Informatics, Robotics, and Cybernetics(捷克信息学、机器人学与自动化研究所);Czech Technical University in Prague(布拉格捷克技术大学);Delft University of Technology(代尔夫特理工大学)
提出一种模块化框架,将几何运动规划与执行级专家行为解耦,通过可解释的原子运动规则和神经网络推断,实现跨几何形状的迁移学习。
2026-05-29 cs.RO
RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot
Shanghai Jiao Tong University(上海交通大学)
本文构建并公开发布 RH20T 真实机器人数据集,以视觉、力、音频、动作及人类演示等多模态数据支持一次性模仿学习多样化富接触操作技能。
2023-09-26 cs.AI cs.CV cs.RO
A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
Northeastern University(东北大学)
本文提出受中枢运动系统启发的预训练强化学习方法CMS-PRL,通过融合奖励机制、基底神经节式技能编码和技能活动函数生成多样可复用技能,在稀疏奖励任务中优于基线方法,尤其适用于高自由度机器人。
2024-09-28 cs.AI cs.RO
RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation
CMU(卡内基梅隆大学);Tsinghua IIIS(清华大学信息科学技术学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM AI Lab(麻省理工学院-IBM人工智能实验室)
本文提出 RoboGen 生成式机器人智能体,利用基础与生成模型自动构建任务、场景和监督信号,通过提议—生成—学习循环实现少人工干预的规模化机器人技能学习。
2024-06-14 cs.AI cs.CV cs.LG
Contrast, Imitate, Adapt: Learning Robotic Skills From Raw Human Videos
本文提出三阶段框架 CIA,通过视频对比学习任务先验、轨迹模仿学习动作先验,并借助有限交互适应新场景,在真实任务上显著提升成功率与泛化性。
2024-08-10 cs.RO
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而,强化学习的机器人应用通常会损害学习过程的自主性,以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制,但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务,因为它们明显具有较高的样本复杂度。在本文中,我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务,并且可以有效地学习深度神经网络策略,以便在真实的物理机器人上进行训练。我们证明,训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明,我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation
Stanford University(斯坦福大学)
模仿学习通过解决强化学习的缺点,如探索和奖励规范,使机器人操作任务的学习取得了最新进展。然而,在这方面的研究一直局限于中等规模的数据集,由于难以收集大量的任务演示通过现有的机制。本文介绍了RoboTurk来应对这一挑战。RoboTurk是一个众包平台,用于通过使用广泛可用的移动设备(例如iPhone)进行高质量的基于6自由度轨迹的远程操作。我们评估RoboTurk的三个不同的时间尺度(15- 120秒)的操作任务,并观察到我们的用户界面是统计上类似的专用硬件,如虚拟现实控制器的任务完成时间。此外,我们观察到,网络条件差,如低带宽和高延迟的链接,并没有实质性地影响远程用户的能力,成功地执行任务演示RoboTurk。最后,我们通过收集一个试点数据集来展示RoboTurk的功效;使用RoboTurk,我们从远程工作人员那里收集了137.5小时的操作数据,在22小时的总系统使用中,成功完成了2200多个任务演示。我们表明,通过RoboTurk获得的数据,使策略学习的多步操作任务与稀疏奖励,并在策略学习过程中使用大量的演示提供了学习的一致性和最终性能方面的好处。有关其他结果、视频和下载我们的试点数据集,请访问$\href{http://roboturk.stanford.edu/}{\texttt{roboturk.stanford.edu}}$
2018-11-07 cs.AI cs.LG cs.RO
Implicit Offline Reinforcement Learning via Supervised Learning
ServiceNow Research(ServiceNow研究院);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Google Brain(谷歌大脑);Polytechnique Montréal(蒙特利尔理工学院)
通过监督学习的离线强化学习(RL)是一种简单有效的方法,可以从不同专业水平的策略收集的数据集中学习机器人技能。它与监督学习和行为克隆(BC)一样简单,但利用了返回信息。在由类似专业知识的政策收集的数据集上,隐式BC已被证明与显式BC相匹配或优于显式BC。尽管使用隐式模型通过BC学习机器人技能的好处,但通过监督学习算法的离线RL仅限于显式模型。我们展示了隐式模型如何利用返回信息并匹配或优于显式算法,以从固定数据集获取机器人技能。此外,我们通过监督学习算法展示了我们的隐式方法和其他流行的RL之间的密切关系,以提供一个统一的框架。最后,我们证明了我们的方法对高维操作和运动任务的有效性。
2022-10-21 cs.LG cs.RO stat.ML
From Tabula Rasa to Emergent Abilities: Discovering Robot Skills via Real-World Unsupervised Quality-Diversity
Adaptive & Intelligent Robotics Lab(智能机器人实验室)
本文提出 URSA 框架,扩展 QDAC 以无监督方式让四足机器人在仿真和真实世界中发现并复用多样高性能运动技能,且在损伤适应任务上优于基线。
2025-08-28 cs.AI cs.LG cs.RO
Learning and Extrapolation of Robotic Skills using Task-Parameterized Equation Learner Networks
University of Innsbruck(因斯布鲁克大学);University of Trento(特伦托大学)
模仿学习方法在训练数据的范围内实现了良好的泛化,但是当在该范围之外查询时倾向于生成不可预测的运动。我们提出了一种新的方法,模仿学习与增强的外推能力,利用所谓的方程学习网络(EQLN)。与传统方法不同,EQLN使用监督学习来拟合一组分析表达式,这使得它们能够外推到训练数据的范围之外。我们增加了任务演示与一组任务相关的参数表示每个运动的空间属性,并使用它们来训练EQLN。在运行时间,特征用于查询任务参数化方程学习器网络(TP-EQLN),并生成相应的机器人轨迹。该组特征编码任务的运动学约束,诸如期望的高度或要到达的最终点。我们验证了我们的方法在操作任务中的结果,重要的是要保持外推域中的运动形状。我们的方法还在模拟和真实设置中与现有的最先进方法进行了比较。实验结果表明,TP-EQLN可以尊重编码在特征参数中的轨迹的约束,即使在外推域中,同时保持演示中提供的轨迹的整体形状。
2022-12-16 cs.RO
Versatile Skill Control via Self-supervised Adversarial Imitation of Unlabeled Mixed Motions
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
学习不同的技能是机器人技术的主要挑战之一。为此,模仿学习方法已经取得了令人印象深刻的结果。这些方法需要明确标记的数据集或假设一致的技能执行,以实现对个体行为的学习和主动控制,这限制了它们的适用性。在这项工作中,我们提出了一种合作对抗方法,通过最大限度地提高其可辨别性,从包含不同状态转换模式的未标记数据集中获得具有可控技能集的单一通用策略。此外,我们表明,通过利用生成对抗模仿学习框架中的无监督技能发现,新的和有用的技能出现与成功的任务完成。最后,所获得的多功能的政策进行了测试,一个敏捷的四足机器人称为独奏8,并提出忠实的复制编码在演示中的各种技能。
2023-02-11 cs.AI cs.LG cs.RO
Bridge Data: Boosting Generalization of Robotic Skills with Cross-Domain Datasets
University of California Berkeley(加州大学伯克利分校);University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
机器人学习有望实现广泛推广的学习策略。然而,这种泛化需要足够多样的感兴趣任务的数据集,这可能是非常昂贵的收集。在其他领域,如计算机视觉,它是常见的利用共享,可重用的数据集,如ImageNet,以克服这一挑战,但这已被证明是困难的机器人。在本文中,我们提出了一个问题:如何在机器人技术中实现实际的数据重用,以实现端到端的技能学习?我们假设,关键是使用具有多个任务和多个域的数据集,以便希望训练他们的机器人在新域中执行新任务的新用户可以将此数据集包括在他们的训练过程中,并受益于跨任务和跨领域泛化。为了评估这一假设,我们收集了一个大型的多领域和多任务数据集,其中包括7,200个演示,包括10个环境中的71个任务,并实证研究这些数据如何改善新环境中新任务的学习。我们发现,与单独使用目标领域数据相比,使用建议的数据集和50个新领域中从未见过的任务的演示进行联合训练,平均成功率提高了2倍。我们还发现,在一个新的域中,只有少数任务的数据可以弥合域的差距,使机器人能够执行各种以前的任务,只有在其他域中看到。这些结果表明,重用不同的多任务和多领域数据集,包括我们的开源数据集,可能会为更广泛的机器人泛化铺平道路,消除为每个新的机器人学习项目重新收集数据的需要。
2021-09-27 cs.AI cs.RO
ARCH: Hierarchical Hybrid Learning for Long-Horizon Contact-Rich Robotic Assembly
Stanford University(斯坦福大学);MIT(麻省理工学院);University of Michigan(密歇根大学);Autodesk Research(Autodesk研究)
提出ARCH分层混合学习框架,结合低层技能库与高层策略,实现长时程高精度装配,提升泛化与数据效率。
2025-09-08 cs.RO
Reinforcement Learning on Variable Impedance Controller for High-Precision Robotic Assembly
University of California, Berkeley(加州大学伯克利分校);Siemens Corporate Technology(西门子公司技术部);Technion(以色列理工学院)
精确的机器人操作技能在许多工业环境中是期望的,强化学习(RL)方法有望自主地获得这些技能。在本文中,我们明确考虑将操作空间力/扭矩信息纳入强化学习;这是由人类将感知力映射到控制动作,从而以相当容易的方式完成高精度任务。我们的方法结合RL与力/扭矩信息,通过将一个适当的操作空间力控制器,我们还利用不同的消融处理这些信息。此外,我们提出了一个神经网络架构,推广到合理的变化的环境。我们在开源的西门子机器人学习挑战赛上评估了我们的方法,该挑战赛需要精确和微妙的力控制行为来组装紧密配合的齿轮组。
2019-03-20 cs.RO
Sustainable Transfer Learning for Adaptive Robot Skills
Chair of Machine Tools and Control System, RPTU University Kaiserslautern-Landau(机床与控制系统教席,莱茵兰-普法尔茨凯泽斯劳滕-兰道大学);Innovative Factory Systems, German Institute of Artificial Intelligence(创新工厂系统,德国人工智能研究所)
本文研究了不同机器人平台间的策略迁移,通过强化学习完成peg-in-hole任务,探讨零样本迁移、微调和从头训练的效果,发现微调能显著提升性能,降低训练时间,支持可持续的机器人学习。
2026-04-08 cs.RO
Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models
National University of Singapore(新加坡国立大学);University of Toronto(多伦多大学);Peking University(北京大学);Sichuan University(四川大学);Zhejiang University(浙江大学)
本文提出 Manual2Skill 框架,利用 VLM 解析手册图像、构建分层组装图,并结合 6D 位姿估计与运动规划,实现真实 IKEA 家具的高效精确组装。
2025-10-18 cs.AI cs.RO
NeuroCERIL: Robotic Imitation Learning via Hierarchical Cause-Effect Reasoning in Programmable Attractor Neural Networks
University of Maryland(马里兰大学);Syracuse University(雪城大学)
模仿学习允许社交机器人在没有大量手动编程的情况下从人类教师那里学习新技能,但机器人模仿学习系统很难像人类学习者那样概括演示的技能。当代模仿学习的神经计算方法以数据密集型训练为代价实现了有限的泛化,并且经常产生难以理解和调试的不透明模型。在这项研究中,我们探讨了开发纯神经控制器的社会机器人,学习模仿推理的潜在意图的演示行为的可行性。我们提出了NeuroCERIL,一个受大脑启发的神经认知架构,它使用一种新的假设演绎推理程序来产生可推广的和人类可读的解释。这种方法将自下而上的溯因推理与自上而下的预测验证相结合,并捕获了与广泛的认知领域相关的人类因果推理的重要方面。我们的实验结果表明,NeuroCERIL可以学习各种程序技能,在一个模拟的机器人模仿学习域。我们还表明,它的因果推理过程是计算效率高,它的记忆使用是由高度短暂的短期记忆,很像人类的工作记忆。我们的结论是,NeuroCERIL是一个可行的类人模仿学习的神经模型,可以提高人类与机器人的协作,并有助于人类认知的神经计算基础的调查。
2022-11-11 cs.AI cs.RO
Divide & Conquer Imitation Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
本文提出一种基于顺序归纳偏置的模仿学习方法,将复杂机器人任务分解为可串联的小技能,在仅有一个专家演示的极低数据条件下实现高样本效率的模仿学习。
2023-04-13 cs.AI cs.RO
Sketch-to-Skill: Bootstrapping Robot Learning with Human Drawn Trajectory Sketches
University of Maryland(马里兰大学)
提出 Sketch-to-Skill 框架,将人类二维草图转为三维轨迹以自动生成演示,并结合行为克隆与引导式强化学习,显著降低机器人操作学习门槛。
2025-03-14 cs.AI cs.HC cs.RO
LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning
Department of Translational Surgical Oncology, NCT/UCC Dresden(转化外科肿瘤学系);Cluster of Excellence-CeTI, TUD, Germany(卓越中心-CeTI);Department of Visceral, Thoracic and Vascular Surgery, Faculty of Medicine and University Hospital Carl Gustav Carus, TUD, Germany(visceral、胸腔和血管外科系)
LAR-MoE通过潜在对齐路由在机器人模仿学习中实现无监督的专家混合,提升任务适应性和效率。
2026-03-09 cs.RO
Skill Preferences: Learning to Extract and Execute Robotic Skills from Human Feedback
University of California, Berkeley(加州大学伯克利分校);Covariant
解决具有挑战性的长期任务的一种有前途的方法是通过将生成模型拟合到大型离线演示数据集来提取行为先验(技能)。然而,这种生成模型继承了基础数据的偏差,并在不完美的演示数据上训练时导致较差和不可用的技能。为了更好地将技能提取与人类意图结合起来,我们提出了技能偏好(SkiP),这是一种学习人类偏好模型并使用它从离线数据中提取与人类一致的技能的算法。在提取人类偏好的技能后,SkiP还利用人类反馈来解决RL的下游任务。我们表明,SkiP使模拟厨房机器人能够解决复杂的多步操作任务,并大大优于先前领先的RL算法与人类的喜好,以及领先的技能提取算法没有人类的喜好。
2021-08-11 cs.LG cs.RO
Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation
Key Laboratory of AI Safety of CAS(中国科学院人工智能安全重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
Uni-Skill通过自演化技能库提升机器人操作的通用性与适应性,实现高效技能检索与少样本推理。
2026-03-03 cs.LG cs.RO
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Google Research(谷歌研究院)
强化学习为学习机器人技能提供了一个通用框架,同时最大限度地减少了工程工作量。然而,大多数强化学习算法假设提供了一个精心设计的奖励函数,并为该单个奖励函数学习单个行为。这样的奖励函数在实践中可能难以设计。我们是否可以开发高效的强化学习方法,在没有任何奖励功能的情况下获得各种技能,然后将这些技能重新用于下游任务?在本文中,我们证明了最近提出的无监督技能发现算法可以扩展为一种有效的离线方法,使其适合在现实世界中执行无监督强化学习。首先,我们证明了我们提出的算法在学习效率上有了实质性的提高,使得无奖励的真实世界训练变得可行。其次,我们超越了仿真环境,并在真实的物理硬件上评估算法。在四足动物身上,我们观察到不同步态和不同方向的运动技能出现,没有任何奖励或示范。我们还证明了学习的技能可以组成使用模型预测控制为目标导向的导航,没有任何额外的培训。
2020-04-27 cs.LG cs.RO
Generalize by Touching: Tactile Ensemble Skill Transfer for Robotic Furniture Assembly
Carnegie Mellon University(卡内基梅隆大学);Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
本文提出TEST框架,通过引入触觉反馈的离线强化学习方法学习技能转移模型与自适应策略,解决机器人家具组装的长周期任务泛化问题,实现90%成功率且效率提升4倍以上。
2024-04-26 cs.LG cs.RO
Contextual Latent-Movements Off-Policy Optimization for Robotic Manipulation Skills
Technische Universität Darmstadt(达姆施塔特工业大学)
参数化运动基元已广泛用于机器人任务的模仿学习。然而,参数空间的高维性阻碍了强化学习(RL)设置中这些原语的改进,特别是对于物理机器人的学习。在本文中,我们提出了一种新的观点,处理演示轨迹获得低维,非线性潜在的动态,使用混合物的概率主成分分析(MPPCA)的运动的参数空间。此外,我们介绍了一个新的上下文的非策略RL算法,命名为LAMPO(LAtent-Movements Policy Optimization)。LAMPO可以提供梯度估计从以前的经验,使用自归一化重要性采样,因此,充分利用在以前的学习迭代中收集的样本。这些优点相结合,提供了一个完整的框架,样本有效的偏离政策优化的运动原语的机器人学习的高维操作技能。我们在仿真和真实机器人上进行的实验结果表明,LAMPO提供了样本有效的政策对文献中常见的方法。
2022-02-11 cs.LG cs.RO
Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation
NAVER LABS Europe(NAVER欧洲实验室);TU Darmstadt(达姆施塔特工业大学);EPITA Research Laboratory (LRE)(EPITA研究实验室);German Research Center for AI (DFKI)(德国人工智能研究中心);Center for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for Artificial Intelligence (Hessian.ai)(黑森州人工智能中心)
针对机器人操作技能学习需求,提出一种通过自动生成大量任务、结合非对称自博弈与乘法组合策略的无监督技能发现方法,可生成交互性更强的可组合技能,适配仿真与真实平台的未知操作任务。
2024-10-07 cs.AI cs.LG cs.RO
Robotic Skill Diversification via Active Mutation of Reward Functions in Reinforcement Learning During a Liquid Pouring Task
Cognitive Robotics, Delft University of Technology(德鲁特理工大学认知机器人学);Department of Mechanical Engineering, Politecnico di Milano(米兰理工学院机械工程系);Istituto Dalle Molle di studi sull’intelligenza artificiale (IDSIA USI-SUPSI), Scuola universitaria professionale della Svizzera italiana, DTI(智能人工智能研究所(IDSIA USI-SUPSI),瑞士意大利大学专业学院,DTI)
本文提出在强化学习奖励函数权重上施加高斯噪声的主动变异框架,以液体倾倒任务为例,使机器人不仅能产生多样化的倾倒行为,还能衍生出容器清洁、液体混合等新技能。
2025-09-22 cs.LG cs.RO
Autonomous Integration and Improvement of Robotic Assembly using Skill Graph Representations
Department of Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出基于技能图表示的机器人装配系统自主集成与持续改进框架,通过语义级规划与执行接口实现系统配置、执行、评估与学习的统一,提升装配系统的适应性与可重用性。
2026-03-13 cs.RO
iManip: Skill-Incremental Learning for Robotic Manipulation
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Pengcheng Lab(鹏城实验室)
本文针对机器人操作中的技能增量学习问题,提出iManip框架,通过时序回放策略和可扩展PerceiverIO缓解灾难性遗忘,并在RLBench上验证其有效性。
2025-03-10 cs.RO
Skill-Aware Diffusion for Generalizable Robotic Manipulation
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
SADiff通过整合技能层面信息提升机器人操作的泛化能力,引入IsaacSkill数据集进行评估与迁移。
2026-10-14 cs.RO
SkillPlug: Unsupervised Skill Mining for Few-Shot Adaptation in Robotic Manipulation
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
针对机器人操作中学习可转移视觉运动模仿策略的挑战,提出SkillPlug框架,通过技能调节模块挖掘共享可转移技能库,经自监督学习形成任务共享先验,微调轻量级组件实现少样本适应,提升多任务和少样本适应性能。
2026-07-10 cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架,通过操作技能适应和技能专业化聚合,实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
OpenGo: An OpenClaw-Based Robotic Dog with Real-Time Skill Switching
本文提出OpenGo,一种基于OpenClaw的机器人狗,具备实时根据场景和任务切换技能的能力,通过可定制技能库、技能调度器和自学习框架实现技能的自主组织与切换。
2026-04-02 cs.AI cs.RO
Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance Action Space
Technical University of Munich (TUM)(慕尼黑工业大学)
智能代理必须能够快速和缓慢地思考,以执行复杂的操作任务。强化学习(RL)在一系列具有挑战性的决策任务上取得了许多有希望的结果。然而,在现实世界的机器人技术中,这些方法仍然很困难,因为它们需要大量昂贵的交互,并且反馈循环缓慢。另一方面,快速的类人自适应控制方法可以优化复杂的机器人交互,但无法集成非结构化任务所需的多模态反馈。在这项工作中,我们建议在分层学习和自适应架构中考虑学习问题,以两全其美。该框架由两个部分组成,一个缓慢的强化学习政策优化的任务策略给定的多模态观测,和一个快速,实时的自适应控制策略不断优化的运动,稳定性和努力的机械手。我们通过一个生物灵感的行动空间将这些组件结合起来,我们称之为AFORCE。我们展示了新的动作空间上的接触丰富的操作任务在真实的硬件和评估其性能上的三个模拟操作任务。我们的实验表明,AFORCE大大提高了样本效率,同时降低了能耗并提高了安全性。
2021-10-20 cs.LG cs.RO
DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks
University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);Amazon Transportation Services(亚马逊运输服务公司);University College London(伦敦大学学院)
DexSkills提出一种基于触觉数据的监督学习框架,将长时程灵巧操作任务分解为可复用原始技能并实现机器人一次性自主执行。
2024-05-06 cs.RO
Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
Seoul National University(首尔国立大学)
当前机器人强化学习(RL)由于固有的特定于任务的训练范式,在推广到新的下游任务时经常遇到困难。为了缓解这一问题,无监督强化学习(unsupervised RL)是一种以任务不可知的方式对智能体进行预训练的框架,而无需获得特定于任务的奖励,它利用积极的探索将各种经验提炼成基本技能或可重用的知识。为了在机器人操作中利用这些好处,我们提出了一种无监督的方法,用于可转移的操作技能发现,将结构化探索与交互行为和可转移的技能学习联系起来。它不仅使智能体能够学习交互行为,机器人操作学习的关键方面,没有访问的环境奖励,但也推广到任意下游的操作任务与学习的任务不可知的技能。通过比较实验,我们表明,我们的方法实现了最多样化的互动行为,并显着提高样本效率在下游任务,包括扩展到多对象,多任务问题。
2022-04-29 cs.LG cs.RO
Search-Based Task Planning with Learned Skill Effect Models for Lifelong Robotic Manipulation
Carnegie Mellon University(卡内基梅隆大学)
部署在许多现实环境中的机器人需要能够随着时间的推移获得新技能并解决新任务。以前的技能规划工作通常对技能和任务的结构做出假设,例如子目标技能,共享技能实现或特定于任务的计划框架,这限制了对新技能和任务的适应。相比之下,我们建议通过使用在模拟中学习的高级技能效果模型在参数化技能空间中进行联合搜索来进行任务规划。我们使用迭代训练过程来有效地生成相关数据来训练这样的模型。我们的方法允许灵活的技能参数化和任务规范,以促进终身学习的通用领域。实验表明,我们的规划者能够以终身的方式整合新技能,在训练和测试任务中以更低的成本找到新的任务策略。我们还表明,我们的方法可以转移到现实世界中,而无需进一步微调。
2022-04-14 cs.RO
Toward Personalized Training and Skill Assessment in Robotic Minimally Invasive Surgery
Wayne State University(韦恩州立大学)
尽管外科手术技术取得了巨大的进步,但评估手术技能的标准仍然基于主观标准。随着机器人辅助手术的出现,引入了客观和自主技能评估的新机会。以往的研究主要是基于隐马尔可夫模型(HMM)等结构化方法,需要大量的预处理。在这项研究中,与他们相比,我们开发了一个新的基于形状的框架,自动技能评估和个性化的手术训练与最小的参数调整。我们的工作已经解决了技能评估的主要方面,开发手势识别模型,直接对机器人辅助手术的时间运动信号,并建立自动个性化RMIS手势训练框架,我们表明,我们的方法,平均准确度为82%的缝合,70%的穿针和85%的打结,表现优于或等于最先进的方法,同时需要最少的预处理,参数调整,并为外科医生提供在线反馈,他们在培训期间的表现。
2016-11-14 cs.RO
Being-0: A Humanoid Robotic Agent with Vision-Language Models and Modular Skills
Peking University(北京大学);BAAI(百度人工智能研究院);BeingBeyond
本文提出 Being-0 分层人形机器人框架,通过 FM、轻量 VLM Connector 与模块化技能库协同,实现复杂长时程导航与操作任务的实时鲁棒执行。
2025-05-11 cs.LG cs.RO
Decoupling Skill Learning from Robotic Control for Generalizable Object Manipulation
University of Oxford(牛津大学);Hong Kong Polytechnic University(香港理工大学)
最近通过强化学习(RL)或模仿学习(IL)进行的机器人操纵工作已经显示出解决一系列任务的潜力,打开抽屉或橱柜。然而,这些技术推广到看不见的对象很差。我们推测,这是由于联合控制的高维动作空间。在本文中,我们采取了另一种方法,将学习“做什么”的任务与“如何做”的任务分开,即,全身控制。我们提出的强化学习问题之一,确定一个无实体的虚拟机械手与关节对象交互的技能动态。对机器人的运动学控制进行了优化,以实现机器人的高维关节运动,达到工作空间内的目标。它这样做是通过求解二次规划(QP)模型与机器人奇异性和运动学约束。我们的实验上操纵复杂的铰接对象表明,所提出的方法是更普遍的看不见的对象与大类内的变化,优于以前的方法。评估结果表明,我们的方法产生更符合机器人运动,并优于纯RL和IL基线的任务成功率。更多信息和视频可访问https://kl-research.github.io/decoupskill
2023-03-09 cs.CV cs.LG cs.RO
Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation
ShanghaiTech University(上海科技大学)
提出AtomSkill框架,通过语义对比对齐和关键姿态想象,从演示中学习可重用原子技能,实现多任务机器人操作,优于现有方法。
2026-07-03 cs.RO
Robotic Playing for Hierarchical Complex Skill Learning
University of Innsbruck(因斯布鲁克大学)
在复杂的操作场景中(例如,需要双手复杂交互或手内操作的任务),泛化是一个困难的问题。目前的方法仍然需要大量的(监督的)训练数据和/或对环境和任务的强假设。在这个范例中,解决这些任务的控制器往往是复杂的。我们提出了一个范例,保持简单的控制器解决任务,在少数特定的情况下。为了推广到新的情况,机器人将环境从新的情况转换为任务解决方案已知的情况。我们对这个问题的解决方案是玩物体并使用以前训练过的技能(基本技能)。这些技能可以用于估计或改变环境的当前状态,并按技能层次结构组织。该方法在复杂的拾放场景中进行评估,涉及复杂的操作。我们进一步表明,这些技能可以通过自主发挥。
2017-08-13 cs.RO