Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes
RWTH Aachen University(亚琛工业大学)
引导策略搜索使机器人能够有效地学习复杂操作任务的控制策略。其中,控制策略被表示为基于状态导出机器人动作的高维神经网络。然而,由于指导策略搜索中的真实世界轨迹样本数量很少,因此所得到的神经网络仅在真实世界交互所探索的轨迹分布的邻域中是鲁棒的。在本文中,我们提出了一种新的策略表示称为生成运动反射,这是能够在更广泛的状态空间生成强大的行动相比,以前的方法。与先前的状态动作策略相比,生成性运动反射将状态映射到状态依赖运动反射的参数,然后用于导出动作。鲁棒性是通过对许多状态产生类似的运动反射来实现的。我们评估所提出的方法在模拟和现实世界的操作任务,包括接触丰富的钉孔任务。使用这些评估任务,我们表明,表示为生成运动反射的政策导致强大的操作技能,也探索轨迹分布之外,与以前的方法相比,训练需求更少。
2019-02-19 cs.AI cs.RO
Expanding Motor Skills through Relay Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Google Brain(谷歌大脑)
虽然深度强化学习的最新进展在学习运动技能方面取得了令人印象深刻的成果,但许多经过训练的策略只能在有限的初始状态集合中使用。我们提出了一种技术,将复杂的机器人任务分解为简单的子任务,并按顺序进行训练,使机器人能够逐步扩展其现有的技能集。我们的核心思想是建立一个由神经网络表示的局部控制策略树,我们称之为中继神经网络。从尝试从一小组初始状态实现任务的根策略开始,每个后续策略通过将新状态驱动到现有的“良好”状态来扩展成功的初始状态集。我们的算法利用策略的价值函数来确定每个策略下的状态是否是“好”的。我们利用许多现有的策略搜索算法,学习价值函数的同时,政策,如那些使用演员-评论家表示或使用优势函数,以减少方差。我们证明了继电器网络可以解决欠驱动动态系统的复杂连续控制问题。
2018-11-15 cs.RO
Training Humans to Train Robots Dynamic Motor Skills
Department of Engineering, King’s College London(伦敦国王学院工程系)
示教学习(LfD)通常被认为是允许新手用户向机器人教授运动技能的自然和直观的方式。然而,重要的是要承认,LfD的有效性在很大程度上取决于教学质量,这可能无法保证新手。除了为特定的教学任务提供临时建议外,如何最有效地指导演示者进行信息演示,这仍然是一个悬而未决的问题。为此,本文调查了使用机器教学,以获得一个指数,用于确定演示的质量,并评估其使用的指导和培训新手成为更好的教师。一个简单的学习机器人的实验表明,通过所提出的方法,教师的指导和培训,可以导致高达66.5%的错误减少在学习技能。
2021-05-13 cs.AI cs.HC cs.RO
Skill-informed Data-driven Haptic Nudges for High-dimensional Human Motor Learning
Department of Electrical and Computer Engineering, Michigan State University(电气与计算机工程系,密歇根州立大学);Department of Kinesiology and the Department of Mechanical Engineering, Michigan State University(运动科学系和机械工程系,密歇根州立大学)
本文提出了一种数据驱动框架,利用学习者的估计技能设计最优触觉提示反馈,以解决在高维冗余运动空间中学习新运动任务的挑战。通过输入-输出隐马尔可夫模型建模人类运动学习的随机动态,并将触觉提示反馈设计问题建模为部分可观测马尔可夫决策过程,从而推导出最优提示策略。
2026-04-13 cs.HC cs.RO cs.SY
Learning Whole-body Motor Skills for Humanoids
The University of Edinburgh(爱丁堡大学)
本文提出了一种用于深度强化学习的分层框架,该框架可以获得各种推动恢复和平衡行为的运动技能,即,踝关节,髋关节,脚倾斜,和步进策略。该策略在物理模拟器中进行训练,该物理模拟器具有真实的机器人模型设置和低级别的阻抗控制,易于将学到的技能转移到真实的机器人上。与传统方法相比的优点是将高级规划器和反馈控制全部集成在一个单一的连贯策略网络中,这对于学习针对任意位置处的未知扰动的通用平衡和恢复运动是通用的(例如,腿、躯干)。此外,所提出的框架允许的政策,快速学习的许多国家的最先进的学习算法。通过比较我们的学习结果的预编程,特殊用途的控制器在文献中的研究,自学技能是可比的干扰抑制方面,但具有额外的优势,产生广泛的自适应,通用和鲁棒的行为。
2020-02-07 cs.LG cs.RO stat.ML
Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies
DeepMind(深度思维)
对于在现实世界中操作的机器人,希望学习可重复使用的行为,这些行为可以有效地转移并适应许多任务和场景。我们提出了一种方法来学习抽象的运动技能的数据使用分层混合潜变量模型。与现有的工作相比,我们的方法利用了离散和连续潜变量的三级层次结构,以捕获一组高级行为,同时允许它们如何执行的差异。我们在操作域中证明,该方法可以有效地将离线数据聚类为不同的可执行行为,同时保留连续潜变量模型的灵活性。由此产生的技能可以转移和微调新的任务,看不见的对象,并从状态到基于视觉的政策,产生更好的样本效率和渐近性能相比,现有的技能和模仿为基础的方法。我们进一步分析了这些技能如何以及何时最有益:它们鼓励定向探索覆盖与任务相关的状态空间的大区域,使它们在挑战稀疏奖励设置时最有效。
2022-03-14 cs.AI cs.LG cs.RO
Socially Guided Intrinsic Motivation for Robot Learning of Motor Skills
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
本文提出了一种结合主动内在动机学习和模仿学习的机器人学习运动技能的技术途径。我们的架构,称为SGIM-D,允许高效学习机器人中的高维连续感觉运动逆模型,特别是学习参数化运动策略的分布,解决相应的参数化目标/任务的分布。这是通过将模仿学习技术技术集成在用于学习依赖于主动目标模糊的逆模型的算法内而实现的。在回顾了社会学习和内在动机的行动学习方法,我们描述了我们的算法的一般框架,然后详细介绍了其架构。在一个机器人手臂必须学会使用灵活的鱼线的实验中,我们说明了SGIM-D有效地结合了社会学习和内在动机的优势,并从人类演示属性中受益,以学习如何在环境中产生不同的结果,同时在大空间中开发更精确的控制策略。
2018-04-19 cs.AI cs.LG cs.RO
Learning Transferable Motor Skills for Geometry-Aware Robotic Surface Tasks
Czech Institute of Informatics, Robotics, and Cybernetics(捷克信息学、机器人学与自动化研究所);Czech Technical University in Prague(布拉格捷克技术大学);Delft University of Technology(代尔夫特理工大学)
提出一种模块化框架,将几何运动规划与执行级专家行为解耦,通过可解释的原子运动规则和神经网络推断,实现跨几何形状的迁移学习。
2026-05-29 cs.RO
Identifying Important Sensory Feedback for Learning Locomotion Skills
University of Edinburgh(爱丁堡大学);Shenzhen Amigaga Technology Co Ltd(深圳阿米嘎嘎科技有限公司);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));University College London(伦敦大学学院)
本文提出一种系统显著性分析方法,定量评估深度强化学习中不同反馈状态对机器人运动技能的相对重要性,识别出关键状态并证明仅使用关键状态即可实现与全状态相当的性能,为机器人运动学习提供了指南。
2023-06-29 cs.LG cs.RO
Constrained Dynamic Movement Primitives for Safe Learning of Motor Skills
Brown University(布朗大学);Mitsubishi Electric Research Labs(三菱电机研究实验室)
动态运动基元被广泛用于学习技能,这些技能可以由熟练的人或控制器向机器人演示。虽然它们的泛化能力和简单的公式使它们非常有吸引力,但它们没有强有力的保证来满足任务的操作安全约束。在本文中,我们提出了受约束的动态运动基元(C),它可以让约束满足的机器人工作空间。我们提出了一个非线性优化的配方,扰动的局部加权回归回归的强制权,承认归零障碍函数(ZBF),这证明工作空间约束满足。我们证明了建议的Cynomial在不同的约束下的末端执行器的运动,如避障和工作空间的物理机器人的限制。一个视频显示了在不同环境中使用不同的操纵器实现所提出的算法,可以在这里找到https://youtu.be/hJegJJkJfys。
2022-09-28 cs.AI cs.RO
Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation
Kyoto University(京都大学);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所(ATR))
本研究提出一种用于基础策略获取的多任务强化学习算法,通过构建编码器-解码器网络及网络选择机制,使策略能适应多变的动态运动任务,并成功生成全新的运动技能。
2025-03-02 cs.LG cs.RO
From Human Hands to Robotic Limbs: A Study in Motor Skill Embodiment for Telemanipulation
Minnesota Robotics Institute (MNRI), University of Minnesota(明尼苏达大学明尼苏达机器人研究所(MNRI))
本文提出一种基于GRU变分自编码器和全连接网络的遥操作系统,将人类手臂手势映射到冗余自由度机械臂的潜在构型空间,实现实时轨迹生成并能泛化到训练中未见过的构型。
2025-02-04 cs.AI cs.RO
Smart Textiles that Teach: Fabric-Based Haptic Device Improves the Rate of Motor Learning
当人们意识到自己的错误并做出一致的努力来纠正错误时,他们对运动活动的学习效果最好。虽然触觉接口可以促进运动训练,但现有的接口通常体积庞大,并且并不总是确保训练后的技能保持。在这里,我们描述了一个可编程的触觉套筒组成的纺织品为基础的电粘附离合器的技能获取和保留。我们在运动学习研究中展示了它的功能,用户使用肘关节旋转控制无人机的运动。触觉反馈用于抑制肘关节运动并使用户意识到他们的错误。这有助于用户有意识地学习避免错误的发生。虽然所有受试者在运动学习的基线阶段表现出相似的表现,但在评价阶段,从触觉套筒接收触觉反馈的受试者的错误比对照组的受试者少23.5%。结果表明,套筒帮助用户保留和转移运动技能比单独的视觉反馈更好。这项工作显示了潜在的织物为基础的触觉接口作为训练辅助运动任务的康复和遥操作领域。
2021-07-12 cs.HC cs.RO
An Efficient Model-Based Approach on Learning Agile Motor Skills without Reinforcement
Tencent Robotics X(腾讯Robotics X实验室);Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);University of Alberta(阿尔伯塔大学)
提出一种结合世界模型与VAE策略网络的高效基于模型框架,无需强化学习即可学习敏捷运动技能,实现十倍样本效率提升和快速真实世界部署。
2024-03-18 cs.RO
Initial Test of "BabyRobot" Behaviour on a Teleoperated Toy Substitution: Improving the Motor Skills of Toddlers
UPC BarcelonaTech(加泰罗尼亚理工大学巴塞罗那技术学院);IRII (CSIC-UPC)(工业机器人与信息技术研究所(西班牙国家研究委员会-加泰罗尼亚理工大学));IDEAI-UPC(加泰罗尼亚理工大学智能数据与人工智能研究所)
本文介绍了一种旨在提高婴幼儿运动技能的机器人“婴儿机器人”。作者开发了一种类似汽车的玩具,使用强化学习和计算机视觉技术自主移动。机器人的行为是从先前已经识别或至少检测到的目标婴儿处逃脱,同时避开障碍物,使得婴儿的安全性不受损害。无数具有类似移动性改进目的的商业玩具进入市场;然而,没有人押注智能自主运动,因为它们在最好的情况下执行简单但重复的轨迹。两个爬行玩具-一个代表“婴儿机器人”-在真实的环境中进行了测试,以检查它们如何改善幼儿的流动性。这些现实生活中的实验是在幼儿园用我们提出的机器人进行的,在那里一群孩子与玩具互动。检测到参与者的运动技能有显著改善。
2023-03-16 cs.CV cs.HC cs.RO
MUJICA: Multi-skill Unified Joint Integration of Control Architecture for Wheeled-Legged Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学);Power China Huadong Engineering Corporation Limited(中国电力工程顾问集团华东分公司)
本文提出MUJICA框架,通过整合多种低级技能,实现轮腿机器人在复杂环境中的自适应移动。
2026-05-13 cs.RO
FOTS: A Fast Optical Tactile Simulator for Sim2Real Learning of Tactile-motor Robot Manipulation Skills
School of Automation, Southeast University(东南大学自动化学院);Key Laboratory of Measurement and Control of CSE, Ministry of Education(东南大学复杂工程系统测量与控制教育部重点实验室);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文提出快速光学触觉模拟器 FOTS,通过多层感知机映射、平面阴影生成和标记分布近似实现高效光学响应与标记运动仿真,并结合 MuJoCo 在销孔装配任务中验证了零样本 Sim2Real 触觉-运动操作技能学习。
2024-05-01 cs.RO
From Knowing to Doing: Learning Diverse Motor Skills through Instruction Learning
Navigation and Control Research Center, Department of Automation, Tsinghua University(清华大学自动化系导航与控制研究中心)
本文提出机器人指令学习框架,将参考轨迹作为前馈动作并结合强化学习反馈控制,辅以动作约束和移除模仿奖励,实现双足与四足机器人多样运动技能的高效学习及 sim-to-real 迁移。
2023-11-01 cs.RO
Assistive Teaching of Motor Control Tasks to Humans
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
最近关于共享自治和辅助人工智能技术的工作,例如辅助机器人遥操作,试图在固定任务中建模和帮助能力有限的人类用户。然而,这些方法往往无法解释人类的适应能力,并最终学会如何自己执行控制任务。此外,在可能需要人类干预的应用中,这些方法可能会抑制他们学习如何成功进行完全自我控制的能力。在本文中,我们专注于运动控制任务,如停车或降落飞机的辅助教学问题。尽管它们在人类的日常活动和职业中无处不在,但由于其高度复杂性和多样性,运动任务很少以统一的方式教授。我们提出了一种人工智能辅助教学算法,该算法利用强化学习(RL)的技能发现方法(i)将任何运动控制任务分解为可教技能,(ii)构建新颖的训练序列,(iii)为具有不同能力的学生个性化课程。通过对两个运动控制任务的综合和用户研究的广泛组合-用操纵杆停车和从巴厘岛字母书写字符-我们表明,与没有技能的完整轨迹练习相比,辅助教学技能可以提高学生的成绩约40%,并且使用个性化训练练习可以进一步提高高达25%。我们的源代码可以在https://github.com/Stanford-ILIAD/teaching上找到
2022-11-25 cs.AI cs.HC cs.RO
Robot Composite Learning and the Nunchaku Flipping Challenge
New Jersey Institute of Technology(新泽西理工学院);Hunan University(湖南大学)
先进的运动技能是机器人与人类共存的必要条件。许多关于机器人动力学和控制的研究已经在超级机器人电机能力方面取得了成功,但大多是通过大量的案例特定工程。同时,在机器人以普遍存在的方式获取技能方面,机器人学习从人类演示(LfD)取得了很大进展,但在处理动态技能和复合动作方面仍然存在局限性。在本文中,我们提出了一个复合学习计划,超越LfD和集成机器人学习从人类的定义,演示和评价。该方法解决了先进的运动技能,需要动态的时间临界机动,复杂的接触控制,并处理部分软部分刚性物体。我们还介绍了“双截棍翻转挑战”,一个极端的测试,把硬要求,所有这三个方面。本文在前面介绍的基础上,介绍了复合学习方案的最新进展和双节棍翻转挑战赛的物理成功。
2017-09-11 cs.RO
Learning agile and dynamic motor skills for legged robots
ETH Zurich(苏黎世联邦理工学院);Intel(英特尔)
足式机器人是机器人技术中最大的挑战之一。动物的动态和敏捷的动作不能被人类制作的现有方法模仿。另一个引人注目的替代方案是强化学习,它需要最少的工艺,并促进控制策略的自然演变。然而,到目前为止,针对足式机器人的强化学习研究主要局限于仿真,只有很少且非常简单的例子被部署在真实系统上。主要原因是,使用真实机器人进行训练,特别是使用动态平衡系统进行训练,既复杂又昂贵。在目前的工作中,我们介绍了一种方法,用于训练神经网络政策模拟和转移到一个国家的最先进的腿系统,从而利用快速,自动化,具有成本效益的数据生成方案。该方法适用于ANYmal机器人,一个复杂的中型狗大小的四足系统。使用在模拟中训练的策略,四足机器实现了超越先前方法的运动技能:ANYmal能够精确和节能地遵循高水平的身体速度命令,比以前跑得更快,甚至在复杂的配置中从跌倒中恢复。
2019-01-24 cs.LG cs.RO stat.ML
The e-Bike Motor Assembly: Towards Advanced Robotic Manipulation for Flexible Manufacturing
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文面向柔性制造提出现场示教与编程自适应机器人的四层框架,整合自监督感知、示教学习技能、任务排序与在线优化,并在电动自行车电机装配和密集箱体装箱中验证。
2023-04-20 cs.RO
Extreme-RGMT: Continual Learning of Highly Dynamic Skills for Robust Generalist Humanoid Control
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);Humanoid Robotics (Shanghai) Co., Ltd.(人形机器人(上海)有限公司);School of Mechanical Engineering, Shandong University(山东大学机械工程学院)
研究针对类人机器人控制器通用与专业能力权衡问题,提出两阶段持续学习框架极端-RGMT。先学通用运动跟踪基础策略,再用特定机制约束策略漂移,结合两种采样方法解决数据问题,实现最优通用全身运动跟踪性能,推动控制器向人类专家水平发展。
2026-07-23 cs.RO
MyoSuite -- A contact-rich simulation suite for musculoskeletal motor control
Meta AI Research(Meta人工智能研究院);University of Twente(特文特大学)
在连续控制域中的智能体对允许探索肌肉骨骼特性的任务的接触有限,这些特性使生物体具有敏捷和灵活的行为。神经肌肉骨骼控制背后的复杂性可能会给运动学习社区带来新的挑战。与此同时,解决复杂神经控制问题的智能体可以在神经康复和协作机器人等领域产生影响。人体生物力学是复杂的多关节多驱动器肌肉骨骼系统的基础。感觉运动系统依赖于一系列丰富的感觉接触和本体感受输入,这些输入定义和调节在物理世界中表现出智能行为所需的肌肉致动。目前的肌肉骨骼控制框架不支持肌肉骨骼系统的生理复杂性以及物理世界的相互作用能力。此外,它们既不是嵌入在复杂和熟练的运动任务中,也不是计算有效的和可扩展的,以研究大规模的学习范式。在这里,我们介绍了MyoSuite -一套生理上精确的生物力学模型,包括肘部、手腕和手,具有物理接触能力,可以学习复杂而熟练的接触丰富的现实世界任务。我们提供各种电机控制挑战:从简单的姿势控制到熟练的手-物交互,例如转动钥匙,旋转笔,一只手旋转两个球等。(肌腱转移),辅助装置(外骨骼辅助)和肌肉收缩动力学(肌肉疲劳,肌肉减少症),我们提出了现实生活中的任务与时间的变化,从而暴露现实的非稳态条件下,在我们的任务,大多数连续控制基准缺乏。
2022-05-26 cs.AI cs.LG cs.RO
Learning Multimodal Contact-Rich Skills from Demonstrations Without Reward Engineering
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
针对富接触操作中多模态融合与奖励工程难题,提出无模型从演示学习框架及多模态传感器表示,并在 Sawyer 上验证清洁、书写、削皮技能。
2021-04-14 cs.RO
Trajectory Entropy Reinforcement Learning for Robust Robot Motor Skill Learning
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
针对深度强化学习易受环境扰动影响的问题,提出轨迹熵强化学习方法,通过最小化动作轨迹熵引入简洁性归纳偏置,并联合优化策略与预测模型,在多个高维运动任务中实现了更优的性能与鲁棒性。
2026-09-21 cs.LG cs.RO stat.ML
Experience Reuse with Probabilistic Movement Primitives
Technische Universität Darmstadt(达姆施塔特工业大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Universität zu Lübeck(吕贝克大学)
获得新的机器人运动技能是很麻烦的,因为从头开始学习一项技能并且没有先验知识需要探索大空间的运动配置。因此,为了学习新任务,可以通过利用类似任务的解来初始化参数搜索空间来限制参数搜索空间,从而节省时间。我们提出了一个框架,这是能够这样的知识转移,从已经学到的运动技能,一个新的学习任务。该框架结合了概率运动原语的技能表示的影响的描述。新的技能首先初始化的参数推断相关的运动原语,然后通过相对熵策略搜索适应新的任务。我们比较了两种不同的转移方法来初始化的搜索空间分布与数据的已知技能具有类似的效果。我们展示了两种知识转移方法在模拟3自由度机器人的物体推送任务上的不同好处。我们可以证明,当利用过去的经验时,学习技能的质量得到了提高,学习新任务所需的迭代次数可以减少60%以上。
2020-03-16 cs.LG cs.RO stat.ML
Learning a Set of Interrelated Tasks by Using Sequences of Motor Policies for a Strategic Intrinsically Motivated Learner
Université Bretagne Sud(南布列塔尼大学);IMT Atlantique(大西洋高等矿业电信学校)
我们提出了一个主动学习架构的机器人,能够组织其学习过程,以实现一个领域的复杂任务,通过学习序列的电机政策,称为内部激励程序咿呀学语(IM-PB)。学习者可以概括其经验,不断学习新的任务。它根据自身进步的经验衡量,积极选择学习什么和如何学习。在本文中,我们正在考虑学习的一组相互关联的任务成果层次组织。我们引入了一个框架,称为“程序”,这是由以前学到的技能的组合定义的政策序列。我们的算法架构使用这些程序来自主发现如何结合简单的技能来实现复杂的目标。它在两种目标导向的探索策略之间进行积极的选择:探索政策空间或程序空间。我们在一个模拟的环境中表明,我们的新架构能够处理复杂的运动策略的学习,以适应其政策的复杂性,手头的任务。我们还表明,我们的“程序”框架有助于学习者解决困难的层次任务。
2019-02-14 cs.AI cs.HC cs.RO
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences(西挪威应用科学大学);University of Plymouth(普利茅斯大学)
为了成功部署物理人机合作(pHRC),人类需要能够快速教会机器人新的运动技能。概率运动基元(ProMPs)是一种很有前途的方法来编码机器人的运动技能,从人类的示范pHRC设置。然而,大多数从人类演示中学习ProMP的算法都以批处理模式运行,这在pHRC中并不理想。在本文中,我们提出了一个新的学习算法,学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示,允许人类观察机器人的学习进度,并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能,现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外,我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程,并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
Maximizing the Use of Environmental Constraints: A Pushing-Based Hybrid Position/Force Assembly Skill for Contact-Rich Tasks
Universität Hamburg(汉堡大学);Agile Robots AG(敏捷机器人公司);Technische Universität München(慕尼黑工业大学)
在现代制造环境中,对接触丰富的任务的需求正在迅速增长。然而,很少有传统的机器人装配技能在任务执行过程中考虑环境约束,他们大多数使用这些约束作为终止条件。在这项研究中,我们提出了一种基于推的混合位置/力组装技能,可以最大限度地提高任务执行过程中的环境约束。据我们所知,这是第一个考虑在装配任务执行过程中使用推动动作的工作。通过移动机械手系统装配任务实验,证明了该方法能够最大限度地利用环境约束,并实现了100%的装配成功率。
2022-08-12 cs.RO
Robust Contact-rich Manipulation through Implicit Motor Adaptation
Idiap Research Institute(Idiap研究机构);École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对富接触操作中物理参数不确定性问题,提出implicit motor adaptation方法,利用tensor train隐式表示基础策略,在粗略参数分布下高效检索参数条件化策略,无需精确系统估计与策略重训练即可实现鲁棒操作与强泛化。
2025-05-28 cs.RO
Efficient Sim-to-real Transfer of Contact-Rich Manipulation Skills with Online Admittance Residual Learning
University of California at Berkeley(加州大学伯克利分校)
提出混合离线-在线框架,通过无模型强化学习获取运动与柔顺参数,在线学习残差以提升性能,在装配、旋转和拧螺丝任务上验证了有效性。
2023-10-16 cs.RO
Going with the Flow: Koopman Behavioral Models as Pseudo Planners for Visuo-Motor Dexterity
Georgia Institute of Technology(佐治亚理工学院)
提出统一行为模型(UBM),将灵巧技能建模为耦合动力系统,确保时间一致性;基于Koopman算子实现线性潜空间,通过在线重规划实现反应性和适应性,在模拟和真实任务中达到或超越现有方法。
2026-06-09 cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Let Humanoids Hike! Integrative Skill Development on Complex Trails
University of Michigan(密歇根大学)
本文提出LEGO-H学习框架,通过时间视觉Transformer与分层强化学习、潜在运动表示与分层度量学习,使人形机器人能在复杂小径上自主远足,综合提升感知、决策与运动执行能力。
2025-05-09 cs.AI cs.CV cs.RO
Learning Contact-Rich Manipulation Skills with Guided Policy Search
University of California, Berkeley(加州大学伯克利分校)
自主学习对象操作技能可以使机器人获得丰富的行为库,这些行为库可以扩展到现实世界中发现的各种对象。然而,当前的运动技能学习方法通常将行为限制为紧凑的低维表示,限制了其表达性和通用性。在本文中,我们扩展了最近开发的政策搜索方法\cite{la-lnnpg-14},并使用它来学习一系列的动态操作行为与高度一般的政策表示,而不使用已知的模型或示例演示。我们的方法通过使用迭代改装的时变线性模型来学习所需运动技能的一组轨迹,然后将这些轨迹统一到可以推广到新情况的单个控制策略中。为了使这种方法能够在真正的机器人上运行,我们引入了几项改进,减少了样本数量和自动化参数选择。我们表明,我们的方法可以在短短几分钟的交互时间后获得快速,流畅的行为,并且可以学习复杂任务的鲁棒控制器,包括组装玩具飞机,堆叠紧密贴合的乐高积木,将木环放在紧密贴合的挂钩上,将鞋树插入鞋子,并将瓶盖拧到瓶子上。
2015-02-26 cs.RO
OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control
OmniXtreme通过分离通用运动技能学习与现实物理技能细化,突破高动态人形控制中保真度与可扩展性的长期权衡。
2026-02-27 cs.RO
Deep Reinforcement Learning for Contact-Rich Skills Using Compliant Movement Primitives
Faculty of Mechanical Engineering(机械工程学院)
近年来,工业机器人已被安装在各个行业,以处理先进制造和高精度任务。然而,与人类操作员相比,工业机器人的进一步集成受到其有限的灵活性,适应性和决策技能的阻碍。装配任务对机器人来说尤其具有挑战性,因为它们具有丰富的接触性,对即使很小的不确定性也很敏感。虽然强化学习(RL)提供了一个很有前途的框架,从头开始学习接触丰富的控制策略,其适用性高维连续状态动作空间仍然相当有限,由于高脆性和样本的复杂性。为了解决这些问题,我们提出了不同的修剪方法,促进收敛和推广。特别是,我们将任务分为自由和接触丰富的子任务,在笛卡尔空间而不是关节空间中执行控制,并参数化控制策略。这些修剪方法自然地在动态运动基元(dynamic movement primitives,简称HMM)的框架内实现。为了处理接触丰富的任务,我们通过引入一个耦合项来扩展RISK框架,该耦合项的作用类似于人类手腕,并在与环境接触时提供主动顺应性。我们证明了所提出的方法可以学习对空间,大小,形状和密切相关的场景不变的插入技能,同时处理大的不确定性。最后,我们证明了学习的政策可以很容易地从模拟转移到现实世界中,并实现类似的性能UR5e机器人。
2020-10-25 cs.LG cs.RO
Using Knowledge Representation and Task Planning for Robot-agnostic Skills on the Example of Contact-Rich Wiping Tasks
Lund University(隆德大学)
针对现有机器人静态编程、刚性控制灵活性不足的问题,提出融合知识表示、任务规划与技能自动选择的通用机器人技能方法,通过多类机器人的富接触擦拭任务验证了跨系统适配能力。
2023-08-27 cs.AI cs.RO
ALAS: Adaptive Long-Horizon Action Synthesis via Async-pathway Stream Disentanglement
Beijing University of Technology(北京理工大学);Fudan University(复旦大学);University of Hamburg(汉堡大学);Hubei University of Chinese Medicine(湖北中医药大学);Tsinghua University(清华大学)
本文提出ALAS框架,通过生物启发的双流解构方法,解决长时域任务中环境与技能耦合问题,提升跨域任务执行效率与成功率。
2026-04-22 cs.RO
Learning a Single Policy for Diverse Behaviors on a Quadrupedal Robot using Scalable Motion Imitation
Georgia Institute of Technology(佐治亚理工学院);Meta Platforms, Inc.(Meta平台公司)
四足机器人学习各种运动技能是一个具有挑战性的问题,需要仔细设计特定任务的数学模型或奖励描述。在这项工作中,我们提出使用深度强化学习通过模仿大量的参考运动来学习单个有能力的策略,包括行走,转弯,踱步,跳跃,坐着和躺着。在现有的运动模仿框架之上,我们首先仔细设计了观察空间,动作空间和奖励函数,以提高学习的可扩展性以及最终策略的鲁棒性。此外,我们采用了一种新的自适应运动采样(AMS)方法,它保持了成功和不成功的行为之间的平衡。这种技术允许学习算法专注于具有挑战性的运动技能,并避免灾难性遗忘。我们证明了学习的策略可以通过成功跟踪训练数据集和分布轨迹来在模拟中表现出不同的行为。我们还通过实验验证了所提出的学习公式和自适应运动采样方案的重要性。
2023-03-27 cs.RO
Efficient Robot Skill Learning with Imitation from a Single Video for Contact-Rich Fabric Manipulation
The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学);Shanghai Jiaotong University(上海交通大学)
针对真实机器人策略探索成本高的问题,提出融合仿真先验学习、单视频状态对齐奖励和安全采样MPC的单样本模仿框架,并在富接触织物操作中验证其快速技能获取能力。
2023-04-24 cs.RO
SELF-VLA: A Skill Enhanced Agentic Vision-Language-Action Framework for Contact-Rich Disassembly
SELF-VLA是一种整合显式拆解技能的代理视觉-语言-动作框架,通过实验在接触丰富的拆解任务中优于现有端到端VLA模型。
2026-03-10 cs.RO
Learning-Based Strategy for Composite Robot Assembly Skill Adaptation
Chair of Machine Tools and Control System, RPTU University Kaiserslautern-Landau(机床与控制系统系,凯撒斯劳滕-兰道大学);Innovative Factory Systems, German Institute of Artificial Intelligence(创新工厂系统,德国人工智能研究中心)
本文提出一种基于残差强化学习的复合机器人装配技能适应方法,通过显式预置、后置和不变条件实现模块化和可重用性,提升工业机器人在接触密集任务中的安全性和样本效率。
2026-04-08 cs.RO
BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文提出BeyondMimic框架,结合紧凑运动跟踪范式与带分类器引导的统一隐扩散模型,可掌握多样高敏捷类人动作并零样本迁移至真实硬件,实现训练外下游任务的通用人形控制。
2025-11-13 cs.RO
AI Coaching for Accelerating Human Skill Development with Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出一种基于非合作动态博弈和强化学习的AI教练框架,通过自适应共享控制和因果影响模型加速人类运动技能发展,在无人机竞速用户研究中显著提升学习效果。
2026-06-25 cs.AI cs.HC cs.RO
DETACH: Cross-domain Learning for Long-Horizon Tasks via Mixture of Disentangled Experts
Beijing University of Technology(北京理工大学);Fudan University(复旦大学);University of Hamburg(汉堡大学);Tsinghua University(清华大学)
本文提出受大脑双通路机制启发的跨域学习框架 DETACH,通过环境与自身状态的双流解耦,在长时程人机场景交互任务中将子任务成功率平均提升 23%、执行效率平均提升 29%。
2025-09-22 cs.AI cs.RO
Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation
Örebro University(厄勒布鲁大学)
在制造业中,装配任务由于不同环境的动态变化而对学习算法提出了挑战。强化学习(RL)是自动学习这些任务的有前途的框架,然而,即使部署条件仅略有不同,也仍然不容易将学习的策略或技能(即解决任务的能力)应用于类似的环境。在本文中,我们解决了利用多个技能先验知识在一系列类似任务中转移知识的挑战。我们建议学习先验分布在完成每个任务所需的特定技能,并组成家庭的技能先验指导学习的政策,为一个新的任务,通过比较目标任务和以前的相似性。我们的方法从每个先前任务的演示轨迹中学习一个潜在的动作空间,表示技能嵌入。我们已经在一组钉孔插入任务上评估了我们的方法,并证明了对训练过程中从未遇到过的新任务的更好的泛化。
2022-09-19 cs.AI cs.LG cs.RO
Learning to Plan & Schedule with Reinforcement-Learned Bimanual Robot Skills
NVIDIA;University of California San Diego(加州大学圣地亚哥分校)
本文提出了一种基于强化学习的双臂机器人技能计划与调度框架,通过分层结构提升复杂任务的执行效率与协调性。
2026-02-05 cs.AI cs.RO
PRISM: Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室);Delta Intelligence(三角洲智能公司);PKU-Wuhan Institute for Artificial Intelligence(北京大学武汉人工智能研究院);Hubei Humanoid Robot Innovation Center Co., Ltd.(湖北人形机器人创新中心有限公司);China Academy of Information and Communications Technology(中国信息通信研究院)
本文介绍PRISM——一个面向高接触工业操作的大规模多模态数据集,涵盖25余项操作任务,包含5000余条共45小时的遥操作演示,为高精度工业场景的多模态感知与控制提供真实基准。
2026-08-19 cs.RO
Seamless Integration and Coordination of Cognitive Skills in Humanoid Robots: A Deep Learning Approach
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本研究探讨如何充分协调之间的不同认知过程的人形机器人可以通过端到端的学习直接感知的视觉流。我们提出了一个深度动态神经网络模型,该模型建立在动态视觉网络、电机生成网络和更高级别的网络之上。该模型的目的是处理和集成的层次模型,其特点是不同的空间和时间的限制施加在每个级别上的动态视觉模式的直接感知。我们进行了合成机器人实验,其中机器人学会通过观察手势来读取人类的意图,然后生成相应的目标导向动作。结果表明,该模型能够学习辅导技能,并将其推广到新的情况。该模型表现出知觉、行动和决策的协同协调,并以无缝的方式整合和协调了一系列认知技能,包括视觉感知、意图阅读、注意转换、工作记忆、行动准备和执行。分析表明,连贯的内部表征出现在层次结构的每一个级别。通过持续整合较低层次的视觉-本体感受流,发展出反映视觉意图的较高层次的表征。
2017-06-08 cs.AI cs.LG cs.RO
REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs
Apple(苹果公司)
REFACTOR-VLA 是用于学习可复用技能的醒/睡系统,在 LIBERO 数据集上,其改进的训练目标提升了聚类性能,生成了首个 real-LIBERO 任务-语言库,性能优于现有基线。
2026-09-02 cs.AI cs.LG cs.RO
tinyDSM: A Framework for Skill Modeling and Development for Resource-Constrained Millirobots
Institute of Computer Technology, TU Wien(维也纳工业大学计算机技术研究所)
本研究提出面向资源受限毫米级机器人的 tinyDSM 框架,结合内在动机与适应性评估,依托分层知识图谱等实现技能建模,使机器人15分钟内自主掌握从基础到复杂的运动技能。
2026-09-10 cs.AI cs.RO
MoDem-V2: Visuo-Motor World Models for Real-World Robot Manipulation
Meta AI;University of California San Diego(加州大学圣迭戈分校)
本文提出 MoDem-V2,结合视觉 MBRL、演示引导与安全探索机制,使机器人能直接在无仪器化真实环境中学习接触丰富的灵巧操作技能。
2024-05-12 cs.AI cs.CV cs.LG