A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
Northeastern University(东北大学)
本文提出受中枢运动系统启发的预训练强化学习方法CMS-PRL,通过融合奖励机制、基底神经节式技能编码和技能活动函数生成多样可复用技能,在稀疏奖励任务中优于基线方法,尤其适用于高自由度机器人。
2024-09-28 cs.AI cs.RO
Decentralized Motor Skill Learning for Complex Robotic Systems
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
本文提出DEMOS去中心化运动技能学习算法,通过自动发现可解耦的运动组并学习去中心化控制策略,提升复杂机器人系统的鲁棒性与泛化能力。
2023-06-30 cs.AI cs.RO
An Efficient Model-Based Approach on Learning Agile Motor Skills without Reinforcement
Tencent Robotics X(腾讯Robotics X实验室);Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);University of Alberta(阿尔伯塔大学)
提出一种结合世界模型与VAE策略网络的高效基于模型框架,无需强化学习即可学习敏捷运动技能,实现十倍样本效率提升和快速真实世界部署。
2024-03-18 cs.RO
Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes
RWTH Aachen University(亚琛工业大学)
引导策略搜索使机器人能够有效地学习复杂操作任务的控制策略。其中,控制策略被表示为基于状态导出机器人动作的高维神经网络。然而,由于指导策略搜索中的真实世界轨迹样本数量很少,因此所得到的神经网络仅在真实世界交互所探索的轨迹分布的邻域中是鲁棒的。在本文中,我们提出了一种新的策略表示称为生成运动反射,这是能够在更广泛的状态空间生成强大的行动相比,以前的方法。与先前的状态动作策略相比,生成性运动反射将状态映射到状态依赖运动反射的参数,然后用于导出动作。鲁棒性是通过对许多状态产生类似的运动反射来实现的。我们评估所提出的方法在模拟和现实世界的操作任务,包括接触丰富的钉孔任务。使用这些评估任务,我们表明,表示为生成运动反射的政策导致强大的操作技能,也探索轨迹分布之外,与以前的方法相比,训练需求更少。
2019-02-19 cs.AI cs.RO
MUJICA: Multi-skill Unified Joint Integration of Control Architecture for Wheeled-Legged Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学);Power China Huadong Engineering Corporation Limited(中国电力工程顾问集团华东分公司)
本文提出MUJICA框架,通过整合多种低级技能,实现轮腿机器人在复杂环境中的自适应移动。
2026-05-13 cs.RO
FOTS: A Fast Optical Tactile Simulator for Sim2Real Learning of Tactile-motor Robot Manipulation Skills
School of Automation, Southeast University(东南大学自动化学院);Key Laboratory of Measurement and Control of CSE, Ministry of Education(东南大学复杂工程系统测量与控制教育部重点实验室);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文提出快速光学触觉模拟器 FOTS,通过多层感知机映射、平面阴影生成和标记分布近似实现高效光学响应与标记运动仿真,并结合 MuJoCo 在销孔装配任务中验证了零样本 Sim2Real 触觉-运动操作技能学习。
2024-05-01 cs.RO
From Knowing to Doing: Learning Diverse Motor Skills through Instruction Learning
Navigation and Control Research Center, Department of Automation, Tsinghua University(清华大学自动化系导航与控制研究中心)
本文提出机器人指令学习框架,将参考轨迹作为前馈动作并结合强化学习反馈控制,辅以动作约束和移除模仿奖励,实现双足与四足机器人多样运动技能的高效学习及 sim-to-real 迁移。
2023-11-01 cs.RO
Training Humans to Train Robots Dynamic Motor Skills
Department of Engineering, King’s College London(伦敦国王学院工程系)
示教学习(LfD)通常被认为是允许新手用户向机器人教授运动技能的自然和直观的方式。然而,重要的是要承认,LfD的有效性在很大程度上取决于教学质量,这可能无法保证新手。除了为特定的教学任务提供临时建议外,如何最有效地指导演示者进行信息演示,这仍然是一个悬而未决的问题。为此,本文调查了使用机器教学,以获得一个指数,用于确定演示的质量,并评估其使用的指导和培训新手成为更好的教师。一个简单的学习机器人的实验表明,通过所提出的方法,教师的指导和培训,可以导致高达66.5%的错误减少在学习技能。
2021-05-13 cs.AI cs.HC cs.RO
Robot Composite Learning and the Nunchaku Flipping Challenge
New Jersey Institute of Technology(新泽西理工学院);Hunan University(湖南大学)
先进的运动技能是机器人与人类共存的必要条件。许多关于机器人动力学和控制的研究已经在超级机器人电机能力方面取得了成功,但大多是通过大量的案例特定工程。同时,在机器人以普遍存在的方式获取技能方面,机器人学习从人类演示(LfD)取得了很大进展,但在处理动态技能和复合动作方面仍然存在局限性。在本文中,我们提出了一个复合学习计划,超越LfD和集成机器人学习从人类的定义,演示和评价。该方法解决了先进的运动技能,需要动态的时间临界机动,复杂的接触控制,并处理部分软部分刚性物体。我们还介绍了“双截棍翻转挑战”,一个极端的测试,把硬要求,所有这三个方面。本文在前面介绍的基础上,介绍了复合学习方案的最新进展和双节棍翻转挑战赛的物理成功。
2017-09-11 cs.RO
Identifying Important Sensory Feedback for Learning Locomotion Skills
University of Edinburgh(爱丁堡大学);Shenzhen Amigaga Technology Co Ltd(深圳阿米嘎嘎科技有限公司);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));University College London(伦敦大学学院)
本文提出一种系统显著性分析方法,定量评估深度强化学习中不同反馈状态对机器人运动技能的相对重要性,识别出关键状态并证明仅使用关键状态即可实现与全状态相当的性能,为机器人运动学习提供了指南。
2023-06-29 cs.LG cs.RO
Constrained Dynamic Movement Primitives for Safe Learning of Motor Skills
Brown University(布朗大学);Mitsubishi Electric Research Labs(三菱电机研究实验室)
动态运动基元被广泛用于学习技能,这些技能可以由熟练的人或控制器向机器人演示。虽然它们的泛化能力和简单的公式使它们非常有吸引力,但它们没有强有力的保证来满足任务的操作安全约束。在本文中,我们提出了受约束的动态运动基元(C),它可以让约束满足的机器人工作空间。我们提出了一个非线性优化的配方,扰动的局部加权回归回归的强制权,承认归零障碍函数(ZBF),这证明工作空间约束满足。我们证明了建议的Cynomial在不同的约束下的末端执行器的运动,如避障和工作空间的物理机器人的限制。一个视频显示了在不同环境中使用不同的操纵器实现所提出的算法,可以在这里找到https://youtu.be/hJegJJkJfys。
2022-09-28 cs.AI cs.RO
Learning Whole-body Motor Skills for Humanoids
The University of Edinburgh(爱丁堡大学)
本文提出了一种用于深度强化学习的分层框架,该框架可以获得各种推动恢复和平衡行为的运动技能,即,踝关节,髋关节,脚倾斜,和步进策略。该策略在物理模拟器中进行训练,该物理模拟器具有真实的机器人模型设置和低级别的阻抗控制,易于将学到的技能转移到真实的机器人上。与传统方法相比的优点是将高级规划器和反馈控制全部集成在一个单一的连贯策略网络中,这对于学习针对任意位置处的未知扰动的通用平衡和恢复运动是通用的(例如,腿、躯干)。此外,所提出的框架允许的政策,快速学习的许多国家的最先进的学习算法。通过比较我们的学习结果的预编程,特殊用途的控制器在文献中的研究,自学技能是可比的干扰抑制方面,但具有额外的优势,产生广泛的自适应,通用和鲁棒的行为。
2020-02-07 cs.LG cs.RO stat.ML
Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies
DeepMind(深度思维)
对于在现实世界中操作的机器人,希望学习可重复使用的行为,这些行为可以有效地转移并适应许多任务和场景。我们提出了一种方法来学习抽象的运动技能的数据使用分层混合潜变量模型。与现有的工作相比,我们的方法利用了离散和连续潜变量的三级层次结构,以捕获一组高级行为,同时允许它们如何执行的差异。我们在操作域中证明,该方法可以有效地将离线数据聚类为不同的可执行行为,同时保留连续潜变量模型的灵活性。由此产生的技能可以转移和微调新的任务,看不见的对象,并从状态到基于视觉的政策,产生更好的样本效率和渐近性能相比,现有的技能和模仿为基础的方法。我们进一步分析了这些技能如何以及何时最有益:它们鼓励定向探索覆盖与任务相关的状态空间的大区域,使它们在挑战稀疏奖励设置时最有效。
2022-03-14 cs.AI cs.LG cs.RO
Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation
Kyoto University(京都大学);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所(ATR))
本研究提出一种用于基础策略获取的多任务强化学习算法,通过构建编码器-解码器网络及网络选择机制,使策略能适应多变的动态运动任务,并成功生成全新的运动技能。
2025-03-02 cs.LG cs.RO
From Human Hands to Robotic Limbs: A Study in Motor Skill Embodiment for Telemanipulation
Minnesota Robotics Institute (MNRI), University of Minnesota(明尼苏达大学明尼苏达机器人研究所(MNRI))
本文提出一种基于GRU变分自编码器和全连接网络的遥操作系统,将人类手臂手势映射到冗余自由度机械臂的潜在构型空间,实现实时轨迹生成并能泛化到训练中未见过的构型。
2025-02-04 cs.AI cs.RO
Smart Textiles that Teach: Fabric-Based Haptic Device Improves the Rate of Motor Learning
当人们意识到自己的错误并做出一致的努力来纠正错误时,他们对运动活动的学习效果最好。虽然触觉接口可以促进运动训练,但现有的接口通常体积庞大,并且并不总是确保训练后的技能保持。在这里,我们描述了一个可编程的触觉套筒组成的纺织品为基础的电粘附离合器的技能获取和保留。我们在运动学习研究中展示了它的功能,用户使用肘关节旋转控制无人机的运动。触觉反馈用于抑制肘关节运动并使用户意识到他们的错误。这有助于用户有意识地学习避免错误的发生。虽然所有受试者在运动学习的基线阶段表现出相似的表现,但在评价阶段,从触觉套筒接收触觉反馈的受试者的错误比对照组的受试者少23.5%。结果表明,套筒帮助用户保留和转移运动技能比单独的视觉反馈更好。这项工作显示了潜在的织物为基础的触觉接口作为训练辅助运动任务的康复和遥操作领域。
2021-07-12 cs.HC cs.RO
Socially Guided Intrinsic Motivation for Robot Learning of Motor Skills
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
本文提出了一种结合主动内在动机学习和模仿学习的机器人学习运动技能的技术途径。我们的架构,称为SGIM-D,允许高效学习机器人中的高维连续感觉运动逆模型,特别是学习参数化运动策略的分布,解决相应的参数化目标/任务的分布。这是通过将模仿学习技术技术集成在用于学习依赖于主动目标模糊的逆模型的算法内而实现的。在回顾了社会学习和内在动机的行动学习方法,我们描述了我们的算法的一般框架,然后详细介绍了其架构。在一个机器人手臂必须学会使用灵活的鱼线的实验中,我们说明了SGIM-D有效地结合了社会学习和内在动机的优势,并从人类演示属性中受益,以学习如何在环境中产生不同的结果,同时在大空间中开发更精确的控制策略。
2018-04-19 cs.AI cs.LG cs.RO
Skill-informed Data-driven Haptic Nudges for High-dimensional Human Motor Learning
Department of Electrical and Computer Engineering, Michigan State University(电气与计算机工程系,密歇根州立大学);Department of Kinesiology and the Department of Mechanical Engineering, Michigan State University(运动科学系和机械工程系,密歇根州立大学)
本文提出了一种数据驱动框架,利用学习者的估计技能设计最优触觉提示反馈,以解决在高维冗余运动空间中学习新运动任务的挑战。通过输入-输出隐马尔可夫模型建模人类运动学习的随机动态,并将触觉提示反馈设计问题建模为部分可观测马尔可夫决策过程,从而推导出最优提示策略。
2026-04-13 cs.HC cs.RO cs.SY
The e-Bike Motor Assembly: Towards Advanced Robotic Manipulation for Flexible Manufacturing
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文面向柔性制造提出现场示教与编程自适应机器人的四层框架,整合自监督感知、示教学习技能、任务排序与在线优化,并在电动自行车电机装配和密集箱体装箱中验证。
2023-04-20 cs.RO
Extreme-RGMT: Continual Learning of Highly Dynamic Skills for Robust Generalist Humanoid Control
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);Humanoid Robotics (Shanghai) Co., Ltd.(人形机器人(上海)有限公司);School of Mechanical Engineering, Shandong University(山东大学机械工程学院)
研究针对类人机器人控制器通用与专业能力权衡问题,提出两阶段持续学习框架极端-RGMT。先学通用运动跟踪基础策略,再用特定机制约束策略漂移,结合两种采样方法解决数据问题,实现最优通用全身运动跟踪性能,推动控制器向人类专家水平发展。
2026-07-23 cs.RO
Initial Test of "BabyRobot" Behaviour on a Teleoperated Toy Substitution: Improving the Motor Skills of Toddlers
UPC BarcelonaTech(加泰罗尼亚理工大学巴塞罗那技术学院);IRII (CSIC-UPC)(工业机器人与信息技术研究所(西班牙国家研究委员会-加泰罗尼亚理工大学));IDEAI-UPC(加泰罗尼亚理工大学智能数据与人工智能研究所)
本文介绍了一种旨在提高婴幼儿运动技能的机器人“婴儿机器人”。作者开发了一种类似汽车的玩具,使用强化学习和计算机视觉技术自主移动。机器人的行为是从先前已经识别或至少检测到的目标婴儿处逃脱,同时避开障碍物,使得婴儿的安全性不受损害。无数具有类似移动性改进目的的商业玩具进入市场;然而,没有人押注智能自主运动,因为它们在最好的情况下执行简单但重复的轨迹。两个爬行玩具-一个代表“婴儿机器人”-在真实的环境中进行了测试,以检查它们如何改善幼儿的流动性。这些现实生活中的实验是在幼儿园用我们提出的机器人进行的,在那里一群孩子与玩具互动。检测到参与者的运动技能有显著改善。
2023-03-16 cs.CV cs.HC cs.RO
Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration
Bogazici University(博加齐大学);Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);International Professional University of Technology in Osaka(大阪国际职业技术大学)
针对长技能复合误差问题,提出基于条件神经运动基元学习上下文相关修正策略,实现双臂打结技能合成,并在仿真和真实机器人上验证有效性。
2022-09-28 cs.RO
Assistive Teaching of Motor Control Tasks to Humans
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
最近关于共享自治和辅助人工智能技术的工作,例如辅助机器人遥操作,试图在固定任务中建模和帮助能力有限的人类用户。然而,这些方法往往无法解释人类的适应能力,并最终学会如何自己执行控制任务。此外,在可能需要人类干预的应用中,这些方法可能会抑制他们学习如何成功进行完全自我控制的能力。在本文中,我们专注于运动控制任务,如停车或降落飞机的辅助教学问题。尽管它们在人类的日常活动和职业中无处不在,但由于其高度复杂性和多样性,运动任务很少以统一的方式教授。我们提出了一种人工智能辅助教学算法,该算法利用强化学习(RL)的技能发现方法(i)将任何运动控制任务分解为可教技能,(ii)构建新颖的训练序列,(iii)为具有不同能力的学生个性化课程。通过对两个运动控制任务的综合和用户研究的广泛组合-用操纵杆停车和从巴厘岛字母书写字符-我们表明,与没有技能的完整轨迹练习相比,辅助教学技能可以提高学生的成绩约40%,并且使用个性化训练练习可以进一步提高高达25%。我们的源代码可以在https://github.com/Stanford-ILIAD/teaching上找到
2022-11-25 cs.AI cs.HC cs.RO
Learning agile and dynamic motor skills for legged robots
ETH Zurich(苏黎世联邦理工学院);Intel(英特尔)
足式机器人是机器人技术中最大的挑战之一。动物的动态和敏捷的动作不能被人类制作的现有方法模仿。另一个引人注目的替代方案是强化学习,它需要最少的工艺,并促进控制策略的自然演变。然而,到目前为止,针对足式机器人的强化学习研究主要局限于仿真,只有很少且非常简单的例子被部署在真实系统上。主要原因是,使用真实机器人进行训练,特别是使用动态平衡系统进行训练,既复杂又昂贵。在目前的工作中,我们介绍了一种方法,用于训练神经网络政策模拟和转移到一个国家的最先进的腿系统,从而利用快速,自动化,具有成本效益的数据生成方案。该方法适用于ANYmal机器人,一个复杂的中型狗大小的四足系统。使用在模拟中训练的策略,四足机器实现了超越先前方法的运动技能:ANYmal能够精确和节能地遵循高水平的身体速度命令,比以前跑得更快,甚至在复杂的配置中从跌倒中恢复。
2019-01-24 cs.LG cs.RO stat.ML
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences(西挪威应用科学大学);University of Plymouth(普利茅斯大学)
为了成功部署物理人机合作(pHRC),人类需要能够快速教会机器人新的运动技能。概率运动基元(ProMPs)是一种很有前途的方法来编码机器人的运动技能,从人类的示范pHRC设置。然而,大多数从人类演示中学习ProMP的算法都以批处理模式运行,这在pHRC中并不理想。在本文中,我们提出了一个新的学习算法,学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示,允许人类观察机器人的学习进度,并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能,现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外,我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程,并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
Learning Options for Compositional Motor Control with Adapter Banks
Columbia University(哥伦比亚大学);New York University(纽约大学)
本研究提出一种共享循环核心与残差适配器库结合的架构,通过离散潜在代码选择适配器,在闭环控制中学习低秩运动基元,实现分布外运动泛化,显著优于多任务基线。
2026-09-16 cs.LG cs.RO q-bio.NC
Going with the Flow: Koopman Behavioral Models as Pseudo Planners for Visuo-Motor Dexterity
Georgia Institute of Technology(佐治亚理工学院)
提出统一行为模型(UBM),将灵巧技能建模为耦合动力系统,确保时间一致性;基于Koopman算子实现线性潜空间,通过在线重规划实现反应性和适应性,在模拟和真实任务中达到或超越现有方法。
2026-06-09 cs.RO
Deep Predictive Policy Training using Reinforcement Learning
KTH Royal Institute of Technology(瑞典皇家理工学院)
熟练的机器人任务学习是最好的实现预测行动政策,由于固有的延迟的感觉运动过程。然而,训练这种预测策略是具有挑战性的,因为它涉及到在整个动作持续时间内找到运动激活的轨迹。我们提出了一个数据高效的深度预测策略训练(DPPT)框架,该框架具有深度神经网络策略架构,该架构将图像观察映射到运动激活序列。该架构由三个子网络组成,称为感知,策略和行为超层。感知和行为超层分别对用合成和模拟训练样本训练的视觉和运动数据进行抽象。策略超层是一个具有较少参数的小型子网络,用于映射抽象流形之间的数据。它使用策略搜索强化学习的方法为每个任务进行训练。我们证明了所提出的架构和学习框架的适用性,通过训练预测政策,熟练的物体抓取和球扔在PR2机器人。该方法的有效性说明了这样一个事实,即这些任务的训练使用只有大约180个真正的机器人尝试与定性终端奖励。
2017-03-02 cs.RO
OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control
OmniXtreme通过分离通用运动技能学习与现实物理技能细化,突破高动态人形控制中保真度与可扩展性的长期权衡。
2026-02-27 cs.RO
Trajectory Entropy Reinforcement Learning for Robust Robot Motor Skill Learning
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
针对深度强化学习易受环境扰动影响的问题,提出轨迹熵强化学习方法,通过最小化动作轨迹熵引入简洁性归纳偏置,并联合优化策略与预测模型,在多个高维运动任务中实现了更优的性能与鲁棒性。
2026-09-21 cs.LG cs.RO stat.ML
Experience Reuse with Probabilistic Movement Primitives
Technische Universität Darmstadt(达姆施塔特工业大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Universität zu Lübeck(吕贝克大学)
获得新的机器人运动技能是很麻烦的,因为从头开始学习一项技能并且没有先验知识需要探索大空间的运动配置。因此,为了学习新任务,可以通过利用类似任务的解来初始化参数搜索空间来限制参数搜索空间,从而节省时间。我们提出了一个框架,这是能够这样的知识转移,从已经学到的运动技能,一个新的学习任务。该框架结合了概率运动原语的技能表示的影响的描述。新的技能首先初始化的参数推断相关的运动原语,然后通过相对熵策略搜索适应新的任务。我们比较了两种不同的转移方法来初始化的搜索空间分布与数据的已知技能具有类似的效果。我们展示了两种知识转移方法在模拟3自由度机器人的物体推送任务上的不同好处。我们可以证明,当利用过去的经验时,学习技能的质量得到了提高,学习新任务所需的迭代次数可以减少60%以上。
2020-03-16 cs.LG cs.RO stat.ML
Learning a Set of Interrelated Tasks by Using Sequences of Motor Policies for a Strategic Intrinsically Motivated Learner
Université Bretagne Sud(南布列塔尼大学);IMT Atlantique(大西洋高等矿业电信学校)
我们提出了一个主动学习架构的机器人,能够组织其学习过程,以实现一个领域的复杂任务,通过学习序列的电机政策,称为内部激励程序咿呀学语(IM-PB)。学习者可以概括其经验,不断学习新的任务。它根据自身进步的经验衡量,积极选择学习什么和如何学习。在本文中,我们正在考虑学习的一组相互关联的任务成果层次组织。我们引入了一个框架,称为“程序”,这是由以前学到的技能的组合定义的政策序列。我们的算法架构使用这些程序来自主发现如何结合简单的技能来实现复杂的目标。它在两种目标导向的探索策略之间进行积极的选择:探索政策空间或程序空间。我们在一个模拟的环境中表明,我们的新架构能够处理复杂的运动策略的学习,以适应其政策的复杂性,手头的任务。我们还表明,我们的“程序”框架有助于学习者解决困难的层次任务。
2019-02-14 cs.AI cs.HC cs.RO
Learning a Single Policy for Diverse Behaviors on a Quadrupedal Robot using Scalable Motion Imitation
Georgia Institute of Technology(佐治亚理工学院);Meta Platforms, Inc.(Meta平台公司)
四足机器人学习各种运动技能是一个具有挑战性的问题,需要仔细设计特定任务的数学模型或奖励描述。在这项工作中,我们提出使用深度强化学习通过模仿大量的参考运动来学习单个有能力的策略,包括行走,转弯,踱步,跳跃,坐着和躺着。在现有的运动模仿框架之上,我们首先仔细设计了观察空间,动作空间和奖励函数,以提高学习的可扩展性以及最终策略的鲁棒性。此外,我们采用了一种新的自适应运动采样(AMS)方法,它保持了成功和不成功的行为之间的平衡。这种技术允许学习算法专注于具有挑战性的运动技能,并避免灾难性遗忘。我们证明了学习的策略可以通过成功跟踪训练数据集和分布轨迹来在模拟中表现出不同的行为。我们还通过实验验证了所提出的学习公式和自适应运动采样方案的重要性。
2023-03-27 cs.RO
RPG: Robust Policy Gating for Smooth Multi-Skill Transitions in Humanoid Fighting
Center for Artificial Intelligence and Robotics, Shenzhen International Graduate School, Tsinghua University(人工智能与机器人中心,深圳国际研究生院,清华大学);Shanghai AI Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);Shanghai Jiao Tong University(上海交通大学)
本文提出RPG框架,通过动作过渡随机化和时间随机化训练统一策略,实现人类oid多技能平滑稳定过渡,并设计控制管道整合步行/跑步与战斗技能,实验证明其有效性与鲁棒性。
2026-07-01 cs.RO
Generalizable Hierarchical Skill Learning via Object-Centric Representation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出GSL框架,通过对象中心技能连接高层VLM与低层策略,分解演示为可迁移技能原语,显著提升机器人操作的泛化与样本效率,仿真和真实实验中均以极少数据超越基线。
2025-10-24 cs.AI cs.RO
Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition
Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind)
提出语言引导的机器人技能获取框架,利用LLM规划、成功条件代码与采样规划器自动生成并标注数据,再蒸馏为多任务语言条件视觉-运动策略,在18项任务上平均提升成功率33.2%。
2023-10-01 cs.RO
Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires
University of Oxford(牛津大学);Yale University(耶鲁大学)
本文提出神经关联技能记忆框架,通过自监督预测编码统一技能学习与表达,实现故障检测与上下文感知执行,提升机器人安全性和生物传感器运动学习研究。
2025-05-14 cs.NE cs.RO
Modulating Reservoir Dynamics via Reinforcement Learning for Efficient Robot Skill Synthesis
Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);OTRI/SISReC(大阪大学技术研究与创新中心/社会创新科学研究中心)
提出一种基于储备池计算和强化学习的示范学习框架,通过强化学习模块在线调节储备池动力学以生成分布外运动轨迹,无需新数据即可高效扩展机器人动作库。
2024-11-17 cs.AI cs.RO
Seamless Integration and Coordination of Cognitive Skills in Humanoid Robots: A Deep Learning Approach
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本研究探讨如何充分协调之间的不同认知过程的人形机器人可以通过端到端的学习直接感知的视觉流。我们提出了一个深度动态神经网络模型,该模型建立在动态视觉网络、电机生成网络和更高级别的网络之上。该模型的目的是处理和集成的层次模型,其特点是不同的空间和时间的限制施加在每个级别上的动态视觉模式的直接感知。我们进行了合成机器人实验,其中机器人学会通过观察手势来读取人类的意图,然后生成相应的目标导向动作。结果表明,该模型能够学习辅导技能,并将其推广到新的情况。该模型表现出知觉、行动和决策的协同协调,并以无缝的方式整合和协调了一系列认知技能,包括视觉感知、意图阅读、注意转换、工作记忆、行动准备和执行。分析表明,连贯的内部表征出现在层次结构的每一个级别。通过持续整合较低层次的视觉-本体感受流,发展出反映视觉意图的较高层次的表征。
2017-06-08 cs.AI cs.LG cs.RO
Robotic Skill Diversification via Active Mutation of Reward Functions in Reinforcement Learning During a Liquid Pouring Task
Cognitive Robotics, Delft University of Technology(德鲁特理工大学认知机器人学);Department of Mechanical Engineering, Politecnico di Milano(米兰理工学院机械工程系);Istituto Dalle Molle di studi sull’intelligenza artificiale (IDSIA USI-SUPSI), Scuola universitaria professionale della Svizzera italiana, DTI(智能人工智能研究所(IDSIA USI-SUPSI),瑞士意大利大学专业学院,DTI)
本文提出在强化学习奖励函数权重上施加高斯噪声的主动变异框架,以液体倾倒任务为例,使机器人不仅能产生多样化的倾倒行为,还能衍生出容器清洁、液体混合等新技能。
2025-09-22 cs.LG cs.RO
Towards Natural Language-Driven Assembly Using Foundation Models
Bosch Center for Artificial Intelligence(博世人工智能中心);Tel Aviv University(特拉维夫大学)
针对工业机器人高精度装配任务难以用通用策略实现的问题,提出基于大语言模型的全局控制策略,通过动态上下文切换调用专用高精度技能集,丰富了复杂机器人操作的控制机制。
2024-06-23 cs.AI cs.CV cs.LG
Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies
University of California, Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Stanford University(斯坦福大学)
拥有关于世界的视觉先验(例如,世界是3D的事实)对学习执行下游运动任务(例如,递送包裹)有多大帮助?我们通过整合通用感知技能集(例如距离估计器,边缘检测器等)来研究这个问题。在一个强化学习框架内--见图1。与原始图像相比,该技能集(以下称为中级感知)为策略提供了更多处理的世界状态。我们发现,在面向导航的任务中,使用中级感知比从头开始的端到端训练(即不利用先验知识)具有显着优势。代理能够概括从头开始的方法失败的情况,并且训练变得更加有效。然而,我们发现,实现这些收益需要仔细选择的中级感知技能。因此,我们将我们的发现细化为一个有效的最大覆盖率特征集,可以代替原始图像。我们在完全独立的建筑物中进行训练和测试,并与视觉盲基线策略和最先进的特征学习方法进行比较。
2019-04-22 cs.AI cs.CV cs.LG
Learning to Ball: Composing Policies for Long-Horizon Basketball Moves
Stanford University(斯坦福大学);University of California, Riverside(加州大学河滨分校);Clemson University(克莱姆森大学)
本文提出一种策略集成框架与高层软路由器,用于解决多阶段长时程篮球动作中技能组合与过渡难题,使模拟角色能根据实时用户命令完成复杂篮球任务。
2025-09-26 cs.AI cs.GR cs.LG
Arnold: A multi-task, multi-embodiment muscle transformer policy
本研究开发了基于 Transformer 的肌肉控制策略 Arnold,结合行为克隆与强化学习,实现多任务多 embodiment 控制,性能优于单任务策略,还揭示了肌肉协同作用的任务特异性等特性。
2026-08-06 cs.AI cs.LG cs.RO