ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Peking University(北京大学)
提出ATOM-Bench基准,通过分解桌面操作为原子任务和组合任务,评估操作策略的原子技能获取与组合泛化能力,发现当前策略在细粒度原子技能和组合重用上存在不足。
2026-06-16 cs.AI cs.RO
MyoSuite -- A contact-rich simulation suite for musculoskeletal motor control
Meta AI Research(Meta人工智能研究院);University of Twente(特文特大学)
在连续控制域中的智能体对允许探索肌肉骨骼特性的任务的接触有限,这些特性使生物体具有敏捷和灵活的行为。神经肌肉骨骼控制背后的复杂性可能会给运动学习社区带来新的挑战。与此同时,解决复杂神经控制问题的智能体可以在神经康复和协作机器人等领域产生影响。人体生物力学是复杂的多关节多驱动器肌肉骨骼系统的基础。感觉运动系统依赖于一系列丰富的感觉接触和本体感受输入,这些输入定义和调节在物理世界中表现出智能行为所需的肌肉致动。目前的肌肉骨骼控制框架不支持肌肉骨骼系统的生理复杂性以及物理世界的相互作用能力。此外,它们既不是嵌入在复杂和熟练的运动任务中,也不是计算有效的和可扩展的,以研究大规模的学习范式。在这里,我们介绍了MyoSuite -一套生理上精确的生物力学模型,包括肘部、手腕和手,具有物理接触能力,可以学习复杂而熟练的接触丰富的现实世界任务。我们提供各种电机控制挑战:从简单的姿势控制到熟练的手-物交互,例如转动钥匙,旋转笔,一只手旋转两个球等。(肌腱转移),辅助装置(外骨骼辅助)和肌肉收缩动力学(肌肉疲劳,肌肉减少症),我们提出了现实生活中的任务与时间的变化,从而暴露现实的非稳态条件下,在我们的任务,大多数连续控制基准缺乏。
2022-05-26 cs.AI cs.LG cs.RO
MotorFactory: A Blender Add-on for Large Dataset Generation of Small Electric Motors
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所IOSB)
为了使自动拆卸不同的产品类型与不确定的条件和程度的磨损再制造,敏捷生产系统,可以动态适应不断变化的需求是必要的。可以采用机器学习算法,因为它们具有从各种类型和变体的产品中学习的泛化能力。然而,在现实中,具有多样性的样本,可以用来训练模型的数据集是很难获得在初始阶段。当系统试图在将来适应新的看不见的输入数据时,这可能导致不良性能。为了生成用于不同学习目的的大型数据集,在我们的项目中,我们提出了一个名为MotorFactory的Blender插件,用于生成各种电机实例的自定义网格模型。MotorFactory允许创建网格模型,这些模型与其他附加组件一起补充,可进一步用于创建合成RGB图像,深度图像,正常图像,分割地面真实掩模和具有逐点语义标签的3D点云数据集。所创建的合成数据集可用于各种任务,包括电机类型分类、用于分散式材料转移任务的目标检测、用于拆卸和处理任务的零件分割,甚至是基于强化学习的机器人控制或视图规划。
2023-01-11 cs.CV cs.RO
Switch: Learning Agile Skills Switching for Humanoid Robots
The Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出Switch系统,通过技能图和强化学习实现人形机器人灵活的技能切换,提高运动模仿性能和任务完成效率。
2026-04-16 cs.RO
OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control
OmniXtreme通过分离通用运动技能学习与现实物理技能细化,突破高动态人形控制中保真度与可扩展性的长期权衡。
2026-02-27 cs.RO
Learning Agile Locomotion Skills with a Mentor
Robotics at Google(谷歌机器人);Georgia Institute of Technology(佐治亚理工学院)
开发足式机器人的敏捷行为仍然是一个具有挑战性的问题。虽然深度强化学习是一种很有前途的方法,但学习真正的敏捷行为通常需要繁琐的奖励塑造和仔细的课程设计。我们制定敏捷运动作为一个多阶段的学习问题,其中导师指导整个训练的代理。导师被优化为放置检查点以引导机器人的质心的移动,而学生(即机器人)学习到达这些检查点。一旦学生能够解决任务,我们就会教学生在没有导师的情况下执行任务。我们评估我们提出的学习系统与一个模拟的四足机器人的课程,包括随机生成的差距和障碍。我们的方法显著优于没有导师的单级RL基线,并且四足机器人可以敏捷地跑和跳过间隙和障碍物。最后,我们对学习行为的可行性和有效性进行了详细的分析。
2020-11-11 cs.RO
Discovery of skill switching criteria for learning agile quadruped locomotion
Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学);University College London(伦敦大学学院);Amigaga Technology Co. Ltd(Amigaga科技有限公司)
针对四足机器人敏捷运动问题,提出分层学习与优化框架,通过深度强化学习与优化过程学习多技能策略,实现技能自动切换、故障恢复及平滑过渡,在模拟与现实中验证了效果。
2025-02-10 cs.RO
From Rolling Over to Walking: Enabling Humanoid Robots to Develop Complex Motor Skills
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出一种基于成就触发多路径奖励函数的强化学习方法,使类人机器人在单一训练阶段学习从翻身到行走的复杂运动技能,并在模拟环境中提升成功率与学习速度。
2023-11-13 cs.RO
Learning Agile Robotic Locomotion Skills by Imitating Animals
Google Research(谷歌研究院);University of California, Berkeley(加利福尼亚大学伯克利分校)
复制动物多样而敏捷的运动技能一直是机器人技术的一个长期挑战。虽然手动设计的控制器已经能够模拟许多复杂的行为,但构建这样的控制器涉及耗时且困难的开发过程,通常需要对每个技能的细微差别进行大量的专业知识。强化学习为自动化控制器开发中涉及的手动工作提供了一种有吸引力的替代方案。然而,设计从代理中引出所需行为的学习目标也需要大量的技能特定的专业知识。在这项工作中,我们提出了一个模仿学习系统,使足式机器人学习敏捷的运动技能,模仿现实世界的动物。我们表明,通过利用参考运动数据,一个单一的学习为基础的方法是能够自动合成控制器的足式机器人的各种剧目的行为。通过将样本有效的领域自适应技术纳入到训练过程中,我们的系统能够在模拟中学习自适应策略,然后可以快速适应现实世界的部署。为了证明我们的系统的有效性,我们训练一个18自由度的四足机器人执行各种敏捷的行为,从不同的运动步态动态跳跃和转弯。
2020-07-21 cs.LG cs.RO
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
学习敏捷技能是机器人技术的主要挑战之一。为此,强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家,可以在模拟中查询,以提供一个目标控制输出,这限制了它们的适用性。在这项工作中,我们提出了一种生成对抗方法,用于从部分和潜在的物理不兼容的演示中推断奖励函数,以获得成功的技能,其中参考或专家演示不容易获得。此外,我们表明,通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入,我们能够提取的政策,是强大的,能够模仿演示的行为。最后,所获得的技能,如后空翻进行了测试,一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
Unsupervised Skill Discovery as Exploration for Learning Agile Locomotion
Georgia Institute of Technology(佐治亚理工学院)
本文提出新型学习框架SDAX,利用无监督技能发现自主获取多样化技能以克服障碍,并通过双层优化动态调节探索程度,使四足机器人学会爬行、攀爬、跳跃等敏捷行为并成功迁移至真实硬件。
2025-08-12 cs.AI cs.LG cs.RO
Hybrid Control for Learning Motor Skills
Northwestern University(西北大学)
我们开发了一种混合控制方法,机器人学习的基础上结合学习预测模型与基于经验的状态-动作策略映射,以提高机器人系统的学习能力。预测模型提供了对任务和物理的理解(这提高了样本效率),而基于经验的策略映射被视为“肌肉记忆”,将有利的行动编码为覆盖计划行动的经验。混合控制工具被用来创建一种算法方法,用于将学习的预测模型与基于经验的学习相结合。混合学习是一种通过系统地结合和提高预测模型和基于经验的策略的性能来有效学习运动技能的方法。混合学习的确定性变化的推导和扩展到一个随机的实现,放松了一些在原来的推导中的关键假设。每个变体都通过基于经验的学习方法(机器人与环境交互以获得经验)以及模仿学习方法(通过演示提供经验并在环境中进行测试)进行测试。结果表明,我们的方法是能够提高性能和样本效率的学习运动技能在各种实验领域。
2020-06-05 cs.RO
Mastering Agile Jumping Skills from Simple Practices with Iterative Learning Control
University of Southern California (USC)(南加州大学)
本文提出一种迭代学习控制方法,让腿足机器人从简单跳跃任务逐步学习并迁移到高难度目标跳跃,在A1机器人上实现了厘米级和度级精度的敏捷跳跃。
2024-08-05 cs.RO
Bootstrapping Motor Skill Learning with Motion Planning
Brown University(布朗大学)
从头开始学习机器人运动技能是不切实际的慢;以至于在实践中,学习必须使用从人类演示中获得的良好技能策略来引导。然而,依赖人类的示范必然会降低机器人的自主性,因为机器人必须在其工作寿命内学习各种技能。我们建议使用运动学运动规划作为一个完全自主的,样本有效的方式来引导运动技能学习的对象操作。我们展示了使用运动规划引导运动技能在两个复杂的对象操作场景与不同的政策表示:打开一个抽屉的动态运动原语表示,并关闭微波炉门深神经网络政策。我们还展示了我们的方法如何引导运动技能的挑战性的动态任务,学习打一个球的发球台,其中运动学计划的基础上处理的场景作为静态是不够的,以解决任务,但足以引导一个更动态的政策。在所有这三种情况下,我们的方法与人工演示的初始化相比都具有竞争力,并且显著优于随机策略。这种方法使机器人能够有效地和自主地学习动态任务的电机策略,而无需人类演示。
2021-01-12 cs.AI cs.RO
Expanding Motor Skills through Relay Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Google Brain(谷歌大脑)
虽然深度强化学习的最新进展在学习运动技能方面取得了令人印象深刻的成果,但许多经过训练的策略只能在有限的初始状态集合中使用。我们提出了一种技术,将复杂的机器人任务分解为简单的子任务,并按顺序进行训练,使机器人能够逐步扩展其现有的技能集。我们的核心思想是建立一个由神经网络表示的局部控制策略树,我们称之为中继神经网络。从尝试从一小组初始状态实现任务的根策略开始,每个后续策略通过将新状态驱动到现有的“良好”状态来扩展成功的初始状态集。我们的算法利用策略的价值函数来确定每个策略下的状态是否是“好”的。我们利用许多现有的策略搜索算法,学习价值函数的同时,政策,如那些使用演员-评论家表示或使用优势函数,以减少方差。我们证明了继电器网络可以解决欠驱动动态系统的复杂连续控制问题。
2018-11-15 cs.RO
Learning and Adapting Agile Locomotion Skills by Transferring Experience
UC Berkeley(加州大学伯克利分校);Berkeley AI Research(伯克利人工智能研究院);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院);Simon Fraser University(西蒙菲莎大学)
本文提出一种从来源、目标和环境知识均可能不同的现有控制器迁移经验的框架,以缓解高维欠驱动腿足机器人的探索难题,并实现跳跃、后腿行走导航及真实世界安全部署。
2023-04-19 cs.AI cs.RO
Learning Robust, Agile, Natural Legged Locomotion Skills in the Wild
Weiyang College, Tsinghua University(清华大学未央书院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院)
针对强化学习习得的机器人腿式步态保守不自然的问题,提出融合动物运动数据对抗训练的师生训练框架,实现了鲁棒、敏捷、自然且高能效的四足机器人复杂地形运动。
2023-10-06 cs.AI cs.RO
Learning agile and dynamic motor skills for legged robots
ETH Zurich(苏黎世联邦理工学院);Intel(英特尔)
足式机器人是机器人技术中最大的挑战之一。动物的动态和敏捷的动作不能被人类制作的现有方法模仿。另一个引人注目的替代方案是强化学习,它需要最少的工艺,并促进控制策略的自然演变。然而,到目前为止,针对足式机器人的强化学习研究主要局限于仿真,只有很少且非常简单的例子被部署在真实系统上。主要原因是,使用真实机器人进行训练,特别是使用动态平衡系统进行训练,既复杂又昂贵。在目前的工作中,我们介绍了一种方法,用于训练神经网络政策模拟和转移到一个国家的最先进的腿系统,从而利用快速,自动化,具有成本效益的数据生成方案。该方法适用于ANYmal机器人,一个复杂的中型狗大小的四足系统。使用在模拟中训练的策略,四足机器实现了超越先前方法的运动技能:ANYmal能够精确和节能地遵循高水平的身体速度命令,比以前跑得更快,甚至在复杂的配置中从跌倒中恢复。
2019-01-24 cs.LG cs.RO stat.ML
The Effect of Robot Skill Level and Communication in Rapid, Proximate Human-Robot Collaboration
Georgia Institute of Technology(佐治亚理工学院)
本研究提出人机双打乒乓球测试平台,通过用户实验探讨机器人技能与通信对敏捷近距离人机协作中信任、安全及团队表现的影响,发现技能提升显著增加信任,而机器人发声意图反而降低表现与安全感。
2023-04-07 cs.RO
Learning robot motor skills with mixed reality
Brown University(布朗大学);MERL(三菱电机研究实验室)
混合现实(MR)最近显示出巨大的成功,作为一个直观的界面,使最终用户能够教机器人。相关工作已经使用MR接口将机器人意图和信念传达给共处的人类,以及开发用于获取多模态人类输入和学习复杂运动行为的算法。即使取得了这些成功,使最终用户能够教机器人复杂的运动任务仍然是一个挑战,因为最终用户的沟通是高度依赖于任务和世界知识是高度多样化的。我们提出了一个学习框架,最终用户教机器人a)运动演示,b)任务约束,c)规划表示,和d)对象信息,所有这些都集成到一个单一的运动技能学习框架的基础上动态运动原语(DMP)。我们假设,传达这个世界的知识将是直观的MR接口,并结合不同形式的世界知识的样本高效的运动技能学习框架将使机器人能够有效地解决复杂的任务。
2022-03-21 cs.LG cs.RO
Learning Transferable Motor Skills for Geometry-Aware Robotic Surface Tasks
Czech Institute of Informatics, Robotics, and Cybernetics(捷克信息学、机器人学与自动化研究所);Czech Technical University in Prague(布拉格捷克技术大学);Delft University of Technology(代尔夫特理工大学)
提出一种模块化框架,将几何运动规划与执行级专家行为解耦,通过可解释的原子运动规则和神经网络推断,实现跨几何形状的迁移学习。
2026-05-29 cs.RO
ANYmal Parkour: Learning Agile Navigation for Quadrupedal Robots
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达)
提出一种全学习的四足机器人敏捷导航方法,通过分层策略组合多种运动技能与感知模块,无需专家演示或先验知识即可在真实世界跨越复杂障碍。
2023-06-26 cs.RO
A Domain-Specific Language for Rich Motor Skill Architectures
Research Institute for Cognition and Robotics, Bielefeld University(比勒费尔德大学认知与机器人研究所)
模型驱动的软件开发是一种很有前途的方法,以应对先进机器人系统集成的复杂性,因为它已经证明了它的好处,在具有挑战性的系统集成要求的领域。本文报告了在这方面的工作进展,旨在提高研究和实验过程中的合作研究项目开发符合机器人的运动技能架构。我们的目标是建立一个模型驱动的开发过程,在整个项目中围绕一个特定领域的语言(DSL),促进紧凑的描述自适应模块化架构丰富的运动技能。为其他方面(例如映射到技术组件架构)提供进一步的语言,该方法不仅允许对运动技能架构进行正式描述,还允许自动生成代码以用于在技术机器人平台上进行实验。本文报告的第一个案例研究,举例说明如何开发AMARSi DSL有助于概念化不同的架构方法,并确定其异同。
2013-02-26 cs.RO cs.SE
A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
Northeastern University(东北大学)
本文提出受中枢运动系统启发的预训练强化学习方法CMS-PRL,通过融合奖励机制、基底神经节式技能编码和技能活动函数生成多样可复用技能,在稀疏奖励任务中优于基线方法,尤其适用于高自由度机器人。
2024-09-28 cs.AI cs.RO
Decentralized Motor Skill Learning for Complex Robotic Systems
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
本文提出DEMOS去中心化运动技能学习算法,通过自动发现可解耦的运动组并学习去中心化控制策略,提升复杂机器人系统的鲁棒性与泛化能力。
2023-06-30 cs.AI cs.RO
Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes
RWTH Aachen University(亚琛工业大学)
引导策略搜索使机器人能够有效地学习复杂操作任务的控制策略。其中,控制策略被表示为基于状态导出机器人动作的高维神经网络。然而,由于指导策略搜索中的真实世界轨迹样本数量很少,因此所得到的神经网络仅在真实世界交互所探索的轨迹分布的邻域中是鲁棒的。在本文中,我们提出了一种新的策略表示称为生成运动反射,这是能够在更广泛的状态空间生成强大的行动相比,以前的方法。与先前的状态动作策略相比,生成性运动反射将状态映射到状态依赖运动反射的参数,然后用于导出动作。鲁棒性是通过对许多状态产生类似的运动反射来实现的。我们评估所提出的方法在模拟和现实世界的操作任务,包括接触丰富的钉孔任务。使用这些评估任务,我们表明,表示为生成运动反射的政策导致强大的操作技能,也探索轨迹分布之外,与以前的方法相比,训练需求更少。
2019-02-19 cs.AI cs.RO
MUJICA: Multi-skill Unified Joint Integration of Control Architecture for Wheeled-Legged Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学);Power China Huadong Engineering Corporation Limited(中国电力工程顾问集团华东分公司)
本文提出MUJICA框架,通过整合多种低级技能,实现轮腿机器人在复杂环境中的自适应移动。
2026-05-13 cs.RO
FastMimic: Model-based Motion Imitation for Agile, Diverse and Generalizable Quadrupedal Locomotion
Georgia Institute of Technology(佐治亚理工学院);Meta AI
在人类环境中运行的机器人需要各种技能,如慢速和快速行走,转弯,侧步等等。然而,构建可以表现出如此大范围行为的机器人控制器是一个具有挑战性的问题,需要对每个任务进行繁琐的调查。我们提出了一个统一的基于模型的控制算法,用于模仿不同的动物步态,而无需昂贵的模拟训练或现实世界的微调。我们的方法包括立场和摆动腿控制器使用质心动力学模型与在线自适应技术增强。我们也发展了一个全身轨迹优化程序来修正参考动物运动的运动学不可行性。我们证明了我们的通用数据驱动的基于模型的控制器可以无缝地模仿各种运动技能,包括小跑,起搏,转弯和侧步。它还显示了更好的跟踪能力,在模拟和现实世界对几个基线,包括另一个基于模型的模仿控制器和基于学习的运动模仿技术。
2022-02-25 cs.RO
FOTS: A Fast Optical Tactile Simulator for Sim2Real Learning of Tactile-motor Robot Manipulation Skills
School of Automation, Southeast University(东南大学自动化学院);Key Laboratory of Measurement and Control of CSE, Ministry of Education(东南大学复杂工程系统测量与控制教育部重点实验室);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文提出快速光学触觉模拟器 FOTS,通过多层感知机映射、平面阴影生成和标记分布近似实现高效光学响应与标记运动仿真,并结合 MuJoCo 在销孔装配任务中验证了零样本 Sim2Real 触觉-运动操作技能学习。
2024-05-01 cs.RO
From Knowing to Doing: Learning Diverse Motor Skills through Instruction Learning
Navigation and Control Research Center, Department of Automation, Tsinghua University(清华大学自动化系导航与控制研究中心)
本文提出机器人指令学习框架,将参考轨迹作为前馈动作并结合强化学习反馈控制,辅以动作约束和移除模仿奖励,实现双足与四足机器人多样运动技能的高效学习及 sim-to-real 迁移。
2023-11-01 cs.RO
Generalized Animal Imitator: Agile Locomotion with Versatile Motion Prior
UC San Diego(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);USC(南加州大学)
本文提出VIM强化学习框架,通过模仿动物与人工设计动作并结合功能性与风格化双重奖励,使腿足式机器人能用单一控制器同时学习多种敏捷运动技能并实现平滑过渡。
2025-05-04 cs.AI cs.LG cs.RO
Parkour in the Wild: Learning a General and Extensible Agile Locomotion Policy Using Multi-expert Distillation and RL Fine-tuning
Robotic Systems Lab, ETH Zurich(机器人系统实验室,苏黎世联邦理工学院);NVIDIA Switzerland(英伟达瑞士)
针对足式机器人现有控制方法在非结构化环境泛化性差的问题,提出多专家蒸馏结合RL微调的敏捷运动框架,经多阶段训练与真实机器人部署验证,显著提升多地形技能整合性能,设定足式机器人运动新基准。
2025-05-16 cs.RO
Robot Composite Learning and the Nunchaku Flipping Challenge
New Jersey Institute of Technology(新泽西理工学院);Hunan University(湖南大学)
先进的运动技能是机器人与人类共存的必要条件。许多关于机器人动力学和控制的研究已经在超级机器人电机能力方面取得了成功,但大多是通过大量的案例特定工程。同时,在机器人以普遍存在的方式获取技能方面,机器人学习从人类演示(LfD)取得了很大进展,但在处理动态技能和复合动作方面仍然存在局限性。在本文中,我们提出了一个复合学习计划,超越LfD和集成机器人学习从人类的定义,演示和评价。该方法解决了先进的运动技能,需要动态的时间临界机动,复杂的接触控制,并处理部分软部分刚性物体。我们还介绍了“双截棍翻转挑战”,一个极端的测试,把硬要求,所有这三个方面。本文在前面介绍的基础上,介绍了复合学习方案的最新进展和双节棍翻转挑战赛的物理成功。
2017-09-11 cs.RO
Agile perceptive multi-skill locomotion for quadrupedal robots in the wild
Agency for Defense Development(国防发展局);Korea Advanced Institute of Science and Technology(韩国科学技术院);DIDEN Robotics(迪登机器人公司);Korea University(韩国大学)
研究使四足机器人在复杂地形实现多技能运动的问题,提出 APT-RL 框架,利用机载感知和计算自主转换技能,通过轨迹优化生成数据集训练技能,经实验验证该框架能让机器人在复杂环境敏捷机动,稳健穿越多样障碍物。
2026-07-16 cs.AI cs.LG cs.RO
Training Humans to Train Robots Dynamic Motor Skills
Department of Engineering, King’s College London(伦敦国王学院工程系)
示教学习(LfD)通常被认为是允许新手用户向机器人教授运动技能的自然和直观的方式。然而,重要的是要承认,LfD的有效性在很大程度上取决于教学质量,这可能无法保证新手。除了为特定的教学任务提供临时建议外,如何最有效地指导演示者进行信息演示,这仍然是一个悬而未决的问题。为此,本文调查了使用机器教学,以获得一个指数,用于确定演示的质量,并评估其使用的指导和培训新手成为更好的教师。一个简单的学习机器人的实验表明,通过所提出的方法,教师的指导和培训,可以导致高达66.5%的错误减少在学习技能。
2021-05-13 cs.AI cs.HC cs.RO
Versatile Real-Time Motion Synthesis via Kino-Dynamic MPC with Hybrid-Systems DDP
University of Notre Dame(圣母大学);Robotics at Google(谷歌机器人部门)
四足机器人的跳跃等特殊运动通常通过一次性解决轨迹优化问题并使用跟踪控制器执行轨迹来实现。这种方法与通常通过在线重新规划来控制规则步态的模型预测控制(MPC)策略并行。在这项工作中,我们提出了一个非线性MPC(NMPC)技术,解锁的飞行重新规划的专门运动技能和定期运动在一个统一的框架内。NMPC的原因是关于一个混合kinodynamic模型,并解决了使用一个受约束的差分动态规划(DDP)求解器的变体。建议的NMPC使机器人能够执行各种敏捷的技能,如跳跃,跳跃和小跑,以及这些技能之间的快速转换。我们评估了所提出的算法与三个具有挑战性的运动序列,结合多种灵活的技能,在两个四足动物平台,Unitree A1,和麻省理工学院迷你猎豹,显示其有效性和通用性。
2022-09-28 cs.RO
Agile and Versatile Robot Locomotion via Kernel-based Residual Learning
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
这项工作开发了一个基于内核的残余学习框架的四足机器人运动。最初,用从MPC控制器收集的数据训练内核神经网络。除了冻结核网络之外,通过强化学习训练剩余控制器网络,以获得广义运动技能和对外部扰动的弹性。在此框架下,一个强大的四足运动控制器的学习与高样本效率和可控性,提供全方位的运动在连续的速度。它的通用性和鲁棒性的专家MPC控制器无法穿越看不见的地形进行验证。此外,学习的内核可以产生一系列功能性运动行为,并可以推广到看不见的步态。
2023-02-14 cs.RO
Identifying Important Sensory Feedback for Learning Locomotion Skills
University of Edinburgh(爱丁堡大学);Shenzhen Amigaga Technology Co Ltd(深圳阿米嘎嘎科技有限公司);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));University College London(伦敦大学学院)
本文提出一种系统显著性分析方法,定量评估深度强化学习中不同反馈状态对机器人运动技能的相对重要性,识别出关键状态并证明仅使用关键状态即可实现与全状态相当的性能,为机器人运动学习提供了指南。
2023-06-29 cs.LG cs.RO
Constrained Dynamic Movement Primitives for Safe Learning of Motor Skills
Brown University(布朗大学);Mitsubishi Electric Research Labs(三菱电机研究实验室)
动态运动基元被广泛用于学习技能,这些技能可以由熟练的人或控制器向机器人演示。虽然它们的泛化能力和简单的公式使它们非常有吸引力,但它们没有强有力的保证来满足任务的操作安全约束。在本文中,我们提出了受约束的动态运动基元(C),它可以让约束满足的机器人工作空间。我们提出了一个非线性优化的配方,扰动的局部加权回归回归的强制权,承认归零障碍函数(ZBF),这证明工作空间约束满足。我们证明了建议的Cynomial在不同的约束下的末端执行器的运动,如避障和工作空间的物理机器人的限制。一个视频显示了在不同环境中使用不同的操纵器实现所提出的算法,可以在这里找到https://youtu.be/hJegJJkJfys。
2022-09-28 cs.AI cs.RO
Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation
Kyoto University(京都大学);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所(ATR))
本研究提出一种用于基础策略获取的多任务强化学习算法,通过构建编码器-解码器网络及网络选择机制,使策略能适应多变的动态运动任务,并成功生成全新的运动技能。
2025-03-02 cs.LG cs.RO
From Human Hands to Robotic Limbs: A Study in Motor Skill Embodiment for Telemanipulation
Minnesota Robotics Institute (MNRI), University of Minnesota(明尼苏达大学明尼苏达机器人研究所(MNRI))
本文提出一种基于GRU变分自编码器和全连接网络的遥操作系统,将人类手臂手势映射到冗余自由度机械臂的潜在构型空间,实现实时轨迹生成并能泛化到训练中未见过的构型。
2025-02-04 cs.AI cs.RO
Learning Whole-body Motor Skills for Humanoids
The University of Edinburgh(爱丁堡大学)
本文提出了一种用于深度强化学习的分层框架,该框架可以获得各种推动恢复和平衡行为的运动技能,即,踝关节,髋关节,脚倾斜,和步进策略。该策略在物理模拟器中进行训练,该物理模拟器具有真实的机器人模型设置和低级别的阻抗控制,易于将学到的技能转移到真实的机器人上。与传统方法相比的优点是将高级规划器和反馈控制全部集成在一个单一的连贯策略网络中,这对于学习针对任意位置处的未知扰动的通用平衡和恢复运动是通用的(例如,腿、躯干)。此外,所提出的框架允许的政策,快速学习的许多国家的最先进的学习算法。通过比较我们的学习结果的预编程,特殊用途的控制器在文献中的研究,自学技能是可比的干扰抑制方面,但具有额外的优势,产生广泛的自适应,通用和鲁棒的行为。
2020-02-07 cs.LG cs.RO stat.ML
Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies
DeepMind(深度思维)
对于在现实世界中操作的机器人,希望学习可重复使用的行为,这些行为可以有效地转移并适应许多任务和场景。我们提出了一种方法来学习抽象的运动技能的数据使用分层混合潜变量模型。与现有的工作相比,我们的方法利用了离散和连续潜变量的三级层次结构,以捕获一组高级行为,同时允许它们如何执行的差异。我们在操作域中证明,该方法可以有效地将离线数据聚类为不同的可执行行为,同时保留连续潜变量模型的灵活性。由此产生的技能可以转移和微调新的任务,看不见的对象,并从状态到基于视觉的政策,产生更好的样本效率和渐近性能相比,现有的技能和模仿为基础的方法。我们进一步分析了这些技能如何以及何时最有益:它们鼓励定向探索覆盖与任务相关的状态空间的大区域,使它们在挑战稀疏奖励设置时最有效。
2022-03-14 cs.AI cs.LG cs.RO
Smart Textiles that Teach: Fabric-Based Haptic Device Improves the Rate of Motor Learning
当人们意识到自己的错误并做出一致的努力来纠正错误时,他们对运动活动的学习效果最好。虽然触觉接口可以促进运动训练,但现有的接口通常体积庞大,并且并不总是确保训练后的技能保持。在这里,我们描述了一个可编程的触觉套筒组成的纺织品为基础的电粘附离合器的技能获取和保留。我们在运动学习研究中展示了它的功能,用户使用肘关节旋转控制无人机的运动。触觉反馈用于抑制肘关节运动并使用户意识到他们的错误。这有助于用户有意识地学习避免错误的发生。虽然所有受试者在运动学习的基线阶段表现出相似的表现,但在评价阶段,从触觉套筒接收触觉反馈的受试者的错误比对照组的受试者少23.5%。结果表明,套筒帮助用户保留和转移运动技能比单独的视觉反馈更好。这项工作显示了潜在的织物为基础的触觉接口作为训练辅助运动任务的康复和遥操作领域。
2021-07-12 cs.HC cs.RO
Socially Guided Intrinsic Motivation for Robot Learning of Motor Skills
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
本文提出了一种结合主动内在动机学习和模仿学习的机器人学习运动技能的技术途径。我们的架构,称为SGIM-D,允许高效学习机器人中的高维连续感觉运动逆模型,特别是学习参数化运动策略的分布,解决相应的参数化目标/任务的分布。这是通过将模仿学习技术技术集成在用于学习依赖于主动目标模糊的逆模型的算法内而实现的。在回顾了社会学习和内在动机的行动学习方法,我们描述了我们的算法的一般框架,然后详细介绍了其架构。在一个机器人手臂必须学会使用灵活的鱼线的实验中,我们说明了SGIM-D有效地结合了社会学习和内在动机的优势,并从人类演示属性中受益,以学习如何在环境中产生不同的结果,同时在大空间中开发更精确的控制策略。
2018-04-19 cs.AI cs.LG cs.RO
Skill-informed Data-driven Haptic Nudges for High-dimensional Human Motor Learning
Department of Electrical and Computer Engineering, Michigan State University(电气与计算机工程系,密歇根州立大学);Department of Kinesiology and the Department of Mechanical Engineering, Michigan State University(运动科学系和机械工程系,密歇根州立大学)
本文提出了一种数据驱动框架,利用学习者的估计技能设计最优触觉提示反馈,以解决在高维冗余运动空间中学习新运动任务的挑战。通过输入-输出隐马尔可夫模型建模人类运动学习的随机动态,并将触觉提示反馈设计问题建模为部分可观测马尔可夫决策过程,从而推导出最优提示策略。
2026-04-13 cs.HC cs.RO cs.SY
Expanding Versatility of Agile Locomotion through Policy Transitions Using Latent State Representation
Inventec Corporation(英业达股份有限公司)
针对真实场景机器人运动通用性拓展问题,提出基于潜状态表征的transition-net鲁棒切换策略,可统一多运动策略实现任意策略对鲁棒切换,新增技能不影响旧技能,训练高效且切换成功率优于现有方法。
2023-06-14 cs.LG cs.RO
The e-Bike Motor Assembly: Towards Advanced Robotic Manipulation for Flexible Manufacturing
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文面向柔性制造提出现场示教与编程自适应机器人的四层框架,整合自监督感知、示教学习技能、任务排序与在线优化,并在电动自行车电机装配和密集箱体装箱中验证。
2023-04-20 cs.RO
Extreme-RGMT: Continual Learning of Highly Dynamic Skills for Robust Generalist Humanoid Control
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);Humanoid Robotics (Shanghai) Co., Ltd.(人形机器人(上海)有限公司);School of Mechanical Engineering, Shandong University(山东大学机械工程学院)
研究针对类人机器人控制器通用与专业能力权衡问题,提出两阶段持续学习框架极端-RGMT。先学通用运动跟踪基础策略,再用特定机制约束策略漂移,结合两种采样方法解决数据问题,实现最优通用全身运动跟踪性能,推动控制器向人类专家水平发展。
2026-07-23 cs.RO
Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration
Bogazici University(博加齐大学);Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);International Professional University of Technology in Osaka(大阪国际职业技术大学)
针对长技能复合误差问题,提出基于条件神经运动基元学习上下文相关修正策略,实现双臂打结技能合成,并在仿真和真实机器人上验证有效性。
2022-09-28 cs.RO
Initial Test of "BabyRobot" Behaviour on a Teleoperated Toy Substitution: Improving the Motor Skills of Toddlers
UPC BarcelonaTech(加泰罗尼亚理工大学巴塞罗那技术学院);IRII (CSIC-UPC)(工业机器人与信息技术研究所(西班牙国家研究委员会-加泰罗尼亚理工大学));IDEAI-UPC(加泰罗尼亚理工大学智能数据与人工智能研究所)
本文介绍了一种旨在提高婴幼儿运动技能的机器人“婴儿机器人”。作者开发了一种类似汽车的玩具,使用强化学习和计算机视觉技术自主移动。机器人的行为是从先前已经识别或至少检测到的目标婴儿处逃脱,同时避开障碍物,使得婴儿的安全性不受损害。无数具有类似移动性改进目的的商业玩具进入市场;然而,没有人押注智能自主运动,因为它们在最好的情况下执行简单但重复的轨迹。两个爬行玩具-一个代表“婴儿机器人”-在真实的环境中进行了测试,以检查它们如何改善幼儿的流动性。这些现实生活中的实验是在幼儿园用我们提出的机器人进行的,在那里一群孩子与玩具互动。检测到参与者的运动技能有显著改善。
2023-03-16 cs.CV cs.HC cs.RO
Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning
Google DeepMind(谷歌DeepMind);University of Oxford(牛津大学);Google(谷歌公司);Isomorphic Labs(同构实验室);University College London(伦敦大学学院)
本研究利用深度强化学习训练20关节双足人形机器人掌握1v1足球的多种敏捷运动与战术技能,通过仿真训练零样本迁移至真实机器人,性能显著优于脚本基线。
2024-04-11 cs.AI cs.LG cs.RO
Dynamics-Informed Reinforcement Learning for Agile and Energy-Efficient Locomotion of a Monopedal Hopping Quadcopter
Guangdong Technion - Israel Institute of Technology(广东以色列理工学院);Technion-Israel Institute of Technology(以色列理工学院)
提出动力学信息强化学习框架,通过嵌入比能和相位奖励,实现单足跳跃四旋翼的稳定高效跳跃,能耗较悬停和低效基线分别降低82%和73%。
2026-09-15 cs.RO
Assistive Teaching of Motor Control Tasks to Humans
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
最近关于共享自治和辅助人工智能技术的工作,例如辅助机器人遥操作,试图在固定任务中建模和帮助能力有限的人类用户。然而,这些方法往往无法解释人类的适应能力,并最终学会如何自己执行控制任务。此外,在可能需要人类干预的应用中,这些方法可能会抑制他们学习如何成功进行完全自我控制的能力。在本文中,我们专注于运动控制任务,如停车或降落飞机的辅助教学问题。尽管它们在人类的日常活动和职业中无处不在,但由于其高度复杂性和多样性,运动任务很少以统一的方式教授。我们提出了一种人工智能辅助教学算法,该算法利用强化学习(RL)的技能发现方法(i)将任何运动控制任务分解为可教技能,(ii)构建新颖的训练序列,(iii)为具有不同能力的学生个性化课程。通过对两个运动控制任务的综合和用户研究的广泛组合-用操纵杆停车和从巴厘岛字母书写字符-我们表明,与没有技能的完整轨迹练习相比,辅助教学技能可以提高学生的成绩约40%,并且使用个性化训练练习可以进一步提高高达25%。我们的源代码可以在https://github.com/Stanford-ILIAD/teaching上找到
2022-11-25 cs.AI cs.HC cs.RO