MyoSuite -- A contact-rich simulation suite for musculoskeletal motor control
Meta AI Research(Meta人工智能研究院);University of Twente(特文特大学)
在连续控制域中的智能体对允许探索肌肉骨骼特性的任务的接触有限,这些特性使生物体具有敏捷和灵活的行为。神经肌肉骨骼控制背后的复杂性可能会给运动学习社区带来新的挑战。与此同时,解决复杂神经控制问题的智能体可以在神经康复和协作机器人等领域产生影响。人体生物力学是复杂的多关节多驱动器肌肉骨骼系统的基础。感觉运动系统依赖于一系列丰富的感觉接触和本体感受输入,这些输入定义和调节在物理世界中表现出智能行为所需的肌肉致动。目前的肌肉骨骼控制框架不支持肌肉骨骼系统的生理复杂性以及物理世界的相互作用能力。此外,它们既不是嵌入在复杂和熟练的运动任务中,也不是计算有效的和可扩展的,以研究大规模的学习范式。在这里,我们介绍了MyoSuite -一套生理上精确的生物力学模型,包括肘部、手腕和手,具有物理接触能力,可以学习复杂而熟练的接触丰富的现实世界任务。我们提供各种电机控制挑战:从简单的姿势控制到熟练的手-物交互,例如转动钥匙,旋转笔,一只手旋转两个球等。(肌腱转移),辅助装置(外骨骼辅助)和肌肉收缩动力学(肌肉疲劳,肌肉减少症),我们提出了现实生活中的任务与时间的变化,从而暴露现实的非稳态条件下,在我们的任务,大多数连续控制基准缺乏。
2022-05-26 cs.AI cs.LG cs.RO
Imitation learning of motor primitives and language bootstrapping in robots
机器人中的模仿学习,也称为通过演示编程,近年来取得了重要进展,允许人类向机器人教授上下文相关的运动技能/任务。我们建议扩展通常的情况下调查,也包括声学语言表达,可能表示一个给定的运动技能,因此,我们的目标是共同学习的运动技能和他们潜在的声学语言名称。除此之外,对模仿学习框架内的一类现有算法进行了修改,使得它们可以处理几个任务/运动原语的未标记演示,而不必通知模仿者正在演示的任务或任务的数量,这是语言学习所必需的,即;如果一个人想自然地教授开放数量的新运动技能以及它们的声学名称。最后,还提出了一种用于检测语言输入是否与任务相关的机制,并且我们的架构还允许机器人为给定的已识别运动原语找到正确的框架。有了这些补充,就有可能建立一个模仿者,通过使用模仿学习社区的方法学习语言表达,弥合模仿学习和语言学习之间的差距。在这个意义上,模仿者可以通过猜测上下文中存在的某种语音模式是否意味着要执行特定任务来学习单词。然而,模仿者并不被假定知道语音是相关的,并且必须通过观察演示来自己弄清楚这一点:事实上,该架构允许机器人透明地学习不应该由声学单词触发的任务,而是例如由物体的颜色或位置或环境中某人做出的手势。为了证明这种能力,找到...
2012-03-11 cs.AI
From Knowing to Doing: Learning Diverse Motor Skills through Instruction Learning
Navigation and Control Research Center, Department of Automation, Tsinghua University(清华大学自动化系导航与控制研究中心)
本文提出机器人指令学习框架,将参考轨迹作为前馈动作并结合强化学习反馈控制,辅以动作约束和移除模仿奖励,实现双足与四足机器人多样运动技能的高效学习及 sim-to-real 迁移。
2023-11-01 cs.RO
Robot Composite Learning and the Nunchaku Flipping Challenge
New Jersey Institute of Technology(新泽西理工学院);Hunan University(湖南大学)
先进的运动技能是机器人与人类共存的必要条件。许多关于机器人动力学和控制的研究已经在超级机器人电机能力方面取得了成功,但大多是通过大量的案例特定工程。同时,在机器人以普遍存在的方式获取技能方面,机器人学习从人类演示(LfD)取得了很大进展,但在处理动态技能和复合动作方面仍然存在局限性。在本文中,我们提出了一个复合学习计划,超越LfD和集成机器人学习从人类的定义,演示和评价。该方法解决了先进的运动技能,需要动态的时间临界机动,复杂的接触控制,并处理部分软部分刚性物体。我们还介绍了“双截棍翻转挑战”,一个极端的测试,把硬要求,所有这三个方面。本文在前面介绍的基础上,介绍了复合学习方案的最新进展和双节棍翻转挑战赛的物理成功。
2017-09-11 cs.RO
Continual Robot Skill and Task Learning via Dialogue
Arizona State University(亚利桑那州立大学)
本文提出通过对话交互实现机器人持续学习任务和视觉-运动技能,开发了ACT-LoRA政策在模拟中优于基线,且在真实场景中成功教授烹饪技能。
2026-03-28 cs.AI cs.CL cs.RO
Bidirectional Tutoring for Developmental Motor Learning in Robots: Co-Developed Interaction Dynamics Support Stable Learning
Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
提出双向辅导框架,通过人类或AI导师与机器人动态适应,利用自由能原理神经网络实现稳定序列学习,在物体操作任务中验证了行为一致性和泛化能力。
2026-06-19 cs.AI cs.RO
Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration
Bogazici University(博加齐大学);Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);International Professional University of Technology in Osaka(大阪国际职业技术大学)
针对长技能复合误差问题,提出基于条件神经运动基元学习上下文相关修正策略,实现双臂打结技能合成,并在仿真和真实机器人上验证有效性。
2022-09-28 cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Multi-task Learning with Gradient Guided Policy Specialization
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种方法,有效地学习多个相关的机器人运动技能的控制策略。我们的方法包括两个阶段,联合培训和专业化培训。在联合训练阶段,用最少的信息训练神经网络策略以消除运动技能的歧义。这迫使策略学习不同任务的公共表示。然后,在专业化训练阶段,我们根据衡量多个任务之间不一致性的每个权重度量有选择地划分策略的权重。通过分割控制策略的一部分,可以进一步训练它来专门处理每个任务。为了在学习过程中更新控制策略,我们使用广义优势函数信赖域策略优化(TRPOGAE)。我们提出了一个修改的梯度更新阶段的TRPO,以更好地适应多任务的学习场景。我们评估了我们在模拟中的三个连续运动技能学习问题上的方法:1)运动任务,其中训练具有相当大的形状和尺寸差异的三个单腿足式机器人向前跳跃,2)操纵任务,其中训练具有不同尺寸和关节类型的三个机器人操纵器到达3D空间中的不同位置,以及3)两条腿的足式机器人的运动,其一条腿的运动范围以不同的方式受到限制。我们将我们的训练方法与三个基线进行比较。第一个基线只对策略进行联合训练,第二个基线为每个任务训练独立的策略,最后一个基线随机选择要分割的权重。我们表明,我们的方法比每种基线方法都更有效地学习。
2018-03-02 cs.AI cs.LG cs.RO
Bootstrapping Motor Skill Learning with Motion Planning
Brown University(布朗大学)
从头开始学习机器人运动技能是不切实际的慢;以至于在实践中,学习必须使用从人类演示中获得的良好技能策略来引导。然而,依赖人类的示范必然会降低机器人的自主性,因为机器人必须在其工作寿命内学习各种技能。我们建议使用运动学运动规划作为一个完全自主的,样本有效的方式来引导运动技能学习的对象操作。我们展示了使用运动规划引导运动技能在两个复杂的对象操作场景与不同的政策表示:打开一个抽屉的动态运动原语表示,并关闭微波炉门深神经网络政策。我们还展示了我们的方法如何引导运动技能的挑战性的动态任务,学习打一个球的发球台,其中运动学计划的基础上处理的场景作为静态是不够的,以解决任务,但足以引导一个更动态的政策。在所有这三种情况下,我们的方法与人工演示的初始化相比都具有竞争力,并且显著优于随机策略。这种方法使机器人能够有效地和自主地学习动态任务的电机策略,而无需人类演示。
2021-01-12 cs.AI cs.RO
Game-Guided Skill Discovery through Self-Play for Playable Agent Control
Georgia Institute of Technology(佐治亚理工学院);Simon Fraser University(西蒙弗雷泽大学);NVIDIA(英伟达)
提出GGSD框架,通过游戏自我对弈发现人类可玩的离散运动技能,使人类能组合技能解决未见任务,无需额外训练。
2026-10-01 cs.AI cs.LG cs.RO
SLIM: Skill Learning with Multiple Critics
NAVER LABS Europe(NAVER欧洲实验室);EPITA Research Laboratory (LRE)(EPITA研究实验室)
针对机器人操作中互信息最大化难以产生有用安全行为的问题,提出多评论家技能学习方法SLIM,在actor-critic框架中优雅组合多奖励函数以克服干扰,在桌面操作中显著超越基线方法。
2024-03-21 cs.AI cs.LG cs.RO
ModSkill: Physical Character Skill Modularization
University of Pennsylvania(宾夕法尼亚大学);The University of Hong Kong(香港大学)
提出 ModSkill 框架,将全身运动技能解耦为可组合的身体部位模块,并结合生成式自适应采样主动学习,提升运动跟踪性能与技能嵌入复用性。
2025-02-19 cs.CV cs.GR cs.RO
Deep Intrinsically Motivated Continuous Actor-Critic for Efficient Robotic Visuomotor Skill Learning
University of Hamburg(汉堡大学)
在本文中,我们提出了一个新的内在动机的演员-评论家算法学习连续的运动技能直接从原始的视觉输入。我们的神经结构由一个评论家和一个演员网络组成。两个网络都接收深度卷积自动编码器的隐藏表示,该编码器经过训练以重建视觉输入,而最中心的隐藏表示也经过优化以估计状态值。单独地,预测世界模型的集合基于其学习进度生成内在奖励信号,该内在奖励信号与外在奖励相结合以指导行动者-批评者学习者的探索。我们的方法是更有效的数据和固有的更稳定的比现有的演员评论家的方法从像素数据的连续控制。我们评估我们的算法的任务,学习机器人达到和掌握技能的一个现实的物理模拟器和一个人形机器人。结果表明,我们的方法学习的控制策略可以实现更好的性能比比较国家的最先进的和基线算法在密集的奖励和具有挑战性的稀疏奖励设置。
2019-02-18 cs.AI cs.LG cs.RO
NIL: No-data Imitation Learning by Leveraging Pre-trained Video Diffusion Models
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出NIL框架,利用预训练视频扩散模型生成的2D视频并结合视频嵌入距离与帧相似度奖励,引导3D运动技能模仿学习,在人形机器人运动任务上优于使用3D动捕数据的基线。
2025-03-13 cs.AI cs.CV cs.LG
Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出KIS-GMM方法,通过学习3D关键点结合模仿与强化学习,使机器人在无需新真实数据下实现零样本泛化并快速适应新环境。
2023-10-23 cs.AI cs.CV cs.LG
Rapid Motor Adaptation for Robotic Manipulator Arms
University of Cambridge(剑桥大学);University of Oxford(牛津大学);Cornell University(康奈尔大学)
本文提出利用深度感知和Rapid Motor Adaptation方法,在Maniskill2基准的四类操作任务上训练机器人操作臂智能体,实验证明其在泛化性能和样本效率上优于自动域随机化和视觉策略方法。
2024-03-29 cs.AI cs.CV cs.LG
Learning Forceful Manipulation Skills from Multi-modal Human Demonstrations
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Bosch Corporate Research(博世企业研究)
示教学习(LfD)提供了一种直观、快速的机器人操作器编程方法。任务参数化表示允许轻松适应新场景和在线观察。然而,这种方法仅限于姿势演示,因此仅限于具有空间和时间特征的技能。在这项工作中,我们扩展了LfD框架,以解决有力的操作技能,这是非常重要的工业过程,如装配。对于这些技能,包括机器人末端执行器姿势,力和扭矩读数以及操作场景在内的多模态演示是必不可少的。我们的目标是根据不同场景中所展示的姿势和力量分布可靠地再现这些技能。该方法结合了我们以前的工作任务参数化优化和吸引子为基础的阻抗控制。所学习的技能模型包括(i)统一姿势和力特征的吸引子模型,以及(ii)针对技能的不同阶段优化刚度的刚度模型。此外,提出了一种在线执行算法,以适应技能执行的机器人姿态,测量力,和变化的场景的实时观察。我们在电动自行车电机装配过程的几个步骤中对7自由度机器人手臂进行了严格的验证,这些步骤需要不同类型的有力交互,例如插入,滑动和扭转。
2021-09-09 cs.RO
Modulating Reservoir Dynamics via Reinforcement Learning for Efficient Robot Skill Synthesis
Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);OTRI/SISReC(大阪大学技术研究与创新中心/社会创新科学研究中心)
提出一种基于储备池计算和强化学习的示范学习框架,通过强化学习模块在线调节储备池动力学以生成分布外运动轨迹,无需新数据即可高效扩展机器人动作库。
2024-11-17 cs.AI cs.RO
Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes
RWTH Aachen University(亚琛工业大学)
引导策略搜索使机器人能够有效地学习复杂操作任务的控制策略。其中,控制策略被表示为基于状态导出机器人动作的高维神经网络。然而,由于指导策略搜索中的真实世界轨迹样本数量很少,因此所得到的神经网络仅在真实世界交互所探索的轨迹分布的邻域中是鲁棒的。在本文中,我们提出了一种新的策略表示称为生成运动反射,这是能够在更广泛的状态空间生成强大的行动相比,以前的方法。与先前的状态动作策略相比,生成性运动反射将状态映射到状态依赖运动反射的参数,然后用于导出动作。鲁棒性是通过对许多状态产生类似的运动反射来实现的。我们评估所提出的方法在模拟和现实世界的操作任务,包括接触丰富的钉孔任务。使用这些评估任务,我们表明,表示为生成运动反射的政策导致强大的操作技能,也探索轨迹分布之外,与以前的方法相比,训练需求更少。
2019-02-19 cs.AI cs.RO
From Rolling Over to Walking: Enabling Humanoid Robots to Develop Complex Motor Skills
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出一种基于成就触发多路径奖励函数的强化学习方法,使类人机器人在单一训练阶段学习从翻身到行走的复杂运动技能,并在模拟环境中提升成功率与学习速度。
2023-11-13 cs.RO
Assistive Teaching of Motor Control Tasks to Humans
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
最近关于共享自治和辅助人工智能技术的工作,例如辅助机器人遥操作,试图在固定任务中建模和帮助能力有限的人类用户。然而,这些方法往往无法解释人类的适应能力,并最终学会如何自己执行控制任务。此外,在可能需要人类干预的应用中,这些方法可能会抑制他们学习如何成功进行完全自我控制的能力。在本文中,我们专注于运动控制任务,如停车或降落飞机的辅助教学问题。尽管它们在人类的日常活动和职业中无处不在,但由于其高度复杂性和多样性,运动任务很少以统一的方式教授。我们提出了一种人工智能辅助教学算法,该算法利用强化学习(RL)的技能发现方法(i)将任何运动控制任务分解为可教技能,(ii)构建新颖的训练序列,(iii)为具有不同能力的学生个性化课程。通过对两个运动控制任务的综合和用户研究的广泛组合-用操纵杆停车和从巴厘岛字母书写字符-我们表明,与没有技能的完整轨迹练习相比,辅助教学技能可以提高学生的成绩约40%,并且使用个性化训练练习可以进一步提高高达25%。我们的源代码可以在https://github.com/Stanford-ILIAD/teaching上找到
2022-11-25 cs.AI cs.HC cs.RO
REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs
Apple(苹果公司)
REFACTOR-VLA 是用于学习可复用技能的醒/睡系统,在 LIBERO 数据集上,其改进的训练目标提升了聚类性能,生成了首个 real-LIBERO 任务-语言库,性能优于现有基线。
2026-09-02 cs.AI cs.LG cs.RO
Learning Human-Like Badminton Skills for Humanoid Robots
本文提出Imitation-to-Interaction框架,通过强化学习使机器人从模仿者发展为具备击球能力的智能体,实现了拟人化羽毛球技能的模拟到现实的零样本迁移。
2026-09-15 cs.AI cs.LG cs.RO
Training People to Reward Robots
Centre for Robotics Research, Department of Engineering, King’s College London, UK(机器人研究中心,工程系,伦敦国王学院,英国)
本文研究用机器教学引导新手教师,在仅8次演示下提升RLfD教学与泛化能力,使机器人训练技能性能提升89%、未见技能提升70%。
2025-05-15 cs.RO
Constrained Dynamic Movement Primitives for Safe Learning of Motor Skills
Brown University(布朗大学);Mitsubishi Electric Research Labs(三菱电机研究实验室)
动态运动基元被广泛用于学习技能,这些技能可以由熟练的人或控制器向机器人演示。虽然它们的泛化能力和简单的公式使它们非常有吸引力,但它们没有强有力的保证来满足任务的操作安全约束。在本文中,我们提出了受约束的动态运动基元(C),它可以让约束满足的机器人工作空间。我们提出了一个非线性优化的配方,扰动的局部加权回归回归的强制权,承认归零障碍函数(ZBF),这证明工作空间约束满足。我们证明了建议的Cynomial在不同的约束下的末端执行器的运动,如避障和工作空间的物理机器人的限制。一个视频显示了在不同环境中使用不同的操纵器实现所提出的算法,可以在这里找到https://youtu.be/hJegJJkJfys。
2022-09-28 cs.AI cs.RO
Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies
DeepMind(深度思维)
对于在现实世界中操作的机器人,希望学习可重复使用的行为,这些行为可以有效地转移并适应许多任务和场景。我们提出了一种方法来学习抽象的运动技能的数据使用分层混合潜变量模型。与现有的工作相比,我们的方法利用了离散和连续潜变量的三级层次结构,以捕获一组高级行为,同时允许它们如何执行的差异。我们在操作域中证明,该方法可以有效地将离线数据聚类为不同的可执行行为,同时保留连续潜变量模型的灵活性。由此产生的技能可以转移和微调新的任务,看不见的对象,并从状态到基于视觉的政策,产生更好的样本效率和渐近性能相比,现有的技能和模仿为基础的方法。我们进一步分析了这些技能如何以及何时最有益:它们鼓励定向探索覆盖与任务相关的状态空间的大区域,使它们在挑战稀疏奖励设置时最有效。
2022-03-14 cs.AI cs.LG cs.RO
Learning robot motor skills with mixed reality
Brown University(布朗大学);MERL(三菱电机研究实验室)
混合现实(MR)最近显示出巨大的成功,作为一个直观的界面,使最终用户能够教机器人。相关工作已经使用MR接口将机器人意图和信念传达给共处的人类,以及开发用于获取多模态人类输入和学习复杂运动行为的算法。即使取得了这些成功,使最终用户能够教机器人复杂的运动任务仍然是一个挑战,因为最终用户的沟通是高度依赖于任务和世界知识是高度多样化的。我们提出了一个学习框架,最终用户教机器人a)运动演示,b)任务约束,c)规划表示,和d)对象信息,所有这些都集成到一个单一的运动技能学习框架的基础上动态运动原语(DMP)。我们假设,传达这个世界的知识将是直观的MR接口,并结合不同形式的世界知识的样本高效的运动技能学习框架将使机器人能够有效地解决复杂的任务。
2022-03-21 cs.LG cs.RO
Agile perceptive multi-skill locomotion for quadrupedal robots in the wild
Agency for Defense Development(国防发展局);Korea Advanced Institute of Science and Technology(韩国科学技术院);DIDEN Robotics(迪登机器人公司);Korea University(韩国大学)
研究使四足机器人在复杂地形实现多技能运动的问题,提出 APT-RL 框架,利用机载感知和计算自主转换技能,通过轨迹优化生成数据集训练技能,经实验验证该框架能让机器人在复杂环境敏捷机动,稳健穿越多样障碍物。
2026-07-16 cs.AI cs.LG cs.RO
A Domain-Specific Language for Rich Motor Skill Architectures
Research Institute for Cognition and Robotics, Bielefeld University(比勒费尔德大学认知与机器人研究所)
模型驱动的软件开发是一种很有前途的方法,以应对先进机器人系统集成的复杂性,因为它已经证明了它的好处,在具有挑战性的系统集成要求的领域。本文报告了在这方面的工作进展,旨在提高研究和实验过程中的合作研究项目开发符合机器人的运动技能架构。我们的目标是建立一个模型驱动的开发过程,在整个项目中围绕一个特定领域的语言(DSL),促进紧凑的描述自适应模块化架构丰富的运动技能。为其他方面(例如映射到技术组件架构)提供进一步的语言,该方法不仅允许对运动技能架构进行正式描述,还允许自动生成代码以用于在技术机器人平台上进行实验。本文报告的第一个案例研究,举例说明如何开发AMARSi DSL有助于概念化不同的架构方法,并确定其异同。
2013-02-26 cs.RO cs.SE
Smart Textiles that Teach: Fabric-Based Haptic Device Improves the Rate of Motor Learning
当人们意识到自己的错误并做出一致的努力来纠正错误时,他们对运动活动的学习效果最好。虽然触觉接口可以促进运动训练,但现有的接口通常体积庞大,并且并不总是确保训练后的技能保持。在这里,我们描述了一个可编程的触觉套筒组成的纺织品为基础的电粘附离合器的技能获取和保留。我们在运动学习研究中展示了它的功能,用户使用肘关节旋转控制无人机的运动。触觉反馈用于抑制肘关节运动并使用户意识到他们的错误。这有助于用户有意识地学习避免错误的发生。虽然所有受试者在运动学习的基线阶段表现出相似的表现,但在评价阶段,从触觉套筒接收触觉反馈的受试者的错误比对照组的受试者少23.5%。结果表明,套筒帮助用户保留和转移运动技能比单独的视觉反馈更好。这项工作显示了潜在的织物为基础的触觉接口作为训练辅助运动任务的康复和遥操作领域。
2021-07-12 cs.HC cs.RO
Skill-informed Data-driven Haptic Nudges for High-dimensional Human Motor Learning
Department of Electrical and Computer Engineering, Michigan State University(电气与计算机工程系,密歇根州立大学);Department of Kinesiology and the Department of Mechanical Engineering, Michigan State University(运动科学系和机械工程系,密歇根州立大学)
本文提出了一种数据驱动框架,利用学习者的估计技能设计最优触觉提示反馈,以解决在高维冗余运动空间中学习新运动任务的挑战。通过输入-输出隐马尔可夫模型建模人类运动学习的随机动态,并将触觉提示反馈设计问题建模为部分可观测马尔可夫决策过程,从而推导出最优提示策略。
2026-04-13 cs.HC cs.RO cs.SY
Initial Test of "BabyRobot" Behaviour on a Teleoperated Toy Substitution: Improving the Motor Skills of Toddlers
UPC BarcelonaTech(加泰罗尼亚理工大学巴塞罗那技术学院);IRII (CSIC-UPC)(工业机器人与信息技术研究所(西班牙国家研究委员会-加泰罗尼亚理工大学));IDEAI-UPC(加泰罗尼亚理工大学智能数据与人工智能研究所)
本文介绍了一种旨在提高婴幼儿运动技能的机器人“婴儿机器人”。作者开发了一种类似汽车的玩具,使用强化学习和计算机视觉技术自主移动。机器人的行为是从先前已经识别或至少检测到的目标婴儿处逃脱,同时避开障碍物,使得婴儿的安全性不受损害。无数具有类似移动性改进目的的商业玩具进入市场;然而,没有人押注智能自主运动,因为它们在最好的情况下执行简单但重复的轨迹。两个爬行玩具-一个代表“婴儿机器人”-在真实的环境中进行了测试,以检查它们如何改善幼儿的流动性。这些现实生活中的实验是在幼儿园用我们提出的机器人进行的,在那里一群孩子与玩具互动。检测到参与者的运动技能有显著改善。
2023-03-16 cs.CV cs.HC cs.RO
For Pre-Trained Vision Models in Motor Control, Not All Policy Learning Methods are Created Equal
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);AWS AI, Amazon(亚马逊AWS人工智能)
本研究系统评估14个预训练视觉模型在3类策略学习方法下的表现,发现预训练有效性高度依赖下游算法,并提倡使用VRF和BC等稳健方法,同时发布21任务基准。
2023-06-20 cs.CV cs.RO
Learning Whole-body Motor Skills for Humanoids
The University of Edinburgh(爱丁堡大学)
本文提出了一种用于深度强化学习的分层框架,该框架可以获得各种推动恢复和平衡行为的运动技能,即,踝关节,髋关节,脚倾斜,和步进策略。该策略在物理模拟器中进行训练,该物理模拟器具有真实的机器人模型设置和低级别的阻抗控制,易于将学到的技能转移到真实的机器人上。与传统方法相比的优点是将高级规划器和反馈控制全部集成在一个单一的连贯策略网络中,这对于学习针对任意位置处的未知扰动的通用平衡和恢复运动是通用的(例如,腿、躯干)。此外,所提出的框架允许的政策,快速学习的许多国家的最先进的学习算法。通过比较我们的学习结果的预编程,特殊用途的控制器在文献中的研究,自学技能是可比的干扰抑制方面,但具有额外的优势,产生广泛的自适应,通用和鲁棒的行为。
2020-02-07 cs.LG cs.RO stat.ML
Expanding Motor Skills through Relay Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Google Brain(谷歌大脑)
虽然深度强化学习的最新进展在学习运动技能方面取得了令人印象深刻的成果,但许多经过训练的策略只能在有限的初始状态集合中使用。我们提出了一种技术,将复杂的机器人任务分解为简单的子任务,并按顺序进行训练,使机器人能够逐步扩展其现有的技能集。我们的核心思想是建立一个由神经网络表示的局部控制策略树,我们称之为中继神经网络。从尝试从一小组初始状态实现任务的根策略开始,每个后续策略通过将新状态驱动到现有的“良好”状态来扩展成功的初始状态集。我们的算法利用策略的价值函数来确定每个策略下的状态是否是“好”的。我们利用许多现有的策略搜索算法,学习价值函数的同时,政策,如那些使用演员-评论家表示或使用优势函数,以减少方差。我们证明了继电器网络可以解决欠驱动动态系统的复杂连续控制问题。
2018-11-15 cs.RO
Identifying Important Sensory Feedback for Learning Locomotion Skills
University of Edinburgh(爱丁堡大学);Shenzhen Amigaga Technology Co Ltd(深圳阿米嘎嘎科技有限公司);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));University College London(伦敦大学学院)
本文提出一种系统显著性分析方法,定量评估深度强化学习中不同反馈状态对机器人运动技能的相对重要性,识别出关键状态并证明仅使用关键状态即可实现与全状态相当的性能,为机器人运动学习提供了指南。
2023-06-29 cs.LG cs.RO
Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation
Kyoto University(京都大学);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所(ATR))
本研究提出一种用于基础策略获取的多任务强化学习算法,通过构建编码器-解码器网络及网络选择机制,使策略能适应多变的动态运动任务,并成功生成全新的运动技能。
2025-03-02 cs.LG cs.RO
An Efficient Model-Based Approach on Learning Agile Motor Skills without Reinforcement
Tencent Robotics X(腾讯Robotics X实验室);Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);University of Alberta(阿尔伯塔大学)
提出一种结合世界模型与VAE策略网络的高效基于模型框架,无需强化学习即可学习敏捷运动技能,实现十倍样本效率提升和快速真实世界部署。
2024-03-18 cs.RO
MUJICA: Multi-skill Unified Joint Integration of Control Architecture for Wheeled-Legged Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学);Power China Huadong Engineering Corporation Limited(中国电力工程顾问集团华东分公司)
本文提出MUJICA框架,通过整合多种低级技能,实现轮腿机器人在复杂环境中的自适应移动。
2026-05-13 cs.RO
FOTS: A Fast Optical Tactile Simulator for Sim2Real Learning of Tactile-motor Robot Manipulation Skills
School of Automation, Southeast University(东南大学自动化学院);Key Laboratory of Measurement and Control of CSE, Ministry of Education(东南大学复杂工程系统测量与控制教育部重点实验室);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文提出快速光学触觉模拟器 FOTS,通过多层感知机映射、平面阴影生成和标记分布近似实现高效光学响应与标记运动仿真,并结合 MuJoCo 在销孔装配任务中验证了零样本 Sim2Real 触觉-运动操作技能学习。
2024-05-01 cs.RO
Learning agile and dynamic motor skills for legged robots
ETH Zurich(苏黎世联邦理工学院);Intel(英特尔)
足式机器人是机器人技术中最大的挑战之一。动物的动态和敏捷的动作不能被人类制作的现有方法模仿。另一个引人注目的替代方案是强化学习,它需要最少的工艺,并促进控制策略的自然演变。然而,到目前为止,针对足式机器人的强化学习研究主要局限于仿真,只有很少且非常简单的例子被部署在真实系统上。主要原因是,使用真实机器人进行训练,特别是使用动态平衡系统进行训练,既复杂又昂贵。在目前的工作中,我们介绍了一种方法,用于训练神经网络政策模拟和转移到一个国家的最先进的腿系统,从而利用快速,自动化,具有成本效益的数据生成方案。该方法适用于ANYmal机器人,一个复杂的中型狗大小的四足系统。使用在模拟中训练的策略,四足机器实现了超越先前方法的运动技能:ANYmal能够精确和节能地遵循高水平的身体速度命令,比以前跑得更快,甚至在复杂的配置中从跌倒中恢复。
2019-01-24 cs.LG cs.RO stat.ML
A Humanoid Social Agent Embodying Physical Assistance Enhances Motor Training Experience
Istituto Italiano di Tecnologia(意大利理工学院);University of Genoa(热那亚大学)
熟练的运动行为在许多人类日常生活活动和职业中至关重要。设计能够有效教授运动技能的机器人是机器人领域的一个重要挑战。特别是,重要的是要了解是否参与训练的机器人表现出社会行为的学习和经验的人类学生的影响。在这项研究中,我们解决了这个问题,我们要求参与者学习一个复杂的任务-稳定倒立摆-通过训练与机器人操纵器提供的物理援助,手腕机器人。一组参与者只使用Wristbot进行训练,而另一组则使用人形机器人iCub进行相同的物理帮助,iCub扮演专家教练的角色,并表现出一些社会行为。获得的结果表明,这两组的参与者有效地获得了技能,利用物理援助,因为他们显着提高了他们的稳定性能,即使在援助被删除。此外,在与人形机器人助理互动的背景下学习,使受试者的动机增加,更愉快的训练体验,而不会对注意力和感知努力产生负面影响。在这项研究中提出的实验方法,它是可能的,以开发有效的机器人教练员的目的,在由人机交互介导的运动学习的背景下,触觉和社会信号的相对贡献进行调查。
2020-10-30 cs.RO
Multi-expert learning of adaptive legged locomotion
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制科学与工程学院 cyber-system 研究所)
实现多功能机器人运动需要运动技能,可以适应以前看不到的情况。我们提出了一个多专家学习架构(MELA),学习从一组有代表性的专家技能生成自适应技能。在训练过程中,MELA首先由一组不同的预先训练的专家初始化,每个专家都在一个单独的深度神经网络(DNN)中。然后,通过使用门控神经网络(GNN)学习这些DNN的组合,MELA可以获得更专业的专家和跨各种运动模式的过渡技能。在运行时,MELA不断混合多个DNN,并动态合成一个新的DNN,以产生自适应行为来响应不断变化的情况。这种方法利用训练有素的专家技能和快速在线合成的自适应策略的优势,在不断变化的任务中产生响应运动技能。使用统一的MELA框架,我们在一个真正的四足机器人上展示了成功的多技能运动,该机器人自主地进行连贯的小跑,转向和跌倒恢复,并展示了多专家学习生成行为的优点,这些行为可以适应看不见的场景。
2020-12-10 cs.AI cs.LG cs.RO
The e-Bike Motor Assembly: Towards Advanced Robotic Manipulation for Flexible Manufacturing
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文面向柔性制造提出现场示教与编程自适应机器人的四层框架,整合自监督感知、示教学习技能、任务排序与在线优化,并在电动自行车电机装配和密集箱体装箱中验证。
2023-04-20 cs.RO
Extreme-RGMT: Continual Learning of Highly Dynamic Skills for Robust Generalist Humanoid Control
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);Humanoid Robotics (Shanghai) Co., Ltd.(人形机器人(上海)有限公司);School of Mechanical Engineering, Shandong University(山东大学机械工程学院)
研究针对类人机器人控制器通用与专业能力权衡问题,提出两阶段持续学习框架极端-RGMT。先学通用运动跟踪基础策略,再用特定机制约束策略漂移,结合两种采样方法解决数据问题,实现最优通用全身运动跟踪性能,推动控制器向人类专家水平发展。
2026-07-23 cs.RO
AI Coaching for Accelerating Human Skill Development with Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出一种基于非合作动态博弈和强化学习的AI教练框架,通过自适应共享控制和因果影响模型加速人类运动技能发展,在无人机竞速用户研究中显著提升学习效果。
2026-06-25 cs.AI cs.HC cs.RO
Trajectory Entropy Reinforcement Learning for Robust Robot Motor Skill Learning
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
针对深度强化学习易受环境扰动影响的问题,提出轨迹熵强化学习方法,通过最小化动作轨迹熵引入简洁性归纳偏置,并联合优化策略与预测模型,在多个高维运动任务中实现了更优的性能与鲁棒性。
2026-09-21 cs.LG cs.RO stat.ML
Experience Reuse with Probabilistic Movement Primitives
Technische Universität Darmstadt(达姆施塔特工业大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Universität zu Lübeck(吕贝克大学)
获得新的机器人运动技能是很麻烦的,因为从头开始学习一项技能并且没有先验知识需要探索大空间的运动配置。因此,为了学习新任务,可以通过利用类似任务的解来初始化参数搜索空间来限制参数搜索空间,从而节省时间。我们提出了一个框架,这是能够这样的知识转移,从已经学到的运动技能,一个新的学习任务。该框架结合了概率运动原语的技能表示的影响的描述。新的技能首先初始化的参数推断相关的运动原语,然后通过相对熵策略搜索适应新的任务。我们比较了两种不同的转移方法来初始化的搜索空间分布与数据的已知技能具有类似的效果。我们展示了两种知识转移方法在模拟3自由度机器人的物体推送任务上的不同好处。我们可以证明,当利用过去的经验时,学习技能的质量得到了提高,学习新任务所需的迭代次数可以减少60%以上。
2020-03-16 cs.LG cs.RO stat.ML
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences(西挪威应用科学大学);University of Plymouth(普利茅斯大学)
为了成功部署物理人机合作(pHRC),人类需要能够快速教会机器人新的运动技能。概率运动基元(ProMPs)是一种很有前途的方法来编码机器人的运动技能,从人类的示范pHRC设置。然而,大多数从人类演示中学习ProMP的算法都以批处理模式运行,这在pHRC中并不理想。在本文中,我们提出了一个新的学习算法,学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示,允许人类观察机器人的学习进度,并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能,现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外,我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程,并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
Deep Dynamics Models for Learning Dexterous Manipulation
Google Brain(谷歌大脑(Google Brain))
灵巧的多指手可以为机器人提供灵活执行各种操作技能的能力。然而,许多更复杂的行为也是众所周知的难以控制的:执行手内物体操作,执行手指步态移动物体,并表现出精确的精细运动技能,如书写,都需要精细地平衡接触力,反复断开和重新建立接触,并保持对未致动物体的控制。基于学习的技术提供了直接从数据中获取这些技能的吸引人的可能性,但目前的学习方法要么需要大量的数据并产生特定于任务的策略,要么尚未被证明可以扩展到需要精细运动技能的更复杂和现实的任务。在这项工作中,我们证明了我们的深度动态模型(PDDM)在线规划方法解决了这两个限制;我们表明,学习动力学模型的改进,以及在线模型预测控制的改进,确实可以有效地学习灵活的、接触丰富的灵巧操作技能--而且,在现实世界中的24自由度拟人手上,仅使用4小时的纯现实世界数据来学习同时协调多个自由浮动的对象。视频可以在https://sites.google.com/view/pddm/上找到
2019-09-25 cs.LG cs.RO
Meta-Reinforcement Learning for Adaptive Motor Control in Changing Robot Dynamics and Environments
ENS Rennes(雷恩高等师范学院);the University of Edinburgh(爱丁堡大学)
这项工作开发了一种元学习方法,可以根据不同的变化条件动态调整控制策略,以实现鲁棒运动。该方法不断更新交互模型,对估计的状态-动作轨迹的可行动作序列进行采样,然后应用最优动作来最大化奖励。为了实现在线模型自适应,我们提出的方法学习每个训练条件的不同潜向量,这些潜向量是根据新收集的数据在线选择的。我们的工作设计了适当的状态空间和奖励函数,并优化可行的行动在MPC的方式,然后直接在关节空间采样考虑约束,因此不需要事先设计的具体步行步态。我们进一步证明了机器人的能力,检测意外的变化,在互动和适应控制策略迅速。在物理模拟中对SpotMicro机器人进行的广泛验证显示了在不同的地面摩擦力,外部推力和不同的机器人模型(包括硬件故障和变化)下的自适应和强大的运动技能。
2021-01-19 cs.AI cs.RO
Using Machine Teaching to Boost Novices' Robot Teaching Skill
King’s College London(伦敦国王学院)
本文提出利用MT算法训练新手提升机器人教学能力的框架,实验证明该训练能显著提高新手的教学效果并具备泛化与保留能力。
2024-09-23 cs.RO
Going with the Flow: Koopman Behavioral Models as Pseudo Planners for Visuo-Motor Dexterity
Georgia Institute of Technology(佐治亚理工学院)
提出统一行为模型(UBM),将灵巧技能建模为耦合动力系统,确保时间一致性;基于Koopman算子实现线性潜空间,通过在线重规划实现反应性和适应性,在模拟和真实任务中达到或超越现有方法。
2026-06-09 cs.RO