Human sensory-musculoskeletal modeling and control of whole-body movements
Tsinghua University(清华大学)
本文提出整合多模态感觉输入的人体感觉-肌肉骨骼模型SMS-Human,并采用分阶段分层深度强化学习框架,成功仿真双足行走、视觉引导操作和骑行交互等任务,揭示了难以直接测量的肌肉骨骼动力学。
2025-05-29 cs.AI cs.RO q-bio.NC
Interpretable Latent Spaces for Learning from Demonstration
University of Edinburgh(爱丁堡大学)
有效的人机交互,例如在从人类演示的机器人学习中,需要学习代理能够将抽象概念(例如包含在指令中的那些)基于来自世界的相应高维感觉输入流。诸如深度神经网络的模型通过其大参数空间具有高容量,可以用于将高维传感数据压缩为较低维表示。这些低维表示有助于符号基础,但可能无法保证表示是人类可解释的。我们提出了一种方法,它利用用户定义的符号和它们相应的感官观察分组,以对齐学习压缩的潜在表示与抽象标签中包含的语义概念。我们通过模拟和真实世界的对象数据的实验证明了这一点,表明这种对齐可以在物理符号接地的过程中实现。
2018-10-02 cs.CV cs.RO
Detecting Affordances by Visuomotor Simulation
Bielefeld University of Applied Sciences(比勒费尔德应用科技大学);Bielefeld University(比勒费尔德大学)
术语“示能性”表示对象的行为意义。我们提出了一个认知架构的视觉模态中的启示的检测。该模型基于运动序列的内部模拟。对于每个运动步骤,所得到的感觉状态由正向模型预测,这进而触发由反向模型生成新的(模拟的)运动命令。因此,在感觉和运动领域中的一系列心理图像被唤起。从一个真实的感觉状态开始,大量的这样的序列被并行模拟。最终示能表示检测基于所生成的电机命令。我们将此模型应用于现实世界中的移动机器人,它面临的障碍安排,其中一些是可通行的(走廊),其中一些是没有(死胡同)。机器人的任务是检测正确的示能(“可通过”或“不可通过”)。所需的内部模型是在分层训练过程中获得的。之后,机器人代理能够可靠地区分走廊和死胡同。这个真实世界的结果增强了所提出的心理模拟方法的有效性。此外,我们比较了几个关键因素在模拟过程中的性能和效率。
2016-11-01 cs.AI cs.RO
Bootstrapping Motor Skill Learning with Motion Planning
Brown University(布朗大学)
从头开始学习机器人运动技能是不切实际的慢;以至于在实践中,学习必须使用从人类演示中获得的良好技能策略来引导。然而,依赖人类的示范必然会降低机器人的自主性,因为机器人必须在其工作寿命内学习各种技能。我们建议使用运动学运动规划作为一个完全自主的,样本有效的方式来引导运动技能学习的对象操作。我们展示了使用运动规划引导运动技能在两个复杂的对象操作场景与不同的政策表示:打开一个抽屉的动态运动原语表示,并关闭微波炉门深神经网络政策。我们还展示了我们的方法如何引导运动技能的挑战性的动态任务,学习打一个球的发球台,其中运动学计划的基础上处理的场景作为静态是不够的,以解决任务,但足以引导一个更动态的政策。在所有这三种情况下,我们的方法与人工演示的初始化相比都具有竞争力,并且显著优于随机策略。这种方法使机器人能够有效地和自主地学习动态任务的电机策略,而无需人类演示。
2021-01-12 cs.AI cs.RO
Sensory Manipulation as a Countermeasure to Robot Teleoperation Delays: System and Evidence
University of Florida(佛罗里达大学);National Institute of Standards and Technology(美国国家标准与技术研究院)
本文提出利用感官操控(如实时触觉反馈)帮助人类适应机器人遥操作延迟,实验表明可减少任务时间、减轻精神压力并提升操作信心。
2023-10-13 cs.HC cs.RO
Self-learning and adaptation in a sensorimotor framework
KTH Royal Institute of Technology(KTH皇家理工学院)
我们提出了一个一般的框架,自主实现的任务,自主性是通过学习感觉运动模式的机器人,而它是与它的环境进行交互。为了完成任务,使用学习的感觉运动的偶然性,我们的方法预测一系列的行动,这将导致理想的观察。使用具有自动相关性确定的高斯过程(GP)来学习感觉运动映射。通过这种方式,相关的感觉和运动组件可以在高维感觉和运动空间中系统地找到。我们提出了一个增量GP学习策略,它区分的情况下,当更新或适应必须实施。RRT* 被用来实现长期规划和生成一系列状态,从而实现给定的目标;而基于梯度的搜索则可以在单个时间步长内找到转向相邻状态的最佳动作。我们的实验结果证明了所提出的框架学习高数据维度(10 $\times$ 15)的关节空间控制器的成功性。它展示了短训练阶段(不到12秒),实时性能和快速适应能力。
2016-01-05 cs.RO
Learning Motor Resonance in Human-Human and Human-Robot Interaction with Coupled Dynamical System
Institute for Systems and Robotics, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院系统与机器人研究所);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院)
人际交往涉及非常复杂的非语言沟通技巧,如理解他人的目标和行动,并相应地协调我们自己的行动。神经科学将这种机制称为运动共振,在这个意义上,对另一个人的动作和感官体验的感知激活了观察者的大脑,就好像他会执行相同的动作并拥有相同的体验。我们分析和模拟非语言的线索(手臂运动)之间交换的两个人的互动和执行交接动作。本文的贡献如下:(i)计算模型,其使用记录的运动数据,描述每个行动者在交互动作情况下的运动行为,(ii)计算模型,其通过耦合两个行动者的手臂运动,捕获对象移交动作期间“给予者”和“接受者”的行为,以及(iii)将这些模型嵌入iCub机器人中,用于动作执行和识别。我们的研究结果表明:(i)机器人可以解释人的手臂运动并识别移交动作;以及(ii)以“类人”方式行动以接收所识别的移交动作的对象。
2019-05-10 cs.RO
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences(西挪威应用科学大学);University of Plymouth(普利茅斯大学)
为了成功部署物理人机合作(pHRC),人类需要能够快速教会机器人新的运动技能。概率运动基元(ProMPs)是一种很有前途的方法来编码机器人的运动技能,从人类的示范pHRC设置。然而,大多数从人类演示中学习ProMP的算法都以批处理模式运行,这在pHRC中并不理想。在本文中,我们提出了一个新的学习算法,学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示,允许人类观察机器人的学习进度,并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能,现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外,我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程,并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
Simple Emergent Action Representations from Multi-Task Policy Training
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);New York University(纽约大学);Shanghai AI Lab(上海人工智能实验室)
深度强化学习中的低级感觉和运动信号存在于高维空间中,如图像观察或运动扭矩,理解或直接用于下游任务具有固有的挑战性。虽然感官表征已经被广泛研究,但运动动作的表征仍然是一个积极探索的领域。我们的工作表明,一个空间包含有意义的行动表示出现时,多任务的政策网络作为输入的状态和任务嵌入。加入适度约束以提高其表示能力。因此,内插或组合嵌入可以作为该空间内的高级接口,为智能体提供执行有意义的动作序列的指令。实验结果表明,所提出的动作表示是有效的动作内插和相互作用的组成有限或没有额外的学习。此外,我们的方法表现出优越的任务适应能力相比,在Mujoco运动任务的强基线。我们的工作揭示了学习动作表示的有效,适应性强,可组合的RL,形成抽象的动作规划和运动信号空间的理解的基础上有前途的方向。项目页面:https://sites.google.com/view/emergent-action-representation/
2023-03-06 cs.AI cs.RO
Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration
Bogazici University(博加齐大学);Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);International Professional University of Technology in Osaka(大阪国际职业技术大学)
针对长技能复合误差问题,提出基于条件神经运动基元学习上下文相关修正策略,实现双臂打结技能合成,并在仿真和真实机器人上验证有效性。
2022-09-28 cs.RO
Interacting humans and robots can improve sensory prediction by adapting their viscoelasticity
Imperial College of Science, Technology and Medicine(帝国理工学院);the University of Melbourne(墨尔本大学);Université Paris-Saclay(巴黎萨克雷大学);Institut Universitaire de France(法国大学研究院);NTT Communication Science Laboratories(NTT通信科学实验室)
本文提出随机最优信息与努力(SOIE)控制器,通过根据自身及交互对象的传感与运动噪声调整粘弹性,在机器人-机器人及人机实验中验证了其能有效提升跟踪性能和触觉通信质量。
2024-10-17 cs.RO
Training Humans to Train Robots Dynamic Motor Skills
Department of Engineering, King’s College London(伦敦国王学院工程系)
示教学习(LfD)通常被认为是允许新手用户向机器人教授运动技能的自然和直观的方式。然而,重要的是要承认,LfD的有效性在很大程度上取决于教学质量,这可能无法保证新手。除了为特定的教学任务提供临时建议外,如何最有效地指导演示者进行信息演示,这仍然是一个悬而未决的问题。为此,本文调查了使用机器教学,以获得一个指数,用于确定演示的质量,并评估其使用的指导和培训新手成为更好的教师。一个简单的学习机器人的实验表明,通过所提出的方法,教师的指导和培训,可以导致高达66.5%的错误减少在学习技能。
2021-05-13 cs.AI cs.HC cs.RO
Robot Composite Learning and the Nunchaku Flipping Challenge
New Jersey Institute of Technology(新泽西理工学院);Hunan University(湖南大学)
先进的运动技能是机器人与人类共存的必要条件。许多关于机器人动力学和控制的研究已经在超级机器人电机能力方面取得了成功,但大多是通过大量的案例特定工程。同时,在机器人以普遍存在的方式获取技能方面,机器人学习从人类演示(LfD)取得了很大进展,但在处理动态技能和复合动作方面仍然存在局限性。在本文中,我们提出了一个复合学习计划,超越LfD和集成机器人学习从人类的定义,演示和评价。该方法解决了先进的运动技能,需要动态的时间临界机动,复杂的接触控制,并处理部分软部分刚性物体。我们还介绍了“双截棍翻转挑战”,一个极端的测试,把硬要求,所有这三个方面。本文在前面介绍的基础上,介绍了复合学习方案的最新进展和双节棍翻转挑战赛的物理成功。
2017-09-11 cs.RO
Representation Learning in Partially Observable Environments using Sensorimotor Prediction
SoftBank Robotics Europe - AI Lab(软银机器人欧洲公司 - 人工智能实验室)
为了在环境中自主探索和行动,智能体需要从行动时捕获的感觉运动信息中学习。通过提取感觉运动流中的信息,它可以学习世界的模型,进而可以作为行动和探索的基础。这需要从可能的高维原始观测中获取紧凑的表示,这是嘈杂和模糊的。在本文中,我们从感觉运动预测中学习感觉表征。我们提出了一个模型,它集成了随着时间的推移感觉运动信息,并将其投影在一个感官表示,这是有用的预测。我们强调一个简单的例子,运动和记忆的作用,学习感觉表征。
2018-04-26 cs.AI cs.RO
Bimanual Motor Strategies and Handedness Role During Human-Exoskeleton Haptic Interaction
University of Heidelberg(海德堡大学);University of Genoa(热那亚大学);University Niccolò Cusano(尼可洛·库萨诺大学)
双手物体操纵涉及由与环境的交互产生的多个视觉-触觉感觉反馈,其由中枢神经系统管理并因此转化为运动命令。尽管触觉学和机器人技术取得了现代化的进步,但在双手耦合任务中发生的运动策略仍然是一个科学争论。目前的技术可能有潜力在多关节运动期间提供涉及整个上肢的真实场景,但尚未充分发挥其潜力。本研究探讨了如何通过使用两个阻抗控制外骨骼编程来模拟双手耦合操纵虚拟对象时,手动态交互。我们招募了26名参与者(2组:右手和左手),要求他们用双手抓住机器人工作空间中的模拟物体,并将它们放置在特定位置。虚拟物体被渲染为不同的动态特性和纹理,影响操作策略来完成任务。结果表明,手的作用与运动方向,触觉特征和利手偏好有关。结果表明,触觉反馈影响双手策略取决于运动方向。然而,左撇子表现出更好的控制力施加在两只手之间,可能是由于环境压力的右手操作。
2022-11-22 cs.RO
Goal-Directed Planning for Habituated Agents by Active Inference Using a Variational Recurrent Neural Network
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
关键是要问代理人如何能够通过生成行动计划来实现目标,而这些行动计划只使用通过习惯化的感觉-运动经验获得的世界的部分模型。虽然许多现有的机器人研究使用前向模型框架,但存在高自由度的泛化问题。目前的研究表明,采用生成模型的预测编码(PC)和主动推理(AIF)框架可以通过学习低维潜在状态空间中的先验分布来开发更好的泛化能力,该空间表示从良好习惯的感觉运动轨迹中提取的概率结构。在我们提出的模型中,学习是通过推断最佳潜变量以及突触权重来最大化证据下限,而目标导向规划是通过推断潜变量来最大化估计下限来完成的。我们提出的模型进行了评估与简单和复杂的机器人任务在仿真中,这表明了足够的泛化学习有限的训练数据通过设置一个中间值的正则化系数。此外,比较仿真结果表明,所提出的模型优于传统的前向模型在目标导向的规划,由于事先学习限制搜索的运动计划范围内的习惯轨迹。
2020-05-27 cs.AI cs.RO
Vision-Based Control for Robots by a Fully Spiking Neural System Relying on Cerebellar Predictive Learning
The Hong Kong Polytechnic University(香港理工大学);Technical University of Denmark(丹麦技术大学)
小脑在我们的运动控制系统中起着独特的作用,以实现精细和协调的运动。虽然小脑病变不会导致运动功能的完全丧失,但行动和感知都会受到严重影响。因此,我们假设小脑使用内部的前向模型,通过从感觉状态的错误中学习来提供预期信号。在一些研究中,已经证明学习过程依赖于关节空间误差。然而,这可能不存在。这项工作提出了一种新的完全尖峰神经系统,依赖于通过细胞小脑模型的前向预测学习。由于任务空间中的感觉反馈,前向模型被学习,并且它充当Smith预测器。后者预测在输入到差分映射脉冲神经网络的机器人手臂操纵器的视觉伺服任务期间的感觉校正。在本文中,我们促进开发的控制系统,以实现更准确的目标达到行动,并减少由于小脑预测能力的机器人达到任务的运动执行时间。
2020-11-03 cs.RO cs.SY eess.SY
Hybrid Control for Learning Motor Skills
Northwestern University(西北大学)
我们开发了一种混合控制方法,机器人学习的基础上结合学习预测模型与基于经验的状态-动作策略映射,以提高机器人系统的学习能力。预测模型提供了对任务和物理的理解(这提高了样本效率),而基于经验的策略映射被视为“肌肉记忆”,将有利的行动编码为覆盖计划行动的经验。混合控制工具被用来创建一种算法方法,用于将学习的预测模型与基于经验的学习相结合。混合学习是一种通过系统地结合和提高预测模型和基于经验的策略的性能来有效学习运动技能的方法。混合学习的确定性变化的推导和扩展到一个随机的实现,放松了一些在原来的推导中的关键假设。每个变体都通过基于经验的学习方法(机器人与环境交互以获得经验)以及模仿学习方法(通过演示提供经验并在环境中进行测试)进行测试。结果表明,我们的方法是能够提高性能和样本效率的学习运动技能在各种实验领域。
2020-06-05 cs.RO
MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations
Meta AI;University of California San Diego(加利福尼亚大学圣迭戈分校)
低样本效率仍然是部署深度强化学习(RL)算法用于现实世界应用的主要挑战,特别是用于视觉运动控制。基于模型的强化学习有可能通过同时学习世界模型并使用综合部署进行规划和政策改进来实现高样本效率。然而,在实践中,基于模型的RL的样本有效学习受到探索挑战的挑战。在这项工作中,我们发现,利用少量的演示可以显着提高基于模型的RL的样本效率。然而,仅仅将演示附加到交互数据集是不够的。我们确定了在模型学习中利用演示的关键因素-策略预训练,有针对性的探索和演示数据的过采样-这构成了我们基于模型的RL框架的三个阶段。我们经验性地研究了三个复杂的视觉运动控制领域,发现我们的方法在完成稀疏奖励任务方面比以前的方法在低数据范围内(100 K交互步骤,5个演示)更成功150%-250%。代码和视频可在https://nicklashansen.github.io/modemrl上获得
2022-12-12 cs.AI cs.LG cs.RO
KITE: Decoupling Kinematics and Interaction for Zero-Shot Cross-Embodiment Manipulation
Cornell University(康奈尔大学)
提出KITE框架,通过解耦任务推理与实体特定运动控制,利用接触模式学习交互意图的潜在表示,实现零样本跨实体操作迁移。
2026-10-21 cs.AI cs.RO
Disentangled Relational Representations for Explaining and Learning from Demonstration
University of Edinburgh(爱丁堡大学)
示教学习是人类用户指导机器人行为的有效方法。然而,对于大多数具有实际意义的重要任务来说,有效的示教学习在很大程度上取决于所选奖励/成本和政策结构中的归纳偏差。我们解决的情况下,这种归纳偏见来自与人类用户的交流。我们提出了一种方法,在该方法中,学习代理利用高参数变分神经模型的信息瓶颈层,辅助损失条款,以地面抽象概念,如空间关系。这些概念在自然语言指令中被引用,并在智能体从世界接收的高维感觉输入流中表现出来。我们评估了学习模型在真实感合成环境中的潜在空间的属性,特别是专注于研究其对下游任务的可用性。此外,通过一系列受控桌面操作实验,我们证明了学习的流形可以用于地面演示作为符号计划,然后可以在PR 2机器人上执行。
2019-10-06 cs.LG cs.RO
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
目标导向的行为和习惯性行为有什么区别?我们提出了一个新的计算框架的决策与贝叶斯推理,其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习,从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$,使用主动推理,优化过去,当前和未来的${z}$,通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性,在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
To study the phenomenon of the Moravec's Paradox
Delhi Public School R.K Puram(德里公立学校 R.K Puram校区)
“人类大脑中巨大的、高度进化的感觉和运动部分,编码着关于世界的本质以及如何在其中生存的十亿年经验,我相信,我们称之为推理的深思熟虑的过程,是人类思想最薄的一层皮,之所以有效,只是因为它得到了这种更古老、更强大的、尽管通常是无意识的感觉运动知识的支持。我们在知觉和运动领域都是惊人的奥运选手,好到让困难看起来很容易。然而,抽象思维是一种新的技巧,也许还不到10万年。我们还没有掌握它,它本质上并不那么难,只是我们做的时候看起来很难。Hans Moravec Moravec的悖论涉及这样一个事实,即看似简单的日常问题比今天看似复杂的基于逻辑的问题更难在机器中实现。结果证明,大多数人工智能机器在进行长时间计算甚至下棋方面都和我们一样熟练,但它们的逻辑在执行日常任务时却无能为力,比如行走、面部手势识别或语音识别。
2010-12-14 cs.AI cs.RO
Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstration
University of California at Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
灵巧的多指手可以完成精细的操作行为,这是不可行的简单的机器人抓手。然而,复杂的多指手往往是昂贵和脆弱的。低成本的软手为更传统的设备提供了一种有吸引力的替代方案,但在传感和致动方面存在相当大的挑战,使得它们难以应用于更复杂的操作任务。在本文中,我们描述了一种方法,从示范,可用于训练软机器人手执行灵巧的操作任务的学习。我们的方法使用以对象为中心的演示,其中人类用自己的手演示所需的操作对象的运动,机器人自主学习模仿这些演示使用强化学习。我们提出了一种新的算法,使我们能够混合和选择一个子集的最可行的示范学习模仿的硬件,我们使用的指导政策搜索框架的扩展,使用多个示范学习概括的神经网络政策。我们在RBO Hand 2上展示了我们的方法,学习了转动阀门,操纵算盘和抓握的运动技能。
2017-03-20 cs.LG cs.RO
What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿人的演示是赋予机器人各种操作能力的一种很有前途的方法。虽然最近在模仿学习和批量(离线)强化学习方面取得了进展,但缺乏开源的人类数据集和可重复的学习方法使得评估该领域的状态变得困难。在本文中,我们进行了广泛的研究,六个离线学习算法机器人操作的五个模拟和三个真实世界的多阶段操作任务的复杂性不同,并与不同质量的数据集。我们的研究分析了从离线人类数据中学习进行操作时面临的最关键挑战。基于这项研究,我们得出了一系列的教训,包括不同的算法设计选择的敏感性,对演示质量的依赖性,以及由于训练和评估的不同目标而导致的基于停止标准的可变性。我们还强调了从人类数据集学习的机会,例如能够学习超出当前强化学习方法范围的具有挑战性的多阶段任务的熟练策略,以及能够轻松扩展到只有原始感官信号可用的自然,真实世界的操纵场景。我们已经开源了我们的数据集和所有算法实现,以促进未来的研究和从人类演示数据中学习的公平比较。代码库、数据集、训练模型以及更多信息,请访问https://arise-initiative.github.io/robomimic-web/
2021-09-25 cs.AI cs.LG cs.RO