PIMBS: Efficient Body Schema Learning for Musculoskeletal Humanoids with Physics-Informed Neural Networks
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本文提出PIMBS方法,将物理信息神经网络引入肌肉骨骼人形机器人的身体图式学习,结合真实数据与力矩-肌肉张力物理定律,在少量数据下实现关节角度、肌肉张力和肌肉长度关系的高精度学习。
2025-07-05 cs.RO
Diffusion-Based Body Schema Learning Enabling Abnormal-State Adaptation in Musculoskeletal Robots
The University of Tokyo(东京大学);Kyushu Institute of Technology(九州工业大学)
本研究针对肌肉骨骼机器人传统身体模式学习方法难以处理异常状态的问题,提出基于扩散模型的身体模式学习框架,通过仿真实验验证了其异常状态下自适应估计肌肉参数的有效性。
2026-08-04 cs.RO
Learning of Balance Controller Considering Changes in Body State for Musculoskeletal Humanoids
The University of Tokyo(东京大学)
针对肌肉骨骼人形机器人身体状态时变导致PID平衡控制不稳定的问题,提出用参数偏置在线学习踝部状态与零力矩点关联模型,并通过仿真和Musashi验证有效性。
2024-05-20 cs.RO
Hardware Design and Learning-Based Software Architecture of Musculoskeletal Wheeled Robot Musashi-W for Real-World Applications
The University of Tokyo(东京大学)
本文提出肌肉骨骼轮式机器人Musashi-W,结合轮式底座与柔性上肢,通过身体图式学习、反射控制和视觉识别软件系统,实现清洁、搬重物及变刚度布料操作等实际任务。
2024-03-18 cs.RO
Towards Embodied AI with MuscleMimic: Unlocking full-body musculoskeletal motor learning at scale
EPFL(瑞士联邦理工学院洛桑分校);McGill University(麦吉尔大学);Feil & Oberfeld CRIR-Jewish Rehabilitation Hospital Research Center(Feil & Oberfeld CRIR-犹太康复医院研究中心);NVIDIA(英伟达)
MuscleMimic通过生理真实的人形机器人模型,实现了大规模全身体质运动学习,结合并行GPU模拟,提升了训练效率,验证了运动再现的准确性。
2026-03-26 cs.RO
Reflex-based Motion Strategy of Musculoskeletal Humanoids under Environmental Contact Using Muscle Relaxation Control
The University of Tokyo(东京大学);TOYOTA MOTOR CORPORATION(丰田汽车公司)
针对肌肉骨骼仿人机器人建模难和内部肌肉张力高的问题,提出肌肉松弛控制,主动利用环境减少张力,并验证于手臂休息和手柄操作。
2025-02-22 cs.RO
Component Modularized Design of Musculoskeletal Humanoid Platform Musashi to Investigate Learning Control Systems
The University of Tokyo(东京大学)
本研究为探索学习控制系统,采用组件模块化思路开发了肌骨人形平台Musashi,通过关节、肌肉等模块构建可重构柔性结构,并经实验验证了平台概念的有效性。
2024-10-29 cs.RO
Stability Recognition with Active Vibration for Bracing Behaviors and Motion Extensions Using Environment in Musculoskeletal Humanoids
The University of Tokyo(东京大学);TOYOTA MOTOR CORPORATION(丰田汽车公司)
针对柔性肌肉骨骼人形机器人难精准控制的问题,提出利用环境实现支撑运动与运动范围扩展的方法,通过主动振动身体局部结合传感器变化识别稳定性,经Musashi机器人实验验证了有效性。
2025-02-22 cs.RO
Toward Autonomous Driving by Musculoskeletal Humanoids: A Study of Developed Hardware and Learning-Based Software
The University of Tokyo(东京大学)
本文研究肌肉骨骼人形机器人Musashi在自动驾驶中的应用,利用其冗余传感器和柔性身体结构完成座椅乘坐、踏板踩踏和方向盘操作,并验证了硬件与学习型软件协同实现自动驾驶的可行性。
2024-06-08 cs.RO
Motion Modification Method of Musculoskeletal Humanoids by Human Teaching Using Muscle-Based Compensation Control
The University of Tokyo(东京大学)
针对肌肉骨骼人形机器人难以精确控制的问题,本文提出一种基于肌肉补偿控制的方法,利用外力修正运动,并在Musashi机器人上验证了有效性。
2024-11-10 cs.RO
Scaling Whole-Body Human Musculoskeletal Behavior Emulation for Specificity and Diversity
Tsinghua University(清华大学)
本文提出一种大规模并行肌肉骨骼计算框架,用于基于生物力学的全身运动再现,通过整合GPU模拟与对抗性奖励聚合,实现了高维强化学习在肌肉骨骼控制中的优化,准确再现了700多块肌肉驱动的广泛运动 repertoire。
2026-03-31 cs.AI cs.RO
Characteristics, Management, and Utilization of Muscles in Musculoskeletal Humanoids: Empirical Study on Kengoro and Musashi
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本研究通过分析Kengoro和Musashi的肌骨骼结构,探讨了肌肉的特性、管理和利用方法,提出了五种属性分类,并讨论了未来挑战。
2026-02-09 cs.RO
CubiXMusashi: Fusion of Wire-Driven CubiX and Musculoskeletal Humanoid Musashi toward Unlimited Performance
The University of Tokyo(东京大学)
本文将肌肉骨骼人形机器人Musashi与线驱动机器人CubiX融合为CubiXMusashi,通过线缆连接环境并驱动,成功实现引体向上、躺姿起身和空中踢腿等原本难以完成的运动,展示了人形机器人借助环境连接突破自身物理限制的新途径。
2024-10-31 cs.RO
Robust Continuous Motion Strategy Against Muscle Rupture using Online Learning of Redundant Intersensory Networks for Musculoskeletal Humanoids
The University of Tokyo(东京大学);TOYOTA Motor Corporation(丰田汽车公司)
本研究针对肌骨骼人形机器人,构建表征传感器间关系的神经网络以实现精确运动,并利用肌肉冗余性进行断裂检测、在线更新与状态估计,使机器人在单条肌肉断裂时仍能鲁棒地持续执行任务。
2024-09-23 cs.RO
High-Power, Flexible, Robust Hand: Development of Musculoskeletal Hand Using Machined Springs and Realization of Self-Weight Supporting Motion with Humanoid
The University of Tokyo(东京大学)
针对仿人机器人手部力量不足的问题,开发了一种基于机加工弹簧的腱驱动欠驱动肌骨骼手,兼具高抓握力、柔性与抗冲击性,并在机器人Kengoro上实现了俯卧撑和悬垂等自重支撑运动。
2024-03-26 cs.RO
Realization of Seated Walk by a Musculoskeletal Humanoid with Buttock-Contact Sensors From Human Constrained Teaching
The University of Tokyo(东京大学)
本研究通过人类约束示教和臀接触传感器,在肌肉骨骼人形机器人MusashiOLegs上实现了坐姿行走的前进、后退与旋转运动。
2024-04-01 cs.RO
Online Learning Feedback Control Considering Hysteresis for Musculoskeletal Structures
The University of Tokyo(东京大学)
针对肌肉骨骼仿生人关节角度跟踪滞后及闭链结构导致的反馈控制难题,提出在线学习神经网络更新目标肌肉长度的方法,并在 Musashi 上验证其有效性。
2024-05-20 cs.RO
MSK-Bench: Benchmarking Full-Body Musculoskeletal Motor Control Across Tasks, Control Paradigms, and Physiological Metrics
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);The University of Hong Kong (HKU)(香港大学);Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(清华大学交叉信息研究院);School of Aerospace Engineering, Tsinghua University(清华大学航天航空学院);Peking University (PKU)(北京大学)
MSK-Bench提出包含22个全身肌肉骨骼运动任务的基准,评估5种控制范式,并联合考量任务成功、鲁棒性与生理指标,为肌肉驱动人形机器人控制提供标准化测试平台。
2026-09-24 cs.RO
Online Learning of Danger Avoidance for Complex Structures of Musculoskeletal Humanoids and Its Applications
The University of Tokyo(东京大学);TOYOTA MOTOR CORPORATION(丰田汽车公司)
针对肌肉骨骼人形机器人建模难、易发生干扰和高肌肉力的问题,提出在线学习肌肉长度对应危险概率的网络,用于预防危险,并在Musashi上验证有效。
2025-02-22 cs.RO
Human sensory-musculoskeletal modeling and control of whole-body movements
Tsinghua University(清华大学)
本文提出整合多模态感觉输入的人体感觉-肌肉骨骼模型SMS-Human,并采用分阶段分层深度强化学习框架,成功仿真双足行走、视觉引导操作和骑行交互等任务,揭示了难以直接测量的肌肉骨骼动力学。
2025-05-29 cs.AI cs.RO q-bio.NC
Contact-Rich and Deformable Foot Modeling for Locomotion Control of the Human Musculoskeletal System
Tsinghua University(清华大学)
本文提出接触丰富且可变形的人体足部模型并集成于肌肉骨骼系统,采用两阶段策略训练学习自然行走,在运动学、动力学和步态稳定性上优于刚性模型,并可推广至人形机器人足-地交互控制。
2025-08-16 cs.RO
Construction of Musculoskeletal Simulation for Shoulder Complex with Ligaments and Its Validation via Model Predictive Control
The University of Tokyo(东京大学)
针对现有肌肉骨骼仿真缺少韧带且未覆盖复杂肩关节复合体的问题,本研究构建了含韧带、模拟骨骼肌肉排布与肌力的肩关节复合体仿真,经模型预测控制验证了韧带的关节稳定作用与肌力分配的负荷均衡效果。
2024-10-08 cs.RO
Online Learning of Joint-Muscle Mapping Using Vision in Tendon-driven Musculoskeletal Humanoids
The University of Tokyo(东京大学)
提出利用视觉与肌肉拮抗两种在线更新器学习神经网络 JMM,使 Kengoro 在 5 分钟内将关节角误差降至约 40%,并适应状态变化。
2024-04-08 cs.RO
Bipedal Balance Control with Whole-body Musculoskeletal Standing and Falling Simulations
Tsinghua University(清华大学)
本研究提出分层控制流程,利用全身肌肉骨骼模拟揭示站立平衡动态、肌肉损伤影响及跌倒模式,并验证髋部外骨骼辅助改善平衡,为平衡干预和人形机器人提供基础。
2025-09-08 cs.AI cs.RO cs.SY
Antagonist Inhibition Control in Redundant Tendon-driven Structures Based on Human Reciprocal Innervation for Wide Range Limb Motion of Musculoskeletal Humanoids
The University of Tokyo(东京大学)
针对腱驱动肌肉骨骼人形机器人几何模型误差导致肌肉张力异常的问题,本文基于人类交互神经支配提出拮抗抑制控制(AIC),并在Kengoro上肢上验证,实现14分钟悬垂和引体向上。
2024-09-01 cs.RO
Patterned Structure Muscle : Arbitrary Shaped Wire-driven Artificial Muscle Utilizing Anisotropic Flexible Structure for Musculoskeletal Robots
The University of Tokyo(东京大学)
针对肌骨机器人肌肉难以在复杂形态与环境下发力的问题,提出由TPU经FDM 3D打印制成、采用各向异性图案化结构与线驱动的PSM人工肌肉,可实现多种形态,验证了其大运动范围、负重及环境接触运动能力,适用于肌骨机器人。
2024-10-10 cs.RO
Muscle Activation Estimation by Optimizing the Musculoskeletal Model for Personalized Strength and Conditioning Training
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
针对肌肉骨骼参数个体差异、系统冗余导致的肌肉激活估计难题,本研究构建面向力量训练的全身肌肉骨骼模型,用基于肌电图的优化方法校准参数,通过卧推、硬拉实验验证了该方法估计肌肉激活的有效性。
2025-02-20 cs.RO physics.med-ph
Automatic Grouping of Redundant Sensors and Actuators Using Functional and Spatial Connections: Application to Muscle Grouping for Musculoskeletal Humanoids
The University of Tokyo(东京大学)
本文提出一种基于图结构嵌入功能与空间连接的自动分组方法,用于将肌肉骨骼人形机器人的冗余肌肉自动划分为前臂、上臂等区域,无需几何模型即可实现分组。
2024-09-01 cs.RO
A real-time full-chain wearable sensor-based musculoskeletal simulation: an OpenSim-ROS Integration
University of Twente(特文特大学)
提出一种集成OpenSimRT、ROS与可穿戴传感器的实时全链条肌骨建模仿真框架,可估计上下肢逆运动学、踝关节逆动力学及下肢肌肉激活。
2025-07-26 cs.RO
Haptic Perception via the Dynamics of Flexible Body Inspired by an Ostrich's Neck
针对全软体机器人触觉感知的结构脆弱与处理延迟问题,受鸵鸟颈部启发,将物理储层计算应用于柔性结构,提出兼具可分离性和行为记忆的触觉感知系统,实现物体柔软度区分与快速学习推理。
2025-04-18 cs.RO
Massively Parallel Imitation Learning of Mouse Forelimb Musculoskeletal Reaching Dynamics
Salk Institute for Biological Studies(萨克勒生物医学研究所)
本研究通过大规模并行模仿学习,利用小鼠前肢骨骼肌模型在模拟环境中实现高保真动力学建模,验证了能量和速度约束对模拟生物运动控制的重要性。
2025-11-26 cs.LG cs.RO q-bio.NC
Body Schema Acquisition through Active Learning
Institute of Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院);Centre for Robotics and Neural Systems(机器人与神经系统中心);University of Plymouth(普利茅斯大学);Universidad de Zaragoza(萨拉戈萨大学)
提出一种基于主动学习的串联机器人运动学模型在线估计方法,利用递归最小二乘选择最优观测,减少数据需求,并在仿真和真实人形机器人上验证。
2024-02-08 cs.RO
Self-organized control for musculoskeletal robots
Max Planck Institute for Mathematics in the Science(马克斯·普朗克科学数学研究所);IST Austria(奥地利科学技术研究所)
本文提出了一种自组织控制方法,通过无功能控制器实现机器人与环境的动态交互,展示了其在肌肉驱动臂肩系统中的自组织行为及与物体动态的共振效应。
2016-06-15 cs.LG cs.RO cs.SY
Whole-Body Aerial Grasping and Lifting via Partial Visual Observations
Nanyang Technological University(南洋理工大学);Tongji University(同济大学);Shanghai Institute of Intelligent Science and Technology(上海智能科学与技术研究院);NTU–VinUni Joint Research Laboratory for Embodied AI and Robotics(南洋理工大学-维纳大学具身智能与机器人联合研究实验室);VinUniversity(维纳大学)
针对空中抓取提升任务,提出循环教师-学生框架,通过关键状态课程和闭合目标,在仿真中训练单一策略,实现部分观测下的全身协调,成功率高达99.97%。
2026-10-02 cs.RO
Co-design of Neural and Muscle Network based on Embodied Perceptron Representation
The University of Osaka(大阪大学);Institute of Science Tokyo(东京科学大学)
本文提出具身感知机框架,将躯体建模为感知机,通过协同优化肌肉骨骼机器人的控制策略与肌肉配置,实现具身智能,兼具稳定性、高学习效率与小模型规模,为具身AI系统设计提供新路径。
2026-08-18 cs.RO
Design Method of a Kangaroo Robot with High Power Legs and an Articulated Soft Tail
The University of Tokyo(东京大学)
本文提出一种仿袋鼠机器人设计方法,通过分析肌肉骨骼结构与仿真验证实现跳跃,采用铰接弹性尾与直驱绕线机构兼顾柔软与高功率,使机器人能跳跃并用后腿和尾巴支撑身体。
2024-10-10 cs.RO
Self-supervised Body Image Acquisition Using a Deep Neural Network for Sensorimotor Prediction
SoftBank Robotics Europe(软银机器人欧洲公司);Humboldt-Universität zu Berlin(柏林洪堡大学)
这项工作研究了一个天真的代理如何能够获得自己的身体形象在自我监督的方式,其感觉运动经验的可预测性的基础上。我们的工作假设是,由于其时间的稳定性,代理人的身体产生更一致的感官体验比环境,表现出更大的可变性。鉴于其运动经验,智能体因此可以可靠地预测其身体应该具有什么样的外观。这种内在的可预测性可以用来自动将身体意象与环境的其他部分隔离开来。我们提出了一个双分支的反卷积神经网络来预测与输入运动状态相关的视觉感觉状态,以及与此输入相关的预测误差。我们在用模拟Pepper机器人收集的第一人称图像数据集上对网络进行训练,并展示了如何使用网络输出自动将其可见手臂与环境的其他部分隔离开来。最后,对网络生成的人体图像的质量进行了评价。
2019-06-03 cs.CV cs.LG cs.RO
DIJE: Dense Image Jacobian Estimation for Robust Robotic Self-Recognition and Visual Servoing
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本文提出DIJE算法,通过光流与简化卡尔曼滤波实时估计逐像素图像雅可比,实现无标记的机器人自识别与视觉伺服控制,并在肌肉骨骼机器人上验证了伸手和双手工具控制能力。
2025-07-01 cs.RO
Arnold: A multi-task, multi-embodiment muscle transformer policy
本研究开发了基于 Transformer 的肌肉控制策略 Arnold,结合行为克隆与强化学习,实现多任务多 embodiment 控制,性能优于单任务策略,还揭示了肌肉协同作用的任务特异性等特性。
2026-08-06 cs.AI cs.LG cs.RO
GeMuCo: Generalized Multisensory Correlational Model for Body Schema Learning
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学和技术研究生院,东京大学)
针对机器人身体图式学习缺乏统一理论的问题,提出GeMuCo模型,使机器人从经验中自主学习传感器与执行器的相关性并在线更新,实现控制、状态估计、异常检测与仿真,并在多种机器人上验证有效性。
2024-09-10 cs.AI cs.LG cs.RO
Real-Time Trajectory Optimization in Robot-Assisted Exercise and Rehabilitation
Cleveland State University(克利夫兰州立大学)
这项工作的重点是使用机器人作为先进的运动机器(AEM)和肌肉激活作为生物反馈的训练轨迹方向的优化。肌肉募集模式依赖于AEM的轨迹参数,并与运动效率相关。因此,可以通过优化这些参数来实现训练效率的提高。这些参数的最佳调节是具有挑战性的,因为人与人之间的生理动力学的复杂性,作为独特的物理特征,如肌肉骨骼分布的结果。此外,这些影响可能会因疲劳、体温和其他生理因素而变化。本文提出了一种利用寻优控制作为实时的【形】优化器的无模型优化方法。在选择肌肉目标之后,该方法使用肌肉激活作为生物反馈来寻求参数的最佳组合。肌肉目标可以由治疗师选择,以强调或不强调某些肌肉群。该方法的可行性已被证明为自动调整的椭球曲线的取向,建议存在两个局部最优取向。该方法也可以应用于使用不同生理效应的其他参数调节,例如氧消耗和心率作为生物反馈。
2021-04-22 cs.RO
HumanoidExo: Scalable Whole-Body Humanoid Manipulation via Wearable Exoskeleton
National University of Defense Technology(国防科技大学);Midea Group(美的集团)
本文提出 HumanoidExo 可穿戴外骨骼系统,将人类动作高效转化为全身人形机器人数据,以低成本缓解真实数据稀缺,并验证其在复杂操作、少样本控制和行走技能学习中的泛化能力。
2025-10-03 cs.RO
Learning Soccer Skills for Humanoid Robots: A Progressive Perception-Action Framework
本文提出了一种渐进式感知-行动框架,通过分阶段学习提升人类机器人足球技能,实现了高保真踢球与跨环境鲁棒性。
2026-02-05 cs.RO
RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation
本研究提出RoboReact框架,通过生成自我中心视频并结合视觉语言引导的闭环控制,实现人形机器人全身操控技能的通用获取,可在多样场景中稳健执行。
2026-08-06 cs.RO
Glamour muscles: why having a body is not what it means to be embodied
University of Vermont(佛蒙特大学);Northwestern University(西北大学)
本文辨析具身概念,指出拥有身体或在物理空间运动并非具身本质,真正的具身在于持续协商身体的功能、设计与完整性。
2023-07-17 cs.AI cs.RO
Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control
Sapienza University of Rome(罗马第一大学);International University of Rome(罗马国际大学)
研究针对人形机器人自主性和动态环境响应受限问题,提出语义音频驱动的多模态编排框架,通过处理音频流、结合音乐与语音输入及强化学习控制,验证了该方法在模拟和实体机器人上的有效性。
2026-07-17 cs.AI cs.RO
An Automatic Control System with Human-in-the-Loop for Training Skydiving Maneuvers: Proof-of-Concept Experiment
Technion - Israel Institute of Technology(以色列理工学院)
提出了一种实时跳伞运动训练系统。空中机动是通过改变身体姿势,从而偏转周围的气流来完成的。自然的学习过程是非常缓慢的,由于不熟悉的自由落体动力学,压力引起的动觉反馈的阻塞,以及所需动作的复杂性。其关键思想是用一个自动控制系统来增强学习者,如果它作为执行器直接存取学习者的身体,它就能够执行训练过的活动。辅助系统将提供以下视觉提示给学习者:1。当前身体姿势的反馈; 2.身体姿势,将使身体执行所需的机动; 3。如果物体保持其当前姿态,则预测未来的惯性位置和方向。该系统将使新手能够在自由落体中保持稳定,并感知不熟悉的环境动态,从而加速技能获取的初始阶段。本文介绍了一个概念验证实验的结果,即人类控制的虚拟跳伞自由落体在计算机模拟,通过他们的身体。这个任务是不可能的,没有辅助系统,使所有参与者能够在第一次尝试完成任务。
2022-01-20 cs.HC cs.RO cs.SY