论文导读
人形机器人实现全身协调操作长期依赖昂贵笨重的全身外骨骼遥操设备，严重制约了技能采集效率。浙江大学联合香港具身智能实验室、Mondo Robotics与香港中文大学等机构推出了全套低成本全身技能迁移框架Whole-Body UMI。该方案仅凭手持便携相机与夹爪示范，便在宇树G1双足人形机器人上实现了高达90%的实机任务成功率。
核心背景与解耦接口设计
在具身智能领域，让双足人形机器人掌握灵巧而稳定的全身操作技能一直是公认的技术难题。以往方案通常需要操作员穿戴整套复杂的动捕外骨骼或遥操设备，不仅设备造价高达数十万元，而且不同操作人员的体型差异极易引入运动偏差。为了化解这一困境，浙江大学、香港具身智能实验室、Mondo Robotics与香港中文大学的研究团队联合提出了名为Whole-Body UMI的全新通用遥操作与学习体系。
该方法巧妙借鉴了在桌面机械臂上大获成功的通用操纵接口理念，将人类示范采集简化为一个极为便携的手持夹爪装置。采集人员只需手持搭载单目鱼眼相机的轻量夹爪在真实环境中进行日常任务演示，系统便能自动重构出末端执行器的精确六自由度轨迹与夹爪开合时序。
图：全身末端执行器接口与下层全身控制器的解耦协同结构
分层运动扩散与全身姿态生成
手持示范虽然轻便，但其最大挑战在于只记录了手部运动，完全缺失了人形机器人的腿部步态与躯干姿态信息。针对这一严重的具身结构鸿沟，研究人员设计了一套分层扩散架构，利用大规模人类运动先验库来预测匹配的全身运动参考。高层扩散模型首先根据手部轨迹生成包含深蹲、弯腰、跨步等平滑躯干轨迹；底层全身控制器则以高频运行，实时追踪这些参考指令。
图：扩散策略生成深蹲搬运与拾取等多样化全身协调运动参考
真实环境操作与多任务突破
在宇树G1全尺寸双足人形机器人上的实物实验中，该系统展现了极强的泛化能力与动态鲁棒性。面对办公室中拉开抽屉、捡拾地面散落物品、从双层货架上取放杂物等四项复杂日常任务，机器人均能自主完成全身重心调整与步态协同。统计表明，仅需约50次手持手部示范，系统在拉抽屉关抽屉等动态长程任务中的实机执行成功率便高达90%。
图：手持夹爪示范向宇树G1实机快速迁移的实验场景对比
未来应用与落地展望
这项突破不仅大幅压缩了人形机器人全身操作技能的采集成本，也为低成本规模化具身数据生产开辟了切实可行的新路径。未来这一框架可广泛应用于家庭康养助老、仓储物流分拣与精细化巡检等真实场景，让人形机器人真正具备进入非结构化人类环境的通用协作能力。
参考资料
https://arxiv.org/abs/2609.22829
