采样只用8.5%,Meta等把人手转机器手成功率提到56.2%
Meta Reality Labs、加州大学戴维斯分校、北卡罗来纳大学教堂山分校等机构提出GNR,从成功轨迹中学习如何生成机器手动作。HOT3D仿真测试中,采样量只用对照的8.5%,成功率从27.2%升至56.2%。团队由此扩展出约22.3
Meta Reality Labs、加州大学戴维斯分校、北卡罗来纳大学教堂山分校等机构提出GNR,从成功轨迹中学习如何生成机器手动作。HOT3D仿真测试中,采样量只用对照的8.5%,成功率从27.2%升至56.2%。团队由此扩展出约22.3
浙江大学、上海交大、上海人工智能实验室等机构提出OmniHOI,从人手操作视频里提取手与物体的关系,再转换成机器人可执行的动作。倒水、扫动和叠放等示例覆盖不同手物交互。人类视频提供任务线索,机器人轨迹还要经过形态映射和物理约束处理。
英伟达、斯坦福大学、伊利诺伊大学厄巴纳香槟分校等机构提出ARC,给机器人既有演示补上动作的原因。在28项真实机器人任务中,同一基础策略经过这种训练,成功率从9.5%升到91.7%。它让机器人同时判断现场发生了什么、下一步该做什么,再执行操作
亚马逊、得克萨斯大学奥斯汀分校提出触觉分解与控制框架,把接触位置、力度分布和时间变化分别送给机器人策略。真实插孔任务中,同样30次测试,成功数从未分解触觉的14次增加到19次。研究还分别测试对齐与握力控制,检查哪类触觉信息对哪种操作有效。同
洛桑联邦理工学院让六自由度机械臂扔出一枚能返回的回旋镖。展示试次中,回旋镖每秒约转8.1圈,最远到达距机器人基座2.03米处,随后落在距基座0.31米的位置。研究团队根据机械臂自身速度限制,联合设计释放动作与回旋镖形状,完成了返回飞行。研究
新加坡国立大学、加州大学伯克利分校、香港城市大学等机构提出MagCilia,把柔性磁性纤毛和霍尔传感器组合成紧凑触觉单元。它能重建三个方向的接触力,还用扫描时的受力变化区分六类表面,按采集会话分组的离线验证准确率99.39%。同一个单元同时
星动纪元、清华大学、香港科技大学(广州)等机构提出VPP2,先训练模型按操作指令预测后续视频,再把预测能力用于机器人动作学习。14B版本在视频指令跟随测试中平均成功率85%,高于Cosmos3-64B的74%。模型先预测接下来可能出现的画面
清华大学提出MCFR,让机械臂先找准手机连接器,再修正细小的位置和角度误差。八类板对板连接器各做50次实机插接,完整方法平均成功率99.25%,对应400次中397次成功。研究团队还展示了手机摄像头模组的识别、抓取、对齐与插入流程,把视觉检
加州大学伯克利分校提出Workhorse,用没有机器人参与的人类示范训练全身操作。宇树G1实机展示手搬纸箱、用脚踢箱、接住抛来的箱子,以及爬上0.39米高的行李箱取物。它把人类的手脚协作转成机器人可执行的接触动作,让身体多个部位共同操作物体
亚马逊、密歇根大学、加州理工学院等机构提出HULK,训练人形机器人在搬运重物时协调手臂、躯干和双腿。宇树G1实机完成12.25公斤负载搬运,还展示推拉载货车、搬小冰箱和罐体。方法把负载对身体平衡的影响放进训练,让机器人在持续受力时调整全身支
英伟达、麻省理工学院、香港大学等机构提出Long-WAM,让机器人利用过去的观察预测后续画面,再生成动作。在宇树G1的动态叠杯测试中,模型20次成功19次,两种对照方法均未成功。研究重点是让机器人在当前画面之外,继续利用先前的操作记录。研究
得克萨斯A&M大学、谷歌DeepMind、卡内基梅隆大学等机构提出TouchScale,记录500小时人类操作时的画面与双手触觉。在四项实机任务中,用这批数据进行中期训练,机器人平均成功率从22.5%升至57.5%。研究把人类操作记录与机器
香港科技大学、浙江大学、腾讯Robotics X、湖南大学提出直接驱动人形机器人的遥操作策略,让人体动作不用先做在线重定向,就能转成G1的关节指令。在统一仿真环境里,指令链路延迟为0.604毫秒。它还能从部分或带噪声的动作输入恢复合理的全身
斯坦福大学提出OpenWAM,把视频预测、机器人动作和动力学组件接进同一框架。模型先在一万多小时机器人与人类交互视频上学习,再训练动作分支。仿真长任务中,视频预训练让成功率从68.4%提高到97.8%;项目还展示了双臂烤面包、转魔方和按颜色
香港大学、上海交大、Xense Robotics、宾夕法尼亚大学提出PEARS,把视觉结果和指尖触觉一起用于机器人适配。机器人每次失败后先判断接触力度是否合适,再调整下一轮动作。在实机测试中,它擦白板20次成功19次,移液20次成功18次,
清华大学、斯坦福大学、剑桥大学等机构提出SoTa柔软触觉皮肤,用低于10美元的材料成本,在人手和机器手上布置对应的202个触点。固定机器人示范数量后,加入人类视觉与触觉示范,八种评测条件的平均成功率从22.8%升到45.9%。手套记录的接触
亚马逊FAR、加州大学伯克利分校、斯坦福大学等机构提出EyeRobot 2.0,让机器人像人一样按操作进度转动视线,只靠一套立体相机完成精细双手任务。物体遮挡腕部视野时,它的成功率达到48%,对照为22%。插吸管、合笔盖这些近距离动作,可以
香港科技大学(广州)、香港中文大学、腾讯和中科大等机构提出FutureWorlds,让机器人同时预测多种未来画面。模型在三组测试中降低预测误差,更准确地跟随机械臂动作。各条预测独立保留历史,让下一帧生成沿用自己的场景状态。
英伟达、加州大学圣迭戈分校和得克萨斯大学奥斯汀分校等机构提出Recova,让机器人失败后先修复现场,再继续任务。四项桌面实机任务平均成功率达到87.5%。人工接手的示范也进入训练,成为以后可复用的纠错动作。
Magiclab Robotics、浙江大学与东南大学研究视觉—语言—动作模型的实时执行,把10步去噪压到非均匀两步,并搭建端到端诊断框架。论文报告模型推理由61.557毫秒降至21.956毫秒,但同时强调通信、调度、平滑与机械响应也会决定