论文导读
加利福尼亚大学伯克利分校、伊利诺伊大学厄巴纳-香槟分校与西北大学等机构联合推出具身视触觉世界模型DexTacWAM，赋予双臂灵巧机器人敏锐的指尖感知与物理预判能力。研究团队将预训练视频模型与触觉压缩技术结合，使机器人单任务仅需约百次示范即可在四小时内完成高效训练。在六项高难度真实接触操作中，DexTacWAM以70.6分的综合成绩大幅领先基线模型的38.0分，实现操控成功率翻倍。
视觉盲区与滑移失控：双臂灵巧手为何总失手
让双臂机器人完成拧瓶盖、擦白板或用夹子夹取番茄等动作，是具身智能公认的难题。这类任务要求双臂与多指机械手具备22个自由度精密协同，且面临物理接触不确定性。以往方案主要依赖外部RGB相机进行视觉闭环控制，但在双手紧密交互时，机械臂与手掌容易遮挡物体，造成视觉盲区。
单纯依赖视觉难以察觉微观力学变化。一旦物体发生微小滑移或摩擦力突变，摄像头很难第一时间响应。触觉传感器虽然能捕捉指尖受力，但十个手指产生的高维时序信号极其繁杂，直接塞入生成模型会导致计算开销激增、训练难以收敛。
图：架构包含多指触觉编码器、联合视触觉世界模型以及动作专家模块
触觉压缩与世界模型：4小时让大脑感知指尖受力
针对高维触觉数据与视频模型的兼容瓶颈，研究团队提出了三阶段训练配方。系统核心在于多指触觉压缩器，该模块结合手指拓扑与手部姿态，将双手十个指尖采集的高维接触流压缩为两个紧凑潜在向量。这一设计在保留89.4%接触信息的同时，带来了2.26倍的训练加速与1.29倍的推理提速。
随后团队冻结触觉编码器，接入大规模预训练视频生成模型中进行持续学习。在每项任务仅提供约100条演示轨迹下，模型仅需4小时训练即可预测未来画面与指尖受力。动作专家模块依托预测特征注入，指导机械手完成精准微调。
图：多指触觉压缩器将双手十个指尖触觉流压缩为两个紧凑潜在表征
六项实机严苛测试：综合得分70.6大幅领跑
为了检验物理世界表现，研究人员在真实双臂机器人上测试了六项接触密集型任务，包括方块翻转、空中交接、白板擦拭、夹取番茄、叠放碗盘分离和拧开瓶盖。
在对比实验中，DexTacWAM综合得分达到70.6分，远超强基线模型RDP的38.0分。在无腕关节翻转方块任务中，成功率从基线的50%提升至90%；在空中交接任务中，成功率也稳稳保持在71.6%。
图：包含擦拭白板、双臂倒碗、方块传递和夹取番茄等六项真实机器人操作关键帧
图：在双臂擦拭白板任务中真实观察与模型预测的视觉及指尖触觉流对比
从实际执行看，当抹布与白板摩擦阻力突变时，系统能够预见指尖流场剪切力变化并提前调整按压力度，避免脱手或损伤接触面。
走向通用物理交互：从实验室桌面到工业装配
DexTacWAM验证了用预训练视觉模型赋能高维触觉交互的可行性。低样本需求与四小时极速适应特性，使机器人摆脱了对数万次实机试错的重度依赖，为复杂装配和精细照护任务提供了全新思路。
团队表示，后续将探索更多异构触觉传感形式的统一建模，致力于让双臂机器人在未见过的日常工具操作中展现零样本触觉泛化能力。
