2606.17256
2026-06-17
cs.RO
cs.CV
新提交
Contrastive Action-Image Pre-training for Visuomotor Control
对比动作-图像预训练用于视觉运动控制
Yuvan Sharma, Dantong Niu, Anirudh Pai, Zekai Wang, Zhuoyang Liu, Baifeng Shi, Stefano Saravalle, Boning Shao, Ruijie Zheng, Jing Wang, Konstantinos Kallidromitis, Yusuke Kato, Fabio Galasso, Yuke Zhu, Danfei Xu, Linxi "Jim" Fan, Jitendra Malik, Trevor Darrell, Roei Herzig
机构
*
UC Berkeley（加州大学伯克利分校）
；
NVIDIA（英伟达）
；
Sapienza University of Rome（罗马大学）
；
Panasonic（松下）
；
ItalAI
AI总结
提出CAIP方法，利用大规模第一人称视频中3D手部关键点作为代理动作信号，通过对比学习统一动作-图像表示，在少量机器人数据下显著提升灵巧操作性能。
