翻译作为桥接动作：将操作技能从人类迁移到机器人
Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots
AI总结：
提出以相对手腕平移作为桥接动作表示，结合π₀类视觉-语言-动作模型，从人类数据中迁移操作技能到双臂平行夹爪机器人，有效提升迁移效果并随数据量扩展。
摘要：
我们研究是否可以从人类动作中学习新颖的操作技能，并将其迁移到具有平行夹爪的双臂机器人。人类动作数据廉价、丰富且多样，使其成为扩展机器人学习最有前景的资源之一。然而，将技能从人类迁移到机器人仍然困难：大多数先前工作将人类视为另一种双臂6自由度具身，其中手部姿态估计存在噪声，且人类手指的接触模式与平行夹爪根本不同。我们认为，从人类数据中学习包含旋转的动作信号因此是次优的，并转而提出一种桥接动作表示：初始头部相机帧内的相对手腕平移，这是人类和机器人共享的动作空间。为了处理不同具身中某些动作组件可能缺失的问题，我们构建了一个类似π₀的视觉-语言-动作模型，具有交错的动作令牌和注意力掩码。在一系列新颖的双臂操作任务上，我们的桥接动作将人类操作知识迁移到机器人的效果远优于带噪声的6自由度人类动作，并随人类数据量增加而扩展。
英文摘要：
We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a $π_0$-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
