OKAMI：通过单视频模仿教人形机器人操作技能
OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation
AI总结：
本文提出OKAMI方法，通过单个RGB-D视频演示利用对象感知重定向技术教人形机器人学习操作技能，在开放世界模仿中超越基线，并利用其轨迹训练闭环策略实现79.2%的平均成功率。
摘要：
我们研究通过单视频演示模仿来教人形机器人操作技能的问题。我们引入了OKAMI，这是一种从单个RGB-D视频生成操作计划并推导出可执行策略的方法。我们方法的核心是对象感知重定向，它使人形机器人能够模仿RGB-D视频中的人类动作，同时在部署期间适应不同的物体位置。OKAMI使用开放世界视觉模型来识别任务相关对象，并分别重定向身体动作和手部姿态。我们的实验表明，OKAMI在各种视觉和空间条件下实现了强大的泛化能力，在基于观察的开放世界模仿上优于最先进的基线方法。此外，OKAMI的 rollout 轨迹被用于训练闭环视觉运动策略，这些策略在无需劳动密集型遥操作的情况下实现了79.2%的平均成功率。更多视频可在我们的网站上找到 https://ut-austin-rpl.github.io/OKAMI/。
英文摘要：
We study the problem of teaching humanoid robots manipulation skills by imitating from single video demonstrations. We introduce OKAMI, a method that generates a manipulation plan from a single RGB-D video and derives a policy for execution. At the heart of our approach is object-aware retargeting, which enables the humanoid robot to mimic the human motions in an RGB-D video while adjusting to different object locations during deployment. OKAMI uses open-world vision models to identify task-relevant objects and retarget the body motions and hand poses separately. Our experiments show that OKAMI achieves strong generalizations across varying visual and spatial conditions, outperforming the state-of-the-art baseline on open-world imitation from observation. Furthermore, OKAMI rollout trajectories are leveraged to train closed-loop visuomotor policies, which achieve an average success rate of 79.2% without the need for labor-intensive teleoperation. More videos can be found on our website https://ut-austin-rpl.github.io/OKAMI/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
