EgoEngine：从自我中心人类视频到高保真灵巧机器人演示
EgoEngine: From Egocentric Human Videos to High-Fidelity Dexterous Robot Demonstrations
AI总结：
提出EgoEngine框架，通过视觉和动作桥接，将自我中心人类视频转化为高保真机器人数据，首次实现零样本灵巧策略学习。
摘要：
灵巧操作受限于大规模机器人演示数据的收集成本。自我中心人类视频提供了多样操作行为的可扩展来源，但直接用于机器人学习需要弥合两个差距：人类与机器人观测之间的视觉差距，以及人类运动与机器人可执行动作之间的动作差距。我们提出EgoEngine，一个可扩展的框架，用于将自我中心人类操作视频转化为高保真机器人数据。给定一个自我中心RGB视频，EgoEngine生成：(i) 高保真机器人观测视频，用机器人替换人类，同时保留场景上下文和时间对齐，以及(ii) 在可行性约束下，与任务对齐、可执行的机器人动作轨迹。在仿真和真实机器人上的实验表明，EgoEngine能够将人类视频可扩展地转化为机器人数据，并且据我们所知，首次展示了无需真实机器人演示，从自我中心人类视频进行零样本视觉运动灵巧策略学习。项目网站：此 https URL。
英文摘要：
Dexterous manipulation is limited by the cost of collecting large-scale robot demonstrations. Egocentric human videos offer a scalable source of diverse manipulation behaviors, but directly using them for robot learning requires bridging two gaps: the visual gap between human and robot observations, and the action gap between human motion and robot-executable action. We propose EgoEngine, a scalable framework for transforming egocentric human manipulation videos into high-fidelity robot data. Given an egocentric RGB video, EgoEngine produces: (i) a high-fidelity robot observation video replacing human with robot while preserving scene context and temporal alignment, and (ii) a task-aligned, executable robot action trajectory under feasibility constraints. Experiments in simulation and on real robots show that EgoEngine enables scalable conversion of human videos into robot data and, to our knowledge, demonstrates the first zero-shot visuomotor dexterous policy learning from egocentric human videos without real-robot demonstrations. Project website: https://egoengine.github.io.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
