H2R-Grounder：一种无需配对数据的视频到物理 grounded 机器人视频翻译范式
H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos
AI总结：
H2R-Grounder通过无需配对数据的方法，将人类交互视频转换为物理 grounded 的机器人视频，提升机器人学习的现实感和扩展性。
摘要：
能够从日常人类视频中学习操控技能的机器人可以在不进行繁琐的机器人数据收集的情况下获得广泛的能力。我们提出了一种视频到视频的翻译框架，将普通的人类-物体交互视频转换为运动一致的机器人操控视频，具有逼真且物理上 grounded 的交互。我们的方法不需要任何配对的人-机器人视频进行训练，仅需一组未配对的机器人视频，使系统易于扩展。我们引入了一种可转移的表示方法，弥合了身体差距：通过在训练视频中修补机器人手臂以获得干净的背景，并叠加一个简单的视觉提示（一个标记和箭头指示夹具的位置和方向），我们可以将生成模型条件化，以将机器人手臂重新插入到场景中。在测试时，我们对人类视频应用相同的过程（修补人物并叠加人类姿态提示），并生成高质量的机器人视频，以模仿人类的动作。我们通过上下文学习的方式微调了最先进的视频扩散模型（Wan 2.2），以确保时间一致性并利用其丰富的先验知识。实验证明，我们的方法在现实感和 grounded 机器人运动方面比基线方法显著更好，指出了从未标记的人类视频中扩展机器人学习的一个有希望的方向。项目页面：https://showlab.github.io/H2R-Grounder/
英文摘要：
Robots that learn manipulation skills from everyday human videos could acquire broad capabilities without tedious robot data collection. We propose a video-to-video translation framework that converts ordinary human-object interaction videos into motion-consistent robot manipulation videos with realistic, physically grounded interactions. Our approach does not require any paired human-robot videos for training only a set of unpaired robot videos, making the system easy to scale. We introduce a transferable representation that bridges the embodiment gap: by inpainting the robot arm in training videos to obtain a clean background and overlaying a simple visual cue (a marker and arrow indicating the gripper's position and orientation), we can condition a generative model to insert the robot arm back into the scene. At test time, we apply the same process to human videos (inpainting the person and overlaying human pose cues) and generate high-quality robot videos that mimic the human's actions. We fine-tune a SOTA video diffusion model (Wan 2.2) in an in-context learning manner to ensure temporal coherence and leveraging of its rich prior knowledge. Empirical results demonstrate that our approach achieves significantly more realistic and grounded robot motions compared to baselines, pointing to a promising direction for scaling up robot learning from unlabeled human videos. Project page: https://showlab.github.io/H2R-Grounder/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
