PlayerOne：第一人称真实世界模拟器
PlayerOne: Egocentric World Simulator
- HKU（香港大学）
- DAMO Academy, Alibaba Group（阿里云达摩院）
- Hupan Lab（华盘实验室）
- HUST（华中科技大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
PlayerOne通过第一人称真实世界模拟器实现了沉浸式探索，通过粗到细的训练流程和部分解耦运动注入方案，实现了对人类运动的精确控制和多样化场景的一致建模。
AI中文摘要：
我们介绍了PlayerOne，第一个第一人称真实世界模拟器，有助于在生动动态的环境中进行沉浸式和无限制的探索。给定一个用户提供的第一人称场景图像，PlayerOne可以准确构建相应的世界，并生成严格与外部相机捕捉的人类运动真实场景对齐的第一人称视频。PlayerOne采用粗到细的管道进行训练，首先在大规模的第一人称文本-视频对上进行预训练，以实现粗略的第一人称理解，然后在同步运动-视频数据上进行微调，这些数据是从第一人称-外部相机视频数据集中提取的，我们的自动构建管道。此外，考虑到不同组件的重要性差异，我们设计了一种部分解耦的运动注入方案，使能够精确控制部分级别的运动。此外，我们还设计了一种联合重建框架，逐步建模4D场景和视频帧，确保在长视频生成中保持场景一致性。实验结果表明，它在精确控制不同的人类运动和对多样化场景的一致建模方面具有很强的泛化能力。这标志着首次尝试第一人称真实世界模拟，并可以为社区探索世界建模的新前沿及其多样的应用铺平道路。
英文摘要：
We introduce PlayerOne, the first egocentric realistic world simulator, facilitating immersive and unrestricted exploration within vividly dynamic environments. Given an egocentric scene image from the user, PlayerOne can accurately construct the corresponding world and generate egocentric videos that are strictly aligned with the real scene human motion of the user captured by an exocentric camera. PlayerOne is trained in a coarse-to-fine pipeline that first performs pretraining on large-scale egocentric text-video pairs for coarse-level egocentric understanding, followed by finetuning on synchronous motion-video data extracted from egocentric-exocentric video datasets with our automatic construction pipeline. Besides, considering the varying importance of different components, we design a part-disentangled motion injection scheme, enabling precise control of part-level movements. In addition, we devise a joint reconstruction framework that progressively models both the 4D scene and video frames, ensuring scene consistency in the long-form video generation. Experimental results demonstrate its great generalization ability in precise control of varying human movements and worldconsistent modeling of diverse scenarios. It marks the first endeavor into egocentric real-world simulation and can pave the way for the community to delve into fresh frontiers of world modeling and its diverse applications.
