EgoPriMo：面向交互式人形控制的自我中心运动生成
EgoPriMo: Egocentric Motion Generation for Interactive Humanoid Control
- Tianjin University（天津大学）
- Zhongguancun Academy（中关村学院）
- Beihang University（北京航空航天大学）
- Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
- DeepCybo
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
提出EgoPriMo框架，通过自我中心人类演示学习全身运动先验，利用三流DiT联合建模身体动态、视觉上下文和文本，支持重建、生成和预测，并在Unitree人形机器人上执行。
AI中文摘要：
人形机器人需要适应场景上下文、任务要求和用户意图的全身运动。运动跟踪可以再现指定的轨迹，人形机器人视觉-语言-动作系统提供了语义接口，但两者都不能为广泛的全身行为提供可扩展且交互式的先验。我们提出了EgoPriMo（人形机器人自我中心运动先验），一个统一的框架，从自我中心人类演示中学习此类先验。给定自我中心观察和文本提示，EgoPriMo重建、生成和预测基于SMPL的全身运动。语言被用作高级控制信号，而不是完整的运动规范。EgoPriMo的核心是一个三流DiT，它联合建模身体动态、自我中心视觉上下文和文本；任务条件掩码通过同一个检查点路由不同的任务和缺失模态数据。在Nymeria和EgoExo4D上的实验表明，一个检查点在支持重建和预测的同时，改进了自我中心运动生成，优于UniEgoMotion；生成的SMPL运动也可以由Unitree人形控制器执行。这些结果表明了一条从可扩展的自我中心观察到可泛化和交互式人形运动先验的实用路径。
英文摘要：
Humanoid robots require whole-body motions that adapt to scene context, task requirements, and user intent. Motion tracking reproduces specified trajectories, and humanoid vision-language-action systems provide semantic interfaces, but neither offers a scalable and interactive prior for broad full-body behavior. We introduce EgoPriMo (Egocentric Motion Prior for Humanoid Robots), a unified framework that learns such priors from egocentric human demonstrations. Given egocentric observations and a text prompt, EgoPriMo reconstructs, generates, and forecasts SMPL-based full-body motion. Language is used as a high-level control signal rather than a complete motion specification. At the core of EgoPriMo is a Triple-stream DiT that jointly models body dynamics, egocentric visual context, and text; task-conditioning masks route different tasks and missing-modality data through the same checkpoint. Experiments on Nymeria and EgoExo4D show that one checkpoint improves egocentric motion generation over UniEgoMotion while supporting reconstruction and forecasting; the generated SMPL motions can also be executed by a Unitree humanoid controller. These results indicate a practical path from scalable egocentric observations to generalizable and interactive humanoid motion priors.
