Ego4WAM：扩展以自我为中心的人类数据用于机器人学习时，什么才是关键？

中文摘要 AI 辅助

以自我为中心的人类数据为机器人学习提供了可扩展的经验来源，但在人机对齐、行为覆盖范围和可用监督方面存在显著差异。现有研究表明，随着人类数据量的增加，扩展效果良好，但仍不清楚哪些数据属性驱动了下游机器人的性能提升，以及如何在训练流程中利用此类数据。我们在统一的世界-动作模型框架下，对不同对齐程度和监督方式下的以自我为中心的人类数据进行了系统性研究。在固定模型主干的情况下，我们分别考察了人机对齐、数据时长与任务多样性、动作监督以及数据使用策略的影响。我们发现，对齐的人类演示能显著改善分布外泛化，并降低目标任务对机器人数据的需求；数据时长与任务多样性对下游能力的影响各不相同；仅视频监督在没有动作标签的情况下仍然有效，为后续的视频-动作训练奠定了坚实基础。我们通过真实机器人和RoboDojo上的闭环策略评估验证了这些发现。Ego4WAM没有将数据时长视为唯一的扩展轴，而是展示了对齐、任务多样性、可用监督和使用策略如何共同塑造以自我为中心的人类数据对机器人学习的价值。

英文摘要

Egocentric human data provides a scalable source of experience for robot learning, but varies substantially in human-robot alignment, behavioral coverage, and available supervision. Existing work shows favorable scaling with increasing human data, but it remains unclear which data properties drive downstream robot gains and how to use such data throughout the training pipeline. We present a systematic study of egocentric human data with different alignment and supervision under a unified world-action model framework. With the model backbone fixed, we disentangle the effects of human-robot alignment, data duration and task diversity, action supervision, and data usage strategies. We find that aligned human demonstrations substantially improve out-of-distribution generalization and reduce target-task robot data requirements; data duration and task diversity affect downstream capabilities differently; and video-only supervision remains effective without action labels, providing a strong foundation for subsequent video-action training. We validate these findings through closed-loop policy evaluation on both real robots and RoboDojo. Rather than treating data duration as the sole scaling axis, Ego4WAM shows how alignment, task diversity, available supervision, and usage strategy jointly shape the value of egocentric human data for robot learning.

发表机构

• Fudan University（复旦大学）
• Horizon Robotics（地平线机器人）
• Huazhong University of Science & Technology（华中科技大学）
• Zhejiang University of Technology（浙江工业大学）

机构由 AI 辅助整理，请以论文原文为准。