用于具身操纵的数据金字塔
Data Pyramid for Embodied Manipulation: A Survey
浏览论文内容
中文总结 AI 辅助
研究围绕具身操纵数据生态系统展开，构建跨越五个互补数据源的“数据金字塔”，通过数据配方分析具身基础模型，将数据组成与多种能力联系起来，并讨论了六个开放挑战，为下一代具身系统设计奠定基础。
中文摘要 AI 辅助
多模态基础模型通过利用整个互联网学会了看和说。具身智能体没有这样的捷径，因为它们需要将观察与物理状态和动作相结合的数据。这些信号可以由多个数据源在不同程度上提供。在这项工作中，我们将具身数据生态系统组织成一个跨越五个互补数据源的“金字塔”：真实机器人数据、UMI 风格数据、自我中心和外中心数据、模拟数据以及通用视觉语言数据。我们围绕可扩展性和机器人对齐之间的矛盾构建金字塔，并根据数据质量、多样性、可重用性和物理保真度对每个数据源进行进一步刻画。然后，我们通过它们的数据配方分析最近的具身基础模型，研究在预训练期间如何选择、对齐和混合不同的数据源。对于具身大脑模型、视觉语言动作模型和世界动作模型，我们将数据组成与感知、推理、规划、动作生成和世界预测的能力联系起来。最后，我们讨论了六个开放挑战：构建大规模触觉数据集、收集失败和恢复数据、开发可扩展的数据收集管道、跨实例对齐动作、利用自我中心数据进行灵巧操纵以及为机器人学习设计有原则的数据配方算法。我们希望这项工作为下一代具身系统的设计奠定基础。
英文摘要
Multimodal foundation models learned to see and to speak by consuming the whole internet. Embodied agents admit no such shortcut, since they require data that couple observations with physical states and actions. These signals can be provided, to varying degrees, by multiple data sources. In this work, we organize the embodied data ecosystem as a "pyramid" spanning five complementary sources: real-robot data, UMI-style data, egocentric and exocentric data, simulation data, and general vision-language data. We organize the pyramid around the tension between scalability and robot alignment, and further characterize each source in terms of data quality, diversity, reusability, and physical fidelity. We then analyze recent embodied foundation models through the lens of their data recipes, examining how different sources are selected, aligned, and mixed during pretraining. For embodied brain models, vision-language-action models, and world-action models alike, we relate data composition to capabilities in perception, reasoning, planning, action generation, and world prediction. We close by discussing six open challenges: building large-scale tactile datasets, collecting failure and recovery data, developing scalable data-collection pipelines, aligning actions across embodiments, leveraging egocentric data for dexterous manipulation, and designing principled data recipes for robot learning. We hope this work paves the foundation for the design of next-generation embodied systems.
发表机构
- PKU（北京大学）
- NTU（南洋理工大学）
- HKUST（香港科技大学）
- NUS（新加坡国立大学）
- CUHK（香港中文大学）
- HKU（香港大学）
- Duke（杜克大学）
- UCB（加州大学伯克利分校）
- GBU（未提及具体中文名的机构）
- NJU（南京大学）
- SJTU（上海交通大学）
机构由 AI 辅助整理，请以论文原文为准。
