EgoHTR：以自我为中心的人类地形穿越的4D演示
EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal
浏览论文内容
中文总结 AI 辅助
研究针对非结构化地形部署人形机器人的问题，提出EgoHTR数据集，通过多传感器设置捕获人类运动序列，经评估有高准确性，还利用数据训练运动策略并实现硬件部署，助力构建上下文感知机器人。
中文摘要 AI 辅助
在非结构化地形中部署人形机器人仍是一个未解决的问题。经典强化学习难以应对现实世界交互的复杂性，利用人类先验的更有前景的方法限于缺乏上下文感知的模型。现有数据集管道无法在具有挑战性的环境中捕获人类-场景序列，导致运动合成受限。为弥合人形学习与场景重建之间的差距，我们引入了以自我为中心的人类地形重建（EgoHTR）数据集。我们开发并开源了一个重建管道，使用以自我为中心的可穿戴设备和便携式3D扫描仪的多传感器设置，在多样、复杂的环境中捕获55个与场景对齐的4D人类运动序列。所得数据集包含超过150k帧，我们根据动作捕捉地面真值进行评估，展示了最先进的准确性，并为人的运动分析和合成建立了严格的基准。此外，我们利用这些数据训练感知运动策略，展示了在Unitree G1上针对重建参考运动的硬件部署。我们的管道支持社区驱动的数据扩展，并将问题分解，以帮助研究人员构建可靠穿越不平坦地形的基础、上下文感知机器人。
英文摘要
Deploying humanoid robots in unstructured terrain remains an open problem. While classic reinforcement learning struggles with the sheer complexity of real-world interactions, more promising methods leveraging human priors remain limited to models lacking contextual awareness. The restricted motion synthesis is a direct consequence of existing dataset pipelines failing to capture human-scene sequences in challenging environments. To bridge this gap between humanoid learning and scene reconstruction, we introduce the Egocentric Human-Terrain Reconstruction (EgoHTR) dataset. We develop and open-source a reconstruction pipeline capturing 55 scene-aligned 4D human motion sequences in diverse, complex environments using a multi-sensor setup of egocentric wearables and a portable 3D scanner. The resulting dataset comprises over 150k frames, which we evaluate against motion-capture ground truth, demonstrating state-of-the-art accuracy and establishing a rigorous benchmark for human motion analysis and synthesis. Further, we leverage this data to train perceptive locomotion policies, demonstrating hardware deployment on a Unitree G1 for reconstructed reference motions. Our pipeline enables community-driven dataset extensions and factors the problem to help researchers build foundational, context-aware robots that reliably traverse uneven terrain.
发表机构
- ETH Zurich（苏黎世联邦理工学院）
- Stanford（斯坦福大学）
- UC Berkeley（加州大学伯克利分校）
- TU Munich（慕尼黑工业大学）
机构由 AI 辅助整理，请以论文原文为准。
