arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

RoboCap:一种用于以自我为中心机器人学习的新平台

RoboCap: A New Platform for Egocentric Robot Learning

Grounded Superintelligence, BitRobot

arXiv 2610.07217首次发表:更新:

发表机构

Grounded Superintelligence; BitRobot(落地超级智能; 比特机器人)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

RoboCap平台通过集成轻量级硬件与3D算法,实现野外以自我为中心的数据捕获,并在SLAM、深度估计和手部追踪等公开基准上达到最先进性能。

AI 中文摘要

尽管以自我为中心的操作数据在扩展机器人学习方面前景广阔,但目前仍然稀缺。大规模收集数据需要将人体工程学硬件与厘米级精度的3D算法垂直整合,而这种精度尚未有公开演示。为填补这一空白,我们推出了RoboCap——一款重250克、配备六个摄像头和双惯性测量单元(IMU)的帽子,专为野外以自我为中心的数据捕获而设计;同时推出了Grounded API,这是一套针对RoboCap调优的设备无关的3D算法套件。在本报告中,我们展示了硬件、标定和3D算法如何相互作用,在公开基准上实现了最先进的性能:我们的SLAM(同步定位与建图)在各种环境和设备上表现优异,我们的深度估计在以自我为中心的场景中表现出色,我们的手部追踪在适配第三方设备时同样领先。

英文摘要

Despite its promise for scaling robot learning, egocentric manipulation data is still scarce today. Collection at scale requires vertically integrating ergonomic hardware with centimeter-precise 3D algorithms, at a precision that has not been publicly demonstrated. To address this gap, we introduce RoboCap, a 250\,g six-camera dual-IMU hat designed for in-the-wild egocentric data capture, and the Grounded API, a suite of device-agnostic 3D algorithms tuned for RoboCap. In this report, we demonstrate how hardware, calibration, and 3D algorithms interact to achieve state-of-the-art performance on the public benchmarks: our SLAM across diverse settings and rigs, our depth estimation on egocentric settings, and our hand tracking when adapted to third-party devices.

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑