基于4D表示的自回归机器人模型预训练
Pre-training Auto-regressive Robotic Models with 4D Representations
AI总结：
针对机器人领域预训练受标注成本高、物理世界表示不足限制的问题，提出利用从人类视频提取的4D表示构建的自回归机器人模型ARM4R，实现高效跨域迁移，在多类机器人任务上稳定提升性能。
摘要：
在海量无标注数据集上预训练的基础模型已彻底变革自然语言处理与计算机视觉领域，展现出卓越的泛化能力，由此凸显了预训练的重要性。然而机器人领域的相关研究始终难以取得类似成功，其限制因素要么是需要成本高昂的机器人标注，要么是缺乏能有效建模物理世界的表示方法。本文提出ARM4R，即一种自回归机器人模型（Auto-regressive Robotic Model），它利用从人类视频数据中学习到的底层4D表示，构建出性能更优的预训练机器人模型。具体而言，我们重点使用从视频中提取的3D点跟踪表示，这类表示是通过跨时间的单目深度估计，将2D表示提升至3D空间得到的。这些4D表示在点与机器人状态表示之间维持着共享的几何结构（至多相差一个线性变换），从而实现从人类视频数据到底层机器人控制的高效迁移学习。我们的实验表明，ARM4R能够高效地从人类视频数据迁移到机器人任务中，并且在多种机器人环境与配置下的各类任务上，性能均得到持续提升。
英文摘要：
Foundation models pre-trained on massive unlabeled datasets have revolutionized natural language and computer vision, exhibiting remarkable generalization capabilities, thus highlighting the importance of pre-training. Yet, efforts in robotics have struggled to achieve similar success, limited by either the need for costly robotic annotations or the lack of representations that effectively model the physical world. In this paper, we introduce ARM4R, an Auto-regressive Robotic Model that leverages low-level 4D Representations learned from human video data to yield a better pre-trained robotic model. Specifically, we focus on utilizing 3D point tracking representations from videos derived by lifting 2D representations into 3D space via monocular depth estimation across time. These 4D representations maintain a shared geometric structure between the points and robot state representations up to a linear transformation, enabling efficient transfer learning from human video data to low-level robotic control. Our experiments show that ARM4R can transfer efficiently from human video data to robotics and consistently improves performance on tasks across various robot environments and configurations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
