用于策略学习的任意点轨迹建模
Any-point Trajectory Modeling for Policy Learning
浏览论文内容
中文总结 AI 辅助
针对机器人演示数据收集成本高的问题，提出ATM框架，通过预训练轨迹模型预测视频帧任意点未来轨迹提供控制引导，仅需少量带动作标签数据即可学习鲁棒视觉运动策略，在130余项任务中平均优于基线80%，还支持跨主体技能迁移。
中文摘要 AI 辅助
从演示中学习是教授机器人新技能的一种有效方法，拥有更多演示数据通常能提升策略学习效果。然而，收集演示数据的高昂成本是一个显著瓶颈。视频作为一种丰富的数据源，包含行为、物理和语义方面的知识，但由于缺少动作标签，从中提取控制相关信息颇具挑战。本研究提出一种新颖框架Any-point Trajectory Modeling（ATM，任意点轨迹建模），该框架通过预训练一个轨迹模型来预测视频帧内任意点的未来轨迹，从而利用视频演示数据。该模型训练完成后，其生成的轨迹可提供详细的控制引导，使得仅需极少带动作标签的数据就能学习到鲁棒的视觉运动策略。我们在仿真和真实环境中评估了130余项语言条件任务，结果显示ATM的性能平均优于现有强视频预训练基线80%。此外，我们还验证了从人类视频及不同形态机器人的视频中进行操作技能迁移学习的有效性。可视化结果和代码可访问：https://xingyu-lin.github.io/atm。
英文摘要
Learning from demonstration is a powerful method for teaching robots new skills, and having more demonstration data often improves policy learning. However, the high cost of collecting demonstration data is a significant bottleneck. Videos, as a rich data source, contain knowledge of behaviors, physics, and semantics, but extracting control-specific information from them is challenging due to the lack of action labels. In this work, we introduce a novel framework, Any-point Trajectory Modeling (ATM), that utilizes video demonstrations by pre-training a trajectory model to predict future trajectories of arbitrary points within a video frame. Once trained, these trajectories provide detailed control guidance, enabling the learning of robust visuomotor policies with minimal action-labeled data. Across over 130 language-conditioned tasks we evaluated in both simulation and the real world, ATM outperforms strong video pre-training baselines by 80% on average. Furthermore, we show effective transfer learning of manipulation skills from human videos and videos from a different robot morphology. Visualizations and code are available at: \url{https://xingyu-lin.github.io/atm}.
发表机构
- IIIS, Tsinghua University（清华大学交叉信息研究院）
- Shanghai Qi Zhi Institute（上海期智研究院）
- CUHK（香港中文大学）
- Shanghai AI Laboratory（上海人工智能实验室）
- UC Berkeley（加州大学伯克利分校）
- Stanford University（斯坦福大学）
机构由 AI 辅助整理，请以论文原文为准。
