面向视觉机器人操作的多视角掩码世界模型
Multi-View Masked World Models for Visual Robotic Manipulation
AI总结：
本文提出多视角掩码自编码器与世界模型相结合的方法，利用多视角数据学习表示以提升视觉机器人操作，并验证其在无相机标定情况下可迁移到真实机器人任务。
摘要：
视觉机器人操作的研究和应用通常使用多个摄像头或视角来更好地感知世界。我们还能如何利用多视角数据的丰富性？本文研究了如何利用多视角数据学习良好的表示，并将其用于视觉机器人操作。具体来说，我们训练了一个多视角掩码自编码器，该自编码器重建随机掩码视角的像素，然后学习一个在自编码器表示之上运行的世界模型。我们在一系列场景中证明了方法的有效性，包括多视角控制以及使用辅助摄像头进行表示学习的单视角控制。我们还表明，使用多个随机化视角训练的多视角掩码自编码器能够训练出具有强视角随机化能力的策略，并将该策略迁移到真实机器人任务中，无需相机标定和适应过程。视频演示可在 https://sites.google.com/view/mv-mwm 查看。
英文摘要：
Visual robotic manipulation research and applications often use multiple cameras, or views, to better perceive the world. How else can we utilize the richness of multi-view data? In this paper, we investigate how to learn good representations with multi-view data and utilize them for visual robotic manipulation. Specifically, we train a multi-view masked autoencoder which reconstructs pixels of randomly masked viewpoints and then learn a world model operating on the representations from the autoencoder. We demonstrate the effectiveness of our method in a range of scenarios, including multi-view control and single-view control with auxiliary cameras for representation learning. We also show that the multi-view masked autoencoder trained with multiple randomized viewpoints enables training a policy with strong viewpoint randomization and transferring the policy to solve real-robot tasks without camera calibration and an adaptation procedure. Video demonstrations are available at: https://sites.google.com/view/mv-mwm.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
