PLEX：充分利用可用数据进行机器人操作预训练
PLEX: Making the Most of the Available Data for Robotic Manipulation Pretraining
AI总结：
针对机器人操作表征学习需大量多模态演示的问题，提出基于transformer的PLEX架构，结合少量视觉运动轨迹与大量任务条件操作视频学习，在Meta-World和Robosuite上实现优异性能，低数据下相对位置编码效果显著。
摘要：
丰富的表征是通用机器人操作的关键，但现有的表征学习方法需要大量多模态演示数据。在本研究中，我们提出了PLEX——一种基于transformer的架构，它通过少量任务无关的视觉运动轨迹，以及数量多得多的任务条件下的物体操作视频（一种可大量获取的数据类型）进行学习。PLEX利用视觉运动轨迹构建潜在特征空间，并学习任务无关的操作程序，而多样化的纯视频演示则教会PLEX如何在构建的潜在特征空间中为各类任务进行规划。实验展示了PLEX在Meta-World上的泛化能力，以及在具有挑战性的Robosuite环境中的SOTA性能。值得注意的是，在PLEX的transformer中使用相对位置编码，在从人类收集的演示中学习的低数据 regime 下有显著帮助。本文配套的代码和数据可在https://microsoft.github.io/PLEX获取。
英文摘要：
A rich representation is key to general robotic manipulation, but existing approaches to representation learning require large amounts of multimodal demonstrations. In this work we propose PLEX, a transformer-based architecture that learns from a small amount of task-agnostic visuomotor trajectories and a much larger amount of task-conditioned object manipulation videos -- a type of data available in quantity. PLEX uses visuomotor trajectories to induce a latent feature space and to learn task-agnostic manipulation routines, while diverse video-only demonstrations teach PLEX how to plan in the induced latent feature space for a wide variety of tasks. Experiments showcase PLEX's generalization on Meta-World and SOTA performance in challenging Robosuite environments. In particular, using relative positional encoding in PLEX's transformers greatly helps in low-data regimes of learning from human-collected demonstrations. The paper's accompanying code and data are available at https://microsoft.github.io/PLEX.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
