RynnVLA-001：利用人类演示改进机器人操作
RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation
AI总结：
本文提出RynnVLA-001，通过两阶段人类演示视频预训练和ActionVAE压缩动作表示，为VLA模型提供更有效的初始化，在机器人操作任务上超越现有基线。
摘要：
本文提出了RynnVLA-001，一个基于大规模人类演示视频生成预训练构建的视觉-语言-动作（VLA）模型。我们提出了一种新颖的两阶段预训练方法。第一阶段，自我中心视频生成预训练，在1200万个自我中心操作视频上训练一个图像到视频模型，以初始帧和语言指令为条件预测未来帧。第二阶段，以人为中心的轨迹感知建模，通过联合预测未来关键点轨迹对此进行扩展，从而有效地将视觉帧预测与动作预测连接起来。此外，为了增强动作表示，我们提出了ActionVAE，一种变分自编码器，将动作序列压缩为紧凑的潜在嵌入，降低了VLA输出空间的复杂度。在相同的下游机器人数据集上进行微调时，RynnVLA-001取得了优于最先进基线的性能，表明所提出的预训练策略为VLA模型提供了更有效的初始化。
英文摘要：
This paper presents RynnVLA-001, a vision-language-action(VLA) model built upon large-scale video generative pretraining from human demonstrations. We propose a novel two-stage pretraining methodology. The first stage, Ego-Centric Video Generative Pretraining, trains an Image-to-Video model on 12M ego-centric manipulation videos to predict future frames conditioned on an initial frame and a language instruction. The second stage, Human-Centric Trajectory-Aware Modeling, extends this by jointly predicting future keypoint trajectories, thereby effectively bridging visual frame prediction with action prediction. Furthermore, to enhance action representation, we propose ActionVAE, a variational autoencoder that compresses sequences of actions into compact latent embeddings, reducing the complexity of the VLA output space. When finetuned on the same downstream robotics datasets, RynnVLA-001 achieves superior performance over state-of-the-art baselines, demonstrating that the proposed pretraining strategy provides a more effective initialization for VLA models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
