用异构掩码自回归学习真实世界动作-视频动力学
Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression
AI总结：
本文提出异构掩码自回归模型 HMA，通过异构预训练和掩码自回归高效建模动作-视频动力学，在提升视觉保真度与可控性的同时实现 15 倍加速，可用于策略评估与合成数据生成。
摘要：
我们提出异构掩码自回归（Heterogeneous Masked Autoregression，HMA），用于对动作-视频动力学进行建模，以生成高质量数据并评估规模化机器人学习。构建交互式视频世界模型和机器人策略十分困难，原因在于既要处理多样化设置，又要保持实时运行的计算效率。HMA 利用来自不同机器人本体、领域和任务的观测与动作序列进行异构预训练。HMA 使用掩码自回归生成量化或软 token 以进行视频预测。与之前的机器人视频生成模型相比，HMA 在真实世界中实现了更好的视觉保真度和可控性，且速度提升 15 倍。经过后训练，该模型可用作基于低级动作输入的视频模拟器，用于评估策略和生成合成数据。更多信息请参见链接 https://liruiw.github.io/hma。
英文摘要：
We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
