超越下一帧预测的自回归视频生成
Autoregressive Video Generation beyond Next Frames Prediction
AI总结：
本文提出 VideoAR 统一框架，以时空立方体替代逐帧作为自回归预测单元，在 VBench 上提升质量、速度与时间一致性，并支持分钟级视频生成。
摘要：
用于视频生成的自回归模型通常逐帧运行，将语言中的下一 token 预测扩展到视频的时间维度。我们质疑：与语言中普遍认同将词作为 token 不同，帧是否是合适的预测单元？为解决这一问题，我们提出 VideoAR，这是一个统一框架，支持一系列预测单元，包括完整帧、关键细节帧、多尺度细化以及时空立方体。在这些设计中，我们发现使用“时空”立方体作为预测单元来建模视频生成，可使自回归模型同时跨空间和时间维度运行。该方法消除了帧是视频自回归自然原子单元的假设。我们在多种预测策略上评估 VideoAR，发现基于立方体的预测始终提供更优的质量、速度和时间一致性。通过摆脱逐帧约束，我们的视频生成器在 VBench 上超越最先进基线，同时实现更快推理，并能够无缝扩展至分钟级序列。我们希望这项工作能推动重新思考视频及其他时空领域中的序列分解。
英文摘要：
Autoregressive models for video generation typically operate frame-by-frame, extending next-token prediction from language to video's temporal dimension. We question that unlike word as token is universally agreed in language if frame is a appropriate prediction unit? To address this, we present VideoAR, a unified framework that supports a spectrum of prediction units including full frames, key-detail frames, multiscale refinements, and spatiotemporal cubes. Among these designs, we find model video generation using \textit{spatiotemporal} cubes as prediction units, which allows autoregressive models to operate across both spatial and temporal dimensions simultaneously. This approach eliminates the assumption that frames are the natural atomic units for video autoregression. We evaluate VideoAR across diverse prediction strategies, finding that cube-based prediction consistently delivers superior quality, speed, and temporal coherence. By removing the frame-by-frame constraint, our video generator surpasses state-of-the-art baselines on VBench while achieving faster inference and enabling seamless scaling to minute-long sequences. We hope this work will motivate rethinking sequence decomposition in video and other spatiotemporal domains.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
