Long-Context Autoregressive Video Modeling with Next-Frame Prediction
Showlab, National University of Singapore(新加坡国立大学Showlab)
针对长视频自回归建模计算成本高的问题,提出基于非对称分块核的长短时上下文建模方法,在长短视频生成上均达SOTA,提供了有效基线。
2025-05-18 cs.CV
Autoregressive Video Generation without Vector Quantization
Beijing University of Posts and Telecommunications(北京邮电大学);Key Laboratory of Intelligent Information Processing, ICT, CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Dalian University of Technology(大连理工大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
本文提出无需向量量化的自回归视频模型NOVA,通过时间逐帧与空间逐集合预测结合双向建模,以0.6B参数实现高效率、高保真的视频生成及零样本应用。
2025-03-02 cs.CV
DCARL: A Divide-and-Conquer Framework for Autoregressive Long-Trajectory Video Generation
Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学)
本文提出DCARL框架,通过分而治之策略结合VDMs的高保真生成能力,解决长轨迹视频生成中的视觉漂移和可控性问题,实现高质量且稳定的生成。
2026-03-25 cs.CV
Flex-Forcing: Towards a Unified Autoregressive and Bidirectional Video Diffusion Model
NVIDIA(英伟达)
研究针对现有视频生成方法推理范式僵化的问题,提出Flex-Forcing框架。核心是灵活分块机制,可依设备预算灵活分块,跨块双向推理与块内自回归生成,实验表明该框架提升了视频质量、稳定性并加快推理速度。
2026-07-07 cs.CV
VideoSSM: Autoregressive Long Video Generation with Hybrid State-Space Memory
HKU(香港大学);PICO, ByteDance(字节跳动PICO);SUSTech(南方科技大学)
VideoSSM通过结合自回归扩散与混合状态空间记忆,实现了具有全局一致性和运动稳定性的长视频生成,支持提示自适应交互并提升内容多样性。
2025-12-04 cs.CV
Taming Teacher Forcing for Masked Autoregressive Video Generation
HKUST(GZ)(香港科技大学(广州));StepFun(阶跃星辰);UIUC(伊利诺伊大学厄巴纳-香槟分校);THU(清华大学)
提出MAGI混合视频生成框架,通过完整教师强制(CTF)改进掩码自回归,显著提升FVD分数,并能生成超100帧的连贯视频。
2025-01-21 cs.CV
DSA: Dynamic Step Allocation for Fast Autoregressive Video Generation
University of California, Irvine(加州大学尔湾分校);Google(谷歌);Google DeepMind(谷歌DeepMind)
提出一种置信度引导的自适应计算框架DSA,通过轻量级置信度头动态调整每帧去噪步数,在保持视频质量的同时实现实时自回归视频生成。
2026-06-03 cs.CV
Autoregressive Video Autoencoder with Decoupled Temporal and Spatial Context
Zoom Communications(Zoom公司)
ARVAE通过解耦时间和空间上下文,实现高效视频压缩与重建,具备轻量模型和小数据优势,适用于视频生成等下游任务。
2025-12-12 cs.CV
AAD-1: Asymmetric Adversarial Distillation for One-Step Autoregressive Video Generation
University of Science and Technology of China(中国科学技术大学)
提出非对称对抗蒸馏框架AAD-1,通过打破生成器与判别器的对称性以及分阶段训练策略,解决一步自回归视频生成中的运动崩溃和训练不稳定问题,实现最先进性能。
2026-06-03 cs.CV
Autoregressive Video Generation beyond Next Frames Prediction
Johns Hopkins University(约翰霍普金斯大学);Apple(苹果公司)
本文提出 VideoAR 统一框架,以时空立方体替代逐帧作为自回归预测单元,在 VBench 上提升质量、速度与时间一致性,并支持分钟级视频生成。
2025-09-28 cs.CV
Learning from Next-Frame Prediction: Autoregressive Video Modeling Encodes Effective Representations
Peking University(北京大学)
NExT-Vid通过掩码下一帧预测提出自回归视频预训练框架,提升视频生成质量和语义表示能力。
2026-09-28 cs.CV
DreamForge: Motion-Aware Autoregressive Video Generation for Multi-View Driving Scenes
Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);Technical University of Munich(慕尼黑技术大学)
提出DreamForge,一种基于扩散模型的自回归视频生成模型,通过透视引导、逐对象位置编码和运动感知时间注意力,实现3D可控的长视频生成,并集成DriveArena模拟器支持驾驶智能体的开闭环评估。
2025-05-29 cs.CV
DiffVC: A Non-autoregressive Framework Based on Diffusion Model for Video Captioning
School of Software, Northwestern Polytechnical University(西北工业大学软件学院);School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);Beijing University Of Technology(北京工业大学)
本文提出DiffVC,一种基于扩散模型的非自回归框架,解决视频描述生成中自回归方法速度慢和累积误差问题,通过并行解码和判别性条件扩散模型提升生成质量,实验表明其在多个数据集上优于非自回归方法并接近自回归方法。
2026-04-09 cs.CV
DiCoDe: Diffusion-Compressed Deep Tokens for Autoregressive Video Generation with Language Models
DiCoDe利用扩散压缩深度标记,通过自回归语言模型生成视频,实现高效压缩与高质量输出,展示了在视频建模中的潜力。
2026-03-15 cs.CV
From Slow Bidirectional to Fast Autoregressive Video Diffusion Models
MIT(麻省理工学院);Adobe(Adobe公司)
本研究将双向视频扩散模型改编为自回归模型,结合分布匹配蒸馏与创新初始化及非对称蒸馏策略,实现单GPU上9.4 FPS的快速流式生成,并在VBench-Long上取得84.27分,超越所有先前模型。
2025-09-23 cs.CV
SAGA: Stable Acceleration Guidance for Autoregressive Video Generation
University of Science, VNU-HCM(越南胡志明市国家大学);Vietnam National University(越南国家大学);University of Dayton(Dayton 大学)
研究自回归视频生成中因重复使用潜在变量致时间误差问题,提出SAGA方法,它整合加速域频谱引导目标与初始化策略,无需训练可直接用于现有模型,能提升时间质量、减少时间不稳定性并保持视觉保真度。
2026-10-02 cs.CV
ForcingBooster: Adaptive Patch-wise Denoising for Fast Autoregressive Video Diffusion
HKUST(香港科技大学);VAST(蔚星科技);Macau University of Science and Technology(澳门科技大学)
针对自回归视频扩散模型均匀分配计算导致冗余或细化不足的问题,提出ForcingBooster框架动态分配去噪步骤,减少约50%去噪步骤且保持视觉质量,兼容现有少步模型。
2026-10-12 cs.CV
VPG: Visual Prefix Guidance for Autoregressive Image and Video Generation
National University of Singapore(新加坡国立大学);Huazhong University of Science & Technology(华中科技大学)
提出VPG,一种无需训练、推理时引导的方法,通过对比生成前缀与损坏前缀下的模型输出来改进自回归图像和视频生成的下一步预测,提升生成质量。
2026-05-28 cs.CV
FastSTAR: Spatiotemporal Token Pruning for Efficient Autoregressive Video Synthesis
Korea Advanced Institute of Science and Technology(韩国科学技术院)
FastSTAR通过时空令牌修剪和部分更新机制,实现高效视频生成,在保持质量的同时提升处理速度。
2026-03-07 cs.CV
Adaptive Begin-of-Video Tokens for Autoregressive Video Diffusion Models
Zhejiang University(浙江大学);Manycore Tech Inc.(Manycore科技公司)
针对自回归视频扩散模型长视频生成的现有范式缺陷,本文提出ada-BOV自适应视频起始令牌,搭配流式去噪精细化策略与扰动增强训练噪声调度,在多指标上取得优异的长视频生成效果。
2025-11-15 cs.CV
Custom Forcing: Training-Free Subject Customization for Autoregressive Video Generation
Kyung Hee University(庆熙大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对自回归视频生成中主体定制问题,提出无训练的自定义强制方法,通过持久KV缓存锚定帧并采用漂移自适应值放大和锚定对比引导,在保持身份和速度上优于现有方法。
2026-10-06 cs.CV
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出一种快速自回归框架,通过解耦控制学习并保持统一视频先验,实现人体运动和相机轨迹的组合控制,支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
EVATok通过自适应分块器提升视频重建和自回归生成的效率与质量,实现令牌使用量减少24.4%。
2026-03-12 cs.CV
End-to-End Training for Autoregressive Video Diffusion via Self-Resampling
The Chinese University of Hong Kong(香港中文大学);ByteDance Seed(字节跳动Seed);ByteDance(字节跳动)
提出自回归视频扩散模型的端到端训练框架Resampling Forcing,通过自重采样模拟推理错误,结合稀疏因果掩码和动态历史路由,实现长视频生成的时间一致性。
2026-07-02 cs.CV
RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO
Imperial College London(伦敦帝国学院)
RAVEN通过将自回归视频扩散模型的训练与测试过程结合,提升长时视频生成质量。CM-GRPO方法优化一致性采样,提高生成效果。
2026-05-14 cs.CV
SGF+: Decoupling Gradient Flows for Autoregressive Video Generation
Tsinghua University(清华大学);Joy Future Academy(京东探索研究院);The Chinese University of Hong Kong(香港中文大学)
SGF+通过为自回归视频生成中的上下文写入和去噪分配独立参数,解耦梯度流,在不增加训练数据的情况下提升视觉质量与长时程一致性,并支持长达24小时的连续生成。
2026-10-26 cs.CV
BridgeIV: Bridging Customized Image and Video Generation through Test-Time Autoregressive Identity Propagation
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德·本·泽亚德人工智能大学);Sun Yat-sen University(孙中山大学);University of Toronto(多伦多大学)
针对定制化文本到视频生成中的身份一致性难题,本文提出自回归结构与纹理传播模块STPM,并结合测试时奖励优化TTRO细化细节,显著提升视频帧间一致性。
2025-05-11 cs.CV
MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers
University of California, Irvine(加州大学欧文分校);GenAI, Meta(Meta GenAI部门);National University of Singapore(新加坡国立大学)
本文提出MaskINT,将文本视频编辑分为零样本关键帧编辑与非自回归掩码Transformer帧插值两阶段,在保持与扩散模型相当性能的同时显著提升推理效率。
2024-04-02 cs.CV
Ca2-VDM: Efficient Autoregressive Video Diffusion Model with Causal Generation and Cache Sharing
Zhejiang University(浙江大学);Manycore Tech Inc.(沐曦科技公司);Xmax.AI Ltd.(Xmax.AI有限公司);Nanyang Technological University(南洋理工大学)
针对现有自回归视频扩散模型存在的冗余计算、复杂度随自回归步数二次增长的问题,提出具备因果生成与缓存共享的Ca2-VDM,消除冗余计算、降低缓存成本,实现生成质量与速度的双重提升。
2025-05-21 cs.CV
Video-Mirai: Autoregressive Video Diffusion Models Need Foresight
The University of Tokyo(东京大学);National Institute of Informatics(信息处理研究所);Peking University(北京大学)
提出Video-Mirai训练方法,通过冻结的远见编码器从完整生成序列中提取未来信息并蒸馏到因果状态,在不改变推理过程的情况下弥合表示层面的规划差距,提升长视频生成的一致性。
2026-11-11 cs.CV
Past- and Future-Informed KV Cache Policy with Salience Estimation in Autoregressive Video Diffusion
Hangzhou Institute of Technology, Xidian University, Hangzhou, China(杭州理工大学,西安电子科技大学,中国杭州);Xidian University, Xi'an, China(西安电子科技大学,中国西安);Hohai University, Nanjing, China(河海大学,中国南京)
本文提出PaFu-KV策略,通过显著性估计优化KV缓存,提升视频生成的质量与效率。
2026-02-04 cs.CV
Infinite Gaze Generation for Videos with Autoregressive Diffusion
New York University(纽约大学);Stanford University(斯坦福大学)
本文提出一种自回归扩散模型,用于生成任意长度视频的无限 horizon 原始 gaze,通过在 saliency-aware 视觉潜在空间中条件化,提升长程时空准确性和轨迹真实性。
2026-11-20 cs.CV
DiT as Real-Time Rerenderer: Streaming Video Stylization with Autoregressive Diffusion Transformer
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);XMax.AI Ltd.(XMax人工智能有限公司);Nanyang Technological University(南洋理工大学)
本文提出RTR-DiT框架,通过微调双向教师模型和知识蒸馏实现高效视频风格化,支持文本和参考图像引导,实现实时稳定处理长视频和风格切换。
2026-04-15 cs.CV
Uncertainty DMD: Restoring Diversity in Few-Step Autoregressive Video Distillation
Nanjing University(南京大学);Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI));Fudan University(复旦大学)
针对少步自回归视频蒸馏中的多样性崩溃问题,提出不确定性DMD框架,通过时间步扰动和随机缓存写入恢复随机性,无需架构改动,提升多样性且保持视觉质量。
2026-09-11 cs.CV
On-Policy Adversarial Flow Distillation for Autoregressive Video Generation
LIGHTSPEED;University College London(伦敦大学学院)
提出策略对抗流蒸馏(AFD)框架,通过策略内对抗性反馈和正向过程流匹配,实现从异构黑盒教师模型向自回归学生模型的高效蒸馏。
2026-05-25 cs.CV
Real-Time Motion-Controllable Autoregressive Video Diffusion
Nanyang Technological University(南洋理工大学);Xmax.AI Ltd(Xmax.AI有限公司);Zhejiang University(浙江大学);Singapore Management University(新加坡国立大学)
AR-Drag是一种基于强化学习的实时图像到视频生成模型,通过自回归机制和轨迹奖励模型实现高效运动控制,提升视频生成质量和效率。
2026-03-08 cs.CV
ProAR: Learning Prospective Reasoning with Autoregressive Video Models
The Hong Kong Polytechnic University(香港理工大学);University of California, Davis(加利福尼亚大学戴维斯分校);Microsoft(微软)
ProAR通过目标帧预测和未来表示自对齐,将自回归视频生成转为目标导向推理,以25%训练步骤超越标准基线,适用于具身推理。
2026-10-05 cs.CV
SparSTAR: Sparse Attention for SpaceTime AutoRegressive Video Synthesis
针对InfinityStar视频合成中高成本注意力与不可靠稀疏模式问题,提出无需训练的SparSTAR块稀疏注意力,在720p生成任务中实现约1.6倍加速且保持高保真度。
2026-09-11 cs.CV
KVPO: ODE-Native GRPO for Autoregressive Video Alignment via KV Semantic Exploration
Tsinghua University(清华大学);HKUST(香港科技大学);Video Rebirth Project(视频重生项目)
KVPO通过引入因果-语义探索范式和基于轨迹速度能量的替代策略,解决自回归视频生成器与人类偏好对齐的挑战,提升视频质量与文本对齐效果。
2026-05-14 cs.CV
FreqForcing: Autoregressive Long Video Generation via Spectral Self-Anchoring
本文针对自回归长视频生成中的误差累积问题,提出无需训练的FreqForcing框架,通过频谱自锚定技术实现24倍外推,性能优于现有无训练方法且与有训练方法有竞争力。
2026-08-04 cs.CV
Forcing-KV: Hybrid KV Cache Compression for Efficient Autoregressive Video Diffusion Models
ZJU(浙江大学);Video Rebirth(视频重生);HKUST(香港科技大学);BJTU(北京理工大学)
本文提出Forcing-KV方法,通过混合KV缓存压缩技术,提升自回归视频扩散模型的生成速度和内存效率,实现高达2.82倍的速度提升。
2026-05-10 cs.CV
OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators
Meituan(美团);HKUST(香港科技大学);City University of Hong Kong(香港城市大学)
研究针对训练后少步自回归视频生成器存在的问题,提出OPSD-V策略内自蒸馏范式。通过引入真实长视频数据提供监督,学生和教师模型按特定方式运行,应用该范式于相关模型后,实验及用户研究表明其在多方面有改进且更受青睐。
2026-07-10 cs.CV
Tether the Subject, Release the Scene: Query-Aware Memory Routing for Long-Horizon Autoregressive Video Generation
Huazhong University of Science and Technology(华中科技大学);MiLM Plus, Xiaomi Inc.(小米公司MiLM Plus)
针对流式自回归视频生成中记忆锚定的场景欠进展问题,提出无需训练的查询感知时空记忆路由器 TetherMem,分离主体与场景查询调节历史访问,在长视频生成的整体质量与场景进展指标上优于基线方法。
2026-08-28 cs.CV
TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation
Hainan University(海南大学);Xiamen University(厦门大学);Zhejiang Normal University(浙江师范大学)
本文提出无训练框架TRAC,通过稳健累积调度、轨迹感知引导调度和谱结构校正,解决自回归视频生成中误差累积问题,在SkyReels-V2和FramePack-F1上实现最高推理效率与最佳生成质量。
2026-10-16 cs.CV
Adversarial Gradient Forcing for Robust Few-Step Autoregressive Video Generation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Nanjing University(南京大学)
针对自回归视频生成的局部历史鲁棒性差距,提出AGF框架,通过联合训练原始与扰动历史提升鲁棒性,在60秒视频生成获VBench最高分,4分钟视频生成视觉质量最优,仅需5秒回推训练。
2026-10-14 cs.CV
NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Microsoft Azure AI(微软Azure人工智能)
在本文中,我们提出了NUWA-Infinity,生成模型的无限视觉合成,这是定义为生成任意大小的高分辨率图像或长时间的视频的任务。提出了一种自回归生成机制来处理这种可变大小的生成任务,其中全局补丁级自回归模型考虑补丁之间的依赖关系,局部令牌级自回归模型考虑每个补丁内视觉令牌之间的依赖关系。引入邻近上下文池(Nearby Context Pool,NCP),将已生成的缓存相关补丁作为当前补丁的上下文,在不牺牲补丁级依赖建模的前提下,显著节省计算成本.一个任意方向控制器(ADC)被用来决定不同的视觉合成任务的适当的生成顺序和学习顺序感知的位置嵌入。与DALL-E、Imagen和Parti相比,NUWA-Infinity可以生成任意尺寸的高分辨率图像,并支持长时间视频生成。与同时涵盖图像和视频的NUWA相比,NUWA-Infinity在分辨率和可变尺寸生成方面具有更出色的视觉合成能力。GitHub链接是https://github.com/microsoft/NUWA。主页链接是https://nuwa-infinity.microsoft.com。
2022-08-12 cs.CV
FilmWeaver: Weaving Consistent Multi-Shot Videos with Cache-Guided Autoregressive Diffusion
Kling Team, Kuaishou Technology(快手科技 Kling Team)
FilmWeaver通过缓存引导自回归扩散模型实现多镜头视频的一致性生成,支持灵活交互和多任务应用。
2025-12-12 cs.CV
Not All Frames Deserve Full Computation: Accelerating Autoregressive Video Generation via Selective Computation and Predictive Extrapolation
Institute of Artificial Intelligence and Future Networks, Beijing Normal University(北京师范大学人工智能与未来网络研究院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Shenzhen University of Advanced Technology(深圳理工大学)
本文提出SCOPE框架,通过三模式调度器和选择性计算,提升自回归视频扩散模型效率,在保持质量的同时实现4.73倍加速。
2026-08-11 cs.CV
CausalCine: Real-Time Autoregressive Generation for Multi-Shot Video Narratives
HKUST(香港科技大学);Ant Group(蚂蚁集团);SJTU(上海交通大学)
CausalCine通过自回归框架实现多镜头视频生成,通过动态提示和记忆路由保持跨镜头连贯性,优于现有自回归模型,实现实时交互生成。
2026-05-12 cs.CV
Enhancing Autoregressive Video Generation via Representation Adversarial Distillation
The Hong Kong University of Science and Technology(香港科技大学);Vivix Group Limited(Vivix集团有限公司);Zhejiang University(浙江大学)
提出Radian,一种表示空间对抗蒸馏框架,通过冻结视觉基础模型的特征对抗监督补充DMD,提升少步自回归视频生成的感知质量与稳定性。
2026-10-01 cs.CV
VideoAR: Autoregressive Video Generation via Next-Frame & Scale Prediction
ERNIE Team, Baidu(百度ERNIE团队)
VideoAR通过多尺度下一帧预测与自回归建模,实现高效、一致的视频生成,提升性能并减少计算成本。
2026-01-14 cs.AI cs.CV
MSC: Multi-Scale Spatio-Temporal Causal Attention for Autoregressive Video Diffusion
针对高分辨率视频生成的技术与计算挑战,提出多尺度因果(MSC)框架,通过时空多尺度高效注意力与可控因果条件建模降低计算复杂度,还可用于自回归长视频生成。
2024-12-13 cs.CV
TempoKV: Predictive KV Cache Quantization for Autoregressive Video Generation
Shanghai Jiao Tong University(上海交通大学);South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团)
TempoKV是一种无训练的预测型KV缓存量化框架,针对自回归视频生成设计,通过利用视频KV缓存的时空特性实现最高6.71倍压缩,且生成质量优于现有方法。
2026-10-14 cs.CV
Efficient Autoregressive Video Diffusion with Dummy Head
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Johns Hopkins University(约翰霍普金斯大学);University of Science and Technology of China(中国科学技术大学)
本文提出Dummy Forcing方法,通过优化多头自注意力机制的内存分配和上下文管理,提升视频扩散模型的生成速度,同时保持高质量输出。
2026-01-28 cs.CV