视频大模型

Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework

自回归视频扩散模型的误差分析：一个统一的框架

Jing Wang, Fengzhuo Zhang, Xiaoli Li, Vincent Y. F. Tan, Tianyu Pang, Chao Du, Aixin Sun, Zhuoran Yang

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） ； Singapore University of Technology and Design（新加坡科技设计大学） ； Sea AI Lab（海思人工智能实验室） ； Yale University（耶鲁大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Meta-ARVDM框架，通过分析自回归视频扩散模型的历史遗忘与时间退化现象，揭示其理论机制并提出新的评估方法。

Taming Diffusion Transformer for Efficient Mobile Video Generation in Seconds

Yushu Wu, Yanyu Li, Anil Kag, Ivan Skorokhodov, Willi Menapace, Ke Ma, Arpit Sahni, Ju Hu, Aliaksandr Siarohin, Dhritiman Sagar, Yanzhi Wang, Sergey Tulyakov

机构 * Snap Inc.（Snap公司） ； Northeastern University（东北大学） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV、eess.IV

Comments 21 pages, 9 figures, 13 tables

UniForm: A Unified Multi-Task Diffusion Transformer for Audio-Video Generation

Lei Zhao, Linfeng Feng, Dongxu Ge, Rujin Chen, Fangqiu Yi, Chi Zhang, Xiao-Lei Zhang, Xuelong Li

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV、cs.MM

Comments Our demos are available at https://uniform-t2av.github.io/

AudCast: Audio-Driven Human Video Generation by Cascaded Diffusion Transformers

Jiazhi Guan, Kaisiyuan Wang, Zhiliang Xu, Quanwei Yang, Yasheng Sun, Shengyi He, Borong Liang, Yukang Cao, Yingying Li, Haocheng Feng, Errui Ding, Jingdong Wang, Youjian Zhao, Hang Zhou, Ziwei Liu

机构 * DCST, Tsinghua University（清华大学智能驾驶实验室） ； Baidu Inc.（百度公司） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Zhongguancun Laboratory（中关村实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV、cs.MM

Comments Accepted to IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. Project page: https://guanjz20.github.io/projects/AudCast

AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models

Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV、cs.MM

Comments 11 pages, 10 figures, CVPR 2025

Toward Lightweight and Fast Decoders for Diffusion Models in Image and Video Generation

Alexey Buzovkin, Evgeny Shilov

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV、eess.IV

Comments 11 pages, 8 figures, 3 tables

Image Motion Blur Removal in the Temporal Dimension with Video Diffusion Models

Wang Pang, Zhihao Zhan, Xiang Zhu, Yechao Bai

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV、eess.IV

Improved Video VAE for Latent Video Diffusion Model

Pingyu Wu, Kai Zhu, Yu Liu, Liming Zhao, Wei Zhai, Yang Cao, Zheng-Jun Zha

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV、eess.IV

Training-Free Condition Video Diffusion Models for single frame Spatial-Semantic Echocardiogram Synthesis

Van Phi Nguyen, Tri Nhan Luong Ha, Huy Hieu Pham, Quoc Long Tran

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV、eess.IV

Comments Accepted to MICCAI 2024

AID: Adapting Image2Video Diffusion Models for Instruction-guided Video Prediction

Zhen Xing, Qi Dai, Zejia Weng, Zuxuan Wu, Yu-Gang Jiang

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV、cs.MM

LGDN: Language-Guided Denoising Network for Video-Language Modeling

Haoyu Lu, Mingyu Ding, Nanyi Fei, Yuqi Huo, Zhiwu Lu

专题命中 视频扩散模型 ：video-language(title,abstract)；分类 cs.CV、cs.MM

Comments Accepted by NeurIPS2022

CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising

Jianjie Luo, Yehao Li, Yingwei Pan, Ting Yao, Hongyang Chao, Tao Mei

专题命中 视频扩散模型 ：video-language(title,abstract)；分类 cs.CV、cs.MM

Comments ACM Multimedia 2021

WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models

WildShadowRemover：基于细节保留视频扩散模型的野外视频阴影去除方法

Jiamin Xu, Cong Wang, Zheng Dong, Chi Wang, Renshu Gu, Weiwei Xu, Gang Xu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对野外视频阴影去除难题，提出WildShadowRemover框架，通过LoRA微调适配视频扩散模型，结合细节注入、频率分解调制及Depth Anything 3深度先验，构建对应数据集，在阴影去除质量与时间一致性上优于现有方法。

DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery

DreamHand：复用视频扩散模型实现遮挡鲁棒的第一人称视角3D手部运动恢复

Yufei Liu, Xixi Wang, Hao Li, Ganlong Zhao, Kaitong Cai, Chengkai Jin, Chunxiao Liu, Jianbo Liu, Siyuan Huang, Xingang Pan, Hongsheng Li

机构 * ACE Robotics（ACE机器人公司） ； Nanyang Technological University（南洋理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 DreamHand是复用视频扩散模型的离线片段级框架，通过确定性干净潜在编码器与双向时空解码器恢复带度量位置的连续双手轨迹，在五个第一人称视角基准测试中实现最佳性能，为机器人操作数据提供可扩展路径。

Comments Project Page: https://ggxxii.github.io/dreamhand/

HPSD: Hybrid-Policy Self-Distillation for Text-Image-to-Video Diffusion Models

HPSD：用于文本-图像转视频扩散模型的混合策略自蒸馏

Jiazi Bu, Pengyang Ling, Yujie Zhou, Yibin Wang, Yuhang Zang, Xuanlang Dai, Shengyuan Ding, Tianyi Wei, Xiaohang Zhan, Jiaqi Wang, Tong Wu, Dahua Lin, Xingang Pan

机构 * Shanghai Jiao Tong University（上海交通大学） ； S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab实验室） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Adobe Research（奥多比研究院） ； The Chinese University of Hong Kong（香港中文大学） ； CPII under InnoHK（InnoHK下属CPII机构） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；text-to-video(abstract)；分类 cs.CV

AI总结 本研究提出HPSD混合策略自蒸馏框架，通过让同一TI2V模型在不同条件下分别充当教师与学生，解决现有自蒸馏方法的缺陷，显著提升T2V及TI2V生成性能，强化模型基础生成能力。

Comments Project Website: https://bujiazi.github.io/hpsd.github.io/ Code: https://github.com/Bujiazi/HPSD

LoSA: Near-Lossless Sparse Attention for Training-Free Video Diffusion Acceleration

LoSA：用于无训练视频扩散加速的近无损稀疏注意力

Enhuai Liu, Yunke Wang, Yutong Wang, Changming Sun, Chang Xu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 LoSA是一种无训练稀疏注意力方法，通过固定99%的注意力质量阈值移除冗余计算，在多款视频扩散Transformer上实现最高3.2倍加速，且速度-质量权衡优于现有基线。

SCoPE: Sightline-Coordinate Positional Encoding for Video Diffusion Transformers

RayPE: 用于3D感知视频生成的射线空间位置编码

Minghao Yin, Jiahao Lu, Wenbo Hu, Wang Zhao, Shan Ying, Kai Han

机构 * The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； ARC Lab, Tencent（腾讯ARC Lab） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出RayPE，通过向自注意力注入6D Plücker坐标编码射线几何关系，提升视频扩散Transformer的3D一致性和相机可控性。

Comments Project page: https://visual-ai.github.io/scope/

HEART: Exploiting Head Heterogeneity in Sparse Attention for Video Diffusion

HASTE：通过头级自适应稀疏注意力实现无训练视频扩散加速

Xuzhe Zheng, Yuexiao Ma, Jing Xu, Xiawu Zheng, Rongrong Ji, Fei Chao

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出HASTE框架，通过时间掩码复用和误差引导预算校准，提升无训练稀疏注意力在视频生成中的速度与质量平衡，实现在720P下1.93倍的加速效果。

MirrorWorld: Taming Video Diffusion Models for Mirror Reflection Generation

MirrorWorld：利用视频扩散模型生成镜像反射

Youjun Zhao, Alex Warren, Gary K. L. Tam, Rynson W. H. Lau

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 MirrorWorld是一种反射感知视频修复框架，通过语义关系蒸馏和几何变换对齐建模场景与镜像的关系，在视频镜像反射重建任务上优于现有方法。

Comments Project Page: https://youjunzhao.github.io/MirrorWorld/

In-Context Forcing: Uncovering Context Effects in Autoregressive Video Diffusion

上下文强制：揭示自回归视频扩散中的上下文效应

Lingxiao Yang, Liu Liu, Moran Li, Han Feng, Wenjian Cao, Jiangning Zhang, Ye Shi

机构 * School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） ； Tencent Youtu Lab（腾讯云图实验室） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对自回归视频扩散模型依赖干净帧导致的时间一致性差等问题，提出In-Context Forcing方法，通过递减噪声水平的上下文实现自适应指导，兼具时间一致性与动态性，还可并行去噪加速推理，在VBench上性能优于SOTA。

UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

UniWorld-View：基于视频扩散模型的大基线视图合成

Haiyang Zhou, Wangbo Yu, Chaoran Feng, Xunyu Zhou, Yonghong Tian, Li Yuan

机构 * Peking University（北京大学） ； Rabbitpre AI 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 UniWorld-View 是结合显式 3D 指导与视频扩散建模的统一框架，可从单目输入实现可控大基线新视图合成，在基准测试中展现出优异的可控性、几何一致性与视觉保真度。

Comments Project Homepage: https://zhouhyocean.github.io/uniworld-view/ Code: https://github.com/PKU-YuanGroup/UniWorld-View

SIFT: Self-Imagination Fine-Tuning for Physically Plausible Motion in Video Diffusion Models

SIFT: 视频扩散模型中物理合理运动的自我想象微调

Ruoyu Wang, Jialun Liu, Huayang Huang, Haibin Huang, Jiepeng Wang, Chi Zhang, Xuelong Li, Yu Wu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI）） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对视频扩散模型生成运动物理不合理的问题，提出自我想象微调（SIFT）范式，通过从模型自身生成视频学习而非直接重建真实视频，结合运动感知判别监督和渐进式难例重放策略，提升运动解耦与物理真实性。

Comments ECCV 2026

DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents

DreamTraj：通过读取未渲染视频扩散隐变量生成6自由度物体轨迹

Tongsheng Ding, Zhen Luo, Yixuan Yang, Boyu Wang, Luyang Xie, Jinyu Yang, Feng Zheng

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 DreamTraj利用含细粒度指令的MOVE数据集，从单张RGB图像和任务指令读取冻结视频扩散模型中间表示，直接解码6自由度物体轨迹，性能优于传统方法且速度提升4.6倍。

Comments 17 pages, 8 figures, 11 tables. Project page: https://whathappen0.github.io/DreamTraj/

Light Forcing: Accelerating Autoregressive Video Diffusion via Sparse Attention

轻量强制：通过稀疏注意力加速自回归视频扩散

Chengtao Lv, Yumeng Shi, Yushi Huang, Ruihao Gong, Shen Ren, Wenya Wang

机构 * Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 针对自回归视频生成模型中注意力二次复杂度问题，提出首个稀疏注意力方案Light Forcing，通过块感知增长机制和分层稀疏注意力实现质量和效率提升。

Comments ICML 2026

AniCrafter: Customizing Realistic Human-Centric Animation via Avatar-Background Conditioning in Video Diffusion Models

AniCrafter：基于视频扩散模型中化身-背景条件的逼真以人为中心动画定制

Muyao Niu, Mingdeng Cao, Yifan Zhan, Qingtian Zhu, Weihang Ran, Yanhong Zeng, Xiao Sun, Zhihang Zhong, Yinqiang Zheng

机构 * The University of Tokyo（东京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本研究提出AniCrafter模型，通过在视频扩散模型中引入化身-背景条件机制，解决现有角色动画方法在开放域场景中效果受限的问题，其性能优于现有最先进方法，可生成通用且可感知遮挡的动画结果。

Comments Homepage: https://myniuuu.github.io/AniCrafter ; Codes: https://github.com/MyNiuuu/AniCrafter

ViDS: Video Diffusion Shader using 3D Face Tracking

ViDS：使用3D面部跟踪的视频扩散着色器

Wenbo Ji, Davide Davoli, Zhe Chen, Liam Schoneveld, Matthias Nießner, Jiapeng Tang

机构 * Technical University of Munich（慕尼黑工业大学） ； Toyota Motor Europe NV/SA（丰田汽车欧洲股份公司） ； Woven by Toyota（丰田编织） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 研究利用3D面部跟踪实现肖像动画，先重建3DMM网格，再用驱动视频参数动画处理，借助视频扩散模型合成动画，引入自回归扩散采样过程，相比之前方法能更精细控制表情姿势，且保留身份外观，消融研究验证了有效性。

Comments 12 pages, 6 figures, and 8 tables. Project page: https://fusheng-ji.github.io/ViDS/

MegaSlide-DiT: Memory-Centric Adaptation and Deformable Local Attention for Efficient Video Diffusion

MegaSlide-DiT：用于高效视频扩散的以内存为中心的自适应和可变形局部注意力

Jiacheng Liu, Jason Liu

机构 * Trendinsight Lab / UC San Diego（趋势洞察实验室/加州大学圣地亚哥分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 研究针对高分辨率视频扩散模型内存消耗大问题，提出MegaSlide-DiT，通过让GPU不持有模型状态及用3D-DSA取代全局注意力，降低内存和计算复杂度，实现105B DiT在单H200 GPU上的适配，为大规模视频扩散模型全参数适配提供实用路径。

HeadCast: Casting Attention Heads for Efficient Autoregressive Video Generation

HeadCast：为高效自回归视频生成分配注意力头

Jinliang Shen, Lianghao Su, Zheming Li, Kang He, ZiLiang Lai, Yanbing Jiang, Chengru Song

机构 * KlingAI Research（克林人工智能研究公司） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 研究针对自回归视频扩散模型注意力成本高的问题，提出HeadCast框架，基于预训练模型注意力头行为进行一次性分类，重组KV缓存，保留全局头，在不同分辨率下有效加速推理且保持质量，减少闪烁。

MagicPrompt: Ultra-Lightweight Prompt Tuning for Video Generation

MagicPrompt：用于视频生成的超轻量级提示调整

Yinhan Zhang, Dingwei Tan, Xianghao Kong, Yue Ma, Yeying Jin, Anyi Rao

机构 * HKUST（香港科技大学） ； HKUST(GZ)（香港科技大学（广州）） ； Tencent（腾讯） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 研究针对大规模视频扩散模型下游任务微调计算成本高的问题，提出MagicPrompt轻量级框架。采用注意力嵌入提示调整和双空间奖励反馈优化，在可训练参数不到1%时达竞争性能，显著降低训练成本。

SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation

SGMD: 得分梯度匹配蒸馏用于少步视频扩散蒸馏

Zhuguanyu Wu, Ruihao Gong, Yang Yong, Yushi Huang, Xiangyu Fan, Lei Yang, Dahua Lin, Xianglong Liu

机构 * Beihang University（北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题，提出得分梯度匹配蒸馏（SGMD），通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标，实现约3倍训练加速并显著提升运动动态。

Comments ICML 2026