视频大模型

Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM

Yatai Ji, Jiacheng Zhang, Jie Wu, Shilong Zhang, Shoufa Chen, Chongjian GE, Peize Sun, Weifeng Chen, Wenqi Shao, Xuefeng Xiao, Weilin Huang, Ping Luo

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV、cs.MM

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV、cs.MM

Comments CVPR 2024; Project page: https://trip-i2v.github.io/TRIP/

InstructVideo: Instructing Video Diffusion Models with Human Feedback

Hangjie Yuan, Shiwei Zhang, Xiang Wang, Yujie Wei, Tao Feng, Yining Pan, Yingya Zhang, Ziwei Liu, Samuel Albanie, Dong Ni

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV、cs.MM

Comments Project page: https://instructvideo.github.io/

VideoFrom3D: 3D Scene Video Generation via Complementary Image and Video Diffusion Models

Geonung Kim, Janghyeok Han, Sunghyun Cho

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(title)

Comments Project page: https://kimgeonung.github.io/VideoFrom3D/

SPADE: An Input-Adaptive Sparse Attention Engine for Fast Video Diffusion Models Inference

SPADE：用于快速视频扩散模型推理的输入自适应稀疏注意力引擎

Shanghao Liu, Renze Chen, Size Zheng, Yuanqiang Liu, Yun, Liang, Hailong Yang

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对视频扩散Transformer推理开销过高的问题，提出无训练的SPADE稀疏注意力引擎，通过三部分设计实现注意力2.26x-3.40x、端到端推理1.49x-1.80x的加速且保持生成质量。

Comments Published in the 63rd ACM/IEEE Design Automation Conference (DAC '26). 7 pages, 6 figures, 3 tables

Journal ref 63rd ACM/IEEE Design Automation Conference (DAC '26), 2026, 7 pages

HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion

HyperVAttention：用于视频扩散的具有时空聚类的高效稀疏注意力

Dongyeun Lee, Amir Zandieh, Vahab Mirrokni, Junmo Kim, Insu Han

机构 * KAIST（韩国科学技术院） ； Google Research（谷歌研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对视频扩散中自注意力机制的二次复杂度问题，提出HyperVAttention框架，通过3D局部窗口聚类等方法解决聚类开销大及CTA利用率低的瓶颈，提升视频扩散中无训练稀疏注意力的质量和速度。

Comments 21 pages, 8 figures

Pulling The REINS: Training-Free Safety Alignment of Video Diffusion Models via Representation Steering

Pulling The REINS: 通过表示引导实现视频扩散模型的无训练安全对齐

Rohit Kundu, Arindam Dutta, Sarosij Bose, Athula Balachandran, Amit K. Roy-Chowdhury

机构 * University of California, Riverside（加州大学河滨分校） ； YouTube (Google)（YouTube（谷歌）） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出REINS方法，在推理时通过线性方向引导视频扩散模型的内部表示，实现无训练的安全对齐，避免有害内容生成，且不降低通用能力。

Pusa V1.0: Unlocking Temporal Control in Pretrained Video Diffusion Models via Vectorized Timestep Adaptation

Pusa V1.0: 通过向量化时间步长适应解锁预训练视频扩散模型中的时间控制

Yaofang Liu, Yumeng Ren, Aitor Artola, Yuxuan Hu, Xiaodong Cun, Xiaotong Zhao, Alan Zhao, Raymond H. Chan, Suiyun Zhang, Rui Liu, Dandan Tu, Jean-Michel Morel

机构 * City University of Hong Kong（香港城市大学） ； The Chinese University of Hong Kong（香港中文大学） ； Huawei Research（华为研究） ； Great Bay University（大湾大学） ； AI Technology Center, Tencent PCG（腾讯AI技术中心） ； Lingnan University（岭南大学） ； Hong Kong Centre for Cerebro-Cardiovascular Health Engineering（香港脑心血管健康工程中心） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出向量化时间步长适应（VTA）方法，在统一视频扩散框架中实现细粒度时间控制，零样本完成图像到视频生成、起止帧控制等任务，且不破坏基础模型能力。

Comments Code is open-sourced at https://github.com/Yaofang-Liu/Pusa-VidGen

Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion

局部关注，线性记忆：线性注意力作为跨帧记忆用于自回归视频扩散

Kunyang Li, Mubarak Shah, Yuzhang Shang

机构 * Institute of Artificial Intelligence, University of Central Florida（中央佛罗里达大学人工智能研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文提出了一种名为ARL2的混合注意力模块，通过将二次跨帧注意力替换为固定大小的递归状态，解决了自回归视频扩散模型在长视频生成中的可扩展性瓶颈问题，实现了线性时间复杂度和常数内存消耗，同时提升了时间一致性。

TeDiO: Temporal Diagonal Optimization for Training-Free Coherent Video Diffusion

TeDiO：基于时间对角优化的训练自由一致视频扩散

Nurislam Tursynbek, Zhiqiang Lao, Heather Yu, Gedas Bertasius, Marc Niethammer

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Futurewei Technologies Inc（未来科技有限公司） ； UCSD（加州大学圣迭戈分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 TeDiO通过优化内部注意力模式提升视频生成的时序一致性，无需训练或外部监督，实现更流畅的动态表现。

Comments CVPR'26 Workshop on Agentic AI for Visual Media

Real-Time Motion-Controllable Autoregressive Video Diffusion

实时可控的自回归视频扩散

Kesen Zhao, Jiaxin Shi, Beier Zhu, Junbao Zhou, Xiaolong Shen, Yuan Zhou, Qianru Sun, Hanwang Zhang

机构 * Nanyang Technological University（南洋理工大学） ； Xmax.AI Ltd（Xmax.AI有限公司） ； Zhejiang University（浙江大学） ； Singapore Management University（新加坡国立大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 AR-Drag是一种基于强化学习的实时图像到视频生成模型，通过自回归机制和轨迹奖励模型实现高效运动控制，提升视频生成质量和效率。

From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models

从偏好到偏见：对齐调谐在视频扩散模型中塑造社会偏见的作用

Zefan Cai, Haoyi Qiu, Haozhe Zhao, Ke Wan, Jiachen Li, Jiuxiang Gu, Wen Xiao, Nanyun Peng, Junjie Hu

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Microsoft（微软公司） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文研究了对齐调谐在视频扩散模型中如何塑造社会偏见，提出VideoBiasEval框架以评估和缓解偏见，揭示了对齐调谐使偏见更稳定且刻板化的现象。

Comments TMLR

OnlineVPO: Align Video Diffusion Model with Online Video-Centric Preference Optimization

OnlineVPO: 对齐视频扩散模型与在线视频中心偏好优化

Jiacheng Zhang, Jie Wu, Weifeng Chen, Yatai Ji, Xuefeng Xiao, Weilin Huang, Kai Han

机构 * The University of Hong Kong（香港大学） ； ByteDance Project Page（字节跳动项目） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 OnlineVPO通过改进反馈源和调节方法，提出一种针对视频扩散模型的高效偏好学习框架，提升视频生成质量与可扩展性。

LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation

LiveTalk: 通过改进的在线策略蒸馏实现实时多模态交互视频扩散

Ethan Chern, Zhulin Hu, Bohao Tang, Jiadi Su, Steffi Chern, Zhijie Deng, Pengfei Liu

机构 * SII SJTU GAIR 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出LiveTalk系统，通过改进的在线策略蒸馏实现实时多模态交互视频生成，显著提升效率和质量。

Temporal In-Context Fine-Tuning with Temporal Reasoning for Versatile Control of Video Diffusion Models

具有时间推理的上下文微调用于视频扩散模型的多功能控制

Kinam Kim, Junha Hyung, Jaegul Choo

机构 * KAIST AI（韩国科学技术院人工智能研究中心） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 TIC-FT通过时间推理实现视频扩散模型的多功能控制，无需架构修改，仅需少量样本即可实现高质量视频生成。

Comments project page: https://kinam0252.github.io/TIC-FT/

OmniVDiff: Omni Controllable Video Diffusion for Generation and Understanding

Dianbing Xi, Jiepeng Wang, Yuanzhi Liang, Xi Qiu, Yuchi Huo, Rui Wang, Chi Zhang, Xuelong Li

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；video understanding(abstract)；分类 cs.CV

Comments Accepted by AAAI 2026. Our project page: https://tele-ai.github.io/OmniVDiff/

Adaptive Begin-of-Video Tokens for Autoregressive Video Diffusion Models

Tianle Cheng, Zeyan Zhang, Kaifeng Gao, Jun Xiao

机构 * Zhejiang University（浙江大学） ； Manycore Tech Inc.（Manycore科技公司） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

Inference-Time Text-to-Video Alignment with Diffusion Latent Beam Search

Yuta Oshima, Masahiro Suzuki, Yutaka Matsuo, Hiroki Furuta

机构 * The University of Tokyo（东京大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频扩散模型 ：text-to-video(title,abstract)；video generation(abstract)；video diffusion(abstract)；分类 cs.CV

Comments Accepted to NeurIPS2025. Website: https://sites.google.com/view/t2v-dlbs and Code: https://github.com/shim0114/T2V-Diffusion-Search

Astraea: A Token-wise Acceleration Framework for Video Diffusion Transformers

Haosong Liu, Yuge Cheng, Wenxuan Miao, Zihan Liu, Aiyue Chen, Jing Lin, Yiwu Yao, Chen Chen, Jingwen Leng, Yu Feng, Minyi Guo

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Qizhi Institute（上海启智研究院） ； Huawei Technologies Co.,Ltd（华为技术有限公司） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

Attention of a Kiss: Exploring Attention Maps in Video Diffusion for XAIxArts

Adam Cole, Mick Grierson

机构 * University of the Arts London（伦敦艺术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.MM

Comments 3rd international workshop on eXplainable AI for the Arts (XAIxArts) at the ACM Creativity and Cognition Conference June 2025

RIFLEx: A Free Lunch for Length Extrapolation in Video Diffusion Transformers

Min Zhao, Guande He, Yixiao Chen, Hongzhou Zhu, Chongxuan Li, Jun Zhu

机构 * Dept. of Comp. Sci. \& Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University. ； The University of Texas at Austin. ； Gaoling School of Artificial Intelligence Renmin University of China Beijing, China. ； Beijing Key Laboratory of Research on Large Models ； Engineering Research Center of Next-Generation Intelligent Search ； Pazhou Laboratory (Huangpu) 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

Comments ICML 2025. Project page: https://riflex-video.github.io/

History-Guided Video Diffusion

Kiwhan Song, Boyuan Chen, Max Simchowitz, Yilun Du, Russ Tedrake, Vincent Sitzmann

机构 * MIT（麻省理工学院） ； Harvard University（哈佛大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

Comments ICML 2025. Project website: https://boyuan.space/history-guidance

iDiT-HOI: Inpainting-based Hand Object Interaction Reenactment via Video Diffusion Transformer

Zhelun Shen, Chenming Wu, Junsheng Zhou, Chen Zhao, Kaisiyuan Wang, Hang Zhou, Yingying Li, Haocheng Feng, Wei He, Jingdong Wang

机构 * Department of Computer Vision Technology(VIS), Baidu Inc.（计算机视觉技术系（VIS），百度公司） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

Comments Technical report, 12 pages

Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers

Pengtao Chen, Xianfang Zeng, Maosen Zhao, Peng Ye, Mingzhu Shen, Wei Cheng, Gang Yu, Tao Chen

机构 * Fudan University（复旦大学） ； StepFun ； The Chinese University of Hong Kong（香港中文大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

Progressive Autoregressive Video Diffusion Models

Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

机构 * Stony Brook University（石溪大学） ； Adobe Research（Adobe研究） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

Comments 15 pages, 7 figures. Code and video results are available at https://desaixie.github.io/pa-vdm/. v2: Accepted to CVPRW 2025. Updated figures, tables, notations, and text in all sections. Added comparison with more baseline methods, FVD metric results, user study, and discussion on parallel works

AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers

Sherwin Bahmani, Ivan Skorokhodov, Guocheng Qian, Aliaksandr Siarohin, Willi Menapace, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Snap Inc.（Snap公司） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

Comments CVPR 2025; Project Page: https://snap-research.github.io/ac3d/

Video Diffusion Transformers are In-Context Learners

Zhengcong Fei, Di Qiu, Debang Li, Changqian Yu, Mingyuan Fan

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control

Sherwin Bahmani, Ivan Skorokhodov, Aliaksandr Siarohin, Willi Menapace, Guocheng Qian, Michael Vasilkovsky, Hsin-Ying Lee, Chaoyang Wang, Jiaxu Zou, Andrea Tagliasacchi, David B. Lindell, Sergey Tulyakov

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

Comments ICLR 2025; Project Page: https://snap-research.github.io/vd3d/

Enabling Versatile Controls for Video Diffusion Models

Xu Zhang, Hao Zhou, Haoming Qin, Xiaobin Lu, Jiaxing Yan, Guanzhong Wang, Zeyu Chen, Yi Liu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

Comments Codes and Supplementary Material: http://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples/ppvctrl

FlexCache: Flexible Approximate Cache System for Video Diffusion

Desen Sun, Henry Tian, Tim Lu, Sihang Liu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.MM