视频大模型

Real-Time AttentionBender: Granular Interactive Network Bending of Video Diffusion Transformers

实时注意力弯曲：视频扩散变换器的粒度交互式网络弯曲

Adam Cole, Rebecca Fiebrink, Mick Grierson

机构 * Creative Computing Institute（创意计算研究所） ； University of the Arts London（伦敦艺术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出实时注意力弯曲工具，通过操纵视频扩散变换器的自注意力、交叉注意力及前馈网络，实现逐层、逐步、逐令牌的交互式生成控制，增强艺术家的创作代理与模型材料亲密性。

Comments 5 pages, 4 figures. Accepted to ACM Creativity & Cognition XAIxArts Workshop 2026

EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation

EgoPressDiff: 用于自我中心UV域手部压力估计的多模态视频扩散模型

Yuan Zeng, Zilue Gao, Yujia Shi, Zongqing Lu, Wenming Yang, QingMin Liao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出EgoPressDiff，一种条件视频扩散框架，通过多模态条件策略（手部姿态、3D网格顶点和深度信息）从视觉输入生成UV压力图，解决了现有方法中的量化误差和时间不一致问题，在EgoPressure数据集上实现SOTA，Volumetric IoU相对提升34%以上。

Comments Accepted to IEEE ICASSP 2026

Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models

Rein3D: 基于全景视频扩散模型的强化3D室内场景生成

Dehui Wang, Rong Wei, Yue Shi, Congsheng Xu, Shoufa Chen, Dingxiang Luo, Tianshuo Yang, Xiaokang Yang, Wei Sui, Yusen Qin, Rui Tang, Yao Mu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Manycore Tech Inc.（Manycore科技公司） ； D-Robotics ； The University of Hong Kong（香港大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Rein3D框架，结合3D高斯泼溅与视频扩散模型，通过“恢复-细化”范式从稀疏输入生成全局一致的360度室内场景，并构建PanoV2V-15K数据集，显著提升长距离相机探索效果。

The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show

物理的隐形之手：当视频扩散模型知道的比它们展示的更多

Parsa Esmati, Somjit Nath, Katja Hofmann, Derek Nowrouzezahrai, Samira Ebrahimi Kahou, Majid Mirmehdi

机构 * University of Bristol（布里斯托大学） ； McGill University（麦吉尔大学） ； Mila–Quebec AI Institute（魁北克AI研究院） ； Microsoft Research（微软研究院） ； University of Calgary（卡尔加里大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 通过逆向扩散过程探测视频扩散模型的潜在轨迹，发现物理合理性可以从扩散变换器状态中线性解码，准确率达81.27%，表明物理有意义的表示是生成式去噪的副产品。

Video-Mirai: Autoregressive Video Diffusion Models Need Foresight

Video-Mirai: 自回归视频扩散模型需要远见

Yonghao Yu, Lang Huang, Runyi Li, Zerun Wang, Toshihiko Yamasaki

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（信息处理研究所） ； Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Video-Mirai训练方法，通过冻结的远见编码器从完整生成序列中提取未来信息并蒸馏到因果状态，在不改变推理过程的情况下弥合表示层面的规划差距，提升长视频生成的一致性。

Collaborative Few-Step Distillation and Low-Bit Quantization for Wan2.2 Dual-Expert Video Diffusion Models

Wan2.2双专家视频扩散模型的协同少步蒸馏与低位量化

Jinyang Du, Shenghao Jin, Ziqian Xu, Ruihao Gong, Shiqiao Gu, Yang Yong, Jinyang Guo, Xianglong Liu

机构 * IEEE ICME 2026 ； GCC Low-Bit-width Large Model Quantization Challenge（GCC 低精度大模型量化挑战） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对Wan2.2-T2V-A14B视频扩散模型，提出结合少步分布匹配蒸馏与低位量化的部署压缩流程，通过双专家去噪分支校准、敏感层保护及HiF4低位表示，在保持质量的同时降低计算开销。

Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion

Real2SAM2Real: 生成式3D缓存作为视频扩散的互补上下文

Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos

机构 * University of Maryland（马里兰大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Real2SAM2Real框架，通过3D提升模型提取可编辑的3D缓存作为几何支架，结合软空间对齐注入和微调策略，实现视频扩散模型对相机轨迹和多实体运动的精确解耦控制。

GSV3D: Gaussian Splatting-based Geometric Distillation with Stable Video Diffusion for Single-Image 3D Object Generation

GSV3D: 基于高斯溅射的几何蒸馏与稳定视频扩散用于单图像3D物体生成

Ye Tao, Jiawei Zhang, Yahao Shi, Dongqing Zou, Bin Zhou

机构 * State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； PBVR 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出一种结合2D扩散模型隐式3D推理能力与高斯溅射几何蒸馏的方法，通过高斯溅射解码器将SV3D潜变量输出转换为显式3D表示，实现多视图一致性和高质量3D生成。

CameraNoise: Enabling Faithful Camera Control in Video Diffusion through Geometry-Flow-Guided Noise Warping

CameraNoise: 通过几何流引导的噪声扭曲实现视频扩散中的忠实相机控制

Haoyu Zhao, Jiaxi Gu, Haoran Chen, Qingping Zheng, Yeying Jin, Hongyi Yang, Junqi Cheng, Yuang Zhang, Zenghui Lu, Huan Yu, Jie Jiang, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Tencent（腾讯） ； Xiamen University（厦门大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出CameraNoise方法，通过几何流引导的噪声扭曲将相机运动编码为时间一致的随机表示，实现视频扩散中忠实且几何一致的相机控制。

Comments 28 pages, 16 figures

Journal ref Proceedings of the Forty-third International Conference on Machine Learning (ICML), 2026

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

VideoMLA: 用于分钟级自回归视频扩散的低秩潜在KV缓存

Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） ； fal Project（fal项目） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出VideoMLA，通过多头潜在注意力（MLA）将每头KV替换为共享低秩内容潜在和分离的3D-RoPE位置键，在视频扩散中减少92.7%的KV内存，并保持质量与吞吐量提升。

Comments Project Page: https://videomla.github.io/

DexSIM: Real-time Dexterous Simulation with Unified Causal Video Diffusion

DexSIM: 具有统一因果视频扩散的实时灵巧仿真

Adam Lee

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出DexSIM框架，通过两阶段训练（双向视频扩散和自回归滚动训练）实现实时、长时一致的灵巧操作仿真，在像素相似度、运动保真度和手部投影精度上超越基线。

Comments World Model @ ICLR 2026

Image-to-Video Diffusion: From Foundations to Open Frontiers

图像到视频扩散：从基础到开放前沿

Xianlong Wang, Wenbo Pan, Shijia Zhou, Ke Li, Yuqi Wang, Zeyu Ye, Hangtao Zhang, Leo Yu Zhang, Xiaohua Jia

机构 * IEEE Publication Technology Group（IEEE出版技术组） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文研究了图像到视频扩散生成的核心问题，通过梳理任务定义、模型架构、数据集和评估指标，提出了一种基于架构和训练范式的分类方法，并总结了四个核心设计：条件编码、时间建模、噪声先验设计和空间时间上采样，探讨了代表性应用场景和主要开放挑战。

CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL

CreFlow：稀疏奖励具身视频扩散强化学习的纠正回流

Zhenyang Ni, Yijiang Li, Ruochen Jiao, Simon Sinong Zhan, Sipeng Chen, Zhenfei Yin, Minshuo Chen, Philip Torr, Zhaoran Wang, Qi Zhu

机构 * Northwestern University（西北大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出CreFlow框架，通过信用感知NFT损失和纠正回流损失提升高维视频生成性能，有效解决稀疏奖励下的具身任务执行问题。

GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion

GTA: 通过几何然后外观视频扩散推进图像到3D世界生成

Hanxin Zhu, Cong Wang, Peiyan Tu, Jiayi Luo, Tianyu He, Xin Jin, Zhibo Chen

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出GTA方法，通过几何先于外观的两阶段框架提升3D场景生成的结构精度和视觉质量，同时引入随机潜在shuffle策略和测试时缩放方案，实验表明其在保真度、视觉质量和几何准确性上优于现有方法。

VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors

VidSplat：基于几何引导视频扩散先验的高斯点云重建

Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han

机构 * School of Software, Tsinghua University（清华大学软件学院） ； Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 VidSplat通过几何引导的视频扩散先验，解决稀疏视图下3D场景重建问题，提出免训练生成框架，迭代合成新视角以恢复完整3D场景。

Comments Accepted by SIGGRAPH Conference 2026. Project Page: https://tangjm24.github.io/VidSplat

VDEGaussian: Video Diffusion Enhanced 4D Gaussian Splatting for Dynamic Urban Scenes Modeling

VDEGaussian：基于视频扩散的4D高斯点云用于动态城市场景建模

Yuru Xiao, Zihan Lin, Chao Lu, Deming Zhai, Kui Jiang, Wenbo Zhao, Wei Zhang, Junjun Jiang, Huanran Wang, Xianming Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出一种结合视频扩散的4D高斯点云方法，解决动态场景建模中快速移动物体建模难题，通过时间一致性先验和不确定性蒸馏提升新型视角合成效果。

Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers

Diffusion-APO：基于轨迹的直接偏好对齐用于视频扩散变换器

Jingyuan Zhu, Biaolong Chen, Le Zhang, Aixi Zhang, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Diffusion-APO，通过同步训练噪声与推理时的去噪路径，解决视频扩散模型与人类意图对齐的问题，采用统一的RLHF框架实现灵活的多阶段偏好对齐，提升视觉质量和指令遵循性能。

SemanticDialect: Semantic-Aware Mixed-Format Quantization for Video Diffusion Transformers

语义感知混合格式量化：用于视频扩散变换器的混合格式量化

Wonsuk Jang, Thierry Tambe

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出SemanticDialect，通过块级混合格式量化和语义感知方言分配，提升视频扩散变换器的量化效果，实验表明其在Open-Sora 2.0上接近FP16质量。

DisCa: Accelerating Video Diffusion Transformers with Distillation-Compatible Learnable Feature Caching

DisCa：通过与知识蒸馏兼容的可学习特征缓存加速视频扩散变换器

Chang Zou, Changlin Li, Yang Li, Patrol Li, Jianbing Wu, Xiao He, Songtao Liu, Zhao Zhong, Kailin Huang, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan（腾讯文英） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出一种与知识蒸馏兼容的可学习特征缓存机制，用于加速视频扩散变换器，通过轻量级可学习神经预测器提升高维特征演化过程的准确性，并采用保守的受限均值流方法实现更稳定无损的知识蒸馏，从而将加速边界推至11.8倍同时保持生成质量。

Comments 18 pages, 8 figures; cvpr2026 paper

Efficient Video Diffusion Models: Advancements and Challenges

高效视频扩散模型：进展与挑战

Shitong Shao, Lichen Bai, Pengfei Wan, James Kwok, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文综述了高效视频扩散模型的进展与挑战，分析了四种主要范式，探讨了减少函数调用次数和降低每步开销的核心目标，并讨论了未来研究方向。

Point Prompting: Counterfactual Tracking with Video Diffusion Models

点提示：基于视频扩散模型的反事实跟踪

Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

机构 * University of Michigan（密歇根大学） ； Cornell University（康奈尔大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出利用视频扩散模型进行零样本点跟踪，通过提示模型在视频中标记移动点，实现反事实生成，实验表明其跟踪效果优于传统方法且能克服遮挡。

Comments ICLR 2026. Project link: https://point-prompting.github.io

InsEdit: Towards Instruction-based Visual Editing via Data-Efficient Video Diffusion Models Adaptation

InsEdit：通过数据高效的视频扩散模型适应实现基于指令的视觉编辑

Zhefan Rao, Bin Zou, Haoxuan Che, Xuanhua He, Chong Hou Choi, Yanheng Li, Rui Liu, Qifeng Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Celia Research HK ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出InsEdit，基于HunyuanVideo-1.5构建指令式编辑模型，结合Mutual Context Attention机制，仅需少量视频编辑数据即可实现高质量视频编辑，并支持图像编辑。

Comments 13 pages, 10 figures

DiffHDR: Re-Exposing LDR Videos with Video Diffusion Models

DiffHDR：利用视频扩散模型重新暴露LDR视频

Zhengming Yu, Li Ma, Mingming He, Leo Isikdogan, Yuancheng Xu, Dmitriy Smirnov, Pablo Salamanca, Dao Mi, Pablo Delgado, Ning Yu, Julien Philip, Xin Li, Wenping Wang, Paul Debevec

机构 * Eyeline Labs（Eyeline 实验室） ； Netflix 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 DiffHDR通过视频扩散模型的潜在空间将LDR视频转换为HDR，恢复过曝和欠曝区域的真实细节，提升动态范围和再曝光效果。

Comments 28 pages, 13 figures

ScrollScape: Unlocking 32K Image Generation With Video Diffusion Priors

ScrollScape: 通过视频扩散先验解锁32K图像生成

Haodong Yu, Yabo Zhang, Donglin Di, Ruyi Zhang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Li Auto, Beijing, China（理想汽车（中国北京）） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 ScrollScape通过将超大比例图像生成转化为连续视频生成过程，利用视频模型的时序一致性确保结构完整性，实现32K分辨率的高质量图像生成。

SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer

SALAD: 通过高效的线性注意微调实现高稀疏性注意

Tongcheng Fang, Hanling Zhang, Ruiqi Xie, Zhuo Han, Xin Tao, Tianchen Zhao, Pengfei Wan, Wenbo Ding, Wanli Ouyang, Xuefei Ning, Yu Wang

机构 * Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出SALAD，通过并行的稀疏注意与轻量线性注意分支，结合多级静态-动态缩放策略，实现高达90%的稀疏性和1.52-2.03倍的推理加速，同时保持生成质量。

Rolling Sink: Bridging Limited-Horizon Training and Open-Ended Testing in Autoregressive Video Diffusion

滚动汇：在有限时间训练和开放-ended测试之间架桥

Haodong Li, Shaoteng Liu, Zhe Lin, Manmohan Chandraker

机构 * UC San Diego（加州大学圣地亚哥分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Rolling Sink，通过分析AR缓存维护，实现无需训练的超长视频生成，提升视觉质量和时间一致性。

Comments v5: Fix some typos. Figures were compressed to 150 dpi to comply with arXiv's submission size limit. Project page: https://rolling-sink.github.io/

Foveated Diffusion: Efficient Spatially Adaptive Image and Video Generation

视网膜扩散：高效的视空适应图像和视频生成

Brian Chao, Lior Yariv, Howard Xiao, Gordon Wetzstein

机构 * Stanford University, USA（斯坦福大学，美国） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出视网膜扩散模型，通过非均匀分配token提高生成效率，利用人类视觉的视网膜区域高分辨率特性，在保持视觉质量的同时显著减少token数量和生成时间。

Comments Project website at https://bchao1.github.io/foveated-diffusion

Climate Prompting: Generating the Madden-Julian Oscillation using Video Diffusion and Low-Dimensional Conditioning

气候提示：利用视频扩散和低维条件生成 Madden-Julian 振荡

Sulian Thual, Feiyang Cai, Jingjing Wang, Feng Luo

机构 * School of Computing（计算学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出利用视频扩散模型生成MJO序列，通过低维指标条件化生成MJO，并通过理想化条件分析其物理驱动机制，为热带大气预测提供新框架。

Denoise to Track: Harnessing Video Diffusion Priors for Robust Correspondence

去噪以跟踪：利用视频扩散先验进行鲁棒对应

Tianyu Yuan, Yuanbo Yang, Lin-Zhuo Chen, Yao Yao, Zhuzhong Qian

机构 * Nanjing University（南京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出HeFT框架，利用预训练视频扩散模型的视觉先验进行零样本点跟踪，通过分析内部表示揭示注意力头在匹配、语义理解和位置编码中的不同专长，并提出基于头和频率的特征选择策略提升跟踪性能。

Uni-Classifier: Leveraging Video Diffusion Priors for Universal Guidance Classifier

Uni-Classifier: 利用视频扩散先验进行通用引导分类器

Yujie Zhou, Pengyang Ling, Jiazi Bu, Bingjie Gao, Li Niu

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Uni-Classifier，通过利用视频扩散先验引导前序模型的去噪过程，提升生成质量，适用于视频和3D生成任务。

Comments Accepted by ICME 2026