视频大模型

Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion

Real2SAM2Real: 生成式3D缓存作为视频扩散的互补上下文

Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos

机构 * University of Maryland（马里兰大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Real2SAM2Real框架，通过3D提升模型提取可编辑的3D缓存作为几何支架，结合软空间对齐注入和微调策略，实现视频扩散模型对相机轨迹和多实体运动的精确解耦控制。

GSV3D: Gaussian Splatting-based Geometric Distillation with Stable Video Diffusion for Single-Image 3D Object Generation

GSV3D: 基于高斯溅射的几何蒸馏与稳定视频扩散用于单图像3D物体生成

Ye Tao, Jiawei Zhang, Yahao Shi, Dongqing Zou, Bin Zhou

机构 * State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； PBVR 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出一种结合2D扩散模型隐式3D推理能力与高斯溅射几何蒸馏的方法，通过高斯溅射解码器将SV3D潜变量输出转换为显式3D表示，实现多视图一致性和高质量3D生成。

CameraNoise: Enabling Faithful Camera Control in Video Diffusion through Geometry-Flow-Guided Noise Warping

CameraNoise: 通过几何流引导的噪声扭曲实现视频扩散中的忠实相机控制

Haoyu Zhao, Jiaxi Gu, Haoran Chen, Qingping Zheng, Yeying Jin, Hongyi Yang, Junqi Cheng, Yuang Zhang, Zenghui Lu, Huan Yu, Jie Jiang, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Tencent（腾讯） ； Xiamen University（厦门大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出CameraNoise方法，通过几何流引导的噪声扭曲将相机运动编码为时间一致的随机表示，实现视频扩散中忠实且几何一致的相机控制。

Comments 28 pages, 16 figures

Journal ref Proceedings of the Forty-third International Conference on Machine Learning (ICML), 2026

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

VideoMLA: 用于分钟级自回归视频扩散的低秩潜在KV缓存

Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） ； fal Project（fal项目） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出VideoMLA，通过多头潜在注意力（MLA）将每头KV替换为共享低秩内容潜在和分离的3D-RoPE位置键，在视频扩散中减少92.7%的KV内存，并保持质量与吞吐量提升。

Comments Project Page: https://videomla.github.io/

DexSIM: Real-time Dexterous Simulation with Unified Causal Video Diffusion

DexSIM: 具有统一因果视频扩散的实时灵巧仿真

Adam Lee

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出DexSIM框架，通过两阶段训练（双向视频扩散和自回归滚动训练）实现实时、长时一致的灵巧操作仿真，在像素相似度、运动保真度和手部投影精度上超越基线。

Comments World Model @ ICLR 2026

Image-to-Video Diffusion: From Foundations to Open Frontiers

图像到视频扩散：从基础到开放前沿

Xianlong Wang, Wenbo Pan, Shijia Zhou, Ke Li, Yuqi Wang, Zeyu Ye, Hangtao Zhang, Leo Yu Zhang, Xiaohua Jia

机构 * IEEE Publication Technology Group（IEEE出版技术组） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文研究了图像到视频扩散生成的核心问题，通过梳理任务定义、模型架构、数据集和评估指标，提出了一种基于架构和训练范式的分类方法，并总结了四个核心设计：条件编码、时间建模、噪声先验设计和空间时间上采样，探讨了代表性应用场景和主要开放挑战。

CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL

CreFlow：稀疏奖励具身视频扩散强化学习的纠正回流

Zhenyang Ni, Yijiang Li, Ruochen Jiao, Simon Sinong Zhan, Sipeng Chen, Zhenfei Yin, Minshuo Chen, Philip Torr, Zhaoran Wang, Qi Zhu

机构 * Northwestern University（西北大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出CreFlow框架，通过信用感知NFT损失和纠正回流损失提升高维视频生成性能，有效解决稀疏奖励下的具身任务执行问题。

GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion

GTA: 通过几何然后外观视频扩散推进图像到3D世界生成

Hanxin Zhu, Cong Wang, Peiyan Tu, Jiayi Luo, Tianyu He, Xin Jin, Zhibo Chen

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出GTA方法，通过几何先于外观的两阶段框架提升3D场景生成的结构精度和视觉质量，同时引入随机潜在shuffle策略和测试时缩放方案，实验表明其在保真度、视觉质量和几何准确性上优于现有方法。

VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors

VidSplat：基于几何引导视频扩散先验的高斯点云重建

Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han

机构 * School of Software, Tsinghua University（清华大学软件学院） ； Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 VidSplat通过几何引导的视频扩散先验，解决稀疏视图下3D场景重建问题，提出免训练生成框架，迭代合成新视角以恢复完整3D场景。

Comments Accepted by SIGGRAPH Conference 2026. Project Page: https://tangjm24.github.io/VidSplat

VDEGaussian: Video Diffusion Enhanced 4D Gaussian Splatting for Dynamic Urban Scenes Modeling

VDEGaussian：基于视频扩散的4D高斯点云用于动态城市场景建模

Yuru Xiao, Zihan Lin, Chao Lu, Deming Zhai, Kui Jiang, Wenbo Zhao, Wei Zhang, Junjun Jiang, Huanran Wang, Xianming Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出一种结合视频扩散的4D高斯点云方法，解决动态场景建模中快速移动物体建模难题，通过时间一致性先验和不确定性蒸馏提升新型视角合成效果。

Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers

Diffusion-APO：基于轨迹的直接偏好对齐用于视频扩散变换器

Jingyuan Zhu, Biaolong Chen, Le Zhang, Aixi Zhang, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Diffusion-APO，通过同步训练噪声与推理时的去噪路径，解决视频扩散模型与人类意图对齐的问题，采用统一的RLHF框架实现灵活的多阶段偏好对齐，提升视觉质量和指令遵循性能。

SemanticDialect: Semantic-Aware Mixed-Format Quantization for Video Diffusion Transformers

语义感知混合格式量化：用于视频扩散变换器的混合格式量化

Wonsuk Jang, Thierry Tambe

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出SemanticDialect，通过块级混合格式量化和语义感知方言分配，提升视频扩散变换器的量化效果，实验表明其在Open-Sora 2.0上接近FP16质量。

DisCa: Accelerating Video Diffusion Transformers with Distillation-Compatible Learnable Feature Caching

DisCa：通过与知识蒸馏兼容的可学习特征缓存加速视频扩散变换器

Chang Zou, Changlin Li, Yang Li, Patrol Li, Jianbing Wu, Xiao He, Songtao Liu, Zhao Zhong, Kailin Huang, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan（腾讯文英） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出一种与知识蒸馏兼容的可学习特征缓存机制，用于加速视频扩散变换器，通过轻量级可学习神经预测器提升高维特征演化过程的准确性，并采用保守的受限均值流方法实现更稳定无损的知识蒸馏，从而将加速边界推至11.8倍同时保持生成质量。

Comments 18 pages, 8 figures; cvpr2026 paper

Efficient Video Diffusion Models: Advancements and Challenges

高效视频扩散模型：进展与挑战

Shitong Shao, Lichen Bai, Pengfei Wan, James Kwok, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文综述了高效视频扩散模型的进展与挑战，分析了四种主要范式，探讨了减少函数调用次数和降低每步开销的核心目标，并讨论了未来研究方向。

Point Prompting: Counterfactual Tracking with Video Diffusion Models

点提示：基于视频扩散模型的反事实跟踪

Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

机构 * University of Michigan（密歇根大学） ； Cornell University（康奈尔大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出利用视频扩散模型进行零样本点跟踪，通过提示模型在视频中标记移动点，实现反事实生成，实验表明其跟踪效果优于传统方法且能克服遮挡。

Comments ICLR 2026. Project link: https://point-prompting.github.io

InsEdit: Towards Instruction-based Visual Editing via Data-Efficient Video Diffusion Models Adaptation

InsEdit：通过数据高效的视频扩散模型适应实现基于指令的视觉编辑

Zhefan Rao, Bin Zou, Haoxuan Che, Xuanhua He, Chong Hou Choi, Yanheng Li, Rui Liu, Qifeng Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Celia Research HK ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出InsEdit，基于HunyuanVideo-1.5构建指令式编辑模型，结合Mutual Context Attention机制，仅需少量视频编辑数据即可实现高质量视频编辑，并支持图像编辑。

Comments 13 pages, 10 figures

DiffHDR: Re-Exposing LDR Videos with Video Diffusion Models

DiffHDR：利用视频扩散模型重新暴露LDR视频

Zhengming Yu, Li Ma, Mingming He, Leo Isikdogan, Yuancheng Xu, Dmitriy Smirnov, Pablo Salamanca, Dao Mi, Pablo Delgado, Ning Yu, Julien Philip, Xin Li, Wenping Wang, Paul Debevec

机构 * Eyeline Labs（Eyeline 实验室） ； Netflix 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 DiffHDR通过视频扩散模型的潜在空间将LDR视频转换为HDR，恢复过曝和欠曝区域的真实细节，提升动态范围和再曝光效果。

Comments 28 pages, 13 figures

ScrollScape: Unlocking 32K Image Generation With Video Diffusion Priors

ScrollScape: 通过视频扩散先验解锁32K图像生成

Haodong Yu, Yabo Zhang, Donglin Di, Ruyi Zhang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Li Auto, Beijing, China（理想汽车（中国北京）） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 ScrollScape通过将超大比例图像生成转化为连续视频生成过程，利用视频模型的时序一致性确保结构完整性，实现32K分辨率的高质量图像生成。

SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer

SALAD: 通过高效的线性注意微调实现高稀疏性注意

Tongcheng Fang, Hanling Zhang, Ruiqi Xie, Zhuo Han, Xin Tao, Tianchen Zhao, Pengfei Wan, Wenbo Ding, Wanli Ouyang, Xuefei Ning, Yu Wang

机构 * Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出SALAD，通过并行的稀疏注意与轻量线性注意分支，结合多级静态-动态缩放策略，实现高达90%的稀疏性和1.52-2.03倍的推理加速，同时保持生成质量。

Rolling Sink: Bridging Limited-Horizon Training and Open-Ended Testing in Autoregressive Video Diffusion

滚动汇：在有限时间训练和开放-ended测试之间架桥

Haodong Li, Shaoteng Liu, Zhe Lin, Manmohan Chandraker

机构 * UC San Diego（加州大学圣地亚哥分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Rolling Sink，通过分析AR缓存维护，实现无需训练的超长视频生成，提升视觉质量和时间一致性。

Comments v5: Fix some typos. Figures were compressed to 150 dpi to comply with arXiv's submission size limit. Project page: https://rolling-sink.github.io/

Foveated Diffusion: Efficient Spatially Adaptive Image and Video Generation

视网膜扩散：高效的视空适应图像和视频生成

Brian Chao, Lior Yariv, Howard Xiao, Gordon Wetzstein

机构 * Stanford University, USA（斯坦福大学，美国） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出视网膜扩散模型，通过非均匀分配token提高生成效率，利用人类视觉的视网膜区域高分辨率特性，在保持视觉质量的同时显著减少token数量和生成时间。

Comments Project website at https://bchao1.github.io/foveated-diffusion

Climate Prompting: Generating the Madden-Julian Oscillation using Video Diffusion and Low-Dimensional Conditioning

气候提示：利用视频扩散和低维条件生成 Madden-Julian 振荡

Sulian Thual, Feiyang Cai, Jingjing Wang, Feng Luo

机构 * School of Computing（计算学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出利用视频扩散模型生成MJO序列，通过低维指标条件化生成MJO，并通过理想化条件分析其物理驱动机制，为热带大气预测提供新框架。

Denoise to Track: Harnessing Video Diffusion Priors for Robust Correspondence

去噪以跟踪：利用视频扩散先验进行鲁棒对应

Tianyu Yuan, Yuanbo Yang, Lin-Zhuo Chen, Yao Yao, Zhuzhong Qian

机构 * Nanjing University（南京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出HeFT框架，利用预训练视频扩散模型的视觉先验进行零样本点跟踪，通过分析内部表示揭示注意力头在匹配、语义理解和位置编码中的不同专长，并提出基于头和频率的特征选择策略提升跟踪性能。

Uni-Classifier: Leveraging Video Diffusion Priors for Universal Guidance Classifier

Uni-Classifier: 利用视频扩散先验进行通用引导分类器

Yujie Zhou, Pengyang Ling, Jiazi Bu, Bingjie Gao, Li Niu

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Uni-Classifier，通过利用视频扩散先验引导前序模型的去噪过程，提升生成质量，适用于视频和3D生成任务。

Comments Accepted by ICME 2026

OrbitNVS: Harnessing Video Diffusion Priors for Novel View Synthesis

OrbitNVS: 利用视频扩散先验进行新视角合成

Jinglin Liang, Zijian Zhou, Rui Huang, Shuangping Huang, Yichen Gong

机构 * South China University of Technology（华南理工大学） ； King's College London（伦敦大学国王学院） ； Agentic Labs, XGTech（Agentic实验室，XGTech） ； Pazhou Laboratory（Pazhou实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 OrbitNVS将新视角合成重新定义为轨道视频生成任务，通过定制模型设计和训练策略，利用预训练视频生成模型的丰富视觉先验，提升几何和外观一致性，实验表明在GSO和OmniObject3D基准上表现优异。

Comments 26 pages, 10 figures

Efficient Video Diffusion with Sparse Information Transmission for Video Compression

高效视频扩散与稀疏信息传输用于视频压缩

Mingde Zhou, Zheng Chen, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Diff-SIT方法，通过稀疏时序编码模块和单步视频扩散模型提升视频压缩的感知质量和时间一致性，尤其在超低比特率下表现优异。

Motion-Adaptive Temporal Attention for Lightweight Video Generation with Stable Diffusion

面向轻量视频生成的运动自适应时间注意力机制

Rui Hong, Shuxue Quan

机构 * George Mason University（乔治·玛森大学） ； Independent Researcher（独立研究者） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出基于冻结Stable Diffusion模型的运动自适应时间注意力机制，通过动态调整时间注意力接收域，实现高运动序列局部关注与低运动序列全局关注，仅增加25.8M参数即在WebVid验证集上取得竞争性结果。

Comments 6 pages, 3 figures, 4 tables. Published at IS&T Electronic Imaging 2026, GENAI Track

Journal ref IS&T Electronic Imaging 2026, GENAI Track

Diffusion-DRF: Free, Rich, and Differentiable Reward for Video Diffusion Fine-Tuning

Diffusion-DRF：免费、丰富且可微的奖励用于视频扩散微调

Yifan Wang, Yanyu Li, Gordon Guocheng Qian, Sergey Tulyakov, Yun Fu, Anil Kag

机构 * Northeastern University（东北大学） ； Snap Inc.（Snap公司） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Diffusion-DRF框架，通过多维问题和密集VQA解释查询生成丰富反馈，实现稳定奖励微调，无需偏好数据集。

Comments Webpage: https://snap-research.github.io/diffusion-drf/

Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion

Tri-Prompting：具有统一场景、主体和运动控制的视频扩散

Zhenghong Zhou, Xiaohang Zhan, Zhiqin Chen, Soo Ye Kim, Nanxuan Zhao, Haitian Zheng, Qing Liu, He Zhang, Zhe Lin, Yuqian Zhou, Jiebo Luo

机构 * Adobe Research（Adobe研究院） ； University of Rochester（罗切斯特大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 Tri-Prompting提出统一框架，整合场景、多视角主体一致性和运动控制，提升视频生成的可控性和真实感。

Comments Project page: https://zhouzhenghong-gt.github.io/Tri-Prompting-Page/

Early Failure Detection and Intervention in Video Diffusion Models

视频扩散模型中的早期故障检测与干预

Kwon Byung-Ki, Sohwi Lim, Nam Hyeon-Woo, Moon Ye-Bin, Tae-Hyun Oh

专题命中 视频扩散模型 ：video diffusion(title)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出了一种用于视频扩散模型的早期故障检测与干预方法，通过实时检查模块在生成过程中快速检测故障并提前干预，减少计算开销，提升生成质量。

Comments 29 pages, 24 figures, 9 tables