视频大模型 - arXivDaily 专题

2512.23576 2025-12-30 cs.CV 85%

LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation

LiveTalk: 通过改进的在线策略蒸馏实现实时多模态交互视频扩散

Ethan Chern, Zhulin Hu, Bohao Tang, Jiadi Su, Steffi Chern, Zhijie Deng, Pengfei Liu

机构 * SII SJTU GAIR

专题命中视频扩散模型：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结本文提出LiveTalk系统，通过改进的在线策略蒸馏实现实时多模态交互视频生成，显著提升效率和质量。

2512.22175 2025-12-30 cs.CV cs.AI eess.IV 84%

Characterizing Motion Encoding in Video Diffusion Timesteps

视频扩散时间步中的运动编码表征

Vatsal Baherwani, Yixuan Ren, Abhinav Shrivastava

机构 * University of Maryland（马里兰大学）

专题命中视频扩散模型：video diffusion(title,abstract)；text-to-video(abstract)；分类 cs.CV、eess.IV

AI总结本文通过分析视频扩散模型中时间步的运动与外观编码特性，发现早期时间步主导运动，后期主导外观，并提出受限于运动主导阶段的运动定制方法。

Comments 10 pages, 4 figures

2512.22626 2025-12-30 cs.CV 83%

Envision: Embodied Visual Planning via Goal-Imagery Video Diffusion

Envision：通过目标图像视频扩散进行具身视觉规划

Yuming Gu, Yizhi Wang, Yining Hong, Yipeng Gao, Hao Jiang, Angtian Wang, Bo Liu, Nathaniel S. Dennler, Zhengfei Kuang, Hao Li, Gordon Wetzstein, Chongyang Ma

机构 * University of Southern California（南加州大学）； ByteDance（字节跳动）； Stanford University（斯坦福大学）； Massachusetts Institute of Technology（麻省理工学院）； MBZUAI

专题命中视频扩散模型：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV

AI总结 Envision 通过目标图像视频扩散模型实现具身视觉规划，提升目标对齐和空间一致性，支持下游机器人任务。

Comments Page: https://envision-paper.github.io

2503.10704 2025-12-30 cs.CV cs.MM 81%

Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework

自回归视频扩散模型的误差分析：一个统一的框架

Jing Wang, Fengzhuo Zhang, Xiaoli Li, Vincent Y. F. Tan, Tianyu Pang, Chao Du, Aixin Sun, Zhuoran Yang

机构 * Nanyang Technological University（南洋理工大学）； National University of Singapore（国立新加坡大学）； Singapore University of Technology and Design（新加坡科技设计大学）； Sea AI Lab（海思人工智能实验室）； Yale University（耶鲁大学）

专题命中视频扩散模型：video diffusion(title,abstract)；分类 cs.CV、cs.MM

AI总结本文提出Meta-ARVDM框架，通过分析自回归视频扩散模型的历史遗忘与时间退化现象，揭示其理论机制并提出新的评估方法。

2512.23705 2025-12-30 cs.CV 79%

Diffusion Knows Transparency: Repurposing Video Diffusion for Transparent Object Depth and Normal Estimation

扩散知道透明：将视频扩散用于透明物体深度和法线估计

Shaocong Xu, Songlin Wei, Qizhe Wei, Zheng Geng, Hong Li, Licheng Shen, Qianpu Sun, Shu Han, Bin Ma, Bohan Li, Chongjie Ye, Yuhang Zheng, Nan Wang, Saining Zhang, Hao Zhao

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院）； University of Southern California（南加州大学）； Tsinghua University（清华大学）； Beihang University（北航）； Wuhan University（武汉大学）； Shanghai Jiao Tong University（上海交通大学）； European Institute of Innovation and Technology Ningbo（创新与技术欧洲研究所宁波）； FNii, The Chinese University of Hong Kong, Shenzhen（FNii，香港中文大学（深圳））； National University of Singapore（新加坡国立大学）

专题命中视频扩散模型：video diffusion(title,abstract)；分类 cs.CV

AI总结本文提出DKT模型，利用视频扩散模型估计透明物体的深度和法线，实现零样本SOTA，提升现实和合成视频中的透明感知性能。

Comments Project Page: https://daniellli.github.io/projects/DKT/; Code: https://github.com/Daniellli/DKT; Dataset: https://huggingface.co/datasets/Daniellesry/TransPhy3D

2512.21734 2025-12-30 cs.CV 79%

Knot Forcing: Taming Autoregressive Video Diffusion Models for Real-time Infinite Interactive Portrait Animation

结绳强制：驯服自回归视频扩散模型以实现实时无限交互肖像动画

Steven Xiao, Xindi Zhang, Dechao Meng, Qi Wang, Peng Zhang, Bang Zhang

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里集团）

专题命中视频扩散模型：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 Knot Forcing通过分块生成、时间结模块和提前运行机制，解决实时肖像动画中的时间一致性、误差累积和长期一致性问题，实现高保真、低延迟的无限交互动画。

Comments Project Page: https://humanaigc.github.io/knot_forcing_demo_page/

2512.19823 2025-12-30 cs.CV 79%

Learning to Refocus with Video Diffusion Models

利用视频扩散模型学习重聚焦

SaiKiran Tedla, Zhoutong Zhang, Xuaner Zhang, Shumian Xin

机构 * Adobe, USA \& York University Canada ； Adobe USA ； Adobe, USA \& York University ； Adobe

专题命中视频扩散模型：video diffusion(title,abstract)；分类 cs.CV

AI总结本文提出利用视频扩散模型实现拍摄后重聚焦，生成感知准确的焦点堆栈，提升日常摄影的聚焦编辑能力。

Comments Code and data are available at https://learn2refocus.github.io . SIGGRAPH Asia 2025, Dec. 2025

Journal ref Proceedings of the SIGGRAPH Asia 2025, pp. 1-11, 2025

2512.15560 2025-12-30 cs.CV 77%

GRAN-TED: Generating Robust, Aligned, and Nuanced Text Embedding for Diffusion Models

GRAN-TED: 生成稳健、对齐且细腻的文本嵌入以用于扩散模型

Bozhou Li, Sihan Yang, Yushuo Guan, Ruichuan An, Xinlong Chen, Yang Shi, Pengfei Wan, Wentao Zhang, Yuanxing zhang

机构 * Peking University（北京大学）； Kling Team, Kuaishou Technology（快手科技 Kling 团队）； Xi’an Jiaotong University（西安交通大学）； School of Artificial Intelligence, UCAS（清华大学人工智能学院）

专题命中视频扩散模型：video generation(abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 GRAN-TED提出了一种生成稳健、对齐且细腻的文本嵌入以用于扩散模型的范式，通过TED-6K基准提升文本编码器性能，显著加快扩散模型训练速度。

1. 视频扩散模型 8 篇