视频大模型

Zero-Shot Video Restoration and Enhancement with Assistance of Video Diffusion Models

借助视频扩散模型的零样本视频修复与增强

Cong Cao, Huanjing Yue, Shangbin Xie, Xin Liu, Jingyu Yang

机构 * School of Electrical and Information Engineering, Tianjin University（电子信息工程学院，天津大学） ； Computer Vision and Pattern Recognition Laboratory, School of Engineering Science, Lappeenranta-Lahti University of Technology LUT（计算机视觉与模式识别实验室，工程科学学院，拉佩兰塔-拉赫蒂技术大学LUT） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出一种无训练的框架，利用视频扩散模型提升零样本视频修复与增强的时序一致性，通过潜在融合与后处理策略增强效果。

VidLaDA: Bidirectional Diffusion Large Language Models for Efficient Video Understanding

VidLaDA：双向扩散大型语言模型用于高效视频理解

Zhihao He, Tieyuan Chen, Kangyu Wang, Ziran Qin, Yang Shao, Chaofan Gan, Shijie Li, Zuxuan Wu, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； ZhongguanCun Academy（中关村学院） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 视频扩散模型 ：video understanding(title)；分类 cs.CV

AI总结 VidLaDA通过双向注意力和MARS-Cache技术，提升视频理解效率，实现比现有方法更优的性能与速度

EditYourself: Audio-Driven Generation and Manipulation of Talking Head Videos with Diffusion Transformers

EditYourself: 基于音频驱动的谈话头视频生成与操控的扩散变换器

John Flynn, Wolfgang Paier, Dimitar Dinev, Sam Nhut Nguyen, Hayk Poghosyan, Manuel Toribio, Sandipan Banerjee, Guy Gafni

机构 * Pipio AI ； Amazon（亚马逊） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 EditYourself通过音频驱动的视频到视频编辑框架，实现基于脚本的谈话头视频修改，包括内容的添加、删除和重新定时，同时保持唇同步和时间一致性。

Comments Project page: https://edit-yourself.github.io/

GR3EN: Generative Relighting for 3D Environments

GR3EN: 生成式3D环境光照

Xiaoyan Xing, Philipp Henzler, Junhwa Hur, Runze Li, Jonathan T. Barron, Pratul P. Srinivasan, Dor Verbin

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 GR3EN通过将视频到视频扩散模型输出蒸馏到3D重建中，实现对房间尺度场景的可控3D光照调整，无需解决逆渲染问题，适用于复杂现实场景。

Comments project page: https://gr3en-relight.github.io/