视频大模型

LiON-LoRA: Rethinking LoRA Fusion to Unify Controllable Spatial and Temporal Generation for Video Diffusion

Yisu Zhang, Chenjie Cao, Chaohui Yu, Jianke Zhu

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里巴巴集团达摩院） ； Hupan Lab（虎扑实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

LangScene-X: Reconstruct Generalizable 3D Language-Embedded Scenes with TriMap Video Diffusion

Fangfu Liu, Hao Li, Jiawei Chi, Hanyang Wang, Minghui Yang, Fudong Wang, Yueqi Duan

机构 * Tsinghua University（清华大学） ； NTU（国立科技大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project page: https://liuff19.github.io/LangScene-X

Lifelong Learning of Video Diffusion Models From a Single Video Stream

Jason Yoo, Yingchen He, Saeid Naderiparizi, Dylan Green, Gido M. van de Ven, Geoff Pleiss, Frank Wood

机构 * University of British Columbia（不列颠哥伦比亚大学） ； KU Leuven（鲁文大学） ； Vector Institute（向量研究所） ； Amii（阿米研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Video samples are available here: https://drive.google.com/drive/folders/1CsmWqug-CS7I6NwGDvHsEN9FqN2QzspN

Cross-Frame Representation Alignment for Fine-Tuning Video Diffusion Models

Sungwon Hwang, Hyojin Jang, Kinam Kim, Minho Park, Jaegul Choo

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project page: https://crepavideo.github.io

ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model

Fangfu Liu, Wenqiang Sun, Hanyang Wang, Yikai Wang, Haowen Sun, Junliang Ye, Jun Zhang, Yueqi Duan

机构 * Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学） ； Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学） ； Department of Computer Science, Tsinghua University（计算机科学系，清华大学） ； School of Artificial Intelligence, Beijing Normal University（人工智能学院，北京师范大学） ； Department of Automation, Tsinghua University（自动化系，清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project page: https://liuff19.github.io/ReconX

ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs

Michal Nazarczuk, Sibi Catley-Chandar, Thomas Tanay, Zhensong Zhang, Gregory Slabaugh, Eduardo Pérez-Pellitero

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

DreamJourney: Perpetual View Generation with Video Diffusion Models

Bo Pan, Yang Chen, Yingwei Pan, Ting Yao, Wei Chen, Tao Mei

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； Laboratory of Art and Archaeology Image（艺术与考古图像实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

VideoMat: Extracting PBR Materials from Video Diffusion Models

Jacob Munkberg, Zian Wang, Ruofan Liang, Tianchang Shen, Jon Hasselgren

机构 * NVIDIA Sweden（NVIDIA瑞典分公司） ； NVIDIA , University of Toronto , Vector Institute Canada（NVIDIA、多伦多大学、向量研究所加拿大） ； NVIDIA ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project website: https://nvlabs.github.io/videomat/

NOVA3D: Normal Aligned Video Diffusion Model for Single Image to 3D Generation

Yuxiao Yang, Peihao Li, Yuhong Zhang, Junzhe Lu, Xianglong He, Minghan Qin, Weitao Wang, Haoqian Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments 8 pages, 7 figures, accepted by ICME 2025

Learning Temporally Consistent Video Depth from Video Diffusion Priors

Jiahao Shao, Yuanbo Yang, Hongyu Zhou, Youmin Zhang, Yujun Shen, Vitor Guizilini, Yue Wang, Matteo Poggi, Yiyi Liao

机构 * Zhejiang University（浙江大学） ； University of Bologna（博洛尼亚大学） ； University of Southern California（南加州大学） ； Ant Group（蚂蚁集团） ； Toyota Research Institute（丰田研究院） ； Rock Universe AI 纠错

专题命中 视频扩散模型 ：video diffusion(title)；long video(abstract)；分类 cs.CV

FPSAttention: Training-Aware FP8 and Sparsity Co-Design for Fast Video Diffusion

Akide Liu, Zeyu Zhang, Zhexin Li, Xuehai Bai, Yizeng Han, Jiasheng Tang, Yuanjie Xing, Jichao Wu, Mingyang Yang, Weihua Chen, Jiahao He, Yuanyu He, Fan Wang, Gholamreza Haffari, Bohan Zhuang

机构 * Monash University（墨尔本大学） ； DAMO Academy, Alibaba Group（阿里云图学院） ； ZIP Lab, Zhejiang University（浙江大学ZIP实验室） ； Hupan Lab（汇磐实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

Comments Project Page: https://fps.ziplab.co

Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation

Tianyu Huang, Wangguandong Zheng, Tengfei Wang, Yuhao Liu, Zhenwei Wang, Junta Wu, Jie Jiang, Hui Li, Rynson W. H. Lau, Wangmeng Zuo, Chunchao Guo

机构 * Harbin Institute of Technology China（哈尔滨工业大学） ； Southeast University China（东南大学） ； Tencent Hunyuan China（腾讯幻境） ； City University of Hong Kong China（香港城市大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

DiffuseSlide: Training-Free High Frame Rate Video Generation Diffusion

Geunmin Hwang, Hyun-kyu Ko, Younghyun Kim, Seungryong Lee, Eunbyung Park

机构 * RECON Labs Inc.（RECON实验室公司） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系） ； Department of Artificial Intelligence, Sungkyunkwan University（成均馆大学人工智能系） ； Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电气与计算机工程系） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation

Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi

机构 * The University of Hong Kong（香港大学） ； Beihang University（北京航空航天大学） ； VAST 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

Comments Project page: https://sunyangtian.github.io/UniGeo-web/

Improving Tropical Cyclone Forecasting With Video Diffusion Models

Zhibo Ren, Pritthijit Nath, Pancham Shukla

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Recommended for spotlight presentation at the ICLR 2025 workshop on Tackling Climate Change with Machine Learning. 7 pages, 7 figures

SVAD: From Single Image to 3D Avatar via Synthetic Data Generation with Video Diffusion and Data Augmentation

Yonwoo Choi

机构 * SECERN AI 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Accepted by CVPR 2025 SyntaGen Workshop, Project Page: https://yc4ny.github.io/SVAD/

PhysFlow: Unleashing the Potential of Multi-modal Foundation Models and Video Diffusion for 4D Dynamic Physical Scene Simulation

Zhuoman Liu, Weicai Ye, Yan Luximon, Pengfei Wan, Di Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments CVPR 2025. Homepage: https://zhuomanliu.github.io/PhysFlow/

DiVE: Efficient Multi-View Driving Scenes Generation Based on Video Diffusion Transformer

Junpeng Jiang, Gangyi Hong, Miao Zhang, Hengtong Hu, Kun Zhan, Rui Shao, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Li Auto Inc.（Li汽车公司） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity

Haocheng Xi, Shuo Yang, Yilong Zhao, Chenfeng Xu, Muyang Li, Xiuyu Li, Yujun Lin, Han Cai, Jintao Zhang, Dacheng Li, Jianfei Chen, Ion Stoica, Kurt Keutzer, Song Han

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

Comments 17 pages, 11 figures, 3 tables

FlowLoss: Dynamic Flow-Conditioned Loss Strategy for Video Diffusion Models

Kuanting Wu, Kei Ota, Asako Kanezaki

机构 * Science Tokyo（科学东京） ； Mitsubishi Electric（三菱电机） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Understanding Attention Mechanism in Video Diffusion Models

Bingyan Liu, Chengyu Wang, Tongtong Su, Huan Ten, Jun Huang, Kailing Guo, Kui Jia

专题命中 视频扩散模型 ：video diffusion(title)；text-to-video(abstract)；分类 cs.CV

VGDFR: Diffusion-based Video Generation with Dynamic Latent Frame Rate

Zhihang Yuan, Rui Xie, Yuzhang Shang, Hanling Zhang, Siyuan Wang, Shengen Yan, Guohao Dai, Yu Wang

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

GaussVideoDreamer: 3D Scene Generation with Video Diffusion and Inconsistency-Aware Gaussian Splatting

Junlin Hao, Peiheng Wang, Haoyang Wang, Xinggong Zhang, Zongming Guo

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

NormalCrafter: Learning Temporally Consistent Normals from Video Diffusion Priors

Yanrui Bin, Wenbo Hu, Haoyuan Wang, Xinya Chen, Bing Wang

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments 9 pages, 6 figures, Project Page: https://normalcrafter.github.io/

Analysis of Attention in Video Diffusion Transformers

Yuxin Wen, Jim Wu, Ajay Jain, Tom Goldstein, Ashwinee Panda

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

StarGen: A Spatiotemporal Autoregression Framework with Video Diffusion Model for Scalable and Controllable Scene Generation

Shangjin Zhai, Zhichao Ye, Jialin Liu, Weijian Xie, Jiaqi Hu, Zhen Peng, Hua Xue, Danpeng Chen, Xiaomeng Wang, Lei Yang, Nan Wang, Haomin Liu, Guofeng Zhang

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Discriminator-Free Direct Preference Optimization for Video Diffusion

Haoran Cheng, Qide Dong, Liang Peng, Zhizhou Sha, Weiguo Feng, Jinghui Xie, Zhao Song, Shilei Wen, Xiaofei He, Boxi Wu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments arXiv admin note: text overlap with arXiv:2412.14167 by other authors

WF-VAE: Enhancing Video VAE by Wavelet-Driven Energy Flow for Latent Video Diffusion Model

Zongjian Li, Bin Lin, Yang Ye, Liuhan Chen, Xinhua Cheng, Shenghai Yuan, Li Yuan

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments 8 pages, 7 figures

InterDyn: Controllable Interactive Dynamics with Video Diffusion Models

Rick Akkerman, Haiwen Feng, Michael J. Black, Dimitrios Tzionas, Victoria Fernández Abrevaya

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

SkyReels-A2: Compose Anything in Video Diffusion Transformers

Zhengcong Fei, Debang Li, Di Qiu, Jiahua Wang, Yikun Dou, Rui Wang, Jingtao Xu, Mingyuan Fan, Guibin Chen, Yang Li, Yahui Zhou

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV