视频大模型

Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models

视频大模型训练后：深入探讨大型多模态模型在视频推理中的应用

Yolo Y. Tang, Jing Bi, Pinxin Liu, Zhenyu Pan, Zhangyun Tan, Qianxiang Shen, Jiani Liu, Hang Hua, Junjia Guo, Yunzhong Xiao, Chao Huang, Zhiyuan Wang, Susan Liang, Xinyi Liu, Yizhi Song, Junhua Huang, Jia-Xing Zhong, Bozheng Li, Daiqing Qi, Ziyun Zeng, Ali Vosoughi, Luchuan Song, Zeliang Zhang, Daiki Shimada, Han Liu, Jiebo Luo, Chenliang Xu

专题命中 视频理解 ：video reasoning(title)；video understanding(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文深入探讨了Video-LMMs训练后处理方法，分析了监督微调、强化学习和测试时扩展等关键技术，总结了设计原则与挑战，为视频推理研究提供了统一框架。

Comments Version v1.1

Video Understanding with Large Language Models: A Survey

利用大语言模型进行视频理解：综述

Yolo Y. Tang, Jing Bi, Siting Xu, Luchuan Song, Susan Liang, Teng Wang, Daoan Zhang, Jie An, Jingyang Lin, Rongyi Zhu, Ali Vosoughi, Chao Huang, Zeliang Zhang, Pinxin Liu, Mingqian Feng, Feng Zheng, Jianguo Zhang, Ping Luo, Jiebo Luo, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； The University of Hong Kong（香港大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 本文综述了利用大语言模型进行视频理解的最新进展，探讨了Vid-LLMs的分类、功能及应用场景，并指出了未来研究方向。

Comments Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)

Tracking and Segmenting Anything in Any Modality

任何模态下任何事物的跟踪与分割

Tianlu Zhang, Qiang Zhang, Guiguang Ding, Jungong Han

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV、cs.MM

AI总结 SATA提出了一种通用框架，通过解耦的专家混合机制和任务感知多目标跟踪流程，统一了多种跟踪和分割任务，提升了模型的泛化能力。

Comments Accpetd by AAAI 2026

Diverse Video Generation with Determinantal Point Process-Guided Policy Optimization

多样视频生成与确定性点过程引导的策略优化

Tahira Kazimi, Connor Dunlop, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出DPP-GRPO框架，结合DPP和GRPO理论，通过显式奖励提升视频生成的多样性，同时保持高质量和提示一致性。

Comments Project webpage: https://diverse-video.github.io/

A Reason-then-Describe Instruction Interpreter for Controllable Video Generation

用于可控视频生成的指令解释器

Shengqiong Wu, Weicai Ye, Yuanxing Zhang, Jiahao Wang, Quande Liu, Xintao Wang, Pengfei Wan, Kun Gai, Hao Fei, Tat-Seng Chua

机构 * Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 ReaDe通过推理后再描述的方法，将模糊用户指令转化为精确规范，提升可控视频生成的准确性和质量。

Comments 27 pages, 13 figures, 13 tables, Project Page: https://sqwu.top/ReaDe/

Bootstrapping Physics-Grounded Video Generation through VLM-Guided Iterative Self-Refinement

通过VLM引导的迭代自优化提升物理导向的视频生成

Yang Liu, Xilin Zhao, Peisong Wen, Siran Dai, Qingming Huang

机构 * School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出一种通过VLM引导的迭代自优化方法，提升视频生成的物理一致性，实验显示在PhyIQ基准上得分提升明显。

Comments ICCV 2025 Physics-IQ Challenge Third Place Solution

Exo2EgoSyn: Unlocking Foundation Video Generation Models for Exocentric-to-Egocentric Video Synthesis

Exo2EgoSyn: 解锁用于外视图到内视图视频合成的基础视频生成模型

Mohammad Mahdi, Yuqian Fu, Nedko Savov, Jiancheng Pan, Danda Pani Paudel, Luc Van Gool

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 Exo2EgoSyn通过三个模块实现从第三人称视角生成高保真内视图视频，提升跨视角视频合成能力。

Rectified SpaAttn: Revisiting Attention Sparsity for Efficient Video Generation

校正SpaAttn：重新审视注意力稀疏性以实现高效的视频生成

Xuewen Liu, Zhikai Li, Jing Zhang, Mengjuan Chen, Qingyi Gu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出Rectified SpaAttn，通过校正注意力分配提升视频生成效率，实现显著速度提升且保持生成质量。

Comments Code at https://github.com/BienLuky/Rectified-SpaAttn

HunyuanVideo 1.5 Technical Report

HunyuanVideo 1.5 技术报告

Bing Wu, Chang Zou, Changlin Li, Duojun Huang, Fang Yang, Hao Tan, Jack Peng, Jianbing Wu, Jiangfeng Xiong, Jie Jiang, Linus, Patrol, Peizhen Zhang, Peng Chen, Penghao Zhao, Qi Tian, Songtao Liu, Weijie Kong, Weiyan Wang, Xiao He, Xin Li, Xinchi Deng, Xuefei Zhe, Yang Li, Yanxin Long, Yuanbo Peng, Yue Wu, Yuhong Liu, Zhenyu Wang, Zuozhuo Dai, Bo Peng, Coopers Li, Gu Gong, Guojian Xiao, Jiahe Tian, Jiaxin Lin, Jie Liu, Jihong Zhang, Jiesong Lian, Kaihang Pan, Lei Wang, Lin Niu, Mingtao Chen, Mingyang Chen, Mingzhe Zheng, Miles Yang, Qiangqiang Hu, Qi Yang, Qiuyong Xiao, Runzhou Wu, Ryan Xu, Rui Yuan, Shanshan Sang, Shisheng Huang, Siruis Gong, Shuo Huang, Weiting Guo, Xiang Yuan, Xiaojia Chen, Xiawei Hu, Wenzhi Sun, Xiele Wu, Xianshun Ren, Xiaoyan Yuan, Xiaoyue Mi, Yepeng Zhang, Yifu Sun, Yiting Lu, Yitong Li, You Huang, Yu Tang, Yixuan Li, Yuhang Deng, Yuan Zhou, Zhichao Hu, Zhiguang Liu, Zhihe Yang, Zilin Yang, Zhenzhi Lu, Zixiang Zhou, Zhao Zhong

机构 * Tencent Hunyuan Foundation Model Team（腾讯文心一言基础模型团队） 纠错

专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 HunyuanVideo 1.5通过轻量级模型和先进架构实现高质量视频生成，提供开源框架和资源，推动视频生成技术的普及与研究。

Block Cascading: Training Free Acceleration of Block-Causal Video Models

块级级联：无训练加速块因果视频模型

Hmrishav Bandyopadhyay, Nikhil Pinnaparaju, Rahim Entezari, Jim Scott, Yi-Zhe Song, Varun Jampani

机构 * Stability AI ； SketchX, University of Surrey（SketchX， Surrey大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 块级级联通过无训练并行化技术，显著提升块因果视频模型的推理速度，同时保持生成质量。

Are Image-to-Video Models Good Zero-Shot Image Editors?

图像到视频模型是否是良好的零样本图像编辑器？

Zechuan Zhang, Zhenyuan Chen, Zongxin Yang, Yi Yang

机构 * Zhejiang University（浙江大学） ； Harvard University（哈佛大学） 纠错

专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV

AI总结 IF-Edit通过无需微调的框架，利用预训练图像到视频扩散模型实现指令驱动的图像编辑，解决提示错位、冗余时间潜在特征和模糊后期帧问题，展现强大的推理能力和通用编辑竞争力。

Comments technical report

Multi-modal Generative AI: Multi-modal LLMs, Diffusions, and the Unification

多模态生成式AI：多模态大语言模型、扩散模型与统一

Xin Wang, Yuwei Zhou, Bin Huang, Hong Chen, Wenwu Zhu

机构 * Department of Computer Science, Beijing Information Science and Technology National Research Center, Tsinghua University（计算机系，北京信息科学与技术国家研究中心，清华大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文综述了多模态生成式AI，涵盖多模态LLMs、扩散模型及统一模型的设计与应用，探讨了统一理解和生成的方法及未来研究方向。

Comments 21 pages, 10 figures, 3 tables

Journal ref IEEE Transactions on Circuits and Systems for Video Technology 2025

MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence

MovieDreamer：用于生成连贯长视觉序列的分层生成

Canyu Zhao, Mingyu Liu, Wen Wang, Weihua Chen, Fan Wang, Hao Chen, Bo Zhang, Chunhua Shen

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 MovieDreamer通过结合自回归模型与扩散渲染，实现长时长视频生成，提升叙事连贯性和视觉质量。

Comments 30 pages, 22 figures

How Animals Dance (When You're Not Looking)

动物跳舞（当你不在看的时候)

Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz

机构 * University of Washington（华盛顿大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出了一种生成音乐同步且具有舞蹈意识的动物跳舞视频的框架，通过引入舞蹈模式和图优化问题实现高效舞蹈合成。

Comments Project page: https://how-animals-dance.github.io/

M2SVid: End-to-End Inpainting and Refinement for Monocular-to-Stereo Video Conversion

M2SVid：单目到立体视频转换的端到端修复与细化

Nina Shvetsova, Goutam Bhat, Prune Truong, Hilde Kuehne, Federico Tombari

机构 * Google（谷歌） ； Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学） ； Goethe University Frankfurt（法兰克福歌德大学） ； MPI for Informatics, Saarland Informatics Campus（信息研究所，萨尔兰信息校区） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 M2SVid通过端到端修复和细化技术，实现单目到立体视频转换，生成高质量右视图并提升效率。

Comments To be published at 3DV 2026, project webpage https://m2svid.github.io/

MotionV2V: Editing Motion in a Video

MotionV2V: 视频中运动的编辑

Ryan Burgert, Charles Herrmann, Forrester Cole, Michael S Ryoo, Neal Wadhwa, Andrey Voynov, Nataniel Ruiz

机构 * Google（谷歌） ； Stony Brook University（石溪大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 MotionV2V通过直接编辑稀疏轨迹实现视频运动编辑，利用生成性主干提升视频编辑能力，在用户研究中表现优异。

Motion Marionette: Rethinking Rigid Motion Transfer via Prior Guidance

运动提线木偶：通过先验引导重新思考刚体运动迁移

Haoxuan Wang, Jiachen Tao, Junyi Wu, Gaowen Liu, Ramana Rao Kompella, Yan Yan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Cisco Research（思科研究） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 Motion Marionette通过内部先验引导刚体运动迁移，实现跨物体的高效可控视频生成。