视频大模型

VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding

VideoChat3：用于高效通用视频理解的全开放视频多模态语言模型

Xinhao Li, Yuhan Zhu, Xiangyu Zeng, Yuhao Dong, Haoning Wu, Zhiqiu Zhang, Yuandong Yang, Changlian Ma, Qingyu Zhang, Yansong Shi, Xinyu Chen, Haoran Chen, Zizheng Huang, Jun Zhang, Kun Ouyang, Lin Sui, Ziang Yan, Yicheng Xu, Chenting Wang, Yinan He, Hongjie Zhang, Yi Wang, Yu Qiao, Yali Wang, Ziwei Liu, Kai Chen, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(abstract)；分类 cs.CV

AI总结 研究针对视频理解开源模型局限，提出VideoChat3。通过I3D-ViT等提升效率，利用可扩展视频数据合成管道生成训练数据集提升泛化性，以4B参数在多基准测试中超越同等或更多参数的开源模型，实现泛化与计算效率平衡。

VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

VisionCoach: 通过视觉感知提示强化视频推理

Daeun Lee, Shoubin Yu, Yue Zhang, Mohit Bansal

专题命中 视频理解 ：video reasoning(title,abstract)；video understanding(abstract)；分类 cs.CV

AI总结 VisionCoach通过视觉提示指导强化学习，提升视频推理的时空定位能力，实现无需外部工具的高效推理。

Comments Accepted to ECCV 2026; Project website: this https URL (https://visioncoach.github.io/)

VCIFBench: Evaluating Complex Instruction Following for Video Understanding

VCIFBench：评估视频理解中的复杂指令遵循能力

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心，吉林大学） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)

AI总结 提出VCIFBench基准，通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力，实验表明联合约束满足仍具挑战，DPO训练可提升性能。

Mode Seeking meets Mean Seeking for Fast Long Video Generation

模式寻求与均值寻求的结合用于快速长视频生成

Shengqu Cai, Weili Nie, Chao Liu, Julius Berner, Lvmin Zhang, Nanye Ma, Hansheng Chen, Maneesh Agrawala, Leonidas Guibas, Gordon Wetzstein, Arash Vahdat

机构 * Stanford University, California, USA（斯坦福大学） ； NVIDIA Research, California, USA（NVIDIA研究） 纠错

专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 本文提出一种结合模式寻求与均值寻求的解耦扩散变换器，通过监督学习生成快速长视频，提升长距离连贯性和局部真实感。

Comments Project website: this https URL (https://primecai.github.io/mmm/)

VGI-Bench: Probing Visual Intelligence in Video Generation Models

VGI-BENCH：探究视频生成模型的视觉智能

Xuan He, Cong Wei, Yuhao Cheng, Linrui Ma, Yuxuan Zhang, Zuojun Li, Yuhao Wen, Jize Jiang, Zeyi Liu, Yuren Hao, Songcheng Cai, Keming Wu, Penghui Du, Kai Zou, Rui Yang, Chenkai Sun, Ke Yang, Ping Nie, Kelsey R Allen, Chenglong Wang, Michel Galley, Jianfeng Gao, ChengXiang Zhai

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） ； University of Waterloo（滑铁卢大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（矢量研究所） ； Microsoft Research（微软研究院） ； Etude AI 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本研究推出VGI-bench基准，含27项任务810个实例，评估视频生成模型视觉推理能力，发现最强模型Seedance~2.0仅达51.0%，将推动下一代视频生成模型发展。

From Articulated Kinematics to Routed Visual Control for Action-Conditioned Surgical Video Generation

从运动学至路由视觉控制：用于动作条件化外科视频生成

Bohan Li, Shuojue Yang, Baorui Peng, Xianda Guo, Erli Zhang, Youqi Tao, Junfeng Duan, Daguang Xu, Qi Dou, Xin Jin, Wenjun Zeng, Hao Zhao, Yueming Jin

机构 * SJTU（上海交通大学） ； NUS（国立新加坡大学） ； THU（清华大学） ； EIT（欧洲研究所） ； WHU（武汉大学） ； Harvard（哈佛大学） ； NVIDIA（NVIDIA公司） ； CUHK（香港大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出一种运动学至视觉提升范式，通过五种图像对齐的控制模态生成动作条件化外科视频，采用分层路由框架提升控制精度与效率，构建新基准并验证方法有效性。

Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control

生成现实：基于交互式视频生成的人本世界模拟

Linxi Xie, Lisong C. Sun, Ashley Neall, Tong Wu, Shengqu Cai, Gordon Wetzstein

机构 * Stanford University（斯坦福大学） ； NYU Shanghai（纽约大学上海分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出了一种基于交互式视频生成的人本世界模拟系统，通过结合头部和手部姿态控制，提升虚拟环境的交互性和用户控制感。

Comments Project page here: this https URL (https://codeysun.github.io/generated-reality)

BulletTime: Decoupled Control of Time and Camera Pose for Video Generation

BulletTime: 分离时间与相机姿态的视频生成控制

Yiming Wang, Qihang Zhang, Shengqu Cai, Tong Wu, Jan Ackermann, Zhengfei Kuang, Yang Zheng, Frano Rajič, Siyu Tang, Gordon Wetzstein

专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 BulletTime通过分离时间与相机姿态，实现了视频生成的精细控制与高质量生成。

Comments CVPR 2026, Project Page: this https URL (https://19reborn.github.io/Bullet4D/)

ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation

ShotVerse: 提升文本驱动多镜头视频创作的电影级摄像机控制

Songlin Yang, Zhe Wang, Xuyi Yang, Songchun Zhang, Xianghao Kong, Taiyi Wu, Xiaotong Zhao, Ran Zhang, Alan Zhao, Anyi Rao

机构 * Tencent Video AI Center, PCG, Tencent（腾讯视频AI中心） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 ShotVerse通过'计划然后控制'框架，结合视觉语言模型和摄像机适配器，实现多镜头视频创作中精准的摄像机控制与高保真电影效果。

Comments SIGGRAPH Asia 2026

Steering Video Diffusion Transformers with Massive Activations

通过大规模激活引导视频扩散变换器

Xianhang Cheng, Yujian Zheng, Zhenyu Xie, Tingting Liao, Hao Li

机构 * MBZUAI 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 研究视频扩散变换器中大规模激活的作用，提出STAS方法通过引导首帧和边界token的激活值提升视频生成质量与时间一致性。

WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models

WildShadowRemover：基于细节保留视频扩散模型的野外视频阴影去除方法

Jiamin Xu, Cong Wang, Zheng Dong, Chi Wang, Renshu Gu, Weiwei Xu, Gang Xu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对野外视频阴影去除难题，提出WildShadowRemover框架，通过LoRA微调适配视频扩散模型，结合细节注入、频率分解调制及Depth Anything 3深度先验，构建对应数据集，在阴影去除质量与时间一致性上优于现有方法。

LangDriveCTRL: Natural Language Controllable Driving Scene Editing with Multi-modal Agents

LangDriveCTRL: 通过多模态代理实现自然语言可控的驾驶场景编辑

Yun He, Francesco Pittaluga, Ziyu Jiang, Matthias Zwicker, Manmohan Chandraker, Zaid Tasneem

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； NEC Labs America（NEC美国实验室） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 LangDriveCTRL通过多模态代理实现驾驶视频的自然语言可控编辑，生成多样化的交通场景，提升真实感和交通场景的真实性。

Comments Accepted by ECCV 2026. Project Page: this https URL (https://yunhe24.github.io/langdrivectrl/)

StereoDiff: Stereo-Diffusion Synergy for Video Depth Estimation

StereoDiff：用于视频深度估计的立体-扩散协同框架

Haodong Li, Chen Wang, Jiahui Lei, Kostas Daniilidis, Lingjie Liu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 StereoDiff将立体匹配与视频深度扩散协同，针对视频静态和动态区域分别采用对应技术，在真实世界动态视频深度基准上实现了当前最优的零样本估计性能。

Comments We no longer wish this manuscript to stand as an active preprint and will not be maintaining or updating it further; we would prefer it not be cited as current work. It has not been published or accepted at any journal or conference, so the request is not motivated by publication elsewhere. We are requesting a standard withdrawal, not a full removal

ReWorld: Representation Learning for World Action Models

ReWorld：为世界动作模型学习更好的表示

Tianze Xia, Lijun Zhou, Kaixin Xiong, Jingfeng Yao, Zhenxin Zhu, Haiyang Sun, Bing Wang, Guang Chen, Wenyu Liu, Hangjun Ye, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi EV（小米汽车） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 提出ReWorld框架，通过优化中间表示（未来预测监督、跨模态对齐、难负样本监督）提升自动驾驶世界动作模型的规划性能，在nuScenes和NAVSIM上取得显著提升。

Comments 15 pages,5 figures

$τ_0$-WM: A Unified Video-Action World Model for Robotic Manipulation

$\tau_0$-WM：一种用于机器人操作的统一视频-动作世界模型

Pengfei Zhou, Shengcong Chen, Di Chen, Jiaxu Wang, Rongjun Jin, Bingwen Zhu, Yike Pan, Songen Gu, Kuanning Wang, Shufeng Nan, Xingyu Qiu, Chenhao Qiu, Pu Yang, Yunuo Cai, Jianxiong Gao, Yifan Li, Yanwei Fu, Xiangyu Yue, Zhi Chen, Jianlan Luo

机构 * Shanghai Innovation Institute（上海创新研究院） ； AGIBOT Finch 纠错

专题命中 动作与事件理解 ：video diffusion(abstract)

AI总结 提出$\tau_0$-WM，一个统一视频-动作世界模型，通过共享视频扩散骨干集成策略学习、视频预测和动作评估，在长时域和精细操作任务上优于基线。

Comments Our project homepge: this https URL (https://tau0-wm.github.io)

SlotMem: Character-Addressable Internal Memory for Narrative Long Video Generation

SlotMem：用于叙事长视频生成的字符可寻址内部存储器

Yilai Liu, Xin Zhang, Shiyuan Zhang, Hongyang Du

机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） 纠错

专题命中 长视频与时序推理 ：video generation(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 研究针对叙事长视频生成中保持角色身份的挑战，提出SlotMem框架，通过字符语义探测器定位视觉令牌，记忆编码器压缩记忆，记忆写入器更新记忆，逐角色交叉注意力检索记忆，提升了远程角色一致性与视频质量。

AcoustiTrace: When Plausible Sound Violates Physics

AcoustiTrace：看似合理的声音为何违背物理规律

Shiyang Li, Yuewen Cao, Yihao Liu, Yuandong Pu, Baochang Zhang, Xiaofei Li, Changqing Zou

专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.MM

AI总结 该研究提出AcoustiTrace诊断基准，从八个声学维度评估T2AV和I2AV生成，构建相关数据集与评估器，发现领先模型仍难符合基础声学规律，其诊断可指导模型优化与新方向探索。