视频大模型

Gen2Balance: Generative Balancing for Long-Tailed Video Action Recognition

Gen2Balance：面向长尾视频动作识别的生成式平衡方法

Prajwal Gatti, Simon Jenni, Fabian Caba Heilbron, Dima Damen

机构 * University of Bristol（布里斯托大学） ； Adobe Research（Adobe 研究院） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 提出Gen2Balance方法，利用文本到视频生成模型将长尾训练集平衡为真实与生成视频的混合，结合两阶段训练策略缓解域偏移，在长尾基准上显著提升动作识别准确率。

Comments ECCV 2026

NEXUS: Neural Energy Fields for Physically Consistent Contact-Rich 3D Object Dynamics

NEXUS: 用于物理一致的高接触3D物体动力学的神经能量场

Qizhen Ying, Guangming Wang, Yangchen Pan, Victor Adrian Prisacariu, Brian Sheil, Yixiong Jing

机构 * University of Oxford（牛津大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出神经能量场框架NEXUS，通过标量能量和耗散项建模保守与非保守动力学，提升高接触3D场景下的长时程轨迹精度并指导视频生成。

Comments 18 pages, 4 figures, 6 tables. Preprint

Semantic Satellite Communications for Synchronized Audiovisual Reconstruction

面向同步视听重建的语义卫星通信

Fangyu Liu, Peiwen Jiang, Wenjin Wang, Xiao Li, Shi Jin

专题命中 视频生成 ：video generation(abstract)；分类 eess.IV

AI总结 提出自适应多模态语义传输系统，通过双流生成架构和动态关键帧更新机制，在带宽受限的卫星场景下实现高质量同步视听重建，显著降低带宽消耗并提升鲁棒性。

Physics-IQ Verified

物理智力验证

Tim Rädsch, Yuki M Asano, Hilde Kuehne, Stefan Bauer, Priyank Jaini, Robert Geirhos, Carsten T. Lüth

机构 * Anates Labs（Anates实验室） ； Technical University of Munich（慕尼黑技术大学） ； University of Technology Nuremberg（纽伦堡技术大学） ； Tuebingen AI Center, University of Tuebingen（图宾根大学人工智能中心） ； Helmholtz AI, Munich（慕尼黑海德堡人工智能研究所） ； Google DeepMind research（谷歌DeepMind研究） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出Physics-IQ Verified基准，通过改进提示和地面真实质量及引入样本级评分系统，提升视频生成模型对物理现实的理解评估，验证结果表明基准提升了57.6%的样本和34.8%的提示。

RGFVR: Reference-Guided Face Video Restoration with Flow Matching

RGFVR: 基于参考引导的流匹配人脸视频修复

Cem Eteke, Batuhan Tosun, Eckehard Steinbach

机构 * Chair of Media Technology, Munich Institute of Robotics and Machine Intelligence, School of Computation, Information, and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院慕尼黑机器人与机器智能研究所媒体技术教席） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 提出一种主体无关的参考引导框架，通过双模态感知-描述身份条件注入预训练流匹配文本到视频生成器，结合两阶段训练策略，在降采样、模糊、噪声和压缩伪影等退化下提升人脸视频修复的保真度、时间一致性和身份保持。

Training-free sparse attention based on cumulative energy filtering

基于累积能量过滤的无训练稀疏注意力

Chunlu Li, Yixuan Pan, Bai Du, Zhenyuan Chen, Yanzhao Li, Hui Dong, Hui Wang, Zhiqiang Zou

机构 * Huawei Technologies（华为技术有限公司） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出动态阈值策略，在保持固定召回率的同时提高稀疏性，并与Flash Attention深度集成，无需额外掩码计算，在Wan 2.2上稀疏度从61.42%提升至82%，VBench指标下降小于5%。

Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation

Metis: 一种用于自动驾驶和城市导航的通用高效世界-动作模型

Jingyu Li, Zhe Liu, Dongnan Hu, Junjie Wu, Zipei Ma, Wenxiao Wu, Chao Han, Zhihui Hao, Zhikang Liu, Kun Zhan, Jiankang Deng, Xiatian Zhu, Li Zhang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； The University of Hong Kong（香港大学） ； Tongji University（同济大学） ； Li Auto Inc.（理想汽车） ； Huazhong University of Science and Technology（华中科技大学） ； Imperial College London（伦敦帝国理工学院） ； University of Surrey（萨里大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出Metis框架，通过解耦视频生成与动作预测，采用混合专家架构和不对称注意力掩码，实现高效推理与泛化，在多个导航基准上取得最优性能。

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

OmniDirector: 无需配对数据的通用多镜头相机克隆

Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

机构 * Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出OmniDirector框架，通过将相机参数编码为网格运动视频，并利用百万级配对数据训练，实现无需交叉配对数据的多镜头相机运动克隆，具备卓越的控制性能。

Comments 12 pages, 8 figures

World Model Self-Distillation: Training World Models to Solve General Tasks

世界模型自蒸馏：训练世界模型以解决通用任务

Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出结合自蒸馏与强化学习的框架，从预训练视频生成器中提取任务解决能力，无需配对任务视频，在基准测试中超越原始模型。

Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding

基于时空场景图基础的计划与验证视频奖励推理

Hyomin Kim, Junghye Kim, Joanie Hayoun Chung, Yoonjin Oh, Kyungjae Lee, Sungbin Lim, Sungwoong Kim

机构 * Korea University（高丽大学） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 提出SG-PVR视频奖励模型，通过计划-验证推理和时空场景图，系统验证提示中的每个条件，实现细粒度语义对齐，提升文本到视频生成的组合对齐。

Next Forcing: Causal World Modeling with Multi-Chunk Prediction

Next Forcing: 基于多块预测的因果世界建模

Gangwei Xu, Qihang Zhang, Jiaming Zhou, Xing Zhu, Yujun Shen, Xin Yang, Yinghao Xu

机构 * Robbyant ； HUST（华中科技大学） ； HKUST（香港科技大学） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出Next Forcing框架，通过多块预测训练目标加速视频生成模型收敛、提升精度并实现推理加速，在多个基准上取得最优结果。

Comments Project page: https://gangweix.github.io/next-forcing/

AnimaSpark: A Feed-Forward Method for Animating Arbitrary 3D Objects

AnimaSpark: 一种用于任意3D对象动画的前馈方法

Yiming Zhao, Haoyu Sun, Aoyu Wang

机构 * Bytedance（字节跳动） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出AnimaSpark管道，通过将带骨骼的3D模型渲染为多层图像表示，输入视频生成模型，再提取2D关键点运动并提升至3D空间，实现类别无关的3D动画生成，在文本-运动对齐、运动质量和计算效率上优于现有方法。

Latent Spatial Memory for Video World Models

视频世界模型的潜在空间记忆

Weijie Wang, Haoyu Zhao, Yifan Yang, Feng Chen, Zeyu Zhang, Yefei He, Zicheng Duan, Donny Y. Chen, Yuqing Yang, Bohan Zhuang

机构 * Zhejiang University（浙江大学） ； Microsoft Research（微软研究院） ； Adelaide University（阿德莱德大学） ； Monash University（莫纳什大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出潜在空间记忆框架Mirage，通过在扩散潜在空间中直接构建和查询3D缓存，避免像素空间重建，实现高效视频生成，速度提升10.57倍，内存减少55倍。

Comments Project Page: https://aka.ms/latent-spatial-memory, Code: https://github.com/microsoft/LatentSpatialMemory

Beyond Consistency: Preserving Temporal Structure in Zero-Shot Video Editing

超越一致性：在零样本视频编辑中保留时间结构

Deyin Liu, Yisheng Ding, Zhe Jin, Xiatian Zhu, Anjan Dutta, Lin Wu

机构 * Anhui University（安徽大学） ； University of Surrey（萨里大学） ； University of Warwick（华威大学） 纠错

专题命中 视频生成 ：long video(abstract)；分类 cs.CV

AI总结 提出一种零样本视频编辑方法，通过自适应分割视频片段、选取锚帧和令牌合并策略，首次显式保留源视频的时间结构，平衡编辑保真度与计算效率。

Journal ref Pattern Recognition, Vol. 180, 2026

DisCo: World Models with Discrete Camera Motion Control

DisCo: 具有离散相机运动控制的世界模型

Hongrui Huang, Junke Wang, Quanhao Li, Yu-Gang Jiang, Zuxuan Wu

机构 * Fudan University（复旦大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出DisCo，通过离散动作原语替代连续相机轨迹作为条件，解决可控视频生成中动作表示纠缠问题，提升动作跟随可靠性，并引入DisCoBench基准。

Optimizing Few-Step Generation with Adaptive Matching Distillation

自适应匹配蒸馏优化少步生成

Lichen Bai, Zikai Zhou, Shitong Shao, Wenliang Zhong, Shuo Yang, Shuo Chen, Bojun Chen, Zeke Xie

机构 * xLeaF Lab, The Hong Kong University of Science（xLeaF实验室，香港科学与技术大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学，深圳） ； School of Intelligence Science（智能科学学院） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出自适应匹配蒸馏（AMD），通过奖励代理检测并逃离禁止区域，结合结构信号分解和排斥景观锐化，提升少步生成模型的样本保真度和训练鲁棒性。

Comments 25 pages, 15 figures, 11 tables

Controllable Dynamic 3D Shape Generation via 3D Trajectories and Text

基于3D轨迹和文本的可控动态3D形状生成

Jaeyeong Kim, Ines Kim, Jahyeok Koo, Seungryong Kim

机构 * KAIST AI Project（韩国科学技术院人工智能项目） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出T2Mo前馈框架，通过3D轨迹和文本条件生成可控动态3D形状，采用形状接地轨迹嵌入处理任意配置轨迹，实现空间精确跟随与全局语义一致。

Comments Project page: https://cvlab-kaist.github.io/T2Mo/

Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

重新平衡参考帧主导性以改善图像到视频模型中的运动

Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

机构 * Yonsei University（延世大学） ； GIST（韩国科学技术院） ； Adobe Research（Adobe研究） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 针对图像到视频模型生成视频过于静态的问题，提出无需训练且模型无关的DyMoS方法，通过重新平衡去噪初期生成帧对参考帧的注意力来增强运动，同时保持视觉质量和保真度。

Comments Preprint. Project page: https://sh0xed98b8.github.io/DyMoS/

From Zero to Hero: Training-Free Custom Concept Spawning in World Models

从零到英雄：世界模型中的免训练自定义概念生成

Kiymet Akdemir, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出SPAWN方法，利用图像到视频骨干网络的结构特性，通过交换参考帧锚点与外部概念潜变量，实现无需训练即可在世界模型中生成用户指定的视觉概念。

An Attribute-Based Measure of Video Complexity

基于属性的视频复杂度度量

Aditya Sarkar, Yi Li, Zihao Wang, Jiacheng Cheng, Sai Vidyaranya Nuthalapati, Aashu Singh, Shlok Kumar Mishra, David Jacobs, Nuno Vasconcelos

机构 * UMIACS-University of Maryland College Park（马里兰大学College Park分校UMIACS） ； University of California San Diego（加州大学圣地亚哥分校） ； Yale University（耶鲁大学） ； Meta AI 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出VideoABC框架，通过属性空间量化估计视频-问题对在视频大语言模型上的失败概率，实现非参数复杂度度量。

OptiWorld: Optimal Control for Video World Generation under Physical Constraints

OptiWorld: 物理约束下的视频世界生成最优控制

Yu Yuan, Jianhao Yuan, Xijun Wang, Daiqing Li, Liu He, Lu Ling, Stanley H. Chan

机构 * Purdue University（普渡大学） ； University of Oxford（牛津大学） ； SixteenMiles Labs（SixteenMiles 实验室） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出OptiWorld框架，在推理时结合经典最优控制与视频生成，通过提取紧凑世界状态、规划最优轨迹并生成条件视频，实现符合物理约束的动态优化。

Comments Porject Page: https://yuyuanspace.com/OptiWorld/

Pinterest Canvas: Large-Scale Image Generation at Pinterest

Pinterest Canvas: Pinterest 的大规模图像生成系统

Yu Wang, Eric Tzeng, Raymond Shiau, Jie Yang, Dmitry Kislyuk, Charles Rosenberg

机构 * Pinterest, Inc.（Pinterest公司） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出 Pinterest Canvas，一个基于扩散模型的大规模图像生成系统，通过基础模型微调为特定任务（如背景增强和宽高比外扩）生成专用模型，并在线上实验中分别获得18.0%和12.5%的参与度提升。

Comments Accepted by KDD 2026 Applied Data Science Track

Beyond Rigid: Benchmarking Non-Rigid Video Editing

超越刚性：非刚性视频编辑基准测试

Bingzheng Qu, Xuefeng Bai, Kehai Chen, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出NRVBench诊断基准，通过物理感知评估框架揭示传统指标在非刚性视频编辑中的不足，并引入VM-Edit基线分析稳定性-可塑性权衡。

Native Audio-Visual Alignment for Generation

原生音视频对齐生成

Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

机构 * ERNIE Team, Baidu Inc.（百度公司ERNIE团队） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出NAVA框架，通过原生音视频对齐和上下文条件联合去噪，实现高质量、同步且可控的音视频生成。

Comments Project page: https://ernie-research.github.io/NAVA/

Nano World Models: A Minimalist Implementation of Future Video Prediction

纳米世界模型：未来视频预测的极简实现

Siqiao Huang, Partha Kaushik, Michael Chen, Hengkai Pan, Kaiwen Geng, Omar Chehab, Fernando Moreno-Pino, Max Simchowitz

机构 * DeepMind 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出Nano World Models，一个基于扩散强迫的极简代码库，用于未来视频预测，支持可控研究世界模型的设计选择，并通过实验分析预测参数化、架构规模等因素对视频预测质量的影响。

Comments Project page: https://simchowitzlabpublic.github.io/nano-world-model/

Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

Gamma-World: 超越双玩家的生成式多智能体世界建模

Fangfu Liu, Kai He, Tianchang Shen, Tianshi Cao, Sanja Fidler, Yueqi Duan, Jun Gao, Igor Gilitschenski, Zian Wang, Xuanchi Ren

机构 * NVIDIA ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一种生成式多智能体世界模型，通过Simplex Rotary Agent Encoding实现智能体置换等价性，并采用Sparse Hub Attention降低跨智能体注意力成本，支持多玩家交互视频生成。

Comments Project Page: https://research.nvidia.com/labs/sil/projects/gamma-world

Xiaomi Auto World Model: A Joint World Model Integrating Reconstruction and Generation for Autonomous Driving

小米自动驾驶世界模型：一个融合重建与生成的联合世界模型

Lijun Zhou, Hongcheng Luo, Zhenxin Zhu, Cheng Chi, Mingfei Tu, Kaixin Xiong, Lei Gong, Zhanqian Wu, Zehan Zhang, Fangzhen Li, Hao Li, Yingying Shen, Jiale He, Haohui Zhu, Shan Zhao, Kai Wang, Zhiwei Zhan, Yuechuan Pu, Kaiyuan Tan, Ruiling Yang, Xianqi Wang, Tianyi Yan, Jiawei Zhou, Lei Zhang, Jingyang Zhao, Xi Zhou, Chitian Sun, Chenming Wu, Jiong Deng, Hongwei Xie, Ming Lu, Kun Ma, Long Chen, Guang Chen, Hangjun Ye, Bing Wang, Haiyang Sun

机构 * Xiaomi（小米） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一个统一技术系统，通过稀疏场景查询驱动的重建模块WorldRec和两阶段训练框架WorldGen，实现高保真3D场景表示与高质量因果视频生成，并联合优化以提升生成稳定性、跨帧一致性和视觉保真度。

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

What-If World: 具身场景中通用世界模型的因果基准

Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

机构 * UCLA（加州大学洛杉矶分校） ； University of Tennessee（田纳西大学） ； Amazon（亚马逊） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出 What-If World 基准，通过成对提示测试视频生成模型在物理变化下的因果一致性，发现现有模型在因果干预上表现不佳。

Comments 38 pages, World Model Benchmark

RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?

RE-TRIANGLE：TRIANGLE 在检索中能否实现超越余弦相似度的多模态对齐？

Arijit Ghosh, Aritra Bandyopadhyay, Chiranjeev Bindra, Jingfen Qiao

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 本文复现 TRIANGLE 框架，验证其通过最小化超球面上模态三元组面积实现多模态对齐的几何目标在检索任务中的鲁棒性，发现其在零样本设置下优于成对基线，但存在优化不稳定和领域依赖问题。

LongCat-Video-Avatar 1.5 Technical Report

LongCat-Video-Avatar 1.5 技术报告

Meituan LongCat Team, Xunliang Cai, Meng Cheng, Feng Gao, Zhe Kong, Jiamu Li, Le Li, Weiheng Li, Hongyu Liu, Shuai Tan, Xiaoming Wei, Tianyu Yang, Yong Zhang

机构 * Meituan LongCat Team（美团LongCat团队） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出 LongCat-Video-Avatar 1.5，一个通过升级音频编码器、优化训练策略、数据筛选和RLHF训练实现高精度唇同步、全身时间稳定性和长视频生成的开放框架，在多个基准测试中达到或超越商业系统性能。

Comments Homepage: https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/ Github: https://github.com/meituan-longcat/LongCat-Video