视频大模型

Beyond Rigid: Benchmarking Non-Rigid Video Editing

超越刚性：非刚性视频编辑基准测试

Bingzheng Qu, Xuefeng Bai, Kehai Chen, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出NRVBench诊断基准，通过物理感知评估框架揭示传统指标在非刚性视频编辑中的不足，并引入VM-Edit基线分析稳定性-可塑性权衡。

Native Audio-Visual Alignment for Generation

原生音视频对齐生成

Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

机构 * ERNIE Team, Baidu Inc.（百度公司ERNIE团队） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出NAVA框架，通过原生音视频对齐和上下文条件联合去噪，实现高质量、同步且可控的音视频生成。

Comments Project page: https://ernie-research.github.io/NAVA/

Nano World Models: A Minimalist Implementation of Future Video Prediction

纳米世界模型：未来视频预测的极简实现

Siqiao Huang, Partha Kaushik, Michael Chen, Hengkai Pan, Kaiwen Geng, Omar Chehab, Fernando Moreno-Pino, Max Simchowitz

机构 * DeepMind 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出Nano World Models，一个基于扩散强迫的极简代码库，用于未来视频预测，支持可控研究世界模型的设计选择，并通过实验分析预测参数化、架构规模等因素对视频预测质量的影响。

Comments Project page: https://simchowitzlabpublic.github.io/nano-world-model/

Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

Gamma-World: 超越双玩家的生成式多智能体世界建模

Fangfu Liu, Kai He, Tianchang Shen, Tianshi Cao, Sanja Fidler, Yueqi Duan, Jun Gao, Igor Gilitschenski, Zian Wang, Xuanchi Ren

机构 * NVIDIA ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一种生成式多智能体世界模型，通过Simplex Rotary Agent Encoding实现智能体置换等价性，并采用Sparse Hub Attention降低跨智能体注意力成本，支持多玩家交互视频生成。

Comments Project Page: https://research.nvidia.com/labs/sil/projects/gamma-world

Xiaomi Auto World Model: A Joint World Model Integrating Reconstruction and Generation for Autonomous Driving

小米自动驾驶世界模型：一个融合重建与生成的联合世界模型

Lijun Zhou, Hongcheng Luo, Zhenxin Zhu, Cheng Chi, Mingfei Tu, Kaixin Xiong, Lei Gong, Zhanqian Wu, Zehan Zhang, Fangzhen Li, Hao Li, Yingying Shen, Jiale He, Haohui Zhu, Shan Zhao, Kai Wang, Zhiwei Zhan, Yuechuan Pu, Kaiyuan Tan, Ruiling Yang, Xianqi Wang, Tianyi Yan, Jiawei Zhou, Lei Zhang, Jingyang Zhao, Xi Zhou, Chitian Sun, Chenming Wu, Jiong Deng, Hongwei Xie, Ming Lu, Kun Ma, Long Chen, Guang Chen, Hangjun Ye, Bing Wang, Haiyang Sun

机构 * Xiaomi（小米） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一个统一技术系统，通过稀疏场景查询驱动的重建模块WorldRec和两阶段训练框架WorldGen，实现高保真3D场景表示与高质量因果视频生成，并联合优化以提升生成稳定性、跨帧一致性和视觉保真度。

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

What-If World: 具身场景中通用世界模型的因果基准

Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

机构 * UCLA（加州大学洛杉矶分校） ； University of Tennessee（田纳西大学） ； Amazon（亚马逊） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出 What-If World 基准，通过成对提示测试视频生成模型在物理变化下的因果一致性，发现现有模型在因果干预上表现不佳。

Comments 38 pages, World Model Benchmark

RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?

RE-TRIANGLE：TRIANGLE 在检索中能否实现超越余弦相似度的多模态对齐？

Arijit Ghosh, Aritra Bandyopadhyay, Chiranjeev Bindra, Jingfen Qiao

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 本文复现 TRIANGLE 框架，验证其通过最小化超球面上模态三元组面积实现多模态对齐的几何目标在检索任务中的鲁棒性，发现其在零样本设置下优于成对基线，但存在优化不稳定和领域依赖问题。

LongCat-Video-Avatar 1.5 Technical Report

LongCat-Video-Avatar 1.5 技术报告

Meituan LongCat Team, Xunliang Cai, Meng Cheng, Feng Gao, Zhe Kong, Jiamu Li, Le Li, Weiheng Li, Hongyu Liu, Shuai Tan, Xiaoming Wei, Tianyu Yang, Yong Zhang

机构 * Meituan LongCat Team（美团LongCat团队） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出 LongCat-Video-Avatar 1.5，一个通过升级音频编码器、优化训练策略、数据筛选和RLHF训练实现高精度唇同步、全身时间稳定性和长视频生成的开放框架，在多个基准测试中达到或超越商业系统性能。

Comments Homepage: https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/ Github: https://github.com/meituan-longcat/LongCat-Video

AnyScene: Towards Highly Controllable Driving Scene Generation at Anywhere and Beyond

AnyScene: 迈向高度可控的任意位置驾驶场景生成及超越

Haiming Zhang, Junfei Zhou, Feng Jiang, Jingzhong Li, Zhenglong Guo, Penglin Dai, Jifeng Dai, Yan Xie, Benjin Zhu

机构 * Li Auto（利汽车） ； Southwest Jiaotong University（西南交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出AnyScene框架，通过时空占用扩散Transformer和几何引导视图扩展模块，实现从BEV布局生成语义占用序列和参考无关的多视角驾驶视频，支持精确可控和长时生成。

Comments Work in progress. Project page: https://mind-omni.github.io/

Toward Native Multimodal Modeling: A Roadmap

迈向原生多模态建模：路线图

Siyu An, Junru Lu, Junnan Dong, Qiufeng Wang, Yinghui Li, Weizhi Fei, Zichao Yu, Zheng Yuan, Biao Liu, Haopeng Wang, Renzhao Liang, Yixuan Yang, Yunhang Shen, Bo Ke, Keyu Chen, Linhao Luo, Difan Zou, Xiao Huang, Di Yin, Ruizhi Qiao, Xing Sun

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； University of Warwick（沃林汉大学） ； Monash University（墨尔本大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出从非原生多模态范式向原生多模态建模（NMM）过渡的正式路线图，通过输入-输出二元性分类现有模型，并系统探讨架构协调、数据整理、训练推理及评估的全栈工业级方案。

Comments 52 pages, 5 figures, 3 tables, ~300 references

Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

Smart-Insertion-V: 通过闭环反馈双流框架实现逼真的视频插入

Xiao Cao, Yansong Qu, Xiangzhen, Chang, Wen Xiao, Jiakui Hu, Heyuan Li, Jialun Liu, Zhiyong Huang, Xuelong Li

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一种端到端双流框架Smart-Insertion-V，通过闭环反馈机制和双世界视角旋转位置编码解决参考对象与源视频风格域差异大的问题，实现无需掩码的逼真视频对象插入。

EgoInteract: Synthetic Egocentric Videos Generation for Interaction Understanding and Anticipation

EgoInteract: 用于交互理解和预测的合成自我中心视频生成

Rosario Leonardi, Francesco Ragusa, Daniele Materia, Alessandro Passanisi, James Fort, Jakob Engel, Giovanni Maria Farinella

机构 * Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系） ； Next Vision s.r.l.（Next Vision公司） ； Reality Labs Research, Meta（Meta现实实验室） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出EgoInteract可控模拟器，生成带密集时空标注的合成自我中心视频，用于动作分割、下一活动物体检测、交互预测和手物交互检测，在多个真实基准上提升性能。

VDE: Training-Free Accelerating Rectified Flow Model via Velocity Decomposition and Estimation

VDE: 通过速度分解与估计实现无训练加速整流流模型

Junwen Tan, Jinglin Liang, Hongyuan Chen, Shuangping Huang

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出速度分解与估计（VDE）方法，通过将模型速度分解为平行和正交分量并利用其时间可预测性和方向稳定性进行输入自适应估计，无需训练即可加速整流流模型，在图像和视频生成任务中实现显著加速且视觉质量损失极小。

Comments Accepted by CVPR 2026

GT-SVJ: Generative-Transformer-Based Self-Supervised Video Judge For Efficient Video Reward Modeling

GT-SVJ: 基于生成式Transformer的自监督视频评判器用于高效视频奖励建模

Shivanshu Shekhar, Uttaran Bhattacharya, Raghavendra Addanki, Mehrab Tanjim, Somdeb Sarkhel, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Adobe Inc.（Adobe公司） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出GT-SVJ，通过将视频生成模型重新用作能量模型，并利用对比目标训练，实现高效、时间感知的视频质量评估，在少量标注下达到SOTA。

One Sentence, One Drama: Personalized Short-Form Drama Generation via Multi-Agent Systems

一句话，一出戏剧：通过多智能体系统实现个性化短剧生成

Yufei Shi, Weilong Yan, Naixuan Huang, Yucheng Chen, Chenyu Zhang, Tao He, Si Yong Yeo, Ming Li

机构 * MedVisAI Lab, Lee Kong Chian School of Medicine, Nanyang Technological University（MedVisAI实验室，李光前医学院，南洋理工大学） ； National University of Singapore（新加坡国立大学） ； Beijing Institute of Technology（北京理工大学） ； Tsinghua University（清华大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Guangming Laboratory（光明实验室） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出了一种多智能体框架，通过结构化中间模块和迭代优化，将用户的单句想法转化为完整短剧，解决了短剧生成中的叙事节奏、空间一致性及生产质量控制问题。

RoadTones: Tone Controllable Text Generation from Road Event Videos

RoadTones: 从道路事件视频生成可调节语气的文本

Chirag Parikh, Siddhi Pravin Lipare, Ravi Kiran Sarvadevabhatla

机构 * CVIT & iHub-Data, IIIT Hyderabad, India（CVIT与iHub-Data，IIIT海得拉巴，印度） 纠错

专题命中 视频生成 ：video-language(abstract)；分类 cs.CV

AI总结 本文提出RoadTones-51K数据集和RoadTones-VL-CoT模型，通过生成语气条件的推理草稿提升可解释性，并引入RoadTones-Eval评估体系，共同为上下文敏感的可调节视频描述奠定基础。

Comments Accepted at CVPR Findings 2026. Project page: https://roadtones.github.io/

Lance: Unified Multimodal Modeling by Multi-Task Synergy

Lance：通过多任务协同实现统一多模态建模

Fengyi Fu, Mengqi Huang, Shaojin Wu, Yunsheng Jiang, Yufei Huo, Hao Li, Yinghang Song, Fei Ding, Jianzhu Guo, Qian He, Zheren Fu, Zhendong Mao, Yongdong Zhang

机构 * Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出Lance，一种轻量级的原生统一模型，支持图像和视频的多模态理解、生成和编辑。该模型通过协同多任务训练的实用范式实现统一多模态建模，基于统一上下文建模和解耦能力路径两个核心原则，通过双流混合专家架构实现联合上下文学习并解耦理解和生成路径。

Comments 34 pages, 14 figures, 10 tables, homepage url: https://lance-project.github.io , code url: https://github.com/bytedance/Lance

One-to-All Animation: Alignment-Free Character Animation and Image Pose Transfer

一对一动画：无对齐角色动画和图像姿态转换

Shijun Shi, Jing Xu, Zhihang Li, Chunli Peng, Xiaoda Yang, Lijing Lu, Kai Hu, Jiangning Zhang

机构 * Jiangnan University（江南大学） ； University of Science and Technology of China（中国科学技术大学） ； Chinese Academy of Sciences（中国科学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出了一种统一框架，用于高保真角色动画和图像姿态转换，解决了参考姿态错位问题，通过自监督补全任务和混合参考融合注意力机制提升生成质量。

Comments Project Page:https://ssj9596.github.io/one-to-all-animation-project/

SWEET: Sparse World Modeling with Image Editing for Embodied Task Execution

SWEET：基于图像编辑的稀疏世界建模用于具身任务执行

Yiren Song, Yihan Wang, Xiyao Deng, Zhuoran Yan, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） ； Central South University（中南大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文研究图像编辑模型能否作为稀疏视觉世界模型用于机器人操作，通过预测任务级未来状态而非密集视频生成，提出SWEET框架实现稀疏视觉规划，结合语言指令和空间引导生成关键帧，并通过扩散动作预测器生成可执行动作，实验表明其在不同场景中提升关键帧预测能力。

Aurora: Unified Video Editing with a Tool-Using Agent

Aurora: 一种基于工具使用的统一视频编辑框架

Yongsheng Yu, Ziyun Zeng, Zhiyuan Xiao, Zhenghong Zhou, Hang Hua, Wei Xiong, Jiebo Luo

机构 * MIT-IBM（MIT-IBM研究院） ； NVIDIA（NVIDIA公司） 纠错

专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出Aurora框架，通过结合增强的视觉语言模型（VLM）代理和统一视频扩散变换器，解决视频编辑中的文本和视觉不充分问题，提升了视频编辑的灵活性和准确性。

Comments Code: https://github.com/yeates/Aurora

InstructAV2AV: Instruction-Guided Audio-Video Joint Editing

InstructAV2AV：基于指令的音频视频联合编辑

Haojie Zheng, Yixin Yang, Siqi Yang, Shuchen Weng, Boxin Shi

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Peking University（北京大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出InstructAV2AV，首个端到端的指令引导音频视频联合编辑框架，通过构建大规模音频视频编辑数据集InsAVE-80K和改进的生成模型，实现了更高质量的音频视频联合编辑。

PhyDetEx: Detecting and Explaining the Physical Plausibility of T2V Models

PhyDetEx: 检测和解释T2V模型的物理合理性

Zeqing Wang, Keze Wang, Lei Zhang

机构 * Zeqing Wang 1,3（王泽清 1,3） ； Keze Wang 1（王凯泽 1） ； Lei Zhang 2（张磊 2） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 本文提出PhyDetEx，通过构建PID数据集和轻量级微调方法，评估T2V模型在生成物理合理视频方面的性能，并发现尽管模型在视频生成上有所进步，但理解并遵循物理定律仍存在挑战。

Comments 23 pages, 10 figures

Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration

Soap2Soap：通过多智能体协作实现长 cinematic 视频重制

Yiren Song, Huilin Zhong, Kevin Qinghong Lin, Haofan Wang, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） ； University of Oxford（牛津大学） ； Lovart AI（Lovart人工智能） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本研究提出 Soap2Soap 框架，通过多智能体协作实现长 cinematic 视频重制，解决视频到视频生成中长期一致性与叙事保真度的问题。

DEVIS-GRPO: Unleashing GRPO on Dynamic Extreme View Synthesis

DEVIS-GRPO：释放GRPO用于动态极视合成

Yi Zuo, Huimin Wu, Lingling Li, Fang Liu, Licheng Jiao, Qing Li

机构 * Xidian University（西安电子科技大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（人工智能国家重点实验室，BIGAI） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出DEVIS-GRPO，一种基于GRPO的框架，用于轨迹控制的视频生成，是首个在线策略梯度方法用于极视视频生成。核心方法是新颖的采样策略ADEVIS，通过逐步积累小视增量实现大视运动，提高了训练效率和采样多样性。

DiLA: Disentangled Latent Action World Models

DiLA：解耦的潜在动作世界模型

Tianqiu Zhang, Muyang Lyu, Yufan Zhang, Fang Fang, Si Wu

机构 * Peking-Tsinghua Center for Life Sciences, Academy for Advanced Interdisciplinary Studies, IDG/McGovern Institute for Brain Research, Peking University（北京大学-清华生命科学中心，先进跨学科研究院，IDG/麦克戈文脑科学研究院，北京大学） ； Center of Quantitative Biology, Peking University（北京大学定量生物学中心） ； School of Psychological and Cognitive Sciences, Key Laboratory of Machine Perception (Ministry of Education), Peking University（心理与认知科学学院，机器感知重点实验室（教育部），北京大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 DiLA通过内容-结构解耦解决动作抽象与生成保真度的平衡问题，实现高质量视频生成和动作迁移。

Comments Project Page: http://disentangled-latent-action-world-models.github.io

RefDecoder: Enhancing Visual Generation with Conditional Video Decoding

RefDecoder：通过条件视频解码增强视觉生成

Xiang Fan, Yuheng Wang, Bohan Fang, Zhongzheng Ren, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出RefDecoder，通过引入高保真参考图像信号提升视频生成质量，改进解码器结构以保持结构完整性，在多个基准测试中取得显著提升。

Sat3DGen: Comprehensive Street-Level 3D Scene Generation from Single Satellite Image

Sat3DGen：从单张卫星图像生成全面的街景3D场景

Ming Qian, Zimin Xia, Changkun Liu, Shuailei Ma, Wen Wang, Zeran Ke, Bin Tan, Hang Zhang, Gui-Song Xia

机构 * LIESMARS & School of Artificial Intelligence, Wuhan University（珞珈实验室与武汉大学人工智能学院） ； EPFL（苏黎世联邦理工学院） ； HKUST（香港科技大学） ； Northeastern University（东北大学） ； Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Amap, Alibaba Group（高德地图，阿里巴巴集团） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出Sat3DGen，通过几何优先方法提升从单张卫星图像生成高精度3D场景的性能，改进几何精度和真实感，并在新基准上验证其效果。

Comments ICLR 2026; code: https://github.com/qianmingduowan/Sat3DGen demo: https://huggingface.co/spaces/qian43/Sat3DGen project page: https://qianmingduowan.github.io/Sat3DGen_project_page/

RoboEvolve: Co-Evolving Planner-Simulator for Robotic Manipulation with Limited Data

RoboEvolve：用于有限数据的机器人操作共进化规划-模拟器

Harold Haodong Chen, Sirui Chen, Yingjie Xu, Wenhang Ge, Ying-Cong Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 RoboEvolve通过共进化循环提升机器人操作性能，利用无标签种子图像实现高效数据生成，显著提升规划和模拟效果，同时表现出极高的数据效率和持续学习能力。

Comments On-going work

Enhancing Domain Generalization in 3D Human Pose Estimation through Controllable Generative Augmentation

通过可控生成增强在3D人体姿态估计中的领域泛化

Xinhao Hu, Yiyi Zhang, Liqing Zhang, Jianfu Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出可控人体姿态生成框架，通过系统变化姿态、背景和摄像机视角合成多样化视频数据，增强训练集多样性，提升模型泛化能力，验证了在处理领域差异方面的有效性。

From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation

从想象的未来到可执行的动作：用于机器人操作的潜在动作混合

Yajie Li, Bozhou Zhang, Chun Gu, Zipei Ma, Jiahui Zhang, Jiankang Deng, Xiatian Zhu, Li Zhang

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Shanghai Innovation Institute（上海创新研究院） ； Imperial College London（伦敦帝国理工学院） ； University of Surrey（萨里大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出MoLA，一种面向控制的接口，将想象的未来视频转化为可执行的表示，通过混合预训练的逆动力学模型，提升机器人操作的稳定性和通用性。

Comments ICML 2026