视频大模型

VideoGPA: Distilling Geometry Priors for 3D-Consistent Video Generation

VideoGPA: 通过几何先验知识蒸馏实现3D一致的视频生成

Hongyang Du, Junjie Ye, Xiaoyan Cong, Runhao Li, Jingcheng Ni, Aman Agarwal, Zeqi Zhou, Zekun Li, Randall Balestriero, Yue Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 VideoGPA通过几何先验知识蒸馏提升视频生成的3D一致性，利用数据高效的自监督框架引导视频扩散模型，显著增强时间稳定性、几何合理性与运动一致性。

Comments 8 pages, 5 figures, ICML 2026

LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing

LoomVideo: 统一多模态输入到视频生成与编辑

Jianzong Wu, Hao Lian, Jiongfan Yang, Dachao Hao, Ye Tian, Yunhai Tong, Jingyuan Zhu, Biaolong Chen, Qiaosong Qi, Aixi Zhang, Wanggui He, Mushui Liu, Jinlong Liu, Pipei Huang, Hao Jiang

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出LoomVideo，一种5B参数的高效统一架构，通过多模态大语言模型和零开销Scale-and-Add条件机制，实现视频生成与编辑，显著降低计算复杂度并加速推理。

VidCRAFT3: Camera, Object, and Lighting Control for Image-to-Video Generation

VidCRAFT3: 面向图像到视频生成的相机、物体与光照控制

Sixiao Zheng, Zimian Peng, Yanpeng Zhou, Yi Zhu, Hang Xu, Xiangru Huang, Yanwei Fu

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Shanghai Innovation Institute（上海创新研究院） ； Zhejiang University（浙江大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Westlake University（西湖大学） ； School of Data Science and MOE Frontiers Center for Brain Science, Fudan University（复旦大学数据科学学院和脑科学前沿中心） ； Fudan ISTBI–ZJNU Algorithm Centre for Brain-inspired Intelligence, Zhejiang Normal University（复旦大学-浙江师范大学脑启发智能算法中心） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV、cs.MM

AI总结 提出VidCRAFT3框架，通过显式建模几何、运动与光照的跨因素交互，实现对相机运动、物体运动和光照方向的独立或联合控制，在控制精度和视觉一致性上达到最优。

Comments Accepted to TVCG 2026

Flash-VAED: Plug-and-Play VAE Decoders for Efficient Video Generation

Flash-VAED: 用于高效视频生成的即插即用VAE解码器

Lunjie Zhu, Yushi Huang, Xingtong Ge, Yufei Xue, Zhening Liu, Yumeng Zhang, Zehong Lin, Jun Zhang

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 Flash-VAED通过通道剪枝和分阶段运算优化，实现了高效视频生成的高质量与高速度平衡。

Comments Accepted by ICML 2026

AptAvatar: Fast and Vivid Long-Form Audio-Driven Video Generation for Production-Ready Avatars

AptAvatar：用于生产就绪头像的快速且生动的长格式音频驱动视频生成

Hengyuan Zhang, Jingna Sun, Meiguang Jin, Junfeng Ma

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 研究生产就绪的音频驱动头像生成，提出AptAvatar框架，通过端点锚定分布蒸馏和自生成历史重放方法，实现快速且生动的长格式视频生成，仅用2次归一化流评估，加速60倍且保持视觉保真度和长跨度身份。

Comments 9 pages, 5 figures

Measuring 3D Spatial Geometric Consistency in Dynamic Video Generation

动态生成视频中3D空间几何一致性的测量

Weijia Dou, Wenzhao Zheng, Weiliang Chen, Yu Zheng, Jie Zhou, Jiwen Lu

机构 * Tongji University（同济大学） ； Tsinghua University（清华大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 本文提出SGC指标，用于评估动态生成视频中的3D空间几何一致性，通过分析多个相机姿态的分歧度来量化几何不一致问题，实验证实其能有效识别现有方法遗漏的关键故障。

Comments Accepted at ECCV 2026. Code is available at https://github.com/tj12323/SGC

StreamEdit: Training-Free Video Editing via Few-Step Streaming Video Generation

StreamGVE: 无需训练的视频编辑通过少步流式视频生成

Guanlong Jiao, Chenyangguang Zhang, Jia Jun Cheng Xian, Zewei Zhang, Renjie Liao

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； ETH Zürich（苏黎世联邦理工学院） ； McMaster University（麦马斯特大学） ； Vector Institute（向量研究所） ； Canada CIFAR AI Chair（加拿大 CIFAR 人工智能主席） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 本文提出StreamGVE，一种基于噪声到数据视角的视频编辑方法，通过引入双分支快速采样和自注意力桥接以及交叉注意力接地/增强，实现了高效的视频编辑，能够在少步设置中优于现有方法。

Comments ECCV 2026. Project Page: https://dsl-lab.github.io/StreamEdit/

AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

AR-CoPO: 利用对比策略优化对齐自回归视频生成

Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多媒体实验室） ； Vivix Group Limited（Vivix集团有限公司） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； CPII under InnoHK（InnoHK下的CPII） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 提出AR-CoPO框架，通过分叉机制构建邻域候选、分块级对齐和半在线训练策略，解决流式自回归视频生成中RLHF对齐难题，提升跨域泛化与人类偏好对齐。

Comments ECCV 2026

Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

通过高级模态条件与交互驯服文本到发声视频生成

Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao

机构 * Renmin University of China（中国人民大学） ； Apple（苹果公司） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 提出分层视觉基础字幕框架（HVGC）生成解耦的视频和音频字幕，并基于此引入双塔扩散变换器BridgeDiT，通过双交叉注意力机制实现对称双向信息交互，在三个基准数据集上达到最先进结果。

Comments The 19th European Conference on Computer Vision -- ECCV 2026

Auteur: Language-Driven Cinematographic Framing for Human-Centric Video Generation

Auteur: 以语言驱动的电影化取景实现以人为中心的视频生成

Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Xuelin Chen, Erkut Erdem, Aykut Erdem, Duygu Ceylan

机构 * Koç University（科克大学） ； University College London（伦敦大学学院） ； Adobe（Adobe公司） ； Hacettepe University（哈切特佩大学） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 提出Auteur方法，通过将相机运动参数化为以人为中心的取景（包括镜头尺寸、角度和构图），并利用领域特定语言（DSL）和微调的多模态大语言模型，实现语言驱动的电影化取景，在人类中心视频生成中优于现有方法。

Comments Project Page: https://cyberiada.github.io/Auteur/

SparSTAR: Sparse Attention for SpaceTime AutoRegressive Video Synthesis

SparSTAR：用于时空自回归视频合成的稀疏注意力机制

Jongbeom Lee, Hyunwoo Yu, Jincheol Yang, Jaemin Choi, Suk-Ju Kang

专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对InfinityStar视频合成中高成本注意力与不可靠稀疏模式问题，提出无需训练的SparSTAR块稀疏注意力，在720p生成任务中实现约1.6倍加速且保持高保真度。

Sekai2: From World Exploration to Interactive World Modeling

Sekai2：从世界探索到交互式世界建模

Kang He, Wenshuo Peng, Zihui Gao, Jiaming Tan, Kaipeng Zhang, Yongtao Ge

机构 * Alaya Lab（Alaya实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Wuhan University（武汉大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频生成 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究人员推出多源真实世界视频数据集Sekai2，其具备丰富观测数据与标注，可用于长时程视频生成、相机可控合成及交互式世界模型预训练。

Comments Sekai2 dataset technical report. Developed at Alaya Lab

MVHOI: Bridge Multi-view Condition to Complex Human-Object Interaction Video Reenactment via 3D Foundation Model

MVHOI: 通过3D基础模型桥接多视角条件与复杂人-物体交互视频重现

Jinguang Tong, Jinbo Wu, Kaisiyuan Wang, Zhelun Shen, Xuan Huang, Mochu Xiang, Xuesong Li, Yingying Li, Haocheng Feng, Chen Zhao, Hang Zhou, Wei He, Chuong Nguyen, Jingdong Wang, Hongdong Li

专题命中 视频生成 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文提出MVHOI框架，通过3D基础模型结合多视角参考条件，生成复杂人-物体交互视频，提升了长时视频生成的性能。

Comments Project page: https://mvhoi.hirotong.fun

Delving into Latent Spectral Biasing of Video VAEs for Superior Diffusability

深入探究视频VAE的潜在频谱偏置以实现更优的可扩散性

Shizhan Liu, Xinran Deng, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Jie Tang

机构 * Zhipu AI, Beijing, China（智谱AI，北京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文通过统计分析发现视频VAE潜在空间的频谱特性对扩散训练至关重要，提出局部相关正则化和潜在掩码重建两种轻量级正则化器，实现3倍收敛加速和10%视频奖励提升。

Timeripple: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space

Timeripple：通过理解潜在空间中的时空相关性加速视频扩散变换器

Wenxuan Miao, Yulin Sun, Aiyue Chen, Jing Lin, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Qizhi Institute（上海启智研究院） ； Huawei Technologies Co.,Ltd（华为技术有限公司） ； Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所） 纠错

专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 针对视频生成中vDiT模型推理延迟问题，利用潜在空间时空相关性，提出轻量级自适应重用策略，通过重用相关令牌部分注意力分数近似计算，相比现有技术计算节省85%，且视频质量损失小。

Generative Refinement Networks for Visual Synthesis

生成细化网络用于视觉合成

Jian Han, Jinlai Liu, Jiahuan Wang, Bingyue Peng, Zehuan Yuan

机构 * ByteDance（字节跳动） 纠错

专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出生成细化网络（GRN），通过近无损分层二进制量化解决离散化瓶颈，结合全局细化机制和熵引导采样策略，提升图像生成质量与效率。

Comments code: https://github.com/bytedance/GRN

InverseCrafter: Efficient Video ReCapture as a Latent Domain Inverse Problem

InverseCrafter：作为潜在域逆问题的高效视频重新捕捉

Yeobin Hong, Suhyeon Lee, Hyungjin Chung, Jong Chul Ye

机构 * Graduate School of AI, KAIST, South Korea（韩国釜山国立大学人工智能研究生院） ； EverEx, South Korea（韩国EverEx公司） ； Korea University, South Korea（韩国国立庆熙大学） 纠错

专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出InverseCrafter框架，将新视角视频生成转化为潜在空间基于图像修复的逆问题，通过轻量级潜在掩码编码器建立算子等价，无需标注4D训练数据，实现高效合成与编辑。

Comments ECCV 2026

NABLA: Neighborhood Adaptive Block-Level Attention

$\nabla$NABLA：邻域自适应块级注意力

Dmitrii Mikhailov, Aleksey Letunovskiy, Maria Kovaleva, Vladimir Arkhipkin, Vladimir Korviakov, Vladimir Polovnikov, Viacheslav Vasilev, Evelina Sidorova, Denis Dimitrov

专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出NABLA，一种邻域自适应块级注意力机制，通过自适应稀疏性驱动阈值减少计算开销，保持生成质量，无需定制低层运算符，可无缝集成PyTorch的Flex Attention。实验表明，NABLA在训练和推理速度上提升2.7倍，几乎不牺牲定量指标和视觉质量。

Journal ref IEEE Access, vol. 14, pp. 64655-64665, 2026

Qwen-Video-Edit: Instruction-Based Video Editing by Repurposing an Image Editing Model

Qwen-Video-Edit：通过复用图像编辑模型实现基于指令的视频编辑

Yunpeng Bai, Yossi Gandelsman, Michaël Gharbi, Qixing Huang

机构 * UT Austin（德克萨斯大学奥斯汀分校） ； Reve（Reve公司） 纠错

专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出Qwen-Video-Edit，通过复用Qwen-Image-Edit图像编辑模型，经少量适配实现基于指令的视频编辑，证明图像编辑先验可迁移至视频编辑任务。

Comments Project Page: https://yunpeng1998.github.io/Qwen-Video-Edit-Page Code: https://github.com/yunpeng1998/Qwen-Video-Edit Model: https://huggingface.co/yunpeng1998/Qwen-Video-Edit

SimWAM: A Simple World Action Model for End-to-End Autonomous Driving

SimWAM：一种用于端到端自动驾驶的简单世界动作模型

Zongchuang Zhao, Xin Zhou, Tianyang Xu, Zhengyang Sun, Kaixuan Zhou, Honglin Li, Dingkang Liang, Xiang Bai

机构 * Huazhong University of Science & Technology（华中科技大学） ； Dongfeng Research & Development Institute（东风研发院） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 SimWAM是一种仅将视频生成用作训练信号的简单WAM，通过联合流匹配协同训练视频与动作专家，在NAVSIM上达91.5 PDMS且延迟更低，可零样本迁移至nuScenes，为高效自动驾驶提供可靠基线。

Comments The code and model weights are available at https://github.com/H-EmbodVis/SimWAM/

DrivingWorld: Constructing World Model for Autonomous Driving via Video GPT

DrivingWorld：通过视频GPT构建自动驾驶领域的世界模型

Xiaotao Hu, Mingkai Jia, Xiaoyang Guo, Qian Zhang, Xiao-xiao Long, Wei Yin

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出名为DrivingWorld的自动驾驶GPT风格世界模型，通过时空融合等策略提升视频生成质量与时长，实现更优的可控未来视频生成效果。

Journal ref ICPR 2026

EvDiff: Event-Based Video Reconstruction using One-Step Diffusion Models

EvDiff：高质视频与事件相机

Weilun Li, Lei Sun, Ruixi Gao, Qi Jiang, Yuqin Ma, Kaiwei Wang, Ming-Hsuan Yang, Luc Van Gool, Danda Pani Paudel

机构 * Zhejiang University（浙江大学） ； INSAIT ； UC Merced（加州大学默塞德分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 EvDiff通过基于事件的扩散模型和替代训练框架，从单色事件流生成高质量彩色视频，提升视频生成的保真度和现实感。

Comments Replacement note: This manuscript has been transferred from the CVPR format to the ECCV 2026 format, with the corresponding title and template updated accordingly. The technical content remains largely unchanged from the previous version. (Current version: 21 pages, 6 figures, and 3 tables.) Accepted by ECCV 2026

Controllable Video Object Insertion via Multi-View Priors

通过多视角先验实现可控的视频物体插入

Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出一种通过多视角先验解决视频物体插入中外观不一致和遮挡问题的新方法，采用双路径视图一致条件机制和质量感知加权机制，提升插入物体的稳定性和真实性。

SignVerse-2M: A Two-Million-Clip Pose-Native Universe of 55+ Sign Languages

SignVerse-2M：包含55+种手语的两百万片段姿态原生数据集

Sen Fang, Hongbin Zhong, Yanxin Zhang, Dimitris N. Metaxas

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出SignVerse-2M，这是一个包含55+种手语、约200万片段的大规模多语言姿态原生手语数据集，适配现代姿态驱动的生成与识别范式，兼具真实场景适配性，可支撑多语言手语姿态建模与评估。

Comments Fix some typos. 13 pages. Project Page at: https://signerx.github.io/SignVerse-2M/

TIDE: Task-Isolated Diffusion for Unified Video Editing and Generation

TIDE: 任务隔离扩散模型用于统一视频编辑与生成

Qi Liu, Gang Yue, Mingyu Yin, Lisai Zhang, Yidi Wu, Yaole Wang, Yaohui Wang, Chang Yao, Jingyuan Chen, Lin Ma

机构 * Zhejiang University（浙江大学） ； Bilibili Inc.（哔哩哔哩股份有限公司） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出TIDE统一框架，通过逐token任务嵌入和双路径条件机制，实现指令编辑、参考编辑和多参考生成，在多任务渐进训练下达到SOTA性能。

LumaGuide: Distribution Shaping for Training-Free HDR Generation in Diffusion Models

LumaGuide：用于扩散模型中无需训练的高动态范围（HDR）生成的分布塑造方法

Bowen Chen, Shreshth Saini, Balu Adsumilli, Alan C. Bovik

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google/YouTube（谷歌/YouTube） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本研究提出无需训练的LumaGuide框架，通过在采样时直接塑造输出分布，实现扩散模型的可控生成，可用于HDR及视频生成，无需重新训练模型。

RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos

RealityBridge: 连接可编辑3D高斯泼溅驾驶模拟与现实世界视频

Zhenhua Wu, Yun Pang, Mingkun Chang, Yuwei Ning, Liangzhi Wang, Yi Xiao, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出RealityBridge框架，利用多模态控制和轻量级GateNet，结合自回归长视频训练与奖励引导后训练，缩小编辑后3DGS驾驶视频的Sim-to-Real差距，提升视觉真实感和时间一致性。

Comments Under submission

DVAR: Adversarial Multi-Agent Debate for Video Authenticity Detection

DVAR：对抗性多智能体辩论用于视频真实性检测

Hongyuan Qi, Feifei Shao, Ming Li, Hehe Fan, Jun Xiao

机构 * Zhejiang University（浙江大学） ； Guangming Lab（光明实验室） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 DVAR通过多智能体辩论框架，将视频真实性检测转化为结构化推理过程，利用生成假设代理与自然机制代理的竞争，结合MDL框架和GenVideoKB知识库，实现对未知生成架构的强泛化能力。

Comments 9 pages

Video Models as Native 4D Renderers: World-Grounded Conditioning from Animated Mesh

视频模型作为原生4D渲染器：基于动画网格的世界 grounding 条件

Junhao Chen, Mingjin Chen, Henghaofan Zhang, Minglin Chen, Liaoyuan Fan, Boran Zhang, Saining Zhang, Mingze Sun, Hao Zhao, Ruqi Huang, Zhihao Li, Yufei Wang

机构 * Tsinghua University（清华大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Sun Yat-sen University（中山大学） ； The University of Hong Kong（香港大学） ； University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出参考引导渲染器DAR，扩展Wan2.2相机控制，用跟踪和世界位置组成的4D G缓冲作为条件，在DAR-4D基准上实现优于现有方法的视频生成性能。

Comments 14 pages, 5 figures

Hand-Object Interaction in the Age of Large Foundation Models:Reconstruction, Generation, and Embodied Transfer

大基础模型时代的手物交互：重建、生成与具身迁移

Weiquan Lin, Yu Deng, Shiyang Liu, Luping Xiao, Xu Tang, Junzhi Yu, Jiaolong Yang, Lei Zhang, Xingyu Chen

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本综述系统梳理大基础模型在手物交互（HOI）领域的应用，建立基础模型子先验分类，分析其在HOI任务与机器人学习中的作用，总结数据集与评估协议并展望未来方向。