视频大模型

Genie Sim PanoWorld: An Infinite Indoor 3D World Generation Pipeline via Panoramic Scene Modeling and Simulation

Genie Sim PanoWorld：基于全景场景建模与仿真的无限室内3D世界生成流水线

Yongxin Su, Linjie Hou, Feng Wang, Jialin Tang, Zhijun Li, Qian Wang, Maoqing Yao

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 Genie Sim PanoWorld是两阶段前馈流水线，从单张360°全景生成可自由导航的高保真3D高斯场景，优于几何条件基线，且能零样本泛化至未见室内场景

Walk through Paintings: Egocentric World Models from Internet Priors

穿越绘画：来自互联网先验的自我中心世界模型

Anurag Bagchi, Zhipeng Bao, Homanga Bharadhwaj, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Toyota Research Institute（丰田研究机构） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 EgoWM通过利用互联网先验和轻量级条件层，将预训练视频扩散模型转换为自我中心世界模型，实现可控的未来预测，提升结构一致性评分并降低推理延迟。

OmniCache: Multidimensional Hierarchical Feature Caching For Diffusion Models

OmniCache：用于扩散模型的多维分层特征缓存

Zhaoyuan He, Muhammad Muaz, Lili Qiu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 针对高分辨率图像和视频扩散模型推理成本高的问题，提出OmniCache框架，利用中间扩散特征冗余，通过多种缓存实现多维特征重用，减少推理延迟，在多模型上取得良好效果，且无需重新训练。

Recurrent Autoregressive Diffusion: Global Memory Meets Local Attention

循环自回归扩散：全局记忆与局部注意力相结合

Taiye Chen, Zihan Ding, Anjian Li, Christina Zhang, Zeqi Xiao, Yisen Wang, Chi Jin

机构 * Peking University（北京大学） ； Princeton University（普林斯顿大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究针对超长视频生成中现有模型的不足，提出循环自回归扩散（RAD）框架，结合循环块与局部注意力，解决训练推理差距等问题，在相关数据集实验中展现出长视频生成的优越性。

Comments Published at ECCV 2026. Project page: https://yeyutaihan.github.io/recurrent-autoregressive-diffusion/

Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers

具有世界状态寄存器的流式多智能体自回归扩散模型

Sicheng Mo, Yuheng Li, Ziyang Leng, Krishna Kumar Singh, Bolei Zhou

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 研究多智能体交互世界模型共享状态维护难题，提出WorldWeaver模型，利用跨智能体世界状态寄存器及混合变压器设计，经双智能体我的世界视频生成实验验证，该模型能提升逻辑一致性与生成质量。

Comments Project page: https://vail-ucla.github.io/worldweaver/

RealVDeblur: One-Step Diffusion for Generalizable Real-World Video Deblurring

RealVDeblur：用于通用真实世界视频去模糊的一步扩散法

Renbiao Jin, Mingxin Yang, Yutian Chen, Junhao Zhuang, Xin Cai, Mulin Yu, Linning Xu, Wenxian Yu, Danping Zou, Shi Guo, Tianfan Xue

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； CUHK MMLab（香港中文大学多媒体实验室） ； CPII under InnoHK（创新香港研究院下的CPII） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 针对真实世界视频去模糊难题，提出RealVDeblur框架。构建模糊合成管道提供数据，利用视频扩散先验恢复，采用逐帧编码并简化采样为一步生成器，还有时间窗口掩码稳定推理，在多方面表现出色且提升3D重建鲁棒性。

Comments Project page with code: https://rbjin.github.io/RealVDeblur/

Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding

生成模型了解空间：解锁隐式3D先验用于场景理解

Xianjin Wu, Dingkang Liang, Tianrui Feng, Kui Xia, Yumeng Zhang, Xiaofan Li, Xiao Tan, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Baidu Inc.（百度公司） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出通过大规模视频生成模型的隐式空间先验提升场景理解，引入VEGA-3D框架，利用预训练视频扩散模型作为潜在世界模拟器，通过时空特征提取与语义融合增强大语言模型的几何信息，实验验证其在3D场景理解、空间推理和具身操控中的优越性。

Comments Accepted by ECCV 2026

Hierarchical Denoising For Multi-Step Visual Reasoning

用于多步视觉推理的分层去噪

Zezhong Qian, Xiaowei Chi, Chak-Wing Mak, Tianze Zhou, Ruibin Yuan, Yuhan Rui, Hengzhe Sun, Zhuoqun Wu, Yuming Li, Siyuan Qian, Sirui Han, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理技术国家重点实验室） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beihang University（北京航空航天大学） ； Fuzhou University（福州大学） ； Muka Robotics（木卡机器人） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 研究针对视频模型多步推理不足的问题，提出HDR框架，通过树形层次结构和稀疏分层注意力模式进行多步推理，在新基准测试中提升了成功率和进度，推理更快，数据效率更高，在机器人实验中展现潜力。

FADRA: Frequency-Aware Diffusion with Residual Adaptation for Video Face Restoration

FADRA：用于视频人脸识别的频率感知扩散与残差自适应

Jin Jiang, Jia Wang, Panwen Hu, Weiran Zhao, Shengcai Liao

机构 * United Arab Emirates University (UAEU)（阿联酋大学） ； Ocean University of China (OUC)（中国海洋大学） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 研究针对视频人脸识别在复杂退化下难以平衡空间保真度和时间连贯性的问题，提出FADRA框架，利用预训练模型的时间一致性，通过LoRA适配器、重复残差自适应头及频率感知损失等实现，实验证明其在恢复面部结构和保持时间一致性上优于现有方法。

FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion

FlashBlock：用于高效长上下文块扩散的注意力缓存

Zhuokun Chen, Jianfei Cai, Bohan Zhuang

机构 * Monash University（墨尔本大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究长内容生成中块扩散在长上下文设置下的注意力计算开销问题，提出FlashBlock机制，利用块外注意力输出稳定性复用注意力，减少计算与缓存访问，提升效率且不影响质量。

TinyHistory: Lightweight Video History Embeddings via Two-Stage Context Learning

TinyHistory: 通过两阶段上下文学习实现轻量级视频历史嵌入

Lvmin Zhang, Shengqu Cai, Muyang Li, Chong Zeng, Beijia Lu, Anyi Rao, Song Han, Gordon Wetzstein, Maneesh Agrawala

机构 * Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； HKUST（香港科技大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出TinyHistory，通过两阶段上下文学习实现轻量级视频历史嵌入，在有限计算和内存下实现与更重模型相当的一致性。

Comments Additional Results: https://lllyasviel.github.io/TinyHistory_gitpage/

VideoSketcher: Sequential Sketch Generation Using Video Model Priors

VideoSketcher：利用视频模型先验的序列草图生成

Hui Ren, Yuval Alaluf, Omer Bar Tal, Alexander Schwing, Antonio Torralba, Yael Vinker

机构 * MIT（麻省理工学院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出VideoSketcher方法，结合LLM的语义规划与视频扩散模型的时序渲染，通过两阶段微调从少量样本学习笔画顺序与风格，生成高质量序列草图。

DTG-Restore: Training-Free Diffusion Refinement for Generative Video Super-Resolution

DTG-Restore: 无需训练的视频超分辨率扩散精炼

Hidir Yesiltepe, Koutilya PNVR, Gaurav Pathak, Navaneeth Bodla, Bharat Singh, Pinar Yanardag, Jinrong Xie

机构 * Virginia Tech（弗吉尼亚理工大学） ； Adobe（Adobe公司） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出解耦时间引导（DTG）方法，通过时间解耦条件与无条件分支，无需训练即可增强扭曲低分辨率视频，提升结构保真度和时间稳定性。

Rays as Pixels: Learning A Joint Distribution of Videos and Camera Trajectories

射线即像素：学习视频与相机轨迹的联合分布

Wonbong Jang, Shikun Liu, Soubhik Sanyal, Juan Camilo Perez, Kam Woh Ng, Sanskar Agrawal, Juan-Manuel Perez-Rua, Yiannis Douratsos, Tao Xiang

机构 * Meta AI 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出一种视频扩散模型（Rays as Pixels），通过将相机表示为密集射线像素（raxels）并与视频帧共享潜在空间，联合去噪实现相机轨迹预测和相机控制视频生成。

Comments Accepted to ICML 2026. 9-page main paper plus supplementary material. Project page: https://wbjang.github.io/raysaspixels/

minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

minWM: 用于实时交互式视频世界模型的全栈开源框架

Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu

机构 * ShengShu（盛书） ； THU（清华大学） ； RUC（中国人民大学） ； HKUST（香港科技大学） ； UT-Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出minWM全栈开源框架，通过因果强制/因果强制++流水线将双向视频扩散模型转化为可控制、低延迟的自回归世界模型，支持相机控制与多种骨干架构。

EPiC: Efficient Video Camera Control Learning with Precise Anchor-Video Guidance

EPiC: 基于精确锚点视频引导的高效视频摄像机控制学习

Zun Wang, Jaemin Cho, Jialu Li, Han Lin, Jaehong Yoon, Yue Zhang, Mohit Bansal

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出EPiC框架，通过基于首帧可见性掩码构建精确对齐的锚点视频，并引入轻量模块Anchor-ControlNet，以极低参数实现高效、精确的3D摄像机控制，在RealEstate10K和MiraData上达到最先进性能。

Comments Accepted to ICML 2026. Project website: https://zunwang1.github.io/Epic

Sketch2Motion: Text-driven 2D Sketch to 3D Animation via Diffusion-guided Skeleton Optimization

Sketch2Motion: 文本驱动的二维草图到三维动画的扩散引导骨架优化

Gaurav Rai, Ojaswa Sharma

机构 * Graphics Research Group, IIIT Delhi（IIIT德里图形研究组） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出Sketch2Motion框架，结合扩散模型和骨架优化，将二维草图转化为三维动画，无需配对运动数据，支持多种角色类型。

LESA: Learnable Stage-Aware Predictors for Diffusion Model Acceleration

LESA: 可学习的阶段感知预测器用于扩散模型加速

Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对扩散模型计算开销大、现有缓存策略难以适应去噪过程阶段动态变化的问题，提出基于两阶段训练的可学习阶段感知预测器框架，利用KAN网络学习时序特征映射并采用多阶段多专家架构，在保持高质量生成的同时实现显著加速。

Comments Accepted to CVPR 2026

Accelerating Diffusion Sampling via Exploiting Local Transition Coherence

利用局部转移一致性加速扩散采样

Shangwen Zhu, Han Zhang, Zhantao Yang, Qianyu Peng, Zhao Pu, Huangji Wang, Fan Cheng

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出一种无需训练的加速方法LTC-Accel，通过利用相邻步骤间转移算子的统计关系来估计当前转移算子，从而加速文本到图像和视频的扩散采样，兼容多种网络结构和现有加速技术。

BodyReLux: Temporally Consistent Full-Body Video Relighting

BodyReLux: 时序一致的全身人体视频重照明

Li Ma, Mingming He, Xueming Yu, David M. George, Ahmet Levent Taşel, Paul Debevec, Julien Philip

机构 * Eyeline Labs（Eyeline实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出BodyReLux，一种基于视频扩散的框架，用于在时序一致的方式下重照明全身人体表演。该方法利用混合数据集训练，结合传统静态单光源捕捉和新型动态表演捕捉技术，通过引入新的光照条件表示方法和数据增强管道，实现了高质量、鲁棒且时序一致的视频重照明。

Comments Siggraph 2026 Journal Track. Project page: https://eyeline-labs.github.io/bodyrelux/

RoPeSLR: 3D RoPE-driven Sparse-LowRank Attention for Efficient Diffusion Transformers

RoPeSLR: 3D RoPE驱动的稀疏低秩注意力用于高效的扩散变换器

Yuxi Liu, Zekun Zhang, Yixiang Cai, Renjia Deng, Yutong He, Kun Yuan

机构 * Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 本研究提出RoPeSLR，一种基于3D RoPE的稀疏低秩注意力框架，旨在解决扩散变换器中长序列生成的高复杂度问题，通过结合高频率语义尖峰集和极低秩背景连续体，实现子二次稀疏性和子线性秩增长，从而在超长视频推理中表现出色。

FIS-DiT: Breaking the Few-Step Video Inference Barrier via Training-Free Frame Interleaved Sparsity

FIS-DiT：通过无训练帧交错稀疏性打破视频推断的少步障碍

Jian Tang, Jiawei Fan, Qingbin Liu, Zheng Wei

机构 * Platform and Content Group, Tencent（腾讯平台与内容组） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出FIS-DiT，通过将优化重点从时间轨迹转向潜在帧维度，解决少步推断中特征复用和预测建模受限的问题，实现2.11-2.41倍的加速效果。

X-Cache: Cross-Chunk Block Caching for Few-Step Autoregressive World Models Inference

X-Cache：跨块块缓存用于少步自回归世界模型推理

Yixiao Zeng, Jianlei Zheng, Chaoda Zheng, Shijia Chen, Mingdian Liu, Tongping Liu, Tengwei Luo, Yu Zhang, Boyang Wang, Linkun Xu, Siyuan Lu, Bo Tian, Xianming Liu

机构 * AI Infra Team, XPeng Inc.（AI基础设施团队，小鹏汽车） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出X-Cache，一种无需训练的加速方法，通过跨连续生成块缓存而非去噪步骤来提升少步自回归世界模型的推理效率，实现71%的块跳过率和2.6倍的速度提升，同时保持最小的性能下降。

Comments Technical Report

DiT as Real-Time Rerenderer: Streaming Video Stylization with Autoregressive Diffusion Transformer

DiT作为实时重绘器：基于自回归扩散变换器的流式视频风格化

Hengye Lyu, Zisu Li, Yue Hong, Yueting Weng, Jiaxin Shi, Hanwang Zhang, Chen Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； XMax.AI Ltd.（XMax人工智能有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文提出RTR-DiT框架，通过微调双向教师模型和知识蒸馏实现高效视频风格化，支持文本和参考图像引导，实现实时稳定处理长视频和风格切换。

Generative View Stitching

生成视图拼接

Chonghyuk Song, Michal Stary, Boyuan Chen, George Kopanas, Vincent Sitzmann

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Runway ML 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出生成视图拼接(GVS)，通过并行采样确保生成场景与预定义相机轨迹一致，解决视频生成中因未来条件缺失导致的碰撞问题，实现稳定且一致的相机引导视频生成。

Comments Published at ICLR 2026. Camera-ready Submission. Project website: https://andrewsonga.github.io/gvs

Not all tokens contribute equally to diffusion learning

并非所有标记对扩散学习贡献相等

Guoqing Zhang, Lu Shi, Wanru Xu, Linna Zhang, Sen Wang, Fangfang Wang, Yigang Cen

机构 * School of Mechanical Engineering, Guizhou University, Guizhou, China（贵州大学机械工程学院） ； School of Information Science and Technology, Hangzhou Normal University, Zhejiang, China（杭州师范大学信息科学与技术学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出DARE框架，通过分布偏见缓解和空间一致性提升扩散模型的语义引导，解决训练数据长尾分布和交叉注意力空间对齐问题，提升文本到视频生成的准确性和语义对齐性。

MSG Score: Automated Video Verification for Reliable Multi-Scene Generation

MSG Score: 多场景生成的自动化视频验证

Daewon Yoon, Hyeongseok Lee, Wonsik Shin, Sangyu Han, Nojun Kwak

机构 * Seoul National University（首尔大学） ； Samsung Electronics（三星电子） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出MSG Score用于评估长视频生成的叙事和视觉一致性，结合Implicit Insight Distillation解决评估与推理速度的平衡，实现可靠且可扩展的视频生成。

Comments 8 pages, 5 figures, 1 table, Accepted AAAI 2026 CVM workshop

Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models

Diff4Splat：基于潜在动态重建模型的可控4D场景生成

Panwang Pan, Chenguo Lin, Jingjing Zhao, Chenxin Li, Yuchen Lin, Haopeng Li, Honglei Yan, Kairun Wen, Yunlong Lin, Yixuan Yuan, Yadong Mu

机构 * Peking University（北京大学） ； Xiamen University（厦门大学） ； CUHK（香港中文大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 Diff4Splat通过单张图像和相机轨迹生成可控的4D场景，结合视频扩散模型的生成先验与大规模4D数据集学习的几何和运动约束，在单次前向传递中直接预测可变形3D高斯场，无需测试时优化。

Comments Accepted to CVPR 2026. Project page: https://paulpanwang.github.io/Diff4Splat

MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization

MotionAdapter: 通过内容感知注意力定制实现视频动作迁移

Zhexin Zhang, Yangyang Xu, Yifeng Zhu, Long Chen, Yong Du, Shengfeng He, Jun Yu

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Ocean University of China（中国海洋大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出MotionAdapter框架，通过解耦动作与外观并自适应定制动作，实现DiT视频扩散模型中的稳健动作迁移，实验表明其在质量和定量评估中优于现有方法，支持复杂动作迁移与编辑。

VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control

VerseCrafter：基于4D几何控制的动态真实视频世界模型

Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； HKU（香港大学） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出VerseCrafter，通过4D几何控制生成动态真实视频，相比传统方法更精确控制相机和多物体运动。

Comments Project Page: https://sixiaozheng.github.io/VerseCrafter_page/, Accepted by CVPR 2026