AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
从稀疏航拍视图进行前馈高斯点扩散
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Peking University（北京大学） ； The Ohio State University（俄亥俄州立大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出AnyCity框架，通过观察驱动的生成重建方法，解决稀疏航拍视图中大规模城市场景重建中的证据不平衡问题，通过几何潜在表示和条件化空中完成标记预测，实现高质量的3D高斯点场重建。
通过块近似稀疏注意力实现扩散语言模型的高效长上下文建模
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出了一种块近似稀疏注意力框架（BA-Att），通过块级预下采样操作识别信息区域，避免依赖脆弱的位置先验，从而在保持高性能的同时提升计算效率，实验表明其在注意力计算上比FlashAttention快6.95倍，并在50%稀疏度下保持接近全注意力性能。
Comments CVPR 2026 Findings paper
视觉扩散变换器中稀疏专家混合路由的稀疏性：从路由崩溃到选择性死锁的诊断、边界校准和进化路线图
机构 * Haiying Sha（海ying Sha）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文系统诊断了Token-Choice稀疏混合专家（MoE）在视频扩散变换器中的训练失败模式，通过分析超过6500万个标记的路由决策时间序列，提出了功能冗余假说，并总结了从视觉统一到世界模型的三步进化路线图。
设定舞台：基于文本的场景一致图像生成
机构 * Global Business Unit, Baidu Inc.（百度公司全球业务部）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文研究了场景构建任务，通过结合参考场景图像和文本条件生成符合空间关系的演员图像，提出了一种新的数据构建管道和对应关系引导的注意力损失，以提高场景一致性和文本-图像一致性。
VideoNeuMat: 从生成视频模型中提取神经材料
机构 * University of Manchester（曼彻斯特大学） ； NVIDIA（NVIDIA公司） ； University of California Santa Barbara（加州大学圣巴bara分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 VideoNeuMat通过两阶段流程从视频扩散模型中提取可重用的神经材料，利用可控相机和光照轨迹生成材料样本视频，并通过大型重建模型重建紧凑的神经材料，实现超越合成训练数据的现实感和多样性。
RAVEN: 实时自回归视频外推与一致性模型GRPO
机构 * Imperial College London（伦敦帝国学院）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 RAVEN通过将自回归视频扩散模型的训练与测试过程结合，提升长时视频生成质量。CM-GRPO方法优化一致性采样，提高生成效果。
Comments Project Page: https://yanzuo.lu/raven
SEDiT: 一种基于单步扩散变换器的无掩膜视频字幕擦除方法
机构 * Baidu Inc.（百度公司）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 SEDiT提出一种单步扩散变换器方法，实现无掩膜视频字幕擦除，通过理论证明和实验验证，解决字幕擦除中的局部编辑问题和长期时间一致性挑战。
Comments Project page:http://zheng222.github.io/SEDiT_project
CoReDiT：基于空间一致性引导的令牌剪枝与重建用于高效的扩散变换器
机构 * Qualcomm AI Research（高通人工智能研究）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 CoReDiT通过空间一致性引导的令牌剪枝与重建，显著降低扩散变换器的计算量，提升推理速度，同时保持高质量视觉输出。
Comments 8 pages, 8 figures, CVPR workshop
Journal ref 2026 CVPR Workshop of EDGE
DiffST: 用于现实世界时空视频超分辨率的时空感知扩散模型
机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Duke University（杜克大学） ； Huawei Consumer Business Group（华为消费者业务集团）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 DiffST提出一种高效时空感知视频扩散框架，通过跨帧上下文聚合和视频表示引导提升时空信息利用，实现高效实时世界时空视频超分辨率。
Comments Code is available at: https://github.com/zhengchen1999/DiffST
通过模仿生成视频实现机器人操作
机构 * UIUC（伊利诺伊大学香槟分校） ； UC Irvine（加州大学尔湾分校） ； Columbia University（哥伦比亚大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出RIGVid系统，通过模仿AI生成视频使机器人完成复杂操作任务，无需物理示范或特定机器人训练。系统利用视频扩散模型生成潜在示范视频，并通过视觉语言模型筛选符合指令的视频，再通过6D姿态跟踪器提取轨迹并映射到机器人。实验表明生成视频效果与真实示范相当，且性能随生成质量提升。
Comments In ICLR 2026. Website: https://rigvid-robot.github.io/
GaitProtector: 通过无训练扩散潜在优化实现基于伪装的步态去标识
机构 * City University of New York（纽约城市大学） ； Wuhan University（武汉大学） ； University of Aberdeen（阿伯丁大学） ； Nanyang Technological University（南洋理工大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Oulu（奥卢大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出GaitProtector框架，通过无训练扩散潜在优化实现基于伪装的步态去标识，通过伪装和伪装两个紧密耦合组件，在保持主导身体形状和运动动态的同时减少识别准确率。
Comments Accepted to the 20th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2026)
JUST-DUB-IT: 通过联合音频-视觉扩散进行视频配音
机构 * Tel Aviv University（特拉维夫大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出JUST-DUB-IT方法，利用轻量LoRA调整基础音频-视频扩散模型，实现视频到视频的高质量配音，提升视觉保真度和唇同步性能。
Comments Project webpage available at https://justdubit.github.io
任意到任意的3D扩散模型与知识转移：放射治疗计划研究
机构 * UC Santa Cruz（加州大学圣克ruz分校） ； Siemens Healthineers（西门子医疗） ； University of Washington（华盛顿大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出DiffKT3D，一种利用预训练视频扩散模型知识的统一Any2Any 3D扩散框架，通过模态特定嵌入实现多临床模态灵活条件化，结合临床导向的强化学习机制，提升放射治疗计划中的剂量预测精度与图像质量。
Comments Accepted by CVPR 2026 main conference. Compare to CVPR version, minor updates here are included (e.g., combine main text and appendix; clarify the timing scenario in appendix)
基于光谱引导的扩散噪声调度
机构 * Google Research（谷歌研究）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出基于图像光谱特性设计实例特定噪声调度的方法，通过理论界限优化噪声级别，提升单阶段像素扩散模型生成质量，尤其在低步数情况下表现更佳。
Comments Accepted to ICML'26
MoCoTalk: 多条件扩散与自适应路由的可控说话头生成
机构 * Imperial College London（帝国理工学院伦敦分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 MoCoTalk通过统一身份、头部姿态、面部表情和嘴部动态四个控制信号，提出自适应多条件路由框架，解决异构条件干扰问题，提升可控说话头生成的性能与可控性。
通过残差潜在动作学习基于视觉特征的世界模型
机构 * Rutgers University（罗格斯大学） ； Purdue University（普渡大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出RLA-WM世界模型，通过流匹配预测残差潜在动作，优于现有特征和视频扩散模型，且在速度和效率上更优，同时开发了两项机器人学习技术。
一种用于从超低比特率表示中重建视频的因果扩散模型
机构 * Chair of Media Technology（媒体技术系） ； Chair of Communication Networks（通信网络系） ； Munich Institute of Robotics and Machine Intelligence（慕尼黑机器人与智能机械研究所） ； School of Computation Information and Technology, Technical University of Munich（计算信息与技术学院，慕尼黑技术大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出一种因果扩散模型，用于从超低比特率语义和高度压缩帧中重建视频，通过联合建模互补信息，提升重建质量，优于传统、神经、生成和语义基线方法。
Relit-LiVE: 通过联合学习环境视频实现视频照明
机构 * Nanjing University（南京大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Huazhong University of Science and Technology（华中科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 Relit-LiVE通过引入原始参考图像和环境视频预测方法，实现了无需相机姿态先验知识的物理一致视频照明，提升了真实场景下的照明效果和时间稳定性。
Comments Accepted at SIGGRAPH 2026. Project site: https://github.com/zhuxing0/Relit-LiVE
重建还是语义？什么使潜在空间对机器人世界模型有用
机构 * Chandar Research Lab（昌达尔研究实验室） ； Mila – Quebec AI Institute（魁北克人工智能研究院） ； Polytechnique Montréal（蒙特利尔理工学院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文评估了不同潜在空间在机器人世界模型中的有效性，发现语义潜在空间在规划和下游政策性能方面优于重建潜在空间。
Comments 9 pages
从视频先验构建统一的4D世界动作模型
机构 * Tsinghua University（清华大学） ； Xiaomi Robotics（小米机器人） ； Peking University（北京大学） ； CASIA
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出X-WAM，统一了实时机器人动作执行与高保真的4D世界合成，在单一框架中解决传统统一世界模型仅建模2D像素空间且无法平衡动作效率与世界建模质量的问题。
Comments Project website: https://sharinka0715.github.io/X-WAM/
UniE2F: 一种基于视频基础模型的统一扩散框架用于事件到帧重建
机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Department of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学系）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出UniE2F框架，利用预训练视频扩散模型的生成先验，从稀疏事件数据中重建高保真视频帧，通过引入事件基帧间残差引导提升重建精度，并扩展到零样本视频帧插值与预测。
YOSE: 你只选择本质的标记以实现高效的DiT基于视频对象移除
机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； NKIARI, Shenzhen Futian（深圳南山研究院）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 YOSE通过引入BVI和DiffSim模块，实现了高效的DiT视频对象移除，通过动态选择关键标记和模拟扩散过程，使推理时间与遮挡区域线性相关，从而在70%的情况下达到2.5倍的加速，同时保持视觉质量。
Comments accepted by CVPR2026
潜在帧剪枝：一种无训练方法，连接传统视频压缩与现代扩散变换器以实现高效生成
机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Futurewei Technologies, Inc.（未来科技公司）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出一种无训练的潜在帧剪枝方法，通过剪枝重复的潜在块来减少计算负担并提高生成速度，同时引入注意力恢复机制以解决训练与推理间的差距。
RainFusion2.0: 基于时序-空间感知与硬件高效性的块状稀疏注意力
机构 * Huawei Technologies Co., Ltd（华为技术有限公司） ； The Hong Kong University of Science and Technology（香港科技大学）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出RainFusion2.0，通过块状均值代表token预测稀疏掩码、时空感知token排列及首帧sink机制，实现视频和图像生成模型的高效稀疏注意力，实验表明在保持视频质量的同时，达到80%的稀疏度和1.5~1.8倍的加速效果。
任何3D场景都值得1000个标记：面向大规模场景生成的3D grounded表示
机构 * Westlake University（西湖大学） ； Afari Intelligent Drive（阿法里智能驾驶） ； Zhejiang University（浙江大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出在隐式3D潜在空间中直接生成3D场景，解决传统2D方法在3D空间扩展中的不足，通过3DRAE和3DDiT实现高效且一致的3D生成。
Comments Under Review. Project Page: https://wswdx.github.io/3DRAE
CoMoVi：3D人类动作与真实视频的联合生成
机构 * HKUST（香港科技大学） ； SCUT（华南理工大学） ； HKU（香港大学） ； MIT（麻省理工学院） ； ZJU（浙江大学）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出CoMoVi框架，通过单个扩散去噪循环同步生成3D人类动作和视频，采用双分支扩散模型实现动作与视频生成的互惠特征交互和3D-2D交叉注意力。
Comments Project Page: https://igl-hkust.github.io/CoMoVi/
新颖视角合成作为视频补全
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出将稀疏新颖视角合成视为低帧率视频补全任务，通过改进架构实现视角不变性，证明视频模型能以最少监督生成竞争性稀疏视角合成结果。
Comments Project page: https://frame-crafter.github.io/
LangDriveCTRL: 通过多模态代理实现自然语言可控的驾驶场景编辑
机构 * University of Maryland, College Park（马里兰大学帕克分校） ； NEC Labs America（NEC美国实验室） ； UC San Diego（加州大学圣迭戈分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 LangDriveCTRL通过多模态代理实现驾驶视频的自然语言可控编辑，生成多样化的交通场景，提升真实感和交通场景的真实性。
Comments Project Page: https://yunhe24.github.io/langdrivectrl/
Vanast：通过合成三元监督实现的人像虚拟试穿
机构 * Seoul National University（首尔国立大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 Vanast通过统一框架直接从单张人体图像、服装图像和姿态引导视频生成服装转移的人形动画视频，解决传统两阶段流程导致的身份漂移、服装扭曲和前后不一致问题。
Comments Accepted to CVPR 2026, Project Page: https://hyunsoocha.github.io/vanast/
基于语义的低比特率视频压缩
机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Dolby Laboratories（杜比实验室）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出DiSCo框架，通过语义条件扩散模型在低比特率下实现高质量视频压缩，采用文本描述、空间时间退化视频和可选草图等模态，提升感知质量。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈