AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
SwiftFusion: 面向GPU上扩散Transformer分布式推理的可扩展序列并行
机构 * University of Toronto \&\ Institute ； Amazon ； University of Toronto \& Vector Institute \& NVIDIA
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 针对扩散Transformer推理中序列并行方法的通信和同步瓶颈，提出拓扑感知的StreamFusion引擎，通过Torus Attention和单边通信实现平均1.35倍加速。
SimInsert: 通过区域稀疏注意力融合实现无缝视频对象插入
机构 * State Key Laboratory of Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； School of Intelligence Science and Technology, Nanjing University（智能科学与技术学院，南京大学） ； JIUTIAN Research（JIUTIAN研究机构） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； Zhejiang Sci-Tech University（浙江科技学院） ； The University of British Columbia（不列颠哥伦比亚大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出SimInsert，一种无需训练的视频对象插入方法，利用图像到视频扩散模型的先验和区域稀疏注意力融合，实现时空一致和交互真实感，在PSNR、SSIM和LPIPS上分别提升18.8%、20.1%和降低44.1%。
Comments Accepted by ICME2026
InfVSR：迈向一致性驱动的流式生成视频超分辨率
机构 * Shanghai Jiao Tong University（上海交通大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出InfVSR，通过自回归单步扩散范式与流式推理，实现长视频的高效、一致超分辨率，速度提升达58倍。
Comments Code and model are available at https://github.com/Kai-Liu001/InfVSR
解开转换匹配之谜：何时以及为何它能超越流匹配
机构 * KAIST（韩国科学技术院） ； Amazon Web Services（亚马逊网络服务）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文研究了转换匹配（TM）在何时以及为何能超越流匹配（FM），通过证明在单峰高斯分布下TM具有更低的KL散度，并分析了在高斯混合分布中TM在局部单峰区域的优势，以及在目标方差非可忽略时TM的优越性。
Comments Code: https://github.com/amazon-science/TransitionFlowMatching (AISTATS 2026)
ViPS: 为自动绑定网格的视频感知姿态空间
机构 * Columbia University（哥伦比亚大学） ； University of Toronto（多伦多大学） ； Adobe Research（Adobe研究） ； University of Cambridge（剑桥大学） ； University College London（伦敦大学学院）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出ViPS，一种通过视频扩散模型提取运动先验来发现自动绑定网格有效姿态分布的前馈框架，实现了对多样形状变化、逆向运动学和动画的关键帧生成的支持。
Comments Project page: https://honglin-c.github.io/vips/
保留、揭示、扩展：基于区域感知的4D视频编辑
机构 * University of Science and Technology of China（中国科学技术大学） ； Li Auto Inc.（利汽车公司）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出PREX框架，通过区域感知分解目标时空体积，解决4D视频编辑中区域保持、揭示和扩展的问题，提升了视频编辑的准确性和稳定性。
Comments 23 pages, 13 figures
用自回归扩散模型加速视频逆问题求解器
机构 * KAIST（韩国科学技术院） ； EverEx
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出自回归视频逆问题求解器（AVIS），通过自回归扩散模型实现流式视频恢复，显著降低初始延迟并提高吞吐量，同时保持高质量的恢复效果，并进一步提出加速变体AVIS Flash，实现更高的吞吐量和更优的效率-性能权衡，为实时部署铺平道路。
Comments Project page is available here: https://avis-project.github.io/
SWoMo：用于白内障手术模拟的神经符号世界模型
机构 * Technical University Darmstadt（德累斯顿技术大学） ； Carl Zeiss AG（蔡司股份有限公司） ； AICM, Medical Faculty of Heidelberg University（海德堡大学医学院）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出SWoMo，一种用于白内障手术模拟的神经符号世界模型，通过分离运动生成与视觉真实性，结合规则基模拟器和场景图表示来建模运动动态和工具-组织交互，同时使用扩散模型生成逼真的视觉效果，从而提升手术模拟的真实性和临床适用性。
从稀疏航拍视图进行前馈高斯点扩散
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Peking University（北京大学） ； The Ohio State University（俄亥俄州立大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出AnyCity框架，通过观察驱动的生成重建方法，解决稀疏航拍视图中大规模城市场景重建中的证据不平衡问题，通过几何潜在表示和条件化空中完成标记预测，实现高质量的3D高斯点场重建。
通过块近似稀疏注意力实现扩散语言模型的高效长上下文建模
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出了一种块近似稀疏注意力框架（BA-Att），通过块级预下采样操作识别信息区域，避免依赖脆弱的位置先验，从而在保持高性能的同时提升计算效率，实验表明其在注意力计算上比FlashAttention快6.95倍，并在50%稀疏度下保持接近全注意力性能。
Comments CVPR 2026 Findings paper
视觉扩散变换器中稀疏专家混合路由的稀疏性：从路由崩溃到选择性死锁的诊断、边界校准和进化路线图
机构 * Haiying Sha（海ying Sha）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文系统诊断了Token-Choice稀疏混合专家（MoE）在视频扩散变换器中的训练失败模式，通过分析超过6500万个标记的路由决策时间序列，提出了功能冗余假说，并总结了从视觉统一到世界模型的三步进化路线图。
设定舞台：基于文本的场景一致图像生成
机构 * Global Business Unit, Baidu Inc.（百度公司全球业务部）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文研究了场景构建任务，通过结合参考场景图像和文本条件生成符合空间关系的演员图像，提出了一种新的数据构建管道和对应关系引导的注意力损失，以提高场景一致性和文本-图像一致性。
VideoNeuMat: 从生成视频模型中提取神经材料
机构 * University of Manchester（曼彻斯特大学） ； NVIDIA（NVIDIA公司） ； University of California Santa Barbara（加州大学圣巴bara分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 VideoNeuMat通过两阶段流程从视频扩散模型中提取可重用的神经材料，利用可控相机和光照轨迹生成材料样本视频，并通过大型重建模型重建紧凑的神经材料，实现超越合成训练数据的现实感和多样性。
RAVEN: 实时自回归视频外推与一致性模型GRPO
机构 * Imperial College London（伦敦帝国学院）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 RAVEN通过将自回归视频扩散模型的训练与测试过程结合，提升长时视频生成质量。CM-GRPO方法优化一致性采样，提高生成效果。
Comments Project Page: https://yanzuo.lu/raven
SEDiT: 一种基于单步扩散变换器的无掩膜视频字幕擦除方法
机构 * Baidu Inc.（百度公司）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 SEDiT提出一种单步扩散变换器方法，实现无掩膜视频字幕擦除，通过理论证明和实验验证，解决字幕擦除中的局部编辑问题和长期时间一致性挑战。
Comments Project page:http://zheng222.github.io/SEDiT_project
CoReDiT：基于空间一致性引导的令牌剪枝与重建用于高效的扩散变换器
机构 * Qualcomm AI Research（高通人工智能研究）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 CoReDiT通过空间一致性引导的令牌剪枝与重建，显著降低扩散变换器的计算量，提升推理速度，同时保持高质量视觉输出。
Comments 8 pages, 8 figures, CVPR workshop
Journal ref 2026 CVPR Workshop of EDGE
DiffST: 用于现实世界时空视频超分辨率的时空感知扩散模型
机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Duke University（杜克大学） ； Huawei Consumer Business Group（华为消费者业务集团）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 DiffST提出一种高效时空感知视频扩散框架，通过跨帧上下文聚合和视频表示引导提升时空信息利用，实现高效实时世界时空视频超分辨率。
Comments Code is available at: https://github.com/zhengchen1999/DiffST
通过模仿生成视频实现机器人操作
机构 * UIUC（伊利诺伊大学香槟分校） ； UC Irvine（加州大学尔湾分校） ； Columbia University（哥伦比亚大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出RIGVid系统，通过模仿AI生成视频使机器人完成复杂操作任务，无需物理示范或特定机器人训练。系统利用视频扩散模型生成潜在示范视频，并通过视觉语言模型筛选符合指令的视频，再通过6D姿态跟踪器提取轨迹并映射到机器人。实验表明生成视频效果与真实示范相当，且性能随生成质量提升。
Comments In ICLR 2026. Website: https://rigvid-robot.github.io/
GaitProtector: 通过无训练扩散潜在优化实现基于伪装的步态去标识
机构 * City University of New York（纽约城市大学） ； Wuhan University（武汉大学） ； University of Aberdeen（阿伯丁大学） ； Nanyang Technological University（南洋理工大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Oulu（奥卢大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出GaitProtector框架，通过无训练扩散潜在优化实现基于伪装的步态去标识，通过伪装和伪装两个紧密耦合组件，在保持主导身体形状和运动动态的同时减少识别准确率。
Comments Accepted to the 20th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2026)
JUST-DUB-IT: 通过联合音频-视觉扩散进行视频配音
机构 * Tel Aviv University（特拉维夫大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出JUST-DUB-IT方法，利用轻量LoRA调整基础音频-视频扩散模型，实现视频到视频的高质量配音，提升视觉保真度和唇同步性能。
Comments Project webpage available at https://justdubit.github.io
任意到任意的3D扩散模型与知识转移：放射治疗计划研究
机构 * UC Santa Cruz（加州大学圣克ruz分校） ； Siemens Healthineers（西门子医疗） ； University of Washington（华盛顿大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出DiffKT3D，一种利用预训练视频扩散模型知识的统一Any2Any 3D扩散框架，通过模态特定嵌入实现多临床模态灵活条件化，结合临床导向的强化学习机制，提升放射治疗计划中的剂量预测精度与图像质量。
Comments Accepted by CVPR 2026 main conference. Compare to CVPR version, minor updates here are included (e.g., combine main text and appendix; clarify the timing scenario in appendix)
基于光谱引导的扩散噪声调度
机构 * Google Research（谷歌研究）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出基于图像光谱特性设计实例特定噪声调度的方法，通过理论界限优化噪声级别，提升单阶段像素扩散模型生成质量，尤其在低步数情况下表现更佳。
Comments Accepted to ICML'26
MoCoTalk: 多条件扩散与自适应路由的可控说话头生成
机构 * Imperial College London（帝国理工学院伦敦分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 MoCoTalk通过统一身份、头部姿态、面部表情和嘴部动态四个控制信号，提出自适应多条件路由框架，解决异构条件干扰问题，提升可控说话头生成的性能与可控性。
通过残差潜在动作学习基于视觉特征的世界模型
机构 * Rutgers University（罗格斯大学） ； Purdue University（普渡大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出RLA-WM世界模型，通过流匹配预测残差潜在动作，优于现有特征和视频扩散模型，且在速度和效率上更优，同时开发了两项机器人学习技术。
一种用于从超低比特率表示中重建视频的因果扩散模型
机构 * Chair of Media Technology（媒体技术系） ； Chair of Communication Networks（通信网络系） ； Munich Institute of Robotics and Machine Intelligence（慕尼黑机器人与智能机械研究所） ； School of Computation Information and Technology, Technical University of Munich（计算信息与技术学院，慕尼黑技术大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出一种因果扩散模型，用于从超低比特率语义和高度压缩帧中重建视频，通过联合建模互补信息，提升重建质量，优于传统、神经、生成和语义基线方法。
Relit-LiVE: 通过联合学习环境视频实现视频照明
机构 * Nanjing University（南京大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Huazhong University of Science and Technology（华中科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 Relit-LiVE通过引入原始参考图像和环境视频预测方法，实现了无需相机姿态先验知识的物理一致视频照明，提升了真实场景下的照明效果和时间稳定性。
Comments Accepted at SIGGRAPH 2026. Project site: https://github.com/zhuxing0/Relit-LiVE
重建还是语义？什么使潜在空间对机器人世界模型有用
机构 * Chandar Research Lab（昌达尔研究实验室） ； Mila – Quebec AI Institute（魁北克人工智能研究院） ； Polytechnique Montréal（蒙特利尔理工学院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文评估了不同潜在空间在机器人世界模型中的有效性，发现语义潜在空间在规划和下游政策性能方面优于重建潜在空间。
Comments 9 pages
从视频先验构建统一的4D世界动作模型
机构 * Tsinghua University（清华大学） ； Xiaomi Robotics（小米机器人） ； Peking University（北京大学） ； CASIA
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出X-WAM，统一了实时机器人动作执行与高保真的4D世界合成，在单一框架中解决传统统一世界模型仅建模2D像素空间且无法平衡动作效率与世界建模质量的问题。
Comments Project website: https://sharinka0715.github.io/X-WAM/
UniE2F: 一种基于视频基础模型的统一扩散框架用于事件到帧重建
机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Department of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学系）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出UniE2F框架，利用预训练视频扩散模型的生成先验，从稀疏事件数据中重建高保真视频帧，通过引入事件基帧间残差引导提升重建精度，并扩展到零样本视频帧插值与预测。
YOSE: 你只选择本质的标记以实现高效的DiT基于视频对象移除
机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； NKIARI, Shenzhen Futian（深圳南山研究院）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 YOSE通过引入BVI和DiffSim模块，实现了高效的DiT视频对象移除，通过动态选择关键标记和模拟扩散过程，使推理时间与遮挡区域线性相关，从而在70%的情况下达到2.5倍的加速，同时保持视觉质量。
Comments accepted by CVPR2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈