AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
QWERTY: 通过查询扭曲的视频扩散变换器实现无需训练的运动控制
机构 * Department of Computer Science, Yonsei University（延世大学计算机科学系） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出QWERTY框架，通过扭曲查询的语义子空间，在预训练图像到视频扩散变换器中实现无需训练的运动控制，性能接近微调方法。
Comments 37 pages, 18 figures, accepted at the European Conference on Computer Vision (ECCV) 2026
MVTrack4Gen: 多视角点跟踪作为4D视频生成的几何监督
机构 * KAIST AI（韩国科学技术院人工智能学院） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团公司）
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出MVTrack4Gen框架，利用多视角点跟踪作为几何与运动监督信号，增强仅相机条件的新视角视频扩散模型的运动一致性和几何一致性。
Comments Project Page : https://cvlab-kaist.github.io/MVTrack4Gen/
Sol视频推理引擎：面向高效视频生成的智能原生全栈加速框架
机构 * NVIDIA Research, Efficient AI Team & Singapore Lab（英伟达研究院高效AI团队及新加坡实验室） ； NVIDIA SANA Team（英伟达SANA团队） ； Codex ； GPT-Image2
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出Sol视频推理引擎，通过智能体驱动的缓存、稀疏注意力、令牌剪枝、量化和内核融合五种技术组合，针对具体模型、硬件和配置自动优化，实现视频扩散模型2倍以上加速且保持质量。
ScalingAttention: 发现视频扩散变换器的内在稀疏注意力拓扑
机构 * KlingAI Research（KlingAI研究院） ； Beijing Institute of Technology（北京理工大学） ； NVIDIA（英伟达） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 提出ScalingAttention框架，通过权重编码的稀疏拓扑（WEST）和保真度感知灵敏度调优（FAST）实现训练无关的注意力稀疏化，在Wan2.1上获得最高1.90倍加速并保持高质量。
Comments 18 pages, 9 figures
EgoPressDiff: 用于自我中心UV域手部压力估计的多模态视频扩散模型
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出EgoPressDiff，一种条件视频扩散框架，通过多模态条件策略（手部姿态、3D网格顶点和深度信息）从视觉输入生成UV压力图，解决了现有方法中的量化误差和时间不一致问题，在EgoPressure数据集上实现SOTA，Volumetric IoU相对提升34%以上。
Comments Accepted to IEEE ICASSP 2026
CODA：通过启用NMP的计算-缓存算子分解实现边缘视频扩散的算法-硬件协同设计
专题命中 视频扩散模型 ：video diffusion(title,abstract)
AI总结 研究在边缘设备部署视频扩散模型时速度慢的问题，提出CODA架构，通过计算-缓存算子分解，分离计算与缓存路径、重组缓存活动并利用分支独立性，实现端到端加速和能源效率提升，且保持生成质量。
Comments 15 pages, 14 figures, accepted to the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026)
Kaleido：通过利用潜在空间相关性对视频扩散变压器进行算法-硬件协同设计
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Jiao Tong University, Shanghai Qi Zhi Institute（上海交通大学、上海颀智研究所） ； Huawei Technologies（华为技术有限公司） ； ICT, Chinese Academy of Sciences（信息科技研究所、中国科学院）
专题命中 视频扩散模型 ：video diffusion(title,abstract)
AI总结 针对视频扩散变压器计算成本高的问题，提出Kaleido算法-硬件协同设计，利用潜在空间通道级时空相关性加速操作，有轻量级重用算法，设计了加速器，实验表明其相比现有加速器有显著加速和节能效果。
通过视频表示正则化缓解复合误差
机构 * Peking University（北京大学）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV
AI总结 针对视频扩散世界模型自回归生成的复合误差问题，研究发现其与表示维度崩溃相关，提出视频表示正则化方法，在VBench指标上显著优于Diffusion Forcing，提升了长视频生成的鲁棒性。
生成器即跟踪器：通过绘制持久身份颜色进行多目标跟踪
机构 * Cornell University（康奈尔大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；long video(abstract)；分类 cs.CV
AI总结 研究多目标跟踪问题，核心方法是用轻量级LoRA微调文本到视频扩散模型生成带持久身份颜色的视频，无需传统跟踪组件。主要贡献是在DanceTrack测试服务器上达到40.3 HOTA，有独特错误分布，颜色分配可在遮挡后重新识别身份。
FlashDecoder：基于Transformer的实时潜空间到像素流解码器
机构 * Pika Labs（皮卡实验室） ； POSTECH（浦项科技大学）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV
AI总结 研究针对实时视频生成中潜视频扩散模型解码慢、内存占用大的问题，提出FlashDecoder，一种基于Transformer的纯视频解码器，通过滚动KV缓存和顺序处理帧实现快速解码，在重建质量匹配卷积解码器的同时大幅提升速度并减少内存占用。
Comments CVPR2026
Vera: 一种用于内容保持视频编辑的分层扩散模型
机构 * California Institute of Technology（加州理工学院） ； Netflix, Inc（Netflix公司）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 提出Vera分层扩散框架，通过生成编辑层和alpha遮罩与源视频合成，利用混合Transformer架构和高质量分层数据集，在保持内容的同时实现高质量编辑。
SafeGen：基于视觉语言模型的自动驾驶安全关键场景的目标条件视频扩散
机构 * Beihang University（北京航空航天大学） ； Zhongguancun Laboratory（中关村实验室） ； Chery Automobile Co., Ltd.（奇瑞汽车股份有限公司）
专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV
AI总结 研究针对VLM在自动驾驶系统中的应用，提出SafeGen框架，将场景生成设为目标条件扩散过程，引入上下文接地最终状态推理和最终状态条件下的视频演化，实验表明该框架能提升评判得分，微调后可提高真实驾驶场景性能。
Ocean4D：通过介质感知视频扩散的生成式水下4D重建
机构 * Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学部） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV
AI总结 提出Ocean4D生成式框架，通过4D几何一致性条件化和介质感知去噪扩散，解决水下动态场景中吸收与散射导致的几何不稳定和跨视角不一致问题，实现单目视频到目标轨迹的高质量4D重建。
Vid2WAM：将视频扩散先验蒸馏为世界动作模型
专题命中 视频扩散模型 ：video diffusion(title)
AI总结 Vid2WAM是将视频扩散先验蒸馏为WAM的离线框架，通过双监督通道与源感知残差动作适配，提升了机器人策略的新任务泛化性与数据效率，且推理高效。
Comments Project website: https://qch-fa.github.io/vid2wam-website/
Genie Sim PanoWorld：基于全景场景建模与仿真的无限室内3D世界生成流水线
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 Genie Sim PanoWorld是两阶段前馈流水线，从单张360°全景生成可自由导航的高保真3D高斯场景，优于几何条件基线，且能零样本泛化至未见室内场景
OmniCache：用于扩散模型的多维分层特征缓存
机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 针对高分辨率图像和视频扩散模型推理成本高的问题，提出OmniCache框架，利用中间扩散特征冗余，通过多种缓存实现多维特征重用，减少推理延迟，在多模型上取得良好效果，且无需重新训练。
具有世界状态寄存器的流式多智能体自回归扩散模型
机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； Adobe Research（Adobe研究院）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究多智能体交互世界模型共享状态维护难题，提出WorldWeaver模型，利用跨智能体世界状态寄存器及混合变压器设计，经双智能体我的世界视频生成实验验证，该模型能提升逻辑一致性与生成质量。
Comments Project page: https://vail-ucla.github.io/worldweaver/
RealVDeblur：用于通用真实世界视频去模糊的一步扩散法
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； CUHK MMLab（香港中文大学多媒体实验室） ； CPII under InnoHK（创新香港研究院下的CPII） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；long video(abstract)；分类 cs.CV
AI总结 针对真实世界视频去模糊难题，提出RealVDeblur框架。构建模糊合成管道提供数据，利用视频扩散先验恢复，采用逐帧编码并简化采样为一步生成器，还有时间窗口掩码稳定推理，在多方面表现出色且提升3D重建鲁棒性。
Comments Project page with code: https://rbjin.github.io/RealVDeblur/
用于多步视觉推理的分层去噪
机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理技术国家重点实验室） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beihang University（北京航空航天大学） ； Fuzhou University（福州大学） ； Muka Robotics（木卡机器人）
专题命中 视频扩散模型 ：video generation(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 研究针对视频模型多步推理不足的问题，提出HDR框架，通过树形层次结构和稀疏分层注意力模式进行多步推理，在新基准测试中提升了成功率和进度，推理更快，数据效率更高，在机器人实验中展现潜力。
FADRA：用于视频人脸识别的频率感知扩散与残差自适应
机构 * United Arab Emirates University (UAEU)（阿联酋大学） ； Ocean University of China (OUC)（中国海洋大学） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 研究针对视频人脸识别在复杂退化下难以平衡空间保真度和时间连贯性的问题，提出FADRA框架，利用预训练模型的时间一致性，通过LoRA适配器、重复残差自适应头及频率感知损失等实现，实验证明其在恢复面部结构和保持时间一致性上优于现有方法。
Adaptive-WAM：基于质量引导的中间视频扩散特征早期退出规划
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)
AI总结 Adaptive-WAM是基于Wan2.2-5B主干的质量感知多出口规划器，通过动态分配主干深度减少计算量，在NAVSIM、nuScenes等数据集上取得优异规划性能，延迟显著降低。
GF-DiT：扩散Transformer服务的并行调度
机构 * Shanghai Jiao Tong University（上海交通大学） ； Guizhou University（贵州大学）
专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)
AI总结 提出GF-DiT，一种策略可编程运行时，通过动态调整请求并行度来优化扩散Transformer服务，利用无组集合通信实现低开销在线重配置，显著提升吞吐量和降低延迟。
从合成到去除：基于物理的反射模拟与基于扩散的视频去反射
机构 * Xiaomi Inc.（小米公司） ； MiLM Plus
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV
AI总结 该研究针对视频反射去除数据与模型缺失问题，提出闭环框架S2R，含基于物理的反射模拟、首个扩散式视频去反射模型及专用基准，实现了更优性能与更快推理。
Comments Project page: https://codingwzp.github.io/VideoDereflection_S2R
基于自适应分数蒸馏的生成式视频压缩
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV
AI总结 研究针对视频压缩探索专门设计的扩散模型，提出GenVC，通过全局到局部层次结构恢复时空细节，用自适应分数蒸馏加速推理，在超低比特率下实现高质量重建，参数少且解码速度快。
眩晕眩晕：通过其预测性AI双重重建电影理想
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM
AI总结 使用仅2.78%原始帧通过视频扩散模型重建希区柯克《迷魂记》，验证生成系统编码的经典电影规范，73.1%帧可识别，3.6%严重失败。
Comments Accepted to Ars Electronica EXPANDED 2026 - Conference on Animation and Interactive Art (in cooperation with ACM SIGGRAPH), Ars Electronica Festival, Linz. 7 pages, 7 figures. Authors' version
4DAnyone：从随意的单目视频中创建4D虚拟人物
机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Robbyant ； Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Hong Kong University of Science and Technology（香港科技大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 4DAnyone是一种从单目视频重建4D人体的框架，通过RCP和TCR解决多视图一致性问题，在相关数据集上优于现有方法且泛化性好。
Comments Project page: https://4danyone.github.io
AvatarDynamizer：通过生成式动态纹理从静态化身到动态人类化身
机构 * Max Planck Institute for Informatics（马克斯·普朗克信息学研究所） ； EPFL（洛桑联邦理工学院） ； VIA Research Center（VIA研究中心）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 AvatarDynamizer是一种生成式方法，可将现成静态3D化身转为可控多视角一致4D化身，通过纹理空间动态嵌入实现真实表面动态，在视觉保真度上优于通用方法。
Comments Project page: https://vcai.mpi-inf.mpg.de/projects/AvatarDynamizer
Stream4D：面向流式自回归扩散视频模型的4D一致性
机构 * UCLA（加州大学洛杉矶分校） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 Stream4D用显式建模场景动力学的前馈4D重建奖励替代静态评判器，结合运动先验与感知锚，提升流式自回归扩散视频模型的4D重建质量、运动保留效果及人类对齐偏好。
LinCa：基于可学习分解特征缓存的扩散模型加速方法
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Terminal Intelligent Computing Division, Alibaba Cloud（阿里云终端智能计算事业部） ； South China University of Technology（华南理工大学） ； Jilin University（吉林大学）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出LinCa框架，通过可学习可逆网络分解缓存特征并差异化预测，仅需少量额外参数即可在5-7倍加速下使扩散模型保持近无损质量，性能优于现有方法。
Comments Accepted to ECCV 2026. 28 pages including appendix. Code: https://github.com/QHR69/LinCa
SPVC：面向跨数据集驾驶场景渲染的结构化全景视频修复
机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Zhejiang University（浙江大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Great Wall Motor Company Limited（长城汽车股份有限公司） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong University of Science and Technology（香港科技大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出SPVC框架，通过结构化、全景、视频及跨数据集修复原则，训练两阶段可控视频扩散模型，解决驾驶场景渲染的伪影问题，实现跨数据集的高效修复。
Comments Project page: https://li00147.github.io/SPVC-Project-Page/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈