AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
HarmoView: 协调多视角约束以实现身份一致视频生成
机构 * Tencent Hunyuan（腾讯混元）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出HarmoView框架，通过多级特征注入、可学习代理令牌和Jump-RoPE等架构改进，结合渐进式视角课程训练，解决大视角变化下身份一致视频生成的外观保真度问题，在多视角基准上达到最优性能。
Comments Project Page: https://conallwang.github.io/HarmoView_Pages
CULTURESCORE: 评估视频生成模型的文化忠实度
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Mila – Quebec AI Institute（魁北克人工智能研究所） ； Netflix（网飞）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CultureScore框架，从身份、背景和行为三个维度评估视频生成的文化忠实度，实验发现当前最佳模型得分仅56.8%，行为维度最困难。
ImageWAM：世界动作模型真的需要视频生成，还是只需要图像编辑？
机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology（东方理工学院） ； Tencent Robotics X（腾讯机器人X） ； Tsinghua University（清华大学） ； Zhongguancun Academy（中关村学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出ImageWAM框架，利用预训练图像编辑模型替代视频生成进行机器人动作预测，通过编辑去噪的KV缓存作为世界动作上下文，在多个模拟和真实实验中优于基线，计算量降至1/6，延迟降至1/4。
Comments Project Page: https://zhangwenyao1.github.io/ImageWAM/
桥接创意意图与视觉质量：基于创作者驱动的循环视频生成与代理反馈循环
机构 * University of California, Davis（加州大学戴维斯分校） ； The Harker School（哈克学校） ； Basis Independent Silicon Valley（硅谷贝斯独立学校） ； Saratoga High（萨拉托加高中）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CHIEF框架，通过人类-AI协作的迭代视频精炼，结合创作者驱动和代理主观反馈，提升长视频的叙事连贯性与创意方向。
Comments Accepted to the Workshop on Human-AI Co-Creativity at ICML 2026
OmniDrive: 一种由LLM编排的多智能体世界模型，用于多视角驾驶视频生成的统一潜在协同压缩
机构 * Peking University（北京大学） ； Xiamen University（厦门大学） ； Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； National Taiwan University（国立台湾大学） ； Wuhan University（武汉大学） ； Wuhan University of Technology（武汉理工大学） ； Tsinghua University（清华大学） ； Jimei University（集美大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出DRIVE-CHOREO，一种由LLM编排的多智能体世界模型，通过三个Qwen2.5-VL智能体协同生成位置感知的潜在序列，并利用视图-时间置换与3D VAE协同压缩，实现可控多视角视频生成，在nuScenes上达到SOTA多视角一致性和BEV mAP 21.6。
Comments 24 pages, 10 figures
PermaVid: 通过解耦上下文记忆实现编辑下的一致视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； Stanford University（斯坦福大学） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出PermaVid框架，利用解耦为语义外观和几何结构的上下文记忆，结合编辑感知更新策略，实现编辑操作后视频的长期一致生成。
Comments Project page: https://ys-imtech.github.io/projects/PermaVid/
Track2View: 通过配对3D点轨迹实现4D一致的相机控制视频生成
机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； University of Copenhagen（哥本哈根大学）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出Track2View，利用配对3D点轨迹为视频扩散变压器提供显式时空对应，实现新视角视频渲染，在视觉质量、视角同步和相机精度上达到最先进水平。
GeoStream：迈向精确相机控制的流式视频生成
机构 * CMU（卡内基梅隆大学） ； Northeastern University（东北大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Rice University（莱斯大学） ； Snap Inc.（Snap公司） ； KAUST（阿卜杜拉国王科技大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出GeoStream框架，通过自刷新3D缓存和在线策略蒸馏，实现自回归流式视频生成中的精确度量级相机控制，解决了现有方法在视角移动时控制失效和分布偏移问题。
基于潜在空间运动建模的二维电影心脏磁共振时序一致且可控视频生成
机构 * Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences（苏州生物医学工程与技术研究所，中国科学院） ； SyCoIA, IMT Mines Ales（SyCoIA，IMT Mines Ales）
专题命中 视频生成 ：video generation(title)；text-to-video(abstract)；分类 cs.CV
AI总结 提出一种文本到视频生成方法，通过解耦心脏空间结构与时间运动，利用微调扩散模型合成初始帧，再以心脏相位嵌入条件化潜在流模型生成完整运动，实现高时序一致性和解剖可控性。
Journal ref ISBI 2026 - IEEE International Symposium on Biomedical Imaging, Apr 2026, London, United Kingdom. pp.1-4
ReFree: 通过无奖励强化学习和多级语音引导实现逼真的共语音视频生成
机构 * Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎综合理工学院） ； Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出ReFree-S2V框架，利用流匹配和预训练视频生成模型，通过多级语音表示和可学习选择器实现精细唇同步与自然表情，并引入无奖励强化学习生成自然头部运动，在唇同步准确性和自然度上达到最优。
CineDance: 迈向下一代多镜头长片电影级音视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Nanyang Technological University（南洋理工大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CineDance-1M大规模多镜头长片音视频数据集，通过三阶段筛选流程和CineBench评估体系，实现高质量联合生成。
开放域定制视频生成的综合生态系统
机构 * University of Science and Technology of China（科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） ； Seoul National University（首尔国立大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出百万级数据集PexelsCustom-1M和参数高效框架CustoMDiT，仅用8%额外参数实现定制视频生成，并构建千类基准OpenCustom，开源整个生态系统。
Comments 5 pages, 3 figures, 4 tables. Accepted by ICASSP 2026
ARGUS: 堆叠多视角身份马赛克注入用于主体保持的视频生成
机构 * Peking University（北京大学） ； Kuaishou Technology（快手科技） ； Xiamen University（厦门大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出ARGUS框架，通过堆叠多视角身份马赛克注入（SMII）将身份表示为紧凑动态分布，结合MLLM身份导演、无交叉对反事实训练等模块，在主体保持视频生成中达到SOTA。
Comments 13 pages, 3 figures
MilliVid: 用于视频生成中长程一致性的分层潜变量
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Toyota Research Institute（丰田研究所）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出一种多尺度token空间的粗到细展开方法，通过预训练层次化自编码器压缩帧为多层token，并训练视频扩散模型生成这些token，在保持几何和物体持久性长程一致性的同时降低计算开销。
Comments Ishaan Preetam Chandratreya and David Charatan contributed equally. Project page: https://davidcharatan.com/millivid/
评估设计视频生成：构成保真度的度量标准
机构 * Lica World（Lica世界） ； San Francisco, United States of America（美国旧金山） ； ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea（ICML’26 人类-人工智能协同创作研讨会，韩国首尔）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出一个自动化评估框架，用于评估设计动画中布局、动作正确性、时间质量和内容保真度，以替代主观人类评估，为该领域提供统一基准。
Comments ICML 2026 Workshop on Human-AI Co-Creativity
VideoGPA: 通过几何先验知识蒸馏实现3D一致的视频生成
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 VideoGPA通过几何先验知识蒸馏提升视频生成的3D一致性，利用数据高效的自监督框架引导视频扩散模型，显著增强时间稳定性、几何合理性与运动一致性。
Comments 8 pages, 5 figures, ICML 2026
流式视频生成与流力控制
机构 * Northeastern University（东北大学） ； Impossible Research ； University of California, Berkeley（加州大学伯克利分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出StreamForce框架，通过统一力表示和蒸馏流程实现因果、统一的流式视频生成，支持局部和全局时变力控制，在单GPU上达到16.6 FPS，力遵循和运动真实性达最优。
LoomVideo: 统一多模态输入到视频生成与编辑
机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出LoomVideo，一种5B参数的高效统一架构，通过多模态大语言模型和零开销Scale-and-Add条件机制，实现视频生成与编辑，显著降低计算复杂度并加速推理。
RhymeFlow: 基于异步去噪流调度的无训练加速视频生成
机构 * Tsinghua University（清华大学） ； GigaAI
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 针对DiT视频生成模型推理慢的问题，提出无训练框架RhymeFlow，通过识别关键帧并仅对其密集去噪，非关键帧逐步跳过步骤，同时引入潜在轨迹投影模块保持时序一致性，实现加速并提升质量。
Comments Project Page: https://simon-dcs.github.io/Website-of-RhymeFlow/, Code: https://github.com/Simon-Dcs/RhymeFlow
Dream.exe: 视频生成模型能否梦想出可执行的机器人操作？
机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） ； University of Oxford（牛津大学） ； Tencent（腾讯）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出Dream.exe评估框架，通过视频到执行流水线测试视频生成模型产生的运动能否转化为可执行的机器人操作，发现视觉质量不能预测可执行性。
通过降阶线性最优控制引导视频生成模型的激活
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 视频生成 ：video generation(title)；text-to-video(abstract)；分类 cs.CV
AI总结 提出LA-LQR框架，将文本到视频推理建模为动态系统，通过降阶最优控制实现最小干预的激活引导，减少不安全内容生成同时保持视觉质量。
基于物理信息的视频生成：通过混合专家潜在对齐
机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学技术大学） ； ZGCA（浙江大学） ； USTC（中国科学技术大学） ； BUAA（北京航空航天大学） ； ZJU（浙江大学） ； EIT（欧洲工业技术学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出PILA框架，通过混合专家潜在对齐将物理结构化潜在引导注入预训练视频模型的冻结流匹配动力学，以提升生成视频的物理合理性。
AAD-1：用于一步自回归视频生成的非对称对抗蒸馏
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出非对称对抗蒸馏框架AAD-1，通过打破生成器与判别器的对称性以及分阶段训练策略，解决一步自回归视频生成中的运动崩溃和训练不稳定问题，实现最先进性能。
Comments ICML 2026. Project page: \url{https://aad-1.github.io/}
ShareVerse：面向共享世界建模的多智能体一致视频生成
机构 * Shanghai Jiao Tong University China（上海交通大学中国） ； Fudan University China（复旦大学中国） ； StepFun China（StepFun中国）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出ShareVerse框架，通过构建多智能体交互数据集、空间拼接策略和跨智能体注意力机制，实现多智能体共享世界的一致视频生成。
T2AV-Compass：迈向文本到音频-视频生成的统一评估
机构 * NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； Kling Team, Kuaishou Technology（快手技术 Kling 团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出T2AV-Compass基准，通过分类学驱动的500个复杂提示和双层次评估框架（客观信号指标+主观MLLM评判），系统评估文本到音频-视频生成模型，发现现有模型在跨模态对齐和指令遵循方面显著不足。
Comments 41 pages, 13 figures, 12 tables. Accepted at ICML 2026
OrthoPhys：基于正交视角几何引导的物理合理视频生成
机构 * the State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； the School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhongguancun Academy（中关村学院） ； School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院） ； College of Automotive and Energy Engineering, Tongji University（同济大学汽车与能源工程学院） ； SKLCCSE, School of Computer Science and Engineering, Beihang University（SKLCCSE，北京航空航天大学计算机科学与工程学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出两阶段框架 OrthoPhys，通过正交视角几何引导生成物理一致的前景运动，再合成完整视频，显著提升物理真实感和时空一致性。
Robust Dreamer: 用于动作控制AR视频生成的偏差感知潜在高斯记忆
机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Technische Universität München（慕尼黑技术大学） ； Vertex Lab（Vertex实验室） ； Australian National University（澳大利亚国立大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出Robust Dreamer框架，通过潜在高斯记忆和动态偏差存档解决自回归视频生成中的漂移问题，实现长程3D一致性。
Causal Forcing++：用于实时交互式视频生成的可扩展少步自回归扩散蒸馏
机构 * Tsinghua University（清华大学） ； ShengShu（盛数） ； Renmin University of China（中国人民大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出Causal Forcing++框架，通过因果一致性蒸馏（causal CD）实现帧级1-2步自回归扩散蒸馏，在降低延迟和训练成本的同时提升视频生成质量。
PostCam: 基于查询共享交叉注意力的相机可控新视角视频生成
机构 * State Key Lab of CAD\&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； Shanghai InSpatio Intelligent Technology Co., Ltd.（上海InSpatio智能技术有限公司）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出PostCam框架，通过查询共享交叉注意力机制对齐6自由度姿态和渲染特征，实现动态场景中高细节保持和精确相机轨迹编辑的新视角视频生成。
YoCausal: 视频生成距离世界模型还有多远？一个因果视角
机构 * National Yang Ming Chiao Tung University ； Shanda AI Research Tokyo
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出YoCausal基准，通过时间反转真实视频生成反事实样本，利用反向惊奇指数（RSI）和因果认知指数（CCI）评估视频扩散模型的因果理解能力，发现模型感知时间方向不等于理解因果关系，与人类水平存在显著差距。
Comments Project page: https://www.youzhexie.me/papers/YoCausal/index.html
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈