AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
Aura：通过基于VLM的语义对齐实现一致的多主体视频生成
机构 * Tencent Hunyuan（腾讯混元）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出Aura框架用于高保真和身份一致的视频生成，引入AI导演级字幕、利用VLM提取多模态语义特征，设计对齐策略，采用多种机制减少伪影，在多主体视频生成上达先进性能。
Comments Project page: https://aura-project-page.github.io/ Code: https://github.com/Camellia997/Aura
MV-Forcing：基于4D锚定时空自强制的长时长多视角视频生成
机构 * The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Cornell University（康奈尔大学）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 针对动态场景长时多视角一致视频生成难题，提出MV-Forcing框架，融合时序与视角自回归，实现任意时长视角数的高一致性多视角视频生成。
Comments Accepted to ECCV 2026. Project webpage: https://galfiebelman.github.io/mv-forcing/
CineMobile：用于电影级相机运动生成的设备端图像到视频扩散
机构 * Shanghai Jiao Tong University（上海交通大学） ； Nankai University（南开大学） ； Transsion（传音）
专题命中 视频生成 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 针对移动设备图像到视频创作需求，提出CineMobile。采用蒸馏引导剪枝、扩散蒸馏与强化学习优化及混合后训练量化策略，在保持视觉质量的同时大幅加速生成，证明其在移动图像到视频创作中的实用性。
ProxyUp：用于可控动力学的免训练代理条件视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Inc.（华为公司）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 现代视频生成模型精确控制复杂动力学具挑战性。提出代理条件视频生成，以代理视频控制前景物体运动。基于预训练模型构建免训练框架ProxyUp，用区域潜在噪声和随机流松弛，实验表明其在动态保真度和文本对齐方面优于基线。
Comments Project Page: $\href{https://zanue.github.io/proxyup}{\text{this https URL}}$
InteractiveAvatar: 用于一致且意图感知的虚拟形象的实时流式视频生成
机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University（西安交通大学人工智能与机器人研究所人机混合增强智能国家重点实验室） ； China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（中国电信人工智能科技（北京）有限公司） ； Wuhan University（武汉大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出InteractiveAvatar框架，通过自回归蒸馏实现实时无限流式生成，利用长短视觉记忆机制保持视觉一致性，并设计推理反应模块实现意图感知交互。
Directing the World: 具有组合式人体-相机控制的快速自回归视频生成
机构 * Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出一种快速自回归框架，通过解耦控制学习并保持统一视频先验，实现人体运动和相机轨迹的组合控制，支持稳定长程生成与高视觉质量。
SC3-Eval: 通过自洽视频生成评估机器人基础模型
机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； NVIDIA（英伟达） ； Physical Intelligence ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； Allen Institute for AI（艾伦人工智能研究所）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出SC3-Eval方法，利用前向-反向动力学一致性、跨视角一致性和测试时一致性，将预训练视频基础模型转化为准确的策略评估器，在7个真实世界策略上达到0.929的皮尔逊相关系数。
VPA-Guard：防御与基准测试图像到视频生成中的视觉提示攻击
机构 * Tsinghua University（清华大学） ； Central South University（中南大学） ； South China Normal University（华南师范大学） ； ByteDance Inc.（字节跳动公司） ； Pengcheng Laboratory（鹏城实验室）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出首个针对图像到视频生成中视觉提示攻击的系统基准VVA-Bench，并设计检索增强自进化防御框架VPA-Guard，平均降低攻击成功率44.2%和危害评分73.4%。
Comments Dataset Page: https://huggingface.co/datasets/CSU-JPG/VVA-Bench
Chorus II: 跨请求稀疏性重用用于高效图像到视频生成
机构 * Sun Yat-sen University（中山大学） ； WeChat HPC, Tencent Inc.（腾讯微信高性能计算） ； WeChat Vision, Tencent Inc.（腾讯微信视觉）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 针对图像到视频生成中计算昂贵的问题，提出跨请求稀疏性重用框架，通过共享稀疏掩码重用避免在线预测，实现2.16倍加速且保持生成质量。
GeoT2V-Bench: 通过3D重建基准测试文本到视频模型中的3D一致性
专题命中 视频生成 ：text-to-video(title,abstract)；分类 cs.CV
AI总结 提出GeoT2V-Bench，通过3D重建评估相机提示的文本到视频模型能否支持刚性3D场景重建，揭示不同指标下的互补失效模式。
Comments 36 pages, 17 figures, 18 tables
UnityShots: 基于记忆的多镜头音视频生成与边界感知门控
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； Kling Team, Kuaishou Technology（Kling团队，快手科技） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出UnityShots，一种基于记忆的多镜头音视频生成系统，通过固定大小的长期和短期记忆槽及边界条件门控实现跨镜头连贯性，在多种条件模式下超越开源基线。
ChronoLock: 保护视频免受未经授权的文本到视频个性化
机构 * Nanyang Technological University（南洋理工大学） ； Jilin University（吉林大学） ； The University of Manchester（曼彻斯特大学）
专题命中 视频生成 ：text-to-video(title,abstract)；分类 cs.CV
AI总结 针对文本到视频个性化中的未经授权微调风险，提出ChronoLock框架，通过扰动时间去噪轨迹破坏运动学习过程，有效降低运动模仿质量。
TriMotion: 模态无关的摄像机控制用于视频生成
机构 * GIST（光州科学技术院） ； Huawei Noah's Ark Lab（华为诺亚方舟实验室） ； Yonsei University（延世大学） ； Imperial College London（伦敦帝国理工学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出TriMotion框架，通过将视频、姿态和文本输入映射到共享运动嵌入空间，实现模态无关的摄像机控制视频生成，并引入潜在运动一致性目标，无需像素级解码即可准确跟随目标轨迹。
Comments ECCV Accepted
HarmoView: 协调多视角约束以实现身份一致视频生成
机构 * Tencent Hunyuan（腾讯混元）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出HarmoView框架，通过多级特征注入、可学习代理令牌和Jump-RoPE等架构改进，结合渐进式视角课程训练，解决大视角变化下身份一致视频生成的外观保真度问题，在多视角基准上达到最优性能。
Comments Project Page: https://conallwang.github.io/HarmoView_Pages
CULTURESCORE: 评估视频生成模型的文化忠实度
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Mila – Quebec AI Institute（魁北克人工智能研究所） ； Netflix（网飞）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CultureScore框架，从身份、背景和行为三个维度评估视频生成的文化忠实度，实验发现当前最佳模型得分仅56.8%，行为维度最困难。
ImageWAM：世界动作模型真的需要视频生成，还是只需要图像编辑？
机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology（东方理工学院） ； Tencent Robotics X（腾讯机器人X） ； Tsinghua University（清华大学） ； Zhongguancun Academy（中关村学院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出ImageWAM框架，利用预训练图像编辑模型替代视频生成进行机器人动作预测，通过编辑去噪的KV缓存作为世界动作上下文，在多个模拟和真实实验中优于基线，计算量降至1/6，延迟降至1/4。
Comments Project Page: https://zhangwenyao1.github.io/ImageWAM/
桥接创意意图与视觉质量：基于创作者驱动的循环视频生成与代理反馈循环
机构 * University of California, Davis（加州大学戴维斯分校） ； The Harker School（哈克学校） ； Basis Independent Silicon Valley（硅谷贝斯独立学校） ； Saratoga High（萨拉托加高中）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CHIEF框架，通过人类-AI协作的迭代视频精炼，结合创作者驱动和代理主观反馈，提升长视频的叙事连贯性与创意方向。
Comments Accepted to the Workshop on Human-AI Co-Creativity at ICML 2026
OmniDrive: 一种由LLM编排的多智能体世界模型，用于多视角驾驶视频生成的统一潜在协同压缩
机构 * Peking University（北京大学） ； Xiamen University（厦门大学） ； Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； National Taiwan University（国立台湾大学） ； Wuhan University（武汉大学） ； Wuhan University of Technology（武汉理工大学） ； Tsinghua University（清华大学） ； Jimei University（集美大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出DRIVE-CHOREO，一种由LLM编排的多智能体世界模型，通过三个Qwen2.5-VL智能体协同生成位置感知的潜在序列，并利用视图-时间置换与3D VAE协同压缩，实现可控多视角视频生成，在nuScenes上达到SOTA多视角一致性和BEV mAP 21.6。
Comments 24 pages, 10 figures
PermaVid: 通过解耦上下文记忆实现编辑下的一致视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； Stanford University（斯坦福大学） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出PermaVid框架，利用解耦为语义外观和几何结构的上下文记忆，结合编辑感知更新策略，实现编辑操作后视频的长期一致生成。
Comments Project page: https://ys-imtech.github.io/projects/PermaVid/
Track2View: 通过配对3D点轨迹实现4D一致的相机控制视频生成
机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； University of Copenhagen（哥本哈根大学）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出Track2View，利用配对3D点轨迹为视频扩散变压器提供显式时空对应，实现新视角视频渲染，在视觉质量、视角同步和相机精度上达到最先进水平。
GeoStream：迈向精确相机控制的流式视频生成
机构 * CMU（卡内基梅隆大学） ； Northeastern University（东北大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Rice University（莱斯大学） ； Snap Inc.（Snap公司） ； KAUST（阿卜杜拉国王科技大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出GeoStream框架，通过自刷新3D缓存和在线策略蒸馏，实现自回归流式视频生成中的精确度量级相机控制，解决了现有方法在视角移动时控制失效和分布偏移问题。
基于潜在空间运动建模的二维电影心脏磁共振时序一致且可控视频生成
机构 * Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences（苏州生物医学工程与技术研究所，中国科学院） ； SyCoIA, IMT Mines Ales（SyCoIA，IMT Mines Ales）
专题命中 视频生成 ：video generation(title)；text-to-video(abstract)；分类 cs.CV
AI总结 提出一种文本到视频生成方法，通过解耦心脏空间结构与时间运动，利用微调扩散模型合成初始帧，再以心脏相位嵌入条件化潜在流模型生成完整运动，实现高时序一致性和解剖可控性。
Journal ref ISBI 2026 - IEEE International Symposium on Biomedical Imaging, Apr 2026, London, United Kingdom. pp.1-4
ReFree: 通过无奖励强化学习和多级语音引导实现逼真的共语音视频生成
机构 * Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎综合理工学院） ； Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出ReFree-S2V框架，利用流匹配和预训练视频生成模型，通过多级语音表示和可学习选择器实现精细唇同步与自然表情，并引入无奖励强化学习生成自然头部运动，在唇同步准确性和自然度上达到最优。
CineDance: 迈向下一代多镜头长片电影级音视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Nanyang Technological University（南洋理工大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出CineDance-1M大规模多镜头长片音视频数据集，通过三阶段筛选流程和CineBench评估体系，实现高质量联合生成。
开放域定制视频生成的综合生态系统
机构 * University of Science and Technology of China（科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） ； Seoul National University（首尔国立大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出百万级数据集PexelsCustom-1M和参数高效框架CustoMDiT，仅用8%额外参数实现定制视频生成，并构建千类基准OpenCustom，开源整个生态系统。
Comments 5 pages, 3 figures, 4 tables. Accepted by ICASSP 2026
ARGUS: 堆叠多视角身份马赛克注入用于主体保持的视频生成
机构 * Peking University（北京大学） ； Kuaishou Technology（快手科技） ； Xiamen University（厦门大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出ARGUS框架，通过堆叠多视角身份马赛克注入（SMII）将身份表示为紧凑动态分布，结合MLLM身份导演、无交叉对反事实训练等模块，在主体保持视频生成中达到SOTA。
Comments 13 pages, 3 figures
MilliVid: 用于视频生成中长程一致性的分层潜变量
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Toyota Research Institute（丰田研究所）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出一种多尺度token空间的粗到细展开方法，通过预训练层次化自编码器压缩帧为多层token，并训练视频扩散模型生成这些token，在保持几何和物体持久性长程一致性的同时降低计算开销。
Comments Ishaan Preetam Chandratreya and David Charatan contributed equally. Project page: https://davidcharatan.com/millivid/
流式视频生成与流力控制
机构 * Northeastern University（东北大学） ； Impossible Research ； University of California, Berkeley（加州大学伯克利分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 提出StreamForce框架，通过统一力表示和蒸馏流程实现因果、统一的流式视频生成，支持局部和全局时变力控制，在单GPU上达到16.6 FPS，力遵循和运动真实性达最优。
基于模拟数据集和双流光流监督的物理基础流体视频生成
机构 * Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)
AI总结 研究流体视频生成中模型违反物理原理的问题，构建含模拟与真实视频的数据集，引入双流图像到视频架构，通过光流监督增强模型，提升视频物理常识和质量得分，使模型内化连贯运动先验。
Arachne: 编排级联以实现高效文本到视频模型训练
专题命中 视频生成 ：text-to-video(title,abstract)
AI总结 提出Arachne框架，通过将训练过程分解为细粒度计算单元（级联）并协调其分布式执行与同步，解决T2V模型训练中的负载不均和硬件利用率低问题，迭代时间最多减少65%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈