DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video Generation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本研究提出DriveDreamer-2，通过融合大语言模型将用户查询转为轨迹、生成合规高精地图并借助统一多视角模型增强时空一致性，实现定制化驾驶视频生成，质量优于现有方法且可提升驾驶感知训练效果。
2024-04-11 cs.CV
SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints
Kuaishou Technology（快手科技）；Tsinghua University（清华大学）；CUHK（香港中文大学）；Zhejiang University（浙江大学）
针对多视角视频动态一致性需求，提出即插即用的SynCamMaster模块与混合训练方案，增强预训练文生视频模型的多摄像机生成能力，还发布了SynCamVideo-Dataset数据集。
2024-12-10 cs.CV
Diverse Video Captioning Through Latent Variable Expansion
利用文本描述自动描述视频内容是一项具有挑战性的重要任务，一直是计算机视觉领域的研究热点。以往的工作主要追求生成句子的准确性，而忽略了句子的多样性，这与人类的行为是不一致的。在本文中，我们的目标是为每个视频添加多个描述，并提出了一个新的框架。具体地说，对于一个给定的视频，传统的编码-解码过程的中间潜变量被用作输入到条件生成对抗网络（CGAN）的目的是生成不同的句子。我们采用不同的卷积神经网络（CNN）作为我们的生成器，生成以潜在变量为条件的描述，并评估生成句子的质量。同时，设计了一种新的DCE指标来评估不同的字幕。我们在基准数据集上评估了我们的方法，在那里它展示了它生成不同描述的能力，并与其他最先进的方法相比取得了优异的结果。
2021-06-15 cs.CV cs.LG
GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
Columbia University（哥伦比亚大学）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
提出GenDDS方法，利用SDXL、ControlNet和Hotshot-XL构建视频生成流水线，基于KITTI数据集生成高质量且多样化的自动驾驶视频场景，为自动驾驶系统训练和仿真验证提供新途径。
2024-08-28 cs.AI cs.CV
Video2LoRA: Unified Semantic-Controlled Video Generation via Per-Reference-Video LoRA
Dalian University of Technology（大连理工大学）；HKUST（香港科技大学）
本文提出Video2LoRA框架，通过轻量级超网络预测个性化LoRA权重，实现灵活高效的语义控制视频生成，模型重量小于150MB，具备良好的零样本泛化能力。
2026-04-01 cs.CV
GANs N' Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们将展示如何学习一个映射，该映射将从人脸图像派生的内容代码和随机选择的样式代码映射到动漫图像。我们从我们对风格和内容的简单而有效的定义中得出了一个对抗性的损失。这种对抗性的损失保证了地图的多样性--一个单一的内容代码可以产生非常广泛的动画。在合理的假设下，地图不仅是多样的，而且还正确地表示了动画的概率，条件是输入面。相比之下，目前的多模态生成程序不能捕捉动画中出现的复杂风格。大量的定量实验支持了这一观点。大量的定性结果表明，该方法可以产生更多样化的风格比SOTA比较。最后，我们证明了我们的内容和风格的形式化允许我们执行视频到视频的翻译，而无需对视频进行培训。
2021-06-11 cs.CV cs.GR cs.LG
IP-FaceDiff: Identity-Preserving Facial Video Editing with Diffusion
Indian Institute Of Technology Madras（印度马德拉斯理工学院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
针对现有人脸视频编辑模型质量差、成本高、身份保持难及灵活性不足的问题，提出IP-FaceDiff框架，微调预训练T2I扩散模型，实现高质量文本驱动编辑，减时80%且保持身份与时间一致性，性能优于现有技术。
2025-01-13 cs.CV
Diverse Video Generation using a Gaussian Process Trigger
University of Maryland, College Park（马里兰大学帕克分校）
在给定一些上下文（或过去）帧的情况下生成未来帧是一项具有挑战性的任务。它需要在潜在的未来状态的多样性方面对视频和多模态的时间相干性进行建模。当前用于视频生成的变分方法倾向于边缘化多模态未来结果。相反，我们建议在未来的结果中明确建模多模态，并利用它来采样不同的未来。我们的方法，多样的视频生成器，使用高斯过程（GP）来学习给定过去的未来状态的先验知识，并在给定特定样本的情况下保持可能的未来的概率分布。此外，我们利用这种分布随时间的变化，通过估计正在进行的序列的结束来控制不同的未来状态的采样。也就是说，我们使用GP在输出函数空间上的方差来触发动作序列的变化。我们实现了国家的最先进的结果，在不同的未来帧生成重建质量和多样性的生成序列。
2021-07-09 cs.AI cs.CV cs.LG
IPV-Bench: Benchmarking Image Protection Methods under Diverse Image-to-Video Generation Scenarios
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Wuhan University（武汉大学）
针对图像到视频生成场景中图像保护方法缺乏统一评估框架的问题，IP-Bench提出首个系统性基准，评估6种保护方法和5种先进模型的鲁棒性及跨模型转移能力。
2026-08-20 cs.CV
WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models
针对野外视频阴影去除难题，提出WildShadowRemover框架，通过LoRA微调适配视频扩散模型，结合细节注入、频率分解调制及Depth Anything 3深度先验，构建对应数据集，在阴影去除质量与时间一致性上优于现有方法。
2026-08-25 cs.CV
Generative Video Matting
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University of Technology（浙江工业大学）
提出生成式视频抠图方法，利用大规模预训练和预训练视频扩散模型的先验，解决合成与真实场景域差距并增强时间一致性，在多个基准上表现优越。
2025-08-11 cs.CV
MoRoute: Dynamic Routing for In-Context Multimodal Video Generation
Sun Yat-sen University（中山大学）；HUJING Digital Media & Entertainment Group（沪景数字媒体娱乐集团）；Huazhong University of Science and Technology（华中科技大学）
MoRoute是采用动态层路由连接VLM与视频DiT的多模态视频生成框架，在三个基准数据集上均优于现有最优方法，提升了视频生成与编辑的性能。
2026-08-03 cs.CV
Point-to-Point: Sparse Motion Guidance for Controllable Video Editing
Point-to-Point通过引入锚点标记，利用视频扩散模型的先验知识，实现可控视频编辑中运动与编辑的高质量保真度。
2025-11-23 cs.CV
MoStGAN-V: Video Generation with Temporal Motion Styles
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出 MoStGAN-V，通过引入时间依赖的运动风格和 MoStAtt 运动风格注意力调制机制，解决了视频生成中时间一致性和运动多样性的问题，在四个基准上达到 SOTA。
2023-04-05 cs.CV
Stochastic Talking Face Generation Using Latent Distribution Matching
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；NVIDIA（英伟达）
仅仅根据听到的声音就能想象出一张会说话的脸的视觉效果，这是人类独有的能力。最近已经有许多作品解决了这种能力。我们与这些方法的不同之处在于，基于单个音频输入实现了各种说话面部生成。事实上，仅仅是能够生成一张会说话的脸就可以让一个系统在本质上几乎是机器人。相比之下，我们的无监督随机音频到视频生成模型允许从单个音频输入生成不同的生成。特别是，我们提出了一个无监督的随机音频到视频生成模型，可以捕获多种模式的视频分布。我们确保所有不同的世代都是合理的。我们这样做，通过一个原则性的多模态变分自编码器框架。我们在具有挑战性的LRW和GRID数据集上证明了其有效性，并表现出比基线更好的性能，同时能够生成多个不同的嘴唇同步视频。
2020-11-21 cs.CV
4DNeX: Feed-Forward 4D Generative Modeling Made Easy
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Shanghai AI Laboratory（上海人工智能实验室）
4DNeX提出首个从单张图像生成4D场景的前馈框架，通过构建4DNeX-10M数据集、统一6D视频表示和适配预训练视频扩散模型，实现高效图像到4D生成并支持新视角视频合成。
2025-08-18 cs.CV
DiffTED: One-shot Audio-driven TED Talk Video Generation with Diffusion-based Co-speech Gestures
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有音频驱动说话视频生成方法连贯性差、手势单一等问题，提出DiffTED方法，结合扩散模型与薄板样条运动模型，通过无分类器引导实现单样本TED风格视频生成，效果更连贯多样。
2024-09-11 cs.CV
Every Smile is Unique: Landmark-Guided Diverse Smile Generation
University of Trento（特伦托大学）；EPFL（洛桑联邦理工学院）；Inria（法国国家信息与自动化研究所）；Grenoble-Alpes University（格勒诺布尔阿尔卑斯大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
每一个微笑都是独一无二的：一个人肯定会以不同的方式微笑（例如，闭上/张开眼睛或嘴巴）。给定一张中性人脸的输入图像，我们能否生成多个具有不同特征的微笑视频？为了解决这个一对多视频生成问题，我们提出了一种新的深度学习架构，称为条件多模式网络（CMM-Net）。为了更好地对面部表情的动态进行编码，CMM-Net明确地利用面部标志来生成微笑序列。具体而言，变分自动编码器用于学习面部地标嵌入。然后，该单个嵌入被条件递归网络利用，该条件递归网络生成以特定表达式为条件的界标嵌入序列（例如，自然的微笑）。接下来，所生成的地标嵌入被馈送到多模式递归地标生成器中，从而产生仍然与给定的微笑类相关联但彼此明显不同的一组地标序列。最后，这些地标序列被翻译成人脸视频。我们的实验结果证明了我们的CMM-Net在生成多个微笑表情的逼真视频方面的有效性。
2018-03-28 cs.CV
VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
VideoPhy-2通过200种动作和人工评估揭示视频生成模型在物理常识上的关键缺陷，并训练自动评估器VideoPhy-AutoEval，为物理一致视频生成提供严格基准。
2025-03-09 cs.CV
CelebV-HQ: A Large-Scale Video Facial Attributes Dataset
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
大规模数据集在最近人脸生成/编辑的成功中发挥了不可或缺的作用，并显着促进了新兴研究领域的进步。然而，学术界仍然缺乏一个视频数据集，具有不同的面部属性注释，这是至关重要的人脸相关视频的研究。在这项工作中，我们提出了一个大规模，高质量，多样化的视频数据集，具有丰富的面部属性注释，命名为高质量名人视频数据集（CelebV-HQ）。CelebV-HQ包含35,666个视频片段，分辨率至少为512 x512，涉及15,653个身份。所有剪辑都手动标记了83个面部属性，包括外观，动作和情感。我们在年龄，种族，亮度稳定性，运动平滑度，头部姿势多样性和数据质量方面进行了全面的分析，以证明CelebV-HQ的多样性和时间一致性。此外，它的通用性和潜力验证了两个代表性的任务，即，无条件视频生成和视频面部属性编辑。此外，我们展望了CelebV-HQ的未来潜力，以及它将给相关研究方向带来的新机遇和挑战。数据、代码和模型都是公开的。项目页面：https://celebv-hq.github.io。
2022-07-25 cs.CV
One Editor, Many Edits: A Unified Training-Free Framework for Diverse Video Editing
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对单一框架内实现高质量多样化视频编辑的挑战，提出无训练框架EditVid，结合稀疏因果记忆等技术，在FiVE、IVEBench数据集及用户研究中均取得优于基线的结果。
2026-09-04 cs.AI cs.CV
TransPixeler: Advancing Text-to-Video Generation with Transparency
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；Adobe Research（奥多比研究院）
提出TransPixeler方法，通过扩散Transformer和LoRA微调扩展预训练视频模型，联合生成RGB与alpha通道，实现高质量RGBA视频生成，推动视觉特效发展。
2025-01-20 cs.CV
Spotlight: Identifying and Localizing Video Generation Errors Using VLMs
The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute of AI（向量人工智能研究所）；The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
Spotlight任务通过定位和解释视频生成错误，揭示VLMs在错误识别和定位上的不足，并提出改进策略以提升性能。
2025-11-22 cs.CV
Imagine360: Immersive 360 Video Generation from Perspective Anchor
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）
本文提出Imagine360框架，利用双分支去噪、对跖掩码和高程感知设计，从透视锚点视频生成高质量、运动连贯的360°全景视频。
2024-12-04 cs.CV
CAST: Modeling Visual State Transitions for Consistent Video Retrieval
University of California, Santa Cruz（加州大学圣克ruz分校）；Google（谷歌）
CAST通过建模视觉状态转换，提升视频检索的一致性和连贯性，适用于多种视觉-语言嵌入空间。
2026-03-09 cs.CV
ICDepth: Taming Video Diffusion Models for Video Depth Estimation via In-Context Conditioning
The Hong Kong University of Science and Technology（香港科技大学）
提出ICDepth框架，利用上下文条件化（ICC）将预训练文本到视频扩散Transformer适配到视频深度估计，通过SAND-Attention确保时空对齐和SRFM注入语义分辨率先验，仅用0.8M帧训练数据即达到SOTA并展现强零样本泛化。
2026-07-03 cs.CV
ReCamMaster: Camera-Controlled Generative Rendering from A Single Video
Zhejiang University（浙江大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；CUHK（香港中文大学）；HUST（华中科技大学）
ReCamMaster利用预训练文本到视频模型的生成能力，通过简单视频条件机制和虚幻引擎5构建的多相机同步数据集，实现单视频的相机轨迹控制重渲染，显著优于现有方法。
2025-07-09 cs.CV
EditVerse: Unifying Image and Video Editing and Generation with In-Context Learning
Adobe Research（Adobe研究院）；CUHK（中国香港大学）；Johns Hopkins University（约翰霍普金斯大学）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出EditVerse框架，通过统一token序列实现图像和视频生成编辑，利用自注意力机制实现跨模态知识迁移，实验表明其在视频编辑任务中达到SOTA水平。
2026-04-18 cs.CV
OmniWeaving: Towards Unified Video Generation with Free-form Composition and Reasoning
Zhejiang University（浙江大学）；Tencent Hunyuan（腾讯混元）；Nanyang Technological University（南洋理工大学）
本文提出OmniWeaving模型，通过大规模预训练数据学习多模态组合与推理能力，引入IntelligentVBench基准测试，展示其在开放源码统一视频生成中的领先性能。
2026-09-29 cs.CV
VistaGEN: Consistent Driving Video Generation with Fine-Grained Control Using Multiview Visual-Language Reasoning
Hong Kong University of Science and Technology（香港科技大学）；Meituan, Inc.（美团）；Beijing Normal University（北京师范大学）
本文提出VistaGEN，通过多视角视觉语言推理实现驾驶视频生成的细粒度控制与时空一致性，引入多视角视觉语言评估器和对象级细化模块，提升长视频生成质量与一致性。
2026-03-30 cs.CV
RoboSwap: A GAN-driven Video Diffusion Framework For Unsupervised Robot Arm Swapping
Ludwig-Maximilians-Universität München (LMU Munich)（慕尼黑路德维希-马克西米利安大学）；Huawei Heisenberg Research Center（华为海森堡研究中心）；Technische Universität München (TUM)（慕尼黑技术大学）；Albert-Ludwigs-Universität Freiburg（弗赖堡阿尔伯特-路易斯-大学）
针对机器人学习中跨具身数据稀缺的问题，提出无监督框架RoboSwap，通过结合GAN与扩散模型，在非配对数据上实现机械臂替换，提升了视频结构连贯性与运动一致性。
2025-10-04 cs.CV
OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation
Tencent（腾讯）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有基准无法全面评估全参考到视频生成的问题，本文提出OmniVBench基准和Omni-R2V大规模数据集，涵盖7个任务族、18个细粒度任务及12,172个检查项，并揭示当前模型性能差距。
2026-10-14 cs.CV
Reasoning via Video: The First Evaluation of Video Models' Reasoning Abilities through Maze-Solving Tasks
DeepWisdom；Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Renmin University of China（中国人民大学）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）；Xiamen University（厦门大学）；Hong Kong University of Science and Technology (GuangZhou)（香港科技大学（广州））
本文首次评估视频模型在迷宫解决任务中的推理能力，提出VR-Bench基准，展示视频生成在空间推理中的潜力。
2025-11-24 cs.AI cs.CV
Diverse Motion Customization via Control-based Dynamic Optimization
Seoul National University（首尔大学）
针对视频生成中运动定制的内容泄漏问题，提出基于控制与随机最优控制的CMC框架，通过引导生成动态避免坍缩，提升训练效率2.5倍，兼顾运动保真与多样性。
2026-10-08 cs.AI cs.CV
Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
Amazon FAR（亚马逊FAR）；UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Stanford（斯坦福大学）
提出PRISM框架，通过反事实视频生成和接触锚定仿真重建，从少量真实视频扩展训练数据，实现无需真实微调的人形机器人移动操作泛化。
2026-09-30 cs.CV cs.GR cs.RO
Non-Adversarial Video Synthesis with Learned Priors
University of California, Riverside（加州大学河滨分校）；IBM Research AI（IBM研究AI部门）
视频合成中的大多数现有工作都集中在使用对抗学习生成视频。尽管这些方法取得了成功，但它们通常需要输入参考帧，或者无法从给定的数据分布生成不同的视频，可以生成的视频质量几乎没有均匀性。与这些方法不同的是，我们专注于从潜在噪声向量生成视频的问题，没有任何参考输入帧。为此，我们开发了一种新的方法，通过非对抗学习联合优化输入潜在空间，递归神经网络和生成器的权重。优化输入潜在空间以及网络权重使我们能够在受控环境中生成视频，即，我们可以忠实地生成模型在学习过程中看到的所有视频以及新的未看到的视频。在三个具有挑战性和多样性的数据集上进行的大量实验充分证明，与现有的最先进的方法相比，我们的方法可以生成质量更高的视频。
2020-04-17 cs.CV eess.IV
VEGGIE: Instructional Editing and Reasoning Video Concepts with Grounded Generation
Adobe Research（Adobe研究机构）；University of Michigan（密歇根大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
VEGGIE提出端到端框架，统一教学视频编辑、接地与推理，通过MLLM和扩散模型结合课程学习及数据合成，在多项任务上超越基线。
2025-10-25 cs.AI cs.CL cs.CV
Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
Ctrl-Adapter 通过适配预训练 ControlNets，高效地为任意图像/视频扩散模型添加多样控制，支持视频编辑等下游任务，在 COCO 上匹配基线性能并在 DAVIS 2017 上达到最优，计算量少于 10 GPU 小时。
2024-05-24 cs.AI cs.CV cs.LG
ControlHair: Synergizing Physics Simulator and Video Diffusion for Controllable Dynamic Hair Rendering
University of Rochester（罗切斯特大学）；Pixocial Technology（Pixocial技术）
研究针对毛发模拟渲染难题，提出ControlHair框架，融合物理模拟器与视频扩散，通过三阶段管道实现可控动态毛发渲染，性能优于基线并展示多种应用。
2026-08-04 cs.CV cs.GR
Latent Video Diffusion Models for High-Fidelity Long Video Generation
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
人工智能生成的内容最近吸引了很多关注，但照片级逼真的视频合成仍然具有挑战性。尽管在这一领域已经进行了许多使用GANs和自回归模型的尝试，但生成的视频的视觉质量和长度远不能令人满意。扩散模型最近已经显示出显著的结果，但需要大量的计算资源。为了解决这个问题，我们引入轻量级的视频扩散模型，利用低维的3D潜在空间，显着优于以前的像素空间视频扩散模型在有限的计算预算。此外，我们提出了层次扩散的潜在空间，使更长的视频超过一千帧可以产生。为了进一步克服长视频生成的性能下降问题，我们提出了条件潜在扰动和无条件指导，有效地减轻了视频长度扩展过程中的累积错误。在不同类别的小域数据集上进行的广泛实验表明，我们的框架比以前的强基线生成更真实，更长的视频。我们还提供了一个扩展到大规模的文本到视频生成，以证明我们的工作的优越性。我们的代码和模型将公开提供。
2023-03-20 cs.AI cs.CV
From Here to There: Video Inbetweening Using Direct 3D Convolutions
Google Research（谷歌研究院）
我们考虑的问题，产生合理的和不同的视频序列，当我们只给一个开始和结束帧。这个任务也被称为中间插入，它属于随机视频生成的更广泛领域，通常通过递归神经网络（RNN）来实现。在本文中，我们提出了一种完全卷积模型，直接在像素域中生成视频序列。我们首先获得一个潜在的视频表示使用随机融合机制，学习如何将信息从开始和结束帧。我们的模型通过逐渐增加时间分辨率来学习产生这种潜在表示，然后使用3D卷积在时空域中进行解码。该模型通过最小化对抗损失进行端到端训练。在几个广泛使用的基准数据集上的实验表明，它能够生成有意义的和多样化的中间视频序列，根据定量和定性的评价。
2019-06-04 cs.AI cs.CV cs.LG
GVD: Guiding Video Diffusion Model for Scalable Video Distillation
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）；Cisco Research（思科研究）
针对大型视频数据集计算存储成本高的问题，提出首个基于扩散的视频蒸馏方法GVD，联合蒸馏时空特征生成高保真多样视频，在多个基准数据集上以极少帧数达到SOTA性能，还可低成本支持更高分辨率与IPC。
2025-07-30 cs.AI cs.CV
VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models
Kim Jaechul Graduate School of AI（金宰澈人工智能研究生院）；Bio and Brain Engineering（生物与脑工程系）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出VMC框架，通过一次性调优时间注意力层并利用帧间残差向量作为运动参考，在保留低频运动轨迹的同时抑制高频噪声，实现精确运动复现与多样化视觉变化的视频运动定制。
2023-12-01 cs.AI cs.CV cs.LG
Image Motion Blur Removal in the Temporal Dimension with Video Diffusion Models
Nanjing University（南京大学）；TopXGun Robotics（拓攻机器人）
提出将运动模糊视为时间平均现象，利用预训练视频扩散变换器模型在潜在空间捕捉运动动态，无需显式核估计，在合成和真实数据集上优于现有去模糊方法。
2025-01-22 cs.CV cs.LG eess.IV
RobotEQ-Video: A Video-Centric Benchmark for Social Proactive Intelligence with World-State Taxonomy
State Key Laboratory of Autonomous Intelligent Unmanned Systems, Tongji University（同济大学自主智能无人系统全国重点实验室）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；University of Science and Technology of China（中国科学技术大学）
本文提出RobotEQ-Video，一个以视频为中心的社交主动智能基准，通过四级世界状态分类法覆盖6领域、20维度、142+816个属性，含2000余视频和10万余标注，评估发现现有系统未达人类水平，推动SPI从静态图像迈向动态视频研究。
2026-09-21 cs.CV cs.HC
Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control
Hong Kong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）；Texas A&M University（德克萨斯农工大学）
本文提出统一的3D感知视频扩散框架DaS，以3D跟踪视频作为控制输入，支持相机控制、运动迁移、物体操控和网格到视频生成等多种任务，并提升时间一致性。
2025-01-09 cs.AI cs.CV cs.GR
VIMI: Grounding Video Generation through Multi-modal Instruction
Snap Inc（Snap公司）；UC Merced（加州大学默塞德分校）；Carnegie Mellon University（卡内基梅隆大学）
针对现有文本到视频扩散模型因缺乏大规模多模态提示视频数据导致视觉基础不足的问题，研究构建多模态提示数据集，提出两阶段训练的VIMI框架，实现多模态理解下的高质量视频生成，在UCF101基准上达SOTA。
2024-07-08 cs.AI cs.CL cs.CV
MAViS: A Multi-Agent Framework for Long-Sequence Video Storytelling
Virginia Tech（弗吉尼亚理工大学）；Nanyang Technological University（南洋理工大学）；Eyeline Studios（Eyeline工作室）
MAViS通过多智能体协作框架提升长序列视频生成的辅助能力、视觉质量和表达性，支持多模态输出。
2026-01-24 cs.AI cs.CV cs.MA
Towards Scalable Neural Representation for Diverse Videos
University of Maryland, College Park（马里兰大学帕克分校）；Meta AI；Fudan University（复旦大学）
隐式神经表示（INR）在表示3D场景和图像方面已经获得越来越多的关注，并且最近已经被应用于编码视频（例如，NeRV，E-NeRV）。虽然实现了有希望的结果，但是现有的基于INR的方法限于编码少数短视频（例如，UVG数据集中的七个5秒视频），具有冗余的视觉内容，导致模型设计独立地适合各个视频帧，并且不能有效地扩展到大量不同的视频。本文的重点是为更实用的设置开发神经表示-编码具有不同视觉内容的长视频和/或大量视频。我们首先证明，与其将视频分成小的子集并使用单独的模型对其进行编码，不如使用统一的模型对长而多样的视频进行编码，从而获得更好的压缩效果。基于这一观察，我们提出了D-NeRV，一种新的神经表示框架，旨在通过以下方式对不同的视频进行编码：（i）将特定于剪辑的视觉内容与运动信息解耦，（ii）将时间推理引入隐式神经网络，以及（iii）采用面向任务的流作为中间输出以减少空间冗余。在视频压缩任务上，我们的新模型在很大程度上超过了NeRV和UCF 101和UVG数据集上的传统视频压缩技术。此外，当用作高效的数据加载器时，在相同压缩比下，D-NeRV在UCF 101数据集上的动作识别任务中的准确率比NeRV高3%-10%。
2023-03-24 cs.CV
AViD Dataset: Anonymized Videos from Diverse Countries
Indiana University（印第安纳大学）；Stony Brook University（石溪大学）
我们引入了一个新的用于动作识别的公共视频数据集：来自不同国家的Ancherized Videos（AViD）。与现有的公共视频数据集不同，AViD是来自许多不同国家的动作视频的集合。其动机是创建一个公共数据集，使每个人都能受益于动作识别模型的培训和预培训，而不是使其对有限的国家有用。此外，AViD视频中的所有面部身份都经过适当的匿名处理，以保护其隐私。它也是一个静态数据集，其中每个视频都使用Creative Commons许可证进行许可。我们确认，大多数现有的视频数据集在统计上有偏差，只捕捉来自有限数量的国家的动作视频。我们的实验表明，使用这种有偏见的数据集训练的模型不能完美地转移到其他国家的动作视频，并表明AViD解决了这个问题。我们还证实，新的AViD数据集可以作为预训练模型的良好数据集，比以前的数据集表现更好。
2020-11-03 cs.CV
RoadSocial: A Diverse VideoQA Dataset and Benchmark for Road Event Understanding from Social Video Narratives
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；CVIT（计算机视觉与图像实验室）；iHub-Data（数据创新中心）
RoadSocial是一个大规模多样化VideoQA数据集，利用半自动标注框架生成12类问答对，覆盖1400万帧和41.4万评论，评估18个视频LLM，提升通用模型的道路事件理解能力。
2025-03-27 cs.CV
Towards Diverse Paragraph Captioning for Untrimmed Videos
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
视频段落字幕旨在用描述性段落描述未经裁剪的视频中的多个事件。现有的方法主要通过两个步骤来解决这个问题：事件检测和事件字幕。这种两步的方式使得生成的段落的质量高度依赖于事件提议检测的准确性，这已经是一项具有挑战性的任务。在本文中，我们提出了一个段落字幕模型，它避开了有问题的事件检测阶段，直接生成未修剪的视频段落。为了描述连贯和多样的事件，我们建议增强传统的时间注意力与动态视频记忆，逐步暴露新的视频功能和抑制过度访问的视频内容，以控制模型的视觉焦点。此外，本文还提出了一种多样性驱动的训练策略，从语言的角度来提高段落的多样性。考虑到未修剪的视频通常包含大量但冗余的帧，我们进一步增强视频编码器的关键帧感知能力以提高效率。在ActivityNet和Charades数据集上的实验结果表明，在不使用任何事件边界注释的情况下，我们提出的模型在准确性和多样性指标上的性能都显着优于最先进的性能。代码将在https://github.com/syuqings/video-paragraph上发布。
2021-05-30 cs.CV
Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
New York University（纽约大学）
SceneSum通过自监督方法将场景视频聚类为空间多样化的关键帧，提升空间推理能力，优于现有视频摘要方法。
2025-11-23 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen（图宾根大学）
为了生成合适的视频字幕，推理需要识别相关概念，并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构，一个适合的Transformer用于单个联合时空视频分析，以及一个基于自注意力的解码器用于高级文本生成。此外，我们引入了一个自适应帧选择方案，以减少所需的传入帧的数量，同时保持相关的内容时，训练两个Transformers。此外，我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD，以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成（NLG）指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
