Semantically Consistent Video Inpainting with Conditional Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI（Inverted AI公司）
针对现有视频修复方法难以合成新内容的问题，提出基于条件视频扩散模型的修复框架，通过专用采样方案和已知像素条件约束，生成时空语义一致的高质量多样修复结果。
2024-10-08 cs.CV cs.LG
CANF-VC: Conditional Augmented Normalizing Flows for Video Compression
National Yang Ming Chiao Tung University（国立阳明交通大学）；CNIT（意大利国家电信联盟）；University of Brescia（布雷西亚大学）
提出了一种基于条件增强规范化流（CANF）的端到端学习视频压缩系统CANF VC。大多数已知的视频压缩系统采用与传统编解码器相同的基于混合的编码架构。最近对条件编码的研究表明了基于混合的编码的次优性，并为深度生成模型在创建新的编码框架中发挥关键作用提供了机会。CANF-VC代表了利用条件ANF来学习用于条件帧间编码的视频生成模型的新尝试。我们选择ANF是因为它是一种特殊类型的生成模型，其中包括变分自编码器作为特例，并且能够实现更好的表达。CANF-VC还将条件编码的思想扩展到运动编码，形成了一个纯条件编码框架。在常用数据集上的大量实验结果证实了CANF-VC方法的优越性。CANF-VC的源代码可在https://github.com/NYCU-MAPL/CANF-VC上获得。
2022-08-15 cs.CV cs.LG eess.IV
Sketching the Future (STF): Applying Conditional Control Techniques to Text-to-Video Models
Carnegie Mellon University（卡内基梅隆大学）
提出一种结合零样本文本到视频生成与ControlNet的方法，通过草图帧插值实现高质量、高一致性的视频生成，并提供完整资源包。
2023-05-10 cs.AI cs.CV
DFVEdit: Conditional Delta Flow Vector for Zero-shot Video Editing
Zhejiang University（浙江大学）；Tongyi Lab（通义实验室）；DAMO Academy（达摩院）；Huazhong University of Science and Technology（华中科技大学）
本文提出DFVEdit，一种针对Video DiTs的高效零样本视频编辑方法，通过流变换直接操作干净潜变量免除了注意力修改与微调，实现20倍推理加速与85%内存减少，达到SOTA编辑质量。
2025-06-27 cs.AI cs.CV
Conditional MoCoGAN for Zero-Shot Video Generation
Chiba University（千叶大学）
我们提出了一个条件生成对抗网络（GAN）模型的zero-shot视频生成。在这项研究中，我们探讨了zero-shot条件生成设置。换句话说，我们从缺少类的训练样本中生成看不见的视频。该任务是条件数据生成的扩展。其关键思想是学习GAN的潜在空间中的解纠缠表示。为了实现这一目标，我们基于我们的模型的运动和内容分解的GAN和条件GAN的图像生成。我们构建模型以找到更好的解纠缠表示并生成高质量的视频。我们证明了我们提出的模型的有效性，通过实验上的魏茨曼动作数据库和MUG面部表情数据库。
2021-09-13 cs.CV
V-Express: Conditional Dropout for Progressive Training of Portrait Video Generation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
提出V-Express方法，通过渐进式训练和条件性Dropout平衡不同强度的控制信号，解决音频等弱信号在肖像视频生成中被掩盖的问题，实现音频、姿态和参考图像的同时有效控制。
2024-06-04 cs.AI cs.CV
Identifying and Solving Conditional Image Leakage in Image-to-Video Diffusion Model
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；ShengShu（升数）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
针对图像到视频扩散模型因条件图像泄漏导致运动不足的问题，提出从较早时间步生成并采用Analytic-Init初始噪声分布及TimeNoise训练噪声策略，在开放域基准和UCF101上提升运动分数与精度。
2024-11-06 cs.AI cs.CV
Improved Conditional VRNNs for Video Prediction
Mila - Université de Montréal（Mila - 蒙特利尔大学）；Facebook AI Research（Facebook人工智能研究院）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
预测视频序列的未来帧是一项具有挑战性的生成建模任务。有前途的方法包括概率潜在变量模型，如变分自动编码器。虽然VAE可以处理不确定性并对多种可能的未来结果进行建模，但它们往往会产生模糊的预测。在这项工作中，我们认为这是一个迹象不足。为了解决这个问题，我们建议增加潜在分布的表现力，并使用更高的容量似然模型。我们的方法依赖于一个层次的潜变量，它定义了一个家庭的灵活的先验和后验分布，以更好地模拟未来序列的概率。我们通过一系列的消融实验来验证我们的建议，并将我们的方法与当前最先进的潜变量模型进行比较。我们的方法在三个不同的数据集的几个指标下表现良好。
2019-04-27 cs.CV cs.LG
Diffusion Reward: Learning Rewards via Conditional Video Diffusion
Shanghai Qi Zhi Institute（上海期智研究院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；Sichuan University（四川大学）；Tsinghua University（清华大学）
本文提出 Diffusion Reward 框架，利用条件视频扩散模型从专家视频中学习奖励，并通过条件熵负值引导探索，在仿真与真实机器人操作及未知任务上显著优于基线。
2024-08-09 cs.CV cs.LG cs.RO
Video Diffusion Models
Google（谷歌）
生成时间上一致的高保真视频是生成式建模研究中的一个重要里程碑。我们提出了一个扩散模型的视频生成，显示出非常有前途的初步结果，朝着这一里程碑的进展。我们的模型是标准图像扩散架构的自然扩展，它可以从图像和视频数据中进行联合训练，我们发现这可以减少小批量梯度的方差并加快优化速度。为了生成长时间和更高分辨率的视频，我们引入了一种新的条件采样技术，用于空间和时间视频扩展，其性能优于以前提出的方法。我们提出的第一个结果在一个大的文本条件下的视频生成任务，以及国家的最先进的结果建立基准视频预测和无条件的视频生成。补充材料可在https://video-diffusion.github.io/上获得
2022-06-22 cs.AI cs.CV cs.LG
RefDecoder: Enhancing Visual Generation with Conditional Video Decoding
University of Washington（华盛顿大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出RefDecoder，通过引入高保真参考图像信号提升视频生成质量，改进解码器结构以保持结构完整性，在多个基准测试中取得显著提升。
2026-05-14 cs.CV cs.LG
Video ControlNet: Towards Temporally Consistent Synthetic-to-Real Video Translation Using Conditional Image Diffusion Models
本文提出Video ControlNet，利用现成条件图像扩散模型和光流信息，通过联合噪声优化实现无需训练或微调的时间一致合成到真实视频转换，在多个基准上优于基线方法。
2023-05-30 cs.CV
T2V-Turbo-v2: Enhancing Video Generation Model Post-Training through Data, Reward, and Conditional Guidance Design
UC Santa Barbara（加州大学圣芭芭拉分校）；UC Los Angeles（加州大学洛杉矶分校）；Amazon AGI（亚马逊人工智能实验室）；University of Waterloo（滑铁卢大学）
本文提出 T2V-Turbo-v2，通过整合高质量数据、奖励模型反馈和条件引导至一致性蒸馏过程，显著提升了扩散式 T2V 模型的后训练效果，在 VBench 上以 85.13 分超越 Gen-3 和 Kling 等专有系统。
2025-09-16 cs.AI cs.CV
Motion Dreamer: Boundary Conditional Motion Reasoning for Physically Coherent Video Generation
本文提出Motion Dreamer框架，通过分离运动推理与视觉合成，解决视频生成中边界条件运动推理的问题，提升运动合理性与视觉真实性。
2026-03-12 cs.AI cs.CV
Transition Matching Distillation for Fast Video Generation
NVIDIA（英伟达）；NYU（纽约大学）
研究针对大型视频模型多步采样低效问题，提出过渡匹配蒸馏框架TMD，将扩散模型多步去噪轨迹与少步概率过渡过程匹配，分解扩散主干为组件，经实验验证TMD在速度和质量权衡上表现出色，优于现有蒸馏模型。
2026-07-13 cs.AI cs.CV cs.LG
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
Conditional Video Generation Using Action-Appearance Captions
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
由于最近的生成对抗网络（GANs），自动视频生成领域得到了推动。然而，大多数现有的方法不能使用文本字幕来控制所生成的视频的内容，在很大程度上失去了它们的有用性。这特别影响人类视频，因为它们的动作和外观种类繁多。本文提出了条件流和纹理GAN（CFT-GAN），一种基于GAN的视频生成方法从动作外观字幕。我们提出了一种通过编码字幕（例如，“一个穿蓝色牛仔裤的男人正在打高尔夫球”）。我们的CFT-GAN使用这样的标题来为每帧生成光流（动作）和纹理（外观）。结果，输出视频以合理的方式反映在字幕中指定的内容。此外，为了训练我们的方法，我们构建了一个新的数据集，用于生成带有字幕的人类视频。我们通过消融研究和用户研究定性和定量地评估了所提出的方法。结果表明，CFT-GAN能够成功地生成包含字幕中指示的动作和外观的视频。
2018-12-05 cs.CV
Temporal-Conditional Referring Video Object Segmentation with Noise-Free Text-to-Video Diffusion Model
本文提出一种时间条件RVOS模型，通过改进分割头设计、利用无噪声文本到视频扩散模型提取特征，并设计TCMR模块，在四个公开基准上取得最先进性能。
2025-08-19 cs.CV
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine（加利福尼亚大学欧文分校）；Microsoft Research（微软研究院）
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD，通过联合对比损失和跨模态简易融合模块，在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
ACD: Direct Conditional Control for Video Diffusion Models via Attention Supervision
Sun Yat-sen University（中山大学）；Yonsei University（延世大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室）；X-Era AI Lab（X-Era人工智能实验室）
ACD通过注意力监督实现视频扩散模型的直接条件控制，引入稀疏3D-aware对象布局和专用布局控制网络，提升视频生成的可控性和一致性。
2025-12-24 cs.CV
LaMD: Latent Motion Diffusion for Image-Conditional Video Generation
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）；Microsoft Research Asia（微软亚洲研究院）
针对图像条件视频生成中运动连贯性与采样效率的问题，提出LaMD框架，通过运动分解视频自动编码器压缩运动表示，结合扩散运动生成器高效生成真实运动，在多数据集上实现高质量视频生成并缩短采样时间。
2025-04-18 cs.CV
FlashI2V: Fourier-Guided Latent Shifting Prevents Conditional Image Leakage in Image-to-Video Generation
Peking University, Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；Rabbitpre AI
针对图像到视频生成中的条件图像泄漏问题，提出FlashI2V框架，通过潜空间偏移隐式融入条件、傅里叶引导加速收敛，仅1.3B参数就在Vbench-I2V上取得优于更大参数量模型的动态度得分与域外泛化性能。
2025-11-14 cs.CV
Automatic Video Colorization using 3D Conditional Generative Adversarial Networks
University of Ioannina（约阿尼纳大学）；Information Technologies Institute, CERTH（CERTH信息技术研究所）
在这项工作中，我们提出了一种自动彩色化的灰度视频的方法。该方法的核心是一个生成对抗网络，该网络以滑动窗口的方式在帧序列上进行训练和测试。网络卷积层和去卷积层是三维的，其中帧高度、宽度和时间作为考虑的维度。每帧的多个色度估计被聚合并与可用的亮度信息组合以重新创建彩色序列。彩色化试验成功地运行在旧的黑白电影的数据集。我们的方法的有用性也验证了数值结果，计算与一个新提出的度量，衡量着色一致性的帧序列。
2019-05-08 cs.CV
Text-based Talking Video Editing with Cascaded Conditional Diffusion
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
提出级联条件扩散框架，分音频到稠密地标运动和运动到视频两阶段，实现高效、身份保持的文本驱动说话视频编辑。
2024-07-20 cs.CV
Decouple Content and Motion for Conditional Image-to-Video Generation
Peking University（北京大学）；Chinese Academy of Science（中国科学院）；Kuaishou Technology（快手科技）
针对条件式图像到视频生成中像素空间方法运动一致性差、效率低的问题，提出将RGB像素解耦为空间内容与时间运动，基于3D-UNet扩散模型预测运动并扭曲起始图像，在不增加模型复杂度的同时提升生成效果与效率。
2023-12-14 cs.CV
QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation
Fudan University（复旦大学）
本文研究了条件人体运动动画（cHMA）的任务。给定源图像和驾驶视频，模型应该动画化新的帧序列，其中源图像中的人应该执行与来自驾驶视频的姿势序列类似的运动。尽管生成对抗网络（GANs）方法在图像和视频合成中取得了成功，但由于难以有效利用图像或姿势等条件引导信息并生成具有良好视觉质量的图像，因此进行cHMA仍然非常具有挑战性。为此，本文提出了一种新的模型，学习量化，拼字，和工艺（QS-Craft）的条件人体运动动画。关键的新颖性来自新引入的三个关键步骤：量化、拼字和工艺。特别是，我们的QS-Craft在其结构中使用了Transformer来利用注意力架构。引导信息被表示为从驾驶视频提取的姿势坐标序列。在人体运动数据集上进行的大量实验验证了该模型的有效性。
2022-03-22 cs.CV
Predicting Rapid Fire Growth (Flashover) Using Conditional Generative Adversarial Networks
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
当火焰由于高温而通过裂缝迅速蔓延时，就会发生闪络。对于那些经常遇到它们的人来说，闪火是最可怕和最具挑战性的火灾现象之一：消防员。消防员的安全和生命通常取决于他们在闪络发生之前预测闪络的能力。典型的闪前火灾特征包括黑烟、高热和翻滚（“天使指”），并可通过颜色、大小和形状进行量化。使用来自消防员身体摄像机的彩色视频流，我们应用生成对抗神经网络进行图像增强。训练神经网络以增强视频中非常暗的火灾和烟雾模式，并监测烟雾和火灾区域的动态变化。有限的闪络培训视频的初步测试表明，我们预测闪络早在55秒之前发生。
2018-01-30 cs.AI cs.CV cs.HC
SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
针对现有音频驱动唇同步方法训练流程复杂、运动自然度有限的问题，提出条件视频扩散框架SayAnything，通过三个专用模块平衡latent空间条件信号，实现无需额外监督的精确控制，生成高真实度视频且泛化至动画角色。
2025-02-17 cs.CV
Reinforcement Learning with Action-Free Pre-Training from Videos
KAIST（韩国科学技术院）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
最近的无监督预训练方法已被证明是有效的语言和视觉领域通过学习有用的表示多个下游任务。在本文中，我们研究这种无监督的预训练方法是否也可以有效地用于基于视觉的强化学习（RL）。为此，我们引入了一个框架，通过生成预训练视频来学习对理解动态有用的表示。我们的框架包括两个阶段：我们预训练一个无动作的潜在视频预测模型，然后利用预训练的表示在看不见的环境中有效地学习动作条件世界模型。为了在微调过程中加入额外的动作输入，我们引入了一种新的架构，将动作条件潜在预测模型堆叠在预训练的无动作预测模型之上。此外，为了更好地探索，我们提出了一个基于视频的内在奖励，它利用了预先训练的表示。我们证明，我们的框架显着提高了最终的性能和基于视觉的RL在各种操作和运动任务的采样效率。代码可在https://github.com/younggyoseo/apv上获得。
2022-06-16 cs.AI cs.CV
Video Virtual Try-on with Conditional Diffusion Transformer Inpainter
Ant Group（蚂蚁集团）
本文提出ViTI模型，将视频虚拟试穿表述为条件视频修复任务，通过基于3D时空注意力的Diffusion Transformer框架、多阶段训练和掩码策略实现时空一致性，定量与定性实验证明其优于现有方法。
2025-06-26 cs.CV
Talking Face Generation by Conditional Recurrent Adversarial Network
Samsung Research America（三星美国研究院）；IBM（国际商业机器公司）
给定一个任意的人脸图像和一个任意的语音片段，所提出的工作试图生成说话的人脸视频与准确的嘴唇同步，同时保持平滑过渡的嘴唇和面部运动在整个视频剪辑。现有的作品要么不考虑跨不同视频帧的人脸图像的时间依赖性，从而容易产生明显的/突然的面部和嘴唇运动，或者仅限于为特定的人生成说话的面部视频，从而缺乏泛化能力。我们提出了一种新的条件视频生成网络，其中音频输入被视为循环对抗网络的条件，从而将时间依赖性纳入其中，以实现嘴唇和面部运动的平滑过渡。此外，我们在视频生成的背景下部署了一个多任务对抗训练方案，以提高照片的真实感和嘴唇同步的准确性。最后，基于从音频片段中提取的音素分布信息，我们开发了一种样本选择方法，该方法在不牺牲生成视频质量的情况下有效地减小了训练数据集的大小。在受控和非受控数据集上进行的大量实验表明，与最先进的方法相比，所提出的方法在视觉质量、唇同步准确性以及唇和面部运动的平滑过渡方面具有优越性。
2019-07-25 cs.CV
Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset
Netflix Eyeline Studios；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出Lux Post Facto，一种基于条件视频扩散模型和混合数据集的人像视频重打光方法，通过新的照明注入机制实现精确控制，在真实感和时间一致性上达到SOTA。
2025-04-02 cs.CV cs.GR
AnyI2V: Animating Any Conditional Image with Motion Control
Fudan University（复旦大学）；DAMO Academy, Alibaba group（阿里达摩院）；Hupan Lab（虎扑实验室）
AnyI2V提出免训练框架，用用户定义的运动轨迹动画化任意条件图像，支持网格、点云等ControlNet不支持的模态及混合条件输入，实现灵活的空间与运动控制视频生成。
2025-07-03 cs.CV
TrafficImag: A Benchmark for Counterfactual Roadside Traffic Video Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Duke University（杜克大学）
TrafficImag是首个反事实路侧交通视频生成基准，结合大规模数据集与可执行协议，评估四个有效性维度，发现条件视频执行是主要瓶颈。
2026-09-28 cs.AI cs.CV
Conditional Image-to-Video Generation with Latent Flow Diffusion Models
The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, San Diego（加州大学圣地亚哥分校）；NEC Laboratories America（NEC美国实验室）
条件图像到视频（cI 2 V）生成旨在从图像（例如，人脸）和状况（例如，动作类标签如微笑）。cI 2 V任务的关键挑战在于同时生成对应于给定图像和条件的逼真空间外观和时间动态。在本文中，我们提出了一种新的隐流扩散模型（LFDM）的cI 2 V的方法，合成的光流序列在潜在的空间，根据给定的条件来扭曲给定的图像。与以前的直接合成为基础的作品相比，我们提出的LFDM可以更好地合成空间细节和时间运动，充分利用给定图像的空间内容，并根据生成的时间相干流在潜在空间中进行扭曲。LFDM的训练由两个单独的阶段组成：（1）无监督学习阶段，用于训练潜在流自动编码器以用于空间内容生成，包括用于估计视频帧对之间的潜在流的流预测器，以及（2）条件学习阶段，用于训练基于3D-UNet的扩散模型（DM）以用于时间潜在流生成。与以前的DM在像素空间或潜在的特征空间，耦合空间和时间信息，DM在我们的LFDM只需要学习一个低维的潜在流空间的运动生成，从而更计算效率。我们在多个数据集上进行了全面的实验，其中LFDM始终优于现有技术。此外，我们表明，LFDM可以很容易地适应新的域，通过简单地微调图像解码器。我们的代码可在https://github.com/nihaomiao/CVPR23_LFDM上获得。
2023-03-24 cs.CV
Event-based High Dynamic Range Image and Very High Frame Rate Video Generation using Conditional Generative Adversarial Networks
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
与传统摄像机相比，事件摄像机具有许多优势，例如低延迟，高时间分辨率和高动态范围。然而，由于事件相机的输出是异步事件随时间的序列，而不是实际的强度图像，现有的算法不能直接应用。因此，要求从事件生成强度图像以用于其他任务。在本文中，我们释放了基于事件相机的条件生成对抗网络的潜力，以从事件数据流的可调整部分创建图像/视频。事件的时空坐标的堆栈被用作输入，并且网络被训练以基于时空强度变化来再现图像。事件相机的有用性，以产生高动态范围（HDR）的图像，即使在极端的照明条件下，也没有模糊的图像在快速运动。此外，产生非常高的帧速率视频的可能性也被证明，理论上高达每秒100万帧（FPS），因为事件相机的时间分辨率约为1 μ s。建议的方法进行评估，通过比较的结果与强度图像上捕获的事件使用在线可用的真实数据集和合成数据集的事件相机模拟器产生的相同像素网格线。
2018-11-20 cs.CV
One Style is All you Need to Generate a Video
IBENS, Ecole Normale Supérieure（巴黎高等师范学院IBENS）
本文提出一种基于风格的条件视频生成模型，通过可学习正弦基构建时间生成器，实现动作动态与图像内容的解耦，支持独立操控和跨身份运动迁移，并显著提升视频生成质量。
2023-10-27 cs.AI cs.CV
Efficient Training for Human Video Generation with Entropy-Guided Prioritized Progressive Learning
Stanford University（斯坦福大学）；North China Electric Power University（华北电力大学）；University of Adelaide（阿德莱德大学）；University of Technology Sydney（悉尼技术大学）；University of Science and Technology of China（中国科学技术大学）
本文提出熵引导优先级渐进学习方法，通过条件熵膨胀和自适应渐进计划，高效训练扩散模型生成人类视频，实现训练速度提升和内存消耗降低。
2025-11-26 cs.AI cs.CV
EndoGen: Conditional Autoregressive Endoscopic Video Generation
The Chinese University of Hong Kong, Hong Kong SAR（香港中文大学）；University of Georgia（佐治亚大学）
本文提出首个条件式内镜视频生成框架 EndoGen，通过 SGP 自回归建模与 SAT 语义掩码机制生成高质量条件引导视频，并提升下游息肉分割性能。
2025-07-23 cs.CV eess.IV
Evaluating Text-to-Image and Text-to-Video Synthesis with a Conditional Fréchet Distance
Rice University（里士大学）
本文提出条件Fréchet距离指标cFreD，统一衡量文本条件生成模型的视觉质量与文本对齐，实验表明其与人类判断相关性优于现有指标，并发布评估工具包与基准。
2025-08-26 cs.CV
ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation
Zhejiang University（浙江大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Stanford University（斯坦福大学）；Beihang University（北航）；The Chinese University of Hong Kong（香港中文大学）
ViSAudio通过端到端双耳空间音频生成框架，从静音视频直接生成高质量空间音频，提升空间沉浸感和适应性。
2025-12-02 cs.AI cs.CV
HVG-3D: Bridging Real and Simulation Domains for 3D-Conditional Hand-Object Interaction Video Synthesis
Dept. of EEE, The Hong Kong Polytechnic University（香港理工大学电机及电子工程学系）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院未来区块链与隐私计算北京高精尖创新中心）；Tsinghua University（清华大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；State Key Laboratory of Virtual Reality Technology and Systems, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院虚拟现实技术与系统国家重点实验室）
HVG-3D提出一种统一框架，通过显式3D表示条件生成3D-aware手-物体交互视频，结合3D ControlNet与扩散架构，实现高保真度与时空可控性。
2026-03-31 cs.CV
ControlVideo: Conditional Control for One-shot Text-driven Video Editing and Beyond
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；ShengShu（圣数）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
ControlVideo 通过在预训练文本到图像扩散模型中引入条件控制与注意力微调，实现一次性文本驱动视频编辑，并借助分段融合策略扩展至长视频编辑，显著提升保真度与时间一致性。
2023-11-28 cs.CV
Text-Audio-Visual-conditioned Diffusion Model for Video Saliency Prediction
School of Computer Science, Nanjing University of Information Science and Technology（信息科学与技术南京大学计算机科学学院）；Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology（大气环境与设备技术江苏省协同创新中心）；School of Computer Science and Informatics, Cardiff University（计算机科学与信息学院卡斯尔大学）；Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通讯科学学院坦佩雷大学）
本文提出TAVDiff，一种文本-音频-视觉条件扩散模型，将视频显著性预测视为图像生成任务，通过解耦条件信息与时间步长的Saliency-DiT及SITR机制，在四个指标上超越现有方法。
2025-04-19 cs.CV
SwiftI2V: Efficient High-Resolution Image-to-Video Generation via Conditional Segment-wise Generation
HKUST（香港科技大学）；CUHK（香港大学）；Joy Future Academy（京东探索研究院）；HKU（香港大学）；HUAWEI Research（华为研究）
本文提出SwiftI2V框架，通过分段生成和双向上下文交互，在2K分辨率下实现高效图像到视频生成，相比端到端模型减少GPU时间202倍。
2026-05-09 cs.CV
TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Waterloo（滑铁卢大学）
本文提出 TC-Bench 基准，通过状态化提示、对齐真实视频与新指标评估文生视频和图生视频的时间组合性，发现现有模型仅能完成不足 20% 的组合变化。
2024-06-12 cs.AI cs.CL cs.CV
Long Video Generation with Time-Agnostic VQGAN and Time-Sensitive Transformer
University of Maryland（马里兰大学）；Meta AI；Georgia Tech（佐治亚理工学院）
视频是用来表达情感、交流信息和分享经验的。视频合成已经吸引了研究人员很长一段时间。尽管视觉合成的进步推动了快速的进步，但大多数现有的研究都集中在提高帧的质量和它们之间的过渡，而在生成更长的视频方面几乎没有进展。在本文中，我们提出了一种基于3D-VQGAN和Transformers的方法来生成具有数千帧的视频。我们的评估表明，我们的模型在UCF-101，Sky Time-lapse和Taichi-HD数据集等标准基准的16帧视频剪辑上训练，可以生成多样化，连贯和高质量的长视频。我们还展示了我们的方法的条件扩展，通过将时间信息与文本和音频相结合来生成有意义的长视频。视频和代码可以在https://songweige.github.io/projects/tats/index.html上找到。
2022-09-24 cs.AI cs.CV
Imagen Video: High Definition Video Generation with Diffusion Models
Google Research（谷歌研究院）
我们提出的图像视频，一个文本条件下的视频生成系统的基础上级联的视频扩散模型。给定文本提示，Imagen Video使用基本视频生成模型和一系列交错的空间和时间视频超分辨率模型生成高清视频。我们描述了我们如何扩大系统作为一个高清晰度的文本到视频模型，包括设计决策，如选择完全卷积的时间和空间的超分辨率模型在某些分辨率，和选择的v-参数化的扩散模型。此外，我们确认和转移的结果从以前的工作基于扩散的图像生成的视频生成设置。最后，我们将渐进蒸馏应用于我们的视频模型，具有无分类器引导，以实现快速，高质量的采样。我们发现Imagen Video不仅能够生成高保真的视频，而且还具有高度的可控性和世界知识，包括以各种艺术风格和3D对象理解生成各种视频和文本动画的能力。有关示例，请参见https://imagen.research.google/video/。
2022-10-05 cs.CV cs.LG
FashionFlow: Leveraging Diffusion Models for Dynamic Fashion Video Synthesis from Static Imagery
Brunel University London（布鲁内尔大学伦敦校区）
本文提出 FashionFlow，利用扩散模型结合伪三维卷积、VAE 和 CLIP 编码器，从静态时尚图像生成多角度高保真动态视频，以提升在线时尚购物体验。
2024-01-20 cs.AI cs.CV
GibbsLens: Training-Free Camera Control via Block-Conditional Gibbs Refinement
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；South China University of Technology（华南理工大学）
本文提出$h$-control，通过改进采样器结构，解决免训练视频生成中相机控制的逆向问题，提升轨迹一致性与视觉质量的平衡，实现在多个数据集上的最佳表现。
2026-11-05 cs.CV
Phased One-Step Adversarial Equilibrium for Video Diffusion Models
V-PAE通过相位单步对抗均衡方法提升大规模视频模型的生成质量与效率，实现高质量视频生成并显著降低扩散延迟。
2025-12-25 cs.CV
Low-Bitrate Video Compression through Semantic-Conditioned Diffusion
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Dolby Laboratories（杜比实验室）
本文提出DiSCo框架，通过语义条件扩散模型在低比特率下实现高质量视频压缩，采用文本描述、空间时间退化视频和可选草图等模态，提升感知质量。
2026-04-06 cs.AI cs.CV
RealGeneral: Unifying Visual Generation via Temporal In-Context Learning with Video Models
University of Science and Technology of China（中国科学技术大学）
RealGeneral提出以视频模型为基础，将图像生成重构为条件帧预测任务，通过统一条件嵌入和统一流DiT模块实现多任务统一视觉生成，并在定制生成和canny到图像任务中分别取得14.5%和10%的性能提升。
2025-07-20 cs.AI cs.CV
TiVGAN: Text to Image to Video Generation with Step-by-Step Evolutionary Generator
Korea Advanced Institute of Science and Technology（韩国科学技术院）
技术的进步已经导致可以创建所需的视觉多媒体的方法的发展。特别地，使用深度学习的图像生成已经在不同领域被广泛研究。相比之下，视频生成，特别是有条件输入，仍然是一个具有挑战性和较少探索的领域。为了缩小这一差距，我们的目标是训练我们的模型，以产生一个视频对应于一个给定的文本描述。我们提出了一个新的训练框架，文本到图像到视频生成对抗网络（TiVGAN），它逐帧进化，最终产生一个完整长度的视频。在第一阶段，我们专注于创建高质量的单个视频帧，同时学习文本和图像之间的关系。随着步骤的进行，我们的模型会在更多的连续帧上逐渐训练。这种逐步的学习过程有助于稳定训练，并能够基于条件文本描述创建高分辨率视频。在不同数据集上的定性和定量实验结果证明了该方法的有效性。
2021-06-28 cs.CV
