Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation
Nanyang Technological University（南洋理工大学）
本文提出零样本文本引导的视频到视频翻译框架，通过关键帧生成与分层跨帧约束、时间感知块匹配传播，在无需训练或优化的情况下实现视频时间一致性，并可兼容LoRA和ControlNet等技术。
2023-09-17 cs.CV
PoseAnything: Universal Pose-guided Video Generation with Part-aware Temporal Coherence
Shanghai Jiao Tong University（上海交通大学）
PoseAnything是一种通用姿态引导视频生成框架，能够处理人类和非人类角色，通过引入部分感知时间一致性模块和解耦CFG策略，提升了视频生成的精度和泛化能力。
2025-12-15 cs.CV
Structure and Content-Guided Video Synthesis with Diffusion Models
Runway（Runway公司）
文本引导生成扩散模型解锁强大的图像创建和编辑工具。虽然这些方法已经扩展到视频生成，但当前编辑现有素材内容同时保留结构的方法需要对每个输入进行昂贵的重新训练，或者依赖于跨帧的图像编辑的易出错传播。在这项工作中，我们提出了一个结构和内容引导的视频扩散模型，编辑视频的基础上所需的输出的视觉或文本描述。用户提供的内容编辑和结构表示之间的冲突是由于这两个方面之间的不充分解缠而发生的。作为一个解决方案，我们表明，训练单目深度估计与不同层次的细节提供了控制结构和内容的保真度。我们的模型是在图像和视频上联合训练的，这也通过一种新的指导方法公开了对时间一致性的显式控制。我们的实验展示了各种各样的成功;对输出特性的细粒度控制，基于一些参考图像的定制，以及对我们模型结果的强烈用户偏好。
2023-02-06 cs.CV
CoCoCo: Improving Text-Guided Video Inpainting for Better Consistency, Controllability and Compatibility
The Chinese University of Hong Kong（香港中文大学）；International Digital Economy Academy (IDEA)（国际数字经济学院）；The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
本文提出CoCoCo模型，通过运动捕获模块、实例感知区域选择和个性化模型注入，解决文本引导视频修复中的一致性、可控性和兼容性问题，实验证明其生成高质量视频。
2024-03-18 cs.CV
UniCtrl: Improving the Spatiotemporal Consistency of Text-to-Video Diffusion Models via Training-Free Unified Attention Control
University of Michigan（密歇根大学）；University of Virginia（弗吉尼亚大学）
UniCtrl是一种免训练的即插即用方法，通过跨帧自注意力控制、运动注入和时空同步，提升文本到视频扩散模型的时空一致性和运动多样性。
2024-11-10 cs.CV
JVID: Joint Video-Image Diffusion for Visual-Quality and Temporal-Consistency in Video Generation
Imperial College London（伦敦帝国学院）；Friedrich-Alexander-Universität（弗里德里希-亚历山大大学）；University of Birmingham（伯明翰大学）
JVID通过联合潜在图像扩散模型与潜在视频扩散模型，在反向扩散过程中兼顾视觉质量与时间一致性，从而提升视频生成效果。
2024-09-27 cs.CV
Consistent and Editable: A Balanced Framework for Text-Guided Video Editing
USTC（中国科学技术大学）
针对视频编辑中时间一致性和可编辑性难以平衡的问题，提出EquiEdit框架。通过时间Mamba模块增强时间一致性，设计基于频谱变换的噪声注入策略提升可编辑性，实验证明该方法有效。
2026-07-07 cs.CV
CCTVBench: Contrastive Consistency Traffic VideoQA Benchmark for Multimodal LLMs
Technical University of Munich（慕尼黑技术大学）；University of California, Los Angeles（加州大学洛杉矶分校）
CCTVBench通过真实事故视频与世界模型生成的反事实场景配对，提出对比一致性评估方法，揭示视频问答中对比一致性与标准指标间的显著差距，并引入C-TCD方法提升问答与一致性性能。
2026-04-22 cs.CV
CoNo: Consistency Noise Injection for Tuning-free Long Video Diffusion
University of Science and Technology of China（中国科学技术大学）
针对免调优长视频扩散中的场景一致性问题，本文提出 CoNo，通过“回看”机制和长时一致性正则化增强视频片段间细粒度过渡并抑制内容偏移，在单文本和多文本条件下均验证了有效性。
2024-06-07 cs.CV
DeforM: Reasoning-Guided Physics-Aware Video Generation via Spatial-Temporal Masking
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
研究针对视频生成模型难以生成物理感知视频的问题，提出DeforM框架，引入VLM引导的物理推理模块及两种策略，经实验验证该框架能提高生成变形场景的真实感，优于基线模型。
2026-07-22 cs.CV
Dense-Prior-Guided Generative Video Compression
本文提出可控生成视频压缩方法，通过多视觉条件引导生成细节，兼顾信号保真度与感知质量。
2026-09-22 cs.CV
Soundini: Sound-Guided Diffusion for Natural Video Editing
Google Research（谷歌研究院）；Korea University（高丽大学）
本文提出Soundini方法，首次在零样本设定下利用声音潜在表示引导扩散模型进行自然视频编辑，并结合光流引导保证帧间时间一致性，从而生成反映声音强度、音色和音量等属性的动态视觉特效。
2023-04-13 cs.CV
CVPR 2023 Text Guided Video Editing Competition
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Meta；Tencent Holdings Ltd and Tsinghua University（腾讯控股有限公司和清华大学）
针对文本引导视频编辑缺乏标准基准的问题，提出TGVE数据集并举办CVPR竞赛，回顾竞赛并介绍获胜方法。
2023-10-24 cs.CV
MMGT: Motion Mask Guided Two-Stage Network for Co-Speech Gesture Video Generation
本文提出MMGT网络，通过结合音频、运动遮罩和姿态视频生成同步语音手势视频，解决单一音频控制导致的大动作缺失问题，提升视频质量与细节控制。
2026-03-13 cs.CV
AU-Guided Synthetic Video Generation for Micro-Expression Recognition
CyPhi AI Lab, Monash University Malaysia（马来西亚莫纳什大学CyPhi人工智能实验室）
针对现有微表情识别数据集的局限，提出基于动作单元引导生成合成微表情数据集EquiME的方法，经实验其在跨数据集微表情识别任务中性能有竞争力，且在不同架构中变化低，为微表情识别研究提供了新资源。
2026-07-14 cs.CV
LoRA-Edit: Controllable First-Frame-Guided Video Editing via Mask-Aware LoRA Fine-Tuning
Multimedia Laboratory, The Chinese University of Hong Kong（香港中文大学多媒体实验室）；SenseTime Research（商汤科技研究院）
LoRA-Edit通过时空掩码引导LoRA微调，实现对视频编辑全过程的可控编辑，支持生成动态变化的视频内容。
2026-02-25 cs.CV
GeCo: Evaluating Geometric Consistency for Video Generation via Motion and Structure
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）；MIT（麻省理工学院）
GeCo通过融合残差运动和深度先验，检测静态场景中的几何变形和遮挡不一致问题，并用于评估视频生成模型的性能与缺陷。
2026-08-20 cs.CV
Deep Sketch-guided Cartoon Video Inbetweening
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）
我们提出了一种新的框架，通过提取两个输入关键帧的颜色信息，同时遵循用户草图指导的动画运动来制作卡通视频。该方法的核心思想是估计草图和卡通视频帧之间的密集跨域对应关系，并采用具有遮挡估计的混合模块来合成草图引导的中间帧。之后，输入帧和配备有建立的对应关系的合成帧被馈送到任意时间帧内插流水线中，以生成和细化附加的中间帧。最后，一个模块，以保持时间的一致性。与常见的帧插值方法相比，我们的方法可以解决相对较大的运动帧，也具有灵活性，使用户能够通过编辑草图指导来控制生成的视频序列。通过明确考虑帧和草图之间的对应关系，我们可以获得比其他图像合成方法更高质量的结果。我们的研究结果表明，我们的系统可以很好地推广到不同的电影帧，比现有的解决方案取得更好的效果。
2021-01-18 cs.CV
GLOBER: Coherent Non-autoregressive Video Generation via GLOBal Guided Video DecodER
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出非自回归视频生成方法 GLOBER，通过全局特征引导、扩散视频解码器、归一化帧索引与对抗损失，兼顾视频全局连贯性和局部真实性，并在多个基准上达到最先进水平。
2023-09-23 cs.CV
HumanDiT: Pose-Guided Diffusion Transformer for Long-form Human Motion Video Generation
Zhejiang University（浙江大学）；ByteDance（字节跳动）
HumanDiT提出一种基于扩散Transformer的姿态引导框架，利用14,000小时视频训练，支持可变分辨率与长序列，通过前缀-潜变量参考和Keypoint-DiT实现长时高保真人体运动视频生成。
2025-08-04 cs.CV
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation
University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
ConsistI2V通过第一帧时空注意力与低频带噪声初始化增强图像到视频生成的视觉一致性，并提出I2V-Bench基准验证其优越性。
2024-07-01 cs.CV
FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing
McGill University（麦吉尔大学）；The Chinese University of Hong Kong（香港中文大学）
FastVideoEdit利用一致性模型的自一致性特性，实现零样本高效文本到视频编辑，无需反演或额外条件提取，在保持生成质量的同时显著提升编辑速度。
2024-11-18 cs.CV
RGFVR: Reference-Guided Face Video Restoration with Flow Matching
Chair of Media Technology, Munich Institute of Robotics and Machine Intelligence, School of Computation, Information, and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院慕尼黑机器人与机器智能研究所媒体技术教席）
提出一种主体无关的参考引导框架，通过双模态感知-描述身份条件注入预训练流匹配文本到视频生成器，结合两阶段训练策略，在降采样、模糊、噪声和压缩伪影等退化下提升人脸视频修复的保真度、时间一致性和身份保持。
2026-06-16 cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）；SenseTime Research（商汤科技研究院）；Carnegie Mellon University（卡内基梅隆大学）
由于生成对抗网络的出现，视频合成技术取得了突破性的进展。然而，现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面，人体姿态可以内在地和可解释地表示运动模式，并且施加几何约束而不管外观如何。在本文中，我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式：合理的运动预测和连贯的外观生成。在第一阶段中，姿态序列生成对抗网络（PSGAN）以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中，语义一致的生成对抗网络（SCGAN）从姿势生成视频帧，同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性，我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明，该方法优于其他国家的艺术。
2018-07-30 cs.CV
Learning Long-Term Style-Preserving Blind Video Temporal Consistency
L'Or\'eal Research
当试图独立地将图像训练算法应用于视频中的连续帧时，往往会出现有害的闪烁。最先进的后处理技术，旨在促进时间一致性，生成其他时间伪影，并在视觉上改变视频的风格。我们提出了一个后处理模型，不知道应用于视频的转换（例如，风格转移，使用GANs的图像操作等），以循环神经网络的形式。我们的模型使用乒乓过程及其相应的损失进行训练，最近引入了GAN视频生成，以及一种新颖的风格保留感知损失。前者改善了长期的时间一致性学习，而后者促进了风格的保持。我们在DAVIS和videvo.net数据集上评估了我们的模型，并表明我们的方法提供了关于闪烁去除的最先进的结果，并且比以前的方法更好地保持了视频的整体风格。
2021-03-12 cs.CV
MEMO: Memory-Guided Diffusion for Expressive Talking Video Generation
Skywork AI（天工开物AI）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文提出端到端音频驱动人像动画方法MEMO，通过记忆引导时序模块和情绪感知音频模块提升身份一致性、唇音同步与表情对齐，效果优于现有方法。
2024-12-05 cs.CV
NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity
EPFL（苏黎世联邦理工学院）；Johns Hopkins University（约翰霍普金斯大学）
提出神经引导视频合成框架NEvo，通过进化搜索优化视频刺激以激活目标脑区，揭示视觉皮层动态选择性，并发现侧流对社会动态特征的敏感性。
2026-08-28 cs.CV
ConditionVideo: Training-Free Condition-Guided Text-to-Video Generation
Shanghai AI Lab（上海人工智能实验室）
本文提出ConditionVideo，一种无需训练的文本到视频生成方法，利用现成文本到图像模型，通过UNet分支、控制分支及稀疏双向空间-时间注意力，实现高帧一致性和条件准确性的动态视频生成。
2024-05-23 cs.CV
Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；Peking University（北京大学）；University of Toronto（多伦多大学）
针对视频生成中运动一致性评估不足的问题，提出基于关键点跟踪和 Fréchet 距离的 FVMD 指标，实验证明其更符合人类感知且能提升 VQA 模型性能。
2024-07-23 cs.CV
Recurrent Deconvolutional Generative Adversarial Networks with Application to Text Guided Video Generation
University of Chinese Academy of Sciences（中国科学院大学）；The Institute of Microelectronics, Tsinghua University（清华大学微电子研究所）；Chinese Academy of Sciences Artificial Intelligence Research（中国科学院人工智能研究院）
本文提出了一种新的视频生成模型，特别是尝试处理从文本描述生成视频的问题，即，合成以给定文本为条件的逼真视频。现有的视频生成方法不能很容易地适应处理这个任务，由于帧的不连续性问题和它们的无文本生成方案。为了解决这些问题，我们提出了一种递归解卷积生成对抗网络（RD-GAN），它包括一个递归解卷积网络（RDN）作为生成器和一个3D卷积神经网络（3D-CNN）作为神经网络。RDN是传统递归神经网络的去卷积版本，它可以很好地建模生成的视频帧的长距离时间依赖性，并充分利用条件信息。该模型可以通过推动RDN生成逼真的视频来进行联合训练，以便3D-CNN无法将它们与真实视频区分开来。我们提出的RD-GAN应用到一系列的任务，包括传统的视频生成，条件视频生成，视频预测和视频分类，并证明其有效性，实现良好的性能。
2020-08-13 cs.CV
Flow-Guided Diffusion for Video Inpainting
本文提出流引导扩散模型FGDVI，通过重用图像扩散模型和光流引导潜在插值，提升视频修复的时间一致性与质量，并在流变形误差上比现有方法提升10%。
2025-01-23 cs.CV
Fairy: Fast Parallelized Instruction-Guided Video-to-Video Synthesis
Meta
本文提出Fairy，一种基于锚点交叉帧注意力的视频编辑扩散模型，通过数据增强策略提升时间一致性，14秒生成120帧视频，比先前方法快44倍以上，用户研究证实其质量优越。
2023-12-20 cs.CV
SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
Qualcomm（高通公司）
提出无需训练的SNM-VFI框架，结合预训练光流与视频扩散模型，用对称非线性运动模型引导生成过程，经多基准评估实现了优质视频帧插值效果。
2026-08-14 cs.CV
LoVoRA: Text-guided and Mask-free Video Object Removal and Addition with Learnable Object-aware Localization
Tsinghua University（清华大学）；Huawei Inc.（华为公司）；University of Science and Technology of China（中国科学技术大学）
LoVoRA通过可学习的对象感知定位机制实现无掩码的视频对象移除与添加，结合图像到视频转换和光流传播，实现端到端视频编辑。
2025-12-03 cs.CV
DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation
Fudan University（复旦大学）；Tencent（腾讯）
DCDM通过分而治之的扩散模型，解决视频生成中的语义、几何和身份一致性问题，提升视频生成的连贯性和可控性。
2026-02-14 cs.CV
InstructAV2AV: Instruction-Guided Audio-Video Joint Editing
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）
本文提出InstructAV2AV，首个端到端的指令引导音频视频联合编辑框架，通过构建大规模音频视频编辑数据集InsAVE-80K和改进的生成模型，实现了更高质量的音频视频联合编辑。
2026-05-18 cs.CV
Edit-A-Video: Single Video Editing with Object-Aware Consistency
Seoul National University（首尔大学）
提出Edit-A-Video框架，利用预训练文本到图像模型和单个文本-视频对实现视频编辑，通过两阶段扩展与反演及稀疏因果混合方法解决背景不一致问题，提升编辑质量。
2023-11-17 cs.CV
VRMDiff: Text-Guided Video Referring Matting Generation of Diffusion
University of Virginia（弗吉尼亚大学）；Columbia University（哥伦比亚大学）；Texas A&M University（德克萨斯农工大学）
提出视频指代表达式抠像任务，利用视频扩散先验生成时序连贯的 alpha 遮罩，并设计 Latent-Constructive 损失与含万段视频的数据集。
2025-03-11 cs.CV
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
Zhejiang University（浙江大学）；Tencent Hunyuan（腾讯文心）
WorldStereo通过3D几何记忆模块实现相机引导视频生成与3D场景重建的高效融合，提升多视角一致性与重建质量。
2026-03-02 cs.CV
Beyond and Free from Diffusion: Invertible Guided Consistency Training
Brown University（布朗大学）
本文提出可逆引导一致性训练（iGCT），无需训练或蒸馏扩散模型即可实现一致性模型的引导图像生成与编辑，显著降低计算成本并改善高引导尺度下的FID和精度。
2025-02-08 cs.CV
SneakPeek: Future-Guided Instructional Streaming Video Generation
Meta Superintelligence Labs（Meta超智能实验室）；Seoul National University（首尔国立大学）
SneakPeek通过预测因果适应、未来引导自我强制和多提示条件，实现了基于未来的指导性视频生成，提高了时间一致性和可控性。
2025-12-15 cs.CV
Alignment is All You Need: A Training-free Augmentation Strategy for Pose-guided Video Generation
Tsinghua University（清华大学）；Tencent（腾讯）
针对角色动画中外观一致性难保持的问题，提出免训练的双重对齐框架，通过解耦骨架与运动先验实现精确控制，显著提升视频生成的时间一致性与视觉质量，且无需大型数据集或昂贵算力。
2025-05-31 cs.CV
VideoLCM: Video Latent Consistency Model
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Huazhong University of Science and Technology（华中科技大学）
针对视频生成领域一致性模型研究不足的问题，提出基于潜在视频扩散模型与一致性蒸馏的VideoLCM框架，仅需4步即可高保真合成视频，为相关研究提供高效基准。
2023-12-14 cs.AI cs.CV
Tell Me What Happened: Unifying Text-guided Video Completion via Multimodal Masked Video Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；Meta；NEC Laboratories America（NEC美国实验室）
在给定前几个静态帧的情况下生成视频是具有挑战性的，因为它预期具有时间相干性的合理的未来帧。除了视频预测之外，从上一帧倒回或在头部和尾部之间填充的能力也至关重要，但它们很少被用于视频完成。由于可能存在来自仅几个帧的提示的不同结果，因此可以遵循自然语言来执行视频完成的系统可以显著地提高可控性。受此启发，我们引入了一个新的任务，文本引导的视频完成（TVC），它要求模型生成一个视频从部分帧的指导下的指令。然后，我们提出了多模式屏蔽视频生成（MMVG）来解决这个TVC任务。在训练过程中，MMVG将视频帧离散化为视觉令牌，并屏蔽其中的大部分以从任何时间点执行视频完成。在推理时，单个MMVG模型可以通过应用相应的掩蔽条件来解决TVC的所有3种情况，包括视频预测、倒带和填充。我们在各种视频场景中评估MMVG，包括自我中心，动画和游戏。大量的实验结果表明，MMVG是有效的，在生成高质量的视觉外观与文本指导的TVC。
2023-03-22 cs.CL cs.CV
Face Consistency Benchmark for GenAI Video
TCL Research Europe（TCL欧洲研究中心）；TCL Research America（TCL美国研究中心）
针对AI生成视频难以保持角色外观和属性一致性的问题，本文提出人脸一致性基准FCB框架，通过标准化指标评估现有方案不足，推动更可靠方法开发，是提升AI视频生成角色一致性的关键一步。
2025-05-16 cs.CV cs.MM
Video Generation with Consistency Tuning
Chinese Academy of Sciences（中国科学院）
针对长视频生成中帧存在抖动、噪声的问题，提出含四个模块的一致性调优视频生成框架，优化前后景一致性，实验证明生成质量优于现有最优方法。
2024-03-11 cs.AI cs.CV
Sound-Guided Semantic Video Generation
Korea University（高丽大学）；NVIDIA Corporation（英伟达公司）；KAIST（韩国科学技术院）
最近在StyleGAN中的成功证明了预训练的StyleGAN潜在空间对于生成逼真的视频是有用的。然而，由于难以确定StyleGAN潜在空间中的方向和幅度，视频中生成的运动通常没有语义意义。在本文中，我们提出了一个框架，利用多模态（声音-图像-文本）嵌入空间生成逼真的视频。由于声音提供了场景的时间背景，我们的框架学习生成与声音语义一致的视频。首先，我们的声音反转模块将音频直接映射到StyleGAN潜在空间。然后，我们将基于CLIP的多模态嵌入空间，以进一步提供视听关系。最后，所提出的帧生成器学习在潜在空间中找到与相应的声音相一致的轨迹，并以分层的方式生成视频。我们为声音引导视频生成任务提供了新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型优于国家的最先进的方法在视频质量方面。我们进一步展示了包括图像和视频编辑在内的几个应用程序来验证我们方法的有效性。
2022-10-21 cs.AI cs.CV
T-GVC: Trajectory-Guided Generative Video Coding at Ultra-Low Bitrates
针对现有生成式视频编码在超低比特率场景下的领域局限、文本依赖及运动细节缺失问题，提出T-GVC框架，通过轨迹引导连接运动跟踪与语义理解，实现更低比特率下更优重建效果与运动控制，优于传统及神经编解码器。
2025-11-11 cs.CV cs.MM
DwNet: Dense warp-based network for pose-guided human video generation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Trento（特伦托大学）
高分辨率真实感人体视频的生成是计算机视觉中一项具有挑战性的重要任务。在本文中，我们专注于人体运动转移-生成一个视频描绘一个特定的主题，观察到在一个单一的图像，执行一系列的运动举例说明了一个辅助（驾驶）视频。我们基于GAN的架构DwNet利用密集的中间姿势引导表示和细化过程，以纹理的形式将所需的主体外观从源图像扭曲为所需的姿势。通过在先前生成的帧上进一步调节GAN内的解码过程来保持时间一致性。以这种方式，以迭代和循环的方式生成视频。我们通过在两个基准数据集上展示最先进的定量和定性性能来说明我们方法的有效性：太极和时尚建模。后者由我们收集，并将向社会公开。
2019-10-21 cs.CV cs.LG
Boosting Medical Image Synthesis via Registration-guided Consistency and Disentanglement Learning
School of Biomedical Engineering, Southern Medical University（南方医科大学生物医学工程学院）；Southern Medical University（南方医科大学）
针对医学图像合成中训练不对齐噪声的问题，提出配准引导一致性结合解耦学习的方法，通过形变场约束、风格解剖解耦及一致性损失提升合成效果，经两类数据集验证性能更优。
2024-07-10 cs.AI cs.CV
VideoGen: A Reference-Guided Latent Diffusion Approach for High Definition Text-to-Video Generation
Baidu Inc.（百度公司）
提出VideoGen，利用文本到图像模型生成的参考图像引导级联潜在扩散模块，结合时间上采样与增强视频解码器，实现高保真、强时间一致性的高清文本到视频生成，达到SOTA。
2023-09-07 cs.CV cs.MM
Video4Spatial: Towards Visuospatial Intelligence with Context-Guided Video Generation
Netflix；Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）；Eyeline Studios
Video4Spatial通过仅使用视频数据训练的生成模型，实现了复杂空间任务的视觉空间智能，展示了视频生成模型在空间推理中的潜力。
2025-12-11 cs.AI cs.CV
GAZED- Gaze-guided Cinematic Editing of Wide-Angle Monocular Video Recordings
IIIT Hyderabad（印度理工学院海得拉巴分校）；CVIT（计算机视觉与智能技术中心）
我们提出了凝视-眼睛凝视引导编辑的视频捕获的一个孤独的，静态的，广角和高分辨率的相机。眼睛凝视已被有效地采用在计算应用程序中作为一个线索，以捕捉有趣的场景内容，我们采用凝视作为代理选择镜头包括在编辑的视频。给定原始视频，场景内容和用户眼睛注视轨迹被组合以生成包括电影学上有效的演员镜头和镜头过渡的编辑视频，以生成原始叙事的美学和生动的表示。我们模型的电影视频编辑作为一个能量最小化问题的镜头选择，其约束条件捕获电影编辑公约。注视的场景位置主要确定构成编辑视频的镜头。凝视对多种竞争方法的有效性证明通过心理物理研究，涉及12个用户和12个性能视频。
2020-10-22 cs.CV cs.HC cs.MM
UVCG: Leveraging Temporal Consistency for Universal Video Protection
Tsinghua University（清华大学）；University of Oxford（牛津大学）
针对AI驱动视频编辑的安全风险，提出通用视频一致性保护（UVCG）方法，利用视频时间一致性嵌入目标视频内容作为不可察觉扰动，抑制恶意编辑，在LDM模型上验证了其有效性、可迁移性和效率。
2024-11-25 cs.AI cs.CV
