HECTOR: Hybrid Editable Compositional Object References for Video Generation
HECTOR通过混合可编辑组合对象引用，实现了视频生成中对复杂时空约束的高保真度满足和运动可控性提升。
2026-03-09 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University（科奇大学）；KUIS AI Center（科奇大学智能系统中心）
提出将 SlotAdapt 扩展至视频的时间对象中心框架，通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
Compositional Video Generation as Flow Equalization
National University of Singapore（新加坡国立大学）
针对文本到视频扩散模型中概念影响失衡的问题，本文提出 Vico 框架，通过时空注意力图与最大流估计引导潜变量更新，显著提升组合视频生成与编辑的准确性。
2024-06-10 cs.CV
SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing
ByteDance Inc.（字节跳动公司）
最近的研究表明，StyleGAN为图像合成和编辑的下游任务提供了有前途的先验模型。然而，由于StyleGAN的潜在代码旨在控制全局样式，因此很难实现对合成图像的细粒度控制。我们提出了SemanticStyleGAN，其中一个生成器被训练为单独对局部语义部分进行建模，并以合成的方式合成图像。不同局部的结构和纹理由相应的潜码控制。实验结果表明，我们的模型提供了一个强大的解纠缠不同的空间区域之间。当与为StyleGAN设计的编辑方法相结合时，它可以实现更细粒度的控制来编辑合成或真实图像。该模型还可以通过迁移学习扩展到其他领域。因此，作为一个内置解纠缠的通用先验模型，它可以促进基于GAN的应用程序的开发，并实现更多潜在的下游任务。
2022-03-29 cs.CV
GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文提出多智能体协作框架 GenMAC，通过设计、生成与迭代重新设计流程及自路由修正机制，提升复杂组合文本提示下的视频生成质量。
2024-12-05 cs.CV
Learning Disentangled Prompts for Compositional Image Synthesis
Google Research（谷歌研究院）
针对少样本领域自适应图像合成，本文提出源类别蒸馏视觉提示，将类别与风格解耦，实现目标风格下任意类别图像生成，并提升零样本分类性能。
2023-06-01 cs.AI cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文提出组合式视频生成框架 VideoComposer，通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件，实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Waterloo（滑铁卢大学）
本文提出 TC-Bench 基准，通过状态化提示、对齐真实视频与新指标评估文生视频和图生视频的时间组合性，发现现有模型仅能完成不足 20% 的组合变化。
2024-06-12 cs.AI cs.CL cs.CV
TTOM: Test-Time Optimization and Memorization for Compositional Video Generation
National University of Singapore（国立新加坡大学）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
TTOM通过测试时优化与记忆化机制，提升组合视频生成的跨模态对齐能力，实现高效且可扩展的实时生成。
2026-02-28 cs.AI cs.CL cs.CV
3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis
Jilin University（吉林大学）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE（教育部知识驱动人机智能工程研究中心）
提出3D-SSGAN框架，通过深度引导的2D到3D提升模块和3D感知语义掩码渲染器，实现细粒度部件级控制且保持3D视角一致性的组合肖像合成。
2024-01-08 cs.CV cs.GR
DyST-XL: Dynamic Layout Planning and Content Control for Compositional Text-to-Video Generation
Zhejiang University（浙江大学）
提出免训练框架DyST-XL，通过动态布局规划、双提示注意力控制和实体一致性约束，显著提升了组合式文本到视频生成中多实体交互与时空关系的准确性。
2025-04-30 cs.CV
Dreamweaver: Learning Compositional World Models from Pixels
KAIST（韩国科学技术院）；Rutgers University（罗格斯大学）；New York University（纽约大学）
Dreamweaver 提出循环块槽单元 RBSU 与多未来帧预测目标，从原始视频中学习分层组合表示，实现无需辅助数据的组合式未来视频生成，并在 DCI 框架下超越现有世界模型基线。
2025-04-10 cs.AI cs.CV cs.LG
CoMo: Compositional Motion Customization for Text-to-Video Generation
Zhejiang University（浙江大学）；HKUST（香港科技大学）；Xmax.AI Ltd（Xmax人工智能有限公司）；HIT (SZ)（哈尔滨工业大学（深圳））
CoMo提出两阶段框架，通过解耦运动与外观并采用分而治之合并策略，实现文本到视频生成中的多主体组合运动定制，达到最先进性能。
2025-10-27 cs.CV
BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations
UC Santa Barbara（加州大学圣巴巴拉分校）；NVIDIA（英伟达公司）
针对现有视频生成模型可控性不足的问题，提出基于blob视频表示的BlobGEN-Vid框架，通过掩码3D注意力、文本嵌入插值等模块实现多物体运动与外观的精准控制，在多个基准上布局可控性达SOTA，结合LLM时组合准确性优于专有生成器。
2025-01-13 cs.AI cs.CV
Training-Free Structured Diffusion Guidance for Compositional Text-to-Image Synthesis
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Google（谷歌）
大规模扩散模型在文本到图像合成（T2 I）任务上已经取得了最先进的结果。尽管它们能够生成高质量但富有创意的图像，但我们观察到，属性绑定和合成能力仍然被认为是主要的挑战性问题，特别是当涉及多个对象时。在这项工作中，我们改进了T2 I模型的合成技巧，特别是更准确的属性绑定和更好的图像合成。为了做到这一点，我们将语言结构与扩散指导过程的基础上操纵交叉注意层在基于扩散的T2 I模型的可控属性。我们观察到，交叉注意层中的键和值具有与对象布局和内容相关的强烈语义含义。因此，我们可以更好地保持在生成的图像的组成语义，通过操纵基于语言见解的交叉注意表示。基于SOTA T2 I模型Stable Diffusion，我们的结构化交叉注意设计非常高效，不需要额外的训练样本。我们在定性和定量结果中实现了更好的组合技能，从而在头对头用户比较研究中获得5-8%的优势。最后，我们进行了深入的分析，以揭示不正确的图像组成的潜在原因，并证明在生成过程中的交叉注意层的属性。
2023-02-28 cs.CL cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）
本文提出ONE-SHOT框架，通过空间解耦运动注入和混合上下文整合，实现高效的人类-环境视频合成，优于现有方法，具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
Video-to-Video Synthesis
NVIDIA（英伟达）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究视频到视频合成的问题，其目标是从输入源视频（例如，一系列语义分割掩模）转换为精确描述源视频内容的输出真实感视频。虽然它的图像对应，图像到图像的合成问题，是一个热门话题，视频到视频的合成问题是在文献中探讨较少。在不了解时间动态的情况下，直接将现有的图像合成方法应用于输入视频通常会导致视觉质量较低的时间不连贯的视频。在本文中，我们提出了一种新的生成对抗学习框架下的视频到视频合成方法。通过精心设计的生成器和嵌入式架构，再加上时空对抗目标，我们在各种输入格式（包括分割掩码，草图和姿势）上实现了高分辨率，逼真，时间连贯的视频结果。在多个基准上的实验表明，我们的方法相比强基线的优势。特别是，我们的模型能够合成长达30秒的街景2K分辨率视频，这大大提高了视频合成的最新水平。最后，我们将我们的方法应用于未来的视频预测，优于几个最先进的竞争系统。
2018-12-03 cs.CV cs.GR cs.LG
A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A Study with Unified Text-to-Image Fidelity Metrics
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；East China University of Science and Technology（华东理工大学）
本文提出包含1.1万对、覆盖20类复杂对比句的 Winoground-T2I 基准，用于细粒度评估 T2I 模型组合性，并检验图像保真度指标的可靠性。
2023-12-11 cs.AI cs.CV cs.MM
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））
提出一种快速自回归框架，通过解耦控制学习并保持统一视频先验，实现人体运动和相机轨迹的组合控制，支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
Compositional Image Synthesis with Inference-Time Scaling
Inha University（仁荷大学）
本文提出一种无需训练的框架，结合对象中心方法与自我完善，提升布局忠实度并保持美学质量，通过大语言模型生成布局并注入图像生成过程，利用对象中心视觉-语言模型进行迭代选择，实现更强的场景对齐。
2026-03-27 cs.AI cs.CV
Compositional Text-to-Image Synthesis with Attention Map Control of Diffusion Models
OPPO Research Institute（OPPO研究院）
针对文本到图像扩散模型组合能力不足导致的生成图像与提示语义不对齐问题，提出基于BoxNet预测目标框的注意力掩码控制策略，约束提示词元注意力区域，可即插即用提升合成语义准确性。
2023-12-13 cs.CV
GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；University of Cambridge（剑桥大学）
本文提出GraphDreamer框架，利用场景图中的节点和边信息引导预训练文本到图像扩散模型，并结合有符号距离场与穿透约束，实现无需图像级监督的组合式3D场景生成与对象解耦。
2024-06-10 cs.CV cs.GR cs.LG
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。
2025-12-15 cs.CV
Trans4D: Realistic Geometry-Aware Transition for Compositional Text-to-4D Synthesis
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）
针对现有4D生成方法难以合成复杂4D过渡中显著物体形变与场景交互的问题，提出Trans4D文本到4D合成框架，结合MLLMs的物理感知规划与几何感知过渡网络，实现逼真复杂场景4D过渡，性能优于现有SOTA方法。
2024-10-09 cs.CV
SSGVS: Semantic Scene Graph-to-Video Synthesis
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Bonn（波恩大学）；University of Twente（特文特大学）
视频合成作为图像合成任务的自然延伸，近年来引起了人们的广泛兴趣。许多图像合成作品利用类别标签或文本作为指导。然而，标签和文本都不能提供明确的时间指导，例如动作何时开始或结束。为了克服这一限制，我们引入语义视频场景图作为视频合成的输入，因为它们表示场景中对象之间的空间和时间关系。由于视频场景图通常是时间离散的注释，我们提出了一个视频场景图（VSG）编码器，不仅编码现有的视频场景图，但也预测的图形表示为未标记的帧。VSG编码器是用不同的对比多模态损失进行预训练的。提出了一种基于预训练的VSG编码器、VQ-VAE和自回归Transformer的语义场景图到视频合成框架（SSGVS），用于在给定初始场景图像和不固定数目的语义场景图的情况下合成视频。我们评估SSGVS和其他国家的最先进的视频合成模型上的动作基因组数据集，并证明视频场景图在视频合成的积极意义。源代码将被释放。
2022-11-17 cs.CV
Evaluating Design Video Generation: Metrics for Compositional Fidelity
Lica World（Lica世界）；San Francisco, United States of America（美国旧金山）；ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea（ICML’26 人类-人工智能协同创作研讨会，韩国首尔）
本文提出一个自动化评估框架，用于评估设计动画中布局、动作正确性、时间质量和内容保真度，以替代主观人类评估，为该领域提供统一基准。
2026-06-08 cs.AI cs.CV cs.GR
Training-free Motion Factorization for Compositional Video Generation
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）；Nanyang Technological University（南洋理工大学）；Beijing Institute of Technology（北京理工大学）
本文提出一种无需训练的运动因子分解框架，将复杂运动分解为静止、刚体和非刚体运动三类，通过规划先于生成的范式，提升视频生成中运动多样性的表现。
2026-03-30 cs.CV
Translation-based Video-to-Video Synthesis
The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文是一篇关于基于翻译的视频合成（TVS）的综述，梳理了该领域最新进展，分析了各类方法的原理、优缺点、适用场景及未来方向，重点关注帧间闪烁伪影与不一致性的解决策略。
2024-04-03 cs.CV cs.LG eess.IV
Do You Guys Want to Dance: Zero-Shot Compositional Human Dance Generation with Multiple Persons
Xidian University（西安电子科技大学）
针对多人复杂背景下人类舞蹈生成泛化不足的问题，提出cHDG基准与零样本框架MultiDance-Zero，通过姿态感知反演、组合增强和一致性引导采样提升多人视频生成质量。
2024-01-24 cs.CV
DreamRunner: Fine-Grained Compositional Story-to-Video Generation with Retrieval-Augmented Motion Adaptation
针对现有叙事视频生成方法难以对齐复杂单场景描述的问题，本文提出DreamRunner方法，结合脚本结构化规划、检索增强运动自适应与SR3AI模块，实现细粒度故事转视频生成，性能优于现有基线。
2025-11-14 cs.AI cs.CL cs.CV
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology（快手科技）
SingDance是统一视频扩散框架，将语音表达设为语义角色，通过硬紧凑路由等技术实现组合式零样本歌舞视频生成，参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
Comp-Attn: Present-and-Align Attention for Compositional Video Generation
School of Electronic and Computer Engineering, Peking University, Shenzhen, China（北京大学电子与计算机工程学院）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）；Tsinghua University, Beijing, China（清华大学）
Comp-Attn通过呈现与对齐范式解决T2V生成中主体存在与关系对齐问题，提升生成质量与效率。
2025-12-21 cs.AI cs.CV
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
Southeast University（东南大学）；Xiaohongshu Inc.（小红书公司）；Monash University（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）
CompGen通过课程强化学习框架提升文本到图像生成的组合能力，采用场景图和自适应采样算法优化模型性能。
2025-11-23 cs.CV
MovieCharacter: A Tuning-Free Framework for Controllable Character Video Synthesis
Cranberry-Lemon University（蔓越莓柠檬大学）
针对现有角色视频合成依赖大量微调或复杂3D建模、可及性与实时性不足的问题，提出无需调优的模块化框架MovieCharacter，整合开源模型与成熟技术，提升了合成的效率、可及性与适配性。
2025-01-13 cs.CV
GraPE: A Generate-Plan-Edit Framework for Compositional T2I Synthesis
IIT-Delhi（印度理工学院德里分校）；IISc Bangalore（印度科学学院班加罗尔分校）
GraPE提出一种无需训练的生成-规划-编辑框架，将复杂T2I任务分解为先生成、再用多模态大语言模型规划纠正步骤、最后顺序编辑，以提升组合式文本到图像合成的指令遵循能力。
2025-03-11 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA（英伟达）；Google（谷歌）
生成对抗网络（GAN）框架已经成为各种图像和视频合成任务的强大工具，允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频，这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中，我们提供了GANs的概述，特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练，这是出了名的困难。我们还讨论了它的应用，图像翻译，图像处理，视频合成，和神经渲染。
2020-11-30 cs.CV
FloVD: Optical Flow Meets Video Diffusion Model for Enhanced Camera-Controlled Video Synthesis
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
FloVD提出利用光流表示相机与物体运动，实现无需相机参数的详细相机控制，并通过两阶段流程（光流生成与流条件视频合成）在精确控制下生成自然物体运动。
2025-03-25 cs.CV
Few-shot Video-to-Video Synthesis
NVIDIA Corporation（英伟达公司）
视频到视频合成（vid2vid）的目的是将输入的语义视频（如人体姿势或分割蒙版的视频）转换为输出的真实感视频。虽然vid 2vid的最新技术已经取得了显着进步，但现有方法有两个主要局限性。首先，他们是数据饥渴。训练需要目标人类主体或场景的许多图像。其次，学习模型的泛化能力有限。pose to human vid2vid模型只能合成训练集中单个人的姿势。它不会推广到不在训练集中的其他人。为了解决这些局限性，我们提出了一个Few-Shot vid2vid框架，该框架通过利用测试时目标的几个示例图像来学习合成以前看不见的主题或场景的视频。我们的模型通过一个新的网络权重生成模块，利用注意力机制实现了这种Few-Shot泛化能力。我们使用几个大规模的视频数据集，包括人类舞蹈视频，说话的头视频和街景视频进行了广泛的实验验证与强基线的比较。实验结果验证了所提出的框架在解决现有的vid2vid方法的两个局限性的有效性。
2019-10-28 cs.CV cs.GR cs.LG
LumièreNet: Lecture Video Synthesis from Audio
Udacity（优达学城）
我们介绍了LumièreNet，这是一个简单的，模块化的，完全基于深度学习的架构，它可以从讲师的任何长度的新音频叙述中合成高质量的全姿势头像演讲视频。与以前的作品不同，LumièreNet完全由可训练的神经网络模块组成，通过（中间）估计的基于姿势的紧凑和抽象潜码来学习从音频到视频的映射函数。我们的视频演示可在[22]和[23]中找到。
2019-07-04 cs.CV cs.LG eess.AS
CoVEBench: Can Video Editing Models Handle Complex Instructions?
Nanjing University（南京大学）；Kuaishou Technology（快手科技）
提出CoVEBench基准，包含416个源视频和626条多点编辑指令，通过MLLM评估指令遵循度和保真度，揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。
2026-06-11 cs.AI cs.CV
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
University of Electronic Science and Technology of China (UESTC)（电子科技大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
提出编织强制框架，通过语义槽路由和掩码记忆编织实现组合记忆重用，提升交互式长视频生成的跨镜头一致性。
2026-10-05 cs.AI cs.CV
Exo2EgoSyn: Unlocking Foundation Video Generation Models for Exocentric-to-Egocentric Video Synthesis
Exo2EgoSyn通过三个模块实现从第三人称视角生成高保真内视图视频，提升跨视角视频合成能力。
2026-09-16 cs.CV
Video synthesis of human upper body with realistic face
Clouminds；Beihang University（北京航空航天大学）
本文提出了一种基于生成对抗学习的人体上半身视频合成方法，以生成与源视频中人体的身体运动、面部表情和姿势一致的目标人的上半身视频。我们使用上半身关键点，面部动作单元和姿势作为源视频和目标视频之间的中间表示。该方法不直接将源视频转换为目标视频，而是先将源视频中人物的面部动作单元和姿态映射到目标视频中人物的面部特征点，然后将归一化的上身关键点和生成的面部特征点进行时空平滑处理，生成相应的目标视频图像。实验结果证明了该方法的有效性。
2019-09-12 cs.CV
Compositional 3D-aware Video Generation with LLM Director
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Jiao Tong University（上海交通大学）
提出一种由 LLM 导演的组合式 3D 感知视频生成范式，通过分解文本提示生成各概念 3D 表示并组合优化，实现了对视频中各概念外观与运动的灵活控制和高保真生成。
2024-08-31 cs.CV
RoboDream: Compositional World Models for Scalable Robot Data Synthesis
USC Physical Superintelligence (PSI) Lab（USC物理超智能实验室）；Toyota Research Institute（丰田研究院）
提出一种以具身为中心的组合世界模型，通过将轨迹执行与环境合成解耦，实现从新视角、新场景和新物体中合成逼真演示数据，并展示其在数据扩展和减少真实数据需求方面的有效性。
2026-06-01 cs.CV cs.RO
Freestyle 3D-Aware Portrait Synthesis Based on Compositional Generative Priors
UCAS（中国科学院大学）；CRIPAC & MAIS, CASIA（中国科学院自动化研究所模式识别国家重点实验室与多模态人工智能系统实验室）；Alibaba Group（阿里巴巴集团）
提出一种文本驱动的3D感知肖像合成框架，通过组合3D GAN和文本引导编辑器生成分布外风格，实现快速高质量且视图一致的3D肖像合成。
2023-12-24 cs.CV
One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
NVIDIA Corporation（英伟达公司）
我们提出了一个神经说话头视频合成模型，并展示了其应用于视频会议。我们的模型学习使用包含目标人的外观的源图像和指示输出中的运动的驾驶视频来合成说话的头部视频。我们的运动是基于一种新的关键点表示，其中的身份特定的和运动相关的信息被分解unsupervisedly。广泛的实验验证表明，我们的模型在基准数据集上优于竞争方法。此外，我们紧凑的关键点表示使视频会议系统能够实现与商业H.264标准相同的视觉质量，同时仅使用十分之一的带宽。此外，我们展示了我们的关键点表示允许用户在合成过程中旋转头部，这对于模拟面对面的视频会议体验非常有用。
2021-04-02 cs.CV
Anguinus Sculpturae: Compositional Synthesis of Peak-Enhancement Breast DCE-MRI Scans
German Cancer Research Center (DKFZ)（德国癌症研究中心）；Heidelberg University（海德堡大学）；HIDSS4Health – Helmholtz Information and Data Science School for Health（HIDSS4Health – 亥姆霍兹健康信息与数据科学学校）；Helmholtz Imaging（亥姆霍兹成像中心）
针对DCE-MRI峰值增强合成任务，提出Anguinus Sculpturae组合式流水线，利用分割指导的单步差异预测，在MAMA-MIA Duke子集上取得最佳FRD和Dice，兼顾全局保真与病灶结构。
2026-09-29 cs.CV
Video-to-Video Translation for Visual Speech Synthesis
Imperial College London（帝国理工学院）
尽管在庆祝生成对抗网络（GANs）进步的图像到图像翻译方面取得了显着的成功，但视频域翻译的尝试非常有限。我们研究视频到视频翻译的任务，在视觉语音生成的背景下，其目标是将任何口语单词的输入视频转换为不同单词的输出视频。这是一个多领域的翻译，其中每个单词形成一个域的视频说出这个词。最先进的图像到图像翻译模型（StarGAN）对这种设置的适应性不足，词汇量很大。相反，我们建议使用单词的字符编码，并设计一种新的基于字符的GANs架构，用于视频到视频的翻译，称为视觉语音GAN（ViSpGAN）。我们是第一个演示视频到视频翻译的500个单词的词汇。
2019-05-28 cs.CV
Motion-Conditioned Diffusion Model for Controllable Video Synthesis
University of California, Merced（加州大学默塞德分校）；Meta；NVIDIA（英伟达）；Google Research（谷歌研究院）
提出 MCDiff 条件扩散模型，利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成，并在视觉质量及 MPII Human Pose 实验中达到先进效果。
2023-04-27 cs.CV
Inducing Hierarchical Compositional Model by Sparsifying Generator Network
Harbin Engineering University（哈尔滨工程大学）；NC State University（北卡罗来纳州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出了通过稀疏化生成器网络来学习分层组合AND-OR模型，用于可解释图像合成。该方法采用场景-对象-部件-子部件-基元的层次结构表示图像。场景具有不同的类型（即，或），每个都由多个对象组成（即，AND）。这可以在场景-对象-部件-子部件层次结构中递归地公式化，并且在基元级别（例如，类小波基）。为了在图像合成中实现这种与或层次结构，我们学习了一个由以下两个组件组成的生成器网络：（i）层次结构的每一层由卷积基函数的过完备集表示。现成的卷积神经架构被用来实现层次结构。(ii)在端到端训练中引入稀疏诱导约束，从初始密集连接的发电机网络诱导稀疏激活和稀疏连接的AND-OR模型。利用直接的稀疏诱导约束，即仅允许在每一层处激活顶部$k$基函数（其中$k$是超参数）。学习的基函数也能够进行图像重建以解释输入图像。在实验中，所提出的方法进行了测试，在四个基准数据集。结果表明，有意义的和可解释的层次表示学习与更好的图像合成和重建质量比基线。
2020-06-20 cs.CV cs.LG eess.IV
Stochastic Image-to-Video Synthesis using cINNs
Heidelberg University（海德堡大学）；Ryerson University（瑞尔森大学）；Vector Institute for AI（Vector人工智能研究所）；Samsung AI Centre Toronto（三星多伦多人工智能中心）
视频理解需要一个模型来学习静态场景内容及其动态之间的特征相互作用：给定一幅图像，模型必须能够预测所描绘场景的未来进展，相反，视频应该根据其静态图像内容和初始帧中不存在的所有剩余特征来解释。这自然暗示视频域与静态内容以及残余信息之间的双射映射。与常见的随机图像到视频合成相比，这样的模型不仅仅生成推进初始图像的任意视频。给定此图像，它在采样时提供残差向量和具有随机结果的视频之间的一对一映射。该方法自然使用条件可逆神经网络（cINN）来实现，该cINN可以通过独立地对静态和其他视频特征进行建模来解释视频，从而为受控视频合成奠定基础。四个不同的视频数据集上的实验证明了我们的方法在合成结果的质量和多样性方面的有效性。我们的项目页面可以在https://bit.ly/3t66bnU上找到。
2021-06-17 cs.CV
World-Consistent Video-to-Video Synthesis
NVIDIA（英伟达）
视频到视频合成（vid 2 vid）旨在将高级语义输入转换为照片级视频。虽然现有的vid 2 vid方法可以实现短期的时间一致性，但它们无法确保长期的一致性。这是因为他们缺乏对正在渲染的3D世界的了解，并且仅基于过去的几帧来生成每个帧。为了解决这个问题，我们引入了一个新的vid 2 vid框架，有效地利用所有过去生成的帧在渲染过程中。这是通过将迄今为止渲染的3D世界浓缩为当前帧的物理基础估计来实现的，我们称之为指导图像。我们进一步提出了一种新的神经网络架构，以利用存储在引导图像中的信息。在几个具有挑战性的数据集上进行的大量实验结果验证了我们的方法在实现世界一致性方面的有效性-输出视频在整个渲染的3D世界中是一致的。https://nvlabs.github.io/wc-vid2vid/
2020-07-16 cs.CV
AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency
Microsoft（微软）
针对文本到视频生成中的时间一致性和细粒度控制问题，提出MOVAI分层框架，通过组合场景解析器、时间-空间注意力机制和渐进式视频精修模块，在多项指标上实现最先进性能。
2025-10-30 cs.AI cs.CV cs.IR
