Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA（英伟达）；Google（谷歌）
生成对抗网络（GAN）框架已经成为各种图像和视频合成任务的强大工具，允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频，这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中，我们提供了GANs的概述，特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练，这是出了名的困难。我们还讨论了它的应用，图像翻译，图像处理，视频合成，和神经渲染。
2020-11-30 cs.CV
Direct Ascent Synthesis: Revealing Hidden Generative Capabilities in Discriminative Models
Independent Researcher
该研究挑战判别与生成模型的根本区别，提出直接上升合成（DAS）方法，通过多分辨率优化CLIP表示，在无额外训练下实现高质量图像合成，支持多样应用并揭示判别模型隐藏的生成能力。
2025-02-11 cs.CV
An Interpretable Generative Model for Handwritten Digit Image Synthesis
University of Southern California（南加州大学）；IIIT（印度德里英迪拉·甘地信息技术学院（德里印度信息技术学院））；IIT（印度理工学院）
本文提出了一个可解释的手写数字合成生成模型。现代图像生成模型，如生成对抗网络（GANs）和变分自编码器（VAE），通过反向传播（BP）进行训练。训练过程很复杂，基本机制很难解释。我们提出了一个可解释的多阶段PCA方法，以实现相同的目标，并使用手写数字图像合成作为一个说明性的例子。首先，我们在每个阶段根据其输入的协方差推导出基于主成分分析（PCA）的变换核。这导致将相关像素的输入图像转换为不相关分量的光谱向量的变换序列。换句话说，这是一个美白的过程。然后，我们可以通过着色过程合成基于随机向量和多级变换核的图像。生成模型是前馈（FF）设计，因为没有BP用于模型参数确定。它的设计复杂度明显降低，整个设计过程是可解释的。最后，我们使用MNIST数据集设计了一个FF生成模型，并将合成结果与最先进的GAN和VAE方法进行了比较，结果表明所提出的生成模型具有相当的性能。
2018-11-11 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz（美因茨大学信息学研究所）
本文提出了马尔可夫生成对抗网络（MGANs），一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果，但它们仍然具有相当大的计算成本（低分辨率图像的运行时间为几分钟）。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络，而不是以前工作中的数值解卷积，该网络捕获马尔可夫补丁的特征统计，并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理，或照片到艺术绘画。通过对抗训练，我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化，因此我们的运行时性能（25Hz下的0.25 M像素图像）远远超过了以前的神经纹理合成器（至少快500倍）。我们将这个想法应用到纹理合成，风格转移和视频风格化。
2016-04-15 cs.CV
3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis
Jilin University（吉林大学）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE（教育部知识驱动人机智能工程研究中心）
提出3D-SSGAN框架，通过深度引导的2D到3D提升模块和3D感知语义掩码渲染器，实现细粒度部件级控制且保持3D视角一致性的组合肖像合成。
2024-01-08 cs.CV cs.GR
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research（IBM研究院）
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起，病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据，这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差，并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法，创建了一个允许直接驱动合成的框架。我们提供的定性结果表明，通过单独修改形状和密度的合成控制，和定量的结果表明，在发电机模型中嵌入的密度信息，有助于提高病变分割性能相比，单独使用的形状。
2021-06-01 cs.CV eess.IV
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内陆大学）；DeepNeuronic；NOVA LINCS（新里斯本大学计算机科学实验室）；C4-Cloud Computing Competence Center（C4云计算能力中心）
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务，不仅在所生成的形状的质量方面，而且在它们的多样性方面，特别是合成特定动作（动作调节）的逼真身体运动。在本文中，我们提出了Kinetic-GAN，这是一种新的架构，它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作，同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的，其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法，同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
虽然生成对抗网络（GANs）在各种任务中取得了显着的成功，但它们在生成高质量图像方面仍然面临挑战。在本文中，我们提出了堆叠生成对抗网络（StackGAN），旨在生成高分辨率的照片般逼真的图像。首先，我们提出了一个两阶段的生成对抗网络架构StackGAN-v1，用于文本到图像的合成。第一阶段GAN根据给定的文本描述绘制对象的原始形状和颜色，产生低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。其次，提出了一种先进的多阶段生成对抗网络架构StackGAN-v2，用于条件和无条件生成任务。我们的StackGAN-v2由树状结构的多个生成器和鉴别器组成;对应于同一场景的多个尺度的图像是从树的不同分支生成的。StackGAN-v2通过联合逼近多个分布，显示出比StackGAN-v1更稳定的训练行为。大量的实验表明，所提出的堆叠生成对抗网络在生成照片般逼真的图像方面明显优于其他最先进的方法。
2018-06-28 cs.AI cs.CV stat.ML
Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis
提出双域等变生成对抗网络（DDE-GAN），联合空间与频域学习并融入旋转等变性，实现高保真多模态CT-PET图像合成。
2026-06-12 cs.AI cs.CV physics.med-ph
Reflection-aware Generative Novel View Synthesis
KAIST（韩国科学技术院）
该研究针对多视角扩散模型无法利用镜面反射内容的问题，提出无训练的Ref-GeNVS方法，通过两阶段生成技术实现反射一致的新视角合成，性能优于现有同类方法。
2026-09-07 cs.AI cs.CV
VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting
Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
我们提出了VoLux-GAN，这是一个生成框架，可以通过令人信服的重新照明来合成3D感知的人脸。我们的主要贡献是一个体积的HDRI重光照方法，可以有效地积累沿任何所需的HDR环境地图的每个3D射线的反射，漫反射和镜面反射照明的贡献。此外，我们显示了使用多个鉴别器监督图像分解过程的重要性。特别是，我们提出了一个数据增强技术，利用最新的进展，在单一图像的肖像重新照明，以执行一致的几何形状，反射，漫射和镜面反射组件。多个实验和与其他生成框架的比较表明，我们的模型是如何向逼真的reliightable 3D生成模型迈进了一步。
2022-01-13 cs.CV
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
Autonomous Vision Group（自主视觉小组）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
虽然2D生成对抗网络实现了高分辨率图像合成，但它们在很大程度上缺乏对3D世界和图像形成过程的理解。因此，它们不提供对相机视点或对象姿态的精确控制。为了解决这个问题，最近的几种方法利用中间体素为基础的表示与微分渲染相结合。然而，现有的方法要么产生低图像分辨率，要么在分离相机和场景属性（例如，对象身份可以随视点而变化。在本文中，我们提出了一个生成模型的辐射场，最近被证明是成功的一个单一的场景的新的视图合成。与基于体素的表示相反，辐射场不限于3D空间的粗略离散化，还允许解开相机和场景属性，同时在存在重建模糊性的情况下优雅地降级。通过引入一个多尺度的基于补丁的训练，我们展示了高分辨率图像的合成，同时训练我们的模型从unposed 2D图像单独。我们在几个具有挑战性的合成和真实世界的数据集上系统地分析了我们的方法。我们的实验表明，辐射场是生成图像合成的一个强大的代表，导致3D一致的模型，以高保真度渲染。
2021-03-30 cs.CV
A Multi-attribute Controllable Generative Model for Histopathology Image Synthesis
The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Upper Dublin High School（上达比高中）
生成模型已经应用于医学成像领域的各种图像识别和合成任务。然而，一个更可控的和可解释的图像合成模型仍然缺乏，但必要的重要应用，如协助医疗培训。在这项工作中，我们利用有效的自我注意和对比学习模块，并建立在最先进的生成对抗网络（GANs），以实现一个属性感知的图像合成模型，称为AttributeGAN，它可以基于多属性输入生成高质量的组织病理学图像。与现有的单属性条件生成模型相比，我们提出的模型更好地反映了输入属性，并使属性值之间的插值更平滑。我们在包含尿路上皮癌染色H&E图像的组织病理学数据集上进行实验，并通过与最先进的模型以及我们模型的不同变体进行全面的定量和定性比较来证明我们提出的模型的有效性。代码可在https://github.com/karenyyy/MICCAI2021AttributeGAN上获得。
2021-11-10 cs.CV eess.IV
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力，但它的条件图像合成能力较弱，特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中，基于对图像及其条件的联合概率密度建模，我们提出了一种新的基于流的生成模型，称为条件对抗生成流（CAGlow）。而不是从潜在空间中解开属性，我们开辟了一条新的道路，学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$，CAGlow可以将其编码为采样的$z$，然后在复杂的情况下实现鲁棒的条件图像合成，例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现，因此可以合成具有条件信息的图像，如类别，属性，甚至一些未知属性。大量的实验表明，CAGlow确保了不同条件的独立性，并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.（STAT创新私人有限公司）
将生成对抗神经网络（GANs）应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像，显示相同的技术可用于医疗领域，以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片，并使用尖端技术训练深度卷积生成对抗神经网络（DCGAN）。合成输出进行了比较，真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Deep Generative Models for 3D Medical Image Synthesis
University of Basel（巴塞尔大学）；Technical University Darmstadt（达姆施塔特工业大学）
本章系统综述了VAEs、GANs和DDMs三类深度生成模型在三维医学图像合成中的原理、优缺点、临床应用及评估指标，并指出当前挑战。
2024-10-23 cs.CV eess.IV
Three Dimensional MR Image Synthesis with Progressive Generative Adversarial Networks
Bilkent University（比尔肯大学）
用于三维MRI合成的主流深度模型是横截面的或体积的，这取决于输入。横截面模型可以降低模型的复杂性，但它们可能导致不连续伪影。另一方面，体积模型可以减轻不连续性伪影，但由于模型复杂性增加以及训练数据不足，它们可能会损失空间分辨率。为了减轻这两种方法的局限性，我们提出了一种新的模型，通过更简单的合成任务在各个方向上逐步恢复目标体积。
2020-12-18 cs.CV eess.IV
Generative Adversarial Networks for Realistic Synthesis of Hyperspectral Samples
ONERA, The French Aerospace Lab（法国航空航天实验室（ONERA））；Univ. Bretagne-Sud（南布列塔尼大学）
这项工作解决了训练深度神经网络所需的注释高光谱数据的稀缺性。特别地，我们研究了生成对抗网络及其在一致性标记光谱合成中的应用。通过在公共数据集上训练这样的网络，我们证明了这些模型不仅能够捕获潜在的分布，而且还能够生成外观相似且物理上合理的光谱。此外，我们通过实验验证了合成样本可以作为一种有效的数据增强策略。我们使用各种深度分类器在几个公共高光谱数据集上验证了我们的方法。
2018-06-07 cs.CV cs.NE
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
SenseTime Research（商汤科技研究院）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）
利用图像生成模型的最新进展，现有的可控面部图像合成方法能够生成具有一定程度可控性的高保真图像，例如，控制所生成的面部图像的形状、表情、纹理和姿态。然而，这些方法集中在2D图像生成模型，这是容易产生不一致的面部图像下大的表情和姿态变化。在本文中，我们提出了一个新的NeRF为基础的有条件的三维人脸合成框架，它使三维可控性所产生的人脸图像施加明确的三维条件，从三维人脸先验。其核心是一个条件生成占用字段（cGOF），有效地强制生成的脸的形状提交给一个给定的3D变形模型（3DMM）网格。为了实现对合成图像的细粒度3D人脸形状的精确控制，我们还将3D地标损失以及体积扭曲损失纳入我们的合成算法中。实验验证了该方法的有效性，它能够生成高保真的人脸图像，并显示出更精确的三维可控性比最先进的基于二维可控人脸合成方法。在https://keqiangsun.github.io/projects/cgof上查找代码和演示。
2022-12-12 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而，当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是，小的对象往往会逐渐消失，而大的对象通常会生成为补丁的拼贴。为了解决这个问题，我们提出了一个双金字塔生成对抗网络（DP-GAN），它在所有尺度上联合学习空间自适应归一化块的条件，使得尺度信息被双向使用，并且它在不同尺度上统一监督。我们的定性和定量的结果表明，所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
Dual Contradistinctive Generative Autoencoder
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）
我们提出了一种新的生成式自动编码器模型，具有双对比度损失，以提高生成式自动编码器，同时进行推理（重建）和合成（采样）。我们的模型，命名为双对比生成自动编码器（DC-VAE），集成了实例级判别损失（保持重建/合成的实例级保真度）和集合级对抗损失（鼓励构建/合成的集合级保真度），两者都是对比的。报道了DC-VAE在不同分辨率（包括32 x32、64 x64、128 x128和512 x512）下的广泛实验结果。在DC-VAE中，VAE中的两种截然不同的损失和谐地工作，导致在没有架构变化的情况下，基线VAE的显著的定性和定量性能增强。国家的最先进的或有竞争力的结果之间的生成自动编码器的图像重建，图像合成，图像插值，和表示学习观察。DC-VAE是一种通用的VAE模型，适用于计算机视觉和机器学习中的各种下游任务。
2020-11-19 cs.CV
Texture Synthesis with Spatial Generative Adversarial Networks
Zalando Research（Zalando 研究院）
生成对抗网络（GANs）是最近训练数据生成模型的方法，已被证明在图像数据上工作得特别好。本文提出了一种基于GAN学习的纹理合成模型。通过将输入噪声分布空间从单个向量扩展到整个空间张量，我们创建了一个具有非常适合纹理合成任务的属性的架构，我们称之为空间GAN（SGAN）。据我们所知，这是第一个成功的基于GANs的完全数据驱动的纹理合成方法。我们的方法具有以下特点，这使它成为一个国家的最先进的纹理合成算法：高图像质量的生成纹理，非常高的可扩展性w.r.t.输出纹理大小，快速实时向前生成，在复杂纹理中融合多个不同源图像的能力。为了说明这些功能，我们提出了不同类别的纹理图像和用例的多个实验。我们还讨论了我们的方法的一些限制，它可以合成的纹理图像的类型，并将其与其他神经技术的纹理生成。
2017-09-08 cs.CV stat.ML
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来，生成对抗网络（GANs）的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果，但在计算上，它们是高度复杂的。在我们的工作中，我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分，并提出了对生成器网络的更改，以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构，它的参数比StyleGAN 2少3.5倍，计算复杂度比StyleGAN 2低9.5倍，同时提供相当的质量。
2021-09-09 cs.CV eess.IV
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）
正电子发射断层扫描（PET）图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而，现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性，我们提出了基于多通道生成对抗网络（M-GAN）的PET图像合成方法。与依赖于使用低级特征的现有方法不同，所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外，M-GAN能够从注释（标签）中获取输入，以合成高摄取区域，例如，从计算机断层摄影（CT）图像中提取合成的PET图像，以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明，与现有方法相比，我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney（悉尼科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhejiang University（浙江大学）
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而，一个关键的挑战仍然存在：现有的方法缺乏几何约束，因此通常无法生成多视图一致的图像。为了解决这一挑战，我们提出了多视图一致性生成对抗网络（MVCGAN）的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息，即，深度和相机变换矩阵，我们显式地建立视图之间的立体对应关系，以执行多视图联合优化。特别是，我们加强了视图对之间的光度一致性，并将立体混淆机制集成到训练过程中，鼓励模型推理正确的3D形状。此外，我们设计了一个两阶段的训练策略与特征级多视角联合优化，以提高图像质量。在三个数据集上的大量实验表明，MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.（Kheiron医疗技术有限公司）；Imperial College London（帝国理工学院）
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而，由于纹理异质性、精细结构细节和特定组织特性，生成逼真的高分辨率医学图像是具有挑战性的，特别是对于全视野数字乳腺X射线摄影（FFDM）。在本文中，我们探索使用渐进训练的生成对抗网络（GANs）来合成乳房X线照片，克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的，高达1280x1024像素，医学图像合成达到的最高分辨率，使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
Generative Adversarial Text to Image Synthesis
University of Michigan（密歇根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
从文本自动合成逼真的图像将是有趣和有用的，但目前的人工智能系统离这一目标还很远。然而，近年来，通用的和强大的递归神经网络架构已被开发用于学习判别式文本特征表示。与此同时，深度卷积生成对抗网络（GANs）已经开始生成特定类别的高度引人注目的图像，例如人脸、专辑封面和房间内部。在这项工作中，我们开发了一种新的深层架构和GAN公式，以有效地弥合文本和图像建模的这些进展，将视觉概念从字符转换为像素。我们证明了我们的模型生成合理的图像的鸟类和花卉从详细的文字描述的能力。
2016-06-05 cs.CV cs.NE
LayeringDiff: Layered Image Synthesis via Generation, then Disassembly with Generative Knowledge
POSTECH（浦项科技大学）；SHIFT UP（SHIFT UP公司）
LayeringDiff提出先利用现成生成模型合成整图，再借助预训练生成先验和高频对齐模块将其分解为前景与背景层，从而无需大规模训练即可实现高质量分层图像合成。
2025-01-02 cs.CV
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Generative AI for Video Trailer Synthesis: From Extractive Heuristics to Autoregressive Creativity
Google LLC（谷歌有限责任公司）
本文综述了自动视频预告片生成领域从启发式提取到深度生成合成的转变，探讨了自回归Transformer、LLM协同流程和文本到视频基础模型等生成技术，并讨论了高保真神经合成的伦理挑战。
2026-04-03 cs.AI cs.CV cs.HC
Synergistic Reconstruction and Synthesis via Generative Adversarial Networks for Accelerated Multi-Contrast MRI
Bilkent University（比尔肯特大学）
解剖结构的多重对比MRI采集丰富了可用于诊断的信息量。然而，与额外对比度相关联的过多扫描时间可能是限制因素。提高扫描效率的两种主流方法是欠采样采集的重建和缺失采集的合成。在重建中，性能随着采样密度的降低而向更高的加速因子下降，特别是在高空间频率下。在合成中，来自目标对比度的数据样本的缺失可导致对图像特征的伪像敏感性或不敏感性。本文提出了一种基于条件生成对抗网络的多对比度MRI协同重建合成新方法。所提出的方法保留高频细节的目标对比度依赖于共享的高频信息可从源对比度，并防止特征泄漏或损失依赖于欠采样采集的目标对比度。健康受试者和患者的脑MRI数据集上的演示表明，与以前的最先进的方法相比，所提出的方法的性能优越。所提出的方法可以帮助提高质量和扫描效率的多对比度MRI检查。
2018-05-27 cs.CV
MRI Cross-Modal Synthesis: A Comparative Study of Generative Models for T1-to-T2 Reconstruction
King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
本文比较了Pix2Pix GAN、CycleGAN和VAE在T1到T2 MRI重建中的性能，发现CycleGAN在PSNR和SSIM上表现最佳，而VAE在潜在空间表示上有优势。
2026-02-05 cs.AI cs.CV eess.IV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
Instance Map based Image Synthesis with a Denoising Generative Adversarial Network
College of Information Science and Engineering（信息科学与工程学院）；Ocean University of China（中国海洋大学）
基于语义布局的图像合成技术近年来受到了广泛的关注，它得益于生成对抗网络（GAN）的成功。如何在保持GAN随机性的同时提高合成图像的均匀性仍然是一个挑战。我们提出了一种新的去噪框架来处理这个问题。当从语义布局合成图像到逼真的RGB照片时，重叠对象生成是另一项具有挑战性的任务。为了克服这一缺陷，我们包括一个单热语义标签地图，迫使生成器更加关注重叠对象的生成。在此基础上，通过引入扰动损失和级联层损失，改进了双稳态振荡器的损失函数，以指导振荡器的产生过程。我们将我们的方法应用于Cityscapes，Facades和NYU数据集，并展示了我们模型的图像生成能力。
2018-01-10 cs.CV
Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；Amazon（亚马逊）
近年来，生成对抗网络在真实感图像合成方面取得了令人瞩目的成果。这一进展孕育了希望，有一天经典的渲染管道可以被直接从图像中学习的高效模型所取代。然而，当前的图像合成模型在2D域中操作，其中解开诸如相机视点或对象姿态的3D属性是具有挑战性的。此外，它们缺乏可解释和可控制的表示。我们的关键假设是，图像生成过程应该在3D空间中建模，因为我们周围的物理世界本质上是三维的。我们定义了新的任务3D可控图像合成，并提出了一种方法来解决它的推理在3D空间和2D图像域。我们证明，我们的模型是能够解开潜在的3D因素简单的多对象场景在一个无监督的方式从原始图像。与纯2D基线相比，它允许合成一致的场景。视点或对象姿势的变化。我们进一步评估各种3D表示在这一具有挑战性的任务的有用性。
2020-03-24 cs.CV
Two-phase Hair Image Synthesis by Self-Enhancing Generative Model
Megvii (Face++) USA（旷视（Face++）美国）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data, CUHK(SZ)（香港中文大学（深圳）深圳大数据研究院）
随着生成对抗网络（GANs）的兴起，在有限的指导下生成合理的头发图像，例如稀疏草图或低分辨率图像，已经成为可能。传统的图像到图像转换网络可以生成可识别的结果，但通常会丢失更精细的纹理，并且通常存在模糊伪影。在本文中，我们提出了一个高质量的头发图像合成的两阶段生成模型。两阶段流水线首先利用已有的图像平移模型生成粗图像，然后将具有自增强能力的再生网络应用于粗图像。自增强能力是通过一个建议的结构提取层，它提取的纹理和方向图从头发图像。在Sketch 2 Hair和Hair Super-Resolution两个任务上的大量实验表明，该方法能够合成具有更精细细节的合理头发图像，并且性能优于最先进的方法。
2019-02-28 cs.CV
Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)（坎皮纳斯大学）
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前，深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果，我们需要解决缺乏注释数据的问题，这是昂贵的，需要专家的大量努力。为了绕过这个问题，我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知，我们的结果是第一个显示视觉上吸引人的合成图像，包括临床意义的信息。
2019-02-08 cs.CV cs.LG
CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出基于NeRF的条件3D人脸合成框架CGOF++，通过条件生成占用场、3D关键点损失和体积变形损失，实现比2D方法更精确的3D可控人脸生成。
2023-10-29 cs.CV
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
Johannes Gutenberg University（约翰内斯·古腾堡大学）
本文研究了生成马尔可夫随机场（MRF）模型和区分训练的深度卷积神经网络（dCNN）的组合，用于合成2D图像。生成MRF作用于dCNN特征金字塔的更高级别，在抽象级别控制图像布局。我们将该方法应用于摄影和非照片真实感（艺术品）合成任务。MRF正则化器可防止过度激励伪影，并减少先前dCNN反演方法中常见的不可信特征混合，从而允许合成具有更高视觉可扩展性的摄影内容。与标准的基于MRF的纹理合成不同，组合系统可以匹配和适应具有相当大的可变性的局部特征，产生的结果远远超出了经典的生成MRF方法。
2016-01-18 cs.CV
Driving View Synthesis on Free-form Trajectories with Generative Prior
Fudan University（复旦大学）；University of Surrey（Surrey大学）
针对自由轨迹驾驶视角合成泛化难的问题，提出DriveX框架，通过将视频扩散模型的生成先验逐步蒸馏进3D高斯模型并相互增强，实现实时高质量的新轨迹视角合成。
2025-07-08 cs.CV
Image Synthesis in Multi-Contrast MRI with Conditional Generative Adversarial Networks
Bilkent University（比尔肯大学）；National Magnetic Resonance Research Center (UMRAM), Bilkent University（比尔肯大学国家磁共振研究中心（UMRAM））；Sabuncu Brain Research Center, Bilkent University（比尔肯大学Sabuncu脑研究中心）；Hacettepe University（哈塞特佩大学）
采集具有多种不同对比度的相同解剖结构的图像增加了MR检查中可用的诊断信息的多样性。然而，扫描时间限制可能会阻止某些对比度的采集，并且某些对比度的图像可能会被噪声和伪影破坏。在这种情况下，从剩余的造影剂合成未获得的或损坏的造影剂的能力可以提高诊断效用。对于多对比度合成，当前方法经由非线性回归或确定性神经网络来学习源图像与目标图像之间的非线性强度变换。这些方法又可能遭受合成图像中的高空间频率信息的损失。本文提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失保留高频细节;并且它通过注册多对比度图像的像素损失和未注册图像的周期一致性损失提供增强的合成性能。来自相邻截面的信息被用于进一步提高合成质量。来自健康受试者和患者的T1和T2加权图像的演示清楚地表明，与以前的最先进的方法相比，所提出的方法具有更好的性能。我们的合成方法可以帮助提高多对比MRI检查的质量和多功能性，而无需延长检查时间。
2018-02-05 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK（香港中文大学）；Snap Inc.（Snap公司）；HKUST（香港科技大学）；ZJU（浙江大学）；KAUST（阿卜杜拉国王科技大学）；UCLA（加州大学洛杉矶分校）
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象，并显示有限的能力，组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示（即，无语义标注的3D边界框）作为场景布局先验，其获得简单，通用于描述各种场景内容，并且还提供信息以解开对象和背景。此外，它还可以作为场景编辑的直观用户控件。基于这样的先验知识，该模型通过仅在具有全局-局部鉴别的2D图像上进行学习，将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性，同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能，包括具有挑战性的Waymo户外数据集。项目页面：https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Free-form tumor synthesis in computed tomography images via richer generative adversarial network
Tianjin University（天津大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；La Trobe University（乐卓博大学）；Tianjin University of Traditional Chinese Medicine（天津中医药大学）
针对癌症的注释医学成像扫描的不足使得在精确肿瘤学中训练和验证数据饥渴的深度学习模型变得具有挑战性。我们提出了一种新的更丰富的生成对抗网络，用于计算机断层扫描（CT）图像中的自由形式3D肿瘤/病变合成。该网络由一个新的更丰富的卷积特征增强型扩张门控生成器（RicherDG）和一个混合损失函数组成。RicherDG具有扩大门控卷积层，以实现肿瘤绘画并扩大感知范围;它具有一个新的更丰富的卷积特征关联分支，以恢复多尺度卷积特征，特别是从肿瘤和周围健康组织之间的不确定边界中恢复。混合损失函数由不同范围的损失组成，旨在聚合互补信息以改善优化。我们对涵盖肝脏、肾脏肿瘤和肺结节的广泛公共CT图像数据集的合成结果进行了全面评估。定性和定量评价以及消融研究表明，与先进的肿瘤合成方法相比，合成结果有所改善。
2021-04-20 cs.CV eess.IV
Text to Image Synthesis Using Generative Adversarial Networks
University of Manchester（曼彻斯特大学）
从自然语言生成图像是近年来条件生成模型的主要应用之一。除了测试我们对有条件的高维分布建模的能力外，文本到图像合成还有许多令人兴奋的实际应用，例如照片编辑或计算机辅助内容创建。最近的进展是使用生成对抗网络（GANs）。本材料首先对这些主题进行了温和的介绍，并讨论了现有的最先进的模型。此外，我提出了Wasserstein GAN-CLS，一种基于Wasserstein距离的条件图像生成新模型，它提供了稳定性的保证。然后，我展示了Wasserstein GAN-CLS的新损失函数如何用于条件渐进生长GAN。结合提出的损失，该模型将仅使用高级视觉语义的模型的最佳初始得分（在加州理工学院鸟类数据集上）提高了7.07%。唯一一个比条件Wasserstein渐进增长GAN表现更好的模型是最近提出的Attn GAN，它也使用单词级视觉语义。
2018-05-02 cs.CL cs.CV
Comparative Analysis of Generative Models: Enhancing Image Synthesis with VAEs, GANs, and Stable Diffusion
Huddersfield University（哈德斯菲尔德大学）
本文对比分析VAEs、GANs、Stable Diffusion三类生成模型的优劣，探索结合Grounding DINO与Grounded SAM优化Stable Diffusion的图像精度，为场景选型和后续研究提供参考。
2024-08-16 cs.CV eess.IV
Generative Active Learning for Image Synthesis Personalization
Hong Kong Polytechnic University（香港理工大学）；HKISI, CAS（中国科学院香港创新研究院）；Sichuan University（四川大学）；CASIA（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The Hong Kong Polytechnic University（香港理工大学）
针对图像合成个性化，本文提出基于锚定方向和方向不确定性采样的生成式主动学习方法，以半开放查询缓解利用-探索困境，并证明开源模型可优于 Google StyleDrop。
2024-04-16 cs.CV
EscherNet: A Generative Model for Scalable View Synthesis
Imperial College London（帝国理工学院）；The University of Hong Kong（香港大学）
EscherNet是一种多视图条件扩散模型，通过隐式3D表示和相机位置编码，实现可扩展的视图合成，并统一了单/多图像3D重建，在多个基准上达到最先进性能。
2024-03-19 cs.CV
Towards Audio to Scene Image Synthesis using Generative Adversarial Network
National Taiwan University（台湾大学）
人类可以从声音中想象出一个场景。我们希望机器通过使用条件生成对抗网络（GANs）来做到这一点。该模型采用了谱范数、投影变换和辅助分类器等技术，与朴素条件GAN相比，在主观和客观评价方面都具有更好的图像质量。近四分之三的人同意我们的模型有能力生成与声音相关的图像。通过输入相同声音的不同音量，我们的模型输出基于音量的不同尺度的变化，表明我们的模型在一定程度上真正了解声音和图像之间的关系。
2018-08-13 cs.CL cs.CV cs.SD
Bi-Modality Medical Image Synthesis Using Semi-Supervised Sequential Generative Adversarial Networks
提出一种基于半监督序列生成对抗网络的双模态医学图像合成方法，通过复杂度排序和联合/边缘分布学习，实现优于现有方法的合成效果。
2023-08-29 cs.CV eess.IV
Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks
Bar-Ilan University（巴伊兰大学）
基于深度学习的模型已被证明可以提高指纹识别的准确性。虽然这些算法表现出出色的性能，但它们需要大规模的指纹数据集进行训练和评估。在这项工作中，我们提出了一种新的指纹合成和重建框架的基础上的StyleGan 2架构，以解决与获取这样的大规模数据集的隐私问题。我们还推导出一种计算方法来修改所生成的指纹的属性，同时保留其身份。这允许每个手指合成多个不同的指纹图像。特别是，我们介绍了由100K图像对组成的SynFing合成指纹数据集，每对对应于相同的身份。实验表明，该框架优于当代国家的最先进的方法，指纹合成和重建。它大大提高了生成的指纹的真实性，无论是在视觉上还是在欺骗基于指纹的验证系统的能力方面。代码和指纹数据集是公开的：https://github.com/rafaelbou/fingerprint_generator。
2023-03-12 cs.CV
VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable Human Image Synthesis
Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）
提出VeRi3D，一种由SMPL顶点参数化的生成式人体辐射场，通过将3D点映射到局部坐标系实现颜色和密度预测，支持自由控制相机、姿态、体型及部件级编辑。
2023-09-09 cs.CV
A Survey on Future Frame Synthesis: Bridging Deterministic and Generative Approaches
Tsinghua University（清华大学）；StepFun；Peking University（北京大学）；Megvii Technology（旷视科技）
本综述全面分析了未来帧合成领域，引入基于算法随机性的新分类法，揭示了从确定性算法向生成式范式转变的驱动力，并指出实时预测与大规模世界模拟两条发展路径及关键挑战。
2025-07-14 cs.CV
