Hierarchy Composition GAN for High-fidelity Image Synthesis
针对现有GAN仅在几何或外观单一域工作导致合成伪影的问题，提出端到端HIC-GAN，通过分层组合与注意掩码机制统一两域建模，在多类图像任务上实现更优的高保真合成效果。
2023-04-19 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA（英伟达）；Google（谷歌）
生成对抗网络（GAN）框架已经成为各种图像和视频合成任务的强大工具，允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频，这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中，我们提供了GANs的概述，特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练，这是出了名的困难。我们还讨论了它的应用，图像翻译，图像处理，视频合成，和神经渲染。
2020-11-30 cs.CV
Panoptic-based Image Synthesis
NVIDIA（英伟达）
用于生成真实感图像的条件图像合成服务于用于内容编辑到内容生成的各种应用。以前的条件图像合成算法大多依赖于语义映射，在多个实例相互遮挡的复杂环境中往往会失败。我们提出了一个全景感知图像合成网络，以生成高保真度和真实感的图像条件下的全景地图，统一的语义和实例信息。为了实现这一点，我们在卷积和上采样层中有效地使用全景图。我们表明，随着对生成器的拟议更改，我们可以通过在更高保真的复杂实例交互环境中生成图像和更详细的微小对象来改进以前的最先进的方法。此外，我们提出的方法在平均IoU（Intersection over Union）和detAP（Detection Average Precision）指标上也优于以前的最先进方法。
2020-04-21 cs.CV
Geometrically Matched Multi-source Microscopic Image Synthesis Using Bidirectional Adversarial Networks
Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；University of Tennessee（田纳西大学）
来自多种模态的显微图像可以产生丰富的实验信息。在实践中，在给定的观察期内，生物或物理限制可能会阻止研究人员获得足够的显微镜扫描。最近的研究表明，图像合成是一种流行的方法来释放这些限制。然而，大多数现有的合成方法只将图像从源域转换到目标域，而没有坚实的几何关联。为了迎接这一挑战，我们提出了一个创新的模型架构，BANIS，合成多样化的显微图像从多源域具有不同的几何特征。实验结果表明，BANIS在C.线虫显微镜胚胎图像。据我们所知，BANIS是第一个应用程序来合成显微图像，关联不同的空间几何特征，从多个源域。
2021-03-27 cs.CV eess.IV
IMAGINE: Image Synthesis by Image-Guided Model Inversion
UC San Diego（加州大学圣迭戈分校）；Adobe Research（Adobe研究院）
我们介绍了一种基于反演的方法，表示为IMAge引导模型INvErsion（IMAGINE），仅从单个训练样本生成高质量和多样化的图像。我们利用来自预训练分类器的图像语义知识，通过匹配分类器中的多层次特征表示来实现合理的生成，与外部训练的对抗训练相关联。IMAGINE使合成过程能够同时：1）在合成过程中强制执行语义特异性约束，2）在没有生成器训练的情况下生成逼真的图像，以及3）为用户提供对生成过程的直观控制。通过大量的实验结果，我们定性和定量地证明了IMAGINE在三个不同的图像域（即，对象、场景和纹理）。
2021-04-13 cs.CV
Dual-Domain Image Synthesis using Segmentation-Guided GAN
University of Bristol（布里斯托大学）
我们引入了一种分割指导的方法来合成图像，集成了来自两个不同领域的功能。由我们的双领域模型合成的图像属于语义掩码内的一个领域，并且属于图像的其余部分中的另一个领域-平滑地集成。我们建立在Few-Shot StyleGAN和单镜头语义分割的成功基础上，以最大限度地减少利用两个域所需的训练量。该方法结合了一个Few-Shot的跨域StyleGAN与潜在的优化器，以实现包含两个不同领域的特征的图像。我们使用分割引导的感知损失，它比较特定领域和双域合成图像之间的像素级和激活。结果定性和定量地表明，我们的模型能够在各种对象（人脸，马，猫，汽车），域（自然，漫画，草图）和基于部分的面具（眼睛，鼻子，嘴，头发，汽车发动机罩）上合成双域图像。该代码可在https://github.com/denabazazian/Dual-Domain-Synthesis上公开获取。
2022-04-19 cs.CV
SynNet: Structure-Preserving Fully Convolutional Networks for Medical Image Synthesis
Technical University of Munich（慕尼黑工业大学）
交叉模态图像合成由于其能够从给定的源图像集合中估计不同模态的目标图像（如估计MR到MR、MR到CT、CT到PET等）而不需要实际采集的能力而获得显著的兴趣。尽管它们在放射治疗计划、图像超分辨率、图谱构建、图像分割等。合成结果不如实际采集准确。在本文中，我们通过提出一种称为SynNet的全卷积深度学习架构来解决多模态图像合成的问题。我们将所提出的架构扩展为各种输入输出配置。最后，我们提出了一种结构保持的自定义损失函数，并在BRATS数据集上对所提出的SynNet及其扩展框架进行了验证，并与三种最先进的方法进行了比较，同时对所提出的自定义损失函数的结果进行了验证，并与传统的跨模态图像合成方法所使用的损失函数进行了比较。
2018-06-29 cs.CV
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
NVIDIA（英伟达）
现有的条件图像合成框架基于单个模态中的用户输入（诸如文本、分割、草图或样式参考）来生成图像。他们往往无法利用多模态用户输入时，这降低了他们的实用性。为了解决这一限制，我们提出了专家产品生成对抗网络（PoE-GAN）框架，它可以合成基于多个输入模态或其中任何子集（甚至是空集）的图像。PoE-GAN由一个专家乘积生成器和一个多模式多尺度投影映射器组成。通过我们精心设计的训练方案，PoE-GAN学会合成高质量和多样性的图像。除了推进多模态条件图像合成的最新技术外，在单峰设置中进行测试时，PoE-GAN还优于现有的最佳单峰条件图像合成方法。该项目的网站是https://deepimagination.github.io/PoE-GAN。
2021-12-09 cs.CV
Example-Based Image Synthesis via Randomized Patch-Matching
Technion – Israel Institute of Technology（以色列理工学院）
图像和纹理合成是图像处理、图形学和机器学习领域中一个具有挑战性的课题。这个问题包括通过训练样本或通过参数化建模来对所需类型的图像进行建模，然后生成属于相同统计原点的图像。这项工作解决了图像合成任务，重点是两个特定的家庭的图像-手写数字和人脸图像。本文提供了两个主要贡献。首先，我们提出了一个简单而直观的算法，能够以统一的方式生成这样的图像。所提出的方法是金字塔式的，包括放大和细化估计图像几次。对于每个放大阶段，该算法从补丁数据库中随机抽取小补丁，并合并这些补丁以形成具有高视觉质量的连贯且新颖的图像。第二个贡献是一个通用的框架，生成性能的评估，它结合了三个方面：合成图像的可能性，原创性和传播。我们评估了所提出的合成方案，并表明结果在性质上是相似的，但与训练集中发现的结果不同，这表明已经获得了真正的合成效果。
2016-09-23 cs.CV
Nested Scale Editing for Conditional Image Synthesis
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种图像合成方法，提供分层导航的潜在代码空间。对于少量的部分或非常低分辨率的图像，我们的方法可以在生成最接近地面真实的采样图像方面始终优于最先进的同行。我们通过独立于尺度的编辑来实现这一点，同时扩大特定尺度的多样性。尺度独立性是通过嵌套尺度解纠缠损失实现的。特定规模的多样性是通过引入渐进的多样化约束来创建的。我们通过共享共同的潜在代码来引入跨尺度的语义持久性。它们共同提供了对图像合成过程的更好控制。我们通过各种任务来评估我们所提出的方法的有效性，包括图像外绘，图像超分辨率和跨域图像翻译。
2020-06-03 cs.CV
Style-Content Disentanglement in Language-Image Pretraining Representations for Zero-Shot Sketch-to-Image Synthesis
University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出并验证了一个框架，利用语言图像预训练表示的训练免费zero-shot草图到图像合成。我们发现，解开的内容和风格表示可以用来指导图像生成器，采用它们作为草图到图像生成器，而无需（重新）训练任何参数。我们的方法来解开的风格和内容需要一个简单的方法，包括基本的算术假设输入草图表示的信息组合性。我们的研究结果表明，这种方法与最先进的实例级开放域草图到图像模型相比具有竞争力，而只依赖于预先训练的现成模型和一小部分数据。
2022-06-03 cs.CV
Recurrent Affine Transformation for Text-to-image Synthesis
South China University of Technology（华南理工大学）
文本到图像合成的目的是生成自然的图像条件下的文本描述。该任务的主要困难在于有效地将文本信息融合到图像合成过程中。现有方法通常自适应地将合适的文本信息融合到具有多个隔离融合块的合成过程中（例如，条件批量归一化和实例归一化）。然而，孤立的融合块不仅相互冲突，而且增加了训练的难度（见补充资料第一页）。为了解决这些问题，我们提出了一种用于生成对抗网络的递归仿射变换（RAT），该变换将所有融合块与递归神经网络连接起来，以对它们的长期依赖性进行建模。此外，为了提高文本和合成图像之间的语义一致性，我们将一个空间注意力模型的合成。文本描述能够识别匹配的图像区域，监督生成器合成更多相关的图像内容。在CUB、Oxford-102和COCO数据集上的大量实验表明，与最先进的模型\footnote{https://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text-to-image-Synthesis.git}相比，所提出的模型具有优越性
2022-04-22 cs.CV
Realistic Image Synthesis with Configurable 3D Scene Layouts
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
最近的条件图像合成方法提供高质量的合成图像。然而，精确地调整图像内容（诸如对象的位置和方向）仍然是具有挑战性的，并且合成的图像经常具有几何无效的内容。为了给用户提供丰富的可控性方面的合成图像的三维几何，我们提出了一种新的方法来逼真的图像合成的基础上可配置的三维场景布局。我们的方法将具有语义类标签的3D场景作为输入，并训练3D场景绘画网络，该网络为输入的3D场景合成颜色值。使用经过训练的绘画网络，可以渲染和操纵输入3D场景的逼真图像。为了训练没有3D颜色监督的绘画网络，我们开发了一种现成的2D语义图像合成方法。在实验中，我们表明，我们的方法产生的图像具有几何正确的结构，并支持几何操作，如改变的观点和对象构成以及操纵的绘画风格。
2021-08-24 cs.CV
Residual Aligned: Gradient Optimization for Non-Negative Image Synthesis
Cornell Tech（康奈尔科技学院）；Cornell University（康奈尔大学）
在这项工作中，我们解决了一个重要的问题，光学透视（OST）增强现实：非负像合成。大多数图像生成方法在这种情况下都失败了，因为它们假设对每个像素都有完全的控制，并且不能通过添加光线来创建更暗的像素。为了解决AR图像合成中的非负像生成问题，现有技术已经尝试利用光学错觉来模拟人类视觉，但是在诸如高动态范围的情况下未能很好地保持亮度恒定性。在我们的论文中，我们提出了一种能够在局部水平上保持亮度恒定性的方法，从而捕获高频细节。与现有的工作相比，我们的方法在图像到图像的翻译任务，特别是在场景，如大规模图像，高分辨率图像，高动态范围的图像传输表现出强大的性能。
2022-02-08 cs.CV
Fine-grained Semantic Constraint in Image Synthesis
Zhejiang University（浙江大学）
在本文中，我们提出了一个多阶段和高分辨率的图像合成模型，使用细粒度的属性和掩模作为输入。该模型具有细粒度的属性，通过属性中丰富而细粒度的语义信息对生成图像的特征进行详细的约束。以掩码为先验，对模型进行约束，使生成的图像符合视觉感受，从而降低了生成对抗网络生成样本的意外多样性。本文还提出了一种方案，以提高生成对抗网络，同时区分总的图像和图像的子区域。此外，我们还提出了一种优化数据集中标记属性的方法，减少了人工标记噪声。大量的定量结果表明，我们的图像合成模型生成更逼真的图像。
2021-01-12 cs.CV
Adversarial nets with perceptual losses for text-to-image synthesis
Harvard University（哈佛大学）
生成对抗网络（GANs）中的最新方法可以从描述性文本中自动合成逼真的图像。尽管整体质量尚可，但生成的图像通常暴露出缺乏感兴趣对象的结构定义的可见缺陷。在本文中，我们的目标是通过提高生成图像的感知质量来扩展基于GAN的文本到图像合成的最新技术水平。区别于以前的工作，我们的合成图像生成器优化感知损失函数，测量像素，功能激活，纹理差异对自然图像。我们提出了视觉上更引人注目的合成图像的鸟类和花卉产生的文字描述相比，一些最突出的现有工作。
2017-08-30 cs.CV
Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks
Fudan University（复旦大学）
文本到图像合成的目标是从特定的文本描述生成具有照片般真实感和语义一致的图像。与相应的图像和文本描述相比，现成的模型合成的图像通常包含有限的组件，这降低了图像质量和文本-视觉一致性。为了解决这个问题，我们提出了一种新的视觉语言匹配策略的文本到图像的合成，命名为VLMGAN*，它引入了双重视觉语言匹配机制，以加强图像质量和语义一致性。双视觉-语言匹配机制考虑了生成图像与相应文本描述之间的文本-视觉匹配，以及合成图像与真实图像之间的视觉-视觉一致性约束。给定一个特定的文本描述，VLMGAN* 首先将其编码为文本特征，然后将其馈送到基于双重视觉语言匹配的生成模型中，以合成照片般逼真和文本语义一致的图像。此外，目前流行的文本到图像合成的评价指标是从简单的图像生成中借鉴来的，主要评价合成图像的真实性和多样性。因此，我们引入了一个名为视觉-语言匹配分数（VLMS）的度量来评估文本到图像的合成性能，它可以同时考虑图像质量和合成图像和描述之间的语义一致性。所提出的双重多层次视觉语言匹配策略可以应用于其他文本到图像的合成方法。我们在两个流行的基线上实现了这个策略，这两个基线分别标记为${\text{VLMGAN}_{+\text{AttnGAN}}}$和${\text{VLMGAN}_{+\text{DFGAN}}}$。在两个广泛使用的数据集上的实验结果表明，该模型与其他最先进的方法相比取得了显着的改…
2022-08-20 cs.CV
Geo$^\textbf{2}$: Geometry-Guided Cross-view Geo-Localization and Image Synthesis
Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所）；University of Vermont（佛蒙特大学）
本文提出Geo²框架，利用几何先验知识联合完成跨视角地理定位和双向图像合成，通过共享3D感知潜在空间和GeoFlow模型提升性能。
2026-03-26 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法，用于生成鲁棒的对抗性图像示例，该方法基于最近的“深度图像先验”（DIP），该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生，高频噪声引起图像误分类，但是对于随后的图像数字操作来说是脆弱的。我们表明，使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动，同时保持视觉上不可感知。此外，我们表明，我们的DIP方法也可以适应当地的对抗补丁（“对抗贴纸”）。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
SuperStyleNet: Deep Image Synthesis with Superpixel Based Style Encoder
Sungkyunkwan University（成均馆大学）；University of Edinburgh（爱丁堡大学）；Xidian University（西安电子科技大学）
用于图像合成的现有方法利用基于卷积和池化层的堆栈的样式编码器来从输入图像生成样式代码。然而，编码矢量不一定包含相应图像的局部信息，因为小尺度对象往往通过这种缩小过程被“冲走”。在本文中，我们提出了基于超像素的风格编码器的深度图像合成，称为SuperStyleNet。首先，我们直接提取的风格代码从原始图像的超像素的基础上考虑局部对象。其次，我们恢复空间关系的矢量化的风格代码的基础上图形分析。因此，所提出的网络实现了高质量的图像合成，通过映射到语义标签的风格代码。实验结果表明，该方法优于国家的最先进的视觉质量和定量测量。此外，我们还通过调整样式代码来实现精细的空间样式编辑。
2021-12-17 cs.CV
GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；Fudan University（复旦大学）；Zhejiang University（浙江大学）
GeoVerse在几何潜在空间中结合视频生成先验与全局空间记忆，实现稀疏图像下的世界一致新视角合成，显著提升视觉质量与几何一致性。
2026-09-30 cs.CV
IIDM: Image-to-Image Diffusion Model for Semantic Image Synthesis
School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；Key Laboratory of Machine Intelligence and Advanced Computing, China（中国机器智能与先进计算重点实验室）
本文提出图像到图像扩散模型IIDM，将语义图像合成视为去噪任务，在分割掩码引导下逐步去噪风格参考图像，并引入细化、颜色迁移和模型集成三种无需训练的推理模块，显著超越现有最先进方法。
2024-08-20 cs.CV
DCL: Differential Contrastive Learning for Geometry-Aware Depth Synthesis
Zhejiang University（浙江大学）；Stanford University（斯坦福大学）
针对非配对真实感深度合成中的几何一致性问题，提出任务无关的差分对比学习方法 DCL，使所学真实变化不改变底层几何，并在多项几何推理任务上验证其优越性能与迁移能力。
2022-02-28 cs.CV
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）
正电子发射断层扫描（PET）图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而，现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性，我们提出了基于多通道生成对抗网络（M-GAN）的PET图像合成方法。与依赖于使用低级特征的现有方法不同，所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外，M-GAN能够从注释（标签）中获取输入，以合成高摄取区域，例如，从计算机断层摄影（CT）图像中提取合成的PET图像，以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明，与现有方法相比，我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Spatial Fusion GAN for Image Synthesis
Nanyang Technological University（南洋理工大学）；Institute for Infocomm, A*STAR（新加坡科技研究局资讯通信研究院）
生成对抗网络（GANs）的最新进展在真实感图像合成中显示出巨大的潜力，而大多数现有的工作都在外观空间或几何空间中解决合成真实感，但很少在两者中。本文提出了一种创新的空间融合GAN（SF-GAN），它结合了几何合成器和外观合成器，以实现在几何和外观空间的合成真实感。几何合成器学习背景图像的上下文几何形状，并一致地将前景对象变换和放置到背景图像中。外观合成器调整前景对象的颜色、亮度和样式，并将它们和谐地嵌入到背景图像中，其中引入了引导滤波器以保持细节。这两个合成器作为相互参考相互连接，可以在没有监督的情况下进行端到端训练。SF-GAN已经在两个任务中进行了评估：（1）逼真的场景文本图像合成，用于训练更好的识别模型;（2）眼镜和帽子佩戴，用于将眼镜和帽子与真实肖像进行逼真的匹配。定性和定量的比较与国家的最先进的证明了所提出的SF-GAN的优越性。
2019-04-02 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney（悉尼科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhejiang University（浙江大学）
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而，一个关键的挑战仍然存在：现有的方法缺乏几何约束，因此通常无法生成多视图一致的图像。为了解决这一挑战，我们提出了多视图一致性生成对抗网络（MVCGAN）的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息，即，深度和相机变换矩阵，我们显式地建立视图之间的立体对应关系，以执行多视图联合优化。特别是，我们加强了视图对之间的光度一致性，并将立体混淆机制集成到训练过程中，鼓励模型推理正确的3D形状。此外，我们设计了一个两阶段的训练策略与特征级多视角联合优化，以提高图像质量。在三个数据集上的大量实验表明，MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
Region and Object based Panoptic Image Synthesis through Conditional GANs
The University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）；University of Pittsburgh（匹兹堡大学）；Microsoft Corporation（微软公司）
图像到图像转换对于许多计算机视觉和机器学习任务（例如图像合成和视频合成）是重要的。它主要应用于图形编辑和动画行业。随着生成对抗网络的发展，图像到图像的翻译任务引起了人们的广泛关注。在本文中，我们提出并研究了一个新的任务命名为全景级图像到图像的翻译和一个朴素的基线解决这个任务。全景级图像翻译将当前的图像翻译任务扩展到两个独立的目标：语义风格翻译（将对象的风格调整为不同域的风格）和实例变形（不同类型的对象之间的交换）。所提出的任务从完整和详细的全景视角生成图像，这可以丰富现实世界的视觉合成的背景。我们的贡献包括一个值得研究的重要任务的建议和一个天真的基线解决它。建议的基线包括多实例顺序翻译和语义级翻译领域不变的内容代码。
2019-12-14 cs.CV
Cross-view image synthesis using geometry-guided conditional GANs
Center for Research in Computer Vision (CRCV), University of Central Florida（中佛罗里达大学计算机视觉研究中心（CRCV））
我们解决的问题，生成图像在两个截然不同的意见，即地面（街道）和空中（开销）的意见。图像合成本身是一项非常具有挑战性的计算机视觉任务，当生成以另一视图中的图像为条件时更是如此。由于观察视角的不同，这两种观点之间的重叠视野很小，共同内容很少。在这里，我们试图保留视图之间的像素信息，使生成的图像是一个现实的表示跨视图输入图像。为此，我们建议使用单应性作为指导，以基于共同的视野来映射视图之间的图像，以保留输入图像中的细节。然后，我们使用生成对抗网络来修补变换后的图像中丢失的区域，并添加realitytogeth.Our详尽的评估和模型比较表明，利用几何约束添加精细的细节生成的图像，可以是一个更好的方法，跨视图图像合成比纯粹的基于像素的合成方法。
2019-07-18 cs.CV
Arbitrary-Scale Image Synthesis
ETH Zurich（苏黎世联邦理工学院）；CSEM（瑞士电子与微技术中心）；KU Leuven（鲁汶大学）
位置编码使最近的工作能够训练一个可以生成不同尺度图像的单一对抗网络。然而，这些方法要么局限于一组离散尺度，要么难以在模型未明确训练的尺度上保持良好的感知质量。我们提出了尺度一致的位置编码不变我们的生成器的层变换的设计。这使得即使在训练期间看不到的尺度下也能够生成任意尺度的图像。此外，我们将新的跨尺度增强纳入我们的管道和部分生成训练中，以促进在任意尺度下合成一致的图像。最后，我们展示了各种常用图像合成数据集上连续尺度的竞争结果。
2022-04-05 cs.CV
Deep MR to CT Synthesis using Unpaired Data
Image Sciences Institute, University Medical Center Utrecht（乌得勒支大学医学中心影像科学研究所）；Department of Radiotherapy, University Medical Center Utrecht（乌得勒支大学医学中心放射治疗科）
仅MR放射治疗计划需要精确的MR到CT合成。当前用于MR到CT合成的深度学习方法依赖于同一患者的成对对齐的MR和CT训练图像。然而，成对图像之间的未对准可能导致合成CT图像中的误差。为了克服这一点，我们提出了训练生成对抗网络（GAN）与不成对的MR和CT图像。一个由两个合成卷积神经网络（CNN）和两个卷积CNN组成的GAN被训练成具有周期一致性的2D脑部MR图像切片转换成2D脑部CT图像切片，反之亦然。分析了24例患者的脑部MR和CT图像。定量评估表明，该模型能够合成非常接近参考CT图像的CT图像，并且能够优于用成对MR和CT图像训练的GAN模型。
2017-08-03 cs.CV
StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis
NEC Laboratories America（NEC美国实验室）；University of Rochester（罗切斯特大学）
虽然已经取得了进展，文本到图像的合成，以前的方法没有推广到看不见的或代表性不足的属性组成的输入文本。缺乏组合性可能对鲁棒性和公平性产生严重影响，例如，无法合成代表性不足的人口群体的面部图像。在本文中，我们引入了一个新的框架，StyleT 2 I，以提高文本到图像合成的组合性。具体来说，我们提出了一个CLIP引导的对比损失，以更好地区分不同的句子之间的不同成分。为了进一步提高组合性，我们设计了一种新的语义匹配损失和空间约束，以确定属性的潜在方向，为预期的空间区域操作，从而更好地解开属性的潜在表示。在此基础上，提出了组合属性调整算法，对图像的潜在编码进行调整，提高了图像合成的组合性。此外，我们利用$\ell_2$ -范数正则化的识别潜在的方向（范数惩罚），以取得一个很好的平衡之间的图文对齐和图像保真度。在实验中，我们设计了一个新的数据集分裂和评价指标来评估文本到图像合成模型的组合性。实验结果表明，StyleT 2 I在输入文本与合成图像的一致性方面优于以往的方法，并实现了更高的保真度。
2022-03-29 cs.CV
Auto-Encoder Guided GAN for Chinese Calligraphy Synthesis
Huazhong University of Science and Technology（华中科技大学）；Megvii Technology Inc.（旷视科技有限公司）
本文研究了汉字书法图像合成问题：从标准字体（如：字体）合成具有指定风格的汉字书法图像。Hei字体）图像（图1（a））。目前的工作大多遵循笔划提取和装配流水线的方法，其过程复杂，且受笔划提取效果的限制。我们将书法合成问题视为图像到图像的翻译问题，并提出了一种基于深度神经网络的模型，该模型可以直接从标准字体图像生成书法图像。此外，我们也建构了一个大规模的基准，包含各种风格的中国书法合成。我们评估我们的方法以及一些基线方法在建议的数据集上，实验结果证明了我们提出的模型的有效性。
2017-06-27 cs.CV
Image Synthesis in Multi-Contrast MRI with Conditional Generative Adversarial Networks
Bilkent University（比尔肯大学）；National Magnetic Resonance Research Center (UMRAM), Bilkent University（比尔肯大学国家磁共振研究中心（UMRAM））；Sabuncu Brain Research Center, Bilkent University（比尔肯大学Sabuncu脑研究中心）；Hacettepe University（哈塞特佩大学）
采集具有多种不同对比度的相同解剖结构的图像增加了MR检查中可用的诊断信息的多样性。然而，扫描时间限制可能会阻止某些对比度的采集，并且某些对比度的图像可能会被噪声和伪影破坏。在这种情况下，从剩余的造影剂合成未获得的或损坏的造影剂的能力可以提高诊断效用。对于多对比度合成，当前方法经由非线性回归或确定性神经网络来学习源图像与目标图像之间的非线性强度变换。这些方法又可能遭受合成图像中的高空间频率信息的损失。本文提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失保留高频细节;并且它通过注册多对比度图像的像素损失和未注册图像的周期一致性损失提供增强的合成性能。来自相邻截面的信息被用于进一步提高合成质量。来自健康受试者和患者的T1和T2加权图像的演示清楚地表明，与以前的最先进的方法相比，所提出的方法具有更好的性能。我们的合成方法可以帮助提高多对比MRI检查的质量和多功能性，而无需延长检查时间。
2018-02-05 cs.CV
Joint haze image synthesis and dehazing with mmd-vae losses
Xi'an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
雾和霾是能见度低的天气，这对配备摄像头和激光雷达等光学传感器的智能车辆的驾驶安全是不利的。因此，用于感知增强的图像去雾和用于测试感知能力的雾图像合成在这种自动驾驶系统的开发中同等重要。从意象翻译的角度来看，这两个问题本质上是两重性的，有可能共同解决。在本文中，我们提出了一个无监督的图像到图像的翻译框架的基础上变分自编码器（VAE）和生成对抗网络（GAN）处理雾霾图像合成和雾霾消除同时进行。由于VAE目标中的KL分歧不能保证在有限大小的不平衡和不成对训练样本下的最优映射，因此使用基于最大平均差异（MMD）的VAE来确保翻译的一致性。综合分析了该方法的综合性能和除雾性能，验证了该方法的可行性和实用性。
2019-05-15 cs.CV
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
Johannes Gutenberg University（约翰内斯·古腾堡大学）
本文研究了生成马尔可夫随机场（MRF）模型和区分训练的深度卷积神经网络（dCNN）的组合，用于合成2D图像。生成MRF作用于dCNN特征金字塔的更高级别，在抽象级别控制图像布局。我们将该方法应用于摄影和非照片真实感（艺术品）合成任务。MRF正则化器可防止过度激励伪影，并减少先前dCNN反演方法中常见的不可信特征混合，从而允许合成具有更高视觉可扩展性的摄影内容。与标准的基于MRF的纹理合成不同，组合系统可以匹配和适应具有相当大的可变性的局部特征，产生的结果远远超出了经典的生成MRF方法。
2016-01-18 cs.CV
Segmentation-Assisted Brain MRI Synthesis with Cross-Image Multi-Contrast Feature Memory Bank Retrieval Augmentation
South China University of Technology（华南理工大学）；University of Technology Sydney（悉尼科技大学）
提出分割辅助的闭环生成对抗框架，通过辅助分割分支和双库检索增强策略，提高多对比度脑MRI中肿瘤区域的合成保真度。
2026-06-07 cs.CV
Fine-grained Text to Image Synthesis
Illinois Institute of Technology（伊利诺伊理工大学）
针对细粒度文本到图像合成中类别间图像相似度高的问题，提出在RAT GAN判别器中加入辅助分类器并采用对比学习，提升细粒度细节准确性，在CUB-200-2011和Oxford-102数据集上表现优越。
2024-12-15 cs.CV
Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；Amazon（亚马逊）
近年来，生成对抗网络在真实感图像合成方面取得了令人瞩目的成果。这一进展孕育了希望，有一天经典的渲染管道可以被直接从图像中学习的高效模型所取代。然而，当前的图像合成模型在2D域中操作，其中解开诸如相机视点或对象姿态的3D属性是具有挑战性的。此外，它们缺乏可解释和可控制的表示。我们的关键假设是，图像生成过程应该在3D空间中建模，因为我们周围的物理世界本质上是三维的。我们定义了新的任务3D可控图像合成，并提出了一种方法来解决它的推理在3D空间和2D图像域。我们证明，我们的模型是能够解开潜在的3D因素简单的多对象场景在一个无监督的方式从原始图像。与纯2D基线相比，它允许合成一致的场景。视点或对象姿势的变化。我们进一步评估各种3D表示在这一具有挑战性的任务的有用性。
2020-03-24 cs.CV
Deep Geometric Texture Synthesis
Tel Aviv University（特拉维夫大学）
最近，用于图像生成的深度生成对抗网络发展迅速;然而，只有少量的研究集中在不规则结构的生成模型上，特别是网格。尽管如此，网格生成和合成仍然是计算机图形学中的一个基本课题。在这项工作中，我们提出了一个新的框架合成几何纹理。它从局部邻域（即，局部三角形片）。它学习输入三角剖分面上的深层特征，用于细分和生成跨多个尺度的偏移，而无需参数化参考或目标网格。我们的网络在任何方向上移动网格顶点（即，在法向和切向方向上），从而能够合成几何纹理，这不能由简单的2D位移图来表示。在局部几何面片上进行学习和合成，实现了一个类无关的框架，便于不同类的形状之间的纹理转移。
2020-06-30 cs.CV cs.GR cs.LG
FurryGAN: High Quality Foreground-aware Image Synthesis
Yonsei University（延世大学）
前景感知图像合成的目的是生成图像以及它们的前景蒙版。常见的方法是将图像公式化为前景图像和背景图像的掩蔽混合。这是一个具有挑战性的问题，因为它倾向于达到一个图像重叠另一个图像的琐碎解决方案，即，掩模变得完全满或空，并且前景和背景没有被有意义地分离。我们提出了FurryGAN的三个关键组件：1）强加的前景图像和合成图像是现实的，2）设计一个粗糙和精细的掩模组合的掩模，和3）指导生成器中的辅助掩模预测。我们的方法产生逼真的图像，非常详细的阿尔法面具，涵盖头发，毛皮和胡须在一个完全无监督的方式。
2022-08-22 cs.CV
MMoT: Mixture-of-Modality-Tokens Transformer for Composed Multimodal Conditional Image Synthesis
South China University of Technology（华南理工大学）；JD Explore Academy（京东探索研究院）；Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）
提出MMoT模型，通过自适应融合多模态控制信号、平衡训练损失和采样引导，解决组合多模态条件图像合成中的模态协调与不平衡问题，实现高质量忠实图像生成。
2023-05-10 cs.CV
USIS: Unsupervised Semantic Image Synthesis
University of Stuttgart（斯图加特大学）
语义图像合成（SIS）是图像到图像转换的一个子类，其中从分割掩模合成真实感图像。SIS主要是作为一个监督问题来解决的。然而，最先进的方法依赖于大量的标记数据，并且不能应用于未配对的设置。另一方面，相比之下，通用的不成对图像到图像翻译框架表现不佳，因为它们对语义布局进行颜色编码，并将其馈送到传统的卷积网络，然后学习外观而不是语义内容的对应关系。在这项初步工作中，我们提出了一个新的无监督模式的语义图像合成（USIS）的第一步，对关闭配对和非配对设置之间的性能差距。值得注意的是，该框架部署了一个SPADE生成器，该生成器使用自监督分割损失来学习输出具有视觉上可分离的语义类的图像。此外，为了在不丢失高频信息的情况下匹配真实图像的颜色和纹理分布，我们提出了使用基于小波的整幅图像判别。我们在3个具有挑战性的数据集上测试了我们的方法，并证明了它能够在未配对的环境中生成具有更高质量的多模态逼真图像。
2021-09-29 cs.CV
Inferring and Leveraging Parts from Object Shape for Improving Semantic Image Synthesis
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）；Tomorrow Advancing Life（好未来）
本文提出 iPOSE 方法，通过少样本学习从物体形状推断部件图，并结合部件语义调制改进语义图像合成，在定量与定性评估中优于现有方法。
2023-05-31 cs.CV
BFS: Back-to-Front Layered Image Synthesis via Knowledge Transfer
SAMSUNG（三星）；POSTECH
提出BFS框架，利用双分支扩散模型和两阶段训练，通过从非分层图像合成中转移知识，实现高质量的前景层合成与背景和谐融合。
2026-05-24 cs.CV
Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（中国教育部机器智能与先进计算重点实验室）；Microsoft Research Asia（微软亚洲研究院）；University of Tokyo（东京大学）
我们提出了一个新的角度来实现图像合成，通过查看这个任务作为一个视觉令牌生成问题。不同于直接从单个输入合成完整图像的现有范例（例如，一个潜在的代码），新的公式能够灵活的本地操作不同的图像区域，这使得它有可能学习内容感知和细粒度的风格控制图像合成。具体地说，它将潜在标记序列作为输入来预测用于合成图像的视觉标记。在这个角度下，我们提出了一个基于令牌的生成器（即，TokenGAN）。特别地，TokenGAN输入两个语义上不同的视觉令牌，即，学习的恒定内容令牌和来自潜在空间的样式令牌。给定一系列样式令牌，TokenGAN能够通过使用Transformer的注意力机制将样式分配给内容令牌来控制图像合成。我们进行了大量的实验，并表明所提出的TokenGAN在几个广泛使用的图像合成基准上取得了最先进的结果，包括具有不同分辨率的FFHQ和LSUN CHURCH。特别是，生成器能够合成1024x1024大小的高保真图像，完全免除卷积。
2021-12-18 cs.CV
Data-Agnostic Face Image Synthesis Detection Using Bayesian CNNs
University of Warwick（华威大学）
本文提出一种基于异常检测框架的与数据无关的人脸图像合成检测方法，仅需真实数据学习推理并利用后验概率判断样本真伪，实验证明其性能与需合成数据训练的SOTA方法相当。
2024-01-08 cs.CV
Towards Better Adversarial Synthesis of Human Images from Text
University of Bonn（波恩大学）
本文提出了一种从文本生成多个三维人体网格的方法。在SMPL模型的基础上，用三维网格表示人体形状。该模型的性能在COCO数据集上进行评估，该数据集包含具有挑战性的人体形状和个体之间复杂的交互。该模型能够捕获场景的动态和基于文本的个体之间的交互。我们进一步展示了如何使用这样的形状作为图像合成框架的输入，有助于约束网络以合成具有真实人类形状的人类。
2021-07-05 cs.CV
Diffusion-4K: Ultra-High-Resolution Image Synthesis with Latent Diffusion Models
State Key Laboratory of Complex and Critical Software Environment（复杂与关键软件环境国家重点实验室）；Beihang University（北京航空航天大学）；School of Computer Science and Engineering（计算机科学与工程学院）
Diffusion-4K通过引入Aesthetic-4K基准和基于小波的微调方法，实现了高质量超高清图像合成。
2025-03-28 cs.CV
Text-Guided Scene Sketch-to-Photo Synthesis
rinna Co., Ltd.（林纳有限公司）；Osaka University（大阪大学）
我们提出了一种方法，场景级草图到照片合成与文本指导。虽然物体级草图到照片合成已经被广泛研究，但在没有充分反映目标风格的参考照片的情况下，全场景合成仍然具有挑战性。为此，我们利用最近大规模预训练生成模型的知识，从而实现文本引导的草图到照片合成，而无需参考图像。为了训练我们的模型，我们从一组照片中使用自监督学习。具体来说，我们使用一个预先训练的边缘检测器，将颜色和草图图像映射到一个标准化的边缘域，这减少了基于边缘的边缘图像（在训练过程中）和手绘草图图像（在推理过程中）之间的差距。我们通过微调潜空间扩散模型（即，稳定扩散）与草图和文本条件。实验表明，该方法将原始草图图像，而不是从彩色图像中提取的照片具有引人注目的视觉质量。
2023-02-14 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而，当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是，小的对象往往会逐渐消失，而大的对象通常会生成为补丁的拼贴。为了解决这个问题，我们提出了一个双金字塔生成对抗网络（DP-GAN），它在所有尺度上联合学习空间自适应归一化块的条件，使得尺度信息被双向使用，并且它在不同尺度上统一监督。我们的定性和定量的结果表明，所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
Autonomous Vision Group（自主视觉小组）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
虽然2D生成对抗网络实现了高分辨率图像合成，但它们在很大程度上缺乏对3D世界和图像形成过程的理解。因此，它们不提供对相机视点或对象姿态的精确控制。为了解决这个问题，最近的几种方法利用中间体素为基础的表示与微分渲染相结合。然而，现有的方法要么产生低图像分辨率，要么在分离相机和场景属性（例如，对象身份可以随视点而变化。在本文中，我们提出了一个生成模型的辐射场，最近被证明是成功的一个单一的场景的新的视图合成。与基于体素的表示相反，辐射场不限于3D空间的粗略离散化，还允许解开相机和场景属性，同时在存在重建模糊性的情况下优雅地降级。通过引入一个多尺度的基于补丁的训练，我们展示了高分辨率图像的合成，同时训练我们的模型从unposed 2D图像单独。我们在几个具有挑战性的合成和真实世界的数据集上系统地分析了我们的方法。我们的实验表明，辐射场是生成图像合成的一个强大的代表，导致3D一致的模型，以高保真度渲染。
2021-03-30 cs.CV
Combining Attention with Flow for Person Image Synthesis
Peking University（北京大学）；Tencent America（腾讯美国）
姿态引导的人物图像合成旨在通过将参考图像转换为目标姿态来合成人物图像。在本文中，我们观察到，常用的空间变换块具有互补的优势。我们提出了一种新的模型，结合了注意力操作和基于流的操作。我们的模型不仅利用注意力操作来生成准确的目标结构，而且还使用基于流的操作来采样真实的源纹理。客观和主观实验都证明了该模型的优越性。同时，全面的消融研究验证了我们的假设，并显示了所提出的模块的有效性。此外，在人像图像编辑任务上的额外实验证明了所提出的组合的通用性。
2021-08-04 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
DEff-GAN: Diverse Attribute Transfer for Few-Shot Image Synthesis
IIT Bombay（印度理工学院孟买分校）
大量数据的需求是训练许多GANs的难点。数据高效GANs涉及用有限的离散数据样本集拟合发电机连续目标分布，这是一项困难的任务。单图像方法集中于对单个图像的内部分布进行建模并生成其样本。虽然单图像方法可以合成具有多样性的图像样本，但它们不对多个图像进行建模或捕获两个图像之间可能的内在关系。我们只给出了少量的图像，我们感兴趣的是生成样本并利用输入图像中的共性。在这项工作中，我们扩展了单图像的GAN方法来模拟多个图像的样本合成。我们用一个辅助分类器分支修改了这个分类器，这有助于生成各种各样的样本并对输入标签进行分类。我们的数据高效GAN（DEff-GAN）在输入图像或类别之间可以绘制相似性和对应性时生成出色的结果。
2023-02-28 cs.CV
