Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB
TECNALIA（特克纳利亚研究与创新中心）；CVC - Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
高光谱信号重建的目的是恢复原始的光谱输入，产生了一定的三色（RGB）响应从捕获设备或观察者。鉴于该问题的严重约束不足、非线性性质，传统技术利用光谱信号的不同统计属性，根据真实世界物体反射率构建信息先验，以构建此类RGB到光谱信号映射。然而，他们中的大多数独立地对待每个样本，因此没有从空间维度可以提供的上下文信息中受益。我们将高光谱自然图像重建作为图像到图像映射学习问题，并应用条件生成对抗框架来帮助捕获空间语义。这是卷积神经网络--特别是生成对抗网络--首次用于解决这一任务。定量评估显示，ICVL自然高光谱图像数据集的均方根误差（RMSE）下降了33.2%，相对RMSE下降了54.0%。
2018-03-14 cs.CV
Adaptive DropBlock Enhanced Generative Adversarial Networks for Hyperspectral Image Classification
Ocean University of China（中国海洋大学）；Mississippi State University（密西西比州立大学）
近年来，基于生成对抗网络（GAN）的高光谱图像（HSI）分类研究取得了很大进展。基于GAN的分类方法可以在一定程度上缓解训练样本有限的困境。然而，一些研究指出，现有的基于GAN的HSI分类方法受到不平衡训练数据问题的严重影响。GAN中的分类器总是自相矛盾，试图将虚假标签与少数类样本相关联，从而影响分类性能。另一个关键问题是基于GAN的方法中的模式坍塌。该生成器只能在狭窄的数据空间范围内生成样本，这严重阻碍了基于GAN的HSI分类方法的进步。在本文中，我们提出了一个自适应DropBlock增强的生成对抗网络（ADGAN）的HSI分类。首先，为了解决训练数据不平衡的问题，我们将训练器调整为一个单一的分类器，它不会自相矛盾。其次，提出了一种自适应DropBlock（AdapDrop）作为正则化方法，用于生成器和消隐器中，以减轻模式坍塌问题。AdapDrop生成具有自适应形状而不是固定大小的区域的拖放遮罩，并且它消除了DropBlock在处理具有各种形状的地面对象时的局限性。在三个HSI数据集上的实验结果表明，所提出的ADGAN比最先进的基于GAN的方法具有更好的性能。我们的代码可在https://github.com/summitgao/HC_ADGAN上获得
2022-01-22 cs.CV eess.IV
Estimation of Tissue Oxygen Saturation from RGB images and Sparse Hyperspectral Signals based on Conditional Generative Adversarial Network
Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
目的：术中测量组织氧饱和度（StO2）在检测缺血、监测灌注和识别疾病方面非常重要。高光谱成像（HSI）测量组织的光学反射光谱，并使用此信息来量化其组成，包括StO2。然而，由于捕获率和数据处理时间，实时监测是困难的。方法：先前开发了一种基于多光纤探头的内窥镜系统，用于稀疏捕获HSI数据（sHSI）。通过深度神经网络将这些图像与RGB图像相结合，以生成高分辨率超立方体并计算StO2。为了提高准确性和处理速度，我们提出了一种双输入条件生成对抗网络（cGAN）Dual2StO2，通过融合RGB和sHSI的特征来直接估计StO2。结果：对体内猪肠数据进行了验证实验，其中地面实况StO2由HSI相机生成。该性能还与我们以前的超光谱分辨率网络SSRNet在平均StO2预测准确性和结构相似性指标方面进行了比较。Dual2StO2还使用不同光纤数量的模拟探头数据进行了测试。结论：Dual2StO2的StO2估计在视觉上更接近一般结构中的地面实况，实现了比SSRNet更高的预测精度和更快的处理速度。模拟表明，当在探头中使用更多数量的光纤时，结果得到改善。未来的工作将包括完善的网络架构，硬件优化的基础上模拟结果，并在临床应用中的技术超出StO2估计的评价。
2019-05-16 cs.CV eess.IV
Generative Adversarial Networks for Spatio-Spectral Compression of Hyperspectral Images
BIFOLD - Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）
本文针对高光谱图像的空间-光谱冗余问题，基于HiFiC模型提出了结合SE模块和3D卷积的两种新模型，实现了在更低比特率下更高质量的空谱联合压缩。
2024-11-14 cs.CV eess.IV
A Latent Encoder Coupled Generative Adversarial Network (LE-GAN) for Efficient Hyperspectral Image Super-resolution
Manchester Metropolitan University（曼彻斯特城市大学）；Brunel University（布鲁内尔大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Hebei Agriculture University（河北农业大学）
真实感高光谱图像（HSI）超分辨率（SR）技术旨在从低分辨率（LR）图像中生成具有更高光谱和空间保真度的高分辨率（HR）HSI。生成对抗网络（GAN）已被证明是图像超分辨率的有效深度学习框架。然而，现有的基于GAN的模型的优化过程经常遭受模式崩溃的问题，导致频谱空间不变重建的能力有限。这可能导致所生成的HSI上的频谱空间失真，特别是在大的放大因子的情况下。为了缓解模式崩溃的问题，这项工作提出了一种新型的与潜在编码器耦合的GAN模型（LE-GAN），该模型可以将生成的谱空间特征从图像空间映射到潜在空间，并产生耦合分量来规则化生成的样本。从本质上讲，我们把HSI作为一个高维流形嵌入在一个潜在的空间。因此，GAN模型的优化被转换为学习高分辨率HSI样本在潜在空间中的分布的问题，使得生成的超分辨率HSI的分布更接近它们的原始高分辨率对应物的分布。我们已经进行了实验评估的模型性能的超分辨率和它的能力，在减轻模式崩溃。该方法已被测试和验证基于两个真实的HSI数据集与不同的传感器（即AVIRIS和UHD-185）的各种放大因子和增加的噪声水平，并与最先进的超分辨率模型（即HyCoNet，LTTR，BAGAN，SR- GAN，WGAN）进行比较。
2021-11-16 cs.CV eess.IV
Improved Deep Spectral Convolution Network For Hyperspectral Unmixing With Multinomial Mixture Kernel and Endmember Uncertainty
Middle East Technical University（中东技术大学）
在这项研究中，我们提出了一种新的框架，高光谱解混使用改进的深度光谱卷积网络（DSCN++）结合端元不确定性。DSCN++用于计算高级表示，并使用多项混合模型进一步建模以估计丰度图。在重建步骤中，一个新的可训练的不确定性项的基础上的非线性神经网络模型被引入端元不确定性提供鲁棒性。为了优化多项式模型的系数和不确定项，利用Wasserstein生成对抗网络（WGAN）来提高稳定性和捕获不确定性。在真实和合成数据集上进行了实验。实验结果表明，该方法在真实数据集上获得了最佳的高光谱解混性能。
2019-10-20 cs.CV
Generative Adversarial Text to Image Synthesis
University of Michigan（密歇根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
从文本自动合成逼真的图像将是有趣和有用的，但目前的人工智能系统离这一目标还很远。然而，近年来，通用的和强大的递归神经网络架构已被开发用于学习判别式文本特征表示。与此同时，深度卷积生成对抗网络（GANs）已经开始生成特定类别的高度引人注目的图像，例如人脸、专辑封面和房间内部。在这项工作中，我们开发了一种新的深层架构和GAN公式，以有效地弥合文本和图像建模的这些进展，将视觉概念从字符转换为像素。我们证明了我们的模型生成合理的图像的鸟类和花卉从详细的文字描述的能力。
2016-06-05 cs.CV cs.NE
A Survey on Adversarial Image Synthesis
生成对抗网络（GANs）在各种应用领域都非常成功。对抗图像合成由于其在计算机视觉和图像处理中的广泛应用，近年来得到了越来越多的关注和巨大的发展。在GAN的众多应用中，图像合成是研究最多的一个，这一领域的研究已经证明了将GAN用于图像合成的巨大潜力。在本文中，我们提供了一个分类的图像合成中使用的方法，审查不同的模型，文本到图像的合成和图像到图像的翻译，并讨论了一些评价指标，以及可能的未来研究方向与GAN的图像合成。
2021-07-16 cs.CV
Hyperspectral Image Generation with Unmixing Guided Diffusion Model
School of Statistics and Data Science, KLMDASR, LEBPS, and LPMC, Nankai University（统计与数据科学学院，KLMDASR，LEBPS和LPMC，南开大学）；Image Processing Center, School of Astronautics, Beihang University（图像处理中心，航天学院，北航大学）
本文提出一种由高光谱解混引导的扩散框架，通过解混自编码器降维到丰度流形并结合带物理约束的丰度扩散过程，在降低计算负担的同时生成物理一致且兼具高质量与多样性的高光谱图像。
2025-08-19 cs.CV eess.IV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法，用于生成鲁棒的对抗性图像示例，该方法基于最近的“深度图像先验”（DIP），该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生，高频噪声引起图像误分类，但是对于随后的图像数字操作来说是脆弱的。我们表明，使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动，同时保持视觉上不可感知。此外，我们表明，我们的DIP方法也可以适应当地的对抗补丁（“对抗贴纸”）。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
An Introduction to Image Synthesis with Generative Adversarial Nets
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；ByteDance AI Lab（字节跳动人工智能实验室）
在过去的几年里，生成对抗网络（GANs）的研究急剧增长。GAN于2014年提出，目前已应用于计算机视觉和自然语言处理等多种应用，并取得了令人瞩目的性能。在GAN的众多应用中，图像合成是研究最多的一个，这一领域的研究已经证明了将GAN用于图像合成的巨大潜力。在本文中，我们提供了一个分类的图像合成中使用的方法，审查不同的模型，文本到图像的合成和图像到图像的翻译，并讨论了一些评价指标，以及可能的未来研究方向与GAN的图像合成。
2018-11-17 cs.CV
Inverting Adversarially Robust Networks for Image Synthesis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Auburn University（奥本大学）
尽管无条件特征反演是许多图像合成应用的基础，但训练反演器需要高计算预算，大解码容量和施加条件，例如自回归先验。为了解决这些局限性，我们建议使用adversarially鲁棒的表示作为特征反转的感知原语。我们训练一个对抗鲁棒的编码器来提取解纠缠和感知对齐的图像表示，使它们很容易可逆。通过使用编码器的镜像架构训练一个简单的生成器，我们实现了优于标准模型的重建质量和泛化能力。在此基础上，我们提出了一个对抗鲁棒的自动编码器，并证明了其改进的性能上的风格转移，图像去噪和异常检测任务。与最近的ImageNet特征反演方法相比，我们的模型以更低的复杂性获得了更好的性能。
2022-10-21 cs.CV cs.LG cs.NE
AdvFaces: Adversarial Face Synthesis
Michigan State University（密歇根州立大学）；Lenovo Inc.（联想公司）
人脸识别系统已经被证明容易受到对抗性样本的影响，这些样本是通过向探测图像添加小扰动而产生的。这种对抗性图像可能会导致最先进的人脸识别系统错误地拒绝真正的主体（混淆攻击）或错误地匹配到冒名顶替者（模仿攻击）。目前制作对抗性人脸图像的方法缺乏感知质量，并且需要花费不合理的时间来生成它们。我们提出，AdvFaces，一个自动化的对抗人脸合成方法，学习通过生成对抗网络在突出的面部区域生成最小的扰动。一旦AdvFaces经过训练，它可以自动生成无法察觉的扰动，这些扰动可以逃避最先进的面部匹配器，混淆和模仿攻击的攻击成功率分别高达97.22%和24.30%。
2019-08-14 cs.CV
Texture Representation via Analysis and Synthesis with Generative Adversarial Networks
Northwestern University（西北大学）；University of Rochester（罗切斯特大学）
我们研究数据驱动的纹理建模，通过分析和合成与生成对抗网络。对于网络训练和测试，我们已经编译了一组不同的空间均匀纹理，从随机到规则。我们采用StyleGAN 3进行合成，并证明它产生的纹理超出了训练数据中所表示的纹理。对于纹理分析，我们提出了GAN反演使用一种新的潜在域重建一致性标准的合成纹理，和迭代细化与Gramian损失的真实纹理。我们提出了评估网络能力的感知程序，探索潜在空间轨迹的全局和局部行为，并与现有的纹理分析合成技术进行比较。
2022-12-20 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA（英伟达）；Google（谷歌）
生成对抗网络（GAN）框架已经成为各种图像和视频合成任务的强大工具，允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频，这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中，我们提供了GANs的概述，特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练，这是出了名的困难。我们还讨论了它的应用，图像翻译，图像处理，视频合成，和神经渲染。
2020-11-30 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz（美因茨大学信息学研究所）
本文提出了马尔可夫生成对抗网络（MGANs），一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果，但它们仍然具有相当大的计算成本（低分辨率图像的运行时间为几分钟）。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络，而不是以前工作中的数值解卷积，该网络捕获马尔可夫补丁的特征统计，并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理，或照片到艺术绘画。通过对抗训练，我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化，因此我们的运行时性能（25Hz下的0.25 M像素图像）远远超过了以前的神经纹理合成器（至少快500倍）。我们将这个想法应用到纹理合成，风格转移和视频风格化。
2016-04-15 cs.CV
Deep Learning Techniques for Hyperspectral Image Analysis in Agriculture: A Review
University of Salento（萨伦托大学）；National Research Council of Italy（意大利国家研究委员会）；University Paris-Est Creteil（巴黎东克雷泰伊大学）；Universite Polytechnique Hauts de France（上法兰西理工大学）；Universite de Lille（里尔大学）；CNRS（法国国家科学研究中心）
本文综述自动编码器、CNN、RNN、DBN和GAN等深度学习方法在农业HSI分类中的应用，并基于Indian Pines等土地覆盖数据集评估其性能。
2023-04-26 cs.CV eess.IV
Geometry Guided Adversarial Facial Expression Synthesis
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
人脸表情合成是计算机图形学和模式识别领域的研究热点。它在人脸动画和人脸识别中得到了广泛的应用。然而，它仍然是具有挑战性的，由于高层次的语义存在的大和非线性的面部几何形状的变化。本文提出了一种几何引导的生成对抗网络（G2-GAN），用于照片级真实感和身份保持的面部表情合成。我们采用面部几何形状（基准点）作为可控条件来指导具有特定表情的面部纹理合成。一对生成对抗子网络被联合训练用于相反的任务：表达删除和表达合成。配对网络形成了中性表情和任意表情之间的映射循环，这也促进了其他应用，如人脸传输和表情不变人脸识别。实验结果表明，我们的方法可以产生令人信服的感知结果在各种面部表情合成数据库。一个表情不变的人脸识别实验也进一步显示我们所提出的方法的优点。
2017-12-10 cs.CV
Adversarial nets with perceptual losses for text-to-image synthesis
Harvard University（哈佛大学）
生成对抗网络（GANs）中的最新方法可以从描述性文本中自动合成逼真的图像。尽管整体质量尚可，但生成的图像通常暴露出缺乏感兴趣对象的结构定义的可见缺陷。在本文中，我们的目标是通过提高生成图像的感知质量来扩展基于GAN的文本到图像合成的最新技术水平。区别于以前的工作，我们的合成图像生成器优化感知损失函数，测量像素，功能激活，纹理差异对自然图像。我们提出了视觉上更引人注目的合成图像的鸟类和花卉产生的文字描述相比，一些最突出的现有工作。
2017-08-30 cs.CV
Towards Better Adversarial Synthesis of Human Images from Text
University of Bonn（波恩大学）
本文提出了一种从文本生成多个三维人体网格的方法。在SMPL模型的基础上，用三维网格表示人体形状。该模型的性能在COCO数据集上进行评估，该数据集包含具有挑战性的人体形状和个体之间复杂的交互。该模型能够捕获场景的动态和基于文本的个体之间的交互。我们进一步展示了如何使用这样的形状作为图像合成框架的输入，有助于约束网络以合成具有真实人类形状的人类。
2021-07-05 cs.CV
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Age-Oriented Face Synthesis with Conditional Discriminator Pool and Adversarial Triplet Loss
University of Warwick（华威大学）；Deakin University（迪肯大学）
香草生成对抗网络（GAN）通常用于生成描绘衰老和年轻面孔的逼真图像。然而，这种普通GANs在面向年龄的人脸合成任务中的性能通常受到模式坍塌问题的影响，这可能导致生成具有最小变化的人脸和较差的合成精度。此外，最近的面向年龄的人脸合成方法使用的L1或L2约束，以保持合成的脸，这隐含地限制了身份持久性的能力时，这些约束与一个平凡的加权因子。在本文中，我们提出了一种面向年龄的人脸合成任务，实现了高的合成精度与强身份持久性的能力。具体来说，为了实现高的合成精度，我们的方法解决了模式坍塌的问题与一个新的条件判别池（CDP），其中包括多个判别器，每个针对一个特定的年龄类别。为了实现强大的身份持久性能力，我们的方法使用了一种新的对抗性三重损失。这种基于三重损失的损失增加了一个排名操作，以进一步将正嵌入拉向锚嵌入，从而显著降低了特征空间中的类内方差。通过大量的实验，我们表明，我们提出的方法优于国家的最先进的方法在合成精度和身份持久性的能力，定性和定量。
2020-07-03 cs.CV
Region Based Adversarial Synthesis of Facial Action Units
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
人脸表情合成或编辑在情感计算和人脸表情建模领域受到越来越多的关注。针对现有人脸表情合成方法存在训练数据成对、分辨率低、身份信息受损等问题，提出了一种基于人脸动作单元标注的局部注意条件生成对抗网络（LAC-GAN）.给定期望的AU标签，LAC-GAN利用本地AU区域规则来控制每个AU的状态，并利用注意机制将其中的几个AU组合成整个照片般逼真的面部表情或任意面部表情。此外，在我们提出的方法中，利用不成对的训练数据来训练具有相应AU标签的操作模块，该操作模块学习面部表情流形之间的映射。在常用的BP 4D数据集上进行了广泛的定性和定量评估，以验证我们提出的AU合成方法的有效性。
2019-10-23 cs.CV
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）
正电子发射断层扫描（PET）图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而，现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性，我们提出了基于多通道生成对抗网络（M-GAN）的PET图像合成方法。与依赖于使用低级特征的现有方法不同，所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外，M-GAN能够从注释（标签）中获取输入，以合成高摄取区域，例如，从计算机断层摄影（CT）图像中提取合成的PET图像，以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明，与现有方法相比，我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.（STAT创新私人有限公司）
将生成对抗神经网络（GANs）应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像，显示相同的技术可用于医疗领域，以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片，并使用尖端技术训练深度卷积生成对抗神经网络（DCGAN）。合成输出进行了比较，真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.（Kheiron医疗技术有限公司）；Imperial College London（帝国理工学院）
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而，由于纹理异质性、精细结构细节和特定组织特性，生成逼真的高分辨率医学图像是具有挑战性的，特别是对于全视野数字乳腺X射线摄影（FFDM）。在本文中，我们探索使用渐进训练的生成对抗网络（GANs）来合成乳房X线照片，克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的，高达1280x1024像素，医学图像合成达到的最高分辨率，使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
Adversarial Text-to-Image Synthesis: A Review
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Universität Hamburg（汉堡大学）
随着生成对抗网络的出现，从文本描述合成图像最近已成为一个活跃的研究领域。它是一种灵活直观的条件图像生成方法，在过去几年中，在视觉真实性，多样性和语义对齐方面取得了重大进展。然而，该领域仍然面临着一些挑战，需要进一步的研究工作，例如能够生成具有多个对象的高分辨率图像，以及开发与人类判断相关的合适且可靠的评估指标。在这篇综述中，我们介绍了对抗性文本到图像合成模型的最新发展状况，以及自五年前成立以来的发展情况，并提出了一种基于监督水平的分类法。我们批判性地研究了当前的策略，以评估文本到图像的合成模型，突出缺点，并确定新的研究领域，从更好的数据集和评估指标的开发，以可能的改进，在建筑设计和模型训练。这篇综述补充了以前对生成对抗网络的调查，重点是文本到图像的合成，我们相信这将有助于研究人员进一步推进该领域。
2021-10-06 cs.CV
Style Separation and Synthesis via Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Qihoo 360 Artificial Intelligence Institute（奇虎360人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
文体综合是近年来文体研究的热点，但对文体综合的双重问题“文体分离”却鲜有研究。在本文中，我们提出了风格分离和合成生成对抗网络（S3-GAN），以同时对特定类别的对象照片实现风格分离和风格合成。基于物体照片位于流形上且内容和风格独立的假设，采用S3-GAN建立流形与特征向量空间之间的映射，实现内容和风格的分离与合成. S3-GAN由编码器网络、生成器网络和对抗网络组成。编码器网络通过将对象照片映射到潜在向量来执行风格分离。隐向量的两半分别表示内容和样式。生成器网络通过将级联向量作为输入来执行风格合成。连接的向量包含样式目标图像的样式半向量和内容目标图像的内容半向量。一旦从生成器网络获得图像，就施加对抗网络以生成更逼真的图像。在CelebA和UT Zappos 50 K数据集上的实验表明，S3-GAN具有同时进行风格分离和合成的能力，可以在单个模型中捕获多种风格。
2018-11-07 cs.CV
Few-Shot Hyperspectral Aphid Detection via FastGAN Synthetic Data Generation, Transformer-Based Classification and Explainable AI
Lancaster Medical School, Faculty of Health and Medicine, Lancaster University（兰卡斯特医学学校，健康与医学学院，兰卡斯特大学）
针对高光谱蚜虫检测中数据量小的问题，采用FastGAN生成合成数据增强数据集，并比较VGG16、ResNet-50、EfficientNet和Vision Transformer的分类性能，发现ViT模型准确率最高，FastGAN增强有效提升分类鲁棒性。
2026-06-23 cs.AI cs.CV
Adversarial Synthesis of Human Pose from Text
University of Bonn（波恩大学）；RWTH-Aachen University（亚琛工业大学）
这项工作的重点是从人类水平的文本描述合成人类构成。我们提出了一个基于条件生成对抗网络的模型。它的目的是生成2D人类构成人类书面文字描述的条件。该模型使用COCO数据集进行训练和评估，该数据集由捕获具有各种人类姿势的复杂日常场景的图像组成。我们通过定性和定量的结果表明，该模型是能够合成合理的构成匹配给定的文本，这表明它是可能的，以生成与给定的语义特征，特别是与独特的构成动作是一致的构成。
2020-10-16 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而，当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是，小的对象往往会逐渐消失，而大的对象通常会生成为补丁的拼贴。为了解决这个问题，我们提出了一个双金字塔生成对抗网络（DP-GAN），它在所有尺度上联合学习空间自适应归一化块的条件，使得尺度信息被双向使用，并且它在不同尺度上统一监督。我们的定性和定量的结果表明，所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力，但它的条件图像合成能力较弱，特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中，基于对图像及其条件的联合概率密度建模，我们提出了一种新的基于流的生成模型，称为条件对抗生成流（CAGlow）。而不是从潜在空间中解开属性，我们开辟了一条新的道路，学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$，CAGlow可以将其编码为采样的$z$，然后在复杂的情况下实现鲁棒的条件图像合成，例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现，因此可以合成具有条件信息的图像，如类别，属性，甚至一些未知属性。大量的实验表明，CAGlow确保了不同条件的独立性，并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Image Synthesis in Multi-Contrast MRI with Conditional Generative Adversarial Networks
Bilkent University（比尔肯大学）；National Magnetic Resonance Research Center (UMRAM), Bilkent University（比尔肯大学国家磁共振研究中心（UMRAM））；Sabuncu Brain Research Center, Bilkent University（比尔肯大学Sabuncu脑研究中心）；Hacettepe University（哈塞特佩大学）
采集具有多种不同对比度的相同解剖结构的图像增加了MR检查中可用的诊断信息的多样性。然而，扫描时间限制可能会阻止某些对比度的采集，并且某些对比度的图像可能会被噪声和伪影破坏。在这种情况下，从剩余的造影剂合成未获得的或损坏的造影剂的能力可以提高诊断效用。对于多对比度合成，当前方法经由非线性回归或确定性神经网络来学习源图像与目标图像之间的非线性强度变换。这些方法又可能遭受合成图像中的高空间频率信息的损失。本文提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失保留高频细节;并且它通过注册多对比度图像的像素损失和未注册图像的周期一致性损失提供增强的合成性能。来自相邻截面的信息被用于进一步提高合成质量。来自健康受试者和患者的T1和T2加权图像的演示清楚地表明，与以前的最先进的方法相比，所提出的方法具有更好的性能。我们的合成方法可以帮助提高多对比MRI检查的质量和多功能性，而无需延长检查时间。
2018-02-05 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney（悉尼科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhejiang University（浙江大学）
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而，一个关键的挑战仍然存在：现有的方法缺乏几何约束，因此通常无法生成多视图一致的图像。为了解决这一挑战，我们提出了多视图一致性生成对抗网络（MVCGAN）的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息，即，深度和相机变换矩阵，我们显式地建立视图之间的立体对应关系，以执行多视图联合优化。特别是，我们加强了视图对之间的光度一致性，并将立体混淆机制集成到训练过程中，鼓励模型推理正确的3D形状。此外，我们设计了一个两阶段的训练策略与特征级多视角联合优化，以提高图像质量。在三个数据集上的大量实验表明，MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
High-Frequency Anti-DreamBooth: Robust Defense against Personalized Image Synthesis
The University of Tokyo（东京大学）
针对个性化图像合成滥用，提出在高频区域添加强扰动的对抗攻击方法，增强对对抗性净化的鲁棒性，有效阻碍恶意生成。
2024-11-03 cs.CV
Conditional Adversarial Synthesis of 3D Facial Action Units
Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）
采用基于深度学习的方法进行细粒度面部表情分析（诸如涉及动作单元（AU）强度估计的那些）是困难的，这是由于缺乏具有足够多样化的AU标签的真实面部的大规模数据集以用于训练。在本文中，我们考虑如何使用AU级面部图像合成来大幅增强这样的数据集。我们提出了一个AU合成框架，结合了著名的3D变形模型（3DMM），它本质上解开其他面部属性的表达参数，与模型，对抗生成3DMM表达参数的条件下给定的目标AU标签，在对比更传统的方法直接生成面部图像。通过这种方式，我们能够从所需的AU标签合成表情参数和面部图像的新组合。在基准DISFA数据集上的大量定量和定性结果证明了我们的方法在基于深度学习的AU强度估计的3DMM面部表情参数合成和数据增强上的有效性。
2018-03-15 cs.CV
Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network
University of Florida（佛罗里达大学）
本文提出了一种新的方法来处理具有挑战性的任务，生成摄影图像的语义图像描述的条件。我们的方法在网络层次结构中引入了伴随的层次嵌套对抗目标，这些目标规范了中间层表示，并帮助生成器训练捕获复杂的图像统计数据。我们提出了一个可扩展的单流生成器架构，以更好地适应联合鉴别器，并将生成的图像推到高分辨率。我们采用了多用途的对抗损失，以鼓励更有效的图像和文本信息的使用，以提高语义一致性和图像保真度的同时。此外，我们引入了一种新的视觉语义相似性度量来评估生成的图像的语义一致性。通过在三个公共数据集上进行广泛的实验验证，我们的方法在不同的评估指标上显着改善了所有数据集上的现有技术。
2018-04-06 cs.CV
McCaD: Multi-Contrast MRI Conditioned, Adaptive Adversarial Diffusion Model for High-Fidelity MRI Synthesis
Monash University（莫纳什大学）；Monash Biomedical Imaging, Monash University（莫纳什大学生物医学成像中心）；Imperial College（帝国理工学院）
McCaD提出多对比度MRI条件化自适应对抗扩散模型，通过多尺度特征引导机制和空间特征注意力损失实现高保真MRI合成，在肿瘤和健康数据集上优于现有方法。
2024-09-01 cs.CV
Synergistic Reconstruction and Synthesis via Generative Adversarial Networks for Accelerated Multi-Contrast MRI
Bilkent University（比尔肯特大学）
解剖结构的多重对比MRI采集丰富了可用于诊断的信息量。然而，与额外对比度相关联的过多扫描时间可能是限制因素。提高扫描效率的两种主流方法是欠采样采集的重建和缺失采集的合成。在重建中，性能随着采样密度的降低而向更高的加速因子下降，特别是在高空间频率下。在合成中，来自目标对比度的数据样本的缺失可导致对图像特征的伪像敏感性或不敏感性。本文提出了一种基于条件生成对抗网络的多对比度MRI协同重建合成新方法。所提出的方法保留高频细节的目标对比度依赖于共享的高频信息可从源对比度，并防止特征泄漏或损失依赖于欠采样采集的目标对比度。健康受试者和患者的脑MRI数据集上的演示表明，与以前的最先进的方法相比，所提出的方法的性能优越。所提出的方法可以帮助提高质量和扫描效率的多对比度MRI检查。
2018-05-27 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
Instance Map based Image Synthesis with a Denoising Generative Adversarial Network
College of Information Science and Engineering（信息科学与工程学院）；Ocean University of China（中国海洋大学）
基于语义布局的图像合成技术近年来受到了广泛的关注，它得益于生成对抗网络（GAN）的成功。如何在保持GAN随机性的同时提高合成图像的均匀性仍然是一个挑战。我们提出了一种新的去噪框架来处理这个问题。当从语义布局合成图像到逼真的RGB照片时，重叠对象生成是另一项具有挑战性的任务。为了克服这一缺陷，我们包括一个单热语义标签地图，迫使生成器更加关注重叠对象的生成。在此基础上，通过引入扰动损失和级联层损失，改进了双稳态振荡器的损失函数，以指导振荡器的产生过程。我们将我们的方法应用于Cityscapes，Facades和NYU数据集，并展示了我们模型的图像生成能力。
2018-01-10 cs.CV
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University（斯坦福大学）
我们见证了3D感知图像合成的快速进展，利用了生成视觉模型和神经渲染的最新进展。然而，现有的方法在两个方面存在不足：第一，它们可能缺乏底层3D表示或依赖于视图不一致的渲染，因此合成的图像不是多视图一致的;第二，它们通常依赖于表现力不够的表示网络架构，因此它们的结果缺乏图像质量。我们提出了一种新的生成模型，称为周期性隐式生成对抗网络（$π$ -GAN或pi-GAN），用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果，三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
Three Dimensional MR Image Synthesis with Progressive Generative Adversarial Networks
Bilkent University（比尔肯大学）
用于三维MRI合成的主流深度模型是横截面的或体积的，这取决于输入。横截面模型可以降低模型的复杂性，但它们可能导致不连续伪影。另一方面，体积模型可以减轻不连续性伪影，但由于模型复杂性增加以及训练数据不足，它们可能会损失空间分辨率。为了减轻这两种方法的局限性，我们提出了一种新的模型，通过更简单的合成任务在各个方向上逐步恢复目标体积。
2020-12-18 cs.CV eess.IV
Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation
Stability AI
本文提出潜在对抗性扩散蒸馏（LADD），利用预训练潜在扩散模型特征，简化训练并提升性能，应用于Stable Diffusion 3（8B）得到SD3-Turbo，仅需四步采样即可匹配最先进文本到图像生成器性能，并验证其在图像编辑和修复中的有效性。
2024-03-18 cs.CV
Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth
Vanderbilt University（范德堡大学）；Incyte Corporation（因赛特公司）
缺乏可推广性是基于深度学习的分割的一个关键限制。通常，当以不同的成像模式分割器官或从不同的疾病群组分割异常器官时，人工标记新的训练图像。如果能够重用来自一种模态的手动标签（例如，MRI）来训练用于新模态的分割网络（例如，CT）。以前，已经提出了两个阶段的方法来使用循环生成对抗网络（CycleGAN）来合成目标模态的训练图像。然后，这些努力使用合成图像独立地训练分割网络。然而，这两个独立的阶段没有使用合成和分割之间的互补信息。在此，我们提出了一种新的端到端的合成和分割网络（CNONet），以实现不成对的MRI到CT图像合成和CT脾肿大分割同时不使用手动标签的CT。端到端的Dice相似性系数中位数（0.9188）显著高于两阶段策略（0.8801），甚至高于使用CT手动标签的规范多图谱分割（0.9125）和ResNet方法（0.9107）。
2017-12-20 cs.CV
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research（IBM研究院）
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起，病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据，这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差，并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法，创建了一个允许直接驱动合成的框架。我们提供的定性结果表明，通过单独修改形状和密度的合成控制，和定量的结果表明，在发电机模型中嵌入的密度信息，有助于提高病变分割性能相比，单独使用的形状。
2021-06-01 cs.CV eess.IV
Conditional Generative Adversarial Networks for Emoji Synthesis with Word Embedding Manipulation
本文提出一种优化训练的深度卷积GAN，通过整合Google的word2vec词嵌入，生成高度逼真、与真实表情符号几乎相同的合成表情符号。
2017-12-14 cs.CV
Semantic Image Synthesis via Adversarial Learning
Imperial College London（伦敦帝国学院）
本文提出了一种直接用自然语言描述合成真实感图像的方法，该方法在智能图像处理等方面有着广泛的应用。我们试图实现这样的合成：给定源图像和目标文本描述，我们的模型合成图像，以满足两个要求：1）在匹配目标文本描述的同时是真实的; 2）保持与文本描述无关的其他图像特征。该模型应该能够从两种形式（图像和文本）中分离出语义信息，并从组合的语义中生成新的图像。为了实现这一点，我们提出了一种端到端的神经架构，该架构利用对抗学习来自动学习隐式损失函数，这些函数经过优化以满足上述两个要求。我们通过在Caltech-200鸟类数据集和Oxford-102花卉数据集上进行实验来评估我们的模型，并证明我们的模型能够合成与给定描述匹配的逼真图像，同时仍然保持原始图像的其他特征。
2017-07-21 cs.CV
Adversarial cycle-consistent synthesis of cerebral microbleeds for data augmentation
Radboud UMC（拉德堡德大学医学中心）；Erasmus MC（伊拉斯姆斯医学中心）
我们提出了一个新的框架，可控的病理图像合成数据增强。受CycleGAN的启发，我们在两个领域之间执行周期一致的图像到图像转换：健康和病理。在语义掩码的指导下，经过逆向训练的生成器在指定位置的健康图像上合成病理。我们证明了我们的方法在创伤性脑损伤患者脑微出血的机构数据集。我们利用我们的方法生成的合成图像进行脑微出血检测中的数据增强。用合成图像丰富训练数据集显示出提高创伤性脑损伤患者脑微出血检测性能的潜力。
2021-01-16 cs.CV eess.IV
Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks
Bar-Ilan University（巴伊兰大学）
基于深度学习的模型已被证明可以提高指纹识别的准确性。虽然这些算法表现出出色的性能，但它们需要大规模的指纹数据集进行训练和评估。在这项工作中，我们提出了一种新的指纹合成和重建框架的基础上的StyleGan 2架构，以解决与获取这样的大规模数据集的隐私问题。我们还推导出一种计算方法来修改所生成的指纹的属性，同时保留其身份。这允许每个手指合成多个不同的指纹图像。特别是，我们介绍了由100K图像对组成的SynFing合成指纹数据集，每对对应于相同的身份。实验表明，该框架优于当代国家的最先进的方法，指纹合成和重建。它大大提高了生成的指纹的真实性，无论是在视觉上还是在欺骗基于指纹的验证系统的能力方面。代码和指纹数据集是公开的：https://github.com/rafaelbou/fingerprint_generator。
2023-03-12 cs.CV
Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis
Peking University（北京大学）；University of California, Merced（加州大学默塞德分校）；Peng Cheng Laboratory（鹏城实验室）；Google Cloud（谷歌云）
大多数条件生成任务在给定一个条件上下文的情况下期望不同的输出。然而，条件生成对抗网络（cGAN）往往专注于先验条件信息，而忽略了导致输出变化的输入噪声向量。最近尝试解决cGAN的模式坍塌问题通常是特定于任务的，并且计算成本很高。在这项工作中，我们提出了一个简单而有效的正则化项来解决cGAN的模式坍塌问题。所提出的方法显式地最大化生成的图像之间的距离相对于相应的潜在代码的比率，从而鼓励生成器在训练期间探索更多的次要模式。这种寻求模式的正则化项很容易适用于各种条件生成任务，而无需施加训练开销或修改原始网络结构。我们验证了所提出的算法上的三个条件图像合成任务，包括分类生成，图像到图像的翻译，和文本到图像的合成与不同的基线模型。定性和定量的结果表明，所提出的正则化方法的有效性，提高多样性，而不损失质量。
2019-05-04 cs.CV
Dual Adversarial Inference for Text-to-Image Synthesis
Imagia Inc.（Imagia公司）；Concordia University（康考迪亚大学）；Dalhousie University（达尔豪斯大学）
从给定的文本描述合成图像涉及两种类型的信息：内容，其包括文本中明确描述的信息（例如，颜色、成分等），以及通常在文本中没有很好描述的风格（例如，位置、数量、尺寸等）。然而，在以前的作品中，它通常被视为仅从内容生成图像的过程，即，而不考虑学习有意义的风格表示。在本文中，我们的目标是学习两个变量，在潜在的空间，分别代表内容和风格。我们通过使用双重对抗推理机制增强当前的文本到图像合成框架来实现这一点。通过大量的实验，我们表明，我们的模型以无监督的方式学习与图像中存在的某些有意义的信息相对应的样式表示，这些信息在文本中没有很好地描述。在Oxford-102、CUB和COCO数据集上进行评估时，新框架还提高了合成图像的质量。
2019-08-14 cs.CV
Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)（坎皮纳斯大学）
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前，深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果，我们需要解决缺乏注释数据的问题，这是昂贵的，需要专家的大量努力。为了绕过这个问题，我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知，我们的结果是第一个显示视觉上吸引人的合成图像，包括临床意义的信息。
2019-02-08 cs.CV cs.LG
