Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
Generative adversarial networks and adversarial methods in biomedical image analysis
Image Sciences Institute, University Medical Center Utrecht（乌得勒支大学医学中心影像科学研究所）；Imperial College London（帝国理工学院）；Imagen Technologies（Imagen科技公司）
生成对抗网络（GANs）和其他对抗方法基于博弈论的观点，将两个神经网络作为游戏中的参与者进行联合优化。对抗技术已被广泛用于合成和分析生物医学图像。我们介绍了GANs和对抗方法，概述了受益于这些方法的生物医学图像分析任务。最后，我们讨论了对抗方法在生物医学图像分析中的优势和局限性，并提出了未来潜在的研究方向。
2018-10-24 cs.CV
Generative Adversarial Networks and Other Generative Models
Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
与CNN相比，生成网络在分类、分割或目标检测方面的目标和方法有着根本的不同。它们最初并不是一种图像分析工具，而是用来生成看起来自然的图像。对抗性训练范式已经被提出来稳定生成方法，并且已经被证明是非常成功的-尽管从第一次尝试开始就不是这样。本章对生成对抗网络（GANs）的动机进行了基本介绍，并通过抽象基本任务和工作机制，以及推导早期实用方法的困难，追溯了它们的成功之路。将显示更稳定的训练方法，以及收敛性差的典型迹象及其原因。虽然本章重点介绍用于图像生成和图像分析的GANs，但对抗训练范式本身并不特定于图像，也适用于图像分析中的任务。在将GANs与最近进入场景的进一步生成建模方法进行对比之前，图像语义分割和异常检测的架构示例将受到好评。这将允许对GANs的限制和好处进行上下文化的查看。
2022-07-08 cs.CV cs.LG eess.IV
Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）
最近关于无监督图像到图像翻译的研究通过训练一对具有周期一致损失的生成对抗网络取得了显着进展。然而，当图像分辨率较高或两个图像域具有显著的外观差异时，例如Cityscapes数据集中语义布局和自然图像之间的转换，这种无监督方法可能会生成较差的结果。在本文中，我们提出了一种新的堆叠循环一致性对抗网络（SCANs），通过将单个翻译分解为多阶段变换，不仅提高了图像翻译质量，而且还以粗到细的方式实现了更高分辨率的图像到图像的翻译。此外，为了适当地利用来自前一级的信息，设计了自适应融合块来学习当前级的输出和前一级的输出的动态积分。在多个数据集上的实验表明，与以前的单阶段无监督方法相比，我们提出的方法可以提高翻译质量。
2018-07-28 cs.CV
Discriminative Region Proposal Adversarial Networks for High-Quality Image-to-Image Translation
Ocean University of China（中国海洋大学）
随着生成对抗网络（GANs）的引入，图像到图像的翻译已经取得了很大的进展。然而，对于要求高质量的翻译任务，特别是在高分辨率和照片写实主义下，它仍然非常具有挑战性。在本文中，我们提出了区分区域建议对抗网络（DRPAN），用于高质量的图像到图像的翻译。我们将图像到图像的翻译任务分解为三个迭代步骤，第一步是生成具有全局结构但有一些局部伪影的图像（通过GAN），第二步是使用我们的DRPnet从生成的图像中提出最虚假的区域，第三步是通过修订器在最虚假的区域上实现“图像修补“以获得更真实的结果，使得系统（DRPAN）可以被逐渐优化以合成图像，其中更多地关注最伪影局部部分。在各种图像到图像翻译任务和数据集上的实验验证了我们的方法在人类感知研究和自动定量测量方面都优于最先进的方法，可以产生高质量的翻译结果。
2018-08-06 cs.CV
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
人工智能中最有趣的挑战之一是训练条件生成器，这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中，提出了一种新的框架，通过将分类器与鉴别器并行放置来训练深度条件生成器，并通过生成器网络反向传播分类误差。该方法是通用的，适用于生成对抗网络（GAN）实现的任何变化，并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
Unpaired Image-to-Image Translation using Adversarial Consistency Loss
Peking University（北京大学）；Peng Cheng Lab（鹏城实验室）
非配对图像间转换是一类视觉问题，其目标是利用非配对的训练数据找到不同图像域之间的映射。循环一致性损失是一个广泛使用的约束，这样的问题。然而，由于严格的像素级约束，它不能执行几何变化，删除大对象，或忽略无关的纹理。在本文中，我们提出了一种新的对抗一致性损失的图像到图像的翻译。这种损失不需要将转换后的图像转换回特定的源图像，但是可以鼓励转换后的图像保留源图像的重要特征，并克服上述周期一致性损失的缺点。我们的方法在三个具有挑战性的任务上取得了最先进的结果：眼镜移除，男性到女性的翻译和自拍到动漫的翻译。
2021-01-18 cs.CV
Galaxy Image Translation with Semi-supervised Noise-reconstructed Generative Adversarial Networks
Aix Marseille Univ., CNRS/IN2P3, CPPM（艾克斯-马赛大学、法国国家科学研究中心/国家核物理与粒子物理研究所、马赛粒子物理中心）
使用深度学习神经网络进行图像到图像的转换，特别是使用生成对抗网络（GANs），是模拟天文图像最强大的方法之一。然而，目前的工作仅限于利用成对的图像与监督翻译，并已很少讨论重建噪声背景编码的仪器和观测效果。这些局限性可能对天体物理学的后续科学应用有害。因此，我们的目标是开发方法，使用不成对的图像和保留图像翻译中的噪声特性。在这项工作中，我们提出了一种使用GANs的双向图像翻译模型，该模型以半监督的方式利用配对和未配对的图像，并引入了一个噪声仿真模块，该模块能够学习和重建以高频特征为特征的噪声。通过对斯隆数字巡天（SDSS）和加拿大法国夏威夷望远镜遗产调查（CFHT）的多波段星系图像进行实验，我们表明，我们的方法有效地恢复了全局和局部属性，并优于基准图像转换模型。据我们所知，这项工作是首次尝试将半监督方法和噪声重建技术应用于天体物理研究。
2021-01-19 astro-ph.IM cs.CV eess.IV
In2I : Unsupervised Multi-Image-to-Image Translation Using Generative Adversarial Networks
Rutgers University（罗格斯大学）
在无监督图像到图像翻译中，目标是使用一组未配对的训练图像来学习输入图像和输出图像之间的映射。在本文中，我们提出了一个扩展的无监督图像到图像的翻译问题的多输入设置。给定来自多个模态的一组配对图像，学习变换以将输入转换到指定的域。为此，我们引入了一个基于生成对抗网络（GAN）的框架，以及一个多模态生成器结构和一个新的损失项，潜在的一致性损失。通过各种实验，我们表明，利用多个输入一般提高翻译图像的视觉质量。此外，我们表明，该方法优于目前最先进的无监督图像到图像的翻译方法。
2017-11-26 cs.CV
Sinogram Enhancement with Generative Adversarial Networks using Shape Priors
University of Southampton（南安普顿大学）
通过从计算模型中推断测量值来补偿稀缺的测量值是解决不适定逆问题的一种方法。我们通过使用生成模型和有关扫描对象的先验知识完成一组采集来解决有限角度断层扫描。使用生成对抗网络作为模型，计算机辅助设计数据作为形状先验，我们证明了我们的技术比其他最先进的方法具有定量和定性的优势。推断大量的连续缺失测量，我们提供了一种替代其他图像修复技术，未能提供一个令人满意的答案，我们的研究问题：可以减少X射线曝光使用生成模型来推断缺乏测量？
2022-02-01 cs.CV cs.LG eess.IV
Unsupervised Projection Networks for Generative Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们建议使用无监督学习来训练投影网络，投影到已经训练好的生成器的潜在空间上。我们将我们的方法应用于经过训练的StyleGAN，并使用我们的投影网络来执行图像超分辨率和图像聚类到语义可识别的组中。
2019-10-06 cs.CV cs.LG eess.IV
Deceiving Image-to-Image Translation Networks for Autonomous Driving with Adversarial Perturbations
KAIST（韩国科学技术院）
深度神经网络（DNN）在处理计算机视觉问题方面取得了令人印象深刻的性能，然而，人们发现DNN容易受到对抗性示例的影响。由于这个原因，对抗扰动最近已经在几个方面进行了研究。然而，大多数以前的作品都集中在图像分类任务，它从来没有被研究关于对抗扰动图像到图像（Im 2 Im）的翻译任务，在处理配对和/或不成对的映射问题在自动驾驶和机器人领域的巨大成功。本文研究了不同类型的对抗性扰动，这些扰动可以欺骗Im 2 Im框架以实现自动驾驶目的。我们提出了准物理和数字对抗扰动，可以使Im 2 Im模型产生意想不到的结果。然后，我们实证分析这些扰动，并表明，他们推广以及下配对的图像合成和风格转移的不成对的设置。我们还验证了存在一些扰动阈值，超过这些阈值，Im 2 Im映射被中断或不可能。这些扰动的存在揭示了Im 2 Im模型中存在的关键弱点。最后，我们证明了我们的方法说明了扰动如何影响输出质量，开创了当前SOTA网络用于自动驾驶的鲁棒性的改进。
2020-01-06 cs.CV cs.RO eess.IV
High-Quality Face Image SR Using Conditional Generative Adversarial Networks
Beihang University（北京航空航天大学）；National Chung Hsing University（中兴大学）
提出了一种基于边界平衡生成对抗网络的人脸条件生成对抗网络（Face Conditional Generative Adversarial Network，FCGAN）的单人脸图像超分辨率方法。该方法不需要任何人脸先验信息，可以从低分辨率的人脸图像生成高分辨率的人脸图像。与现有的研究相比，我们的训练和测试阶段都是端到端的管道，几乎没有预处理/后处理。为了提高收敛速度和加强特征传播，在生成和鉴别网络中进一步采用跳层连接。大量的实验表明，我们的模型与最先进的模型相比，具有竞争力的性能。
2017-07-04 cs.CV
Adversarial Attack Against Images Classification based on Generative Adversarial Networks
George Washington University（乔治华盛顿大学）
针对图像分类系统的安全问题，本文受生成对抗网络启发，提出一种新颖的对抗攻击方法，通过对抗学习生成小扰动对抗样本，在经典数据集上成功欺骗多种先进分类器并保持样本自然性，有效揭示了系统弱点以提升抗攻击能力。
2024-12-24 cs.AI cs.CV
SingleGAN: Image-to-Image Translation by a Single-Generator Network using Multiple Generative Adversarial Learning
Peking University（北京大学）
图像翻译是计算机视觉中的一个新兴领域，其目标是学习输入图像和输出图像之间的映射。然而，大多数最近的方法需要多个生成器来建模不同的域映射，这在一些多域图像翻译任务中是低效和无效的。在本文中，我们提出了一种新的方法SingleGAN，用单个生成器执行多域图像到图像的翻译。我们引入域代码来显式控制不同的生成任务，并集成多个优化目标以确保翻译。在几个未配对数据集上的实验结果表明，我们的模型在两个域之间的翻译性能优越。此外，我们还探索了SingleGAN在不同任务中的变体，包括一对多域翻译，多对多域翻译和多模态一对一域翻译。扩展实验表明了该模型的通用性和可扩展性。
2020-04-17 cs.CV
Building Footprint Generation Using Improved Generative Adversarial Networks
建筑物足迹信息是城市模型三维重建的重要组成部分。由于建筑物形状的复杂性，从卫星图像自动生成建筑物足迹提出了相当大的挑战。在这项工作中，我们提出了改进的生成对抗网络（GANs），用于从卫星图像中自动生成建筑物足迹。我们使用了一个条件GAN，其代价函数来自Wasserstein距离，并添加了梯度惩罚项。实验结果表明，与条件生成对抗网络、U-Net和其他网络相比，该方法可以显著提高建筑物足迹生成的质量。此外，我们的方法几乎消除了所有的超参数调整。
2018-10-26 cs.CV
Interpreting Generative Adversarial Networks for Interactive Image Generation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
用于图像生成的生成对抗网络（GANs）的进步已经取得了重大进展。然而，人们对如何通过GANs的深度表示从随机向量生成逼真的图像缺乏足够的理解。本章总结了最近关于解释深层生成模型的工作。方法分为监督，无监督和嵌入指导的方法。我们将看到如何识别在学习表示中出现的人类可理解的概念，并将其用于交互式图像生成和编辑。
2022-02-02 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.（STAT创新私人有限公司）
将生成对抗神经网络（GANs）应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像，显示相同的技术可用于医疗领域，以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片，并使用尖端技术训练深度卷积生成对抗神经网络（DCGAN）。合成输出进行了比较，真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Segmentation Guided Image-to-Image Translation with Adversarial Networks
Northeastern University（东北大学）
近年来，图像到图像的翻译受到越来越多的关注，它旨在将一个领域中的图像映射到另一个特定的领域。现有的方法主要通过深度生成模型来解决这个问题，并专注于探索不同领域之间的关系。然而，这些方法忽略了利用更高级别和特定于实例的信息来指导训练过程，导致生成大量不真实的低质量图像。现有的方法在平移期间也缺乏空间可控性。为了解决这些挑战，我们提出了一种新的分割引导的生成对抗网络（SGGAN），它利用语义分割，以进一步提高生成性能，并提供空间映射。特别地，分割器网络被设计为在所生成的图像上施加语义信息。多域人脸图像翻译任务的实验结果表明，我们的空间修改的能力和我们的优越性，在图像质量比几个国家的最先进的方法。
2019-01-23 cs.CV
Generative Adversarial Models for People Attribute Recognition in Surveillance
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
在本文中，我们提出了一种用于检测人属性（例如性别，种族，服装......）的深层架构。在监视环境中。我们的建议明确地处理分辨率差和遮挡问题，经常发生在监控镜头通过增强图像的手段，深度卷积生成对抗网络（DCGAN）。实验表明，通过结合我们的生成重建和深度属性分类网络，我们可以有效地提取属性，即使在分辨率差，并在存在强遮挡高达80%的整个人的形象。
2017-07-07 cs.CV
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology（谢里夫理工大学）；imec（imec研究所）；Ghent University（根特大学）
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步，给定的音频输入。通过使用递归神经网络，我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力，以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
Face Transfer with Generative Adversarial Network
Shanghai Jiao Tong University（上海交通大学）
面部转移由源演员在目标视频中动画化角色的面部表演。传统的方法通常基于人脸建模。提出了一种基于生成对抗网络的端到端人脸传输方法。具体来说，我们利用CycleGAN生成目标角色的面部图像，并具有相应的头部姿势和面部表情。为了提高生成视频的质量，我们采用了PatchGAN，并探讨了不同感受野大小对生成图像的影响。
2017-10-17 cs.CV
SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
这项工作介绍了一种新的GAN架构，用于人脸风格转换任务的无监督图像翻译。一个基于光谱注意力的机制被嵌入到设计中，同时对图像内容进行空间关注。我们证明了神经网络具有在相当大的计算成本内学习复杂变换（如傅立叶变换）的潜力。与仅使用空间注意力的基线模型相比，该模型进行了训练和测试。我们的方法的性能改善是显着的，特别是当源和目标域包括不同的复杂度（减少FID从142.84到49.18）。在平移过程中，由于FFT和频谱注意的实现，引入了频谱填充效应。本文还研究了另一种风格转换任务和真实世界物体翻译。
2021-10-06 cs.CV
Generative Adversarial Network with Multi-Branch Discriminator for Cross-Species Image-to-Image Translation
当前的方法在图像到图像的翻译任务上取得了很大的进展，这得益于图像合成方法的成功，特别是生成对抗网络（GANs）。然而，现有的方法仅限于处理两个物种之间的翻译任务，同时保持语义层面上的内容匹配。一个更具挑战性的任务是在两个以上物种之间进行翻译。为了探索这一新领域，我们提出了一种简单而有效的多分支结构，用于增强任意生成对抗架构（GAN），称为GAN-MBD。该算法利用Boosting策略将一个通用的神经网络分解为多个参数较少的小神经网络，有效地提高了GANs的生成和综合能力。综合实验表明，提出的多分支神经网络可以显着提高流行的GANs的跨物种图像到图像翻译任务的性能，同时减少了计算参数的数量。随函附上有关守则及部分数据，作为补充资料，以供参考。
2019-01-24 cs.CV cs.LG
TIME: Text and Image Mutual-Translation Adversarial Networks
Rutgers University（罗格斯大学）
针对文本到图像（T2 I）生成，我们提出了文本和图像相互翻译对抗网络（TIME），这是一种轻量级但有效的模型，它在生成对抗网络框架下联合学习T2 I生成器G和图像描述CNOD。虽然以前的方法将T2 I问题作为单向任务处理，并使用预训练的语言模型来执行图像-文本一致性，但TIME既不需要额外的模块，也不需要预训练。我们表明，G的性能可以大大提高，通过训练它与D作为一个语言模型。具体来说，我们采用Transformers来建模图像特征和词嵌入之间的跨模态连接，并设计了一个退火条件铰链损失，动态平衡对抗学习。在我们的实验中，TIME在CUB和MS-COCO数据集上实现了最先进的（SOTA）性能（CUB上的Inception Score为4.91，Fréchet Inception Distance为14.3），并在MS-COCO上显示了图像描述和下游视觉语言任务的良好性能。
2020-12-22 cs.CV
Webpage Saliency Prediction with Two-stage Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）
网页显著性预测是图像变换和计算机视觉领域的一个具有挑战性的问题。本文提出了一种结合网页轮廓信息的兴趣区域预测模型。对于每一个网页图像，我们的模型可以生成显着图，指示感兴趣的区域的人。提出了一种两级生成对抗网络，并引入了图像轮廓信息以提高网络的传输性能。在FIWI数据集上的实验结果表明，该模型在显著性预测方面具有更好的性能。
2018-05-29 cs.CV
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于生成对抗网络（GAN）、对抗自动编码器及其变体的教程和调查论文。我们从解释对抗学习和普通GAN开始。然后，我们解释了条件GAN和DCGAN。介绍了模式崩溃问题，介绍了解决模式崩溃问题的各种方法，包括minibatch GAN、unrolled GAN、BourGAN、mixture GAN、D2 GAN和Wasserstein GAN。然后，解释了GAN中的最大似然估计以及f-GAN、对抗变分贝叶斯和贝叶斯GAN。然后，我们涵盖了GAN，InfoGAN，GRAN，LSGAN，基于能量的GAN，Cat GAN、MMD GAN、LapGAN、渐进式GAN、三重GAN、LAG、GMAN、Ada GAN、CoGAN、逆GAN、双GAN、ALI，SA GAN、Few-Shot GAN、SinGAN、以及GAN的插值和评价。然后，我们介绍了GAN的一些应用，如图像到图像的翻译（包括PatchGAN，CycleGAN，DeepFaceDrawing，模拟GAN，交互式GAN），文本到图像的翻译（包括StackGAN），以及混合图像特征（包括FineGAN和MixNMatch）。最后，我们解释了基于对抗学习的自动编码器，包括对抗自动编码器，PixelGAN和隐式自动编码器。
2021-11-26 cs.CV cs.LG eess.IV
Dual Generator Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
University of Trento, Italy（意大利特伦托大学）；University of Oxford, United Kingdom（英国牛津大学）；École Polytechnique Fédérale de Lausanne, Switzerland（瑞士洛桑联邦理工学院）；Texas State University, USA（美国德克萨斯州立大学）
使用生成对抗网络（GANs）进行图像到图像转换的最先进方法可以使用未配对的图像数据学习从一个域到另一个域的映射。然而，这些方法需要为每对图像域训练一个特定的模型，这限制了处理两个以上图像域的可扩展性。此外，这些方法的训练阶段具有模型崩溃的共同问题，这降低了生成图像的质量。为了解决这些问题，我们提出了一个双生成器生成对抗网络（$^2$ GAN），这是一个强大的和可扩展的方法，允许执行不成对的图像到图像的翻译多个域使用双生成器在一个单一的模型。此外，我们探索了不同的优化损失，以更好地训练G $^2$ GAN，从而使不成对的图像到图像的翻译具有更高的一致性和更好的稳定性。在六个公开可用的数据集上进行了广泛的实验，这些数据集具有不同的场景，即，建筑物、季节、景观和人脸等图像，证明了所提出的$^2$ GAN与现有的图像-图像转换GAN模型相比，具有更高的模型容量和更好的生成性能。
2019-01-14 cs.CV
SSGAN: Secure Steganography Based on Generative Adversarial Networks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出了一种基于生成对抗网络的安全隐写策略，用于生成合适的、安全的隐写覆盖。所提出的架构有一个生成网络，和两个判别网络。生成式网络主要评估生成图像的视觉质量以用于隐写，而鉴别式网络则用于评估其是否适合信息隐藏。与采用深度卷积生成对抗网络的现有工作不同，我们利用另一种形式的生成对抗网络。通过使用这种新形式的生成对抗网络，在收敛速度、训练稳定性和图像质量方面都有了显著的改善。此外，一个复杂的隐写分析网络的鉴别网络，该网络可以更好地评估所生成的图像的性能。在公开数据集上进行了大量实验，以证明所提出的方法的有效性和鲁棒性。
2018-11-24 cs.CV cs.MM
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London（帝国理工学院）；Indian Institute of Technology（印度理工学院）
自动将图像从其原始形式转换为某种合成形式（样式，部分内容等）非常有用，同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题，并提出了一种基于深度卷积和条件生成对抗网络（GANs）的通用方法来实现它，自2014年以来，该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中，我们开发了一种两步（无监督）学习方法，通过使用未标记的图像在不同的域之间转换图像，而不指定它们之间的任何对应关系，从而避免了获取标记数据的成本。与以往的工作相比，我们证明了我们的模型的通用性，通过这种能力，翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
One-Shot Image-to-Image Translation via Part-Global Learning with a Multi-adversarial Framework
Ocean University of China（中国海洋大学）；University of Electronic Science and Technology of China（电子科技大学）
众所周知，人类可以从几个有限的图像样本中有效地学习和识别对象。然而，仅从少数图像中学习对于现有主流深度神经网络来说仍然是一个巨大的挑战。受人类思维中类比推理的启发，一种可行的策略是将丰富的源域中的丰富图像翻译为丰富相关但不同的目标域，而图像数据不足。为了实现这一目标，我们提出了一种新的，有效的多对抗框架（MA）的基础上部分全局学习，它完成了一次性跨域图像到图像的翻译。具体而言，我们首先设计了一个部分全局对抗训练方案，为特征提取提供了一种有效的方法，并防止鉴别器被过度拟合。然后，采用多对抗机制来增强图像到图像的翻译能力，以挖掘高层次的语义表示。提出了一种平衡对抗损失函数，以平衡训练数据，稳定训练过程。大量的实验表明，该方法可以在两个极端不平衡的图像域之间的各种数据集上获得令人印象深刻的结果，并且在单次图像到图像的翻译上优于最先进的方法。
2019-05-12 cs.CV cs.LG
Generative Adversarial Network for Handwritten Text
Zhejiang University（浙江大学）；Microsoft Cloud & AI（微软云与AI）
生成对抗网络（GANs）在图像处理的各种应用中已经证明是非常成功的。然而，由于卷积神经网络（CNN）难以处理连续的手写数据，手写生成对抗网络相对较少。在本文中，我们提出了一个手写生成对抗网络框架（HWGANs）合成手写笔画数据。新框架的主要特征包括：（i）一个由集成的CNN-长短期记忆（LSTM）为基础的特征提取与路径签名特征（PSF）作为输入和前馈神经网络（FNN）为基础的二进制分类器组成的分类器;（ii）一个循环潜在变量模型作为生成器，用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比，HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Generative Adversarial Stacked Autoencoders
Coventry University（考文垂大学）；LatinX in AI
生成对抗网络（GANs）已成为图像生成任务的主导。他们的成功归功于训练制度，它采用了两种模式：一个发电机G和CNOD，在一个极小极大零和游戏的竞争。尽管如此，GANs由于其对超参数和参数初始化的敏感性而难以训练，这通常会导致梯度消失、不收敛或模式坍塌，其中生成器无法创建具有不同变化的样本。在这项工作中，我们提出了一种新的生成对抗堆叠卷积自动编码器（GASCA）模型和生成对抗逐步贪婪逐层学习算法设计训练对抗自动编码器在一个有效的和增量的方式。我们的训练方法产生的图像的重建误差比vanilla联合训练要低得多。
2020-11-22 cs.CV cs.LG
Generative Adversarial Networks: recent developments
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Tooploox Ltd.（图普洛克斯有限公司）
在传统的生成式建模中，良好的数据表示通常是良好的机器学习模型的基础。它可以链接到编码更多隐藏在原始数据中的解释性因素的良好表示。随着生成对抗网络（GANs）的发明，生成模型的一个子类，能够以无监督和半监督的方式学习表示，我们现在能够从简单的先验分布到目标数据分布的良好映射。本文概述了GANs的最新发展，重点是学习潜在空间表示。
2019-03-16 cs.CV cs.LG stat.ML
Unsupervised Image-to-Image Translation with Generative Prior
Nanyang Technological University（南洋理工大学）
无监督图像到图像翻译旨在学习两个视觉域之间的翻译，而无需配对数据。尽管最近在图像翻译模型方面取得了进展，但在具有剧烈视觉差异的复杂域之间建立映射仍然具有挑战性。在这项工作中，我们提出了一个新的框架，生成先验指导的无监督图像到图像翻译（GP-UNIT），以提高翻译算法的整体质量和适用性。我们的关键见解是利用来自预训练的类条件GANs的生成先验（例如，BigGAN）来学习跨各个领域的丰富内容对应关系。我们提出了一种新的粗到细的方案：我们首先提取生成之前捕获一个强大的粗层次的内容表示，可以在抽象的语义层次上链接对象，在此基础上，细层次的内容特征自适应学习更准确的多级内容对应。大量的实验证明了我们的多功能框架在强大，高质量和多样化的翻译方面优于最先进的方法，即使是具有挑战性和遥远的领域。
2022-04-07 cs.CV cs.LG
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
Lifelong Twin Generative Adversarial Networks
University of York（约克大学）
在本文中，我们提出了一种新的连续学习生成模型，称为终身孪生生成对抗网络（LT-GANs）。LT-GAN从多个数据库中学习一系列任务，其架构由三个组件组成：两个相同的生成器，即教师和助理，以及一个判别器。为了让LT-GAN学习新概念而不会忘记，我们引入了一种新的终身培训方法，即终身对抗性知识蒸馏（LAKD），它鼓励教师和助理在学习新数据库的同时相互交替教学。这种训练方法有利于将知识从一个更有知识的玩家转移到另一个对先前给定任务了解较少的玩家。
2021-07-09 cs.AI cs.CV
Regularized Generative Adversarial Network
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一个框架，用于从不同于训练集的概率分布的概率分布生成样本。我们使用一个对抗过程，同时训练三个网络，一个生成器和两个判别器。我们将这种新模型称为正则化生成对抗网络（RegGAN）。我们在由灰度图像组成的合成数据集上评估RegGAN，并进一步表明它可以用于学习拓扑中的一些预先指定的概念（基本拓扑属性）。这项工作的动机是在艺术世界中使用生成方法时遇到的实际问题。
2021-02-09 cs.AI cs.CV cs.LG
Personality-Driven Gaze Animation with Conditional Generative Adversarial Networks
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
我们提出了一种生成对抗学习方法来合成给定个性的凝视行为。我们使用现有的数据集对模型进行训练，该数据集包括42名参与者执行日常任务的眼动跟踪数据和个性特征。考虑到大五人格特质（开放性、外向性、宜人性和神经质）的值，我们的模型生成了由凝视目标、眨眼时间和瞳孔尺寸组成的时间序列数据。我们使用生成的数据来合成游戏引擎上的虚拟代理的注视运动。
2020-11-11 cs.CV cs.GR
Text-to-Image-to-Text Translation using Cycle Consistent Adversarial Networks
University of Toronto（多伦多大学）
文本到图像的翻译一直是一个活跃的研究领域在最近的过去。网络学习句子的含义并生成描述句子的准确图像的能力显示了模型更像人类思考的能力。流行的文本到图像翻译方法利用生成对抗网络（GANs）基于文本输入生成高质量图像，但生成的图像并不总是反映作为输入的模型的句子的含义。我们通过使用字幕网络对生成的图像进行字幕来解决这个问题，并利用地面实况字幕和生成的字幕之间的距离来进一步改进网络。我们展示了我们的方法和现有方法之间的广泛比较。
2018-08-14 cs.CL cs.CV cs.LG
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University（首尔大学）
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络（GAN）成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型，它揭示了具有多个生成器的图像的复杂结构，其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如，它可以在人脸数据集上训练后，使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的，没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性，通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks
Carleton University（卡尔顿大学）
我们提出了一种自动编码器生成对抗网络（GANs）的训练和评估方法，特别是边界平衡生成对抗网络（BEGAN），基于图像质量评估文献中的方法。我们的方法探讨了一个多维的评价标准，利用三个距离函数：一个$l_1$分数，梯度幅度相似性平均值（GMSM）分数，和色度分数。我们发现，每个不同的距离函数捕捉图像空间中的一组略有不同的属性，因此，需要自己的评估标准，以正确评估相关属性是否已经充分学习。我们证明了使用新距离函数的模型能够以预测的方式产生比原始BEGAN模型更好的图像。
2017-08-06 cs.CV cs.LG
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建，当前的防御方法主要集中在防范这种类型的攻击。在本文中，我们提出了无限制的对抗性示例，这是一种新的威胁模型，其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同，我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说，我们首先训练一个辅助分类器生成对抗网络（AC-GAN）来对数据样本上的类条件分布进行建模。然后，以所需类别为条件，我们在AC-GAN潜在空间中搜索，以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明，以这种方式生成的不受限制的对抗性示例是合法的，并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明，不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
Training Generative Adversarial Networks Via Turing Test
School of Mathematics（数学学院）；Sun Yat-sen University（中山大学）
在这篇文章中，我们介绍了一种用于训练生成对抗网络（GANs）的新模式。我们不是最小化证据分布$\tilde{p}(x)$和生成分布$q(x)$的距离，而是最小化$\tilde{p}(x_r)q(x_f)$和$\tilde{p}(x_f)q(x_r)$的距离。这种对抗模式可以被解释为GANs中的图灵测试。它允许我们在训练生成器的过程中使用真实样本的信息，加快了整个训练过程。我们甚至发现，只要按比例增加矩阵和生成器的大小，它就可以在256x256分辨率上成功，而无需仔细调整超参数。
2018-10-27 cs.CV cs.LG stat.ML
Megapixel Size Image Creation using Generative Adversarial Networks
Happy Finish Ltd.（Happy Finish有限公司）
自出现以来，生成对抗网络（GANs）在AI社区中引起了很大的兴趣。在图像生成方面，有几个项目展示了GANs如何能够生成逼真的图像，但到目前为止，结果看起来还不足以满足视觉媒体制作行业的质量标准。我们提出了一种基于深度卷积生成对抗网络（DCGAN）的优化图像生成过程，以创建逼真的高分辨率图像（高达1024x1024像素）。此外，该系统提供了有限的图像数据集，不到两千张图像。所有这些结果为GANs在计算机图形学和视觉效果领域的进一步开发提供了更多的线索。
2017-05-31 cs.CV cs.GR cs.LG
StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
虽然生成对抗网络（GANs）在各种任务中取得了显着的成功，但它们在生成高质量图像方面仍然面临挑战。在本文中，我们提出了堆叠生成对抗网络（StackGAN），旨在生成高分辨率的照片般逼真的图像。首先，我们提出了一个两阶段的生成对抗网络架构StackGAN-v1，用于文本到图像的合成。第一阶段GAN根据给定的文本描述绘制对象的原始形状和颜色，产生低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。其次，提出了一种先进的多阶段生成对抗网络架构StackGAN-v2，用于条件和无条件生成任务。我们的StackGAN-v2由树状结构的多个生成器和鉴别器组成;对应于同一场景的多个尺度的图像是从树的不同分支生成的。StackGAN-v2通过联合逼近多个分布，显示出比StackGAN-v1更稳定的训练行为。大量的实验表明，所提出的堆叠生成对抗网络在生成照片般逼真的图像方面明显优于其他最先进的方法。
2018-06-28 cs.AI cs.CV stat.ML
An attempt to generate new bridge types from latent space of generative adversarial network
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd（万世先见数智交通科技有限公司）
本研究利用生成对抗网络，基于Python、TensorFlow和Keras框架及四种对称结构桥梁图像数据集，通过低维潜在空间采样生成具有不对称结构的新桥型，展现了生成式AI的原创能力与启发潜力。
2024-01-01 cs.AI cs.CV cs.LG
Synthesizing Unrestricted False Positive Adversarial Objects Using Generative Models
ETH Zurich（苏黎世联邦理工学院）；ABB Future Labs（ABB未来实验室）
对抗性示例是被神经网络错误分类的数据点。最初，对抗性示例仅限于向给定图像添加小扰动。最近的工作引入了无限制对抗示例的广义概念，对添加的扰动没有限制。在本文中，我们介绍了一种新的攻击类别，它可以为目标检测创建不受限制的对抗性示例。我们的关键思想是生成与目标对象检测器识别的类无关的对抗对象。与以前的攻击不同，我们使用现成的生成对抗网络（GAN），不需要任何进一步的训练或修改。我们的方法包括搜索潜在的正常空间的GAN的敌对对象被错误地识别的目标对象检测器。我们在常用的Faster R-CNN ResNet-101，Inception v2和SSD Mobilenet v1对象检测器上使用在CIFAR-10上训练的徽标生成iWGAN-LC和SNGAN来评估这种方法。实验结果表明，生成的对抗对象与GANs生成的非对抗对象无法区分，在对象检测器之间可转移，并且在物理世界中具有鲁棒性。这是第一次研究用于目标检测的无限制假阳性对抗示例。
2020-05-19 cs.CR cs.CV cs.LG
Predicting Novel Views Using Generative Adversarial Query Network
University of Oulu（奥卢大学）；Tampere University（坦佩雷大学）
使用任意数量的观测来预测场景的新视图的问题对于计算机和人类来说都是一个具有挑战性的问题。本文介绍了生成对抗查询网络（GAQN），一个通用的学习框架，新的视图合成，结合生成查询网络（GQN）和生成对抗网络（GANs）。传统的GQN将输入视图编码为潜在表示，该潜在表示用于通过递归变分解码器生成新视图。建议GAQN建立在这项工作的基础上，增加了两个新的方面：首先，我们扩展了目前的GQN架构与对抗损失函数，以提高视觉质量和收敛速度。其次，我们引入了一个特征匹配的损失函数来稳定训练过程。实验表明，GAQN是能够产生高质量的结果和更快的收敛速度相比，传统的方法。
2019-04-10 cs.AI cs.CV cs.GR
A Novel Wasserstein Quaternion Generative Adversarial Network for Color Image Generation
本文提出一种基于四元数Wasserstein距离的新型生成对抗网络，用于提升彩色图像生成的效率和质量。
2025-12-09 cs.AI cs.CV cs.NA
