Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology（谢里夫理工大学）；imec（imec研究所）；Ghent University（根特大学）
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步，给定的音频输入。通过使用递归神经网络，我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力，以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
Face Transfer with Generative Adversarial Network
Shanghai Jiao Tong University（上海交通大学）
面部转移由源演员在目标视频中动画化角色的面部表演。传统的方法通常基于人脸建模。提出了一种基于生成对抗网络的端到端人脸传输方法。具体来说，我们利用CycleGAN生成目标角色的面部图像，并具有相应的头部姿势和面部表情。为了提高生成视频的质量，我们采用了PatchGAN，并探讨了不同感受野大小对生成图像的影响。
2017-10-17 cs.CV
Webpage Saliency Prediction with Two-stage Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）
网页显著性预测是图像变换和计算机视觉领域的一个具有挑战性的问题。本文提出了一种结合网页轮廓信息的兴趣区域预测模型。对于每一个网页图像，我们的模型可以生成显着图，指示感兴趣的区域的人。提出了一种两级生成对抗网络，并引入了图像轮廓信息以提高网络的传输性能。在FIWI数据集上的实验结果表明，该模型在显著性预测方面具有更好的性能。
2018-05-29 cs.CV
Fingerprint Membership and Identity Inference Against Generative Adversarial Networks
University of Padova（帕多瓦大学）
本文针对生成对抗网络生成的指纹数据集设计身份推断攻击，评估生成式机器学习模型的身份保护脆弱性，验证了攻击在多配置下的有效性及向其他生物识别场景的可扩展性。
2024-06-21 cs.CV
Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes
Ocean University of China（中国海洋大学）
生成对抗网络被证明是有效的各种图像生成任务。然而，如果我们想要精确地生成图像，这仍然是一个挑战。如何生成具有单一属性的图像是众多研究者关注的焦点。但多属性下的图像生成仍然是一项艰巨的工作。在本文中，我们尝试使用流水线过程在多个约束下生成各种人脸图像。我们提出的Pip-GAN（管道生成对抗网络）采用管道网络结构，可以使用中性人脸图像逐步生成复杂的人脸图像。我们将我们的方法应用于两个人脸图像数据库，并证明了它能够在多种条件下生成令人信服的新图像。
2017-11-29 cs.CV
Boundless: Generative Adversarial Networks for Image Extension
Google Research（谷歌研究院）
图像扩展模型在图像编辑、计算摄影和计算机图形学中有着广泛的应用。虽然图像修补已经在文献中得到了广泛的研究，但直接将最先进的修补方法应用于图像扩展是具有挑战性的，因为它们往往会生成具有不一致语义的模糊或重复像素。我们将语义调节引入生成对抗网络（GAN）的扩展，并在具有连贯语义和视觉上令人愉悦的颜色和纹理的图像扩展上取得了很好的结果。我们还显示了有前途的结果在极端的扩展，如全景生成。
2019-08-19 cs.CV
Generative Adversarial Networks with Inverse Transformation Unit
在本文中，我们介绍了一种新的结构，生成对抗网络通过添加一个逆变换单元后的发电机。我们提出了两个定理，声称该模型的收敛性，和两个插图的非理想的情况下，转换不是双射。在MNIST数据集和Fashion-MNIST数据集上对具有不同变换的模型进行了一般性调查，这表明变换不一定需要是双射。此外，通过某些模糊图像的变换，我们的模型成功地学会了锐化图像并恢复模糊图像，这也通过我们对锐度的测量得到了验证。
2017-09-27 cs.CV
KG-GAN: Knowledge-Guided Generative Adversarial Networks
HTC Research & Healthcare（HTC研究与医疗）；Stanford University（斯坦福大学）
生成对抗网络（GANs）是否可以生成各种颜色的玫瑰，只给红色花瓣的玫瑰作为输入？答案是否定的，因为GANs的控制器会拒绝所有看不见花瓣颜色的玫瑰。在这项研究中，我们提出了知识引导的GAN（KG-GAN）融合领域知识与GAN框架。KG-GAN训练两个生成器;一个从数据中学习，另一个从具有约束函数的知识中学习。实验结果表明，KG-GAN在生成看不见的花类别的有效性，从看不见的类别的文本描述。
2019-09-23 cs.CV
Single Image Haze Removal Using Conditional Wasserstein Generative Adversarial Networks
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
我们提出了一种方法来恢复一个清晰的图像从模糊影响的图像使用Wasserstein生成对抗网络。由于该问题是病态的，以前的方法需要自然图像或同一场景的多个图像的先验。我们训练一个生成对抗网络，以学习清晰图像的概率分布，该概率分布以使用Wasserstein损失函数的受雾影响的图像为条件，使用梯度惩罚来执行Lipschitz约束。该方法是数据自适应的，端到端的，并且不需要进一步处理或调整参数。我们还结合使用基于纹理的损失度量和L1损失来改善结果，并表明我们的结果优于当前最先进的。
2019-03-01 cs.CV
Toward Joint Image Generation and Compression using Generative Adversarial Networks
University of California, San Diego（加利福尼亚大学圣迭戈分校）
在本文中，我们提出了一个生成对抗网络框架，它生成压缩图像，而不是合成原始RGB图像并单独压缩它们。在现实世界中，大多数图像和视频都以压缩格式存储和传输，以节省存储容量和数据传输带宽。然而，由于典型的生成对抗网络生成原始RGB图像，因此需要通过后处理阶段压缩这些生成的图像以减小数据大小。在图像压缩方法中，JPEG已经是用于静止图像的最常用的有损压缩方法之一。因此，我们提出了一种新的框架，使用生成对抗网络生成JPEG压缩图像。新的生成器由建议的局部连接层，色度子采样层，量化层，残差块，卷积层。提出局部连接层以实现基于块的操作。我们还讨论了所提出的架构，包括损失函数和它的生成器和它的子结构之间的转换的训练策略。该方法使用公开的CIFAR-10数据集和LSUN卧室数据集进行评估。实验结果表明，该方法能够产生具有竞争力的质量压缩数据。该方法是一个很有前途的基线方法，联合图像生成和压缩使用生成对抗网络。
2019-01-23 cs.CV
Lung image segmentation by generative adversarial networks
School of Applied Mathematics, Xiamen University of Technology（厦门理工学院应用数学学院）
肺部图像分割在肺部疾病的计算机辅助诊断和治疗中起着重要的作用。提出了一种基于生成对抗网络的肺部图像分割方法。我们采用了各种生成对抗网络，并利用其图像翻译能力来执行图像分割。采用生成对抗网络将原始肺部图像转换为分割图像。基于生成对抗网络的分割方法在真实肺部图像数据集上进行了测试。实验结果表明，该方法是有效的，优于最先进的方法。
2019-07-30 cs.CV eess.IV
Adversarial Attack Against Images Classification based on Generative Adversarial Networks
George Washington University（乔治华盛顿大学）
针对图像分类系统的安全问题，本文受生成对抗网络启发，提出一种新颖的对抗攻击方法，通过对抗学习生成小扰动对抗样本，在经典数据集上成功欺骗多种先进分类器并保持样本自然性，有效揭示了系统弱点以提升抗攻击能力。
2024-12-24 cs.AI cs.CV
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的，但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN，而不是一次训练GAN，提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段，如4x4和8x8训练相当快，后期阶段消耗大量的时间，可能需要几天才能完成模型训练。在我们的论文中，我们提出了一种新的流水线，结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像，这可以证明是一种有用的资源，可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
SSGAN: Secure Steganography Based on Generative Adversarial Networks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出了一种基于生成对抗网络的安全隐写策略，用于生成合适的、安全的隐写覆盖。所提出的架构有一个生成网络，和两个判别网络。生成式网络主要评估生成图像的视觉质量以用于隐写，而鉴别式网络则用于评估其是否适合信息隐藏。与采用深度卷积生成对抗网络的现有工作不同，我们利用另一种形式的生成对抗网络。通过使用这种新形式的生成对抗网络，在收敛速度、训练稳定性和图像质量方面都有了显著的改善。此外，一个复杂的隐写分析网络的鉴别网络，该网络可以更好地评估所生成的图像的性能。在公开数据集上进行了大量实验，以证明所提出的方法的有效性和鲁棒性。
2018-11-24 cs.CV cs.MM
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
Generative Adversarial Network for Handwritten Text
Zhejiang University（浙江大学）；Microsoft Cloud & AI（微软云与AI）
生成对抗网络（GANs）在图像处理的各种应用中已经证明是非常成功的。然而，由于卷积神经网络（CNN）难以处理连续的手写数据，手写生成对抗网络相对较少。在本文中，我们提出了一个手写生成对抗网络框架（HWGANs）合成手写笔画数据。新框架的主要特征包括：（i）一个由集成的CNN-长短期记忆（LSTM）为基础的特征提取与路径签名特征（PSF）作为输入和前馈神经网络（FNN）为基础的二进制分类器组成的分类器;（ii）一个循环潜在变量模型作为生成器，用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比，HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
LDDMM meets GANs: Generative Adversarial Networks for diffeomorphic registration
Aragon Institute on Engineering Research（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
这项工作的目的是促进深度学习方法的最新发展，以实现同构配准。提出了一种基于生成对抗网络的3D单峰图像对对抗学习LDDMM方法。该方法的灵感来自最近的文献与对抗学习的可变形图像配准。我们结合了LDDMM范式中最先进的生成性，歧视性和对抗性成分。我们已经成功地实现了两个模型的固定和EPDiff约束的非平稳参数化的同构。我们的无监督和数据饥饿的方法已经显示出相对于基准监督和丰富数据的方法具有竞争力的性能。此外，我们的方法已经显示出类似的结果，基于模型的方法的计算时间低于一秒。
2021-11-24 cs.CV eess.IV
Generative Adversarial Stacked Autoencoders
Coventry University（考文垂大学）；LatinX in AI
生成对抗网络（GANs）已成为图像生成任务的主导。他们的成功归功于训练制度，它采用了两种模式：一个发电机G和CNOD，在一个极小极大零和游戏的竞争。尽管如此，GANs由于其对超参数和参数初始化的敏感性而难以训练，这通常会导致梯度消失、不收敛或模式坍塌，其中生成器无法创建具有不同变化的样本。在这项工作中，我们提出了一种新的生成对抗堆叠卷积自动编码器（GASCA）模型和生成对抗逐步贪婪逐层学习算法设计训练对抗自动编码器在一个有效的和增量的方式。我们的训练方法产生的图像的重建误差比vanilla联合训练要低得多。
2020-11-22 cs.CV cs.LG
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
Lifelong Twin Generative Adversarial Networks
University of York（约克大学）
在本文中，我们提出了一种新的连续学习生成模型，称为终身孪生生成对抗网络（LT-GANs）。LT-GAN从多个数据库中学习一系列任务，其架构由三个组件组成：两个相同的生成器，即教师和助理，以及一个判别器。为了让LT-GAN学习新概念而不会忘记，我们引入了一种新的终身培训方法，即终身对抗性知识蒸馏（LAKD），它鼓励教师和助理在学习新数据库的同时相互交替教学。这种训练方法有利于将知识从一个更有知识的玩家转移到另一个对先前给定任务了解较少的玩家。
2021-07-09 cs.AI cs.CV
Personality-Driven Gaze Animation with Conditional Generative Adversarial Networks
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
我们提出了一种生成对抗学习方法来合成给定个性的凝视行为。我们使用现有的数据集对模型进行训练，该数据集包括42名参与者执行日常任务的眼动跟踪数据和个性特征。考虑到大五人格特质（开放性、外向性、宜人性和神经质）的值，我们的模型生成了由凝视目标、眨眼时间和瞳孔尺寸组成的时间序列数据。我们使用生成的数据来合成游戏引擎上的虚拟代理的注视运动。
2020-11-11 cs.CV cs.GR
Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks
Carleton University（卡尔顿大学）
我们提出了一种自动编码器生成对抗网络（GANs）的训练和评估方法，特别是边界平衡生成对抗网络（BEGAN），基于图像质量评估文献中的方法。我们的方法探讨了一个多维的评价标准，利用三个距离函数：一个$l_1$分数，梯度幅度相似性平均值（GMSM）分数，和色度分数。我们发现，每个不同的距离函数捕捉图像空间中的一组略有不同的属性，因此，需要自己的评估标准，以正确评估相关属性是否已经充分学习。我们证明了使用新距离函数的模型能够以预测的方式产生比原始BEGAN模型更好的图像。
2017-08-06 cs.CV cs.LG
A comparative study of attention mechanism and generative adversarial network in facade damage segmentation
Dresden University of Technology（德累斯顿工业大学）；Zhejiang University（浙江大学）；Changzhou Microintelligence Co., Ltd.（常州微智有限公司）
语义分割受益于深度学习，并已显示出其在处理现场检查图形数据方面的可能性。因此，应检测立面图像中的视觉损坏。注意力机制和生成对抗网络是提高语义分割质量的两种常用策略。针对这两种策略，本文采用具有代表性的卷积神经网络U-net作为主要网络，分两步进行了比较研究。首先，利用细胞图像分别确定具有注意力机制的U-网和生成对抗网络中最有效的网络。随后，从第一次测试中选择的网络及其组合应用于立面损伤分割，以研究这些网络的性能。此外，还发现并讨论了注意力机制和生成对抗网络的联合作用。
2022-09-27 cs.CV eess.IV
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Generative Adversarial Networks: recent developments
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Tooploox Ltd.（图普洛克斯有限公司）
在传统的生成式建模中，良好的数据表示通常是良好的机器学习模型的基础。它可以链接到编码更多隐藏在原始数据中的解释性因素的良好表示。随着生成对抗网络（GANs）的发明，生成模型的一个子类，能够以无监督和半监督的方式学习表示，我们现在能够从简单的先验分布到目标数据分布的良好映射。本文概述了GANs的最新发展，重点是学习潜在空间表示。
2019-03-16 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Non-Raytraced Global Illumination on Older GPU Hardware
University of the Witwatersrand（威特沃特斯兰德大学）
我们给出了不同的渲染方法的概述，我们证明了使用生成对抗网络（GAN）的全局光照（GI）提供了一个更高质量的渲染图像的光栅化图像。我们利用Pix2Pix架构，并指定用于从一组输入功能中模仿光线跟踪图像的超参数和方法。我们还证明了GANs的质量与光线跟踪图像的质量相当，但能够在一小部分时间内生成图像。
2021-10-22 cs.CV eess.IV
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
Multiple Generative Adversarial Networks Analysis for Predicting Photographers' Retouching
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
任何人都可以拍照，但并不是每个人都有能力修饰他们的照片，并获得接近专业的结果。由于不可能要求专家修改数千张图片，我们考虑教一个软件如何复制这些专家的工作。这项研究旨在探索使用深度学习方法的可能性，更具体地说，生成对抗网络（GANs），以模仿艺术家的修饰，并找到哪一个研究模型提供了最好的结果。
2020-06-03 cs.CV eess.IV
Measuring Performance of Generative Adversarial Networks on Devanagari Script
Vidyalankar Institute of Technology（维迪亚兰卡理工学院）；Birla Institute of Technology and Science（比尔拉理工学院）
神经网络遵循对抗哲学来创建生成模型是一个迷人的领域。多篇论文已经探索了架构方面，并提出了具有潜在良好结果的系统，但是，很少有论文在现实世界的示例中实现它。传统上，人们使用著名的MNIST数据集作为Hello，World！生成对抗网络（GAN）的实现。而不是去使用手写数字的标准路线，本文使用的梵文脚本，具有更复杂的结构。由于没有传统的方法来判断生成模型的性能如何，因此构建了三个额外的分类器来判断GAN模型的输出。下面的文件是对这一实施所取得的成就的解释。
2020-06-21 cs.CV eess.IV
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.（Preferred Networks 公司）
在本文中，我们提出了一个生成模型，时间生成对抗网络（TGAN），它可以学习未标记视频的语义表示，并能够生成视频。与现有的基于生成对抗网络（GAN）的方法不同，这些方法使用由3D去卷积层组成的单个生成器生成视频，我们的模型利用了两种不同类型的生成器：时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量，每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题，我们采用了最近提出的Wasserstein GAN模型，并提出了一种新的方法，以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
Regularized Generative Adversarial Network
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一个框架，用于从不同于训练集的概率分布的概率分布生成样本。我们使用一个对抗过程，同时训练三个网络，一个生成器和两个判别器。我们将这种新模型称为正则化生成对抗网络（RegGAN）。我们在由灰度图像组成的合成数据集上评估RegGAN，并进一步表明它可以用于学习拓扑中的一些预先指定的概念（基本拓扑属性）。这项工作的动机是在艺术世界中使用生成方法时遇到的实际问题。
2021-02-09 cs.AI cs.CV cs.LG
Generative Adversarial Networks and Other Generative Models
Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
与CNN相比，生成网络在分类、分割或目标检测方面的目标和方法有着根本的不同。它们最初并不是一种图像分析工具，而是用来生成看起来自然的图像。对抗性训练范式已经被提出来稳定生成方法，并且已经被证明是非常成功的-尽管从第一次尝试开始就不是这样。本章对生成对抗网络（GANs）的动机进行了基本介绍，并通过抽象基本任务和工作机制，以及推导早期实用方法的困难，追溯了它们的成功之路。将显示更稳定的训练方法，以及收敛性差的典型迹象及其原因。虽然本章重点介绍用于图像生成和图像分析的GANs，但对抗训练范式本身并不特定于图像，也适用于图像分析中的任务。在将GANs与最近进入场景的进一步生成建模方法进行对比之前，图像语义分割和异常检测的架构示例将受到好评。这将允许对GANs的限制和好处进行上下文化的查看。
2022-07-08 cs.CV cs.LG eess.IV
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University（首尔大学）
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络（GAN）成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型，它揭示了具有多个生成器的图像的复杂结构，其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如，它可以在人脸数据集上训练后，使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的，没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性，通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
Training Generative Adversarial Networks Via Turing Test
School of Mathematics（数学学院）；Sun Yat-sen University（中山大学）
在这篇文章中，我们介绍了一种用于训练生成对抗网络（GANs）的新模式。我们不是最小化证据分布$\tilde{p}(x)$和生成分布$q(x)$的距离，而是最小化$\tilde{p}(x_r)q(x_f)$和$\tilde{p}(x_f)q(x_r)$的距离。这种对抗模式可以被解释为GANs中的图灵测试。它允许我们在训练生成器的过程中使用真实样本的信息，加快了整个训练过程。我们甚至发现，只要按比例增加矩阵和生成器的大小，它就可以在256x256分辨率上成功，而无需仔细调整超参数。
2018-10-27 cs.CV cs.LG stat.ML
Megapixel Size Image Creation using Generative Adversarial Networks
Happy Finish Ltd.（Happy Finish有限公司）
自出现以来，生成对抗网络（GANs）在AI社区中引起了很大的兴趣。在图像生成方面，有几个项目展示了GANs如何能够生成逼真的图像，但到目前为止，结果看起来还不足以满足视觉媒体制作行业的质量标准。我们提出了一种基于深度卷积生成对抗网络（DCGAN）的优化图像生成过程，以创建逼真的高分辨率图像（高达1024x1024像素）。此外，该系统提供了有限的图像数据集，不到两千张图像。所有这些结果为GANs在计算机图形学和视觉效果领域的进一步开发提供了更多的线索。
2017-05-31 cs.CV cs.GR cs.LG
StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
虽然生成对抗网络（GANs）在各种任务中取得了显着的成功，但它们在生成高质量图像方面仍然面临挑战。在本文中，我们提出了堆叠生成对抗网络（StackGAN），旨在生成高分辨率的照片般逼真的图像。首先，我们提出了一个两阶段的生成对抗网络架构StackGAN-v1，用于文本到图像的合成。第一阶段GAN根据给定的文本描述绘制对象的原始形状和颜色，产生低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。其次，提出了一种先进的多阶段生成对抗网络架构StackGAN-v2，用于条件和无条件生成任务。我们的StackGAN-v2由树状结构的多个生成器和鉴别器组成;对应于同一场景的多个尺度的图像是从树的不同分支生成的。StackGAN-v2通过联合逼近多个分布，显示出比StackGAN-v1更稳定的训练行为。大量的实验表明，所提出的堆叠生成对抗网络在生成照片般逼真的图像方面明显优于其他最先进的方法。
2018-06-28 cs.AI cs.CV stat.ML
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
人工智能中最有趣的挑战之一是训练条件生成器，这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中，提出了一种新的框架，通过将分类器与鉴别器并行放置来训练深度条件生成器，并通过生成器网络反向传播分类误差。该方法是通用的，适用于生成对抗网络（GAN）实现的任何变化，并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
An attempt to generate new bridge types from latent space of generative adversarial network
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd（万世先见数智交通科技有限公司）
本研究利用生成对抗网络，基于Python、TensorFlow和Keras框架及四种对称结构桥梁图像数据集，通过低维潜在空间采样生成具有不对称结构的新桥型，展现了生成式AI的原创能力与启发潜力。
2024-01-01 cs.AI cs.CV cs.LG
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建，当前的防御方法主要集中在防范这种类型的攻击。在本文中，我们提出了无限制的对抗性示例，这是一种新的威胁模型，其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同，我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说，我们首先训练一个辅助分类器生成对抗网络（AC-GAN）来对数据样本上的类条件分布进行建模。然后，以所需类别为条件，我们在AC-GAN潜在空间中搜索，以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明，以这种方式生成的不受限制的对抗性示例是合法的，并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明，不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
Sinogram Enhancement with Generative Adversarial Networks using Shape Priors
University of Southampton（南安普顿大学）
通过从计算模型中推断测量值来补偿稀缺的测量值是解决不适定逆问题的一种方法。我们通过使用生成模型和有关扫描对象的先验知识完成一组采集来解决有限角度断层扫描。使用生成对抗网络作为模型，计算机辅助设计数据作为形状先验，我们证明了我们的技术比其他最先进的方法具有定量和定性的优势。推断大量的连续缺失测量，我们提供了一种替代其他图像修复技术，未能提供一个令人满意的答案，我们的研究问题：可以减少X射线曝光使用生成模型来推断缺乏测量？
2022-02-01 cs.CV cs.LG eess.IV
Unsupervised Projection Networks for Generative Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们建议使用无监督学习来训练投影网络，投影到已经训练好的生成器的潜在空间上。我们将我们的方法应用于经过训练的StyleGAN，并使用我们的投影网络来执行图像超分辨率和图像聚类到语义可识别的组中。
2019-10-06 cs.CV cs.LG eess.IV
Predicting Novel Views Using Generative Adversarial Query Network
University of Oulu（奥卢大学）；Tampere University（坦佩雷大学）
使用任意数量的观测来预测场景的新视图的问题对于计算机和人类来说都是一个具有挑战性的问题。本文介绍了生成对抗查询网络（GAQN），一个通用的学习框架，新的视图合成，结合生成查询网络（GQN）和生成对抗网络（GANs）。传统的GQN将输入视图编码为潜在表示，该潜在表示用于通过递归变分解码器生成新视图。建议GAQN建立在这项工作的基础上，增加了两个新的方面：首先，我们扩展了目前的GQN架构与对抗损失函数，以提高视觉质量和收敛速度。其次，我们引入了一个特征匹配的损失函数来稳定训练过程。实验表明，GAQN是能够产生高质量的结果和更快的收敛速度相比，传统的方法。
2019-04-10 cs.AI cs.CV cs.GR
Synthesizing Unrestricted False Positive Adversarial Objects Using Generative Models
ETH Zurich（苏黎世联邦理工学院）；ABB Future Labs（ABB未来实验室）
对抗性示例是被神经网络错误分类的数据点。最初，对抗性示例仅限于向给定图像添加小扰动。最近的工作引入了无限制对抗示例的广义概念，对添加的扰动没有限制。在本文中，我们介绍了一种新的攻击类别，它可以为目标检测创建不受限制的对抗性示例。我们的关键思想是生成与目标对象检测器识别的类无关的对抗对象。与以前的攻击不同，我们使用现成的生成对抗网络（GAN），不需要任何进一步的训练或修改。我们的方法包括搜索潜在的正常空间的GAN的敌对对象被错误地识别的目标对象检测器。我们在常用的Faster R-CNN ResNet-101，Inception v2和SSD Mobilenet v1对象检测器上使用在CIFAR-10上训练的徽标生成iWGAN-LC和SNGAN来评估这种方法。实验结果表明，生成的对抗对象与GANs生成的非对抗对象无法区分，在对象检测器之间可转移，并且在物理世界中具有鲁棒性。这是第一次研究用于目标检测的无限制假阳性对抗示例。
2020-05-19 cs.CR cs.CV cs.LG
Multi-Modality Image Inpainting using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，深度学习技术，特别是生成对抗网络（GANs），显著改善了图像修复和图像到图像的翻译任务。据我们所知，将图像修复任务与多模态图像到图像翻译相结合的问题仍然完好无损。在本文中，我们提出了一个模型来解决这个问题。该模型将结合夜间到日常的图像翻译和修复进行评估，以及有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于生成对抗网络（GAN）、对抗自动编码器及其变体的教程和调查论文。我们从解释对抗学习和普通GAN开始。然后，我们解释了条件GAN和DCGAN。介绍了模式崩溃问题，介绍了解决模式崩溃问题的各种方法，包括minibatch GAN、unrolled GAN、BourGAN、mixture GAN、D2 GAN和Wasserstein GAN。然后，解释了GAN中的最大似然估计以及f-GAN、对抗变分贝叶斯和贝叶斯GAN。然后，我们涵盖了GAN，InfoGAN，GRAN，LSGAN，基于能量的GAN，Cat GAN、MMD GAN、LapGAN、渐进式GAN、三重GAN、LAG、GMAN、Ada GAN、CoGAN、逆GAN、双GAN、ALI，SA GAN、Few-Shot GAN、SinGAN、以及GAN的插值和评价。然后，我们介绍了GAN的一些应用，如图像到图像的翻译（包括PatchGAN，CycleGAN，DeepFaceDrawing，模拟GAN，交互式GAN），文本到图像的翻译（包括StackGAN），以及混合图像特征（包括FineGAN和MixNMatch）。最后，我们解释了基于对抗学习的自动编码器，包括对抗自动编码器，PixelGAN和隐式自动编码器。
2021-11-26 cs.CV cs.LG eess.IV
A Novel Wasserstein Quaternion Generative Adversarial Network for Color Image Generation
本文提出一种基于四元数Wasserstein距离的新型生成对抗网络，用于提升彩色图像生成的效率和质量。
2025-12-09 cs.AI cs.CV cs.NA
Logo Generation Using Regional Features: A Faster R-CNN Approach to Generative Adversarial Networks
CitAI Research Center（CitAI研究中心）；University of London（伦敦大学）
在本文中，我们介绍了本地标志生成对抗网络（LL-GAN），它使用从Faster R-CNN中提取的区域特征来生成标志。我们展示了这种方法的优势，通过在一个风格丰富的小数据集上训练框架来生成新的重金属标志。LL-GAN实现了5.29的初始得分和223.94的Frechet初始距离，改进了最先进的模型StyleGAN 2和Self-Attention GAN。
2021-10-02 cs.AI cs.CV cs.GR
Ambient Hidden Space of Generative Adversarial Networks
Huawei Technologies Noah’s Ark Lab（华为技术诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
生成对抗模型是为各种任务在复杂分布中建模结构的强大工具。用于学习生成模型的当前技术需要访问具有高质量的样本，并且高级生成模型被应用于通过环境模块从噪声训练数据生成样本。然而，这些模仅对生成器的输出空间是实用的，它们在隐空间中的应用还没有得到很好的研究。本文将环境模块扩展到生成器的隐空间，并给出了对抗训练过程中环境隐生成器的唯一性条件和相应的策略。我们报告所提出的方法在基准数据集上的实用性。
2018-07-02 cs.AI cs.CV cs.LG
Introducing a Generative Adversarial Network Model for Lagrangian Trajectory Simulation
Illinois Institute of Technology（伊利诺伊理工学院）；Washington University in St. Louis（圣路易斯华盛顿大学）
我们引入了一个生成对抗网络（GAN）模型来模拟浮力对抗火焰回流区中粒子的三维拉格朗日运动。GAN模型包括用作生成器的随机递归神经网络和用作卷积器的卷积神经网络。对抗性训练进行到这样的程度，即最好的训练生成器无法区分地面真相和最好的训练生成器产生的轨迹。然后，根据对模拟轨迹和地面实况进行的统计分析，对模型性能进行基准测试，以确定准确性和泛化标准。
2019-01-13 cs.CV cs.LG physics.data-an
Adversarial Generative Grammars for Human Activity Prediction
Robotics at Google（谷歌机器人部门）；Stony Brook University（石溪大学）
在本文中，我们提出了一个用于未来预测的对抗生成语法模型。我们的目标是学习一个明确捕捉时间依赖关系的模型，提供预测多个不同未来活动的能力。我们的对抗语法的设计，使它可以学习随机产生式规则的数据分布，连同其潜在的非终端表示。能够在推理过程中选择多个产生式规则导致不同的预测结果，从而有效地建模许多可能的未来。对抗生成语法在Charades、MultiTHUMOS、Human3.6M和50 Salads数据集上进行评估，并在两个活动预测任务上进行评估：未来3D人体姿势预测和未来活动预测。所提出的对抗语法优于最先进的方法，能够比以前的工作更准确地预测未来。
2020-08-14 cs.CV
Robustness-via-Synthesis: Robust Training with Generative Adversarial Perturbations
LENS Inc.（LENS公司）
在发现对抗攻击后，鲁棒模型已成为基于深度学习的系统的必需品。到目前为止，一阶攻击的对抗性训练一直是对抗性扰动最有效的防御之一。大多数对抗性训练方法都集中在用损失函数相对于输入图像的梯度迭代地扰动每个像素。然而，基于梯度攻击的对抗训练缺乏多样性，并且不能很好地推广到自然图像和各种攻击。本研究提出一个强健的训练演算法，其中对抗性扰动是使用一个产生器网路从一个随机向量自动合成。分类器是用交叉熵损失进行训练的，交叉熵损失是用自然和合成对抗样本的表示之间的最佳传输距离进行正则化的。与目前流行的生成式防御不同，所提出的一步攻击生成框架在不利用分类器损失梯度的情况下合成了不同的扰动。实验结果表明，所提出的方法达到了相当的鲁棒性与各种基于梯度和生成鲁棒训练技术CIFAR 10，CIFAR 100，SVHN数据集。此外，与基线相比，所提出的鲁棒训练框架可以很好地推广到自然样本。代码和经过训练的模型将公开提供。
2021-08-22 cs.CV
Pre-trained Multiple Latent Variable Generative Models are good defenders against Adversarial Attacks
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genoa（热那亚大学）；University of Verona（维罗纳大学）
提出将预训练多潜变量生成模型 MLVGM 用于无需训练的对抗净化，通过多潜变量解耦并保留类别信息、重采样含噪细节，证明小模型即可媲美传统方法并可作为基础模型。
2024-12-04 cs.CV
