Deep generative models as an adversarial attack strategy for tabular machine learning
University of Luxembourg（卢森堡大学）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文针对表格机器学习，将四种流行深度生成模型改编为对抗性版本，用于生成符合领域约束的真实对抗样本，以测试系统鲁棒性。
2024-09-19 cs.AI cs.LG
Generative Model Adversarial Training for Deep Compressed Sensing
University of Central Florida（中佛罗里达大学）
深度压缩感知假设数据在潜在空间中具有稀疏表示，即，它本质上是低维。原始数据被假设为通过低维到高维的生成器从低维空间映射。在这项工作中，我们提出了如何设计这样一个低到高维的基于深度学习的生成器适合压缩感知，同时满足鲁棒性普遍对抗扰动的潜在域。我们还证明了为什么噪音被认为是在潜在的空间。这项工作也支持与理论分析的鲁棒性训练的发电机对抗扰动。在真实数据集上的实验证实了所提出的\emph{generative model adversarial training for deep compressed sensing.}的有效性
2021-06-20 cs.LG eess.IV
Learning Universal Adversarial Perturbations with Generative Models
University College London（伦敦大学学院）
众所周知，神经网络容易受到对抗性示例的影响，这些示例是故意扰动的输入，以保持与源输入在视觉上相似，但会导致错误分类。最近的研究表明，给定一个数据集和分类器，存在所谓的通用对抗扰动，即当应用于任何输入时都会导致错误分类的单一扰动。在这项工作中，我们引入了通用对抗网络，这是一种生成网络，当它生成的输出被添加到数据集中的干净样本时，它能够欺骗目标分类器。我们表明，这种技术改进了已知的通用对抗攻击。
2018-01-05 cs.CR cs.LG stat.ML
Generative Adversarial Training Can Improve Neural Language Models
University of Tehran（德黑兰大学）
虽然递归神经网络（RNN）形式的深度学习已经在神经语言建模方面取得了显着的进步，但它们非常容易过拟合的事实仍然是一个主要未解决的问题。在本文中，我们提出了一种基于生成对抗网络（GANs）和对抗训练（AT）的正则化方法，可以防止神经语言模型中的过拟合。与常见的对抗性训练方法不同，例如快速梯度符号法（FGSM）需要通过时间进行第二次反向传播，因此实际上需要至少两倍于常规训练的时间，我们方法的开销不超过基线训练的20%。
2022-11-02 cs.CL cs.LG
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Enabling Fast and Universal Audio Adversarial Attack Using Generative Model
Rutgers University（罗格斯大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
近年来，基于DNN的音频系统对抗性攻击的脆弱性得到了越来越多的关注。然而，现有的音频对抗性攻击允许对手拥有整个用户的音频输入，并给予足够的时间预算来生成对抗性扰动。然而，这些理想化的假设使得现有的音频对抗性攻击在实践中几乎不可能及时发起（例如，与用户的流输入一起播放不明显的对抗性扰动）。为了克服这些限制，在本文中，我们提出了快速音频对抗扰动生成器（FAPG），它使用生成模型在单个前向传递中为音频输入生成对抗扰动，从而大大提高扰动生成速度。在FAPG的基础上，我们进一步提出了通用音频对抗扰动生成器（UAPG），这是一种制作通用对抗扰动的方案，可以对任意良性音频输入施加扰动以引起错误分类。大量的实验表明，我们提出的FAPG可以实现高达167倍的加速比最先进的音频对抗攻击方法。此外，我们提出的UAPG可以产生通用的对抗扰动，实现更好的攻击性能比最先进的解决方案。
2021-02-07 cs.LG cs.SD eess.AS
Robotic and Generative Adversarial Attacks in Offline Writer-independent Signature Verification
Nottingham Trent University（诺丁汉特伦特大学）
本研究探讨如何机器人和生成方法可以用来安装成功的虚假接受对抗攻击签名验证系统。最初，探索和调整了卷积神经网络拓扑结构和数据增强策略，为2,640个人类签名的验证产生了87.12%的准确率模型。然后，两个机器人的任务是伪造50个签名，其中25个用于验证攻击，其余25个用于调整模型以抵御它们。对系统的对抗攻击表明存在信息安全风险; Line-us机器人手臂可以在24%的时间内欺骗系统，iDraw 2.0机器人可以在32%的时间内欺骗系统。一个有条件的GAN发现了类似的成功，大约30%的伪造签名被误分类为真实签名。在对机器人和生成数据进行微调迁移学习之后，机器人和GAN都将对抗攻击降低到模型阈值以下。据观察，调整模型可以将机器人攻击的风险降低到8%和12%，当呈现25张图像时，条件生成对抗攻击可以降低到4%，当呈现1000张图像时，可以降低到5%。
2022-04-14 cs.CV cs.LG cs.RO
Modeling documents with Generative Adversarial Networks
Aylien Ltd.（Aylien有限公司）
本文描述了一种使用生成对抗网络来学习自然语言文档的分布式表示的方法。我们提出了一个模型，该模型是基于最近提出的基于能量的GAN，而是使用一个去噪自动编码器作为网络。文档表示提取的隐藏层中的隐藏层和定量和定性的评价。
2016-12-29 cs.LG
NIPS 2016 Tutorial: Generative Adversarial Networks
OpenAI
本报告总结了作者在NIPS 2016上介绍的关于生成对抗网络（GANs）的教程。该教程介绍：（1）为什么生成建模是一个值得研究的话题，（2）生成模型如何工作，以及GANs与其他生成模型的比较，（3）GANs如何工作的细节，（4）GANs的研究前沿，以及（5）将GANs与其他方法相结合的最先进的图像模型。最后，本教程包含三个练习供读者完成，以及这些练习的解决方案。
2017-04-03 cs.LG
ClueGAIN: Application of Transfer Learning On Generative Adversarial Imputation Nets (GAIN)
许多研究试图使用各种方法来解决缺失数据的问题。其中，生成对抗插补网络（GAIN）首次被用于生成对抗网络（GAN）的数据插补，并取得了良好的效果。随后的研究试图结合各种方法来解决其局限性。本研究首先提出了基于遗传算法的GAIN算法，将迁移学习引入GAIN算法，解决了在高缺失率数据集下插补性能差的问题。ClueGAIN还可用于测量数据集之间的相似性，以探索它们的潜在联系。
2023-02-06 cs.LG
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen（图宾根马普研究所）；Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
变分自编码器（VAE）是一种表达性的潜变量模型，可用于从训练数据中学习复杂的概率分布。然而，最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯（AVB），一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标，该网络允许将最大似然问题重新表述为两人游戏，从而在VAE和生成对抗网络（GANs）之间建立原则性联系。我们表明，在非参数限制，我们的方法产生一个确切的最大似然分配的生成模型的参数，以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反，我们的方法具有明确的理论依据，保留了标准变分自编码器的大多数优点，并且易于实现。
2018-06-11 cs.LG
A Non-Adversarial Approach to Idempotent Generative Modelling
KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）
针对IGNs因对抗性目标导致的模式崩溃与训练不稳定问题，提出NAIGNs，通过结合重构与IMLE的非对抗性生成目标，提升了数据恢复与生成能力，并隐式学习数据流形距离场。
2025-11-04 cs.LG
Distributed Generative Adversarial Net
近年来，生成对抗网络成为研究的热点。考虑到GAN在多用户环境中的应用，本文提出了分布式GAN。它使多个用户能够在本地使用自己的数据进行训练，并生成更多样化的样本。用户不需要相互分享数据，以避免隐私泄露。近年来，商业公司纷纷推出基于人工智能的云平台，为缺乏计算能力的用户提供模型。我们希望我们的工作能够激励这些公司提供更强大的人工智能服务。
2019-11-19 cs.LG
Modeling urbanization patterns with generative adversarial networks
Massachusetts Institute of Technology（麻省理工学院）；Lawrence Berkeley National Laboratory (LBNL)（劳伦斯伯克利国家实验室）；German Aerospace Center (DLR)（德国航空航天中心）；Philips Research U.S.A.（飞利浦美国研究院）；University of California, Berkeley（加州大学伯克利分校）
在这项研究中，我们提出了一种新的方法来模拟超现实的城市模式，使用生成对抗网络训练与全球城市土地利用清单。我们生成了一个合成的城市“宇宙”，它在质量上再现了在全球城市模式中观察到的复杂空间组织，同时能够定量地恢复某些关键的高层次城市空间指标。
2018-01-08 cs.LG
Imputation of Missing Data with Class Imbalance using Conditional Generative Adversarial Networks
缺失数据是现实世界数据集面临的一个常见问题。插补是一种广泛使用的估计缺失数据的技术。最先进的插补方法，如生成对抗插补网络（GAIN），对观察数据的分布进行建模，以近似缺失值。这种方法通常为整个数据集建模单个分布，忽略了数据的类特定特征。当存在类不平衡时，类特定的特征特别有用。我们提出了一种新的方法，通过适应流行的条件生成对抗网络（CGAN）的基础上，其类特定的特征，填补缺失数据。我们的条件生成对抗插补网络（CGAIN）使用特定于类的分布来插补缺失数据，这可以为缺失值产生最佳估计。我们在基准数据集上测试了我们的方法，并与最先进和流行的插补方法相比，取得了优异的性能。
2020-12-01 cs.LG
Permutation Equivariant Generative Adversarial Networks for Graphs
University of Geneva（日内瓦大学）
图生成建模中讨论最多的问题之一是表示的排序。一种解决方案包括使用等变生成函数，这确保了排序不变性。在讨论了这些函数的一些性质之后，我们提出了3G-GAN，一个依赖于GANs和等变函数的3阶段模型。该模型仍在开发中。然而，我们提出了一些令人鼓舞的探索性实验，并讨论了仍有待解决的问题。
2021-12-07 cs.LG
Style Transfer Generative Adversarial Networks: Learning to Play Chess Differently
University of Virginia（弗吉尼亚大学）
风格转移的概念在很大程度上只在基于图像的任务中被探索过，我们将其部分归因于用于风格转移的损失函数的特定性质。我们提出了一个通用的公式的风格转移作为生成对抗网络的扩展，通过使用一个正则化的生成器，否则单独的损失函数。我们将我们的方法应用于学习以特定玩家的风格下国际象棋的任务，并为我们的方法的可行性提供经验证据。
2017-05-07 cs.LG
ECG-Adv-GAN: Detecting ECG Adversarial Examples with Conditional Generative Adversarial Networks
University of Nevada, Reno（内华达大学雷诺分校）；Deakin University（迪肯大学）
心电图（ECG）采集需要一个自动化系统和分析管道，以了解特定的心律失常。深度神经网络已经成为追踪ECG信号的流行技术，其性能超过了人类专家。尽管如此，卷积神经网络容易受到对抗性样本的影响，这些样本可能会对ECG信号进行错误分类，并降低模型的精度。此外，它们在分布外数据集上的推广效果不好。GAN架构已在最近的工作中被用于合成对抗性ECG信号以增加现有的训练数据。然而，他们使用一个脱节的基于CNN的分类架构来检测心律失常。到目前为止，还没有提出可以同时检测对抗性样本和分类心律失常的通用架构。为了缓解这一问题，我们提出了一种新的条件生成对抗网络，以同时生成不同类别的ECG信号并检测心脏异常。此外，该模型以特定类别的ECG信号为条件，以合成现实的对抗性示例。因此，我们比较了我们的架构，并通过对真实世界和对抗性信号进行基准测试，展示了它在正常/异常ECG信号检测中优于其他分类模型。
2021-10-19 cs.LG
Stabilizing Generative Adversarial Networks: A Survey
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
生成对抗网络（GANs）是一种生成模型，由于其对复杂现实世界数据建模的能力而受到广泛关注。尽管最近取得了成功，但训练GANs的过程仍然具有挑战性，存在不稳定性问题，如不收敛，梯度消失或爆炸，以及模式坍塌。近年来，已经提出了一组不同的方法，这些方法集中于稳定GAN训练过程。本调查的目的是提供一个全面的概述GAN训练稳定的方法，可以在文献中找到。我们讨论了每种方法的优点和缺点，提供了一个比较总结，最后讨论了开放的问题。
2020-03-24 cs.LG
Calibrating Energy-based Generative Adversarial Networks
Carnegie Mellon University（卡内基梅隆大学）；Maluuba Research（Maluuba研究院）；Université de Montréal（蒙特利尔大学）
在本文中，我们提出了一种新的生成对抗网络（生成对抗网络），使其具有直接估计样本能量的能力，并提出了一种灵活的对抗训练框架，证明了该框架不仅能保证生成器收敛到真实的数据分布，而且能使生成器保持全局最优的密度信息。导出了诱导解的解析形式，并分析了其性质。为了使所提出的框架在实践中可训练，我们引入了两个有效的近似技术。实验结果与理论分析吻合较好，验证了该算法能够有效地恢复数据分布的能量。
2017-02-24 cs.LG
Selective Sampling and Mixture Models in Generative Adversarial Networks
University of Stuttgart（斯图加特大学）
在本文中，我们提出了对抗训练框架的多生成器扩展，其中每个生成器的目标是表示目标混合分布的唯一分量。在训练阶段，生成器合作以将目标分布表示为混合物，同时保持不同的流形。与传统的生成模型相反，在训练后从特定生成器进行的推断类似于从目标分布中的唯一分量进行的选择性采样。我们证明了所提出的架构的可行性分析和基本的多层感知器（MLP）模型上训练的MNIST数据集。
2018-02-02 cs.LG
Quantum generative adversarial networks
Xanadu
量子机器学习有望成为近期量子设备的首批潜在通用应用之一。经典机器学习最近的一个重大突破是生成对抗训练的概念，其中一个训练模型的梯度被用来训练一个单独的生成模型。在这项工作和一篇配套论文中，我们将对抗训练扩展到量子领域，并展示了如何使用量子线路构建生成对抗网络。此外，我们还展示了如何使用另一个量子线路计算梯度-生成对抗网络训练中的关键要素。我们给出了一个简单的实用电路模型的例子来参数化量子机器学习模型，并进行了一个简单的数值实验来证明量子生成对抗网络可以成功训练。
2018-04-30 cs.LG quant-ph
Synthesizing Tabular Data using Generative Adversarial Networks
MIT（麻省理工学院）
生成对抗网络（GANs）隐式地学习数据集的概率分布，并可以从分布中提取样本。本文提出了表格式GAN（TGAN），这是一种生成对抗网络，可以生成医疗或教育记录等表格数据。利用深度神经网络的强大功能，TGAN生成高质量的全合成表，同时生成离散和连续变量。当我们在三个数据集上评估我们的模型时，我们发现TGAN在捕获列之间的相关性和扩大大型数据集方面都优于传统的统计生成模型。
2018-11-27 cs.LG stat.ML
CapsuleGAN: Generative Adversarial Capsule Network
USC Information Sciences Institute（南加州大学信息科学研究所）
我们提出了生成对抗胶囊网络（Capsule GAN），这是一个框架，它使用胶囊网络（CapsNets）而不是标准卷积神经网络（CNN）作为生成对抗网络（GAN）设置中的鉴别器，同时对图像数据进行建模。我们提供了设计CapsNet鉴别器和更新的GAN目标函数的指南，该目标函数包含CapsNet边际损失，用于训练Capsule GAN模型。我们表明，CapsuleGAN在MNIST和CIFAR-10数据集上建模图像数据分布方面优于卷积GAN，在生成对抗度量和半监督图像分类方面进行了评估。
2018-10-02 cs.LG stat.ML
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来，深度神经网络在各个领域都取得了重大进展和成功应用，但发现它们容易受到攻击实例的攻击，例如，敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器，但对人的影响很小。因此，这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发，本文提出了两种新的生成模型，采用条件生成对抗网络，设计了不同的训练策略，直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比，该模型可以降低生成成本，提高鲁棒性，并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Autoencoding Generative Adversarial Networks
Flatland Data Solutions（Flatland数据解决方案公司）
自从Goodfellow等人引入生成对抗网络（GANs）以来，生成模型应用的广度和质量都出现了爆炸式增长。尽管做了这些工作，但GANs在主流采用之前还有很长的路要走，这主要是因为它们臭名昭著的训练不稳定性。在这里，我提出了自动编码生成对抗网络（AEGAN），这是一个四网络模型，它通过对生成的图像和生成的潜在向量应用对抗损失和重建损失来学习指定潜在空间和给定样本空间之间的双射映射。AEGAN技术对典型的GAN训练提供了若干改进，包括训练稳定性、模式崩溃预防以及允许在真实样本之间直接插值。该技术的有效性说明使用动漫人脸数据集。
2020-04-11 cs.LG stat.ML
Unsupervised Anomaly Detection and Localization with Generative Adversarial Networks
Nokia Bell Labs（诺基亚贝尔实验室）；Nokia（诺基亚）
本文提出一种基于生成对抗网络和SOP频谱图的无监督异常检测方法，在海底和陆地光纤链路数据集上实现超过97%的准确率，无需标记数据。
2024-09-05 cs.LG eess.SP
Composite Functional Gradient Learning of Generative Adversarial Models
RJ Research Consulting（RJ研究咨询公司）；Tencent AI Lab（腾讯人工智能实验室）
本文首先提出了一种不依赖于传统极大极小公式的生成对抗方法理论。它表明，利用强的梯度，可以学习好的生成器，使得真实数据和生成数据的分布之间的库尔贝克-莱布勒散度在每个函数梯度步骤之后改善，直到它收敛到零。在此基础上，提出了一种新的稳定的生成式对抗方法。从这个新的角度对原始的GAN也提供了一个理论上的见解。图像生成实验表明了该方法的有效性。
2018-06-08 cs.LG stat.ML
Generative Adversarial Parallelization
AIFounded Inc.（AIFounded公司）；University of Guelph（圭尔夫大学）
生成对抗网络由于其直观的表述方式，已经成为无监督学习研究最多的框架之一。它们也被证明能够在有限的领域（如低分辨率图像）中生成令人信服的示例。然而，他们仍然证明很难在实践中训练，并往往忽视数据生成分布的模式。量化捕获效果，如模式覆盖率和更一般的生成模型的质量仍然难以捉摸。我们提出了生成式对抗神经元化，这是一个框架，在这个框架中，许多GANs或它们的变体同时被训练，交换它们的判别器。这消除了发生器和振荡器之间的紧密耦合，从而改善了收敛性和模式覆盖范围。我们还提出了最近提出的生成对抗度量的改进变体，并展示了它如何在GAP模型下对单个GANs或其集合进行评分。
2016-12-13 cs.LG stat.ML
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
Labeled Graph Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
\emph{generative adversarial networks}（GANs）作为一种新的生成模型训练方法，在图像生成方面取得了巨大的成功。这个框架最近也被应用于具有图形结构的数据。我们提出了标记图生成对抗网络（LGGAN）来训练具有节点标签的图结构数据的深度生成模型。我们在各种类型的图形数据集上测试了该方法，例如引文网络和蛋白质图的集合。实验结果表明，该模型能够生成与训练数据结构特征相匹配的标记图，在质量和通用性上优于其他方法。为了进一步评估生成的图的质量，我们将它们用于图分类的下游任务，结果表明LGGAN可以忠实地捕获图结构的重要方面。
2021-02-25 cs.LG stat.ML
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN
Seoul National University（首尔国立大学）
本文提出利用生成对抗网络交替训练生成器和分类器，以增强神经网络对对抗扰动的鲁棒性，并在CIFAR数据集上显著降低泛化误差，优于Dropout等正则化方法。
2023-07-04 cs.LG stat.ML
Generative Adversarial Network for Handwritten Text
Zhejiang University（浙江大学）；Microsoft Cloud & AI（微软云与AI）
生成对抗网络（GANs）在图像处理的各种应用中已经证明是非常成功的。然而，由于卷积神经网络（CNN）难以处理连续的手写数据，手写生成对抗网络相对较少。在本文中，我们提出了一个手写生成对抗网络框架（HWGANs）合成手写笔画数据。新框架的主要特征包括：（i）一个由集成的CNN-长短期记忆（LSTM）为基础的特征提取与路径签名特征（PSF）作为输入和前馈神经网络（FNN）为基础的二进制分类器组成的分类器;（ii）一个循环潜在变量模型作为生成器，用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比，HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
Generating protein sequences from antibiotic resistance genes data using Generative Adversarial Networks
SRM Institute of Science and Technology（SRM科学技术学院）
我们介绍了一种方法，以产生合成的蛋白质序列，预测是耐某些抗生素。我们使用6，023个基因，这些基因被预测在人类肠道的肠道区域对抗生素具有耐药性，并作为Wasserstein生成对抗网络（W-GAN）的输入对原始生成对抗模型的变体进行建模，该模型在模仿真实数据的分布时被认为是有效的，以便生成风格类似于作为训练数据输入的原始数据
2019-04-28 cs.LG q-bio.GN
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research（谷歌研究院）
我们研究生成对抗网络（GANs）中的欠拟合和过拟合，使用生成器看不到的鉴别器来测量泛化。我们发现，模型的容量的控制器有一个显着的影响，对发电机的模型质量，和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反，我们发现，相对于CIFAR10，CIFAR100和CelebA，具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
Comparative Study on Generative Adversarial Networks
University of Waterloo（滑铁卢大学）
近年来，机器学习领域取得了巨大的进步。这些进步是通过学术和工业研究取得的。近年来，在计算机视觉和图像分类领域，大量的研究致力于生成模型的使用。这些生成模型已经通过一个名为生成对抗网络的新框架得到推广。此外，在过去两年中，对这一框架提出了许多修改版本。我们研究了Goodfellow等人提出的原始模型以及对原始模型的修改，并对这些模型进行了比较分析。
2018-01-12 cs.AI cs.LG
Generative Adversarial Stacked Autoencoders
Coventry University（考文垂大学）；LatinX in AI
生成对抗网络（GANs）已成为图像生成任务的主导。他们的成功归功于训练制度，它采用了两种模式：一个发电机G和CNOD，在一个极小极大零和游戏的竞争。尽管如此，GANs由于其对超参数和参数初始化的敏感性而难以训练，这通常会导致梯度消失、不收敛或模式坍塌，其中生成器无法创建具有不同变化的样本。在这项工作中，我们提出了一种新的生成对抗堆叠卷积自动编码器（GASCA）模型和生成对抗逐步贪婪逐层学习算法设计训练对抗自动编码器在一个有效的和增量的方式。我们的训练方法产生的图像的重建误差比vanilla联合训练要低得多。
2020-11-22 cs.CV cs.LG
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
IVE-GAN: Invariant Encoding Generative Adversarial Networks
Bayer AG（拜耳公司）
生成对抗网络（GANs）是生成任务的强大框架。然而，它们难以训练，并且往往会错过真实数据生成过程的模式。虽然GANs可以在其潜在空间中学习数据的覆盖模式的丰富表示，但该框架错过了从数据到该潜在空间的逆映射。我们提出了不变编码生成对抗网络（IVE-GANs），这是一种新的GAN框架，它通过利用数据中对某些变换不变的特征，为数据中的单个样本引入了这种映射。由于模型将单个样本映射到潜在空间，因此它自然会鼓励生成器覆盖所有模式。我们证明了我们的方法在生成性能和学习丰富的表示几个数据集，包括常见的基准图像生成任务方面的有效性。
2017-11-23 cs.LG stat.ML
Generative Adversarial Stacked Autoencoders for Facial Pose Normalization and Emotion Recognition
Coventry University（考文垂大学）；American University of Beirut（贝鲁特美国大学）
在这项工作中，我们提出了一种新的生成对抗堆叠自动编码器，它可以学习将面部表情（最多正负60度）映射到0度的光照不变面部表示。我们通过使用一种新的卷积层来实现这一点，该卷积层利用了局部和全局空间信息，并且卷积层具有减少的参数，利用了面部对称性。此外，我们引入了一个生成对抗逐步贪婪逐层学习算法，旨在以高效和增量的方式训练对抗自动编码器。我们证明了我们的方法的效率和报告国家的最先进的性能在几个面部表情识别语料库，包括一个收集在野外。
2020-07-19 cs.CV cs.LG
Linking Generative Adversarial Learning and Binary Classification
在这篇文章中，我们指出了生成对抗（GA）训练和二进制分类之间的基本联系-任何强大的分类器本质上都会计算真实样本和生成样本之间的（f-）分歧。在决策理论中反复重新推导的结果对GA网络（GANs）具有影响，通过设计模糊损失函数，为训练f-GANs提供了另一种视角。
2017-09-05 cs.AI cs.LG stat.ML
Towards Principled Methods for Training Generative Adversarial Networks
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Facebook AI Research（Facebook人工智能研究院）
本文的目标不是介绍一种算法或方法，而是为全面理解生成对抗网络的训练动态提供理论基础。为了证实我们的理论分析，我们进行了有针对性的实验，以验证我们的假设，说明我们的主张，并量化的现象。本文共分为三个部分。第一部分介绍了当前的问题。第二部分致力于研究和严格证明生成对抗网络训练时出现的问题，包括不稳定性和饱和度。第三部分探讨了解决这些问题的实际和理论基础的方向，同时引入新的工具来研究它们。
2017-01-17 cs.LG stat.ML
Scalable Unbalanced Optimal Transport using Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GANs）是一类表现力很强的神经生成模型，在建模高维连续度量方面取得了巨大成功。在本文中，我们提出了一个可扩展的方法，不平衡的最佳运输（OT）的基础上生成的对抗框架。我们制定不平衡OT作为一个问题，同时学习的运输地图和缩放因子，推动源措施的目标措施，以成本最优的方式。此外，我们提出了一种基于随机交替梯度更新的算法来解决这个问题，在实践中类似于GANs。我们还为这种公式提供了理论依据，表明它与Liero等人（2018）的现有静态公式密切相关，并进行了数值实验，证明了这种方法如何应用于人口建模。
2019-08-04 cs.LG stat.ML
Generative adversarial networks for generation and classification of physical rehabilitation movement episodes
University of Idaho（爱达荷大学）
本文提出了一种方法，通过使用人工神经网络的物理治疗过程中进行的患者运动情节相关的人体运动的数学建模。采用生成对抗网络结构，由此以对抗方式同时训练判别模型和生成模型。不同的网络架构进行了检查，与歧视性和生成模型结构的深层子网络的隐藏层组成的卷积或循环计算单元。该模型进行了验证的数据集上的人体运动记录与光学运动跟踪器。结果表明，新的运动实例的分类的网络的能力，并生成类似于所记录的运动序列的运动示例。
2018-12-15 cs.LG stat.ML
Evolutionary Generative Adversarial Networks with Crossover Based Knowledge Distillation
Jilin University（吉林大学）
生成对抗网络（GAN）是一种对抗模型，它已被证明是有效的各种生成任务。然而，GAN及其变体也遭受许多训练问题，例如模式坍塌和梯度消失。在本文中，我们首先提出了一个通用的交叉算子，它可以广泛应用于GANs使用进化策略。在此基础上设计了一个进化GAN框架C-GAN，并将交叉算子与进化生成对抗网络（EGAN）相结合，实现了带交叉的进化生成对抗网络（CE-GAN）。在使用多种损失函数作为变异算子生成变异个体的前提下，对生成的样本进行评价，并允许变异个体以知识蒸馏的方式从输出中学习经验，模仿最佳输出结果，产生更好的后代。然后，我们选择了最好的后代作为父母，为后续的训练，使用神经网络作为评估器。在真实数据集上的实验证明了CE-GAN的有效性，并表明我们的方法在生成的图像质量和时间效率方面具有竞争力。
2021-07-19 cs.LG cs.NE
Anomaly Detection of Adversarial Examples using Class-conditional Generative Adversarial Networks
Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）已被证明容易受到测试时规避攻击（TTE或对抗性示例）的影响，这些攻击通过对输入进行微小的更改，改变DNN的决策。我们提出了一种基于类条件生成对抗网络（GANs）的DNN分类器的无监督攻击检测器。我们通过辅助分类器GAN（AC-GAN）对预测类标签条件下的干净数据的分布进行建模。给定测试样本及其预测类，基于AC-GAN生成器和鉴别器计算三个检测统计量。在各种TTE攻击下的图像分类数据集上的实验表明，该方法优于以往的检测方法。我们还研究了使用不同DNN层（输入特征或内部层特征）进行异常检测的有效性，并证明，正如人们所料，使用更接近DNN输出层的特征更难检测到异常。
2022-05-12 cs.LG eess.IV
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GAN）的生成器经过训练，可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的，但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间，并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
Semi-Supervised Learning with Generative Adversarial Networks
我们将生成对抗网络（GANs）扩展到半监督上下文，迫使生成对抗网络输出类标签。我们训练一个生成模型G和一个具有属于N个类之一的输入的数据集上的一个生成模型D。在训练时，D被用来预测输入属于N+1个类中的哪一个，其中添加额外的类以对应于G的输出。我们表明，这种方法可以用来创建一个更有效的数据分类器，它允许生成更高质量的样本比常规的GAN。
2016-10-22 cs.LG stat.ML
Intervention Generative Adversarial Networks
Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
在本文中，我们提出了一种新的方法来稳定生成对抗网络的训练过程，以及减轻模式崩溃问题。主要想法是在目标中引入一个正则化项，我们称之为干预损失。我们将由此产生的生成模型称为干预生成对抗网络（IVGAN）。通过用高斯不变干预扰动从辅助编码器网络获得的真实图像的潜在表示并惩罚所产生的生成图像的分布的不相似性，干预损失为生成器提供了更多的信息梯度，显著提高了GAN的训练稳定性。我们证明了我们的方法的有效性和效率，通过坚实的理论分析和标准的真实世界的数据集，以及堆栈MNIST数据集上的全面评估。
2020-08-09 cs.LG stat.ML
Wasserstein Generative Adversarial Networks for Online Test Generation for Cyber Physical Systems
Åbo Akademi University（奥博学术大学）
提出了一种基于Wasserstein生成对抗网络的在线测试生成算法WOGAN。WOGAN是一个通用的黑盒测试生成器，适用于任何具有用于确定失败测试的适应度函数的被测系统。作为概念证明，我们通过生成道路来评估WOGAN，使得汽车的车道辅助系统不能停留在指定车道上。我们发现，我们的算法具有竞争力的性能方面，以前公布的算法。
2022-05-23 cs.LG cs.SE
Adversarial examples for generative models
National University of Singapore（新加坡国立大学）；Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
我们探索了在深度生成模型（如变分自动编码器（VAE）和VAE-GAN）上生成对抗性示例的方法。众所周知，深度学习架构容易受到对抗性示例的影响，但以前的工作主要集中在对抗性示例在分类任务中的应用上。深度生成模型最近变得流行，因为它们能够对输入数据分布进行建模，并从这些分布中生成真实的示例。我们提出了三类对VAE和VAE-GAN架构的攻击，并针对在MNIST，SVHN和CelebA上训练的网络进行了演示。我们的第一次攻击通过将分类器附加到目标生成模型的训练编码器来利用基于分类的对手，然后可以使用该编码器间接操纵潜在表示。我们的第二次攻击直接使用VAE损失函数从对抗性示例中生成目标重建图像。我们的第三种攻击超越了依赖于梯度的分类或标准损失，并直接针对源和目标潜在表示的差异进行优化。我们还激发了为什么攻击者可能对针对目标生成网络部署此类技术感兴趣。
2017-02-22 cs.LG stat.ML
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
New Losses for Generative Adversarial Learning
生成对抗网络（Goodfellow等人，2014年），在生成建模领域的一个重大突破，学习一个估计目标和候选分布之间的距离。本文探讨了在这种情况下，生成模型的梯度计算方式的数学问题，特别是如何考虑到如何将梯度本身取决于发电机参数。提出了一种统一的方法来定义生成模型的数学上合理的训练目标，以稳健的方式考虑这种依赖性，包括GAN，VAE和一些GAN变体作为特定情况。
2018-07-26 cs.LG stat.ML
