Semi-blind source separation with multichannel variational autoencoder
NTT Communication Science Laboratories, NTT Corporation（NTT 公司 NTT 通信科学实验室）；University of Tsukuba（筑波大学）
本文提出了一种多通道源分离技术称为多通道变分自动编码器（MVAE）的方法，它使用一个条件的VAE（CVAE）的模型和估计的功率谱的混合源。通过使用具有源类别标签的训练示例的频谱图来训练CVAE，我们可以使用训练的解码器分布作为能够生成以指定类别标签为条件的频谱图的通用生成模型。通过将潜在空间变量和类别标签作为该生成模型的未知参数，我们可以开发一种保证收敛的半盲源分离算法，该算法包括迭代估计底层源的功率谱图以及分离矩阵。在实验评估中，我们的MVAE产生了更好的分离性能比基线方法。
2018-08-26 cs.LG stat.ML
Unsupervised Anomaly Detection and Localization with Generative Adversarial Networks
Nokia Bell Labs（诺基亚贝尔实验室）；Nokia（诺基亚）
本文提出一种基于生成对抗网络和SOP频谱图的无监督异常检测方法，在海底和陆地光纤链路数据集上实现超过97%的准确率，无需标记数据。
2024-09-05 cs.LG eess.SP
Unsupervised Feature Learning for Environmental Sound Classification Using Weighted Cycle-Consistent Generative Adversarial Network
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
在本文中，我们提出了一种新的环境声音分类方法，结合无监督的特征学习的码本通过球形$K$ -Means++算法和一个新的架构，高层次的数据增强。使用离散小波变换（DWT）将音频信号变换成2D表示。然后通过一种新的周期一致性生成对抗网络架构来增强DWT谱图。这种高级增强引导通过将结构特征从样本转换到样本来以类内和类间方式生成谱图。采用加速鲁棒特征检测器（SURF）和K-Means++算法对小波变换谱图进行编码，建立码书。随机森林是我们最终的学习算法，它从码本中的聚类码字中学习环境声音分类任务。在四个基准环境声音数据集（ESC-10，ESC-50，UrbanSound 8 k和DCASE-2017）中的实验结果表明，所提出的分类方法优于该范围内的最先进的分类器，包括高级和密集的卷积神经网络，如AlexNet和GoogLeNet，根据数据集的不同，分类率提高了3.51%至14.34%。
2019-11-25 cs.LG cs.SD eess.AS
Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency
Sony Europe B.V.（索尼欧洲有限公司）
近年来，基于生成对抗网络（GAN）的模型已经成功地应用于无监督语音到语音转换，而幅度谱图丰富紧凑的谐波视图被认为是用音频数据训练这些模型的合适选择。为了重建语音信号，首先由神经网络生成幅度谱图，然后由Griffin-Lim算法等方法利用该幅度谱图来重建相位谱图。该过程存在生成的幅度谱图可能不一致的问题，这是找到相位所需的，使得完整的谱图具有听起来自然的语音波形。在这项工作中，我们通过提出一个在对抗训练过程中鼓励谱图一致性的条件来解决这个问题。我们展示了我们的方法上的任务翻译的声音的男性发言者的女性发言者，反之亦然。我们的实验结果表明，与TF一致性训练的模型提供了一个更好的语音到语音转换的感知质量。
2020-05-19 cs.LG cs.SD eess.AS
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Synthesizing Tabular Data using Generative Adversarial Networks
MIT（麻省理工学院）
生成对抗网络（GANs）隐式地学习数据集的概率分布，并可以从分布中提取样本。本文提出了表格式GAN（TGAN），这是一种生成对抗网络，可以生成医疗或教育记录等表格数据。利用深度神经网络的强大功能，TGAN生成高质量的全合成表，同时生成离散和连续变量。当我们在三个数据集上评估我们的模型时，我们发现TGAN在捕获列之间的相关性和扩大大型数据集方面都优于传统的统计生成模型。
2018-11-27 cs.LG stat.ML
CapsuleGAN: Generative Adversarial Capsule Network
USC Information Sciences Institute（南加州大学信息科学研究所）
我们提出了生成对抗胶囊网络（Capsule GAN），这是一个框架，它使用胶囊网络（CapsNets）而不是标准卷积神经网络（CNN）作为生成对抗网络（GAN）设置中的鉴别器，同时对图像数据进行建模。我们提供了设计CapsNet鉴别器和更新的GAN目标函数的指南，该目标函数包含CapsNet边际损失，用于训练Capsule GAN模型。我们表明，CapsuleGAN在MNIST和CIFAR-10数据集上建模图像数据分布方面优于卷积GAN，在生成对抗度量和半监督图像分类方面进行了评估。
2018-10-02 cs.LG stat.ML
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来，深度神经网络在各个领域都取得了重大进展和成功应用，但发现它们容易受到攻击实例的攻击，例如，敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器，但对人的影响很小。因此，这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发，本文提出了两种新的生成模型，采用条件生成对抗网络，设计了不同的训练策略，直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比，该模型可以降低生成成本，提高鲁棒性，并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
Autoencoding Generative Adversarial Networks
Flatland Data Solutions（Flatland数据解决方案公司）
自从Goodfellow等人引入生成对抗网络（GANs）以来，生成模型应用的广度和质量都出现了爆炸式增长。尽管做了这些工作，但GANs在主流采用之前还有很长的路要走，这主要是因为它们臭名昭著的训练不稳定性。在这里，我提出了自动编码生成对抗网络（AEGAN），这是一个四网络模型，它通过对生成的图像和生成的潜在向量应用对抗损失和重建损失来学习指定潜在空间和给定样本空间之间的双射映射。AEGAN技术对典型的GAN训练提供了若干改进，包括训练稳定性、模式崩溃预防以及允许在真实样本之间直接插值。该技术的有效性说明使用动漫人脸数据集。
2020-04-11 cs.LG stat.ML
Composite Functional Gradient Learning of Generative Adversarial Models
RJ Research Consulting（RJ研究咨询公司）；Tencent AI Lab（腾讯人工智能实验室）
本文首先提出了一种不依赖于传统极大极小公式的生成对抗方法理论。它表明，利用强的梯度，可以学习好的生成器，使得真实数据和生成数据的分布之间的库尔贝克-莱布勒散度在每个函数梯度步骤之后改善，直到它收敛到零。在此基础上，提出了一种新的稳定的生成式对抗方法。从这个新的角度对原始的GAN也提供了一个理论上的见解。图像生成实验表明了该方法的有效性。
2018-06-08 cs.LG stat.ML
Generative Adversarial Parallelization
AIFounded Inc.（AIFounded公司）；University of Guelph（圭尔夫大学）
生成对抗网络由于其直观的表述方式，已经成为无监督学习研究最多的框架之一。它们也被证明能够在有限的领域（如低分辨率图像）中生成令人信服的示例。然而，他们仍然证明很难在实践中训练，并往往忽视数据生成分布的模式。量化捕获效果，如模式覆盖率和更一般的生成模型的质量仍然难以捉摸。我们提出了生成式对抗神经元化，这是一个框架，在这个框架中，许多GANs或它们的变体同时被训练，交换它们的判别器。这消除了发生器和振荡器之间的紧密耦合，从而改善了收敛性和模式覆盖范围。我们还提出了最近提出的生成对抗度量的改进变体，并展示了它如何在GAP模型下对单个GANs或其集合进行评分。
2016-12-13 cs.LG stat.ML
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
Labeled Graph Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
\emph{generative adversarial networks}（GANs）作为一种新的生成模型训练方法，在图像生成方面取得了巨大的成功。这个框架最近也被应用于具有图形结构的数据。我们提出了标记图生成对抗网络（LGGAN）来训练具有节点标签的图结构数据的深度生成模型。我们在各种类型的图形数据集上测试了该方法，例如引文网络和蛋白质图的集合。实验结果表明，该模型能够生成与训练数据结构特征相匹配的标记图，在质量和通用性上优于其他方法。为了进一步评估生成的图的质量，我们将它们用于图分类的下游任务，结果表明LGGAN可以忠实地捕获图结构的重要方面。
2021-02-25 cs.LG stat.ML
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN
Seoul National University（首尔国立大学）
本文提出利用生成对抗网络交替训练生成器和分类器，以增强神经网络对对抗扰动的鲁棒性，并在CIFAR数据集上显著降低泛化误差，优于Dropout等正则化方法。
2023-07-04 cs.LG stat.ML
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research（谷歌研究院）
我们研究生成对抗网络（GANs）中的欠拟合和过拟合，使用生成器看不到的鉴别器来测量泛化。我们发现，模型的容量的控制器有一个显着的影响，对发电机的模型质量，和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反，我们发现，相对于CIFAR10，CIFAR100和CelebA，具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
IVE-GAN: Invariant Encoding Generative Adversarial Networks
Bayer AG（拜耳公司）
生成对抗网络（GANs）是生成任务的强大框架。然而，它们难以训练，并且往往会错过真实数据生成过程的模式。虽然GANs可以在其潜在空间中学习数据的覆盖模式的丰富表示，但该框架错过了从数据到该潜在空间的逆映射。我们提出了不变编码生成对抗网络（IVE-GANs），这是一种新的GAN框架，它通过利用数据中对某些变换不变的特征，为数据中的单个样本引入了这种映射。由于模型将单个样本映射到潜在空间，因此它自然会鼓励生成器覆盖所有模式。我们证明了我们的方法在生成性能和学习丰富的表示几个数据集，包括常见的基准图像生成任务方面的有效性。
2017-11-23 cs.LG stat.ML
Towards Principled Methods for Training Generative Adversarial Networks
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Facebook AI Research（Facebook人工智能研究院）
本文的目标不是介绍一种算法或方法，而是为全面理解生成对抗网络的训练动态提供理论基础。为了证实我们的理论分析，我们进行了有针对性的实验，以验证我们的假设，说明我们的主张，并量化的现象。本文共分为三个部分。第一部分介绍了当前的问题。第二部分致力于研究和严格证明生成对抗网络训练时出现的问题，包括不稳定性和饱和度。第三部分探讨了解决这些问题的实际和理论基础的方向，同时引入新的工具来研究它们。
2017-01-17 cs.LG stat.ML
Scalable Unbalanced Optimal Transport using Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GANs）是一类表现力很强的神经生成模型，在建模高维连续度量方面取得了巨大成功。在本文中，我们提出了一个可扩展的方法，不平衡的最佳运输（OT）的基础上生成的对抗框架。我们制定不平衡OT作为一个问题，同时学习的运输地图和缩放因子，推动源措施的目标措施，以成本最优的方式。此外，我们提出了一种基于随机交替梯度更新的算法来解决这个问题，在实践中类似于GANs。我们还为这种公式提供了理论依据，表明它与Liero等人（2018）的现有静态公式密切相关，并进行了数值实验，证明了这种方法如何应用于人口建模。
2019-08-04 cs.LG stat.ML
Generative adversarial networks for generation and classification of physical rehabilitation movement episodes
University of Idaho（爱达荷大学）
本文提出了一种方法，通过使用人工神经网络的物理治疗过程中进行的患者运动情节相关的人体运动的数学建模。采用生成对抗网络结构，由此以对抗方式同时训练判别模型和生成模型。不同的网络架构进行了检查，与歧视性和生成模型结构的深层子网络的隐藏层组成的卷积或循环计算单元。该模型进行了验证的数据集上的人体运动记录与光学运动跟踪器。结果表明，新的运动实例的分类的网络的能力，并生成类似于所记录的运动序列的运动示例。
2018-12-15 cs.LG stat.ML
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GAN）的生成器经过训练，可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的，但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间，并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
Semi-Supervised Learning with Generative Adversarial Networks
我们将生成对抗网络（GANs）扩展到半监督上下文，迫使生成对抗网络输出类标签。我们训练一个生成模型G和一个具有属于N个类之一的输入的数据集上的一个生成模型D。在训练时，D被用来预测输入属于N+1个类中的哪一个，其中添加额外的类以对应于G的输出。我们表明，这种方法可以用来创建一个更有效的数据分类器，它允许生成更高质量的样本比常规的GAN。
2016-10-22 cs.LG stat.ML
Intervention Generative Adversarial Networks
Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
在本文中，我们提出了一种新的方法来稳定生成对抗网络的训练过程，以及减轻模式崩溃问题。主要想法是在目标中引入一个正则化项，我们称之为干预损失。我们将由此产生的生成模型称为干预生成对抗网络（IVGAN）。通过用高斯不变干预扰动从辅助编码器网络获得的真实图像的潜在表示并惩罚所产生的生成图像的分布的不相似性，干预损失为生成器提供了更多的信息梯度，显著提高了GAN的训练稳定性。我们证明了我们的方法的有效性和效率，通过坚实的理论分析和标准的真实世界的数据集，以及堆栈MNIST数据集上的全面评估。
2020-08-09 cs.LG stat.ML
Linking Generative Adversarial Learning and Binary Classification
在这篇文章中，我们指出了生成对抗（GA）训练和二进制分类之间的基本联系-任何强大的分类器本质上都会计算真实样本和生成样本之间的（f-）分歧。在决策理论中反复重新推导的结果对GA网络（GANs）具有影响，通过设计模糊损失函数，为训练f-GANs提供了另一种视角。
2017-09-05 cs.AI cs.LG stat.ML
Adversarial examples for generative models
National University of Singapore（新加坡国立大学）；Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
我们探索了在深度生成模型（如变分自动编码器（VAE）和VAE-GAN）上生成对抗性示例的方法。众所周知，深度学习架构容易受到对抗性示例的影响，但以前的工作主要集中在对抗性示例在分类任务中的应用上。深度生成模型最近变得流行，因为它们能够对输入数据分布进行建模，并从这些分布中生成真实的示例。我们提出了三类对VAE和VAE-GAN架构的攻击，并针对在MNIST，SVHN和CelebA上训练的网络进行了演示。我们的第一次攻击通过将分类器附加到目标生成模型的训练编码器来利用基于分类的对手，然后可以使用该编码器间接操纵潜在表示。我们的第二次攻击直接使用VAE损失函数从对抗性示例中生成目标重建图像。我们的第三种攻击超越了依赖于梯度的分类或标准损失，并直接针对源和目标潜在表示的差异进行优化。我们还激发了为什么攻击者可能对针对目标生成网络部署此类技术感兴趣。
2017-02-22 cs.LG stat.ML
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征，这便于建模，但对声码化提出了额外的挑战（即，从声学特征产生波形）。高质量的合成可以通过神经声码器实现，例如WaveNet，但是这种自回归模型会受到缓慢的顺序推理的影响。同时，它们现有的并行推理对应物难以训练，并且需要越来越大的模型尺寸。在本文中，我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络，并集成了线性预测合成滤波器的模型。实验结果表明，该模型在推理速度上有显著提高，同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
New Losses for Generative Adversarial Learning
生成对抗网络（Goodfellow等人，2014年），在生成建模领域的一个重大突破，学习一个估计目标和候选分布之间的距离。本文探讨了在这种情况下，生成模型的梯度计算方式的数学问题，特别是如何考虑到如何将梯度本身取决于发电机参数。提出了一种统一的方法来定义生成模型的数学上合理的训练目标，以稳健的方式考虑这种依赖性，包括GAN，VAE和一些GAN变体作为特定情况。
2018-07-26 cs.LG stat.ML
A Generative Adversarial Approach To ECG Synthesis And Denoising
生成对抗网络（GAN）已知会产生合成数据，这些数据很难被人类从真实数据中辨别出来。在本文中，我们提出了一种方法，使用GAN产生逼真的ECG信号。我们利用它们来训练和评估一个去噪自动编码器，实现了最先进的ECG信号的滤波质量。结果表明，生成的数据提高了模型的性能相比，模型训练的真实数据。我们还研究了迁移学习的效果，通过重用训练好的神经网络去噪模型。
2020-09-06 cs.LG eess.SP
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Generative Adversarial Networks: recent developments
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Tooploox Ltd.（图普洛克斯有限公司）
在传统的生成式建模中，良好的数据表示通常是良好的机器学习模型的基础。它可以链接到编码更多隐藏在原始数据中的解释性因素的良好表示。随着生成对抗网络（GANs）的发明，生成模型的一个子类，能够以无监督和半监督的方式学习表示，我们现在能够从简单的先验分布到目标数据分布的良好映射。本文概述了GANs的最新发展，重点是学习潜在空间表示。
2019-03-16 cs.CV cs.LG stat.ML
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
Unconditional Audio Generation with Generative Adversarial Networks and Cycle Regularization
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
在最近的一篇论文中，我们提出了一种基于生成对抗网络（GAN）的模型，用于无条件生成歌声的梅尔谱图。由于该模型的生成器被设计为以可变长度的噪声向量序列作为输入，因此它可以生成可变长度的梅尔谱图。然而，我们之前的听力测试表明，生成的音频质量还有改进的空间。本论文在以下几个方面对前人的工作进行了扩展。首先，我们在生成器中采用了一个层次结构来诱导时间维度中的一些结构。其次，我们引入了一个周期正则化机制的发生器，以避免模式崩溃。第三，我们评估的新模型的性能，不仅为产生歌声，但也为产生语音。评价结果表明，新模型在客观和主观方面均优于原模型。我们还采用该模型来无条件地生成钢琴和小提琴音乐序列，并发现结果很有希望。音频示例以及实现我们模型的代码将在纸质出版物上在线公开。
2020-05-18 cs.LG cs.SD eess.AS
Evolutionary Generative Adversarial Networks
University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）；Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）
生成对抗网络（GAN）对于学习真实世界数据的生成模型是有效的。然而，现有的GANs（GAN及其变体）往往会遭受训练问题，例如不稳定性和模式坍塌。在本文中，我们提出了一种新的GAN框架，称为进化生成对抗网络（E-GAN），用于稳定的GAN训练和改进的生成性能。与现有的GANs不同，GANs采用预定义的对抗目标函数交替训练生成器和训练器，我们利用不同的对抗训练目标作为变异操作，并进化生成器群体以适应环境（即，的）。我们还利用评估机制来衡量生成的样本的质量和多样性，以便只保留性能良好的生成器并用于进一步的训练。通过这种方式，E-GAN克服了个体对抗训练目标的局限性，并始终保留最佳后代，有助于GANs的进步和成功。在多个数据集上的实验表明，E-GAN实现了令人信服的生成性能，并减少了现有GANs中固有的训练问题。
2018-03-01 cs.LG cs.NE stat.ML
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
Training Generative Adversarial Networks Via Turing Test
School of Mathematics（数学学院）；Sun Yat-sen University（中山大学）
在这篇文章中，我们介绍了一种用于训练生成对抗网络（GANs）的新模式。我们不是最小化证据分布$\tilde{p}(x)$和生成分布$q(x)$的距离，而是最小化$\tilde{p}(x_r)q(x_f)$和$\tilde{p}(x_f)q(x_r)$的距离。这种对抗模式可以被解释为GANs中的图灵测试。它允许我们在训练生成器的过程中使用真实样本的信息，加快了整个训练过程。我们甚至发现，只要按比例增加矩阵和生成器的大小，它就可以在256x256分辨率上成功，而无需仔细调整超参数。
2018-10-27 cs.CV cs.LG stat.ML
FairGAN: Fairness-aware Generative Adversarial Networks
University of Arkansas（阿肯色大学）
公平感知学习在数据采掘中越来越重要。歧视预防的目的是在训练数据用于进行预测分析之前，防止在训练数据中出现歧视。在本文中，我们专注于公平的数据生成，确保生成的数据是无歧视的。受生成对抗网络（GAN）的启发，我们提出了一种公平感知的生成对抗网络，称为公平GAN，它能够学习生成公平数据的生成器，并保持良好的数据效用。与朴素的公平数据生成模型相比，FairGAN进一步保证了在生成数据上训练的分类器可以在真实数据上实现公平分类。在真实数据集上的实验表明了FairGAN的有效性。
2018-05-28 cs.CY cs.LG stat.ML
Multi-instrument Music Synthesis with Spectrogram Diffusion
Google Research, Brain Team（谷歌研究院大脑团队）
一个理想的音乐合成器应该是交互式和表现力，生成高保真音频实时任意组合的乐器和音符。最近的神经合成器已经在特定领域模型和原始波形模型之间进行了权衡，前者只提供特定乐器的详细控制，而后者可以对任何音乐进行训练，但控制最少，生成速度很慢。在这项工作中，我们专注于一个中间地带的神经合成器，可以生成音频序列与任意组合的仪器在实时。这使得能够使用单个模型在广泛的转录数据集上进行训练，从而在广泛的乐器上提供对作曲和乐器的音符级控制。我们使用一个简单的两阶段过程：使用编码器-解码器Transformer将频谱图转换为频谱图，然后使用生成对抗网络（GAN）频谱图转换器将频谱图转换为音频。我们比较训练的解码器作为一个自回归模型和作为一个去噪扩散概率模型（DDPM），并发现DDPM方法是优越的质量和音频重建和Fréchet距离度量测量。考虑到这种方法的交互性和普遍性，我们发现这是一个有前途的第一步，交互式和表达神经合成的任意组合的工具和说明。
2022-12-12 cs.LG cs.SD eess.AS
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology（香港科技大学）
本文考虑了双向生成建模的一般$f$ -发散公式，其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法，这种配方，其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中，我们表明，不同的分歧诱导类似的算法在梯度评估，除了不同的缩放。因此，本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究，证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Generative Adversarial Source Separation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems（Adobe系统公司）
生成式声源分离方法，如非负矩阵分解（NMF）或自动编码器，依赖于输出概率密度的假设。生成对抗网络（GANs）可以学习数据分布，而无需对输出密度进行参数假设。我们在语音声源分离实验中表明，用Wasserstein-GAN公式训练的多层感知器在源失真比方面优于NMF，用最大似然训练的自动编码器和变分自动编码器。
2017-10-30 cs.LG cs.NE cs.SD
Tensorizing Generative Adversarial Nets
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Saitama Institute of Technology（埼玉工业大学）
生成对抗网络（GAN）及其变体在生成模型中表现出最先进的性能。为了捕获更高维的分布，通常的学习过程需要高的计算复杂性和大量的参数。当将其部署在具有有限计算能力的平台（例如移动电话）上时，会出现采用这种大型框架的问题。在本文中，我们提出了一种新的生成对抗框架，将每一层表示为通过多线性运算连接的张量结构，旨在将模型参数的数量减少一个很大的因素，同时保持生成性能和样本质量。为了学习模型，我们采用了一种有效的算法，交替优化的发电机和发电机。实验结果表明，我们的模型可以实现高压缩率的模型参数$35$倍相比，原始GAN的MNIST数据集。
2018-03-30 cs.AI cs.LG stat.ML
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN), Multi Class Scenarios
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
条件生成器学习多类场景中每个类的数据分布，并在给定潜在空间的正确输入的情况下为特定类生成样本。在这项工作中，被称为“多功能辅助分类器与生成对抗网络“的多类场景的方法。在这种技术中，生成对抗网络（GAN）的生成器通过将多类分类器与PNN网络并行放置并通过生成器反向传播分类错误而变成条件生成器。这种技术是通用的，足以应用于任何GAN实现。在两个数据库上的结果以及与其他方法的比较。
2018-06-19 cs.LG eess.IV stat.ML
Modeling documents with Generative Adversarial Networks
Aylien Ltd.（Aylien有限公司）
本文描述了一种使用生成对抗网络来学习自然语言文档的分布式表示的方法。我们提出了一个模型，该模型是基于最近提出的基于能量的GAN，而是使用一个去噪自动编码器作为网络。文档表示提取的隐藏层中的隐藏层和定量和定性的评价。
2016-12-29 cs.LG
Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Models
Stanford University（斯坦福大学）
概率模型的对抗学习最近已经成为最大似然的一种有前途的替代方案。与通过最大似然训练的显式模型相比，生成对抗网络（GAN）等隐式模型通常会生成更好的样本。然而，GANs回避了显式密度的表征，这使得定量评估具有挑战性。为了弥合这一差距，我们提出了Flow-GAN，这是一种生成对抗网络，我们可以对其进行精确的似然评估，从而支持对抗和最大似然训练。当进行逆向训练时，Flow-GAN生成高质量的样本，但获得极差的对数似然分数，甚至不如记忆训练数据的混合模型;当通过最大似然训练时，情况正好相反。MNIST和CIFAR-10上的结果表明，混合训练可以获得高的保持概率，同时保持生成的样本的视觉保真度。
2018-01-03 cs.AI cs.LG cs.NE
Quantum generative adversarial networks
Xanadu
量子机器学习有望成为近期量子设备的首批潜在通用应用之一。经典机器学习最近的一个重大突破是生成对抗训练的概念，其中一个训练模型的梯度被用来训练一个单独的生成模型。在这项工作和一篇配套论文中，我们将对抗训练扩展到量子领域，并展示了如何使用量子线路构建生成对抗网络。此外，我们还展示了如何使用另一个量子线路计算梯度-生成对抗网络训练中的关键要素。我们给出了一个简单的实用电路模型的例子来参数化量子机器学习模型，并进行了一个简单的数值实验来证明量子生成对抗网络可以成功训练。
2018-04-30 cs.LG quant-ph
NIPS 2016 Tutorial: Generative Adversarial Networks
OpenAI
本报告总结了作者在NIPS 2016上介绍的关于生成对抗网络（GANs）的教程。该教程介绍：（1）为什么生成建模是一个值得研究的话题，（2）生成模型如何工作，以及GANs与其他生成模型的比较，（3）GANs如何工作的细节，（4）GANs的研究前沿，以及（5）将GANs与其他方法相结合的最先进的图像模型。最后，本教程包含三个练习供读者完成，以及这些练习的解决方案。
2017-04-03 cs.LG
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建，当前的防御方法主要集中在防范这种类型的攻击。在本文中，我们提出了无限制的对抗性示例，这是一种新的威胁模型，其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同，我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说，我们首先训练一个辅助分类器生成对抗网络（AC-GAN）来对数据样本上的类条件分布进行建模。然后，以所需类别为条件，我们在AC-GAN潜在空间中搜索，以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明，以这种方式生成的不受限制的对抗性示例是合法的，并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明，不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
Synthesizing Unrestricted False Positive Adversarial Objects Using Generative Models
ETH Zurich（苏黎世联邦理工学院）；ABB Future Labs（ABB未来实验室）
对抗性示例是被神经网络错误分类的数据点。最初，对抗性示例仅限于向给定图像添加小扰动。最近的工作引入了无限制对抗示例的广义概念，对添加的扰动没有限制。在本文中，我们介绍了一种新的攻击类别，它可以为目标检测创建不受限制的对抗性示例。我们的关键思想是生成与目标对象检测器识别的类无关的对抗对象。与以前的攻击不同，我们使用现成的生成对抗网络（GAN），不需要任何进一步的训练或修改。我们的方法包括搜索潜在的正常空间的GAN的敌对对象被错误地识别的目标对象检测器。我们在常用的Faster R-CNN ResNet-101，Inception v2和SSD Mobilenet v1对象检测器上使用在CIFAR-10上训练的徽标生成iWGAN-LC和SNGAN来评估这种方法。实验结果表明，生成的对抗对象与GANs生成的非对抗对象无法区分，在对象检测器之间可转移，并且在物理世界中具有鲁棒性。这是第一次研究用于目标检测的无限制假阳性对抗示例。
2020-05-19 cs.CR cs.CV cs.LG
Generative Adversarial Privacy
Arizona State University（亚利桑那州立大学）；Stanford University（斯坦福大学）
我们提出了一个数据驱动的框架，称为生成对抗隐私（GAP）。受生成对抗网络（GANs）最新进展的启发，GAP允许数据持有者直接从数据中学习私有化机制。在GAP下，找到最佳的隐私机制制定为私有化者和对手之间的约束极大极小博弈。我们表明，适当选择的对抗性损失函数，GAP提供隐私保证，对强大的信息理论的对手。我们还评估了GAP的性能上的GENKI人脸数据库。
2019-06-26 cs.CR cs.GT cs.IT
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen（图宾根马普研究所）；Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
变分自编码器（VAE）是一种表达性的潜变量模型，可用于从训练数据中学习复杂的概率分布。然而，最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯（AVB），一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标，该网络允许将最大似然问题重新表述为两人游戏，从而在VAE和生成对抗网络（GANs）之间建立原则性联系。我们表明，在非参数限制，我们的方法产生一个确切的最大似然分配的生成模型的参数，以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反，我们的方法具有明确的理论依据，保留了标准变分自编码器的大多数优点，并且易于实现。
2018-06-11 cs.LG
Learning to Repair Software Vulnerabilities with Generative Adversarial Networks
Draper（德雷珀实验室）；Boston University（波士顿大学）；Lightmatter（光物质公司）
出于自动修复软件漏洞的问题，我们提出了一个对抗性的学习方法，从一个离散的源域映射到另一个目标域，而不需要成对的标记的例子或源和目标域是双射。我们证明了所提出的对抗性学习方法是修复软件漏洞的有效技术，其性能接近需要标记对的seq2seq方法。所提出的生成对抗网络方法是应用不可知的，因为它可以应用于类似于代码修复的其他问题，例如语法校正或情感翻译。
2018-10-28 cs.CL cs.LG cs.NE
MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis
Lyrebird AI（Lyrebird人工智能公司）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；CIFAR（加拿大高等研究院）
先前的工作（Donahue等人，2018 a; Engel等人，2019 a）已经发现用GANs生成相干原始音频波形是具有挑战性的。在本文中，我们证明了通过引入一组结构变化和简单的训练技术，可以可靠地训练GANs以生成高质量的相干波形。主观评价指标（平均意见分数，或MOS）表明所提出的方法的有效性，高质量的梅尔频谱图反演。为了建立所提出的技术的一般性，我们展示了我们的模型在语音合成，音乐域翻译和无条件音乐合成的定性结果。我们通过消融研究评估模型的各个组成部分，并提出了一套指导原则，设计通用的鉴别器和发电机的条件序列合成任务。我们的模型是非自回归的，完全卷积的，比竞争模型的参数少得多，并推广到看不见的扬声器梅尔频谱图反转。我们的pytorch实现在GTX 1080Ti GPU上的运行速度比实时快100倍以上，在CPU上的运行速度比实时快2倍以上，没有任何硬件特定的优化技巧。
2019-12-09 cs.CL cs.LG cs.SD
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
A Non-Adversarial Approach to Idempotent Generative Modelling
KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）
针对IGNs因对抗性目标导致的模式崩溃与训练不稳定问题，提出NAIGNs，通过结合重构与IMLE的非对抗性生成目标，提升了数据恢复与生成能力，并隐式学习数据流形距离场。
2025-11-04 cs.LG
