GIU-GANs: Global Information Utilization for Generative Adversarial Networks
Beijing Institute of Technology（北京理工大学）；Jinan University（暨南大学）；City University of Macau（澳门城市大学）
近年来，随着人工智能的快速发展，基于深度学习的图像生成得到了极大的发展。基于生成对抗网络（GANs）的图像生成是一项很有前途的研究。然而，由于卷积受限于空间不可知性和通道特定性，基于卷积的传统GANs提取的特征受到约束。因此，GANs无法捕获每个图像的更多细节。另一方面，卷积的直接堆叠会导致GANs中的参数和层太多，这将导致过拟合的高风险。为了克服上述限制，在本文中，我们提出了一种新的GANs，称为对合生成对抗网络（GIU-GANs）。GIU-GANs利用了一个称为全局信息利用（GIU）模块的全新模块，该模块集成了挤压和激励网络（SENet）和对合，通过通道注意力机制关注全局信息，从而提高生成图像的质量。同时，批量归一化（BN）不可避免地忽略了由生成器采样的噪声之间的表示差异，从而降低了生成的图像质量。因此，我们将代表性批量归一化（RBN）引入到针对该问题的GANs架构中。CIFAR-10和CelebA数据集被用来证明我们提出的模型的有效性。大量的实验证明，我们的模型达到了最先进的竞争力的表现。
2022-03-15 cs.LG
Improving Generalization and Stability of Generative Adversarial Networks
生成对抗网络（GANs）是学习复杂高维分布的最流行工具之一。然而，GANs的泛化特性还没有得到很好的理解。在本文中，我们分析了GANs在实际环境中的泛化能力。我们发现，在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力，并且不近似于理论上的最优分类。我们提出了一个零中心的梯度惩罚，通过将其推向最佳的梯度来提高泛化的梯度。惩罚保证了GANs的泛化和收敛。在合成数据集和大规模数据集上的实验验证了我们的理论分析。
2019-02-11 cs.AI cs.LG stat.ML
GANs May Have No Nash Equilibria
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GANs）代表了两个机器玩家（生成器和代理）之间的零和游戏，旨在学习数据的分布。虽然GANs在几个基准学习任务中取得了最先进的性能，但GAN极大极小优化仍然带来了巨大的理论和经验挑战。使用一阶优化方法训练的GANs通常无法收敛到稳定的解决方案，其中参与者无法提高其目标，即，基本博弈的纳什均衡。这些问题提出了在GAN零和博弈中存在纳什均衡解的问题。在这项工作中，我们通过几个理论和数值结果表明，确实GAN零和游戏可能没有任何局部纳什均衡。为了描述适用于GANs的均衡概念，我们考虑一个新的零和博弈的均衡，该博弈的目标函数由应用于原始目标的邻近算子给出，我们称之为邻近均衡的解决方案。与纳什均衡不同，近端均衡捕获了GANs的顺序性质，其中发电机首先移动，然后是发电机。我们证明了Wasserstein GAN问题的最优生成模型提供了一个近似均衡。受这些结果的启发，我们提出了一种新的方法，我们称之为近端训练，用于解决GAN问题。我们讨论了几个数值实验证明存在的近平衡解的GAN极大极小问题。
2020-02-21 cs.GT cs.LG stat.ML
On the Performance of Generative Adversarial Network (GAN) Variants: A Clinical Data Study
Korea University（高丽大学）；Georgia Institute of Technology（佐治亚理工学院）；Case Western Reserve University（凯斯西储大学）；University of Central Florida（中佛罗里达大学）
生成对抗网络（GAN）是一种有用的神经网络类型，用于各种类型的应用，包括生成模型和特征提取。各种类型的GANs正在以不同的见解进行研究，从而产生了各种各样的GANs家族，每一代都有更好的性能。本文重点介绍了各种GANs的共同特征分类。
2020-09-21 cs.AI cs.LG cs.NE
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications
University of Michigan（密歇根大学）；Chinese Academy of Sciences（中国科学院）；Nanyang Technological University（南洋理工大学）；University of Sydney（悉尼大学）；DiDi AI Labs（滴滴人工智能实验室）
生成对抗网络（GANs）是近年来的研究热点。自2014年以来，GANs得到了广泛的研究，并提出了大量的算法。然而，很少有全面的研究解释不同GANs变体之间的联系，以及它们是如何进化的。本文从算法、理论和应用的角度对各种GANs方法进行了综述。首先，详细介绍了大多数GANs算法的动机、数学表示和结构。此外，GANs已经与其他机器学习算法结合用于特定应用，例如半监督学习、迁移学习和强化学习。本文比较了这些GANs方法的共性和差异。其次，研究了与GANs相关的理论问题。第三，阐述了GANs在图像处理和计算机视觉、自然语言处理、音乐、语音和音频、医疗领域以及数据科学等领域的典型应用。最后指出了GANs未来的研究方向。
2020-01-20 cs.LG stat.ML
Generative Adversarial Network: Some Analytical Perspectives
The Alan Turing Institute（阿兰·图灵研究所）；University of California, Berkeley（加州大学伯克利分校）
自首次亮相以来，生成对抗网络（GANs）吸引了大量的关注。在过去的几年里，GANs模型的不同变体已经被开发出来，并在实践中针对不同的应用进行了定制。与此同时，关于GANs的性能和训练的一些问题已经被注意到，并从各种理论角度进行了研究。本章将从分析的角度介绍GANs，然后通过递归逼近来训练GANs，最后讨论GANs在计算高维MFG以及解决金融数学问题中的一些应用。
2021-09-09 cs.LG q-fin.MF
Generative adversarial networks in time series: A survey and taxonomy
Infant Research Centre（婴儿研究中心）；School of Computing（计算学院）；Dublin City University（都柏林城市大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）
生成对抗网络（GANs）研究在过去几年中呈指数级增长。它们的影响主要体现在计算机视觉领域，具有逼真的图像和视频处理，特别是生成，取得了重大进展。虽然这些计算机视觉的进步已经引起了人们的广泛关注，但GAN的应用已经跨越了时间序列和序列生成等学科。作为GANs的一个相对较新的利基，实地工作正在进行中，以开发高质量，多样化和私人的时间序列数据。在本文中，我们回顾了GAN变量设计的时间序列相关的应用程序。我们提出了一种离散变量GANs和连续变量GANs的分类，其中GANs处理离散时间序列和连续时间序列数据。在这里，我们展示了该领域最新和最流行的文献;它们的架构，结果和应用。我们还提供了一个最流行的评估指标及其在应用程序中的适用性列表。还讨论了这些GANs的隐私措施以及处理敏感数据的进一步保护和指导。我们的目标是清晰，简明地介绍这一领域的最新和最先进的研究及其在现实世界技术中的应用。
2021-07-23 cs.AI cs.LG
Generative Adversarial Networks (GANs): What it can generate and What it cannot?
International Institute of Information Technology（国际信息技术学院）
近年来，生成对抗网络（GANs）受到了研究界的极大关注。GANs具有简单的实现方式和出色的结果，已被用于许多应用。尽管取得了成功，但GANs缺乏适当的理论解释。这些模型在训练过程中存在模式坍塌、不收敛和不稳定等问题。为了解决这些问题，研究人员提出了理论上严格的框架，受到博弈论，统计理论，动力系统等不同领域的启发，在本文中，我们建议给出一个适当的结构来系统地研究这些贡献。我们基本上是根据论文提出的问题和它们为解决这些问题而引入的新颖性对它们进行分类。此外，我们还提供了深入了解所讨论的每一篇文章如何解决有关问题。我们比较和对比不同的结果，并提出了一个总结的理论贡献GANs的重点是图像/视觉应用。我们希望这篇总结论文能为希望了解GANs理论进展的人提供一个鸟瞰图。
2019-07-31 cs.LG stat.ML
On the Fairness of Generative Adversarial Networks (GANs)
Innopolis University（因诺波利斯大学）
生成对抗网络（GANs）是近年来人工智能领域最大的进步之一。凭借其直接学习数据概率分布的能力，然后对合成的真实数据进行采样。已经出现了许多应用，使用GANs来解决机器学习中的经典问题，例如数据增强，类不平衡问题和公平表示学习。在本文中，我们分析和突出的公平性关注的GANs模型。在这方面，我们根据经验表明，GANs模型在训练过程中可能固有地偏好某些组，因此它们无法在测试阶段从不同的组中均匀地生成数据。此外，我们提出了解决这个问题的解决方案，通过将GAN模型调节为样本组或使用集成方法（提升）来允许GAN模型在训练阶段利用数据的分布式结构，并在测试阶段以相等的速率生成组。
2021-05-21 cs.CV cs.LG
Keiki: Towards Realistic Danmaku Generation via Sequential GANs
Southern University of Science and Technology（南方科技大学）
基于搜索的程序内容生成方法最近被引入用于子弹地狱游戏的自主创建。然而，基于搜索的方法很难明确地对子弹地狱射击实体的模式进行建模，并且所产生的水平通常看起来不真实。在本文中，我们提出了一种新的子弹地狱游戏平台名为Keiki，它允许表示的danmakus作为一个参数序列，反过来，可以模拟danmakus的顺序行为。我们采用了三种类型的生成对抗网络（GANs），并在三个旨在量化生成的danmakus质量的指标上测试Keiki。时间序列GAN和周期性空间GAN在所采用的评价指标、它们与人类设计的danmakus的偏差以及生成的danmakus的多样性方面表现出不同但具有竞争力的性能。这里介绍的初步实验研究展示了时间序列GANs在游戏中顺序生成内容的潜力。
2021-07-07 cs.AI cs.LG
Linking Generative Adversarial Learning and Binary Classification
在这篇文章中，我们指出了生成对抗（GA）训练和二进制分类之间的基本联系-任何强大的分类器本质上都会计算真实样本和生成样本之间的（f-）分歧。在决策理论中反复重新推导的结果对GA网络（GANs）具有影响，通过设计模糊损失函数，为训练f-GANs提供了另一种视角。
2017-09-05 cs.AI cs.LG stat.ML
FusedProp: Towards Efficient Training of Generative Adversarial Networks
South Park Commons（南方公园公地）
生成对抗网络（GANs）能够生成非常逼真的样本，但最先进的GANs在训练时计算成本非常高。在本文中，我们提出了融合传播（FusedProp）算法，它可以用来有效地训练通用GANs同时使用一个前向和一个后向传播的生成器和生成器。我们表明，与传统的GANs训练相比，FusedProp的训练速度是1.49倍，尽管需要进一步的研究来提高其稳定性。通过报告我们的初步结果和开源我们的实现，我们希望加快未来对GANs训练的研究。
2020-03-30 cs.CV cs.LG
Language Modeling with Generative Adversarial Networks
Stanford University（斯坦福大学）
生成对抗网络（GANs）在图像生成领域有着广阔的应用前景，但在语言生成方面却存在着难以训练的问题。GANs最初被设计为输出可微值，因此离散语言生成对它们来说是具有挑战性的，这导致了训练GANs的高度不稳定性。因此，过去的工作采用了最大似然的预训练或没有预训练的GANs训练，其中WGAN目标具有梯度惩罚。在这项研究中，我们提出了这些方法的比较。此外，我们提出了一些实验的结果，表明更好的训练和收敛的Wasserstein GANs（WGANs）时，较弱的正则化项是强制执行Lipschitz约束。
2018-04-08 cs.CL cs.LG stat.ML
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Procedural content generation of puzzle games using conditional generative adversarial networks
IT University of Copenhagen（哥本哈根信息技术大学）
本文提出使用参数化GANs为益智游戏Lily's Garden生成关卡，通过提取两个条件向量控制输出细节，发现GANs能较好近似地图形状但难以近似棋子分布，并建议尝试替代架构以改善此问题。
2023-06-26 cs.AI cs.LG
Noise Robust Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
生成对抗网络（GANs）是通过对抗训练来学习数据分布的神经网络。在深入的研究中，最近的GANs在再现训练图像方面显示出了有希望的结果。然而，尽管有噪音，它们还是逼真地再现了图像。作为替代方案，我们提出了一种新的GANs家族，称为噪声鲁棒GANs（NR-GAN），即使训练图像有噪声，它也可以学习干净的图像生成器。特别地，NR-GAN可以在没有完整噪声信息的情况下解决这个问题（例如，噪声分布类型、噪声量或信噪比关系）。为了实现这一点，我们引入了一个噪声发生器和训练它与一个干净的图像发生器。然而，在没有任何约束的情况下，没有动机单独生成图像和噪声。因此，我们提出了分布和变换约束，鼓励噪声发生器只捕捉噪声特定的组件。特别是，考虑到不同假设下的这些约束，我们设计了两种用于信号无关噪声的NR-GAN变体和三种用于信号相关噪声的NR-GAN变体。在三个基准数据集上，我们证明了NR-GAN在噪声鲁棒图像生成中的有效性。此外，我们展示了NR-GAN在图像去噪中的适用性。我们的代码可在https://github.com/takuhirok/NR-GAN/上获得。
2020-03-31 cs.CV cs.LG eess.IV
Finding Mixed Nash Equilibria of Generative Adversarial Networks
本文从混合纳什均衡（NE）的角度重新审视生成对抗网络（GANs）的训练目标。受经典prox方法的启发，我们通过无限维两人博弈为GANs开发了一种新的算法框架，并证明了混合NE的严格收敛速度，解决了长期存在的问题，即一般GANs不存在可证明收敛的算法。然后，我们提出了一个原则性的程序，以减少我们的新的prox方法简单的采样例程，导致实际有效的算法。最后，我们提供的实验证据表明，我们的方法在速度和质量方面都优于寻求纯策略均衡的方法，例如SGD、Adam和RMSProp。
2018-10-23 cs.GT cs.LG stat.ML
Quantization of Generative Adversarial Networks for Efficient Inference: a Methodological Study
Higher School of Economics（高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；Yandex；Samsung-HSE Laboratory（三星-高等经济学院实验室）
生成对抗网络（GANs）对数字内容创作具有巨大的潜在影响，例如，逼真的数字化身、语义内容编辑以及语音和图像的质量增强。然而，现代GANs的性能与推理过程中执行的大量计算和高能耗结合在一起。这使得它们在边缘设备上的部署变得复杂，甚至不可能。这个问题可以通过量化来解决--量化是一种神经网络压缩技术，通过用低位整数计算代替浮点计算来促进硬件友好的推理。虽然量化对于判别模型来说已经很成熟，但现代量化技术在应用于GANs时的性能仍然不清楚。GANs生成的内容结构比判别模型更复杂，因此GANs的量化更具挑战性。为了解决这个问题，我们在三种不同的GAN架构上对最先进的量化技术进行了广泛的实验研究，即StyleGAN，Self-Attention GAN和CycleGAN。因此，我们发现了实用的方法，使我们能够成功地将这些模型用于4/8位权重和8位激活的推理，同时保持原始全精度模型的质量。
2021-08-31 cs.AI cs.LG
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
众所周知，不同模态（如图像和文本）的不一致分布和表示导致异质性差距，这使得将此类异质数据关联起来具有挑战性。生成对抗网络（GANs）具有很强的数据分布建模能力和区分性表示学习能力，现有的基于GANs的工作主要集中在生成问题上，以生成新的数据。我们有不同的目标，旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此，我们提出了跨模态GANs来学习区别性的共同表示，以弥合异质性差距。本文的主要贡献包括：（1）提出了跨模态GANs结构，用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用，促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器，用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示，而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制，该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进，通过对抗训练过程使共同表示更具区分力。据我们所知，我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验，并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
Bootstrapping Conditional GANs for Video Game Level Generation
New York University（纽约大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生成对抗网络（GANs）在图像生成方面表现出了令人印象深刻的结果。然而，GANs在生成具有某些类型约束（例如游戏级别）的内容时面临挑战。具体来说，很难生成具有美学吸引力和可玩性的水平。此外，由于训练数据通常是有限的，因此用当前的GANs生成唯一的水平是具有挑战性的。本文提出了一种新的GAN结构--条件嵌入自注意生成对抗网络（CESA GAN）和一种新的自举训练过程。CESA GAN是自注意GAN的一种改进，它引入了一个嵌入特征向量输入来调节鉴别器和生成器的训练。这允许网络对游戏对象之间的非局部依赖进行建模，并对对象进行计数。此外，为了减少训练GAN所需的级别数量，我们提出了一种自举机制，其中可播放的生成级别被添加到训练集。结果表明，与标准GAN相比，新方法不仅生成了更多的可玩关卡，而且生成了更少的重复关卡。
2019-10-03 cs.LG cs.NE
Rebalancing the Scales: A Systematic Mapping Study of Generative Adversarial Networks (GANs) in Addressing Data Imbalance
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）；UPHF（法国北部省高等师范学院）；CNRS（法国国家科学研究中心）
本研究通过系统映射方法分析3041篇论文，梳理了GAN在数据不平衡处理中的应用领域、技术与变体，发现过采样有效且GAN变体适应性强，并指出混合扩散模型或强化学习的未来方向。
2025-02-23 cs.AI cs.LG
A Mathematical Introduction to Generative Adversarial Nets (GAN)
Hong Kong University of Science and Technology（香港科技大学）
自2014年Goodfellow等人的开创性工作以来，生成对抗网络（GAN）受到了相当大的关注。这种关注导致了GANs的新思想，技术和应用的爆炸式增长。为了更好地理解GANs，我们需要了解它们背后的数学基础。本文试图从数学的角度对GANs进行概述。许多数学专业的学生可能会发现关于GANs的论文更难完全理解，因为它们大多数是从计算机科学和工程师的角度写的。本文的目的是给更多的数学为导向的学生介绍GANs在一种语言，是更熟悉他们。
2020-09-01 cs.IT cs.LG math.IT
Evolutionary Multiobjective Optimization Driven by Generative Adversarial Networks (GANs)
Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）；University of Surrey（萨里大学）
最近，越来越多的作品提出了使用机器学习模型来驱动进化算法。通常，这种基于模型的进化算法的性能高度依赖于所采用的模型的训练质量。由于它通常需要一定量的数据（即算法生成的候选解）用于模型训练，由于维数灾难，性能随着问题规模的增加而迅速恶化。为了解决这个问题，我们提出了一个多目标进化算法驱动的生成对抗网络（GANs）。在算法的每一代中，首先将父解分为真实和伪样本进行训练GANs，然后由训练好的GANs对子解进行采样。由于GANs强大的生成能力，我们提出的算法能够在有限的训练数据的高维决策空间中生成有前途的后代解决方案。该算法进行了测试，10个基准问题，多达200个决策变量。在这些测试问题上的实验结果证明了该算法的有效性。
2020-04-09 cs.LG cs.NE
Album cover art image generation with Generative Adversarial Networks
生成对抗网络（GANs）是由Goodfellow在2014年提出的，从那时起，它已经成为构建生成式人工智能模型的热门方法。然而，这样的网络的缺点是很多的，像它们的较长的训练时间，它们对超参数调整的敏感性，几种类型的损失和优化函数以及其他困难，如模式坍塌。GANs目前的应用包括生成照片般逼真的人脸、动物和物体。然而，我想通过使用现有的模型并从中学习，更详细地探索GANs的艺术能力。本论文涵盖了神经网络的基础知识，并致力于GANs的特定方面，以及对现有模型的实验和修改，从最不复杂到最复杂。我们的目的是看看最先进的GANs（特别是StyleGAN 2）是否可以生成专辑封面，以及是否可以根据流派对其进行定制。这是通过首先熟悉3个现有的GANs架构来尝试的，包括最先进的StyleGAN2。StyleGAN 2代码用于训练一个包含80K专辑封面图像的数据集的模型，然后通过挑选精选图像并混合它们的风格来设计图像。
2022-12-09 cs.AI cs.CV cs.LG
GANs & Reels: Creating Irish Music using a Generative Adversarial Network
Memorial University of Newfoundland（纽芬兰纪念大学）；University of Waterloo（滑铁卢大学）
在本文中，我们提出了一种算法的旋律生成方法，使用生成对抗网络没有经常性的组件。音乐生成已经成功地使用递归神经网络完成，其中模型学习序列信息，可以帮助创建真实的声音旋律。在这里，我们使用具有扩张卷积和塔的DC-GAN架构来捕获序列信息作为空间图像信息，并学习固定长度旋律形式（如爱尔兰传统卷轴）的长程依赖关系。
2020-10-29 cs.LG cs.SD eess.AS
Pairwise Augmented GANs with Adversarial Reconstruction Loss
Samsung AI Center in Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Federal Research Center "Informatics and Management" of the Russian Academy of Sciences（俄罗斯科学院联邦研究中心“信息学与管理学”）
我们提出了一种新型的自动编码模型，称为成对增强的GANs。我们训练一个生成器和一个编码器联合和对抗的方式。生成器网络学习对真实对象进行采样。反过来，编码器网络同时被训练以将真实数据分布映射到潜在空间中的先验。为了确保良好的重建，我们引入了增强的对抗重建损失。在这里，我们训练一个机器人来区分两种类型的对：一个对象与它的增强和一个与它的重建。我们表明，这种对抗性损失比较对象的内容，而不是在完全匹配。我们通过实验证明，我们的模型在数据集MNIST，CIFAR10，CelebA上生成的样本和重建质量与最先进的数据集具有竞争力，并在CIFAR10上取得了良好的定量结果。
2018-10-11 cs.LG stat.ML
IAN: Combining Generative Adversarial Networks for Imaginative Face Generation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
生成对抗网络（GANs）因其对图像分布建模的能力而获得了发展势头。它们学习模拟训练集，从而能够从该领域中进行采样，并将学到的知识用于有用的应用程序。提出了几种增强GANs的方法，包括通过一些特征匹配来正则化损失。我们试图将GANs推到训练数据之外，并尝试探索图像流形中看不见的领域。在GAN对基集X进行对抗性训练的过程中，我们首先提出了一种新的基于K-近邻（K-NN）选择性特征匹配的GAN正则化器，并将其称为K-GAN。我们表明，最小化增加的长期遵循交叉熵最小化之间的分布GAN和集合Y。然后，我们介绍了一个级联的GANs框架，试图通过级联采样GANs和平移GANs来解决想象一个新的分布的任务，该分布将基集X和目标集Y相结合，我们将这种GANs的级联称为想象对抗网络（IAN）。我们进行了客观和主观的评价，不同的IAN设置在所解决的任务，并显示了一些有用的应用程序，这些IAN，如流形遍历和创造性的面部生成的人物在电影或视频游戏中的设计。
2019-04-16 cs.CV cs.LG
Video Generative Adversarial Networks: A Review
University of New South Wales（新南威尔士大学）；Princess Nourah bint Abdulrahman University（诺拉·本特·阿卜杜勒拉赫曼公主大学）
随着媒体、教育和娱乐等多个领域对内容创作领域的兴趣日益浓厚，使用AI算法生成图像、视频、音频和文本等内容的论文越来越多。生成对抗网络（GANs）是一种很有前途的模型，它可以合成与真实数据样本相似的数据样本。虽然GANs模型的变化，一般来说，已经在一定程度上涵盖了几个调查文件，据我们所知，这是第一个调查文件，审查国家的最先进的视频GANs模型。本文首先将GANs综述论文分为一般GANs综述论文、图像GANs综述论文和特殊领域GANs综述论文，如异常检测、医学成像或网络安全。然后，本文总结了GANs框架的主要改进，这些框架最初不是为视频域开发的，但已被多种视频GANs变体采用。然后，根据条件的存在或不存在，在两个主要部分下提供视频GANs模型的全面回顾。然后，条件模型根据条件的类型进一步分组为音频、文本、视频和图像。本文最后强调了当前视频GANs模型的主要挑战和局限性。补充材料中提供了数据集、应用的损失函数和评估指标的全面列表。
2020-11-04 cs.CV cs.LG eess.IV
Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Models
Stanford University（斯坦福大学）
概率模型的对抗学习最近已经成为最大似然的一种有前途的替代方案。与通过最大似然训练的显式模型相比，生成对抗网络（GAN）等隐式模型通常会生成更好的样本。然而，GANs回避了显式密度的表征，这使得定量评估具有挑战性。为了弥合这一差距，我们提出了Flow-GAN，这是一种生成对抗网络，我们可以对其进行精确的似然评估，从而支持对抗和最大似然训练。当进行逆向训练时，Flow-GAN生成高质量的样本，但获得极差的对数似然分数，甚至不如记忆训练数据的混合模型;当通过最大似然训练时，情况正好相反。MNIST和CIFAR-10上的结果表明，混合训练可以获得高的保持概率，同时保持生成的样本的视觉保真度。
2018-01-03 cs.AI cs.LG cs.NE
Generative Adversarial Networks
Tel Aviv University（特拉维夫大学）
生成对抗网络（GANs）是用于生成高质量数据的非常流行的框架，并且在许多领域的学术界和工业界都得到了广泛的应用。可以说，它们最大的影响是在计算机视觉领域，在那里它们实现了最先进的图像生成。本章介绍了GANs，讨论了它们的原理机制，并提出了它们在训练和评估过程中的一些固有问题。我们集中在这三个问题：（1）模式坍塌，（2）消失的梯度，（3）低质量的图像的生成。然后，我们列出了一些架构变体和丢失变体GANs，它们可以解决上述挑战。最后，我们给出了GANs在实际应用中的两个应用示例：数据增强和人脸图像生成。
2022-03-01 cs.CV cs.LG
Generative Adversarial Networks (GANs Survey): Challenges, Solutions, and Future Directions
The Hong Kong Polytechnic University（香港理工大学）
本文综述了GANs训练中的挑战及解决方案，提出新的分类法系统梳理网络架构、目标函数和优化算法等关键技术，并指出未来研究方向。
2023-04-05 cs.LG eess.IV stat.ML
Adversarial Lipschitz Regularization
Robert Bosch Kft.（罗伯特·博世匈牙利有限公司）
生成对抗网络（GANs）是训练生成模型时最受欢迎的方法之一，其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而，Wasserstein GANs要求临界点是1-Lipschitz，这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为，而不是通过梯度的范数进行训练，在大多数情况下实际上是不可行的。受虚拟对抗训练的启发，我们提出了一种称为对抗性Lipschitz正则化的方法，并证明使用显式Lipschitz惩罚确实是可行的，并且在应用于Wasserstein GANs时会导致竞争性性能，突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Generative Adversarial Network Applications in Creating a Meta-Universe
The University of Georgia（佐治亚大学）
生成对抗网络（GANs）是机器学习方法，用于许多重要和新颖的应用。例如，在成像科学中，GANs被有效地用于生成图像数据集、人脸照片、图像和视频描述、图像到图像转换、文本到图像转换、视频预测和3D对象生成等。在本文中，我们讨论了如何使用GANs来创建人工世界。更具体地说，我们讨论了GANs如何帮助利用图像/视频描述方法来描述图像，以及如何在我们想要的主题中使用图像到图像转换框架将图像转换为新图像。我们阐述了GANs如何影响创建一个定制的世界。
2022-01-23 cs.CV cs.LG eess.IV
Generative Multi-Adversarial Networks
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
生成对抗网络（GANs）是一种通过两人极大极小博弈生成生成模型的框架。在本文中，我们提出了\emph{Generative Multi-Adversarial Network}（GMAN），这是一个将GANs扩展到多个鉴别器的框架。在以前的工作中，GANs的成功训练需要修改极大极小目标以加速早期训练。相比之下，GMAN可以使用原始的未篡改目标进行可靠的训练。我们探索了一些设计的角度与角色，从强大的对手到宽容的老师。图像生成任务将所提出的框架与标准GANs进行比较，表明GMAN在通过成对GAM类型度量进行测量时，在一小部分迭代中产生更高质量的样本。
2017-03-02 cs.LG cs.MA cs.NE
SDYN-GANs: Adversarial Learning Methods for Multistep Generative Models for General Order Stochastic Dynamics
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Massachusetts Institute of Technology（麻省理工学院）；University of California Santa Barbara（加州大学圣巴巴拉分校）
我们引入对抗学习方法，用于$n^{th}$阶随机系统动态的数据驱动生成建模。我们的方法建立在生成对抗网络（GANs）上，生成模型类基于稳定的$m$步随机数值积分器。我们介绍了不同的配方和训练方法的基础上观察轨迹样本的随机动力学学习模型。我们开发了基于最大平均离散度（MMD）的鉴别器，使用条件分布和边缘分布的训练协议以及在不同时间尺度上学习动态响应的方法。我们展示了如何使用我们的方法来建模物理系统，学习力的法律，阻尼系数和噪声相关的参数。对抗性学习方法提供了为动态任务获得稳定生成模型的方法，包括长期预测和为随机系统开发模拟。
2023-02-07 cs.LG cs.NA math.DS
Deconstructing Generative Adversarial Networks
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
我们将GANs的性能分解为三个部分：1.制定：我们提出了一个扰动的人口目标的GANs。基于这一解释，我们表明，GANs可以被视为一个泛化的强大的统计框架，并提出了一种新的GAN架构，称为级联GANs，可证明恢复有意义的低维生成器近似时，真正的分布是高维和破坏离群值。2.概括：给定GANs的种群目标，我们设计了一个系统的原则，在允许距离下的投影，设计GANs，以满足使用有限样本的种群要求。我们在三种情况下实现了我们的原理，以实现多项式和有时接近最优的样本复杂度：（1）在任意的时间间隔下学习任意的生成器;（2）在TV距离下学习高斯位置族，其中我们利用我们的原理为Tukey中值作为GANs的最优性提供了新的证明;（3）学习高维任意分布在Wasserstein距离下的低维高斯近似。我们展示了GANs中近似误差和统计误差的基本权衡，并展示了如何将我们的原理应用于经验样本来预测有多少样本足以用于GANs，以便不受获胜问题的影响。3.优化：我们证明了交替梯度下降在优化PCA的GAN公式时可证明不是局部渐近稳定的。我们诊断的问题是极大极小的对偶间隙是非零的，并提出了一个新的GAN架构的对偶间隙是零，其中的游戏的值等于以前的极大极小值（而不是最大值）。我们证明了新的GAN结构在交替梯度下降优化下是全局渐近稳定的。
2019-05-20 cs.AI cs.LG stat.ML
Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks
Georgia Tech（佐治亚理工学院）
生成对抗网络（GANs）在无监督学习中取得了巨大的成功。尽管其显著的经验性能，有有限的理论研究的统计特性的GANs。本文提供了GANs的近似和统计保证，用于估计在Hölder空间中具有密度的数据分布。我们的主要结果表明，如果正确选择生成器和神经网络架构，GANs是强差异度量（如Wasserstein-1距离）下数据分布的一致估计器。此外，当数据分布呈现低维结构时，我们表明GANs能够捕获数据中未知的低维结构，并具有快速的统计收敛性，这是免费的环境维数灾难。我们对低维数据的分析建立在具有Lipschitz连续性保证的神经网络的通用近似理论之上，这可能是独立的兴趣。
2022-07-21 cs.LG stat.ML
A Survey on the Application of Generative Adversarial Networks in Cybersecurity: Prospective, Direction and Open Research Scopes
Boise State University（博伊西州立大学）
本文综述了生成对抗网络（GANs）在网络安全中的应用，涵盖入侵检测、恶意软件检测等领域，讨论了挑战并展望了未来研究方向。
2024-09-20 cs.AI cs.CR cs.CV
Analysis of Nonautonomous Adversarial Systems
Max Planck Society（马克斯·普朗克学会）
生成对抗网络用于生成图像，但它们的收敛特性仍然没有得到很好的理解。已经有一些研究打算将GANs作为一个动态系统来研究其稳定性。这篇短文可以从这个方向看出来。在所提出的用于稳定GANs训练的方法中，M-GAN-GAN是第一个提出完全退火策略来改变GAN目标的高级条件的人。在本文中，我们通过一个简单的例子展示了退火策略在GANs中的工作原理。简单的模拟支持的理论分析。
2018-03-13 cs.LG stat.ML
Non-Adversarial Image Synthesis with Generative Latent Nearest Neighbors
Facebook AI Research（Facebook人工智能研究）；UC Berkeley（加州大学伯克利分校）
无条件图像生成最近由生成对抗网络（GANs）主导。GAN方法训练从随机噪声向量回归图像的生成器，以及尝试区分所生成的图像和真实图像的训练集的训练器。GANs在生成逼真的图像方面表现出了惊人的效果。尽管取得了成功，但GANs存在严重的缺点，包括：训练不稳定和模式下降。GANs的弱点促使人们研究替代方案，包括：变分自动编码器（VAE），潜在嵌入学习方法（例如GLO）和基于最近邻的隐式最大似然估计（IMLE）。不幸的是，目前，GANs仍然明显优于图像生成的替代方法。在这项工作中，我们提出了一种新的方法-生成潜在最近邻（GLANN）-用于在没有对抗训练的情况下训练生成模型。GLANN结合了IMLE和GLO的优点，克服了每种方法的主要缺点。因此，GLANN生成的图像远远优于GLO和IMLE。我们的方法不会遭受模式坍塌，困扰GAN训练，是更稳定。定性结果表明，GLANN在常用数据集上的性能优于由800个GANs和VAE组成的基线。我们的模型也被证明是有效的训练真正的非对抗性无监督图像翻译。
2018-12-21 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Synthetic Data Generation: A Comparative Study
School of Social Sciences, University of Manchester（曼彻斯特大学社会科学学院）；Alliance Manchester Business School, University of Manchester（曼彻斯特大学联盟曼彻斯特商学院）
生成对抗网络（GANs）作为一种合成数据的手段越来越受到关注。到目前为止，这项工作的大部分已经应用于数据保密领域之外的用例，其中一个常见的应用是人工图像的生成。在这里，我们考虑了GANs的潜在应用，以生成合成的人口普查微观数据。我们采用了一组效用度量和披露风险度量（目标正确归因概率）来比较表格GANs产生的数据与使用传统数据合成方法产生的数据。
2021-12-03 cs.LG
Improving Detection of Credit Card Fraudulent Transactions using Generative Adversarial Networks
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；The University of Edinburgh（爱丁堡大学）
在这项研究中，我们采用生成对抗网络作为过采样方法来生成人工数据，以协助信用卡欺诈交易的分类。GANs是一种基于博弈论思想的生成模型，其中生成器G和GAN D试图相互智胜。发生器的目的是混淆信号。该算法的目标是区分来自生成器的实例和来自原始数据集的实例。通过在一组信用卡欺诈交易上训练GANs，我们能够提高分类器的区分能力。实验结果表明，Wasserstein-GAN比其他GANs训练更稳定，产生的欺诈交易更真实。另一方面，通过k均值聚类设置标签的GANs的条件版本不一定改善GANs的非条件版本。
2019-07-07 cs.LG q-fin.RM
Some Theoretical Properties of GANs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LPSM（巴黎统计数学实验室）；Univ Rennes（雷恩大学）；IRMAR（雷恩数学应用研究所）；Criteo（科利特奥）
生成对抗网络（GANs）是一类生成算法，已被证明可以生成最先进的样本，特别是在图像创建领域。GANs的基本原理是通过生成器族和鉴别器族之间的对抗游戏来优化目标函数，从而近似给定数据集的未知分布。在本文中，我们通过分析GANs的一些数学和统计特性，提供了对GANs更好的理论理解。我们研究了GANs背后的对抗原则与Jensen-Shannon发散之间的深层联系，以及问题的一些最优性特征。还提供了一个分析的作用，通过近似参数的family。此外，从统计的角度研究了估计分布的大样本性质，并证明了一个中心极限定理。我们的一些结果与模拟的例子说明。
2018-03-21 cs.LG stat.ML
Generative Adversarial Networks (GANs): An Overview of Theoretical Model, Evaluation Metrics, and Recent Developments
Razi University（拉齐大学）
统计信号处理和机器学习中最重要的挑战之一是如何获得一个生成模型，该模型可以生成大规模数据分布的样本，例如图像和语音。生成对抗网络（GAN）是解决这一问题的有效方法。GANs提供了一种适当的方法来学习深度表示，而无需广泛使用标记的训练数据。这种方法已经引起了计算机视觉的许多研究人员的注意，因为它可以产生大量的数据，而无需精确的概率密度函数（PDF）的建模。在GANs中，生成模型是通过竞争过程来估计的，在竞争过程中，生成器和神经网络同时进行训练。生成器学习生成合理的数据，而伪随机数学习区分由生成器创建的假数据和真实数据样本。鉴于GANs在过去几年中的快速增长及其在各个领域的应用，有必要准确地研究这些网络。本文在介绍了GAN的主要概念和理论之后，比较了两种新的深度生成模型，并解释了文献中使用的评估指标以及GANs面临的挑战。此外，最显着的GAN架构进行了分类和讨论。最后，在计算机视觉的基本应用进行检查。
2020-05-27 cs.CV cs.LG eess.IV
Using generative adversarial networks to synthesize artificial financial datasets
American Express（美国运通）
生成对抗网络（GANs）在生成逼真的图像方面变得非常流行。在本文中，我们建议使用GANs来合成人工金融数据，以用于研究和基准测试。我们在三个美国运通数据集上测试了这种方法，并表明经过适当训练的GANs可以高保真地复制这些数据集。对于我们的实验，我们定义了一种新型的GAN，并提出了数据预处理方法，这些方法可以使GANs具有良好的训练和测试性能。我们还讨论了评估生成的数据的质量的方法，以及它们与原始真实数据的比较。
2020-02-06 cs.LG q-fin.ST stat.ML
Training Generative Adversarial Networks in One Stage
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（之江实验室）；Stevens Institute of Technology（史蒂文斯理工学院）
生成对抗网络（GANs）在各种图像生成任务中取得了前所未有的成功。然而，令人鼓舞的结果是以繁琐的培训过程为代价的，在培训过程中，发电机和逆变器分两个阶段交替更新。在本文中，我们研究了一种通用的训练方案，可以在一个阶段有效地训练GANs。基于发电机和传感器的对抗损失，我们将GANs分为两类，对称GANs和非对称GANs，并引入一种新的梯度分解方法来统一两者，使我们能够在一个阶段中训练两类，从而减轻训练工作量。我们还计算分析了所提出的方法的效率，并实证表明，所提出的方法产生了坚实的$1.5\times$加速在各种数据集和网络架构。此外，我们表明，所提出的方法是很容易适用于其他对抗训练的情况下，如无数据的知识蒸馏。该代码可在https://github.com/zju-vipa/OSGAN上获得。
2021-06-16 cs.CV cs.LG eess.IV
Illuminating the Space of Beatable Lode Runner Levels Produced By Various Generative Adversarial Networks
Southwestern University（西南大学）
生成对抗网络（GANs）能够从训练集中生成令人信服的元素模仿，但是训练集中元素的分布影响正确训练GAN的难度及其产生的输出质量。本文研究了六种不同的GANs，这些GANs是在游戏Lode Runner的不同数据子集上训练的。质量多样性算法MAP-Elites用于探索每个GAN可以产生的质量水平的集合，其中质量被定义为可击败的并且具有可能的最长解路径。有趣的是，仅在20个级别上训练的GAN生成了最大的多样化可击败级别集，而在150个级别上训练的GAN生成了最小的多样化可击败级别集，从而挑战了训练GANs时越多越好的概念。
2021-01-19 cs.AI cs.LG cs.NE
Generative Adversarial Networks (GANs) in Networking: A Comprehensive Survey & Evaluation
University of Tehran（德黑兰大学）；Shahid Beheshti University（沙希德·贝赫什提大学）；Standard Research Institute（标准研究院）；University of East London（东伦敦大学）；Middlesex University（密德萨斯大学）
尽管他们的概念是最近才出现的，但生成对抗网络（GANs）构成了一个广泛研究的机器学习子领域，用于通过深度生成建模创建合成数据。因此，GANs已应用于许多领域，最值得注意的是计算机视觉，其中它们通常用于生成或变换合成图像。鉴于它们相对易于使用，因此网络领域的研究人员（深度学习方法已得到广泛应用）自然应该对基于GAN的方法感兴趣。因此，迫切需要对这种活动进行全面调查。在本文中，我们展示了机器学习的这一分支如何使计算机和通信网络的多个方面受益，包括移动网络、网络分析、物联网、物理层和网络安全。在此过程中，我们将提供一个新的评估框架，用于比较非图像应用程序中不同模型的性能，并将其应用于许多参考网络数据集。
2021-05-10 cs.LG cs.NI
Evolutionary Multi-Objective Optimization Driven by Generative Adversarial Networks
近年来，越来越多的研究者提出用机器学习模型来驱动进化算法，通常，这种基于模型的进化算法的性能很大程度上依赖于所采用的模型的训练质量，因为它通常需要一定的数据量（即由算法生成的候选解）进行模型训练时，性能随着问题规模的增加而迅速恶化，为了解决这一问题，提出了一种基于生成对抗网络（GANs）的多目标进化算法，在每一代算法中，首先将父解分为\emph{real}和\emph{fake}样本来训练GANs;然后由经过训练的GANs对后代解进行采样。由于GANs强大的生成能力，我们提出的算法能够在高-在有限训练数据的多维决策空间中，对10个决策变量多达200个的基准问题进行了测试，实验结果表明了该算法的有效性所提出的算法。
2020-04-07 cs.AI cs.LG cs.NE
Gang of GANs: Generative Adversarial Networks with Maximum Margin Ranking
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
传统的生成对抗网络（GAN）及其许多变体都是通过最小化KL或JS发散损失来训练的，KL或JS发散损失衡量生成的数据分布与真实数据分布的接近程度。最近的一项进展称为基于Wasserstein距离的WGAN，可以改进基于KL和JS发散的GANs，并减轻GAN训练中常见的梯度消失，不稳定和模式坍塌问题。在这项工作中，我们的目标是改进WGAN，首先将其排序损失推广到基于边缘的排序损失，这会导致更好的排序损失，进而导致更好的生成器，然后执行涉及多个GANs的渐进式训练范例，以促进最大边缘排序损失，以便后期阶段的GAN将在早期阶段进行改进。我们称这种方法为Gang of GANs（GoGAN）。我们已经从理论上证明，在经过最佳训练的WGAN中，所提出的GoGAN可以将真实数据分布和生成的数据分布之间的差距减少至少一半。我们还提出了一种新的方法来衡量GAN质量，这是基于图像完成任务。我们已经在四个视觉数据集上评估了我们的方法：CelebA，LSUN Bedroom，CIFAR-10和50 K-SSFF，并且已经看到了基线WGAN的视觉和定量改善。
2017-04-17 cs.CV cs.LG
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
CapsGAN: Using Dynamic Routing for Generative Adversarial Networks
University of Toronto（多伦多大学）
在本文中，我们提出了一种新的技术，用于在3D域中生成图像的图像具有高度的几何变换。通过合并近年来迅速提升到机器学习时代精神的两种流行的并发方法：GANs（Goodfellow et.（见上文）和胶囊网络（Sabour，Hinton et.（见上文）- 我们提出：\textbf{CapsGAN}。我们表明，CapsGAN在使用旋转MNIST生成具有高几何变换的图像方面优于或等于传统的基于CNN的GANs。在这个过程中，我们还展示了在GANs域中使用胶囊架构的有效性。此外，我们通过使用Wasserstein距离（梯度裁剪，惩罚）和谱归一化进行实验，解决了训练GANs中的Gordian Knot-性能控制和训练稳定性。本文的实验结果应该推动胶囊和GANs在3D图像生成和视频（帧）生成这一仍然令人兴奋和新生的领域中的应用。
2018-06-07 cs.CV cs.LG
Metric Learning-based Generative Adversarial Network
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
生成对抗网络（GANs）作为一种通过对抗过程估计生成模型的框架，已经引起了人们的极大关注，并已被证明在各种任务中具有强大的功能。然而，众所周知，训练GANs是微妙和不稳定的，部分原因是其sigmoid交叉熵损失函数。为了克服这一问题，许多研究者将注意力集中在测量模型分布与真实分布接近程度的各种方法上，并采用不同的度量作为目标函数。在本文中，我们提出了一种新的框架，训练GANs的基础上距离度量学习，我们称之为基于度量学习的生成对抗网络（MLGAN）。MLGAN的鉴别器可以动态学习适当的度量，而不是静态度量，以测量生成的样本与真实样本之间的距离。然后，MLGAN根据新学习的度量更新生成器。我们在几个有代表性的数据集上评估了我们的方法，实验结果表明，与现有的几种最先进的方法相比，MLGAN可以实现更优越的性能。我们还通过经验表明，MLGANs可以提高训练GANs的稳定性。
2017-11-08 cs.LG
