Generalization and Equilibrium in Generative Adversarial Nets (GANs)
Princeton University（普林斯顿大学）；Duke University（杜克大学）
我们表明，生成对抗网络（GAN）的训练可能不具有良好的泛化特性;例如，训练可能看起来是成功的，但是训练的分布可能远离标准度量中的目标分布。然而，对于一个称为神经网络距离的较弱度量，确实会发生泛化。它还表明，一个近似的纯均衡存在于一个特殊类的发电机与自然的训练目标时，发电机容量和训练集的大小是中等的发电机/发电机的游戏。这种平衡的存在激发了MIX+GAN协议，该协议可以与任何现有的GAN训练相结合，并且经验表明可以改善其中的一些。
2017-08-01 cs.LG cs.NE stat.ML
Robust Generative Adversarial Network
University of Liverpool（利物浦大学）；Alibaba Group（阿里巴巴集团）
生成对抗网络（GANs）是一种强大的生成模型，但通常存在不稳定性和泛化问题，可能导致生成能力差。大多数现有的工作集中在稳定的训练，而忽略了泛化性能。在这项工作中，我们的目标是提高泛化能力的GANs的局部鲁棒性内的小邻域的训练样本。我们还证明了在训练集的小邻域内的鲁棒性可以导致更好的推广。特别是，我们设计了一个强大的优化框架，发电机和发电机相互竞争的\textit{worst-case}设置在一个小Wasserstein球。生成器尝试将\textit{the worst input distribution}（而不是大多数GANs中使用的高斯分布）映射到真实数据分布，而生成器尝试区分真实和虚假分布\textit{with the worst perturbation}。我们已经证明了我们的鲁棒方法可以在温和的假设下获得比传统GANs更严格的泛化上限，确保RGAN优于GANs的理论优势。在CIFAR-10，STL-10和CelebA数据集上的一系列实验表明，我们提出的鲁棒框架可以显著和一致地改善五个基线GAN模型。
2020-04-28 cs.LG stat.ML
On Predicting Generalization using GANs
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
对深度网络泛化边界的研究旨在提供仅使用训练数据集和网络参数预测测试误差的方法。虽然泛化边界可以提供关于架构设计、训练算法等的许多见解，他们目前没有做的是对实际测试误差产生良好的预测。最近推出的深度学习预测泛化竞赛~ \citep{jiang2020neurips}旨在鼓励发现更好地预测测试错误的方法。当前的论文研究了一个简单的想法：可以使用{ \em合成数据}预测测试错误吗？该数据是使用在相同训练数据集上训练的生成对抗网络（GAN）生成的。在研究了几种GAN模型和架构后，我们发现事实证明正是如此。事实上，使用在标准数据集上预训练的GANs，可以预测测试误差，而不需要任何额外的超参数调整。这个结果令人惊讶，因为GANs具有众所周知的局限性（例如模式坍塌），并且已知无法准确地学习数据分布。然而，生成的样本足以替代测试数据。几个额外的实验来探索为什么GANs在这项任务中表现出色的原因。除了预测泛化的新方法外，我们工作中提出的反直觉现象也可能需要更好地理解GANs的优势和局限性。
2022-03-17 cs.LG
Learning GANs and Ensembles Using Discrepancy
Google Research（谷歌研究院）；CIMS（库朗数学科学研究所）；New York University（纽约大学）
生成对抗网络（GANs）基于最小化两个分布之间的分歧来生成数据。因此，这种分歧的选择至关重要。我们认为，发散必须考虑到假设集和损失函数在随后的学习任务中使用，其中由GAN生成的数据用于训练。考虑结构信息对于推导泛化保证也很重要。因此，我们建议使用的差异措施，这是最初介绍的密切相关的问题，领域自适应，并精确地考虑到假设集和损失函数。我们表明，差异承认训练GANs的有利属性，并证明明确的泛化保证。我们提出了有效的算法，使用差异的两个任务：直接训练GAN，即DGAN，和混合以前训练的生成模型，即ED GAN。我们在玩具示例和几个基准数据集上的实验表明，DGAN与其他GANs具有竞争力，并且ED GAN优于现有的GAN集成，如Ada GAN。
2019-11-06 cs.LG stat.ML
Generalization in Generative Adversarial Networks: A Novel Perspective from Privacy Protection
Peking University（北京大学）；Ant Financial（蚂蚁金服）；IBM Research（IBM研究）
在本文中，我们的目标是从隐私保护的新角度来理解生成对抗网络（GANs）的泛化特性。理论上，我们证明了用于训练GAN的差分私有学习算法在一定程度上不会过拟合，即，泛化间隙可以是有界的。此外，最近的一些工作，如贝叶斯GAN，可以重新解释我们的理论见解的基础上，从隐私保护。定量地，为了评估训练良好的GAN模型的信息泄漏，我们对这些模型执行各种成员攻击。实验结果表明，以往的Lipschitz正则化技术不仅可以有效地减少泛化间隙，而且可以减轻训练数据集的信息泄漏。
2019-09-25 cs.CR cs.LG stat.ML
Double Descent and Other Interpolation Phenomena in GANs
Rice University（莱斯大学）；Ben-Gurion University（本-古里安大学）
本文研究 GAN 过参数化的泛化行为，证明度量或 f-散度学习下无双重下降，并提出伪监督方法使 GAN 出现双重下降，结合过参数化可加速训练并提升泛化性能。
2024-05-01 cs.LG
On the Anomalous Generalization of GANs
Peking University（北京大学）
生成模型，特别是生成对抗网络（GANs），最近受到了极大的关注。然而，已经观察到，在一些属性方面，例如图像中的简单几何图元的数量，GANs在实践中不能学习目标分布。受此观察的启发，我们发现了GANs导致异常泛化行为的两个具体问题，我们称之为样本不足和像素组合。对于样本不足的第一个问题，我们从理论上和经验上表明，在实践中的训练样本的批量大小可能是不够的，学习一个准确的判别函数。它可能导致生成器的训练动态不稳定，从而导致异常泛化。对于像素组合的第二个问题，我们发现，除了将正训练样本识别为真实之外，在某些情况下，训练者可能会被愚弄，将正训练样本的像素组合（例如，像素平均值）识别为真实。然而，这些组合在视觉上可能与目标分布中的真实样本不同。以被愚弄的样本为参考，生成器将进一步获得有偏的监督，导致异常的泛化行为。此外，在本文中，我们提出了减轻GANs异常泛化的方法。大量的基准测试实验表明，我们提出的方法提高FID分数高达30%的自然图像数据集。
2019-10-06 cs.CV cs.LG
Bridging the Gap Between $f$-GANs and Wasserstein GANs
Stanford University（斯坦福大学）
生成对抗网络（GANs）在学习高维分布方面取得了很大的成功。学习目标近似地最小化模型和数据分布之间的$f$ -发散（$f$ -GANs）或积分概率度量（Wasserstein GANs）。Wasserstein GANs具有优越的经验性能，但在$f$ -GANs中，可以将该算法解释为密度比估计器，这在某些GAN应用中是必要的。在本文中，我们弥合了$f$ -GANs和Wasserstein GANs（WGANs）之间的差距。首先，我们列出了两个约束变$f$发散估计目标，保持最佳的解决方案。接下来，我们最小化约束目标的拉格朗日松弛，并表明它概括了$f$ -GAN和WGAN的关键目标。在此基础上，提出了一种新的实用目标，命名为KL-Wasserstein GAN（KL-WGAN）.我们证明了KL-WGAN在合成数据集和真实世界图像生成基准上的经验成功，并在CIFAR 10图像生成上获得了最先进的FID分数。
2020-06-17 cs.LG stat.ML
A Correlation- and Mean-Aware Loss Function and Benchmarking Framework to Improve GAN-based Tabular Data Synthesis
Umeå University（于默奥大学）
针对GAN合成表格数据难以捕捉真实分布的问题，提出相关性与均值感知损失函数作为正则化器，并在十个数据集和八个基线上验证，显著提升数据质量及下游ML性能。
2024-05-27 cs.LG
CHAIN: Enhancing Generalization in Data-Efficient GANs via lipsCHitz continuity constrAIned Normalization
The Australian National University（澳大利亚国立大学）；Data61；CSIRO（联邦科学与工业研究组织）
针对数据受限 GAN 中 BN 导致梯度爆炸及判别器过拟合的问题，本文提出 CHAIN 归一化，通过零均值正则化、Lipschitz 约束和自适应特征插值提升稳定性与泛化，并在多个基准上达到 SOTA。
2025-03-15 cs.CV cs.LG
Understanding GANs: the LQG Setting
University of Maryland, College Park（马里兰大学帕克分校）；Stanford University（斯坦福大学）
生成对抗网络（GANs）已经成为从数据中学习概率模型的流行方法。在本文中，我们的目标是提供围绕GANs的一些基本问题的理解，包括它们的公式化，泛化和稳定性在一个简单的基准测试中，数据具有高维高斯分布。即使在这个简单的基准测试中，GAN问题也没有得到很好的理解，因为我们观察到现有的最先进的GAN架构可能由于（1）稳定性问题（即，收敛到差的局部解或根本不收敛），（2）近似问题（即，具有由不适当的GAN的损失函数引起的不适当的全局GAN优化器），以及（3）可推广性问题（即，需要大量样本用于训练）。在此设置中，我们提出了一个GAN架构，恢复最大似然解决方案，并演示了快速泛化。此外，我们分析了全局稳定性的不同计算方法的建议GAN优化，并强调其优点和缺点。最后，我们概述了我们的基于模型的方法设计GANs在更复杂的设置比考虑高斯基准的扩展。
2018-10-22 cs.IT cs.LG math.IT
Improving GANs Using Optimal Transport
OpenAI；Rutgers University（罗格斯大学）
我们提出了最优传输GAN（OT-GAN），生成对抗网络的一个变体，最小化了一个新的度量标准，测量生成器分布和数据分布之间的距离。这个度量，我们称之为mini-batch能量距离，将原始形式的最佳传输与在逆向学习特征空间中定义的能量距离相结合，从而产生具有无偏mini-batch梯度的高度区分性距离函数。在实验中，我们表明OT-GAN在使用大的小批量训练时非常稳定，并且我们在几个流行的图像生成基准问题上给出了最先进的结果。
2018-03-15 cs.LG stat.ML
(q,p)-Wasserstein GANs: Comparing Ground Metrics for Wasserstein GANs
University of Copenhagen（哥本哈根大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生成对抗网络（GANs）作为生成模型在计算机视觉和机器学习中产生了重大影响。Wasserstein GANs（WGANs）通过最小化模型和数据分布之间的$1$ -Wasserstein距离作为目标函数，将最优传输（OT）理论引入到GANs中。从那时起，WGAN由于其稳定性和理论框架而获得了相当大的兴趣。我们通过引入$(q,p)$ -Wasserstein GANs家族来贡献WGAN文献，该家族允许在GAN学习过程中使用更通用的$p$ -Wasserstein度量用于$p\geq 1$。虽然该方法能够将任何成本函数作为地面度量，我们专注于研究$q\geq 1$的$l^q$指标。这是一个值得注意的概括，因为在WGAN文献中，OT距离通常基于$l^2$地面度量。我们证明了不同的$p$ -Wasserstein距离的效果在两个玩具的例子。此外，我们通过比较MNIST和CIFAR-10数据集上不同的$(q,p)$对，表明地面度量确实有差异。我们的实验表明，改变地面度量和$p$可以显着改善常见的$(q,p) = (2,1)$情况。
2019-02-10 cs.LG stat.ML
How Does GAN-based Semi-supervised Learning Work?
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
生成对抗网络（GANs）已被广泛使用，并在半监督学习中取得了有竞争力的成绩。本文从理论上分析了基于GAN的半监督学习（GAN-SSL）的工作原理。我们首先证明，给定一个固定的生成器，优化GAN-SSL的优化等价于优化监督学习。因此，GAN-SSL中的最佳匹配预计在标记数据上是完美的。然后，如果完美的随机数可以进一步使优化目标达到其理论最大值，则最优生成器将匹配真实的数据分布。由于在实践中不可能达到理论上的最大值，因此不能期望获得用于生成数据的完美生成器，这显然与GANs的目标不同。此外，如果标记的数据可以遍历数据流形的所有连接子域，这在半监督分类中是合理的，我们还期望GAN-SSL中的最优分类在未标记的数据上也是完美的。总之，GAN-SSL中的极大极小优化理论上将通过意外地学习不完美的生成器，即，GAN-SSL通过利用未标记的信息，可以有效地提高神经网络的泛化能力。
2020-07-11 cs.LG stat.ML
Linear Discriminant Generative Adversarial Networks
我们开发了一种新的方法来训练GANs，用于无监督和类条件生成图像，称为线性判别GAN（LD-GAN）。LD-GAN的递归被训练以最大化生成样本和目标样本的隐藏表示的分布之间的线性可分性，而生成器基于通过对隐藏表示执行LDA而计算的决策超平面进行更新。LD-GAN提供了一个具体的分离能力的度量标准，我们的实验表明，在无监督的情况下，通过校准生成器和鉴别器之间的更新频率，可以简单地稳定LD-GAN的训练，而无需使用归一化方法和对权重的约束。在类条件生成任务中，与采用辅助分类器的WGAN相比，所提出的方法显示出更好的训练稳定性以及更好的泛化性能。
2017-07-25 cs.LG stat.ML
Manifold regularization with GANs for semi-supervised learning
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
生成对抗网络是一种强大的生成模型，能够对自然图像的流形进行建模。我们利用这个属性来执行流形正则化，通过使用Monte Carlo近似来近似拉普拉斯范数的变体，该近似可以很容易地用GAN计算。当被纳入半监督特征匹配GAN时，我们在CIFAR-10和SVHN基准上实现了基于GAN的半监督学习的最新结果，其方法比竞争方法更容易实现。我们还发现流形正则化提高了生成图像的质量，并且受到用于近似正则化器的GAN的质量的影响。
2018-07-11 cs.LG stat.ML
StudioGAN: A Taxonomy and Benchmark of GANs for Image Synthesis
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
针对GAN研究缺乏可靠统一基准、复现基线耗时的问题，提出开源库StudioGAN，构建多架构多方法支持的大规模统一基准，公平评估各类生成模型性能并提供实现与预训练权重。
2023-08-18 cs.CV cs.LG eess.IV
Metropolis-Hastings Generative Adversarial Networks
Uber AI Labs（优步人工智能实验室）
我们介绍了Metropolis-Hastings生成对抗网络（MH-GAN），它结合了马尔可夫链蒙特卡罗和GANs的各个方面。MH-GAN从由GAN的鉴别器-生成器对隐式定义的分布中提取样本，而标准GANs从仅由生成器定义的分布中提取样本。它使用来自GAN训练的鉴别器来构建围绕生成器的包装器，以改进采样。使用完美的分布函数，即使生成器不完美，这个包装的生成器也会从数据的真实分布中进行采样。我们使用DCGAN，WGAN和渐进式GAN在多个基准数据集（包括CIFAR-10和CelebA）上展示了改进的生成器的好处。
2019-05-17 cs.LG stat.ML
Deconstructing Generative Adversarial Networks
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
我们将GANs的性能分解为三个部分：1.制定：我们提出了一个扰动的人口目标的GANs。基于这一解释，我们表明，GANs可以被视为一个泛化的强大的统计框架，并提出了一种新的GAN架构，称为级联GANs，可证明恢复有意义的低维生成器近似时，真正的分布是高维和破坏离群值。2.概括：给定GANs的种群目标，我们设计了一个系统的原则，在允许距离下的投影，设计GANs，以满足使用有限样本的种群要求。我们在三种情况下实现了我们的原理，以实现多项式和有时接近最优的样本复杂度：（1）在任意的时间间隔下学习任意的生成器;（2）在TV距离下学习高斯位置族，其中我们利用我们的原理为Tukey中值作为GANs的最优性提供了新的证明;（3）学习高维任意分布在Wasserstein距离下的低维高斯近似。我们展示了GANs中近似误差和统计误差的基本权衡，并展示了如何将我们的原理应用于经验样本来预测有多少样本足以用于GANs，以便不受获胜问题的影响。3.优化：我们证明了交替梯度下降在优化PCA的GAN公式时可证明不是局部渐近稳定的。我们诊断的问题是极大极小的对偶间隙是非零的，并提出了一个新的GAN架构的对偶间隙是零，其中的游戏的值等于以前的极大极小值（而不是最大值）。我们证明了新的GAN结构在交替梯度下降优化下是全局渐近稳定的。
2019-05-20 cs.AI cs.LG stat.ML
Point Cloud GAN
Carnegie Mellon University（卡内基梅隆大学）
生成对抗网络（GAN）在学习不同类型数据的复杂数据分布方面具有良好的性能。在本文中，我们首先表明现有的GAN算法的一个简单的扩展是不适用于点云，因为所需的约束条件的歧视是未定义的数据集。我们提出了一个双重修改的GAN算法学习生成点云（PC-GAN）。首先，我们通过学习分层和可解释的抽样过程，将分层贝叶斯模型和隐式生成模型的思想结合起来。我们的方法的一个关键组成部分是，我们训练后验推理网络的隐变量。第二，而不是只使用最先进的Wasserstein GAN目标，我们提出了一个目标，这导致更严格的Wasserstein距离估计比常用的对偶形式。因此，PC-GAN定义了一个通用框架，可以合并许多现有的GAN算法。我们在ModelNet 40基准数据集上验证了我们的声明。使用生成的点云与真实网格之间的距离作为度量，我们发现通过夹层目标训练的PC-GAN在测试数据上比现有方法取得了更好的结果。此外，作为副产品，PC- GAN学习点云的通用潜在表示，这可以实现与其他无监督学习算法在对象识别任务上的竞争性能。最后，我们还提供了生成看不见的对象类和将图像转换为点云的研究，这表明了PC-GAN令人信服的泛化能力和潜力。
2018-10-13 cs.LG stat.ML
Teaching a GAN What Not to Learn
Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）；Indian Institute of Science（印度科学研究所）
生成对抗网络（GANs）最初被设想为无监督的生成模型，学习遵循目标分布。条件GANs、分类器GANs（ACGANs）等变体通过提供标记数据和使用多类判别器将GANs投影到监督和半监督学习框架上。在本文中，我们从一个不同的角度来探讨有监督的GAN问题，这是由著名的波斯诗人Rumi的哲学所激发的，他说：“知道的艺术是知道忽略什么。“在GAN框架中，我们不仅提供了GAN必须学习建模的正面数据，还提供了它必须学习避免的所谓负面样本-我们称之为“鲁米框架”。“这种公式允许学习器通过学习惩罚不受欢迎的生成样本来更好地表示潜在的目标分布-我们表明这种能力加速了生成器的学习过程。我们提出了一个重新制定的标准GAN（SGAN）和最小二乘GAN（LSGAN）内的鲁米设置。通过在MNIST、Fashion MNIST、CelebA和CIFAR-10数据集上进行的实验，证明了重构的优势。最后，我们考虑应用所提出的配方，以解决学习一个代表性不足的类在一个不平衡的数据集的重要问题。Rumi方法导致比标准GAN框架显著更低的FID分数，同时具有更好的泛化能力。
2020-10-29 cs.LG stat.ML
IVE-GAN: Invariant Encoding Generative Adversarial Networks
Bayer AG（拜耳公司）
生成对抗网络（GANs）是生成任务的强大框架。然而，它们难以训练，并且往往会错过真实数据生成过程的模式。虽然GANs可以在其潜在空间中学习数据的覆盖模式的丰富表示，但该框架错过了从数据到该潜在空间的逆映射。我们提出了不变编码生成对抗网络（IVE-GANs），这是一种新的GAN框架，它通过利用数据中对某些变换不变的特征，为数据中的单个样本引入了这种映射。由于模型将单个样本映射到潜在空间，因此它自然会鼓励生成器覆盖所有模式。我们证明了我们的方法在生成性能和学习丰富的表示几个数据集，包括常见的基准图像生成任务方面的有效性。
2017-11-23 cs.LG stat.ML
MMD GAN: Towards Deeper Understanding of Moment Matching Network
Carnegie Mellon University（卡内基梅隆大学）；AI Foundations, IBM Research（IBM研究院人工智能基础部）
生成矩匹配网络（Generative Moment Matching Network，GMMN）是一种深度生成模型，它与生成对抗网络（Generative Adversarial Network，GAN）的不同之处在于将生成对抗网络（Generative Adversarial Network，GAN）中的随机性检验替换为基于核最大均值差异（MMD）的双样本检验。虽然已经研究了MMD的一些理论保证，但在具有挑战性的大型基准数据集上，GMMN的经验性能仍然不如GAN具有竞争力。与GAN相比，GMMN的计算效率也不太理想，部分原因是其在训练期间需要相当大的批量大小。在本文中，我们建议通过引入对抗核学习技术来提高GMMN的模型表达能力和计算效率，作为原始GMMN中固定高斯核的替代。新方法结合了GMMN和GAN的核心思想，因此我们称之为MMD GAN。MMD GAN中的新距离度量是一种有意义的损失，具有弱拓扑的优点，并且可以通过梯度下降以相对较小的批量大小进行优化。在MNIST、CIFAR- 10、CelebA和LSUN等多个基准数据集上的评测结果表明，MMD-GAN的性能明显优于GMMN，与其他代表性的GAN作品相比具有竞争力。
2017-11-27 cs.AI cs.LG stat.ML
Noise Homogenization via Multi-Channel Wavelet Filtering for High-Fidelity Sample Generation in GANs
University of Macau（澳门大学）
在典型的生成对抗网络（GANs）的生成器中，输入噪声以通过一系列卷积运算生成假样本。然而，目前的噪声生成模型仅仅依赖于来自像素空间的信息，这增加了接近目标分布的难度。幸运的是，长期证明小波变换是能够分解的多个光谱信息的图像。在这项工作中，我们提出了一种新的多通道基于小波的滤波方法的GANs，以应对这个问题。当在生成器中嵌入小波去卷积层时，所得到的GAN（称为Wavelet GAN）利用小波去卷积来学习具有多个通道的滤波，其可以通过平均操作来有效地均匀化所生成的噪声，从而生成高保真样本。我们通过一个开放的GAN基准测试工具对Fashion-MNIST、KMNIST和SVHN数据集进行了基准测试实验。结果表明，WaveletGAN在生成高保真样本方面具有出色的性能，这要归功于在这些数据集上获得的最小FID。
2020-05-14 cs.CV cs.LG stat.ML
On Catastrophic Forgetting and Mode Collapse in Generative Adversarial Networks
Deakin University（迪肯大学）
在本文中，我们证明了生成对抗网络（GANs）即使在被训练为近似单个目标分布时也会遭受灾难性遗忘。我们表明，GAN训练是一个持续学习问题，其中改变模型分布的序列就是鉴别器的任务序列。序列中任务之间的不匹配程度决定了遗忘的程度。灾难性遗忘与模式坍塌相关，并且可以使GANs的训练不收敛。我们研究了GANs不同变体中的训练器输出的情况，发现当GAN收敛到一个良好的均衡时，真实的训练数据点是训练器的宽局部最大值。我们经验性地展示了局部最大值的锐度与GANs中的模式坍塌和泛化之间的关系。我们展示了灾难性遗忘如何防止真实数据点的局部极大值，从而导致不收敛。最后，我们研究了在GANs中防止灾难性遗忘的方法。
2020-03-21 cs.LG stat.ML
Data Augmentation Using GANs
University of Sao Paulo（圣保罗大学）；University of Tsukuba（筑波大学）
在本文中，我们提出使用生成对抗网络（GAN）来生成用于机器学习任务的人工训练数据。人工训练数据的生成在不平衡数据集等情况下非常有用，其作用类似于SMOTE或ADASYN。当数据包含敏感信息时也很有用，并且希望尽可能避免使用原始数据集（例如：医疗数据）。我们使用不同的网络架构在基准数据集上测试了我们的建议，并表明使用GAN生成的训练数据训练的决策树（DT）分类器与在原始数据集上训练的DT相比达到了相同的（有时甚至更好）准确性和召回率。
2019-04-19 cs.LG stat.ML
Adversarial network training using higher-order moments in a modified Wasserstein distance
A-Alpha Bio（A-Alpha Bio公司）
生成对抗网络（GANs）已被用于在压缩的潜在空间中产生与示例数据非常相似的数据，该压缩的潜在空间接近于足以在原始向量空间中进行重构。Wasserstein度量已被用作二进制交叉熵的替代方案，产生具有更大模式覆盖行为的更稳定的GANs。在这里，一个泛化的瓦瑟斯坦距离，使用高阶矩比平均值，推导出。训练一个GAN与此高阶Wasserstein度量表现出优越的性能，即使在调整略高的计算成本。这示出了生成合成抗体序列。
2022-10-07 cs.LG stat.ML
Quality Evaluation of GANs Using Cross Local Intrinsic Dimensionality
The University of Melbourne（墨尔本大学）；National Institute of Informatics（国立信息学研究所）
生成对抗网络（GANs）是一种优雅的数据生成机制。然而，使用GANs时的一个关键挑战是如何最好地衡量它们生成真实数据的能力。在本文中，我们证明了通过GAN模型学习的数据空间的固有维度特征可以为GAN质量提供有效的评估指标。特别是，我们提出了一种新的评估措施，CrossLID，它评估了真实世界数据的局部内在维度（LID），相对于在GAN生成的样本中发现的邻域。直观地说，CrossLID测量两个数据分布的流形彼此重合的程度。在4个基准图像数据集上的实验中，我们将我们提出的方法与几种最先进的评估指标进行了比较。我们的实验表明，CrossLID与GAN训练的进度密切相关，对模式坍塌敏感，对小规模噪声和图像变换具有鲁棒性，并且对样本大小具有鲁棒性。此外，我们展示了如何在GAN训练过程中使用CrossLID来提高生成质量。
2019-05-02 cs.LG stat.ML
Semi-supervised learning based on generative adversarial network: a comparison between good GAN and bad GAN approach
University of California, Los Angeles（加州大学洛杉矶分校）
近年来，基于生成对抗网络（GANs）的半监督学习方法受到了广泛关注。其中，两种不同的方法已经在各种基准数据集上取得了有竞争力的结果。坏的GAN学习分类器，其中不现实的样本分布在输入数据的支持的补充上。相反，Triple GAN由三人游戏组成，试图利用良好的生成样本来提高分类结果。在本文中，我们在不同的基准数据集上对这两种方法进行了全面的比较。我们展示了它们在图像生成上的不同属性，以及对所提供的标记数据量的敏感性。通过对这两种方法的全面比较，我们希望能为基于GAN的半监督学习的未来指明方向。
2019-05-17 cs.CV cs.LG
Universum GANs: Improving GANs through contradictions
LG Electronics（LG电子）
有限的标签数据使得任何监督学习问题都具有挑战性。半监督学习和universum学习等替代学习设置减轻了对标记数据的依赖，但仍然需要大量未标记数据，这些数据可能无法获得或获取成本高昂。基于GAN的数据生成方法最近通过生成合成样本来改善学习表现出了希望。然而，大多数现有的基于GAN的方法要么在有限的标记数据设置下提供较差的性能，要么导致低质量的生成数据。在本文中，我们提出了一个Universum GAN游戏，它在有限的数据设置下提供了更高的计算精度，同时生成高质量的真实数据。我们进一步提出了一个不断发展的网络损失，提高其收敛性和泛化性能。我们得到的理论保证，并提供实证结果，支持我们的方法。
2022-09-20 cs.AI cs.CV cs.LG
GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
生成对抗网络（GANs）擅长使用复杂模型创建逼真的图像，而最大似然法是不可行的。然而，GAN训练的收敛性仍然没有得到证明。我们提出了一个双时间尺度更新规则（TTUR），用于在任意GAN损失函数上训练具有随机梯度下降的GANs。TTUR对学习器和发生器都有各自的学习率。利用随机逼近理论，我们证明了TTUR收敛到一个平稳的局部纳什均衡在温和的假设下。收敛进行到流行的亚当优化，我们证明，它遵循一个沉重的球摩擦的动力学，从而更喜欢在客观景观平坦的最小值。为了评估GANs在图像生成时的性能，我们引入了“Fréchet Inception Distance”（FID），它比Inception Score更好地捕捉生成图像与真实图像的相似性。在实验中，TTUR改善了DCGAN和改进的Wasserstein GANs（WGAN-GP）的学习，在CelebA、CIFAR-10、SVHN、LSUN Bedrooms和10亿字基准上的表现优于传统的GAN训练。
2018-01-12 cs.LG stat.ML
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN
Seoul National University（首尔国立大学）
本文提出利用生成对抗网络交替训练生成器和分类器，以增强神经网络对对抗扰动的鲁棒性，并在CIFAR数据集上显著降低泛化误差，优于Dropout等正则化方法。
2023-07-04 cs.LG stat.ML
The Elusive Pursuit of Reproducing PATE-GAN: Benchmarking, Auditing, Debugging
University College London（伦敦大学学院）；SAS（SAS公司）；UC Riverside（加州大学河滨分校）
本文对六个开源PATE-GAN实现进行基准测试与隐私审计，发现无一能复现原始论文的效用性能，且均存在隐私泄露，并定位了19个隐私违规和5个其他错误。
2025-02-10 cs.CR cs.LG
Stackelberg GAN: Towards Provable Minimax Equilibrium via Multi-Generator Architectures
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Petuum Inc.（Petuum公司）
我们研究了通过新的架构设计来缓解GAN训练过程中的不稳定问题。minimax和maximin目标值之间的差异可以作为交替梯度下降在GANs优化中遇到的困难的代理。在这项工作中，我们给出了关于GANs的多生成器架构的好处的新结果。我们表明，极小极大间隙缩小到$ε$的发电机的数量增加率$\widetilde{O}(1/ε)$。这比$\widetilde{O}(1/ε^2)$最著名的结果有所改进。在我们的技术的核心是一个新的应用Shapley-Folkman引理的通用极大极小问题，在文献中，该技术是唯一已知的工作时，目标函数被限制为拉格朗日函数的约束优化问题。我们提出的Stackelberg GAN在合成和真实世界的数据集上都表现良好，通过$14.61\%$在基准数据集上提高了Fréchet Inception Distance。
2018-11-19 cs.LG stat.ML
Generalization and Memorization: The Bias Potential Model
Princeton University（普林斯顿大学）
用于学习概率分布的模型，如生成模型和密度估计器，其行为与用于学习函数的模型完全不同。一个例子是记忆现象，即最终收敛到经验分布，发生在生成对抗网络（GANs）中。因此，泛化的问题比监督学习的问题更微妙。对于偏置势模型，我们表明，如果采用早期停止，则可以实现与维度无关的泛化精度，尽管从长远来看，模型要么记住样本，要么发散。
2021-03-02 cs.LG stat.ML
Bridging GANs and Bayesian Neural Networks via Partial Stochasticity
本文通过将GANs视为具有部分随机性的贝叶斯神经网络，提出平滑损失景观和最小描述长度方法，以提升GANs的性能和理解。
2026-02-01 cs.CV cs.LG stat.ML
Multi-marginal Wasserstein GAN
South China University of Technology（华南理工大学）；The University of Adelaide（阿德莱德大学）；Peng Cheng Laboratory（鹏城实验室）
多边缘匹配问题旨在学习映射以将源域匹配到多个目标域，在多域图像翻译等应用中引起了广泛的关注。然而，解决这个问题有两个关键的挑战：（i）测量不同域之间的多边缘距离是非常棘手的;（ii）利用跨域相关性来匹配目标域分布是非常困难的。在本文中，我们提出了一种新的多边缘Wasserstein GAN（MWGAN），以最小化域之间的Wasserstein距离。具体来说，在多边际最优运输理论的帮助下，我们开发了一个新的具有内部和域间约束的对抗性目标函数，以利用跨域相关性。此外，我们从理论上分析了MWGAN的泛化性能，并在平衡和非平衡翻译任务上对其进行了实证评估。在玩具和真实世界数据集上的大量实验证明了MWGAN的有效性。
2019-11-03 cs.LG stat.ML
MR-GAN: Manifold Regularized Generative Adversarial Networks
Syracuse University（雪城大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）
尽管人们对生成对抗网络（GANs）的兴趣越来越大，但从理论和实践的角度来看，训练GANs仍然是一个具有挑战性的问题。为了解决这个问题，在本文中，我们提出了一种新的方法来利用独特的几何形状的真实数据，特别是流形信息。更具体地说，我们设计了一种方法来正则化GAN训练，通过添加一个额外的正则化项称为流形正则化。流形正则化器迫使生成器尊重真实数据流形的唯一几何形状并生成高质量的数据。此外，我们从理论上证明，在任何类别的GANs（包括DCGAN和Wasserstein GAN）中添加此正则化项会导致在泛化，平衡存在和稳定性方面的性能改善。初步实验表明，提出的流形正则化有助于避免模式坍塌，并导致稳定的训练。
2018-11-22 cs.CV cs.LG stat.ML
Conditional GAN for timeseries generation
Florida Institute of Technology（佛罗里达理工学院）
很明显，时间相关数据是世界上重要的信息来源。对于机器学习中的应用来说，挑战在于获得算法开发和分析所需的大量高质量数据。使用生成对抗网络（GAN）对合成数据进行建模一直是提供可行解决方案的核心。我们的工作集中在一维时间序列，并探讨了Few Shot方法，这是一个算法的能力，执行有限的数据。这项工作试图通过提出一种新的架构，时间序列GAN（TSGAN），以模拟现实的时间序列数据，以减轻挫折感。我们评估TSGAN从基准时间序列数据库的70个数据集。我们的研究结果表明，TSGAN表现优于竞争对手，无论是定量使用弗雷歇初始得分（FID）度量，定性分类时，作为评估标准。
2020-06-30 cs.LG stat.ML
A Wasserstein perspective of Vanilla GANs
Karlsruhe Insitute of Technology（卡尔斯鲁厄理工学院）
本文从Wasserstein距离视角建立Vanilla GANs与Wasserstein GANs的理论联系，推导出适用于ReLU网络的oracle不等式及收敛速率。
2024-07-29 cs.LG math.ST stat.ML
QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement
The Asahi Shimbun Company（朝日新闻社）；Tokyo Woman's Christian University（东京女子基督教大学）
提出参数高效的QC-GAN，结合四元数Conformer生成器和MetricGAN训练，通过汉密尔顿积共享权重减少参数量，在VoiceBank+DEMAND上以0.89M参数达到PESQ 3.48，性能媲美两倍大小模型。
2026-06-19 cs.AI cs.LG cs.SD
GANs May Have No Nash Equilibria
Massachusetts Institute of Technology（麻省理工学院）
生成对抗网络（GANs）代表了两个机器玩家（生成器和代理）之间的零和游戏，旨在学习数据的分布。虽然GANs在几个基准学习任务中取得了最先进的性能，但GAN极大极小优化仍然带来了巨大的理论和经验挑战。使用一阶优化方法训练的GANs通常无法收敛到稳定的解决方案，其中参与者无法提高其目标，即，基本博弈的纳什均衡。这些问题提出了在GAN零和博弈中存在纳什均衡解的问题。在这项工作中，我们通过几个理论和数值结果表明，确实GAN零和游戏可能没有任何局部纳什均衡。为了描述适用于GANs的均衡概念，我们考虑一个新的零和博弈的均衡，该博弈的目标函数由应用于原始目标的邻近算子给出，我们称之为邻近均衡的解决方案。与纳什均衡不同，近端均衡捕获了GANs的顺序性质，其中发电机首先移动，然后是发电机。我们证明了Wasserstein GAN问题的最优生成模型提供了一个近似均衡。受这些结果的启发，我们提出了一种新的方法，我们称之为近端训练，用于解决GAN问题。我们讨论了几个数值实验证明存在的近平衡解的GAN极大极小问题。
2020-02-21 cs.GT cs.LG stat.ML
G2R Bound: A Generalization Bound for Supervised Learning from GAN-Synthetic Data
HTC Research & Healthcare（HTC研究与医疗事业部）；Stanford University（斯坦福大学）
从使用生成对抗网络（GANs）合成的数据中执行监督学习，被称为GAN-合成数据，有两个重要的应用。首先，GANs可以生成更多标记的训练数据，这可以帮助提高分类准确度。其次，在出于隐私和/或安全原因而无法在某些场所之外发布真实数据的情况下，使用GAN-合成数据进行训练是一种合理的替代方案。本文提出了一个泛化界，以保证从GAN-合成数据学习的分类器的泛化能力。该泛化界有助于开发人员衡量从合成数据学习和在真实数据上测试之间的泛化差距，因此可以提供提高泛化能力的线索。
2019-05-29 cs.LG stat.ML
Generative adversarial learning with optimal input dimension and its adaptive generator architecture
New Cornerstone Science Laboratory（新基石科学实验室）；Center of Statistical Research（统计研究中心）；School of Statistics（统计学院）；Southwestern University of Finance and Economics（西南财经大学）
本文提出 G-GANs 框架，通过组惩罚与架构惩罚自适应选择最优输入维度和生成器结构，提升 GAN 训练稳定性与生成精度，并在多个基准上取得显著性能改进。
2024-05-06 cs.LG stat.ME stat.ML
TorchGAN: A Flexible Framework for GAN Training and Evaluation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
TorchGAN是一个基于PyTorch的框架，用于编写简洁易懂的代码，用于训练和评估生成对抗网络。该框架的模块化设计允许轻松定制模型架构、损失函数、训练范例和评估指标。TorchGAN的关键特性是它的可扩展性，内置支持大量流行的模型，损失和评估指标，以及与普通PyTorch相比的零开销。通过使用该框架实现几个流行的GAN模型，我们证明了它的可扩展性和易用性。我们还将所述模型的框架的训练时间与相应的基线PyTorch实现进行了基准测试，并观察到TorchGAN的功能几乎为零。
2019-09-08 cs.CV cs.LG stat.ML
How Well Can Generative Adversarial Networks Learn Densities: A Nonparametric View
University of Chicago（芝加哥大学）
本文研究了生成对抗网络（GAN）框架下学习密度的收敛速度，借鉴了非参数统计的见解。我们引入了一种改进的GAN估计器，通过同时利用目标密度和评估度量中的平滑程度来实现更快的速率，这在理论上弥补了文献中报道的模式崩溃问题。构造了一个极大极小下界，表明当维数较大时，新的GAN估计的速率指数接近最优。人们可以将我们的结果视为以定量的方式回答GAN在评估指标的层次结构下如何学习具有不同平滑特性的广泛密度。作为一个副产品，我们还获得了更深的ReLU神经网络的GAN的改进的泛化界。
2018-02-16 cs.LG math.ST stat.ML
Sequential training of GANs against GAN-classifiers reveals correlated "knowledge gaps" present among independently trained GAN instances
Google Research（谷歌研究院）
本研究通过顺序训练GAN分类器与GAN，发现StyleGAN2能在不降低输出质量的情况下欺骗分类器，而DCGAN不能，揭示了不同GAN实例间相关的知识缺口及其对训练的影响。
2023-03-27 cs.CV cs.LG
Using generative adversarial networks to synthesize artificial financial datasets
American Express（美国运通）
生成对抗网络（GANs）在生成逼真的图像方面变得非常流行。在本文中，我们建议使用GANs来合成人工金融数据，以用于研究和基准测试。我们在三个美国运通数据集上测试了这种方法，并表明经过适当训练的GANs可以高保真地复制这些数据集。对于我们的实验，我们定义了一种新型的GAN，并提出了数据预处理方法，这些方法可以使GANs具有良好的训练和测试性能。我们还讨论了评估生成的数据的质量的方法，以及它们与原始真实数据的比较。
2020-02-06 cs.LG q-fin.ST stat.ML
Extended Missing Data Imputation via GANs for Ranking Applications
Cornell University（康奈尔大学）；Amazon（亚马逊）
我们提出了条件填补GAN，一种基于生成对抗网络（GANs）的扩展缺失数据填补方法。激励用例是学习排名，现代搜索，推荐系统和信息检索应用程序的基石。经验排序数据集并不总是遵循标准高斯分布或完全随机缺失（MCAR）机制，这是经典缺失数据插补方法的标准假设。我们的方法提供了一个简单的解决方案，提供兼容的插补保证，同时放松假设缺失的机制和回避近似棘手的分布，以提高插补质量。我们证明了最佳的GAN填补实现扩展随机缺失（EMAR）和扩展总是随机缺失（EAMAR）机制，超越了天真的MCAR。我们的方法在开源Microsoft Research Ranking（MSR）数据集和合成排名数据集上展示了最高的插补质量，与最先进的基准和各种特征分布相比。使用专有的Amazon Search排名数据集，我们还展示了与地面实况数据相比，在GAN估算数据上训练的排名模型的可比排名质量指标。
2021-11-10 cs.LG stat.AP stat.ML
On the Privacy Properties of GAN-generated Samples
Carnegie Mellon University（卡内基梅隆大学）
生成对抗网络（GANs）的隐私影响是一个非常有趣的话题，导致最近的几种算法用于训练具有隐私保证的GANs。通过与GANs的泛化特性建立联系，我们证明了在某些假设下，GAN生成的样本本质上满足某些（弱）隐私保证。首先，我们证明了如果一个GAN在m个样本上训练并用于生成n个样本，则生成的样本对于（delta，delta）对是（delta，delta）-差分私有的，其中delta的尺度为O（n/m）。我们证明了在某些特殊条件下，这个上界是紧的。接下来，我们研究了GAN生成的样本对成员推断攻击的鲁棒性。我们将成员推断建模为假设检验，其中对手必须确定给定样本是从训练数据集还是从底层数据分布中提取的。我们表明，这种对手可以实现ROC曲线下的面积，其规模不优于O（m^{-1/4}）。
2022-06-03 cs.AI cs.CR cs.LG
AR-GAN: Generative Adversarial Network-Based Defense Method Against Adversarial Attacks on the Traffic Sign Classification System of Autonomous Vehicles
Clemson University（克莱姆森大学）
提出AR-GAN防御框架，通过GAN重建去噪并分类交通标志图像，在黑盒与FGSM、DeepFool、C&W、PGD白盒攻击下均表现稳健，尤其在强白盒扰动中优于基准方法。
2023-12-31 cs.AI cs.CR cs.CV
Bayesian GAN
Uber AI Labs（Uber人工智能实验室）；Cornell University（康奈尔大学）
生成对抗网络（GANs）可以隐式学习图像、音频和数据的丰富分布，这些分布很难用显式可能性进行建模。我们提出了一个实用的贝叶斯公式的无监督和半监督学习与GANs。在这个框架内，我们使用随机梯度哈密顿蒙特卡罗边缘化的发电机和可再生能源网络的权重。所得到的方法是直接的，并获得良好的性能，没有任何标准的干预，如特征匹配，或小批量歧视。通过探索生成器参数的表达后验，贝叶斯GAN避免了模式崩溃，产生了可解释的和多样化的候选样本，并为包括SVHN，CelebA和CIFAR-10在内的基准的半监督学习提供了最先进的定量结果，优于DCGAN，Wasserstein GANs和DCGAN集成。
2017-11-08 cs.AI cs.CV cs.LG
Bi-Discriminator Class-Conditional Tabular GAN
École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）；IVADO Institution（IVADO研究所）；The Fédération des Caisses Desjardins du Québec（魁北克加鼎银行联合会）；École Polytechnique de Montréal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
本文介绍了一种双列GAN，用于合成包含连续、二元和离散列的表格数据集。我们所提出的方法采用了自适应的预处理方案和一个新的条件项的生成器网络，以更有效地捕捉输入样本分布。此外，我们实现了简单而有效的架构，旨在提供更多的判别梯度信息的生成器的神经网络。我们在四个基准公共数据集上的实验结果证实了我们的GAN在似然适应度度量和机器学习功效方面的优越性能。
2021-12-02 cs.LG
AuthorGAN: Improving GAN Reproducibility using a Modular GAN Framework
IBM Research AI（IBM研究院人工智能部门）；IIIT Delhi（德里印度理工学院）
生成模型在文献中越来越受欢迎，生成对抗网络（GAN）是最成功的变体。随着这种需求的增长和普及，实现和使用GAN模型变得同样困难和具有挑战性。在47个从业者进行的定性用户调查显示，专家级技能需要使用GAN模型的给定任务，尽管存在各种开源库。在这项研究中，我们提出了一个新的系统称为AuthorGAN，旨在实现真正的民主化GAN创作。定义了GAN模型的高度模块化的库不可知表示，以实现GAN架构在Keras，Tensorflow和PyTorch等不同库之间的互操作性。使用node-red平台构建了一个直观的基于拖放的可视化设计器，以实现自定义架构设计，而无需编写任何代码。五种不同的GAN模型作为该框架的一部分实现，并使用基准MNIST数据集显示不同GAN模型的性能。
2019-11-26 cs.HC cs.LG
