Quantitatively Evaluating GANs With Divergences Proposed for Training
Janelia Research Campus, HHMI（霍华德·休斯医学研究所珍妮莉亚研究园区）；AIFounded Inc.（人工智能基金会公司）；University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）
生成对抗网络（GANs）在近似高维输入数据样本的复杂分布方面非常有效，并且在理论和应用方面都在理解和改进GAN性能方面取得了实质性进展。然而，我们目前缺乏定量的模型评估方法。正因为如此，虽然提出了许多GAN变体，但我们对其相对能力的了解相对较少。在本文中，我们使用通常仅用于训练的发散和距离函数来评估各种类型的GANs的性能。我们观察到各种建议指标的一致性，有趣的是，测试时间指标不支持使用相同训练时间标准的网络。我们还将所提出的指标与人类感知分数进行比较。
2018-04-28 cs.LG
Learning GANs and Ensembles Using Discrepancy
Google Research（谷歌研究院）；CIMS（库朗数学科学研究所）；New York University（纽约大学）
生成对抗网络（GANs）基于最小化两个分布之间的分歧来生成数据。因此，这种分歧的选择至关重要。我们认为，发散必须考虑到假设集和损失函数在随后的学习任务中使用，其中由GAN生成的数据用于训练。考虑结构信息对于推导泛化保证也很重要。因此，我们建议使用的差异措施，这是最初介绍的密切相关的问题，领域自适应，并精确地考虑到假设集和损失函数。我们表明，差异承认训练GANs的有利属性，并证明明确的泛化保证。我们提出了有效的算法，使用差异的两个任务：直接训练GAN，即DGAN，和混合以前训练的生成模型，即ED GAN。我们在玩具示例和几个基准数据集上的实验表明，DGAN与其他GANs具有竞争力，并且ED GAN优于现有的GAN集成，如Ada GAN。
2019-11-06 cs.LG stat.ML
A Convex Duality Framework for GANs
Stanford University（斯坦福大学）
生成对抗网络（GAN）是一个模仿真实模型的生成器和一个区分生成器产生的样本与真实训练样本之间的极大极小博弈。给定一个无约束的可逼近任何函数，这个游戏简化为找到生成模型，最小化数据分布的发散度量，例如Jensen-Shannon（JS）发散。然而，在实践中，该方法被限制在较小的类$\mathcal{F}$中，例如神经网络。然后，一个自然的问题是，当我们约束$\mathcal{F}$时，发散最小化解释如何变化。在这项工作中，我们通过开发一个用于分析GANs的凸对偶框架来解决这个问题。对于凸集$\mathcal{F}$，该对偶框架将原始GAN公式解释为找到具有最小JS-发散的生成模型，该生成模型对被惩罚以匹配数据分布的矩的分布具有最小JS-发散，其中矩由$\mathcal{F}$中的鉴别器指定。我们表明，这种解释更普遍地适用于f-GAN和Wasserstein GAN。作为一个副产品，我们将对偶框架应用于f-散度和Wasserstein距离的混合。与f-发散不同，我们证明了所提出的混合发散随着生成模型而连续变化，这表明在f-GAN和vanilla GAN中正则化Lipschitz常数。我们数值评估的权力，建议的正则化计划，以提高GAN的训练性能。
2018-10-28 cs.LG stat.ML
Improved generator objectives for GANs
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
我们提出了一个框架来理解GAN训练交替密度比估计和近似发散最小化。这为实践中经常使用的不匹配的GAN生成器和SVM目标提供了解释，并解释了样本多样性差的问题。我们还得到了一个家庭的发电机目标，目标是任意$f$ -分歧，而不最小化下限，并使用它们来训练生成图像模型，目标是提高样本质量或更大的样本多样性。
2016-12-08 cs.LG stat.ML
Approximability of Discriminators Implies Diversity in GANs
Stanford University（斯坦福大学）；MIT（麻省理工学院）
虽然生成对抗网络（GANs）在学习复杂的现实世界分布方面取得了令人印象深刻的结果，但最近的研究表明，它们缺乏多样性或模式坍塌。Arora等人的理论工作表明了GANs统计特性的困境：强大的鉴别器导致过拟合，而弱鉴别器无法检测模式坍塌。相比之下，我们在本文中表明，如果GAN类对特定的生成器类（而不是对所有可能的生成器）具有很强的区分能力，则GANs原则上可以以多项式样本复杂度学习Wasserstein距离（或在许多情况下是KL发散）的分布。对于各种生成器类，如混合高斯，指数族，可逆和内射神经网络生成器，我们设计相应的鉴别器（通常是特定架构的神经网络），使得积分概率度量（IPM）诱导的鉴别器可以证明近似Wasserstein距离和/或KL-发散。这意味着如果训练成功，那么学习的分布接近Wasserstein距离或KL发散的真实分布，因此不能丢弃模式。我们的初步实验表明，在合成数据集上，测试IPM与KL散度或Wasserstein距离具有良好的相关性，这表明GANs中缺乏多样性可能是由优化中的次优性而不是统计效率低下引起的。
2019-07-01 cs.DS cs.LG stat.ML
Asymptotic Statistical Analysis of $f$-divergence GAN
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）
生成对抗网络（GANs）在数据生成方面取得了巨大的成功。然而，其统计特性尚未完全了解。在本文中，我们考虑的统计行为的一般$f$ -发散制定的GAN，其中包括Kullback-Leibler分歧是密切相关的最大似然原理。我们证明了，对于正确指定的参数生成模型，在适当的正则性条件下，具有相同类的所有$f$ -发散GANs都是渐近等价的。此外，通过适当地选择局部最优估计，它们渐近地等价于最大似然估计。对于错误指定的生成模型，具有不同$f$ -发散的GANs {收敛到不同的估计器}，因此不能直接比较。然而，研究表明，对于一些常用的$f$ -分歧，原始$f$ -GAN并不是最佳的，因为当原始$f$ -GAN公式中的鉴别器训练被逻辑斯谛回归取代时，可以实现更小的渐进方差。由此产生的估计方法被称为对抗梯度估计（AGE）。实验结果支持了该理论，并证明了在模型误设定情况下AGE优于原始$f$ -GANs。
2022-09-14 cs.LG math.ST stat.ML
Non-saturating GAN training as divergence minimization
Google（谷歌）
非饱和生成对抗网络（GAN）训练被广泛使用，并不断取得突破性成果。然而，到目前为止，这种方法缺乏强有力的理论依据，与诸如f-GANs和Wasserstein GANs等替代方案相比，它们的动机是近似发散最小化。在本文中，我们证明了非饱和GAN训练实际上近似最小化了特定的f-发散。我们开发了一般的理论工具来比较和分类f-发散，并使用这些来表明，新的f-发散是定性类似于反向KL。这些结果有助于解释高样本质量，但差的多样性，经常观察到经验时，使用该方案。
2020-10-15 cs.LG stat.ML
Statistical Error Bounds for GANs with Nonlinear Objective Functionals
Texas State University（德克萨斯州立大学）
本文针对结合 $f$-散度与正则化判别器空间的非线性 $(f,Γ)$-GAN，利用新型 Rademacher 复杂度界建立有限样本统计误差界，证明其一致性并统一 IPM-GAN 结果。
2025-05-10 cs.LG stat.ML
Generalized Dual Discriminator GANs
International Institute of Information Technology, Hyderabad（国际信息科技学院，海得拉巴）
本文提出 D2 α-GAN 并将其推广为广义双判别器 GAN，证明其极小极大目标等价于 f-散度与反向 f-散度组合的最小化，并通过二维合成实验验证优势。
2025-07-23 cs.IT cs.LG math.IT
Linking Generative Adversarial Learning and Binary Classification
在这篇文章中，我们指出了生成对抗（GA）训练和二进制分类之间的基本联系-任何强大的分类器本质上都会计算真实样本和生成样本之间的（f-）分歧。在决策理论中反复重新推导的结果对GA网络（GANs）具有影响，通过设计模糊损失函数，为训练f-GANs提供了另一种视角。
2017-09-05 cs.AI cs.LG stat.ML
Training Deep Energy-Based Models with f-Divergence Minimization
Stanford University（斯坦福大学）
基于能量的深度模型（EBM）在分布参数化方面非常灵活，但由于难以处理的配分函数而具有计算挑战性。它们通常通过最大似然进行训练，使用对比发散来近似数据和模型分布之间的KL发散的梯度。虽然KL发散有许多理想的属性，但其他f发散在训练隐式密度生成模型（如生成对抗网络）方面表现出了优势。在本文中，我们提出了一个通用的变分框架称为f-EBM训练EBM使用任何所需的f-发散。我们引入了相应的优化算法，并利用非线性动力系统理论证明了其局部收敛性。实验结果证明了f-EBM优于对比发散，以及使用KL以外的f-发散训练EBM的好处。
2020-07-21 cs.LG stat.ML
Distributional Robustness with IPMs and links to Regularization and GANs
The Australian National University（澳大利亚国立大学）；Data61
由于深度神经网络对小扰动的脆弱性，对抗性攻击的鲁棒性是一个重要的问题，近年来受到了广泛的关注。分布式鲁棒优化（DRO）是解决这一挑战的一种特别有前途的方法，它通过基于发散的不确定性集来研究鲁棒性，并为正则化等鲁棒化策略提供了有价值的见解。在机器学习的背景下，大多数现有的结果选择了$f$ -分歧，瓦瑟斯坦距离和最近的最大平均离散（MMD）来构建不确定性集。我们扩展这条工作线的目的，通过正则化的理解鲁棒性，通过研究不确定性集构造的积分概率距离（IPM）-一个大家庭的分歧，包括MMD，总变差和瓦瑟斯坦距离。我们的主要结果表明，DRO下\textit{any}选择IPM对应于一个家庭的正则化惩罚，恢复和改善现有的结果，在设置的MMD和瓦瑟斯坦距离。由于我们结果的一般性，我们表明其他IPM选择对应于机器学习中其他常用的惩罚。此外，我们扩展了我们的结果，通过$f$ -GANs揭示了对抗生成建模，构成了$f$ -GAN目标的分布鲁棒性的第一个研究。我们的研究结果揭示了鲁棒性方面的非线性集合的归纳属性，使我们能够对几种基于惩罚的GAN方法（如Wasserstein-，MMD-和Sobolev-GAN）给予积极的评价。总之，我们的结果将GANs与分布鲁棒性紧密联系起来，扩展了以前关于DRO的结果，并有助于我们理解正则化与鲁棒性之间的联系。
2020-06-08 cs.LG stat.ML
The Inductive Bias of Restricted f-GANs
University of California, San Diego（加州大学圣地亚哥分校）
生成对抗网络是一种新的统计推断方法，已经取得了很大的经验成功;然而，导致这种成功的因素仍然不清楚。在这项工作中，我们试图分析生成对抗性学习-即，作为生成器和生成器之间的游戏结果的统计推断-以了解它与经典的统计推断解决方案（如最大似然推断和矩量法）的区别。具体来说，我们提供了一种由一种简单形式的生成对抗学习（称为限制性f-GAN）推断的分布的理论表征-其中，f-GAN是给定函数类中的函数，生成器诱导的分布被限制在预先指定的分布类中，目标类似于f-发散的变分形式。我们的结果的一个结果是，对于线性KL-GAN-也就是说，当k是某个特征空间上的线性函数并且f对应于KL发散时-由最佳生成器引起的分布既不是最大似然法，也不是矩量法，而是两者的有趣组合。
2018-09-12 cs.LG stat.ML
Learning Implicit Generative Models by Teaching Explicit Ones
Tsinghua University（清华大学）
隐式生成模型由于没有定义显式密度函数而难以训练。生成对抗网络（GANs）提供了一个极小极大框架来训练这样的模型，但是由于JS发散的性质，它可能会遭受模式坍塌。本文提出了一种通过教学学习（LBT）方法来学习隐式模型，该方法通过优化GANs中的KL发散而不是JS发散来避免模式坍塌问题。在LBT中，引入辅助密度估计来拟合隐模型的分布，而隐模型教导密度估计来匹配数据分布。LBT被表示为一个双层优化问题，其最优生成器与真实数据分布相匹配。LBT可以自然地与GANs集成，以获得享受免费好处的混合LBT-GAN。最后，我们提出了一种带展开的随机梯度上升算法来解决具有挑战性的学习问题。实验结果证明了该方法的有效性。
2020-06-24 cs.LG stat.ML
Variational f-divergence Minimization
University College London（伦敦大学学院）；London School of Economics（伦敦政治经济学院）
本文提出一种结合Spread Divergence的变分方法，使得任意f-散度均可用于训练广泛的潜变量模型，扩展了非似然训练准则的适用范围。
2024-12-14 cs.LG stat.ML
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows
LAMSADE, CNRS（法国国家科学研究中心LAMSADE实验室）；Université Paris-Dauphine-PSL（巴黎第九大学（巴黎多菲纳大学））
提出 PR-divergences 训练框架，将用户指定的精确率-召回率权衡转化为 $f$-散度最小化，并提升 BigGAN 在 ImageNet 上的精确率或召回率。
2023-11-01 cs.LG
A Novel Framework for Selection of GANs for an Application
Robert Bosch Engineering and Business Solutions Private Limited（罗伯特·博世工程与商业解决方案私人有限公司）；HEC Paris（巴黎高等商学院）
生成对抗网络（GAN）是当前的研究热点。知识体系是碎片化的，导致在为给定场景选择适当的GAN时采用试错法。我们从一开始就全面总结了GANs的演变，解决了模式坍塌、梯度消失、不稳定训练和不收敛等问题。我们还从应用的角度比较了各种GANs，其行为和实现细节。我们提出了一个新的框架来识别候选GANs的基础上的架构，损失，正则化和分歧的特定用例。我们还讨论了应用程序的框架，使用一个例子，我们证明了显着减少搜索空间。这种确定潜在GANs的有效方法降低了组织AI开发的单位经济性。
2021-05-17 cs.AI cs.CV cs.LG
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization
Microsoft Research（微软研究院）
生成式神经采样器是使用前馈神经网络实现采样的概率模型：它们采用随机输入向量并从由网络权重定义的概率分布中产生样本。这些模型具有表达能力，可以有效地计算样本和导数，但不能用于计算似然性或边缘化。生成对抗训练方法允许通过使用辅助判别神经网络来训练这样的模型。我们表明，生成对抗的方法是一个特殊的情况下，现有的更一般的变分散度估计方法。我们证明了任何f-发散都可以用于训练生成神经采样器。我们讨论了不同的发散函数选择对训练复杂性和生成模型质量的好处。
2016-06-02 cs.LG stat.ME stat.ML
Structure-preserving GANs
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
生成对抗网络（GANs）是一类基于生成器和代理之间的两人博弈的分布学习方法，通常可以表示为基于未知分布和生成分布之间的分歧的变分表示的极大极小问题。我们引入了结构保持GANs作为一个数据高效的框架，用于学习具有额外结构（如群对称性）的分布，通过开发新的分歧变分表示。我们的理论表明，我们可以减少的σ-空间的不变σ-空间上的投影，使用条件期望与相关的基础结构的σ-代数。此外，我们证明，减少的空间必须伴随着一个精心设计的结构化发电机，有缺陷的设计可能很容易导致灾难性的“模式坍塌“的教训分布。我们通过为具有内在群对称性的分布构建保持对称性的GANs来构建我们的框架，并证明了两个参与者，即等变生成器和不变生成器，在学习过程中发挥着重要但独特的作用。包括真实世界医学成像在内的广泛数据集的实证实验和消融研究验证了我们的理论，并表明我们提出的方法显着提高了样本保真度和多样性-几乎是Fréchet Inception Distance测量的数量级-特别是在小数据制度中。
2022-06-17 cs.LG math.PR stat.ML
On Convergence and Stability of GANs
Georgia Institute of Technology（佐治亚理工学院）
我们建议将GAN训练动态研究为遗憾最小化，这与流行的观点相反，即真实分布和生成分布之间的分歧是一致的最小化。我们从这个新的角度分析了GAN训练的收敛性，以理解为什么会发生模式坍塌。我们假设在这个非凸博弈中存在不期望的局部均衡，这是负责模式坍塌。我们观察到，这些局部平衡往往表现出尖锐的梯度的一些真实的数据点周围的函数。我们证明，这些退化的局部平衡可以避免梯度惩罚计划称为DRAGAN。我们表明，DRAGAN可以更快地训练，实现更少的模式坍塌，提高稳定性，并导致生成器网络具有更好的建模性能在各种架构和目标函数。
2017-12-10 cs.AI cs.CV cs.GT
Some Theoretical Properties of GANs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LPSM（巴黎统计数学实验室）；Univ Rennes（雷恩大学）；IRMAR（雷恩数学应用研究所）；Criteo（科利特奥）
生成对抗网络（GANs）是一类生成算法，已被证明可以生成最先进的样本，特别是在图像创建领域。GANs的基本原理是通过生成器族和鉴别器族之间的对抗游戏来优化目标函数，从而近似给定数据集的未知分布。在本文中，我们通过分析GANs的一些数学和统计特性，提供了对GANs更好的理论理解。我们研究了GANs背后的对抗原则与Jensen-Shannon发散之间的深层联系，以及问题的一些最优性特征。还提供了一个分析的作用，通过近似参数的family。此外，从统计的角度研究了估计分布的大样本性质，并证明了一个中心极限定理。我们的一些结果与模拟的例子说明。
2018-03-21 cs.LG stat.ML
Measure-conditional Discriminator with Stationary Optimum for GANs and Statistical Distance Surrogates
Brown University（布朗大学）
我们提出了一种简单但有效的鉴别器修改，即测量条件鉴别器，作为不同GANs的即插即用模块。通过将生成的分布作为输入的一部分，使目标最优的最佳的是固定的，建议的最佳的最佳比香草的更强大。测量条件分布的变体也可以处理多个目标分布，或者作为统计距离的代理模型，例如KL散度，应用于迁移学习。
2021-01-17 cs.LG
Addressing GAN Training Instabilities via Tunable Classification Losses
Arizona State University（亚利桑那州立大学）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
本文通过可调CPE损失重新表述GAN目标，提出(α_D,α_G)-GAN双目标框架，将训练稳定问题转化为f-散度最小化，并在多个数据集上验证其缓解训练不稳定的效果。
2023-10-27 cs.IT cs.LG math.IT
f-GANs in an Information Geometric Nutshell
Data61；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
Nowozin \textit{et al}去年展示了如何将GAN \textit{principle}扩展到所有$f$ -发散。这种方法很优雅，但缺乏对监督博弈的完整描述，并且对关键参与者，即生成器说得很少：例如，如果解决GAN博弈意味着在某些参数空间中收敛，那么生成器实际上会收敛到什么？这是如何提供关于发电机设计的提示，并与蓬勃发展但几乎完全是实验性的文献相比？在本文中，我们揭示了广泛的一类分布，这种收敛发生-即，变形指数族，指数族的广泛超集-并显示与其他三个关键GAN参数：损失，游戏和架构的紧密联系。特别是，我们表明，当前的深度架构能够使用特别紧凑的设计分解非常大量的这种密度，因此显示了深度架构的力量及其在$f$ -GAN游戏中的优雅。这一结果在给出\textit{activation functions}的一个充分条件时成立--这一条件被证明是普遍选择所满足的。我们的研究结果的关键是变分推广的一个老定理，关系到正常的指数家庭和分歧之间的自然参数的KL分歧。我们完成了这个图片与额外的结果和实验的见解，这些结果如何可以被用来地面进一步改进的GAN架构，通过（i）的原则设计的激活函数在发电机和（ii）一个明确的集成适当的复合损耗的链接功能在网络。
2017-07-14 cs.LG stat.ML
Why GANs are overkill for NLP
Microsoft Research（微软研究院）；Aalto University（阿尔托大学）；YaiYai Ltd（YaiYai有限公司）
这项工作提供了一个新的理论视角，说明为什么尽管有许多尝试，生成建模的对抗方法（例如，GANs）对于某些生成任务，特别是顺序任务（如自然语言生成）并不像在其他任务（如计算机视觉）中那样受欢迎。特别是，在文本等连续数据上，最大似然方法的使用率明显高于GANs。我们表明，虽然它可能看起来，最大化的可能性是本质上不同于最小化的可验证性，这种区别在很大程度上是人为的，只适用于有限的模型。我们认为，最小化KL分歧（即，最大化可能性）是一种更有效的方法，可以有效地最小化对抗模型寻求优化的相同可验证性标准。约简表明，最小化可扩展性可以被视为简单地提高某些模型家族的可能性，包括n-gram模型和具有softmax输出层的神经网络。为了实现一个完整的多项式时间的减少，一个新的下一个令牌可扩展性模型被认为是。
2022-05-19 cs.LG stat.ML
Realizing GANs via a Tunable Loss Function
Arizona State University（亚利桑那州立大学）
我们介绍了一种可调的GAN，称为$α$ -GAN，由$α\in (0,\infty]$参数化，它在各种$f$ -GANs和基于积分概率度量的GANs之间插值（在约束条件下）。我们构造$α$ -GAN使用监督损失函数，即，$α$ -损失，这是一个可调的损失函数捕捉几个典型的损失。我们发现$α$ -GAN与Arimoto发散密切相关，Arimoto发散首先由Österriecher（1996）提出，后来由Liese和Vajda（2006）研究。我们还研究了$α$ -GAN的收敛性质。我们认为，$α$ -GAN引入的整体理解将具有解决消失梯度和模式坍塌这两个问题的实际好处。
2021-10-18 cs.IT cs.LG math.IT
"Best-of-Many-Samples" Distribution Matching
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
生成对抗网络（GANs）可以在生成建模任务中实现最先进的样本质量，但存在模式坍塌问题。另一方面，变分自编码器（VAE）明确地最大化基于重建的数据对数似然，迫使其覆盖所有模式，但遭受较差的样本质量。最近的工作提出了混合VAE-GAN框架，该框架将基于GAN的合成似然性集成到VAE目标，以解决模式坍塌和样本质量问题，但成功有限。这是因为VAE目标强制在数据对数似然性和对潜在先验的发散之间进行权衡。合成似然比项在训练过程中也表现出不稳定性。我们提出了一个新的目标与“最佳的多样本”重建成本和稳定的直接估计的合成似然。这使得我们的混合VAE-GAN框架能够同时实现高数据对数似然和低对潜在先验的发散，并且在模式覆盖和质量方面比混合VAE-GANs和普通GANs都有显着改善。
2019-09-27 cs.LG stat.ML
$α$-GAN: Convergence and Estimation Guarantees
Arizona State University（亚利桑那州立大学）
我们证明了一般CPE损失函数GANs的最小-最大优化与相关$f$ -发散最小化之间的双向对应关系。然后，我们专注于$α$ -GAN，通过$α$ -loss定义，它插值几个GANs（Hellinger，vanilla，Total Variation），并对应于Arimoto发散的最小化。我们证明了对于所有的$α\in \mathbb{R}_{>0}\cup\{\infty\}$，$α$ -GAN引起的Arimoto发散等价收敛.然而，在受限学习模型和有限样本下，我们提供了估计界，其指示作为$α$的函数的不同GAN行为。最后，我们提出了一个玩具数据集的实证结果，突出了调整的$α$超参数的实际效用。
2022-05-12 cs.IT cs.LG math.IT
Gang of GANs: Generative Adversarial Networks with Maximum Margin Ranking
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
传统的生成对抗网络（GAN）及其许多变体都是通过最小化KL或JS发散损失来训练的，KL或JS发散损失衡量生成的数据分布与真实数据分布的接近程度。最近的一项进展称为基于Wasserstein距离的WGAN，可以改进基于KL和JS发散的GANs，并减轻GAN训练中常见的梯度消失，不稳定和模式坍塌问题。在这项工作中，我们的目标是改进WGAN，首先将其排序损失推广到基于边缘的排序损失，这会导致更好的排序损失，进而导致更好的生成器，然后执行涉及多个GANs的渐进式训练范例，以促进最大边缘排序损失，以便后期阶段的GAN将在早期阶段进行改进。我们称这种方法为Gang of GANs（GoGAN）。我们已经从理论上证明，在经过最佳训练的WGAN中，所提出的GoGAN可以将真实数据分布和生成的数据分布之间的差距减少至少一半。我们还提出了一种新的方法来衡量GAN质量，这是基于图像完成任务。我们已经在四个视觉数据集上评估了我们的方法：CelebA，LSUN Bedroom，CIFAR-10和50 K-SSFF，并且已经看到了基线WGAN的视觉和定量改善。
2017-04-17 cs.CV cs.LG
On Relativistic $f$-Divergences
Lady Davis Institute（莱迪戴维斯研究所）；MILA, Université de Montréal（蒙特利尔大学MILA研究所）
本文对相对论性生成对抗网络（RGAN）进行了更严格的研究。我们证明了该方法的目标函数是具有极小性质的凹函数$f$（$f(0)=0$，$f'(0) \neq 0$，$\sup_x f(x)>0$）的统计发散.我们还设计了相对论性$f$ -发散的几个变体。Wasserstein GAN最初是由Wasserstein距离（WD）是最合理的，因为它是弱的（即，它导致弱拓扑）。我们证明了WD比$f$ -发散弱，而后者又比相对论性$f$ -发散弱。考虑到RGAN的良好性能，这表明WGAN表现不佳主要是因为弱度量，而是因为正则化和相对论性正则化的使用。我们还仔细研究了相对论性$f$ -发散的估计。我们为相对论配对GANs（RpGANs;最初称为RGANs，可能会带来混乱）引入最小方差无偏估计（MVUE），并表明它并没有表现得更好。此外，我们证明了相对论平均GANs（RaGAN）的估计量仅是渐近无偏的，但有限样本偏差很小。消除这种偏差并不能提高性能。
2019-01-08 cs.LG
KGAN: How to Break The Minimax Game in GAN
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）
从博弈论的角度对生成对抗网络（GANs）进行了直观而吸引人的解释，其中参与的两方是一个代理和一个生成器。在这个游戏中，玩家的任务是区分真实和生成（即，伪）数据，而生成器的任务是生成最大程度地混淆伪数据的伪数据。在本文中，我们提出了一个新的观点，GANs，这是被称为最小化一般损失的观点。这个观点显示了关于凸损失函数的分类问题的一般损失与真实和虚假数据分布之间的f-发散之间的联系。在数学上，我们提出了一个设置为真和假数据的分类问题，其中我们可以证明，这个分类问题的一般损失正是负f-发散某一凸函数f。这使我们能够将学习生成器以消除真数据分布和假数据分布之间的f-散度的问题解释为最大化一般损失的问题，如果在分类问题中使用Logistic损失，则这相当于GAN中的最小-最大问题。然而，这种观点从两个方面加强了GANs。第一，它允许我们使用任何凸的损失函数。其次，它表明，我们可以选择利用其他强大的家族，而不是将自己限制在基于NN的判别器中。基于这种观点，我们建议使用基于内核的家庭的歧视。该族具有两个吸引人的特征：i）在分类非线性自然数据方面的强大能力和ii）在特征空间中是凸的。利用这个族的凸性，我们可以进一步发展Fenchel对偶，将极大-极小问题等价地转化为极大-极大对偶问题。
2017-11-06 cs.AI cs.LG stat.ML
Adaptive Symmetrization of the KL Divergence
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）；Department of Applied Mathematics（应用数学系）
本文提出非对抗性方法最小化杰弗里斯散度，通过代理模型近似反向KL散度，联合优化主模型与代理模型以提升稳定性与准确性，尤其在低数据条件下表现更优。
2026-05-11 cs.LG
Divergence Minimization Preference Optimization for Diffusion Model Alignment
Stanford University（斯坦福大学）
针对现有扩散模型偏好优化方法易陷入次优均值寻求的问题，提出基于反向KL散度最小化的DMPO方法，理论上与原始RL优化方向渐近一致，实验中在多基准上PickScore均最优，实现更优的人类偏好对齐效果。
2025-10-06 cs.CV cs.LG
Global Convergence to the Equilibrium of GANs using Variational Inequalities
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在最优化中，函数的负梯度表示最陡下降的方向。此外，在与梯度正交的任何方向上行进都保持函数的值。在这项工作中，我们表明，这些正交方向被忽略的梯度下降可以在平衡问题的关键。由于生成对抗网络（GAN）的出现，平衡问题在机器学习中引起了高度关注。我们使用变分不等式的框架来分析流行的训练算法的基本GAN变体：Wasserstein线性二次GAN。我们表明，最陡的下降方向导致发散的平衡，并通过以下一个特定的正交方向实现收敛到平衡。我们称这种成功的技术为Crossing-the-Curl，以其数学推导和直觉命名：确定游戏的旋转轴，并朝着更小的“卷曲”方向移动“穿过”空间。
2019-05-20 cs.LG stat.ML
Memorization Precedes Generation: Learning Unsupervised GANs with Memory Networks
Seoul National University（首尔国立大学）
我们提出了一种方法来解决在无监督GANs训练过程中经常出现的两个问题。首先，由于GANs仅使用连续的潜在分布来嵌入多个数据类或数据簇，因此它们通常无法正确处理潜在空间中不同类之间的结构不连续性。其次，GANs的鉴别器很容易忘记生成器过去生成的样本，从而在对抗训练期间引起不稳定。我们认为，无监督GAN训练的这两个臭名昭著的问题可以通过生成器和鉴别器都可以访问的可学习记忆网络在很大程度上缓解。生成器可以有效地学习训练样本的表示，以理解数据的潜在聚类分布，从而缓解结构不连续性问题。同时，鉴别器可以更好地记住先前生成的样本的聚类，这减轻了遗忘问题。我们提出了一种新的端到端的GAN模型命名为memoryGAN，它涉及一个记忆网络，是unsupervisedly可训练和集成到许多现有的GAN模型。通过对Fashion-MNIST，CelebA，CIFAR 10和Chairs等多个数据集的评估，我们表明我们的模型是概率可解释的，并生成具有高视觉保真度的逼真图像样本。memoryGAN还在CIFAR 10数据集上实现了无监督GAN模型的最新初始得分，没有任何优化技巧和较弱的分歧。
2018-03-10 cs.LG stat.ML
On the Effectiveness of Least Squares Generative Adversarial Networks
City University of Hong Kong（香港城市大学）；The Education University of Hong Kong（香港教育大学）；Northwestern Polytechnical University（西北工业大学）；CodeHatch Corp.（CodeHatch公司）
使用生成对抗网络（GANs）的无监督学习已被证明是非常成功的。常规的GANs假设将神经网络作为具有S形交叉熵损失函数的分类器。然而，我们发现这个损失函数可能会导致学习过程中的梯度消失问题。为了克服这个问题，我们在本文中提出的最小二乘生成对抗网络（LSGANs），采用最小二乘损失的最小二乘为双方的代理和发电机。我们表明，最小化的目标函数的LSGAN产量最小化皮尔逊$χ^2$分歧。我们还表明，派生的目标函数，产生最小化皮尔逊$χ^2$分歧比经典的使用最小二乘分类。与常规GANs相比，LSGAN有两个好处。首先，LSGAN能够生成比常规GANs更高质量的图像。其次，LSGAN在学习过程中表现得更稳定。为了评价图像质量，我们进行了定性和定量的实验，实验结果表明，LSGAN可以生成更高质量的图像比常规的GANs。此外，我们评估了两组LSGAN的稳定性。一个是比较LSGAN和没有梯度惩罚的常规GANs。我们进行了三个实验，包括高斯混合分布，困难的架构，和一个新提出的方法-数据集具有小的变化，以说明LSGAN的稳定性。另一个是对带梯度惩罚的LSGANs-GP和带梯度惩罚的WGANs-GP进行比较。实验结果表明，LSGANs-GP成功地训练了WGANs-GP中使用的所有困难架构，包括101层ResNet。
2018-09-21 cs.CV cs.LG stat.ML
Robust conditional GANs under missing or uncertain labels
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington, Seattle（西雅图华盛顿大学）；Amazon（亚马逊）
在几乎没有监督的情况下匹配条件生成对抗网络的性能是一项重要的任务，特别是在冒险进入新领域时。我们设计了一种新的训练算法，该算法对丢失或模糊标签具有鲁棒性。其主要思想是故意破坏生成的示例的标签，以匹配真实数据的统计数据，并使用已损坏的标签处理真实和生成的示例。我们展示了这种方法的鲁棒性在理论上和经验。我们表明，最大限度地减少拟议的损失相当于最大限度地减少真实和生成的数据之间的真实分歧的乘法因子，并将此乘法因子的特征作为不确定标签的统计量的函数。在MNIST数据集上的实验表明，即使每个类只有几个示例，所提出的体系结构也能够在生成忠实于类的示例方面实现高准确度。
2019-06-09 cs.LG stat.ML
On the Discrimination-Generalization Tradeoff in GANs
Microsoft Research, Redmond（微软研究院（雷德蒙德））；Computer Science, Dartmouth College（达特茅斯学院计算机科学系）；Google（谷歌）；Computer Science, Lehigh University（利哈伊大学计算机科学系）
生成对抗训练通常可以理解为最小化由一组神经网络函数（通常是神经网络）定义的某些时刻匹配损失。样本集应该足够大，以便能够唯一地识别真实分布（区分性），并且还应该足够小，以便超出记忆样本（可推广）。本文证明了当一个有界连续函数集的线性跨距在有界连续函数集中稠密时，它保证是可判别的。这是一个非常温和的条件，即使是具有单个神经元的神经网络也能满足。此外，我们开发的学习分布和真实分布在不同的评价指标之间的泛化界限。当用神经距离进行评估时，我们的边界表明，只要样本集足够小，无论生成器或假设集的大小如何，泛化都是有保证的。当用KL散度进行评估时，我们的界提供了对GAN训练中测试似然性的反直觉行为的解释。我们的分析有助于理解GANs的实际性能。
2018-02-23 cs.LG stat.ML
On Divergence Measures for Training GFlowNets
本文研究了用于训练GFlowNets的分歧度度量，设计了统计高效的梯度估计器，并验证了最小化这些分歧度能有效提升收敛速度。
2024-10-21 cs.AI cs.LG stat.ML
A Simpler Alternative to Variational Regularized Counterfactual Risk Minimization
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
本文提出了一种直接最小化$f$-散度近似的新方法，替代了基于$f$-GAN下界的变分正则化反事实风险最小化（VRCRM），在无法重现原始结果的情况下，经验上表现更优。
2024-10-13 cs.LG
$(f,Γ)$-Divergences: Interpolating between $f$-Divergences and Integral Probability Metrics
TRIPODS Institute for Theoretical Foundations of Data Science（TRIPODS 数据科学理论基础研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
我们开发了一个严格的和一般的框架，用于构建信息理论的分歧，submanned两个$f$ -分歧和积分概率距离（IPM），如$1$ -瓦瑟斯坦距离。我们证明在哪些假设下，这些分歧，以下简称为$(f,Γ)$ -分歧，提供了一个概念的“距离”之间的概率测度，并表明它们可以表示为一个两阶段的质量再分配/质量运输过程。$(f,Γ)$ -发散继承了IPM的特征，如比较非绝对连续分布的能力，以及$f$ -发散的特征，即严格的变分表示和控制重尾分布的能力，以特定选择$f$。当组合时，这些特征建立具有用于估计、统计学习和不确定性量化应用的改进属性的发散。以统计学习为例，我们展示了它们在训练生成对抗网络（GANs）时的优势，这些网络具有重尾、非绝对连续的样本分布。我们还显示了改进的性能和稳定性梯度惩罚Wasserstein GAN在图像生成。
2021-09-15 cs.LG stat.ML
On Unifying Deep Generative Models
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc（Petuum公司）
近年来，深度生成模型取得了令人印象深刻的成功。生成对抗网络（GANs）和变分自编码器（VAEs）作为生成模型学习的新兴家族，在很大程度上被认为是两种不同的范式，并分别得到了广泛的独立研究。本文旨在通过一种新的GANs和VAE之间的关系来建立GANs和VAE之间的正式联系。我们将GANs中的样本生成解释为执行后验推理，并表明GANs和VAE涉及最小化具有相反方向的各自后验和推理分布的KL分歧，分别扩展了经典的唤醒-睡眠算法的两个学习阶段。统一的视图提供了一个强大的工具来分析各种现有的模型变体，并能够以原则性的方式跨研究线转移技术。例如，我们应用VAE文献中的重要性加权方法来改进GAN学习，并使用利用生成样本的对抗机制来增强VAE。实验结果表明了该方法的通用性和有效性。
2018-07-11 cs.LG stat.ML
Taming GANs with Lookahead-Minmax
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
众所周知，生成对抗网络的训练具有挑战性。潜在的极小极大优化是非常容易受到随机梯度的方差和相关的游戏向量场的旋转分量。为了解决这些挑战，我们提出了前瞻算法的极大极小优化，最初开发的单目标最小化。我们的Lookahead-minmax的回溯步骤自然地处理旋转博弈动态，这一属性被认为是使梯度上升下降方法收敛于文献中经常分析的具有挑战性的示例的关键。此外，它隐式地处理高方差，而不使用大的小批量，这对于达到最先进的性能是必不可少的。在MNIST、SVHN、CIFAR-10和ImageNet上的实验结果表明，将Lookahead-minmax与Adam或extragradient相结合，在性能和稳定性方面具有明显的优势，内存和计算成本可以忽略不计。使用少30倍的参数和小16倍的小批量，我们通过在不使用类标签的情况下获得12.19的FID，超越了CIFAR-10上的类相关BigGAN的报告性能，从而使最先进的GAN训练在公共计算资源的范围内。
2021-06-23 cs.LG stat.ML
Kernel-Based Training of Generative Networks
Rutgers University（罗格斯大学）；University of Patras（帕特雷大学）
生成对抗网络（GANs）是在最小-最大优化问题的帮助下设计的，这些优化问题是用随机梯度型算法解决的，而这些算法是非鲁棒的。在这项工作中，我们重新审视了一个非对抗性的方法依赖于一个纯粹的最小化问题的内核，并提出了一个简单的随机梯度算法计算其解决方案。使用随机逼近理论的简化工具，我们证明了批量版本的算法或平滑的梯度不会提高收敛性。这些观察允许开发一种训练算法，该算法具有降低的计算复杂性和增加的鲁棒性，同时表现出与经典GANs相似的合成特性。
2018-11-23 cs.LG stat.ML
Parametric Adversarial Divergences are Good Losses for Generative Modeling
Mila；University of Montreal（蒙特利尔大学）；Facebook AI Research
参数对抗发散是用于训练生成对抗网络（GANs）的损失的概括，通常被描述为非参数对应物的近似，例如Jensen-Shannon发散，可以在所谓的最优假设下导出。在这份立场文件中，我们认为，尽管是“非最优”，参数发散有不同的属性，从他们的非参数对应，这可以使他们更适合学习高维分布。一个关键的属性是，参数偏差只对分布的某些方面/矩敏感，这取决于神经网络的架构和训练时的损失。相比之下，诸如Kullback-Leibler发散的非参数发散对被忽略的矩敏感，但它们不一定与样本质量相关（Theis等人，2016）。同样，我们表明，互信息可以导致不直观的解释，并探索更直观的替代方案的基础上参数的分歧。我们的结论是，参数分歧是一个灵活的框架，用于定义统计量相关的一个特定的建模任务。
2021-10-21 cs.LG stat.ML
A Novel Solution for Zero-Day Attack Detection in IDS using Self-Attention and Jensen-Shannon Divergence in WGAN-GP
Institute for Digital Technologies, Loughborough University, London, UK（数字技术研究所，伦敦大学洛夫顿分校）
本文提出SA-WGAN-GP和JS-WGAN-GP模型，通过自注意力机制和詹森-肖恩散度提升IDS对零日攻击的检测能力。
2026-03-19 cs.AI cs.CR cs.LG
Implicit competitive regularization in GANs
Caltech（加州理工学院）；Shanghai Jiao Tong university（上海交通大学）
为了提高GAN训练的稳定性，我们需要了解为什么它们可以产生真实的样本。目前，这是由于在最佳的发散度下获得的特性。这个论点有一个根本性的缺陷：如果我们不强加规则性，它可以利用生成器的视觉上不可感知的错误来始终实现最大的生成器损耗。在实践中，梯度惩罚被用来正则化的。然而，这需要一个关于图像空间的度量来捕获视觉相似性。这样的度量是未知的，这解释了梯度惩罚在稳定GANs方面的有限成功。我们认为，GANs的性能是由于隐式竞争正则化（ICR）产生的同时优化的发电机和可编程逻辑器件。ICR促进解决方案，看起来真实的广告，从而利用其归纳偏见，以产生现实的图像。我们表明，在竞争梯度下降（CGD）中存在的发电机和发电机的感知建模可以显着加强ICR，从而在没有显式正则化的情况下稳定GAN训练。在我们的实验中，我们使用了WGAN-GP的现有实现，并表明通过使用CGD训练它，我们可以在各种场景下提高CIFAR 10的初始得分（IS），而无需任何超参数调整。通过将CGD与WGAN损失相结合来获得最高IS，而无需任何显式正则化。
2020-10-30 cs.LG stat.ML
Stable Rank Normalization for Improved Generalization in Neural Networks and GANs
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
Neyshabur等人对神经网络（NN）的泛化界进行了令人兴奋的新工作，Bartlett等人密切依赖于两个参数依赖的量：Lipschitz常数上限和稳定秩（秩算子的较软版本）。这就引出了一个有趣的问题，即控制这些量是否可以改善NN的泛化行为。为此，我们提出了稳定秩归一化（SRN），一种新颖的，最佳的，计算效率高的权重归一化方案，最大限度地减少了线性算子的稳定秩。令人惊讶的是，我们发现，SRN，尽管是非凸问题，可以被证明有一个唯一的最优解。此外，我们表明，SRN允许控制数据依赖的经验Lipschitz常数，这与Lipschitz上限相反，反映了给定数据集上模型的真实行为。我们提供了全面的分析，以表明SRN，当应用于神经网络的线性层进行分类时，提供了显着的改进-与标准神经网络相比，泛化差距为11.3%，同时显著减少了记忆。当应用于GANs（称为SRN-GAN）时，它可以提高CIFAR 10/100和CelebA数据集上的Inception，FID和Neural divergence分数，同时学习具有低经验Lipschitz常数的映射。
2020-02-20 cs.LG stat.ML
Double Descent and Other Interpolation Phenomena in GANs
Rice University（莱斯大学）；Ben-Gurion University（本-古里安大学）
本文研究 GAN 过参数化的泛化行为，证明度量或 f-散度学习下无双重下降，并提出伪监督方法使 GAN 出现双重下降，结合过参数化可加速训练并提升泛化性能。
2024-05-01 cs.LG
On Characterizing GAN Convergence Through Proximal Duality Gap
Indian Institute of Technology, Ropar（印度理工学院罗巴尔分校）
尽管生成对抗网络（GANs）在建模数据分布方面取得了成就，但训练它们仍然是一项具有挑战性的任务。造成这种困难的一个因素是GAN损失曲线的非直观性质，这需要对生成的输出进行主观评估以推断训练进度。最近，受博弈论的启发，对偶间隙被提出作为一个领域不可知的措施来监测GAN的训练。然而，它仅限于当GAN收敛到纳什均衡时的设置。但是GANs并不总是需要收敛到纳什均衡来对数据分布进行建模。在这项工作中，我们将对偶间隙的概念扩展到适用于训练GANs的一般背景的邻近对偶间隙，其中可能不存在纳什均衡。我们从理论上表明，近端的二元性差距能够监测GANs收敛到包含纳什均衡的更广泛的均衡。我们还从理论上建立了不同GAN公式的近端对偶间隙和真实数据分布与生成数据分布之间的分歧之间的关系。我们的研究结果提供了新的见解GAN收敛的性质。最后，我们通过实验验证了近端二元间隙对于监测和影响GAN训练的有用性。
2021-06-19 cs.AI cs.LG
A Unified f-divergence Framework Generalizing VAE and GAN
Stanford University（斯坦福大学）
开发深度生成模型，灵活地结合不同的概率距离度量是一个重要的研究领域。在这里，我们开发了一个统一的数学框架的f-发散生成模型，f-GM，它结合了VAE和f-GAN，并使易于处理的学习与一般的f-发散。f-GM允许实验者在不改变网络结构或学习过程的情况下灵活地设计f-散度函数。f-GM联合建模三个组件：生成器，推理网络和密度估计器。因此，它同时使采样，后验推理的潜在变量以及评估的可能性的任意数据。f-GM属于编码器-解码器GANs类：我们的密度估计器可以被解释为在潜在代码和观察空间的联合空间中的样本之间扮演一个角色。我们证明了f-GM自然简化为标准VAE和f-GAN作为特殊情况，并说明了不同的编码器-解码器GAN架构之间的连接。f-GM与通用网络架构和优化器兼容。我们利用它来实验性地探索f发散的不同选择的影响-例如模式崩溃和图像清晰度。
2022-05-11 cs.LG stat.ML
IAN: Combining Generative Adversarial Networks for Imaginative Face Generation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
生成对抗网络（GANs）因其对图像分布建模的能力而获得了发展势头。它们学习模拟训练集，从而能够从该领域中进行采样，并将学到的知识用于有用的应用程序。提出了几种增强GANs的方法，包括通过一些特征匹配来正则化损失。我们试图将GANs推到训练数据之外，并尝试探索图像流形中看不见的领域。在GAN对基集X进行对抗性训练的过程中，我们首先提出了一种新的基于K-近邻（K-NN）选择性特征匹配的GAN正则化器，并将其称为K-GAN。我们表明，最小化增加的长期遵循交叉熵最小化之间的分布GAN和集合Y。然后，我们介绍了一个级联的GANs框架，试图通过级联采样GANs和平移GANs来解决想象一个新的分布的任务，该分布将基集X和目标集Y相结合，我们将这种GANs的级联称为想象对抗网络（IAN）。我们进行了客观和主观的评价，不同的IAN设置在所解决的任务，并显示了一些有用的应用程序，这些IAN，如流形遍历和创造性的面部生成的人物在电影或视频游戏中的设计。
2019-04-16 cs.CV cs.LG
Understanding Entropic Regularization in GANs
Stanford University（斯坦福大学）；University of Delaware（特拉华大学）
生成对抗网络是一种通过将目标分布建模为已知分布的函数来从数据中学习分布的流行方法。该函数通常被称为生成器，它被优化以最小化生成的分布和目标分布之间的选定距离度量。一个常用的测量方法是Wasserstein距离。然而，Wasserstein距离很难计算和优化，在实践中，熵正则化技术被用来提高数值收敛性。然而，正则化对学习解决方案的影响仍然没有得到很好的理解。在本文中，我们研究了几种流行的熵正则化的Wasserstein距离如何影响解决方案在一个简单的基准设置，其中生成器是线性的，目标分布是高维高斯。我们表明，熵正则化促进解决方案稀疏化，而取代Wasserstein距离与Sinkhorn发散恢复非正则化的解决方案。这两种正则化技术都消除了Wasserstein距离所带来的维数灾难。我们表明，最佳的发电机可以学习到准确的$ε$与$O(1/ε^2)$样本的目标分布。因此，我们的结论是，这些正则化技术可以提高质量的发电机从经验数据的一大类分布。
2021-11-02 cs.LG stat.ML
Distribution Matching via Generalized Consistency Models
本文提出一种受连续归一化流中一致性模型启发的分布匹配方法，兼具直接的范数最小化目标与类似GAN的约束适应性，并通过理论和实验验证其有效性。
2025-08-17 cs.AI cs.LG
