Towards Generalized Implementation of Wasserstein Distance in GANs
University of Montreal（蒙特利尔大学）；Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；HEC Montreal（蒙特利尔高等商学院）；CIFAR AI Research Chair（CIFAR人工智能研究讲席）
Wasserstein GANs（WGANs）建立在Wasserstein距离的Kantorovich-Rubinstein（KR）对偶性之上，是理论上最合理的GAN模型之一。然而，在实践中，它并不总是优于GANs的其他变体。这主要是由于KR对偶所需的Lipschitz条件的不完美实现。虽然人们对Lipschitz约束做了大量的工作，但在实际应用中仍然很难完全满足Lipschitz约束。在本文中，我们认为，强Lipschitz约束可能是不必要的优化。相反，我们后退一步，尝试放松Lipschitz约束。理论上，我们首先证明了一个更一般的对偶形式的Wasserstein距离称为Sobolev对偶，放松Lipschitz约束，但仍然保持良好的梯度性质的Wasserstein距离。此外，我们证明了KR对偶实际上是Sobolev对偶的一个特例。基于松弛对偶，我们进一步提出了一种广义WGAN训练方案Sobolev Wasserstein GAN（SW GAN），并通过大量实验验证了SW GAN相对于现有方法的改进。
2021-01-12 cs.LG stat.ML
Improved Training of Wasserstein GANs
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Google Brain（谷歌大脑）
生成对抗网络（GANs）是强大的生成模型，但存在训练不稳定的问题。最近提出的Wasserstein GAN（WGAN）在GANs的稳定训练方面取得了进展，但有时仍然只能生成低质量的样本或无法收敛。我们发现，这些问题往往是由于在WGAN中使用权重裁剪来对评论家实施Lipschitz约束，这可能导致不期望的行为。我们提出了一种替代裁剪权重：惩罚相对于其输入的评论家的梯度范数。我们提出的方法比标准的WGAN性能更好，并且能够稳定地训练各种各样的GAN架构，几乎没有超参数调整，包括101层ResNet和离散数据上的语言模型。我们还在CIFAR-10和LSUN卧室上实现了高质量的世代。
2017-12-25 cs.LG stat.ML
A Wasserstein perspective of Vanilla GANs
Karlsruhe Insitute of Technology（卡尔斯鲁厄理工学院）
本文从Wasserstein距离视角建立Vanilla GANs与Wasserstein GANs的理论联系，推导出适用于ReLU网络的oracle不等式及收敛速率。
2024-07-29 cs.LG math.ST stat.ML
Some Theoretical Insights into Wasserstein GANs
Sorbonne Université（索邦大学）；Criteo AI Lab（科睿唯安人工智能实验室）
生成对抗网络（GANs）在图像、视频和文本生成等不同领域都取得了出色的成果。在这些成功的基础上，大量的实证研究已经验证了称为Wasserstein GANs（WGANs）的表亲方法的好处，它在训练过程中带来了稳定性。在本文中，我们通过提出WGAN性质的一些理论进展，为建筑物添加了一块新的石头。首先，我们在由神经网络参数化的积分概率度量的背景下正确定义了WGAN的架构，并强调了它们的一些基本数学特征。我们强调特别有趣的优化性能所产生的使用参数1-Lipschitz的。然后，在一种由经验驱动的方法中，我们研究了当样本大小趋于无穷大时经验WGAN的收敛性，并通过强调一些权衡性质来澄清生成器和迭代器的对抗效应。这些功能最后说明了使用合成和真实世界的数据集的实验。
2021-06-18 cs.LG stat.ML
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
On the regularization of Wasserstein GANs
Fraunhofer Institute IAIS（弗劳恩霍夫研究所IAIS）；Department of Computer Science, University of Bonn（波恩大学计算机科学系）
本文研究Wasserstein GANs中Lipschitz约束的正则化方法，通过理论分析和实验证明使用较弱的正则化项优于权重裁剪。
2026-05-29 cs.LG stat.ML
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Dupage Medical Group（杜佩奇医疗集团）
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题，分析切片Wasserstein距离的投影复杂度，提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离，可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
Adversarial network training using higher-order moments in a modified Wasserstein distance
A-Alpha Bio（A-Alpha Bio公司）
生成对抗网络（GANs）已被用于在压缩的潜在空间中产生与示例数据非常相似的数据，该压缩的潜在空间接近于足以在原始向量空间中进行重构。Wasserstein度量已被用作二进制交叉熵的替代方案，产生具有更大模式覆盖行为的更稳定的GANs。在这里，一个泛化的瓦瑟斯坦距离，使用高阶矩比平均值，推导出。训练一个GAN与此高阶Wasserstein度量表现出优越的性能，即使在调整略高的计算成本。这示出了生成合成抗体序列。
2022-10-07 cs.LG stat.ML
Demystifying MMD GANs
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）
我们研究了使用最大平均离散度（MMD）作为评判标准的生成对抗网络的训练和性能，称为MMD GANs。作为我们的主要理论贡献，我们澄清了最近的工作提出的GAN损失函数中的偏差情况：我们表明，在MMD GANs和Wasserstein GANs的优化过程中使用的梯度估计是无偏的，但学习基于样本的梯度会导致发生器参数的有偏梯度。我们还讨论了MMD评论家的核选择问题，并表征了Cramer GAN评论家使用的能量距离对应的核。作为一个积分概率距离，MMD受益于最近为Wasserstein GANs开发的训练策略。在实验中，MMD GAN能够采用比Wasserstein GAN更小的评价网络，从而导致具有匹配性能的更简单和更快的训练算法。我们还提出了一种改进的GAN收敛性度量，即核初始距离，并展示了如何在GAN训练过程中使用它来动态调整学习速率。
2021-01-14 cs.LG stat.ML
A Differential Equation Approach for Wasserstein GANs and Beyond
Department of Applied Mathematics, University of Colorado, Boulder, CO 80309, United States
本文通过 Wasserstein-1 损失的梯度流常微分方程提出 W1-FE 生成模型，证明其前向欧拉离散化收敛，并在持续训练下优于 WGAN，同时说明朴素引入持续训练会损害效果。
2025-02-04 cs.LG stat.ML
Summable Reparameterizations of Wasserstein Critics in the One-Dimensional Setting
University of Michigan（密歇根大学）；Beihang University（北京航空航天大学）；Brown University（布朗大学）
生成对抗网络（GANs）是解决密度估计问题的算法的一个令人兴奋的替代方案-使用数据来评估样本从同一分布中提取的可能性。GANs不是显式地计算这些概率，而是学习一个可以匹配给定概率源的生成器。本文特别着眼于这种匹配能力的背景下，一维输出的问题。我们确定了一类函数分解的属性，使它们非常适合在称为Wasserstein GANs的GANs的领先方法中扮演批评者的角色。我们表明，泰勒和傅立叶级数分解属于我们的类，提供这些批评优于标准的GAN方法的例子，并建议他们如何可以扩展到更高维的问题在未来。
2017-09-19 cs.AI cs.LG stat.ML
On the estimation of the Wasserstein distance in generative models
Graz University of Technology（格拉茨工业大学）；Austrian Institute of Technology（奥地利技术研究所）
生成对抗网络（GANs）已被用于对基于样本的数据集的潜在概率分布进行建模。GANs因训练困难和对任意超参数的依赖而闻名。GAN文献中的一个最近的改进是使用Wasserstein距离作为损失函数，从而导致Wasserstein生成对抗网络（WGAN）。以此为基础，我们展示了各种方法，其中Wasserstein距离估计生成建模的任务。此外，在训练这样的模型的秘密显示和总结在这项工作的最后。在适用的情况下，我们将当前的工作扩展到不同的算法，不同的成本函数和不同的正则化方案，以改进生成模型。
2019-10-02 cs.LG stat.ML
About exchanging expectation and supremum for conditional Wasserstein GANs
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
在Wasserstein GAN依赖于条件的情况下，后者通常通过损失函数内的期望来处理。根据其动机的不同，要求在两个参数中或仅在其中一个参数中，均为Lipschitz-1。为了使较弱的要求变得可用，需要交换上确界和期望。这是一个数学上危险的操作，到目前为止，在文献中只有部分合理性。这篇简短的数学笔记旨在填补这一空白，并为这种方法更合适或更成功的情况下，仅部分Lipschitz-1的判别器提供数学原理。
2021-06-14 cs.LG
Understanding Entropic Regularization in GANs
Stanford University（斯坦福大学）；University of Delaware（特拉华大学）
生成对抗网络是一种通过将目标分布建模为已知分布的函数来从数据中学习分布的流行方法。该函数通常被称为生成器，它被优化以最小化生成的分布和目标分布之间的选定距离度量。一个常用的测量方法是Wasserstein距离。然而，Wasserstein距离很难计算和优化，在实践中，熵正则化技术被用来提高数值收敛性。然而，正则化对学习解决方案的影响仍然没有得到很好的理解。在本文中，我们研究了几种流行的熵正则化的Wasserstein距离如何影响解决方案在一个简单的基准设置，其中生成器是线性的，目标分布是高维高斯。我们表明，熵正则化促进解决方案稀疏化，而取代Wasserstein距离与Sinkhorn发散恢复非正则化的解决方案。这两种正则化技术都消除了Wasserstein距离所带来的维数灾难。我们表明，最佳的发电机可以学习到准确的$ε$与$O(1/ε^2)$样本的目标分布。因此，我们的结论是，这些正则化技术可以提高质量的发电机从经验数据的一大类分布。
2021-11-02 cs.LG stat.ML
Distributional Robustness with IPMs and links to Regularization and GANs
The Australian National University（澳大利亚国立大学）；Data61
由于深度神经网络对小扰动的脆弱性，对抗性攻击的鲁棒性是一个重要的问题，近年来受到了广泛的关注。分布式鲁棒优化（DRO）是解决这一挑战的一种特别有前途的方法，它通过基于发散的不确定性集来研究鲁棒性，并为正则化等鲁棒化策略提供了有价值的见解。在机器学习的背景下，大多数现有的结果选择了$f$ -分歧，瓦瑟斯坦距离和最近的最大平均离散（MMD）来构建不确定性集。我们扩展这条工作线的目的，通过正则化的理解鲁棒性，通过研究不确定性集构造的积分概率距离（IPM）-一个大家庭的分歧，包括MMD，总变差和瓦瑟斯坦距离。我们的主要结果表明，DRO下\textit{any}选择IPM对应于一个家庭的正则化惩罚，恢复和改善现有的结果，在设置的MMD和瓦瑟斯坦距离。由于我们结果的一般性，我们表明其他IPM选择对应于机器学习中其他常用的惩罚。此外，我们扩展了我们的结果，通过$f$ -GANs揭示了对抗生成建模，构成了$f$ -GAN目标的分布鲁棒性的第一个研究。我们的研究结果揭示了鲁棒性方面的非线性集合的归纳属性，使我们能够对几种基于惩罚的GAN方法（如Wasserstein-，MMD-和Sobolev-GAN）给予积极的评价。总之，我们的结果将GANs与分布鲁棒性紧密联系起来，扩展了以前关于DRO的结果，并有助于我们理解正则化与鲁棒性之间的联系。
2020-06-08 cs.LG stat.ML
Inferential Wasserstein Generative Adversarial Networks
Purdue University（普渡大学）
生成式对抗网络（GANs）对许多问题和应用都有影响，但存在训练不稳定的问题。Wasserstein GAN（WGAN）利用瓦瑟斯坦距离来避免GANs的最小最大两人训练中的警告，但具有其他缺陷，例如模式崩溃和缺乏检测收敛的度量。我们介绍了一种新的推理Wasserstein GAN（iW GAN）模型，这是一个原则性的框架融合自动编码器和WGAN。iWGAN模型通过迭代原始对偶优化过程联合学习编码器网络和生成器网络。编码器网络将观察到的样本映射到潜在空间，生成器网络将样本从潜在空间映射到数据空间。我们建立的推广误差界的iWGAN理论证明其性能。在极大似然估计的框架下，我们进一步提供了一个严格的概率解释我们的模型。iWGAN具有明确的停止标准，与其他自动编码器GANs相比具有许多优势。实验结果表明，该方法大大减轻了模式崩溃的症状，加快了收敛速度，并能对每个样本进行质量检验。我们通过获得基准数据集的竞争力和稳定的性能来说明iWGAN的能力。
2021-09-13 cs.LG stat.ML
Improving the Improved Training of Wasserstein GANs: A Consistency Term and Its Dual Effect
University of Central Florida（中佛罗里达大学）；Beijing Jiaotong University（北京交通大学）；Tencent AI Lab（腾讯人工智能实验室）
尽管生成对抗网络（GANs）对各种问题和应用都有影响，但训练非常困难。\cite{arjovsky2017towards}正式分析了这个问题，他还提出了一个替代方向，以避免GANs的最小最大两人训练中的警告。相应的算法，称为Wasserstein GAN（WGAN），取决于1-Lipschitz连续的时间序列。在本文中，我们提出了一种新的方法来加强WGAN的训练过程中的Lipschitz连续性。我们的方法无缝连接WGAN与最近的半监督学习方法之一。因此，它不仅产生了比以前的方法更好的照片般逼真的样本，而且还产生了最先进的半监督学习结果。特别是，我们的方法仅使用1，000张CIFAR-10图像就获得了超过5.0的初始分数，并且是第一个仅使用4，000张标记图像就超过CIFAR-10数据集90%准确度的方法。
2018-03-05 cs.CV cs.LG stat.ML
Sig-Wasserstein GANs for Time Series Generation
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；University of Kaiserslautern（凯泽斯劳滕大学）
合成数据是一种新兴技术，可以显著加速AI机器学习管道的开发和部署。在这项工作中，我们开发高保真的时间序列发生器，SigWGAN，通过结合连续时间随机模型与新提出的签名$W_1$度量。前者是基于随机微分方程的Logsig-RNN模型，后者则是基于时间序列所具有的普遍性和原则性的数学特征来刻画时间序列的测度。SigW GAN允许将计算上具有挑战性的GAN最小-最大问题转化为监督学习，同时生成高保真样本。我们验证了所提出的模型的流行的定量风险模型和实证金融数据生成的合成数据。代码可在https://github.com/SigCGANs/Sig-Wasserstein-GANs.git上获得。
2021-11-01 cs.LG
2-Wasserstein Approximation via Restricted Convex Potentials with Application to Improved Training for GANs
Coordinated Science Laboratory, UIUC（伊利诺伊大学厄巴纳-香槟分校协同科学实验室）；Technicolor AI Lab（Technicolor人工智能实验室）
我们提供了一个框架，以近似的2-Wasserstein距离和最优输运地图，服从有效的培训以及统计和几何分析。考虑到最优运输问题的Kantorovich对偶形式和二次费用，Brenier定理指出最优势函数是凸的，最优输运图是最优势函数的梯度。使用这种几何结构，我们限制最优化问题不同的参数化类的凸函数，并特别注意类的输入凸神经网络。我们分析了统计推广和歧视的权力，所产生的近似度量，我们证明了一个限制矩匹配属性的近似最优映射。最后，我们讨论了一个数值算法来解决限制性最优化问题，并提供数值实验来说明和比较所提出的方法与已建立的正则化为基础的方法。我们进一步讨论了我们的建议在GANs的模块化和可解释的设计中的实际意义，该设计将生成器训练与并行计算连接起来，以允许学习整个复合生成器。
2019-02-19 cs.LG math.OC stat.ML
Stability Analysis Framework for Particle-based Distance GANs with Wasserstein Gradient Flow
Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
本文提出基于Wasserstein梯度流的稳定性分析框架，揭示粒子距离GAN中判别器训练不稳定的原因，并通过在判别器损失中加入稳定项来改善训练稳定性。
2023-07-07 cs.LG
Conditional Sig-Wasserstein GANs for Time Series Generation
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；University of Kaiserslautern（凯撒斯劳滕大学）
本文提出条件 Sig-WGAN 框架，将路径签名与 WGAN 结合，用条件 Sig-W1 度量作为判别器，以显式表示避免昂贵训练，在时间序列生成任务上显著优于现有基准。
2023-10-11 cs.LG stat.ML
Approximability of Discriminators Implies Diversity in GANs
Stanford University（斯坦福大学）；MIT（麻省理工学院）
虽然生成对抗网络（GANs）在学习复杂的现实世界分布方面取得了令人印象深刻的结果，但最近的研究表明，它们缺乏多样性或模式坍塌。Arora等人的理论工作表明了GANs统计特性的困境：强大的鉴别器导致过拟合，而弱鉴别器无法检测模式坍塌。相比之下，我们在本文中表明，如果GAN类对特定的生成器类（而不是对所有可能的生成器）具有很强的区分能力，则GANs原则上可以以多项式样本复杂度学习Wasserstein距离（或在许多情况下是KL发散）的分布。对于各种生成器类，如混合高斯，指数族，可逆和内射神经网络生成器，我们设计相应的鉴别器（通常是特定架构的神经网络），使得积分概率度量（IPM）诱导的鉴别器可以证明近似Wasserstein距离和/或KL-发散。这意味着如果训练成功，那么学习的分布接近Wasserstein距离或KL发散的真实分布，因此不能丢弃模式。我们的初步实验表明，在合成数据集上，测试IPM与KL散度或Wasserstein距离具有良好的相关性，这表明GANs中缺乏多样性可能是由优化中的次优性而不是统计效率低下引起的。
2019-07-01 cs.DS cs.LG stat.ML
Quantum Wasserstein GANs for State Preparation at Unseen Points of a Phase Diagram
Technical University of Munich（慕尼黑工业大学）；Technical University of Munich, Institute for Advanced Study（慕尼黑工业大学高等研究院）
本文提出一种基于量子Wasserstein GANs的混合经典-量子方法，可学习态测量期望的底层函数，并生成相图中未见点的新量子态。
2023-09-18 cs.LG quant-ph
Gradient penalty from a maximum margin perspective
University of Montreal（蒙特利尔大学）
在生成对抗网络（GANs）中，一种用于提高性能的流行启发式方法是在节点上使用某种形式的梯度惩罚。这种梯度惩罚最初是由Wasserstein距离公式激发的。然而，在其他GAN公式中使用梯度惩罚并没有很好的动机。我们提出了一个统一的框架，期望利润最大化，并表明，广泛的梯度惩罚GANs（例如，Wasserstein、Standard、Least-Squares和Hinge GANs）可以从这个框架中导出。我们的研究结果表明，采用梯度惩罚会导致大间隔分类器（因此，GANs中的大间隔分类器）。我们描述了期望的边缘最大化如何帮助减少伪（生成）样本的消失梯度，这是GANs中的一个已知问题。从这个框架中，我们导出了一个新的具有铰链损失的$L^\infty$梯度范数惩罚，它通常在GANs中产生与$L^2$ -范数惩罚（基于Fréchet Inception Distance）相同（或更好）的生成输出。
2020-11-24 cs.LG stat.ML
Wasserstein Proximal of GANs
University of California, Los Angeles（加州大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）；Max Planck Institute for Mathematics in Sciences（马克斯·普朗克数学科学研究所）
我们介绍了一种新的方法来训练生成对抗网络，通过应用Wasserstein-2度量邻近的发电机。该方法是基于Wasserstein信息几何。它通过将最佳传输结构从概率空间拉回到参数空间来定义参数化不变自然梯度。我们获得了易于实现的迭代正则化隐式深度生成模型的参数更新。实验结果表明，该方法在挂钟时间和Fréchet起始距离方面提高了训练的速度和稳定性。
2021-02-13 cs.AI cs.LG cs.NA
Wasserstein GANs with Gradient Penalty Compute Congested Transport
University of Toronto（多伦多大学）
Wasserstein GANs with Gradient Penalty（WGAN-GP）是一种非常流行的方法，用于训练生成模型以产生高质量的合成数据。虽然WGAN-GP最初是为了计算生成数据和真实数据之间的Wasserstein 1距离而开发的，但最近的工作（例如[23]）提供了经验证据，证明这种情况不会发生，并认为WGAN-GP表现良好，而不是尽管有这个问题，但因为它。在本文中，我们首次表明，WGAN-GP计算不同的最优运输问题的最小值，所谓的交通拥堵[7]。拥挤的运输决定了在惩罚拥挤的运输模型下将一个配送中心移动到另一个配送中心的成本。对于WGAN-GP，我们发现拥塞惩罚具有由[12]中使用的采样策略确定的空间变化分量，其作用类似于局部速度限制，使得某些区域的拥塞成本低于其他区域。这方面的拥挤的运输问题是新的，在拥挤的罚款原来是无界的，并取决于要运输的分布，所以我们提供了必要的数学证明，这种设置。我们发现的一个方面是将WGAN-GP中的优化问题的解的梯度与最优质量流的时间平均动量连接起来的公式。这与Wasserstein 1距离的Kantorovich势的梯度相反，Wasserstein 1距离只是流动的归一化方向。基于这一点和其他考虑，我们推测我们的结果如何解释观察到的WGAN-GP性能。除了应用于GANs之外，我们的定理还指出了使用神经网络技术近似解决大规模拥挤运输问…
2022-06-30 cs.LG math.OC stat.ML
Adversarial Lipschitz Regularization
Robert Bosch Kft.（罗伯特·博世匈牙利有限公司）
生成对抗网络（GANs）是训练生成模型时最受欢迎的方法之一，其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而，Wasserstein GANs要求临界点是1-Lipschitz，这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为，而不是通过梯度的范数进行训练，在大多数情况下实际上是不可行的。受虚拟对抗训练的启发，我们提出了一种称为对抗性Lipschitz正则化的方法，并证明使用显式Lipschitz惩罚确实是可行的，并且在应用于Wasserstein GANs时会导致竞争性性能，突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
Training Wasserstein GANs without gradient penalties
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Max Planck Institute（马克斯·普朗克研究所）
提出了一种稳定的训练Wasserstein生成对抗网络的方法。为了提高稳定性，我们考虑两个目标函数使用$c$ -转换的基础上康托洛维奇对偶，这是在最优运输理论。我们的实验表明，该算法可以有效地执行Lipschitz约束的最小值，而其他标准的方法无法做到这一点。因此，我们的方法产生一个准确的估计最佳的距离，也为Wasserstein距离之间的真实分布和生成的。我们的方法不需要梯度惩罚，也不需要相应的超参数调整，并且在计算上比其他方法更有效。与此同时，它基于MNIST、F-MNIST和CIFAR-10数据集生成具有竞争力的合成图像生成器。
2021-10-27 cs.CV cs.LG cs.NA
Statistical Regeneration Guarantees of the Wasserstein Autoencoder with Latent Space Consistency
Indian Statistical Institute, Kolkata（印度统计研究所（加尔各答））
变分自编码器（VAE）的引入被认为是表示学习模型历史上的一个突破。除了拥有自己的几项荣誉外，VAE还成功地以其直接继承者的形式推出了一系列发明。Wasserstein Autoencoder（WAE）是该领域的继承者，它具有所有的优点和增强的生成承诺，甚至与生成对抗网络（GANs）相匹配。不用说，近年来GANs的统计分析出现了显著的复苏。然而，尽管自动编码器具有不同的适用性和显着的经验表现，但仍然基本上没有类似的检查。为了缩小这一差距，在本文中，我们调查的统计特性的WAE。首先，我们提供的统计保证，WAE实现的目标分布在潜在的空间，利用Vapnik Chervonenkis（VC）理论。主要结果，从而确保再生的输入分布，利用Wasserstein度量下的措施的最优运输提供的潜力。这项研究，反过来，暗示在一类分布WAE可以重建后，遭受压缩的形式的一个潜在的法律。
2021-10-08 cs.LG stat.ML
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research（谷歌研究院）
我们研究生成对抗网络（GANs）中的欠拟合和过拟合，使用生成器看不到的鉴别器来测量泛化。我们发现，模型的容量的控制器有一个显着的影响，对发电机的模型质量，和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反，我们发现，相对于CIFAR10，CIFAR100和CelebA，具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
Quick and Easy Time Series Generation with Established Image-based GANs
Insight Centre for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
近年来，生成对抗网络（GANs）在生成真实数据方面取得了重大进展。在这项工作中，我们介绍了我们的简单方法，利用完善的基于图像的GANs的进步来合成单通道时间序列数据。我们实现了Wasserstein GANs（WGANs），由于它们在训练中的稳定性，因此具有梯度惩罚，以合成三种不同类型的数据;正弦数据，光电容积描记器（PPG）数据和心电图（ECG）数据。返回的时间序列数据的长度仅受图像分辨率的限制，我们使用64 x64像素的图像大小，产生4096个数据点。我们提出了视觉和定量证据，证明我们的新方法可以使用基于图像的GANs成功地生成时间序列数据。
2019-10-29 cs.LG stat.ML
Intrinsic Dimension Estimation Using Wasserstein Distances
MIT（麻省理工学院）
长期以来，人们一直认为在许多实际机器学习任务中遇到的高维数据具有低维结构，即，多重假设成立。因此，一个自然的问题是从有限样本中估计给定总体分布的内在维数。我们引入了一个新的估计的内在尺寸，并提供有限样本，非渐近保证。然后，我们应用我们的技术来获得生成对抗网络（GANs）的新样本复杂度界限，仅取决于数据的内在维度。
2022-05-31 cs.LG stat.ML
Semi-Supervised Multitask Learning on Multispectral Satellite Images Using Wasserstein Generative Adversarial Networks (GANs) for Predicting Poverty
Stanford University（斯坦福大学）
要获得可靠的数据，详细描述当地的贫困指标，为决策者提供信息，就需要进行昂贵和后勤困难的调查，特别是在发展中国家。毫不奇怪，贫困地区也很可能成为战区，基础设施薄弱，有时政府不与国际资助的发展努力合作。我们对CNN进行训练，利用Landsat 7提供的非洲大陆免费和公开的日间卫星图像，建立一个预测当地经济生计的模型。只有5%的卫星图像可以与标签（从DHS调查中获得）相关联，因此使用GAN的半监督方法（类似于Salimans等人的方法（2016）），尽管使用了更稳定的GANs训练风格，称为Wasserstein GAN，使用梯度惩罚正则化（Gulrajani等人（2017））。采用多任务学习的方法来规范网络，并创建用于预测多个贫困指标的端到端模型。
2019-04-25 cs.CV cs.LG
Data Interpolants -- That's What Discriminators in Higher-order Gradient-regularized GANs Are
Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世信息物理系统研究中心）；Indian Institute of Science（印度科学学院）
本文证明高阶梯度正则化 GAN 的最优判别器等价于 n 维多调和 RBF 数据插值，并提出 Poly-LSGAN 与 Poly-WGAN，闭式实现显著优于任意架构。
2023-06-01 cs.LG stat.ML
A Convex Duality Framework for GANs
Stanford University（斯坦福大学）
生成对抗网络（GAN）是一个模仿真实模型的生成器和一个区分生成器产生的样本与真实训练样本之间的极大极小博弈。给定一个无约束的可逼近任何函数，这个游戏简化为找到生成模型，最小化数据分布的发散度量，例如Jensen-Shannon（JS）发散。然而，在实践中，该方法被限制在较小的类$\mathcal{F}$中，例如神经网络。然后，一个自然的问题是，当我们约束$\mathcal{F}$时，发散最小化解释如何变化。在这项工作中，我们通过开发一个用于分析GANs的凸对偶框架来解决这个问题。对于凸集$\mathcal{F}$，该对偶框架将原始GAN公式解释为找到具有最小JS-发散的生成模型，该生成模型对被惩罚以匹配数据分布的矩的分布具有最小JS-发散，其中矩由$\mathcal{F}$中的鉴别器指定。我们表明，这种解释更普遍地适用于f-GAN和Wasserstein GAN。作为一个副产品，我们将对偶框架应用于f-散度和Wasserstein距离的混合。与f-发散不同，我们证明了所提出的混合发散随着生成模型而连续变化，这表明在f-GAN和vanilla GAN中正则化Lipschitz常数。我们数值评估的权力，建议的正则化计划，以提高GAN的训练性能。
2018-10-28 cs.LG stat.ML
On optimal solutions of classical and sliced Wasserstein GANs with non-Gaussian data
Dept. of Applied Math., Univ. of Colorado, Boulder, CO 80309, USA（应用数学系，科罗拉多大学，伯尔德，科罗拉多州，80309，美国）；Department of EE and GICE, National Taiwan University, Taipei, Taiwan（电子工程系和信息科学与工程系，国立台湾大学，台北，台湾）；Institute of Communications Engineering, National Yang Ming Chiao Tung University, HsinChu, Taiwan（通讯工程研究所，国立阳明交通大学，新竹，台湾）；Bosch Center for AI, USA（博世人工智能中心，美国）
本文研究了非高斯数据下经典和切片瓦瑟斯坦GANs的最优解，推导了闭式最优参数并提出新的未投影切片WGAN，实现线性复杂度的高效性能。
2026-02-05 cs.IT cs.LG math.IT
Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
生成对抗网络（GANs）在高维数据建模方面显示出巨大的潜力。GANs的学习目标通常是最小化一些度量差异，\textit{e.g.}，$f$ -散度~（$f$ -GANs）或积分概率度量~（Wasserstein GANs）。以$f$ -散度为目标函数，该算法本质上是对密度比的估计，并且该估计的密度比被证明对进一步提高生成器的样本质量是有用的。然而，如何利用Wasserstein GANs（WGAN）中包含的信息却很少被探索。本文基于WGAN的特征及其与能量模型的关系，引入了鉴别器对比散度。与标准GANs相比，其中直接利用生成器来获得新样本，我们的方法提出了一种半摊销生成过程，其中以生成器的输出作为初始状态来生成样本。然后，几个步骤的朗之万动力学进行使用的梯度的。我们证明了显着改善生成的好处，合成数据和几个真实世界的图像生成基准。
2020-04-05 cs.CV cs.LG stat.ML
Decision-Aware Conditional GANs for Time Series Data
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
我们引入决策感知的时间序列条件生成对抗网络（DAT-CGAN）作为时间序列生成的方法。该框架采用了多Wasserstein损失结构化决策相关的数量，捕捉决策相关的数据的异质性，并提供新的有效性，在支持最终用户的决策过程。我们通过重叠块采样方法提高了样本效率，并从理论上描述了DAT-CGAN的泛化性能。金融时间序列的多时间步投资组合选择问题的框架证明。我们在基础数据和不同的决策相关量方面表现出比基于GAN的强大基线更好的生成质量。
2023-02-04 cs.LG stat.ML
Entropic GANs meet VAEs: A Statistical Approach to Compute Sample Likelihoods in GANs
University of Maryland, College Park（马里兰大学帕克分校）；University of Pennsylvania（宾夕法尼亚大学）
基于深度学习的成功，从数据中学习概率模型的两种现代方法是生成对抗网络（GANs）和变分自编码器（VAE）。VAE考虑数据的显式概率模型，并通过最大化对数似然函数的变分下限来计算生成分布。然而，GANs通过最小化观察到的概率分布和生成的概率分布之间的距离来计算生成模型，而不考虑观察到的数据的显式模型。在GANs中缺乏明确的概率模型，禁止在其框架中计算样本可能性，并限制了它们在统计推断问题中的使用。在这项工作中，我们通过构建一个显式概率模型来解决这个问题，该模型可用于计算GANs中的样本似然统计。特别地，我们证明了在这个概率模型下，具有熵正则化的Wasserstein GANs家族可以被视为一个生成模型，该生成模型最大化了平均样本对数似然的变分下限，这是VAE所基于的方法。这一结果在两个现代生成模型，即GANs和VAE之间建立了原则性联系。除了上述理论结果外，我们还计算了在Gaussian，MNIST，SVHN，CIFAR-10和LSUN数据集上训练的GANs的似然统计。我们的数值结果验证了所提出的理论。
2019-06-05 cs.LG stat.ML
Minimax Optimality (Probably) Doesn't Imply Distribution Learning for GANs
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；CMU（卡内基梅隆大学）；UCLA（加州大学洛杉矶分校）
可以说，生成对抗网络（GANs）理论中最基本的问题是理解GANs实际上可以在多大程度上学习底层分布。理论和经验证据表明，经验培训目标的局部最优性是不够的。然而，它并不排除实现真正的群体极大极小最优解可能意味着分布学习的可能性。在本文中，我们表明，标准的密码学假设意味着这个更强的条件仍然是不够的。也就是说，我们证明了如果局部伪随机生成器（PRG）存在，那么对于一个大的自然连续目标分布族，存在具有恒定深度和多项式大小的ReLU网络生成器，它们采用高斯随机种子，使得（i）输出远离目标分布的Wasserstein距离，但（ii）没有多项式大的Lipschitz ReLU网络可以检测到这一点。这意味着，即使实现群体最小最大最优解的Wasserstein GAN目标是可能不足以在通常的统计意义上的分布学习。我们的技术揭示了GANs和PRG之间的深层联系，我们相信这将导致对GANs计算领域的进一步了解。
2022-01-18 cs.CC cs.CR cs.LG
Wasserstein-Wasserstein Auto-Encoders
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
为了解决学习深度生成模型的挑战（例如，针对变分自编码器的模糊性和训练生成对抗网络的不稳定性，提出了一种新的深度生成模型--Wasserstein-Wasserstein自编码器（WWAE）。我们制定WWAE作为目标分布和生成的分布之间的惩罚最优传输的最小化。通过注意到潜在码Z的先验$P_Z$和聚合后验$Q_Z$都可以被高斯很好地捕获，所提出的WWAE在优化过程中利用了两个高斯的平方Wasserstein-2距离的封闭形式。因此，WWAE不受采样负担的影响，并且通过利用重新参数化技巧而具有计算效率。在包括MNIST、fashion-MNIST和CelebA在内的多个基准数据集上评估的数值结果表明，WWAE比VAE学习更好的潜在结构，并且生成比VAE和GANs更好的视觉质量和更高的FID分数的样本。
2019-02-25 cs.LG stat.ML
Understanding the Effectiveness of Lipschitz-Continuity in Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）；Peking University（北京大学）
在本文中，我们研究了导致GANs训练失败和成功的潜在因素。我们研究了最佳判别函数的性质，并表明在许多GANs中，最佳判别函数的梯度是不可靠的，这是GANs训练失败的根本原因。我们进一步证明了一个定义良好的距离度量并不一定保证GANs的收敛。最后，证明了Lipschitz连续性条件是使最优判别函数的梯度可靠的通解，并刻画了Lipschitz连续性保证收敛的必要条件，从而得到了一类在Lipschitz连续性条件下有效的GAN目标，其中Wasserstein距离是一个特例.我们实验了几个新的目标，这是健全的，根据我们的定理，我们发现，与Wasserstein距离相比，输出的新目标是更稳定的，生成的样本的最终质量也始终高于Wasserstein距离。
2018-12-23 cs.AI cs.CV cs.LG
Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs
实际环境深度的实时估计是各种自主系统任务（如定位、障碍物检测和位姿估计）的重要模块。在机器学习的最后十年中，深度学习方法在计算机视觉任务中的广泛部署产生了从简单RGB模态中进行逼真深度合成的成功方法。虽然这些模型大多依赖于成对的深度数据或视频序列和立体图像的可用性，但缺乏以无监督方式进行单图像深度合成的方法。因此，在这项研究中，生成神经网络领域的最新进展被用于完全无监督的单图像深度合成。更确切地说，实现了两个用于RGB到深度和深度到RGB传输的周期一致性生成器，并使用Wasserstein-1距离同时优化。为了确保所提出的方法的可扩展性，我们将模型应用到一个自我采集的工业数据集以及著名的纽约大学深度v2数据集，它允许与现有的方法进行比较。在这项研究中观察到的成功表明，在现实世界的应用中，不成对的单图像深度估计的潜力很大。
2022-07-08 cs.CV cs.LG eess.IV
Language Modeling with Generative Adversarial Networks
Stanford University（斯坦福大学）
生成对抗网络（GANs）在图像生成领域有着广阔的应用前景，但在语言生成方面却存在着难以训练的问题。GANs最初被设计为输出可微值，因此离散语言生成对它们来说是具有挑战性的，这导致了训练GANs的高度不稳定性。因此，过去的工作采用了最大似然的预训练或没有预训练的GANs训练，其中WGAN目标具有梯度惩罚。在这项研究中，我们提出了这些方法的比较。此外，我们提出了一些实验的结果，表明更好的训练和收敛的Wasserstein GANs（WGANs）时，较弱的正则化项是强制执行Lipschitz约束。
2018-04-08 cs.CL cs.LG stat.ML
The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
在这项工作中，我们训练条件Wasserstein生成对抗网络，以有效地从基于物理的贝叶斯推断问题的后验中采样。该生成器使用U-Net架构构建，使用条件实例规范化注入潜在信息。前者便于多尺度逆映射，而后者使潜在空间维度与测量维度解耦，并在所有尺度上引入随机性。我们解决基于偏微分方程的逆问题，以证明我们的方法在量化推断领域的不确定性的性能。此外，我们还证明了生成器可以学习本质上是局部的逆映射，这反过来又促进了在使用分布外样本进行测试时的泛化能力。
2022-11-18 cs.LG stat.ML
Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks
Georgia Tech（佐治亚理工学院）
生成对抗网络（GANs）在无监督学习中取得了巨大的成功。尽管其显著的经验性能，有有限的理论研究的统计特性的GANs。本文提供了GANs的近似和统计保证，用于估计在Hölder空间中具有密度的数据分布。我们的主要结果表明，如果正确选择生成器和神经网络架构，GANs是强差异度量（如Wasserstein-1距离）下数据分布的一致估计器。此外，当数据分布呈现低维结构时，我们表明GANs能够捕获数据中未知的低维结构，并具有快速的统计收敛性，这是免费的环境维数灾难。我们对低维数据的分析建立在具有Lipschitz连续性保证的神经网络的通用近似理论之上，这可能是独立的兴趣。
2022-07-21 cs.LG stat.ML
Conditional Wasserstein GAN-based Oversampling of Tabular Data for Imbalanced Learning
类不平衡是监督学习中的一个常见问题，它影响了分类模型的预测性能。流行的对策包括对少数族裔进行过度抽样。像SMOTE这样的标准方法依赖于寻找最近邻和线性插值，这在高维复杂数据分布的情况下是有问题的。生成对抗网络（GANs）已被提出作为生成人工少数样本的替代方法，因为它们可以对复杂分布进行建模。然而，先前对基于GAN的过采样的研究并没有结合文献中关于使用GANs生成现实表格数据的最新进展。以前的研究也集中在数值变量，而分类功能是常见的许多商业应用的分类方法，如信用评分。该文提出了一种基于条件Wasserstein GAN的过采样方法，该方法能够有效地对包含数值和分类变量的表格数据集进行建模，并通过辅助分类器损失来关注下游分类任务。我们对我们的方法进行基准测试，对标准的过采样方法和七个真实世界的数据集上的不平衡基线。实证结果证明了基于GAN的过采样的竞争力。
2020-08-20 cs.LG
Lipschitz Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Stanford University（斯坦福大学）
在本文中，我们从最佳判别函数的梯度信息量的角度研究了生成对抗网络（GANs）的收敛性。我们表明，GANs在判别函数空间上没有限制，通常会遇到这样的问题，即由卷积产生的梯度没有信息来指导生成器。相比之下，Wasserstein GAN（WGAN），其中判别函数被限制为1-Lipschitz，不遭受这样的梯度无信息性问题。我们在论文中进一步表明，具有紧致对偶形式的Wasserstein距离的模型，其中Lipschitz条件被放松，理论上也可能受到这个问题的影响。这暗示了Lipschitz条件的重要性，并促使我们研究具有Lipschitz约束的GANs的一般公式，这导致了一个新的GANs家族，我们称之为Lipschitz GANs（LGANs）。我们证明了LGANs保证了最优判别函数的存在性和唯一性以及唯一的纳什均衡的存在性。我们证明了LGAN通常能够消除梯度不信息性问题。根据我们的实证分析，与WGAN相比，LGAN更稳定，并且始终生成更高质量的样本。
2019-06-24 cs.CV cs.LG stat.ML
GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
生成对抗网络（GANs）擅长使用复杂模型创建逼真的图像，而最大似然法是不可行的。然而，GAN训练的收敛性仍然没有得到证明。我们提出了一个双时间尺度更新规则（TTUR），用于在任意GAN损失函数上训练具有随机梯度下降的GANs。TTUR对学习器和发生器都有各自的学习率。利用随机逼近理论，我们证明了TTUR收敛到一个平稳的局部纳什均衡在温和的假设下。收敛进行到流行的亚当优化，我们证明，它遵循一个沉重的球摩擦的动力学，从而更喜欢在客观景观平坦的最小值。为了评估GANs在图像生成时的性能，我们引入了“Fréchet Inception Distance”（FID），它比Inception Score更好地捕捉生成图像与真实图像的相似性。在实验中，TTUR改善了DCGAN和改进的Wasserstein GANs（WGAN-GP）的学习，在CelebA、CIFAR-10、SVHN、LSUN Bedrooms和10亿字基准上的表现优于传统的GAN训练。
2018-01-12 cs.LG stat.ML
An Empirical Comparison of GANs and Normalizing Flows for Density Estimation
Purdue University（普渡大学）；University of Michigan（密歇根大学）
生成对抗网络（GANs）和归一化流都是密度估计的方法，它们使用深度神经网络将样本从无信息的先验分布转换为数据分布的近似值。对于通用统计建模，这两种方法都有很大的兴趣，但对于非图像数据建模，这两种方法很少相互比较。使用GANs（隐式模型）计算可能性的难度使得进行这种比较具有挑战性。我们通过考虑几个低维合成数据集来解决这个困难。对GAN架构、超参数和训练过程的广泛网格搜索表明，没有GAN能够很好地对我们的简单低维数据进行建模，我们认为这是一种适合通用统计建模的方法的先决条件。另一方面，几个规范化流在这些任务中表现出色，甚至在Wasserstein距离方面大大优于WGAN-WGAN单独目标的度量。科学家和其他从业者应该警惕依赖WGAN用于需要精确密度估计的应用。
2021-12-14 cs.LG stat.ML
Neural SDEs as Infinite-Dimensional GANs
Mathematical Institute, University of Oxford（牛津大学数学研究所）；The Alan Turing Institute（艾伦·图灵研究所）；Stanford（斯坦福大学）
随机微分方程（SDEs）是时间动力学数学建模的主要内容。然而，一个根本的限制是，这样的模型通常是相对不灵活的，最近的工作引入神经SDES试图解决。在这里，我们表明，目前的经典方法来拟合SDEs可以作为（Wasserstein）GANs的一个特殊情况，并在这样做的神经和经典的制度可能会汇集在一起。输入噪声是布朗运动，输出样本是由数值求解器产生的时间演化路径，通过将神经元控制微分方程（CDE）参数化，我们获得了神经SDEs（用现代机器学习的说法）连续时间生成时间序列模型。与以前的工作在这个问题上，这是一个直接的经典方法的扩展，没有参考预先指定的统计或密度函数。任意的漂移和扩散都是允许的，因此由于Wasserstein损失具有唯一的全局最小值，因此在无限数据限制中可以学习到任意的最小值。示例代码已作为\texttt{torchsde}存储库的一部分提供。
2021-05-11 cs.LG
Conditional GANs For Painting Generation
The University of Edinburgh（爱丁堡大学）
我们研究了现代生成对抗网络的使用，以使用Painter By Numbers数据集生成油画的新图像。我们实现了谱归一化GAN（SN-GAN）和带梯度惩罚的谱归一化GAN，并将它们的输出与深度卷积GAN进行了比较。根据切片Wasserstein距离度量，在视觉上和定量上，我们确定SN-GAN产生的绘画与我们的训练数据集最具可比性。然后，我们进行了一系列实验，将监督条件作用添加到SN-GAN中，我们认为这是一种新颖的架构，可以生成具有用户指定特征的人脸绘画。
2019-03-06 cs.CV cs.LG stat.ML
Global Convergence to the Equilibrium of GANs using Variational Inequalities
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在最优化中，函数的负梯度表示最陡下降的方向。此外，在与梯度正交的任何方向上行进都保持函数的值。在这项工作中，我们表明，这些正交方向被忽略的梯度下降可以在平衡问题的关键。由于生成对抗网络（GAN）的出现，平衡问题在机器学习中引起了高度关注。我们使用变分不等式的框架来分析流行的训练算法的基本GAN变体：Wasserstein线性二次GAN。我们表明，最陡的下降方向导致发散的平衡，并通过以下一个特定的正交方向实现收敛到平衡。我们称这种成功的技术为Crossing-the-Curl，以其数学推导和直觉命名：确定游戏的旋转轴，并朝着更小的“卷曲”方向移动“穿过”空间。
2019-05-20 cs.LG stat.ML
Semi-Supervised Learning with IPM-based GANs: an Empirical Study
IBM Research（IBM研究院）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个实证调查的最新类生成对抗网络（GANs）使用积分概率（IPM）和他们的性能半监督学习。基于IPM的GANs，如Wasserstein GAN、Fisher GAN和Sobolev GAN，在理论理解、训练稳定性和有意义的损失方面具有理想的特性。在这项工作中，我们研究如何设计的评论家（或评论家）影响性能的半监督学习。我们提炼出三个关键的要点，这对良好的SSL性能很重要：（1）K+1公式，（2）避免在批评中的批量归一化和（3）避免对分类层的梯度惩罚约束。
2017-12-07 cs.LG
