Anomaly detection with Wasserstein GAN
Airbus AI Research（空客人工智能研究院）；ISAE Supaero（法国高等航空航天学院）
生成对抗网络是一类生成算法，已被广泛用于生成最先进的样本。在本文中，我们研究了GAN对时间序列数据集进行异常检测。为了实现这一目标，参考书目的GAN和GAN用于异常检测的理论特性。一个Wasserstein GAN已被选择来学习正常数据分布的表示和一个堆叠的编码器与发生器执行异常检测。带有编码器的W-GAN似乎在MNIST数据集上产生了最先进的异常检测分数，我们研究了它在多变量时间序列上的使用。
2018-12-11 cs.LG stat.ML
Wasserstein GAN
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Facebook AI Research（Facebook 人工智能研究院）
我们介绍了一种新的算法命名为WGAN，替代传统的GAN训练。在这个新模型中，我们证明了我们可以提高学习的稳定性，摆脱模式崩溃等问题，并提供有意义的学习曲线，用于调试和超参数搜索。此外，我们证明了相应的优化问题是合理的，并提供了广泛的理论工作，突出了分布之间的其他距离的深层联系。
2017-12-06 cs.LG stat.ML
Towards Generalized Implementation of Wasserstein Distance in GANs
University of Montreal（蒙特利尔大学）；Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；HEC Montreal（蒙特利尔高等商学院）；CIFAR AI Research Chair（CIFAR人工智能研究讲席）
Wasserstein GANs（WGANs）建立在Wasserstein距离的Kantorovich-Rubinstein（KR）对偶性之上，是理论上最合理的GAN模型之一。然而，在实践中，它并不总是优于GANs的其他变体。这主要是由于KR对偶所需的Lipschitz条件的不完美实现。虽然人们对Lipschitz约束做了大量的工作，但在实际应用中仍然很难完全满足Lipschitz约束。在本文中，我们认为，强Lipschitz约束可能是不必要的优化。相反，我们后退一步，尝试放松Lipschitz约束。理论上，我们首先证明了一个更一般的对偶形式的Wasserstein距离称为Sobolev对偶，放松Lipschitz约束，但仍然保持良好的梯度性质的Wasserstein距离。此外，我们证明了KR对偶实际上是Sobolev对偶的一个特例。基于松弛对偶，我们进一步提出了一种广义WGAN训练方案Sobolev Wasserstein GAN（SW GAN），并通过大量实验验证了SW GAN相对于现有方法的改进。
2021-01-12 cs.LG stat.ML
Relaxed Wasserstein with Applications to GANs
University of California, Berkeley（加州大学伯克利分校）
Wasserstein生成对抗网络（WGANs）提供了一类通用的模型，在各种应用中引起了极大的关注。然而，该框架有两个主要缺点：（i）Wasserstein-1（或Earth-Mover）距离是限制性的，使得WGAN不能总是很好地适应数据几何形状;（ii）难以实现WGAN的快速训练。本文通过推广Wasserstein-1距离和Bregman代价函数，提出了一类新的\textit{Relaxed Wasserstein}（RW）距离.我们表明，RW距离实现良好的统计特性，同时不牺牲计算的易处理性。结合GANs框架，我们开发了Relaxed WGANs（RWGANs），它不仅在统计上灵活，而且可以使用启发式方法有效地近似。在真实图像上的实验表明，具有Kullback-Leibler（KL）代价函数的RWGAN优于其他竞争方法，例如，WGAN，即使有梯度惩罚。
2021-07-17 cs.LG stat.ML
Improved Training of Wasserstein GANs
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Google Brain（谷歌大脑）
生成对抗网络（GANs）是强大的生成模型，但存在训练不稳定的问题。最近提出的Wasserstein GAN（WGAN）在GANs的稳定训练方面取得了进展，但有时仍然只能生成低质量的样本或无法收敛。我们发现，这些问题往往是由于在WGAN中使用权重裁剪来对评论家实施Lipschitz约束，这可能导致不期望的行为。我们提出了一种替代裁剪权重：惩罚相对于其输入的评论家的梯度范数。我们提出的方法比标准的WGAN性能更好，并且能够稳定地训练各种各样的GAN架构，几乎没有超参数调整，包括101层ResNet和离散数据上的语言模型。我们还在CIFAR-10和LSUN卧室上实现了高质量的世代。
2017-12-25 cs.LG stat.ML
Orthogonal Wasserstein GANs
University of Bonn（波恩大学）
Wasserstein-GANs已经被引入以解决生成对抗网络（GANs）在训练期间关于消失梯度和模式坍塌的问题的缺陷，从而导致改进的收敛行为和改进的图像质量。然而，Wasserstein-GAN要求连续性是Lipschitz连续的。在当前最先进的Wasserstein-GAN中，通过梯度范数正则化来强制执行此约束。在本文中，我们证明了这种正则化并不鼓励频谱值的广泛分布，因此导致学习分布的保真度降低。因此，我们调查的可能性，取代这个Lipschitz约束的正交约束的权重矩阵。我们比较了三种不同的权重正交化技术的收敛性，他们的能力，以确保Lipschitz条件和所取得的质量的学习分布。此外，我们还提供了与使用当前最先进方法训练的Wasserstein-GAN的比较，其中我们展示了仅使用基于正交性的正则化的潜力。在这种情况下，我们提出了一种改进的Wasserstein-GAN训练过程，该过程利用正交化来进一步提高其泛化能力。最后，我们提供了一个新的度量来评估不同Wasserstein-GAN的鉴别器的泛化能力。
2019-12-15 cs.LG eess.IV stat.ML
Local Stability and Performance of Simple Gradient Penalty mu-Wasserstein GAN
POSTECH（浦项科技大学）
Wasserstein GAN（WGAN）是一种最小化数据分布和样本分布之间的Wasserstein距离的模型。最近的研究提出了稳定WGAN的训练过程并实现Lipschitz约束。在这项研究中，我们证明了优化简单梯度惩罚$μ$ -WGAN（SGP $μ$ -WGAN）在适当的假设下，关于平衡和惩罚措施$μ$的局部稳定性。利用测度值微分的概念处理惩罚项的导数，有助于处理低维支撑的抽象奇异测度。基于这种分析，我们认为惩罚数据流形或样本流形是用梯度惩罚正则化原始WGAN的关键。非直观的惩罚措施，满足我们的假设得到的实验结果也提供支持我们的理论结果。
2018-10-05 cs.LG stat.ML
Adversarial network training using higher-order moments in a modified Wasserstein distance
A-Alpha Bio（A-Alpha Bio公司）
生成对抗网络（GANs）已被用于在压缩的潜在空间中产生与示例数据非常相似的数据，该压缩的潜在空间接近于足以在原始向量空间中进行重构。Wasserstein度量已被用作二进制交叉熵的替代方案，产生具有更大模式覆盖行为的更稳定的GANs。在这里，一个泛化的瓦瑟斯坦距离，使用高阶矩比平均值，推导出。训练一个GAN与此高阶Wasserstein度量表现出优越的性能，即使在调整略高的计算成本。这示出了生成合成抗体序列。
2022-10-07 cs.LG stat.ML
Multi-marginal Wasserstein GAN
South China University of Technology（华南理工大学）；The University of Adelaide（阿德莱德大学）；Peng Cheng Laboratory（鹏城实验室）
多边缘匹配问题旨在学习映射以将源域匹配到多个目标域，在多域图像翻译等应用中引起了广泛的关注。然而，解决这个问题有两个关键的挑战：（i）测量不同域之间的多边缘距离是非常棘手的;（ii）利用跨域相关性来匹配目标域分布是非常困难的。在本文中，我们提出了一种新的多边缘Wasserstein GAN（MWGAN），以最小化域之间的Wasserstein距离。具体来说，在多边际最优运输理论的帮助下，我们开发了一个新的具有内部和域间约束的对抗性目标函数，以利用跨域相关性。此外，我们从理论上分析了MWGAN的泛化性能，并在平衡和非平衡翻译任务上对其进行了实证评估。在玩具和真实世界数据集上的大量实验证明了MWGAN的有效性。
2019-11-03 cs.LG stat.ML
Primal-Dual Wasserstein GAN
我们介绍了原始-对偶Wasserstein GAN，一种新的学习算法，用于建立基于原始和对偶公式的最优运输（OT）问题的数据分布的潜变量模型。我们利用原始公式来学习灵活的推理机制，并在数据分布和生成模型之间创建最佳近似耦合。为了学习生成模型，我们使用的对偶制定和训练的解码器通过一个批评网络，这是正则化的近似耦合从原始的。与以前的方法，违反各种属性的最佳评论家，我们正规化的标准和方向的梯度的评论家功能。我们的模型在模式覆盖和潜在结构方面共享了自动编码模型的许多理想属性，同时避免了它们不理想的平均属性，例如在对真实图像建模时无法捕获清晰的视觉特征。我们比较我们的算法与其他几个生成建模技术，利用瓦瑟斯坦距离的弗雷歇初始距离（FID）和初始分数（IS）。
2018-05-24 cs.LG stat.ML
A Wasserstein perspective of Vanilla GANs
Karlsruhe Insitute of Technology（卡尔斯鲁厄理工学院）
本文从Wasserstein距离视角建立Vanilla GANs与Wasserstein GANs的理论联系，推导出适用于ReLU网络的oracle不等式及收敛速率。
2024-07-29 cs.LG math.ST stat.ML
Some Theoretical Insights into Wasserstein GANs
Sorbonne Université（索邦大学）；Criteo AI Lab（科睿唯安人工智能实验室）
生成对抗网络（GANs）在图像、视频和文本生成等不同领域都取得了出色的成果。在这些成功的基础上，大量的实证研究已经验证了称为Wasserstein GANs（WGANs）的表亲方法的好处，它在训练过程中带来了稳定性。在本文中，我们通过提出WGAN性质的一些理论进展，为建筑物添加了一块新的石头。首先，我们在由神经网络参数化的积分概率度量的背景下正确定义了WGAN的架构，并强调了它们的一些基本数学特征。我们强调特别有趣的优化性能所产生的使用参数1-Lipschitz的。然后，在一种由经验驱动的方法中，我们研究了当样本大小趋于无穷大时经验WGAN的收敛性，并通过强调一些权衡性质来澄清生成器和迭代器的对抗效应。这些功能最后说明了使用合成和真实世界的数据集的实验。
2021-06-18 cs.LG stat.ML
On the estimation of the Wasserstein distance in generative models
Graz University of Technology（格拉茨工业大学）；Austrian Institute of Technology（奥地利技术研究所）
生成对抗网络（GANs）已被用于对基于样本的数据集的潜在概率分布进行建模。GANs因训练困难和对任意超参数的依赖而闻名。GAN文献中的一个最近的改进是使用Wasserstein距离作为损失函数，从而导致Wasserstein生成对抗网络（WGAN）。以此为基础，我们展示了各种方法，其中Wasserstein距离估计生成建模的任务。此外，在训练这样的模型的秘密显示和总结在这项工作的最后。在适用的情况下，我们将当前的工作扩展到不同的算法，不同的成本函数和不同的正则化方案，以改进生成模型。
2019-10-02 cs.LG stat.ML
Inferential Wasserstein Generative Adversarial Networks
Purdue University（普渡大学）
生成式对抗网络（GANs）对许多问题和应用都有影响，但存在训练不稳定的问题。Wasserstein GAN（WGAN）利用瓦瑟斯坦距离来避免GANs的最小最大两人训练中的警告，但具有其他缺陷，例如模式崩溃和缺乏检测收敛的度量。我们介绍了一种新的推理Wasserstein GAN（iW GAN）模型，这是一个原则性的框架融合自动编码器和WGAN。iWGAN模型通过迭代原始对偶优化过程联合学习编码器网络和生成器网络。编码器网络将观察到的样本映射到潜在空间，生成器网络将样本从潜在空间映射到数据空间。我们建立的推广误差界的iWGAN理论证明其性能。在极大似然估计的框架下，我们进一步提供了一个严格的概率解释我们的模型。iWGAN具有明确的停止标准，与其他自动编码器GANs相比具有许多优势。实验结果表明，该方法大大减轻了模式崩溃的症状，加快了收敛速度，并能对每个样本进行质量检验。我们通过获得基准数据集的竞争力和稳定的性能来说明iWGAN的能力。
2021-09-13 cs.LG stat.ML
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
Demystifying MMD GANs
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）
我们研究了使用最大平均离散度（MMD）作为评判标准的生成对抗网络的训练和性能，称为MMD GANs。作为我们的主要理论贡献，我们澄清了最近的工作提出的GAN损失函数中的偏差情况：我们表明，在MMD GANs和Wasserstein GANs的优化过程中使用的梯度估计是无偏的，但学习基于样本的梯度会导致发生器参数的有偏梯度。我们还讨论了MMD评论家的核选择问题，并表征了Cramer GAN评论家使用的能量距离对应的核。作为一个积分概率距离，MMD受益于最近为Wasserstein GANs开发的训练策略。在实验中，MMD GAN能够采用比Wasserstein GAN更小的评价网络，从而导致具有匹配性能的更简单和更快的训练算法。我们还提出了一种改进的GAN收敛性度量，即核初始距离，并展示了如何在GAN训练过程中使用它来动态调整学习速率。
2021-01-14 cs.LG stat.ML
On the regularization of Wasserstein GANs
Fraunhofer Institute IAIS（弗劳恩霍夫研究所IAIS）；Department of Computer Science, University of Bonn（波恩大学计算机科学系）
本文研究Wasserstein GANs中Lipschitz约束的正则化方法，通过理论分析和实验证明使用较弱的正则化项优于权重裁剪。
2026-05-29 cs.LG stat.ML
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Dupage Medical Group（杜佩奇医疗集团）
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题，分析切片Wasserstein距离的投影复杂度，提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离，可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
Simulation of Multivariate Extremes: a Wasserstein-Aitchison GAN approach
Institute of Statistics, Biostatistics and Actuarial Sciences, LIDAM, UCLouvain（统计、生物统计与精算科学研究所，LIDAM，UCLouvain）；CREST, ENSAE Paris（ENSAE巴黎CREST）；Department of Mathematical Sciences, Chalmers University of Technology and University of Gothenburg（数学科学系，查尔姆斯理工大学和哥德堡大学）；Department of Mathematics, KU Leuven（数学系，KU莱顿）
本文提出了一种基于Wasserstein-Aitchison GAN的方法，用于模拟多变量极值事件，通过结合尾部依赖结构建模和联合边缘尾部建模，提升了极值风险评估的准确性。
2026-01-12 cs.LG stat.ML
Summable Reparameterizations of Wasserstein Critics in the One-Dimensional Setting
University of Michigan（密歇根大学）；Beihang University（北京航空航天大学）；Brown University（布朗大学）
生成对抗网络（GANs）是解决密度估计问题的算法的一个令人兴奋的替代方案-使用数据来评估样本从同一分布中提取的可能性。GANs不是显式地计算这些概率，而是学习一个可以匹配给定概率源的生成器。本文特别着眼于这种匹配能力的背景下，一维输出的问题。我们确定了一类函数分解的属性，使它们非常适合在称为Wasserstein GANs的GANs的领先方法中扮演批评者的角色。我们表明，泰勒和傅立叶级数分解属于我们的类，提供这些批评优于标准的GAN方法的例子，并建议他们如何可以扩展到更高维的问题在未来。
2017-09-19 cs.AI cs.LG stat.ML
A Differential Equation Approach for Wasserstein GANs and Beyond
Department of Applied Mathematics, University of Colorado, Boulder, CO 80309, United States
本文通过 Wasserstein-1 损失的梯度流常微分方程提出 W1-FE 生成模型，证明其前向欧拉离散化收敛，并在持续训练下优于 WGAN，同时说明朴素引入持续训练会损害效果。
2025-02-04 cs.LG stat.ML
About exchanging expectation and supremum for conditional Wasserstein GANs
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
在Wasserstein GAN依赖于条件的情况下，后者通常通过损失函数内的期望来处理。根据其动机的不同，要求在两个参数中或仅在其中一个参数中，均为Lipschitz-1。为了使较弱的要求变得可用，需要交换上确界和期望。这是一个数学上危险的操作，到目前为止，在文献中只有部分合理性。这篇简短的数学笔记旨在填补这一空白，并为这种方法更合适或更成功的情况下，仅部分Lipschitz-1的判别器提供数学原理。
2021-06-14 cs.LG
From GAN to WGAN
OpenAI
本文解释了生成对抗网络（GAN）模型背后的数学原理以及为什么它很难训练。Wasserstein GAN旨在通过采用平滑度量来测量两个概率分布之间的距离来改进GANs的训练。
2019-04-18 cs.LG stat.ML
Distributional Robustness with IPMs and links to Regularization and GANs
The Australian National University（澳大利亚国立大学）；Data61
由于深度神经网络对小扰动的脆弱性，对抗性攻击的鲁棒性是一个重要的问题，近年来受到了广泛的关注。分布式鲁棒优化（DRO）是解决这一挑战的一种特别有前途的方法，它通过基于发散的不确定性集来研究鲁棒性，并为正则化等鲁棒化策略提供了有价值的见解。在机器学习的背景下，大多数现有的结果选择了$f$ -分歧，瓦瑟斯坦距离和最近的最大平均离散（MMD）来构建不确定性集。我们扩展这条工作线的目的，通过正则化的理解鲁棒性，通过研究不确定性集构造的积分概率距离（IPM）-一个大家庭的分歧，包括MMD，总变差和瓦瑟斯坦距离。我们的主要结果表明，DRO下\textit{any}选择IPM对应于一个家庭的正则化惩罚，恢复和改善现有的结果，在设置的MMD和瓦瑟斯坦距离。由于我们结果的一般性，我们表明其他IPM选择对应于机器学习中其他常用的惩罚。此外，我们扩展了我们的结果，通过$f$ -GANs揭示了对抗生成建模，构成了$f$ -GAN目标的分布鲁棒性的第一个研究。我们的研究结果揭示了鲁棒性方面的非线性集合的归纳属性，使我们能够对几种基于惩罚的GAN方法（如Wasserstein-，MMD-和Sobolev-GAN）给予积极的评价。总之，我们的结果将GANs与分布鲁棒性紧密联系起来，扩展了以前关于DRO的结果，并有助于我们理解正则化与鲁棒性之间的联系。
2020-06-08 cs.LG stat.ML
Conditional Wasserstein GAN-based Oversampling of Tabular Data for Imbalanced Learning
类不平衡是监督学习中的一个常见问题，它影响了分类模型的预测性能。流行的对策包括对少数族裔进行过度抽样。像SMOTE这样的标准方法依赖于寻找最近邻和线性插值，这在高维复杂数据分布的情况下是有问题的。生成对抗网络（GANs）已被提出作为生成人工少数样本的替代方法，因为它们可以对复杂分布进行建模。然而，先前对基于GAN的过采样的研究并没有结合文献中关于使用GANs生成现实表格数据的最新进展。以前的研究也集中在数值变量，而分类功能是常见的许多商业应用的分类方法，如信用评分。该文提出了一种基于条件Wasserstein GAN的过采样方法，该方法能够有效地对包含数值和分类变量的表格数据集进行建模，并通过辅助分类器损失来关注下游分类任务。我们对我们的方法进行基准测试，对标准的过采样方法和七个真实世界的数据集上的不平衡基线。实证结果证明了基于GAN的过采样的竞争力。
2020-08-20 cs.LG
Robust W-GAN-Based Estimation Under Wasserstein Contamination
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
稳健估计是统计学中的一个重要问题，其目的是当数据生成分布位于未污染分布周围的适当定义的球内时，提供一个合理的估计。虽然极大极小估计率近年来已经建立，许多现有的鲁棒估计可证明最佳的收敛速度也是计算上难以处理的。在本文中，我们研究了Wasserstein污染模型下的几个估计问题，并提出了基于生成对抗网络（GANs）的计算易处理的估计器。具体来说，我们分析了基于Wasserstein GAN的位置估计，协方差阵估计和线性回归估计的性质，并表明我们提出的估计在许多情况下是最小最大最优的。最后，我们提出的数值结果证明了我们的估计的有效性。
2021-01-20 cs.IT cs.LG math.IT
Understanding Entropic Regularization in GANs
Stanford University（斯坦福大学）；University of Delaware（特拉华大学）
生成对抗网络是一种通过将目标分布建模为已知分布的函数来从数据中学习分布的流行方法。该函数通常被称为生成器，它被优化以最小化生成的分布和目标分布之间的选定距离度量。一个常用的测量方法是Wasserstein距离。然而，Wasserstein距离很难计算和优化，在实践中，熵正则化技术被用来提高数值收敛性。然而，正则化对学习解决方案的影响仍然没有得到很好的理解。在本文中，我们研究了几种流行的熵正则化的Wasserstein距离如何影响解决方案在一个简单的基准设置，其中生成器是线性的，目标分布是高维高斯。我们表明，熵正则化促进解决方案稀疏化，而取代Wasserstein距离与Sinkhorn发散恢复非正则化的解决方案。这两种正则化技术都消除了Wasserstein距离所带来的维数灾难。我们表明，最佳的发电机可以学习到准确的$ε$与$O(1/ε^2)$样本的目标分布。因此，我们的结论是，这些正则化技术可以提高质量的发电机从经验数据的一大类分布。
2021-11-02 cs.LG stat.ML
Generating Natural Adversarial Hyperspectral examples with a modified Wasserstein GAN
University of South Brittany（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学与应用数学研究所）
对抗性示例是一个热门话题，因为它们能够欺骗分类器的预测。有两种策略可以创建这样的例子，一种使用被攻击的分类器的梯度，而另一种只需要访问分类器的预测。这在分类器不完全已知（黑箱模型）时特别有吸引力。在本文中，我们提出了一种新的方法，它能够从真实数据中生成自然的对抗性例子，遵循第二范式。基于生成对抗网络（GANs）[5]，它重新加权真实数据的经验分布，以鼓励分类器生成对抗样本。我们通过在遥感数据集上生成对抗性高光谱签名来证明我们的方法的概念。
2020-01-27 cs.AI cs.LG stat.ML
Improving the Improved Training of Wasserstein GANs: A Consistency Term and Its Dual Effect
University of Central Florida（中佛罗里达大学）；Beijing Jiaotong University（北京交通大学）；Tencent AI Lab（腾讯人工智能实验室）
尽管生成对抗网络（GANs）对各种问题和应用都有影响，但训练非常困难。\cite{arjovsky2017towards}正式分析了这个问题，他还提出了一个替代方向，以避免GANs的最小最大两人训练中的警告。相应的算法，称为Wasserstein GAN（WGAN），取决于1-Lipschitz连续的时间序列。在本文中，我们提出了一种新的方法来加强WGAN的训练过程中的Lipschitz连续性。我们的方法无缝连接WGAN与最近的半监督学习方法之一。因此，它不仅产生了比以前的方法更好的照片般逼真的样本，而且还产生了最先进的半监督学习结果。特别是，我们的方法仅使用1，000张CIFAR-10图像就获得了超过5.0的初始分数，并且是第一个仅使用4，000张标记图像就超过CIFAR-10数据集90%准确度的方法。
2018-03-05 cs.CV cs.LG stat.ML
Sig-Wasserstein GANs for Time Series Generation
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；University of Kaiserslautern（凯泽斯劳滕大学）
合成数据是一种新兴技术，可以显著加速AI机器学习管道的开发和部署。在这项工作中，我们开发高保真的时间序列发生器，SigWGAN，通过结合连续时间随机模型与新提出的签名$W_1$度量。前者是基于随机微分方程的Logsig-RNN模型，后者则是基于时间序列所具有的普遍性和原则性的数学特征来刻画时间序列的测度。SigW GAN允许将计算上具有挑战性的GAN最小-最大问题转化为监督学习，同时生成高保真样本。我们验证了所提出的模型的流行的定量风险模型和实证金融数据生成的合成数据。代码可在https://github.com/SigCGANs/Sig-Wasserstein-GANs.git上获得。
2021-11-01 cs.LG
Stability Analysis Framework for Particle-based Distance GANs with Wasserstein Gradient Flow
Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
本文提出基于Wasserstein梯度流的稳定性分析框架，揭示粒子距离GAN中判别器训练不稳定的原因，并通过在判别器损失中加入稳定项来改善训练稳定性。
2023-07-07 cs.LG
Comparison of Maximum Likelihood and GAN-based training of Real NVPs
Google DeepMind（谷歌DeepMind）；UCL（伦敦大学学院）；Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）
我们通过最大似然训练生成器，并且我们还通过Wasserstein GAN训练相同的生成器架构。然后，我们比较生成的样本，精确的对数概率密度和近似Wasserstein距离。我们表明，一个独立的评论家训练近似验证集和生成器分布之间的Wasserstein距离有助于检测过拟合。最后，我们利用一次性学习文献中的思想开发了一个新的快速学习评论器。
2017-05-15 cs.LG
Extended Wasserstein-GAN Approach to Causal Distribution Learning: Density-Free Estimation and Minimax Optimality
The University of Tokyo（东京大学）；Japan Institute for Health Security（日本健康安全研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进情报项目）；Kyoto University（京都大学）
本文提出GANICE方法，通过扩展Wasserstein距离和极小极大最优性理论，解决因果分布估计中的无密度估计和最优性问题，实验表明其优于现有方法。
2026-11-10 cs.LG math.ST stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
2-Wasserstein Approximation via Restricted Convex Potentials with Application to Improved Training for GANs
Coordinated Science Laboratory, UIUC（伊利诺伊大学厄巴纳-香槟分校协同科学实验室）；Technicolor AI Lab（Technicolor人工智能实验室）
我们提供了一个框架，以近似的2-Wasserstein距离和最优输运地图，服从有效的培训以及统计和几何分析。考虑到最优运输问题的Kantorovich对偶形式和二次费用，Brenier定理指出最优势函数是凸的，最优输运图是最优势函数的梯度。使用这种几何结构，我们限制最优化问题不同的参数化类的凸函数，并特别注意类的输入凸神经网络。我们分析了统计推广和歧视的权力，所产生的近似度量，我们证明了一个限制矩匹配属性的近似最优映射。最后，我们讨论了一个数值算法来解决限制性最优化问题，并提供数值实验来说明和比较所提出的方法与已建立的正则化为基础的方法。我们进一步讨论了我们的建议在GANs的模块化和可解释的设计中的实际意义，该设计将生成器训练与并行计算连接起来，以允许学习整个复合生成器。
2019-02-19 cs.LG math.OC stat.ML
Conditional Sig-Wasserstein GANs for Time Series Generation
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；University of Kaiserslautern（凯撒斯劳滕大学）
本文提出条件 Sig-WGAN 框架，将路径签名与 WGAN 结合，用条件 Sig-W1 度量作为判别器，以显式表示避免昂贵训练，在时间序列生成任务上显著优于现有基准。
2023-10-11 cs.LG stat.ML
Approximability of Discriminators Implies Diversity in GANs
Stanford University（斯坦福大学）；MIT（麻省理工学院）
虽然生成对抗网络（GANs）在学习复杂的现实世界分布方面取得了令人印象深刻的结果，但最近的研究表明，它们缺乏多样性或模式坍塌。Arora等人的理论工作表明了GANs统计特性的困境：强大的鉴别器导致过拟合，而弱鉴别器无法检测模式坍塌。相比之下，我们在本文中表明，如果GAN类对特定的生成器类（而不是对所有可能的生成器）具有很强的区分能力，则GANs原则上可以以多项式样本复杂度学习Wasserstein距离（或在许多情况下是KL发散）的分布。对于各种生成器类，如混合高斯，指数族，可逆和内射神经网络生成器，我们设计相应的鉴别器（通常是特定架构的神经网络），使得积分概率度量（IPM）诱导的鉴别器可以证明近似Wasserstein距离和/或KL-发散。这意味着如果训练成功，那么学习的分布接近Wasserstein距离或KL发散的真实分布，因此不能丢弃模式。我们的初步实验表明，在合成数据集上，测试IPM与KL散度或Wasserstein距离具有良好的相关性，这表明GANs中缺乏多样性可能是由优化中的次优性而不是统计效率低下引起的。
2019-07-01 cs.DS cs.LG stat.ML
Gradient penalty from a maximum margin perspective
University of Montreal（蒙特利尔大学）
在生成对抗网络（GANs）中，一种用于提高性能的流行启发式方法是在节点上使用某种形式的梯度惩罚。这种梯度惩罚最初是由Wasserstein距离公式激发的。然而，在其他GAN公式中使用梯度惩罚并没有很好的动机。我们提出了一个统一的框架，期望利润最大化，并表明，广泛的梯度惩罚GANs（例如，Wasserstein、Standard、Least-Squares和Hinge GANs）可以从这个框架中导出。我们的研究结果表明，采用梯度惩罚会导致大间隔分类器（因此，GANs中的大间隔分类器）。我们描述了期望的边缘最大化如何帮助减少伪（生成）样本的消失梯度，这是GANs中的一个已知问题。从这个框架中，我们导出了一个新的具有铰链损失的$L^\infty$梯度范数惩罚，它通常在GANs中产生与$L^2$ -范数惩罚（基于Fréchet Inception Distance）相同（或更好）的生成输出。
2020-11-24 cs.LG stat.ML
Quantum Wasserstein GANs for State Preparation at Unseen Points of a Phase Diagram
Technical University of Munich（慕尼黑工业大学）；Technical University of Munich, Institute for Advanced Study（慕尼黑工业大学高等研究院）
本文提出一种基于量子Wasserstein GANs的混合经典-量子方法，可学习态测量期望的底层函数，并生成相图中未见点的新量子态。
2023-09-18 cs.LG quant-ph
Wasserstein Proximal of GANs
University of California, Los Angeles（加州大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）；Max Planck Institute for Mathematics in Sciences（马克斯·普朗克数学科学研究所）
我们介绍了一种新的方法来训练生成对抗网络，通过应用Wasserstein-2度量邻近的发电机。该方法是基于Wasserstein信息几何。它通过将最佳传输结构从概率空间拉回到参数空间来定义参数化不变自然梯度。我们获得了易于实现的迭代正则化隐式深度生成模型的参数更新。实验结果表明，该方法在挂钟时间和Fréchet起始距离方面提高了训练的速度和稳定性。
2021-02-13 cs.AI cs.LG cs.NA
Statistical analysis of Wasserstein GANs with applications to time series forecasting
我们在依赖观察的框架下为有条件和无条件Wasserstein生成对抗网络（WGAN）提供了统计理论。我们证明了上界的WGAN估计相对于修改Wasserstein型距离的超额贝叶斯风险。此外，我们形式化，并推导出报表上的弱收敛的估计，并使用它们来开发置信区间的新的观察。该理论被应用到高维时间序列预测的特殊情况。我们分析了基于合成数据的模拟中估计器的行为，并研究了一个真实的温度数据示例。数据的依赖性用绝对规则的β混合系数量化。
2020-11-05 math.ST stat.ML stat.TH
Adversarial Lipschitz Regularization
Robert Bosch Kft.（罗伯特·博世匈牙利有限公司）
生成对抗网络（GANs）是训练生成模型时最受欢迎的方法之一，其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而，Wasserstein GANs要求临界点是1-Lipschitz，这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为，而不是通过梯度的范数进行训练，在大多数情况下实际上是不可行的。受虚拟对抗训练的启发，我们提出了一种称为对抗性Lipschitz正则化的方法，并证明使用显式Lipschitz惩罚确实是可行的，并且在应用于Wasserstein GANs时会导致竞争性性能，突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
Banach Wasserstein GAN
KTH - Royal Institute of Technology（皇家理工学院）；University of Cambridge（剑桥大学）
Wasserstein生成对抗网络（WGAN）可以用来从复杂的图像分布中生成真实的样本。WGAN中使用的Wasserstein度量是基于单个图像之间的距离的概念，其引入了图像的概率分布之间的距离的概念。到目前为止，社区已将$\ell^2$视为基础距离。我们将WGAN的理论与梯度惩罚推广到Banach空间，允许从业者选择在生成器中强调的功能。我们进一步讨论了潜在规范的一些特定选择的效果，重点是索伯列夫规范。最后，我们展示了CIFAR-10和CelebA上适当选择规范的性能提升。
2019-01-11 cs.CV cs.LG math.FA
Towards Diverse Paraphrase Generation Using Multi-Class Wasserstein GAN
Tsinghua University（清华大学）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Xiamen University（厦门大学）；Department of Communication Engineering, Xiamen University（厦门大学通信工程系）；Key Laboratory of Digital Fujian on IoT Communication, Architecture and Security Technology, Xiamen University（厦门大学福建省数字物联网通信、架构与安全技术重点实验室）
释义生成是自然语言处理中一项重要而又具有挑战性的任务。在这项工作中，我们提出了一个深度生成模型来生成具有多样性的释义。我们的模型是基于一个编码器-解码器架构。一个额外的代码转换器被用来将一个句子转换成它的释义潜码。转码器以一个显式的模式嵌入变量为条件，通过对模式嵌入变量进行采样，可以生成不同的释义。我们使用Wasserstein GAN来对齐真实和生成的释义样本的分布。我们对Wasserstein GAN提出了一个多类扩展，它允许我们的生成模型从正样本和负样本中学习。在Wasserstein距离中，所生成的释义分布被强制向正实分布靠拢，并被推离负分布。我们在两个数据集中测试了我们的模型，包括自动度量和人工评估。结果表明，我们的模型可以生成流畅和可靠的释义样本，优于最先进的结果，同时也提供了合理的可变性和多样性。
2019-09-30 cs.CL cs.LG
Rethinking Multidimensional Discriminator Output for Generative Adversarial Networks
Salesforce（赛富时）；Amazon（亚马逊）；Florida State University（佛罗里达州立大学）
生成对抗网络的多维批评（critic）输出的研究在文献中尚未充分探索。在本文中，我们推广了Wasserstein GAN框架，利用多维评论家输出，并探讨其性质。我们还引入了一个平方根速度变换（SRVT）块，有利于在多维设置中进行训练。性质的证明基于我们提出的最大p-中心差异，其由p-瓦瑟斯坦距离限制，并且适合具有多维评论家输出n的Wasserstein GAN框架。特别是当n = 1和p = 1时，所提出的差异等于1-瓦瑟斯坦距离。理论分析和实证结果表明，高维批评输出在区分真假分布方面具有优势，有利于结果的快速收敛和多样性。
2022-07-14 cs.LG stat.ML
Wasserstein GANs with Gradient Penalty Compute Congested Transport
University of Toronto（多伦多大学）
Wasserstein GANs with Gradient Penalty（WGAN-GP）是一种非常流行的方法，用于训练生成模型以产生高质量的合成数据。虽然WGAN-GP最初是为了计算生成数据和真实数据之间的Wasserstein 1距离而开发的，但最近的工作（例如[23]）提供了经验证据，证明这种情况不会发生，并认为WGAN-GP表现良好，而不是尽管有这个问题，但因为它。在本文中，我们首次表明，WGAN-GP计算不同的最优运输问题的最小值，所谓的交通拥堵[7]。拥挤的运输决定了在惩罚拥挤的运输模型下将一个配送中心移动到另一个配送中心的成本。对于WGAN-GP，我们发现拥塞惩罚具有由[12]中使用的采样策略确定的空间变化分量，其作用类似于局部速度限制，使得某些区域的拥塞成本低于其他区域。这方面的拥挤的运输问题是新的，在拥挤的罚款原来是无界的，并取决于要运输的分布，所以我们提供了必要的数学证明，这种设置。我们发现的一个方面是将WGAN-GP中的优化问题的解的梯度与最优质量流的时间平均动量连接起来的公式。这与Wasserstein 1距离的Kantorovich势的梯度相反，Wasserstein 1距离只是流动的归一化方向。基于这一点和其他考虑，我们推测我们的结果如何解释观察到的WGAN-GP性能。除了应用于GANs之外，我们的定理还指出了使用神经网络技术近似解决大规模拥挤运输问…
2022-06-30 cs.LG math.OC stat.ML
Point Cloud GAN
Carnegie Mellon University（卡内基梅隆大学）
生成对抗网络（GAN）在学习不同类型数据的复杂数据分布方面具有良好的性能。在本文中，我们首先表明现有的GAN算法的一个简单的扩展是不适用于点云，因为所需的约束条件的歧视是未定义的数据集。我们提出了一个双重修改的GAN算法学习生成点云（PC-GAN）。首先，我们通过学习分层和可解释的抽样过程，将分层贝叶斯模型和隐式生成模型的思想结合起来。我们的方法的一个关键组成部分是，我们训练后验推理网络的隐变量。第二，而不是只使用最先进的Wasserstein GAN目标，我们提出了一个目标，这导致更严格的Wasserstein距离估计比常用的对偶形式。因此，PC-GAN定义了一个通用框架，可以合并许多现有的GAN算法。我们在ModelNet 40基准数据集上验证了我们的声明。使用生成的点云与真实网格之间的距离作为度量，我们发现通过夹层目标训练的PC-GAN在测试数据上比现有方法取得了更好的结果。此外，作为副产品，PC- GAN学习点云的通用潜在表示，这可以实现与其他无监督学习算法在对象识别任务上的竞争性能。最后，我们还提供了生成看不见的对象类和将图像转换为点云的研究，这表明了PC-GAN令人信服的泛化能力和潜力。
2018-10-13 cs.LG stat.ML
A Convex Duality Framework for GANs
Stanford University（斯坦福大学）
生成对抗网络（GAN）是一个模仿真实模型的生成器和一个区分生成器产生的样本与真实训练样本之间的极大极小博弈。给定一个无约束的可逼近任何函数，这个游戏简化为找到生成模型，最小化数据分布的发散度量，例如Jensen-Shannon（JS）发散。然而，在实践中，该方法被限制在较小的类$\mathcal{F}$中，例如神经网络。然后，一个自然的问题是，当我们约束$\mathcal{F}$时，发散最小化解释如何变化。在这项工作中，我们通过开发一个用于分析GANs的凸对偶框架来解决这个问题。对于凸集$\mathcal{F}$，该对偶框架将原始GAN公式解释为找到具有最小JS-发散的生成模型，该生成模型对被惩罚以匹配数据分布的矩的分布具有最小JS-发散，其中矩由$\mathcal{F}$中的鉴别器指定。我们表明，这种解释更普遍地适用于f-GAN和Wasserstein GAN。作为一个副产品，我们将对偶框架应用于f-散度和Wasserstein距离的混合。与f-发散不同，我们证明了所提出的混合发散随着生成模型而连续变化，这表明在f-GAN和vanilla GAN中正则化Lipschitz常数。我们数值评估的权力，建议的正则化计划，以提高GAN的训练性能。
2018-10-28 cs.LG stat.ML
Statistical Regeneration Guarantees of the Wasserstein Autoencoder with Latent Space Consistency
Indian Statistical Institute, Kolkata（印度统计研究所（加尔各答））
变分自编码器（VAE）的引入被认为是表示学习模型历史上的一个突破。除了拥有自己的几项荣誉外，VAE还成功地以其直接继承者的形式推出了一系列发明。Wasserstein Autoencoder（WAE）是该领域的继承者，它具有所有的优点和增强的生成承诺，甚至与生成对抗网络（GANs）相匹配。不用说，近年来GANs的统计分析出现了显著的复苏。然而，尽管自动编码器具有不同的适用性和显着的经验表现，但仍然基本上没有类似的检查。为了缩小这一差距，在本文中，我们调查的统计特性的WAE。首先，我们提供的统计保证，WAE实现的目标分布在潜在的空间，利用Vapnik Chervonenkis（VC）理论。主要结果，从而确保再生的输入分布，利用Wasserstein度量下的措施的最优运输提供的潜力。这项研究，反过来，暗示在一类分布WAE可以重建后，遭受压缩的形式的一个潜在的法律。
2021-10-08 cs.LG stat.ML
A Wasserstein GAN for Joint Learning of Inpainting and Spatial Optimisation
Saarland University（萨尔兰大学）
图像修复是一种重建图像中缺失部分的修复方法。然而，产生高质量修补的已知像素的精心选择的掩模也可以用作稀疏图像表示。这种具有挑战性的空间优化问题对于压缩等实际应用至关重要。到目前为止，它几乎完全由基于模型的方法来解决。神经网络的第一次尝试似乎很有希望，但需要针对特定的修复操作或需要后处理。为了解决这个问题，我们提出了第一个用于空间修复数据优化的生成对抗网络（GAN）。与以前的方法相比，它允许修复生成器和相应的掩模优化网络的联合训练。通过Wasserstein距离，我们确保修复结果准确反映自然图像的统计数据。这在视觉质量和速度上比传统的随机模型有了显着的改进。它也优于当前的空间优化网络。
2022-12-02 cs.CV cs.LG eess.IV
Training Wasserstein GANs without gradient penalties
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Max Planck Institute（马克斯·普朗克研究所）
提出了一种稳定的训练Wasserstein生成对抗网络的方法。为了提高稳定性，我们考虑两个目标函数使用$c$ -转换的基础上康托洛维奇对偶，这是在最优运输理论。我们的实验表明，该算法可以有效地执行Lipschitz约束的最小值，而其他标准的方法无法做到这一点。因此，我们的方法产生一个准确的估计最佳的距离，也为Wasserstein距离之间的真实分布和生成的。我们的方法不需要梯度惩罚，也不需要相应的超参数调整，并且在计算上比其他方法更有效。与此同时，它基于MNIST、F-MNIST和CIFAR-10数据集生成具有竞争力的合成图像生成器。
2021-10-27 cs.CV cs.LG cs.NA
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research（谷歌研究院）
我们研究生成对抗网络（GANs）中的欠拟合和过拟合，使用生成器看不到的鉴别器来测量泛化。我们发现，模型的容量的控制器有一个显着的影响，对发电机的模型质量，和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反，我们发现，相对于CIFAR10，CIFAR100和CelebA，具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
Graph-Regularized Manifold-Aware Conditional Wasserstein GAN for Brain Functional Connectivity Generation
Monash University Malaysia（莫纳什大学马来西亚分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University College London（伦敦大学学院）
包括协方差矩阵和相关矩阵在内的脑功能连接性（FC）的常见度量是驻留在锥形黎曼流形上的半正定（SPD）矩阵。尽管在欧几里得值数据生成方面取得了显著的成功，但使用标准生成对抗网络（GANs）来生成流形值FC数据忽略了其固有的SPD结构，因此忽略了真实FC中边缘的相互关联性。我们提出了一种新的图形正则化流形感知条件Wasserstein GAN（GR-SPD-GAN）的FC数据生成的SPD流形，可以保持全局FC结构。具体来说，我们在对抗训练下优化了真实和生成的SPD数据之间的广义Wasserstein距离，条件是类标签。所得到的生成器可以合成与不同类别的脑网络相关联的新的SPD值FC矩阵，例如，大脑紊乱或健康对照。此外，我们在SPD流形及其切线空间上引入了额外的基于人口图的正则化项，以鼓励生成器尊重真实数据中FC模式的受试者间相似性。这也有助于避免模式坍塌，并产生更稳定的GAN训练。基于抑郁症患者的静息态功能磁共振成像（fMRI）数据，定性和定量结果表明，GR-SPD-GAN在生成更真实的基于fMRI的FC样本方面明显优于现有的几种GANs。当应用于用于MDD识别的FC数据增强时，在我们的方法生成的增强数据上训练的分类模型在没有数据增强的基线上实现了竞争GANs之间分类准确性的最大改进幅度。
2022-12-10 cs.CV cs.LG q-bio.NC
On optimal solutions of classical and sliced Wasserstein GANs with non-Gaussian data
Dept. of Applied Math., Univ. of Colorado, Boulder, CO 80309, USA（应用数学系，科罗拉多大学，伯尔德，科罗拉多州，80309，美国）；Department of EE and GICE, National Taiwan University, Taipei, Taiwan（电子工程系和信息科学与工程系，国立台湾大学，台北，台湾）；Institute of Communications Engineering, National Yang Ming Chiao Tung University, HsinChu, Taiwan（通讯工程研究所，国立阳明交通大学，新竹，台湾）；Bosch Center for AI, USA（博世人工智能中心，美国）
本文研究了非高斯数据下经典和切片瓦瑟斯坦GANs的最优解，推导了闭式最优参数并提出新的未投影切片WGAN，实现线性复杂度的高效性能。
2026-02-05 cs.IT cs.LG math.IT
