On the estimation of the Wasserstein distance in generative models
Graz University of Technology（格拉茨工业大学）；Austrian Institute of Technology（奥地利技术研究所）
生成对抗网络（GANs）已被用于对基于样本的数据集的潜在概率分布进行建模。GANs因训练困难和对任意超参数的依赖而闻名。GAN文献中的一个最近的改进是使用Wasserstein距离作为损失函数，从而导致Wasserstein生成对抗网络（WGAN）。以此为基础，我们展示了各种方法，其中Wasserstein距离估计生成建模的任务。此外，在训练这样的模型的秘密显示和总结在这项工作的最后。在适用的情况下，我们将当前的工作扩展到不同的算法，不同的成本函数和不同的正则化方案，以改进生成模型。
2019-10-02 cs.LG stat.ML
Generating Natural Adversarial Hyperspectral examples with a modified Wasserstein GAN
University of South Brittany（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学与应用数学研究所）
对抗性示例是一个热门话题，因为它们能够欺骗分类器的预测。有两种策略可以创建这样的例子，一种使用被攻击的分类器的梯度，而另一种只需要访问分类器的预测。这在分类器不完全已知（黑箱模型）时特别有吸引力。在本文中，我们提出了一种新的方法，它能够从真实数据中生成自然的对抗性例子，遵循第二范式。基于生成对抗网络（GANs）[5]，它重新加权真实数据的经验分布，以鼓励分类器生成对抗样本。我们通过在遥感数据集上生成对抗性高光谱签名来证明我们的方法的概念。
2020-01-27 cs.AI cs.LG stat.ML
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
缺失数据是最常见的预处理问题之一。在本文中，我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器（VAEAC）和生成对抗插补网络（GAIN）作为生成模型的代表进行了研究，而去噪自动编码器（DAE）则代表了非生成模型。该模型的性能进行了比较，传统的方法k-最近邻（k-NN）和多重插补链式方程（MICE）。此外，我们引入WGAIN作为GAIN的Wasserstein修正，当缺失度小于或等于30%时，WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验，这些数据集具有连续特征，其中不同百分比的特征（从10%到50%不等）缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明，GAIN，特别是WGAIN是最好的插补，无论条件。一般来说，它们的表现优于MICE，k-NN，DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Wasserstein Generative Adversarial Networks for Online Test Generation for Cyber Physical Systems
Åbo Akademi University（奥博学术大学）
提出了一种基于Wasserstein生成对抗网络的在线测试生成算法WOGAN。WOGAN是一个通用的黑盒测试生成器，适用于任何具有用于确定失败测试的适应度函数的被测系统。作为概念证明，我们通过生成道路来评估WOGAN，使得汽车的车道辅助系统不能停留在指定车道上。我们发现，我们的算法具有竞争力的性能方面，以前公布的算法。
2022-05-23 cs.LG cs.SE
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文扩展PAC-Bayesian理论至生成模型，基于Wasserstein距离和全变差距离推导泛化界，为Wasserstein GAN和能量基GAN提供新训练目标，并通过实验验证非空界。
2023-11-13 cs.AI cs.LG stat.ML
Tessellated Wasserstein Auto-Encoders
非对抗生成模型，如变分自动编码器（VAE），Wasserstein自动编码器与最大平均差异（WAE-MMD），切片Wasserstein自动编码器（SWAE）是相对容易训练，并具有较少的模式崩溃相比，Wasserstein自动编码器与生成对抗网络（WAE-GAN）。然而，它们在近似潜在空间中的目标分布方面不是很准确，因为它们没有一个用于检测真假之间的微小差异的滤波器。为此，我们开发了一种称为Tessellated Wasserstein Auto-encoders（TWAE）的新型非对抗性框架，通过质心Voronoi细分（CVT）技术将目标分布的支持细分为给定数量的区域，并根据细分设计批量数据，而不是随机洗牌，以准确计算差异。理论上，我们证明了当镶嵌的样本数$n$和区域数$m$分别以$\mathcal{O}(\frac{1}{\sqrt{n}})$和$\mathcal{O}(\frac{1}{\sqrt{m}})$的速率变大时，对差异的估计误差减小。给定固定的$n$和$m$，使测量误差的上界最小化的必要条件是镶嵌是由CVT确定的镶嵌。TWAE对不同的非对抗性指标非常灵活，并且与VAE，WAE-MMD，SWAE相比，可以大大提高其在Fréchet起始距离（FID）方面的生成性能。此外，数值结果确实表明TWAE与对抗模型WAE-GAN竞争，证明了其强大的生成能力。
2021-03-04 cs.LG math.OC stat.ML
Adversarial Lipschitz Regularization
Robert Bosch Kft.（罗伯特·博世匈牙利有限公司）
生成对抗网络（GANs）是训练生成模型时最受欢迎的方法之一，其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而，Wasserstein GANs要求临界点是1-Lipschitz，这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为，而不是通过梯度的范数进行训练，在大多数情况下实际上是不可行的。受虚拟对抗训练的启发，我们提出了一种称为对抗性Lipschitz正则化的方法，并证明使用显式Lipschitz惩罚确实是可行的，并且在应用于Wasserstein GANs时会导致竞争性性能，突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
Parameter-Transferred Wasserstein Generative Adversarial Network (PT-WGAN) for Low-Dose PET Image Denoising
Northeastern University（东北大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
由于正电子发射断层扫描（PET）在临床实践中的广泛使用，需要最大限度地降低PET相关辐射剂量对患者的潜在风险。然而，随着辐射剂量的减少，所得到的图像可能遭受损害诊断性能的噪声和伪影。在本文中，我们提出了一个参数转移Wasserstein生成对抗网络（PT-WGAN）的低剂量PET图像去噪。本文的贡献是双重的：i）PT-WGAN框架被设计成在不损害结构细节的情况下对低剂量PET图像进行去噪，以及ii）基于迁移学习的任务特定初始化被开发成使用从预训练模型转移的可训练参数来训练PT-WGAN，这显著地提高了PT-WGAN的训练效率。临床数据的实验结果表明，该网络可以更有效地抑制图像噪声，同时保持更好的图像保真度比最近发表的国家的最先进的方法。我们在https://github.com/90n9-yu/PT-WGAN上提供我们的代码。
2020-08-26 cs.LG eess.IV stat.ML
Causality Learning With Wasserstein Generative Adversarial Networks
University of Strathclyde（思克莱德大学）
由于组合搜索空间，从数据中学习因果结构的传统方法面临重大挑战。最近，这个问题已经被制定成一个连续的优化框架与无环约束学习有向无环图（DAG）。这样的框架允许利用深度生成模型进行因果结构学习，以更好地捕捉数据样本分布和DAG之间的关系。然而，到目前为止，还没有研究在因果结构学习的背景下使用Wasserstein距离进行实验。我们的模型名为DAG-WGAN结合了Wasserstein的对抗损失与自动编码器架构中的非循环约束。它同时学习因果结构，同时提高其数据生成能力。我们比较了DAG-WGAN与其他不涉及Wasserstein度量的模型的性能，以确定其对因果结构学习的贡献。根据我们的实验，我们的模型在高基数数据下表现得更好。
2022-06-03 cs.AI cs.LG stat.ME
Quantum Wasserstein Generative Adversarial Networks
University of Maryland（马里兰大学）；University of Electronic Science and Technology of China（电子科技大学）
量子生成模型的研究动机很好，不仅因为它在量子机器学习和量子化学中的重要性，还因为它在近期量子机器上实现的前景。受先前对经典和量子生成模型的对抗训练研究的启发，我们提出了量子Wasserstein生成对抗网络（WGAN）的第一个设计，该设计已被证明可以提高量子生成模型对抗训练的鲁棒性和可扩展性，即使在有噪声的量子硬件上。具体来说，我们提出了量子数据之间的Wasserstein半度量的定义，它继承了经典对应物的一些关键理论优点。我们还演示了如何将量子Wasserstein半度量转化为可以在量子机器上有效实现的量子WGAN的具体设计。我们的数值研究，通过量子系统的经典模拟，显示了我们的量子WGAN比其他量子GAN提案更强大和可扩展的数值性能。作为一个令人惊讶的应用，我们的量子WGAN已被用来生成一个3量子位量子线路的~50门，很好地近似3量子位一维哈密顿模拟电路，需要超过10 k门使用标准技术。
2019-10-31 cs.LG quant-ph
Modeling EEG data distribution with a Wasserstein Generative Adversarial Network to predict RSVP Events
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
由于复杂的实验设置和长时间佩戴的舒适度降低，难以获得脑电图（EEG）数据。这对利用有限的EEG数据训练强大的深度学习模型提出了挑战。能够通过计算生成EEG数据可以解决这一限制。我们提出了一种新的Wasserstein生成对抗网络与梯度惩罚（WGAN-GP）合成EEG数据。该网络解决了模拟时间序列EEG数据的几个建模挑战，包括频率伪影和训练不稳定性。我们进一步将该网络扩展到一个类条件变体，该变体还包括一个分类分支来执行事件相关分类。我们训练所提出的网络生成一个和64个通道的数据，类似于在快速串行视觉呈现（RSVP）实验中经常看到的EEG信号，并证明了所生成的样本的有效性。我们还测试了主题内跨会话分类性能，用于分类RSVP目标事件，并表明类条件WGAN-GP可以在EEGNet上实现更好的事件分类性能。
2020-07-01 cs.LG eess.IV stat.AP
Some Theoretical Insights into Wasserstein GANs
Sorbonne Université（索邦大学）；Criteo AI Lab（科睿唯安人工智能实验室）
生成对抗网络（GANs）在图像、视频和文本生成等不同领域都取得了出色的成果。在这些成功的基础上，大量的实证研究已经验证了称为Wasserstein GANs（WGANs）的表亲方法的好处，它在训练过程中带来了稳定性。在本文中，我们通过提出WGAN性质的一些理论进展，为建筑物添加了一块新的石头。首先，我们在由神经网络参数化的积分概率度量的背景下正确定义了WGAN的架构，并强调了它们的一些基本数学特征。我们强调特别有趣的优化性能所产生的使用参数1-Lipschitz的。然后，在一种由经验驱动的方法中，我们研究了当样本大小趋于无穷大时经验WGAN的收敛性，并通过强调一些权衡性质来澄清生成器和迭代器的对抗效应。这些功能最后说明了使用合成和真实世界的数据集的实验。
2021-06-18 cs.LG stat.ML
Illegible Text to Readable Text: An Image-to-Image Transformation using Conditional Sliced Wasserstein Adversarial Networks
从古文字记录图像中自动识别文字是谱学领域的一个重要课题。然而，诸如变化的噪声条件、消失的文本和手写的变化等关键挑战使得识别任务变得困难。我们通过开发一个手写到机器打印的条件生成对抗网络（HW 2 MP-GAN）模型来解决这个问题，该模型将手写识别制定为文本图像到文本图像的翻译问题，其中给定的图像（通常是难以辨认的形式）被转换为另一个图像，接近其机器打印形式。该模型由三个部分组成，包括一个发生器，单词级和字符级的歧视。该模型在HW 2 MP-GAN中集成了切片Wasserstein距离（SWD）和U-Net架构，以实现更高质量的图像到图像转换。我们的实验表明，HW 2 MP-GAN在Frechet手写距离（FHD）方面优于最先进的基线cGAN模型近30，平均Levenshtein距离为0.6，IAM数据库上图像到图像翻译的单词准确率为39%。此外，与IAM数据库上的基线手写识别模型相比，HW 2 MP-GAN将手写识别单词的准确性提高了1.3%。
2019-10-11 cs.CV cs.LG eess.IV
Face Super-Resolution Through Wasserstein GANs
University of California, Berkeley（加州大学伯克利分校）
生成对抗网络（GANs）在过去几年中受到了极大的关注，并激发了解决各种问题的应用。尽管GANs潜力巨大，但训练难度很大。最近，一系列论文（Arjovsky & Bottou，2017 a; Arjovsky et al. 2017 b;和Gulrajani et al. 2017）提出使用Wasserstein距离作为训练目标，并承诺跨架构进行简单，稳定的GAN训练，只需最小的超参数调整。在本文中，我们比较了Wasserstein距离与其他训练目标的性能在各种GAN架构的背景下，单图像超分辨率。我们的研究结果表明，Wasserstein GAN与梯度惩罚（WGAN-GP）提供了稳定和收敛的GAN训练和Wasserstein距离是一个有效的度量来衡量训练进度。
2017-05-06 cs.LG stat.ML
Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC（HRL实验室有限责任公司）；University of Virginia（弗吉尼亚大学）
在本文中，我们研究通过自动编码器生成建模，同时使用优雅的几何性质的最佳运输（OT）问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器（SWAE），这是一种生成模型，使人们能够将潜在空间的分布塑造成任何可采样的概率分布，而无需训练对抗网络或定义分布的封闭形式。简而言之，我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明，所提出的配方有一个有效的数值解，提供了类似的功能，Wasserstein自动编码器（WAE）和变分自编码器（VAE），同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Disentangled Representation Learning with Wasserstein Total Correlation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
解纠缠表示的无监督学习涉及发现有助于数据生成过程的不同变化因素。总相关惩罚是近年来解纠缠方法中的一个重要组成部分。然而，Kullback-Leibler（KL）分歧为基础的总相关性是度量不可知的和敏感的数据样本。在本文中，我们引入Wasserstein总相关性在变分自编码器和Wasserstein自编码器设置学习解开潜在的表示。一个批评家是对抗训练的主要目标，以估计瓦瑟斯坦总相关项。我们讨论了使用Wasserstein距离KL分歧来衡量独立性的好处，并在几个数据集上进行定量和定性实验。此外，我们引入了一个新的度量去纠缠。我们表明，所提出的方法具有可比的性能与较小的牺牲重建能力的解纠缠。
2019-12-30 cs.LG stat.ML
Intrinsic Dimension Estimation Using Wasserstein Distances
MIT（麻省理工学院）
长期以来，人们一直认为在许多实际机器学习任务中遇到的高维数据具有低维结构，即，多重假设成立。因此，一个自然的问题是从有限样本中估计给定总体分布的内在维数。我们引入了一个新的估计的内在尺寸，并提供有限样本，非渐近保证。然后，我们应用我们的技术来获得生成对抗网络（GANs）的新样本复杂度界限，仅取决于数据的内在维度。
2022-05-31 cs.LG stat.ML
Robust Estimation under the Wasserstein Distance
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）
针对含对抗性破坏样本的Wasserstein鲁棒分布估计问题，本文结合部分最优传输与最小距离估计，证明了其极小极大最优性，推导出带sup范数惩罚的POT对偶形式，并据此改进WGAN以实现抗污染的大规模生成建模。
2024-09-24 cs.LG math.ST stat.ML
Towards Universal Wasserstein Barycenters through Flow Matching
Sigma Nova
提出BaryFM流匹配模型，实现Wasserstein单纯形中任意重心的通用逼近，在域适应等4个任务上验证，平均排名优于15种方法。
2026-10-01 cs.AI cs.LG stat.ML
Wasserstein Introspective Neural Networks
University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了Wasserstein内省神经网络（WINN），这是一个发电机和一个单一的模型内的神经网络。WINN通过增强INN的生成建模能力，对最近的内省神经网络（INN）方法进行了重大改进。WINN有三个有趣的性质：（1）INN算法的公式和Wasserstein生成对抗网络（WGAN）之间的数学联系。(2)在INN中明确采用Wasserstein距离导致了对INN的大幅增强，即使使用单个分类器也可以实现令人信服的结果-例如，为无监督生成式建模提供了比INN模型大小减少近20倍的模型。(3)当应用于监督分类时，WINN在减少错误方面也提高了对对抗性示例的鲁棒性。在实验中，我们报告了令人鼓舞的结果无监督学习问题，包括纹理，人脸和对象建模，以及监督分类任务对对抗攻击。
2018-04-07 cs.CV cs.LG
Relaxed Wasserstein with Applications to GANs
University of California, Berkeley（加州大学伯克利分校）
Wasserstein生成对抗网络（WGANs）提供了一类通用的模型，在各种应用中引起了极大的关注。然而，该框架有两个主要缺点：（i）Wasserstein-1（或Earth-Mover）距离是限制性的，使得WGAN不能总是很好地适应数据几何形状;（ii）难以实现WGAN的快速训练。本文通过推广Wasserstein-1距离和Bregman代价函数，提出了一类新的\textit{Relaxed Wasserstein}（RW）距离.我们表明，RW距离实现良好的统计特性，同时不牺牲计算的易处理性。结合GANs框架，我们开发了Relaxed WGANs（RWGANs），它不仅在统计上灵活，而且可以使用启发式方法有效地近似。在真实图像上的实验表明，具有Kullback-Leibler（KL）代价函数的RWGAN优于其他竞争方法，例如，WGAN，即使有梯度惩罚。
2021-07-17 cs.LG stat.ML
Approximating the Void: Learning Stochastic Channel Models from Observation with Variational Generative Adversarial Networks
DeepSig Inc.（DeepSig公司）；Virginia Tech（弗吉尼亚理工大学）
在考虑设计、学习或评估任何通信系统的性能时，信道建模都是一个关键话题。设计或学习新调制方案的大多数现有工作集中在使用高度简化的解析信道模型，例如加性高斯白噪声（AWGN）、瑞利衰落信道或类似信道。最近，我们提出了使用生成对抗网络（GANs）来联合近似无线信道响应模型（例如，从真实的黑盒测量），并使用机器学习优化其上的有效调制方案。这种方法在一定程度上起作用，但无法产生表示随机信道响应的精确概率分布函数（PDF）。在本文中，我们特别关注的问题，准确地学习一个通道PDF使用变分GAN，介绍了一个架构和损失函数，可以准确地捕捉随机行为。我们说明了我们以前的方法失败，并分享结果捕获的性能，如系统在一系列现实的渠道分布。
2018-08-20 cs.LG eess.SP stat.ML
Wasserstein-Wasserstein Auto-Encoders
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
为了解决学习深度生成模型的挑战（例如，针对变分自编码器的模糊性和训练生成对抗网络的不稳定性，提出了一种新的深度生成模型--Wasserstein-Wasserstein自编码器（WWAE）。我们制定WWAE作为目标分布和生成的分布之间的惩罚最优传输的最小化。通过注意到潜在码Z的先验$P_Z$和聚合后验$Q_Z$都可以被高斯很好地捕获，所提出的WWAE在优化过程中利用了两个高斯的平方Wasserstein-2距离的封闭形式。因此，WWAE不受采样负担的影响，并且通过利用重新参数化技巧而具有计算效率。在包括MNIST、fashion-MNIST和CelebA在内的多个基准数据集上评估的数值结果表明，WWAE比VAE学习更好的潜在结构，并且生成比VAE和GANs更好的视觉质量和更高的FID分数的样本。
2019-02-25 cs.LG stat.ML
Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks
School of Statistics and Management, Shanghai University of Finance and Economics（上海财经大学统计与管理学院）；Purdue University（普渡大学）
提出LWGAN框架融合Wasserstein自编码器与GAN，自适应学习数据流形内在维数，理论证明估计一致性并给出泛化误差上界，实验验证其能准确识别维数并生成高质量合成数据。
2024-09-27 cs.AI cs.LG stat.ME
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
我们提出了Wasserstein自动编码器（WAE）-一种新的算法，用于建立数据分布的生成模型。WAE最小化模型分布和目标分布之间的瓦瑟斯坦距离的惩罚形式，这导致与变分自动编码器（VAE）所使用的正则化器不同的正则化器。这个正则化器鼓励编码的训练分布与先验匹配。我们比较我们的算法与其他几种技术，并表明它是一个泛化的对抗性自动编码器（AAE）。我们的实验表明，WAE共享VAE的许多属性（稳定的训练，编码器-解码器架构，良好的潜在流形结构），同时生成更好质量的样本，如FID分数所衡量的。
2019-12-05 cs.LG stat.ML
Correcting Sensor-Induced Distribution Drift with Wasserstein Adversarial Learning
Laboratory of Methods for Big Data Analysis, HSE University（大数据分析方法实验室，高等经济大学）
提出WGAN方法，通过可学习的校准变换将变化检测器响应分布映射回参考分布，在探测器模型和模拟量能器数据上验证了恢复老化系数和改善能量分布一致性的能力。
2026-06-18 cs.AI cs.LG
Stable Parallel Training of Wasserstein Conditional Generative Adversarial Neural Networks
Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个稳定的，并行的方法来训练Wasserstein条件生成对抗神经网络（W-CGANs）的约束下，一个固定的计算预算。与以前的分布式GANs训练技术不同，我们的方法避免了进程间通信，降低了模式坍塌的风险，并通过使用多个生成器来增强可扩展性，每个生成器都同时在单个数据标签上进行训练。Wasserstein度量的使用还通过稳定每个生成器的训练来降低骑自行车的风险。我们在CIFAR 10，CIFAR 100和ImageNet 1 k数据集上说明了该方法，这三个标准的基准图像数据集保持了每个数据集图像的原始分辨率。在有限的固定计算时间和计算资源内的可扩展性和最终精度方面评估性能。为了测量准确性，我们使用初始分数，Frechet初始距离和图像质量。与通过在深度卷积条件生成对抗神经网络（DC-CGAN）上执行并行方法获得的先前结果相比，初始分数和Frechet初始距离有所改善，以及通过GANs方法创建的新图像的图像质量有所改善。在OLCF超级计算机Summit上使用多达2，000个NVIDIA V100 GPU在两个数据集上实现弱缩放。
2022-07-25 cs.AI cs.CV cs.DC
Bridging the Gap Between $f$-GANs and Wasserstein GANs
Stanford University（斯坦福大学）
生成对抗网络（GANs）在学习高维分布方面取得了很大的成功。学习目标近似地最小化模型和数据分布之间的$f$ -发散（$f$ -GANs）或积分概率度量（Wasserstein GANs）。Wasserstein GANs具有优越的经验性能，但在$f$ -GANs中，可以将该算法解释为密度比估计器，这在某些GAN应用中是必要的。在本文中，我们弥合了$f$ -GANs和Wasserstein GANs（WGANs）之间的差距。首先，我们列出了两个约束变$f$发散估计目标，保持最佳的解决方案。接下来，我们最小化约束目标的拉格朗日松弛，并表明它概括了$f$ -GAN和WGAN的关键目标。在此基础上，提出了一种新的实用目标，命名为KL-Wasserstein GAN（KL-WGAN）.我们证明了KL-WGAN在合成数据集和真实世界图像生成基准上的经验成功，并在CIFAR 10图像生成上获得了最先进的FID分数。
2020-06-17 cs.LG stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
Generating Spatial Synthetic Populations Using Wasserstein Generative Adversarial Network: A Case Study with EU-SILC Data for Helsinki and Thessaloniki
NORCE Norwegian Research Center AS（挪威NORCE研究中心）；Centre for Modelling Social Systems（社会系统建模中心）
本研究利用 Wasserstein 生成对抗网络结合 EU-SILC 数据，为赫尔辛基和塞萨洛尼基生成空间合成人口，发现平衡数据与边缘特征表征不足是当前深度生成方法面临的主要挑战，可能导致模拟歧视。
2025-01-27 cs.LG cs.MA
Computing Optimal Transport Maps and Wasserstein Barycenters Using Conditional Normalizing Flows
ETH Zurich（苏黎世联邦理工学院）
本文提出一种利用条件归一化流高效计算高维最优传输映射和Wasserstein重心的新方法，通过基于梯度的传输成本最小化直接求解原始问题，突破了以往方法难以处理数百个输入分布的计算瓶颈。
2025-05-28 cs.LG stat.ML
Provable Robust Overfitting Mitigation in Wasserstein Distributionally Robust Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Kaiyuan International Mathematical Sciences Institute（开元国际数学科学研究院）
针对Wasserstein分布鲁棒优化（WDRO）因未考虑统计误差而存在的鲁棒过拟合问题，提出结合Wasserstein距离与Kullback-Leibler散度的统计鲁棒WDRO框架，建立泛化界并推导均衡条件，有效缓解了过拟合并增强了鲁棒性。
2025-03-06 cs.AI cs.LG math.ST
Wasserstein Distance Guided Representation Learning for Domain Adaptation
Shanghai Jiao Tong University（上海交通大学）
领域自适应的目的是通过利用从具有不同但相关的数据分布的源领域中提取的知识来概括目标领域上的高性能学习器。域自适应的一种解决方案是学习域不变特征表示，同时学习的表示在预测中也应该是有区别的。为了学习这样的表示，领域自适应框架通常包括一个领域不变表示学习方法来测量和减少领域差异，以及一个分类器。受Wasserstein GAN的启发，本文提出了一种学习领域不变特征表示的新方法，即瓦瑟斯坦距离引导表示学习（WDGRL）。WDGRL利用由域评论器表示的神经网络来估计源样本和目标样本之间的经验瓦瑟斯坦距离，并优化特征提取器网络以对抗方式最小化估计的瓦瑟斯坦距离。瓦瑟斯坦距离用于领域自适应的理论优势在于其梯度性质和有希望的泛化界。对常见情感和图像分类自适应数据集的实证研究表明，我们提出的WDGRL优于最先进的领域不变表示学习方法。
2018-03-09 cs.LG stat.ML
Semi-Supervised Multitask Learning on Multispectral Satellite Images Using Wasserstein Generative Adversarial Networks (GANs) for Predicting Poverty
Stanford University（斯坦福大学）
要获得可靠的数据，详细描述当地的贫困指标，为决策者提供信息，就需要进行昂贵和后勤困难的调查，特别是在发展中国家。毫不奇怪，贫困地区也很可能成为战区，基础设施薄弱，有时政府不与国际资助的发展努力合作。我们对CNN进行训练，利用Landsat 7提供的非洲大陆免费和公开的日间卫星图像，建立一个预测当地经济生计的模型。只有5%的卫星图像可以与标签（从DHS调查中获得）相关联，因此使用GAN的半监督方法（类似于Salimans等人的方法（2016）），尽管使用了更稳定的GANs训练风格，称为Wasserstein GAN，使用梯度惩罚正则化（Gulrajani等人（2017））。采用多任务学习的方法来规范网络，并创建用于预测多个贫困指标的端到端模型。
2019-04-25 cs.CV cs.LG
Generation High resolution 3D model from natural language by Generative Adversarial Network
我们提出了一种从自然语言描述中生成高分辨率三维形状的方法。为了实现这个目标，我们提出了两个步骤，生成低分辨率的形状，粗略地反映文本和生成高分辨率的形状，反映文本的细节。在以前的论文中，作者已经展示了一种生成低分辨率形状的方法。改进后的方法生成的三维图形更符合自然语言，并验证了该方法的有效性。为了生成高分辨率的3D形状，我们使用条件Wasserstein GAN的框架。分别提出了Critic的两个角色，计算两个概率分布之间的Wasserstein距离，从而实现生成高质量的形状或加快模型的学习速度。为了评估我们的方法，我们对Critic模型进行了定量评估。该方法首先在生成三维模型时，将文本嵌入信息传播到高分辨率任务中，实现高质量模型的生成。
2019-01-22 cs.GR cs.LG stat.ML
Understanding the Effectiveness of Lipschitz-Continuity in Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）；Peking University（北京大学）
在本文中，我们研究了导致GANs训练失败和成功的潜在因素。我们研究了最佳判别函数的性质，并表明在许多GANs中，最佳判别函数的梯度是不可靠的，这是GANs训练失败的根本原因。我们进一步证明了一个定义良好的距离度量并不一定保证GANs的收敛。最后，证明了Lipschitz连续性条件是使最优判别函数的梯度可靠的通解，并刻画了Lipschitz连续性保证收敛的必要条件，从而得到了一类在Lipschitz连续性条件下有效的GAN目标，其中Wasserstein距离是一个特例.我们实验了几个新的目标，这是健全的，根据我们的定理，我们发现，与Wasserstein距离相比，输出的新目标是更稳定的，生成的样本的最终质量也始终高于Wasserstein距离。
2018-12-23 cs.AI cs.CV cs.LG
3D Wasserstein generative adversarial network with dense U-Net based discriminator for preclinical fMRI denoising
School of Information Technology, Carleton University（卡尔顿大学信息技术学院）；Northeastern University（东北大学）；Tessellis Ltd.（泰塞利斯有限公司）
针对临床前fMRI数据去噪的挑战，提出基于3D密集U-Net判别器的3D Wasserstein生成对抗网络3D U-WGAN，通过4D配置处理时空噪声，引入对抗损失和特征空间距离优化，在模拟和真实数据上优于现有方法。
2024-11-28 cs.CV cs.LG eess.IV
Summable Reparameterizations of Wasserstein Critics in the One-Dimensional Setting
University of Michigan（密歇根大学）；Beihang University（北京航空航天大学）；Brown University（布朗大学）
生成对抗网络（GANs）是解决密度估计问题的算法的一个令人兴奋的替代方案-使用数据来评估样本从同一分布中提取的可能性。GANs不是显式地计算这些概率，而是学习一个可以匹配给定概率源的生成器。本文特别着眼于这种匹配能力的背景下，一维输出的问题。我们确定了一类函数分解的属性，使它们非常适合在称为Wasserstein GANs的GANs的领先方法中扮演批评者的角色。我们表明，泰勒和傅立叶级数分解属于我们的类，提供这些批评优于标准的GAN方法的例子，并建议他们如何可以扩展到更高维的问题在未来。
2017-09-19 cs.AI cs.LG stat.ML
Orthogonal Wasserstein GANs
University of Bonn（波恩大学）
Wasserstein-GANs已经被引入以解决生成对抗网络（GANs）在训练期间关于消失梯度和模式坍塌的问题的缺陷，从而导致改进的收敛行为和改进的图像质量。然而，Wasserstein-GAN要求连续性是Lipschitz连续的。在当前最先进的Wasserstein-GAN中，通过梯度范数正则化来强制执行此约束。在本文中，我们证明了这种正则化并不鼓励频谱值的广泛分布，因此导致学习分布的保真度降低。因此，我们调查的可能性，取代这个Lipschitz约束的正交约束的权重矩阵。我们比较了三种不同的权重正交化技术的收敛性，他们的能力，以确保Lipschitz条件和所取得的质量的学习分布。此外，我们还提供了与使用当前最先进方法训练的Wasserstein-GAN的比较，其中我们展示了仅使用基于正交性的正则化的潜力。在这种情况下，我们提出了一种改进的Wasserstein-GAN训练过程，该过程利用正交化来进一步提高其泛化能力。最后，我们提供了一个新的度量来评估不同Wasserstein-GAN的鉴别器的泛化能力。
2019-12-15 cs.LG eess.IV stat.ML
EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals
University of Freiburg（弗莱堡大学）
生成对抗网络（GANs）最近在涉及图像的生成应用中非常成功，并开始应用于时间序列数据。在这里，我们将EEG-GAN描述为生成脑电图（EEG）大脑信号的框架。我们对Wasserstein GANs的改进训练进行了修改，以稳定训练并研究一系列对时间序列生成至关重要的架构选择（最明显的是上采样和下采样）。为了进行评估，我们考虑并比较了不同的指标，如Inception评分，Frechet inception距离和切片Wasserstein距离，共同表明我们的EEG-GAN框架生成了自然的EEG示例。因此，它在神经科学和神经学背景下开辟了一系列新的生成应用场景，例如脑机接口任务中的数据增强，EEG超采样或损坏数据段的恢复。产生特定类别和/或具有特定属性的信号的可能性也可能为研究大脑信号的潜在结构开辟新的途径。
2018-06-05 cs.LG eess.SP q-bio.NC
Improving EEG Signal Classification Accuracy Using Wasserstein Generative Adversarial Networks
The University of British Columbia（不列颠哥伦比亚大学）
提出基于 WGAN 的 EEG 信号生成方法，在 BCI2000 数据集上训练并通过分类器验证，有效提升分类准确率与泛化能力，解决 BCI 数据匮乏问题。
2024-02-05 cs.AI cs.LG eess.SP
Learning to Fuse Music Genres with Generative Adversarial Dual Learning
Virginia Tech（弗吉尼亚理工学院）；Georgia Institute of Technology（佐治亚理工学院）
FusionGAN是一个用于音乐生成的新型流派融合框架，它集成了生成对抗网络和双重学习的优势。特别是，所提出的方法提供了一个双重的学习扩展，可以有效地整合给定领域的风格。为了有效地量化不同域之间的差异并避免消失梯度问题，FusionGAN提供了一个基于Wasserstein的度量来近似目标域和现有域之间的距离。采用Wasserstein距离，通过使用对抗学习组合现有域的模式来创建新域。在公共音乐数据集上的实验结果表明，该方法可以有效地合并两种类型。
2017-12-05 cs.AI cs.LG cs.MM
Generative Adversarial Source Separation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems（Adobe系统公司）
生成式声源分离方法，如非负矩阵分解（NMF）或自动编码器，依赖于输出概率密度的假设。生成对抗网络（GANs）可以学习数据分布，而无需对输出密度进行参数假设。我们在语音声源分离实验中表明，用Wasserstein-GAN公式训练的多层感知器在源失真比方面优于NMF，用最大似然训练的自动编码器和变分自动编码器。
2017-10-30 cs.LG cs.NE cs.SD
Wasserstein Proximal of GANs
University of California, Los Angeles（加州大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）；Max Planck Institute for Mathematics in Sciences（马克斯·普朗克数学科学研究所）
我们介绍了一种新的方法来训练生成对抗网络，通过应用Wasserstein-2度量邻近的发电机。该方法是基于Wasserstein信息几何。它通过将最佳传输结构从概率空间拉回到参数空间来定义参数化不变自然梯度。我们获得了易于实现的迭代正则化隐式深度生成模型的参数更新。实验结果表明，该方法在挂钟时间和Fréchet起始距离方面提高了训练的速度和稳定性。
2021-02-13 cs.AI cs.LG cs.NA
Robust W-GAN-Based Estimation Under Wasserstein Contamination
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
稳健估计是统计学中的一个重要问题，其目的是当数据生成分布位于未污染分布周围的适当定义的球内时，提供一个合理的估计。虽然极大极小估计率近年来已经建立，许多现有的鲁棒估计可证明最佳的收敛速度也是计算上难以处理的。在本文中，我们研究了Wasserstein污染模型下的几个估计问题，并提出了基于生成对抗网络（GANs）的计算易处理的估计器。具体来说，我们分析了基于Wasserstein GAN的位置估计，协方差阵估计和线性回归估计的性质，并表明我们提出的估计在许多情况下是最小最大最优的。最后，我们提出的数值结果证明了我们的估计的有效性。
2021-01-20 cs.IT cs.LG math.IT
Wasserstein Smoothing: Certified Robustness against Wasserstein Adversarial Attacks
University of Maryland, College Park（马里兰大学帕克分校）
在过去的几年中，针对图像分类问题，提出了几种基于不同威胁模型的对抗攻击方法。大多数现有的防御考虑的是样本扰动具有有界Lp范数的可加威胁模型。然而，在非加性威胁模型下，这些防御可能容易受到对抗攻击的攻击。基于非加性威胁模型的攻击方法的一个例子是Wong等人（2019）提出的Wasserstein对抗攻击，其中图像与其对抗示例之间的距离由其归一化像素强度之间的Wasserstein度量（“推土机距离”）确定。到目前为止，还没有针对此类攻击的可证明的防御。在这项工作中，我们提出了第一个防御认证的鲁棒性对Wasserstein对抗攻击使用随机平滑。我们通过考虑图像之间的可能流的空间，并表示这个空间，使得图像之间的Wasserstein距离的上限是由L_1距离在这个流空间中，开发这个证书。然后，我们可以将现有的随机平滑证书应用于L_1度量。在MNIST和CIFAR-10数据集中，我们发现我们提出的防御也是实际有效的，与未受保护的模型相比，在Wasserstein对抗攻击下显着提高了准确性。
2019-10-23 cs.LG stat.ML
A Wasserstein perspective of Vanilla GANs
Karlsruhe Insitute of Technology（卡尔斯鲁厄理工学院）
本文从Wasserstein距离视角建立Vanilla GANs与Wasserstein GANs的理论联系，推导出适用于ReLU网络的oracle不等式及收敛速率。
2024-07-29 cs.LG math.ST stat.ML
Banach Wasserstein GAN
KTH - Royal Institute of Technology（皇家理工学院）；University of Cambridge（剑桥大学）
Wasserstein生成对抗网络（WGAN）可以用来从复杂的图像分布中生成真实的样本。WGAN中使用的Wasserstein度量是基于单个图像之间的距离的概念，其引入了图像的概率分布之间的距离的概念。到目前为止，社区已将$\ell^2$视为基础距离。我们将WGAN的理论与梯度惩罚推广到Banach空间，允许从业者选择在生成器中强调的功能。我们进一步讨论了潜在规范的一些特定选择的效果，重点是索伯列夫规范。最后，我们展示了CIFAR-10和CelebA上适当选择规范的性能提升。
2019-01-11 cs.CV cs.LG math.FA
Stacked Wasserstein Autoencoder
University of Kansas（堪萨斯大学）
在复杂的流形，如自然图像，近似分布在概念上是有吸引力的。使用变分自编码器和生成对抗网络训练的深度潜变量模型现在是表示学习的关键技术。然而，这是很难统一这两个模型的精确潜变量推理和并行重建和采样，部分原因是潜变量下的正则化，以匹配一个简单的显式先验分布。这些方法容易过于简化，只能表征真实分布的少数模式。基于最近提出的Wasserstein自动编码器（WAE），采用新的正则化作为最佳传输。本文提出了一种堆叠式Wasserstein自编码器（SWAE）来学习深层潜变量模型。SWAE是一个分层模型，它在两个阶段放松最优运输约束。在第一阶段，SWAE灵活地学习表示分布，即，编码的先验;并且在第二阶段，在正则化下用潜变量模型来近似编码表示分布，以鼓励潜分布匹配显式先验。该模型允许我们生成自然的文本输出，并在潜在空间中执行操作以引起输出空间的变化。定量和定性的结果表明，优越的性能SWAE相比，国家的最先进的方法在忠实的重建和生成质量。
2019-10-04 cs.CV cs.LG
Training Wasserstein GANs without gradient penalties
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Max Planck Institute（马克斯·普朗克研究所）
提出了一种稳定的训练Wasserstein生成对抗网络的方法。为了提高稳定性，我们考虑两个目标函数使用$c$ -转换的基础上康托洛维奇对偶，这是在最优运输理论。我们的实验表明，该算法可以有效地执行Lipschitz约束的最小值，而其他标准的方法无法做到这一点。因此，我们的方法产生一个准确的估计最佳的距离，也为Wasserstein距离之间的真实分布和生成的。我们的方法不需要梯度惩罚，也不需要相应的超参数调整，并且在计算上比其他方法更有效。与此同时，它基于MNIST、F-MNIST和CIFAR-10数据集生成具有竞争力的合成图像生成器。
2021-10-27 cs.CV cs.LG cs.NA
DVGAN: Stabilize Wasserstein GAN training for time-domain Gravitational Wave physics
Centre of Actionable Research（可操作研究中心）；Open University（开放大学）；Heerlen, Netherlands（荷兰海伦）
针对引力波时域信号模拟需求，提出带辅助导数判别器的三方WGAN模型DVGAN，可稳定训练过程、提升生成信号质量，还可模拟先进LIGO探测器的真实瞬态噪声。
2022-09-29 astro-ph.IM cs.LG gr-qc
Approximating 1-Wasserstein Distance with Trees
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）；Meta AI；SliceX AI（SliceX人工智能公司）
衡量分布之间差异的瓦瑟斯坦距离在各种类型的自然语言处理（NLP）和计算机视觉（CV）应用中显示出功效。估计瓦瑟斯坦距离的挑战之一是，它是计算昂贵的，并没有很好地扩展为许多分布比较任务。在本文中，我们的目标是近似的1-瓦瑟斯坦距离的树-瓦瑟斯坦距离（TWD），其中TWD是一个1-瓦瑟斯坦距离与基于树的嵌入，可以在线性时间内计算的节点数在一棵树上。更具体地说，我们提出了一种简单而有效的L1正则化方法来学习树中边的权重。为此，我们首先表明，1-Wasserstein近似问题可以制定为一个距离近似问题，使用最短路径的距离在一棵树上。然后，我们表明，最短路径距离可以表示为一个线性模型，可以制定为一个基于拉索的回归问题。由于凸公式，我们可以有效地获得全局最优解。此外，我们提出了一个树切片这些方法的变体。通过实验，我们证明了加权TWD可以准确地逼近原始的1-瓦瑟斯坦距离。
2022-06-24 cs.AI cs.LG stat.ML
