On the estimation of the Wasserstein distance in generative models
Graz University of Technology（格拉茨工业大学）；Austrian Institute of Technology（奥地利技术研究所）
生成对抗网络（GANs）已被用于对基于样本的数据集的潜在概率分布进行建模。GANs因训练困难和对任意超参数的依赖而闻名。GAN文献中的一个最近的改进是使用Wasserstein距离作为损失函数，从而导致Wasserstein生成对抗网络（WGAN）。以此为基础，我们展示了各种方法，其中Wasserstein距离估计生成建模的任务。此外，在训练这样的模型的秘密显示和总结在这项工作的最后。在适用的情况下，我们将当前的工作扩展到不同的算法，不同的成本函数和不同的正则化方案，以改进生成模型。
2019-10-02 cs.LG stat.ML
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
缺失数据是最常见的预处理问题之一。在本文中，我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器（VAEAC）和生成对抗插补网络（GAIN）作为生成模型的代表进行了研究，而去噪自动编码器（DAE）则代表了非生成模型。该模型的性能进行了比较，传统的方法k-最近邻（k-NN）和多重插补链式方程（MICE）。此外，我们引入WGAIN作为GAIN的Wasserstein修正，当缺失度小于或等于30%时，WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验，这些数据集具有连续特征，其中不同百分比的特征（从10%到50%不等）缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明，GAIN，特别是WGAIN是最好的插补，无论条件。一般来说，它们的表现优于MICE，k-NN，DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Wasserstein Generative Adversarial Networks for Online Test Generation for Cyber Physical Systems
Åbo Akademi University（奥博学术大学）
提出了一种基于Wasserstein生成对抗网络的在线测试生成算法WOGAN。WOGAN是一个通用的黑盒测试生成器，适用于任何具有用于确定失败测试的适应度函数的被测系统。作为概念证明，我们通过生成道路来评估WOGAN，使得汽车的车道辅助系统不能停留在指定车道上。我们发现，我们的算法具有竞争力的性能方面，以前公布的算法。
2022-05-23 cs.LG cs.SE
Tessellated Wasserstein Auto-Encoders
非对抗生成模型，如变分自动编码器（VAE），Wasserstein自动编码器与最大平均差异（WAE-MMD），切片Wasserstein自动编码器（SWAE）是相对容易训练，并具有较少的模式崩溃相比，Wasserstein自动编码器与生成对抗网络（WAE-GAN）。然而，它们在近似潜在空间中的目标分布方面不是很准确，因为它们没有一个用于检测真假之间的微小差异的滤波器。为此，我们开发了一种称为Tessellated Wasserstein Auto-encoders（TWAE）的新型非对抗性框架，通过质心Voronoi细分（CVT）技术将目标分布的支持细分为给定数量的区域，并根据细分设计批量数据，而不是随机洗牌，以准确计算差异。理论上，我们证明了当镶嵌的样本数$n$和区域数$m$分别以$\mathcal{O}(\frac{1}{\sqrt{n}})$和$\mathcal{O}(\frac{1}{\sqrt{m}})$的速率变大时，对差异的估计误差减小。给定固定的$n$和$m$，使测量误差的上界最小化的必要条件是镶嵌是由CVT确定的镶嵌。TWAE对不同的非对抗性指标非常灵活，并且与VAE，WAE-MMD，SWAE相比，可以大大提高其在Fréchet起始距离（FID）方面的生成性能。此外，数值结果确实表明TWAE与对抗模型WAE-GAN竞争，证明了其强大的生成能力。
2021-03-04 cs.LG math.OC stat.ML
Adversarial Lipschitz Regularization
Robert Bosch Kft.（罗伯特·博世匈牙利有限公司）
生成对抗网络（GANs）是训练生成模型时最受欢迎的方法之一，其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而，Wasserstein GANs要求临界点是1-Lipschitz，这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为，而不是通过梯度的范数进行训练，在大多数情况下实际上是不可行的。受虚拟对抗训练的启发，我们提出了一种称为对抗性Lipschitz正则化的方法，并证明使用显式Lipschitz惩罚确实是可行的，并且在应用于Wasserstein GANs时会导致竞争性性能，突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
Causality Learning With Wasserstein Generative Adversarial Networks
University of Strathclyde（思克莱德大学）
由于组合搜索空间，从数据中学习因果结构的传统方法面临重大挑战。最近，这个问题已经被制定成一个连续的优化框架与无环约束学习有向无环图（DAG）。这样的框架允许利用深度生成模型进行因果结构学习，以更好地捕捉数据样本分布和DAG之间的关系。然而，到目前为止，还没有研究在因果结构学习的背景下使用Wasserstein距离进行实验。我们的模型名为DAG-WGAN结合了Wasserstein的对抗损失与自动编码器架构中的非循环约束。它同时学习因果结构，同时提高其数据生成能力。我们比较了DAG-WGAN与其他不涉及Wasserstein度量的模型的性能，以确定其对因果结构学习的贡献。根据我们的实验，我们的模型在高基数数据下表现得更好。
2022-06-03 cs.AI cs.LG stat.ME
Parameter-Transferred Wasserstein Generative Adversarial Network (PT-WGAN) for Low-Dose PET Image Denoising
Northeastern University（东北大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
由于正电子发射断层扫描（PET）在临床实践中的广泛使用，需要最大限度地降低PET相关辐射剂量对患者的潜在风险。然而，随着辐射剂量的减少，所得到的图像可能遭受损害诊断性能的噪声和伪影。在本文中，我们提出了一个参数转移Wasserstein生成对抗网络（PT-WGAN）的低剂量PET图像去噪。本文的贡献是双重的：i）PT-WGAN框架被设计成在不损害结构细节的情况下对低剂量PET图像进行去噪，以及ii）基于迁移学习的任务特定初始化被开发成使用从预训练模型转移的可训练参数来训练PT-WGAN，这显著地提高了PT-WGAN的训练效率。临床数据的实验结果表明，该网络可以更有效地抑制图像噪声，同时保持更好的图像保真度比最近发表的国家的最先进的方法。我们在https://github.com/90n9-yu/PT-WGAN上提供我们的代码。
2020-08-26 cs.LG eess.IV stat.ML
Quantum Wasserstein Generative Adversarial Networks
University of Maryland（马里兰大学）；University of Electronic Science and Technology of China（电子科技大学）
量子生成模型的研究动机很好，不仅因为它在量子机器学习和量子化学中的重要性，还因为它在近期量子机器上实现的前景。受先前对经典和量子生成模型的对抗训练研究的启发，我们提出了量子Wasserstein生成对抗网络（WGAN）的第一个设计，该设计已被证明可以提高量子生成模型对抗训练的鲁棒性和可扩展性，即使在有噪声的量子硬件上。具体来说，我们提出了量子数据之间的Wasserstein半度量的定义，它继承了经典对应物的一些关键理论优点。我们还演示了如何将量子Wasserstein半度量转化为可以在量子机器上有效实现的量子WGAN的具体设计。我们的数值研究，通过量子系统的经典模拟，显示了我们的量子WGAN比其他量子GAN提案更强大和可扩展的数值性能。作为一个令人惊讶的应用，我们的量子WGAN已被用来生成一个3量子位量子线路的~50门，很好地近似3量子位一维哈密顿模拟电路，需要超过10 k门使用标准技术。
2019-10-31 cs.LG quant-ph
Modeling EEG data distribution with a Wasserstein Generative Adversarial Network to predict RSVP Events
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
由于复杂的实验设置和长时间佩戴的舒适度降低，难以获得脑电图（EEG）数据。这对利用有限的EEG数据训练强大的深度学习模型提出了挑战。能够通过计算生成EEG数据可以解决这一限制。我们提出了一种新的Wasserstein生成对抗网络与梯度惩罚（WGAN-GP）合成EEG数据。该网络解决了模拟时间序列EEG数据的几个建模挑战，包括频率伪影和训练不稳定性。我们进一步将该网络扩展到一个类条件变体，该变体还包括一个分类分支来执行事件相关分类。我们训练所提出的网络生成一个和64个通道的数据，类似于在快速串行视觉呈现（RSVP）实验中经常看到的EEG信号，并证明了所生成的样本的有效性。我们还测试了主题内跨会话分类性能，用于分类RSVP目标事件，并表明类条件WGAN-GP可以在EEGNet上实现更好的事件分类性能。
2020-07-01 cs.LG eess.IV stat.AP
Illegible Text to Readable Text: An Image-to-Image Transformation using Conditional Sliced Wasserstein Adversarial Networks
从古文字记录图像中自动识别文字是谱学领域的一个重要课题。然而，诸如变化的噪声条件、消失的文本和手写的变化等关键挑战使得识别任务变得困难。我们通过开发一个手写到机器打印的条件生成对抗网络（HW 2 MP-GAN）模型来解决这个问题，该模型将手写识别制定为文本图像到文本图像的翻译问题，其中给定的图像（通常是难以辨认的形式）被转换为另一个图像，接近其机器打印形式。该模型由三个部分组成，包括一个发生器，单词级和字符级的歧视。该模型在HW 2 MP-GAN中集成了切片Wasserstein距离（SWD）和U-Net架构，以实现更高质量的图像到图像转换。我们的实验表明，HW 2 MP-GAN在Frechet手写距离（FHD）方面优于最先进的基线cGAN模型近30，平均Levenshtein距离为0.6，IAM数据库上图像到图像翻译的单词准确率为39%。此外，与IAM数据库上的基线手写识别模型相比，HW 2 MP-GAN将手写识别单词的准确性提高了1.3%。
2019-10-11 cs.CV cs.LG eess.IV
Some Theoretical Insights into Wasserstein GANs
Sorbonne Université（索邦大学）；Criteo AI Lab（科睿唯安人工智能实验室）
生成对抗网络（GANs）在图像、视频和文本生成等不同领域都取得了出色的成果。在这些成功的基础上，大量的实证研究已经验证了称为Wasserstein GANs（WGANs）的表亲方法的好处，它在训练过程中带来了稳定性。在本文中，我们通过提出WGAN性质的一些理论进展，为建筑物添加了一块新的石头。首先，我们在由神经网络参数化的积分概率度量的背景下正确定义了WGAN的架构，并强调了它们的一些基本数学特征。我们强调特别有趣的优化性能所产生的使用参数1-Lipschitz的。然后，在一种由经验驱动的方法中，我们研究了当样本大小趋于无穷大时经验WGAN的收敛性，并通过强调一些权衡性质来澄清生成器和迭代器的对抗效应。这些功能最后说明了使用合成和真实世界的数据集的实验。
2021-06-18 cs.LG stat.ML
Face Super-Resolution Through Wasserstein GANs
University of California, Berkeley（加州大学伯克利分校）
生成对抗网络（GANs）在过去几年中受到了极大的关注，并激发了解决各种问题的应用。尽管GANs潜力巨大，但训练难度很大。最近，一系列论文（Arjovsky & Bottou，2017 a; Arjovsky et al. 2017 b;和Gulrajani et al. 2017）提出使用Wasserstein距离作为训练目标，并承诺跨架构进行简单，稳定的GAN训练，只需最小的超参数调整。在本文中，我们比较了Wasserstein距离与其他训练目标的性能在各种GAN架构的背景下，单图像超分辨率。我们的研究结果表明，Wasserstein GAN与梯度惩罚（WGAN-GP）提供了稳定和收敛的GAN训练和Wasserstein距离是一个有效的度量来衡量训练进度。
2017-05-06 cs.LG stat.ML
Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC（HRL实验室有限责任公司）；University of Virginia（弗吉尼亚大学）
在本文中，我们研究通过自动编码器生成建模，同时使用优雅的几何性质的最佳运输（OT）问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器（SWAE），这是一种生成模型，使人们能够将潜在空间的分布塑造成任何可采样的概率分布，而无需训练对抗网络或定义分布的封闭形式。简而言之，我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明，所提出的配方有一个有效的数值解，提供了类似的功能，Wasserstein自动编码器（WAE）和变分自编码器（VAE），同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Robust Estimation under the Wasserstein Distance
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）
针对含对抗性破坏样本的Wasserstein鲁棒分布估计问题，本文结合部分最优传输与最小距离估计，证明了其极小极大最优性，推导出带sup范数惩罚的POT对偶形式，并据此改进WGAN以实现抗污染的大规模生成建模。
2024-09-24 cs.LG math.ST stat.ML
Intrinsic Dimension Estimation Using Wasserstein Distances
MIT（麻省理工学院）
长期以来，人们一直认为在许多实际机器学习任务中遇到的高维数据具有低维结构，即，多重假设成立。因此，一个自然的问题是从有限样本中估计给定总体分布的内在维数。我们引入了一个新的估计的内在尺寸，并提供有限样本，非渐近保证。然后，我们应用我们的技术来获得生成对抗网络（GANs）的新样本复杂度界限，仅取决于数据的内在维度。
2022-05-31 cs.LG stat.ML
Wasserstein Introspective Neural Networks
University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了Wasserstein内省神经网络（WINN），这是一个发电机和一个单一的模型内的神经网络。WINN通过增强INN的生成建模能力，对最近的内省神经网络（INN）方法进行了重大改进。WINN有三个有趣的性质：（1）INN算法的公式和Wasserstein生成对抗网络（WGAN）之间的数学联系。(2)在INN中明确采用Wasserstein距离导致了对INN的大幅增强，即使使用单个分类器也可以实现令人信服的结果-例如，为无监督生成式建模提供了比INN模型大小减少近20倍的模型。(3)当应用于监督分类时，WINN在减少错误方面也提高了对对抗性示例的鲁棒性。在实验中，我们报告了令人鼓舞的结果无监督学习问题，包括纹理，人脸和对象建模，以及监督分类任务对对抗攻击。
2018-04-07 cs.CV cs.LG
Relaxed Wasserstein with Applications to GANs
University of California, Berkeley（加州大学伯克利分校）
Wasserstein生成对抗网络（WGANs）提供了一类通用的模型，在各种应用中引起了极大的关注。然而，该框架有两个主要缺点：（i）Wasserstein-1（或Earth-Mover）距离是限制性的，使得WGAN不能总是很好地适应数据几何形状;（ii）难以实现WGAN的快速训练。本文通过推广Wasserstein-1距离和Bregman代价函数，提出了一类新的\textit{Relaxed Wasserstein}（RW）距离.我们表明，RW距离实现良好的统计特性，同时不牺牲计算的易处理性。结合GANs框架，我们开发了Relaxed WGANs（RWGANs），它不仅在统计上灵活，而且可以使用启发式方法有效地近似。在真实图像上的实验表明，具有Kullback-Leibler（KL）代价函数的RWGAN优于其他竞争方法，例如，WGAN，即使有梯度惩罚。
2021-07-17 cs.LG stat.ML
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Wasserstein-Wasserstein Auto-Encoders
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
为了解决学习深度生成模型的挑战（例如，针对变分自编码器的模糊性和训练生成对抗网络的不稳定性，提出了一种新的深度生成模型--Wasserstein-Wasserstein自编码器（WWAE）。我们制定WWAE作为目标分布和生成的分布之间的惩罚最优传输的最小化。通过注意到潜在码Z的先验$P_Z$和聚合后验$Q_Z$都可以被高斯很好地捕获，所提出的WWAE在优化过程中利用了两个高斯的平方Wasserstein-2距离的封闭形式。因此，WWAE不受采样负担的影响，并且通过利用重新参数化技巧而具有计算效率。在包括MNIST、fashion-MNIST和CelebA在内的多个基准数据集上评估的数值结果表明，WWAE比VAE学习更好的潜在结构，并且生成比VAE和GANs更好的视觉质量和更高的FID分数的样本。
2019-02-25 cs.LG stat.ML
Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks
School of Statistics and Management, Shanghai University of Finance and Economics（上海财经大学统计与管理学院）；Purdue University（普渡大学）
提出LWGAN框架融合Wasserstein自编码器与GAN，自适应学习数据流形内在维数，理论证明估计一致性并给出泛化误差上界，实验验证其能准确识别维数并生成高质量合成数据。
2024-09-27 cs.AI cs.LG stat.ME
Correcting Sensor-Induced Distribution Drift with Wasserstein Adversarial Learning
Laboratory of Methods for Big Data Analysis, HSE University（大数据分析方法实验室，高等经济大学）
提出WGAN方法，通过可学习的校准变换将变化检测器响应分布映射回参考分布，在探测器模型和模拟量能器数据上验证了恢复老化系数和改善能量分布一致性的能力。
2026-06-18 cs.AI cs.LG
Stable Parallel Training of Wasserstein Conditional Generative Adversarial Neural Networks
Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个稳定的，并行的方法来训练Wasserstein条件生成对抗神经网络（W-CGANs）的约束下，一个固定的计算预算。与以前的分布式GANs训练技术不同，我们的方法避免了进程间通信，降低了模式坍塌的风险，并通过使用多个生成器来增强可扩展性，每个生成器都同时在单个数据标签上进行训练。Wasserstein度量的使用还通过稳定每个生成器的训练来降低骑自行车的风险。我们在CIFAR 10，CIFAR 100和ImageNet 1 k数据集上说明了该方法，这三个标准的基准图像数据集保持了每个数据集图像的原始分辨率。在有限的固定计算时间和计算资源内的可扩展性和最终精度方面评估性能。为了测量准确性，我们使用初始分数，Frechet初始距离和图像质量。与通过在深度卷积条件生成对抗神经网络（DC-CGAN）上执行并行方法获得的先前结果相比，初始分数和Frechet初始距离有所改善，以及通过GANs方法创建的新图像的图像质量有所改善。在OLCF超级计算机Summit上使用多达2，000个NVIDIA V100 GPU在两个数据集上实现弱缩放。
2022-07-25 cs.AI cs.CV cs.DC
Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
我们提出了Wasserstein自动编码器（WAE）-一种新的算法，用于建立数据分布的生成模型。WAE最小化模型分布和目标分布之间的瓦瑟斯坦距离的惩罚形式，这导致与变分自动编码器（VAE）所使用的正则化器不同的正则化器。这个正则化器鼓励编码的训练分布与先验匹配。我们比较我们的算法与其他几种技术，并表明它是一个泛化的对抗性自动编码器（AAE）。我们的实验表明，WAE共享VAE的许多属性（稳定的训练，编码器-解码器架构，良好的潜在流形结构），同时生成更好质量的样本，如FID分数所衡量的。
2019-12-05 cs.LG stat.ML
Generating Spatial Synthetic Populations Using Wasserstein Generative Adversarial Network: A Case Study with EU-SILC Data for Helsinki and Thessaloniki
NORCE Norwegian Research Center AS（挪威NORCE研究中心）；Centre for Modelling Social Systems（社会系统建模中心）
本研究利用 Wasserstein 生成对抗网络结合 EU-SILC 数据，为赫尔辛基和塞萨洛尼基生成空间合成人口，发现平衡数据与边缘特征表征不足是当前深度生成方法面临的主要挑战，可能导致模拟歧视。
2025-01-27 cs.LG cs.MA
Bridging the Gap Between $f$-GANs and Wasserstein GANs
Stanford University（斯坦福大学）
生成对抗网络（GANs）在学习高维分布方面取得了很大的成功。学习目标近似地最小化模型和数据分布之间的$f$ -发散（$f$ -GANs）或积分概率度量（Wasserstein GANs）。Wasserstein GANs具有优越的经验性能，但在$f$ -GANs中，可以将该算法解释为密度比估计器，这在某些GAN应用中是必要的。在本文中，我们弥合了$f$ -GANs和Wasserstein GANs（WGANs）之间的差距。首先，我们列出了两个约束变$f$发散估计目标，保持最佳的解决方案。接下来，我们最小化约束目标的拉格朗日松弛，并表明它概括了$f$ -GAN和WGAN的关键目标。在此基础上，提出了一种新的实用目标，命名为KL-Wasserstein GAN（KL-WGAN）.我们证明了KL-WGAN在合成数据集和真实世界图像生成基准上的经验成功，并在CIFAR 10图像生成上获得了最先进的FID分数。
2020-06-17 cs.LG stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
Computing Optimal Transport Maps and Wasserstein Barycenters Using Conditional Normalizing Flows
ETH Zurich（苏黎世联邦理工学院）
本文提出一种利用条件归一化流高效计算高维最优传输映射和Wasserstein重心的新方法，通过基于梯度的传输成本最小化直接求解原始问题，突破了以往方法难以处理数百个输入分布的计算瓶颈。
2025-05-28 cs.LG stat.ML
BEGAN: Boundary Equilibrium Generative Adversarial Networks
Google（谷歌）
我们提出了一种新的均衡执行方法，结合Wasserstein距离的损失，用于训练基于自动编码器的生成对抗网络。该方法在训练期间平衡发生器和振荡器。此外，它提供了一种新的近似收敛措施，快速和稳定的训练和高视觉质量。我们还得到了一种控制图像多样性和视觉质量之间的权衡的方法。我们专注于图像生成任务，即使在更高的分辨率下，也能在视觉质量方面树立新的里程碑。这是在使用相对简单的模型架构和标准训练过程的同时实现的。
2017-05-31 cs.LG stat.ML
Multi-marginal Wasserstein GAN
South China University of Technology（华南理工大学）；The University of Adelaide（阿德莱德大学）；Peng Cheng Laboratory（鹏城实验室）
多边缘匹配问题旨在学习映射以将源域匹配到多个目标域，在多域图像翻译等应用中引起了广泛的关注。然而，解决这个问题有两个关键的挑战：（i）测量不同域之间的多边缘距离是非常棘手的;（ii）利用跨域相关性来匹配目标域分布是非常困难的。在本文中，我们提出了一种新的多边缘Wasserstein GAN（MWGAN），以最小化域之间的Wasserstein距离。具体来说，在多边际最优运输理论的帮助下，我们开发了一个新的具有内部和域间约束的对抗性目标函数，以利用跨域相关性。此外，我们从理论上分析了MWGAN的泛化性能，并在平衡和非平衡翻译任务上对其进行了实证评估。在玩具和真实世界数据集上的大量实验证明了MWGAN的有效性。
2019-11-03 cs.LG stat.ML
Improved Training of Wasserstein GANs
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Google Brain（谷歌大脑）
生成对抗网络（GANs）是强大的生成模型，但存在训练不稳定的问题。最近提出的Wasserstein GAN（WGAN）在GANs的稳定训练方面取得了进展，但有时仍然只能生成低质量的样本或无法收敛。我们发现，这些问题往往是由于在WGAN中使用权重裁剪来对评论家实施Lipschitz约束，这可能导致不期望的行为。我们提出了一种替代裁剪权重：惩罚相对于其输入的评论家的梯度范数。我们提出的方法比标准的WGAN性能更好，并且能够稳定地训练各种各样的GAN架构，几乎没有超参数调整，包括101层ResNet和离散数据上的语言模型。我们还在CIFAR-10和LSUN卧室上实现了高质量的世代。
2017-12-25 cs.LG stat.ML
Learning to Optimize via Wasserstein Deep Inverse Optimal Control
Georgia Institute of Technology（佐治亚理工学院）
我们研究社会科学中的逆最优控制问题：我们的目标是从观察到的时间行为中学习用户的真实成本函数。与传统的现象学工作，旨在学习一个生成模型，以适应行为数据，我们提出了一种新的变分原理和对待用户作为一个强化学习算法，其作用是通过优化他的成本函数。我们首先提出了一个统一的KL框架，推广现有的最大熵逆最优控制方法。我们进一步提出了一个两步Wasserstein逆最优控制框架。在第一步中，我们用一个新的质量输运方程计算最佳测量。在第二步中，我们将学习问题表述为生成对抗网络。在两个现实世界的实验-推荐系统和社交网络，我们表明，我们的框架获得显着的性能增益现有的逆最优控制方法和点过程为基础的生成模型。
2018-05-22 cs.LG stat.ML
Semi-Supervised Multitask Learning on Multispectral Satellite Images Using Wasserstein Generative Adversarial Networks (GANs) for Predicting Poverty
Stanford University（斯坦福大学）
要获得可靠的数据，详细描述当地的贫困指标，为决策者提供信息，就需要进行昂贵和后勤困难的调查，特别是在发展中国家。毫不奇怪，贫困地区也很可能成为战区，基础设施薄弱，有时政府不与国际资助的发展努力合作。我们对CNN进行训练，利用Landsat 7提供的非洲大陆免费和公开的日间卫星图像，建立一个预测当地经济生计的模型。只有5%的卫星图像可以与标签（从DHS调查中获得）相关联，因此使用GAN的半监督方法（类似于Salimans等人的方法（2016）），尽管使用了更稳定的GANs训练风格，称为Wasserstein GAN，使用梯度惩罚正则化（Gulrajani等人（2017））。采用多任务学习的方法来规范网络，并创建用于预测多个贫困指标的端到端模型。
2019-04-25 cs.CV cs.LG
Primal-Dual Wasserstein GAN
我们介绍了原始-对偶Wasserstein GAN，一种新的学习算法，用于建立基于原始和对偶公式的最优运输（OT）问题的数据分布的潜变量模型。我们利用原始公式来学习灵活的推理机制，并在数据分布和生成模型之间创建最佳近似耦合。为了学习生成模型，我们使用的对偶制定和训练的解码器通过一个批评网络，这是正则化的近似耦合从原始的。与以前的方法，违反各种属性的最佳评论家，我们正规化的标准和方向的梯度的评论家功能。我们的模型在模式覆盖和潜在结构方面共享了自动编码模型的许多理想属性，同时避免了它们不理想的平均属性，例如在对真实图像建模时无法捕获清晰的视觉特征。我们比较我们的算法与其他几个生成建模技术，利用瓦瑟斯坦距离的弗雷歇初始距离（FID）和初始分数（IS）。
2018-05-24 cs.LG stat.ML
Generative Modeling by Minimizing the Wasserstein-2 Loss
Department of Applied Mathematics, University of Colorado（应用数学系，科罗拉多大学）
本文提出通过分布依赖的常微分方程最小化Wasserstein-2损失来构建生成模型，证明其时间边际律构成Wasserstein损失的梯度流，并通过欧拉方案实现收敛，实验表明算法在低维和高维情况下优于Wasserstein生成对抗网络。
2026-08-27 cs.LG stat.ML
Statistical Regeneration Guarantees of the Wasserstein Autoencoder with Latent Space Consistency
Indian Statistical Institute, Kolkata（印度统计研究所（加尔各答））
变分自编码器（VAE）的引入被认为是表示学习模型历史上的一个突破。除了拥有自己的几项荣誉外，VAE还成功地以其直接继承者的形式推出了一系列发明。Wasserstein Autoencoder（WAE）是该领域的继承者，它具有所有的优点和增强的生成承诺，甚至与生成对抗网络（GANs）相匹配。不用说，近年来GANs的统计分析出现了显著的复苏。然而，尽管自动编码器具有不同的适用性和显着的经验表现，但仍然基本上没有类似的检查。为了缩小这一差距，在本文中，我们调查的统计特性的WAE。首先，我们提供的统计保证，WAE实现的目标分布在潜在的空间，利用Vapnik Chervonenkis（VC）理论。主要结果，从而确保再生的输入分布，利用Wasserstein度量下的措施的最优运输提供的潜力。这项研究，反过来，暗示在一类分布WAE可以重建后，遭受压缩的形式的一个潜在的法律。
2021-10-08 cs.LG stat.ML
How Well Do WGANs Estimate the Wasserstein Metric?
University of Copenhagen（哥本哈根大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
生成式建模通常被视为最小化数据分布和模型分布之间的相似性度量。最近，一个流行的选择的相似性度量一直是Wasserstein度量，它可以表示在Kantorovich对偶公式的最佳差异下的实际数据分布和模型假设的潜在功能的期望值。在实践中，该电位用神经网络来近似，并被称为神经网络。对偶约束的函数类的的近似执行，并从样本的期望估计。这给出了至少三个误差来源：近似的期望值和约束，期望值的估计，以及找到最优势所需的优化。在这项工作中，我们研究了如何以及方法，用于生成对抗网络近似Wasserstein度量，执行。我们认为，特别是，$c$ -变换公式，它消除了需要执行明确的约束。我们证明，$c$ -变换允许更准确地估计样本的真实Wasserstein度量，但令人惊讶的是，在生成设置中没有执行最佳。
2019-10-09 cs.LG stat.ML
Understanding the Effectiveness of Lipschitz-Continuity in Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）；Peking University（北京大学）
在本文中，我们研究了导致GANs训练失败和成功的潜在因素。我们研究了最佳判别函数的性质，并表明在许多GANs中，最佳判别函数的梯度是不可靠的，这是GANs训练失败的根本原因。我们进一步证明了一个定义良好的距离度量并不一定保证GANs的收敛。最后，证明了Lipschitz连续性条件是使最优判别函数的梯度可靠的通解，并刻画了Lipschitz连续性保证收敛的必要条件，从而得到了一类在Lipschitz连续性条件下有效的GAN目标，其中Wasserstein距离是一个特例.我们实验了几个新的目标，这是健全的，根据我们的定理，我们发现，与Wasserstein距离相比，输出的新目标是更稳定的，生成的样本的最终质量也始终高于Wasserstein距离。
2018-12-23 cs.AI cs.CV cs.LG
Generation High resolution 3D model from natural language by Generative Adversarial Network
我们提出了一种从自然语言描述中生成高分辨率三维形状的方法。为了实现这个目标，我们提出了两个步骤，生成低分辨率的形状，粗略地反映文本和生成高分辨率的形状，反映文本的细节。在以前的论文中，作者已经展示了一种生成低分辨率形状的方法。改进后的方法生成的三维图形更符合自然语言，并验证了该方法的有效性。为了生成高分辨率的3D形状，我们使用条件Wasserstein GAN的框架。分别提出了Critic的两个角色，计算两个概率分布之间的Wasserstein距离，从而实现生成高质量的形状或加快模型的学习速度。为了评估我们的方法，我们对Critic模型进行了定量评估。该方法首先在生成三维模型时，将文本嵌入信息传播到高分辨率任务中，实现高质量模型的生成。
2019-01-22 cs.GR cs.LG stat.ML
3D Wasserstein generative adversarial network with dense U-Net based discriminator for preclinical fMRI denoising
School of Information Technology, Carleton University（卡尔顿大学信息技术学院）；Northeastern University（东北大学）；Tessellis Ltd.（泰塞利斯有限公司）
针对临床前fMRI数据去噪的挑战，提出基于3D密集U-Net判别器的3D Wasserstein生成对抗网络3D U-WGAN，通过4D配置处理时空噪声，引入对抗损失和特征空间距离优化，在模拟和真实数据上优于现有方法。
2024-11-28 cs.CV cs.LG eess.IV
Summable Reparameterizations of Wasserstein Critics in the One-Dimensional Setting
University of Michigan（密歇根大学）；Beihang University（北京航空航天大学）；Brown University（布朗大学）
生成对抗网络（GANs）是解决密度估计问题的算法的一个令人兴奋的替代方案-使用数据来评估样本从同一分布中提取的可能性。GANs不是显式地计算这些概率，而是学习一个可以匹配给定概率源的生成器。本文特别着眼于这种匹配能力的背景下，一维输出的问题。我们确定了一类函数分解的属性，使它们非常适合在称为Wasserstein GANs的GANs的领先方法中扮演批评者的角色。我们表明，泰勒和傅立叶级数分解属于我们的类，提供这些批评优于标准的GAN方法的例子，并建议他们如何可以扩展到更高维的问题在未来。
2017-09-19 cs.AI cs.LG stat.ML
Orthogonal Wasserstein GANs
University of Bonn（波恩大学）
Wasserstein-GANs已经被引入以解决生成对抗网络（GANs）在训练期间关于消失梯度和模式坍塌的问题的缺陷，从而导致改进的收敛行为和改进的图像质量。然而，Wasserstein-GAN要求连续性是Lipschitz连续的。在当前最先进的Wasserstein-GAN中，通过梯度范数正则化来强制执行此约束。在本文中，我们证明了这种正则化并不鼓励频谱值的广泛分布，因此导致学习分布的保真度降低。因此，我们调查的可能性，取代这个Lipschitz约束的正交约束的权重矩阵。我们比较了三种不同的权重正交化技术的收敛性，他们的能力，以确保Lipschitz条件和所取得的质量的学习分布。此外，我们还提供了与使用当前最先进方法训练的Wasserstein-GAN的比较，其中我们展示了仅使用基于正交性的正则化的潜力。在这种情况下，我们提出了一种改进的Wasserstein-GAN训练过程，该过程利用正交化来进一步提高其泛化能力。最后，我们提供了一个新的度量来评估不同Wasserstein-GAN的鉴别器的泛化能力。
2019-12-15 cs.LG eess.IV stat.ML
EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals
University of Freiburg（弗莱堡大学）
生成对抗网络（GANs）最近在涉及图像的生成应用中非常成功，并开始应用于时间序列数据。在这里，我们将EEG-GAN描述为生成脑电图（EEG）大脑信号的框架。我们对Wasserstein GANs的改进训练进行了修改，以稳定训练并研究一系列对时间序列生成至关重要的架构选择（最明显的是上采样和下采样）。为了进行评估，我们考虑并比较了不同的指标，如Inception评分，Frechet inception距离和切片Wasserstein距离，共同表明我们的EEG-GAN框架生成了自然的EEG示例。因此，它在神经科学和神经学背景下开辟了一系列新的生成应用场景，例如脑机接口任务中的数据增强，EEG超采样或损坏数据段的恢复。产生特定类别和/或具有特定属性的信号的可能性也可能为研究大脑信号的潜在结构开辟新的途径。
2018-06-05 cs.LG eess.SP q-bio.NC
Learning to Fuse Music Genres with Generative Adversarial Dual Learning
Virginia Tech（弗吉尼亚理工学院）；Georgia Institute of Technology（佐治亚理工学院）
FusionGAN是一个用于音乐生成的新型流派融合框架，它集成了生成对抗网络和双重学习的优势。特别是，所提出的方法提供了一个双重的学习扩展，可以有效地整合给定领域的风格。为了有效地量化不同域之间的差异并避免消失梯度问题，FusionGAN提供了一个基于Wasserstein的度量来近似目标域和现有域之间的距离。采用Wasserstein距离，通过使用对抗学习组合现有域的模式来创建新域。在公共音乐数据集上的实验结果表明，该方法可以有效地合并两种类型。
2017-12-05 cs.AI cs.LG cs.MM
Improving EEG Signal Classification Accuracy Using Wasserstein Generative Adversarial Networks
The University of British Columbia（不列颠哥伦比亚大学）
提出基于 WGAN 的 EEG 信号生成方法，在 BCI2000 数据集上训练并通过分类器验证，有效提升分类准确率与泛化能力，解决 BCI 数据匮乏问题。
2024-02-05 cs.AI cs.LG eess.SP
Generative Adversarial Source Separation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems（Adobe系统公司）
生成式声源分离方法，如非负矩阵分解（NMF）或自动编码器，依赖于输出概率密度的假设。生成对抗网络（GANs）可以学习数据分布，而无需对输出密度进行参数假设。我们在语音声源分离实验中表明，用Wasserstein-GAN公式训练的多层感知器在源失真比方面优于NMF，用最大似然训练的自动编码器和变分自动编码器。
2017-10-30 cs.LG cs.NE cs.SD
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Dupage Medical Group（杜佩奇医疗集团）
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题，分析切片Wasserstein距离的投影复杂度，提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离，可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Labeled Acceleration Data Augmentation for Structural Damage Detection
University of Central Florida（中佛罗里达大学）；West Virginia University（西弗吉尼亚大学）
在过去的几十年里，数据科学领域取得了重大进展，这些进展已被用于不同的工程学科和应用。人工智能（AI）、机器学习（ML）和深度学习（DL）算法已被用于土木结构健康监测（SHM），特别是用于使用传感器数据的损伤检测应用。虽然ML和DL方法显示出对复杂数据结构的卓越学习技能，但它们需要大量的数据进行训练。然而，在SHM中，从土木结构收集数据汇集可能是昂贵的和耗时的;特别是获得有用的数据（损伤相关数据）可能是具有挑战性的。本研究的目的是解决数据稀缺的问题，损伤检测应用。本文采用使用梯度惩罚的1-D Wasserstein深度卷积生成对抗网络（1-D WDCGAN-GP）来生成合成标记加速度数据。然后，生成的数据与不同的比率增加的1-D深度卷积神经网络（1-D DCNN）的损伤检测应用的训练数据集。损伤检测结果表明，一维WDCGAN-GP可以成功地用于解决土木结构基于振动的损伤检测应用中的数据不足问题。保留字：结构健康监测（SHM）、结构损伤检测、1-D深度卷积神经网络（1-D DCNN）、1-D生成对抗网络（1-D GAN）、Wasserstein生成对抗网络与梯度惩罚（WGAN-GP）
2022-07-22 cs.AI cs.LG stat.ML
Wasserstein Smoothing: Certified Robustness against Wasserstein Adversarial Attacks
University of Maryland, College Park（马里兰大学帕克分校）
在过去的几年中，针对图像分类问题，提出了几种基于不同威胁模型的对抗攻击方法。大多数现有的防御考虑的是样本扰动具有有界Lp范数的可加威胁模型。然而，在非加性威胁模型下，这些防御可能容易受到对抗攻击的攻击。基于非加性威胁模型的攻击方法的一个例子是Wong等人（2019）提出的Wasserstein对抗攻击，其中图像与其对抗示例之间的距离由其归一化像素强度之间的Wasserstein度量（“推土机距离”）确定。到目前为止，还没有针对此类攻击的可证明的防御。在这项工作中，我们提出了第一个防御认证的鲁棒性对Wasserstein对抗攻击使用随机平滑。我们通过考虑图像之间的可能流的空间，并表示这个空间，使得图像之间的Wasserstein距离的上限是由L_1距离在这个流空间中，开发这个证书。然后，我们可以将现有的随机平滑证书应用于L_1度量。在MNIST和CIFAR-10数据集中，我们发现我们提出的防御也是实际有效的，与未受保护的模型相比，在Wasserstein对抗攻击下显着提高了准确性。
2019-10-23 cs.LG stat.ML
Wasserstein Proximal of GANs
University of California, Los Angeles（加州大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）；Max Planck Institute for Mathematics in Sciences（马克斯·普朗克数学科学研究所）
我们介绍了一种新的方法来训练生成对抗网络，通过应用Wasserstein-2度量邻近的发电机。该方法是基于Wasserstein信息几何。它通过将最佳传输结构从概率空间拉回到参数空间来定义参数化不变自然梯度。我们获得了易于实现的迭代正则化隐式深度生成模型的参数更新。实验结果表明，该方法在挂钟时间和Fréchet起始距离方面提高了训练的速度和稳定性。
2021-02-13 cs.AI cs.LG cs.NA
Lipschitz Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Stanford University（斯坦福大学）
在本文中，我们从最佳判别函数的梯度信息量的角度研究了生成对抗网络（GANs）的收敛性。我们表明，GANs在判别函数空间上没有限制，通常会遇到这样的问题，即由卷积产生的梯度没有信息来指导生成器。相比之下，Wasserstein GAN（WGAN），其中判别函数被限制为1-Lipschitz，不遭受这样的梯度无信息性问题。我们在论文中进一步表明，具有紧致对偶形式的Wasserstein距离的模型，其中Lipschitz条件被放松，理论上也可能受到这个问题的影响。这暗示了Lipschitz条件的重要性，并促使我们研究具有Lipschitz约束的GANs的一般公式，这导致了一个新的GANs家族，我们称之为Lipschitz GANs（LGANs）。我们证明了LGANs保证了最优判别函数的存在性和唯一性以及唯一的纳什均衡的存在性。我们证明了LGAN通常能够消除梯度不信息性问题。根据我们的实证分析，与WGAN相比，LGAN更稳定，并且始终生成更高质量的样本。
2019-06-24 cs.CV cs.LG stat.ML
Robust W-GAN-Based Estimation Under Wasserstein Contamination
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
稳健估计是统计学中的一个重要问题，其目的是当数据生成分布位于未污染分布周围的适当定义的球内时，提供一个合理的估计。虽然极大极小估计率近年来已经建立，许多现有的鲁棒估计可证明最佳的收敛速度也是计算上难以处理的。在本文中，我们研究了Wasserstein污染模型下的几个估计问题，并提出了基于生成对抗网络（GANs）的计算易处理的估计器。具体来说，我们分析了基于Wasserstein GAN的位置估计，协方差阵估计和线性回归估计的性质，并表明我们提出的估计在许多情况下是最小最大最优的。最后，我们提出的数值结果证明了我们的估计的有效性。
2021-01-20 cs.IT cs.LG math.IT
Language Modeling with Generative Adversarial Networks
Stanford University（斯坦福大学）
生成对抗网络（GANs）在图像生成领域有着广阔的应用前景，但在语言生成方面却存在着难以训练的问题。GANs最初被设计为输出可微值，因此离散语言生成对它们来说是具有挑战性的，这导致了训练GANs的高度不稳定性。因此，过去的工作采用了最大似然的预训练或没有预训练的GANs训练，其中WGAN目标具有梯度惩罚。在这项研究中，我们提出了这些方法的比较。此外，我们提出了一些实验的结果，表明更好的训练和收敛的Wasserstein GANs（WGANs）时，较弱的正则化项是强制执行Lipschitz约束。
2018-04-08 cs.CL cs.LG stat.ML
Banach Wasserstein GAN
KTH - Royal Institute of Technology（皇家理工学院）；University of Cambridge（剑桥大学）
Wasserstein生成对抗网络（WGAN）可以用来从复杂的图像分布中生成真实的样本。WGAN中使用的Wasserstein度量是基于单个图像之间的距离的概念，其引入了图像的概率分布之间的距离的概念。到目前为止，社区已将$\ell^2$视为基础距离。我们将WGAN的理论与梯度惩罚推广到Banach空间，允许从业者选择在生成器中强调的功能。我们进一步讨论了潜在规范的一些特定选择的效果，重点是索伯列夫规范。最后，我们展示了CIFAR-10和CelebA上适当选择规范的性能提升。
2019-01-11 cs.CV cs.LG math.FA
