A gradual, semi-discrete approach to generative network training via explicit Wasserstein minimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
本文提供了一个简单的过程来拟合生成网络的目标分布，目标是一个小的Wasserstein距离（或其他最佳的运输成本）。该方法基于两个原则：（a）如果网络的源随机性是连续分布（“半离散”设置），则Wasserstein距离由确定性最优传输映射实现;（b）给定生成器网络和目标分布之间的最优传输映射，可以通过所生成的数据和所映射的目标点之间的回归来减小Wasserstein距离。因此，这里的过程交替这两个步骤，形成最佳传输并对其进行回归，逐渐将发电机网络调整到目标分布。在数学上，这种方法被证明是最小化的Wasserstein距离的经验目标分布，也是它的基本人口对应。从经验上讲，MNIST和Thin-8数据的训练和测试集证明了良好的性能。本文最后讨论了Wasserstein距离对某些任务的不适用性，正如在先前的工作中所确定的那样[Arora等人，2017，Huang等人，2017年]。
2019-06-11 cs.LG stat.ML
Generative Modeling by Minimizing the Wasserstein-2 Loss
Department of Applied Mathematics, University of Colorado（应用数学系，科罗拉多大学）
本文提出通过分布依赖的常微分方程最小化Wasserstein-2损失来构建生成模型，证明其时间边际律构成Wasserstein损失的梯度流，并通过欧拉方案实现收敛，实验表明算法在低维和高维情况下优于Wasserstein生成对抗网络。
2026-08-27 cs.LG stat.ML
On the Reliability of Generative Augmentation: A Wasserstein-Based Theoretical and Empirical Study
本研究提出基于Wasserstein的条件生成式数据增强统计框架，推导泛化界，经实验发现增强可靠性由分布近似误差决定，为合成数据质量评估提供了新基础。
2026-09-02 cs.LG stat.ML
Wasserstein-Wasserstein Auto-Encoders
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
为了解决学习深度生成模型的挑战（例如，针对变分自编码器的模糊性和训练生成对抗网络的不稳定性，提出了一种新的深度生成模型--Wasserstein-Wasserstein自编码器（WWAE）。我们制定WWAE作为目标分布和生成的分布之间的惩罚最优传输的最小化。通过注意到潜在码Z的先验$P_Z$和聚合后验$Q_Z$都可以被高斯很好地捕获，所提出的WWAE在优化过程中利用了两个高斯的平方Wasserstein-2距离的封闭形式。因此，WWAE不受采样负担的影响，并且通过利用重新参数化技巧而具有计算效率。在包括MNIST、fashion-MNIST和CelebA在内的多个基准数据集上评估的数值结果表明，WWAE比VAE学习更好的潜在结构，并且生成比VAE和GANs更好的视觉质量和更高的FID分数的样本。
2019-02-25 cs.LG stat.ML
Approximating Probability Distributions by using Wasserstein Generative Adversarial Networks
The University of Hong Kong（香港大学）
本文研究了以GroupSort神经网络为判别器的WGANs，建立了生成分布与目标分布间Wasserstein距离的量化泛化界限，揭示了判别器容量不足时高容量生成器反而表现更差的现象，并通过Swiss roll和MNIST数据集验证了理论。
2023-06-30 cs.LG stat.ML
Inferential Wasserstein Generative Adversarial Networks
Purdue University（普渡大学）
生成式对抗网络（GANs）对许多问题和应用都有影响，但存在训练不稳定的问题。Wasserstein GAN（WGAN）利用瓦瑟斯坦距离来避免GANs的最小最大两人训练中的警告，但具有其他缺陷，例如模式崩溃和缺乏检测收敛的度量。我们介绍了一种新的推理Wasserstein GAN（iW GAN）模型，这是一个原则性的框架融合自动编码器和WGAN。iWGAN模型通过迭代原始对偶优化过程联合学习编码器网络和生成器网络。编码器网络将观察到的样本映射到潜在空间，生成器网络将样本从潜在空间映射到数据空间。我们建立的推广误差界的iWGAN理论证明其性能。在极大似然估计的框架下，我们进一步提供了一个严格的概率解释我们的模型。iWGAN具有明确的停止标准，与其他自动编码器GANs相比具有许多优势。实验结果表明，该方法大大减轻了模式崩溃的症状，加快了收敛速度，并能对每个样本进行质量检验。我们通过获得基准数据集的竞争力和稳定的性能来说明iWGAN的能力。
2021-09-13 cs.LG stat.ML
Critical Points and Convergence Analysis of Generative Deep Linear Networks Trained with Bures-Wasserstein Loss
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Duke University（杜克大学）
该研究针对生成式场景下采用Bures-Wasserstein损失的深度矩阵分解模型，刻画了其临界点与极小值点，解决了低秩处Hessian发散的分析难题，建立了梯度流与有限步长梯度下降的收敛性结果。
2023-07-13 cs.LG stat.ML
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
缺失数据是最常见的预处理问题之一。在本文中，我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器（VAEAC）和生成对抗插补网络（GAIN）作为生成模型的代表进行了研究，而去噪自动编码器（DAE）则代表了非生成模型。该模型的性能进行了比较，传统的方法k-最近邻（k-NN）和多重插补链式方程（MICE）。此外，我们引入WGAIN作为GAIN的Wasserstein修正，当缺失度小于或等于30%时，WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验，这些数据集具有连续特征，其中不同百分比的特征（从10%到50%不等）缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明，GAIN，特别是WGAIN是最好的插补，无论条件。一般来说，它们的表现优于MICE，k-NN，DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Wasserstein-2 Generative Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
我们提出了一种新的端到端的非极小极大算法训练最佳的传输映射的二次成本（Wasserstein-2距离）。该算法使用输入凸神经网络和循环一致性正则化来近似Wasserstein-2距离。与流行的熵和二次正则化相反，循环一致性不会引入偏差，并且可以很好地扩展到高维。从理论上，我们估计的生成映射适合我们的算法的性质。从实际的一面，我们评估我们的算法在广泛的任务：图像到图像的颜色转移，潜在的空间最佳运输，图像到图像的风格转移，和领域自适应。
2020-12-10 cs.CV cs.LG stat.ML
Rethinking Multidimensional Discriminator Output for Generative Adversarial Networks
Salesforce（赛富时）；Amazon（亚马逊）；Florida State University（佛罗里达州立大学）
生成对抗网络的多维批评（critic）输出的研究在文献中尚未充分探索。在本文中，我们推广了Wasserstein GAN框架，利用多维评论家输出，并探讨其性质。我们还引入了一个平方根速度变换（SRVT）块，有利于在多维设置中进行训练。性质的证明基于我们提出的最大p-中心差异，其由p-瓦瑟斯坦距离限制，并且适合具有多维评论家输出n的Wasserstein GAN框架。特别是当n = 1和p = 1时，所提出的差异等于1-瓦瑟斯坦距离。理论分析和实证结果表明，高维批评输出在区分真假分布方面具有优势，有利于结果的快速收敛和多样性。
2022-07-14 cs.LG stat.ML
Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过结合Wasserstein-1与Wasserstein-2近端算子正则化f-散度，构建适定的连续时间生成流，以稳健学习低维流形上的分布，并通过对抗训练实现高维图像生成。
2024-07-16 cs.LG stat.CO stat.ME
Distributional Sliced-Wasserstein and Applications to Generative Modeling
VinAI Research（VinAI研究院）；University of Texas, Austin（得克萨斯大学奥斯汀分校）
切片-瓦瑟斯坦距离（SW）及其变体，最大切片-瓦瑟斯坦距离（Max-SW），由于其快速计算和可扩展性，即使概率测度位于非常高维的空间中，近年来也得到了广泛的应用。然而，SW需要许多不必要的投影样本来近似它的值，而Max-SW只使用最重要的投影，这忽略了其他有用的方向的信息。为了解决这些问题，我们提出了一种新的距离，命名为分布切片-瓦瑟斯坦距离（DSW），它找到了一个最佳分布的投影，可以探索不同的投影方向和投影本身的信息之间的平衡。我们表明，DSW是一个推广的Max-SW，它可以有效地计算通过搜索的最佳推进措施超过一组概率测度在单位球满足一定的正则化约束，有利于不同的方向。最后，我们用大规模数据集进行了大量的实验，以证明所提出的距离在生成式建模应用中比以前基于切片的距离具有更好的性能。
2020-10-04 cs.LG stat.CO stat.ML
Primal-Dual Wasserstein GAN
我们介绍了原始-对偶Wasserstein GAN，一种新的学习算法，用于建立基于原始和对偶公式的最优运输（OT）问题的数据分布的潜变量模型。我们利用原始公式来学习灵活的推理机制，并在数据分布和生成模型之间创建最佳近似耦合。为了学习生成模型，我们使用的对偶制定和训练的解码器通过一个批评网络，这是正则化的近似耦合从原始的。与以前的方法，违反各种属性的最佳评论家，我们正规化的标准和方向的梯度的评论家功能。我们的模型在模式覆盖和潜在结构方面共享了自动编码模型的许多理想属性，同时避免了它们不理想的平均属性，例如在对真实图像建模时无法捕获清晰的视觉特征。我们比较我们的算法与其他几个生成建模技术，利用瓦瑟斯坦距离的弗雷歇初始距离（FID）和初始分数（IS）。
2018-05-24 cs.LG stat.ML
Learning to Optimize via Wasserstein Deep Inverse Optimal Control
Georgia Institute of Technology（佐治亚理工学院）
我们研究社会科学中的逆最优控制问题：我们的目标是从观察到的时间行为中学习用户的真实成本函数。与传统的现象学工作，旨在学习一个生成模型，以适应行为数据，我们提出了一种新的变分原理和对待用户作为一个强化学习算法，其作用是通过优化他的成本函数。我们首先提出了一个统一的KL框架，推广现有的最大熵逆最优控制方法。我们进一步提出了一个两步Wasserstein逆最优控制框架。在第一步中，我们用一个新的质量输运方程计算最佳测量。在第二步中，我们将学习问题表述为生成对抗网络。在两个现实世界的实验-推荐系统和社交网络，我们表明，我们的框架获得显着的性能增益现有的逆最优控制方法和点过程为基础的生成模型。
2018-05-22 cs.LG stat.ML
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文扩展PAC-Bayesian理论至生成模型，基于Wasserstein距离和全变差距离推导泛化界，为Wasserstein GAN和能量基GAN提供新训练目标，并通过实验验证非空界。
2023-11-13 cs.AI cs.LG stat.ML
(q,p)-Wasserstein GANs: Comparing Ground Metrics for Wasserstein GANs
University of Copenhagen（哥本哈根大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生成对抗网络（GANs）作为生成模型在计算机视觉和机器学习中产生了重大影响。Wasserstein GANs（WGANs）通过最小化模型和数据分布之间的$1$ -Wasserstein距离作为目标函数，将最优传输（OT）理论引入到GANs中。从那时起，WGAN由于其稳定性和理论框架而获得了相当大的兴趣。我们通过引入$(q,p)$ -Wasserstein GANs家族来贡献WGAN文献，该家族允许在GAN学习过程中使用更通用的$p$ -Wasserstein度量用于$p\geq 1$。虽然该方法能够将任何成本函数作为地面度量，我们专注于研究$q\geq 1$的$l^q$指标。这是一个值得注意的概括，因为在WGAN文献中，OT距离通常基于$l^2$地面度量。我们证明了不同的$p$ -Wasserstein距离的效果在两个玩具的例子。此外，我们通过比较MNIST和CIFAR-10数据集上不同的$(q,p)$对，表明地面度量确实有差异。我们的实验表明，改变地面度量和$p$可以显着改善常见的$(q,p) = (2,1)$情况。
2019-02-10 cs.LG stat.ML
Sliced-Wasserstein Flows: Nonparametric Generative Modeling via Optimal Transport and Diffusions
Inria（法国国家信息与自动化研究所）；LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎-萨克雷大学巴黎高等电信学院信息处理与通信实验室）；Institute of Mathematics, Polish Academy of Sciences（波兰科学院数学研究所）
通过建立在最近的理论，建立隐式生成建模（IGM）和最佳运输之间的联系，在这项研究中，我们提出了一种新的无参数算法，用于学习复杂数据集的底层分布和采样。所提出的算法是基于一个功能优化问题，其目的是找到一个措施，尽可能接近的数据分布，也有足够的表达生成建模的目的。我们将问题表述为概率测度空间中的梯度流。梯度流和随机微分方程之间的连接，让我们开发一个计算效率高的算法来解决优化问题。我们提供了正式的理论分析，我们证明了有限的时间误差保证所提出的算法。据我们所知，该算法是第一个非参数IGM算法与明确的理论保证。我们的实验结果支持我们的理论，并表明我们的算法是能够成功地捕捉不同类型的数据分布的结构。
2019-06-11 cs.LG stat.ML
Wasserstein Iterative Networks for Barycenter Estimation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）；Massachusetts Institute of Technology（麻省理工学院）
Wasserstein重心已经变得流行，因为它们能够以几何意义的方式表示概率度量的平均值。在本文中，我们提出了一个算法来近似的Wasserstein-2重心的连续措施，通过生成模型。以前的方法依赖于正则化（熵/二次），这会引入偏差，或者依赖于输入凸神经网络，这对于大规模任务来说不够表达。相比之下，我们的算法不引入偏见，并允许使用任意的神经网络。此外，基于名人面孔数据集，我们构建了Ave，celeba！数据集，可用于通过使用生成模型（如FID）的标准度量对重心算法进行定量评估。
2023-01-09 cs.LG stat.ML
Wasserstein Generative Adversarial Networks for Online Test Generation for Cyber Physical Systems
Åbo Akademi University（奥博学术大学）
提出了一种基于Wasserstein生成对抗网络的在线测试生成算法WOGAN。WOGAN是一个通用的黑盒测试生成器，适用于任何具有用于确定失败测试的适应度函数的被测系统。作为概念证明，我们通过生成道路来评估WOGAN，使得汽车的车道辅助系统不能停留在指定车道上。我们发现，我们的算法具有竞争力的性能方面，以前公布的算法。
2022-05-23 cs.LG cs.SE
Generalized Sliced Wasserstein Distances
HRL Laboratories, LLC.（HRL实验室有限责任公司）；Télécom ParisTech（巴黎高等电信学院）；University of Virginia（弗吉尼亚大学）
Wasserstein距离及其变化，例如，切片-Wasserstein（SW）距离最近引起了机器学习社区的关注。SW距离被证明具有与Wasserstein距离相似的性质，同时计算起来要简单得多，因此被用于各种应用，包括生成建模和一般监督/无监督学习。本文首先阐明了SW距离与Radon变换之间的数学联系。然后，我们利用广义Radon变换定义一个新的家庭的概率测度的距离，我们称之为广义切片Wasserstein（GSW）距离。我们还表明，类似的SW距离，GSW距离可以扩展到最大GSW（最大GSW）的距离。然后，我们提供的条件下，GSW和max-GSW距离确实是距离。最后，我们比较了几个生成建模任务，包括SW流和SW自动编码器的建议距离的数值性能。
2019-02-01 cs.LG stat.ML
Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds
National University of Singapore（国立新加坡大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）；Agency for Science, Technology and Research (A ⋆ \star STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）
本文研究了在光滑流形上基于分数布朗运动的生成模型的内在Wasserstein速率，证明了在满足一定条件的流形上，变差保持的SGM估计器能达到特定的样本指数，且分析了分数近似在不同噪声 regime 下的表现。
2026-05-15 cs.LG stat.ML
How Well Do WGANs Estimate the Wasserstein Metric?
University of Copenhagen（哥本哈根大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
生成式建模通常被视为最小化数据分布和模型分布之间的相似性度量。最近，一个流行的选择的相似性度量一直是Wasserstein度量，它可以表示在Kantorovich对偶公式的最佳差异下的实际数据分布和模型假设的潜在功能的期望值。在实践中，该电位用神经网络来近似，并被称为神经网络。对偶约束的函数类的的近似执行，并从样本的期望估计。这给出了至少三个误差来源：近似的期望值和约束，期望值的估计，以及找到最优势所需的优化。在这项工作中，我们研究了如何以及方法，用于生成对抗网络近似Wasserstein度量，执行。我们认为，特别是，$c$ -变换公式，它消除了需要执行明确的约束。我们证明，$c$ -变换允许更准确地估计样本的真实Wasserstein度量，但令人惊讶的是，在生成设置中没有执行最佳。
2019-10-09 cs.LG stat.ML
Wasserstein Generative Regression
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
提出基于深度神经网络和生成学习框架的Wasserstein生成回归方法，同时估计回归函数与条件生成器，具备理论保证并在多变量预测及预测区间构建上优于现有方法。
2023-06-27 cs.LG stat.ML
Nonparametric Generative Modeling with Conditional Sliced-Wasserstein Flows
Sea AI Lab（Sea人工智能实验室）
本文提出条件切片- Wasserstein 流（CSWF）实现非参数条件生成，并引入图像归纳偏置，在条件和无条件任务上达到与深度参数模型相当的生成性能。
2023-07-25 cs.LG
Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space
HSE University（高等经济大学）
本研究提出一种基于Wasserstein距离的不确定性估计器，结合深度生成代理模型用于黑盒模拟器的无梯度优化，经测试其鲁棒性优于当前最优方法。
2024-11-03 cs.LG hep-ex physics.data-an
Continual Learning of Generative Models with Limited Data: From Wasserstein-1 Barycenter to Adaptive Coalescence
Arizona State University（亚利桑那州立大学）
对于数据和计算能力有限的网络边缘节点来说，学习生成模型具有挑战性。由于类似环境中的任务具有模型相似性，因此可以利用来自云或其他边缘节点的预训练生成模型。呼吁最佳运输理论适合Wasserstein-1生成对抗网络（WGAN），这项研究的目的是开发一个框架，系统地优化生成模型的持续学习使用本地数据在边缘节点，同时利用预训练生成模型的自适应合并。具体而言，通过将来自其他节点的知识转移视为以其预训练模型为中心的Wasserstein球，生成模型的持续学习被转换为约束优化问题，该问题被进一步简化为Wasserstein-1重心问题。提出了一种两阶段的方法：1）离线计算预训练模型的重心，并以位移插值为理论基础，通过“递归”WGAN结构寻找自适应重心; 2）离线计算的重心作为Meta，模型初始化用于持续学习，然后执行快速自适应以使用目标边缘节点处的局部样本来找到生成模型。最后，提出了一种基于权值和量化阈值联合优化的权值三值化方法，进一步压缩生成模型。
2021-01-22 cs.LG eess.IV
Anomaly detection with Wasserstein GAN
Airbus AI Research（空客人工智能研究院）；ISAE Supaero（法国高等航空航天学院）
生成对抗网络是一类生成算法，已被广泛用于生成最先进的样本。在本文中，我们研究了GAN对时间序列数据集进行异常检测。为了实现这一目标，参考书目的GAN和GAN用于异常检测的理论特性。一个Wasserstein GAN已被选择来学习正常数据分布的表示和一个堆叠的编码器与发生器执行异常检测。带有编码器的W-GAN似乎在MNIST数据集上产生了最先进的异常检测分数，我们研究了它在多变量时间序列上的使用。
2018-12-11 cs.LG stat.ML
A Unifying View of Variational Generative Wasserstein Flows
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, Palaiseau, France（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute、Palaiseau，法国）
本文提出生成式Wasserstein流（GWF）的统一理论框架，将多种现有生成模型视为f-散度目标的参数化JKO方案实例，并扩展至积分概率度量与最大均值差异，推导新算法并阐明与GAN的联系。
2026-05-29 cs.CV cs.LG
Wasserstein Convergence Guarantees for a General Class of Score-Based Generative Models
The Chinese University of Hong Kong（香港中文大学）；Florida State University（佛罗里达州立大学）
本文针对分数生成模型（SGMs），在准确分数估计和平滑对数凹数据分布假设下建立其2-Wasserstein距离收敛保证，推导不同前向过程SGMs的迭代复杂度上下界，实验验证理论并提出更优前向过程模型。
2025-02-15 cs.LG math.PR stat.ML
Wasserstein GANs Work Because They Fail (to Approximate the Wasserstein Distance)
Cambridge Image Analysis Group, Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学应用数学与理论物理系剑桥图像分析组）；Department of Mathematical Sciences, University of Bath（巴斯大学数学科学系）；University of Cambridge（剑桥大学）；University of Bath（巴斯大学）
Wasserstein GANs基于最小化真实分布和生成分布之间的瓦瑟斯坦距离的想法。我们对训练Wasserstein GANs的理论设置和现实之间的差异进行了深入的数学分析。在这项工作中，我们收集的理论和经验证据表明，WGAN的损失是没有意义的近似的瓦瑟斯坦距离。此外，我们认为Wasserstein距离甚至不是深度生成模型的理想损失函数，并得出结论，Wasserstein GANs的成功实际上可以归因于未能近似瓦瑟斯坦距离。
2021-10-05 cs.LG stat.ML
Wasserstein proximal operators describe score-based generative models and resolve memorization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of South Carolina, Columbia（南卡罗来纳大学哥伦比亚分校）
本文通过Wasserstein近端算子和平均场博弈揭示基于分数的生成模型的数学结构，提出可解释的核模型以提升训练效率并解决记忆效应，同时为流形学习和泛化提供新解释。
2024-02-09 cs.LG stat.ML
Improved Training of Wasserstein GANs
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Google Brain（谷歌大脑）
生成对抗网络（GANs）是强大的生成模型，但存在训练不稳定的问题。最近提出的Wasserstein GAN（WGAN）在GANs的稳定训练方面取得了进展，但有时仍然只能生成低质量的样本或无法收敛。我们发现，这些问题往往是由于在WGAN中使用权重裁剪来对评论家实施Lipschitz约束，这可能导致不期望的行为。我们提出了一种替代裁剪权重：惩罚相对于其输入的评论家的梯度范数。我们提出的方法比标准的WGAN性能更好，并且能够稳定地训练各种各样的GAN架构，几乎没有超参数调整，包括101层ResNet和离散数据上的语言模型。我们还在CIFAR-10和LSUN卧室上实现了高质量的世代。
2017-12-25 cs.LG stat.ML
Wasserstein Flow Matching: Generative modeling over families of distributions
Weill Cornell（威尔康奈尔医学院）；Center for Data Science, New York University（纽约大学数据科学中心）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Meta AI
针对标准流匹配忽略样本作为分布的固有几何结构的问题，提出Wasserstein流匹配（WFM），利用Wasserstein几何在分布族上实现高维分布生成，经理论验证有效，在多场景展现通用性并成功生成多种数据。
2025-05-17 cs.LG
Tessellated Wasserstein Auto-Encoders
非对抗生成模型，如变分自动编码器（VAE），Wasserstein自动编码器与最大平均差异（WAE-MMD），切片Wasserstein自动编码器（SWAE）是相对容易训练，并具有较少的模式崩溃相比，Wasserstein自动编码器与生成对抗网络（WAE-GAN）。然而，它们在近似潜在空间中的目标分布方面不是很准确，因为它们没有一个用于检测真假之间的微小差异的滤波器。为此，我们开发了一种称为Tessellated Wasserstein Auto-encoders（TWAE）的新型非对抗性框架，通过质心Voronoi细分（CVT）技术将目标分布的支持细分为给定数量的区域，并根据细分设计批量数据，而不是随机洗牌，以准确计算差异。理论上，我们证明了当镶嵌的样本数$n$和区域数$m$分别以$\mathcal{O}(\frac{1}{\sqrt{n}})$和$\mathcal{O}(\frac{1}{\sqrt{m}})$的速率变大时，对差异的估计误差减小。给定固定的$n$和$m$，使测量误差的上界最小化的必要条件是镶嵌是由CVT确定的镶嵌。TWAE对不同的非对抗性指标非常灵活，并且与VAE，WAE-MMD，SWAE相比，可以大大提高其在Fréchet起始距离（FID）方面的生成性能。此外，数值结果确实表明TWAE与对抗模型WAE-GAN竞争，证明了其强大的生成能力。
2021-03-04 cs.LG math.OC stat.ML
Quantum Wasserstein Generative Adversarial Networks
University of Maryland（马里兰大学）；University of Electronic Science and Technology of China（电子科技大学）
量子生成模型的研究动机很好，不仅因为它在量子机器学习和量子化学中的重要性，还因为它在近期量子机器上实现的前景。受先前对经典和量子生成模型的对抗训练研究的启发，我们提出了量子Wasserstein生成对抗网络（WGAN）的第一个设计，该设计已被证明可以提高量子生成模型对抗训练的鲁棒性和可扩展性，即使在有噪声的量子硬件上。具体来说，我们提出了量子数据之间的Wasserstein半度量的定义，它继承了经典对应物的一些关键理论优点。我们还演示了如何将量子Wasserstein半度量转化为可以在量子机器上有效实现的量子WGAN的具体设计。我们的数值研究，通过量子系统的经典模拟，显示了我们的量子WGAN比其他量子GAN提案更强大和可扩展的数值性能。作为一个令人惊讶的应用，我们的量子WGAN已被用来生成一个3量子位量子线路的~50门，很好地近似3量子位一维哈密顿模拟电路，需要超过10 k门使用标准技术。
2019-10-31 cs.LG quant-ph
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow
Sungkyunkwan University（成均馆大学）；Korea Institute for Advanced Study（韩国高等研究院）
针对单步生成模型奖励引导微调未被充分探索的问题，本文从最优传输视角研究Wasserstein梯度流，提出无需奖励梯度的新型奖励引导微调方法，在多数据集多奖励任务上实现了更优奖励对齐效果。
2026-09-01 cs.LG
Adversarial network training using higher-order moments in a modified Wasserstein distance
A-Alpha Bio（A-Alpha Bio公司）
生成对抗网络（GANs）已被用于在压缩的潜在空间中产生与示例数据非常相似的数据，该压缩的潜在空间接近于足以在原始向量空间中进行重构。Wasserstein度量已被用作二进制交叉熵的替代方案，产生具有更大模式覆盖行为的更稳定的GANs。在这里，一个泛化的瓦瑟斯坦距离，使用高阶矩比平均值，推导出。训练一个GAN与此高阶Wasserstein度量表现出优越的性能，即使在调整略高的计算成本。这示出了生成合成抗体序列。
2022-10-07 cs.LG stat.ML
Causality Learning With Wasserstein Generative Adversarial Networks
University of Strathclyde（思克莱德大学）
由于组合搜索空间，从数据中学习因果结构的传统方法面临重大挑战。最近，这个问题已经被制定成一个连续的优化框架与无环约束学习有向无环图（DAG）。这样的框架允许利用深度生成模型进行因果结构学习，以更好地捕捉数据样本分布和DAG之间的关系。然而，到目前为止，还没有研究在因果结构学习的背景下使用Wasserstein距离进行实验。我们的模型名为DAG-WGAN结合了Wasserstein的对抗损失与自动编码器架构中的非循环约束。它同时学习因果结构，同时提高其数据生成能力。我们比较了DAG-WGAN与其他不涉及Wasserstein度量的模型的性能，以确定其对因果结构学习的贡献。根据我们的实验，我们的模型在高基数数据下表现得更好。
2022-06-03 cs.AI cs.LG stat.ME
Generative Modeling under Non-Monotone MAR Missingness via Approximate Wasserstein Gradient Flows
Department of Mathematics（数学系）；Research Institute for Statistics and Information Science（统计与信息科学研究所）；University of Geneva（日内瓦大学）；University of Hamburg（汉堡大学）
本文提出FLOWGEM方法，通过最小化KL散度生成完整数据集，解决非单调MAR缺失问题，实验证明其在多种设置中表现优异。
2026-04-30 cs.LG stat.ML
One-Step Generative Modeling via Wasserstein Gradient Flows
Stanford University（斯坦福大学）；ByteDance（字节跳动）
提出W-Flow框架，通过Wasserstein梯度流将参考分布到目标分布的演化压缩为一步生成，结合Sinkhorn散度实现高效最优传输，在ImageNet 256×256上达到1.29 FID且采样速度提升约100倍。
2026-05-26 cs.CV cs.LG stat.ML
Parameter-Transferred Wasserstein Generative Adversarial Network (PT-WGAN) for Low-Dose PET Image Denoising
Northeastern University（东北大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
由于正电子发射断层扫描（PET）在临床实践中的广泛使用，需要最大限度地降低PET相关辐射剂量对患者的潜在风险。然而，随着辐射剂量的减少，所得到的图像可能遭受损害诊断性能的噪声和伪影。在本文中，我们提出了一个参数转移Wasserstein生成对抗网络（PT-WGAN）的低剂量PET图像去噪。本文的贡献是双重的：i）PT-WGAN框架被设计成在不损害结构细节的情况下对低剂量PET图像进行去噪，以及ii）基于迁移学习的任务特定初始化被开发成使用从预训练模型转移的可训练参数来训练PT-WGAN，这显著地提高了PT-WGAN的训练效率。临床数据的实验结果表明，该网络可以更有效地抑制图像噪声，同时保持更好的图像保真度比最近发表的国家的最先进的方法。我们在https://github.com/90n9-yu/PT-WGAN上提供我们的代码。
2020-08-26 cs.LG eess.IV stat.ML
Modeling EEG data distribution with a Wasserstein Generative Adversarial Network to predict RSVP Events
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
由于复杂的实验设置和长时间佩戴的舒适度降低，难以获得脑电图（EEG）数据。这对利用有限的EEG数据训练强大的深度学习模型提出了挑战。能够通过计算生成EEG数据可以解决这一限制。我们提出了一种新的Wasserstein生成对抗网络与梯度惩罚（WGAN-GP）合成EEG数据。该网络解决了模拟时间序列EEG数据的几个建模挑战，包括频率伪影和训练不稳定性。我们进一步将该网络扩展到一个类条件变体，该变体还包括一个分类分支来执行事件相关分类。我们训练所提出的网络生成一个和64个通道的数据，类似于在快速串行视觉呈现（RSVP）实验中经常看到的EEG信号，并证明了所生成的样本的有效性。我们还测试了主题内跨会话分类性能，用于分类RSVP目标事件，并表明类条件WGAN-GP可以在EEGNet上实现更好的事件分类性能。
2020-07-01 cs.LG eess.IV stat.AP
Wasserstein Generative Learning of Conditional Distribution
University of Iowa（爱荷华大学）；Wuhan University（武汉大学）
条件分布是描述响应与预测因子之间关系的基本量。我们提出了一个Wasserstein生成方法来学习条件分布。所提出的方法使用一个条件发生器来转换一个已知的分布到目标条件分布。通过匹配涉及条件生成器和目标联合分布的联合分布来估计条件生成器，使用Wasserstein距离作为这些联合分布的差异度量。我们建立了所提出的方法产生的条件抽样分布的非渐近误差界，并表明它是能够减轻维数灾难，假设数据分布是支持一个低维集。我们进行数值实验来验证所提出的方法，并说明其应用于条件样本生成，非参数条件密度估计，预测不确定性量化，双变量响应数据，图像重建和图像生成。
2021-12-19 cs.LG math.ST stat.TH
Robustness and Structure Preservation in Flow-Based Generative Models via Wasserstein Path-Space Divergences
Department of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Division of Applied Mathematics（应用数学系）；Brown University（布朗大学）
本文首次理论分析了分数基于生成模型在学习具有对称性的分布时的性能保障，并比较了数据增强与添加等价诱导偏差的效果。
2026-06-28 cs.LG math.PR stat.ML
Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基于得分的生成模型在图像生成和音频合成等各种应用中表现出显著的经验性能。然而，基于分数的扩散模型的理论理解仍然是不完整的。最近，Song等人表明，基于得分的生成模型的训练目标相当于最小化生成分布与数据分布的Kullback-Leibler散度。在这项工作中，我们表明，基于分数的模型也最小化它们之间的Wasserstein距离在适当的假设下的模型。具体地说，我们证明了Wasserstein距离的上界由目标函数的平方根乘法常数和一个固定的常数偏移。我们的证明是基于最优运输理论的一个新的应用，它可以独立的社会利益。我们的数值实验支持我们的研究结果。通过分析我们的上界，我们提供了一些技术，以获得更严格的上界。
2022-12-13 cs.AI cs.LG cs.NA
When Riemann flows with Wasserstein: Generative Modeling of Probability Distributions on Manifolds
Genentech Inc.（基因泰克公司）；Yale University（耶鲁大学）
针对非欧几里得域上的元分布生成问题，提出RWEFM框架，在黎曼流形的Wasserstein空间上利用最优传输速度回归训练，可生成单细胞和蛋白质构象，且适用于一般三角网格。
2026-09-23 cs.LG
Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks
School of Statistics and Management, Shanghai University of Finance and Economics（上海财经大学统计与管理学院）；Purdue University（普渡大学）
提出LWGAN框架融合Wasserstein自编码器与GAN，自适应学习数据流形内在维数，理论证明估计一致性并给出泛化误差上界，实验验证其能准确识别维数并生成高质量合成数据。
2024-09-27 cs.AI cs.LG stat.ME
Fine-Tuning Generative Models for Extreme Events via CVaR-Penalized Wasserstein Gradient Flows
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
该研究提出CVaR-GPA算法，通过CVaR惩罚的Wasserstein梯度流微调生成模型，无需先验尾部知识，在多类重尾分布及真实数据集上显著提升了生成模型的全局与尾部精度。
2026-10-05 cs.LG stat.ML
A Differential Equation Approach for Wasserstein GANs and Beyond
Department of Applied Mathematics, University of Colorado, Boulder, CO 80309, United States
本文通过 Wasserstein-1 损失的梯度流常微分方程提出 W1-FE 生成模型，证明其前向欧拉离散化收敛，并在持续训练下优于 WGAN，同时说明朴素引入持续训练会损害效果。
2025-02-04 cs.LG stat.ML
On Deep Generative Models for Approximation and Estimation of Distributions on Manifolds
Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）
生成网络在分布学习方面取得了巨大的经验性成功。许多现有的实验已经证明，生成网络可以从低维的易于样本分布生成高维复杂数据。然而，这一现象不能被现有的理论所证明。广泛持有的流形假设推测，真实世界的数据集，如自然图像和信号，表现出低维的几何结构。在本文中，我们考虑这样的低维数据结构，假设数据分布支持低维流形。我们证明了Wasserstein-1损失下生成网络的统计保证。我们表明，Wasserstein-1损失收敛到零，在一个快速的速度取决于内在的尺寸，而不是周围的数据尺寸。我们的理论利用了数据集中的低维几何结构，并证明了生成网络的实用能力。我们不需要对数据分布进行平滑假设，这在实践中是可取的。
2023-02-25 cs.LG stat.ML
Intrinsic Dimension Estimation Using Wasserstein Distances
MIT（麻省理工学院）
长期以来，人们一直认为在许多实际机器学习任务中遇到的高维数据具有低维结构，即，多重假设成立。因此，一个自然的问题是从有限样本中估计给定总体分布的内在维数。我们引入了一个新的估计的内在尺寸，并提供有限样本，非渐近保证。然后，我们应用我们的技术来获得生成对抗网络（GANs）的新样本复杂度界限，仅取决于数据的内在维度。
2022-05-31 cs.LG stat.ML
Geometrical Insights for Implicit Generative Modeling
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）；Inria（法国国家信息与自动化研究所）
隐式生成模型的学习算法可以优化各种衡量数据分布与隐式模型分布差异的标准，包括瓦瑟斯坦距离、能量距离和最大平均离散度标准。仔细观察由这些距离在概率测度空间上所引起的几何，就会发现有趣的差异。特别是，我们可以建立令人惊讶的近似全局收敛保证的$1$ -瓦瑟斯坦距离，即使当参数发生器有一个非凸参数化。
2019-08-21 cs.AI cs.LG stat.ML
Generative Path-Finding Method for Wasserstein Gradient Flow
City University of Hong Kong（香港城市大学）
本文提出GenWGP框架，通过生成流计算Wasserstein梯度流路径，利用几何动作功能和归一化流实现稳定训练，有效捕捉复杂动态。
2026-04-13 cs.LG math-ph math.MP
