Projected Riemannian Gradient Descent for the Bures-Wasserstein Barycenter: Dimension-Independent Linear Convergence at Unit Step Size
National University of Singapore（新加坡国立大学）
该研究针对Bures-Wasserstein重心计算的二分性问题，提出投影黎曼梯度下降算法，在单位步长下实现与维度无关的线性收敛，多项式改进了迭代复杂度，还将该保证扩展到了不变矩阵投影场景。
2026-09-04 cs.LG math.OC quant-ph
Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance
Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；ENS Cachan（卡尚高等师范学校）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；University of Oxford（牛津大学）
最小期望距离估计（MEDE）算法已被广泛用于具有难处理的似然函数的概率模型，并且由于其在隐式生成建模（例如Wasserstein生成对抗网络，Wasserstein自编码器）中的使用，它们已变得越来越流行。从计算最优传输中产生的切片-瓦瑟斯坦（SW）距离由于其简单性和计算优势已成为MEDE中的流行选择。虽然有几项研究已经报道了经验的成功与SW生成建模，这种估计的理论属性尚未建立。在这项研究中，我们调查的渐近性质的估计，通过最小化SW。我们首先表明，在SW收敛意味着弱收敛的概率测度在一般Wasserstein空间。然后，我们证明了通过最小化SW（以及SW的近似版本）获得的估计量是渐近一致的。最后我们证明了一个中心极限定理，它刻画了估计量的渐近分布，并建立了$\sqrt{n}$的收敛速度，其中$n$表示观测数据点的个数.我们说明了我们的理论在合成数据和神经网络上的有效性。
2020-03-24 cs.LG stat.ML
A gradual, semi-discrete approach to generative network training via explicit Wasserstein minimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
本文提供了一个简单的过程来拟合生成网络的目标分布，目标是一个小的Wasserstein距离（或其他最佳的运输成本）。该方法基于两个原则：（a）如果网络的源随机性是连续分布（“半离散”设置），则Wasserstein距离由确定性最优传输映射实现;（b）给定生成器网络和目标分布之间的最优传输映射，可以通过所生成的数据和所映射的目标点之间的回归来减小Wasserstein距离。因此，这里的过程交替这两个步骤，形成最佳传输并对其进行回归，逐渐将发电机网络调整到目标分布。在数学上，这种方法被证明是最小化的Wasserstein距离的经验目标分布，也是它的基本人口对应。从经验上讲，MNIST和Thin-8数据的训练和测试集证明了良好的性能。本文最后讨论了Wasserstein距离对某些任务的不适用性，正如在先前的工作中所确定的那样[Arora等人，2017，Huang等人，2017年]。
2019-06-11 cs.LG stat.ML
On the Reliability of Generative Augmentation: A Wasserstein-Based Theoretical and Empirical Study
本研究提出基于Wasserstein的条件生成式数据增强统计框架，推导泛化界，经实验发现增强可靠性由分布近似误差决定，为合成数据质量评估提供了新基础。
2026-09-02 cs.LG stat.ML
Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）；Université de Lille（里尔大学）
本文扩展 Wasserstein PAC-Bayes 理论，用 Wasserstein 距离替代 KL 散度建立新泛化界，并利用优化性质为 Bures-Wasserstein SGD 提供泛化保证，从而将优化保证与泛化能力联系起来。
2023-05-30 cs.LG math.OC stat.ML
Wasserstein-2 Generative Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
我们提出了一种新的端到端的非极小极大算法训练最佳的传输映射的二次成本（Wasserstein-2距离）。该算法使用输入凸神经网络和循环一致性正则化来近似Wasserstein-2距离。与流行的熵和二次正则化相反，循环一致性不会引入偏差，并且可以很好地扩展到高维。从理论上，我们估计的生成映射适合我们的算法的性质。从实际的一面，我们评估我们的算法在广泛的任务：图像到图像的颜色转移，潜在的空间最佳运输，图像到图像的风格转移，和领域自适应。
2020-12-10 cs.CV cs.LG stat.ML
Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold
University of Helsinki（赫尔辛基大学）
针对Bures-Wasserstein流形上变分推断中蒙特卡洛估计高方差问题，提出基于控制变量的方差缩减估计器，理论证明方差更小并改进优化界限，实验实现数量级性能提升。
2025-02-28 cs.LG stat.ML
Test of partial effects for Frechet regression on Bures-Wasserstein manifolds
University of Pennsylvania（宾夕法尼亚大学）
本研究针对响应位于Bures-Wasserstein流形的Fréchet回归提出偏效应检验，建立其渐近性质并验证有限样本性能，将其应用于分析年龄对单细胞数据基因共表达结构的影响。
2026-09-01 cs.LG stat.ML
Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过结合Wasserstein-1与Wasserstein-2近端算子正则化f-散度，构建适定的连续时间生成流，以稳健学习低维流形上的分布，并通过对抗训练实现高维图像生成。
2024-07-16 cs.LG stat.CO stat.ME
Sliced-Wasserstein Flows: Nonparametric Generative Modeling via Optimal Transport and Diffusions
Inria（法国国家信息与自动化研究所）；LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎-萨克雷大学巴黎高等电信学院信息处理与通信实验室）；Institute of Mathematics, Polish Academy of Sciences（波兰科学院数学研究所）
通过建立在最近的理论，建立隐式生成建模（IGM）和最佳运输之间的联系，在这项研究中，我们提出了一种新的无参数算法，用于学习复杂数据集的底层分布和采样。所提出的算法是基于一个功能优化问题，其目的是找到一个措施，尽可能接近的数据分布，也有足够的表达生成建模的目的。我们将问题表述为概率测度空间中的梯度流。梯度流和随机微分方程之间的连接，让我们开发一个计算效率高的算法来解决优化问题。我们提供了正式的理论分析，我们证明了有限的时间误差保证所提出的算法。据我们所知，该算法是第一个非参数IGM算法与明确的理论保证。我们的实验结果支持我们的理论，并表明我们的算法是能够成功地捕捉不同类型的数据分布的结构。
2019-06-11 cs.LG stat.ML
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文扩展PAC-Bayesian理论至生成模型，基于Wasserstein距离和全变差距离推导泛化界，为Wasserstein GAN和能量基GAN提供新训练目标，并通过实验验证非空界。
2023-11-13 cs.AI cs.LG stat.ML
Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow
Sungkyunkwan University（成均馆大学）；Korea Institute for Advanced Study（韩国高等研究院）
针对单步生成模型奖励引导微调未被充分探索的问题，本文从最优传输视角研究Wasserstein梯度流，提出无需奖励梯度的新型奖励引导微调方法，在多数据集多奖励任务上实现了更优奖励对齐效果。
2026-09-01 cs.LG
Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）
Wasserstein Barycenter是一种原则性的方法来表示给定的一组概率分布的加权平均值，利用由最佳运输引起的几何形状。针对机器学习中的高维应用，提出了一种新的可扩展的Wasserstein重心近似算法。我们提出的算法是基于Kantorovich对偶公式的Wasserstein-2距离以及最近的神经网络架构，输入凸神经网络，这是已知的参数化凸函数。我们的方法的显着特点是：i）它只需要来自边缘分布的样本; ii）与现有方法不同，它用生成模型表示重心，因此可以从重心生成无限个样本，而无需查询边缘分布; iii）它在一个边缘情况下类似于生成对抗模型。我们证明了我们的算法的有效性，通过比较它与国家的最先进的方法在多个实验。
2021-11-27 cs.LG math.OC stat.ML
Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions
Stanford University（斯坦福大学）
生成对抗网络（GANs）通常用于对复杂的数据分布进行建模。GANs的生成器和鉴别器通常都是由神经网络建模的，这就提出了一个非透明的优化问题，该问题在生成器和鉴别器上分别是非凸和非凹的。这类网络通常用梯度下降-上升（GDA）进行启发式优化，但目前还不清楚优化问题是否包含任何鞍点，或者探试法是否能在实践中找到它们。在这项工作中，我们通过凸对偶的镜头分析了Wasserstein GANs与双层神经网络鉴别器的训练，并针对各种生成器揭示了Wasserstein GANs可以用凸优化方法精确求解的条件，或者可以表示为凹凸游戏。使用这种凸对偶解释，我们进一步证明了不同的激活函数的影响。我们的观察结果进行了验证，数值结果表明凸解释的力量，与对应于CelebA图像生成的线性生成器和二次激活鉴别器的凸架构的渐进训练中的应用。我们的实验代码可以在https://github.com/ardasahiner/ProCoGAN上找到。
2022-03-21 cs.CV cs.LG eess.IV
Scalable Wasserstein Gradient Flow for Generative Modeling through Unbalanced Optimal Transport
Seoul National University（首尔大学）；Korea Institute for Advanced Study（韩国高等研究院）
本文提出可扩展的WGF生成模型S-JKO，基于JKO步骤与非平衡最优传输的等价性推导半对偶形式，将训练复杂度从O(K^2)降至O(K)，在图像生成基准上取得与最先进模型可比的性能。
2024-06-03 cs.CV cs.LG
On the Regularity and Generalization of One-Step Wasserstein-guided Generative Models for PDE-Induced Measures
Department of Mathematics, The University of Hong Kong（香港大学数学系）；Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学系）；Department of Mathematics, University of California at Irvine（加州大学 Irvine 分校数学系）
本文研究了一步Wasserstein引导生成模型在处理PDE诱导概率度量时的正则性和泛化性，通过理论框架证明了运输映射的正则性和生成模型的泛化性质，并通过实验验证了理论结果。
2026-05-20 cs.AI cs.LG cs.NA
On Barycenter Computation: Semi-Unbalanced Optimal Transport-based Method on Gaussians
The University of Texas, Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
本文针对高斯分布提出基于半不平衡最优传输的鲁棒重心方法，在 Bures-Wasserstein 流形上开发了两种梯度下降优化算法，证明了其理论收敛性，并通过实验验证了优于常规 Wasserstein 重心的表现。
2024-10-10 cs.LG
Wasserstein Gradient Flows for Optimizing Gaussian Mixture Policies
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
提出将基于GMMs的机器人策略优化转化为Wasserstein梯度流问题，利用$L^2$-Wasserstein距离和Bures-Wasserstein流形约束更新，在避障等任务中提升了成功率与稳定性。
2023-05-17 cs.LG cs.RO
Wasserstein GAN Can Perform PCA
Korea Advanced Institute of Science and Technology（韩国科学技术院）
生成对抗网络（GANs）已经成为一个强大的框架，可以学习各种领域中出现的生成模型。虽然最近有许多具有不同优化指标的GAN架构的开发激增，但我们仍然缺乏对这种GANs离最优性有多远的理解。在本文中，我们在简单的线性生成器高斯数据设置下对GANs的理论理解方面取得了进展，其中已知最佳最大似然生成器可以执行主成分分析（PCA）。我们发现，原来的GAN由Goodfellow et.无法恢复最佳PCA解决方案。另一方面，我们表明，Wasserstein GAN可以在样本大小的限制下接近PCA的解决方案，因此它可以作为一个最佳的GAN架构，产生最佳的发电机的基础，为广泛的数据设置。
2019-08-12 cs.IT cs.LG math.IT
Optimal 1-Wasserstein Distance for WGANs
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；Criteo AI Lab（Criteo人工智能实验室）；Univ Rennes（雷恩大学）；Sorbonne Université（索邦大学）
该研究在有限样本与渐近场景下分析潜空间为单变量的WGAN，明确其最优性与样本点欧氏距离最小化路径的关联，推导收敛条件，并补充半离散最优传输理论新结果。
2023-10-05 cs.LG math.ST stat.ML
Wasserstein F-tests for Fréchet regression on Bures-Wasserstein manifolds
本文针对Bures-Wasserstein流形上的Fréchet回归问题，提出Wasserstein F检验方法，推导了估计量收敛速率与检验统计量渐近性质，通过模拟和单细胞基因表达数据验证了方法有效性。
2024-09-15 stat.ME stat.ML
Convergence of flow-based generative models via proximal gradient descent in Wasserstein space
Department of Mathematics, Duke University（杜克大学数学系）；Department of Physics and Department of Chemistry, Duke University（杜克大学物理系和化学系）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
本文提出 JKO flow 模型，通过在归一化流中实现 JKO 方案，并利用 Wasserstein 空间近端梯度下降的指数收敛性，证明了其生成数据分布的 KL 误差收敛保证。
2024-07-03 cs.LG math.OC math.ST
Symmetric Wasserstein Autoencoders
National Research Council Canada（加拿大国家研究委员会）
利用最优传输的框架，我们引入了一个新的生成自动编码器家族，具有可学习的先验知识，称为对称Wasserstein自动编码器（SWAE）。我们建议对称匹配的联合分布的观测数据和潜在的表示引起的编码器和解码器。由此产生的算法共同优化的数据和潜在空间的建模损失与数据空间中的损失，导致去噪效果。通过对数据和潜在表示的对称处理，该算法隐式地保持了数据在潜在空间中的局部结构。为了进一步提高潜在表示的质量，我们在目标中加入了重建损失，这对生成和重建都有很大的好处。我们的经验表明，优越的性能SWAE的国家的最先进的生成自动编码器的分类，重建和生成。
2021-06-24 cs.AI cs.CV cs.LG
Learning with symmetric positive definite matrices via generalized Bures-Wasserstein geometry
针对SPD矩阵学习的几何框架需求，本文提出由对称正定矩阵M参数化的广义Bures-Wasserstein（GBW）几何，推导其微分几何性质，并通过实验验证其性能优于原始BW几何，可适配多种机器学习应用。
2023-06-08 math.DG math.FA math.OC
Robust Chance-Constrained Optimization using a Continuous Parameter Space Wasserstein-2 Ambiguity Set of Gaussian Mixtures
Northwestern University（西北大学）
研究分布鲁棒线性机会约束问题，用高斯混合模型建模不确定性。提出基于连续参数空间Wasserstein-2模糊集的方法，证明强对偶性并推导半无限重新表述，开发算法，通过案例研究展示其在实现可靠性目标及引起能量分配结构变化方面的价值。
2026-08-31 cs.LG math.OC
Bures-Wasserstein Means of Graphs
EPFL（洛桑联邦理工学院）
本文提出在平滑图信号分布嵌入空间中以 Wasserstein 度量定义并计算图的 Bures-Wasserstein 均值，证明其存在唯一性，且在聚类、脑网络分类和多层图节点分类中优于基线。
2024-03-01 cs.LG cs.SI eess.SP
Fréchet Regression on the Bures-Wasserstein Manifold
Rice University（莱斯大学）
本文研究了在正定矩阵布雷-瓦瑟斯坦流形上条件均值的存在性和计算，提出了存在性条件并设计了无投影算法，验证了在生物网络和大规模扩散张量成像中的有效性。
2026-11-05 math.OC stat.ML
Bures-Wasserstein Flow Matching for Graph Generation
University College London（伦敦大学学院）；University of Oxford（牛津大学）
本文提出BWFlow框架，通过Bures-Wasserstein最优传输设计平滑概率路径，提升图生成的训练和采样效果。
2026-03-05 cs.AI cs.LG stat.ML
The Bures Metric for Generative Adversarial Networks
KU Leuven（鲁汶大学）；Univ. Lille, CNRS, Centrale Lille UMR 9189 CRIStAL（里尔大学，国家科学研究中心，中央里尔大学 UMR 9189 CRIStAL）
生成对抗网络（GANs）是产生高质量样本的高性能生成方法。然而，在某些情况下，GANs的训练可能导致模式坍塌或模式丢弃，即生成模型不能从整个概率分布中采样。为了解决这个问题，我们使用最后一层的特征映射来研究真实和虚假数据的分布。在训练过程中，我们建议通过使用特征空间中协方差矩阵之间的Bures距离来匹配真实批次多样性和假批次多样性。Bures距离的计算可以方便地在特征空间或核空间中分别根据协方差和核矩阵进行。我们观察到，多样性匹配大大减少了模式坍塌，并对样品质量有积极的影响。在实践方面，提出了一个非常简单的训练过程，不需要额外的超参数调整，并在几个数据集上进行了评估。
2021-04-27 cs.LG eess.IV stat.ML
On the estimation of the Wasserstein distance in generative models
Graz University of Technology（格拉茨工业大学）；Austrian Institute of Technology（奥地利技术研究所）
生成对抗网络（GANs）已被用于对基于样本的数据集的潜在概率分布进行建模。GANs因训练困难和对任意超参数的依赖而闻名。GAN文献中的一个最近的改进是使用Wasserstein距离作为损失函数，从而导致Wasserstein生成对抗网络（WGAN）。以此为基础，我们展示了各种方法，其中Wasserstein距离估计生成建模的任务。此外，在训练这样的模型的秘密显示和总结在这项工作的最后。在适用的情况下，我们将当前的工作扩展到不同的算法，不同的成本函数和不同的正则化方案，以改进生成模型。
2019-10-02 cs.LG stat.ML
Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC（HRL实验室有限责任公司）；University of Virginia（弗吉尼亚大学）
在本文中，我们研究通过自动编码器生成建模，同时使用优雅的几何性质的最佳运输（OT）问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器（SWAE），这是一种生成模型，使人们能够将潜在空间的分布塑造成任何可采样的概率分布，而无需训练对抗网络或定义分布的封闭形式。简而言之，我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明，所提出的配方有一个有效的数值解，提供了类似的功能，Wasserstein自动编码器（WAE）和变分自编码器（VAE），同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research（谷歌研究院）
我们研究生成对抗网络（GANs）中的欠拟合和过拟合，使用生成器看不到的鉴别器来测量泛化。我们发现，模型的容量的控制器有一个显着的影响，对发电机的模型质量，和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反，我们发现，相对于CIFAR10，CIFAR100和CelebA，具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
DAG-WGAN: Causal Structure Learning With Wasserstein Generative Adversarial Networks
University of Strathclyde（思克莱德大学）
组合搜索空间对从数据中学习因果关系提出了重大挑战。最近，该问题已被公式化为具有非循环约束的连续优化框架，允许探索深度生成模型，以更好地捕获数据样本分布，并支持发现忠实表示底层数据分布的有向非循环图（DAG）。然而，到目前为止，还没有研究通过生成模型研究使用Wasserstein距离进行因果结构学习。本文提出了一种新的模型DAG-WGAN，它结合了基于Wasserstein的对抗性损失，自动编码器架构以及非循环约束。DAG-WGAN同时学习因果结构，并通过利用Wasserstein距离度量的优势来提高其数据生成能力。与其他模型相比，该模型具有很好的可扩展性，可以处理连续和离散数据。我们的实验已经评估了DAG-WGAN对国家的最先进的，并证明了其良好的性能。
2022-04-01 cs.LG stat.ML
Amortized Projection Optimization for Sliced Wasserstein Generative Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在应用切片瓦瑟斯坦距离的过程中，寻找信息丰富的投影方向是一个重要的任务。然而，找到这些方向通常需要在投影方向的空间上的迭代优化过程，这在计算上是昂贵的。此外，计算问题在深度学习应用中甚至更加严重，其中计算两个小批量概率测度之间的距离被重复多次。这种嵌套循环一直是主要的挑战之一，它阻止了在实践中使用基于良好投影的切片瓦瑟斯坦距离。为了解决这一挑战，我们建议利用学习优化技术或摊销优化来预测任何给定的两个小批量概率测度的信息方向。据我们所知，这是第一个工作，桥梁摊销优化和切片Wasserstein生成模型。特别是，我们推导出线性摊销模型，广义线性摊销模型，和非线性摊销模型，这是对应于三种类型的新的小批量损失，命名为摊销切片Wasserstein。我们在标准基准数据集上的深度生成建模中展示了所提出的切片损失的良好性能。
2022-09-23 cs.LG stat.ML
Generative Modeling by Minimizing the Wasserstein-2 Loss
Department of Applied Mathematics, University of Colorado（应用数学系，科罗拉多大学）
本文提出通过分布依赖的常微分方程最小化Wasserstein-2损失来构建生成模型，证明其时间边际律构成Wasserstein损失的梯度流，并通过欧拉方案实现收敛，实验表明算法在低维和高维情况下优于Wasserstein生成对抗网络。
2026-08-27 cs.LG stat.ML
Wasserstein-Wasserstein Auto-Encoders
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
为了解决学习深度生成模型的挑战（例如，针对变分自编码器的模糊性和训练生成对抗网络的不稳定性，提出了一种新的深度生成模型--Wasserstein-Wasserstein自编码器（WWAE）。我们制定WWAE作为目标分布和生成的分布之间的惩罚最优传输的最小化。通过注意到潜在码Z的先验$P_Z$和聚合后验$Q_Z$都可以被高斯很好地捕获，所提出的WWAE在优化过程中利用了两个高斯的平方Wasserstein-2距离的封闭形式。因此，WWAE不受采样负担的影响，并且通过利用重新参数化技巧而具有计算效率。在包括MNIST、fashion-MNIST和CelebA在内的多个基准数据集上评估的数值结果表明，WWAE比VAE学习更好的潜在结构，并且生成比VAE和GANs更好的视觉质量和更高的FID分数的样本。
2019-02-25 cs.LG stat.ML
Approximating Probability Distributions by using Wasserstein Generative Adversarial Networks
The University of Hong Kong（香港大学）
本文研究了以GroupSort神经网络为判别器的WGANs，建立了生成分布与目标分布间Wasserstein距离的量化泛化界限，揭示了判别器容量不足时高容量生成器反而表现更差的现象，并通过Swiss roll和MNIST数据集验证了理论。
2023-06-30 cs.LG stat.ML
Inferential Wasserstein Generative Adversarial Networks
Purdue University（普渡大学）
生成式对抗网络（GANs）对许多问题和应用都有影响，但存在训练不稳定的问题。Wasserstein GAN（WGAN）利用瓦瑟斯坦距离来避免GANs的最小最大两人训练中的警告，但具有其他缺陷，例如模式崩溃和缺乏检测收敛的度量。我们介绍了一种新的推理Wasserstein GAN（iW GAN）模型，这是一个原则性的框架融合自动编码器和WGAN。iWGAN模型通过迭代原始对偶优化过程联合学习编码器网络和生成器网络。编码器网络将观察到的样本映射到潜在空间，生成器网络将样本从潜在空间映射到数据空间。我们建立的推广误差界的iWGAN理论证明其性能。在极大似然估计的框架下，我们进一步提供了一个严格的概率解释我们的模型。iWGAN具有明确的停止标准，与其他自动编码器GANs相比具有许多优势。实验结果表明，该方法大大减轻了模式崩溃的症状，加快了收敛速度，并能对每个样本进行质量检验。我们通过获得基准数据集的竞争力和稳定的性能来说明iWGAN的能力。
2021-09-13 cs.LG stat.ML
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
缺失数据是最常见的预处理问题之一。在本文中，我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器（VAEAC）和生成对抗插补网络（GAIN）作为生成模型的代表进行了研究，而去噪自动编码器（DAE）则代表了非生成模型。该模型的性能进行了比较，传统的方法k-最近邻（k-NN）和多重插补链式方程（MICE）。此外，我们引入WGAIN作为GAIN的Wasserstein修正，当缺失度小于或等于30%时，WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验，这些数据集具有连续特征，其中不同百分比的特征（从10%到50%不等）缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明，GAIN，特别是WGAIN是最好的插补，无论条件。一般来说，它们的表现优于MICE，k-NN，DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Wasserstein Learning of Deep Generative Point Process Models
Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）；Georgia State University（佐治亚州立大学）；IBM
点过程由于其良好的数学基础和对各种现实世界现象的建模能力，在异步序列数据建模中变得非常流行。目前，它们通常通过强度函数来表征，这限制了模型的表达能力，这是由于在实践中使用的参数形式上的不切实际的假设。此外，它们是通过最大似然方法，这是容易失败的多模态分布的序列。在本文中，我们提出了一个强度自由的方法点过程建模，将滋扰过程的目标之一。此外，我们训练模型使用点过程之间的似然无杠杆Wasserstein距离。各种合成和真实世界的数据实验证实了所提出的点过程模型比传统的优越性。
2017-05-23 cs.LG stat.ML
Rethinking Multidimensional Discriminator Output for Generative Adversarial Networks
Salesforce（赛富时）；Amazon（亚马逊）；Florida State University（佛罗里达州立大学）
生成对抗网络的多维批评（critic）输出的研究在文献中尚未充分探索。在本文中，我们推广了Wasserstein GAN框架，利用多维评论家输出，并探讨其性质。我们还引入了一个平方根速度变换（SRVT）块，有利于在多维设置中进行训练。性质的证明基于我们提出的最大p-中心差异，其由p-瓦瑟斯坦距离限制，并且适合具有多维评论家输出n的Wasserstein GAN框架。特别是当n = 1和p = 1时，所提出的差异等于1-瓦瑟斯坦距离。理论分析和实证结果表明，高维批评输出在区分真假分布方面具有优势，有利于结果的快速收敛和多样性。
2022-07-14 cs.LG stat.ML
Generalizing Point Embeddings using the Wasserstein Space of Elliptical Distributions
CREST, ENSAE（法国国家信息与自动化研究所（INRIA）巴黎中央理工学院（ENSAE）的CREST（法国国家统计与经济研究中心））；Google Brain（谷歌大脑）
在低维空间中嵌入复杂对象作为向量是机器学习中的一个长期问题。在这项工作中，我们提出了一种扩展的方法，它包括在嵌入对象的椭圆概率分布，即分布的密度有椭圆水平集。我们赋予这些措施与2-Wasserstein度量，有两个重要的好处：（i）对于这样的措施，平方2-Wasserstein度量有一个封闭的形式，等于加权和的平方欧几里德距离之间的平均值和协方差阵之间的平方Bures度量。后者是半正定矩阵之间的黎曼度量，它在这种矩阵的适当因子表示上是欧几里得的，这在这些矩阵之间的整个测地线上是有效的。(ii)2-瓦瑟斯坦距离在比较Dirac时可以归结为通常的欧几里得度量，因此提供了一个自然的框架来扩展点嵌入。我们表明，由于这些原因，Wasserstein椭圆嵌入是更直观的和产量的工具，更好地表现数值比高斯嵌入的替代选择与库尔贝克-莱布勒散度。特别是，与以前基于KL几何的工作不同，我们学习了不一定是对角的椭圆分布。我们展示了椭圆嵌入的优势，使用它们的可视化，计算嵌入的话，并反映蕴涵或上位。
2019-02-17 cs.LG stat.ML
Primal-Dual Wasserstein GAN
我们介绍了原始-对偶Wasserstein GAN，一种新的学习算法，用于建立基于原始和对偶公式的最优运输（OT）问题的数据分布的潜变量模型。我们利用原始公式来学习灵活的推理机制，并在数据分布和生成模型之间创建最佳近似耦合。为了学习生成模型，我们使用的对偶制定和训练的解码器通过一个批评网络，这是正则化的近似耦合从原始的。与以前的方法，违反各种属性的最佳评论家，我们正规化的标准和方向的梯度的评论家功能。我们的模型在模式覆盖和潜在结构方面共享了自动编码模型的许多理想属性，同时避免了它们不理想的平均属性，例如在对真实图像建模时无法捕获清晰的视觉特征。我们比较我们的算法与其他几个生成建模技术，利用瓦瑟斯坦距离的弗雷歇初始距离（FID）和初始分数（IS）。
2018-05-24 cs.LG stat.ML
Learning to Optimize via Wasserstein Deep Inverse Optimal Control
Georgia Institute of Technology（佐治亚理工学院）
我们研究社会科学中的逆最优控制问题：我们的目标是从观察到的时间行为中学习用户的真实成本函数。与传统的现象学工作，旨在学习一个生成模型，以适应行为数据，我们提出了一种新的变分原理和对待用户作为一个强化学习算法，其作用是通过优化他的成本函数。我们首先提出了一个统一的KL框架，推广现有的最大熵逆最优控制方法。我们进一步提出了一个两步Wasserstein逆最优控制框架。在第一步中，我们用一个新的质量输运方程计算最佳测量。在第二步中，我们将学习问题表述为生成对抗网络。在两个现实世界的实验-推荐系统和社交网络，我们表明，我们的框架获得显着的性能增益现有的逆最优控制方法和点过程为基础的生成模型。
2018-05-22 cs.LG stat.ML
Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
(q,p)-Wasserstein GANs: Comparing Ground Metrics for Wasserstein GANs
University of Copenhagen（哥本哈根大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生成对抗网络（GANs）作为生成模型在计算机视觉和机器学习中产生了重大影响。Wasserstein GANs（WGANs）通过最小化模型和数据分布之间的$1$ -Wasserstein距离作为目标函数，将最优传输（OT）理论引入到GANs中。从那时起，WGAN由于其稳定性和理论框架而获得了相当大的兴趣。我们通过引入$(q,p)$ -Wasserstein GANs家族来贡献WGAN文献，该家族允许在GAN学习过程中使用更通用的$p$ -Wasserstein度量用于$p\geq 1$。虽然该方法能够将任何成本函数作为地面度量，我们专注于研究$q\geq 1$的$l^q$指标。这是一个值得注意的概括，因为在WGAN文献中，OT距离通常基于$l^2$地面度量。我们证明了不同的$p$ -Wasserstein距离的效果在两个玩具的例子。此外，我们通过比较MNIST和CIFAR-10数据集上不同的$(q,p)$对，表明地面度量确实有差异。我们的实验表明，改变地面度量和$p$可以显着改善常见的$(q,p) = (2,1)$情况。
2019-02-10 cs.LG stat.ML
Wasserstein Iterative Networks for Barycenter Estimation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）；Massachusetts Institute of Technology（麻省理工学院）
Wasserstein重心已经变得流行，因为它们能够以几何意义的方式表示概率度量的平均值。在本文中，我们提出了一个算法来近似的Wasserstein-2重心的连续措施，通过生成模型。以前的方法依赖于正则化（熵/二次），这会引入偏差，或者依赖于输入凸神经网络，这对于大规模任务来说不够表达。相比之下，我们的算法不引入偏见，并允许使用任意的神经网络。此外，基于名人面孔数据集，我们构建了Ave，celeba！数据集，可用于通过使用生成模型（如FID）的标准度量对重心算法进行定量评估。
2023-01-09 cs.LG stat.ML
Generalized Sliced Wasserstein Distances
HRL Laboratories, LLC.（HRL实验室有限责任公司）；Télécom ParisTech（巴黎高等电信学院）；University of Virginia（弗吉尼亚大学）
Wasserstein距离及其变化，例如，切片-Wasserstein（SW）距离最近引起了机器学习社区的关注。SW距离被证明具有与Wasserstein距离相似的性质，同时计算起来要简单得多，因此被用于各种应用，包括生成建模和一般监督/无监督学习。本文首先阐明了SW距离与Radon变换之间的数学联系。然后，我们利用广义Radon变换定义一个新的家庭的概率测度的距离，我们称之为广义切片Wasserstein（GSW）距离。我们还表明，类似的SW距离，GSW距离可以扩展到最大GSW（最大GSW）的距离。然后，我们提供的条件下，GSW和max-GSW距离确实是距离。最后，我们比较了几个生成建模任务，包括SW流和SW自动编码器的建议距离的数值性能。
2019-02-01 cs.LG stat.ML
Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds
National University of Singapore（国立新加坡大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）；Agency for Science, Technology and Research (A ⋆ \star STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）
本文研究了在光滑流形上基于分数布朗运动的生成模型的内在Wasserstein速率，证明了在满足一定条件的流形上，变差保持的SGM估计器能达到特定的样本指数，且分析了分数近似在不同噪声 regime 下的表现。
2026-05-15 cs.LG stat.ML
How Well Do WGANs Estimate the Wasserstein Metric?
University of Copenhagen（哥本哈根大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
生成式建模通常被视为最小化数据分布和模型分布之间的相似性度量。最近，一个流行的选择的相似性度量一直是Wasserstein度量，它可以表示在Kantorovich对偶公式的最佳差异下的实际数据分布和模型假设的潜在功能的期望值。在实践中，该电位用神经网络来近似，并被称为神经网络。对偶约束的函数类的的近似执行，并从样本的期望估计。这给出了至少三个误差来源：近似的期望值和约束，期望值的估计，以及找到最优势所需的优化。在这项工作中，我们研究了如何以及方法，用于生成对抗网络近似Wasserstein度量，执行。我们认为，特别是，$c$ -变换公式，它消除了需要执行明确的约束。我们证明，$c$ -变换允许更准确地估计样本的真实Wasserstein度量，但令人惊讶的是，在生成设置中没有执行最佳。
2019-10-09 cs.LG stat.ML
Wasserstein Generative Regression
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
提出基于深度神经网络和生成学习框架的Wasserstein生成回归方法，同时估计回归函数与条件生成器，具备理论保证并在多变量预测及预测区间构建上优于现有方法。
2023-06-27 cs.LG stat.ML
Distributional Sliced-Wasserstein and Applications to Generative Modeling
VinAI Research（VinAI研究院）；University of Texas, Austin（得克萨斯大学奥斯汀分校）
切片-瓦瑟斯坦距离（SW）及其变体，最大切片-瓦瑟斯坦距离（Max-SW），由于其快速计算和可扩展性，即使概率测度位于非常高维的空间中，近年来也得到了广泛的应用。然而，SW需要许多不必要的投影样本来近似它的值，而Max-SW只使用最重要的投影，这忽略了其他有用的方向的信息。为了解决这些问题，我们提出了一种新的距离，命名为分布切片-瓦瑟斯坦距离（DSW），它找到了一个最佳分布的投影，可以探索不同的投影方向和投影本身的信息之间的平衡。我们表明，DSW是一个推广的Max-SW，它可以有效地计算通过搜索的最佳推进措施超过一组概率测度在单位球满足一定的正则化约束，有利于不同的方向。最后，我们用大规模数据集进行了大量的实验，以证明所提出的距离在生成式建模应用中比以前基于切片的距离具有更好的性能。
2020-10-04 cs.LG stat.CO stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
Anomaly detection with Wasserstein GAN
Airbus AI Research（空客人工智能研究院）；ISAE Supaero（法国高等航空航天学院）
生成对抗网络是一类生成算法，已被广泛用于生成最先进的样本。在本文中，我们研究了GAN对时间序列数据集进行异常检测。为了实现这一目标，参考书目的GAN和GAN用于异常检测的理论特性。一个Wasserstein GAN已被选择来学习正常数据分布的表示和一个堆叠的编码器与发生器执行异常检测。带有编码器的W-GAN似乎在MNIST数据集上产生了最先进的异常检测分数，我们研究了它在多变量时间序列上的使用。
2018-12-11 cs.LG stat.ML
