Wasserstein Proximal Policy Gradient
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, China（上海交通大学紫阳学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen, Guangdong, China（香港中文大学（深圳）数据科学学院）；McCombs School of Business, The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校麦克拉姆商学院）
WPPG通过Wasserstein几何视角提出一种无需计算策略对数密度或梯度的策略梯度方法，实现连续动作空间下的高效强化学习
2026-03-03 cs.LG
Particle-based Variational Inference with Generalized Wasserstein Gradient Flow
Peking University（北京大学）
本文提出基于广义Wasserstein梯度流的粒子变分推断框架GWG，通过凸函数诱导的更广泛正则化类替代核化方法，提供强收敛保证与自适应度量选择，在模拟和真实数据上验证了有效性与效率。
2023-10-25 cs.LG stat.ML
Variational Wasserstein Barycenters with c-Cyclical Monotonicity
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
Wasserstein重心建立在最优传输理论的基础上，提供了一个强大的框架来聚合概率分布，并且它越来越引起机器学习社区的极大关注。然而，它遭受严重的计算负担，特别是对于高维和连续设置。为此，我们开发了一种新的连续近似方法的Wasserstein重心问题的样本访问输入分布。其基本思想是引入一个变分分布作为真实连续重心的近似，从而将重心计算问题框架为一个优化问题，其中变分分布的参数调整代理分布以使其与重心相似。利用变分分布，我们构造了一个易于处理的对偶公式的正则化Wasserstein重心问题的c-循环单调性，可以有效地解决随机优化。我们提供了收敛性的理论分析，并证明了我们的方法的实际应用的子集后验聚合和合成数据的有效性。
2022-12-17 cs.LG stat.ML
Sliced Wasserstein Variational Inference
University of Bristol（布里斯托大学）
变分推断通过最小化Kullback-Leibler（KL）发散来近似未归一化的分布。这种发散性虽然计算效率高，并且在实际应用中得到了广泛的应用，但也存在一些不合理的性质。例如，它不是一个适当的指标，即，它是非对称的，并且不保持三角不等式。另一方面，最佳运输距离最近已经显示出比库尔贝克-莱布勒散度更大的优势。借助这些优点，我们提出了一种新的变分推断方法，通过最小化切片瓦瑟斯坦距离，一个有效的度量所产生的最佳运输。该切片瓦瑟斯坦距离可以简单地通过运行MCMC来近似，而无需求解任何优化问题。我们的近似也不需要一个易处理的密度函数的变分分布，使近似家庭可以摊销的发电机一样，神经网络。此外，我们提供了我们的方法的理论特性的分析。仿真和真实数据的实验结果表明了该方法的有效性。
2022-07-26 cs.LG stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space
Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
本文将Wasserstein空间上的Riemannian梯度流扩展为SGD流和SVRG流，通过构建SDEs并利用Fokker-Planck方程推导流，证明了与欧几里得设定一致的收敛速率。
2025-11-04 cs.LG
Fast Gradient Computation for Gromov-Wasserstein Distance
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）
针对Entropic Gromov-Wasserstein方法计算梯度存在三次复杂度瓶颈的问题，提出基于动态规划的精确梯度加速方法，将复杂度降至二次，实现近乎最优的二次时间熵解，且易扩展至变体，经实验验证高效有效。
2024-04-13 cs.LG
Discrete Langevin Sampler via Wasserstein Gradient Flow
Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
已知连续空间的基于梯度的MCMC采样器，例如朗之万蒙特卡罗（LMC），可以导出为梯度流的粒子版本，其最小化Wasserstein流形上的KL发散。这种采样器的优越效率激发了最近几次尝试将LMC推广到离散空间。然而，朗之万动力学的一个完整的原则性扩展到离散空间尚未实现，由于缺乏定义良好的梯度在样本空间。在这项工作中，我们展示了如何Wasserstein梯度流可以自然地推广到离散空间。鉴于所提出的配方，我们演示了如何离散模拟朗之万动力学可以随后开发。有了这个新的理解，我们揭示了最近的基于梯度的采样器在离散空间中可以通过选择特定的离散化作为特殊情况。更重要的是，该框架还允许推导新的算法，其中之一，\textit{Discrete Langevin Monte Carlo}（DLMC），是通过一个因式分解的估计的过渡矩阵。DLMC方法允许一个方便的并行实现和时间均匀采样，实现更大的跳跃距离。我们证明了DLMC在各种二进制和分类分布上的优势。
2023-02-22 cs.LG
Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold
University of Helsinki（赫尔辛基大学）
针对Bures-Wasserstein流形上变分推断中蒙特卡洛估计高方差问题，提出基于控制变量的方差缩减估计器，理论证明方差更小并改进优化界限，实验实现数量级性能提升。
2025-02-28 cs.LG stat.ML
FlowPool: Pooling Graph Representations with Wasserstein Gradient Flows
在用于图结构化数据的若干机器学习任务中，所考虑的图可以由不同数量的节点组成。因此，有必要设计将不同大小的图表示聚合为固定大小的表示的池化方法，这些表示可以用于下游任务，例如图分类。现有的图池化方法不能保证图表示及其池化版本的相似性。在这项工作中，我们解决了这个限制，提出FlowPool，池化方法，最佳地保留了统计的图形表示，其池化的对手，通过最小化他们的Wasserstein距离。这是通过相对于池化图表示执行Wasserstein梯度流来实现的。我们的方法依赖于一个通用的实现，它可以考虑到通过任何地面成本的表示空间的几何形状，并计算Wasserstein距离的梯度与自动微分。我们提出了Wasserstein流动层的微分使用隐式微分方案。因此，我们的池化方法适用于自动微分，并且可以集成到端到端深度学习架构中。此外，FlowPool对于置换是不变的，因此可以与GNN中的置换等变特征提取层组合，以便获得与节点的排序无关的预测。实验结果表明，我们的方法导致的性能增加相比，现有的池化方法进行评估时，图分类。
2022-05-19 cs.LG
Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
递归变分自编码器已广泛用于语言建模和文本生成任务。这些模型通常面临一个困难的优化问题，也称为Kullback-Leibler（KL）项消失问题，其中后验很容易崩溃到先验，并且模型将忽略生成任务中的潜在代码。为了解决这个问题，我们引入了一个改进的Wasserstein变分自编码器（WAE）与黎曼规范化流（RNF）的文本建模。RNF将潜在变量转换到一个尊重输入空间几何特征的空间中，这使得后验不可能崩溃为无信息的先验。Wasserstein目标直接最小化边缘分布和先验分布之间的距离，因此不强制后验匹配先验分布。实验结果表明，该模型避免了KL在一系列数据集上的消失，在语言建模、似然近似和文本生成等任务中具有更好的性能。通过对潜在空间的一系列实验和分析，我们证明了我们的模型学习了尊重潜在空间几何的潜在分布，并且能够生成更加多样化的句子。
2019-04-22 cs.CL cs.LG
On Wasserstein Reinforcement Learning and the Fokker-Planck equation
Data Science Institute（数据科学研究所）；Imperial College（帝国理工学院）；Institute of Security Science and Technology（安全科学与技术研究所）
当策略的变化仅限于小的Kullback-Leibler发散时，策略梯度方法通常可以实现更好的性能。我们推导出策略梯度，其中策略的变化仅限于一个小的Wasserstein距离（或信任区域）。这是在离散和连续的多臂强盗设置熵正则化。我们表明，在小步骤限制相对于Wasserstein距离$W_2$，政策动态由福克-普朗克（热）方程，以下约旦-Kinderlehrer-奥托的结果。这意味着政策经历扩散和平流，集中在高回报的行动附近。这有助于阐明概率匹配设置中的收敛性质，并为高斯策略先验和加性梯度噪声等经验做法提供理由。
2017-12-19 cs.LG
Approximate inference with Wasserstein gradient flows
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的近似推理方法的扩散过程的基础上，Wasserstein梯度流公式的扩散。在这个公式中，随时间变化的扩散密度被导出为遵循特定自由能泛函的梯度的隐式欧拉步骤的极限。现有的Wasserstein梯度流计算方法依赖于离散化的扩散域，禁止其应用领域在几个维度以上。相反，我们提出了一种无离散化的推理方法，直接在连续函数空间中计算Wasserstein梯度流。我们表征所提出的方法的近似特性，并评估它的非线性过滤任务，发现性能相当于最先进的过滤扩散。
2018-06-12 cs.LG stat.ML
Wasserstein Regression as a Variational Approximation of Probabilistic Trajectories through the Bernstein Basis
ITMO University（ITMO大学）
针对分布回归问题，提出结合 Bernstein 基参数化概率轨迹与最小化 Wasserstein 距离的新方法，在保证几何精度、计算实用性和可解释性的同时，实现了优异的近似质量与平滑性。
2025-10-30 cs.LG
Accelerated Multiple Wasserstein Gradient Flows for Multi-objective Distributional Optimization
Graduate School of Information Science and Technology, Hokkaido University, Japan（信息科学与技术研究生学校，北海道大学，日本）；Bioinformatics Center, Kyoto University, Japan（生物信息学中心，京都大学，日本）；Institute of Information Technology, Vietnam Academy of Science and Technology, Vietnam（信息技术研究所，越南科学与技术学院，越南）
提出加速多Wasserstein梯度下降算法(A-MWGraD)，通过Nesterov加速实现多目标分布优化，在测地凸和强测地凸目标下分别达到O(1/t^2)和O(e^{-√βt})收敛率，优于MWGraD的O(1/t)。
2026-05-29 cs.LG
A Unifying View of Variational Generative Wasserstein Flows
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, Palaiseau, France（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute、Palaiseau，法国）
本文提出生成式Wasserstein流（GWF）的统一理论框架，将多种现有生成模型视为f-散度目标的参数化JKO方案实例，并扩展至积分概率度量与最大均值差异，推导新算法并阐明与GAN的联系。
2026-05-29 cs.CV cs.LG
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
Projected Wasserstein gradient descent for high-dimensional Bayesian inference
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
提出了一种求解高维贝叶斯推理问题的投影Wasserstein梯度下降方法（pWGD）。WGD的粒子系统的底层密度函数近似的核密度估计（KDE），它面临着长期存在的灾难的维数。我们克服了这一挑战，利用内在的低秩结构之间的差异后验分布和先验分布。将参数投影到一个低维子空间，以减轻KDE在高维空间的近似误差。我们制定了一个投影Wasserstein梯度流，并分析其收敛性在温和的假设。几个数值实验说明的准确性，收敛性和复杂性的可扩展性pWGD相对于参数尺寸，样本大小和处理器内核。
2021-02-15 cs.LG stat.ML
Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space
Massachusetts Institute of Technology（麻省理工学院）；University of California, Davis（加州大学戴维斯分校）；Microsoft Research（微软研究院）
本文提出FB-GVI算法，利用KL散度在Bures-Wasserstein空间上的复合结构求解高斯变分推断，并在对数光滑且对数凹及仅对数光滑两种条件下分别取得了最先进和首个收敛性保证。
2023-04-10 cs.LG math.OC math.ST
Forward-Euler time-discretization for Wasserstein gradient flows can be wrong
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究通过两个反例证明，用于模拟Wasserstein梯度流的前向欧拉时间离散化即使在KL散度等简单能量泛函情形下也可能失效，并解释了原因。
2024-06-12 cs.LG math.OC stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
Wasserstein Gradient Boosting: A Framework for Distribution-Valued Supervised Learning
The University of Edinburgh（爱丁堡大学）
本文提出Wasserstein梯度提升框架，将梯度提升扩展到分布值监督学习，通过拟合Wasserstein梯度伪残差实现基于树的证据学习，并在概率预测上优于现有不确定性量化方法。
2024-08-29 cs.LG stat.ME stat.ML
Local Stability and Performance of Simple Gradient Penalty mu-Wasserstein GAN
POSTECH（浦项科技大学）
Wasserstein GAN（WGAN）是一种最小化数据分布和样本分布之间的Wasserstein距离的模型。最近的研究提出了稳定WGAN的训练过程并实现Lipschitz约束。在这项研究中，我们证明了优化简单梯度惩罚$μ$ -WGAN（SGP $μ$ -WGAN）在适当的假设下，关于平衡和惩罚措施$μ$的局部稳定性。利用测度值微分的概念处理惩罚项的导数，有助于处理低维支撑的抽象奇异测度。基于这种分析，我们认为惩罚数据流形或样本流形是用梯度惩罚正则化原始WGAN的关键。非直观的惩罚措施，满足我们的假设得到的实验结果也提供支持我们的理论结果。
2018-10-05 cs.LG stat.ML
Multiple Wasserstein Gradient Descent Algorithm for Multi-Objective Distributional Optimization
Hokkaido University, Hokkaido, Japan（北海道大学）；Kyoto University, Kyoto, Japan（京都大学）
提出多重Wasserstein梯度下降算法，通过动态加权聚合多目标梯度，在概率分布族上同时最小化多个目标泛函，兼顾多目标采样与生成建模，理论分析与实验验证其有效性。
2025-05-24 cs.LG stat.ML
Gradient Flow Drifting: Generative Modeling via Wasserstein Gradient Flows of KDE-Approximated Divergences
The Chinese University of Hong Kong（香港中文大学）；Civil Aviation University of China（中国民航大学）
本文提出梯度流漂移模型，通过Wasserstein梯度流生成模型，结合反向KL和χ²发散避免模式崩溃与模糊，扩展至黎曼流形以适应语义空间。
2026-03-11 cs.AI cs.LG
Mirror and Preconditioned Gradient Descent in Wasserstein Space
CREST；ENSAE；IP Paris（巴黎理工学院）；Institute of Mathematics（数学研究所）；Technische Universität Berlin（柏林工业大学）；TU Wien（维也纳技术大学）
本文将镜像下降和预条件梯度下降推广到Wasserstein空间，通过适配相对光滑性与凸性条件证明离散时间方案的收敛性，并在单细胞对齐任务中验证了选择合适几何结构的优势。
2024-11-18 cs.LG math.OC
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
建立统一的包含性KL推理梯度流和PDF框架，表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理，还开发了直接针对包含性KL散度的梯度流，为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Kernelized Wasserstein Natural Gradient
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究室）；University College London（伦敦大学学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
许多机器学习问题可以表示为在概率分布的参数族上优化一些代价泛函。使用自然梯度方法来解决这样的优化问题通常是有益的。这些方法对族的参数化是不变的，因此可以产生更有效的优化。不幸的是，计算自然梯度是具有挑战性的，因为它需要在每次迭代时对高维矩阵进行求逆。我们提出了一个一般的框架来近似自然梯度的Wasserstein度量，利用一个双重制定的度量限制到一个再生核希尔伯特空间。我们的方法导致梯度方向的估计，可以权衡精度和计算成本，理论保证。我们在简单的例子中验证了它的准确性，并展示了在Cifar10和Cifar100的分类任务中使用这种估计的优势。
2020-02-13 cs.LG stat.ML
Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究针对熵正则化线性二次控制问题，将Wasserstein策略梯度简化为有限维ODE并证明其指数收敛，明确了收敛指数在熵温度趋于0时的极限特性。
2026-08-10 cs.LG math.OC
SVGD as a kernelized Wasserstein gradient flow of the chi-squared divergence
Massachusetts Institute of Technology（麻省理工学院）
Stein变分梯度下降（SVGD）是一种常用的采样算法，在最优输运几何中常被描述为Kullback-Leibler发散的核化梯度流。我们引入了一个新的视角，而不是SVGD的卡方发散的（核化）梯度流，我们显示，表现出强形式的均匀指数遍历条件下弱的庞加莱不等式。这种观点使我们提出了一种替代SVGD，称为拉普拉斯调整Wasserstein梯度下降（LAWGD），可以从与目标密度相关的拉普拉斯算子的谱分解实现。我们表明，LAWGD具有很强的收敛保证和良好的实用性能。
2020-06-03 cs.LG math.ST stat.TH
Flowing Datasets with Wasserstein over Wasserstein Gradient Flows
Université Paris-Saclay, Laboratoire de Mathématique d'Orsay（巴黎-萨克雷大学，奥赛数学实验室）
本文将带标签数据集建模为分布上的分布，提出 WoW 距离及其梯度流，并用于迁移学习和数据集蒸馏。
2025-06-09 cs.LG math.OC stat.ML
Learning with Differentially Private (Sliced) Wasserstein Gradients
Universidad de Valladolid and IMUVA（巴利亚多利德大学和IMUVA）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；ANITI & Regalia INRIA（ANITI与INRIA Regalia团队）
本文提出一种基于Wasserstein梯度的差分隐私优化框架，通过控制梯度敏感性实现隐私保护，并结合深度学习与梯度裁剪，在保证准确性的同时支持大规模私有训练。
2025-05-21 cs.AI cs.LG math.ST
Straight-Through Estimator as Projected Wasserstein Gradient Flow
Duke University（杜克大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
直通（ST）估计是一种广泛使用的技术，用于通过离散随机变量反向传播梯度。然而，这种有效的方法缺乏理论依据。在本文中，我们表明，ST可以解释为模拟的投影Wasserstein梯度流（pWGF）。基于这种理解，建立了理论基础来证明ST的收敛特性。此外，提出了另一种pWGF估计变体，其在具有无限支持的分布上表现出优越的性能，例如，Poisson分布从经验上讲，我们表明，ST和我们提出的估计，而适用于不同类型的离散结构（包括伯努利和泊松潜变量），表现出可比的，甚至更好的性能相对于其他国家的最先进的方法。我们的研究结果揭示了ST估计的广泛采用的起源，并代表了探索离散变量的替代梯度估计的有益的一步。
2019-10-05 cs.LG stat.ML
Policy Optimization as Wasserstein Gradient Flows
Duke University（杜克大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
策略优化是强化学习（RL）的核心组成部分，并且大多数现有的RL方法基于最大化期望总回报或其代理来直接优化策略的参数。虽然经常取得令人鼓舞的经验成功，其基本的数学原理{ \em policy-distribution}优化是不清楚的。我们把政策优化的概率措施的空间，并解释为Wasserstein梯度流。在概率测度空间上，在一定条件下，策略优化问题就成为一个关于分配优化的凸问题。为了使优化可行，我们开发了有效的算法，通过数值求解相应的离散梯度流。我们的技术适用于几个RL设置，并与许多国家的最先进的政策优化算法。实验结果验证了我们的框架的有效性，往往获得更好的性能相比，相关的算法。
2018-08-09 cs.LG stat.ML
Wasserstein Policy Optimization
Google DeepMind（谷歌DeepMind）
本文提出了一种用于连续动作空间的actor-critic强化学习算法WPO，通过近似Wasserstein梯度流得到闭式更新，结合了确定性与经典策略梯度方法的优势，在多个任务上表现优异。
2025-05-01 cs.AI cs.LG
Gromov-Wasserstein Autoencoders
Hokkaido University（北海道大学）
基于变分自编码器（VAE）的生成模型通过合并元先验（被认为有利于下游任务的一般前提）来提供灵活的表示学习。然而，合并的元先验通常涉及自组织模型偏离原始似然架构，导致其训练中的不期望的变化。在本文中，我们提出了一种新的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），它直接匹配的潜在和数据分布使用变分自动编码方案。GWAE模型不是基于可能性的目标，而是最小化可训练先验和给定数据分布之间的Gromov-Wasserstein（GW）度量。GW度量度量即使具有不同维度的分布之间的距离结构导向的差异，这提供了潜在空间和数据空间之间的直接度量。通过限制先验族，我们可以将元先验引入潜在空间而不改变它们的目标。与基于VAE的模型的实证比较表明，GWAE模型工作在两个突出的元先验，解纠缠和集群，其GW目标不变。
2023-02-24 cs.CV cs.LG
Preservation of Log-Concavity and Convergence of Wasserstein-Fisher-Rao Gradient Flows
University of Turin（都灵大学）；Collegio Carlo Alberto（卡罗·阿尔贝托学院）；UNSW Sydney（新南威尔士大学悉尼分校）
本文证明WFR梯度流在强对数凹目标分布下保持对数凹性，并导出无需热启动的对称KL散度非渐近收敛速率，其可分解为Wasserstein与Fisher-Rao贡献，证实相关猜想。
2026-09-17 cs.LG math.PR stat.ML
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
Variational inference via Wasserstein gradient flows
DGA（法国武器装备总署）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；MIT（麻省理工学院）；MINES Paris PSL（巴黎高等矿业学院（巴黎文理研究大学））；Université de la Nouvelle-Calédonie（新喀里多尼亚大学）
本文提出基于 Bures–Wasserstein 空间梯度流的变分推断方法，用 Gaussian 或 Gaussian 混合近似后验，并在对数凹情形下给出强理论保证。
2023-04-21 cs.LG math.ST stat.ML
Wasserstein Contraction of Coordinate Ascent Variational Inference
Department of Statistics, University of Warwick（沃里克大学统计系）；School of Mathematics, University of Bristol（布里斯托大学数学学院）
研究坐标上升变分推断算法在Wasserstein距离下的收缩性，通过不动点处的传输-信息不等式和函数光滑性条件给出局部收敛保证，并应用于贝叶斯高斯混合模型、高维贝叶斯Probit回归及Pólya-Gamma逻辑回归。
2026-07-02 cs.LG math.FA math.OC
A Wasserstein Minimum Velocity Approach to Learning Unnormalized Models
Tsinghua University（清华大学）
分数匹配为学习灵活的非规范化模型提供了一种有效的方法，但其可扩展性受到评估二阶导数的需求的限制。在本文中，我们提出了一个可扩展的近似一般家庭的学习目标，包括分数匹配，通过观察这些目标和Wasserstein梯度流之间的新的连接。我们目前的应用程序与承诺学习神经密度估计流形上，训练隐式变分和Wasserstein自动编码器与流形值的先验。
2020-02-18 cs.LG stat.ML
Efficient Gradient Flows in Sliced-Wasserstein Space
Université Bretagne Sud（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IMT Atlantique（大西洋国立高等工业技术学院）
概率分布空间中的泛函最小化可以用Wasserstein梯度流来完成。为了数值求解它们，一种可能的方法是依赖于Jordan-Kinderlehrer-Otto（JKO）方案，该方案类似于欧几里得空间中的邻近方案。然而，它需要在每次迭代中求解嵌套优化问题，并且以其计算挑战而闻名，特别是在高维中。为了缓解它，最近的工作提出了利用Brenier定理近似JKO方案，并使用输入凸神经网络的梯度来参数化密度（JKO-ICNN）。然而，这种方法具有高计算成本和稳定性问题。相反，这项工作提出了在概率测度空间中使用梯度流，并赋予切片Wasserstein（SW）距离。我们认为，这种方法比JKO-ICNN更灵活，因为SW享有一个封闭形式的可微近似。因此，每一步的密度可以通过任何生成模型来参数化，这简化了计算负担，并使其在更高的维度上易于处理。
2022-11-15 cs.LG math.OC stat.ML
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Training Wasserstein GANs without gradient penalties
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Max Planck Institute（马克斯·普朗克研究所）
提出了一种稳定的训练Wasserstein生成对抗网络的方法。为了提高稳定性，我们考虑两个目标函数使用$c$ -转换的基础上康托洛维奇对偶，这是在最优运输理论。我们的实验表明，该算法可以有效地执行Lipschitz约束的最小值，而其他标准的方法无法做到这一点。因此，我们的方法产生一个准确的估计最佳的距离，也为Wasserstein距离之间的真实分布和生成的。我们的方法不需要梯度惩罚，也不需要相应的超参数调整，并且在计算上比其他方法更有效。与此同时，它基于MNIST、F-MNIST和CIFAR-10数据集生成具有竞争力的合成图像生成器。
2021-10-27 cs.CV cs.LG cs.NA
Algorithms for mean-field variational inference via polyhedral optimization in the Wasserstein space
Courant Institute of Mathematical Sciences, New York University（纽约大学Courant数学科学研究所）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Center for Data Science, New York University（纽约大学数据科学中心）
本文研究了 Wasserstein 空间上的多面体优化理论，并将其应用于平均场变分推断（MFVI），在分布具有强对数凹且对数光滑性质时，提供了逼近速率证明和基于加速梯度下降的 KL 散度最小化算法，实现了首个基于梯度的 MFVI 端到端分析。
2025-05-29 cs.LG math.OC math.ST
DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows
Harvard University（哈佛大学）；CREST；ENSAE（法国国家统计与经济行政学院）；IP Paris（巴黎理工学院）
本研究提出分布型深度平衡模型DDEQs，基于Wasserstein梯度流将DEQ拓展至离散测度输入场景，推导适配架构，在点云相关任务中性能达SOTA且参数效率显著提升。
2025-03-23 cs.LG stat.ML
Random Coordinate Descent on the Wasserstein Space of Probability Measures
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出随机坐标下降框架，针对Wasserstein流形优化问题，提出RWCD和RWCP方法，适用于复合目标，理论分析显示其在非凸、Polyak-Łojasiewicz及仿射凸条件下具有收敛性，实验表明在病态能量下比传统全梯度方法更高效。
2026-04-02 cs.LG math.OC stat.ML
Multi-Objective Optimization via Wasserstein-Fisher-Rao Gradient Flow
Stanford University（斯坦福大学）；Amazon（亚马逊公司）
本文提出一种受分子动力学启发的交互粒子多目标优化方法，结合Langevin动力学与生灭过程，通过支配势引导粒子，可处理复杂Pareto前沿，并在理论和实验上验证了其优越性。
2024-11-21 cs.LG math.OC stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford（牛津大学）；Amazon（亚马逊）
我们开发了一个框架，广义变分推断在无限维函数空间，并使用它来构建一个方法称为高斯Wasserstein推理（GWI）。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离，以便使用易于处理的优化标准来确定变分后验，并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络，将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Wasserstein Gradient Flows for Scalable and Regularized Barycenter Computation
Sigma Nova Paris（Sigma Nova巴黎）
本文提出基于Wasserstein梯度流的可扩展且正则化的barycenter计算方法，通过小批量最优传输和任务感知正则化实现高效的监督信息整合，提升跨领域适应性能。
2026-07-27 cs.AI cs.LG stat.ML
Scalable Wasserstein Gradient Flow for Generative Modeling through Unbalanced Optimal Transport
Seoul National University（首尔大学）；Korea Institute for Advanced Study（韩国高等研究院）
本文提出可扩展的WGF生成模型S-JKO，基于JKO步骤与非平衡最优传输的等价性推导半对偶形式，将训练复杂度从O(K^2)降至O(K)，在图像生成基准上取得与最先进模型可比的性能。
2024-06-03 cs.CV cs.LG
Drifting Field Policy: A One-Step Generative Policy via Wasserstein Gradient Flow
KAIST（韩国科学技术院）
本文提出漂移场策略（DFP），一种基于漂移模型范式的非ODE一步生成策略，通过Wasserstein-2梯度流逆KL更新软目标策略，实现概率空间中的梯度步进，提升漂移骨干的性能，在多个操控任务中取得最佳表现。
2026-05-08 cs.AI cs.LG cs.RO
Neural Wasserstein Gradient Flows for Maximum Mean Discrepancies with Riesz Kernels
Humboldt-Universität zu Berlin（柏林洪堡大学）；Technische Universität Berlin（柏林工业大学）
本文提出用神经网络逼近计算 Riesz 核 MMD 泛函的 Wasserstein 梯度流，处理传输与速度计划，并在交互能量上基准测试，提供从 Dirac 测度出发的解析公式与收敛性证明。
2024-03-21 cs.LG math.OC math.PR
