Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究针对熵正则化线性二次控制问题，将Wasserstein策略梯度简化为有限维ODE并证明其指数收敛，明确了收敛指数在熵温度趋于0时的极限特性。
2026-08-10 cs.LG math.OC
Wasserstein Distributionally Robust Policy Evaluation and Learning for Contextual Bandits
Duke University（杜克大学）
本文针对上下文赌博机中环境分布不匹配问题，提出基于Wasserstein距离的分布鲁棒策略评估与学习方法，并给出正则化随机梯度下降优化算法及理论复杂度分析，在卒中试验公开数据上验证了有效性。
2024-01-17 cs.LG
Semantic-aware Wasserstein Policy Regularization for Large Language Model Alignment
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
本文提出Wasserstein策略正则化方法，通过语义感知的Wasserstein距离改进大语言模型对齐效果，实验表明其优于传统KL散度方法。
2026-02-02 cs.AI cs.LG
A note on convergence of Wasserstein policy optimization
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
本文探讨了Wasserstein策略优化在连续状态和动作空间中的收敛性问题，通过利用均场分析和log-Sobole不等式，证明了在熵正则化的马尔可夫决策过程框架下，WPO算法能够线性收敛到全局最优解。
2026-05-21 cs.LG math.OC
Global Convergence of Wasserstein Policy Gradient for Entropy-Regularized Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文通过利用熵正则化强化学习的Bellman结构，证明了Wasserstein策略梯度（WPG）方法的全局收敛性，并建立了分布Polyak-Łojasiewicz条件。
2026-06-08 cs.LG
Wasserstein Formulation of Reinforcement Learning. An Optimal Transport Perspective on Policy Optimization
IRMA（斯特拉斯堡大学机构）
本文从最优传输视角出发，提出一种几何框架，将策略视为动作概率空间的映射，定义了由稳态分布诱导的Riemann结构，推导了策略的切空间及测地线，并基于Otto算子构建梯度流，通过数值实验验证了方法的有效性。
2026-10-06 cs.LG math.OC math.PR
Wasserstein Barycenter Soft Actor-Critic
WBSAC 通过结合悲观和乐观策略的 Wasserstein 聚合，提升连续控制任务中的样本效率。
2026-02-24 cs.LG cs.SY eess.SY
Wasserstein Distance Maximizing Intrinsic Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DeepMind
本文讨论的问题，学习技能的条件政策，有意义的行为在没有奖励信号。基于互信息的目标已经在学习技能方面显示出一些成功，这些技能在这种设置中达到不同的状态集合。这些目标包括KL-发散项，其通过访问不同的状态来最大化，即使这些状态在MDP中相距不远。本文提出了一种方法，奖励智能体学习技能，最大限度地提高他们的状态访问从开始状态的技能的Wasserstein距离。它表明，这样的目标导致的政策，覆盖更多的距离在MDP比多样性为基础的目标，并验证了各种雅达利环境的结果。
2021-10-28 cs.AI cs.LG
Approximate inference with Wasserstein gradient flows
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的近似推理方法的扩散过程的基础上，Wasserstein梯度流公式的扩散。在这个公式中，随时间变化的扩散密度被导出为遵循特定自由能泛函的梯度的隐式欧拉步骤的极限。现有的Wasserstein梯度流计算方法依赖于离散化的扩散域，禁止其应用领域在几个维度以上。相反，我们提出了一种无离散化的推理方法，直接在连续函数空间中计算Wasserstein梯度流。我们表征所提出的方法的近似特性，并评估它的非线性过滤任务，发现性能相当于最先进的过滤扩散。
2018-06-12 cs.LG stat.ML
Particle-based Variational Inference with Generalized Wasserstein Gradient Flow
Peking University（北京大学）
本文提出基于广义Wasserstein梯度流的粒子变分推断框架GWG，通过凸函数诱导的更广泛正则化类替代核化方法，提供强收敛保证与自适应度量选择，在模拟和真实数据上验证了有效性与效率。
2023-10-25 cs.LG stat.ML
Projected Wasserstein gradient descent for high-dimensional Bayesian inference
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
提出了一种求解高维贝叶斯推理问题的投影Wasserstein梯度下降方法（pWGD）。WGD的粒子系统的底层密度函数近似的核密度估计（KDE），它面临着长期存在的灾难的维数。我们克服了这一挑战，利用内在的低秩结构之间的差异后验分布和先验分布。将参数投影到一个低维子空间，以减轻KDE在高维空间的近似误差。我们制定了一个投影Wasserstein梯度流，并分析其收敛性在温和的假设。几个数值实验说明的准确性，收敛性和复杂性的可扩展性pWGD相对于参数尺寸，样本大小和处理器内核。
2021-02-15 cs.LG stat.ML
Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference
Hokkaido University（北海道大学）；University of Tsukuba（茨口大学）；Kyoto University（京都大学）
本文将变分推断重构为变分参数空间上的概率分布优化问题，提出Wasserstein梯度下降方法，统一了黑箱VI与自然梯度VI，并通过合成数据实验和理论分析验证了其有效性。
2025-04-22 cs.LG stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
Local Stability and Performance of Simple Gradient Penalty mu-Wasserstein GAN
POSTECH（浦项科技大学）
Wasserstein GAN（WGAN）是一种最小化数据分布和样本分布之间的Wasserstein距离的模型。最近的研究提出了稳定WGAN的训练过程并实现Lipschitz约束。在这项研究中，我们证明了优化简单梯度惩罚$μ$ -WGAN（SGP $μ$ -WGAN）在适当的假设下，关于平衡和惩罚措施$μ$的局部稳定性。利用测度值微分的概念处理惩罚项的导数，有助于处理低维支撑的抽象奇异测度。基于这种分析，我们认为惩罚数据流形或样本流形是用梯度惩罚正则化原始WGAN的关键。非直观的惩罚措施，满足我们的假设得到的实验结果也提供支持我们的理论结果。
2018-10-05 cs.LG stat.ML
Multiple Wasserstein Gradient Descent Algorithm for Multi-Objective Distributional Optimization
Hokkaido University, Hokkaido, Japan（北海道大学）；Kyoto University, Kyoto, Japan（京都大学）
提出多重Wasserstein梯度下降算法，通过动态加权聚合多目标梯度，在概率分布族上同时最小化多个目标泛函，兼顾多目标采样与生成建模，理论分析与实验验证其有效性。
2025-05-24 cs.LG stat.ML
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
Kernelized Wasserstein Natural Gradient
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究室）；University College London（伦敦大学学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
许多机器学习问题可以表示为在概率分布的参数族上优化一些代价泛函。使用自然梯度方法来解决这样的优化问题通常是有益的。这些方法对族的参数化是不变的，因此可以产生更有效的优化。不幸的是，计算自然梯度是具有挑战性的，因为它需要在每次迭代时对高维矩阵进行求逆。我们提出了一个一般的框架来近似自然梯度的Wasserstein度量，利用一个双重制定的度量限制到一个再生核希尔伯特空间。我们的方法导致梯度方向的估计，可以权衡精度和计算成本，理论保证。我们在简单的例子中验证了它的准确性，并展示了在Cifar10和Cifar100的分类任务中使用这种估计的优势。
2020-02-13 cs.LG stat.ML
Forward-Euler time-discretization for Wasserstein gradient flows can be wrong
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究通过两个反例证明，用于模拟Wasserstein梯度流的前向欧拉时间离散化即使在KL散度等简单能量泛函情形下也可能失效，并解释了原因。
2024-06-12 cs.LG math.OC stat.ML
Wasserstein Gradient Boosting: A Framework for Distribution-Valued Supervised Learning
The University of Edinburgh（爱丁堡大学）
本文提出Wasserstein梯度提升框架，将梯度提升扩展到分布值监督学习，通过拟合Wasserstein梯度伪残差实现基于树的证据学习，并在概率预测上优于现有不确定性量化方法。
2024-08-29 cs.LG stat.ME stat.ML
Straight-Through Estimator as Projected Wasserstein Gradient Flow
Duke University（杜克大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
直通（ST）估计是一种广泛使用的技术，用于通过离散随机变量反向传播梯度。然而，这种有效的方法缺乏理论依据。在本文中，我们表明，ST可以解释为模拟的投影Wasserstein梯度流（pWGF）。基于这种理解，建立了理论基础来证明ST的收敛特性。此外，提出了另一种pWGF估计变体，其在具有无限支持的分布上表现出优越的性能，例如，Poisson分布从经验上讲，我们表明，ST和我们提出的估计，而适用于不同类型的离散结构（包括伯努利和泊松潜变量），表现出可比的，甚至更好的性能相对于其他国家的最先进的方法。我们的研究结果揭示了ST估计的广泛采用的起源，并代表了探索离散变量的替代梯度估计的有益的一步。
2019-10-05 cs.LG stat.ML
Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
建立统一的包含性KL推理梯度流和PDF框架，表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理，还开发了直接针对包含性KL散度的梯度流，为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Flowing Datasets with Wasserstein over Wasserstein Gradient Flows
Université Paris-Saclay, Laboratoire de Mathématique d'Orsay（巴黎-萨克雷大学，奥赛数学实验室）
本文将带标签数据集建模为分布上的分布，提出 WoW 距离及其梯度流，并用于迁移学习和数据集蒸馏。
2025-06-09 cs.LG math.OC stat.ML
DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows
Harvard University（哈佛大学）；CREST；ENSAE（法国国家统计与经济行政学院）；IP Paris（巴黎理工学院）
本研究提出分布型深度平衡模型DDEQs，基于Wasserstein梯度流将DEQ拓展至离散测度输入场景，推导适配架构，在点云相关任务中性能达SOTA且参数效率显著提升。
2025-03-23 cs.LG stat.ML
Drifting Field Policy: A One-Step Generative Policy via Wasserstein Gradient Flow
KAIST（韩国科学技术院）
本文提出漂移场策略（DFP），一种基于漂移模型范式的非ODE一步生成策略，通过Wasserstein-2梯度流逆KL更新软目标策略，实现概率空间中的梯度步进，提升漂移骨干的性能，在多个操控任务中取得最佳表现。
2026-05-08 cs.AI cs.LG cs.RO
Preservation of Log-Concavity and Convergence of Wasserstein-Fisher-Rao Gradient Flows
University of Turin（都灵大学）；Collegio Carlo Alberto（卡罗·阿尔贝托学院）；UNSW Sydney（新南威尔士大学悉尼分校）
本文证明WFR梯度流在强对数凹目标分布下保持对数凹性，并导出无需热启动的对称KL散度非渐近收敛速率，其可分解为Wasserstein与Fisher-Rao贡献，证实相关猜想。
2026-09-17 cs.LG math.PR stat.ML
Large-Scale Wasserstein Gradient Flows
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Massachusetts Institute of Technology（麻省理工学院）；Artificial Intelligence Research Institute（人工智能研究所）
Wasserstein梯度流为理解和求解许多扩散方程提供了强有力的手段。具体地说，福克-普朗克方程，它模拟概率测度的扩散，可以理解为在沃瑟斯坦空间中熵泛函上的梯度下降。这种等价性由Jordan、Kinderlehrer和Otto提出，启发了所谓的JKO格式，通过Wasserstein空间中梯度流的隐式离散来近似这些扩散过程。然而，解决与每个JKO步骤相关联的优化问题提出了严重的计算挑战。我们引入了一个可扩展的方法来近似Wasserstein梯度流，针对机器学习应用程序。我们的方法依赖于输入凸神经网络（ICNN）离散化的JKO步骤，这可以通过随机梯度下降优化。与以前的工作不同，我们的方法不需要域离散化或粒子模拟。因此，我们可以在扩散的每个时间步从测量中采样并计算其概率密度。我们证明了我们的算法的性能，通过计算扩散的福克-普朗克方程，并将其应用于非归一化密度采样以及非线性滤波。
2021-10-25 cs.LG
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Learning with minibatch Wasserstein : asymptotic and gradient properties
Univ Bretagne Sud（南布列塔尼大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；Univ Rennes（雷恩大学）；Univ Côte d’Azur（蔚蓝海岸大学）；OCA（蔚蓝海岸天文台）；Laboratoire Lagrange（拉格朗日实验室）；Univ Lyon（里昂大学）；ENS de Lyon（里昂高等师范学校）；UCB Lyon 1（里昂第一大学）；LIP（LIP实验室）
最优运输距离是比较概率分布的有力工具，并且在机器学习中有许多应用。然而，它们的算法复杂性阻止了它们在大规模数据集上的直接使用。为了克服这一挑战，从业者在小批量{ \em，即}上计算这些距离。它们平均了几个较小的最优运输问题的结果。我们在本文中提出了这种做法的分析，其影响还没有得到很好的理解。我们特别认为，它是等价于一个隐式正则化的原始问题，有吸引力的属性，如无偏估计量，梯度和浓度约束周围的期望，但也有缺陷，如损失的距离属性。除了这种理论分析，我们还对梯度流、GANs或颜色转移进行了实证实验，以突出这种策略的实际意义。
2021-10-13 cs.LG stat.ML
Efficient Gradient Flows in Sliced-Wasserstein Space
Université Bretagne Sud（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IMT Atlantique（大西洋国立高等工业技术学院）
概率分布空间中的泛函最小化可以用Wasserstein梯度流来完成。为了数值求解它们，一种可能的方法是依赖于Jordan-Kinderlehrer-Otto（JKO）方案，该方案类似于欧几里得空间中的邻近方案。然而，它需要在每次迭代中求解嵌套优化问题，并且以其计算挑战而闻名，特别是在高维中。为了缓解它，最近的工作提出了利用Brenier定理近似JKO方案，并使用输入凸神经网络的梯度来参数化密度（JKO-ICNN）。然而，这种方法具有高计算成本和稳定性问题。相反，这项工作提出了在概率测度空间中使用梯度流，并赋予切片Wasserstein（SW）距离。我们认为，这种方法比JKO-ICNN更灵活，因为SW享有一个封闭形式的可微近似。因此，每一步的密度可以通过任何生成模型来参数化，这简化了计算负担，并使其在更高的维度上易于处理。
2022-11-15 cs.LG math.OC stat.ML
Wasserstein Policy Learning for Distributional Outcomes
School of Computing and Information Technology, Great Bay University（广东大湾大学计算机与信息科技学院）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）；School of Statistics and Data Science & Institute of Big Data Research, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院及大数据研究院）
针对分布值结果，提出基于Wasserstein重心和效用泛函的策略学习框架，使用IPW和DR估计器，证明遗憾率由策略类复杂度主导，并给出极小化下界。
2026-06-18 cs.LG econ.EM stat.ME
Rethinking the Diffusion Models for Numerical Tabular Data Imputation from the Perspective of Wasserstein Gradient Flow
Zhejiang University（浙江大学）；Peking University（北京大学）
针对扩散模型在数值表格数据缺失插补中存在的插补不准、训练困难问题，提出基于Wasserstein梯度流和负熵正则的KnewImp方法，无需掩码矩阵且性能显著优于现有最优方法。
2024-06-22 cs.LG stat.ML
Generative Modeling by Minimizing the Wasserstein-2 Loss
Department of Applied Mathematics, University of Colorado（应用数学系，科罗拉多大学）
本文提出通过分布依赖的常微分方程最小化Wasserstein-2损失来构建生成模型，证明其时间边际律构成Wasserstein损失的梯度流，并通过欧拉方案实现收敛，实验表明算法在低维和高维情况下优于Wasserstein生成对抗网络。
2026-08-27 cs.LG stat.ML
Geometry-Aware Normalizing Wasserstein Flows for Optimal Causal Inference
Columbia Business School（哥伦比亚大学商学院）
该研究将连续归一化流与参数子模型结合，嵌入Wasserstein梯度流引入几何结构，提出几何感知归一化Wasserstein流因果推断方法，可最小化有限样本下方差，均方误差低于传统方法，提升了因果推断性能。
2024-02-01 cs.LG stat.ML
Random Coordinate Descent on the Wasserstein Space of Probability Measures
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出随机坐标下降框架，针对Wasserstein流形优化问题，提出RWCD和RWCP方法，适用于复合目标，理论分析显示其在非凸、Polyak-Łojasiewicz及仿射凸条件下具有收敛性，实验表明在病态能量下比传统全梯度方法更高效。
2026-04-02 cs.LG math.OC stat.ML
Multi-Objective Optimization via Wasserstein-Fisher-Rao Gradient Flow
Stanford University（斯坦福大学）；Amazon（亚马逊公司）
本文提出一种受分子动力学启发的交互粒子多目标优化方法，结合Langevin动力学与生灭过程，通过支配势引导粒子，可处理复杂Pareto前沿，并在理论和实验上验证了其优越性。
2024-11-21 cs.LG math.OC stat.ML
Wasserstein Gradient Flows for Scalable and Regularized Barycenter Computation
Sigma Nova Paris（Sigma Nova巴黎）
本文提出基于Wasserstein梯度流的可扩展且正则化的barycenter计算方法，通过小批量最优传输和任务感知正则化实现高效的监督信息整合，提升跨领域适应性能。
2026-07-27 cs.AI cs.LG stat.ML
Wasserstein Gradient Flows for Optimizing Gaussian Mixture Policies
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
提出将基于GMMs的机器人策略优化转化为Wasserstein梯度流问题，利用$L^2$-Wasserstein距离和Bures-Wasserstein流形约束更新，在避障等任务中提升了成功率与稳定性。
2023-05-17 cs.LG cs.RO
Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space
Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
本文将Wasserstein空间上的Riemannian梯度流扩展为SGD流和SVRG流，通过构建SDEs并利用Fokker-Planck方程推导流，证明了与欧几里得设定一致的收敛速率。
2025-11-04 cs.LG
Fast Gradient Computation for Gromov-Wasserstein Distance
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）
针对Entropic Gromov-Wasserstein方法计算梯度存在三次复杂度瓶颈的问题，提出基于动态规划的精确梯度加速方法，将复杂度降至二次，实现近乎最优的二次时间熵解，且易扩展至变体，经实验验证高效有效。
2024-04-13 cs.LG
Discrete Langevin Sampler via Wasserstein Gradient Flow
Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
已知连续空间的基于梯度的MCMC采样器，例如朗之万蒙特卡罗（LMC），可以导出为梯度流的粒子版本，其最小化Wasserstein流形上的KL发散。这种采样器的优越效率激发了最近几次尝试将LMC推广到离散空间。然而，朗之万动力学的一个完整的原则性扩展到离散空间尚未实现，由于缺乏定义良好的梯度在样本空间。在这项工作中，我们展示了如何Wasserstein梯度流可以自然地推广到离散空间。鉴于所提出的配方，我们演示了如何离散模拟朗之万动力学可以随后开发。有了这个新的理解，我们揭示了最近的基于梯度的采样器在离散空间中可以通过选择特定的离散化作为特殊情况。更重要的是，该框架还允许推导新的算法，其中之一，\textit{Discrete Langevin Monte Carlo}（DLMC），是通过一个因式分解的估计的过渡矩阵。DLMC方法允许一个方便的并行实现和时间均匀采样，实现更大的跳跃距离。我们证明了DLMC在各种二进制和分类分布上的优势。
2023-02-22 cs.LG
Wasserstein Residuals: Learning Gradient Flows from Population Dynamics
Basis Research Institute（基础研究机构）；Aalto University（艾尔沃斯大学）；Brown University（布朗大学）；University of Toronto（多伦多大学）；MIT（麻省理工学院）
针对传统Wasserstein梯度流JKO方法离散不灵活、计算成本高的问题，提出基于残差的新目标与无仿真粒子方法stitching，在轨迹推断基准上取得SOTA性能。
2026-07-07 cs.AI cs.LG stat.ML
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
FlowPool: Pooling Graph Representations with Wasserstein Gradient Flows
在用于图结构化数据的若干机器学习任务中，所考虑的图可以由不同数量的节点组成。因此，有必要设计将不同大小的图表示聚合为固定大小的表示的池化方法，这些表示可以用于下游任务，例如图分类。现有的图池化方法不能保证图表示及其池化版本的相似性。在这项工作中，我们解决了这个限制，提出FlowPool，池化方法，最佳地保留了统计的图形表示，其池化的对手，通过最小化他们的Wasserstein距离。这是通过相对于池化图表示执行Wasserstein梯度流来实现的。我们的方法依赖于一个通用的实现，它可以考虑到通过任何地面成本的表示空间的几何形状，并计算Wasserstein距离的梯度与自动微分。我们提出了Wasserstein流动层的微分使用隐式微分方案。因此，我们的池化方法适用于自动微分，并且可以集成到端到端深度学习架构中。此外，FlowPool对于置换是不变的，因此可以与GNN中的置换等变特征提取层组合，以便获得与节点的排序无关的预测。实验结果表明，我们的方法导致的性能增加相比，现有的池化方法进行评估时，图分类。
2022-05-19 cs.LG
Learning with Differentially Private (Sliced) Wasserstein Gradients
Universidad de Valladolid and IMUVA（巴利亚多利德大学和IMUVA）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；ANITI & Regalia INRIA（ANITI与INRIA Regalia团队）
本文提出一种基于Wasserstein梯度的差分隐私优化框架，通过控制梯度敏感性实现隐私保护，并结合深度学习与梯度裁剪，在保证准确性的同时支持大规模私有训练。
2025-05-21 cs.AI cs.LG math.ST
Gradient Flow Drifting: Generative Modeling via Wasserstein Gradient Flows of KDE-Approximated Divergences
The Chinese University of Hong Kong（香港中文大学）；Civil Aviation University of China（中国民航大学）
本文提出梯度流漂移模型，通过Wasserstein梯度流生成模型，结合反向KL和χ²发散避免模式崩溃与模糊，扩展至黎曼流形以适应语义空间。
2026-03-11 cs.AI cs.LG
An operator splitting analysis of Wasserstein--Fisher--Rao gradient flows
Collegio Carlo Alberto（卡尔罗阿尔贝托学院）；University of Turin（都灵大学）；GNAMPA-INdAM；ESOMAS；School of Mathematics & Statistics（数学与统计学学院）；UNSW Sydney（新南威尔士大学悉尼分校）
本文分析了WFR梯度流中算子分裂顺序对收敛速度的影响，提出变分公式并给出W-FR分裂优于FR-W分裂的条件，同时证明了WFR流保持对数凹性并获得衰减界。
2026-09-17 cs.LG stat.ME stat.ML
SVGD as a kernelized Wasserstein gradient flow of the chi-squared divergence
Massachusetts Institute of Technology（麻省理工学院）
Stein变分梯度下降（SVGD）是一种常用的采样算法，在最优输运几何中常被描述为Kullback-Leibler发散的核化梯度流。我们引入了一个新的视角，而不是SVGD的卡方发散的（核化）梯度流，我们显示，表现出强形式的均匀指数遍历条件下弱的庞加莱不等式。这种观点使我们提出了一种替代SVGD，称为拉普拉斯调整Wasserstein梯度下降（LAWGD），可以从与目标密度相关的拉普拉斯算子的谱分解实现。我们表明，LAWGD具有很强的收敛保证和良好的实用性能。
2020-06-03 cs.LG math.ST stat.TH
Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
Criteo AI Lab（Criteo人工智能实验室）；Université Paris-Dauphine（巴黎多芬大学）；PSL University（巴黎文理大学）；CNRS（法国国家科学研究中心）；LAMSADE（巴黎多芬大学决策实验室）；Sigma Nova（西格玛诺瓦公司）；ESPCI PSL（巴黎高等物理化工学院（巴黎文理大学））
本文提出一种基于高斯平滑切片 Wasserstein 距离梯度流的差分隐私生成模型，通过数值求解相关 SDE 实现隐私保护，实验表明在低隐私预算下能生成更高保真度数据。
2025-01-20 cs.CR cs.LG stat.ML
Mirror and Preconditioned Gradient Descent in Wasserstein Space
CREST；ENSAE；IP Paris（巴黎理工学院）；Institute of Mathematics（数学研究所）；Technische Universität Berlin（柏林工业大学）；TU Wien（维也纳技术大学）
本文将镜像下降和预条件梯度下降推广到Wasserstein空间，通过适配相对光滑性与凸性条件证明离散时间方案的收敛性，并在单细胞对齐任务中验证了选择合适几何结构的优势。
2024-11-18 cs.LG math.OC
On the Wasserstein Gradient Flow Interpretation of Drifting Models
Google DeepMind（谷歌DeepMind）
本文通过Wasserstein梯度流分析了漂移模型，揭示了GMD框架与WGF路径之间的关系，展示了三种主要结果：漂移模型中的算法对应于KL散度的WGF极限点，实际实现的算法对应于Sinkhorn散度的固定点但缺乏某些特性，同时该方法可以扩展到其他WGF的极限点，如MMD、切线Wasserstein距离和GAN批评者函数。
2026-05-21 cs.AI cs.LG stat.ML
Variational Wasserstein gradient flow
Georgia Institute of Technology（佐治亚理工学院）；University of Washington, Seattle（华盛顿大学西雅图分校）
Wasserstein梯度流已经成为解决概率分布空间上的优化问题的一种有前途的方法。最近的趋势是使用众所周知的JKO计划与输入凸神经网络的组合，以数字方式实现近端步骤。在这种设置中，最具挑战性的步骤是根据样本来评估明确涉及密度的函数，例如熵。本文建立在最近的作品有轻微的，但至关重要的区别：我们建议利用变分制定的目标函数制定为最大化的参数类的功能。从理论上讲，建议的变分公式允许直接为经验分布构建梯度流，并具有定义明确且有意义的目标函数。在计算上，这种方法取代了现有方法中计算成本高的步骤，以处理涉及密度的目标函数，内部循环更新只需要一小批样本，并且可以很好地随维度扩展。所提出的方法的性能和可扩展性说明了几个数值实验的帮助下，涉及高维合成和真实数据集。
2022-07-24 cs.LG
Wasserstein GANs with Gradient Penalty Compute Congested Transport
University of Toronto（多伦多大学）
Wasserstein GANs with Gradient Penalty（WGAN-GP）是一种非常流行的方法，用于训练生成模型以产生高质量的合成数据。虽然WGAN-GP最初是为了计算生成数据和真实数据之间的Wasserstein 1距离而开发的，但最近的工作（例如[23]）提供了经验证据，证明这种情况不会发生，并认为WGAN-GP表现良好，而不是尽管有这个问题，但因为它。在本文中，我们首次表明，WGAN-GP计算不同的最优运输问题的最小值，所谓的交通拥堵[7]。拥挤的运输决定了在惩罚拥挤的运输模型下将一个配送中心移动到另一个配送中心的成本。对于WGAN-GP，我们发现拥塞惩罚具有由[12]中使用的采样策略确定的空间变化分量，其作用类似于局部速度限制，使得某些区域的拥塞成本低于其他区域。这方面的拥挤的运输问题是新的，在拥挤的罚款原来是无界的，并取决于要运输的分布，所以我们提供了必要的数学证明，这种设置。我们发现的一个方面是将WGAN-GP中的优化问题的解的梯度与最优质量流的时间平均动量连接起来的公式。这与Wasserstein 1距离的Kantorovich势的梯度相反，Wasserstein 1距离只是流动的归一化方向。基于这一点和其他考虑，我们推测我们的结果如何解释观察到的WGAN-GP性能。除了应用于GANs之外，我们的定理还指出了使用神经网络技术近似解决大规模拥挤运输问…
2022-06-30 cs.LG math.OC stat.ML
One-Step Generative Modeling via Wasserstein Gradient Flows
Stanford University（斯坦福大学）；ByteDance（字节跳动）
提出W-Flow框架，通过Wasserstein梯度流将参考分布到目标分布的演化压缩为一步生成，结合Sinkhorn散度实现高效最优传输，在ImageNet 256×256上达到1.29 FID且采样速度提升约100倍。
2026-05-26 cs.CV cs.LG stat.ML
