Particle-based Variational Inference with Generalized Wasserstein Gradient Flow
Peking University（北京大学）
本文提出基于广义Wasserstein梯度流的粒子变分推断框架GWG，通过凸函数诱导的更广泛正则化类替代核化方法，提供强收敛保证与自适应度量选择，在模拟和真实数据上验证了有效性与效率。
2023-10-25 cs.LG stat.ML
QuaCK-TSF: Quantum-Classical Kernelized Time Series Forecasting
Université de Sherbrooke（谢布鲁克大学）；Polytechnique Montréal（蒙特利尔理工学院）；Thales Digital Solutions（泰雷兹数字解决方案公司）；Institut Quantique（量子研究所）
本文提出QuaCK-TSF方法，结合高斯过程回归与量子模型核视角，利用Ising相互作用启发的量子特征图和无梯度贝叶斯优化，实现了具有竞争力的量子核化概率时间序列预测。
2024-08-21 cs.AI cs.LG stat.ML
Approximate inference with Wasserstein gradient flows
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的近似推理方法的扩散过程的基础上，Wasserstein梯度流公式的扩散。在这个公式中，随时间变化的扩散密度被导出为遵循特定自由能泛函的梯度的隐式欧拉步骤的极限。现有的Wasserstein梯度流计算方法依赖于离散化的扩散域，禁止其应用领域在几个维度以上。相反，我们提出了一种无离散化的推理方法，直接在连续函数空间中计算Wasserstein梯度流。我们表征所提出的方法的近似特性，并评估它的非线性过滤任务，发现性能相当于最先进的过滤扩散。
2018-06-12 cs.LG stat.ML
Finite-Particle Rates for Regularized Stein Variational Gradient Descent
Department of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系）；Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（北卡罗来纳大学夏洛特分校统计与运筹学系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了正则化Stein变分梯度下降算法的有限粒子率，通过应用树脂型预条件器来校正SVGD的常数阶偏差，推导了时间平均经验测度的非渐近界，并在目标满足W₁I条件下，证明了对于光滑核函数的大类，W₁收敛。
2026-05-18 cs.LG math.ST stat.ML
Kernelized Advantage Estimation: From Nonparametric Statistics to LLM Reasoning
School of Management, University of Science and Technology of China（中国科学技术大学管理学院）；Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系）；School of Mathematics, University of Birmingham（伯明翰大学数学学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Department of Mathematics, Tsinghua University（清华大学数学系）
本文提出利用非参数统计方法提升大语言模型推理中的优势估计，通过核平滑技术实现高效的价值函数估计与策略优化，提升政策学习质量。
2026-05-15 cs.LG stat.ML
Projected Wasserstein gradient descent for high-dimensional Bayesian inference
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
提出了一种求解高维贝叶斯推理问题的投影Wasserstein梯度下降方法（pWGD）。WGD的粒子系统的底层密度函数近似的核密度估计（KDE），它面临着长期存在的灾难的维数。我们克服了这一挑战，利用内在的低秩结构之间的差异后验分布和先验分布。将参数投影到一个低维子空间，以减轻KDE在高维空间的近似误差。我们制定了一个投影Wasserstein梯度流，并分析其收敛性在温和的假设。几个数值实验说明的准确性，收敛性和复杂性的可扩展性pWGD相对于参数尺寸，样本大小和处理器内核。
2021-02-15 cs.LG stat.ML
Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference
Hokkaido University（北海道大学）；University of Tsukuba（茨口大学）；Kyoto University（京都大学）
本文将变分推断重构为变分参数空间上的概率分布优化问题，提出Wasserstein梯度下降方法，统一了黑箱VI与自然梯度VI，并通过合成数据实验和理论分析验证了其有效性。
2025-04-22 cs.LG stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
Local Stability and Performance of Simple Gradient Penalty mu-Wasserstein GAN
POSTECH（浦项科技大学）
Wasserstein GAN（WGAN）是一种最小化数据分布和样本分布之间的Wasserstein距离的模型。最近的研究提出了稳定WGAN的训练过程并实现Lipschitz约束。在这项研究中，我们证明了优化简单梯度惩罚$μ$ -WGAN（SGP $μ$ -WGAN）在适当的假设下，关于平衡和惩罚措施$μ$的局部稳定性。利用测度值微分的概念处理惩罚项的导数，有助于处理低维支撑的抽象奇异测度。基于这种分析，我们认为惩罚数据流形或样本流形是用梯度惩罚正则化原始WGAN的关键。非直观的惩罚措施，满足我们的假设得到的实验结果也提供支持我们的理论结果。
2018-10-05 cs.LG stat.ML
Multiple Wasserstein Gradient Descent Algorithm for Multi-Objective Distributional Optimization
Hokkaido University, Hokkaido, Japan（北海道大学）；Kyoto University, Kyoto, Japan（京都大学）
提出多重Wasserstein梯度下降算法，通过动态加权聚合多目标梯度，在概率分布族上同时最小化多个目标泛函，兼顾多目标采样与生成建模，理论分析与实验验证其有效性。
2025-05-24 cs.LG stat.ML
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
Straight-Through Estimator as Projected Wasserstein Gradient Flow
Duke University（杜克大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
直通（ST）估计是一种广泛使用的技术，用于通过离散随机变量反向传播梯度。然而，这种有效的方法缺乏理论依据。在本文中，我们表明，ST可以解释为模拟的投影Wasserstein梯度流（pWGF）。基于这种理解，建立了理论基础来证明ST的收敛特性。此外，提出了另一种pWGF估计变体，其在具有无限支持的分布上表现出优越的性能，例如，Poisson分布从经验上讲，我们表明，ST和我们提出的估计，而适用于不同类型的离散结构（包括伯努利和泊松潜变量），表现出可比的，甚至更好的性能相对于其他国家的最先进的方法。我们的研究结果揭示了ST估计的广泛采用的起源，并代表了探索离散变量的替代梯度估计的有益的一步。
2019-10-05 cs.LG stat.ML
Policy Optimization as Wasserstein Gradient Flows
Duke University（杜克大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
策略优化是强化学习（RL）的核心组成部分，并且大多数现有的RL方法基于最大化期望总回报或其代理来直接优化策略的参数。虽然经常取得令人鼓舞的经验成功，其基本的数学原理{ \em policy-distribution}优化是不清楚的。我们把政策优化的概率措施的空间，并解释为Wasserstein梯度流。在概率测度空间上，在一定条件下，策略优化问题就成为一个关于分配优化的凸问题。为了使优化可行，我们开发了有效的算法，通过数值求解相应的离散梯度流。我们的技术适用于几个RL设置，并与许多国家的最先进的政策优化算法。实验结果验证了我们的框架的有效性，往往获得更好的性能相比，相关的算法。
2018-08-09 cs.LG stat.ML
Forward-Euler time-discretization for Wasserstein gradient flows can be wrong
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究通过两个反例证明，用于模拟Wasserstein梯度流的前向欧拉时间离散化即使在KL散度等简单能量泛函情形下也可能失效，并解释了原因。
2024-06-12 cs.LG math.OC stat.ML
Wasserstein Gradient Boosting: A Framework for Distribution-Valued Supervised Learning
The University of Edinburgh（爱丁堡大学）
本文提出Wasserstein梯度提升框架，将梯度提升扩展到分布值监督学习，通过拟合Wasserstein梯度伪残差实现基于树的证据学习，并在概率预测上优于现有不确定性量化方法。
2024-08-29 cs.LG stat.ME stat.ML
Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
建立统一的包含性KL推理梯度流和PDF框架，表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理，还开发了直接针对包含性KL散度的梯度流，为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Flowing Datasets with Wasserstein over Wasserstein Gradient Flows
Université Paris-Saclay, Laboratoire de Mathématique d'Orsay（巴黎-萨克雷大学，奥赛数学实验室）
本文将带标签数据集建模为分布上的分布，提出 WoW 距离及其梯度流，并用于迁移学习和数据集蒸馏。
2025-06-09 cs.LG math.OC stat.ML
DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows
Harvard University（哈佛大学）；CREST；ENSAE（法国国家统计与经济行政学院）；IP Paris（巴黎理工学院）
本研究提出分布型深度平衡模型DDEQs，基于Wasserstein梯度流将DEQ拓展至离散测度输入场景，推导适配架构，在点云相关任务中性能达SOTA且参数效率显著提升。
2025-03-23 cs.LG stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Preservation of Log-Concavity and Convergence of Wasserstein-Fisher-Rao Gradient Flows
University of Turin（都灵大学）；Collegio Carlo Alberto（卡罗·阿尔贝托学院）；UNSW Sydney（新南威尔士大学悉尼分校）
本文证明WFR梯度流在强对数凹目标分布下保持对数凹性，并导出无需热启动的对称KL散度非渐近收敛速率，其可分解为Wasserstein与Fisher-Rao贡献，证实相关猜想。
2026-09-17 cs.LG math.PR stat.ML
Learning with minibatch Wasserstein : asymptotic and gradient properties
Univ Bretagne Sud（南布列塔尼大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；Univ Rennes（雷恩大学）；Univ Côte d’Azur（蔚蓝海岸大学）；OCA（蔚蓝海岸天文台）；Laboratoire Lagrange（拉格朗日实验室）；Univ Lyon（里昂大学）；ENS de Lyon（里昂高等师范学校）；UCB Lyon 1（里昂第一大学）；LIP（LIP实验室）
最优运输距离是比较概率分布的有力工具，并且在机器学习中有许多应用。然而，它们的算法复杂性阻止了它们在大规模数据集上的直接使用。为了克服这一挑战，从业者在小批量{ \em，即}上计算这些距离。它们平均了几个较小的最优运输问题的结果。我们在本文中提出了这种做法的分析，其影响还没有得到很好的理解。我们特别认为，它是等价于一个隐式正则化的原始问题，有吸引力的属性，如无偏估计量，梯度和浓度约束周围的期望，但也有缺陷，如损失的距离属性。除了这种理论分析，我们还对梯度流、GANs或颜色转移进行了实证实验，以突出这种策略的实际意义。
2021-10-13 cs.LG stat.ML
Efficient Gradient Flows in Sliced-Wasserstein Space
Université Bretagne Sud（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IMT Atlantique（大西洋国立高等工业技术学院）
概率分布空间中的泛函最小化可以用Wasserstein梯度流来完成。为了数值求解它们，一种可能的方法是依赖于Jordan-Kinderlehrer-Otto（JKO）方案，该方案类似于欧几里得空间中的邻近方案。然而，它需要在每次迭代中求解嵌套优化问题，并且以其计算挑战而闻名，特别是在高维中。为了缓解它，最近的工作提出了利用Brenier定理近似JKO方案，并使用输入凸神经网络的梯度来参数化密度（JKO-ICNN）。然而，这种方法具有高计算成本和稳定性问题。相反，这项工作提出了在概率测度空间中使用梯度流，并赋予切片Wasserstein（SW）距离。我们认为，这种方法比JKO-ICNN更灵活，因为SW享有一个封闭形式的可微近似。因此，每一步的密度可以通过任何生成模型来参数化，这简化了计算负担，并使其在更高的维度上易于处理。
2022-11-15 cs.LG math.OC stat.ML
Random Coordinate Descent on the Wasserstein Space of Probability Measures
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出随机坐标下降框架，针对Wasserstein流形优化问题，提出RWCD和RWCP方法，适用于复合目标，理论分析显示其在非凸、Polyak-Łojasiewicz及仿射凸条件下具有收敛性，实验表明在病态能量下比传统全梯度方法更高效。
2026-04-02 cs.LG math.OC stat.ML
Multi-Objective Optimization via Wasserstein-Fisher-Rao Gradient Flow
Stanford University（斯坦福大学）；Amazon（亚马逊公司）
本文提出一种受分子动力学启发的交互粒子多目标优化方法，结合Langevin动力学与生灭过程，通过支配势引导粒子，可处理复杂Pareto前沿，并在理论和实验上验证了其优越性。
2024-11-21 cs.LG math.OC stat.ML
Wasserstein Gradient Flows for Scalable and Regularized Barycenter Computation
Sigma Nova Paris（Sigma Nova巴黎）
本文提出基于Wasserstein梯度流的可扩展且正则化的barycenter计算方法，通过小批量最优传输和任务感知正则化实现高效的监督信息整合，提升跨领域适应性能。
2026-07-27 cs.AI cs.LG stat.ML
Wasserstein Residuals: Learning Gradient Flows from Population Dynamics
Basis Research Institute（基础研究机构）；Aalto University（艾尔沃斯大学）；Brown University（布朗大学）；University of Toronto（多伦多大学）；MIT（麻省理工学院）
针对传统Wasserstein梯度流JKO方法离散不灵活、计算成本高的问题，提出基于残差的新目标与无仿真粒子方法stitching，在轨迹推断基准上取得SOTA性能。
2026-07-07 cs.AI cs.LG stat.ML
The Wasserstein Proximal Gradient Algorithm
Wasserstein梯度流是定义最速下降曲线以最小化概率测度空间上的目标函数的连续时间动态（即，Wasserstein空间）。这一目标通常是一个分歧w.r.t.固定的目标分布。近年来，这些连续时间动力学已被用于研究旨在近似概率分布的机器学习算法的收敛性。然而，这些算法的离散时间行为可能不同于连续时间动态。此外，虽然离散梯度流已经在文献中提出，很少知道他们的最小化能力。在这项工作中，我们提出了一个向前向后（FB）离散计划，可以解决的情况下，目标函数是一个光滑和非光滑测地线凸项的总和。使用技术从凸优化和最优输运，我们分析了FB计划作为一个最小化算法的Wasserstein空间。更确切地说，我们表明，在温和的假设下，FB计划的收敛保证类似于在欧几里得空间的近端梯度算法。
2021-02-21 math.OC stat.ML
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
An operator splitting analysis of Wasserstein--Fisher--Rao gradient flows
Collegio Carlo Alberto（卡尔罗阿尔贝托学院）；University of Turin（都灵大学）；GNAMPA-INdAM；ESOMAS；School of Mathematics & Statistics（数学与统计学学院）；UNSW Sydney（新南威尔士大学悉尼分校）
本文分析了WFR梯度流中算子分裂顺序对收敛速度的影响，提出变分公式并给出W-FR分裂优于FR-W分裂的条件，同时证明了WFR流保持对数凹性并获得衰减界。
2026-09-17 cs.LG stat.ME stat.ML
Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization
Université Paris Cité（巴黎西岱大学）
研究通过熵平滑近似Wasserstein分布鲁棒优化问题，证明正则化参数趋于零时近似梯度收敛到非正则化目标的次梯度，并给出随机梯度方法的收敛保证和速率。
2026-11-13 math.OC stat.ML
On propagation of chaos for the Fisher-Rao gradient flow in entropic mean-field optimization
University of Ljubljana（卢布尔雅那大学）；University of Zagreb（萨格勒布大学）；Heriot-Watt University（赫瑞-瓦特大学）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
本文研究了Fisher-Rao梯度流在熵均场优化中的传播混沌性，通过构造相互作用粒子系统并证明其存在性和唯一性，为优化算法提供了理论支持。
2026-02-16 math.OC math.PR stat.ML
Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
Criteo AI Lab（Criteo人工智能实验室）；Université Paris-Dauphine（巴黎多芬大学）；PSL University（巴黎文理大学）；CNRS（法国国家科学研究中心）；LAMSADE（巴黎多芬大学决策实验室）；Sigma Nova（西格玛诺瓦公司）；ESPCI PSL（巴黎高等物理化工学院（巴黎文理大学））
本文提出一种基于高斯平滑切片 Wasserstein 距离梯度流的差分隐私生成模型，通过数值求解相关 SDE 实现隐私保护，实验表明在低隐私预算下能生成更高保真度数据。
2025-01-20 cs.CR cs.LG stat.ML
On the Wasserstein Gradient Flow Interpretation of Drifting Models
Google DeepMind（谷歌DeepMind）
本文通过Wasserstein梯度流分析了漂移模型，揭示了GMD框架与WGF路径之间的关系，展示了三种主要结果：漂移模型中的算法对应于KL散度的WGF极限点，实际实现的算法对应于Sinkhorn散度的固定点但缺乏某些特性，同时该方法可以扩展到其他WGF的极限点，如MMD、切线Wasserstein距离和GAN批评者函数。
2026-05-21 cs.AI cs.LG stat.ML
Gradient Flows and Riemannian Structure in the Gromov-Wasserstein Geometry
本文研究Gromov-Wasserstein几何中的梯度流与黎曼结构，提出隐式IGW最小化移动方案，证明其收敛到广义最小化移动，识别内在黎曼结构并建立Benamou-Brenier型公式，数值实验验证了IGW插值的全局性质。
2025-05-21 math.AP math.OC stat.ML
Variational Gaussian filtering via Wasserstein gradient flows
本研究提出一种基于Wasserstein梯度流的变分近似新方法，用于实现高斯及高斯混合滤波，在乘性噪声、多模态状态分布等高斯近似失效的场景中，展现出后验表示与参数估计的竞争力。
2023-06-19 cs.CE cs.SY eess.SY
Accelerated Information Gradient flow
我们提出了一个框架Nesterov的加速梯度流在概率空间设计有效的平均场马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯逆问题。本文考虑了四种信息度量的例子，包括Fisher-Rao度量、Wasserstein-2度量、Kalman-Wasserstein度量和Stein度量。对于Fisher-Rao和Wasserstein-2度量，我们证明了加速梯度流的收敛性质。在实现中，我们提出了一个采样有效的离散时间算法的Wasserstein-2，Kalman-Wasserstein和Stein加速梯度流与重新启动技术。我们还制定了一个核带宽选择方法，学习密度的对数梯度从布朗运动样本。数值实验，包括贝叶斯逻辑斯谛回归和贝叶斯神经网络，表明所提出的方法相比，国家的最先进的算法的强度。
2022-06-23 cs.IT math.IT math.OC
Radon--Wasserstein Gradient Flows for Interacting-Particle Sampling in High Dimensions
Carnegie Mellon University（卡内基梅隆大学）
本文提出基于Radon-Wasserstein几何的高维交互粒子采样方法，通过一维投影实现高效梯度流，提升高维分布估计的准确性和效率。
2026-02-06 cs.LG cs.NA math.AP
Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
本文提出扰动 Wasserstein 梯度流（PWGF），通过高斯过程噪声沿 Wasserstein Hessian 最小特征值方向扰动，使非凸概率测度优化逃离鞍点并达到二阶最优性，且在严格良性目标下具有多项式时间全局收敛保证。
2025-09-21 math.OC stat.ML
Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient Flow
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）；MIT（麻省理工学院）
高斯混合模型形成了一个灵活的和富有表现力的参数分布族，已经在各种各样的应用中找到了应用。不幸的是，从计算的角度来看，将这些模型拟合到数据是一个非常困难的问题。目前，只有基于矩的方法享有理论上的保证，而基于似然的方法主要是由数学，如期望最大化，是已知的失败，在简单的例子。在这项工作中，我们提出了一个新的算法来计算高斯混合模型中的非参数最大似然估计（NPMLE）。我们的方法是基于梯度下降的空间上的概率测度配备了Wasserstein-Fisher-Rao几何，我们建立收敛保证。在实践中，它可以近似使用相互作用的粒子系统，其中粒子的权重和位置交替更新。我们进行了广泛的数值实验，以确认所提出的算法的有效性相比，不仅经典的基准，但也类似的梯度下降算法相对于简单的几何形状。特别是，这些模拟说明了更新相互作用粒子的权重和位置的好处。
2023-01-04 cs.LG math.OC math.ST
Iterated Schrödinger bridge approximation to Wasserstein Gradient Flows
本文提出通过迭代计算相同边缘分布的Schrödinger桥来离散逼近Wasserstein梯度流，证明其收敛性，并为transformer自注意力趋近热流提供严格概率框架。
2024-06-16 math.PR stat.ML
Smoothed Distance Kernels for MMDs and Applications in Wasserstein Gradient Flows
TU Chemnitz（开姆尼茨工业大学）；TU Berlin（柏林工业大学）
针对负距离核非光滑导致经典理论失效的问题，本文通过一维平滑加Riemann-Liouville分数阶积分变换构建了兼具其优良性质且利普希茨可微的新核，在梯度下降中效果相当且有理论保障。
2025-10-22 cs.LG math.FA math.PR
Optimal transport natural gradient for statistical manifolds with continuous sample space
California Institute of Technology（加州理工学院）
该研究针对连续样本空间的参数统计模型，构建Wasserstein统计流形并推导自然梯度下降方法，证明其渐近性能接近牛顿法，通过多种分布模型验证了优化效果优于标准梯度下降。
2020-04-16 cs.IT cs.LG math.IT
Wasserstein Mirror Gradient Flow as the limit of the Sinkhorn Algorithm
University of British Columbia（不列颠哥伦比亚大学）；University of Washington（华盛顿大学）
研究证明了Sinkhorn算法迭代得到的边际分布序列在正则化参数趋于零且迭代次数与1/ε成比例时收敛于2-Wasserstein空间的绝对连续曲线，提出了Wasserstein镜像梯度流概念，并推导了该流的指数收敛条件及对应的Mckean-Vlasov扩散。
2025-09-02 math.AP math.PR stat.ML
Convergence Analysis of the Wasserstein Proximal Algorithm beyond Geodesic Convexity
University of British Columbia（不列颠哥伦比亚大学）；University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）
本文提出了一种无需假设目标函数测地凸性的简单自包含分析，证明了Wasserstein近端算法在自然的Wasserstein类欧几里得Polyak-Łojasiewicz不等式下具有无偏线性收敛性，改进了现有在强测地凸性下求解Wasserstein梯度流的近端算法收敛率，并扩展到半测地凸目标的近端算法。
2026-10-02 math.OC stat.ML
Mean-field Variational Inference via Wasserstein Gradient Flow
本文提出了一种基于Wasserstein梯度流的通用计算框架，用于实现贝叶斯模型的均场变分推断，理论证明了其指数级后验集中收敛性，并利用神经网络提出了一种比传统粒子近似更精确高效的无约束数值计算方法。
2023-09-08 math.ST stat.CO stat.ML
Sequential Monte Carlo approximations of Wasserstein--Fisher--Rao gradient flows
ESOMAS, University of Turin（都灵大学）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；School of Mathematics & Statistics, UNSW Sydney（新南威尔士大学悉尼数学与统计学院）
本文提出了一种基于Wasserstein-Fisher-Rao几何的序列蒙特卡罗算法，用于近似Kullback-Leibler散度的梯度流，并通过实证研究验证其有效性。
2026-02-10 cs.NA math.NA stat.CO
Scaling Limits of the Wasserstein information matrix on Gaussian Mixture Models
本文研究高斯混合模型上Wasserstein度量的标度极限，证明方差趋于零时经重整化后度量极限存在，并将其推广到非齐次格、扩展GMM及二阶度量，同时用数值实验验证了该方法逼近Wasserstein梯度流的有效性。
2023-09-22 cs.NA math.NA math.PR
