Sliced Wasserstein Variational Inference
University of Bristol（布里斯托大学）
变分推断通过最小化Kullback-Leibler（KL）发散来近似未归一化的分布。这种发散性虽然计算效率高，并且在实际应用中得到了广泛的应用，但也存在一些不合理的性质。例如，它不是一个适当的指标，即，它是非对称的，并且不保持三角不等式。另一方面，最佳运输距离最近已经显示出比库尔贝克-莱布勒散度更大的优势。借助这些优点，我们提出了一种新的变分推断方法，通过最小化切片瓦瑟斯坦距离，一个有效的度量所产生的最佳运输。该切片瓦瑟斯坦距离可以简单地通过运行MCMC来近似，而无需求解任何优化问题。我们的近似也不需要一个易处理的密度函数的变分分布，使近似家庭可以摊销的发电机一样，神经网络。此外，我们提供了我们的方法的理论特性的分析。仿真和真实数据的实验结果表明了该方法的有效性。
2022-07-26 cs.LG stat.ML
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
高斯过程（Gaussian processes，GP）是一种著名的非参数贝叶斯推断技术，但对于大样本量，GP存在可扩展性问题，对于非平稳或空间异构数据，GP的性能会降低。在这项工作中，我们试图克服这些问题，通过（i）采用变分自由能近似的GP与在线期望传播步骤的串联操作;和（ii）引入一个本地分裂步骤，每当后验分布变化显着量化的Wasserstein度量超过后验分布，实例化一个新的GP。然后，随着时间的推移，这产生了稀疏GP的集合，其可以增量地更新，并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold
University of Helsinki（赫尔辛基大学）
针对Bures-Wasserstein流形上变分推断中蒙特卡洛估计高方差问题，提出基于控制变量的方差缩减估计器，理论证明方差更小并改进优化界限，实验实现数量级性能提升。
2025-02-28 cs.LG stat.ML
Solving general elliptical mixture models through an approximate Wasserstein manifold
Imperial College London（帝国理工学院）
我们解决一般有限混合模型的估计问题，特别关注椭圆混合模型（EMM）。与广泛采用的Kullback-Leibler分歧相比，我们表明Wasserstein距离提供了一个更理想的优化空间。因此，我们提供了一个稳定的解决方案，既强大的初始化，并通过自适应优化沿流形的近似Wasserstein距离达到一个优越的最佳的EMM。为此，我们首先提供了一个统一的帐户可计算和可识别的EMM，这是一个基础，严格解决基础优化问题。由于概率约束，解决这个问题是非常麻烦和不稳定的，特别是在Wasserstein距离下。为了缓解这个问题，我们引入了一个有效的优化方法下定义的统计流形的近似Wasserstein距离，它允许明确的指标和可计算的操作，从而显着稳定和提高EMM估计。我们进一步提出了一种自适应的方法来加速收敛。实验结果表明，所提出的EMM求解器的优良性能。
2020-10-07 cs.LG stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference
Hokkaido University（北海道大学）；University of Tsukuba（茨口大学）；Kyoto University（京都大学）
本文将变分推断重构为变分参数空间上的概率分布优化问题，提出Wasserstein梯度下降方法，统一了黑箱VI与自然梯度VI，并通过合成数据实验和理论分析验证了其有效性。
2025-04-22 cs.LG stat.ML
Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
Wasserstein Measure Coresets
Massachusetts Institute of Technology（麻省理工学院）
大数据集和贝叶斯推断技术的激增激发了对更好的数据稀疏化的需求。核心集提供了一种原则性的方法，通过一个较小的数据集来总结一个大型数据集，该数据集保证在特定问题上与完整数据集的性能相匹配。然而，经典的核心集忽略了底层的数据分布，这往往是连续的。我们通过引入Wasserstein测度coresets来解决这一疏忽，这是coresets的一个扩展，根据定义，它考虑到了泛化。我们制定的问题，这基本上是在最小化的瓦瑟斯坦距离，是通过随机梯度下降可解的。这就产生了一个算法，它只需要样本访问数据分布，并能够处理大型数据流的在线方式。我们验证我们的建设推理和聚类。
2020-03-02 cs.LG stat.ML
Quantile Propagation for Wasserstein-Approximate Gaussian Processes
The Australian National University（澳大利亚国立大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
近似推理技术是基于高斯过程先验的概率方法的基石。尽管如此，大多数工作近似优化标准的分歧措施，如Kullback-Leibler（KL）分歧，缺乏基本的必要条件的任务在手，而主要是提供仅仅是技术上的方便。我们开发了一种新的近似推理方法高斯过程模型，克服了技术上的挑战，放弃这些方便的分歧。我们的方法-被称为分位数传播（QP）-类似于期望传播（EP），但最小化了$L_2$ Wasserstein距离（WD）而不是KL发散。WD展示了距离度量的所有所需属性，同时尊重底层样本空间的几何形状。我们发现，QP匹配分位数函数，而不是在EP的时刻，并具有相同的均值更新，但比EP更小的方差更新，从而减轻EP的倾向，高估后验方差。至关重要的是，尽管处理WD的显着的复杂性，QP具有相同的有利的局部性EP，从而承认一个有效的算法。分类和泊松回归实验表明，QP优于EP和变分贝叶斯。
2020-11-05 cs.LG stat.ML
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
建立统一的包含性KL推理梯度流和PDF框架，表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理，还开发了直接针对包含性KL散度的梯度流，为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Barycentric Fused Gromov-Wasserstein Balancing for Causal Inference under Multiple Treatments
NTT DOCOMO, INC.（NTT都科摩公司）；Yokohama City University（横滨市立大学）
针对多处理因果推断中现有成对平衡方法的复杂度高、局部结构保留差的问题，本文提出CIHSI-Net框架，基于BFG-WB目标实现高效全局对齐与局部结构保留，模拟及真实数据应用验证了其性能优势。
2026-08-25 cs.AI cs.LG stat.ME
Approximate Bayesian Computation with the Sliced-Wasserstein Distance
近似贝叶斯计算（ABC）是一种流行的方法，用于生成模型的近似推理，具有难以处理但易于采样的可能性。它通过寻找模拟数据在汇总统计量方面接近观察值的参数来构建近似后验分布。这些统计量是预先定义的，可能会导致信息丢失，这已被证明会降低近似的质量。为了克服这个问题，最近提出了Wasserstein-ABC，并通过它们的经验分布之间的瓦瑟斯坦距离来比较数据集，但不能很好地扩展到维度或样本数量。我们提出了一种新的ABC技术，称为Sliced-Wasserstein ABC和基于Sliced-瓦瑟斯坦距离，它具有更好的计算和统计特性。我们推导出两个理论结果，显示我们的方法的渐近一致性，我们说明了它的优势，合成数据和图像去噪任务。
2020-03-06 stat.CO stat.ME stat.ML
Generative Modeling under Non-Monotone MAR Missingness via Approximate Wasserstein Gradient Flows
Department of Mathematics（数学系）；Research Institute for Statistics and Information Science（统计与信息科学研究所）；University of Geneva（日内瓦大学）；University of Hamburg（汉堡大学）
本文提出FLOWGEM方法，通过最小化KL散度生成完整数据集，解决非单调MAR缺失问题，实验证明其在多种设置中表现优异。
2026-04-30 cs.LG stat.ML
Primal-Dual Wasserstein GAN
我们介绍了原始-对偶Wasserstein GAN，一种新的学习算法，用于建立基于原始和对偶公式的最优运输（OT）问题的数据分布的潜变量模型。我们利用原始公式来学习灵活的推理机制，并在数据分布和生成模型之间创建最佳近似耦合。为了学习生成模型，我们使用的对偶制定和训练的解码器通过一个批评网络，这是正则化的近似耦合从原始的。与以前的方法，违反各种属性的最佳评论家，我们正规化的标准和方向的梯度的评论家功能。我们的模型在模式覆盖和潜在结构方面共享了自动编码模型的许多理想属性，同时避免了它们不理想的平均属性，例如在对真实图像建模时无法捕获清晰的视觉特征。我们比较我们的算法与其他几个生成建模技术，利用瓦瑟斯坦距离的弗雷歇初始距离（FID）和初始分数（IS）。
2018-05-24 cs.LG stat.ML
Estimation and inference for the Wasserstein distance between mixing measures in topic models
本文公理化刻画主题模型混合测度间 Wasserstein 距离的规范地位，给出极小极大下界与数据驱动推断工具，并首次构造渐近有效置信区间。
2024-09-08 math.ST stat.ML stat.TH
Variational inference via Wasserstein gradient flows
DGA（法国武器装备总署）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；MIT（麻省理工学院）；MINES Paris PSL（巴黎高等矿业学院（巴黎文理研究大学））；Université de la Nouvelle-Calédonie（新喀里多尼亚大学）
本文提出基于 Bures–Wasserstein 空间梯度流的变分推断方法，用 Gaussian 或 Gaussian 混合近似后验，并在对数凹情形下给出强理论保证。
2023-04-21 cs.LG math.ST stat.ML
Wasserstein Random Forests and Applications in Heterogeneous Treatment Effects
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université de Paris（巴黎大学）；INSERM（法国国家健康与医学研究院）；INRA（法国国家农业研究院）
我们提出了新的见解，因果推断的背景下，异质处理效应，提出自然变异的随机森林估计的关键条件分布。为了实现这一点，我们重铸Breiman的原始分裂标准的经验措施之间的瓦瑟斯坦距离。这种重新表述表明，随机森林很好地适应于估计条件分布，并提供了一个自然的算法扩展到多变量输出。按照Breiman的建设的哲学，我们提出了一些变种的分裂规则，非常适合于条件分布估计问题。一些初步的理论联系建立了各种数值实验，这表明我们的方法可能有助于在复杂的情况下进行更透明的因果推断。
2021-02-15 cs.LG stat.ME stat.ML
Understanding and Accelerating Particle-Based Variational Inference
Tsinghua University（清华大学）；Duke University（杜克大学）
基于粒子的变分推断方法（ParVI）由于其产生灵活且精确的近似的能力而在贝叶斯推断文献中获得关注。我们从Wasserstein梯度流的角度探讨ParVI，并作出理论和实践的贡献。我们统一了现有的ParVI使用的各种有限粒子近似，并认识到近似基本上是一个强制性的平滑处理，在两个等价形式。这种新颖的理解揭示了现有ParVI的假设和关系，也启发了新的ParVI。我们提出了一个加速框架和一般ParVI的原则带宽选择方法，这些都是基于发达国家的理论和杠杆的几何形状的Wasserstein空间。实验结果表明，加速框架和带宽选择方法提高了收敛性和样本精度。
2019-07-16 cs.LG stat.ML
Neural Wasserstein Splines: Representation-Invariant Second-Order Priors for Trajectory Inference
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
该研究针对轨迹推断中粒子表示导致加速度惩罚不一致的问题，提出神经沃瑟斯坦样条（NWSP）方法，通过沃瑟斯坦平滑先验实现表示不变性，在16项基准测试中11项排名前二，性能优于未正则化样条。
2026-10-15 cs.AI cs.LG stat.ML
Approximating 1-Wasserstein Distance with Trees
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）；Meta AI；SliceX AI（SliceX人工智能公司）
衡量分布之间差异的瓦瑟斯坦距离在各种类型的自然语言处理（NLP）和计算机视觉（CV）应用中显示出功效。估计瓦瑟斯坦距离的挑战之一是，它是计算昂贵的，并没有很好地扩展为许多分布比较任务。在本文中，我们的目标是近似的1-瓦瑟斯坦距离的树-瓦瑟斯坦距离（TWD），其中TWD是一个1-瓦瑟斯坦距离与基于树的嵌入，可以在线性时间内计算的节点数在一棵树上。更具体地说，我们提出了一种简单而有效的L1正则化方法来学习树中边的权重。为此，我们首先表明，1-Wasserstein近似问题可以制定为一个距离近似问题，使用最短路径的距离在一棵树上。然后，我们表明，最短路径距离可以表示为一个线性模型，可以制定为一个基于拉索的回归问题。由于凸公式，我们可以有效地获得全局最优解。此外，我们提出了一个树切片这些方法的变体。通过实验，我们证明了加权TWD可以准确地逼近原始的1-瓦瑟斯坦距离。
2022-06-24 cs.AI cs.LG stat.ML
Understanding MCMC Dynamics as Flows on the Wasserstein Space
Tsinghua University（清华大学）
MCMC中使用的Langevin动力学是Wasserstein空间上库尔贝克-莱布勒散度的梯度流，这有助于收敛性分析并启发了最近的基于粒子的变分推断方法（ParVI）.但没有更多的MCMC动力学是以这种方式理解的。在这项工作中，通过开发新的概念，我们提出了一个理论框架，承认一个一般的MCMC动力学的纤维梯度哈密顿流的Wasserstein空间的纤维黎曼泊松流形。流的“守恒+收敛”结构给出了一般MCMC动力学行为的清晰图像。该框架还使ParVI模拟MCMC动态，这丰富了ParVI家族更有效的动态，并适应ParVI优势MCMC。我们开发了两个ParVI方法，一个特定的MCMC动态，并在实验中证明的好处。
2019-07-04 cs.LG stat.ML
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
Wasserstein Contraction of Coordinate Ascent Variational Inference
Department of Statistics, University of Warwick（沃里克大学统计系）；School of Mathematics, University of Bristol（布里斯托大学数学学院）
研究坐标上升变分推断算法在Wasserstein距离下的收缩性，通过不动点处的传输-信息不等式和函数光滑性条件给出局部收敛保证，并应用于贝叶斯高斯混合模型、高维贝叶斯Probit回归及Pólya-Gamma逻辑回归。
2026-07-02 cs.LG math.FA math.OC
Mean-field Variational Inference via Wasserstein Gradient Flow
本文提出了一种基于Wasserstein梯度流的通用计算框架，用于实现贝叶斯模型的均场变分推断，理论证明了其指数级后验集中收敛性，并利用神经网络提出了一种比传统粒子近似更精确高效的无约束数值计算方法。
2023-09-08 math.ST stat.CO stat.ML
2-Wasserstein Approximation via Restricted Convex Potentials with Application to Improved Training for GANs
Coordinated Science Laboratory, UIUC（伊利诺伊大学厄巴纳-香槟分校协同科学实验室）；Technicolor AI Lab（Technicolor人工智能实验室）
我们提供了一个框架，以近似的2-Wasserstein距离和最优输运地图，服从有效的培训以及统计和几何分析。考虑到最优运输问题的Kantorovich对偶形式和二次费用，Brenier定理指出最优势函数是凸的，最优输运图是最优势函数的梯度。使用这种几何结构，我们限制最优化问题不同的参数化类的凸函数，并特别注意类的输入凸神经网络。我们分析了统计推广和歧视的权力，所产生的近似度量，我们证明了一个限制矩匹配属性的近似最优映射。最后，我们讨论了一个数值算法来解决限制性最优化问题，并提供数值实验来说明和比较所提出的方法与已建立的正则化为基础的方法。我们进一步讨论了我们的建议在GANs的模块化和可解释的设计中的实际意义，该设计将生成器训练与并行计算连接起来，以允许学习整个复合生成器。
2019-02-19 cs.LG math.OC stat.ML
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
Conditional Lagrangian Wasserstein Flow for Time Series Imputation
Soochow University（苏州大学）；Aalborg University（奥尔堡大学）
本文提出条件拉格朗日Wasserstein流（CLWF）用于时间序列插补，通过最小化动能学习速度，并利用去噪自编码器估计势函数梯度以降低采样方差，性能优于现有扩散模型方法。
2025-05-07 cs.LG stat.ML
Computing Optimal Transport Maps and Wasserstein Barycenters Using Conditional Normalizing Flows
ETH Zurich（苏黎世联邦理工学院）
本文提出一种利用条件归一化流高效计算高维最优传输映射和Wasserstein重心的新方法，通过基于梯度的传输成本最小化直接求解原始问题，突破了以往方法难以处理数百个输入分布的计算瓶颈。
2025-05-28 cs.LG stat.ML
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford（牛津大学）；Amazon（亚马逊）
我们开发了一个框架，广义变分推断在无限维函数空间，并使用它来构建一个方法称为高斯Wasserstein推理（GWI）。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离，以便使用易于处理的优化标准来确定变分后验，并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络，将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Parallel Streaming Wasserstein Barycenters
Massachusetts Institute of Technology（麻省理工学院）
有效地聚合来自不同来源的数据是一个具有挑战性的问题，特别是当来自每个来源的样本分布不同时。这些差异可能是推理任务所固有的，也可能是由于其他原因而存在的：传感器网络中的传感器可能被放置得很远，从而影响它们各自的测量结果。相反，在计算上将贝叶斯推理任务划分为数据子集是有利的，但是数据不需要在子集之间相同地分布。融合概率分布的一个原则性方法是通过最优传输的透镜：Wasserstein重心是一个单一的分布，它总结了一系列输入测量，同时尊重它们的几何形状。然而，计算重心的规模差，需要离散化的所有输入分布和重心本身。改进这种情况下，我们提出了一个可扩展的，通信效率高，并行算法计算任意分布的Wasserstein重心。我们的算法可以直接对连续输入分布进行操作，并针对流数据进行了优化。我们的方法甚至是强大的非平稳输入分布，并产生一个重心估计，跟踪随着时间的推移的输入措施。该算法是半离散的，只需要离散重心估计。据我们所知，我们还提供了第一界的质量近似重心的离散化变得更精细。最后，我们证明了我们的方法的实际有效性，无论是在跟踪移动的分布在一个球体上，以及在一个大规模的贝叶斯推理任务。
2017-11-14 cs.LG math.OC stat.CO
Contrast-Free ICA and Causal Inference via Wasserstein Distances to the Gaussian
Université Paris-Saclay（巴黎萨克雷大学）
研究利用到高斯分布的 Wasserstein 距离作非高斯性准则，用于线性 ICA 和 LiNGAM 因果推断。基于源与线性组合的 Wasserstein 距离不等式，总体可精确识别 ICA 矩阵与因果顺序，还给出估计器及求解器，实验展现良好性能并开源实现。
2026-07-24 stat.ME stat.ML
Information Newton's flow: second-order optimization method in probability space
Stanford University（斯坦福大学）；University of California（加利福尼亚大学）
我们介绍了一个框架，牛顿流在概率空间与信息度量，命名为信息牛顿流。这里考虑两个信息度量，包括Fisher-Rao度量和Wasserstein-2度量。一个已知的事实是，过阻尼Langevin动力学对应于Kullback-Leibler（KL）发散的Wasserstein梯度流。将这一事实推广到瓦瑟斯坦牛顿流，我们得到牛顿的朗之万动力学。我们提供的例子牛顿的朗之万动力学在一维空间和高斯家庭。在数值实现方面，我们设计了仿射模型和再生核希尔伯特空间（RKHS）中的采样有效变分方法来逼近Wasserstein牛顿方向。我们还建立了所提出的信息牛顿法与近似方向的收敛结果。贝叶斯抽样问题的几个数值例子证明了所提出的方法的有效性。
2020-08-05 cs.LG math.OC stat.ML
GeONet: a neural operator for learning the Wasserstein geodesic
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
GeONet是一种网格不变的深度神经算子网络，学习从初始和终止分布对到Wasserstein测地线的非线性映射，通过离线学习鞍点最优性条件实现即时推理，在模拟和MNIST数据集上以显著降低的计算成本达到与标准OT求解器相当的精度。
2024-05-23 cs.AI cs.CV cs.LG
Differentially Private Sampling from Distributions via Wasserstein Projection
LY Corporation（LY公司）
本文提出基于瓦瑟斯坦距离的差分隐私采样框架，解决传统密度比度量在支持集几何结构和不同分布支持集适用性上的局限。
2026-05-11 cs.CR cs.LG stat.ML
On Representations of Mean-Field Variational Inference
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Columbia University（哥伦比亚大学）
平均场变分推断（MFVI）公式将一般的贝叶斯推断问题限制在乘积测度的子空间上。我们提出了一个框架来分析MFVI算法，这是一个类似的发展一般变分贝叶斯公式的启发。我们的方法使MFVI问题以三种不同的方式表示：Wasserstein空间上的梯度流，一个系统的Fokker-Planck方程和扩散过程。建立严格的保证表明，时间离散化实现的坐标上升变分推断算法的产品Wasserstein空间的措施产生的梯度流的限制。一个类似的结果是获得其相关的密度，与极限由一个准线性偏微分方程。一类流行的实用算法属于这个框架，它提供了建立收敛的工具。我们希望这个框架可以用来保证收敛算法的各种方法，旧的和新的，解决变分推断问题。
2022-10-20 cs.AI cs.LG stat.ML
Practical bounds on the error of Bayesian posterior approximations: A nonasymptotic approach
Harvard T. H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；MIT（麻省理工学院）
贝叶斯推断通常需要计算后验分布的近似值。近似贝叶斯推理算法的一个重要要求是输出高精度的后验均值和不确定性估计。经典的蒙特卡罗方法，特别是马尔可夫链蒙特卡罗，仍然是近似贝叶斯推理的黄金标准，因为它们具有强大的有限样本理论和可靠的收敛诊断。然而，替代方法，这是更可扩展的或适用于不能使用马尔可夫链蒙特卡罗的问题，缺乏相同的有限数据逼近论和工具，以评估其准确性。在这项工作中，我们开发了一种灵活的新方法来界定可扩展推理算法的平均误差和不确定性估计。我们的策略是控制Wasserstein距离的估计误差，然后通过Fisher距离的广义概念来约束Wasserstein距离。不像计算Wasserstein距离，它需要访问归一化的后验分布，Fisher距离是易于计算的，因为它只需要访问对数后验密度的梯度。我们证明了我们的Fisher距离方法的有用性，推导出的拉普拉斯近似和希尔伯特coresets的Wasserstein错误的界限。我们预期我们的方法将适用于许多其他的近似推理方法，如集成拉普拉斯近似，变分推理和近似贝叶斯计算
2018-10-01 cs.LG math.ST stat.CO
On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification
University of California, Berkeley（加州大学伯克利分校）；CREST - ENSAE（法国国家统计与经济管理学院 Crest 实验室）；Google Brain（谷歌大脑）
最优输运（OT）距离越来越多地用作统计推断的损失函数，特别是在生成模型的学习或监督学习中。然而，最小Wasserstein估计的行为知之甚少，特别是在高维制度或模型误指定。在这项工作中，我们采用投影鲁棒（PR）OT的观点，它旨在通过选择一个$k$维子空间，它们可以被投影到两个措施之间的OT成本最大化。我们的第一个贡献是建立PR Wasserstein距离的几个基本统计特性，补充和改进以前的文献，已被限制到一维和指定的情况下。接下来，我们提出了积分PR Wasserstein（IPRW）距离作为PRW距离的替代，通过平均而不是优化子空间。我们的复杂性界限可以帮助解释为什么PRW和IPRW距离优于Wasserstein距离经验在高维推理任务。最后，我们考虑使用PRW距离的参数推断。本文给出了两类最小PRW估计的渐近保证，并给出了模型误设定下最大切片Wasserstein估计的中心极限定理。为了使我们的分析PRW的投影维数大于1，我们设计了一种新的变分分析和统计理论的结合。
2021-07-17 cs.LG math.ST stat.ML
Efficient Approximation of Gromov-Wasserstein Distance Using Importance Sparsification
Renmin University of China（中国人民大学）；Beijing Institute of Technology（北京理工大学）
Gromov-Wasserstein（GW）距离作为度量-测度空间的一个有效度量，在解决点云、图等结构化数据的匹配问题上具有很大的潜力。但由于其高的计算复杂性，限制了其在实际中的应用。为了克服这一挑战，我们提出了一种新的重要性稀疏化方法，称为\textsc{Spar-GW}，有效地近似GW距离。特别是，而不是考虑密集的耦合矩阵，我们的方法利用一个简单但有效的采样策略来构建一个稀疏的耦合矩阵，并更新它与几个计算。所提出的\textsc{Spar-GW}方法适用于具有任意地面代价的GW距离，并且对于任意小的$δ>0$，它将复杂度从$O(n^4)$降低到$O(n^{2+δ})$。理论上，在较弱的正则性条件下，证明了GW距离估计的收敛性和相合性。此外，该方法可以扩展到近似GW距离的变量，包括熵GW距离，融合GW距离和不平衡GW距离。实验表明，我们的\textsc{Spar-GW}国家的最先进的方法在合成和现实世界的任务的优越性。
2023-01-09 cs.LG stat.ME stat.ML
Minimum Wasserstein distance estimator under covariate shift: closed-form, super-efficiency and irregularity
KLATASDS-MOE, School of Statistics, East China Normal University（华东师范大学统计学院）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）
本文提出了一种在协变量偏移下具有闭式解的W估计器，通过最优传输理论解释最近邻方法，并在特定情况下展现出超效率和统一性。
2026-01-12 stat.ME stat.ML
Sliced Wasserstein Generative Models
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在生成式建模中，Wasserstein距离（WD）已成为衡量生成数据分布与真实数据分布之间差异的有用度量。不幸的是，它是具有挑战性的近似WD的高维分布。相比之下，切片Wasserstein距离（SWD）将高维分布分解为多个一维边缘分布，因此更容易近似。在本文中，我们介绍了新的近似的原始和双重SWD。与传统的SWD近似方法不同，我们不使用大量的随机投影，而是提出以端到端的深度学习方式用少量的参数化正交投影来近似SWD。作为我们的SWD近似的具体应用，我们设计了两种类型的可微SWD块来装备现代生成框架-自动编码器（AE）和生成对抗网络（GAN）。在实验中，我们不仅展示了所提出的生成模型在标准图像合成基准上的优越性，而且还展示了以无监督方式生成具有挑战性的高分辨率图像和视频的最新性能。
2019-04-15 cs.CV stat.ML
Preservation of Log-Concavity and Convergence of Wasserstein-Fisher-Rao Gradient Flows
University of Turin（都灵大学）；Collegio Carlo Alberto（卡罗·阿尔贝托学院）；UNSW Sydney（新南威尔士大学悉尼分校）
本文证明WFR梯度流在强对数凹目标分布下保持对数凹性，并导出无需热启动的对称KL散度非渐近收敛速率，其可分解为Wasserstein与Fisher-Rao贡献，证实相关猜想。
2026-09-17 cs.LG math.PR stat.ML
Generation-Powered Inference for Distribution-Valued Outcomes
Department of Biostatistics, Epidemiology and Informatics University of Pennsylvania（宾夕法尼亚大学生物统计学、流行病学与信息学系）
该研究提出生成驱动推断（GPI）框架，用于利用辅助生成模型改进分布值参数的推断，经模拟和K562细胞的Perturb-seq研究验证，其效率更高且在模型误设下表现稳健。
2026-08-17 stat.ME stat.ML
Extended Wasserstein-GAN Approach to Causal Distribution Learning: Density-Free Estimation and Minimax Optimality
The University of Tokyo（东京大学）；Japan Institute for Health Security（日本健康安全研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进情报项目）；Kyoto University（京都大学）
本文提出GANICE方法，通过扩展Wasserstein距离和极小极大最优性理论，解决因果分布估计中的无密度估计和最优性问题，实验表明其优于现有方法。
2026-05-11 cs.LG math.ST stat.ML
Relax and Merge: A Simple Yet Effective Framework for Solving Fair $k$-Means and $k$-sparse Wasserstein Barycenter Problems
University of Science and Technology of China（中国科学技术大学）
针对带组比例公平约束的$k$-均值聚类难题，提出“松弛与合并”框架，取得更优近似比，还可拓展至$k$-稀疏Wasserstein重心问题，实验效果优于基线。
2024-12-07 cs.DS cs.LG stat.ML
Variational inference via radial transport
ETH Zürich（苏黎世联邦理工学院）；Cambridge（剑桥大学）；Yale University（耶鲁大学）
本文提出radVI算法，通过优化径向轮廓改进变分推断中高斯分布的覆盖能力，提供理论收敛保证。
2026-03-31 cs.LG math.ST stat.ML
On the Computation of Kantorovich-Wasserstein Distances between 2D-Histograms by Uncapacitated Minimum Cost Flows
在这项工作中，我们提出了一种方法来计算一对二维直方图之间的Kantorovich-Wasserstein距离。最近在计算机视觉和机器学习方面的工作表明，通过解决具有$n$节点和$n^2$边的非常大的完全二分图上的经典运输问题，测量具有$n$箱的直方图之间的一阶Wasserstein距离的好处。我们的工作的主要贡献是近似的原始运输问题的无容量限制的最小成本流问题的规模为$O(n)$，利用几何结构的费用函数减少流网络。更准确地说，当箱中心之间的距离测量与1-范数或$\infty$-范数，我们的方法提供了一个最优解。当箱间距离用2-范数度量时：（i）给出了最优解与近似解之间误差的定量估计;（ii）在给定误差的情况下，构造了一个规模为$O(n)$的约化流网络.我们数值上显示我们的方法的好处，通过计算Wasserstein距离的顺序一个在一组作为基准的灰度图像在文献中。我们展示了我们的方法如何与1-范数，2-范数和$\infty$-范数地面距离的图像的大小进行缩放，并将其与文献中大量使用的其他两种方法进行比较。
2019-07-26 math.OC stat.ML
Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization
Université Paris Cité（巴黎西岱大学）
研究通过熵平滑近似Wasserstein分布鲁棒优化问题，证明正则化参数趋于零时近似梯度收敛到非正则化目标的次梯度，并给出随机梯度方法的收敛保证和速率。
2026-05-27 math.OC stat.ML
Variational Gaussian filtering via Wasserstein gradient flows
本研究提出一种基于Wasserstein梯度流的变分近似新方法，用于实现高斯及高斯混合滤波，在乘性噪声、多模态状态分布等高斯近似失效的场景中，展现出后验表示与参数估计的竞争力。
2023-06-19 cs.CE cs.SY eess.SY
Summarizing Bayesian Nonparametric Mixture Posterior -- Sliced Optimal Transport Metrics for Gaussian Mixtures
本文提出一种模型无关的贝叶斯非参数混合模型后验总结方法，以混合测度估计为核心目标，通过最小化基于切片 Wasserstein 距离的后验期望损失，并针对高斯混合设计了两种高效变体。
2025-05-08 stat.AP stat.CO stat.ME
