Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
Projected Wasserstein gradient descent for high-dimensional Bayesian inference
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
提出了一种求解高维贝叶斯推理问题的投影Wasserstein梯度下降方法（pWGD）。WGD的粒子系统的底层密度函数近似的核密度估计（KDE），它面临着长期存在的灾难的维数。我们克服了这一挑战，利用内在的低秩结构之间的差异后验分布和先验分布。将参数投影到一个低维子空间，以减轻KDE在高维空间的近似误差。我们制定了一个投影Wasserstein梯度流，并分析其收敛性在温和的假设。几个数值实验说明的准确性，收敛性和复杂性的可扩展性pWGD相对于参数尺寸，样本大小和处理器内核。
2021-02-15 cs.LG stat.ML
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
Understanding and Accelerating Particle-Based Variational Inference
Tsinghua University（清华大学）；Duke University（杜克大学）
基于粒子的变分推断方法（ParVI）由于其产生灵活且精确的近似的能力而在贝叶斯推断文献中获得关注。我们从Wasserstein梯度流的角度探讨ParVI，并作出理论和实践的贡献。我们统一了现有的ParVI使用的各种有限粒子近似，并认识到近似基本上是一个强制性的平滑处理，在两个等价形式。这种新颖的理解揭示了现有ParVI的假设和关系，也启发了新的ParVI。我们提出了一个加速框架和一般ParVI的原则带宽选择方法，这些都是基于发达国家的理论和杠杆的几何形状的Wasserstein空间。实验结果表明，加速框架和带宽选择方法提高了收敛性和样本精度。
2019-07-16 cs.LG stat.ML
Wasserstein Measure Coresets
Massachusetts Institute of Technology（麻省理工学院）
大数据集和贝叶斯推断技术的激增激发了对更好的数据稀疏化的需求。核心集提供了一种原则性的方法，通过一个较小的数据集来总结一个大型数据集，该数据集保证在特定问题上与完整数据集的性能相匹配。然而，经典的核心集忽略了底层的数据分布，这往往是连续的。我们通过引入Wasserstein测度coresets来解决这一疏忽，这是coresets的一个扩展，根据定义，它考虑到了泛化。我们制定的问题，这基本上是在最小化的瓦瑟斯坦距离，是通过随机梯度下降可解的。这就产生了一个算法，它只需要样本访问数据分布，并能够处理大型数据流的在线方式。我们验证我们的建设推理和聚类。
2020-03-02 cs.LG stat.ML
Mean-field Variational Inference via Wasserstein Gradient Flow
本文提出了一种基于Wasserstein梯度流的通用计算框架，用于实现贝叶斯模型的均场变分推断，理论证明了其指数级后验集中收敛性，并利用神经网络提出了一种比传统粒子近似更精确高效的无约束数值计算方法。
2023-09-08 math.ST stat.CO stat.ML
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
Variational inference via Wasserstein gradient flows
DGA（法国武器装备总署）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；MIT（麻省理工学院）；MINES Paris PSL（巴黎高等矿业学院（巴黎文理研究大学））；Université de la Nouvelle-Calédonie（新喀里多尼亚大学）
本文提出基于 Bures–Wasserstein 空间梯度流的变分推断方法，用 Gaussian 或 Gaussian 混合近似后验，并在对数凹情形下给出强理论保证。
2023-04-21 cs.LG math.ST stat.ML
Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space
Massachusetts Institute of Technology（麻省理工学院）；University of California, Davis（加州大学戴维斯分校）；Microsoft Research（微软研究院）
本文提出FB-GVI算法，利用KL散度在Bures-Wasserstein空间上的复合结构求解高斯变分推断，并在对数光滑且对数凹及仅对数光滑两种条件下分别取得了最先进和首个收敛性保证。
2023-04-10 cs.LG math.OC math.ST
Wasserstein Contraction of Coordinate Ascent Variational Inference
Department of Statistics, University of Warwick（沃里克大学统计系）；School of Mathematics, University of Bristol（布里斯托大学数学学院）
研究坐标上升变分推断算法在Wasserstein距离下的收缩性，通过不动点处的传输-信息不等式和函数光滑性条件给出局部收敛保证，并应用于贝叶斯高斯混合模型、高维贝叶斯Probit回归及Pólya-Gamma逻辑回归。
2026-07-02 cs.LG math.FA math.OC
Understanding MCMC Dynamics as Flows on the Wasserstein Space
Tsinghua University（清华大学）
MCMC中使用的Langevin动力学是Wasserstein空间上库尔贝克-莱布勒散度的梯度流，这有助于收敛性分析并启发了最近的基于粒子的变分推断方法（ParVI）.但没有更多的MCMC动力学是以这种方式理解的。在这项工作中，通过开发新的概念，我们提出了一个理论框架，承认一个一般的MCMC动力学的纤维梯度哈密顿流的Wasserstein空间的纤维黎曼泊松流形。流的“守恒+收敛”结构给出了一般MCMC动力学行为的清晰图像。该框架还使ParVI模拟MCMC动态，这丰富了ParVI家族更有效的动态，并适应ParVI优势MCMC。我们开发了两个ParVI方法，一个特定的MCMC动态，并在实验中证明的好处。
2019-07-04 cs.LG stat.ML
Pathfinder: Parallel quasi-Newton variational inference
Columbia University（哥伦比亚大学）；Flatiron Institute（弗莱提荣研究所）；Aalto University（阿尔托大学）
我们提出了探路者，一个变分方法近似采样可微日志密度。从随机初始化开始，Pathfinder沿着拟牛顿优化路径定位目标密度的正常近似，使用优化器产生的逆Hessian估计估计局部协方差。Pathfinder返回从具有最低估计Kullback-Leibler（KL）发散的近似到真实后验的绘制。我们评估探路者在广泛的后验分布，证明其近似绘制优于自动微分变分推断（ADVI）和可比的动态哈密顿蒙特卡罗（HMC），由1-瓦瑟斯坦距离测量的短链。与ADVI和短动态HMC运行相比，Pathfinder需要少一到两个数量级的对数密度和梯度评估，对于更具挑战性的后验，减少幅度更大。Pathfinder多次运行的重要性恢复提高了近似绘制的多样性，进一步减小了1-瓦瑟斯坦距离，并提供了对平台、鞍点或次要模式上的优化失败的鲁棒性度量。蒙特卡罗库尔贝克-莱布勒散度估计在核心Pathfinder算法中是可并行化的，在resort版本中也是如此，进一步增加了Pathfinder在多个核心上的速度优势。
2022-05-16 cs.LG stat.ML
On Representations of Mean-Field Variational Inference
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Columbia University（哥伦比亚大学）
平均场变分推断（MFVI）公式将一般的贝叶斯推断问题限制在乘积测度的子空间上。我们提出了一个框架来分析MFVI算法，这是一个类似的发展一般变分贝叶斯公式的启发。我们的方法使MFVI问题以三种不同的方式表示：Wasserstein空间上的梯度流，一个系统的Fokker-Planck方程和扩散过程。建立严格的保证表明，时间离散化实现的坐标上升变分推断算法的产品Wasserstein空间的措施产生的梯度流的限制。一个类似的结果是获得其相关的密度，与极限由一个准线性偏微分方程。一类流行的实用算法属于这个框架，它提供了建立收敛的工具。我们希望这个框架可以用来保证收敛算法的各种方法，旧的和新的，解决变分推断问题。
2022-10-20 cs.AI cs.LG stat.ML
Semi-dual Regularized Optimal Transport
CREST（Crest 研究中心）；ENSAE（法国国家统计与经济管理学院）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）
涉及Wasserstein距离和更普遍的最优运输（OT）理论的变分问题在数据科学中发挥着越来越重要的作用。这样的问题可以用来形成一个示例措施的各种概率措施，如在瓦瑟斯坦重心问题，或进行参数推断和密度拟合，其中的损失是衡量的最佳运输成本的措施的意见。尽管概念上很简单，但这些问题在计算上具有挑战性，因为它们涉及到最小化本身难以计算的量（Wasserstein距离）。最近出现的熵正则化作为一个有效的工具来近似解这样的变分Wasserstein问题。在本文中，我们给出了这些正则化技术的一个彻底的对偶之旅。特别是，我们展示了如何从经典OT的重要概念，如c-变换和半离散的方法转化为类似的想法在正则化设置。这些对偶公式导致光滑变分问题，这些问题可以使用光滑、可微和凸优化问题来解决，这些问题比它们的非正则化对应问题更容易实现并且在数值上更稳定。我们说明了这种方法的多功能性，将其应用到Wasserstein重心和梯度流的空间正则化泛函的计算。
2018-11-13 cs.AI cs.LG math.OC
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University（斯坦福大学）；VinAI（越南人工智能研究所）
深度潜变量模型（如变分自编码器（VAE））中的识别网络依赖于摊销推理，以实现有效的后验近似，可以扩展到大型数据集。然而，这种技术也被证明是选择次优的变分参数，往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练，最近的工作已经引入了一个附加的细化步骤，该步骤应用随机变分推断（SVI）来改进由摊销推理模型返回的变分参数。在本文中，我们提出了缓冲随机变分推断（BSVI），一个新的细化过程，利用SVI的序列的中间变分建议分布和相应的重要性权重，以构建一个新的广义重要性加权下界。我们的经验表明，训练变分自动编码器与BSVI一贯优于SVI，产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Importance Weighting and Variational Inference
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Computer Science, Mount Holyoke College（曼荷莲学院计算机科学系）
最近的工作使用重要性采样的想法，更好的变分界限的可能性。我们澄清了这些想法的适用性，纯概率推理，通过显示所得到的重要性加权变分推理（IWVI）技术是一个例子，增强变分推理，从而确定在以前的工作中的松散。实验证实IWVI的实用性概率推理。作为第二个贡献，我们调查的推断与椭圆分布，这提高了精度在低维，并在高维收敛。
2018-10-27 cs.LG stat.ML
Algorithms for mean-field variational inference via polyhedral optimization in the Wasserstein space
Courant Institute of Mathematical Sciences, New York University（纽约大学Courant数学科学研究所）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Center for Data Science, New York University（纽约大学数据科学中心）
本文研究了 Wasserstein 空间上的多面体优化理论，并将其应用于平均场变分推断（MFVI），在分布具有强对数凹且对数光滑性质时，提供了逼近速率证明和基于加速梯度下降的 KL 散度最小化算法，实现了首个基于梯度的 MFVI 端到端分析。
2025-05-29 cs.LG math.OC math.ST
Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Georgia Institute of Technology（佐治亚理工学院）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文提出变分传输算法，通过推动粒子近似执行 Wasserstein 梯度下降来求解分布优化问题，并在 PL 条件下证明其线性收敛且统计误差随粒子数增加次线性衰减。
2024-04-01 cs.LG math.OC math.ST
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗（MCMC）和变分推理。MCMC如果运行足够长的时间，则趋于准确，而变分推理则趋于在较短的时间范围内给出更好的近似。然而，MCMC超过变分方法的性能所需的时间量可能相当高，从而激发了更细粒度的权衡。本文推导出一个分布变分参数，旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限，并给出了一个例子，如何从这个分布中的方式，插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理（SGVI）。
2017-06-20 cs.LG stat.ML
Variational inference via radial transport
ETH Zürich（苏黎世联邦理工学院）；Cambridge（剑桥大学）；Yale University（耶鲁大学）
本文提出radVI算法，通过优化径向轮廓改进变分推断中高斯分布的覆盖能力，提供理论收敛保证。
2026-03-31 cs.LG math.ST stat.ML
A Computational Framework for Solving Wasserstein Lagrangian Flows
Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Vector Institute（矢量研究所）；University of Toronto（多伦多大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出统一的深度学习框架，利用拉格朗日对偶形式求解多种最优输运变分问题，无需模拟轨迹或最优耦合，并在单细胞轨迹推断中取得优于现有方法的效果。
2024-07-03 cs.LG math.OC stat.ML
Gromov-Wasserstein Distance based Object Matching: Asymptotic Inference
在本文中，我们的目标是提供一个统计理论的基础上的Gromov-Wasserstein距离的对象匹配。为此，我们将一般对象建模为度量测度空间。在此基础上，我们提出了一个简单而有效的计算渐近统计测试姿态不变的目标的歧视。这是基于Gromov-Wasserstein距离的$β$修剪下界的经验版本。我们推导出该检验统计量的$β\in[0,1/2)$分布极限。为此，我们引入了一个新的以$β$为索引的$U$型过程，并证明了它的弱收敛性.最后，理论开发的Monte Carlo模拟研究和应用于结构蛋白质的比较。
2020-06-24 math.ST stat.TH
Efficient Trajectory Inference in Wasserstein Space Using Consecutive Averaging
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tel Aviv University（特拉维夫大学）
本文提出在Wasserstein空间中结合连续平均、B样条逼近插值与最优传输测地线进行轨迹推断，能自动处理粒子分裂，并在细胞分叉、合并及supercells等数据上验证了其线性收敛性和优于现有方法的性能。
2025-03-11 cs.LG cs.NA math.NA
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发，我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此，我们将这种变分推理技术应用于香草策略梯度，TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
A Tutorial on Parametric Variational Inference
Uppsala University（乌普萨拉大学）
在贝叶斯模型中，变分推断使用优化而不是积分来近似边缘似然，从而近似后验。由于过去十年在计算可扩展性方面取得的进展，变分推断现在是许多高维模型和大型数据集的首选。本教程介绍了变分推断从参数的角度来看，占主导地位的这些最近的发展，在其他介绍性文本中常见的平均场的角度。
2023-01-03 cs.LG stat.ME stat.ML
Bures-Wasserstein Importance-Weighted Evidence Lower Bound: Exposition and Applications
The University of Sydney Business School（悉尼大学商学院）；School of Mathematics, The University of Edinburgh（爱丁堡大学数学学院）
研究在布雷斯 - 瓦瑟斯坦空间中优化重要性加权证据下界（IW - ELBO），推导其瓦瑟斯坦梯度并投影到该空间以用于高斯变分推理，证明其梯度估计器稳定性良好，实验显示该框架比其他基线有更优近似性能。
2026-07-14 cs.LG stat.CO stat.ME
Regularized Stein Variational Gradient Flow
Georgia Institute of Technology（佐治亚理工学院）；University of California, Davis（加州大学戴维斯分校）；Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
针对 SVGD 梯度流仅能常数阶近似 KL 散度 Wasserstein 梯度流的问题，提出可在二者间插值的正则化 Stein 变分梯度流，并证明其收敛性、弱解唯一性与稳定性。
2024-05-09 cs.LG cs.NA math.AP
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University（明治大学）；Chuo University（中央大学）
变分推断（VI）结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗（SMC）及其变体上，例如，前向滤波后向模拟（FFBSi）。虽然这些研究取得了成功，严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中，我们提出了Ensemble卡尔曼变分目标（EnKO），VI和集合卡尔曼滤波（EnKF）的混合方法，推断状态空间模型（SSM）。我们提出的方法可以有效地识别潜在的动态，因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Variational Inference for GARCH-family Models
Aarhus University（奥胡斯大学）
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状，探讨变分推断的替代可行性，经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
Statistical Mechanics of Learning on Product Wasserstein Manifolds
Curlvee Technolabs（库尔维科技公司）；C-DAC（印度高级计算发展中心）；Indian Institute of Technology Madras（印度马德拉斯理工学院）
该研究将结构约束重定义为几何先验，提出在乘积Wasserstein流形上开展学习，开发相关算法，实验表明其可提升学习系统的泛化能力、稳定性并缓解贫瘠高原问题。
2026-08-06 cs.AI cs.LG math.MG
Parallel Streaming Wasserstein Barycenters
Massachusetts Institute of Technology（麻省理工学院）
有效地聚合来自不同来源的数据是一个具有挑战性的问题，特别是当来自每个来源的样本分布不同时。这些差异可能是推理任务所固有的，也可能是由于其他原因而存在的：传感器网络中的传感器可能被放置得很远，从而影响它们各自的测量结果。相反，在计算上将贝叶斯推理任务划分为数据子集是有利的，但是数据不需要在子集之间相同地分布。融合概率分布的一个原则性方法是通过最优传输的透镜：Wasserstein重心是一个单一的分布，它总结了一系列输入测量，同时尊重它们的几何形状。然而，计算重心的规模差，需要离散化的所有输入分布和重心本身。改进这种情况下，我们提出了一个可扩展的，通信效率高，并行算法计算任意分布的Wasserstein重心。我们的算法可以直接对连续输入分布进行操作，并针对流数据进行了优化。我们的方法甚至是强大的非平稳输入分布，并产生一个重心估计，跟踪随着时间的推移的输入措施。该算法是半离散的，只需要离散重心估计。据我们所知，我们还提供了第一界的质量近似重心的离散化变得更精细。最后，我们证明了我们的方法的实际有效性，无论是在跟踪移动的分布在一个球体上，以及在一个大规模的贝叶斯推理任务。
2017-11-14 cs.LG math.OC stat.CO
A Wasserstein Geometric Framework for Hebbian Plasticity
Ulrich Tan
本文提出Hebb-Wasserstein-几何框架，通过Wasserstein最小化运动建模记忆状态，将Hebb学习规则形式化为满足序列稳定性条件的Hebb能量，揭示记忆巩固作为扰动Wasserstein梯度流的变分结构。
2026-04-17 cs.LG math.OC math.PR
Variational Wasserstein Barycenters for Geometric Clustering
Arizona State University（亚利桑那州立大学）
本文提出用变分原理求解Monge映射来计算Wasserstein重心。我们讨论了WB的度量属性，并探讨了它们的连接，特别是Monge WB，K-means聚类和联合聚类的连接。我们还讨论了Monge WB在非平衡测度和球面域上的可行性。我们提出了两个新的问题-正则化的K-均值和Wasserstein重心压缩。我们证明了使用VWB在解决这些集群相关的问题。
2023-03-30 cs.LG stat.ML
Finite-Particle Rates for Regularized Stein Variational Gradient Descent
Department of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系）；Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（北卡罗来纳大学夏洛特分校统计与运筹学系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了正则化Stein变分梯度下降算法的有限粒子率，通过应用树脂型预条件器来校正SVGD的常数阶偏差，推导了时间平均经验测度的非渐近界，并在目标满足W₁I条件下，证明了对于光滑核函数的大类，W₁收敛。
2026-05-18 cs.LG math.ST stat.ML
Incremental Variational Inference for Latent Dirichlet Allocation
引入增量变分推断并将其应用于隐狄利克雷分配问题。增量变分推断的灵感来自增量EM，并提供了一种替代随机变分推断。增量LDA可以处理大量的文档集合，不需要设置学习率，收敛到局部最优的变分界更快，并享有单调增加它的吸引人的属性。我们进一步介绍了一个随机逼近的增量变分推断扩展到异步分布式设置。由此产生的分布式算法实现单主机增量变分推断的性能相当，但具有显着的速度。
2015-07-22 stat.ML
Automatic Variational Inference in Stan
变分推断是一种可扩展的近似贝叶斯推断技术。推导变分推断算法需要繁琐的特定于模型的计算;这使得它难以自动化。提出了一种自动变分推断算法--自动微分变分推断（ADVI）。用户只提供了一个贝叶斯模型和一个数据集;没有别的。我们不做共轭假设，并支持广泛的一类模型。该算法自动确定一个合适的变分家庭和优化的变分目标。我们在Stan中实现了ADVI（代码现已可用），这是一个概率编程框架。我们比较ADVI MCMC抽样分层广义线性模型，非共轭矩阵分解，和混合模型。我们用25万张图片训练混合模型。有了ADVI，我们可以在Stan中编写的任何模型上使用变分推断。
2015-06-12 stat.ML
Two Methods For Wild Variational Inference
变分推断为复杂结构化模型的近似概率推理提供了一个强大的工具。然而，典型的变分推断方法需要使用具有计算上易处理的概率密度函数的推理网络。这在很大程度上限制了变分推理方法的设计和实现。我们考虑野生变分推断方法，不需要听话的密度函数的推理网络，因此可以应用于更具有挑战性的情况下。作为一个应用实例，我们将随机梯度Langevin动力学（SGLD）作为一个推理网络，并使用我们的方法自动调整SGLD的步长，与手工设计的步长方案相比，得到了显着的改进
2017-10-30 stat.ML
Stochastic Collapsed Variational Inference for Sequential Data
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。本文提出了一种序列数据下的随机折叠变分推断算法。我们的算法适用于有限隐马尔可夫模型和层次Dirichlet过程隐马尔可夫模型，并在指数族的排放分布所产生的任何数据集。我们在两个离散数据集上的实验结果表明，我们的推理是更有效的，更准确的比它的非折叠版本，随机变分推断。
2015-12-05 stat.ML
Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校）；Department of Statistics, University of California, Davis（统计系，加州大学 Davis 分校）；Department of Statistics, University of Chicago（统计系，芝加哥大学）
研究斯坦变分梯度下降算法在核斯坦差异和瓦瑟斯坦-2度量下的有限粒子收敛速率。通过分析相对熵时间导数，得出连续和离散时间下\(1/\sqrt{N}\)的收敛速率，还在特定核下得到瓦瑟斯坦-2收敛及相关结果。
2026-07-07 cs.LG math.PR math.ST
On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification
University of California, Berkeley（加州大学伯克利分校）；CREST - ENSAE（法国国家统计与经济管理学院 Crest 实验室）；Google Brain（谷歌大脑）
最优输运（OT）距离越来越多地用作统计推断的损失函数，特别是在生成模型的学习或监督学习中。然而，最小Wasserstein估计的行为知之甚少，特别是在高维制度或模型误指定。在这项工作中，我们采用投影鲁棒（PR）OT的观点，它旨在通过选择一个$k$维子空间，它们可以被投影到两个措施之间的OT成本最大化。我们的第一个贡献是建立PR Wasserstein距离的几个基本统计特性，补充和改进以前的文献，已被限制到一维和指定的情况下。接下来，我们提出了积分PR Wasserstein（IPRW）距离作为PRW距离的替代，通过平均而不是优化子空间。我们的复杂性界限可以帮助解释为什么PRW和IPRW距离优于Wasserstein距离经验在高维推理任务。最后，我们考虑使用PRW距离的参数推断。本文给出了两类最小PRW估计的渐近保证，并给出了模型误设定下最大切片Wasserstein估计的中心极限定理。为了使我们的分析PRW的投影维数大于1，我们设计了一种新的变分分析和统计理论的结合。
2021-07-17 cs.LG math.ST stat.ML
Kernel Implicit Variational Inference
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
变分推断的最新进展十分关注变分后验的灵活性。一个有希望的方向是使用隐式分布，即，分布没有易处理的密度作为变分后验。然而，现有的隐式后验方法仍然面临着噪声估计和计算不可行的挑战时，应用于高维潜变量模型。在本文中，我们提出了一种新的方法命名为核隐式变分推断，以解决这些挑战。据我们所知，第一次隐式变分推断成功地应用到贝叶斯神经网络，这表明在回归和分类任务有希望的结果。
2018-02-23 cs.AI cs.LG cs.NE
Learning Model Reparametrizations: Implicit Variational Inference by Fitting MCMC distributions
我们介绍了一种新的算法，结合重新参数化，马尔可夫链蒙特卡罗和变分方法的近似推理。我们构建了一个非常灵活的隐式变分分布合成的任意马尔可夫链蒙特卡罗操作和确定性变换，可以使用重新参数化技巧进行优化。与现有的隐式变分推断方法不同，该方法避免了对数密度比的计算，因此易于应用于任意连续和可微模型.我们证明了所提出的算法拟合香蕉形分布和训练变分自动编码器。
2017-08-04 stat.ML
SVGD as a kernelized Wasserstein gradient flow of the chi-squared divergence
Massachusetts Institute of Technology（麻省理工学院）
Stein变分梯度下降（SVGD）是一种常用的采样算法，在最优输运几何中常被描述为Kullback-Leibler发散的核化梯度流。我们引入了一个新的视角，而不是SVGD的卡方发散的（核化）梯度流，我们显示，表现出强形式的均匀指数遍历条件下弱的庞加莱不等式。这种观点使我们提出了一种替代SVGD，称为拉普拉斯调整Wasserstein梯度下降（LAWGD），可以从与目标密度相关的拉普拉斯算子的谱分解实现。我们表明，LAWGD具有很强的收敛保证和良好的实用性能。
2020-06-03 cs.LG math.ST stat.TH
Markov Chain Monte Carlo and Variational Inference: Bridging the Gap
随机梯度变分推断的最新进展使得利用含有辅助随机变量的后验近似进行变分贝叶斯推断成为可能。这使我们能够探索一种新的合成变分推断和蒙特卡罗方法，我们将一个或多个步骤的MCMC到我们的变分近似。通过这样做，我们获得了丰富的推理算法弥合变分方法和MCMC之间的差距，并提供了最好的两个世界：快速后验近似通过显式目标的最大化，与交易的选择额外的计算额外的准确性。我们描述的理论基础，使这成为可能，并显示一些有前途的第一个结果。
2015-05-19 stat.CO stat.ML
A Deterministic Global Optimization Method for Variational Inference
用于潜变量统计模型的变分推断方法已经得到普及，因为它们相对快速，可以处理大数据集，并且具有确定性收敛保证。然而，在实践中，不清楚由变分推断算法识别的不动点是局部最优还是全局最优。在这里，我们提出了一种方法，用于构造迭代优化算法的变分推断问题，保证收敛到$ε$ -全球变分下界的对数似然。我们推导出推理算法的两个变分近似的标准贝叶斯高斯混合模型（BGMM）。我们提出了一个最小的数据集的经验测试收敛性和表明，变分推断算法经常收敛到局部最优，而我们的算法总是收敛到全局最优的变分下界。我们的特点所产生的损失，选择一个非最佳的变分近似分布表明，选择的近似变分分布值得尽可能多的关注，为一个给定的数据集的原始统计模型的选择。
2017-03-21 stat.ME stat.ML
Centered plug-in estimation of Wasserstein distances
本文提出一种基于线性组合的中心化程序，消除了平方欧几里得2-Wasserstein距离插入估计量的正偏差，构造了一对保证有信息量的互补上下界估计量，并应用于贝叶斯计算中的近似推断偏差与MCMC收敛性估计。
2025-04-29 stat.CO stat.ME stat.ML
Stochastic Variational Inference
Adobe Research（Adobe研究院）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
我们开发了随机变分推断，一个可扩展的算法近似后验分布。我们开发了一个大类的概率模型，我们证明了它与两个概率主题模型，潜在的Dirichlet分配和层次Dirichlet过程主题模型。使用随机变分推断，我们分析了几个大的文档集合：30万篇来自《自然》的文章，180万篇来自《纽约时报》的文章，以及380万篇来自维基百科的文章。随机推理可以很容易地处理这种大小的数据集，并且优于传统的变分推断，后者只能处理较小的子集。(We也表明贝叶斯非参数主题模型优于其参数对应模型。随机变分推断使我们能够将复杂的贝叶斯模型应用于海量数据集。
2013-04-22 cs.AI stat.CO stat.ME
On the Convergence of Wasserstein Gradient Descent for Sampling
VNU University of Science, Hanoi, Vietnam（越南国立大学科学大学）；Vin University, Hanoi, Vietnam（越南文大学）；The University of Sydney Business School, Australia（澳大利亚悉尼大学商学院）
本文提出基于Wasserstein梯度下降的采样方法，证明其在特定测度空间子类中的收敛性，并通过实验展示其在复杂分布采样中的有效性。
2026-10-09 stat.CO
Exact Statistical Inference for the Wasserstein Distance by Selective Inference
Nagoya Institute of Technology（名古屋工业大学）；RIKEN（理化学研究所）
在本文中，我们研究了瓦瑟斯坦距离的统计推断，这已经引起了广泛的关注，并已被应用于各种机器学习任务。文献中已经提出了一些研究，但几乎所有的研究都是基于渐近近似，不具有有限样本有效性。在这项研究中，我们提出了一个精确的（非渐近）推理方法的瓦瑟斯坦距离的启发条件选择性推理（SI）的概念。据我们所知，这是第一个方法，可以提供一个有效的置信区间（CI）的瓦瑟斯坦距离有限样本覆盖保证，这不仅可以应用于一维问题，但也适用于多维问题。我们评估所提出的方法在合成和真实世界的数据集上的性能。
2022-01-20 cs.LG stat.ML
Approximate inference with Wasserstein gradient flows
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的近似推理方法的扩散过程的基础上，Wasserstein梯度流公式的扩散。在这个公式中，随时间变化的扩散密度被导出为遵循特定自由能泛函的梯度的隐式欧拉步骤的极限。现有的Wasserstein梯度流计算方法依赖于离散化的扩散域，禁止其应用领域在几个维度以上。相反，我们提出了一种无离散化的推理方法，直接在连续函数空间中计算Wasserstein梯度流。我们表征所提出的方法的近似特性，并评估它的非线性过滤任务，发现性能相当于最先进的过滤扩散。
2018-06-12 cs.LG stat.ML
Towards Better Data Augmentation using Wasserstein Distance in Variational Auto-encoder
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
变分自动编码器（VAE）将数据压缩成潜在属性，并生成不同种类的新数据。基于KL散度的VAE被认为是一种有效的数据增强技术。在本文中，我们提出了使用Wasserstein距离作为潜在属性的分布相似性的度量，并显示其优越的理论下限（ELBO）相比，KL分歧在温和的条件下。通过多个实验，我们证明了新的损失函数具有更好的收敛性，并产生人工图像，可以更好地帮助图像分类任务。
2022-08-16 cs.LG
Geometry-Aware Normalizing Wasserstein Flows for Optimal Causal Inference
Columbia Business School（哥伦比亚大学商学院）
该研究将连续归一化流与参数子模型结合，嵌入Wasserstein梯度流引入几何结构，提出几何感知归一化Wasserstein流因果推断方法，可最小化有限样本下方差，均方误差低于传统方法，提升了因果推断性能。
2024-02-01 cs.LG stat.ML
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
高斯过程（Gaussian processes，GP）是一种著名的非参数贝叶斯推断技术，但对于大样本量，GP存在可扩展性问题，对于非平稳或空间异构数据，GP的性能会降低。在这项工作中，我们试图克服这些问题，通过（i）采用变分自由能近似的GP与在线期望传播步骤的串联操作;和（ii）引入一个本地分裂步骤，每当后验分布变化显着量化的Wasserstein度量超过后验分布，实例化一个新的GP。然后，随着时间的推移，这产生了稀疏GP的集合，其可以增量地更新，并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
Regularized Wasserstein Means for Aligning Distributional Data
Arizona State University（亚利桑那州立大学）
我们建议从Wasserstein方法的角度调整分布数据。我们提出的问题，规范Wasserstein手段，并提出了几个条款，以解决不同的问题。我们的配方是基于变分运输分配到目标域的稀疏离散措施。所得到的稀疏表示很好地捕捉了域的期望属性，同时降低了映射成本。我们证明了我们的方法的可扩展性和鲁棒性的例子在领域自适应，点集注册，骨架布局。
2020-02-21 cs.LG stat.ML
