Sliced Wasserstein Variational Inference
University of Bristol（布里斯托大学）
变分推断通过最小化Kullback-Leibler（KL）发散来近似未归一化的分布。这种发散性虽然计算效率高，并且在实际应用中得到了广泛的应用，但也存在一些不合理的性质。例如，它不是一个适当的指标，即，它是非对称的，并且不保持三角不等式。另一方面，最佳运输距离最近已经显示出比库尔贝克-莱布勒散度更大的优势。借助这些优点，我们提出了一种新的变分推断方法，通过最小化切片瓦瑟斯坦距离，一个有效的度量所产生的最佳运输。该切片瓦瑟斯坦距离可以简单地通过运行MCMC来近似，而无需求解任何优化问题。我们的近似也不需要一个易处理的密度函数的变分分布，使近似家庭可以摊销的发电机一样，神经网络。此外，我们提供了我们的方法的理论特性的分析。仿真和真实数据的实验结果表明了该方法的有效性。
2022-07-26 cs.LG stat.ML
A Unified Particle-Optimization Framework for Scalable Bayesian Sampling
University at Buffalo（布法罗大学）；Duke University（杜克大学）
最近人们对开发可扩展的贝叶斯采样方法感兴趣，例如用于大数据分析的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）。标准SG-MCMC算法模拟来自离散时间马尔可夫链的样本以近似目标分布，因此样本可能是高度相关的，这是SG-MCMC的不期望的属性。相反，SVGD直接优化一组粒子来近似目标分布，因此能够用相对少得多的样本获得良好的近似。在本文中，我们提出了一个原则粒子优化框架的基础上Wasserstein梯度流统一SG-MCMC和SVGD，并允许开发新的算法。我们的框架将SG-MCMC解释为概率测度空间上的粒子优化，揭示了SG-MCMC和SVGD之间的紧密联系。我们的框架的关键组成部分是几个粒子近似技术，有效地解决了原来的偏微分方程的空间上的概率测度。在合成数据和深度神经网络上的大量实验证明了我们的可扩展贝叶斯采样框架的有效性和效率。
2018-07-10 cs.LG stat.ML
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器，每次迭代只需要一个梯度计算。相反，以前的作品类似的采样器，Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$，Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下，$\sqrt{d/\varepsilon}$，如果潜在的海森是Lipschitz，和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下，根据已知的结果为其他动力学朗之万或HMC计划。
2021-06-18 math.PR math.ST stat.TH
Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University（复旦大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
随机粒子优化采样（SPOS）是最近发展起来的可扩展贝叶斯采样框架，它统一了基于Wasserstein梯度流的随机梯度MCMC（SG-MCMC）和Stein变分梯度下降（SVGD）算法。SPOS算法采用严格的非渐近收敛理论，避免了SVGD算法的粒子坍缩缺陷。然而，SPOS的方差减少从未被研究过。在本文中，我们提出了几个方差减少技术SPOS弥合差距。具体来说，我们提出了三种变体的方差减少SPOS，称为SAGA粒子优化采样（SAGA-POS），SVRG粒子优化采样（SVRG-POS）和SVRG-POS的变体，它避免了完整的梯度计算，表示为SVRG-POS $^+$。重要的是，我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证，并分析了它们的复杂性。值得注意的是，结果表明，我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度，即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
UC Santa Barbara（圣巴巴拉大学）；Amazon AI（亚马逊人工智能）；UC San Diego（圣迭戈大学）
本文提出ASAP算法，通过按W∞距离对MCMC样本添加噪声，在保持纯差分隐私或纯高斯差分隐私的同时消除δ近似误差，并结合局部化步骤首次在强凸光滑损失的DP-ERM问题中实现近线性时间最优速率。
2024-05-01 cs.LG stat.ML
Underdamped Langevin MCMC with third order convergence
Department of Mathematical Sciences University of Bath（数学科学系英国巴斯大学）
本文提出一种新的欠阻尼 Langevin 扩散数值方法，在目标分布强对数凹且三阶导数 Lipschitz 连续时，首次实现仅用梯度的三阶收敛，并在真实数据集上与 NUTS 等算法相比取得竞争性表现。
2025-08-22 cs.LG cs.NA math.NA
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
在这篇文章中，我们考虑从Hamilton设置的对数凹分布采样，而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形（驯服）欧拉计划，从目标措施的样本，并提供非渐近2-Wasserstein距离界限之间的法律的过程中，每个算法和目标措施。最后，我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
Perturbation theory for Markov chains via Wasserstein distance
Institut für Mathematische Stochastik, Universität Göttingen（哥廷根大学数学随机学研究所）；Department of Econometrics & OR, Tilburg University（蒂尔堡大学计量经济学与运筹学系）
本文研究了马尔可夫链扰动理论，通过Wasserstein距离提供灵活的分布距离界，适用于几何递减的马尔可夫链，并展示了在自回归模型中无法进一步改进的界。
2017-02-23 cs.NA math.NA math.PR
The shifted ODE method for underdamped Langevin MCMC
本文考虑欠阻尼朗之万扩散问题，提出了一种利用常微分方程的数值逼近方法。当作为一个马尔可夫链蒙特卡罗（MCMC）算法，我们表明，ODE近似实现$2$ -Wasserstein误差$\varepsilon$在$\mathcal{O}\big(d^{\frac{1}{3}}/\varepsilon^{\frac{2}{3}}\big)$步骤下的标准光滑性和强凸性假设的目标分布。这与Shen和Lee [NeurIPS 2019]提出的随机中点方法的复杂性相匹配，Cao，Lu和Wang证明了该方法的顺序最优。然而，所提出的数值方法的主要特点是，它可以利用额外的光滑度的目标对数密度$f$。更具体地说，我们表明，ODE近似实现了$2$ -Wasserstein错误的$\varepsilon$在$\mathcal{O}\big(d^{\frac{2}{5}}/\varepsilon^{\frac{2}{5}}\big)$和$\mathcal{O}\big(\sqrt{d}/\varepsilon^{\frac{1}{3}}\big)$步骤时，Lipschitz连续性假设的Hessian和三阶导数的$f$。通过使用三阶Runge-Kutta方法离散这个常微分方程，我们可以得到一个实用的MCMC方法，该方法每步仅使用两个额外的梯度评估。在我们的实验中，目标来自一个逻辑斯谛回归，这种方法显示出更快的收敛…
2021-01-25 cs.NA math.NA math.PR
Centered plug-in estimation of Wasserstein distances
本文提出一种基于线性组合的中心化程序，消除了平方欧几里得2-Wasserstein距离插入估计量的正偏差，构造了一对保证有信息量的互补上下界估计量，并应用于贝叶斯计算中的近似推断偏差与MCMC收敛性估计。
2025-04-29 stat.CO stat.ME stat.ML
Towards Understanding Gradient Dynamics of the Sliced-Wasserstein Distance via Critical Point Analysis
Laboratoire de Mathématiques d'Orsay, Université Paris-Saclay, Gif-sur-Yvette, France（巴黎-萨克雷大学奥赛数学实验室）；Centre de recherche en économie et statistique, ENSAE, Palaiseau, France（经济与统计研究中心）
本文针对切片瓦瑟斯坦距离（SW）作为目标泛函的性质展开研究，通过临界点分析证明其稳定临界点无法集中在分段上，阐明临界点的存在性和收敛行为，为相关优化算法提供理论支撑。
2025-08-20 cs.LG stat.ML
High-Order Langevin Diffusion Yields an Accelerated MCMC Algorithm
UC Berkeley（加州大学伯克利分校）；Voleon Group（Voleon集团）
提出了一种基于三阶朗之万动力学的马尔可夫链蒙特卡罗（MCMC）算法，用于对数凹光滑密度分布的采样。高阶动力学允许更灵活的离散方案，我们开发了一种具体的方法，结合分裂更准确的整合。对于广泛的一类$d$ -维分布所产生的广义线性模型，我们证明了由此产生的三阶算法产生的样本从一个分布，这是最多$\varepsilon > 0$在瓦瑟斯坦距离距离从目标分布在$O\left(\frac{d^{1/4}}{ \varepsilon^{1/2}} \right)$步骤。这个结果只需要梯度上的Lipschitz条件。对于一般的强凸势函数，证明了其混合时标为$α$.
2020-05-26 cs.DS cs.LG math.OC
Accelerated Information Gradient flow
我们提出了一个框架Nesterov的加速梯度流在概率空间设计有效的平均场马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯逆问题。本文考虑了四种信息度量的例子，包括Fisher-Rao度量、Wasserstein-2度量、Kalman-Wasserstein度量和Stein度量。对于Fisher-Rao和Wasserstein-2度量，我们证明了加速梯度流的收敛性质。在实现中，我们提出了一个采样有效的离散时间算法的Wasserstein-2，Kalman-Wasserstein和Stein加速梯度流与重新启动技术。我们还制定了一个核带宽选择方法，学习密度的对数梯度从布朗运动样本。数值实验，包括贝叶斯逻辑斯谛回归和贝叶斯神经网络，表明所提出的方法相比，国家的最先进的算法的强度。
2022-06-23 cs.IT math.IT math.OC
Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC via Variance Reduction
Purdue University（普渡大学）；University of Southern California（南加州大学）；Durham University（杜伦大学）
交换随机梯度朗之万动力学（reSGLD）在加速非凸学习的收敛方面表现出了希望;然而，为避免噪声能量估计器的偏差而进行的过大校正限制了加速的潜力。为了解决这个问题，我们研究了噪声能量估计器的方差减少，这促进了更有效的交换。在理论上，我们对连续时间Markov跳跃过程的指数加速度进行了非渐近分析，并考虑了广义Girsanov定理，该定理包含了Poisson测度的变化，克服了基于Gröwall不等式的粗糙离散化，并在2-Wasserstein（$\mathcal{W}_2$）距离上产生了更严格的误差.在数值上，我们进行了广泛的实验，并获得了最先进的结果，在优化和不确定性估计的合成实验和图像数据。
2021-03-18 cs.LG math.PR stat.CO
Wasserstein Soft Label Propagation on Hypergraphs: Algorithm and Generalization Error Bounds
The University of Chicago（芝加哥大学）
最近的机器学习和超图数据挖掘算法的发展兴趣的启发，我们调查在本文中的半监督学习算法的传播“软标签”（例如概率分布，类成员分数）超图，通过最佳运输。借用图上Wasserstein传播的见解[Solomon et al. 2014]，我们将标签传播过程重新制定为消息传递算法，这使得其本身自然地通过Wasserstein重心适用于超图的推广。此外，在PAC学习框架中，我们通过建立所提出的半监督学习算法的\textit{algorithmic stability}，提供了使用2-瓦瑟斯坦距离在图和超图上传播一维分布的泛化误差界。这些理论结果也为更深入地理解图上的Wasserstein传播提供了新的思路。
2018-11-16 cs.LG stat.ML
Estimating MCMC convergence rates using common random number simulation
University of Toronto（多伦多大学）；Texas A&M University（德克萨斯农工大学）
本文利用公共随机数模拟为MCMC收敛提供Wasserstein距离上界，并在多个模型中验证其比传统漂移界收敛更快，速率与单次耦合界相当。
2026-09-10 stat.CO
Posterior sampling by source-space MCMC via prior-based few-step transport maps
Nanyang Technological University（南洋理工大学）；University of Helsinki（赫尔辛基大学）
提出源空间广义贝叶斯推断框架，利用少步iMF传输映射表示隐式先验，在高斯源空间采样，并给出误差界，实验验证其准确高效及文本引导能力。
2026-10-02 cs.AI cs.LG stat.ML
Estimating Convergence of Markov chains with L-Lag Couplings
马尔可夫链蒙特卡罗（MCMC）方法生成随着迭代次数达到无穷大而从感兴趣的目标分布渐近分布的样本。各种理论结果提供了在固定次数的迭代之后目标和边缘分布之间的距离的上界。这些上限是在个案的基础上，通常涉及棘手的数量，这限制了他们的使用从业者。我们引入L-lag耦合产生可计算的，非渐近的上界估计的总变差或一般马尔可夫链的瓦瑟斯坦距离。我们应用L-lag耦合的任务（i）确定MCMC老化，（ii）比较不同的MCMC算法与相同的目标，（iii）比较准确和近似的MCMC。最后，我们（四）评估的偏差序贯蒙特卡罗和自我归一化的重要性采样。
2019-10-28 stat.CO stat.ME
Theoretical guarantees for stochastic gradient sampling methods via Gaussian convolution inequalities
本文通过高斯卷积不等式，首次在步长范围内推导了随机梯度动能动力学不变测度在Wasserstein距离中的偏倚界，改进了随机梯度MCMC方法的非渐近保证，并解决了不变测度精度的开放问题。
2026-11-05 math.NA math.PR stat.CO
Feynman-Kac Operator Expectation Estimator
School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）
本文提出FKEE，结合PINN近似Feynman-Kac算子与基于最小Wasserstein距离的通用扩散桥模型，以低样本、低方差估计数学期望，并通过Ising模型配分函数等实验验证其优势。
2024-07-02 cs.LG stat.ML
On the Convergence of Wasserstein Gradient Descent for Sampling
VNU University of Science, Hanoi, Vietnam（越南国立大学科学大学）；Vin University, Hanoi, Vietnam（越南文大学）；The University of Sydney Business School, Australia（澳大利亚悉尼大学商学院）
本文提出基于Wasserstein梯度下降的采样方法，证明其在特定测度空间子类中的收敛性，并通过实验展示其在复杂分布采样中的有效性。
2026-10-09 stat.CO
Understanding and Accelerating Particle-Based Variational Inference
Tsinghua University（清华大学）；Duke University（杜克大学）
基于粒子的变分推断方法（ParVI）由于其产生灵活且精确的近似的能力而在贝叶斯推断文献中获得关注。我们从Wasserstein梯度流的角度探讨ParVI，并作出理论和实践的贡献。我们统一了现有的ParVI使用的各种有限粒子近似，并认识到近似基本上是一个强制性的平滑处理，在两个等价形式。这种新颖的理解揭示了现有ParVI的假设和关系，也启发了新的ParVI。我们提出了一个加速框架和一般ParVI的原则带宽选择方法，这些都是基于发达国家的理论和杠杆的几何形状的Wasserstein空间。实验结果表明，加速框架和带宽选择方法提高了收敛性和样本精度。
2019-07-16 cs.LG stat.ML
Couplings for Andersen Dynamics
安德森动力学是分子模拟的标准方法，也是MCMC推理中使用的哈密顿蒙特卡罗算法的前身。对应于安德森动力学的随机过程是分段确定性马尔可夫过程，它在随机选择的粒子的哈密顿流和速度随机化之间迭代。从分子动力学和MCMC推论的观点来看，一个基本的问题是理解这个粒子的收敛性，特别是在高维情况下。在这里，我们提出了耦合，以获得尖锐的收敛界的Wasserstein意义上，不需要全局凸的潜在的势能。
2020-09-29 math.PR physics.chem-ph physics.comp-ph
Efficient Sampling on Riemannian Manifolds via Langevin MCMC
Massachusetts Institute of Technology（麻省理工学院）；Tsinghua University（清华大学）
本文研究通过几何 Langevin MCMC 在黎曼流形上高效采样，在非凸和负曲率等一般设定下，通过界定离散化误差并结合收缩保证，证明了其达到与欧氏情形相同的 $\tilde{O}(ε^{-2})$ 迭代复杂度，并扩展至随机梯度版本。
2024-02-15 cs.LG math.PR math.ST
Sharp convergence rates for Langevin dynamics in the nonconvex setting
University of California（加利福尼亚大学）；VinAI
研究了从分布$p^*(x) \propto \exp\left(-U(x)\right)$中抽样的问题，其中函数$U$是$L$ -处处光滑的，$m$ -在半径为$R$的球外强凸的，但在球内可能是非凸的.我们研究了过阻尼和欠阻尼Langevin MCMC和建立上界的步骤，以获得一个样本的分布，是在$1$ - Wasserstein距离的$p^*$的$ε$的数量。对于一阶方法（过阻尼Langevin MCMC），迭代复杂度为$\tilde{\mathcal{O}}\left(e^{cLR^2}d/ε^2\right)$，其中$d$是底层空间的维数。对于二阶方法（欠阻尼Langevin MCMC），对于显式正常数$c$，迭代复杂度为$\tilde{\mathcal{O}}\left(e^{cLR^2}\sqrt{d}/ε\right)$。令人惊讶的是，这两种算法的迭代复杂度在维度$d$和目标精度$ε$上仅为多项式。然而，在问题参数$LR^2$中，它是指数的，这是目标分布的非对数分布的度量。
2020-07-06 cs.LG math.PR stat.CO
A Non-asymptotic Analysis for Learning and Applying a Preconditioner in MCMC
University of Waterloo（滑铁卢大学）；Université de Montréal（蒙特利尔大学）
本文非渐近分析比较了基于目标协方差或Hessian学习预条件子的MCMC算法与无预条件方案的有限时间计算成本，为ULA和近端采样器建立了非渐近保证，并形式化了近似独立条件以摊销学习成本。
2026-08-26 stat.CO stat.ML
Unadjusted Hamiltonian MCMC with Stratified Monte Carlo Time Integration
一个随机时间积分建议未调整的哈密顿蒙特卡罗（uHMC），其中涉及一个非常小的修改，通常的Verlet时间积分，因此，很容易实现。对于$μ(dx) \propto e^{-U(x)} dx$形式的目标分布（其中$U: \mathbb{R}^d \to \mathbb{R}_{\ge 0}$是$K$ -强凸的但仅是$L$ -梯度Lipschitz）和具有有限二阶矩的初始分布$ν$，耦合证明表明，利用$O\left((d/K)^{1/3} (L/K)^{5/3} \varepsilon^{-2/3} \log( \boldsymbol{\mathcal{W}}^2(μ, ν) / \varepsilon)^+\right)$梯度估计的随机时间积分的uHMC算法可以实现$μ(dx) \propto e^{-U(x)} dx$-Wasserstein距离$\boldsymbol{\mathcal{W}}^2$中目标分布的$\varepsilon$ -精确近似;而对于这样的粗略目标密度，具有Verlet时间积分的uHMC算法的相应复杂度通常为$O\left((d/K)^{1/2} (L/K)^2 \varepsilon^{-1} \log( \boldsymbol{\mathcal{W}}^2(μ, ν) / \varepsilon)^+ \right)$。还提供了都市可调随机化时间积分器。
2024-10-04 cs.NA math.NA math.PR
Understanding Linchpin Variables in Markov Chain Monte Carlo
介绍了关键变量在马尔可夫链蒙特卡罗（MCMC）中的应用。在MCMC方法被广泛采用之前，使用关键变量的条件抽样基本上是模拟多变量分布的唯一实用方法。随着MCMC的出现，关键变量在很大程度上被忽略了。然而，人们对将它们与MCMC方法结合使用的兴趣重新抬头，并且这样做有很好的理由。一个简单的推导方法，其有效性，优点和局限性进行了讨论，并在研究文献中的一些例子。
2022-10-24 math.ST stat.CO stat.TH
The No-Underrun Sampler: A Locally-Adaptive, Gradient-Free MCMC Method
本文提出无下冲采样器（NURS），一种无需梯度的局部自适应MCMC方法，融合Hit-and-Run与No-U-Turn思想，理论保证可逆性及收敛性，实验成功采样Neal漏斗多尺度分布。
2025-02-25 math.PR math.ST stat.ME
Understanding Private Evolution as Learning-Augmented Clustering
Apple（苹果公司）；Yale University（耶鲁大学）
本文重新诠释私有进化算法为生成模型增强的Wasserstein学习，理论证明其性能界限可依赖内在维度，并提出几何感知版本以解决标准变体在良好聚类实例上的收敛问题，实验表明新算法具有竞争力且能提高召回率。
2026-09-30 cs.CR cs.LG stat.ML
A Split-Merge MCMC Algorithm for the Hierarchical Dirichlet Process
Princeton University（普林斯顿大学）
分层狄利克雷过程（HDP）已成为一个重要的贝叶斯非参数模型的分组数据，如文档集合。HDP用于构建灵活的混合成员模型，其中组件的数量由数据确定。对于大多数贝叶斯非参数模型，精确的后验推断是难以处理的-从业者使用马尔可夫链蒙特卡罗（MCMC）或变分推断。受Dirichlet过程（DP）混合模型的分裂-合并MCMC算法的启发，提出了一种新的HDP后验推理的分裂-合并MCMC采样算法。我们研究了它的合成数据和文本语料库的属性。我们发现，分裂合并MCMC的HDP可以提供显着的改进，传统的吉布斯抽样，我们给一些理解的数据属性，引起更大的改善。
2012-01-08 cs.AI stat.ML
Almost sure convergence rates of adaptive increasingly rare Markov chain Monte Carlo
University of Bath（巴斯大学）；University of Warwick（华威大学）；University of Passau（帕绍大学）
本文研究了自适应递增稀疏MCMC算法的几乎必然收敛速度，通过收缩假设推导了收敛速率上界，并展示了在不同设置下的应用。
2025-10-13 cs.NA math.NA math.PR
Laplacian Smoothing Stochastic Gradient Markov Chain Monte Carlo
University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度朗之万动力学（SGLD）算法作为一种重要的马尔可夫链蒙特卡罗（MCMC）方法，在贝叶斯学习和后验抽样方面取得了巨大的成功。然而，SGLD通常遭受缓慢的收敛速度，由于其由随机梯度引起的大方差。为了缓解这些缺点，我们利用最近开发的拉普拉斯平滑（LS）技术，并提出了一个拉普拉斯平滑随机梯度朗之万动力学（LS-SGLD）算法。我们证明，从对数凹和非对数凹密度采样，LS-SGLD实现严格较小的离散误差在$2$ -Wasserstein距离，虽然它的混合速度可以稍微慢。在人工和真实数据集上的实验验证了我们的理论结果，并证明了LS-SGLD在不同机器学习任务上的优越性能，包括后验采样、贝叶斯逻辑回归和训练贝叶斯卷积神经网络。代码可在\url{https://github.com/BaoWangMath/LS-MCMC}上获得。
2019-11-02 cs.LG cs.NA math.NA
Large-Scale Wasserstein Gradient Flows
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Massachusetts Institute of Technology（麻省理工学院）；Artificial Intelligence Research Institute（人工智能研究所）
Wasserstein梯度流为理解和求解许多扩散方程提供了强有力的手段。具体地说，福克-普朗克方程，它模拟概率测度的扩散，可以理解为在沃瑟斯坦空间中熵泛函上的梯度下降。这种等价性由Jordan、Kinderlehrer和Otto提出，启发了所谓的JKO格式，通过Wasserstein空间中梯度流的隐式离散来近似这些扩散过程。然而，解决与每个JKO步骤相关联的优化问题提出了严重的计算挑战。我们引入了一个可扩展的方法来近似Wasserstein梯度流，针对机器学习应用程序。我们的方法依赖于输入凸神经网络（ICNN）离散化的JKO步骤，这可以通过随机梯度下降优化。与以前的工作不同，我们的方法不需要域离散化或粒子模拟。因此，我们可以在扩散的每个时间步从测量中采样并计算其概率密度。我们证明了我们的算法的性能，通过计算扩散的福克-普朗克方程，并将其应用于非归一化密度采样以及非线性滤波。
2021-10-25 cs.LG
NuZZ: numerical Zig-Zag sampling for general models
马尔可夫链蒙特卡罗（MCMC）算法是计算统计学中的一个关键算法，随着数据集的增大和模型的复杂化，许多流行的MCMC算法由于计算量太大而变得不实用。最近的进展已经取得了这个问题，通过开发MCMC算法的基础上分段确定性马尔可夫过程（PDMP），不可逆的过程，可以被设计为收敛的速度是独立的数据的大小。虽然可以理解的是，在这些结果之后出现了大量的理论研究，但到目前为止，PDMP仅用于某些梯度可以被限制的模型，这在许多统计环境中是不可能的。针对Zig-Zag过程，提出了适用于一般统计模型的数值Zig-Zag（NuZZ）算法，该算法不需要对对数后验的梯度进行限制.这使我们能够进行数值实验：（i）Zig-Zag动力学如何在具有共同挑战性特征的一些测试问题上表现出来;以及（ii）目标和采样分布之间的误差如何作为不同MCMC算法（包括NuZZ）的计算工作量的函数而演变。此外，由于具体的NuZZ算法，我们能够给出一个明确的约束之间的瓦瑟斯坦距离的精确后，其数值扰动对应的用户指定的数值公差的NuZZ。
2022-02-27 cs.NA math.NA stat.CO
A Dynamical System View of Langevin-Based Non-Convex Sampling
ETH Zürich（苏黎世联邦理工学院）
针对非凸采样理论中末次迭代收敛性、Wasserstein距离指标缺失等问题，提出基于动力系统理论的新框架，证明多类先进采样方案的末次迭代Wasserstein收敛性，并可启发更高效的采样方案设计。
2024-09-17 cs.LG math.PR math.ST
Bayesian Estimation of Mixed Multinomial Logit Models: Advances and Simulation-Based Evaluations
Cornell University（康奈尔大学）；UNSW Australia（澳大利亚新南威尔士大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
变分贝叶斯（VB）方法已成为马尔可夫链蒙特卡罗（MCMC）方法的一种快速且计算效率高的替代方法，用于混合多项logit（MMNL）模型的可扩展贝叶斯估计。已经确定的是，VB比MCMC快得多，几乎不影响预测精度。在本文中，我们解决两个关键的差距有关的使用和理解VB的MMNL。首先，现存的VB方法仅限于涉及个人特定的口味参数的实用程序规范。其次，VB估计的有限样本性质以及VB、MCMC和最大模拟似然估计（MSLE）的相对性能尚不清楚。为了解决前者，本研究扩展了几个VB方法MMNL承认效用规格，包括固定和随机效用参数。为了解决后者，我们进行了广泛的模拟为基础的评估基准的扩展VB方法对MCMC和MSLE的估计时间，参数恢复和预测精度。结果表明，所有的VB变体，除了依赖于一个替代的变分下界的帮助下，修改的詹森不等式的执行以及MCMC和MSLE在预测和参数恢复。特别是，VB与非共轭变分消息传递和增量方法（VB-NCVMP-Delta）比MCMC和MSLE快16倍。因此，VB-NCVMP-Delta可以是MCMC和MSLE的一个有吸引力的替代方案，用于MMNL模型的快速，可扩展和准确的估计。
2019-12-12 cs.LG econ.EM stat.ME
Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
本文分析了采用 MCMC 估计器计算梯度的 MCMC-SGD 算法，利用 Bernstein 不等式推导误差界限，证明其具有一阶收敛速率并能高概率逃离鞍点达到近似二阶驻点。
2024-03-23 math.OC stat.ML
Decentralized Proximal Stochastic Gradient Langevin Dynamics
本文提出去中心化近端随机梯度兰格朗日动力学算法，用于在凸域内采样对数凹概率分布。通过共享的近端正则化约束，保证更新一致性。算法在2-瓦瑟斯坦距离下具有非渐近收敛性，并在合成和真实数据集上验证了其有效性。
2026-05-01 cs.LG math.PR stat.ML
MCMC for Imbalanced Categorical Data
许多现代应用程序收集高度不平衡的分类数据，其中一些类别相对罕见。贝叶斯分层模型通过借用信息来对抗数据稀疏性，同时也量化了不确定性。然而，后验计算提出了一个基本的障碍，日常使用;一个单一的类的算法并不能很好地工作在所有的设置和从业者浪费时间尝试不同类型的MCMC方法。这篇文章的动机是定量广告的应用程序中，我们遇到了非常差的计算性能，常见的数据增强MCMC算法，但获得了良好的性能自适应大都会。为了更深入地理解这种行为，我们给出了强有力的理论结果的计算复杂性在无限不平衡的渐近制度。结果表明，Metropolis算法的计算复杂性在样本量下是对数的，而数据扩充算法在样本量下是多项式的.数据增强性能不佳的根本原因是目标密度和MCMC步长集中的速率之间的差异。一般来说，具有类似差异的MCMC算法将在大样本中失败-这一结果具有实质性的实际影响。
2017-06-26 cs.CC math.ST stat.CO
STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning Energy-Based Models
Baidu Research（百度研究院）
本文提出STANLEY，一种基于各向异性步长和梯度信息协方差矩阵的高维采样方法，用于训练基于能量模型，通过证明其几何一致遍历性并提供图像生成实验验证了方法的有效性。
2023-10-19 cs.LG stat.ML
Accelerating MCMC Algorithms
马尔可夫链蒙特卡罗算法被用来模拟复杂的统计分布，通过这些分布的本地探索。这种局部特征避免了对理解目标的性质的繁重要求，但它也可能导致对该目标的冗长探索，对随着问题的维度和其背后的数据的复杂性而增长的模拟的数量的要求。（如在回火、哈密顿蒙特卡罗和部分确定性方法中）或在开发级别（使用Rao-Blackwellisation和可扩展方法）。
2018-04-11 stat.CO
The promises and pitfalls of Stochastic Gradient Langevin Dynamics
Centre de Mathématiques Appliquées（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；Ecole Normale Supérieure（巴黎高等师范学院）
随机梯度朗之万动力学（SGLD）已经成为一个关键的MCMC算法贝叶斯学习从大规模数据集。虽然具有减小的步长的SGLD较弱地收敛到后验分布，但该算法在实践中通常以恒定的步长使用，并且在机器学习任务中已经证明了成功。目前的做法是将步长设置为与$N$成反比，其中$N$是训练样本的数量。随着$N$变大，我们表明，SGLD算法具有不变的概率测度显着偏离目标后验和行为像随机梯度下降（SGD）。这种差异本质上是由于随机梯度的高方差。已经提出了几种策略来减少这种影响;其中，SGLD固定点（SGLDFP）使用精心设计的控制变量来减少随机梯度的方差。我们发现，SGLDFP提供近似样本的后验分布，与精度相当的朗之万蒙特卡罗（LMC）算法的计算成本次线性的数据点的数量。我们提供了一个详细的分析LMC，SGLD，SGLDFP和SGD之间的瓦瑟斯坦距离和显式表达式的平均值和协方差阵矩阵的不变分布。我们的研究结果得到了有限的数值实验的支持。
2018-11-25 cs.LG stat.ML
A Conceptual Introduction to Markov Chain Monte Carlo Methods
马尔可夫链蒙特卡罗（MCMC）方法通过提供一种直接的方法来使用一系列随机样本数值估计模型参数的不确定性，已经成为许多现代科学分析的基石。本文通过建立对MCMC方法试图解决的问题，我们为什么要使用它们以及它们在理论和实践中如何工作的强大概念理解，对MCMC方法进行了基本介绍。为了发展这些概念，我概述了贝叶斯推断的基础，讨论了如何在实践中使用后验分布，探索基本方法来估计后验为基础的数量，并推导出它们与蒙特卡罗抽样和MCMC的联系。使用一个简单的玩具问题，然后我演示了如何使用这些概念来理解各种MCMC方法的优点和缺点。旨在强调各种概念的练习也包括在整篇文章中。
2020-03-07 astro-ph.IM physics.data-an stat.OT
Novel Bayesian algorithms for ARFIMA long-memory processes: a comparison between MCMC and ABC approaches
本文比较了用于估计ARFIMA模型参数的MCMC和ABC两种贝叶斯方法，提出新型滤波MCMC算法和基于三种汇总统计量的ABC方法，通过模拟和金融数据验证表明滤波MCMC性能更优。
2024-10-17 stat.CO stat.ME
Bayesian Updating and Uncertainty Quantification using Sequential Tempered MCMC with the Rank-One Modified Metropolis Algorithm
贝叶斯方法是量化系统行为的关键。它们利用概率分布来捕捉我们对系统行为的不确定性，并在新信息可用时更新这种理解。然后，可以做出包含这种不确定性的概率预测，以评估系统性能并做出决策。虽然贝叶斯方法非常有用，但它们通常是计算密集型的。这需要开发更有效的算法。在这里，我们讨论了一组人口马尔可夫链蒙特卡罗（MCMC）方法的贝叶斯更新和系统可靠性评估，我们称之为顺序回火MCMC（ST-MCMC）算法。这些算法结合了1）回火的概念，通过一系列中间分布，2）重要性重新排序，以及3）MCMC，逐渐将样本群体从之前转换到之后。它们是序贯蒙特卡罗的一种形式，包括过渡马尔可夫链蒙特卡罗和子集模拟等算法。我们还介绍了一种新的采样算法，称为秩一修改的大都市算法（ROMMA），它建立在子集模拟中使用的修改的大都市算法，以提高性能在高维。最后，我们制定了一个单一的算法来解决组合贝叶斯更新和可靠性评估问题，使系统可靠性的后验评估。然后，通过对具有未知泄漏和需求的配水系统进行先验和后验可靠性评估来说明该算法。
2018-04-23 stat.CO
Online Stochastic Convex Optimization: Wasserstein Distance Variation
Department of Electrical and Electronic Engineering, The University of Melbourne（墨尔本大学电气与电子工程学院）
分布鲁棒优化通常是针对一组固定的分布而不是随时间推移而显著漂移的时变分布进行研究（例如，由于经济的潜在扩张和人口统计的演变，金融和社会学中的情况）。这激发了对概率分布的理解条件，使用Wasserstein距离，可用于对时变环境进行建模。然后，我们可以将这些条件与在线随机最优化结合使用，以调整决策。我们考虑了一个在线的近似梯度法来跟踪光滑凸函数的期望值的最小化，该函数由一个随机变量参数化，其概率分布随着时间的推移以与决策者行为的速率相似的速率连续演化。我们重新审视的概念，估计和跟踪误差的启发系统和控制文献，并提供他们的边界下强凸性，Lipschitz的梯度，和界限上的概率分布漂移。此外，注意到计算预测的一般可行集可能不适合在线实现（由于计算的限制），我们提出了一个精确惩罚法。这样做使我们能够放松梯度的一致有界性，并建立跟踪和估计误差的动态遗憾界。我们进一步引入了一个约束收紧的方法，并与收紧量满足约束的概率。
2020-09-29 cs.LG cs.SY eess.SY
Relative Wasserstein Angle and the Problem of the $W_2$-Nearest Gaussian Distribution
Department of Computer Science, George Washington University, Washington D.C., USA（计算机科学系，乔治·华盛顿大学，华盛顿特区，美国）；MAE, George Washington University, Washington D.C., USA（机械工程与应用科学系，乔治·华盛顿大学，华盛顿特区，美国）
本文提出相对Wasserstein角度和正交投影距离作为衡量非高斯性的几何量，并通过实验展示其在高斯近似中的有效性。
2026-09-23 cs.LG
On the Regularity and Generalization of One-Step Wasserstein-guided Generative Models for PDE-Induced Measures
Department of Mathematics, The University of Hong Kong（香港大学数学系）；Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学系）；Department of Mathematics, University of California at Irvine（加州大学 Irvine 分校数学系）
本文研究了一步Wasserstein引导生成模型在处理PDE诱导概率度量时的正则性和泛化性，通过理论框架证明了运输映射的正则性和生成模型的泛化性质，并通过实验验证了理论结果。
2026-05-20 cs.AI cs.LG cs.NA
Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo
Rutgers Business School（罗格斯大学商学院）；The Chinese University of Hong Kong（香港中文大学）；Florida State University（佛罗里达州立大学）
随机梯度朗之万动力学（SGLD）和随机梯度哈密顿蒙特卡罗（SGHMC）是两种流行的马尔可夫链蒙特卡罗（MCMC）贝叶斯推断算法，可以扩展到大型数据集，允许从给定输入数据的统计模型参数的后验分布和模型参数的先验分布中采样。然而，这些算法不适用于分散式学习设置，当代理网络协作学习统计模型的参数时，由于隐私原因或通信限制，不共享他们的个人数据。我们研究两种算法：去中心化SGLD（DE-SGLD）和去中心化SGHMC（DE-SGHMC），它们是SGLD和SGHMC方法的改编，允许在去中心化设置中对大型数据集进行可扩展的贝叶斯推断。我们证明了当后验分布是强对数凹的光滑分布时，只要适当地选取参数，这些算法的迭代线性收敛到目标分布在2-瓦瑟斯坦距离上的一个邻域.我们说明了我们的算法的效率分散贝叶斯线性回归和贝叶斯逻辑斯谛回归问题。
2021-08-26 cs.LG math.OC stat.ML
On the use of a local $\hat{R}$ to improve MCMC convergence diagnostic
诊断马尔可夫链蒙特卡罗算法的收敛性是一个重要的问题，至今仍没有得到很好的解决.在最流行的方法中，潜在规模缩减因子，通常称为$\hat{R}$，是一种基于方差间和方差内比较来监测输出链向目标分布收敛的指标。自90年代引入以来，已经提出了一些改进建议。在这里，我们的目标是更好地理解$\hat{R}$的行为，提出了一个本地化的版本，重点放在目标分布的分位数。这个新版本依赖于相关总体值的关键理论特性。它自然会导致提出一个新的指标$\hat{R}_\infty$，这是允许本地化的马尔可夫链蒙特卡罗收敛在不同的分位数的目标分布，并在同一时间处理一些收敛问题没有检测到其他$\hat{R}$版本。
2023-03-03 math.ST stat.CO stat.ME
Wasserstein Control of Mirror Langevin Monte Carlo
École Normale Supérieure / Université PSL（巴黎高等师范学院/巴黎文理研究大学）；Normandie Univ, ENSICAEN, UNICAEN, CNRS, GREYC（诺曼底大学、法国国立高等凯恩工程师学院、凯恩大学、法国国家科学研究中心、GREYC实验室）；Heriot-Watt University（赫瑞-瓦特大学）
离散朗之万扩散是一种有效的蒙特卡罗方法，用于从对数Lipschitz光滑和（强）对数凹的高维目标密度采样。特别是，欧几里德Langevin蒙特卡罗抽样算法最近受到了很大的关注，导致详细了解其非渐近收敛的性质和作用，平滑度和对数在收敛速度发挥。不具有这些规律性的分布可以通过考虑黎曼朗之万扩散来解决，该扩散具有捕获对数密度的局部几何的度量。然而，从这种黎曼朗之万扩散的离散化导出的蒙特卡罗算法是出了名的难以分析。在本文中，我们考虑朗之万扩散的Hessian型流形和研究的离散化是密切相关的镜像下降计划。我们首次建立了一个非渐近上界的采样误差所产生的Hessian黎曼Langevin蒙特卡罗算法。这个界限是根据一个Wasserstein距离引起的黎曼度量地面成本捕获海森结构和密切相关的自和谐的条件。例如，上界意味着迭代朝着目标密度周围的Wasserstein球收缩，该目标密度的半径是明确的。我们的理论恢复现有的欧几里德的结果，可以应付各种各样的海森度量高度非平坦的几何形状。
2020-02-11 cs.LG math.PR math.ST
Wasserstein contraction and spectral gap of slice sampling revisited
本研究提出$k$-极切片采样（$k$-PSS）新方法，通过分析其Wasserstein收缩率与谱间隙，推进了对均匀和极切片采样的理论理解，还揭示了两类方法在重尾分布下的维度相关性能差异。
2023-09-26 math.PR math.ST stat.TH
On the approximation of posterior laws in compound loss models by conditional Wasserstein GANs
ETH Zürich（苏黎世联邦理工学院）；Vienna University of Economics and Business（维也纳经济与商业大学）；Macquarie University（麦考瑞大学）；Heriot-Watt University（赫瑞-瓦特大学）
该研究将复合损失模型的贝叶斯后验近似转化为摊销问题，构建条件Wasserstein GAN，通过模拟校准等方法验证，成功近似多参数后验并应用于巨灾损失尾部风险分析。
2026-08-28 q-fin.RM stat.ML
