Bridging the Gap between Stochastic Gradient MCMC and Stochastic Optimization
Duke University（杜克大学）；Columbia University（哥伦比亚大学）
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法是流行的随机最优化方法的贝叶斯类似物;然而，这种联系没有得到很好的研究。我们通过将模拟退火应用于SGMCMC算法来探索这种关系。此外，我们扩展了最近的SG-MCMC方法的两个关键组成部分：i）自适应预处理器（如ADAgrad或RMSprop），以及ii）自适应元素动量权重。零温度极限给出了一种新的随机最优化方法与自适应元素的动量权重，而传统的优化方法只有一个共享的，静态的动量权重。在一定的假设下，我们的理论分析表明，所提出的模拟退火方法收敛到接近全局最优。与相关的随机最优化算法相比，在几个深度神经网络模型上的实验显示了最先进的结果。
2016-08-05 cs.LG stat.ML
Meta-Learning for Stochastic Gradient MCMC
University of Cambridge（剑桥大学）
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法在大规模贝叶斯建模中被广泛应用于后验样本的模拟。然而，现有的SG-MCMC计划并不适合任何特定的概率模型，即使是一个简单的修改的基础动力系统需要显着的物理直觉。本文提出了第一个元学习算法，允许自动设计的基础连续动态的SG-MCMC采样器。学习的采样器通过状态依赖的漂移和扩散来概括哈密顿动力学，从而实现神经网络能量景观的快速遍历和有效探索。实验验证了贝叶斯全连接神经网络和贝叶斯递归神经网络任务的方法，学习采样器优于通用的，手工设计的SG-MCMC算法，并推广到不同的数据集和更大的架构。
2018-06-12 cs.LG stat.ML
Augmentation Schemes for Particle MCMC
粒子MCMC涉及在MCMC算法内使用粒子滤波器。对于涉及未观察到的随机过程的模型的推断，标准实现使用粒子滤波器来为随机过程提出新值，并且MCMC移动来为参数提出新值。我们展示了粒子MCMC如何可以推广到这个范围之外。我们的关键思想是引入新的潜在变量。然后，我们使用MCMC移动来更新潜变量，并使用粒子滤波器来为参数和随机过程提供新的值。定义这些潜变量的一般方法是将它们建模为参数或随机过程的伪观测。通过选择这些潜变量关于参数和随机过程的信息量，我们通常可以通过权衡粒子滤波器的蒙特卡罗误差和MCMC移动的混合来改进粒子MCMC算法的混合。我们表明，在粒子MCMC中使用伪观测可以提高其在某些情况下的效率：处理粒子滤波器的初始化问题;当参数与随机过程之间存在强相关性时，加速粒子吉布斯的混合;并使进一步的MCMC步骤能够在粒子滤波器中使用。
2014-08-29 stat.CO stat.ML
Stochastic Gradient MCMC with Repulsive Forces
Institute of Mathematical Sciences (ICMAT)（数学科学研究所（ICMAT））；SAMSI, Duke University（杜克大学统计与应用数学研究所（SAMSI））；Duke University（杜克大学）
我们提出了一个统一的观点，两种不同的贝叶斯推断算法，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）和斯坦变分梯度下降（SVGD），导致改进和有效的新的采样方案。我们表明，SVGD与噪声项相结合，可以作为一个多链SG-MCMC方法的框架。我们提出的算法不是独立于其他并行链来处理每个并行链，而是在粒子之间实现排斥力，避免崩溃并促进参数空间的更好探索。我们还展示了如何添加此噪声项是必要的，以获得一个有效的SG-MCMC采样器，与SVGD的显着差异。合成分布和真实数据集的实验说明了所提出的计划的好处。
2020-02-22 cs.LG stat.ML
Policy Gradients for Optimal Parallel Tempering MCMC
Harvard University（哈佛大学）
本文针对并行回火MCMC中温度选择问题，提出基于策略梯度的自适应温度调整算法，在基准分布上相比传统方案取得了更低的积分自相关时间。
2024-12-26 cs.LG stat.CO stat.ML
Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients
Georgia Institute of Technology（佐治亚理工学院）；Google Inc.（谷歌公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
许多马尔可夫链蒙特卡罗（MCMC）方法利用目标分布的势函数的梯度信息来有效地探索样本空间。然而，计算梯度对于大规模应用（诸如当代机器学习中的那些应用）而言通常在计算上是昂贵的。随机梯度（SG-）MCMC方法通常通过均匀子采样的数据点通过随机梯度来近似梯度，并且实现了提高的计算效率，但是以引入采样误差为代价。我们提出了一种非均匀子采样方案，以提高采样精度。提出的指数加权随机梯度（EWSG）的设计，使一个非均匀SG-MCMC方法模仿的批量梯度MCMC方法的统计行为，因此，由于SG近似的不准确性减少。EWSG不同于经典的方差缩减（VR）技术，因为它关注的是整个分布而不仅仅是方差;尽管如此，它的局部方差也被证明了。EWSG也可以被看作是重要性采样思想的扩展，成功的随机梯度为基础的优化，采样任务。在EWSG的实际实现中，非均匀子采样通过数据索引上的Metropolis-Hastings链有效地执行，该链与MCMC算法耦合。数值实验不仅证明了EWSG的有效性，而且还指导超参数的选择，并验证我们的\emph{non-asymptotic global error bound}，尽管在实现中的近似。值得注意的是，虽然统计精度得到了提高，但收敛速度可以与统一版本相媲美，这使得EWSG成为VR的实用替代方案（但EWSG和VR也可以组合）。
2021-09-22 cs.LG stat.ML
JaxSGMC: Modular stochastic gradient MCMC in JAX
本研究推出基于JAX的模块化SG-MCMC库JaxSGMC，实现多款前沿采样器、支持自定义构建，降低从随机优化切换到SG-MCMC采样的门槛，助力新型方法研究与多领域应用。
2025-05-16 stat.AP stat.CO stat.ML
Enhanced gradient-based MCMC in discrete spaces
University of Edinburgh（爱丁堡大学）
最近引入的基于梯度的MCMC离散空间有很大的希望，并带来了诱人的可能性，新的离散对应庆祝连续的方法，如MALA和HMC。为了实现这一目标，我们介绍了几个离散的大都会黑斯廷斯采样器，概念上的启发MALA，并证明了他们强大的经验表现在一系列具有挑战性的采样问题，在贝叶斯推断和基于能量的建模。从方法上讲，我们确定了为什么离散类似物预处理MALA一般是棘手的，激励我们引入一种新的预处理的基础上辅助变量和“高斯积分技巧”。
2022-07-29 cs.LG stat.ML
Asynchronous Stochastic Gradient MCMC with Elastic Coupling
University of Freiburg（弗莱堡大学）
我们考虑并行异步马尔可夫链蒙特卡罗（MCMC）采样的问题，我们可以利用（随机）梯度来定义连续的动态，探索目标分布。我们概述了这种设置的基础上随机梯度哈密顿蒙特卡罗采样（SGHMC），我们改变，包括一个弹性耦合项，联系在一起的多个MCMC实例的解决方案策略。该策略将固有的顺序HMC算法异步并行版本。第一个实验经验表明，所得到的并行采样器显着加快探索的目标分布，相比标准SGHMC，是不太容易的有害影响，陈旧的梯度比天真的并行化方法。
2016-12-08 cs.AI cs.LG stat.ML
Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC
University of California, Irvine（加州大学尔湾分校）；Google（谷歌）；Yahoo Labs（雅虎实验室）；University of Amsterdam（阿姆斯特丹大学）
尽管具有各种吸引人的品质，如高预测精度和量化不确定性和避免过拟合的能力，但由于推理成本过高，贝叶斯矩阵分解尚未被广泛采用。在本文中，我们提出了一个可扩展的分布式贝叶斯矩阵分解算法使用随机梯度MCMC。我们的算法，基于分布随机梯度Langevin动力学，不仅可以匹配标准MCMC方法，如吉布斯抽样的预测精度，但同时是快速和简单的随机梯度下降。在我们的实验中，我们表明，我们的算法可以达到相同水平的预测精度吉布斯采样一个数量级更快。我们还表明，我们的方法降低了预测误差的速度与分布式随机梯度下降一样快，Netflix数据集的RMSE提高了4.1%，Yahoo音乐数据集的RMSE提高了1.8%。
2015-03-10 cs.LG stat.ML
Stochastic Approximation with Biased MCMC for Expectation Maximization
Centre Borelli, ENS Paris-Saclay（博雷利中心，巴黎萨克雷高等师范学校）；UPenn（宾夕法尼亚大学）；CMAP, CNRS, École Polytechnique（法国国家科学研究中心、巴黎综合理工学院数学与应用计算中心）
本文分析带偏置 MCMC 步骤的 SAEM 的渐近与非渐近行为，并通过 MALA 与 ULA 实验揭示偏置对稳定性和收敛速度的影响。
2024-02-27 cs.LG math.OC stat.CO
Stochastic Gradient MCMC Methods for Hidden Markov Models
随机梯度MCMC（SG-MCMC）算法已被证明是有用的缩放贝叶斯推断的大数据集下，假设的i.i.d数据。相反，我们开发了一个SG-MCMC算法来学习时间相关数据的隐马尔可夫模型（HALTH）的参数。在这种情况下应用SG-MCMC有两个挑战：潜在的离散状态，以及在考虑小批量时需要打破依赖关系。我们认为一个边缘似然表示的HMM，并提出了一个算法，利用固有的内存衰减的过程。我们证明了我们的算法在合成实验和离子通道记录数据的有效性，运行时显着优于批MCMC。
2017-06-14 stat.ML
On Connecting Stochastic Gradient MCMC and Differential Privacy
Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Nanjing University（南京大学）
最近，在将机器学习应用于现实世界的应用方面取得了重大成功。培训数据的隐私问题也引起了相应的关注，这涉及到数据安全和保密问题。差分隐私在机器学习模型上提供了原则性和严格的隐私保证。虽然通过注入噪声来设计满足所需的差分隐私属性的模型是常见的，但通常难以平衡隐私和实用性之间的权衡。我们表明，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）-最近提出的一类可扩展的贝叶斯后验抽样算法-满足强差分隐私仔细选择的步长。我们开发的性能的建议差分私人SG-MCMC方法的理论。我们进行实验来支持我们的分析，并表明标准的SG-MCMC采样器在没有任何修改的情况下（在默认设置下）可以在贝叶斯学习的隐私和实用性方面达到最先进的性能。
2017-12-25 cs.LG stat.ML
Stochastic gradient Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）算法通常被认为是贝叶斯推断的金标准技术。它们在理论上易于理解，在概念上易于在实践中应用。MCMC的缺点是，通常执行精确推理需要在算法的每次迭代中处理所有数据。对于大数据集，MCMC的计算成本可能是令人望而却步的，这导致了可扩展的蒙特卡罗算法的最新发展，其具有比标准MCMC显著更低的计算成本。在本文中，我们专注于一类特殊的可扩展蒙特卡罗算法，随机梯度马尔可夫链蒙特卡罗（SGMCMC），利用数据子采样技术，以减少MCMC的每次迭代成本。我们提供了一个介绍一些流行的SGMCMC算法和审查支持的理论结果，以及比较SGMCMC算法对MCMC的基准测试的例子的效率。支持的R代码可在线获得。
2019-07-16 stat.CO stat.ML
Efficient Bayesian inference for stochastic volatility models with ensemble MCMC methods
本文介绍了一种有效的集成马尔可夫链蒙特卡罗（MCMC）抽样方法，用于单变量随机波动率模型的贝叶斯计算。我们将我们的集合MCMC方法的性能与Kastner和Fruadith-Schnatter（2014）最近采样器的改进版本进行了比较。我们表明，合奏采样器是更有效的比这个国家的最先进的采样器的一个因素约3.1，从随机波动模型模拟的数据集。这种性能增益是在不依赖于潜在过程是线性和高斯的假设的集合MCMC采样器的情况下实现的，这与Kastner和Fruwett-Schnatter的采样器不同。
2014-12-09 stat.CO
On the Convergence of Stochastic Gradient MCMC Algorithms with High-Order Integrators
贝叶斯学习与大规模数据的最新进展见证了随机梯度MCMC算法（SG-MCMC）的出现，如随机梯度朗之万动力学（SGLD），随机梯度哈密顿MCMC（SGHMC）和随机梯度恒温器。虽然最近研究了具有一阶欧拉积分器的SGLD的有限时间收敛性质，但尚未探索一般SG-MCMCMC的相应理论。在本文中，我们考虑一般的SG-MCMCMC与高阶积分，并发展理论来分析有限时间收敛性及其渐近不变的措施。我们的理论结果表明，更快的收敛速度和更准确的不变措施SG-MCMCMCs与高阶积分。例如，与具有一阶欧拉积分器的SGHMC和SGLD的$L^{-2/3}$相比，使用所提出的有效的二阶对称分裂积分器，SGHMC的后验平均的{ \em均方误差}（MSE）在$L$迭代时实现了$L^{-4/5}$的最佳收敛速率。此外，收敛性结果递减步长SG-MCMCCs也开发，具有相同的收敛速度，其固定步长对应的特定的递减序列。在人工数据集和真实数据集上的实验验证了本文的理论，并在两个大规模的实际应用中显示了该方法的优势。
2016-10-21 stat.ML
Particle Optimization in Stochastic Gradient MCMC
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）由于其处理大数据的能力，在贝叶斯学习中越来越受欢迎。标准SG-MCMC算法模拟来自离散时间马尔可夫链的样本以近似目标分布。然而，由于顺序生成过程，样本通常高度相关，这是SG-MCMC中不期望的属性。Stein变分梯度下降算法（SVGD）直接优化一组粒子，能够用更少的样本逼近目标分布。在本文中，我们提出了一种新的方法，直接优化粒子（或样本）在SG-MCMC从头开始。具体地说，我们提出了有效的方法来解决相应的福克-普朗克方程的空间上的概率分布，其解决方案（即，分布）由粒子近似。通过我们的框架，我们能够显示SG-MCMC与SVGD的连接，以及完全无关的生成对抗网框架。在一定的松弛条件下，SG-MCMC中的粒子优化可以被解释为标准SVGD与动量的扩展。
2017-11-29 stat.ML
A Convergence Analysis for A Class of Practical Variance-Reduction Stochastic Gradient MCMC
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）是一种灵活的可扩展贝叶斯抽样算法。然而，很少有理论分析的影响，小批量的大小，算法的收敛速度。在本文中，我们证明了在有限的计算预算/时间下，较大的minibatch大小导致均方误差界的更快下降（因此最快的一个对应于使用全梯度），这激发了SG-MCMC中方差减小的必要性。因此，借用随机最优化的思想，我们提出了一个实用的方差减少技术SG-MCMC，这是有效的计算和存储。我们开发的理论证明，我们的算法比标准SG-MCMC诱导更快的收敛速度。从逻辑斯谛回归的贝叶斯学习到深度神经网络的大量大规模实验验证了该理论，并证明了所提出的方差减少SG-MCMC框架的优越性。
2017-09-04 stat.ML
Understanding MCMC Dynamics as Flows on the Wasserstein Space
Tsinghua University（清华大学）
MCMC中使用的Langevin动力学是Wasserstein空间上库尔贝克-莱布勒散度的梯度流，这有助于收敛性分析并启发了最近的基于粒子的变分推断方法（ParVI）.但没有更多的MCMC动力学是以这种方式理解的。在这项工作中，通过开发新的概念，我们提出了一个理论框架，承认一个一般的MCMC动力学的纤维梯度哈密顿流的Wasserstein空间的纤维黎曼泊松流形。流的“守恒+收敛”结构给出了一般MCMC动力学行为的清晰图像。该框架还使ParVI模拟MCMC动态，这丰富了ParVI家族更有效的动态，并适应ParVI优势MCMC。我们开发了两个ParVI方法，一个特定的MCMC动态，并在实验中证明的好处。
2019-07-04 cs.LG stat.ML
Gradient-based Adaptive Markov Chain Monte Carlo
DeepMind（深度思维）；University College of London（伦敦大学学院）；Univ. of Econ. and Business（经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入了一个基于梯度的学习方法，自动适应马尔可夫链蒙特卡罗（MCMC）的建议分布，棘手的目标。我们定义了一个最大熵正则化的目标函数，称为广义速度测度，它可以通过应用随机梯度优化的建议分布的参数进行鲁棒优化。与传统的自适应MCMC方法相比，我们的方法的一个优点是，即使候选状态值被拒绝，也会发生自适应。这是任何自适应策略的高度期望的属性，因为自适应在早期迭代中开始，即使初始提议分布远离最优。我们应用框架学习多元随机游动大都市和大都市调整Langevin建议与完整的协方差阵，并提供经验证据表明，我们的方法可以优于其他MCMC算法，包括哈密顿蒙特卡罗计划。
2020-01-06 cs.LG stat.CO stat.ML
AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic Gradient MCMC
Cornell University（康奈尔大学）
随机梯度哈密顿蒙特卡罗（SGHMC）是一种有效的连续分布采样方法。它是HMC的一个更快的替代方案：SGHMC在每次迭代时只使用子样本，而不是使用整个数据集。这提高了性能，但引入了偏差，可能导致SGHMC收敛到错误的分布。人们可以使用衰减到零的步长来防止这种情况，但是这样的步长调度可以大大减慢收敛。为了解决这种紧张局势，我们提出了一种新的二阶SG-MCMC算法-AMAGOLD-很少使用Metropolis-Hastings（M-H）校正来消除偏差。不频繁的更正摊销了它们的成本。我们证明AMAGOLD收敛到目标分布与一个固定的，而不是一个递减的，步长，它的收敛速度是最多一个常数因子慢于一个完整的批量基线。我们经验证明AMAGOLD的有效性合成分布，贝叶斯逻辑回归，贝叶斯神经网络。
2020-02-29 cs.LG stat.ML
Efficient and Generalizable Tuning Strategies for Stochastic Gradient MCMC
随机梯度马尔可夫链蒙特卡罗（SGMCMC）是一类流行的可扩展贝叶斯推断算法。然而，这些算法包括超参数，如步长或批量大小，影响基于所获得的后验样本的估计的准确性。因此，这些超参数必须由从业者调整，并且目前不存在调整它们的原则性和自动化方式。基于接受率的标准MCMC调优方法不能用于SGMCMC，因此需要替代工具和诊断。我们提出了一种新的基于Bandit的算法，通过最小化真实后验与其蒙特卡罗近似之间的Stein差异来调整SGMCMC超参数。我们提供了支持这种方法的理论结果，并评估各种斯坦为基础的差异。我们支持我们的结果与模拟和真实数据集上的实验，并发现这种方法是实用的广泛的应用。
2021-11-18 stat.CO stat.ME stat.ML
Non-convex Learning via Replica Exchange Stochastic Gradient MCMC
Purdue University（普渡大学）；University of Southern California（南加州大学）
并行回火（parallel tempering，reMC）是一种加速传统马尔可夫链蒙特卡罗（MCMC）算法收敛的重要技术。然而，这种方法需要基于完整数据集评估能量函数，并且不能扩展到大数据。reMC在小批量设置中的幼稚实现引入了很大的偏差，这不能直接扩展到随机梯度MCMC（SGMCMC），这是从深度神经网络（DNN）进行模拟的标准采样方法。在本文中，我们提出了一个自适应副本交换SGMCMC（reSGMCMC）自动纠正的偏见，并研究了相应的属性。分析意味着在一个随机环境中的马尔可夫跳跃过程的数值离散化的加速度精度权衡。从经验上讲，我们通过在各种设置上进行广泛的实验来测试该算法，并在监督学习和半监督学习任务中获得了CIFAR10，CIFAR100和SVHN的最新结果。
2021-03-22 cs.LG math.PR stat.ME
Newtonian Monte Carlo: single-site MCMC meets second-order gradient methods
Facebook Inc（脸书公司）
单点马尔可夫链蒙特卡罗（MCMC）是MCMC的一种变体，其中状态空间中的单个坐标在每一步中被修改。结构化关系模型是这种推理风格的一个很好的候选者。在单站点环境中，二阶方法变得可行，因为与这些方法相关的典型立方成本现在被限制在每个坐标的维度上。我们的工作，我们称之为牛顿蒙特卡罗（NMC），是一种方法，以提高MCMC收敛通过分析目标密度的一阶和二阶梯度，以确定一个合适的建议密度在每个点。现有的基于一阶梯度的方法存在确定适当步长的问题。太小的步长将需要大量的步长来收敛，而非常大的步长将导致它过冲高密度区域。NMC类似于优化中的Newton-Raphson更新，其中二阶梯度用于自动缩放每个维度中的步长。然而，我们的目标是找到一个参数化的建议密度，而不是最大值。作为现有的一阶和二阶方法的进一步改进，我们证明了具有约束支撑的随机变量在采取梯度步骤之前不需要进行变换。我们证明了效率的NMC上的一些不同的域。对于先验与可能性共轭的统计模型，我们的方法在一步中恢复后验非常简单。然而，我们也展示了相当大的非共轭模型的结果，其中NMC的性能优于自适应一阶方法，如NUTS或其他不精确的可扩展推理方法，如随机变分推理或自举。
2020-01-15 cs.LG stat.ML
The Barker proposal: combining robustness and efficiency in gradient-based MCMC
在设计马尔可夫链蒙特卡罗（MCMC）采样算法时，存在鲁棒性和效率之间的矛盾。在这里，我们专注于调整参数的鲁棒性，表明更复杂的算法往往是更敏感的步长参数的选择和不太强大的异质性的分布的利益。我们通过研究光谱间隙的行为来消除这种现象，因为算法选择的步长越来越差。出于这些考虑，我们提出了一种新的和简单的基于梯度的MCMC算法，灵感来自经典的巴克接受拒绝规则，具有改进的鲁棒性。广泛的理论结果，处理的鲁棒性调整，几何遍历性和尺度与尺寸，表明新的计划结合了简单的计划的鲁棒性与基于梯度的效率。我们在数值上表明，这种类型的鲁棒性是特别有益的自适应MCMC的背景下，给出的例子，我们提出的方案显着优于国家的最先进的替代品。
2020-05-11 stat.CO stat.ME
Asynchronous Stochastic Quasi-Newton MCMC for Non-Convex Optimization
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；Aalto University（阿尔托大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，随机梯度马尔可夫链蒙特卡罗技术在非凸优化中具有很强的潜力，在一定条件下可以显示局部和全局收敛保证。在此基础上，本文提出了一种求解非凸优化问题的并行随机L-BFGS算法。该算法适用于分布式和共享内存环境。我们提供了正式的理论分析，并表明，该方法实现了遍历收敛速度的${\cal O}(1/\sqrt{N})$（$N$是总的迭代次数），它可以实现线性加速在一定条件下。我们在合成和真实数据集上进行了几个实验。结果支持我们的理论，并表明，该算法提供了一个显着的加速比最近提出的同步分布式L-BFGS算法。
2018-06-07 cs.LG stat.ML
Structured Stochastic Gradient MCMC
University of California, Irvine（加州大学欧文分校）
随机梯度马尔可夫链蒙特卡罗（SGMCMC）被认为是大规模模型（如贝叶斯神经网络）中贝叶斯推理的黄金标准。由于在这些模型中，从业者面临速度与准确性的权衡，变分推理（VI）通常是首选。不幸的是，VI对后验的因子分解和函数形式都做了很强的假设。在这项工作中，我们提出了一个新的非参数变分近似，使近似后验的函数形式没有假设，并允许从业者指定确切的依赖关系的算法应该尊重或打破。该方法依赖于一种新的Langevin型算法，该算法对修改后的能量函数进行操作，其中部分潜在变量在马尔可夫链的早期迭代的样本上进行平均。通过这种方式，可以以可控的方式打破统计依赖性，从而使链更快地混合。该方案可以以“dropout”方式进一步修改，从而导致更大的可扩展性。我们在CIFAR-10，SVHN和FMNIST上测试了我们的ResNet-20方案。在所有情况下，我们发现与SG-MCMC和VI相比，收敛速度和/或最终精度有所提高。
2022-07-18 cs.LG stat.ML
Empirical evaluation of normalizing flows in Markov Chain Monte Carlo
University of Ljubljana（卢布尔雅那大学）
本文系统评估多种归一化流架构在MCMC中的应用，发现收缩残差流为最佳通用模型，并证明基于流的MCMC在合适架构下优于经典MCMC。
2025-10-09 cs.LG stat.CO stat.ML
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
在这篇文章中，我们考虑从Hamilton设置的对数凹分布采样，而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形（驯服）欧拉计划，从目标措施的样本，并提供非渐近2-Wasserstein距离界限之间的法律的过程中，每个算法和目标措施。最后，我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC via Variance Reduction
Purdue University（普渡大学）；University of Southern California（南加州大学）；Durham University（杜伦大学）
交换随机梯度朗之万动力学（reSGLD）在加速非凸学习的收敛方面表现出了希望;然而，为避免噪声能量估计器的偏差而进行的过大校正限制了加速的潜力。为了解决这个问题，我们研究了噪声能量估计器的方差减少，这促进了更有效的交换。在理论上，我们对连续时间Markov跳跃过程的指数加速度进行了非渐近分析，并考虑了广义Girsanov定理，该定理包含了Poisson测度的变化，克服了基于Gröwall不等式的粗糙离散化，并在2-Wasserstein（$\mathcal{W}_2$）距离上产生了更严格的误差.在数值上，我们进行了广泛的实验，并获得了最先进的结果，在优化和不确定性估计的合成实验和图像数据。
2021-03-18 cs.LG math.PR stat.CO
A Complete Recipe for Stochastic Gradient MCMC
许多最近的马尔可夫链蒙特卡罗（MCMC）采样器利用连续动态来定义有效地探索目标分布的过渡核。同时，重点是设计可扩展的变体，对数据进行子采样，并在动态模拟中使用随机梯度代替全数据梯度。然而，这样的随机梯度MCMC采样器已经落后于他们的全数据同行的复杂性的动态考虑，因为证明收敛的存在下的随机梯度噪声是不平凡的。即使是简单的动力学，也常常需要显著的物理直觉来修改动力系统以考虑随机梯度噪声。在本文中，我们提供了一个通用的配方，用于构建MCMC采样器-包括随机梯度版本-基于通过两个矩阵指定的连续马尔可夫过程。我们建设性地证明了框架是完整的。也就是说，任何从目标分布提供样本的连续马尔可夫过程都可以在我们的框架中编写。我们展示了如何在我们的框架中对以前的连续动态采样器进行平凡的“改造”，避免了复杂的采样器特定的证明。我们同样使用我们的配方，直截了当地提出了一个新的状态自适应采样器：随机梯度黎曼哈密顿蒙特卡罗（SGRHMC）。我们的实验模拟数据和流维基百科分析表明，建议SGRHMC采样器继承了黎曼HMC的好处，与随机梯度法的可扩展性。
2015-11-01 math.ST stat.ME stat.ML
Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
本文分析了采用 MCMC 估计器计算梯度的 MCMC-SGD 算法，利用 Bernstein 不等式推导误差界限，证明其具有一阶收敛速率并能高概率逃离鞍点达到近似二阶驻点。
2024-03-23 math.OC stat.ML
Tuning of MCMC with Langevin, Hamiltonian, and other stochastic autoregressive proposals
通过离散化朗之万扩散或哈密顿动力学推导出的Metropolis-Hastings MCMC提案是随机自回归提案的例子，这些提案形成了具有等效可计算性的自然更广泛的提案类别。我们分析大都会黑斯廷斯MCMC与随机自回归建议适用于目标分布是绝对连续的一些高斯分布，以获得预期的接受概率和预期的跳跃大小，以及计算成本的措施，在高维度的限制表达式。因此，我们能够统一现有的分析，这些类的建议，并扩展的理论结果，提供有用的指导方针，调整的建议，最佳的计算效率。对于简化的Langevin算法，我们发现，它是最佳的，以采取至少三个步骤的建议之前的Metropolis-Hastings接受-拒绝步骤，和汉密尔顿/混合蒙特卡罗，我们提供了新的指导方针的最佳数量的集成步骤和标准选择最佳的质量矩阵。
2016-10-03 math.PR stat.CO
Reinforcement Learning for Adaptive MCMC
Newcastle University（纽卡斯尔大学）；University of Sydney（悉尼大学）；Alan Turing Institute（阿兰·图灵研究所）
本文提出强化学习Metropolis-Hastings框架，将自适应MCMC的转移核视为确定性策略，通过策略梯度优化学习率，确保遍历性，并在PosteriorDB基准上以约90%任务优势超越现有无梯度自适应算法。
2024-05-22 cs.LG stat.CO
HyperMC: Multi-Fidelity Hyperparameter Tuning for Stochastic Gradient MCMC
Southern University of Science and Technology（南方科技大学）
针对SGMCMC超参数调优的难题，提出HyperMC多保真度调优框架及Robust HyperMC变体，在多个基准任务上实现了更优的后验近似或预测校准，且调优结果更稳定可复现。
2026-09-03 cs.LG stat.CO stat.ML
Variance reduction for dependent sequences with applications to Stochastic Gradient MCMC
本文提出了一种新的实用的相依序列的可加泛函的方差缩减方法。我们的方法结合使用控制变量的经验方差估计的最小化。我们分析所提出的方法的有限样本性质，并推导出有限时间的界限的超额渐近方差为零。我们将我们的方法应用于随机梯度MCMC（SGMCMC）方法在大数据集上进行贝叶斯推理，并将其与现有的SGMCMC方差降低方法相结合。我们目前的实证结果进行了一些基准的例子表明，我们的方差减少方法相比，国家的最先进的方法，以适度增加计算开销的代价实现了显着的改善。
2020-08-16 math.ST stat.CO stat.TH
Stochastic Gradient Monomial Gamma Sampler
Duke University（杜克大学）
随机梯度技术的最新进展使得通过马尔可夫链蒙特卡罗（MCMC）估计大数据集的后验分布成为可能。然而，当目标后验是多模态时，混合性能往往很差。这导致对后验分布的探索不足。提出了一种基于哈密顿蒙特卡罗的改进随机梯度MCMC抽样效率的框架。一个广义的动力学函数的杠杆作用，提供卓越的静态混合，特别是多峰分布。还讨论了技术，以克服这种泛化所带来的实际问题。它表明，所提出的方法是更好地探索复杂的多峰后验分布，在多个应用程序和其他随机梯度MCMC方法相比，证明。
2018-01-10 cs.LG stat.AP stat.ML
Is There an Analog of Nesterov Acceleration for MCMC?
University of California, Berkeley（加州大学伯克利分校）
本文将基于梯度的马尔可夫链蒙特卡罗（MCMC）抽样方法描述为概率测度空间上的优化问题，并以KL散度为目标函数。我们表明，欠阻尼形式的Langevin算法在这个度量进行加速梯度下降。为了刻画算法的收敛性，我们构造了一个李雅普诺夫泛函，并利用欠阻尼Langevin算法的假设性。作为应用，我们证明了利用Langevin算法可以得到一类非凸函数的加速率。
2019-10-22 cs.LG cs.NA math.NA
Weak Convergence Rates of Population versus Single-Chain Stochastic Approximation MCMC Algorithms
本文建立了单链和总体随机逼近MCMC算法的弱收敛性理论。在此基础上，给出了群体SAMCMC算法和单链SAMCMC算法的收敛速度的显式比值。我们的研究结果提供了一个理论保证，人口SAMCMC算法是渐近更有效的比单链SAMCMC算法的增益因子序列下降慢于O（1/t），其中t是指数的迭代次数。这对于实际应用是有意义的。
2013-10-28 math.ST stat.TH
De-randomizing MCMC dynamics with the diffusion Stein operator
Aalto University（阿尔托大学）；Department of Computer Science（计算机科学系）
近似贝叶斯推断估计一个棘手的目标分布的描述符-本质上，一个分布族内的优化问题。例如，朗之万动力学（LD）从扩散过程中提取渐近精确的样本，因为其边缘分布的时间演化构成了一条曲线，该曲线通过Wasserstein空间中的最陡下降使KL发散最小化。与LD并行，Stein变分梯度下降（SVGD）类似地通过确定性地传输一组粒子样本来最小化KL，尽管赋予了新的Stein-瓦瑟斯坦距离，从而使随机扩散过程去随机化。我们提出去随机化的基于内核的粒子采样器，所有扩散为基础的采样器称为MCMC动力学。在解释MCMC动力学之前的工作之后，我们配备了Stein-Wasserstein空间，该空间具有纤维黎曼泊松结构，具有表征模拟MCMC动力学的纤维梯度哈密顿流的能力。这样的动态离散成广义SVGD（GSVGD），斯坦型确定性粒子采样器，粒子更新与应用扩散斯坦算子的核函数相一致。我们的经验表明，GSVGD可以去随机化复杂的MCMC动力学，它结合了辅助动量变量和黎曼结构的优势，同时保持高质量的样品从相互作用的粒子系统。
2021-10-07 cs.LG stat.ML
Ancillarity-Sufficiency Interweaving Strategy (ASIS) for Boosting MCMC Estimation of Stochastic Volatility Models
随机波动率模型的MCMC方法的贝叶斯推断在抽样效率方面高度依赖于实际参数值。当潜在状态方程中的波动率参数的波动率较小时，利用标准中心化参数化分解后验，非中心化版本的模型显示出对高持久性潜在变量序列的不足。辅助充分交织的新方法最近已被证明有助于克服这些问题的一个广泛的一类多层次模型。在本文中，我们演示了如何将这种交织策略应用于随机波动率模型，以大大提高所有参数和整个参数范围内的抽样效率。此外，这种“不同世界中的最佳组合”的方法允许对先前无法估计的参数星座进行推断，而不需要预先选择特定的参数化。
2017-06-16 econ.EM stat.AP stat.CO
Trajectory averaging for stochastic approximation MCMC algorithms
随机逼近的主题是由罗宾斯和门罗[安。22（1951）400- 407]。经过50年的不断发展，它已成为系统控制和优化的一个重要领域，并成为随机系统在线估计和控制的自适应算法的原型。最近，它已被用于统计与马尔可夫链蒙特卡罗解决极大似然估计问题和一般的模拟和优化。在本文中，我们首先证明了轨迹平均估计器在温和条件下对于随机逼近MCMC（SAMCMC）算法是渐进有效的，然后将该结果应用于随机逼近蒙特卡罗算法[Liang，Liu and Carroll J. Amer. Statist. 102（2007）305- 320]。本文还讨论了轨迹平均估计器在其他随机逼近MCMC算法中的应用，如缺失数据问题的随机逼近MLE算法。
2010-11-11 math.ST stat.TH
MCMC-driven learning
本文旨在将MCMC与机器学习交叉领域的多种问题统一在一个共同框架内，使各问题的理论和方法得以相互转化与推广。
2024-02-14 cs.LG math.ST stat.CO
Broadly Applicable Approximate MCMC for Switching Stochastic Differential Equations Using Uniformization and Time-Conditioned Factorized Neural Likelihood Estimation
Waseda University（早稻田大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Nippon Medical School（日本医科大学）
本研究提出一种基于均匀化和时间条件化因子化神经似然估计的近似MCMC采样器，用于切换随机微分方程的贝叶斯推断，无需解析转移密度，并在合成与真实数据上验证了其广泛适用性。
2026-10-08 cs.LG stat.ML
Particle-MALA and Particle-mGRAD: Gradient-based MCMC methods for high-dimensional state-space models
针对状态空间模型中两类贝叶斯推断方法分别在高维潜状态和长时间范围下扩展性差的问题，提出结合二者优势的Particle-MALA和Particle-mGRAD等梯度基MCMC方法，证明其可插值调优且实验表现更优。
2024-01-26 stat.CO stat.ML
Learning Non-Convergent Non-Persistent Short-Run MCMC Toward Energy-Based Model
UCLA（加州大学洛杉矶分校）
本文研究了用MCMC学习基于能量的模型（EBM）中的一个奇怪现象。在每次学习迭代中，我们通过向当前模型运行非收敛、非混合和非持久的短期MCMC来生成合成示例，始终从相同的初始分布（如均匀噪声分布）开始，并始终运行固定数量的MCMC步骤。在生成合成样本之后，我们根据极大似然学习梯度更新模型参数，就好像合成样本是来自当前模型的公平样本一样。我们把这个非收敛的短期MCMC作为一个学习的发电机模型或流模型。我们提供的参数治疗学习的非收敛短期MCMC作为一个有效的模型。我们表明，学习的短期MCMC是能够生成逼真的图像。更有趣的是，与传统的EBM或MCMC不同，学习的短期MCMC能够重建观察到的图像并在图像之间进行插值，就像发电机或流量模型一样。代码可以在附录中找到。
2019-11-25 cs.LG stat.ML
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗（MCMC）和变分推理。MCMC如果运行足够长的时间，则趋于准确，而变分推理则趋于在较短的时间范围内给出更好的近似。然而，MCMC超过变分方法的性能所需的时间量可能相当高，从而激发了更细粒度的权衡。本文推导出一个分布变分参数，旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限，并给出了一个例子，如何从这个分布中的方式，插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理（SGVI）。
2017-06-20 cs.LG stat.ML
Ergodic Inference: Accelerate Convergence by Optimisation
University of Cambridge（剑桥大学）
统计推断方法在机器学习中是非常重要的。大多数最先进的推理算法是马尔可夫链蒙特卡罗（MCMC）或变分推理（VI）的变体。然而，这两种方法在实践中都有局限性：MCMC方法的计算要求很高; VI方法可能有很大的偏差。在这项工作中，我们的目标是改进MCMC和VI的一种新的混合方法的基础上减少模拟偏差的有限长度MCMC链使用基于梯度的优化的想法。该方法通过增加MCMC模拟的长度和优化MCMC超参数来生成低偏差样本，从而在近似偏差和计算效率之间提供了有吸引力的平衡。我们表明，我们的方法在流行的基准相比，最近的MCMC和VI的混合方法产生了可喜的成果。
2019-10-16 cs.LG stat.ML
Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states
Harvard University（哈佛大学）；Duke University（杜克大学）；Google（谷歌公司）
针对隐马尔可夫模型中稀有隐状态导致数据不平衡的问题，提出目标子采样（TASS）方法，通过过采样稀有状态观测值并构建权重降低梯度估计方差，显著提升了稀有事件的预测和推断准确性。
2024-07-25 cs.LG stat.ML
Delayed acceptance particle MCMC for exact inference in stochastic kinetic models
最近提出的粒子MCMC方法提供了一种灵活的方式进行贝叶斯推断的参数管理随机动力学模型定义为马尔可夫（跳）过程（MJPs）。该方案的每次迭代都需要从序贯蒙特卡罗方案（也称为粒子滤波器）的输出计算的边缘似然的估计。因此，该方法可能是极其计算密集的。因此，我们的目标是通过使用快速近似来避免大多数情况下昂贵的似然计算。我们考虑两种近似：化学朗之万方程扩散近似（CLE）和线性噪声近似（LNA）。CLE下的边际似然估计或LNA下的易处理边际似然可用于计算第一步接受概率。只有当一个建议被接受的近似下，我们然后运行一个序贯蒙特卡罗计划，以计算一个真实的MJP下的边际似然估计，并构建一个第二阶段的接受概率，允许精确的（基于模拟的）推断MJP。因此，我们避免对可能被拒绝的提案进行昂贵的计算。我们说明了该方法考虑的Lotka-Volterra系统，基因表达模型和一个简单的流行病过程的参数推断。
2014-05-16 stat.CO
MCMC Variational Inference via Uncorrected Hamiltonian Annealing
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
给定一个未归一化的目标分布，我们希望从中获得近似样本及其（log）归一化常数log Z的严格下限。退火重要性采样（AIS）与哈密顿MCMC是一个强大的方法，可以用来做到这一点。它的主要缺点是它使用不可微的过渡核，这使得调整它的许多参数变得困难。我们提出了一个框架，使用一个类似AIS的程序与未校正的哈密顿MCMC，称为未校正的哈密顿退火。我们的方法导致紧密的和可微的下限log Z。我们的经验表明，我们的方法产生更好的性能比其他竞争的方法，并调整其参数使用重新参数化梯度的能力可能会导致大的性能改善。
2021-10-30 cs.LG stat.ML
Inference of Stochastic Disease Transmission Models Using Particle-MCMC and a Gradient Based Proposal
状态空间模型已被广泛用于通过拟合时间序列数据来对感兴趣的人群中的传染病动态进行建模。粒子滤波器使这些模型能够包含随机性，因此可以更好地反映种群行为的真实性质。可以使用粒子MCMC来推断诸如疾病的传播、$R_t$和恢复率的相关参数。标准方法使用Metropolis-Hastings随机游走建议，当存在多个参数时，该建议可能难以在合理的时间内达到平稳分布。在本文中，我们得到了完整的贝叶斯参数估计使用梯度信息和无掉头采样器（NUTS）时，提出了新的参数的随机非线性敏感暴露暴露（SEIR）和SIR模型。虽然NUTS使一个以上的目标评估每次迭代，我们表明，它可以提供更准确的估计，在更短的运行时间比大都会黑斯廷斯。
2022-05-15 stat.AP
A posteriori stochastic correction of reduced models in delayed acceptance MCMC, with application to multiphase subsurface inverse problems
基于样本的贝叶斯推断提供了一种在地球科学中进行不确定性量化的途径，并且通常提供了逆问题，尽管在每次迭代时需要模拟精确的计算机模型的朴素形式中对计算要求很高。我们提出了一种新的方法，构造一个随机校正引起的误差减少模型，与校正改善算法的进行。这使得从正确的目标分布采样，在减少每次迭代的计算成本，在现有的延迟接受计划，同时避免明显的统计效率的损失，必然发生时，使用简化模型。随机校正的使用显著降低了在期望的不确定性范围内估计感兴趣的量的计算成本。相比之下，现有的计划，直接使用简化模型作为代理实际上并没有提高计算效率，在我们的目标应用程序。我们建立在最近的简化条件，自适应马尔可夫链蒙特卡罗算法，给出实用的近似计划和算法，保证收敛。这种新方法的有效性证明了两个计算实例，包括一个真正的地热储层的大规模数值模型的校准，表现出良好的计算和统计效率的合成和测量数据集。
2019-04-11 stat.CO
Exact Gibbs sampling for stochastic differential equations with gradient drift and constant diffusion
Purdue University（普渡大学）
本文提出了一种适用于广泛SDE类别的精确吉布斯采样方法，无需离散化误差，通过变换扩展到更广泛的多元SDEs，并在合成和真实数据上展示了优于粒子MCMC的性能。
2026-01-31 stat.CO
