An adaptive MCMC method for multiple changepoint analysis with applications to large datasets
研究了变点个数和位置均未知的变点的贝叶斯推断问题。特别是，我们考虑产品分区模型，其中可以整合出每个变点之间的制度的模型参数，在潜在向量上留下后验分布，指示在每个观察点是否存在变点。Fearnhead（2006）也考虑了同样的问题，其中可以使用过滤递归来进行精确推理。然而，该算法的复杂度二次依赖于观察的数量。我们的方法依赖于有限离散状态空间的自适应马尔可夫链蒙特卡罗（MCMC）方法。我们开发了一种自适应算法，它可以从过去的状态的马尔可夫链，以建立建议分布，可以快速发现变化点可能位于。我们证明了我们的算法的后验分布遍历。至关重要的是，我们证明了我们的自适应MCMC算法是可行的大型数据集的过滤递归方法是不是。此外，我们表明，推理是可能的，在一个合理的时间。
2017-03-11 stat.CO
Individual adaptation: an adaptive MCMC scheme for variable selection problems
随着数据集规模的不断扩大，回归中的变量选择变得越来越重要。贝叶斯方法是有吸引力的，因为它们允许变量选择的不确定性被正式纳入分析。将完全贝叶斯变量选择方法应用于大型数据集在计算上具有挑战性。我们描述了一个自适应的马尔可夫链蒙特卡罗方法，称为个人适应调整一般的建议的数据。我们表明，该算法是遍历的，并讨论其使用并行回火和序贯蒙特卡罗方法。我们说明了使用该方法的两个数据集，包括22577个变量的基因表达分析。
2014-12-29 stat.CO
An efficient adaptive MCMC algorithm for Pseudo-Bayesian quantum tomography
针对伪贝叶斯量子层析中高维采样导致计算困难的问题，提出一种高效自适应MCMC采样方法，模拟显示其速度较先前实现至少提升两个数量级。
2023-09-14 stat.AP stat.CO
Multilevel Delayed Acceptance MCMC with an Adaptive Error Model in PyMC3
通过马尔可夫链蒙特卡罗（MCMC）的不确定性量化对于具有昂贵的似然函数的目标概率密度来说可能是极其昂贵的，例如当评估涉及求解偏微分方程（PDE）时，如在广泛的工程应用中的情况。多级延迟接受（MLDA）与自适应误差模型（AEM）是一种新的方法，它通过利用层次化的模型来解决这个问题，增加了复杂性和成本，并在运行中纠正廉价的模型。该方法已集成在开源概率编程包PyMC 3中，并在最新的开发版本中可用。在本文中，该算法是随着一个说明性的例子。
2020-12-10 stat.CO
Adaptive MCMC for Generalized Method of Moments with Many Moment Conditions
广义矩量法（GMM）估计量在大量矩量条件下是不可靠的，即它与样本量相当或大于样本量。虽然经典的GMM文献对此问题提出了几个规定，但其贝叶斯对应物（即，本文提出了一种自适应马尔可夫链蒙特卡罗（MCMC）方法来解决多矩条件下的GMM推断问题，从而弥补了这一缺陷。特别是，本研究侧重于自适应调整的加权矩阵的飞行。我们的建议包括两个要素。首先是使用非参数特征值正则化精度矩阵估计，这有助于数值稳定性。第二个是随机更新的加权矩阵，这大大降低了计算成本，同时保持估计的准确性。然后，我们提出了一个模拟研究和实际数据应用所提出的方法与现有的方法的性能进行比较。
2021-03-10 stat.CO
Adaptive Stereographic MCMC
Department of Statistics, University of Warwick（华威大学统计系）；CEREMADE, Unive（CEREMADE）
研究通过马尔可夫链蒙特卡罗方法从重尾、高维分布采样的问题，引入三种自适应球极平面MCMC算法，能自动更新参数，开发新框架证明其收敛性质，使算法在特定情况下更稳健且有相关收敛结果。
2026-07-08 stat.CO
Error bounds for simultaneous Wasserstein contractive adaptive increasingly rare MCMC
University of Bath（巴斯大学）；University of Passau（帕绍大学）
针对自适应渐稀马尔可夫链蒙特卡洛算法，在同时Wasserstein压缩假设下推导均方误差的显式界，并应用于自适应立体算法和基于归一化流的Metropolis-Hastings方案。
2026-06-29 math.PR math.ST stat.CO
Langevin type limiting processes for Adaptive MCMC
自适应马尔可夫链蒙特卡罗（AMCMC）是一类MCMC算法，其中建议分布在链的每次迭代中改变。在这种情况下，重要的是验证这样的马尔可夫链确实具有平稳分布。在本文中，我们讨论了离散时间AMCMC的扩散近似。当与Gelman、Gilks和Roberts（1997）中的扩散近似相比时，该扩散近似是不同的，在Gelman、Gilks和Roberts（1997）中，状态空间在维度上增加到无穷大。在我们的方法中，时间参数以这样一种方式加速，即极限分布（当网格步长变为0时）是一个非平凡的连续时间扩散过程。
2015-09-04 math.PR stat.CO
Adaptive MCMC via Combining Local Samplers
Imperial College London, London, UK（伦敦帝国学院，伦敦，英国）
本文提出了一种自适应MCMC方法，通过结合多个并行运行的局部采样器，利用核Stein分歧度优先选择链，以提高整体采样效率，实验表明该方法在多模态问题和传感器定位任务中优于现有方法。
2019-07-13 cs.LG cs.NA math.NA
Ergodicity of an Adaptive MCMC Sampler under a Probability Bound
Université du Littoral Côte d’Opale（滨海大学）
本文提出在概率界内放松自适应MCMC采样器的遍历性条件，无需假设样本和参数空间的紧致性。
2026-02-16 math.PR math.ST stat.CO
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗（MCMC）和变分推理。MCMC如果运行足够长的时间，则趋于准确，而变分推理则趋于在较短的时间范围内给出更好的近似。然而，MCMC超过变分方法的性能所需的时间量可能相当高，从而激发了更细粒度的权衡。本文推导出一个分布变分参数，旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限，并给出了一个例子，如何从这个分布中的方式，插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理（SGVI）。
2017-06-20 cs.LG stat.ML
Adaptive Gibbs samplers and related MCMC methods
我们考虑各种版本的自适应Gibbs和Metropolis-within-Gibbs采样器，它们在运行过程中通过学习动态更新它们的选择概率（也许还有它们的建议分布），以试图优化算法。我们提出了一个警示的例子，即使是一个简单的自适应吉布斯采样器可能无法收敛。然后，我们提出了各种积极的结果，保证在一定条件下的自适应吉布斯采样收敛。
2013-02-27 math.PR stat.CO
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Efficient adaptive MCMC through precision estimation
提出了一种新的自适应马尔可夫链蒙特卡罗算法。该算法利用密度偏相关结构的稀疏性，通过精度矩阵的Cholesky因子有效地估计协方差阵。该算法还利用稀疏性从MALA和Metropolis Hasting随机游动建议中有效地采样。此外，提出了一种估计密度的部分相关结构的算法。将其与Cholesky因子估计算法相结合，得到一种有效的黑盒AMCMC方法，该方法可用于具有未知依赖结构的一般密度。两个例子的方法进行了比较，定期经验协方差适应。在这两个例子中，所提出的方法的协方差估计收敛到真正的协方差阵的速度更快，每次迭代的计算成本更低。
2016-02-06 stat.CO
Reinforcement Learning for Adaptive MCMC
Newcastle University（纽卡斯尔大学）；University of Sydney（悉尼大学）；Alan Turing Institute（阿兰·图灵研究所）
本文提出强化学习Metropolis-Hastings框架，将自适应MCMC的转移核视为确定性策略，通过策略梯度优化学习率，确保遍历性，并在PosteriorDB基准上以约90%任务优势超越现有无梯度自适应算法。
2024-05-22 cs.LG stat.CO
AutoStep: Locally adaptive involutive MCMC
University of British Columbia（不列颠哥伦比亚大学）
针对MCMC方法步长选择难、多尺度目标无全局最优步长的问题，提出AutoStep MCMC方法，可根据目标分布局部几何自适应选步长，理论上保证良好性质，实验中单位成本有效样本量比肩SOTA方法。
2025-05-20 cs.LG stat.CO stat.ML
High-dimensional Adaptive MCMC with Reduced Computational Complexity
University of Waterloo（滑铁卢大学）；University College London（伦敦大学学院）
本文提出一种自适应MCMC方法，通过学习稀疏参数化的密集线性预条件器，实现每轮迭代计算复杂度为O(m²d)，优于传统方法的O(d²)。预条件器由对角矩阵和精心选择的反射矩阵组成，通过在线主成分分析推断目标协方差的特征信息，优于对角预条件和低秩方法。
2026-04-10 stat.CO stat.ML
An adaptive approximate Bayesian computation MCMC with Global-Local proposals
本文提出了一种结合全局和局部提议的自适应ABC-MCMC算法，通过改进的自适应方案提升采样效率和收敛可靠性。
2025-12-14 stat.CO
Bouncy Hybrid Sampler as a Unifying Device
本文介绍了一类无拒绝的马尔可夫链蒙特卡罗（MCMC）采样器，称为弹性混合采样器，它统一了文献中现有的几种方法。例子包括Peters和de With（2012）、Bouchard-Cote等人（2015）的Bouncy Particle Sampler和Hamiltonian MCMC。根据介绍的一般框架，我们推导出一个新的采样器称为二次弹性混合采样器。我们应用这种新的采样器的问题，从截断高斯分布的采样。
2018-02-19 stat.CO
Adaptively switching between a particle marginal Metropolis-Hastings and a particle Gibbs kernel in SMC$^2$
针对难以计算似然的状态空间模型后验采样问题，提出在SMC²迭代中自适应切换PMMH和PG粒子MCMC核的方法，显著提升算法效率并开源代码。
2023-07-21 stat.CO
Adaptive MCMC with online relabeling
当目标分布是人为不变的一些排列下，马尔可夫链蒙特卡罗（MCMC）算法面临的标签切换问题，边际推理特别麻烦。例如，在有限混合模型的贝叶斯分析中就出现了这种情况。自适应MCMC算法也不例外，例如自适应Metropolis（AM），其使用目标的协方差阵的在线估计来自校准其建议分布。为了解决标签切换问题，重新标记算法将置换与每个MCMC样本相关联，试图获得合理的边际。在自适应Metropolis（Bernoulli 7（2001）223-242）的情况下，需要在线重新标记策略。本文致力于AMOR算法，可证明一致的变体AM，可以应付标签切换问题。其思想是基于单个协方差阵的估计在MCMC算法内嵌套重新标记步骤，该协方差矩阵用于调整Metropolis算法步骤中的建议分布的协方差和用于在线重新标记。我们比较了AMOR的行为与类似的重新标记方法。在紧支撑目标分布的情形下，我们证明了AMOR的一个强大数定律及其遍历性。这些是第一个结果的一致性的在线重新标记算法，以我们的知识。证明强调了重新标记和矢量量化之间的潜在关系。
2015-07-27 math.PR math.ST stat.CO
Adaptive Sequential MCMC for Combined State and Parameter Estimation
在线性状态空间模型的情况下，我们实现了一个MCMC采样器与两个阶段。在学习阶段，使用自校正采样器来学习参数均值和协方差结构。在估计阶段，参数均值和协方差结构通知所提出的机制，也被用于延迟接受算法。关于系统最终状态的信息由高斯混合给出。在在线模式下，该算法是自适应的，并使用滑动窗口的方法来加快采样速度，并保持适当的接受率。我们将该算法应用于不规则采样GPS时间序列数据的联合状态和参数估计。
2018-03-21 stat.AP
A Framework for Adaptive MCMC Targeting Multimodal Distributions
提出了一种新的多峰分布抽样的蒙特卡罗方法。该技术的思想是基于将任务分为两部分：找到目标分布$π$的模式，并在已知模式位置的情况下进行采样。采样算法依赖于两种类型的步骤：局部步骤，保留模式;以及跳转到与不同模式相关联的区域。此外，该方法在运行时学习算法的最佳参数，而不需要用户干预。我们的技术应该被认为是一个灵活的框架，其中的动作设计可以遵循各种策略，从广泛的MCMC文献。为了设计一个自适应的计划，方便本地和跳跃移动，我们引入了一个辅助变量表示每个模式，我们定义了一个新的目标分布$\tildeπ$上的增广状态空间$\mathcal{X}~\times~\mathcal{I}$，其中$\mathcal{X}$是原始状态空间的$π$和$\mathcal{I}$是一组模式。当算法运行并更新其参数时，目标分布$\tildeπ$也不断被修改。这激发了一类新的算法，辅助变量自适应MCMC。我们证明了一般遍历的结果，为整个类之前专门的情况下，我们的算法。
2019-01-11 math.PR stat.CO stat.ME
Almost sure convergence rates of adaptive increasingly rare Markov chain Monte Carlo
University of Bath（巴斯大学）；University of Warwick（华威大学）；University of Passau（帕绍大学）
本文研究了自适应递增稀疏MCMC算法的几乎必然收敛速度，通过收缩假设推导了收敛速率上界，并展示了在不同设置下的应用。
2025-10-13 cs.NA math.NA math.PR
Adaptive Multiple Importance Sampling for Gaussian Processes
在高斯过程应用中，不确定性的量化是一个严格的要求，它是必要的，以准确地描述后验分布的高斯过程协方差参数。通常，这通过标准的马尔可夫链蒙特卡罗（MCMC）算法来完成。出于与计算边际可能性的复杂性相关的问题（可能导致MCMC算法效率低下）的动机，本文开发了一种基于自适应多个重要性抽样（AMIS）的替代推理框架。本文研究了AMIS在高斯似然情况下的应用，提出了非高斯似然情况下的伪边缘AMIS，其中边缘似然是无偏估计的。结果表明，所提出的框架优于MCMC为基础的协方差参数的推断在广泛的情况下，并保持竞争力的适度大尺寸的参数空间。
2016-03-31 stat.CO
Structure Learning with Adaptive Random Neighborhood Informed MCMC
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
本文提出PARNI-DAG采样器，结合自适应随机邻域提议和基于骨架图的预调优，实现观测数据下DAG结构的高效全贝叶斯后验采样，在高维高相关场景中具有更好的混合性能和准确性。
2023-11-01 cs.LG stat.CO
Plateau Proposal Distributions for Adaptive Component-wise Multiple-Try Metropolis
马尔可夫链蒙特卡罗（MCMC）方法是已经成为统计学中常用工具的采样方法，例如用于执行蒙特卡罗积分。由于计算能力的增加，MCMC方法存在许多变化，用于从任意的、可能复杂的目标分布生成样本。MCMC方法的性能主要取决于所使用的所谓建议分布的选择。在本文中，我们介绍了一种新类型的建议分布中使用的MCMC方法，操作组件明智的，每次迭代多次试验。具体来说，这类新的建议分布，称为高原分布，不重叠，从而确保多个试验是从状态空间的不同区域中提取的。此外，高原建议分布允许定制的自适应过程，其适合于具有有效的问题相关状态空间探索和改进的老化特性的马尔可夫链。仿真研究表明，我们的新的MCMC算法优于竞争对手时，从一个复杂的形状，高度相关的组件或多个模式的分布采样。
2021-06-10 stat.CO stat.ME
Notes on Using Control Variates for Estimation with Reversible MCMC Samplers
一个通用的方法，提出了建设和有效利用控制变量的可逆MCMC采样器。的控制变量的最佳线性组合的系数的值进行计算，自适应，一致的MCMC估计，这些最佳系数。所有的方法论和渐近的论点是严格合理的。众多的MCMC模拟的例子，从贝叶斯推断的应用表明，所产生的方差减少可以是相当戏剧性的。
2010-05-04 math.PR stat.CO
A Mixture-Based Approach to Regional Adaptation for MCMC
自适应马尔可夫链蒙特卡罗（AMCMC）的最新进展包括当最佳转换核在样本空间的不同区域上不同时需要区域自适应。基于这些发现，我们提出了一种基于混合的方法来确定区域AMCMC所需的分区。使用在线期望最大化算法拟合混合模型（参见Andrieu和Moulines，2006），这允许我们同时绕过繁重的计算负荷并实现具有在线递归的区域自适应算法（RAPTOR）。该方法是尝试模拟以及真实数据的例子。
2009-03-30 stat.CO
Inverse modeling of hydrologic systems with adaptive multi-fidelity Markov chain Monte Carlo simulations
马尔可夫链蒙特卡罗（MCMC）模拟方法被广泛用于评估水文模型的参数不确定性条件下的可观测状态变量的测量。然而，当模型是CPU密集型和高维的，MCMC模拟的计算成本将是令人望而却步的。在这种情况下，CPU高效但不太准确的低保真度模型（例如，通常采用具有较粗离散化的数值模型或数据驱动的替代）。如今，多逼真度仿真方法，可以利用低逼真度模型的效率和高保真度模型的准确性得到普及。在MCMC模拟中，由于未知模型参数的后验分布是感兴趣区域，因此明智的做法是将大部分计算预算（即，高精度模型评估）。基于这一思想，本文提出了一种自适应多保真度MCMC算法，用于水文系统的高效逆建模。在该方法中，我们评估高保真模型主要是在后验区域通过迭代运行MCMC基于高斯过程（GP）系统，自适应构造与多保真度模拟。在MCMC仿真中严格考虑了GP系统的误差，并在后验区域逐渐减小到可以忽略的水平。因此，所提出的方法可以得到一个准确的估计后验分布与少量的高保真模型评估。所提出的方法的性能证明了三个数值算例研究在水文系统的逆模拟。
2018-06-14 math.OC stat.CO
Fast Doubly-Adaptive MCMC to Estimate the Gibbs Partition Function with Weak Mixing Time Bounds
我们提出了一种新的方法，用于减少严格估计吉布斯（玻尔兹曼）分布，这是无处不在的概率图形模型的分区函数（归一化常数）的计算复杂性。吉布斯分布实际应用的一个主要障碍是需要估计它们的配分函数。在解决这个问题的最先进的是多阶段的算法，它包括一个冷却时间表，并在每一步的时间表的平均估计。虽然这些算法中的冷却时间表是自适应的，但平均估计计算使用MCMC作为黑盒来绘制近似样本。我们开发了一个双重自适应的方法，结合自适应冷却时间表与自适应MCMC均值估计，其数量的马尔可夫链的步骤动态地适应底层链。通过严格的理论分析，我们证明了我们的方法在几个方面优于现有的算法：（1）我们的方法的计算复杂度较小;（2）我们的方法对混合时间的松散界限不敏感，这是这些算法中的一个固有组成部分;（3）我们的方法所获得的改进在最具挑战性的高精度估计中特别重要。我们证明了我们的方法在经典的因子图，如投票模型和伊辛模型上运行的实验中的优势。
2021-11-14 cs.DS stat.ML
Adaptive Independent Sticky MCMC algorithms
本文提出自适应独立粘性MCMC算法，通过迭代构建基于支持点的非参数提议密度并控制其演化，实现从单变量到多变量目标分布的高效采样。
2016-01-02 stat.CO stat.ML
Toward Unlimited Self-Learning MCMC with Parallel Adaptive Annealing
Fujitsu Limited（富士通有限公司）
本文提出并行自适应退火方法及VAE-SLMC，通过序列学习、自适应退火和并行退火克服自学习蒙特卡洛难以处理多模态分布的问题，实现高效准确的采样。
2023-09-20 cs.LG stat.CO stat.ME
Ergodic Inference: Accelerate Convergence by Optimisation
University of Cambridge（剑桥大学）
统计推断方法在机器学习中是非常重要的。大多数最先进的推理算法是马尔可夫链蒙特卡罗（MCMC）或变分推理（VI）的变体。然而，这两种方法在实践中都有局限性：MCMC方法的计算要求很高; VI方法可能有很大的偏差。在这项工作中，我们的目标是改进MCMC和VI的一种新的混合方法的基础上减少模拟偏差的有限长度MCMC链使用基于梯度的优化的想法。该方法通过增加MCMC模拟的长度和优化MCMC超参数来生成低偏差样本，从而在近似偏差和计算效率之间提供了有吸引力的平衡。我们表明，我们的方法在流行的基准相比，最近的MCMC和VI的混合方法产生了可喜的成果。
2019-10-16 cs.LG stat.ML
Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals
马尔可夫链蒙特卡罗（MCMC）方法是计算复杂概率分布的有力工具。然而，这种方法的性能是严格依赖于适当调整的参数，其中大多数是困难的，如果不是不可能知道一个给定的目标分布的先验。自适应MCMC方法旨在通过允许在采样期间基于来自链的先前样本更新参数来解决这个问题，代价是需要新的理论分析来确保收敛。在这项工作中，我们扩展了自适应MCMC方法的收敛理论，建立在一个强大的参数密度估计，称为规范化流一类新的方法。特别是，我们考虑一个独立的大都会-黑斯廷斯采样器，其中的建议分布是由一个归一化流，其参数更新使用随机梯度下降。我们探讨了这一过程的实际性能的合成设置和物理场系统的分析，并比较它对自适应和非自适应MCMC方法。
2021-10-25 stat.CO
Bridging the Gap between Stochastic Gradient MCMC and Stochastic Optimization
Duke University（杜克大学）；Columbia University（哥伦比亚大学）
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法是流行的随机最优化方法的贝叶斯类似物;然而，这种联系没有得到很好的研究。我们通过将模拟退火应用于SGMCMC算法来探索这种关系。此外，我们扩展了最近的SG-MCMC方法的两个关键组成部分：i）自适应预处理器（如ADAgrad或RMSprop），以及ii）自适应元素动量权重。零温度极限给出了一种新的随机最优化方法与自适应元素的动量权重，而传统的优化方法只有一个共享的，静态的动量权重。在一定的假设下，我们的理论分析表明，所提出的模拟退火方法收敛到接近全局最优。与相关的随机最优化算法相比，在几个深度神经网络模型上的实验显示了最先进的结果。
2016-08-05 cs.LG stat.ML
A Path-Dependent Agent-Based Microsimulation of Crime and Violence Reduction Policy Portfolios in Bolivia: Survey Calibration, Adaptive Emulator Ensembles, Global Sensitivity, Tempered MCMC, and Multi-Objective Policy Analysis
本研究构建了基于调查校准的路径依赖型主体微观模拟，评估玻利维亚多种犯罪与暴力减少政策组合，通过仿真器集成和敏感性分析处理不确定性，结果作为结构性政策情景而非因果预测。
2026-10-06 econ.EM stat.AP
Average of Recentered Parallel MCMC for Big Data
在大数据背景下，传统的MCMC方法，如梅特罗波利斯-黑斯廷斯算法和混合蒙特卡罗，可扩展性差，因为它们需要在每次迭代时评估整个数据集的可能性。为了复活MCMC方法，许多方法属于两类：分而治之和子采样，提出。在本文中，我们研究了并行MCMC，并提出了一种新的组合方法，在分治的框架。与一致性蒙特卡罗、Weierstrass Sampler等并行MCMC方法相比，该方法不采用子后验样本，而是对重标后验样本进行MCMC计算，但并行计算开销相同。我们还给出了我们的方法的数学理由，并在几个模型中显示其性能。此外，尽管我们的新方法是在参数框架下提出的，但它可以毫无困难地应用于非参数情况。
2017-06-18 stat.CO
Gradient-based Adaptive Markov Chain Monte Carlo
DeepMind（深度思维）；University College of London（伦敦大学学院）；Univ. of Econ. and Business（经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入了一个基于梯度的学习方法，自动适应马尔可夫链蒙特卡罗（MCMC）的建议分布，棘手的目标。我们定义了一个最大熵正则化的目标函数，称为广义速度测度，它可以通过应用随机梯度优化的建议分布的参数进行鲁棒优化。与传统的自适应MCMC方法相比，我们的方法的一个优点是，即使候选状态值被拒绝，也会发生自适应。这是任何自适应策略的高度期望的属性，因为自适应在早期迭代中开始，即使初始提议分布远离最优。我们应用框架学习多元随机游动大都市和大都市调整Langevin建议与完整的协方差阵，并提供经验证据表明，我们的方法可以优于其他MCMC算法，包括哈密顿蒙特卡罗计划。
2020-01-06 cs.LG stat.CO stat.ML
The No-Underrun Sampler: A Locally-Adaptive, Gradient-Free MCMC Method
本文提出无下冲采样器（NURS），一种无需梯度的局部自适应MCMC方法，融合Hit-and-Run与No-U-Turn思想，理论保证可逆性及收敛性，实验成功采样Neal漏斗多尺度分布。
2025-02-25 math.PR math.ST stat.ME
Randomized Reduced Forward Models for Efficient Metropolis--Hastings MCMC, with Application to Subsurface Fluid Flow and Capacitance Tomography
通过马尔可夫链蒙特卡罗（MCMC）的贝叶斯建模和计算推断是用于大规模不确定性量化的原则性框架，尽管在实践中受限于以最简单的形式实现时的计算成本，该最简单的形式需要在MCMC的每次迭代处模拟精确的计算机模型。延迟接受Metropolis-Hastings MCMC利用前向映射的简化模型来降低每次迭代的计算成本，尽管这必然会降低统计效率，但不小心会导致计算估计的计算成本没有降低到所需的精度。随机化前向映射的简化模型可以通过保持每次迭代的低成本以及避免统计效率的明显损失来显著提高计算效率。随机化映射是通过随机化和局部校正的确定性简化模型的后验自适应调整来构造的。同样地，近似的后验分布可以被视为由与简化图一起使用的修改的似然函数引起的，其中参数被调谐以优化对正确的后验分布的近似的质量。自适应MCMC算法的条件允许实际的近似和算法，保证遍历的目标分布。良好的统计和计算效率的例子中表现出的地热储层和电容层析成像的大规模数值模型的校准。
2020-09-17 stat.CO
Robust Coordinate Ascent Variational Inference with Markov chain Monte Carlo simulations
变分推断（VI）是一种使用表现更好的分布族来近似难以计算的后验密度的方法。VI是一种替代已经研究得很好的马尔可夫链蒙特卡罗（MCMC）方法近似密度。每种算法都有优点和缺点;是否存在两者的组合，以减轻两者的缺陷？提出了一种将坐标上升变分推断（CAVI）与MCMC相结合的方法。这种新的方法，称为混合CAVI，旨在提高初始化和收敛问题的CAVI的敏感性，提出了一个初始化使用的矩估计方法从一个短的MCMC老化期间。与CAVI不同的是，混合CAVI被证明在后验不是来自条件共轭指数族时也是有效的。
2022-03-23 stat.CO
Adaptive sequential Monte Carlo for structured cross validation in Bayesian hierarchical models
针对贝叶斯分层模型中标准重要性采样在结构化交叉验证时不可靠的问题，提出自适应序贯蒙特卡洛方法，沿后验路径采样以支持多种验证设计并最小化MCMC重运行。
2025-08-11 stat.AP stat.CO
Estimation of cosmological parameters using adaptive importance sampling
我们提出了一种贝叶斯抽样算法，称为自适应重要性抽样或人口蒙特卡罗（PMC），其计算工作量很容易并行化，因此有可能大大减少采样所需的挂钟时间，以及提供其他好处。为了评估宇宙学问题的方法的性能，我们使用模拟和实际数据组成的CMB各向异性，Ia型超新星，和弱宇宙透镜，并提供了一个比较的结果，使用国家的最先进的马尔可夫链蒙特卡罗（MCMC）。对于这两种类型的数据集，我们发现可比的参数估计PMC和MCMC，与PMC的计算时间显着降低的优势。例如，在WMAP 5数据的情况下，挂钟时间从MCMC的几天减少到处理器集群上使用PMC的几个小时。PMC方法的其他好处，以及使用该方法的潜在困难，进行了分析和讨论。
2009-03-04 astro-ph.CO stat.CO
Adaptive Dimension Reduction to Accelerate Infinite-Dimensional Geometric Markov Chain Monte Carlo
贝叶斯逆问题高度依赖于高效和有效的推理方法来进行不确定性量化。直接定义在函数空间上的无限维MCMC算法，在物理模型的细化下是鲁棒的。这类算法的最新发展已经开始纳入几何后通知的数据，使他们能够探索复杂的概率结构。然而，所需的几何量通常是昂贵的，以获得在高维度。另一方面，在该设置中的未知参数空间的大部分几何信息集中在\emph{intrinsic}有限维子空间中。为了减轻计算强度并扩大无限维几何MCMC（$\infty$ -GMC）的应用范围，我们将几何信息算法应用于内在子空间以探测其复杂结构，并将更简单的方法如预处理Crank-Nicolson（pCN）应用于其几何平坦的互补子空间。在这项工作中，我们利用降维技术来加速原始的$\infty$ -GMC算法。更具体地说，（先验或后验）协方差算子的部分谱分解用于识别一定数量的主特征方向作为固有子空间的基础。维度无关算法、几何信息和降维的组合产生更有效的实现\emph{(adaptive) dimension-reduced infinite-dimensional geometric MCMC}。通过少量的计算开销，我们可以实现超过70倍的速度相比，pCN使用模拟椭圆反问题和反问题，涉及湍流燃烧。提出了一些误差界比较各种MCMC建议，以预测所提出的降维算法的渐近行为。
2019-03-19 stat.CO
MCMC-driven learning
本文旨在将MCMC与机器学习交叉领域的多种问题统一在一个共同框架内，使各问题的理论和方法得以相互转化与推广。
2024-02-14 cs.LG math.ST stat.CO
MatDRAM: A pure-MATLAB Delayed-Rejection Adaptive Metropolis-Hastings Markov Chain Monte Carlo Sampler
马尔可夫链蒙特卡罗（MCMC）算法广泛用于数学目标函数的随机优化、采样和积分，特别是在贝叶斯逆问题和参数估计的背景下。几十年来，MCMC模拟中选择的算法一直是Metropolis-Hastings（MH）算法。相对于传统的MH-MCMC采样器的一个进步是延迟抑制自适应大都会（DRAM）。在本文中，我们提出了MatDRAM，随机优化，采样，和蒙特卡洛集成工具箱在MATLAB中实现了一个变体的DRAM算法探索的数学目标函数的任意维度，特别是，贝叶斯模型的后验分布在数据科学，机器学习和科学推理。MatDRAM的设计目标包括MCMC模拟的几乎完全自动化、用户友好性、完全确定性的再现性和模拟的重启功能。我们还讨论了一种技术的实现细节，以自动监测和确保减少适应的建议分布的DRAM算法和有效地存储所得到的模拟马尔可夫链的方法。MatDRAM库是开源的，MIT许可的，并且作为ParaMonte库的一部分在https://github.com/cdslaborg/paramonte上永久定位和维护。
2020-10-08 astro-ph.IM cs.CE physics.data-an
Harnessing the Power of Reinforcement Learning for Adaptive MCMC
Newcastle University, UK（新castle大学）；University of Sydney, Australia（悉尼大学）；The Alan Turing Institute, UK（艾伦图灵研究所）
本文针对MCMC采样器调参难题，提出基于对比散度的新型奖励来训练强化学习Metropolis-Hastings（RLMH），并设计自适应梯度采样器，在posteriordb基准上验证了其实际有效性。
2025-07-01 cs.LG stat.CO stat.ML
Sequential pCN-MCMC, an efficient MCMC method for Bayesian inversion of high-dimensional multi-Gaussian priors
在地质统计学中，高斯随机场常用于模拟土壤或地下参数的非均匀性。为了给出这些随机场的空间近似，将它们离散化。然后，不同的地质统计反演技术被用来对测量数据的条件。在这些技术中，马尔可夫链蒙特卡罗（MCMC）技术脱颖而出，因为它们产生渐近无偏的条件实现。然而，标准的马尔可夫链蒙特卡罗（MCMC）方法在细化离散化时遭受维数灾难。这意味着它们的效率随着离散单元数量的增加而迅速降低。已经开发了几种MCMC方法，使得MCMC效率不依赖于随机场的离散化。预条件Crank Nicolson马尔可夫链蒙特卡罗（pCN-MCMC）和顺序吉布斯（或块吉布斯）采样是两个例子。在本文中，我们将提出一个结合的pCN-MCMC和顺序吉布斯抽样。我们的算法，顺序pCN-MCMC，将取决于两个调谐参数：pCN方法的相关参数$β$和顺序吉布斯方法的块大小$κ$。原始的pCN-MCMC和吉布斯抽样算法是我们的方法的特殊情况。我们提出了一种算法，自动找到最佳的调谐参数组合（$κ$和$β$）在老化阶段的算法，从而选择最好的可能的两种方法之间的混合。在我们的测试用例中，我们实现了$1-5.5$在pCN和$1-6.5$在吉布斯的加速因子。此外，我们提供了我们的方法作为开源代码的MATLAB实现。
2021-03-24 stat.CO
Multilevel Delayed Acceptance MCMC
我们开发了一种新的马尔可夫链蒙特卡罗（MCMC）方法，利用层次结构的模型的复杂性不断增加，有效地产生样本的非归一化目标分布。从广义上讲，该方法重写了Dodwell等人的多水平MCMC方法。（2015）在Christen & Fox（2005）的延迟接受（DA）MCMC方面。特别是，DA扩展到使用任意深度的模型层次结构，并允许任意长度的子链。我们证明了该算法满足细节平衡，因此对目标分布是遍历的。此外，多层次的方差减少，利用多层次和子链，和自适应多级校正粗级偏差的开发。贝叶斯反问题的三个数值例子证明了这些新方法的优点。软件和示例在PyMC 3中可用。
2022-08-30 stat.CO stat.ME
The Containment Condition and AdapFail algorithms
本文研究了自适应MCMC算法的收敛性，即在运行中修改马尔可夫链更新概率的算法。我们重点讨论了\cite{roberts2007coupling}中引入的包含条件。我们表明，如果遏制条件是\emph{not}满足，那么该算法将执行得很差。具体地说，与积极的概率，自适应算法将是渐近效率低于\emph{any}非自适应遍历MCMC算法。我们称这种算法为\texttt{AdapFail}，并得出结论，他们不应该被使用。
2013-12-28 stat.CO
Adaptive, delayed-acceptance MCMC for targets with expensive likelihoods
当进行贝叶斯推断时，当计算真实后验或其无偏估计在计算上昂贵，但计算上便宜的近似可用时，可以应用延迟接受（DA）Metropolis-Hastings（MH）算法和DA伪边缘MH算法。第一个接受-拒绝阶段的应用，与廉价的近似代替真正的后验的MH接受率。只有那些通过第一阶段的建议是计算昂贵的真实后验（或无偏估计）的评估，与第二个接受拒绝阶段，确保详细的平衡是满意的预期的真实后验。在某些情况下，没有明显的计算成本低廉的近似值。计算昂贵的后验的先前评估的加权平均值提供了后验的通用近似。如果只有$k$ -最近的邻居有非零的权重，那么近似后验的评估可以在计算上很便宜，只要后验被评估的点被存储在多维二叉树中，称为KD树。KD树的内容在每次计算密集的评估之后潜在地更新。由此产生的自适应，延迟接受[伪边缘]梅特罗波利斯-黑斯廷斯算法是合理的理论和经验。调整参数的指导和方法被施加到一个离散观察到的马尔可夫跳跃过程特征的捕食者-猎物的相互作用和ODE系统描述的自动调节基因网络的动态。
2016-06-01 math.ST stat.CO stat.ME
Adaptive step size selection for Hessian-based manifold Langevin samplers
探讨了在简化流形Metropolis调整Langevin算法（MALA）中使用由二阶导数信息导出的正定度量张量。提出了一种新的自适应步长方法，解决了这种度量张量在对数目标在某些方向上具有接近零曲率的区域中的缺点。自适应步长选择似乎也减轻了在瞬态和稳态中对不同调谐参数的需要，这是MALA的典型特征。从二阶导数信息和自适应步长选择的度量张量的组合构成了一个大的进步，发展可靠的流形MCMC方法，可以自动实现的模型与未知或棘手的费舍尔信息，甚至为目标分布，不承认因式分解成先验和似然。通过低到中等尺寸的例子，它表明，所提出的方法相对于替代MCMC方法表现得非常好。
2015-09-02 stat.CO stat.ME
Zig-zag sampling for discrete structures and non-reversible phylogenetic MCMC
本文提出一种适用于离散-连续混合状态空间的Zig-zag采样方法，无需假设离散变量结构，在基于Kingman溯祖过程的遗传学实例中相较Metropolis-Hastings算法实现高达数个数量级的效率提升，并避免了哈密顿蒙特卡洛的边界穿越复杂性。
2022-01-18 math.ST q-bio.PE stat.CO
