Parallelizing MCMC Sampling via Space Partitioning
多维和多峰密度函数的有效采样是许多研究领域的一个重要课题。我们描述了一种算法，它允许并行化固有的串行马尔可夫链蒙特卡罗（MCMC）的功能参数的空间划分成多个子空间和采样每个独立的采样。然后，不同子空间的样本通过其积分值重新加权并缝合在一起。这种方法允许通过并行操作来减少采样挂钟时间。它还改进了多模态目标密度的采样，并导致相关性较低的样本。最后，该方法产生的目标密度函数的积分的估计。
2020-08-07 physics.data-an stat.CO
Accelerating MCMC via Parallel Predictive Prefetching
我们提出了一个通用的框架，用于加速一类广泛使用的马尔可夫链蒙特卡罗（MCMC）算法。我们的方法利用快速，迭代近似的目标密度，推测性地评估许多潜在的未来步骤的链并行。该方法可以加快计算的目标分布的贝叶斯推断问题，而不损害准确性，通过利用数据的子集。它利用任何可用的并行资源，但产生的结果完全等同于标准串行执行。在链评估的初始老化阶段，它实现了串行评估的加速，在可用内核的数量上接近线性。
2014-03-28 stat.CO stat.ML
Parallel Chromatic MCMC with Spatial Partitioning
我们介绍了一种新的方法，并行MCMC推理模型与空间确定的条件独立关系，现有的技术利用图形模型结构是不适用的。我们的方法是由地震事件和信号的模型，在遥远的地区检测到的事件是近似独立的，在中间区域。我们通过对定义在潜在空间区域上的因子图着色来执行并行推理，而不是单个模型变量。评价地震同相轴检测模型，我们实现了显着的加速比串行MCMC的推理质量没有下降。
2016-12-08 stat.ML
Parallelising MCMC via Random Forests
对于大数据环境中的贝叶斯计算，分治MCMC概念将整个数据集分成批次，在每个批次上分别运行MCMC算法以产生参数样本，并将它们组合以产生目标分布的近似值。在本文中，我们将随机森林嵌入到这个框架中，并使用每个次后验/部分后验作为建议分布来实现重要性抽样。与现有的分治MCMC，我们的方法是基于缩放的子后验，其比例因子不一定限于等于一个或子集的数量。通过几个实验，我们表明我们的方法适用于从高斯情况到强非高斯情况的模型，并且包括模型误指定。
2019-11-21 stat.CO stat.ML
Parallelizing MCMC with Machine Learning Classifier and Its Criterion Based on Kullback-Leibler Divergence
University of Toyama（富山大学）
本研究提出基于KL散度的机器学习分类器方法，用于加速MCMC并行计算，通过识别可重构区域近似目标后验分布，简化超参数调整。
2024-11-07 stat.CO
Parallelizing MCMC with Random Partition Trees
现代数据规模给贝叶斯推断带来了新的挑战。特别是，传统的MCMC算法是计算上非常昂贵的大型数据集。并行MCMC（EP-MCMC）是解决这一问题的一种有效方法，它首先将数据划分为多个子集，然后在每个子集上运行独立的采样算法。然后通过一些组合规则聚合子集后验图以获得最终近似。现有的EP-MCMC算法受到逼近精度和重构困难的限制。在这篇文章中，我们提出了一个新的EP-MCMC算法部分，解决了这些问题。该算法采用随机划分树来合并各子集后验图，具有分布无关、易于重采样和适应多尺度的特点。我们提供了理论依据和大量的实验说明实证性能。
2015-10-26 stat.ML
Parallel MCMC with Generalized Elliptical Slice Sampling
概率模型在概念上是发现数据结构的强大工具，但它们的实际有效性往往受到我们对其进行推理的能力的限制。精确推理通常是难以处理的，因此近似推理通常使用马尔可夫链蒙特卡罗（MCMC）来执行。为了从MCMC获得最佳可能的结果，我们希望有效地模拟快速混合马尔可夫链的许多步骤，使目标分布保持不变。在这方面，特别感兴趣的是如何利用多核计算来加速基于MCMC的推理，以改善混合并分配计算负载。在本文中，我们提出了一个可并行马尔可夫链蒙特卡罗算法，有效地从连续概率分布，可以利用数百个核心的采样。该方法在并行马尔可夫链之间共享信息，以建立目标分布密度函数的高斯混合尺度近似。我们结合这种近似与最近的方法称为椭圆切片采样创建一个马尔可夫链没有步长参数，可以快速混合，而不需要梯度或曲率计算。
2014-07-24 stat.CO stat.ML
Comparison of parallel SMC and MCMC for Bayesian deep learning
Mathematics Department, University of Manchester（曼彻斯特大学数学系）；Department of Electrical and Computer Engineering, Southern Methodist University（南方 Methodist 大学电气与计算机工程系）；DEVCOM US Army Research Laboratory（美国陆军研发实验室）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）；Cognizant AI Labs（Cognizant AI 实验室）；Quantum Information Science Section, Oak Ridge National Laboratory（橡树岭国家实验室量子信息科学部）；Tulane University（Tulane 大学）
本研究系统比较贝叶斯深度学习中并行SMC（SMC∥）与并行MCMC（MCMC∥），证明SMC∥收敛性与单SMC一致且通信更少，发现两者并行实现性能和成本与非并行及彼此相近，但运行不足会灾难性不收敛。
2025-08-20 cs.LG stat.CO stat.ML
Particle MCMC with Poisson Resampling: Parallelization and Continuous Time Models
我们引入了一种新的粒子滤波器，其中粒子在给定时间的“孩子”的数量具有泊松分布。因此，粒子的数量是随机的，并随时间而变化。这个方案的一个优点是不同粒子的后代可以独立进化。它使并行计算变得容易。此外，具有泊松响应的粒子滤波器很容易适用于隐过程是连续时间、分段确定性半马尔可夫过程的情况。我们表明，粒子MCMC的基本技术，即粒子独立的大都会黑斯廷斯，粒子吉布斯采样器和它的版本与祖先采样，我们的泊松响应计划下工作。我们的版本的粒子吉布斯采样器是一致遍历的相同的假设下，其标准对应。我们目前的仿真结果表明，我们的算法可以与现有的方法。
2019-08-02 stat.CO
Parallel local approximation MCMC for expensive models
通过马尔可夫链蒙特卡罗（MCMC）执行贝叶斯推断可能是非常昂贵的后验评估调用的计算昂贵的模型，如偏微分方程系统的评估。在最近的工作[Conrad et al. JASA 2016，arXiv：1402.1694]中，我们描述了一个框架，用于在MCMC模拟期间构建和改进此类模型的局部近似。这些后适应近似利用模型的规律性，以减少推理的计算成本，同时保持马尔可夫链的渐近精确性。在这里，我们描述两个扩展的工作。首先，我们证明了并行运行的采样器可以协同构建一个共享的后验近似，同时确保每个关联链的遍历性，为MCMC中的并行计算提供了一个新的机会。第二，集中在大都会-调整Langevin算法，我们描述了如何建议分布可以成功地利用梯度和其他相关信息提取的近似。我们调查的实际表现，我们的策略使用两个具有挑战性的推理问题，第一次在地下水文学和冰川学。使用通过并行链构建的局部近似，我们成功地减少了所需的运行时间来表征这些问题的后验分布从几天到几个小时，从几个月到几天，分别大大提高了贝叶斯推断的易处理性。
2017-12-25 stat.AP stat.CO stat.ME
Faster parallel MCMC: Metropolis adjustment is best served warm
University of California at Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
LAPS是一种并行MCMC方法，通过自动调整超参数提升收敛速度，显著优于现有方法。
2026-01-23 stat.CO
A quantum parallel Markov chain Monte Carlo
我们提出了一种新的混合量子计算的并行MCMC算法，在每一步产生多个建议的战略。该策略通过使用Gumbel-max技巧将广义接受-拒绝步骤转化为离散优化问题，使并行MCMC中的限速步骤适合量子并行化。当结合新的见解，从并行MCMC文献，这样的方法使我们能够嵌入目标密度评估内一个众所周知的扩展格罗弗的量子搜索算法。让$P$表示单个MCMC迭代中的建议数，组合策略将$\mathcal{O}(P)$所需的目标评估数减少到$\mathcal{O}(P^{1/2})$。在下文中，我们将回顾量子计算、量子搜索和Gumbel-max技巧的基础知识，以便为尽可能广泛的读者阐明它们的组合。
2023-03-19 quant-ph stat.CO
Parallel Metropolis chains with cooperative adaptation
蒙特卡罗方法，例如马尔可夫链蒙特卡罗（MCMC）算法，近年来在信号处理中变得非常流行。在这项工作中，我们引入了一种新的MCMC方案，并行MCMC链相互作用，适应合作的参数，他们的建议功能。此外，新算法自适应地分配计算工作，奖励提供更好性能的链，甚至可能停止其他链。如果算法认为有必要，这些灭绝的链可以被重新激活。数值模拟显示了新方案的好处。
2015-09-26 stat.CO
A Single SMC Sampler on MPI that Outperforms a Single MCMC Sampler
马尔可夫链蒙特卡罗（MCMC）是一个成熟的算法家族，主要用于贝叶斯统计，当直接采样具有挑战性时，从目标分布中进行采样。MCMC方法的单个实例被广泛认为难以以问题不可知的方式并行化，因此不适合同时满足高精度和高吞吐量的约束。序贯蒙特卡罗（SMC）采样器可以解决相同的问题，但可并行：它们与粒子滤波器共享相同的关键任务和瓶颈。虽然MCMC方法已经有了丰富的文献，但SMC采样器相对来说还没有得到充分的研究，因此目前还没有并行实现。在本文中，我们首先提出了一个并行MPI版本的SMC采样器，包括一个优化的实现的瓶颈，然后将其与单核大都市黑斯廷斯。我们的目标是表明，SMC采样器可能是一个很有前途的替代MCMC方法具有很高的潜力，为未来的改进。我们证明，一个基本的SMC采样器与512个核心是高达85倍的速度或高达8倍的精度比大都会黑斯廷斯。
2019-05-24 cs.DC stat.CO
Policy Gradients for Optimal Parallel Tempering MCMC
Harvard University（哈佛大学）
本文针对并行回火MCMC中温度选择问题，提出基于策略梯度的自适应温度调整算法，在基准分布上相比传统方案取得了更低的积分自相关时间。
2024-12-26 cs.LG stat.CO stat.ML
Fast fully-reproducible serial/parallel Monte Carlo and MCMC simulations and visualizations via ParaMonte::Python library
ParaMonte：：Python（在Python中代表并行蒙特卡罗）是一个串行和MPI并行化的（马尔可夫链）蒙特卡罗（MCMC）例程库，用于采样数学目标函数，特别是数据科学，机器学习和科学推理中贝叶斯建模和分析中参数的后验分布。除了提供对快速高性能串行/并行Monte Carlo和MCMC采样例程的访问外，ParaMonte：：Python库还提供了广泛的后处理和可视化工具，旨在自动化和简化贝叶斯数据分析中的模型校准和不确定性量化过程。此外，ParaMonte：：Python采样器的自动重启功能确保了蒙特卡洛模拟在发生任何中断时的无缝完全确定性重启。ParaMonte：：Python库是MIT许可的，并在GitHub上永久维护，网址为https://github.com/cdslaborg/paramonte/tree/master/src/interface/Python。
2020-10-01 astro-ph.IM cs.MS q-bio.QM
Asynchronous Stochastic Gradient MCMC with Elastic Coupling
University of Freiburg（弗莱堡大学）
我们考虑并行异步马尔可夫链蒙特卡罗（MCMC）采样的问题，我们可以利用（随机）梯度来定义连续的动态，探索目标分布。我们概述了这种设置的基础上随机梯度哈密顿蒙特卡罗采样（SGHMC），我们改变，包括一个弹性耦合项，联系在一起的多个MCMC实例的解决方案策略。该策略将固有的顺序HMC算法异步并行版本。第一个实验经验表明，所得到的并行采样器显着加快探索的目标分布，相比标准SGHMC，是不太容易的有害影响，陈旧的梯度比天真的并行化方法。
2016-12-08 cs.AI cs.LG stat.ML
Importance sampling type estimators based on approximate marginal MCMC
考虑基于马尔可夫链蒙特卡罗（MCMC）的重要性抽样（IS）型加权估计，目标是目标分布的近似边缘。在贝叶斯潜变量模型的上下文中，MCMC通常对超参数进行操作，并且随后的加权可以基于IS或序贯蒙特卡罗（SMC），但也允许多级技术。IS方法提供了延迟接受（DA）伪边缘/粒子MCMC的一个自然的替代方案，并具有许多优势，DA，包括一个简单的并行化和MCMC实现的额外灵活性。我们详细的最小条件，确保强一致性的建议估计，并提供中心极限定理的渐近方差的表达式。我们演示了我们的方法可以利用SMC的状态空间模型的上下文中，使用拉普拉斯近似和时间离散扩散。我们的实验结果是有希望的，并表明，IS型的方法可以提供大量的收益相对于一个类似的DA计划，往往是有竞争力的，即使没有并行化。
2020-03-09 math.PR stat.CO
Parallel Markov Chain Monte Carlo via Spectral Clustering
由于在日常应用中使用许多计算机核心已经变得越来越普遍，因此找到并行化流行算法的好方法变得越来越重要。在本文中，我们提出了一个并行化计划的马尔可夫链蒙特卡罗（MCMC）方法的基础上，谱聚类的底层状态空间，推广早期工作的并行化MCMC方法的状态空间划分。我们的经验表明，这种方法加快了MCMC采样的多峰分布，它可以有效地应用在更大的一般性比几个相关的算法。我们的算法在合理的条件下收敛到一个“最佳”MCMC算法。我们还表明，我们的方法可以渐近远比天真的并行化更有效，即使在完全平坦的目标分布的情况下，没有唯一的最佳算法存在。最后，我们结合理论和经验的界限，提供实际的指导调整参数的选择。
2016-05-31 stat.CO stat.ME
Embarrassingly parallel MCMC using deep invertible transformations
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所HIIT）；Aalto University（阿尔托大学）
虽然MCMC方法已经成为贝叶斯推理的主要工作，但将其扩展到大型分布式数据集仍然是一个挑战。令人尴尬的并行MCMC策略采取分而治之的立场来实现这一目标，将目标后验写成子后验的乘积，并行地为每个子后验运行MCMC，然后组合结果。因此，挑战在于制定有效的聚合战略。当前的策略在近似质量与通信和计算成本之间进行权衡。在这项工作中，我们介绍了一种新的方法，同时解决这些问题。我们的关键见解是引入一个深度可逆变换来近似每个子后验。即使对于复杂的分布，这些近似也可以精确，并作为中间表示，保持总通信成本有限。此外，他们使我们能够使用一个有效的和稳定的重要性采样计划从产品的次后验样本。我们证明了该方法优于现有的国家的最先进的方法在一系列具有挑战性的情况下，包括高维和异构的subposteriors。
2021-06-15 cs.LG stat.ML
Parallel Approaches to Accelerate Bayesian Decision Trees
University of Liverpool（利物浦大学）
马尔可夫链蒙特卡罗（MCMC）是一个成熟的算法家族，主要用于贝叶斯统计，当直接采样具有挑战性时，从目标分布中进行采样。贝叶斯决策树的现有工作使用MCMC。不幸的是，这可能很慢，特别是在考虑大量数据时。很难并行化MCMC的接受-拒绝组件。然而，我们提出了两种方法，利用并行MCMC：在第一，我们取代MCMC与另一个数值贝叶斯方法，序贯蒙特卡罗（SMC）采样器，它具有吸引力的属性，它是一个固有的并行算法;在第二，我们考虑数据分区。这两种方法都使用具有高性能计算（HPC）资源的多核处理。我们在各种研究环境中测试这两种方法，以确定哪种方法对每个测试用例最有利。实验表明，数据分区在我们考虑的设置中具有有限的实用性，并且使用SMC采样器可以提高运行时间（与顺序实现相比）高达343倍。
2023-01-22 cs.AI cs.DC cs.LG
GPU-Parallelization of Markov Chain Pool Decoding with Unbiased MCMC
Graduate School of Data Science, Shiga University（滋贺大学数据科学研究生院）；Faculty of Data Science, Shiga University（滋贺大学数据科学学院）
本文针对马尔可夫链池解码（MCPD）在GPU上的并行化问题，提出得分加权更新方案并结合无偏MCMC框架，实验显示其在高噪声下的克隆恢复效果优于均匀解码器。
2026-09-01 stat.CO
Parallel MCMC Without Embarrassing Failures
University College London（伦敦大学学院）；Aalto University（阿尔托大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
令人尴尬的并行马尔可夫链蒙特卡罗（MCMC）利用并行计算，通过使用两步方法将贝叶斯推断扩展到大型数据集。首先，MCMC在数据分区上定义的（子）后验上并行运行。然后，服务器组合本地结果。虽然有效，这个框架是非常敏感的次后验抽样的质量。常见的采样问题，如缺失模式或低密度区域的错误表示，在组合阶段被放大-而不是被纠正-导致灾难性的故障。在这项工作中，我们提出了一种新的组合策略来缓解这个问题。我们的策略，并行主动推理（PAI），利用高斯过程（GP）代理建模和主动学习。在将GP拟合到次后验后，PAI（i）在GP代理之间共享信息以覆盖缺失的模式;以及（ii）使用主动采样来单独地改进次后验近似。我们验证PAI在具有挑战性的基准，包括重尾和多模态后验和现实世界中的应用计算神经科学。实证结果表明，PAI成功地在以前的方法灾难性地失败，与一个小的通信开销。
2022-03-29 cs.LG stat.ME stat.ML
Embarrassingly Parallel Sequential Markov-chain Monte Carlo for Large Sets of Time Series
贝叶斯计算关键依赖于马尔可夫链蒙特卡罗（MCMC）算法。在大规模数据集的情况下，运行Metropolis-Hastings采样器从后验分布中提取数据变得令人望而却步，因为每次迭代都需要计算大量的似然项。为了进行贝叶斯推断的一个大的时间序列，我们考虑了一个算法，结合了“分而治之”的想法，以前用于设计MCMC算法的大数据与顺序MCMC策略。该方法的性能说明了使用一个大的金融数据集。
2015-12-04 stat.AP stat.CO
Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models
主题模型，更具体地说是潜在狄利克雷分配（LDA）类，广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用塌陷吉布斯采样器来执行。我们提出了一个并行稀疏部分折叠吉布斯采样器，并比较其速度和效率，以国家的最先进的采样器的主题模型上五个著名的文本语料库的不同大小和属性。特别是，我们提出并比较了两种不同的策略，用于对具有潜在主题指标的参数块进行采样。实验表明，统计效率的增加，从只有部分折叠是小于通常假设的，可以超过补偿的加速从并行化和稀疏较大的语料库。我们还证明了部分塌陷的采样器的规模以及与语料库的大小。该算法具有快速、高效、准确的特点，比普通的塌陷采样器适用于更多的建模场合。
2017-08-15 stat.ME stat.ML
Toward Unlimited Self-Learning MCMC with Parallel Adaptive Annealing
Fujitsu Limited（富士通有限公司）
本文提出并行自适应退火方法及VAE-SLMC，通过序列学习、自适应退火和并行退火克服自学习蒙特卡洛难以处理多模态分布的问题，实现高效准确的采样。
2023-09-20 cs.LG stat.CO stat.ME
Many processors, little time: MCMC for partitions via optimal transport couplings
马尔可夫链蒙特卡罗（MCMC）方法通常用于聚类，因为它们保证在无限时间限制内的渐近精确期望。然而，在有限的时间内，缓慢的混合往往会导致性能低下。现代计算环境提供了大量的并行性，但并行MCMC的幼稚实现可能会表现出很大的偏差。在连续随机变量的MCMC采样器中，马尔可夫链耦合可以克服偏差。但这些方法主要依赖于少量转换后的配对链会议。我们表明，直接应用现有的耦合思想离散聚类变量不能满足迅速。这种失败源于“标签切换问题”：语义等价的集群重新标记阻碍了耦合链的快速满足。相反，我们认为链是在探索分区的空间，而不是分区的（任意）标签。使用度量的分区空间，我们制定了一个实用的算法，使用最佳的运输耦合。我们的理论证实了我们的方法是准确和有效的。在从基因或种子的聚类到图形着色的实验中，我们展示了在高度并行、有时间限制的制度下耦合的好处。
2022-02-23 stat.CO stat.ME stat.ML
Non-Reversible Parallel Tempering: a Scalable Highly Parallel MCMC Scheme
并行回火（PT）方法是一类流行的马尔可夫链蒙特卡罗方法，用于对复杂的高维概率分布进行采样。它们依赖于以目标分布的调和版本为目标的$N$交互辅助链的集合来改进状态空间的探索。我们在这里提供了一个新的视角，这些高度并行的算法和他们的调整，确定和形式化的行为和性能的可逆与不可逆的PT计划的尖锐分歧。我们从理论上和经验表明，一类不可逆的PT方法占主导地位的可逆同行和识别不同的缩放限制的不可逆和可逆的计划，前者是一个分段确定性的马尔可夫过程和后者的扩散。利用这些结果来确定最佳的退火时间表为不可逆的PT和开发一个迭代方案近似这个时间表。我们提供了广泛的数值例子支持我们的理论和方法的贡献。所提出的方法适用于从相对于参考分布$π_0$具有密度$L$的分布$π$中采样并计算归一化常数。一个典型的用例是当$π_0$是先验分布，$L$是似然函数，而$π$是相应的后验分布时。
2021-07-26 stat.CO
Quasi Markov Chain Monte Carlo Methods
用于估计积分的拟蒙特卡罗方法（QMC）是有吸引力的，因为所得估计量通常以比伪随机蒙特卡罗更快的速率收敛。然而，它们可能很难在贝叶斯框架内建立任意后验密度，特别是对于逆问题。我们引入了一个通用的并行马尔可夫链蒙特卡罗（MCMC）框架，我们证明了一个大数定律和一个中心极限定理。在这种情况下，不可逆的过渡进行了研究。然后，我们将这种方法扩展到使用自适应内核和状态条件，遍历性。作为进一步的推广，导出了一个重要抽样估计量，证明了它的渐近无偏性。我们考虑在上述算法中使用完全均匀分布（CUD）数，这导致了一般的并行准MCMC（QMCMC）方法。我们证明了所得到的估计的一致性，并证明了数值，这种方法的规模接近$n^{-2}$，因为我们增加并行化，而不是通常的$n^{-1}$，这是典型的标准MCMC算法。在实际的统计模型中，我们观察到多个数量级的改善相比，伪随机方法。
2018-10-02 math.PR math.ST stat.TH
How to view an MCMC simulation as a permutation, with applications to parallel simulation and improved importance sampling
考虑一个定义在有限状态空间X上的马尔可夫链，它保持X上的均匀分布不变，并且对于某个整数Q，它的转移概率是1/Q的整数倍。我展示了从x_0开始的该链的n个转换的模拟如何可以被视为在空间XxU上应用随机置换，其中U={0，1，.，Q-1}，到起始态（x_0，u_0），其中u_0从U均匀地引出。对于某个整数P，该结果可以应用于概率为1/P的整数倍的非均匀分布，通过将其表示为来自XxY的适当定义的子集上的均匀分布的X的边缘分布，其中Y={0，1，.，P-1}。通过让Q、P和X的基数趋于无穷大，这个结果可以推广到非有理概率和连续状态空间，其中有限空间上的置换被从连续空间到其自身的保体积一对一映射所取代。这些结构可以有效地实现链中常用的马尔可夫链蒙特卡罗（MCMC）模拟。我提出了两个应用程序在这种情况下-模拟K个实现的链从K个初始状态，但与过渡定义的一个单一的流的随机数，可能是有效的向量处理器或多个处理器，并使用MCMC，以提高重要性抽样分布，已经有很大的重叠与分布的兴趣。我还讨论了这种“排列MCMC”方法的影响，在MCMC模拟的随机性的作用，以及潜在的使用非随机和准随机数。
2012-05-01 physics.comp-ph stat.CO
Mini-batch Tempered MCMC
在本文中，我们提出了一个一般的框架，执行MCMC只有一个小批量的数据。我们表明，通过估计的大都会黑斯廷比只有一个小批量的数据，一个基本上是从真正的后验提高到一个已知的温度采样。实验表明，我们的方法，小批量回火MCMC（MINT-MCMC），可以有效地探索多个模式的后验分布。基于等能量采样器（Kou et al. 2006），我们开发了一种新的基于等能量采样器的并行MCMC算法，该算法能够有效地从具有良好分离模式的高维多模态后验中采样。
2018-05-21 stat.CO
Communication-Free Parallel Supervised Topic Models
AQR Capital Management LLC（AQR资本管理有限责任公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
令人尴尬的是（无通信）并行马尔可夫链蒙特卡罗（MCMC）方法通常用于学习图形模型。然而，MCMC不能直接应用于主题模型的学习，因为主题的多峰分布引起的准遍历性问题。在本文中，我们开发了一个并行MCMC算法的sLDA。我们的算法通过切换sLDA中的采样主题组合和标签变量预测的顺序来工作，其中它克服了准遍历性问题，因为遵循多峰分布的高维主题被投影到遵循单峰分布的一维文档标签中。我们的实证实验证实，使用我们的并行算法的样本外预测性能与非并行sLDA相当，而计算时间显着减少。
2017-08-10 cs.CL cs.IR cs.LG
Unbiased Multilevel Monte Carlo methods for intractable distributions: MLMC meets MCMC
从马尔可夫链蒙特卡罗（MCMC）输出构造无偏估计量是一个困难的问题，最近在统计学和机器学习界受到了很多关注。然而，目前的无偏MCMC框架仅适用于兴趣量是期望的情况，这排除了许多实际应用。本文提出了一种构造期望函数无偏估计量的一般方法，并将其推广到构造套期望的无偏估计量。我们的方法结合和推广了无偏MCMC和多层蒙特卡罗（MLMC）方法。与传统的顺序方法相比，我们的估计器可以在并行处理器上实现。我们表明，我们的估计有一个有限的方差和计算复杂性，并可以实现$\varepsilon$ -在温和的条件下，在最佳的$O(1/\varepsilon^2)$计算成本的准确性。我们的数值实验证实了我们的理论研究结果，并证明了无偏估计量在大规模并行制度的好处。
2022-12-23 cs.NA math.NA stat.CO
Automatic adaptation of MCMC algorithms
马尔可夫链蒙特卡罗（MCMC）方法是许多领域基于模拟推理的普遍工具，但如何设计和识别好的MCMC采样器仍然是一个悬而未决的问题。本文介绍了一种新的MCMC算法，即自适应MCMC。对于采样变量或变量块，我们使用两个级别的自适应，其中内部自适应优化每个采样器内的MCMC性能，而外部自适应探索内核的有效空间以找到最佳采样器。我们为我们的方法提供了理论基础。为了显示该方法的通用性和实用性，我们描述了一个框架，只使用标准的MCMC采样器作为候选采样器和一些适应计划的内部和外部迭代。在几个基准问题，我们表明，我们提出的方法大大优于其他方法，包括自动阻塞算法，MCMC的效率和计算时间。
2019-11-18 stat.CO stat.ME
Auxiliary MCMC and particle Gibbs samplers for parallelisable inference in latent dynamical systems
针对高维潜在动态模型采样难题，提出引入人工观测作为辅助变量的 MCMC 核，开发出高效精确的卡尔曼采样器与增强 Particle Gibbs 算法，支持 GPU 时间维度并行化，显著提升了高维推断性能。
2025-03-03 cs.DC stat.CO stat.ML
Generating MCMC proposals by randomly rotating the regular simplex
我们提出了单纯采样器，一类并行MCMC方法，在每次迭代中生成和选择多个建议。该算法的多重建议随机旋转连接到当前马尔可夫链状态的一种方式，固有地保持提案之间的对称性的单纯形。因此，单纯采样器导致简化的接受步骤：它只是从概率与其目标密度值成比例的单纯节点中进行选择。我们还研究了基于多元高斯的对称多提案机制，并证明它也享有相同的简化接受步骤。这一见解导致显着的理论和实践加速。虽然这两种算法享有自然的并行性，我们表明，传统的实现是足够的，以提高效率，在一个数组的尺寸和一些目标分布。
2022-09-13 stat.CO stat.OT
Particle MCMC for Bayesian Microwave Control
我们考虑从全球电磁散射测量的局部无线电特性估计的问题。这个具有挑战性的不适定高维反问题可以探索密集的计算并行麦克斯韦求解器上的petaflopic超级计算机。然后，它示出了如何贝叶斯推断可以执行与粒子边际大都市黑斯廷斯（PMMH）的方法，其中包括一个饶-布莱克韦利斯序贯蒙特卡罗算法与交互卡尔曼滤波器。材料特性，包括多个组件的“德拜弛豫”/“洛伦兹共振”材料模型，估计，它说明了合成数据。最终，我们提出了不同的方法来处理高维问题，从并行化到最初引入的高效的顺序数据同化技术，广泛应用于天气预报，海洋学，地球物理学等。
2014-05-12 stat.AP stat.CO
Bayesian cross-validation by parallel Markov Chain Monte Carlo
本文提出利用 GPU 等加速器上的大规模并行 MCMC 实现贝叶斯交叉验证，使其计算速度接近单次全数据拟合，并给出 MCMC 诊断方法及在线算法以支持大规模分块设计。
2024-01-13 stat.ME
Quantifying the Speed-Up from Non-Reversibility in MCMC Tempering Algorithms
本文研究了非可逆更新赋予“动量”后对模拟与并行回火 MCMC 算法效率的提升，证明其最优缩放版本比传统可逆版本仅有约 42% 的适度加速。
2025-01-27 math.ST stat.TH
Selection of a MCMC simulation strategy via an entropy convergence criterion
在MCMC方法中，例如Metropolis-Hastings（MH）算法，Gibbs采样器或最近的自适应方法，可以提出许多不同的策略，通常在实践中与未知的收敛速度相关联。在本文中，我们提出了一种基于模拟的方法来比较这些收敛速度，接地熵标准计算并行（i.i.d.）模拟的马尔可夫链来自每个候选策略。我们的标准在第一次迭代时确定候选人中的最佳策略。理论上，我们给出了MH算法的一般条件，使其连续密度满足足够的光滑性和尾部性质，从而使这个熵准则可以用核密度估计和Monte Carlo积分一致地估计.仿真例子来说明这种收敛性准则。
2006-05-10 math.ST stat.TH
Convergence diagnostics for Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）方法由于其结构灵活、使用方便、通用性强等优点，成为科学计算中最常用的方法之一。实际上，MCMC对于执行贝叶斯分析是不可或缺的。MCMC从业者需要解决的两个关键问题是从哪里开始以及何时停止模拟。虽然已有大量的研究建立收敛准则和停止规则，具有良好的理论基础，但在实践中，MCMC用户往往通过应用经验诊断工具来判断收敛。本文讨论了最广泛使用的MCMC收敛诊断工具。一些最近提出的停止规则与坚实的理论基础。使用三个详细的例子来说明收敛诊断和停止规则。
2019-10-16 stat.CO
Optimal scaling and curvature correction for constrained MCMC on spheres
Mathematics Institute, University of Warwick（华威大学数学研究所）
针对高维球面约束MCMC采样问题，提出切线pCN方法并结合曲率校正，证明其最优调优接受概率，实现与维度无关的步长，为流形上的MCMC提供了最优缩放方案。
2026-10-14 math.PR math.ST stat.CO
Likelihood-Free Parallel Tempering
近似贝叶斯计算（ABC）方法（或无似然方法）在过去的15年中已经出现，当可能性在分析或计算上难以处理时，它是执行贝叶斯分析的有用方法。已经提出了几种ABC方法：例如，Marjoramet等人（2003）和Bortotet等人（2007）已经开发了蒙特卡罗马尔可夫链（MCMC）方法，Sissonet等人（2007），Beaumont等人（2009）和Del Moral等人（2009）已经提出了序贯方法。到目前为止，虽然ABC-MCMC方法仍然是参考，但顺序ABC方法似乎优于它们（例如参见McKinley等人（2009）或Sisson等人（2007））。在本文中，提出了一种新的算法相结合的人口为基础的MCMC方法与ABC的要求，使用类似的并行回火算法（Geyer，1991年）。性能与现有的ABC算法的模拟和一个真实的例子。
2012-04-30 stat.ME
Techniques for proving Asynchronous Convergence results for Markov Chain Monte Carlo methods
Petuum, Inc.（Petuum公司）；Imperial College London（帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
马尔可夫链蒙特卡罗（MCMC）方法（例如吉布斯抽样）在应用统计学和机器学习中得到广泛使用。这些通常会导致困难的计算问题，这些问题越来越多地在并行和分布式系统（如计算集群）上解决。最近的工作提出了异步并行运行迭代算法，如梯度下降和MCMC，以提高性能，在某些问题上具有良好的经验结果。不幸的是，MCMC这种并行化技术需要新的收敛理论，因为它已被明确证明会导致分歧的一些例子。最近的异步吉布斯抽样理论描述了为什么这些算法可能失败，并提供了一种方法来改变它们，使它们收敛。在本文中，我们将介绍如何在一般设置中应用此理论，以了解任何MCMC算法的异步行为，包括使用参数服务器实现的算法，以及不基于吉布斯抽样的算法。
2018-06-03 cs.LG stat.CO stat.ML
MCMC for multi-modal distributions
针对多峰分布尤其是高维场景下的采样难题，本文梳理了并行退火、模态跳跃、Wang-Landau等主流MCMC算法及近年前沿方法，并通过多类分布示例完成验证。
2025-01-10 stat.CO
Revisiting Bayesian Autoencoders with MCMC
自动编码器在深度学习革命中获得了普及，因为它们能够压缩数据并提供降维。尽管已经使用了突出的深度学习方法来增强自动编码器，但提供鲁棒的不确定性量化的需求仍然是一个挑战。到目前为止，这已经用变分自编码器解决了。贝叶斯推理通过马尔可夫链蒙特卡罗（MCMC）抽样面临着一些限制，大型模型，但是，最近的进步，并行计算和先进的建议方案开辟了路线少走。本文提出了贝叶斯自动编码器的MCMC采样实现使用并行计算和Langevin梯度建议分布。结果表明，所提出的贝叶斯自动编码器提供类似的性能精度相比，在文献中的相关方法。此外，它提供了减少数据表示的不确定性量化。这促使贝叶斯自动编码器框架进一步应用于其他深度学习模型。
2022-04-28 cs.AI cs.LG stat.AP
Convergence Speed and Approximation Accuracy of Numerical MCMC
Monash University（莫纳什大学）；Columbia University（哥伦比亚大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）
本文研究了数值MCMC中扰动对收敛速度和估计精度的影响，提出在特定条件下扰动采样器可保持良好性能，并展示了其在多种采样算法中的应用。
2022-03-07 math.PR stat.CO
Adaptive MCMC via Combining Local Samplers
Imperial College London, London, UK（伦敦帝国学院，伦敦，英国）
本文提出了一种自适应MCMC方法，通过结合多个并行运行的局部采样器，利用核Stein分歧度优先选择链，以提高整体采样效率，实验表明该方法在多模态问题和传感器定位任务中优于现有方法。
2019-07-13 cs.LG cs.NA math.NA
Diffusion Generative Modelling for Divide-and-Conquer MCMC
Lancaster University（兰卡斯特大学）
针对分治MCMC中子后验合并难以避免分布假设的问题，本文提出用扩散生成建模拟合子后验密度近似，在挑战性合并任务上优于现有方法，并更适用于高维场景。
2024-06-17 cs.LG stat.CO stat.ML
Anytime Parallel Tempering
开发有效的MCMC算法是贝叶斯推断中必不可少的。在并行回火中，多个相互作用的MCMC链运行以更有效地探索状态空间并提高性能。多个链通过局部移动独立地前进，并且性能增强步骤是交换移动，其中链暂停以在彼此之间交换它们的当前样本。为了加速独立的本地移动，它们可以在多个处理器上同时执行。然后遇到另一个问题：根据MCMC实现和推理问题，局部移动可能需要不同的随机时间才能完成。也可能存在基础设施引起的变化，例如在云计算中出现的相同处理器上的竞争作业。在交换发生之前，所有的链都必须完成它们所参与的局部移动，以避免引入潜在的实质性偏差（命题2.1）。为了解决多处理器并行回火中随机变化的本地移动完成时间的问题，我们采用Murray et al.（2016）的Anytime蒙特卡罗框架：我们对并行本地移动施加实时截止日期，并在这些截止日期执行交换，而没有任何处理器空闲。我们展示了我们的方法，在实时截止日期的交流不会引入偏见，并导致显着的性能增强，在天真的方法，闲置，直到每个处理器的本地移动完成。该方法，然后应用在ABC设置，任何时候ABC并行回火算法推导出的Lotka-Volterra捕食模型的参数估计的困难任务，并观察到类似的效率提高。
2021-09-14 stat.CO
Spectral divide-and-conquer MCMC for long stationary time series
University of Technology Sydney（悉尼科技大学）；Human Technology Institute, University of Technology Sydney（悉尼科技大学人类技术研究所）；Guanghua School of Management, Peking University（北京大学光华管理学院）；Stockholm University（斯德哥尔摩大学）；University of New South Wales（新南威尔士大学）
针对长平稳时间序列，提出基于频域Whittle似然和分布式FFT的谱分治MCMC方法，实现可扩展贝叶斯推断，理论保证收敛性，实验优于时域分治方法。
2026-09-22 stat.CO stat.ME
Efficient Multivariate Initial Sequence Estimators for MCMC
针对多元初始序列估计器计算过慢的问题，提出一种高效替代方案，在保留其渐近性质和有限样本优越性的同时显著提升计算效率，并扩展至并行MCMC链场景。
2025-07-07 stat.CO
Individual adaptation: an adaptive MCMC scheme for variable selection problems
随着数据集规模的不断扩大，回归中的变量选择变得越来越重要。贝叶斯方法是有吸引力的，因为它们允许变量选择的不确定性被正式纳入分析。将完全贝叶斯变量选择方法应用于大型数据集在计算上具有挑战性。我们描述了一个自适应的马尔可夫链蒙特卡罗方法，称为个人适应调整一般的建议的数据。我们表明，该算法是遍历的，并讨论其使用并行回火和序贯蒙特卡罗方法。我们说明了使用该方法的两个数据集，包括22577个变量的基因表达分析。
2014-12-29 stat.CO
Stochastic Gradient MCMC with Repulsive Forces
Institute of Mathematical Sciences (ICMAT)（数学科学研究所（ICMAT））；SAMSI, Duke University（杜克大学统计与应用数学研究所（SAMSI））；Duke University（杜克大学）
我们提出了一个统一的观点，两种不同的贝叶斯推断算法，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）和斯坦变分梯度下降（SVGD），导致改进和有效的新的采样方案。我们表明，SVGD与噪声项相结合，可以作为一个多链SG-MCMC方法的框架。我们提出的算法不是独立于其他并行链来处理每个并行链，而是在粒子之间实现排斥力，避免崩溃并促进参数空间的更好探索。我们还展示了如何添加此噪声项是必要的，以获得一个有效的SG-MCMC采样器，与SVGD的显着差异。合成分布和真实数据集的实验说明了所提出的计划的好处。
2020-02-22 cs.LG stat.ML
