Particle rolling MCMC with double-block sampling
提出了一种基于仿真的状态空间模型滚动窗口估计方法--双块采样粒子滚动马尔可夫链蒙特卡罗（MCMC）方法。在我们的方法中，这是基于序贯蒙特卡罗（SMC），粒子顺序更新，以近似后验分布的每个窗口，通过学习新的信息和丢弃旧的信息从观察。当重要性权重退化时，用MCMC算法更新粒子。为了避免退化，这是至关重要的，以减少计算时间，我们引入了一个块采样方案，并产生多个候选人的算法的基础上的条件SMC。理论讨论表明，所提出的方法与嵌套结构表示为SMC采样的增广空间提供的理由。计算性能进行了评估说明性的例子，表明模型参数的后验分布的准确估计。补充材料中提供了证明和额外的讨论（算法和实验结果）。
2021-09-16 stat.CO stat.ME
Analyzing MCMC Output
马尔可夫链蒙特卡罗（MCMC）是一种基于抽样的方法，用于估计概率分布的特征。MCMC方法从所需的分布中产生一个连续相关的，但具有代表性的样本。因此，很难知道MCMC方法何时产生可靠的结果。我们介绍了一些基本的方法，以确保一个值得信赖的模拟实验。特别是，我们提出了一个工作流程的输出分析MCMC提供估计，近似抽样分布，停止规则和可视化工具。
2019-12-08 stat.CO stat.ME
Dimension-independent likelihood-informed MCMC
Massachusetts Institute of Technology（麻省理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出了一种与维度无关的似然信息MCMC方法，通过引入操作权重提案分布和局部Hessian信息，实现对高维后验分布的有效采样，用于解决非高斯结构的逆问题。
2015-10-17 cs.NA math.NA stat.CO
On Bayesian inference for the M/G/1 queue with efficient MCMC sampling
我们引入了一个有效的MCMC抽样方案来执行贝叶斯推断的M/G/1模型中只给观测值的出发间隔时间。我们的MCMC方案使用了吉布斯抽样和简单的大都会更新的组合，以及三个新的“移位”和“规模”更新。我们表明，我们的新的更新大大提高了采样速度，通过各种模拟数据集的约60至约180倍。
2014-01-22 stat.CO
Iterative importance sampling with Markov chain Monte Carlo sampling in robust Bayesian analysis
在一组先验下的贝叶斯推断，称为鲁棒贝叶斯分析，允许通过有界（或不精确）概率来估计模型内的参数和量化感兴趣的数量中的认识不确定性。迭代重要性抽样可用于通过优化先验集合来估计感兴趣的量的界限。针对稳健贝叶斯推断依赖于马尔可夫链蒙特卡罗（MCMC）抽样的情况，提出了一种迭代重要性抽样方法。为了适应迭代重要性抽样中的MCMC抽样，推导了一个新的表达式的有效样本量的重要性抽样，它考虑了相关性的MCMC样本。为了说明所提出的方法，稳健的贝叶斯分析，迭代重要性抽样与MCMC抽样应用于估计下限的总体效果在以前发表的荟萃分析与随机效应模型。该方法的性能相比，网格搜索方法，并根据不同程度的先验数据冲突进行了探讨。
2022-06-17 stat.CO stat.ME
MCMC for doubly-intractable distributions
马尔可夫链蒙特卡罗（MCMC）算法通常用于从具有棘手的归一化常数的分布中提取样本。然而，标准MCMC算法不适用于双重棘手的分布，其中有额外的参数依赖的归一化项;例如，无向图形模型的参数后验。一个巧妙的非线性变量方案（Moeller等人，2004）提供了一个解决方案：精确抽样（Propp和Wilson，1996）用于从Metropolis-Hastings提案中抽样，其中接受概率是易处理的。不幸的是，这些昂贵的更新的接受概率可能很低。本文提供了Moeller等人（2004）的推广和一种新的MCMC算法，该算法在相同的精确采样量下获得更好的接受概率，并且无需在采样开始前估计模型参数。
2012-06-27 stat.CO stat.ME
A Gibbs Sampling Alternative to Reversible Jump MCMC
本说明提供了一个简单而优雅的采样器，可用作可逆跳跃MCMC方法的替代方案。
2009-02-24 stat.CO
Perfecting MCMC Sampling: Recipes and Reservations
本文是为《马尔可夫链蒙特卡洛手册》第二版撰写的综述，旨在完善MCMC采样方法，并诚邀读者提出改进建议。
2024-01-04 stat.CO
Advanced MCMC Methods for Sampling on Diffusion Pathspace
校准日益复杂的统计模型的需要需要持续努力，以进一步发展现有的计算密集型蒙特卡罗方法。我们在这里研究一个先进的版本熟悉的马尔可夫链蒙特卡罗（MCMC）算法，样本从目标分布定义为变化的措施，从高斯法律一般希尔伯特空间。这样的模型结构出现在几个方面：我们集中在这里的扩散路径驱动的重要类别的统计模型维纳过程构成的参考高斯定律。特别强调的是先进的混合蒙特卡罗（HMC），使大，导数驱动的步骤在状态空间（与本地移动随机行走型算法相比）的分析和实验结果。我们说明了它的计算优势，在各种扩散过程和观察制度，例子包括随机波动和潜在的生存模型。与其标准MCMC对应物相比，高级版本具有无网格混合时间，因为当在计算机上应用算法时，这些混合时间不会在通过实际使用的有限维扩散路径对固有无限维扩散路径的近似进行细化时恶化。
2013-03-07 stat.CO stat.ME
The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models
提出了一种新的计算效率高的隐高斯模型（LGM）的马尔可夫链蒙特卡罗（MCMC）方法。采样方案是两块吉布斯抽样方案，旨在利用LGM的模型结构。我们将建议的采样方案称为MCMC分裂采样器。MCMC分割采样器背后的基本思想是将潜在高斯参数分割为两个向量。前一个向量由出现在数据密度函数中的潜在参数组成，而后一个向量由没有出现在数据密度函数中的潜在参数组成。前一个向量被放置在所提出的采样方案的第一块中，后一个向量与任何潜在的超参数一起被放置在第二块中。由此产生的块内的条件后验密度函数允许MCMC分裂采样器处理，通过设计，LGM与潜在的模型施加在不仅仅是数据密度函数的平均结构。MCMC分裂采样器也被设计为适用于任何参数数据密度函数的选择。此外，当潜在模型的维数增加时，它在计算效率方面具有很好的扩展性。
2015-06-20 stat.CO
Structure Learning with Adaptive Random Neighborhood Informed MCMC
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
本文提出PARNI-DAG采样器，结合自适应随机邻域提议和基于骨架图的预调优，实现观测数据下DAG结构的高效全贝叶斯后验采样，在高维高相关场景中具有更好的混合性能和准确性。
2023-11-01 cs.LG stat.CO
Exact MCMC for Intractable Proposals
Duke University（杜克大学）；IIT Kanpur（坎普尔印度理工学院）
本文提出利用伯努利工厂MCMC算法解决不可行提案分布的问题，通过三个实例展示其有效性。
2026-04-19 stat.CO stat.ME
Model comparison with missing data using MCMC and importance sampling
在竞争统计模型之间进行选择是一个具有挑战性的问题，特别是当竞争模型是非嵌套的时。在本文中，我们提供了一个简单的解决方案，设计一个算法，结合MCMC和重要性抽样，以获得计算有效估计的边际似然，然后可以用来比较模型。该算法成功应用于纵向流行病和时间序列数据集，并显示出优于现有的计算边缘可能性的方法。
2015-12-15 stat.CO
Subsampling MCMC - An introduction for the survey statistician
计算能力的迅速发展和高效的马尔可夫链蒙特卡罗（MCMC）模拟算法使贝叶斯统计发生了革命性的变化，使其成为应用工作中一种实用性很强的推理方法。然而，MCMC算法往往是计算要求很高的，并且对于大型数据集特别慢。数据子采样最近被建议作为一种方法，使MCMC方法可扩展的海量数据，利用有效的抽样方案和估计量的调查抽样文献。这些发展往往是未知的许多调查统计学家谁传统上与非贝叶斯方法工作，很少使用MCMC。我们的文章通过回顾一系列工作，Subsampling MCMC，一种所谓的伪边缘MCMC方法，通过数据子采样来加速MCMC，来解释MCMC中数据子采样的思想。这篇评论是为一个没有MCMC方法知识的调查统计学家写的，因为我们的目的是激励调查抽样专家为不断增长的子抽样MCMC文献做出贡献。
2018-09-20 stat.CO stat.ME stat.ML
Derivative-informed neural operator acceleration of geometric MCMC for infinite-dimensional Bayesian inverse problems
California Institute of Technology（加州理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对无限维贝叶斯反问题中几何MCMC计算成本高的问题，提出融合PtO映射与雅可比样本的导数信息神经算子代理模型，结合延迟接受框架实现3-9倍加速，训练成本仅需10-25个有效样本即可回本。
2024-05-20 cs.LG cs.NA math.NA
Automated Parameter Blocking for Efficient Markov-Chain Monte Carlo Sampling
马尔可夫链蒙特卡罗（MCMC）抽样是分析分层模型的一种重要而常用的工具。尽管如此，从业者通常有两种选择MCMC：利用现有的软件，生成一个黑盒“一刀切”的算法，或具有挑战性的（和耗时的）任务，实现特定问题的MCMC算法。任何一种选择都可能导致采样效率低下，因此研究人员已经习惯了大型模型的MCMC运行时间为几天（或更长）。我们提出了一个自动化的过程，以确定一个有效的MCMC算法为给定的模型和计算平台。我们的程序动态地确定块的参数联合采样，从而有效地采样整个模型。我们使用一套不同的示例模型来测试这个过程，并观察到许多模型在MCMC效率方面的重要改进。我们的程序是第一次尝试，并可能推广到一个更广阔的空间MCMC算法。我们的研究结果表明，MCMC效率的实质性改善，实际上可以实现使用我们的自动阻断程序，或其变体，这保证了额外的研究和应用。
2015-03-19 stat.CO
Sequential Gibbs Sampling Algorithm for Cognitive Diagnosis Models with Many Attributes
认知诊断模型（CDMs）是一种有用的统计工具，可以为干预和学习提供丰富的信息。马尔可夫链蒙特卡罗（MCMC）算法作为一种常用的CDM估计和推理方法，在实际中得到了广泛的应用。然而，当属性个数$K$较大时，现有MCMC算法可能会变得耗时，因为MCMC抽样过程中通常需要进行$O(2^K)$计算以获得每个属性剖面的条件分布。为了克服这一计算问题，受Culpepper和Hudson（2018）的启发，我们提出了一种计算效率高的顺序吉布斯抽样方法，该方法需要$O(K)$计算来对每个属性配置文件进行采样。我们使用模拟和实际数据的例子来显示所提出的顺序吉布斯抽样的有限样本性能，其优势，现有的方法。
2021-02-13 stat.CO stat.ME
A Multi-armed Bandit MCMC, with applications in sampling from doubly intractable posterior
Stanford University（斯坦福大学）
马尔可夫链蒙特卡罗（MCMC）算法被广泛应用于复杂分布的采样，特别是贝叶斯推断中的后验分布的采样。然而，MCMC是不直接适用于面对双重棘手的问题。本文讨论并比较了两种现有的解决方案--伪边际蒙特卡罗法和交换法。本文还提出了一种新的算法：多臂强盗MCMC（MABMC），它在每一步中选择两个（或多个）随机接受率。MABMC可以直接应用于伪边际蒙特卡罗和Exchange算法，具有较高的平均接受概率。
2019-03-27 cs.AI physics.data-an stat.CO
Parallelizing MCMC Sampling via Space Partitioning
多维和多峰密度函数的有效采样是许多研究领域的一个重要课题。我们描述了一种算法，它允许并行化固有的串行马尔可夫链蒙特卡罗（MCMC）的功能参数的空间划分成多个子空间和采样每个独立的采样。然后，不同子空间的样本通过其积分值重新加权并缝合在一起。这种方法允许通过并行操作来减少采样挂钟时间。它还改进了多模态目标密度的采样，并导致相关性较低的样本。最后，该方法产生的目标密度函数的积分的估计。
2020-08-07 physics.data-an stat.CO
Dimension-free Relaxation Times of Informed MCMC Samplers on Discrete Spaces
本文针对离散空间上的 informed Metropolis-Hastings 采样器，利用多商品流与单元素漂移条件给出与维度无关的弛豫时间充分条件及混合时间界。
2025-07-28 math.PR stat.CO stat.ML
Similarity-Driven Proposals for MCMC Algorithms on Discrete Spaces
University of California, Los Angeles（加州大学洛杉矶分校）；University of Bergamo（贝加莫大学）；University College of London（伦敦大学学院）；National University of Singapore（新加坡国立大学）
本文提出了一种基于相似性的MCMC方法，用于离散空间中的后验分布采样，通过数据驱动的观测与提议模型之间的不一致度度量来引导转移，适用于包含离散变量和额外潜在变量的分层模型。
2026-05-20 stat.CO stat.ME
Incorporating Posterior-Informed Approximation Errors into a Hierarchical Framework to Facilitate Out-of-the-Box MCMC Sampling for Geothermal Inverse Problems and Uncertainty Quantification
我们认为地热逆问题和不确定性量化从贝叶斯的角度来看。我们的主要目标是使标准的，“开箱即用”的马尔可夫链蒙特卡罗（MCMC）采样更可行的复杂的模拟模型，通过使用合适的近似。要做到这一点，我们首先展示了如何在分层贝叶斯框架中提出逆问题和预测问题。然后，我们将展示如何将所谓的后验知情模型近似误差到这个层次的框架，使用修改后的形式的贝叶斯近似误差（BAE）的方法。这使得能够使用一个“粗略”的近似模型来代替一个更精细、更昂贵的模型，同时考虑到这可能带来的额外的不确定性和潜在的偏差。我们的方法只需要简单的概率建模，一个相对较少的精细模型模拟，只修改目标后验-任何标准的MCMC采样算法可以用来采样新的后验。这些校正也可以用于不基于MCMC采样的方法中。我们表明，我们的方法可以实现显着的计算速度加快两个地热测试问题。我们还展示了天真地使用粗糙的近似模型代替精细模型的危险，而不考虑引起的近似误差。天真的方法往往会给出过于自信和有偏见的后验，而将BAE纳入我们的分层框架纠正了这一点，同时保持计算效率和易用性。
2019-12-19 cs.NA math.NA stat.CO
Markov Chain Monte Carlo sampling for conditional tests: A link between permutation tests and algebraic statistics
我们考虑非负离散指数族的条件检验。我们开发了两个马尔可夫链蒙特卡罗（MCMC）算法，使我们能够从条件空间采样，并进行近似测试。第一种算法是基于Sturmfels描述的MCMC采样。第二MCMC采样包括在一个更有效的算法，利用条件空间的最佳分区到轨道的排列。因此，我们建立了一个标准的置换和代数统计为基础的采样之间的联系。通过模拟研究，我们比较了精确的累积分布函数（cdf）与近似cdf，这是由两个MCMC抽样和标准排列抽样得到的。我们的结论是MCMC采样利用的条件空间到排列轨道的分区给出了一个估计的cdf，在$H_0$，这是更可靠的，收敛到确切的cdf与最少的步骤。这种采样技术也可以用来建立一个近似的精确cdf时，其精确计算是计算上不可行的。
2017-07-26 stat.CO
Efficient Gaussian Sampling for Solving Large-Scale Inverse Problems using MCMC Methods
MCMC方法求解大规模反问题需要从高维高斯分布中抽取样本。虽然直接高斯采样技术，如那些基于Cholesky分解，诱导过度的数值复杂性和内存需求，顺序坐标采样方法的收敛速度较低。基于可逆跳马尔可夫链框架，提出了一种有效的高斯采样算法，该算法具有计算量小、内存占用少的特点。该算法的主要特点是执行一个近似的解决方案的线性系统的截断水平调整使用自校正自适应计划，允许实现最小的计算成本。讨论了该算法与现有的一些策略之间的联系，并通过一个图像分辨率增强的线性逆问题说明了该算法的有效性。
2014-09-02 stat.ME
Augmented Ensemble MCMC sampling in Factorial Hidden Markov Models
阶乘隐马尔可夫模型的贝叶斯推断是具有挑战性的，由于指数大小的潜在变量空间。标准的蒙特卡罗采样器可能难以有效地探索后验景观，并且通常限于依赖于初始化的局部区域周围的探索。我们引入了一个通用的集成马尔可夫链蒙特卡罗（MCMC）技术，以改善现有的混合采样器。这是通过结合并行回火和辅助变量方案来实现的，以有效的方式在链之间交换信息。后者利用增强吉布斯采样器内的遗传算法。我们比较我们的技术与各种现有的采样器在模拟研究以及在癌症基因组学的应用，展示了我们的增强集成方法所获得的改进。
2019-02-26 stat.CO stat.ME stat.ML
Efficient MCMC Sampling with Dimension-Free Convergence Rate using ADMM-type Splitting
对复杂模型执行精确的贝叶斯推断在计算上是困难的。马尔可夫链蒙特卡罗（MCMC）算法可以提供可靠的近似的后验分布，但昂贵的大型数据集和高维模型。减轻这种复杂性的标准方法包括使用子采样技术或将数据分布在集群中。然而，这些方法在高维场景中通常不可靠。在这里，我们专注于最近的替代类MCMC计划利用分裂策略类似于著名的交替方向的乘数（ADMM）优化算法所使用的。这些方法似乎提供了经验上最先进的性能，但它们在高维中的理论行为目前尚不清楚。在本文中，我们提出了一个详细的理论研究，这些算法之一，被称为分裂吉布斯采样器。在正则条件下，利用Ricci曲率和耦合思想，给出了该格式的显式收敛速度.我们用数字说明来支持我们的理论。
2021-12-08 stat.CO stat.ME stat.ML
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO（荷兰应用科学研究组织）；Utrecht University（乌得勒支大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了马尔可夫链蒙特卡罗（MCMC）推理方法Prune Sampling，并对它在离散和确定性贝叶斯网络（BN）中的性能进行了分析。我们开发了一个程序，以获得性能的MCMC采样方法在无限的模拟时间的限制，从相对较短的模拟外推。这种方法被用来进行一项研究，以比较准确性，收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法：吉布斯和大都会采样。我们发现，修剪采样创建的马尔可夫链总是收敛到所需的后验分布，也为传统的吉布斯抽样失败的网络。除此之外，我们证明了修剪优于吉布斯抽样，至少对于某一类BN。不过，这个诱人的功能是有代价的。在Prune Sampling的第一个版本中，对于大BN，统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是，修剪采样是所有类型的小型和中型BN的竞争力的方法，但（现在）标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO
Ultra-efficient MCMC for Bayesian longitudinal functional data analysis
针对现有贝叶斯功能混合模型推断算法无法兼顾计算可扩展性与后验近似精度的问题，提出结合分块结构与正交基重参数化的高效MCMC采样策略，实现联合采样与性能提升，并应用于体力活动数据集研究。
2023-06-13 stat.CO stat.ME
State-Dependent Kernel Selection for Conditional Sampling of Graphs
本文介绍了两个问题的新的有效算法：无权图的顶点度条件抽样和有权图的顶点强度条件抽样。这些算法可以根据任意数量的边缘的存在或不存在来进行采样。得到的条件分布为精确检验提供了基础。基于MCMC或顺序重要性抽样的现有采样器通常是不可扩展的;它们的效率在稀疏图中降低。MCMC方法通常需要显式计算马尔可夫基来导航复杂的状态空间;即使对于小图，这也是计算密集型的。我们使用状态相关的核选择开发新的MCMC采样器。这些不需要马尔可夫基，并且在稀疏和密集图中都是有效的。关键思想是根据链的当前状态智能地选择马尔可夫核。我们应用我们的方法来测试一个真实的网络和列联表的假设。该算法出现的数量级更有效的比现有的方法在测试用例中考虑。
2018-09-18 stat.CO stat.ME
Fast MCMC sampling for Markov jump processes and extensions
马尔可夫跳过程（或连续时间马尔可夫链）是一类简单而重要的连续时间动力系统。在本文中，我们解决的问题，模拟从后验分布在这些模型中的路径，部分和噪音的意见。我们的方法是一个辅助变量吉布斯采样器，是基于均匀化的思想。这通过交替地采样给定当前路径的虚拟跳跃时间的有限集合，然后使用标准隐马尔可夫模型前向滤波-后向采样算法采样给定现存和虚拟跳跃时间的集合的新路径，来在路径上建立马尔可夫链。我们的方法是精确的，不涉及时间离散化等近似。我们展示了我们的采样器如何自然地扩展到基于MJP的模型，如马尔可夫调制泊松过程和连续时间贝叶斯网络，并显示出显着的计算优势，超过了最先进的MCMC采样器，这些模型。
2013-10-17 stat.CO
Orthogonal parallel MCMC methods for sampling and optimization
蒙特卡罗（MC）方法广泛用于统计学、信号处理和机器学习中的贝叶斯推断和优化。众所周知的一类MC方法是马尔可夫链蒙特卡罗（MCMC）算法。为了更好地探索状态空间，特别是在高维应用中，最近引入了几种采用多个并行MCMC链的方案。在这项工作中，我们描述了一种新的并行交互MCMC计划，称为{ \it正交MCMC}（O-MCMC），其中一组“垂直”并行MCMC链共享信息使用一些“水平”MCMC技术工作在整个人口的当前状态。更具体地说，垂直链是由随机行走的建议，而水平MCMC技术采用独立的建议，从而允许一个有效的组合的全球探索和局部近似。交互包含在这些水平迭代中。在不同的O-MCMC实现的分析，新的计划，以减少并行多尝试Metropolis（MTM）链的整体计算成本。此外，O-MCMC优化的修改版本提供了考虑并行模拟退火（SA）算法。数值结果表明，所提出的采样方案的优点，在估计的效率，以及鲁棒性的独立性相对于初始值和参数的选择。
2016-09-25 stat.CO stat.ML
Mini-batch Tempered MCMC
在本文中，我们提出了一个一般的框架，执行MCMC只有一个小批量的数据。我们表明，通过估计的大都会黑斯廷比只有一个小批量的数据，一个基本上是从真正的后验提高到一个已知的温度采样。实验表明，我们的方法，小批量回火MCMC（MINT-MCMC），可以有效地探索多个模式的后验分布。基于等能量采样器（Kou et al. 2006），我们开发了一种新的基于等能量采样器的并行MCMC算法，该算法能够有效地从具有良好分离模式的高维多模态后验中采样。
2018-05-21 stat.CO
Importance sampling type estimators based on approximate marginal MCMC
考虑基于马尔可夫链蒙特卡罗（MCMC）的重要性抽样（IS）型加权估计，目标是目标分布的近似边缘。在贝叶斯潜变量模型的上下文中，MCMC通常对超参数进行操作，并且随后的加权可以基于IS或序贯蒙特卡罗（SMC），但也允许多级技术。IS方法提供了延迟接受（DA）伪边缘/粒子MCMC的一个自然的替代方案，并具有许多优势，DA，包括一个简单的并行化和MCMC实现的额外灵活性。我们详细的最小条件，确保强一致性的建议估计，并提供中心极限定理的渐近方差的表达式。我们演示了我们的方法可以利用SMC的状态空间模型的上下文中，使用拉普拉斯近似和时间离散扩散。我们的实验结果是有希望的，并表明，IS型的方法可以提供大量的收益相对于一个类似的DA计划，往往是有竞争力的，即使没有并行化。
2020-03-09 math.PR stat.CO
Parallel MCMC with Generalized Elliptical Slice Sampling
概率模型在概念上是发现数据结构的强大工具，但它们的实际有效性往往受到我们对其进行推理的能力的限制。精确推理通常是难以处理的，因此近似推理通常使用马尔可夫链蒙特卡罗（MCMC）来执行。为了从MCMC获得最佳可能的结果，我们希望有效地模拟快速混合马尔可夫链的许多步骤，使目标分布保持不变。在这方面，特别感兴趣的是如何利用多核计算来加速基于MCMC的推理，以改善混合并分配计算负载。在本文中，我们提出了一个可并行马尔可夫链蒙特卡罗算法，有效地从连续概率分布，可以利用数百个核心的采样。该方法在并行马尔可夫链之间共享信息，以建立目标分布密度函数的高斯混合尺度近似。我们结合这种近似与最近的方法称为椭圆切片采样创建一个马尔可夫链没有步长参数，可以快速混合，而不需要梯度或曲率计算。
2014-07-24 stat.CO stat.ML
Sequential pCN-MCMC, an efficient MCMC method for Bayesian inversion of high-dimensional multi-Gaussian priors
在地质统计学中，高斯随机场常用于模拟土壤或地下参数的非均匀性。为了给出这些随机场的空间近似，将它们离散化。然后，不同的地质统计反演技术被用来对测量数据的条件。在这些技术中，马尔可夫链蒙特卡罗（MCMC）技术脱颖而出，因为它们产生渐近无偏的条件实现。然而，标准的马尔可夫链蒙特卡罗（MCMC）方法在细化离散化时遭受维数灾难。这意味着它们的效率随着离散单元数量的增加而迅速降低。已经开发了几种MCMC方法，使得MCMC效率不依赖于随机场的离散化。预条件Crank Nicolson马尔可夫链蒙特卡罗（pCN-MCMC）和顺序吉布斯（或块吉布斯）采样是两个例子。在本文中，我们将提出一个结合的pCN-MCMC和顺序吉布斯抽样。我们的算法，顺序pCN-MCMC，将取决于两个调谐参数：pCN方法的相关参数$β$和顺序吉布斯方法的块大小$κ$。原始的pCN-MCMC和吉布斯抽样算法是我们的方法的特殊情况。我们提出了一种算法，自动找到最佳的调谐参数组合（$κ$和$β$）在老化阶段的算法，从而选择最好的可能的两种方法之间的混合。在我们的测试用例中，我们实现了$1-5.5$在pCN和$1-6.5$在吉布斯的加速因子。此外，我们提供了我们的方法作为开源代码的MATLAB实现。
2021-03-24 stat.CO
NEO: Non Equilibrium Sampling on the Orbit of a Deterministic Transform
从复分布$π$采样并逼近其难以处理的归一化常数Z是具有挑战性的问题。本文导出了一类新的重要性抽样器（IS）和马尔可夫链蒙特卡罗（MCMC）抽样器。给定可逆映射T，这些方案通过从提议分布$ρ$采样的点来组合（具有权重）来自前向和后向轨道的元素。地图T并没有让目标$π$保持不变，因此命名为NEO，代表非平衡轨道。NEO-IS提供了$π$下期望的归一化常数的无偏估计量和自归一化IS估计，而NEO-MCMC结合了归一化常数的多个NEO-IS估计和迭代采样重要性恢复机制，以从$π$中采样。对于选择T作为共形哈密顿系统的离散时间积分器，NEO-IS在困难的基准上实现了最先进的性能，NEO-MCMC能够探索高度多模态的目标。此外，我们为这两种方法提供了详细的理论结果。特别地，我们证明了NEO-MCMC是一致几何遍历的，并在温和的条件下建立了显式混合时间估计。
2021-08-23 stat.CO stat.ME stat.ML
Importance sampling correction versus standard averages of reversible MCMCs in terms of the asymptotic variance
我们建立了一个排序准则的渐近方差一致的马尔可夫链蒙特卡罗（MCMC）估计：一个重要性抽样（IS）估计，基于近似可逆链和随后的IS加权，和一个标准的MCMC估计，基于一个精确的可逆链。从本质上讲，我们放宽了标准的Peskun型协方差排序考虑两个不同的不变概率，并获得，在一个严格的顺序的渐近方差，是由直接MCMC的渐近方差的界。简单的例子表明，IS可以有任意更好或更差的渐近方差比大都会黑斯廷斯和延迟接受（DA）MCMC。我们的排序意味着，IS是保证有竞争力的一个因素取决于（边际）IS权重的上确界。我们详细阐述了标准的情况下，无偏估计量作为辅助变量框架的一部分。我们展示了如何标准意味着渐近方差保证IS的伪边缘（PM）和DA校正，基本上如果精确和近似似然比是有界的。我们还表明，IS链的收敛性可以更少地受到无界高方差无偏估计量比PM和DA链。
2020-03-24 math.PR stat.CO
The block-Poisson estimator for optimally tuned exact subsampling MCMC
利用数据二次抽样方法加速多观测数据集的马尔可夫链蒙特卡罗（MCMC）计算，近年来受到了广泛的关注。提出了一种伪边缘MCMC方法，该方法通过使用块泊松估计器的数据子采样来估计似然。该估计量是泊松估计量的产物，允许我们在每次MCMC迭代中更新单个子样本指标块，以便在连续似然估计的对数之间实现所需的相关性。这是重要的，因为具有正相关似然估计的伪边缘MCMC可以使用实质上更小的子样本，而不会不利地影响抽样效率。块泊松估计是无偏的，但不一定是正的，因此该算法对似然估计的绝对值运行MCMC，并使用重要性抽样校正来获得参数的任何函数的后验均值的相合估计。我们的文章得出的指导方针，选择最佳的调整参数，我们的方法，并表明，它比较非常有利的常规MCMC没有子采样，和其他两个最近提出的精确子采样方法在文献中。
2020-04-07 stat.CO stat.ME stat.ML
On Cyclical MCMC Sampling
本文分析 cyclical MCMC 的收敛性，证明其在快速混合核和足够长循环下收敛，但在慢混合情形下可能失效，同时仍能较好估计各众数附近的局部形状。
2024-03-01 stat.CO stat.ML
Pseudo-extended Markov chain Monte Carlo
使用马尔可夫链蒙特卡罗（MCMC）方法从后验分布进行采样可能需要穷尽的迭代次数，特别是当后验是多模态时，因为MCMC采样器可能在大量迭代中陷入局部模式。在本文中，我们介绍了伪扩展MCMC方法作为一个简单的方法，以改善混合的MCMC采样器的多峰后验分布。伪扩展方法使用伪样本作为辅助变量来扩充后验的状态空间。在扩展的空间上，后验模态是连接的，这使得MCMC采样器可以很容易地在分离良好的后验模态之间移动。我们证明了伪扩展的方法提供了改进的MCMC采样超过哈密顿蒙特卡罗算法的多模态后验，包括玻尔兹曼机和模型与稀疏诱导先验。
2019-10-29 stat.CO stat.ME stat.ML
Learning Energy-based Model via Dual-MCMC Teaching
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出一种联合学习框架，通过双重MCMC教学将EBM、生成器和推断模型集成，使生成器同时匹配EBM与经验数据分布，从而为EBM的MCMC采样提供更优初始化，实现有效且高效的EBM学习。
2023-12-05 cs.CV cs.LG stat.CO
A Fast MCMC for the Uniform Sampling of Binary Matrices with Fixed Margins
具有固定间隔的二进制矩阵的均匀采样是统计学、计算机科学、生态学等领域中的一个重要而困难的问题，当矩阵的大小变得很大或矩阵太稀疏/稠密时，著名的交换算法将是低效的。在这里，我们提出了矩形循环算法，一个马尔可夫链蒙特卡罗算法，以采样二进制矩阵与固定的利润率均匀。从理论上讲，矩形循环算法优于Peskun顺序的交换算法。实证研究也表明，矩形循环算法明显优于交换算法。
2019-06-20 cs.DS math.CO stat.AP
Scaling-up Split-Merge MCMC with Locality Sensitive Sampling (LSS)
Rice University（莱斯大学）
分裂-合并MCMC（Monte Carlo Markov Chain）是MCMC的一种基本和流行的变体，用于解决MCMC状态由未知数量的组件组成的问题。众所周知，用于分裂-合并MCMC的最新方法不能很好地扩展。快速混合的策略需要智能和信息丰富的建议，以减少拒绝率。然而，所有已知的智能建议都涉及昂贵的操作来建议信息转换。因此，每次迭代的成本对于大规模数据集是令人望而却步的。进一步已知的是，无信息但计算有效的建议，如随机分裂-合并，导致收敛非常慢。混合时间和每次更新成本之间的权衡似乎很难解决。在本文中，我们展示了一个甜蜜点。我们利用加权MinHash的一些独特属性，这是一种流行的LSH，设计了一类新的分裂合并建议，这比随机采样的信息量更大，但同时计算效率更高。总的来说，我们得到了一个优越的收敛和每次更新成本之间的权衡。作为一个直接的结果，我们的建议是大约6倍的速度比最先进的采样方法在两个大型的真实数据集KDDCUP和PubMed与数百万个实体和数千个集群。
2018-10-12 cs.AI cs.DS cs.LG
A Framework for Adaptive MCMC Targeting Multimodal Distributions
提出了一种新的多峰分布抽样的蒙特卡罗方法。该技术的思想是基于将任务分为两部分：找到目标分布$π$的模式，并在已知模式位置的情况下进行采样。采样算法依赖于两种类型的步骤：局部步骤，保留模式;以及跳转到与不同模式相关联的区域。此外，该方法在运行时学习算法的最佳参数，而不需要用户干预。我们的技术应该被认为是一个灵活的框架，其中的动作设计可以遵循各种策略，从广泛的MCMC文献。为了设计一个自适应的计划，方便本地和跳跃移动，我们引入了一个辅助变量表示每个模式，我们定义了一个新的目标分布$\tildeπ$上的增广状态空间$\mathcal{X}~\times~\mathcal{I}$，其中$\mathcal{X}$是原始状态空间的$π$和$\mathcal{I}$是一组模式。当算法运行并更新其参数时，目标分布$\tildeπ$也不断被修改。这激发了一类新的算法，辅助变量自适应MCMC。我们证明了一般遍历的结果，为整个类之前专门的情况下，我们的算法。
2019-01-11 math.PR stat.CO stat.ME
Efficient Markov Chain Monte Carlo Sampling for Hierarchical Hidden Markov Models
传统的马尔可夫链蒙特卡罗（MCMC）隐马尔可夫模型（Hidden Markov Models，HMM）采样涉及潜在状态下的一个不完美的观察过程，并产生后验样本的顶层参数同时滋扰潜在变量.当潜在的许多HALTERNATIONAL被嵌入到分层模型中时，这可能导致MCMC运行时间过长。我们研究了现有方法的组合，这些方法大大提高了这些分层模型的计算效率，同时保持了嵌入式HSPs提供的建模灵活性。该方法包括离散过滤的HMM可能性，以消除潜在的状态，减少数据表示，和一个新的程序后维动态块采样。前两种方法已经在现有的专用软件中单独使用，但通常不适用于任意模型结构。使用R的NIMBLE包，我们使用生态捕获-再捕获的三个示例开发和测试组合计算方法，尽管我们的方法通常适用于任何嵌入式离散HMM。这些组合提供了MCMC抽样效率的几个数量级的改进，采样效率定义为生成有效独立后验样本的速率。除了对于这类分层模型在计算上是重要的之外，该结果强调了MCMC抽样效率的巨大改进的潜力，其可以由已知算法的组合产生。
2016-01-12 stat.CO
gemlib.mcmc: composable kernels for Metropolis-within-Gibbs sampling schemes
本文提出gemlib.mcmc框架，通过可组合内核抽象简化MCMC实现，利用范畴论中的writer monads实现内核组合，降低开发难度，使研究人员能高效应用先进算法。
2026-05-11 stat.CO
Pseudo-Marginal Slice Sampling
马尔可夫链蒙特卡罗（MCMC）方法从复杂的概率分布中渐进地采样。伪边际MCMC框架只需要一个无偏估计量的非归一化概率分布函数，以构建一个马尔可夫链。然而，与传统MCMC相比，所产生的链更难调整到目标分布，并且可用的更新类型有限。我们描述了一种通用的方法来钳位和更新用于伪边际方法的无偏估计量的随机数。在这个框架中，我们可以使用切片采样和其他自适应方法。我们得到更强大的马尔可夫链，往往混合更快。
2016-05-24 stat.CO
Adaptive Multiple Importance Sampling for Gaussian Processes
在高斯过程应用中，不确定性的量化是一个严格的要求，它是必要的，以准确地描述后验分布的高斯过程协方差参数。通常，这通过标准的马尔可夫链蒙特卡罗（MCMC）算法来完成。出于与计算边际可能性的复杂性相关的问题（可能导致MCMC算法效率低下）的动机，本文开发了一种基于自适应多个重要性抽样（AMIS）的替代推理框架。本文研究了AMIS在高斯似然情况下的应用，提出了非高斯似然情况下的伪边缘AMIS，其中边缘似然是无偏估计的。结果表明，所提出的框架优于MCMC为基础的协方差参数的推断在广泛的情况下，并保持竞争力的适度大尺寸的参数空间。
2016-03-31 stat.CO
Asymptotically Independent Markov Sampling: a new MCMC scheme for Bayesian Inference
在贝叶斯统计中，许多问题都可以表示为关于后验分布的期望值的估计。由于遇到的后验分布不能直接采样，标准蒙特卡罗方法往往不适用。在这种情况下，最流行的策略是重要性抽样方法、马尔可夫链蒙特卡罗和退火。在本文中，我们介绍了一种新的方案，称为渐近独立马尔可夫抽样（AIMS）的贝叶斯推断，这是基于上述方法。我们得到重要的遍历性质的AIMS。特别是，它表明，在一定条件下，AIMS算法产生一个一致遍历的马尔可夫链。的算法的自由参数的选择进行了讨论，并提供了这种选择的建议，无论是理论上和实践上的基础。三个数值例子证明了AIMS的有效性，其中包括多模态和高维目标后验分布。
2011-10-09 stat.CO stat.ML
Construction of weakly CUD sequences for MCMC sampling
在马尔可夫链蒙特卡罗（MCMC）抽样中，大量的思想用于构造随机转移。但这些转变几乎总是由模拟的IID序列驱动的。最近，它已被证明，取代IID序列的弱完全均匀分布（WCUD）序列导致在有限状态空间中的一致估计。不幸的是，很少有WCUD序列已知。本文给出了序列是WCUD的一般证明方法，证明了某些特定序列是WCUD的，并证明了对WCUD序列的某些运算产生新的WCUD序列。一个42维连续吉布斯采样器的数值例子发现，一些WCUD输入序列产生的方差减少范围从几十到几百的后验均值的参数，相比IID输入。
2008-07-30 math.ST stat.CO stat.TH
MCMC Should Mix: Learning Energy-Based Model with Neural Transport Latent Space MCMC
Google Research（谷歌研究院）；Salesforce Research（赛富时研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
学习基于能量的模型（EBM）需要MCMC采样的学习模型作为一个内部循环的学习算法。然而，高维数据空间中EBM的MCMC采样通常不是混合的，因为通常由深度网络参数化的能量函数在数据空间中是高度多模态的。这对循证医学的理论和实践都是一个严重的障碍。在本文中，我们建议学习EBM与流为基础的模型（或在一般的潜变量模型）作为骨干，使EBM是一个校正或指数倾斜的流为基础的模型。我们发现，该模型具有一个特别简单的形式在空间的潜变量的骨干模型，MCMC采样的EBM在潜在的空间混合以及遍历模式的数据空间。这使得能够对EBM进行适当的采样和学习。
2022-03-16 cs.LG stat.ML
Exact Gibbs sampling for stochastic differential equations with gradient drift and constant diffusion
Purdue University（普渡大学）
本文提出了一种适用于广泛SDE类别的精确吉布斯采样方法，无需离散化误差，通过变换扩展到更广泛的多元SDEs，并在合成和真实数据上展示了优于粒子MCMC的性能。
2026-01-31 stat.CO
A Polynomial Time MCMC Method for Sampling from Continuous DPPs
University of Washington（华盛顿大学）
研究了连续型定点过程的Gibbs抽样算法。我们表明，在一个温暖的开始，吉布斯采样器产生一个随机样本从一个连续的$k$ -DPP定义的$d$维域上只采取$\text{poly}(k)$的步骤。作为应用，我们设计了一个算法，从$k$中产生随机样本，该DPP由$d$维单位球面上的球形高斯核定义，$\mathbb{S}^{d-1}$在$k,d$中的时间多项式中。
2018-10-20 cs.DS cs.LG stat.ML
Asynchronous Gibbs Sampling
吉布斯抽样是一种马尔可夫链蒙特卡罗（MCMC）方法，常用于贝叶斯学习。MCMC方法由于其固有的顺序性质而难以在并行和分布式系统上部署。我们研究异步吉布斯抽样，它通过简单地忽略顺序要求来实现并行。这种方法已被证明对某些层次模型产生了良好的实证结果，并且在主题建模社区中很受欢迎，但也被证明对其他目标存在分歧。我们介绍了一个理论框架，分析异步吉布斯抽样和其他扩展的MCMC不具备马尔可夫性。我们证明了异步吉布斯可以修改，使其收敛在适当的正则条件-我们称之为确切的异步吉布斯算法。我们研究异步吉布斯的一组例子，通过比较精确和近似的算法，包括两个工作良好的地方，和一个地方，它失败了显着。最后，我们用一组算法来描述可以有效使用该算法的设置。
2020-02-29 stat.CO
