Pseudo-extended Markov chain Monte Carlo
使用马尔可夫链蒙特卡罗(MCMC)方法从后验分布进行采样可能需要穷尽的迭代次数,特别是当后验是多模态时,因为MCMC采样器可能在大量迭代中陷入局部模式。在本文中,我们介绍了伪扩展MCMC方法作为一个简单的方法,以改善混合的MCMC采样器的多峰后验分布。伪扩展方法使用伪样本作为辅助变量来扩充后验的状态空间。在扩展的空间上,后验模态是连接的,这使得MCMC采样器可以很容易地在分离良好的后验模态之间移动。我们证明了伪扩展的方法提供了改进的MCMC采样超过哈密顿蒙特卡罗算法的多模态后验,包括玻尔兹曼机和模型与稀疏诱导先验。
2019-10-29 stat.CO stat.ME stat.ML
Bias correction of posterior means using MCMC outputs
本文提出两种基于贝叶斯无穷小刀切近似的MCMC后验均值偏差校正算法,分别适用于一般场景和高维稀疏场景,并在Weibull分布与逻辑回归中验证有效。
2024-09-05 cond-mat.dis-nn stat.ME
Post-Processing of MCMC
马尔可夫链蒙特卡罗(MCMC)是现代贝叶斯统计的引擎,用于近似后验和导出的感兴趣的量。尽管如此,如何从一个马尔可夫链的输出是后处理和报告的问题往往被忽视。收敛性诊断可用于通过老化消除来控制偏差,但这些不能解释有限的计算预算产生偏差-方差权衡的(常见)情况。这篇文章的目的是审查国家的最先进的技术后处理马尔可夫链输出。我们的评论涵盖了基于差异最小化的方法,直接解决偏差方差权衡,以及通用控制变量方法近似的预期数量的利益。
2021-09-06 stat.CO stat.ME
Light and Widely Applicable MCMC: Approximate Bayesian Inference for Large Datasets
LWA-MCMC是Metropolis-Hastings核的一种新的近似方法,目标是在大量观测值上定义的后验分布。受近似贝叶斯计算的启发,我们设计了一个马尔可夫链,其过渡利用了一个未知的,但固定的,可用数据的一部分,其中子样本的随机选择是由该子样本的保真度所指导的观察到的数据,作为衡量总结(或足够)的统计。LWA-MCMC是一种通用而灵活的方法,正如我们探索的各种示例所示。在每一种情况下,LWA-MCMC产生优异的性能,在某些情况下,与现有的方法相比,有显着的改善。
2015-11-24 stat.ME
Mini-batch Tempered MCMC
在本文中,我们提出了一个一般的框架,执行MCMC只有一个小批量的数据。我们表明,通过估计的大都会黑斯廷比只有一个小批量的数据,一个基本上是从真正的后验提高到一个已知的温度采样。实验表明,我们的方法,小批量回火MCMC(MINT-MCMC),可以有效地探索多个模式的后验分布。基于等能量采样器(Kou et al. 2006),我们开发了一种新的基于等能量采样器的并行MCMC算法,该算法能够有效地从具有良好分离模式的高维多模态后验中采样。
2018-05-21 stat.CO
MCMC-Interactive Variational Inference
Broad College of Business, Michigan State University(密歇根州立大学布罗德商学院);the University of Texas at Austin(德克萨斯大学奥斯汀分校);McCombs School of Business, the University of Texas at Austin(德克萨斯大学奥斯汀分校麦库姆斯商学院)
利用成熟的MCMC策略,我们提出了MCMC交互式变分推理(MIVI),不仅可以在时间约束的方式估计后验,而且还可以方便MCMC过渡的设计。MIVI构建一个变分分布,然后是一个有参数学习的短马尔可夫链,它利用变分推理和MCMC的互补特性来鼓励相互改进。一方面,随着变分分布定位高后验密度区域,马尔可夫链在变分推理框架内被优化,以有效地针对后验,尽管有少量的转换。另一方面,优化的马尔可夫链具有相当大的灵活性,引导变分分布的后验和消除其低估的不确定性。证明了MIVI中的最优马尔可夫链是可以外推的,即随着链的增长,其边际分布越来越接近真实的后验分布。因此,马尔可夫链可以单独用作有效的MCMC方案。实验表明,MIVI不仅能准确有效地逼近后验,而且能方便地设计随机梯度MCMC和Gibbs采样转换。
2022-12-12 cs.LG stat.ML
MCMC Algorithms for Posteriors on Matrix Spaces
研究了目标分布在矩阵空间上的马尔可夫链蒙特卡罗(MCMC)算法.这样一个重要的抽样问题还有待分析探讨。我们进行了一个重要的步骤,通过开发适当的理论框架,允许识别遍历性的典型MCMC算法,在这样的背景下相关的属性,以覆盖这一差距。除了标准的随机游走大都会(RWM)和预处理曲柄-尼科尔森(pCN),本文的贡献,在发展一种新的算法,称为“混合”pCN(MpCN)。RWM和pCN不被证明是几何遍历的一类重要的矩阵分布与重尾。相比之下,MpCN在具有不同尾部行为的目标之间是稳健的,并且在重尾分布类内具有非常好的经验性能。MpCN的几何遍历性在这项工作中没有得到充分证明,因为由于状态空间的复杂性,一些剩余的漂移条件很难获得。然而,我们确实在证明方面取得了很大的进展,并详细展示了为未来工作留下的最后步骤。我们通过数值应用说明了各种算法的计算性能,包括在金融统计中产生的具有挑战性的模型的真实数据上的校准。
2021-11-06 stat.CO stat.ME
Efficient MCMC for Gibbs Random Fields using pre-computation
吉布斯随机场(GRF)的贝叶斯推断通常被称为双重棘手问题,因为似然函数是棘手的。这种模型的后验分布的探索通常用复杂的马尔可夫链蒙特卡罗(MCMC)方法、交换算法(Murray等人,2006),其需要在每次迭代时从似然函数进行模拟。本文的目的是考虑一种方法,以显着减少这种计算开销。为此,我们介绍了一类新的算法,它使用的GRF模型,离线模拟,在指定的位置由一个网格,跨越参数空间的实现。这种策略大大加快了后验推理的速度,如几个例子所示。然而,使用预先计算的图在MCMC算法中引入了噪声,这不再是精确的。我们研究的近似MCMC算法的理论行为,并推导出收敛界使用最近的理论发展近似MCMC方法。
2017-10-13 stat.CO stat.ME
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester(曼彻斯特大学);Oak Ridge National Laboratory(橡树岭国家实验室)
马尔可夫链蒙特卡罗(MCMC)方法在贝叶斯神经网络(BNN)中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此,本文表明,通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理,但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Similarity-Driven Proposals for MCMC Algorithms on Discrete Spaces
University of California, Los Angeles(加州大学洛杉矶分校);University of Bergamo(贝加莫大学);University College of London(伦敦大学学院);National University of Singapore(新加坡国立大学)
本文提出了一种基于相似性的MCMC方法,用于离散空间中的后验分布采样,通过数据驱动的观测与提议模型之间的不一致度度量来引导转移,适用于包含离散变量和额外潜在变量的分层模型。
2026-05-20 stat.CO stat.ME
Parallel local approximation MCMC for expensive models
通过马尔可夫链蒙特卡罗(MCMC)执行贝叶斯推断可能是非常昂贵的后验评估调用的计算昂贵的模型,如偏微分方程系统的评估。在最近的工作[Conrad et al. JASA 2016,arXiv:1402.1694]中,我们描述了一个框架,用于在MCMC模拟期间构建和改进此类模型的局部近似。这些后适应近似利用模型的规律性,以减少推理的计算成本,同时保持马尔可夫链的渐近精确性。在这里,我们描述两个扩展的工作。首先,我们证明了并行运行的采样器可以协同构建一个共享的后验近似,同时确保每个关联链的遍历性,为MCMC中的并行计算提供了一个新的机会。第二,集中在大都会-调整Langevin算法,我们描述了如何建议分布可以成功地利用梯度和其他相关信息提取的近似。我们调查的实际表现,我们的策略使用两个具有挑战性的推理问题,第一次在地下水文学和冰川学。使用通过并行链构建的局部近似,我们成功地减少了所需的运行时间来表征这些问题的后验分布从几天到几个小时,从几个月到几天,分别大大提高了贝叶斯推断的易处理性。
2017-12-25 stat.AP stat.CO stat.ME
Learning to Replace MCMC in Split-Gibbs Diffusion Posterior Sampling via Deep Unfolding
Weizmann Institute of Science(魏茨曼科学研究所);Northeastern University(东北大学)
提出用深度展开网络替换分裂吉布斯采样中的MCMC步骤,通过ODE扩散实现高斯去噪更新,在非线性相位恢复中实现更低成本的扩散后验采样。
2026-09-28 cs.LG eess.SP stat.ML
Particle rolling MCMC with double-block sampling
提出了一种基于仿真的状态空间模型滚动窗口估计方法--双块采样粒子滚动马尔可夫链蒙特卡罗(MCMC)方法。在我们的方法中,这是基于序贯蒙特卡罗(SMC),粒子顺序更新,以近似后验分布的每个窗口,通过学习新的信息和丢弃旧的信息从观察。当重要性权重退化时,用MCMC算法更新粒子。为了避免退化,这是至关重要的,以减少计算时间,我们引入了一个块采样方案,并产生多个候选人的算法的基础上的条件SMC。理论讨论表明,所提出的方法与嵌套结构表示为SMC采样的增广空间提供的理由。计算性能进行了评估说明性的例子,表明模型参数的后验分布的准确估计。补充材料中提供了证明和额外的讨论(算法和实验结果)。
2021-09-16 stat.CO stat.ME
Faster MCMC for Gaussian Latent Position Network Models
潜在位置网络模型是网络科学中的通用工具;应用包括聚类实体,控制因果混杂因素,以及在未观察到的图上定义先验。估计每个节点的潜在位置通常被框定为贝叶斯推断问题,Gibbs内的Metropolis是用于近似后验分布的最流行的工具。然而,众所周知,吉布斯的大都市对于大型网络是低效的;接受率的计算成本很高,并且由此产生的后验绘制高度相关。在这篇文章中,我们提出了一种替代的马尔可夫链蒙特卡罗策略-使用分裂哈密顿蒙特卡罗和萤火虫蒙特卡罗的组合定义-利用后验分布的函数形式更有效的后验计算。我们证明,这些策略优于大都会内吉布斯和其他算法的合成网络,以及在一个学区的教师和工作人员的真实信息共享网络。
2021-11-03 stat.CO stat.ME stat.ML
Parallelizing MCMC with Machine Learning Classifier and Its Criterion Based on Kullback-Leibler Divergence
University of Toyama(富山大学)
本研究提出基于KL散度的机器学习分类器方法,用于加速MCMC并行计算,通过识别可重构区域近似目标后验分布,简化超参数调整。
2024-11-07 stat.CO
Reversible Genetically Modified Mode Jumping MCMC
在本文中,我们介绍了一个可逆版本的遗传修改的模式跳跃马尔可夫链蒙特卡罗算法(GMJMCMC)的后验模型概率在复杂的模型空间,其中解释变量的数量是禁止的经典马尔可夫链蒙特卡罗方法大的推断。与先前提出的GMJMCMC算法不同,所引入的算法是适当的MCMC,并且其极限分布对应于在合理的正则条件下探索的模型空间中的后验边缘模型概率。
2021-10-15 stat.CO stat.ME stat.ML
MCMC for GLMMs
广义线性混合模型(GLS-Model)常用于分析相关的非高斯数据。GLMM中的似然函数仅作为高维积分可用,因此对于GLMM不可能进行闭合形式的推断和预测。由于在封闭形式中没有可用的可能性,因此贝叶斯GLSTs中的相关后验密度也是难以处理的。一般来说,马尔可夫链蒙特卡罗(MCMC)算法用于条件模拟的GLP-C和探索这些后验密度。在这篇文章中,我们提出了不同的国家最先进的MCMC算法拟合GLCLT。这些MCMC算法包括有效的数据增强策略,以及基于扩散和基于Hamilton动力学的方法。这里提出的朗之万和哈密顿蒙特卡罗方法适用于任何GLMM,并说明使用三个最流行的GLMM,即二项数据的逻辑和概率GLMM和计数数据的泊松对数GLMM。我们还提出了有效的数据增强算法的概率单位和逻辑GLP-S。一些这些算法进行了比较,使用一个数值例子。
2022-06-24 stat.AP stat.CO stat.ME
Fast Approximate Solution of Stein Equations for Post-Processing of MCMC
针对现有Stein方程数值方法计算成本高的问题,本文提出结合迭代线性求解器与预处理策略,实现用于MCMC后处理的Stein方程快速近似求解,可利用被积函数光滑性优化后验期望计算。
2025-06-13 stat.CO
Dimension-independent likelihood-informed MCMC
Massachusetts Institute of Technology(麻省理工学院);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出了一种与维度无关的似然信息MCMC方法,通过引入操作权重提案分布和局部Hessian信息,实现对高维后验分布的有效采样,用于解决非高斯结构的逆问题。
2015-10-17 cs.NA math.NA stat.CO
label.switching: An R Package for Dealing with the Label Switching Problem in MCMC Outputs
标签转换是混合或隐马尔可夫模型贝叶斯估计中的一个众所周知的基本问题。如果模型参数的先验分布对于所有状态都是相同的,则似然和后验分布对于参数的排列都是不变的。这一性质使得从后验分布模拟的马尔可夫链蒙特卡罗(MCMC)样本不可识别。本文介绍了\pkg{label.switching}软件包。它包含一个概率和七个确定性的重新标记算法,以便后处理用户提供的给定MCMC样本。每个方法都返回一组可用于对MCMC输出进行重新排序的排列。然后,可以使用重新排序的MCMC样本来推断任何感兴趣的参数函数。一组用户定义的排列也被接受,允许研究人员对新的重新标记方法进行基准测试
2015-03-08 stat.CO
Scalable MCMC for Large Data Problems using Data Subsampling and the Difference Estimator
我们提出了一个通用的马尔可夫链蒙特卡罗(MCMC)算法,以加快计算的数据集与许多观察。我们的方法的一个关键特点是使用高效的差异估计从调查抽样文献估计的对数似然准确地使用只有一小部分的数据。我们的算法改进了常规MCMC的$O(n)$复杂性,在计算似然时,通过在局部数据簇而不是全样本上操作。在伪边缘框架中使用似然估计,从扰动后验中采样,该扰动后验在真实后验的$O(m^{-1/2})$范围内,其中$m$是子样本量。该方法被应用到一个逻辑斯谛回归模型预测公司破产的一个大的数据集。我们记录了一个显着的速度相比,标准MCMC的完整数据集。
2017-08-02 stat.CO stat.ME stat.ML
On MCMC mixing for predictive inference under unidentified transformation models
针对未识别变换模型下贝叶斯预测推断中MCMC混合不良问题,提出基于先验信息水平量化与超参数调整的自适应方案,实现有效混合并提升预测性能。
2025-08-27 math.ST stat.ME stat.TH
Firefly Monte Carlo: Exact MCMC with Subsets of Data
Harvard University(哈佛大学)
马尔可夫链蒙特卡罗(MCMC)是一种流行的、成功的贝叶斯推断通用工具。然而,MCMC不能实际应用于大数据集,因为在每次迭代中评估每个似然项的成本过高。在这里,我们提出萤火虫蒙特卡罗(FlyMC)的辅助变量MCMC算法,只查询的可能性的一个潜在的小子集的数据在每次迭代尚未模拟从确切的后验分布,在最近的建议,即使在渐近极限近似。FlyMC与各种现代MCMC算法兼容,并且仅需要每个数据似然因子的下限。在实验中,我们发现FlyMC从后验中生成样本的速度比常规MCMC快一个数量级以上,从而使MCMC方法能够应用于比以前认为可行的更大的数据集。
2014-03-22 cs.LG stat.CO stat.ML
Control Variates for Stochastic Gradient MCMC
Lancaster University(兰卡斯特大学);University of Washington(华盛顿大学)
众所周知,马尔可夫链蒙特卡罗(MCMC)方法的规模与数据集的大小不佳。解决这个问题的一类流行的方法是随机梯度MCMC。这些方法使用对数后验梯度的噪声估计,这降低了算法的每次迭代计算成本。尽管如此,有一些结果表明,随机梯度朗之万动力学(SGLD),可能是这些方法中最流行的,仍然具有与数据集大小成比例的计算成本。我们提出了一种替代的对数后验梯度估计的随机梯度MCMC,它使用控制变量,以减少方差。我们分析SGLD使用这个梯度估计,并表明,在对数-对数假设的目标分布,所需的计算成本为一个给定的精度水平是独立的数据集大小。接下来,我们展示了一种不同的控制变量技术,称为零方差控制变量,可以免费应用于SGMCMC算法。该后处理步骤通过减少MCMC输出的方差来改进算法的推理。零方差控制变量依赖于对数后验的梯度,我们探索如何通过将其替换为SGMCMC计算的噪声梯度估计来影响方差降低。
2017-12-14 cs.LG stat.CO stat.ML
Incorporating Posterior-Informed Approximation Errors into a Hierarchical Framework to Facilitate Out-of-the-Box MCMC Sampling for Geothermal Inverse Problems and Uncertainty Quantification
我们认为地热逆问题和不确定性量化从贝叶斯的角度来看。我们的主要目标是使标准的,“开箱即用”的马尔可夫链蒙特卡罗(MCMC)采样更可行的复杂的模拟模型,通过使用合适的近似。要做到这一点,我们首先展示了如何在分层贝叶斯框架中提出逆问题和预测问题。然后,我们将展示如何将所谓的后验知情模型近似误差到这个层次的框架,使用修改后的形式的贝叶斯近似误差(BAE)的方法。这使得能够使用一个“粗略”的近似模型来代替一个更精细、更昂贵的模型,同时考虑到这可能带来的额外的不确定性和潜在的偏差。我们的方法只需要简单的概率建模,一个相对较少的精细模型模拟,只修改目标后验-任何标准的MCMC采样算法可以用来采样新的后验。这些校正也可以用于不基于MCMC采样的方法中。我们表明,我们的方法可以实现显着的计算速度加快两个地热测试问题。我们还展示了天真地使用粗糙的近似模型代替精细模型的危险,而不考虑引起的近似误差。天真的方法往往会给出过于自信和有偏见的后验,而将BAE纳入我们的分层框架纠正了这一点,同时保持计算效率和易用性。
2019-12-19 cs.NA math.NA stat.CO
Measuring the reliability of MCMC inference with bidirectional Monte Carlo
University of Toronto(多伦多大学)
马尔可夫链蒙特卡罗(MCMC)是概率推理的主要工具之一,但众所周知,它很难衡量近似后验样本的质量。这一挑战在黑盒推理方法中尤为突出,黑盒推理方法可以隐藏细节并掩盖推理失败。在这项工作中,我们扩展了最近推出的双向蒙特卡罗技术来评估MCMC为基础的后验推理算法。通过在模拟数据上运行退火重要性采样(AIS)链,从前到后,反之亦然,我们在期望中上界真实后验分布和近似样本分布之间的对称化KL发散。我们提出了边界分歧与反向退火(BREAD),一个协议,用于验证模拟数据实验的真实数据集的相关性,并将其集成到两个概率程序设计语言:WebPPL和斯坦。作为如何BREAD可以用来指导推理算法的设计的一个例子,我们应用它来研究不同的模型表示在WebPPL和斯坦的有效性。
2016-06-07 cs.LG stat.CO stat.ML
Parallelizing MCMC with Random Partition Trees
现代数据规模给贝叶斯推断带来了新的挑战。特别是,传统的MCMC算法是计算上非常昂贵的大型数据集。并行MCMC(EP-MCMC)是解决这一问题的一种有效方法,它首先将数据划分为多个子集,然后在每个子集上运行独立的采样算法。然后通过一些组合规则聚合子集后验图以获得最终近似。现有的EP-MCMC算法受到逼近精度和重构困难的限制。在这篇文章中,我们提出了一个新的EP-MCMC算法部分,解决了这些问题。该算法采用随机划分树来合并各子集后验图,具有分布无关、易于重采样和适应多尺度的特点。我们提供了理论依据和大量的实验说明实证性能。
2015-10-26 stat.ML
A transport-based multifidelity preconditioner for Markov chain Monte Carlo
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种基于传输的多保真预条件器,结合高保真与低保真模型,通过构造传输映射生成非高斯提议分布,实现高效采样,保证马尔可夫链的平稳分布为高保真后验。
2018-08-28 cs.NA math.NA math.PR
Variational Inference for Neyman-Scott Processes
Tsinghua University(清华大学);University of California, Riverside(加州大学河滨分校)
Neyman-Scott过程(NSP)已经被应用于一系列领域,以利用聚类的层次结构对点或时间事件进行建模。马尔可夫链蒙特卡罗(MCMC)通常用于模型中的后验采样。然而,MCMC的混合时间可能会导致结果推理缓慢,从而减慢模型学习和预测。我们开发了第一个变分推断(VI)算法的NSP,并给出了两个例子,合适的变分后点过程分布。我们的方法最小化包含的Kullback-Leibler(KL)分歧VI获得变分参数。我们从近似后点过程生成样本的速度比MCMC快得多,因为我们可以直接估计近似后点过程,而无需任何MCMC步骤或梯度下降。我们包括合成和真实世界的数据实验,证明我们的VI算法实现了更好的预测性能比MCMC计算时间是有限的。
2023-03-07 cs.LG stat.ML
Spectral divide-and-conquer MCMC for long stationary time series
University of Technology Sydney(悉尼科技大学);Human Technology Institute, University of Technology Sydney(悉尼科技大学人类技术研究所);Guanghua School of Management, Peking University(北京大学光华管理学院);Stockholm University(斯德哥尔摩大学);University of New South Wales(新南威尔士大学)
针对长平稳时间序列,提出基于频域Whittle似然和分布式FFT的谱分治MCMC方法,实现可扩展贝叶斯推断,理论保证收敛性,实验优于时域分治方法。
2026-09-22 stat.CO stat.ME
A Split-Merge MCMC Algorithm for the Hierarchical Dirichlet Process
Princeton University(普林斯顿大学)
分层狄利克雷过程(HDP)已成为一个重要的贝叶斯非参数模型的分组数据,如文档集合。HDP用于构建灵活的混合成员模型,其中组件的数量由数据确定。对于大多数贝叶斯非参数模型,精确的后验推断是难以处理的-从业者使用马尔可夫链蒙特卡罗(MCMC)或变分推断。受Dirichlet过程(DP)混合模型的分裂-合并MCMC算法的启发,提出了一种新的HDP后验推理的分裂-合并MCMC采样算法。我们研究了它的合成数据和文本语料库的属性。我们发现,分裂合并MCMC的HDP可以提供显着的改进,传统的吉布斯抽样,我们给一些理解的数据属性,引起更大的改善。
2012-01-08 cs.AI stat.ML
Efficient and Generalizable Tuning Strategies for Stochastic Gradient MCMC
随机梯度马尔可夫链蒙特卡罗(SGMCMC)是一类流行的可扩展贝叶斯推断算法。然而,这些算法包括超参数,如步长或批量大小,影响基于所获得的后验样本的估计的准确性。因此,这些超参数必须由从业者调整,并且目前不存在调整它们的原则性和自动化方式。基于接受率的标准MCMC调优方法不能用于SGMCMC,因此需要替代工具和诊断。我们提出了一种新的基于Bandit的算法,通过最小化真实后验与其蒙特卡罗近似之间的Stein差异来调整SGMCMC超参数。我们提供了支持这种方法的理论结果,并评估各种斯坦为基础的差异。我们支持我们的结果与模拟和真实数据集上的实验,并发现这种方法是实用的广泛的应用。
2021-11-18 stat.CO stat.ME stat.ML
Nonasymptotic bounds on the estimation error for regenerative MCMC algorithms
MCMC方法用于贝叶斯统计中,不仅用于从后验分布中采样,而且用于估计期望值。底层函数通常定义在连续状态空间上,并且可以是无界的。我们考虑再生设置和蒙特卡罗估计的基础上i.i.d.马尔可夫链轨迹的块。主要结果是均方误差的不等式。我们还考虑了置信区间。我们首先得到的结果的渐近方差,然后绑定的渐近方差一致遍历和几何遍历马尔可夫链。
2009-07-28 stat.CO stat.ME
Restricted Search Space Graph MCMC via Birth-Death Processes
University of Toronto(多伦多大学);Lunenfeld-Tanenbaum Research Institute, Sinai Health System(西奈山医疗系统卢内菲尔德-塔嫩鲍姆研究所);Vector Institute(向量研究所);Ontario Institute of Cancer Research(安大略癌症研究所)
本文提出一种灵活的转维MCMC采样器,通过动态调整搜索空间减少近似误差,分析了受限搜索空间MCMC方法的总变差距离界,探讨了近似误差的可忽略性区域。
2026-04-13 stat.CO stat.ME
To MCMC or not to MCMC: Evaluating non-MCMC methods for Bayesian penalized regression
Utrecht University(乌得勒支大学)
本文比较MCMC与非MCMC方法在高维贝叶斯惩罚回归中的预测性能,发现平均场变分推断在多数情况下性能与MCMC相当,但计算速度大幅提升,且权衡效果依赖具体场景。
2025-10-23 stat.CO stat.ME
Penalised t-walk MCMC
处理通常由复杂的统计模型产生的多模态仍然是一个挑战。目前的马尔可夫链蒙特卡罗(MCMC)方法解决这个问题是基于一个合奏的链,针对产品的功率回火分布。尽管这些方法的理论有效性,但由于涉及的高计算成本,实际实现通常遭受不良混合和缓慢收敛。在这项工作中,我们研究新的扩展的t-步行算法,现有的MCMC方法,是廉价的和不变的仿射变换的状态空间,用于处理多峰分布。我们承认,新方法的有效性将取决于问题,并可能在复杂的情况下挣扎;对于这种情况下,我们提出了一种基于伪边缘理论的后处理技术,用于结合孤立的样本。
2020-12-03 stat.CO stat.ME
MCMC for doubly-intractable distributions
马尔可夫链蒙特卡罗(MCMC)算法通常用于从具有棘手的归一化常数的分布中提取样本。然而,标准MCMC算法不适用于双重棘手的分布,其中有额外的参数依赖的归一化项;例如,无向图形模型的参数后验。一个巧妙的非线性变量方案(Moeller等人,2004)提供了一个解决方案:精确抽样(Propp和Wilson,1996)用于从Metropolis-Hastings提案中抽样,其中接受概率是易处理的。不幸的是,这些昂贵的更新的接受概率可能很低。本文提供了Moeller等人(2004)的推广和一种新的MCMC算法,该算法在相同的精确采样量下获得更好的接受概率,并且无需在采样开始前估计模型参数。
2012-06-27 stat.CO stat.ME
Adaptive, delayed-acceptance MCMC for targets with expensive likelihoods
当进行贝叶斯推断时,当计算真实后验或其无偏估计在计算上昂贵,但计算上便宜的近似可用时,可以应用延迟接受(DA)Metropolis-Hastings(MH)算法和DA伪边缘MH算法。第一个接受-拒绝阶段的应用,与廉价的近似代替真正的后验的MH接受率。只有那些通过第一阶段的建议是计算昂贵的真实后验(或无偏估计)的评估,与第二个接受拒绝阶段,确保详细的平衡是满意的预期的真实后验。在某些情况下,没有明显的计算成本低廉的近似值。计算昂贵的后验的先前评估的加权平均值提供了后验的通用近似。如果只有$k$ -最近的邻居有非零的权重,那么近似后验的评估可以在计算上很便宜,只要后验被评估的点被存储在多维二叉树中,称为KD树。KD树的内容在每次计算密集的评估之后潜在地更新。由此产生的自适应,延迟接受[伪边缘]梅特罗波利斯-黑斯廷斯算法是合理的理论和经验。调整参数的指导和方法被施加到一个离散观察到的马尔可夫跳跃过程特征的捕食者-猎物的相互作用和ODE系统描述的自动调节基因网络的动态。
2016-06-01 math.ST stat.CO stat.ME
Ultra-efficient MCMC for Bayesian longitudinal functional data analysis
针对现有贝叶斯功能混合模型推断算法无法兼顾计算可扩展性与后验近似精度的问题,提出结合分块结构与正交基重参数化的高效MCMC采样策略,实现联合采样与性能提升,并应用于体力活动数据集研究。
2023-06-13 stat.CO stat.ME
Parallelizing MCMC via Weierstrass Sampler
随着统计问题规模的快速增长,基于子集的无通信并行MCMC方法是大规模贝叶斯分析的一个很有前途的未来。在这篇文章中,我们提出了一个新的Weierstrass采样器的并行MCMC的基础上独立的子集。新的采样器通过合并独立子集MCMC链的后验样本来逼近全数据后验样本,从而具有更高的计算效率。我们表明,维尔斯特拉斯采样器的近似误差是有界的一些调谐参数,并提供建议的值的选择。仿真研究表明,Weierstrass采样器是非常有竞争力的相比,其他方法结合MCMC链产生的子集,包括平均和核平滑。
2014-05-25 cs.DC stat.CO stat.ML
Pseudo-Marginal Hamiltonian Monte Carlo
贝叶斯推理在一个棘手的似然函数的存在是具有挑战性的计算。当遵循马尔可夫链蒙特卡罗(MCMC)方法来近似后验分布时,通常使用MCMC方案,其目标是参数和一些辅助潜变量的联合后验,或伪边缘Metropolis-Hastings(MH)方案。后者模仿MH算法,通过无偏地逼近棘手的可能性,以参数的边缘后验为目标。然而,在参数和辅助变量在后验下强相关和/或该后验是多模态的情况下,吉布斯采样或哈密顿蒙特卡罗(HMC)将表现不佳,并且伪边缘MH算法(如任何其他MH方案)对于高维参数将是低效的。我们在这里提出了一个原始的MCMC算法,称为伪边缘HMC,它结合了HMC和伪边缘计划的优点。具体地,伪边缘HMC方法由精度参数N控制,控制似然的近似,并且对于任何N,它对参数的边缘后验进行采样。此外,当N趋于无穷大时,其样本轨迹和接受概率收敛到理想但棘手的HMC算法的样本轨迹和接受概率,该算法将能够获得参数的边缘后验及其梯度。我们通过实验证明,伪边缘HMC可以显着优于标准HMC和伪边缘MH计划。
2019-10-02 stat.ME stat.ML
Snowballing Nested Sampling
本文提出滚雪球式嵌套采样方法,通过逐步增加活跃点数量稳定MCMC提议,无需校准参数即可随计算量增加持续改善证据与后验近似,并最终收敛于无限MCMC步骤的完美嵌套采样。
2023-08-10 stat.CO stat.ME
A practical sequential stopping rule for high-dimensional MCMC and its application to spatial-temporal Bayesian models
目前许多贝叶斯分析的挑战是确定何时终止高维马尔可夫链蒙特卡罗模拟。为此,我们建议使用一个自动顺序停止程序,终止模拟时,计算的不确定性是相对于后验不确定性小。这样的停止规则先前已被证明在中等尺寸的后验的设置中工作良好。在本文中,我们说明了它在高维模拟中的实用性,同时克服了当前的一些计算问题。进一步,我们研究了停止规则和有效样本量之间的关系。作为例子,我们考虑两个复杂的贝叶斯分析的空间和时间相关的数据集。第一个涉及气象站数据的动态时空模型,第二个涉及功能磁共振成像脑成像数据的空间变量选择模型。我们的研究结果表明,顺序停止规则很容易实现,提供了不确定性估计,并在高维设置中表现良好。
2014-03-21 stat.CO stat.ME
Quantifying Uncertainty in Transdimensional Markov Chain Monte Carlo Using Discrete Markov Models
贝叶斯分析通常涉及具有不同维度的模型的评估,这在例如模型选择或混合模型中是必要的。为了便于这种评估,transdimensional马尔可夫链蒙特卡罗(MCMC)依赖于采样离散索引变量来估计后验模型概率。然而,很少有人注意到这些估计的准确性。如果在跨维MCMC输出中模型之间仅发生很少的切换,则精度可能较低,并且基于独立样本假设的评估会产生误导。在这里,我们提出了一种新的方法来估计精度的基础上观察到的模型索引变量的转移矩阵。假设一阶马尔可夫模型,该方法从平稳分布的后验中采样。这允许评估估计的后验模型概率、模型秩和贝叶斯因子中的不确定性。此外,该方法提供了一个估计的有效样本量的MCMC输出。在两个模型选择的例子中,我们表明,所提出的方法提供了一个很好的评估与估计后验模型概率的不确定性。
2018-07-31 stat.CO stat.ME
Coreset Markov Chain Monte Carlo
针对现有核心集权重调整方法成本高、需用户输入多、模型约束强的问题,提出Coreset MCMC方法,在模拟核心集后验马尔可夫链的同时更新权重,适配任意MCMC核,兼具更高后验近似质量、更低计算成本与更优采样效率。
2024-03-09 stat.CO stat.ML
Derivative-informed neural operator acceleration of geometric MCMC for infinite-dimensional Bayesian inverse problems
California Institute of Technology(加州理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对无限维贝叶斯反问题中几何MCMC计算成本高的问题,提出融合PtO映射与雅可比样本的导数信息神经算子代理模型,结合延迟接受框架实现3-9倍加速,训练成本仅需10-25个有效样本即可回本。
2024-05-20 cs.LG cs.NA math.NA
MCMC for Variationally Sparse Gaussian Processes
高斯过程(GP)模型构成概率机器学习的核心部分。GP模型的研究主要集中在三个方面:数据量大时如何有效计算;似然函数非高斯时如何近似后验;如何估计协方差函数参数后验。本文同时解决这些问题,使用变分近似的后稀疏的功能,但其他自由形式的支持。其结果是一个混合蒙特卡洛采样方案,允许同时对函数值和协方差参数进行非高斯近似,并基于诱导点稀疏GP进行有效计算。本文中重复每个实验的代码将很快提供。
2015-06-12 stat.ML
Speeding Up MCMC by Efficient Data Subsampling
我们提出了子采样MCMC,马尔可夫链蒙特卡罗(MCMC)框架,其中$n$观测的似然函数是从$m$观测的随机子集估计的。我们引入了一个高效的基于控制变量的对数似然的无偏估计量,使得计算成本比标准MCMC中的完全对数似然小得多。的似然估计是偏置校正,并在两个依赖的伪边缘算法从扰动后,我们推导出的渐近误差相对于$n$和$m$,分别采样。我们提出了一个实用的估计误差,并表明,即使是一个非常小的$m$在我们的应用程序中的错误是可以忽略不计的。我们证明,子采样MCMC是更有效的抽样效率,对于一个给定的计算预算比标准的MCMC,它优于其他子采样方法MCMC在文献中提出的。
2018-01-01 stat.CO stat.ME stat.ML
Asymptotically Exact, Embarrassingly Parallel MCMC
Carnegie Mellon University(卡内基梅隆大学)
学习期间同步要求导致的通信成本会大大降低许多并行机器学习算法的速度。在本文中,我们提出了一个并行的马尔可夫链蒙特卡罗(MCMC)算法,其中的数据子集是独立处理的,很少的通信。首先,我们任意地将数据划分到多台机器上。然后,在每台机器上,任何经典的MCMC方法(例如,吉布斯抽样)可以用于从给定数据子集的后验分布中抽取样本。最后,将来自每个机器的样本组合以形成来自完整后验的样本。这种并行算法允许每台机器独立地处理数据的一个子集(没有通信),直到最后的组合阶段。我们证明,我们的算法产生渐近精确的样本,并经验证明其并行化的能力,在几个模型的老化和采样。
2014-03-21 cs.DC cs.LG stat.CO
Online, Informative MCMC Thinning with Kernelized Stein Discrepancy
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Supply Chain Optimization Technologies(亚马逊供应链优化技术部门)
贝叶斯推理中的一个基本挑战是目标分布的有效表示。许多非参数方法通过使用马尔可夫链蒙特卡罗(MCMC)的变体对大量点进行采样来实现。我们提出了一个MCMC变体,它只保留那些超过KSD阈值的后验样本,我们称之为KSD细化。我们建立的收敛性和复杂性权衡的几个设置KSD细化KSD阈值参数,样本大小,和其他问题的参数的函数。最后,我们提供了对其他在线非参数贝叶斯方法,生成低复杂性的后验表示,并观察优越的一致性/复杂性权衡实验比较。代码可在github.com/colehawkins/KSD-Thinning上获得。
2022-04-21 cs.LG stat.ML
Bayesian Updating and Uncertainty Quantification using Sequential Tempered MCMC with the Rank-One Modified Metropolis Algorithm
贝叶斯方法是量化系统行为的关键。它们利用概率分布来捕捉我们对系统行为的不确定性,并在新信息可用时更新这种理解。然后,可以做出包含这种不确定性的概率预测,以评估系统性能并做出决策。虽然贝叶斯方法非常有用,但它们通常是计算密集型的。这需要开发更有效的算法。在这里,我们讨论了一组人口马尔可夫链蒙特卡罗(MCMC)方法的贝叶斯更新和系统可靠性评估,我们称之为顺序回火MCMC(ST-MCMC)算法。这些算法结合了1)回火的概念,通过一系列中间分布,2)重要性重新排序,以及3)MCMC,逐渐将样本群体从之前转换到之后。它们是序贯蒙特卡罗的一种形式,包括过渡马尔可夫链蒙特卡罗和子集模拟等算法。我们还介绍了一种新的采样算法,称为秩一修改的大都市算法(ROMMA),它建立在子集模拟中使用的修改的大都市算法,以提高性能在高维。最后,我们制定了一个单一的算法来解决组合贝叶斯更新和可靠性评估问题,使系统可靠性的后验评估。然后,通过对具有未知泄漏和需求的配水系统进行先验和后验可靠性评估来说明该算法。
2018-04-23 stat.CO
Uncertainty quantification for radio interferometric imaging: I. proximal MCMC methods
不确定性量化是无线电干涉成像中一个关键的缺失部分,随着无线电干涉测量的大数据时代的到来,它只会变得越来越重要。由于无线电干涉成像需要解决一个高维的,不适定的逆问题,不确定性量化是困难的,但也是至关重要的无线电观测的准确的科学解释。执行贝叶斯推断的统计采样方法,如马尔可夫链蒙特卡罗(MCMC)采样,原则上可以恢复图像的完整后验分布,然后可以量化不确定性。然而,传统的高维采样方法通常限于平滑(例如高斯)先验,不能与稀疏促进先验一起使用。稀疏先验,压缩感知理论的动机,已被证明是非常有效的无线电干涉成像。在这篇文章中,近端MCMC方法开发的无线电干涉成像,利用近端演算支持非差分先验,如稀疏先验,在贝叶斯框架。此外,三种策略,以量化的不确定性,使用恢复后的分布开发:(i)本地(像素)可信区间,为每个单独的像素提供误差条;(ii)最高后验密度可信区域;和(iii)假设检验的图像结构。这些形式的不确定性量化提供了丰富的信息,用于以统计稳健的方式分析无线电干涉观测。
2018-09-11 astro-ph.IM cs.IT math.IT
Error-guided likelihood-free MCMC
University of Vienna(维也纳大学);CERN(欧洲核子研究中心)
本文提出了一种新的后验推理方法,适用于具有难处理证据和似然函数的模型。错误引导的似然无MCMC,或简称EG-LF-MCMC,已被开发用于科学应用,其中研究人员感兴趣的是获得模型参数的近似后验密度,同时避免需要在完整的观测数据上进行昂贵的分量估计量训练或相关方法中表达性汇总统计量的繁琐设计。我们的技术基于两个阶段。在第一阶段中,我们从先验中抽取样本,模拟相应的观测值,并记录它们相对于真实观测值的误差$ε$。我们训练分类器来区分对应和非对应的$(ε, \boldsymbolθ)$元组。在第二阶段,所述分类器以来自训练集的最小记录$ε$值为条件,并用于在马尔可夫链蒙特卡罗采样过程中计算转移概率。通过将MCMC调节到特定的$ε$值,我们的方法也可以以摊销的方式用于推断观测的后验密度,这些观测位于距观测数据给定距离处。我们评估所提出的方法在语义和结构上不同的数据的基准问题,并比较其性能对最先进的近似贝叶斯计算(ABC)。
2021-04-23 cs.LG stat.ML
Divide-and-Conquer MCMC for Multivariate Binary Data
对大规模医疗索赔数据的分析有可能通过生成可用于创建定制医疗计划的见解来提高护理质量。特别地,多变量概率单位模型可以用于研究在这样的数据中感兴趣的多个二元响应之间的相关性,例如多种慢性病症的存在。贝叶斯建模非常适合于这种分析,因为后验分布提供了自动的不确定性量化。一个复杂的因素是,大型医疗索赔数据集往往不适合在内存中,这使得使用传统的马尔可夫链蒙特卡罗(MCMC)方法的后验估计计算上是不可行的。为了解决这一挑战,我们将现有的分治MCMC算法扩展到多变量概率模型,通过模拟证明,当估计二进制响应之间的潜在相关结构时,它们应该优先于平均场变分推断。我们将该算法应用于一个大型数据库,该数据库包含来自美国一家大型医疗保险提供商的去识别医疗保险优势索赔,在那里我们发现了具有医学意义的常见慢性病分组,并通过识别农村地区未充分利用的提供者专业来评估城乡健康差距的影响。
2021-06-11 stat.AP stat.CO stat.ME