Weight-Preserving Simulated Tempering
模拟回火是允许MCMC算法在多模态目标密度π的模式之间移动的流行方法。多模态目标的模拟回火的一个问题是,各种模式的权重会因不同的逆温度值而变化,有时变化很大。在本文中,我们提供了一种解决方案来克服这个问题,通过调整要保留的模式权重(即,恒定)。然后,我们应用模拟回火算法多模态目标使用我们的模式权重校正。我们提出的模拟,我们的重量保持算法之间的混合模式比传统的回火算法更成功。我们还证明了我们算法的一个版本的扩散极限,这表明在适当的假设下,我们的算法在时间O(d [log d]^2)混合。
2019-02-11 stat.CO
Optimal Temperature Spacing for Regionally Weight-preserving Tempering
并行回火是允许MCMC算法正确探索$d$维多峰目标密度的流行方法。多模态目标的传统的基于功率的并行回火的一个问题是,与模式相关联的概率质量的比例可以针对不同的逆温度值而改变,有时是显著的。作者的补充工作提出了一种新的解决方案,涉及辅助目标,在增加密度时保留区域权重。本文试图解决的问题,如何选择的温度间距在一个最佳的方式时,使用这种类型的重量保持approach.The问题进行了分析,在一个易于处理的设置计算的预期平方跳跃距离,然后可以优化的调谐参数。结论是,对于以$d$维目标分布为目标的适当构造的区域权重保持的回火算法,连续的温度间隔应当表现为$\mathcal{O}\left(d^{-1/2}\right)$,并且这引起位于间隔$[0,0.234]$中的温度交换移动的最佳接受率。
2018-10-13 stat.CO
MCMC for multi-modal distributions
针对多峰分布尤其是高维场景下的采样难题,本文梳理了并行退火、模态跳跃、Wang-Landau等主流MCMC算法及近年前沿方法,并通过多类分布示例完成验证。
2025-01-10 stat.CO
Small World MCMC with Tempering: Ergodicity and Spectral Gap
当对多模态分布$π(x)$、$x\in \rr^d$进行采样时,具有局部建议的马尔可夫链通常是缓慢混合的;而小世界采样器\citep{guankrone} --一种使用局部和远程建议混合的马尔可夫链--是快速混合的。然而,小世界采样器遭受维数灾难,因为它的频谱间隙取决于每个模式的体积。我们提出了一个新的采样器,结合回火,小世界采样,并产生长期的建议,从同伴链中的样本(例如等能量采样器)。在最简单的形式中,采样器使用两个小世界链:探索链和采样链。探索链对$π_t(x) \propto π(x)^{1/t}$、$t\in [1,\infty)$进行采样,并建立经验分布。使用此经验分布作为其长期建议,采样链被设计为具有固定分布$π(x)$。证明了算法的遍历性,并研究了算法的收敛速度。结果表明,探测链的谱隙扩大了一个因子$t^{d}$,采样链的谱隙缩小了一个因子$t^{-d}$。重要的是,探测链的谱隙取决于$π_t(x)$的“大小”,而采样链的谱隙不取决于“大小”。总的来说,该采样器以缩小一个温和的瓶颈为代价扩大了一个严重的瓶颈,从而实现了更快的混合。当将算法扩展到温度$\{t_k\}$遵循几何级数的多个链时,可以显著减轻对采样链的谱间隙的惩罚。如果我们允许$t_k \rightarrow 0$,则采样器将成为全局优化器。
2012-11-20 math.PR stat.ME
Individual adaptation: an adaptive MCMC scheme for variable selection problems
随着数据集规模的不断扩大,回归中的变量选择变得越来越重要。贝叶斯方法是有吸引力的,因为它们允许变量选择的不确定性被正式纳入分析。将完全贝叶斯变量选择方法应用于大型数据集在计算上具有挑战性。我们描述了一个自适应的马尔可夫链蒙特卡罗方法,称为个人适应调整一般的建议的数据。我们表明,该算法是遍历的,并讨论其使用并行回火和序贯蒙特卡罗方法。我们说明了使用该方法的两个数据集,包括22577个变量的基因表达分析。
2014-12-29 stat.CO
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析,包括高维度的鲁棒性的保证,明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时,预计将优于标准计划。当应用于贝叶斯变量选择问题时,新算法比现有的替代抽样方案效率高出几个数量级,并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Accelerating MCMC Algorithms
马尔可夫链蒙特卡罗算法被用来模拟复杂的统计分布,通过这些分布的本地探索。这种局部特征避免了对理解目标的性质的繁重要求,但它也可能导致对该目标的冗长探索,对随着问题的维度和其背后的数据的复杂性而增长的模拟的数量的要求。(如在回火、哈密顿蒙特卡罗和部分确定性方法中)或在开发级别(使用Rao-Blackwellisation和可扩展方法)。
2018-04-11 stat.CO
Accelerated Parallel Tempering via Neural Transports
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Cornell University(康奈尔大学);Xaira Therapeutics;National University of Singapore(新加坡国立大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出利用神经采样器加速并行退火,通过减少相邻分布间的重叠需求,提升多模态采样效率并降低计算成本。
2026-03-25 cs.LG stat.ML
Automatic Regenerative Simulation via Non-Reversible Simulated Tempering
针对模拟退火(ST)调参困难的问题,提出不可逆ST算法(NRST),构建理论分析框架与新型性能指标轮次有效性(TE),证明NRST更优,并开发自动调参流程,实验验证其可提升NRST的性能与鲁棒性。
2024-01-25 stat.CO
Progressive Tempering Sampler with Diffusion
Department of Computer Science, Aalto University, Finland(阿姆斯特丹大学计算机科学系,芬兰);Department of Engineering, University of Cambridge, United Kingdom(剑桥大学工程系,英国);Department of Empirical Inference, Max Planck Institute for Intelligent Systems, Tübingen, Germany(智能系统研究所经验推断系,德国)
针对神经采样器目标评估效率不及 PT、而 PT 样本相关且重复计算成本高的问题,提出 PTSD,按温度顺序训练扩散模型并复用样本信息,以少量 MCMC 精化生成不相关样本,提升评估效率。
2025-10-20 cs.LG stat.ML
Accelerating Parallel Tempering: Quantile Tempering Algorithm (QuanTA)
QuanTA算法通过高斯启发的变换加速并行降温算法的混合过程,提升效率和可扩展性。
2018-08-30 stat.ME
Augmented Ensemble MCMC sampling in Factorial Hidden Markov Models
阶乘隐马尔可夫模型的贝叶斯推断是具有挑战性的,由于指数大小的潜在变量空间。标准的蒙特卡罗采样器可能难以有效地探索后验景观,并且通常限于依赖于初始化的局部区域周围的探索。我们引入了一个通用的集成马尔可夫链蒙特卡罗(MCMC)技术,以改善现有的混合采样器。这是通过结合并行回火和辅助变量方案来实现的,以有效的方式在链之间交换信息。后者利用增强吉布斯采样器内的遗传算法。我们比较我们的技术与各种现有的采样器在模拟研究以及在癌症基因组学的应用,展示了我们的增强集成方法所获得的改进。
2019-02-26 stat.CO stat.ME stat.ML
Improved Bound for Mixing Time of Parallel Tempering
Duke University(杜克大学)
本文针对目标分布多峰性导致 MCMC 混合缓慢的问题,为 parallel tempering 提出了谱隙的新下界,除 $\log L$ 外对所有参数呈多项式依赖,改进了现有指数依赖界,并证明其紧致性。
2023-04-03 cs.LG stat.ML
Model comparison with missing data using MCMC and importance sampling
在竞争统计模型之间进行选择是一个具有挑战性的问题,特别是当竞争模型是非嵌套的时。在本文中,我们提供了一个简单的解决方案,设计一个算法,结合MCMC和重要性抽样,以获得计算有效估计的边际似然,然后可以用来比较模型。该算法成功应用于纵向流行病和时间序列数据集,并显示出优于现有的计算边缘可能性的方法。
2015-12-15 stat.CO
Bayesian Updating and Uncertainty Quantification using Sequential Tempered MCMC with the Rank-One Modified Metropolis Algorithm
贝叶斯方法是量化系统行为的关键。它们利用概率分布来捕捉我们对系统行为的不确定性,并在新信息可用时更新这种理解。然后,可以做出包含这种不确定性的概率预测,以评估系统性能并做出决策。虽然贝叶斯方法非常有用,但它们通常是计算密集型的。这需要开发更有效的算法。在这里,我们讨论了一组人口马尔可夫链蒙特卡罗(MCMC)方法的贝叶斯更新和系统可靠性评估,我们称之为顺序回火MCMC(ST-MCMC)算法。这些算法结合了1)回火的概念,通过一系列中间分布,2)重要性重新排序,以及3)MCMC,逐渐将样本群体从之前转换到之后。它们是序贯蒙特卡罗的一种形式,包括过渡马尔可夫链蒙特卡罗和子集模拟等算法。我们还介绍了一种新的采样算法,称为秩一修改的大都市算法(ROMMA),它建立在子集模拟中使用的修改的大都市算法,以提高性能在高维。最后,我们制定了一个单一的算法来解决组合贝叶斯更新和可靠性评估问题,使系统可靠性的后验评估。然后,通过对具有未知泄漏和需求的配水系统进行先验和后验可靠性评估来说明该算法。
2018-04-23 stat.CO
Convergence Speed and Approximation Accuracy of Numerical MCMC
Monash University(莫纳什大学);Columbia University(哥伦比亚大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);National University of Singapore(新加坡国立大学)
本文研究了数值MCMC中扰动对收敛速度和估计精度的影响,提出在特定条件下扰动采样器可保持良好性能,并展示了其在多种采样算法中的应用。
2022-03-07 math.PR stat.CO
MCMC using Hamiltonian dynamics
哈密顿动力学可以用来产生Metropolis算法的远程建议,从而避免了简单随机行走建议的扩散行为导致的状态空间的缓慢探索。虽然起源于物理学,但哈密顿动力学可以通过简单地引入虚拟的“动量”变量来应用于大多数连续状态空间的问题。其有用性的关键在于,哈密顿动力学保持体积,因此其轨迹可以用于定义复杂的映射,而无需考虑难以计算的雅可比因子-即使通过离散时间近似动力学时,也可以精确保持这一特性。在这篇评论中,我讨论了理论和实践方面的哈密顿蒙特卡罗,并提出了一些变化,包括使用窗口的状态决定接受或拒绝,计算轨迹使用快速近似,回火过程中的轨迹处理孤立的模式,和捷径的方法,防止无用的轨迹需要太多的计算时间。
2012-06-09 physics.comp-ph stat.CO
Waste-free Sequential Monte Carlo
在SMC采样器中移动粒子的标准方式是应用MCMC(马尔可夫链蒙特卡罗)内核的几个步骤。不幸的是,目前尚不清楚需要执行多少步骤才能获得最佳性能。此外,中间步骤的输出被丢弃,从而以某种方式浪费。我们提出了一种新的,无浪费的SMC算法,它使用所有这些中间MCMC步骤的输出作为粒子。我们建立了它的输出是一致的和渐近正态的。我们使用的渐近方差的表达式,以开发各种见解如何在实践中实现该算法。我们特别开发了一种方法来估计,从一个单一的运行的算法,任何粒子估计的渐近方差。我们的经验表明,通过一系列的数值例子,无浪费的SMC往往优于标准的SMC采样器,特别是在混合的情况下,所考虑的MCMC内核减少迭代(如回火或罕见事件问题)。
2021-08-23 stat.CO
Tuning Tempered Transitions
Neal(1996)提出了回火跃迁方法,用于解决使用马尔可夫链蒙特卡罗从多峰分布中采样时出现的困难。与模拟回火和Metropolis耦合MCMC等方法一样,其关键思想是利用一系列连续更容易样本分布来改善状态空间周围的运动。回火转换通过将这些较少模态分布的移动合并到MCMC建议中来实现这一点。不幸的是,改进的模式之间的运动是在一个高的计算成本与昂贵的建议接受率低。我们考虑如何调整算法,以增加给定数量的温度的接受率。我们发现,通常假设的几何间距的温度是合理的,在许多但不是所有的应用。
2010-10-05 stat.CO
Modular Markov chain Monte Carlo with application to multimodal sampling
University of Kansas(堪萨斯大学)
本文提出模块化MCMC方法,通过并行构建约束于目标空间子集的马尔可夫链,结合加权估计以减少方差,应用于多模分布的采样,提升温控方法的效率。
2026-05-02 stat.CO stat.ME
MCMC Importance Sampling via Moreau-Yosida Envelopes
本文提出利用Moreau-Yosida包络作为重要性分布进行MCMC重要性采样,以解决不可微先验下基于梯度采样受限的问题,并证明其估计量渐近正态且数值上方差更低。
2025-07-23 stat.CO stat.ME
Importance sampling type estimators based on approximate marginal MCMC
考虑基于马尔可夫链蒙特卡罗(MCMC)的重要性抽样(IS)型加权估计,目标是目标分布的近似边缘。在贝叶斯潜变量模型的上下文中,MCMC通常对超参数进行操作,并且随后的加权可以基于IS或序贯蒙特卡罗(SMC),但也允许多级技术。IS方法提供了延迟接受(DA)伪边缘/粒子MCMC的一个自然的替代方案,并具有许多优势,DA,包括一个简单的并行化和MCMC实现的额外灵活性。我们详细的最小条件,确保强一致性的建议估计,并提供中心极限定理的渐近方差的表达式。我们演示了我们的方法可以利用SMC的状态空间模型的上下文中,使用拉普拉斯近似和时间离散扩散。我们的实验结果是有希望的,并表明,IS型的方法可以提供大量的收益相对于一个类似的DA计划,往往是有竞争力的,即使没有并行化。
2020-03-09 math.PR stat.CO
Continuously tempered Hamiltonian Monte Carlo
哈密顿蒙特卡罗(HMC)方法是一种用于连续变量复杂概率模型近似推理的马尔可夫链蒙特卡罗(MCMC)方法。然而,与许多MCMC方法一样,标准HMC方法在具有多个孤立模式的分布中表现不佳。我们提出了一种方法,用于增加一个额外的连续的温度控制变量,它允许动态之间的桥梁采样复杂的目标分布和一个简单的单峰基础分布的哈密顿系统。这种增强既有助于改善多模态目标的混合,又允许估计目标分布的归一化常数。该方法在现有的HMC代码中实现简单,只需要一个标准的蛙跳积分器。我们的实验表明,该方法是有竞争力的退火重要性抽样和模拟回火方法在采样具有挑战性的多峰分布和估计其归一化常数。
2017-04-11 stat.CO
Non-convex Learning via Replica Exchange Stochastic Gradient MCMC
Purdue University(普渡大学);University of Southern California(南加州大学)
并行回火(parallel tempering,reMC)是一种加速传统马尔可夫链蒙特卡罗(MCMC)算法收敛的重要技术。然而,这种方法需要基于完整数据集评估能量函数,并且不能扩展到大数据。reMC在小批量设置中的幼稚实现引入了很大的偏差,这不能直接扩展到随机梯度MCMC(SGMCMC),这是从深度神经网络(DNN)进行模拟的标准采样方法。在本文中,我们提出了一个自适应副本交换SGMCMC(reSGMCMC)自动纠正的偏见,并研究了相应的属性。分析意味着在一个随机环境中的马尔可夫跳跃过程的数值离散化的加速度精度权衡。从经验上讲,我们通过在各种设置上进行广泛的实验来测试该算法,并在监督学习和半监督学习任务中获得了CIFAR10,CIFAR100和SVHN的最新结果。
2021-03-22 cs.LG math.PR stat.ME
Importance sampling correction versus standard averages of reversible MCMCs in terms of the asymptotic variance
我们建立了一个排序准则的渐近方差一致的马尔可夫链蒙特卡罗(MCMC)估计:一个重要性抽样(IS)估计,基于近似可逆链和随后的IS加权,和一个标准的MCMC估计,基于一个精确的可逆链。从本质上讲,我们放宽了标准的Peskun型协方差排序考虑两个不同的不变概率,并获得,在一个严格的顺序的渐近方差,是由直接MCMC的渐近方差的界。简单的例子表明,IS可以有任意更好或更差的渐近方差比大都会黑斯廷斯和延迟接受(DA)MCMC。我们的排序意味着,IS是保证有竞争力的一个因素取决于(边际)IS权重的上确界。我们详细阐述了标准的情况下,无偏估计量作为辅助变量框架的一部分。我们展示了如何标准意味着渐近方差保证IS的伪边缘(PM)和DA校正,基本上如果精确和近似似然比是有界的。我们还表明,IS链的收敛性可以更少地受到无界高方差无偏估计量比PM和DA链。
2020-03-24 math.PR stat.CO
Adaptive Multiple Importance Sampling for Gaussian Processes
在高斯过程应用中,不确定性的量化是一个严格的要求,它是必要的,以准确地描述后验分布的高斯过程协方差参数。通常,这通过标准的马尔可夫链蒙特卡罗(MCMC)算法来完成。出于与计算边际可能性的复杂性相关的问题(可能导致MCMC算法效率低下)的动机,本文开发了一种基于自适应多个重要性抽样(AMIS)的替代推理框架。本文研究了AMIS在高斯似然情况下的应用,提出了非高斯似然情况下的伪边缘AMIS,其中边缘似然是无偏估计的。结果表明,所提出的框架优于MCMC为基础的协方差参数的推断在广泛的情况下,并保持竞争力的适度大尺寸的参数空间。
2016-03-31 stat.CO
Iterative importance sampling with Markov chain Monte Carlo sampling in robust Bayesian analysis
在一组先验下的贝叶斯推断,称为鲁棒贝叶斯分析,允许通过有界(或不精确)概率来估计模型内的参数和量化感兴趣的数量中的认识不确定性。迭代重要性抽样可用于通过优化先验集合来估计感兴趣的量的界限。针对稳健贝叶斯推断依赖于马尔可夫链蒙特卡罗(MCMC)抽样的情况,提出了一种迭代重要性抽样方法。为了适应迭代重要性抽样中的MCMC抽样,推导了一个新的表达式的有效样本量的重要性抽样,它考虑了相关性的MCMC样本。为了说明所提出的方法,稳健的贝叶斯分析,迭代重要性抽样与MCMC抽样应用于估计下限的总体效果在以前发表的荟萃分析与随机效应模型。该方法的性能相比,网格搜索方法,并根据不同程度的先验数据冲突进行了探讨。
2022-06-17 stat.CO stat.ME
How to view an MCMC simulation as a permutation, with applications to parallel simulation and improved importance sampling
考虑一个定义在有限状态空间X上的马尔可夫链,它保持X上的均匀分布不变,并且对于某个整数Q,它的转移概率是1/Q的整数倍。我展示了从x_0开始的该链的n个转换的模拟如何可以被视为在空间XxU上应用随机置换,其中U={0,1,.,Q-1},到起始态(x_0,u_0),其中u_0从U均匀地引出。对于某个整数P,该结果可以应用于概率为1/P的整数倍的非均匀分布,通过将其表示为来自XxY的适当定义的子集上的均匀分布的X的边缘分布,其中Y={0,1,.,P-1}。通过让Q、P和X的基数趋于无穷大,这个结果可以推广到非有理概率和连续状态空间,其中有限空间上的置换被从连续空间到其自身的保体积一对一映射所取代。这些结构可以有效地实现链中常用的马尔可夫链蒙特卡罗(MCMC)模拟。我提出了两个应用程序在这种情况下-模拟K个实现的链从K个初始状态,但与过渡定义的一个单一的流的随机数,可能是有效的向量处理器或多个处理器,并使用MCMC,以提高重要性抽样分布,已经有很大的重叠与分布的兴趣。我还讨论了这种“排列MCMC”方法的影响,在MCMC模拟的随机性的作用,以及潜在的使用非随机和准随机数。
2012-05-01 physics.comp-ph stat.CO
Markov Chain Monte Carlo with Diffusion Paths
Duke University(杜克大学);University of Copenhagen(哥本哈根大学)
针对多模态分布采样难题,提出沿扩散路径插值的方法,通过变分估计中间得分,引入MAD - Path采样器消除偏差,经谱隙分析明确路径特性,量化误差影响,实验表明其在全局探索和模式权重估计上优于其他方法。
2026-09-15 stat.CO stat.ML
A direct Hamiltonian MCMC approach for reliability estimation
精确和有效地估计罕见事件的概率是非常重要的,因为这些事件的发生往往具有广泛的影响。在这项工作中的重点是精确量化这些概率,经常遇到的复杂工程系统的可靠性分析,通过引入一个基于梯度的哈密顿马尔可夫链蒙特卡罗(HMCMC)框架,称为近似采样目标与后处理调整(ASTPA)。其基本思想是通过一维似然模型对高维随机变量空间进行加权,利用极限状态函数构造相关目标分布。为了从该目标分布中采样,我们利用HMCMC算法,该算法基于Hamilton动力学而不是随机游动来产生马尔可夫链样本。我们比较了典型的HMCMC方案与我们新开发的基于拟牛顿的质量预处理HMCMC算法的性能,该算法可以非常熟练地进行采样,特别是在高维和非常小的故障概率的困难情况下。为了最终计算感兴趣的概率,在该阶段设计原始的后采样步骤,使用基于样本的逆重要性抽样过程。然后讨论了ASTPA中涉及的用户自定义参数,并给出了一般的默认值。最后,所提出的方法的性能进行了详细的研究和比较子集模拟在一系列静态和动态的低维和高维的基准问题。
2019-09-10 stat.AP stat.CO
On the use of marginal posteriors in marginal likelihood estimation via importance-sampling
我们研究了边际后验分布的乘积作为重要性抽样函数的边际似然估计的有效性。该方法通常适用于多块参数向量设置,不需要额外的马尔可夫链蒙特卡罗(MCMC)采样,并且不依赖于用于从后验采样的MCMC方案的类型。所提出的方法适用于正态回归模型,有限正态混合和纵向泊松模型,并导致准确的边际似然估计。
2014-01-11 stat.CO
MCMC-driven importance samplers
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安卡洛斯国王大学);University of Edinburgh(爱丁堡大学)
蒙特卡罗抽样方法是贝叶斯推断中对多维后验分布的复杂积分进行近似的标准过程。在这项工作中,我们专注于类分层自适应重要性采样(LAIS)计划,这是一个家庭的自适应重要性采样的马尔可夫链蒙特卡罗算法被用来驱动一个潜在的多个重要性抽样计划。LAIS的模块化特性允许不同的可能实现,从而产生各种不同的性能和计算成本。在这项工作中,我们提出了不同的增强的经典LAIS设置,以提高效率,降低计算成本,上层和下层。不同的变体解决了现实世界应用中出现的计算挑战,例如高度集中的后验分布。此外,我们介绍了不同的策略来设计更便宜的方案,例如,回收在上层产生的样本,并将它们用于下层的最终估计。不同的数值实验,考虑到几个具有挑战性的情况下,所提出的计划相比,在文献中提出的基准方法的好处。
2022-04-22 cs.LG stat.CO
An adaptive approximate Bayesian computation MCMC with Global-Local proposals
Nankai University(南开大学);ShanghaiTech University(上海科技大学)
本文提出了一种结合全局和局部提议的自适应ABC-MCMC算法,通过改进的自适应方案提升采样效率和收敛可靠性。
2025-12-14 stat.CO
Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗(MCMC),随后的重要性抽样(IS)校正的马尔可夫链不精确的输出,导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下,近似马尔可夫链是伪边际,需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下,和的情况下,IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链,其中,与一个合适的重新加权,允许提高效率。由于IS类型权重可以假定为负值,因此可以将扩展类的无偏估计量用于IS类型校正,例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器,我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设,不需要扩散可以被精确地模拟。在近似贝叶斯计算(ABC)的背景下,我们建议一个自适应MCMC方法来处理一个适当的大公差的选择,与IS校正可能更精细的公差,并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比,标准的直接MCMC,如伪边际,延迟接受,和ABC-MCMC。我们提供了一个比较标准,概括的协方差排序的IS设置。
2019-04-11 stat.CO
Markov Interacting Importance Samplers
我们介绍了一种新的马尔可夫链蒙特卡罗(MCMC)采样器称为马尔可夫交互重要性采样器(MIIS)。MIIS采样器使用条件重要性抽样(IS)近似来联合采样马尔可夫链的当前状态并估计条件期望,可能通过结合全范围的方差减少技术。我们计算Rao-Blackwellized估计的基础上的条件期望构造控制变量估计的期望下的目标分布。当目标分布中的变量之间存在实质性相关性时,控制变量特别有效,这对MCMC来说是一个挑战性的设置。MIIS的一个重要的激励应用发生在精确的吉布斯采样器不可用时,因为直接从条件分布进行模拟是不可行的。在这种情况下,MIIS方法可能比Metropolis-within-Gibbs方法更有效。我们还介绍了MIIS随机游动算法,旨在加快收敛速度,提高标准随机游动采样器的计算效率。贝叶斯分析的模拟和实证说明表明,该方法显着降低了方差的蒙特卡罗估计相比,标准MCMC方法,在同等的实施和计算工作量。
2015-06-25 stat.CO
Tempered, Anti-trunctated, Multiple Importance Sampling
重要性抽样是一种蒙特卡罗方法,它引入一个建议分布,根据目标分布对空间进行抽样。然而,校准的建议分布是必不可少的,以实现效率,因此诉诸自适应算法来调整这个分布。本文提出了一种新的自适应重要性抽样方案--回火抗截断自适应多重重要性抽样(TAMIS)算法。我们结合了回火计划和一个新的非线性变换的权重,我们命名为反截断。为了提高效率,我们还考虑不增加目标密度的评估次数。因此,我们的建议是一个自动调整的顺序算法,是强大的穷人的初始提案,不需要梯度计算和规模以及与尺寸。
2022-06-16 stat.CO
Rapid Convergence of Informed Importance Tempering
信息马尔可夫链蒙特卡罗(MCMC)方法被提出作为高维离散状态空间上贝叶斯后验计算的可扩展解决方案,但缺乏关于其在一般情况下收敛行为的理论结果。在这篇文章中,我们提出了一类MCMC计划称为知情的重要性回火(IIT),它结合了重要性抽样和知情的本地建议,并获得普遍适用的频谱间隙界限IIT估计。我们的理论表明,当目标后验分布集中在一个小的集合时,IIT采样器具有显着的可扩展性。此外,我们的理论和数值实验表明,明智的建议应谨慎选择:一些建议的性能可能是非常敏感的目标分布的形状。我们发现,“平方根建议加权”计划往往在大多数情况下表现良好。
2022-01-30 stat.CO
Uniform ergodicity and spectral gap of importance-tempered MCMC with heavy-tailed targets
Texas A&M University(德克萨斯农工大学)
本文提出重要性温度化MCMC方法,证明其一致遍历条件,可提高估计精度并消除预热期。
2026-10-26 math.PR stat.CO stat.ML
Markov Chain Importance Sampling -- a highly efficient estimator for MCMC
Zalando Research, Zalando SE(Zalando研究部,Zalando公司);Zuse Institute Berlin(柏林Zuse研究所)
马尔可夫链(Markov chain,MC)算法在机器学习和统计学等许多学科中普遍存在。通常,这些算法可以被公式化为接受拒绝方法。在这项工作中,我们提出了一种新的估计适用于这些方法,称为马尔可夫链重要性抽样(MCIS),有效地利用被拒绝的建议。对于未调整的Langevin算法,它提供了一种新的方法来校正离散误差。我们的估计满足一个中心极限定理,并提高了每个CPU周期的错误,往往在很大程度上。作为一个副产品,它可以估计归一化常数,这是贝叶斯机器学习和统计学中的一个重要量。
2020-08-06 cs.LG stat.ML
Error Bounds for Sequential Monte Carlo Samplers for Multimodal Distributions
本文给出了一类用于逼近多峰分布的序贯蒙特卡罗(SMC)采样器的渐近方差的界。这种方法结合了标准SMC方法和马尔可夫链蒙特卡罗(MCMC)核。我们的边界改进了以前的结果,与一些早期的工作不同,它们也适用于MCMC内核可以在模式之间移动的情况。我们将我们的结果应用到统计物理的Potts模型。在这种情况下,会遇到尖峰的问题。早期的方法,如平行回火,只能以指数(模型的一个重要参数)成本从中采样。我们提出了一个序列的插值分布称为插值独立,并表明,SMC采样器基于它是能够从这个目标分布在一个多项式的成本进行采样。我们相信我们的方法也适用于许多其他分布。
2018-01-24 math.PR stat.CO stat.ME
Learning Deep Generative Models with Annealed Importance Sampling
The University of Chicago(芝加哥大学);The Grossman Institute for Neuroscience, Quantitative Biology and Human Behavior(格罗斯曼神经科学、定量生物学与人类行为研究所)
变分推断(VI)和马尔可夫链蒙特卡罗(MCMC)是通过最大化边际似然来学习深度生成模型的两种主要近似方法。在本文中,我们提出使用退火重要性抽样来学习深度生成模型。我们提出的方法桥VI与MCMC。它概括了VI方法,如变分自动编码器和重要性加权自动编码器(IWAE)以及(Hoffman,2017)中提出的MCMC方法。它还提供了为什么运行多个短MCMC链可以帮助学习深度生成模型的见解。通过实验,我们表明,我们的方法产生更好的密度模型比IWAE,可以有效地贸易模型精度的计算,而不增加内存成本。
2020-11-30 cs.LG stat.ML
Jeffreys Flow: Robust Boltzmann Generators for Rare Event Sampling via Parallel Tempering Distillation
Department of Mathematics, Purdue University(普渡大学数学系)
本文提出Jeffreys流,通过并行退火轨迹蒸馏数据,利用对称Jeffreys散度缓解玻尔兹曼生成器的模式崩溃问题,提升多模分布的采样精度与全局模式覆盖。
2026-04-07 cs.LG cs.NA math.NA
Comment on "Solving Statistical Mechanics Using VANs": Introducing saVANt - VANs Enhanced by Importance and MCMC Sampling
Technische Universität Berlin(柏林工业大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫研究所海因里希赫兹研究所);Berlin Big Data Center(柏林大数据中心);Berliner Zentrum für Maschinelles Lernen(柏林机器学习中心);Department of Brain and Cognitive Engineering, Korea University(韩国大学脑与认知工程系);Max-Planck-Institut für Informatik(马克斯-普朗克计算机科学研究所);RIKEN Center for AIP(理化学研究所先进物理与智能中心)
在对Wu等人的“使用变分自回归网络解决统计力学”的评论中,我们对他们的方法提出了一个微妙而有力的修改。我们发现,他们的方法的固有的抽样误差可以通过使用基于神经网络的MCMC或重要性抽样,从而导致物理量的渐近无偏估计进行校正。这种修改是可能的,因为VAN的奇异属性,即它们提供精确的样本概率。通过这些修改,我们相信他们的方法可以对物理学的各个重要领域产生更大的影响,包括强相互作用场论和统计物理。
2019-03-26 cond-mat.stat-mech cs.LG stat.ML
Importance is Important: Generalized Markov Chain Importance Sampling Methods
本文提出基于重要性权重的无拒绝MCMC抽样方案,将多重尝试Metropolis算法推广为无需拒绝的通用框架,并拓展至离散空间,证明其比原始Metropolis--Hastings算法更高效。
2024-10-02 stat.CO stat.ME stat.ML
Estimation of cosmological parameters using adaptive importance sampling
我们提出了一种贝叶斯抽样算法,称为自适应重要性抽样或人口蒙特卡罗(PMC),其计算工作量很容易并行化,因此有可能大大减少采样所需的挂钟时间,以及提供其他好处。为了评估宇宙学问题的方法的性能,我们使用模拟和实际数据组成的CMB各向异性,Ia型超新星,和弱宇宙透镜,并提供了一个比较的结果,使用国家的最先进的马尔可夫链蒙特卡罗(MCMC)。对于这两种类型的数据集,我们发现可比的参数估计PMC和MCMC,与PMC的计算时间显着降低的优势。例如,在WMAP 5数据的情况下,挂钟时间从MCMC的几天减少到处理器集群上使用PMC的几个小时。PMC方法的其他好处,以及使用该方法的潜在困难,进行了分析和讨论。
2009-03-04 astro-ph.CO stat.CO
Group Importance Sampling for Particle Filtering and MCMC
IMT Lille Douai(IMT里尔-杜埃大学);CRISTAL (UMR 9189)(CRISTAL实验室(UMR 9189));Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Image Processing Laboratory, Universitat de València(瓦伦西亚大学图像处理实验室)
贝叶斯方法及其通过复杂的蒙特卡罗技术的实现在过去几年中已经在信号处理中变得非常流行。重要性抽样(IS)是一种众所周知的蒙特卡罗技术,其通过加权样本来近似涉及后验分布的积分。在这项工作中,我们研究了分配一个单一的加权样本,压缩人口的加权样本中包含的信息。部分理论,我们目前作为组重要性抽样(GIS)已被隐含在不同的作品在文献中。所提供的分析产生了几个理论和实践的后果。例如,我们讨论了应用GIS的顺序重要性恢复框架,并显示独立的多尝试大都会计划可以被解释为一个标准的梅特罗波利斯-黑斯廷斯算法,以下的GIS方法。介绍了两种基于GIS的马尔可夫链蒙特卡罗(MCMC)方法。第一种方法是分组抽样法,它产生一组加权样本的马尔可夫链。所有这些集,然后获得一个独特的全球估计。第二种是分布式粒子Metropolis-Hastings技术,其中不同的并行粒子滤波器联合使用来驱动MCMC算法。不同的重采样轨迹进行比较,然后用适当的接受概率进行测试。新的计划进行了测试,在不同的数值实验,如学习高斯过程的超参数,在无线传感器网络的两个本地化问题(合成和真实数据)和跟踪植被参数的卫星观测,在那里他们与几个基准蒙特卡罗技术进行比较。还提供了三个说明性的Matlab演示。
2018-08-04 cs.CE cs.LG stat.CO
Robustly estimating the marginal likelihood for cognitive models via importance sampling
马尔可夫链蒙特卡罗(MCMC)的最新进展将贝叶斯推断的范围扩展到似然函数难以处理的模型。虽然这些发展使我们能够估计模型参数,其他基本问题,如估计的边际似然,贝叶斯模型选择的基本工具,仍然具有挑战性。这是一个重要的科学限制,因为用分层模型测试心理学假设已经证明用当前的模型选择方法是困难的。我们提出了一个有效的方法来估计的边缘似然模型的可能性是棘手的,但可以无偏估计。它基于首先运行诸如MCMC的采样方法来获得模型参数的样本,然后使用这些样本来构建具有似然性的无偏估计的重要性抽样(IS)框架中的建议密度。我们的方法有几个有吸引力的属性:它产生一个无偏估计的边际似然,它是强大的质量和目标的抽样方法,用于形成的IS建议,它是计算便宜的估计方差的边际似然估计。我们还得到了该方法的收敛性,并提供了最大限度地提高计算效率的指导方针。该方法说明了两个具有挑战性的情况下,涉及层次模型:识别形式的个人差异,在应用选择方案,并评估最佳的参数化的认知模型在一个快速的决策背景。提供了实现这些方法的免费可用代码。扩展后验矩估计和并行化也进行了讨论。
2019-12-11 stat.AP stat.CO
Parallelising MCMC via Random Forests
对于大数据环境中的贝叶斯计算,分治MCMC概念将整个数据集分成批次,在每个批次上分别运行MCMC算法以产生参数样本,并将它们组合以产生目标分布的近似值。在本文中,我们将随机森林嵌入到这个框架中,并使用每个次后验/部分后验作为建议分布来实现重要性抽样。与现有的分治MCMC,我们的方法是基于缩放的子后验,其比例因子不一定限于等于一个或子集的数量。通过几个实验,我们表明我们的方法适用于从高斯情况到强非高斯情况的模型,并且包括模型误指定。
2019-11-21 stat.CO stat.ML
Markovian Flow Matching: Accelerating MCMC with Continuous Normalizing Flows
Lancaster University(兰卡斯特大学)
本文提出马尔可夫流匹配方法,将 FM 训练的 CNF 作为非局部转移核嵌入自适应 MCMC,并结合回火机制,以更低计算成本实现多模态推断。
2024-10-28 cs.LG stat.ME stat.ML
Adaptive sequential Monte Carlo for structured cross validation in Bayesian hierarchical models
针对贝叶斯分层模型中标准重要性采样在结构化交叉验证时不可靠的问题,提出自适应序贯蒙特卡洛方法,沿后验路径采样以支持多种验证设计并最小化MCMC重运行。
2025-08-11 stat.AP stat.CO
A large deviation principle for the empirical measures of Metropolis-Hastings chains
本文针对一般状态空间上的 Metropolis-Hastings 链,首次证明其经验测度满足大偏差原理,并依据接受与拒绝动力学刻画速率函数,为分析该类 MCMC 方法的效率提供了新的理论基础。
2023-08-14 math.PR stat.CO
Posterior sampling by source-space MCMC via prior-based few-step transport maps
Nanyang Technological University(南洋理工大学);University of Helsinki(赫尔辛基大学)
提出源空间广义贝叶斯推断框架,利用少步iMF传输映射表示隐式先验,在高斯源空间采样,并给出误差界,实验验证其准确高效及文本引导能力。
2026-10-02 cs.AI cs.LG stat.ML
Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods
Stanford University(斯坦福大学);Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学)
考虑了超立方体上具有一般交互矩阵$J$的Ising模型,当$J$的特征值除$O(1)$外都在长度为1的区间内时,给出了多项式时间采样算法,这种情况在许多模型中都有发生.这是以前已知的格劳伯动力学时,* 所有 * 特征值适合在一个区间的长度为1;然而,一个单一的离群值可以迫使格劳伯动力学混合迟钝。我们的一般结果包含了第一个多项式时间采样算法的低秩Ising模型,如Hopfield网络与固定数量的模式和贝叶斯聚类模型与低维上下文,并大大提高了多项式时间采样制度的反铁磁/铁磁Ising模型与不一致的字段上的扩展图。改进了变分方法和统计物理中基于朴素平均场近似的近似算法的结果。我们的方法是基于MCMC和变分推理世界的思想的新融合。作为我们的算法的一部分,我们定义了一个新的非凸变分问题,它允许我们从一个负定二次型分布的指数加权采样,并展示了如何使用随机梯度下降证明这个过程是有效的。在此基础上,我们构建了一个新的模拟回火链(在扩展的状态空间所产生的Hubbard-Stratonovich变换),克服了大的正特征值所造成的障碍,并将其与基于SGD的采样器相结合,以解决整个问题。
2022-02-17 cs.DS cs.LG math.PR
Towards Adaptive Self-Normalized Importance Samplers
本文提出首个专门针对SNIS最优提议分布的AIS框架,利用MCMC在迭代中近似该分布,揭示了与自适应RIS的联系,并在数值实验中验证了性能。
2025-05-04 stat.CO