Improved Adaptive Rejection Metropolis Sampling Algorithms
马尔可夫链蒙特卡罗(MCMC)方法,例如Metropolis-Hastings(MH)算法,被广泛用于贝叶斯推断。对于任何MCMC方法来说,最重要的问题之一是马尔可夫链的收敛性,这在很大程度上取决于建议密度的适当选择。自适应拒绝Metropolis采样(ARMS)是一种众所周知的MH方案,其利用使用从拒绝的样本中获取的支持点构造的自适应分段建议从一维目标密度生成样本。在这项工作中,我们指出了一个关键的缺点,在自适应过程中的ARMS:支持点可能永远不会被添加到区域内的建议是低于目标。当这种情况在许多区域发生时,它会导致ARMS的表现不佳,提案永远不会收敛到目标。为了克服这一限制,我们提出了两个改进的自适应方案,用于构建的建议。第一个是一个直接修改的ARMS程序,将支持点的区域内的建议是低于目标,同时满足递减适应性,所需的条件之一,以确保收敛的马尔可夫链。第二种是自适应独立MH算法,能够从所有先前的样本中学习,除了链的当前状态,从而也保证收敛到不变密度。这两个新方案改进了ARMS的自适应策略,从而简化了构造方案的复杂性。数值结果表明,新技术提供了更好的性能w.r.t.标准的武器。
2012-10-08 stat.CO stat.ME
The Short-Cut Metropolis Method
我展示了如何修改随机行走大都会MCMC方法,以这样一种方式,修改后的大都会更新的序列需要很少的计算时间时,拒绝率是一个所需的间隔之外。这允许一个有效地适应大都会建议分布的规模,通过执行几个这样的“捷径”大都会序列与不同的建议步长。与其他自适应Metropolis方案不同,该方法以与标准Metropolis方法相同的方式收敛到正确的分布。
2005-08-02 math.ST stat.TH
Issues in the Multiple Try Metropolis mixing
Multiple Try Metropolis(MTM)算法是一种先进的MCMC技术,基于在算法的每次迭代中绘制和测试多个候选项。根据一定的权重选择其中一个,然后根据合适的接受概率对其进行测试。显然,由于计算成本随着所采用的尝试次数的增加而增加,因此人们期望MTM方案的性能也随着尝试次数的增加而改善。然而,存在尝试次数的增加不会产生性能的相应增强的情况。在这项工作中,我们描述了这些情况下,然后我们介绍了解决这些问题的可能的解决方案。
2016-02-19 stat.CO
Large deviation-based tuning schemes for Metropolis-Hastings algorithms
本文利用大偏差理论中的速率函数量化 Metropolis-Hastings 算法的收敛速度,推导其替代表示并建立显式上下界,进而设计了提升算法效率的调优方案。
2025-04-29 math.PR math.ST stat.TH
Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题,通常使用粒子和马尔可夫链蒙特卡罗(MCMC)方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings(PIMH)生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的,并且便于构造置信区间。该方案只需要访问现成的粒子滤波器(PF),因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
Locally weighted Markov chain Monte Carlo
我们提出了一个加权方案的建议内马尔可夫链蒙特卡罗算法,并显示如何这可以提高统计效率,没有额外的计算成本。这些方法在与多提议MCMC算法(如多尝试Metropolis)结合时是最强大的,它可以有效地利用具有大量核心的现代计算机架构。局部加权的马尔可夫链蒙特卡罗方法还通过Rao-Blackwellization改进了梅特罗波利斯-黑斯廷斯算法的部分并行化。我们推导出我们的算法的输出的有效样本量,并显示如何在实践中估计这一点。文中给出了该方法的说明和实例,并与现有方法在理论和应用上进行了比较。
2015-06-29 stat.CO
Importance is Important: Generalized Markov Chain Importance Sampling Methods
本文提出基于重要性权重的无拒绝MCMC抽样方案,将多重尝试Metropolis算法推广为无需拒绝的通用框架,并拓展至离散空间,证明其比原始Metropolis--Hastings算法更高效。
2024-10-02 stat.CO stat.ME stat.ML
Improving multiple-try Metropolis with local balancing
针对高维多尝试 Metropolis 在收敛阶段因标准目标密度权重导致的病态行为,提出局部平衡权重函数,并通过无限候选理想方案与有限候选算法分析及实验证明其可显著加速收敛。
2023-08-24 stat.CO stat.ML
gemlib.mcmc: composable kernels for Metropolis-within-Gibbs sampling schemes
本文提出gemlib.mcmc框架,通过可组合内核抽象简化MCMC实现,利用范畴论中的writer monads实现内核组合,降低开发难度,使研究人员能高效应用先进算法。
2026-05-11 stat.CO
On Disturbance State-Space Models and the Particle Marginal Metropolis-Hastings Sampler
我们调查非线性状态空间模型没有一个封闭形式的过渡密度,并建议重新制定这样的模型,其潜在的噪声变量,而不是其潜在的状态变量。这样一来,易处理的噪声密度就取代了难处理的跃迁密度。对于诸如辅助粒子滤波器之类的重要性抽样方法,这使得能够计算重要性权重,否则它们不能计算。作为案例研究,我们采取了两个多元海洋生物地球化学模型,并进行状态和参数估计使用粒子边际Metropolis-Hastings采样。对于这个采样器内的粒子滤波器,我们比较了几个建议的策略,噪声变量,所有的基础上lookaheads与无味卡尔曼滤波器。这些策略进行了比较,使用传统的手段来评估大都会黑斯廷斯效率,以及与一种新的度量称为条件接受率评估使用估计的后果,而不是确切的,可能性。结果表明,该模型的实用性重新制定的噪声变量,特别是快速混合过程模型。
2013-12-10 stat.CO
On Irreversible Metropolis Sampling Related to Langevin Dynamics
利用朗之万动力学的数值方法设计马尔可夫链蒙特卡罗算法已经引起了相当大的兴趣,朗之万动力学包括作为确定性情况的哈密顿动力学。一个突出的方法是哈密顿蒙特卡罗(HMC),其中采用了跳跃离散化的哈密尔顿动力学。我们研究了最近提出的一类不可逆采样算法,称为汉密尔顿辅助大都会采样(HAMS),它使用了增强的目标密度类似于在HMC,但涉及到一个灵活的建议方案和精心制定的接受拒绝计划,以实现广义可逆性。我们表明,作为步长趋于0,HAMS建议满足一类随机微分方程,包括朗之万动力学作为特殊情况。我们提供的理论结果HAMS下的单变量高斯设置,包括平稳方差,预期的接受率,和光谱半径。从这些结果中,我们得到默认的选择调谐参数的HAMS,这样,只有步长需要在应用程序中进行调整。各种相对较新的算法朗之万动力学也被证明属于类的HAMS建议可忽略不计的差异。我们对高维潜变量采样的数值实验证实,HAMS算法始终实现优越的性能,与几个大都市调整算法的基础上流行的积分朗之万动力学。
2021-06-06 cs.NA math.NA physics.comp-ph
Discrete Hamiltonian-Assisted Metropolis Sampling
针对离散分布采样,提出结合梯度信息与高斯动量的离散采样器DHAMS,通过辅助变量提议等步骤实现广义细致平衡与无拒绝特性,在序数和二元分布实验中性能优于现有算法。
2025-07-13 stat.ME
Metropolis Adjusted Microcanonical Hamiltonian Monte Carlo
针对高维分布采样难题,提出结合MCLMC动力学与Metropolis-Hastings步骤的MAMS采样器,搭配自动调优方案,实现渐近无偏采样,在多类基准问题上效率全面优于NUTS,最高提速7倍。
2025-05-17 stat.CO
Particle Metropolis-adjusted Langevin algorithms
本文提出了一种新的采样方案的基础上朗之万动力学,适用于伪边缘和粒子马尔可夫链蒙特卡罗算法。我们调查该算法的理论性质下的标准渐近,这对应于一个增加的维度的参数,$n$。我们的结果表明,该算法的行为在很大程度上取决于人们估计log目标密度梯度的准确程度。如果随着维数的增加,梯度估计的误差没有得到充分的控制,那么渐近地,与更简单的随机游走算法相比,将没有优势。然而,如果误差表现得足够好,则与随机游动的$O(n^{-1/2})$相比,该算法的最佳缩放将是$O(n^{-1/6})$。我们的理论还提供了如何调整蒙特卡罗样本的数量在似然估计和建议的步长的指导方针。
2016-05-27 stat.CO stat.ME stat.ML
Practical and Scalable Hamiltonian Monte Carlo Without the Metropolis Test
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
提出自动调整步长方案,在无Metropolis调整的HMC和欠阻尼Langevin蒙特卡洛中控制渐近偏差,实验表明该方法在贝叶斯推断和百万参数物理模型中显著优于调整后的方法。
2026-06-18 astro-ph.CO stat.CO
Faster parallel MCMC: Metropolis adjustment is best served warm
University of California at Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
LAPS是一种并行MCMC方法,通过自动调整超参数提升收敛速度,显著优于现有方法。
2026-01-23 stat.CO
Towards practical PDMP sampling: Metropolis adjustments, locally adaptive step-sizes, and NUTS-based time lengths
Université de Strasbourg(斯特拉斯堡大学);University of Bristol(布里斯托大学);Queensland University of Technology(昆士兰科技大学)
针对PDMP采样需要计算模型特定界限的难题,提出Metropolis调整近似、自适应步长机制和NUTS启发的路径长度选择,集成得到双重自适应PDMP采样器,提升鲁棒性和效率。
2026-06-19 math.PR math.ST stat.CO
A Unified Framework for Multiple-Try Metropolis: Construction and Empirical Benchmarks
Simon Fraser University(西蒙菲莎大学)
本文在involutive MCMC框架下统一了多重尝试Metropolis算法,通过模拟实验评估了提议分布配置和候选数对非高斯多峰目标分布采样效率的影响。
2026-05-30 stat.CO
Group Importance Sampling for Particle Filtering and MCMC
IMT Lille Douai(IMT里尔-杜埃大学);CRISTAL (UMR 9189)(CRISTAL实验室(UMR 9189));Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Image Processing Laboratory, Universitat de València(瓦伦西亚大学图像处理实验室)
贝叶斯方法及其通过复杂的蒙特卡罗技术的实现在过去几年中已经在信号处理中变得非常流行。重要性抽样(IS)是一种众所周知的蒙特卡罗技术,其通过加权样本来近似涉及后验分布的积分。在这项工作中,我们研究了分配一个单一的加权样本,压缩人口的加权样本中包含的信息。部分理论,我们目前作为组重要性抽样(GIS)已被隐含在不同的作品在文献中。所提供的分析产生了几个理论和实践的后果。例如,我们讨论了应用GIS的顺序重要性恢复框架,并显示独立的多尝试大都会计划可以被解释为一个标准的梅特罗波利斯-黑斯廷斯算法,以下的GIS方法。介绍了两种基于GIS的马尔可夫链蒙特卡罗(MCMC)方法。第一种方法是分组抽样法,它产生一组加权样本的马尔可夫链。所有这些集,然后获得一个独特的全球估计。第二种是分布式粒子Metropolis-Hastings技术,其中不同的并行粒子滤波器联合使用来驱动MCMC算法。不同的重采样轨迹进行比较,然后用适当的接受概率进行测试。新的计划进行了测试,在不同的数值实验,如学习高斯过程的超参数,在无线传感器网络的两个本地化问题(合成和真实数据)和跟踪植被参数的卫星观测,在那里他们与几个基准蒙特卡罗技术进行比较。还提供了三个说明性的Matlab演示。
2018-08-04 cs.CE cs.LG stat.CO
Modified Hamiltonian Monte Carlo for Bayesian inference
哈密顿蒙特卡罗(HMC)方法是计算统计学中一种有效的抽样工具。我们表明,HMC的性能可以显着提高,通过将重要性抽样和不可逆的一部分的动态链。这是通过用修改后的哈密顿算子替换Metropolis检验中的哈密顿算子,以及用部分动量更新来实现的。我们称之为广义HMC重要性采样器-混合匹配哈密顿蒙特卡罗(MMHMC)。该方法通过构造是不可逆的,并且进一步受益于(i)用于计算修改的哈密顿量的有效算法;(ii)隐式动量更新过程和(iii)专门为使用修改的哈密顿量采样的方法导出的多级分裂积分器。MMHMC已被实现,在流行的统计模型上进行测试,并在抽样效率上与HMC,Riemann流形哈密顿蒙特卡罗,广义混合蒙特卡罗,广义阴影混合蒙特卡罗,Metropolis调整Langevin算法和随机游动Metropolis-Hastings进行比较。为了进行公平的比较,我们提出了一个度量,该度量考虑了样本和权重之间的相关性,并且可以很容易地用于生成此类样本的所有方法。实验结果表明,MMHMC优于流行的采样技术,特别是在解决高维问题。
2019-07-25 stat.CO stat.ME
Accelerating Metropolis-within-Gibbs sampler with localized computations of differential equations
反问题在科学和工程中普遍存在,贝叶斯方法常被用来推断其底层参数。对于高维时空模型,经典的马尔可夫链蒙特卡罗(MCMC)方法往往收敛速度慢,需要在参数块上应用吉布斯内都市(MwG)采样。然而,每个MwG迭代的计算成本通常是$O(n^2)$,其中$n$是模型维度。这在实践中可能过于昂贵。针对一类具有局部相互作用的随机微分方程初值反问题,提出了一种新的缩减计算量的方法,使计算量降低到$O(n)$.关键的观察结果是,每个MwG建议仅在一个参数块处与原始MwG不同,并且这种差异将仅在MwG计算中的局部域内传播。因此,我们可以近似的全球替代计算更新仅在本地域中,以减少计算成本。理论和数值计算表明,近似误差可以由局域尺寸控制。我们讨论了如何使用Euler-Maruyama和四阶Runge-Kutta方法实现局部计算方案。我们数值证明了所提出的方法与Lorenz 96模型和线性随机流模型的性能。
2020-02-18 stat.CO
Intrepid MCMC: Metropolis-Hastings with Exploration
针对工程中复杂非标准化分布采样时普通MH算法多模态(尤其是不连通模态)采样能力不足的问题,提出Intrepid MCMC,通过简单坐标变换提升寻模能力与收敛速率,经实例验证性能更优,还分析了混合行为、维度效率并讨论实现,在两自由度振荡器贝叶斯参数推断中体现效用。
2024-11-26 stat.ME
Metropolis Monte Carlo sampling: convergence, localization transition and optimality
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);Laboratoire de Physique des Solides(固体物理实验室);LPTMS(理论物理与统计模型实验室);LPTM(理论物理与建模实验室);CY Cergy Paris Université(CY塞尔吉巴黎大学)
结合解析与数值方法研究 random walk Metropolis 算法向稳态的收敛性质,发现偏离目标分布的程度存在随跳跃特征长度变化的局域化转变,转变前后的弛豫分别受限于扩散率和拒绝率。
2023-04-15 cond-mat.stat-mech cs.LG stat.CO
A Review of Multiple Try MCMC algorithms for Signal Processing
信号处理中的许多应用需要在给定一组观测数据的情况下估计一些感兴趣的参数。更具体地说,贝叶斯推断需要计算{ \it a-posteriori}估计,这往往是复杂的多维积分表示。不幸的是,这些估计的解析表达式不能在大多数现实世界的应用中找到,和蒙特卡罗方法是唯一可行的方法。马尔可夫链蒙特卡罗(MCMC)算法形成了一类非常强大的蒙特卡罗技术。它们生成一个马尔可夫链,使得其平稳分布与目标后验密度一致。在这项工作中,我们使用多个候选人对MCMC方法进行了彻底的审查,以便在每次迭代中选择链的下一个状态。相对于经典的Metropolis-Hastings方法,多尝试技术的使用促进了对样本空间的探索。我们提出了不同的多尝试Metropolis方案,Ensemble MCMC方法,粒子梅特罗波利斯-黑斯廷斯算法和延迟拒绝Metropolis技术。我们强调的局限性,好处,连接和不同的方法之间的差异,并比较它们的数值模拟。
2018-01-27 stat.CO stat.ML
On Bayesian inference for the M/G/1 queue with efficient MCMC sampling
我们引入了一个有效的MCMC抽样方案来执行贝叶斯推断的M/G/1模型中只给观测值的出发间隔时间。我们的MCMC方案使用了吉布斯抽样和简单的大都会更新的组合,以及三个新的“移位”和“规模”更新。我们表明,我们的新的更新大大提高了采样速度,通过各种模拟数据集的约60至约180倍。
2014-01-22 stat.CO
Rapidly Mixing Multiple-try Metropolis Algorithms for Model Selection Problems
多尝试Metropolis(MTM)算法是Metropolis-Hastings(MH)算法的扩展,根据一定的权重函数在多个试验中选择建议的状态。虽然MTM由于其比标准MH算法更快的经验收敛和混合而受到广泛欢迎,但由于其复杂的建议方案,其理论混合性质在文献中很少研究。我们证明了MTM可以实现一个混合时间界小于MH的试验次数的一个因素下,适用于高维模型选择问题的离散状态空间的一般设置。我们的理论结果激发了一类新的权重函数,称为局部平衡权重函数,并指导试验次数的选择,从而提高了标准MTM算法的性能。我们支持我们的理论结果,通过广泛的模拟研究和实际数据的应用与几个贝叶斯模型选择问题。
2022-10-14 stat.CO stat.ME
On the flexibility of the design of Multiple Try Metropolis schemes
多尝试Metropolis(MTM)方法是经典的梅特罗波利斯-黑斯廷斯算法的推广,其中根据归一化权重在一组样本中选择链的下一个状态。在文献中,已经提出了几个扩展。在这项工作中,我们显示和评论MTM型方法的设计的灵活性,满足详细的平衡条件。我们讨论了几种可能性,并显示不同的数值结果。
2013-02-28 math.ST stat.CO stat.ME
Couplings for Multinomial Hamiltonian Monte Carlo
哈密顿蒙特卡罗(HMC)是贝叶斯推断中常用的一种抽样方法。最近,Heng & Jacob(2019)研究了Metropolis HMC与无偏蒙特卡罗估计的耦合,为HMC建立了一个通用的可并行化方案。然而,在实践中,一种不同的HMC方法,多项式HMC,被认为是去的方法,例如,作为无U形转弯采样器的一部分。在多项式HMC中,所提出的状态不限于Metropolis HMC中的端点;相反,可以提出沿着整个轨迹的点。在本文中,我们建立了多项HMC的耦合,基于最佳运输的多项抽样在其过渡。我们证明了一个上限的会议时间-耦合链满足所需的时间-基于局部收缩的概念。我们使用三个目标来评估我们的方法:1,000维高斯,逻辑斯谛回归和对数高斯Cox点过程。与Heng & Jacob(2019)相比,耦合多项式HMC通常具有更短的会议时间,并且对步长和轨迹长度的选择更鲁棒,这允许重用HMC的现有自适应方法。这些改进共同为耦合HMC方法的更广泛和更实用的使用铺平了道路。
2021-04-11 stat.CO stat.ME
Estimating Discrete Markov Models From Various Incomplete Data Schemes
离散平稳马尔可夫模型的参数是状态之间的转移概率。传统上,数据由在整个观察期间对于给定数量的个体的观察状态的序列组成。在这种情况下,通过对从给定状态到另一状态的一步移动进行计数来直接进行转移概率的估计。然而,在许多现实生活中的问题中,由于状态序列没有被完全观察到,即每个个体的状态仅对于时间变量的某些给定值是已知的,因此推断要困难得多。回顾的问题,重点是蒙特卡罗马尔可夫链(MCMC)算法进行贝叶斯推断和评估后验分布的转移概率在这个丢失的数据框架。基于转移矩阵行间的相关性,提出了一种自适应MCMC机制,对经典的梅特罗波利斯-黑斯廷斯算法进行了加速,并进行了实验研究.
2012-02-22 stat.CO stat.ME
Who's Afraid of the Wallenius Distribution?
University of Cape Town(开普敦大学)
本文探讨沃伦纽斯非中心超几何分布在固定边际列联表分析中的应用,提出似然与贝叶斯推断方法,通过实例验证,简化2×2表分析并解决多组表数值挑战,还构建球面行走Metropolis算法。
2026-11-10 stat.ME
A New Perspective on Reverse Diffusion for Monte Carlo Sampling
FGV EMAp(巴西得克萨斯管理学院);UFMG(米纳斯吉拉斯联邦大学)
提出一种无需时间离散化和分数估计的反向扩散采样方法,通过嵌入目标密度到有限时域扩散过程的初始边际,并基于Radon-Nikodym导数推导出两类并行化MCMC算法,有效处理多模态和复杂依赖结构。
2026-06-03 stat.CO stat.ME
Irreversible Monte Carlo Algorithms for Efficient Sampling
平衡系统根据细致平衡(DB)进行演化。这一原理指导了Monte-Carlo抽样技术的发展,Metropolis-Hastings(MH)算法就是其中的著名代表。也知道DB是足够的,但不是必需的。我们构造了一个给定的可逆算法的不可逆变形,能够显着提高采样从已知的分布。我们的转换修改了转换速率,保持了转换结构的完整性。为了说明一般的计划,我们设计了一个不可逆的版本的大都市黑斯廷斯(IMH)和测试的自旋团簇的例子。模型的标准MH存在临界减速,而IMH没有临界减速。
2008-09-23 cond-mat.stat-mech cs.IT math.IT
Adaptive, delayed-acceptance MCMC for targets with expensive likelihoods
当进行贝叶斯推断时,当计算真实后验或其无偏估计在计算上昂贵,但计算上便宜的近似可用时,可以应用延迟接受(DA)Metropolis-Hastings(MH)算法和DA伪边缘MH算法。第一个接受-拒绝阶段的应用,与廉价的近似代替真正的后验的MH接受率。只有那些通过第一阶段的建议是计算昂贵的真实后验(或无偏估计)的评估,与第二个接受拒绝阶段,确保详细的平衡是满意的预期的真实后验。在某些情况下,没有明显的计算成本低廉的近似值。计算昂贵的后验的先前评估的加权平均值提供了后验的通用近似。如果只有$k$ -最近的邻居有非零的权重,那么近似后验的评估可以在计算上很便宜,只要后验被评估的点被存储在多维二叉树中,称为KD树。KD树的内容在每次计算密集的评估之后潜在地更新。由此产生的自适应,延迟接受[伪边缘]梅特罗波利斯-黑斯廷斯算法是合理的理论和经验。调整参数的指导和方法被施加到一个离散观察到的马尔可夫跳跃过程特征的捕食者-猎物的相互作用和ODE系统描述的自动调节基因网络的动态。
2016-06-01 math.ST stat.CO stat.ME
Convergence properties of pseudo-marginal Markov chain Monte Carlo algorithms
我们研究了伪边缘马尔可夫链蒙特卡罗算法的收敛性(Andrieu和Roberts [Ann. Statistics. 37(2009)697-725])。我们发现,伪边际算法的渐近方差总是至少一样大的边际算法。我们表明,如果边际链承认(右)频谱间隙和权重(目标密度的归一化估计)是一致有界的,那么伪边际链有一个频谱间隙。在许多情况下,类似的结果也适用于绝对谱隙,它等价于几何遍历性。我们还考虑无界的权重分布和恢复多项式收敛速度在更具体的情况下,当边缘算法是一致遍历或独立的大都市黑斯廷斯或随机行走的大都市针对超指数密度与规则的轮廓。我们的几何收敛速度和多项式收敛速度的结果隐含中心极限定理。我们还证明了在一般条件下,如果估计的精度增加,伪边际算法的渐近方差收敛到边际算法的渐近方差。
2015-03-30 math.PR stat.CO
Invertible Particle Flow-based Sequential MCMC with extension to Gaussian Mixture noise models
非线性和非高斯状态空间中的序贯状态估计在统计和信号处理中有着广泛的应用。粒子滤波是最有效的非线性滤波方法之一,但在高维滤波场景中存在权值退化问题。已经探索了几种途径来解决高维度问题。其中,粒子流粒子滤波器通过使用可逆流将粒子从先验分布连续迁移到后验分布来构造有效的建议分布,而顺序马尔可夫链蒙特卡罗(SMCMC)方法使用Metropolis-Hastings(MH)接受-拒绝方法来提高过滤性能。在本文中,我们建议结合可逆粒子流和SMCMC的优势,通过构建一个复合大都市黑斯廷斯(MH)内核SMCMC框架内使用可逆粒子流。此外,我们提出了一个高斯混合模型(GMM)为基础的粒子流算法来构建有效的多模态分布的MH核。仿真结果表明,对于高维状态估计的例子问题,所提出的核显着增加的接受率与最小的额外的计算开销,并提高估计精度相比,国家的最先进的滤波算法。
2019-03-11 stat.ME
Gradient-based Adaptive Markov Chain Monte Carlo
DeepMind(深度思维);University College of London(伦敦大学学院);Univ. of Econ. and Business(经济与商业大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入了一个基于梯度的学习方法,自动适应马尔可夫链蒙特卡罗(MCMC)的建议分布,棘手的目标。我们定义了一个最大熵正则化的目标函数,称为广义速度测度,它可以通过应用随机梯度优化的建议分布的参数进行鲁棒优化。与传统的自适应MCMC方法相比,我们的方法的一个优点是,即使候选状态值被拒绝,也会发生自适应。这是任何自适应策略的高度期望的属性,因为自适应在早期迭代中开始,即使初始提议分布远离最优。我们应用框架学习多元随机游动大都市和大都市调整Langevin建议与完整的协方差阵,并提供经验证据表明,我们的方法可以优于其他MCMC算法,包括哈密顿蒙特卡罗计划。
2020-01-06 cs.LG stat.CO stat.ML
A vanilla Rao--Blackwellization of Metropolis--Hastings algorithms
Casella和Robert [Biometrika 83(1996)81- 94]提出了一个用于Accept-Reject和Metropolis-Hastings格式的一般Rao-Blackwellization原理,该原理导致所得估计量的方差显著减小,但计算和存储成本很高。采用一个完全不同的角度来看,我们引入一个通用的计划,而不是保证方差减少在所有的大都市-黑斯廷斯为基础的估计,同时保持控制的计算成本。我们建立了一个中心极限定理的改进估计和玩具的例子和概率模型估计的性能说明。
2011-03-08 math.ST stat.CO stat.ME
Scalability of Metropolis-within-Gibbs schemes for high-dimensional Bayesian models
Duke University(杜克大学);University of Warwick(华威大学);Bocconi University(博科尼大学)
本文研究了高维贝叶斯模型中Metropolis-within-Gibbs方案的收敛性,通过条件电导分析其性能,并讨论了在非共轭分层模型中的应用及相关理论扩展。
2026-01-09 math.ST stat.CO stat.ML
An efficient method of posterior sampling for Poisson INGARCH models
Nanjing Normal University(南京师范大学);Tianjin University(天津大学);Jilin University(吉林大学)
本文提出一种高效后验抽样方法,用于泊松INGARCH模型,通过Pólya-Gamma数据增强方案实现条件高斯更新,并提升Metropolis-Hastings算法效率。
2026-03-08 stat.ME
Twisting the Alive Particle Filter
这项工作的重点是从隐马尔可夫模型(Cappe等人,2005年)的观察具有棘手的密度函数的采样。为此,我们开发了一种新的序贯蒙特卡罗(Doucet et al,2000和Gordon et al,1993)算法和一种新的粒子边缘Metropolis-Hastings(Andrieu et al,2010)算法。我们从Jasra等人(2013)和Whiteley等人(2013)构建序贯蒙特卡罗(SMC)算法(我们称之为活扭曲粒子滤波器)。与Jasra等人(2013)的活性粒子滤波器一样,我们的新SMC算法采用HMM的近似贝叶斯计算(Tavare等人,1997)估计。我们的活扭曲粒子滤波器也使用了Whiteley等人(2013)中的扭曲建议,以获得HMM归一化常数的低方差估计。我们证明,通过数值例子,在某些情况下,这种估计有一个更低的方差比通过活着的粒子滤波器获得的估计。这种归一化常数估计的低方差鼓励我们的SMC算法在粒子边际Metropolis-Hastings(PMMH)计划中的实施,我们称所得到的方法为“活着的扭曲PMMH”。我们在一个随机波动率模型上用数字证明了我们的扭曲PMMH如何比Jasra等人(2013)的标准PMMH更快地收敛。
2013-08-21 stat.ME
Randomized Time Riemannian Manifold Hamiltonian Monte Carlo
哈密顿蒙特卡罗(Hamiltonian Monte Carlo,HMC)算法结合了随机更新和Metropolis修正,是一种常用的采样方法,但在连续时间内收敛速度较慢。Bou-Rabee和Sanz-Serna最近的一篇论文(Ann. Appl. Prob.,27:2159-2194,2017)证明了这个问题可以通过简单地随机化哈密顿路径的持续时间参数来解决。在本文中,我们使用相同的思想来增强HMC的约束版本的抽样效率,这在各种应用程序设置中具有潜在的好处。我们证明了这两个保守的平稳分布和遍历的方法。我们还比较了模型问题的数值研究中各种方案的性能,包括高维协方差估计的应用。
2022-08-14 math.ST stat.CO stat.ME
Particle MCMC with Poisson Resampling: Parallelization and Continuous Time Models
我们引入了一种新的粒子滤波器,其中粒子在给定时间的“孩子”的数量具有泊松分布。因此,粒子的数量是随机的,并随时间而变化。这个方案的一个优点是不同粒子的后代可以独立进化。它使并行计算变得容易。此外,具有泊松响应的粒子滤波器很容易适用于隐过程是连续时间、分段确定性半马尔可夫过程的情况。我们表明,粒子MCMC的基本技术,即粒子独立的大都会黑斯廷斯,粒子吉布斯采样器和它的版本与祖先采样,我们的泊松响应计划下工作。我们的版本的粒子吉布斯采样器是一致遍历的相同的假设下,其标准对应。我们目前的仿真结果表明,我们的算法可以与现有的方法。
2019-08-02 stat.CO
Adaptive Independent Metropolis-Hastings by Fast Estimation of Mixtures of Normals
我们构建了一个自适应独立的大都会黑斯廷斯采样器,使用混合的法线作为建议分布。为了充分利用自适应采样的潜力,我们的算法经常更新法线的混合,从链的早期开始。该算法是建立在速度和可靠性,其采样性能进行评估与真实和模拟的例子。我们的文章概述了自适应采样保持的条件,并给出了一个容易获得的证明,即在这些条件下,采样方案生成收敛到目标分布的迭代。
2008-01-11 stat.AP stat.CO stat.ME
Piecewise deterministic sampling with splitting schemes
Heriot-Watt University(赫瑞瓦特大学)
本文提出基于分裂格式的MCMC算法,通过非可逆Metropolis-Hastings滤波器消除离散化误差,证明非调整格式具二阶弱误差且计算成本低,并验证了其有效性。
2025-11-02 math.PR stat.CO
Correlated pseudo-marginal schemes for time-discretised stochastic kinetic models
研究了随机动力学模型(SKMs)反应速率常数的完全贝叶斯推断问题。考虑到这个问题所面临的挑战,马尔可夫跳跃过程表示通常被基于感兴趣的系统的适当时间离散化的近似所取代。提高这些计划的准确性相当于使用更精细的离散化水平,这在推理问题的上下文中,需要在观察之间的预定数量的中间时间对过程中的不确定性进行积分。伪边缘Metropolis-Hastings计划越来越多地使用,因为对于给定的离散化水平,可以使用粒子滤波器无偏地估计所观察到的数据的可能性。当观测特别有信息时,可以通过采用适当的构造以合理的方式将状态粒子推向观测来实现辅助粒子滤波器。状态空间设置中的最新工作已经示出了如何通过将用于形成未知参数的当前值和建议值处的似然估计的基础伪随机数相关联来使伪边际方法更加有效。我们扩展这种方法的时间离散SKM框架相关的创新,驱动辅助粒子滤波器。我们发现,由此产生的方法提供了一个标准的实现效率大幅提高。
2019-01-09 stat.CO
Path convergence of Markov chains on large graphs
本文研究有限无标号图上两类随机过程(欧几里得优化与修正Metropolis链)在大图极限下的路径收敛,证明其轨迹收敛至测度值图限空间上的确定性曲线,并揭示Metropolis链与图限梯度流的新联系及指数收敛速率。
2023-10-15 math.PR stat.ML
Analysis of Multiple-try Metropolis via Poincaré inequalities
本文利用庞加莱不等式框架分析Multiple-try Metropolis算法,推导其与理想Metropolis--Hastings算法的庞加莱比较结果,在高斯情形下证明了该算法的显式非渐近收敛界。
2025-11-17 math.PR stat.CO
Directional Metropolis-Hastings
我们提出了一个新的内核的Metropolis Hastings称为定向Metropolis Hastings(DMH)与多变量更新的建议内核具有状态相关的协方差阵。我们使用目标分布在当前状态下的导数来改变建议分布的方向,从而产生更合理的建议。研究了算法的几何遍历性条件,给出了算法收敛的充分必要条件。提出了一种自适应更新方差参数的方案,并研究了自适应算法的遍历性条件。我们证明了我们的算法在贝叶斯广义线性模型问题的性能。
2017-10-26 stat.CO
Comparison of Markov chains via weak Poincaré inequalities with application to pseudo-marginal MCMC
本文基于弱Poincaré不等式提出Markov链间的新型定量比较定理,简化了收敛界推导,为伪边缘MCMC等方法给出次几何收敛界,并深入分析了ABC平均化及PMMH对数正态权重等实际应用。
2022-08-09 cs.LG stat.CO
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器,每次迭代只需要一个梯度计算。相反,以前的作品类似的采样器,Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$,Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下,$\sqrt{d/\varepsilon}$,如果潜在的海森是Lipschitz,和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下,根据已知的结果为其他动力学朗之万或HMC计划。
2021-06-18 math.PR math.ST stat.TH
The Bouncy Particle Sampler: A Non-Reversible Rejection-Free Markov Chain Monte Carlo Method
马尔可夫链蒙特卡罗方法已经成为统计学中从复杂的概率测度中采样的标准工具。许多可用的技术依赖于离散时间可逆马尔可夫链,其转移核建立在梅特罗波利斯-黑斯廷斯算法之上。我们探索并提出了Peters和de With(2012)最近引入的替代方法的几个原始扩展,其中使用连续时间马尔可夫过程探索感兴趣的目标分布。在梅特罗波利斯-黑斯廷斯算法中,可以以正概率拒绝向比当前状态更低目标密度(等效地“更高能量”)的区域的尝试移动。在这种替代方法中,粒子沿着直线连续地围绕空间移动,当面对高能量障碍时,它不会被拒绝,但它的路径会通过反弹这个障碍而被修改。由此产生的非可逆马尔可夫过程提供了无拒绝的MCMC采样方案。我们提出了几个原始的技术来模拟这个连续时间的过程,正是在广泛的场景感兴趣的统计学家。当目标分布分解为仅涉及变量子集的因子的乘积时,例如与概率图模型相关联的后验分布,可以修改原始算法以利用该结构并在每个团内并行更新变量。我们提出了几个扩展提出的方法来采样混合离散-连续分布和分布限制在一个连接的光滑域。我们还表明,它是可以使用一般的流动,而不是直线移动的粒子。我们证明了这种方法的效率,通过模拟各种应用程序,并表明它可以优于混合蒙特卡罗计划在有趣的情况下。
2017-02-17 math.ST stat.ME stat.TH
A multiple-try Metropolis-Hastings algorithm with tailored proposals
我们提出了一个新的多尝试梅特罗波利斯-黑斯廷斯算法设计时,量身定制的建议分布是特别有益的。该算法是基于一个给定的无环图$G$,其中的一个节点在$G$,$k$说,包含当前状态的马尔可夫链和剩余的节点包含建议的状态通过应用定制的建议分布。梅特罗波利斯-黑斯廷斯算法在两种类型的更新之间交替。第一种更新类型是使用定制的建议分布在$G$中除节点$k$之外的所有节点中生成新状态。第二种更新类型是生成$k$的新值,从而改变当前状态的值。我们评估所提出的方案的有效性,在一个例子中,与先前定义的目标和建议的分布。
2018-07-05 stat.CO
Error bounds for simultaneous Wasserstein contractive adaptive increasingly rare MCMC
University of Bath(巴斯大学);University of Passau(帕绍大学)
针对自适应渐稀马尔可夫链蒙特卡洛算法,在同时Wasserstein压缩假设下推导均方误差的显式界,并应用于自适应立体算法和基于归一化流的Metropolis-Hastings方案。
2026-06-29 math.PR math.ST stat.CO
Barker's algorithm for Bayesian inference with intractable likelihoods
在这篇论文中,我们抽象和描述了一个简单的MCMC计划采样从棘手的目标密度。该方法已在Gonçalves等人(2017 a)中在跳跃扩散的特定背景下引入,并且基于Barker算法与简单的Bernoulli工厂类型方案配对,即所谓的2硬币算法。在许多情况下,它是一种替代标准的Metropolis-Hastings伪边缘方法模拟从棘手的目标密度。虽然巴克的是众所周知的效率略低于大都会-黑斯廷斯,我们的方法的主要优点是,它允许实现“边际巴克的”,而不是扩展的状态空间伪边际大都会-黑斯廷斯,由于接受/拒绝概率的特殊形式。我们将说明我们的方法的上下文中的贝叶斯推断离散观察Wright-Fisher家庭的扩散。
2017-09-22 stat.CO