Particle filtering within adaptive Metropolis Hastings sampling
我们表明,它是可行的,进行精确的贝叶斯推断的非高斯状态空间模型使用自适应大都会Hastings采样计划的似然近似的粒子滤波器。此外,基于法线混合提议的自适应独立Metropolis Hastings采样器在计算上比自适应随机游动提议有效得多,因为与近似似然的成本相比,构造良好自适应提议的成本可以忽略不计。独立的大都会黑斯廷斯提案也很有吸引力,因为它们很容易在多个处理器上并行运行。我们还表明,当使用的粒子滤波器,任何模型的边际似然是在一个有效的和无偏的方式,使模型比较简单。
2009-11-02 stat.CO stat.ME
Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals
马尔可夫链蒙特卡罗(MCMC)方法是计算复杂概率分布的有力工具。然而,这种方法的性能是严格依赖于适当调整的参数,其中大多数是困难的,如果不是不可能知道一个给定的目标分布的先验。自适应MCMC方法旨在通过允许在采样期间基于来自链的先前样本更新参数来解决这个问题,代价是需要新的理论分析来确保收敛。在这项工作中,我们扩展了自适应MCMC方法的收敛理论,建立在一个强大的参数密度估计,称为规范化流一类新的方法。特别是,我们考虑一个独立的大都会-黑斯廷斯采样器,其中的建议分布是由一个归一化流,其参数更新使用随机梯度下降。我们探讨了这一过程的实际性能的合成设置和物理场系统的分析,并比较它对自适应和非自适应MCMC方法。
2021-10-25 stat.CO
Adaptively switching between a particle marginal Metropolis-Hastings and a particle Gibbs kernel in SMC$^2$
针对难以计算似然的状态空间模型后验采样问题,提出在SMC²迭代中自适应切换PMMH和PG粒子MCMC核的方法,显著提升算法效率并开源代码。
2023-07-21 stat.CO
Fully Adaptive Gaussian Mixture Metropolis-Hastings Algorithm
马尔可夫链蒙特卡罗方法广泛用于信号处理和通信中的统计推断和随机最优化。在这项工作中,我们引入了一个有效的自适应梅特罗波利斯-黑斯廷斯算法,从通用的多模态和多维目标分布的样本。建议密度是高斯密度的混合,其中所有参数(权重、均值向量和协方差阵)使用应用简单递归规则的所有先前生成的样本来更新。一维和二维的情况下提供的数值结果。
2013-03-15 stat.CO stat.ME
Maximal couplings of the Metropolis-Hastings algorithm
耦合在马尔可夫链蒙特卡罗算法的分析中起着核心作用,并且越来越频繁地出现在算法本身中,例如在收敛诊断、并行化和方差减少技术中。现有的梅特罗波利斯-黑斯廷斯算法的耦合处理的建议和接受的步骤分开,并没有达到耦合不等式给出的一步会议概率的上限。本文介绍了最大的耦合,实现这一界限,同时保持目前的方法的实用优势。我们考虑这些耦合的属性,并研究其行为的数值例子的选择。
2020-10-16 stat.CO stat.ME
Efficient Mirror-type Kernels for the Metropolis-Hastings Algorithm
本文提出融合 Mirror 移动与 MALA 的 MirrorMALA 核,并结合新型高维白化变换分析 GLMMs,在相近计算成本下实现显著更高采样效率。
2025-06-07 stat.CO
A large deviation principle for the empirical measures of Metropolis-Hastings chains
本文针对一般状态空间上的 Metropolis-Hastings 链,首次证明其经验测度满足大偏差原理,并依据接受与拒绝动力学刻画速率函数,为分析该类 MCMC 方法的效率提供了新的理论基础。
2023-08-14 math.PR stat.CO
Using parallel computation to improve Independent Metropolis--Hastings based estimation
在本文中,我们考虑的影响,并行的原始功率可以利用一个通用的梅特罗波利斯-黑斯廷斯算法,如果建议的值是独立的。特别是,我们提出了改进的独立梅特罗波利斯-黑斯廷斯算法,显着降低任何估计来自MCMC输出的方差,为零计算成本,因为这些改进是基于一个固定数量的目标密度评估。此外,本文中开发的技术不会危及算法的马尔可夫收敛特性,因为它们基于Gelfand和Smith(1990)的Rao-Blackwell原则,Casella和Robert(1996),Atchade和Perron(2005)以及Douc和Robert(2010)已经利用了这些原则。我们说明了这些改进的玩具正常的例子和经典的概率回归模型,但强调的事实是,它们适用于任何情况下,独立的大都会黑斯廷斯是适用的。
2011-03-24 cs.DC cs.DS stat.CO
Randomized Reduced Forward Models for Efficient Metropolis--Hastings MCMC, with Application to Subsurface Fluid Flow and Capacitance Tomography
通过马尔可夫链蒙特卡罗(MCMC)的贝叶斯建模和计算推断是用于大规模不确定性量化的原则性框架,尽管在实践中受限于以最简单的形式实现时的计算成本,该最简单的形式需要在MCMC的每次迭代处模拟精确的计算机模型。延迟接受Metropolis-Hastings MCMC利用前向映射的简化模型来降低每次迭代的计算成本,尽管这必然会降低统计效率,但不小心会导致计算估计的计算成本没有降低到所需的精度。随机化前向映射的简化模型可以通过保持每次迭代的低成本以及避免统计效率的明显损失来显著提高计算效率。随机化映射是通过随机化和局部校正的确定性简化模型的后验自适应调整来构造的。同样地,近似的后验分布可以被视为由与简化图一起使用的修改的似然函数引起的,其中参数被调谐以优化对正确的后验分布的近似的质量。自适应MCMC算法的条件允许实际的近似和算法,保证遍历的目标分布。良好的统计和计算效率的例子中表现出的地热储层和电容层析成像的大规模数值模型的校准。
2020-09-17 stat.CO
Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢,如巨大的数据集所例示的。在本文中,我们提供了一种方法,以减少计算成本的算法,一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分,旨在大大减少计算时间,超过相应的接受概率的减少。除法将“先验x似然”项分解为乘积,使得其某些分量的计算成本比其他分量低得多。每个分量可以顺序地与统一变量进行比较,第一次拒绝表示不再考虑所提出的值,这种方法可以反过来作为利用手头计算机的并行能力的预取算法的一部分来加速。我们说明了一系列的玩具和现实的例子,这些加速功能。
2014-06-10 stat.CO stat.ME
Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题,通常使用粒子和马尔可夫链蒙特卡罗(MCMC)方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings(PIMH)生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的,并且便于构造置信区间。该方案只需要访问现成的粒子滤波器(PF),因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
A general perspective on the Metropolis-Hastings kernel
自成立以来,Metropolis-Hastings内核已经以复杂的方式应用于解决更具挑战性和多样化的采样问题。它的成功源于这样一个事实所带来的灵活性,即它的核查和采样实施取决于局部"详细平衡“条件,而不是以典型的棘手积分方程形式的全局条件。虽然在最简单的场景中检查局部条件是常规的,但对于涉及辅助结构和变量的复杂应用来说,这要困难得多。我们的目标是开发一个框架,使建立复杂的马尔可夫链蒙特卡罗内核的正确性成为一个纯粹的机械或代数练习,同时通过允许更强烈地关注基本特征-嵌入分布的选择,对合和偶尔的接受函数-而不是诱导,核心的样板结构往往会掩盖什么是重要的。该框架还可以用于验证不满足详细平衡的内核,即不可逆的内核,而是其修改版本。
2020-12-29 stat.CO stat.ME
Metropolis-Hastings transition kernel couplings
耦合在马尔可夫链收敛分析和新型马尔可夫链蒙特卡罗估计、诊断和方差减少技术的构建中起着核心作用。可能的耦合的集合通常是棘手的,使寻找紧边界和有效估计器的努力受挫。为了解决这一挑战的算法在大都会黑斯廷斯(MH)家庭,我们建立了一个简单的表征MH过渡内核耦合的集合。然后,我们扩展这一结果来描述一组最大的耦合的MH内核,解决一个悬而未决的问题O 'Leary等人。我们的研究结果代表了一个进步,了解MH过渡内核和一个步骤向前耦合这类流行的算法。
2023-01-06 math.PR math.ST stat.CO
Augmented pseudo-marginal Metropolis-Hastings for partially observed diffusion processes
我们考虑非线性,多变量扩散过程的推断问题,满足伊藤随机微分方程(SDES),使用离散时间的数据,可能是不完整的,受到测量误差。我们的出发点是一个国家的最先进的相关伪边缘梅特罗波利斯-黑斯廷斯算法,它使用相关的粒子滤波器诱导连续的似然估计之间的强和正相关。然而,除非测量误差或维数很小,否则相关性会被粒子滤波器中的重采样步骤侵蚀。因此,我们提出了一种新的增强方案,允许条件的值的潜在过程中的观察时间,完全避免了需要的reservation步骤。我们整合了观察时间的不确定性与额外的吉布斯步骤。由此产生的伪边缘计划和现有的推理计划之间的连接扩散过程,给出了一个统一的推理框架,包括吉布斯抽样和伪边缘计划。该方法适用于三个例子,越来越复杂。我们发现,与竞争方法相比,我们的方法在整体效率上有了大幅提高。
2021-09-24 stat.CO stat.ME
Variance Reduction for Metropolis-Hastings Samplers
我们介绍了一个一般的框架,构造估计减少方差的随机游动大都市和大都市调整Langevin算法。由此产生的估计需要可以忽略不计的计算成本,并得出在后处理的方式利用所有的建议值的大都市算法。方差减少是通过产生控制变量,通过近似解决方案的泊松方程与目标密度的马尔可夫链。所提出的方法是基于近似的目标密度与高斯,然后利用精确的解决方案的泊松方程的高斯情况下。这导致使用两个关键元素的估计器:(i)来自泊松方程的控制变量,其包含在提议分布下的难处理的期望,(ii)第二控制变量,以减少后一难处理的期望的蒙特卡罗估计的方差。仿真数据的例子被用来说明令人印象深刻的方差减少实现高斯目标的情况下,以及相应的效果时,目标的高斯性假设被违反。贝叶斯逻辑斯谛回归和随机波动率模型的实际数据的例子验证了相当大的方差减少,实现了微不足道的额外计算成本。
2022-03-04 stat.CO stat.ME
Getting Started with Particle Metropolis-Hastings for Inference in Nonlinear Dynamical Models
本教程介绍了用于非线性状态空间模型参数推断的粒子Metropolis-Hastings(PMH)算法,以及统计编程语言R中的软件实现。我们采用分步方法与读者一起开发PMH算法(以及其中的粒子滤波器)的实现。这个最终的实现也可以作为CRAN存储库中的pmhtutorial包获得。在整个教程中,我们提供了一些关于算法如何操作的直觉,并讨论了一些解决方案,以解决实际中可能出现的问题。为了说明PMH的使用,我们考虑在线性高斯状态空间模型与合成数据和非线性随机波动率模型与真实世界的数据的参数推断。
2019-03-12 q-fin.ST stat.CO stat.ML
Precision Annealing Monte Carlo Methods for Statistical Data Assimilation: Metropolis-Hastings Procedures
统计数据同化(SDA)是将来自野外或实验室观测的信息转移到用户选择的产生这些观测的动力系统模型。数据是有噪声的,模型有误差;信息传递解决了以观测值为条件的模型状态的条件概率分布的性质。SDA中感兴趣的量是模型状态的函数的条件期望值,并且这些需要高维积分的近似评估。我们引入了一个条件概率分布,并使用退火拉普拉斯方法来确定的条件概率分布的最大值。当进入拉普拉斯方法时,退火方法缓慢地增加模型的精度项。在本文中,我们扩展的想法精密退火(PA)的蒙特卡罗计算的条件期望值使用Metropolis-Hastings方法。
2019-01-14 physics.data-an physics.geo-ph stat.CO
A categorical account of the Metropolis-Hastings algorithm
Nanyang Technological University(南洋理工大学);University of Warwick(华威大学)
研究能否用范畴概率构建和分析Metropolis-Hastings算法,通过马尔可夫范畴和CD范畴等工具表述相关概念,研究交换幺半群上CD范畴的丰富化,给出MH类采样器可逆的充要条件。
2026-07-14 math.CT math.PR stat.CO
Metropolis-Hastings Generative Adversarial Networks
Uber AI Labs(优步人工智能实验室)
我们介绍了Metropolis-Hastings生成对抗网络(MH-GAN),它结合了马尔可夫链蒙特卡罗和GANs的各个方面。MH-GAN从由GAN的鉴别器-生成器对隐式定义的分布中提取样本,而标准GANs从仅由生成器定义的分布中提取样本。它使用来自GAN训练的鉴别器来构建围绕生成器的包装器,以改进采样。使用完美的分布函数,即使生成器不完美,这个包装的生成器也会从数据的真实分布中进行采样。我们使用DCGAN,WGAN和渐进式GAN在多个基准数据集(包括CIFAR-10和CelebA)上展示了改进的生成器的好处。
2019-05-17 cs.LG stat.ML
Hastings-Metropolis algorithm on Markov chains for small-probability estimation
屏蔽中子输运的研究,蒙特卡罗代码,产生具有挑战性的小概率估计的问题。这些研究的特殊性是,小概率估计制定的马尔可夫链的分布,而不是在更经典的情况下,一个随机向量。因此,对于这些中子输运问题,采用经典的统计方法来估计涉及随机向量的小概率并不简单。基于Hastings-Metropolis算法,提出了一种新的小概率估计的相互作用粒子法。它示出了如何适应黑斯廷斯-大都会算法时,处理马尔可夫链。并给出了收敛结果。然后,小概率估计的方法的实际实施的细节处理,为蒙特卡罗屏蔽研究。最后,它示出,对于这项研究,建议的相互作用粒子的方法大大优于一个简单的蒙特卡罗方法,当概率估计是小的。
2014-11-21 math.ST stat.TH
Adaptive Optimal Scaling of Metropolis-Hastings Algorithms Using the Robbins-Monro Process
我们提出了一种自适应方法的随机行走梅特罗波利斯-黑斯廷斯算法,快速,鲁棒地确定缩放因子,产生一个指定的整体采样接受概率的自动缩放。我们的方法依赖于使用的Robbins-Monro搜索过程,其性能是由一个未知的步长常数。我们给出了一个非常简单的估计这个常数的建议分布是单变量或多变量的正常,连同自动化的方法的抽样算法。仿真和实际数据的例子证明了算法的有效性。这种方法可以作为更复杂的自适应马尔可夫链蒙特卡罗算法中的有用组件来实现,或者作为自动化软件包的一部分来实现。
2010-06-18 stat.ME
On importance sampling and independent Metropolis-Hastings with an unbounded weight function
University of Oxford(牛津大学);ESSEC Business School(ESSEC高等商学院);Rutgers University(罗格斯大学)
研究重要性抽样和独立Metropolis-Hastings在权重函数无界时的偏差,通过最大耦合推导链到目标分布的全变差距离的多项式界,并利用耦合实现无偏估计。
2026-07-03 math.ST stat.ME stat.TH
Pseudo-marginal Metropolis--Hastings using averages of unbiased estimators
我们考虑一个伪边缘大都会-黑斯廷斯内核$P_m$,它是使用$m$可交换的随机变量的平均值,以及一个类似的内核$P_s$,平均$s<m$这些相同的随机变量。使用嵌入技术,以方便比较,我们证明了与$P_m$遍历平均的渐近方差是下界的那些与$P_s$。我们证明了所提供的界是紧的,并反驳了一个猜想,即当被平均的随机变量是独立的,在$P_m$下的渐近方差永远不会小于$s/m$乘以在$P_s$下的方差。然而,当考虑连续时间马尔可夫链时,这个猜想确实成立。这些结果意味着,如果算法的计算成本与$m$成比例,则通常最好设置$m=1$。我们提供的直觉,为什么这些研究结果如此显着不同的伪边缘内核采用粒子滤波器近似最近的结果。我们的研究结果举例说明通过两个模拟研究,在第一个计算成本是有效地成正比的$m$,在第二个有一个相当大的启动成本在每次迭代。
2016-10-31 math.PR stat.CO stat.ME
Large deviation-based tuning schemes for Metropolis-Hastings algorithms
本文利用大偏差理论中的速率函数量化 Metropolis-Hastings 算法的收敛速度,推导其替代表示并建立显式上下界,进而设计了提升算法效率的调优方案。
2025-04-29 math.PR math.ST stat.TH
Austerity in MCMC Land: Cutting the Metropolis-Hastings Budget
University of California, Irvine(加州大学尔湾分校);University of Cambridge(剑桥大学);University of Amsterdam(阿姆斯特丹大学)
当面对非常大的数据集时,我们能否使贝叶斯后验MCMC采样更有效?我们认为,计算的可能性N个数据点的大都会黑斯廷斯(MH)测试,以达到一个单一的二元决策是计算效率低下。我们引入了一个近似的MH规则的基础上的顺序假设检验,使我们能够接受或拒绝样本的置信度高,只使用一小部分的精确MH规则所需的数据。虽然这种方法引入了渐近偏差,我们表明,这种偏差是可以控制的,是超过抵消方差的减少,由于我们的能力,每单位时间绘制更多的样本。
2014-02-14 cs.LG stat.ML
Multi-Marginal Couplings for Metropolis-Hastings
University of Toronto(多伦多大学);Imperial College London(伦敦帝国学院);McMaster University(麦克马斯特大学)
本文提出多边缘耦合方法用于改进Metropolis-Hastings链的收敛诊断,通过引入自然目标函数和分布耦合分析,提升高维设置下的共聚速率和效率。
2026-05-12 cs.IT math.IT stat.CO
Efficiency and computability of MCMC with Langevin, Hamiltonian, and other matrix-splitting proposals
本文分析了采用AR(1)处理方案的Metropolis-Hastings算法的计算效率。这些建议包括,作为一个子类,离散朗之万扩散(例如MALA)和离散哈密顿动力学(例如HMC)。通过包括Metropolis-Hastings的影响,我们扩展了Fox和Parker的早期工作,他们使用矩阵分裂技术来分析AR(1)过程的性能并提高其效率。我们的研究使MCMC方法的分析,从非高斯目标分布的样本,通过使用AR(1)过程的建议,在大都会黑斯廷斯算法,通过分析的精度矩阵的矩阵分裂的局部高斯近似的非高斯目标。
2015-01-13 math.PR stat.CO
A Pseudo-Marginal Metropolis-Hastings Algorithm for Estimating Generalized Linear Models in the Presence of Missing Data
缺失数据问题常常使估计广义线性模型(GLM)的任务复杂化。我们描述了为什么伪边缘梅特罗波利斯-黑斯廷斯算法,在此设置中使用,是一个有效的策略,参数估计。这种方法需要较少的假设,它提供了对似然参数、协变量模型和缺失机制参数的联合推断,并且没有假设存在多个后验分布的逻辑不一致。此外,这种方法是渐近精确的,就像大多数其他马尔可夫链蒙特卡罗技术。我们讨论计算策略,进行模拟研究,演示如何标准误变化的函数的百分比缺失,我们使用我们的方法在“现实世界”的数据集来描述如何收集的变量影响车祸的结果。
2019-07-22 stat.ME
Importance is Important: Generalized Markov Chain Importance Sampling Methods
本文提出基于重要性权重的无拒绝MCMC抽样方案,将多重尝试Metropolis算法推广为无需拒绝的通用框架,并拓展至离散空间,证明其比原始Metropolis--Hastings算法更高效。
2024-10-02 stat.CO stat.ME stat.ML
On a Metropolis-Hastings importance sampling estimator
函数期望近似的经典方法。部分已知的分布是计算沿着Metropolis-Hastings(MH)马尔可夫链的轨迹的函数值的平均值。MH算法中的关键部分是对所提出的状态的适当接受/拒绝,这确保了所得到的马尔可夫链的正确平稳分布。然而,拒绝提案会导致高度相关的样本。特别是,当一个状态被拒绝时,它不会被进一步考虑。与此相反,我们考虑一个MH重要性抽样估计,它明确地将所有建议的状态产生的MH算法。估计满足强大数定律以及中心极限定理,并且,除此之外,我们提供了一个明确的均方误差界。值得注意的是,MH重要性抽样估计量的渐近方差不涉及任何相关项,与其经典的对应。此外,虽然分析估计使用相同的信息量的经典MH估计,它可以优于后者的情况下,中等尺寸的数值实验表明。
2020-02-04 cs.NA math.NA math.PR
Metropolis-Hastings with Averaged Acceptance Ratios
从定义在空间$(Θ,\mathcal{T})$上的概率分布$π$采样的马尔可夫链蒙特卡罗(MCMC)方法包括不变分布$π$的马尔可夫链$\{θ_{n},n\geq1\}$的实现的模拟,并且使得$θ_{i}$的分布收敛到$π$作为$i\rightarrow\infty$。在实践中,人们通常对关于$π$的函数期望的计算感兴趣,比如$f$,并且还要求平均值$M^{-1}\sum_{n=1}^{M}f(θ_{n})$收敛到感兴趣的期望。MCMC的迭代性质使得当有兴趣减少收敛时间时,很难开发通用方法来利用并行计算环境。虽然已经提出了许多方法来减少遍历平均值的方差,包括在几台计算机上模拟的$\{θ_{n},n\geq1\}$的独立实现上求平均值,但减少MCMC“老化”的技术很少。在本文中,我们探讨了一个简单而通用的方法来提高收敛到平衡的现有算法依赖于大都会黑斯廷斯(MH)更新,MCMC的主要组成部分。主要思想是使用接受率w.r.t.的平均值。所涉及的随机变量的多个实现,同时保持$π$为不变分布。该方法需要对现有代码进行有限的更改,自然适合于并行计算,并在我们的示例中显示,在遍历平均值的均衡收敛和方差方面都提供了实质性的性能改进。在某些情况下,甚至在串行机器上也可以观察到增益。
2020-12-29 stat.CO stat.ME
Metropolis Augmented Hamiltonian Monte Carlo
哈密顿蒙特卡罗(Hamiltonian Monte Carlo,HMC)是一种用于复杂高维连续分布采样的马尔可夫链蒙特卡罗(Markov Chain Monte Carlo,MCMC)方法。然而,在许多情况下,有必要或希望将HMC与其他Metropolis-Hastings(MH)采样器相结合。常见的HMC-within-Gibbs策略意味着长HMC轨迹和更频繁的其他MH更新之间的权衡。解决这一权衡一直是最近几项工作的重点。在本文中,我们提出了大都市增强哈密顿蒙特卡罗(MAHMC),一个HMC的变种,允许MH更新HMC内,并消除了这种权衡。两个有代表性的例子上的实验表明,MAHMC的效率和易用性相比,内吉布斯替代品。
2022-01-21 stat.CO
Regression by clustering using Metropolis-Hastings
Universidad de los Andes(安第斯大学);Quantil
健康保险市场的高质量风险调整削弱了保险公司为吸引低成本投保人而采取低效率行为的激励。我们提出了一种新的方法的基础上,马尔可夫链蒙特卡罗方法,以提高风险调整聚类诊断代码到最佳的健康支出预测的风险群体。我们测试的性能,我们的方法对常见的替代品使用面板数据从50万注册的哥伦比亚医疗保健系统。结果表明,我们的方法优于常见的替代方案,并表明它有潜力改善慢性病患者获得优质医疗服务的机会。
2019-09-13 cs.LG stat.AP stat.ME
Accelerating Metropolis-Hastings with Lightweight Inference Compilation
UC Berkeley(加州大学伯克利分校);Facebook(脸书)
为了构建准确的提议者的大都会黑斯廷斯马尔可夫链蒙特卡罗,我们集成的想法,从概率图形模型和神经网络在一个开源的框架,我们称之为轻量级推理编译(LIC)。LIC在开放域声明性概率程序设计语言(PPL)内实现摊销推理。图神经网络用于将建议分布参数化为马尔可夫毯的函数,马尔可夫毯在“编译”期间被优化以近似单站点吉布斯采样分布。与推理编译(IC)中的先前工作不同,LIC放弃了线性执行跟踪的重要性采样,而是直接在贝叶斯网络上操作。实验结果表明,在贝叶斯逻辑回归和$n$ -schools推理应用中,LIC可以产生参数少、对干扰随机变量鲁棒性强、后验抽样改进的proposers。
2020-10-23 cs.LG stat.ML
Asymptotically Optimal Exact Minibatch Metropolis-Hastings
Cornell University(康奈尔大学)
Metropolis-Hastings(MH)是一种常用的MCMC算法,但由于需要对整个数据集进行计算,因此在大型数据集上可能难以处理。在本文中,我们研究小批量MH方法,而不是使用子样本,使缩放。我们观察到,大多数现有的minibatch MH方法是不精确的(即,它们可能会改变目标分布),并表明,这种不精确性可能会导致任意大的错误推断。我们提出了一个新的精确minibatch MH方法,TunaMH,它暴露了一个可调的权衡其批量大小和理论上保证的收敛速度。我们证明了一个下界的批量大小,任何minibatch MH方法必须使用,以保持准确性,同时保证快速收敛的第一个这样的界minibatch MH和显示TunaMH是渐近最优的批量大小。经验上,我们表明TunaMH优于其他精确的小批量MH方法稳健的线性回归,截断高斯混合,和逻辑回归。
2020-10-22 cs.LG stat.ML
Improved MCMC with active subspaces
本文针对活动子空间 MCMC 在线性假设失效时的局限,提出粒子边缘 MH,并给出无需估计边缘似然的 MWG 与 MWPG 方法以提升计算效率。
2025-01-09 stat.CO stat.ME
MatDRAM: A pure-MATLAB Delayed-Rejection Adaptive Metropolis-Hastings Markov Chain Monte Carlo Sampler
马尔可夫链蒙特卡罗(MCMC)算法广泛用于数学目标函数的随机优化、采样和积分,特别是在贝叶斯逆问题和参数估计的背景下。几十年来,MCMC模拟中选择的算法一直是Metropolis-Hastings(MH)算法。相对于传统的MH-MCMC采样器的一个进步是延迟抑制自适应大都会(DRAM)。在本文中,我们提出了MatDRAM,随机优化,采样,和蒙特卡洛集成工具箱在MATLAB中实现了一个变体的DRAM算法探索的数学目标函数的任意维度,特别是,贝叶斯模型的后验分布在数据科学,机器学习和科学推理。MatDRAM的设计目标包括MCMC模拟的几乎完全自动化、用户友好性、完全确定性的再现性和模拟的重启功能。我们还讨论了一种技术的实现细节,以自动监测和确保减少适应的建议分布的DRAM算法和有效地存储所得到的模拟马尔可夫链的方法。MatDRAM库是开源的,MIT许可的,并且作为ParaMonte库的一部分在https://github.com/cdslaborg/paramonte上永久定位和维护。
2020-10-08 astro-ph.IM cs.CE physics.data-an
Mini-batch Metropolis-Hastings MCMC with Reversible SGLD Proposal
Stanford University(斯坦福大学);University of Sydney(悉尼大学)
传统的MCMC算法是计算密集型的,并且不能很好地扩展到大数据。特别地,Metropolis-Hastings(MH)算法需要遍历整个数据集以在每次迭代中评估似然比。我们提出了一个通用的框架,用于执行MH-MCMC使用小批量的整个数据集,并表明,这会产生大约一个缓和的平稳分布。我们证明了该算法保留了原始目标分布的模式,并推导出一个近似的误差界,并对似然性做了温和的假设。为了进一步扩展该算法的效用,高维设置,我们构建了一个建议,使用随机梯度的向前和向后移动,并表明该建设导致合理的接受概率。我们证明了我们的算法在低维模型和高维神经网络应用的性能。特别是在后一种情况下,与流行的优化方法相比,我们的方法对学习率的选择更鲁棒,并提高了测试准确性。
2019-08-28 cs.LG stat.ML
When Metropolis and Hastings Meet Bradley and Terry: Exact MCMC From Preference Voting
Technion – Israel Institute of Technology(以色列理工学院)
该研究针对生成建模中条件采样的挑战,提出基于偏好投票的精确MH采样器Pref-MH,利用成对比较反馈实现最优条件采样,在多模态生成任务中验证了其实用性。
2026-09-02 cs.LG stat.CO stat.ML
Metropolis-Hastings view on variational inference and adversarial training
National Research University Higher School of Economics(国家研究型高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Samsung AI Center Moscow(三星莫斯科人工智能中心);HSE(高等经济学院);Skoltech(斯科尔科沃科学技术研究院)
MCMC方法的一个重要部分可以被认为是具有不同建议分布的Metropolis-Hastings(MH)算法。从这个角度来看,构造采样器的问题可以归结为这样一个问题--如何为MH算法选择一个方案?为了解决这个问题,我们建议学习一个独立的采样器,最大限度地提高MH算法的接受率,正如我们所证明的,这是高度相关的传统的变分推断。对于贝叶斯推断,所提出的方法相比有利的替代品,从后验分布的样本。在同样的方法下,我们超越了经典MCMC方法的范围,从头开始推导生成对抗网络(GANs)框架,将生成器视为提案,将测试作为验收测试。在真实世界的数据集上,我们改进了Frechet Inception Distance和Inception Score,使用不同的GANs作为MH算法的建议分布。特别是,我们在ImageNet上展示了最近提出的BigGAN模型的改进。
2019-06-09 cs.AI cs.LG stat.ML
Reinforcement Learning for Adaptive MCMC
Newcastle University(纽卡斯尔大学);University of Sydney(悉尼大学);Alan Turing Institute(阿兰·图灵研究所)
本文提出强化学习Metropolis-Hastings框架,将自适应MCMC的转移核视为确定性策略,通过策略梯度优化学习率,确保遍历性,并在PosteriorDB基准上以约90%任务优势超越现有无梯度自适应算法。
2024-05-22 cs.LG stat.CO
Exact recording of Metropolis-Hastings-class Monte Carlo simulations using one bit per sample
Metropolis-Hastings(MH)算法是一类马尔可夫链蒙特卡罗方法的原型,该方法提出状态之间的转换,然后接受或拒绝该建议。这些方法生成随机样本的相关序列,其传达关于期望的概率分布的信息。决定如何记录这些信息是MH类算法实现的实际设计中的重要一步。许多实现会丢弃大部分此类信息,以降低对存储容量和磁盘写入吞吐量的需求。在这里,我们描述了如何记录一个位串包含1的接受和0的拒绝允许完整的样本序列被记录,没有信息丢失,促进解耦的模拟设计从数据分析的约束。记录每个样本仅使用一位,这是获取有关所需分布的信息的速率的上限。我们还展示了该方法,并量化其好处的一个非平凡的胶体系统中的带电粒子的典型合奏。该方法对系统或仿真设计没有任何限制,并与MH算法的后代兼容。
2011-05-11 physics.comp-ph physics.data-an stat.ME
Tuning of MCMC with Langevin, Hamiltonian, and other stochastic autoregressive proposals
通过离散化朗之万扩散或哈密顿动力学推导出的Metropolis-Hastings MCMC提案是随机自回归提案的例子,这些提案形成了具有等效可计算性的自然更广泛的提案类别。我们分析大都会黑斯廷斯MCMC与随机自回归建议适用于目标分布是绝对连续的一些高斯分布,以获得预期的接受概率和预期的跳跃大小,以及计算成本的措施,在高维度的限制表达式。因此,我们能够统一现有的分析,这些类的建议,并扩展的理论结果,提供有用的指导方针,调整的建议,最佳的计算效率。对于简化的Langevin算法,我们发现,它是最佳的,以采取至少三个步骤的建议之前的Metropolis-Hastings接受-拒绝步骤,和汉密尔顿/混合蒙特卡罗,我们提供了新的指导方针的最佳数量的集成步骤和标准选择最佳的质量矩阵。
2016-10-03 math.PR stat.CO
Intrepid MCMC: Metropolis-Hastings with Exploration
针对工程中复杂非标准化分布采样时普通MH算法多模态(尤其是不连通模态)采样能力不足的问题,提出Intrepid MCMC,通过简单坐标变换提升寻模能力与收敛速率,经实例验证性能更优,还分析了混合行为、维度效率并讨论实现,在两自由度振荡器贝叶斯参数推断中体现效用。
2024-11-26 stat.ME
Robust, partially alive particle Metropolis-Hastings via the Frankenfilter
Lancaster University(兰卡斯特大学);Durham University(杜伦大学);University of Bristol(布里斯托大学)
针对隐马尔可夫模型中条件似然为零导致粒子滤波失效的问题,提出Frankenfilter,通过固定模拟次数上下限并设定成功目标,实现鲁棒且高效的似然估计,在伪边际Metropolis-Hastings中比标准粒子滤波效率提高2-3倍。
2026-09-03 stat.ME
Convergence Rates of Two-Component MCMC Samplers
包括Gibbs和条件Metropolis-Hastings采样器在内的连续MCMC算法通常用于从多变量概率分布中采样。关于吉布斯算法的一个长期存在的问题是确定性扫描(系统扫描)采样器是否比随机扫描采样器收敛得更快。我们回答这个问题时,采样器涉及两个组件通过建立一个精确的定量关系$L^2$的两个采样器的收敛速度。该关系表明,确定性扫描采样器收敛得更快。我们还建立了定性的关系之间的收敛速度的两个组件的吉布斯采样器和一些条件Metropolis-Hastings变体。例如,它示出,如果一些两个组件的条件Metropolis-Hastings采样器是几何遍历的,那么相关联的吉布斯采样器。
2021-05-09 math.ST stat.TH
An Asymptotically Efficient Metropolis-Hastings Sampler for Bayesian Inference in Large-Scale Educational Measuremen
本文讨论了由\citeA{MarsmanIsing}提出的梅特罗波利斯-黑斯廷斯算法。该算法是从第一性原理推导出来的,并证明了该算法随着数据量的增加而变得更有效,并满足大规模教育测量日益增长的需求。
2018-08-12 stat.CO
Improved Metropolis-Hastings algorithms via landscape modifcation with applications to simulated annealing and the Curie-Weiss model
本文通过引入阈值参数修改能量景观,提出了改进的Metropolis-Hastings和模拟退火算法,在鼓励探索与利用间取得平衡,并在Curie-Weiss模型及低温模拟退火中显著提升了向基态的收敛速度与全局最小值间的隧道穿越时间。
2023-07-19 math-ph math.MP math.OC
The Metropolis-Hastings algorithm
这篇短文是对梅特罗波利斯-黑斯廷斯算法的一个独立的基本介绍,该算法是一种普遍存在的工具,用于从任意分布生成相关模拟。该文件说明了简单的例子与R代码的方法的原则,并提供了参考最近的扩展方法。
2016-01-27 stat.CO
A Review of Multiple Try MCMC algorithms for Signal Processing
信号处理中的许多应用需要在给定一组观测数据的情况下估计一些感兴趣的参数。更具体地说,贝叶斯推断需要计算{ \it a-posteriori}估计,这往往是复杂的多维积分表示。不幸的是,这些估计的解析表达式不能在大多数现实世界的应用中找到,和蒙特卡罗方法是唯一可行的方法。马尔可夫链蒙特卡罗(MCMC)算法形成了一类非常强大的蒙特卡罗技术。它们生成一个马尔可夫链,使得其平稳分布与目标后验密度一致。在这项工作中,我们使用多个候选人对MCMC方法进行了彻底的审查,以便在每次迭代中选择链的下一个状态。相对于经典的Metropolis-Hastings方法,多尝试技术的使用促进了对样本空间的探索。我们提出了不同的多尝试Metropolis方案,Ensemble MCMC方法,粒子梅特罗波利斯-黑斯廷斯算法和延迟拒绝Metropolis技术。我们强调的局限性,好处,连接和不同的方法之间的差异,并比较它们的数值模拟。
2018-01-27 stat.CO stat.ML
Directional Metropolis-Hastings
我们提出了一个新的内核的Metropolis Hastings称为定向Metropolis Hastings(DMH)与多变量更新的建议内核具有状态相关的协方差阵。我们使用目标分布在当前状态下的导数来改变建议分布的方向,从而产生更合理的建议。研究了算法的几何遍历性条件,给出了算法收敛的充分必要条件。提出了一种自适应更新方差参数的方案,并研究了自适应算法的遍历性条件。我们证明了我们的算法在贝叶斯广义线性模型问题的性能。
2017-10-26 stat.CO
Perturbation Bounds for Monte Carlo within Metropolis via Restricted Approximations
蒙特卡罗内大都会(MCwM)算法,解释为一个扰动的大都会-黑斯廷斯(MH)算法,提供了一种近似抽样时,目标分布是棘手的方法。假设未扰动的马尔可夫链是几何遍历的,我们显式估计的第n步分布的扰动MCwM和未扰动的MH链之间的差异。这些界限是基于新的扰动结果的马尔可夫链的利益超出MCwM设置。为了应用该边界,我们需要控制两个链的转移概率之间的差异,并验证扰动链的稳定性。
2019-07-30 cs.NA math.NA math.PR
Efficient implementation of Markov chain Monte Carlo when using an unbiased likelihood estimator
当一个无偏估计量的可能性内使用的大都会-黑斯廷斯链,它是必要的权衡的数量的蒙特卡罗样本用于构建这个估计对渐近方差的平均值计算在这个链。许多蒙特卡罗样本通常会导致Metropolis-Hastings平均值的渐近方差低于使用较少样本的相应Metropolis-Hastings平均值。然而,构造似然估计量所需的计算时间随着蒙特卡罗样本的数量而增加。假设对数似然估计引入的加性噪声的分布是高斯分布,方差与蒙特卡罗样本的数量成反比,并且与评估的参数值无关,我们提供了选择样本数量的指南。我们证明了我们的结果,考虑随机波动模型应用于股票指数收益。
2014-09-13 stat.ME
A multiple-try Metropolis-Hastings algorithm with tailored proposals
我们提出了一个新的多尝试梅特罗波利斯-黑斯廷斯算法设计时,量身定制的建议分布是特别有益的。该算法是基于一个给定的无环图$G$,其中的一个节点在$G$,$k$说,包含当前状态的马尔可夫链和剩余的节点包含建议的状态通过应用定制的建议分布。梅特罗波利斯-黑斯廷斯算法在两种类型的更新之间交替。第一种更新类型是使用定制的建议分布在$G$中除节点$k$之外的所有节点中生成新状态。第二种更新类型是生成$k$的新值,从而改变当前状态的值。我们评估所提出的方案的有效性,在一个例子中,与先前定义的目标和建议的分布。
2018-07-05 stat.CO