Stability of Noisy Metropolis-Hastings
伪边缘马尔可夫链蒙特卡罗方法采样从棘手的分布得到了最近的兴趣，并已在理论上进行了深入的研究。它们的主要吸引力是它们是精确的，在这个意义上，它们的目标是边缘正确的不变分布。然而，伪边缘马尔可夫链可能表现出差的混合和向其目标的缓慢收敛。作为一种替代方案，可以模拟一个微妙不同的马尔可夫链，其中更好的混合是可能的，但牺牲了精确度属性。这是嘈杂的算法，最初概念化为蒙特卡罗内的大都市（MCWM），这也被研究，但在较小的程度上。本文提供了噪声算法的进一步表征，重点是基本的稳定性，如正递归和几何遍历性。从一个标准的Metropolis-Hastings链继承几何遍历的充分条件，以及收敛的不变分布向真正的目标分布。
2015-03-24 stat.CO
On Disturbance State-Space Models and the Particle Marginal Metropolis-Hastings Sampler
我们调查非线性状态空间模型没有一个封闭形式的过渡密度，并建议重新制定这样的模型，其潜在的噪声变量，而不是其潜在的状态变量。这样一来，易处理的噪声密度就取代了难处理的跃迁密度。对于诸如辅助粒子滤波器之类的重要性抽样方法，这使得能够计算重要性权重，否则它们不能计算。作为案例研究，我们采取了两个多元海洋生物地球化学模型，并进行状态和参数估计使用粒子边际Metropolis-Hastings采样。对于这个采样器内的粒子滤波器，我们比较了几个建议的策略，噪声变量，所有的基础上lookaheads与无味卡尔曼滤波器。这些策略进行了比较，使用传统的手段来评估大都会黑斯廷斯效率，以及与一种新的度量称为条件接受率评估使用估计的后果，而不是确切的，可能性。结果表明，该模型的实用性重新制定的噪声变量，特别是快速混合过程模型。
2013-12-10 stat.CO
Metropolis-Hastings algorithms with autoregressive proposals, and a few examples
我们分析了随机AR（1）过程方案下的梅特罗波利斯-黑斯廷斯算法的计算效率。这些建议包括，作为一个子类，离散朗之万扩散（例如MALA）和离散哈密顿动力学（例如HMC）。对于目标分布相对于高斯分布是绝对连续的并且高斯分布的协方差允许有非对角项的情况，我们推导了具有一般随机AR（1）过程建议的MCMC方法的期望接受率和期望跳跃大小的表达式。这使我们能够扩展已知的几种MCMC方法，以及确定这种类型的新MCMC方法的效率。在混合蒙特卡罗的特殊情况下，我们可以确定最佳的积分时间和质量矩阵的选择的影响。通过包括Metropolis-Hastings的影响，我们还扩展了Fox和Parker的结果，他们使用矩阵分裂技术来分析从高斯分布采样的随机AR（1）过程的性能并提高其效率。
2016-05-19 stat.CO
Multiplicative random walk Metropolis-Hastings on the real line
本文提出了基于乘法的随机游动Metropolis Hastings（MH）算法。我们称之为随机俯冲MH（RDMH）算法。这种算法，即使简单的应用，没有研究早期的马尔可夫链蒙特卡罗文献。相关的内核被证明具有标准的属性，如不可约性，非周期性和哈里斯复发下一些温和的假设。这些保证了内核的基本收敛性（遍历性）。进一步的内核被证明是几何遍历的一大类目标密度$\mathbb{R}$。这类甚至包含现实的目标密度，随机游动或朗之万MH不是几何遍历。三个仿真实验证明了RDMH算法的混合特性及其在实际线路上优于标准MH算法。一个股价回报数据进行了分析，并与文献中的结果进行了比较。
2011-08-15 stat.CO
Particle filtering within adaptive Metropolis Hastings sampling
我们表明，它是可行的，进行精确的贝叶斯推断的非高斯状态空间模型使用自适应大都会Hastings采样计划的似然近似的粒子滤波器。此外，基于法线混合提议的自适应独立Metropolis Hastings采样器在计算上比自适应随机游动提议有效得多，因为与近似似然的成本相比，构造良好自适应提议的成本可以忽略不计。独立的大都会黑斯廷斯提案也很有吸引力，因为它们很容易在多个处理器上并行运行。我们还表明，当使用的粒子滤波器，任何模型的边际似然是在一个有效的和无偏的方式，使模型比较简单。
2009-11-02 stat.CO stat.ME
Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals
马尔可夫链蒙特卡罗（MCMC）方法是计算复杂概率分布的有力工具。然而，这种方法的性能是严格依赖于适当调整的参数，其中大多数是困难的，如果不是不可能知道一个给定的目标分布的先验。自适应MCMC方法旨在通过允许在采样期间基于来自链的先前样本更新参数来解决这个问题，代价是需要新的理论分析来确保收敛。在这项工作中，我们扩展了自适应MCMC方法的收敛理论，建立在一个强大的参数密度估计，称为规范化流一类新的方法。特别是，我们考虑一个独立的大都会-黑斯廷斯采样器，其中的建议分布是由一个归一化流，其参数更新使用随机梯度下降。我们探讨了这一过程的实际性能的合成设置和物理场系统的分析，并比较它对自适应和非自适应MCMC方法。
2021-10-25 stat.CO
Adaptively switching between a particle marginal Metropolis-Hastings and a particle Gibbs kernel in SMC$^2$
针对难以计算似然的状态空间模型后验采样问题，提出在SMC²迭代中自适应切换PMMH和PG粒子MCMC核的方法，显著提升算法效率并开源代码。
2023-07-21 stat.CO
Fully Adaptive Gaussian Mixture Metropolis-Hastings Algorithm
马尔可夫链蒙特卡罗方法广泛用于信号处理和通信中的统计推断和随机最优化。在这项工作中，我们引入了一个有效的自适应梅特罗波利斯-黑斯廷斯算法，从通用的多模态和多维目标分布的样本。建议密度是高斯密度的混合，其中所有参数（权重、均值向量和协方差阵）使用应用简单递归规则的所有先前生成的样本来更新。一维和二维的情况下提供的数值结果。
2013-03-15 stat.CO stat.ME
Mixing Time of Metropolis-Hastings for Bayesian Community Detection
研究了贝叶斯社区检测的Metropolis-Hastings算法的计算复杂性。首先在文献中建立了随机块模型在最优信噪比条件下自然先验分布的后验强相合性结果。然后，我们给出了一组条件，保证快速混合的一个简单的大都会黑斯廷斯算法。混合时间分析基于对后验比的仔细研究和控制马尔可夫链的谱间隙的典型路径参数。
2018-11-06 math.ST stat.CO stat.TH
Exact active subspace Metropolis-Hastings, with applications to the Lorenz-96 system
我们认为，积极的子空间的应用，通知梅特罗波利斯-黑斯廷斯算法，从而积极地减少采样问题的计算维数。我们表明，原来的配方，提出了康斯坦丁，肯特，和Bui Thanh（SIAM J. Sci.计算：38（5）：A2779-A2805，2016），具有渐近偏倚。使用伪边缘参数，我们开发了一个渐近无偏的变体。我们的算法被应用到一个合成的多模态目标分布以及一个Lorenz-96系统的参数推断问题的贝叶斯公式。
2017-12-07 stat.AP stat.CO
Maximal couplings of the Metropolis-Hastings algorithm
耦合在马尔可夫链蒙特卡罗算法的分析中起着核心作用，并且越来越频繁地出现在算法本身中，例如在收敛诊断、并行化和方差减少技术中。现有的梅特罗波利斯-黑斯廷斯算法的耦合处理的建议和接受的步骤分开，并没有达到耦合不等式给出的一步会议概率的上限。本文介绍了最大的耦合，实现这一界限，同时保持目前的方法的实用优势。我们考虑这些耦合的属性，并研究其行为的数值例子的选择。
2020-10-16 stat.CO stat.ME
Score-Based Metropolis-Hastings Algorithms
Duke University（杜克大学）；Morgan Stanley（摩根士丹利）
针对分数模型缺乏能量函数而无法应用Metropolis-Hastings调整的问题，本文基于细致平衡条件提出新损失函数来估计接受概率，从而将分数模型与MH算法结合，并在多种场景下验证了其有效性。
2025-03-31 cs.LG stat.CO
Error bounds for Metropolis-Hastings algorithms applied to perturbations of Gaussian measures in high dimensions
Metropolis-adjusted Langevin算法（MALA）是一种用于从连续分布中近似采样的Metropolis-Hastings方法。我们推导上界的收缩率在Kantorovich-Rubinstein-Wasserstein距离的MALA链与半隐式欧拉建议适用于对数凹概率测度，有一个密度w.r. t。高斯参考测量。对于足够“规则”的密度，估计是维度无关的，并且它们对于足够小的步长$h$也不依赖于维度。在极限$h\downarrow0$下，边界接近凸势场中过阻尼Langevin扩散的已知最优收缩率。类似的方法也适用于大都会黑斯廷斯连锁与奥恩斯坦乌伦贝克建议。在这种情况下，得到的估计仍然是独立的维度，但不太理想，反映了一个事实，即MALA是一个高阶近似的扩散限制比大都会黑斯廷斯与奥恩斯坦-乌伦贝克建议。
2014-01-16 math.PR stat.CO
Efficient Mirror-type Kernels for the Metropolis-Hastings Algorithm
本文提出融合 Mirror 移动与 MALA 的 MirrorMALA 核，并结合新型高维白化变换分析 GLMMs，在相近计算成本下实现显著更高采样效率。
2025-06-07 stat.CO
Metropolis-Hastings within Partially Collapsed Gibbs Samplers
部分塌陷吉布斯（PCG）采样器提供了一种新的策略，以改善吉布斯采样器的收敛性。PCG通过减少其母吉布斯采样器的某些绘制中的条件来实现更快的收敛。虽然这可以显著提高收敛性，但必须注意确保保持平稳分布。在PCG采样器中采样的条件分布可能是不相容的，并且改变它们的顺序可能会打乱链的平稳分布。在部分或全部更新中使用Metropolis-Hastings（MH）更新时，必须格外小心。减少吉布斯采样器中MH的条件可以改变稳态分布，即使在不使用MH的情况下PCG采样器也可以完美工作。事实上，在文献中提倡的这种采样器的数量实际上并不具有目标平稳分布。在这篇文章中，我们说明了可能出现的挑战，当使用MH在PCG采样器和开发一个通用的策略，使用这种更新，同时保持所需的平稳分布。当在PCG采样方案中选择不同的MH时，理论论证提供了指导。最后，我们用几个应用实例说明了PCG采样器中的MH及其计算优势。
2014-03-07 stat.CO
A note on diffusive/random-walk behaviour in Metropolis--Hastings algorithms
University College London（伦敦大学学院）
该研究探讨了Metropolis-Hastings算法中扩散与随机游走行为的收敛特性，指出在特定条件下，随机游走算法的收敛速率与目标分布的尾部性质相关。
2026-03-07 math.PR stat.CO
A large deviation principle for the empirical measures of Metropolis-Hastings chains
本文针对一般状态空间上的 Metropolis-Hastings 链，首次证明其经验测度满足大偏差原理，并依据接受与拒绝动力学刻画速率函数，为分析该类 MCMC 方法的效率提供了新的理论基础。
2023-08-14 math.PR stat.CO
Gradient Estimation via Differentiable Metropolis-Hastings
针对Metropolis-Hastings轨迹因离散接受/拒绝步骤不可微、难以估计期望梯度的问题，提出基于重耦合链的可微采样方法，证明了估计量的强一致性与中心极限定理，并在贝叶斯分析等场景验证了有效性。
2024-06-20 math.PR math.ST stat.CO
Adaptive Independent Metropolis-Hastings by Fast Estimation of Mixtures of Normals
我们构建了一个自适应独立的大都会黑斯廷斯采样器，使用混合的法线作为建议分布。为了充分利用自适应采样的潜力，我们的算法经常更新法线的混合，从链的早期开始。该算法是建立在速度和可靠性，其采样性能进行评估与真实和模拟的例子。我们的文章概述了自适应采样保持的条件，并给出了一个容易获得的证明，即在这些条件下，采样方案生成收敛到目标分布的迭代。
2008-01-11 stat.AP stat.CO stat.ME
Using parallel computation to improve Independent Metropolis--Hastings based estimation
在本文中，我们考虑的影响，并行的原始功率可以利用一个通用的梅特罗波利斯-黑斯廷斯算法，如果建议的值是独立的。特别是，我们提出了改进的独立梅特罗波利斯-黑斯廷斯算法，显着降低任何估计来自MCMC输出的方差，为零计算成本，因为这些改进是基于一个固定数量的目标密度评估。此外，本文中开发的技术不会危及算法的马尔可夫收敛特性，因为它们基于Gelfand和Smith（1990）的Rao-Blackwell原则，Casella和Robert（1996），Atchade和Perron（2005）以及Douc和Robert（2010）已经利用了这些原则。我们说明了这些改进的玩具正常的例子和经典的概率回归模型，但强调的事实是，它们适用于任何情况下，独立的大都会黑斯廷斯是适用的。
2011-03-24 cs.DC cs.DS stat.CO
Constructing Metropolis-Hastings proposals using damped BFGS updates
在系统辨识中，根据观测到的系统性能数据计算系统参数及其函数的贝叶斯估计是一个常见的问题。这是一个以前研究的问题，随机模拟方法已被检查使用流行的大都市-黑斯廷斯（MH）算法。该先前的研究已经确定了调整{proposal}分布的公认困难，使得MH方法提供具有充分混合的实现以提供有效收敛。本文提出了一种调整建议的方法，并以经验为基础进行了研究，该方法使用了从数值优化文献中借来的思想，围绕Hessians的有效计算，以便将目标后验的梯度和曲率信息纳入建议中。
2018-05-08 q-fin.CP stat.CO
Randomized Reduced Forward Models for Efficient Metropolis--Hastings MCMC, with Application to Subsurface Fluid Flow and Capacitance Tomography
通过马尔可夫链蒙特卡罗（MCMC）的贝叶斯建模和计算推断是用于大规模不确定性量化的原则性框架，尽管在实践中受限于以最简单的形式实现时的计算成本，该最简单的形式需要在MCMC的每次迭代处模拟精确的计算机模型。延迟接受Metropolis-Hastings MCMC利用前向映射的简化模型来降低每次迭代的计算成本，尽管这必然会降低统计效率，但不小心会导致计算估计的计算成本没有降低到所需的精度。随机化前向映射的简化模型可以通过保持每次迭代的低成本以及避免统计效率的明显损失来显著提高计算效率。随机化映射是通过随机化和局部校正的确定性简化模型的后验自适应调整来构造的。同样地，近似的后验分布可以被视为由与简化图一起使用的修改的似然函数引起的，其中参数被调谐以优化对正确的后验分布的近似的质量。自适应MCMC算法的条件允许实际的近似和算法，保证遍历的目标分布。良好的统计和计算效率的例子中表现出的地热储层和电容层析成像的大规模数值模型的校准。
2020-09-17 stat.CO
Exact Convergence Rate Analysis of the Independent Metropolis-Hastings Algorithms
关于Metropolis-Hastings算法的一个著名难题是得到其收敛速度的精确界。此外，马尔可夫链理论中一个基本但经常被忽视的问题是研究不同初始化的收敛速度。本文研究了一般状态空间和离散状态空间上的独立Metropolis-Hastings（IMH）算法的上述两个问题。我们推导了IMH算法的精确收敛速度，并证明了IMH算法的不同确定性初始化具有相同的收敛速度。在一般状态空间上得到了IMH算法的精确收敛速度。
2021-08-19 math.PR math.SP math.ST
Accelerating pseudo-marginal Metropolis-Hastings by correlating auxiliary variables
伪边缘Metropolis-Hastings（pmMH）是一种用于模型中的贝叶斯推断的强大方法，其中后验分布是分析上难以处理的或直接评估计算上昂贵的。它通过在模型中引入额外的辅助变量来运行，并形成扩展的目标分布，然后可以逐点评估。在许多情况下，标准的Metropolis-Hastings然后应用于从扩展的目标中采样，并且可以通过边缘化来获得所寻求的后验。然而，在一些实现中，这种方法遭受不良混合，因为辅助变量是从独立建议中采样的。我们提出了一个修改的pmMH算法中，一个Crank-Nicolson（CN）的建议，而不是使用。这导致我们在辅助变量中引入正相关。我们研究如何调整CN的建议和它的混合所产生的PMMH采样器的影响。结论是，所提出的修改可以有一个有益的影响，混合的马尔可夫链和计算成本的pmMH算法的每次迭代。
2015-11-17 stat.CO stat.ML
Note on the computation of the Metropolis-Hastings ratio for Birth-or-Death moves in trans-dimensional MCMC algorithms for signal decomposition problems
可逆跳跃MCMC（RJ-MCMC）采样技术允许在相干贝叶斯框架中联合处理模型选择和参数估计问题，自从Andrieu和Doucet的开创性论文（IEEE Trans. Signal Process.，47（10），1999）。任何RJ-MCMC采样器的实现的关键是计算所谓的大都会-黑斯廷斯-格林（MHG）比率，它决定了建议移动的接受概率。事实证明，在Andrieu和Doucet的论文中给出的MHG比的表达式对于“要么死要么死”移动-最简单的一种跨维移动，几乎在RJ-MCMC的所有应用中都使用到信号分解问题-是错误的。不幸的是，这个错误已经被复制在许多后续的论文处理的RJ-MCMC采样在信号处理文献。本文讨论了MHG比的计算，重点讨论了建议核可以分解为简单核的混合的情况，MHG比很容易计算。我们提供了充分的条件下，MHG比的混合物可以推导出MHG比的基本内核，它是由。作为应用，我们考虑了非死即死的移动情形，并给出了Andrieu和Doucet论文中错误率的修正表达式。
2012-08-09 stat.CO
A vanilla Rao--Blackwellization of Metropolis--Hastings algorithms
Casella和Robert [Biometrika 83（1996）81- 94]提出了一个用于Accept-Reject和Metropolis-Hastings格式的一般Rao-Blackwellization原理，该原理导致所得估计量的方差显著减小，但计算和存储成本很高。采用一个完全不同的角度来看，我们引入一个通用的计划，而不是保证方差减少在所有的大都市-黑斯廷斯为基础的估计，同时保持控制的计算成本。我们建立了一个中心极限定理的改进估计和玩具的例子和概率模型估计的性能说明。
2011-03-08 math.ST stat.CO stat.ME
Correlated pseudo-marginal Metropolis-Hastings using quasi-Newton proposals
伪边缘Metropolis-Hastings（pmMH）是一种通用的算法，用于从不容易逐点评估的目标分布中采样。然而，pmMH需要良好的建议分布来有效地从目标中采样，这在实践中可能是有问题的。当标准的随机游走方案效率低下时，这对于高维目标尤其是一个问题。我们扩展了pmMH，允许构建的建议的基础上，从多个过去的迭代信息。因此，可以采用拟牛顿（qN）方法来形成利用梯度信息将马尔可夫链引导到高概率区域的建议，并构造局部曲率的近似以缩放步长。所提出的方法证明了几个问题，这表明，qN建议可以比其他常见的海森为基础的建议更好地执行。
2018-07-27 stat.CO stat.ML
Understanding the Hastings Algorithm
Hastings算法是计算科学中的一个重要工具。虽然在数学上可以通过详细的平衡来证明，但在概念上很难理解。在这里，我们提出了两种互补和直观的方法来推导和理解算法。在我们的框架中，可以直接看到著名的梅特罗波利斯-黑斯廷斯算法在所有黑斯廷斯算法中具有最高的接受概率。
2014-08-19 stat.CO
Robust random walk-like Metropolis-Hastings algorithms for concentrating posteriors
出于贝叶斯推断与高信息量的数据，我们分析的性能的随机游动一样的梅特罗波利斯-黑斯廷斯算法的近似抽样越来越集中的目标分布。我们专注于高斯的建议，使用基于海森近似的目标协方差。通过前推转移核，我们证明了对于高斯目标测度，相应的梅特罗波利斯-黑斯廷斯算法的谱隙与后验的浓度无关，即，用于贝叶斯推断的观测数据中的噪声水平。此外，通过利用其拉普拉斯近似的集中后验的收敛性，我们将分析扩展到非高斯目标的措施，无论是集中在一个单一的点或沿线性流形。特别是，在该设置中，我们表明，平均接受率以及合适的大都会-黑斯廷斯马尔可夫链的预期平方跳跃距离不恶化的目标浓度。
2022-02-24 cs.NA math.NA math.PR
On the utility of Metropolis-Hastings with asymmetric acceptance ratio
梅特罗波利斯-黑斯廷斯算法允许从任何概率分布$π$中渐近采样。最近有很多工作致力于开发MH更新的变体，其可以处理这样的评估是不可能的情况，并且还保证从$π$渐近地采样。已经出现的最流行的方法可以说是伪边缘MH算法，其用$π$的非归一化版本的无偏估计代替$π$。替代的伪边缘算法，而不是依赖于无偏估计的MH接受率也被提出。这些算法可以具有比标准PM算法更好的属性。已知这两类算法的收敛性取决于所涉及的估计量的可变性，并且保证减少可变性以减少遍历平均值的渐近方差，并且在大多数感兴趣的情况下缩短老化期或收敛到平衡。一个简单的方法来减少变异性，服从并行计算，由平均独立估计。然而，虽然在伪边际算法中对$π$的估计量求平均值可以保证从$π$中渐近采样，但对接受比估计求平均值会破坏详细的平衡，导致不正确的结果。我们提出了一个原始的方法，允许正确实施这一想法。我们建立的理论性质，平行的标准PM算法和上述讨论。我们证明了各种推理问题的方法的兴趣。特别是，我们表明，收敛到平衡，可以显着缩短，因此提供了可能性，以减少用户的等待时间，在一个通用的方式时，并行计算架构是可用的。
2018-03-26 stat.CO
Rademacher complexity for Markov chains : Applications to kernel smoothing and Metropolis-Hasting
根据Talagrand的开创性方法，将随机变量独立序列的Rademacher复杂性的概念推广到马尔可夫链。所提出的“块Rademacher复杂性”（一类函数）的概念来自更新理论，并允许控制基于Harris马尔可夫链的经验过程的上确界（在该类函数上）的期望值以及超额概率。对于Vapnik-Chervonenkis类型的类，建立了“块Rademacher复杂性”的界限。这些界限基本上取决于样本量和再生时间的概率尾部。该方法被用来获得平稳测度的核密度估计的收敛速度，并推导出Metropolis-Hasting算法的浓度不等式。
2018-07-06 math.ST stat.CO stat.TH
Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢，如巨大的数据集所例示的。在本文中，我们提供了一种方法，以减少计算成本的算法，一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分，旨在大大减少计算时间，超过相应的接受概率的减少。除法将“先验x似然”项分解为乘积，使得其某些分量的计算成本比其他分量低得多。每个分量可以顺序地与统一变量进行比较，第一次拒绝表示不再考虑所提出的值，这种方法可以反过来作为利用手头计算机的并行能力的预取算法的一部分来加速。我们说明了一系列的玩具和现实的例子，这些加速功能。
2014-06-10 stat.CO stat.ME
Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题，通常使用粒子和马尔可夫链蒙特卡罗（MCMC）方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings（PIMH）生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的，并且便于构造置信区间。该方案只需要访问现成的粒子滤波器（PF），因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
Quasi-Newton particle Metropolis-Hastings
Particle Metropolis-Hastings在一般非线性状态空间模型（SSM）中实现贝叶斯参数推断。然而，在许多实施方式中，使用随机游动建议，并且如果没有使用繁琐的导频运行正确地调谐，则这可能导致不良的混合。因此，我们考虑一个新的建议的启发，准牛顿算法，可以实现类似的（或更好的）混合较少的调整。与其他基于Hessian的建议相比，它的优点是它只需要估计对数后验的梯度。一个可能的应用是参数推断在具有挑战性的类SSM棘手的可能性。我们通过对咖啡期货合约的对数收益率进行建模，利用具有$α$稳定观测值的随机波动率模型，来验证这一应用和新建议的好处。
2015-09-02 q-fin.CP stat.CO stat.ML
A general perspective on the Metropolis-Hastings kernel
自成立以来，Metropolis-Hastings内核已经以复杂的方式应用于解决更具挑战性和多样化的采样问题。它的成功源于这样一个事实所带来的灵活性，即它的核查和采样实施取决于局部"详细平衡“条件，而不是以典型的棘手积分方程形式的全局条件。虽然在最简单的场景中检查局部条件是常规的，但对于涉及辅助结构和变量的复杂应用来说，这要困难得多。我们的目标是开发一个框架，使建立复杂的马尔可夫链蒙特卡罗内核的正确性成为一个纯粹的机械或代数练习，同时通过允许更强烈地关注基本特征-嵌入分布的选择，对合和偶尔的接受函数-而不是诱导，核心的样板结构往往会掩盖什么是重要的。该框架还可以用于验证不满足详细平衡的内核，即不可逆的内核，而是其修改版本。
2020-12-29 stat.CO stat.ME
Autocovariance and Optimal Design for Random Walk Metropolis-Hastings Algorithm
本文研究了随机游走Metropolis-Hastings算法的自协方差结构，提出了针对对称单峰分布的最优提议设计，并探讨了高维情况下的调谐准则。
2026-02-28 math.OC math.ST stat.CO
Metropolis-Hastings transition kernel couplings
耦合在马尔可夫链收敛分析和新型马尔可夫链蒙特卡罗估计、诊断和方差减少技术的构建中起着核心作用。可能的耦合的集合通常是棘手的，使寻找紧边界和有效估计器的努力受挫。为了解决这一挑战的算法在大都会黑斯廷斯（MH）家庭，我们建立了一个简单的表征MH过渡内核耦合的集合。然后，我们扩展这一结果来描述一组最大的耦合的MH内核，解决一个悬而未决的问题O 'Leary等人。我们的研究结果代表了一个进步，了解MH过渡内核和一个步骤向前耦合这类流行的算法。
2023-01-06 math.PR math.ST stat.CO
Augmented pseudo-marginal Metropolis-Hastings for partially observed diffusion processes
我们考虑非线性，多变量扩散过程的推断问题，满足伊藤随机微分方程（SDES），使用离散时间的数据，可能是不完整的，受到测量误差。我们的出发点是一个国家的最先进的相关伪边缘梅特罗波利斯-黑斯廷斯算法，它使用相关的粒子滤波器诱导连续的似然估计之间的强和正相关。然而，除非测量误差或维数很小，否则相关性会被粒子滤波器中的重采样步骤侵蚀。因此，我们提出了一种新的增强方案，允许条件的值的潜在过程中的观察时间，完全避免了需要的reservation步骤。我们整合了观察时间的不确定性与额外的吉布斯步骤。由此产生的伪边缘计划和现有的推理计划之间的连接扩散过程，给出了一个统一的推理框架，包括吉布斯抽样和伪边缘计划。该方法适用于三个例子，越来越复杂。我们发现，与竞争方法相比，我们的方法在整体效率上有了大幅提高。
2021-09-24 stat.CO stat.ME
Variance bounds and robust tuning for pseudo-marginal Metropolis--Hastings algorithms
本文为伪边缘Metropolis-Hastings算法提供了简单的渐近方差上下界，揭示了盲目遵循2015年调优建议可能掩盖算法严重问题，并提出更安全的替代调优准则及相关提议扩展。
2024-11-16 math.ST stat.CO stat.TH
Variance Reduction for Metropolis-Hastings Samplers
我们介绍了一个一般的框架，构造估计减少方差的随机游动大都市和大都市调整Langevin算法。由此产生的估计需要可以忽略不计的计算成本，并得出在后处理的方式利用所有的建议值的大都市算法。方差减少是通过产生控制变量，通过近似解决方案的泊松方程与目标密度的马尔可夫链。所提出的方法是基于近似的目标密度与高斯，然后利用精确的解决方案的泊松方程的高斯情况下。这导致使用两个关键元素的估计器：（i）来自泊松方程的控制变量，其包含在提议分布下的难处理的期望，（ii）第二控制变量，以减少后一难处理的期望的蒙特卡罗估计的方差。仿真数据的例子被用来说明令人印象深刻的方差减少实现高斯目标的情况下，以及相应的效果时，目标的高斯性假设被违反。贝叶斯逻辑斯谛回归和随机波动率模型的实际数据的例子验证了相当大的方差减少，实现了微不足道的额外计算成本。
2022-03-04 stat.CO stat.ME
Getting Started with Particle Metropolis-Hastings for Inference in Nonlinear Dynamical Models
本教程介绍了用于非线性状态空间模型参数推断的粒子Metropolis-Hastings（PMH）算法，以及统计编程语言R中的软件实现。我们采用分步方法与读者一起开发PMH算法（以及其中的粒子滤波器）的实现。这个最终的实现也可以作为CRAN存储库中的pmhtutorial包获得。在整个教程中，我们提供了一些关于算法如何操作的直觉，并讨论了一些解决方案，以解决实际中可能出现的问题。为了说明PMH的使用，我们考虑在线性高斯状态空间模型与合成数据和非线性随机波动率模型与真实世界的数据的参数推断。
2019-03-12 q-fin.ST stat.CO stat.ML
Precision Annealing Monte Carlo Methods for Statistical Data Assimilation: Metropolis-Hastings Procedures
统计数据同化（SDA）是将来自野外或实验室观测的信息转移到用户选择的产生这些观测的动力系统模型。数据是有噪声的，模型有误差;信息传递解决了以观测值为条件的模型状态的条件概率分布的性质。SDA中感兴趣的量是模型状态的函数的条件期望值，并且这些需要高维积分的近似评估。我们引入了一个条件概率分布，并使用退火拉普拉斯方法来确定的条件概率分布的最大值。当进入拉普拉斯方法时，退火方法缓慢地增加模型的精度项。在本文中，我们扩展的想法精密退火（PA）的蒙特卡罗计算的条件期望值使用Metropolis-Hastings方法。
2019-01-14 physics.data-an physics.geo-ph stat.CO
Barker's algorithm for Bayesian inference with intractable likelihoods
在这篇论文中，我们抽象和描述了一个简单的MCMC计划采样从棘手的目标密度。该方法已在Gonçalves等人（2017 a）中在跳跃扩散的特定背景下引入，并且基于Barker算法与简单的Bernoulli工厂类型方案配对，即所谓的2硬币算法。在许多情况下，它是一种替代标准的Metropolis-Hastings伪边缘方法模拟从棘手的目标密度。虽然巴克的是众所周知的效率略低于大都会-黑斯廷斯，我们的方法的主要优点是，它允许实现“边际巴克的”，而不是扩展的状态空间伪边际大都会-黑斯廷斯，由于接受/拒绝概率的特殊形式。我们将说明我们的方法的上下文中的贝叶斯推断离散观察Wright-Fisher家庭的扩散。
2017-09-22 stat.CO
Log-concave sampling: Metropolis-Hastings algorithms are fast
考虑了$\mathbb{R}^d$中强对数凹密度的采样问题，证明了Metropolis调整的Langevin算法（MALA）的混合时间的一个非渐近上界.该方法通过模拟一个马尔可夫链来抽取样本，该链是从一个适当的朗之万扩散的离散化中获得的，并结合了一个接受-拒绝步骤。相对于已知的保证未调整的Langevin算法（ESTA），我们的界限表明，使用一个接受拒绝步骤MALA导致指数级改善的依赖于容错。具体地说，为了获得最多$δ$的条件数$κ$密度的TV错误的样本，我们表明，MALA需要$\mathcal{O} \big(κd \log(1/δ) \big)$步骤，相比之下，在过去的工作中建立的$\mathcal{O} \big(κ^2 d/δ^2 \big)$的步骤。我们还证明了弱对数凹密度的MALA的收益超过了。此外，我们推导出混合时间界的大都市随机游动（MRW），并获得$\mathcal{O}(κ)$混合时间慢于MALA。我们提供的数值例子，支持我们的理论研究结果，并证明了大都会黑斯廷斯调整Langevin型采样算法的好处。
2019-12-11 stat.CO stat.ML
Particle Metropolis-Hastings using gradient and Hessian information
PMH（Particle Metropolis-Hastings）通过结合马尔可夫链蒙特卡罗（MCMC）和粒子滤波，实现了非线性状态空间模型的贝叶斯参数推断。后者用于估计棘手的可能性。在其原始配方中，PMH使用边际MCMC建议的参数，通常是高斯随机游动。然而，这可能导致对参数空间的不良探索和对生成的粒子的低效使用。我们提出了一些替代版本的PMH，将梯度和Hessian信息后到建议。该信息或多或少作为似然估计的副产品获得。事实上，我们展示了如何使用固定滞后粒子平滑器来估计所需的信息，计算成本在粒子数量上线性增长。我们的结论是，所提出的方法可以：（i）减少老化阶段的长度，（ii）增加混合的马尔可夫链在稳定阶段，和（iii）使建议的分布规模不变，简化调谐。
2014-09-18 stat.CO stat.ML
Proximal-IMH: Proximal Posterior Proposals for Independent Metropolis-Hastings with Approximate Operators
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
本文提出了一种改进的独立Metropolis-Hastings算法，通过引入辅助优化问题来消除近似后验分布中的偏差，从而在保持精确模型的同时提高稳定性和采样效率。
2026-05-17 cs.LG stat.CO
A categorical account of the Metropolis-Hastings algorithm
Nanyang Technological University（南洋理工大学）；University of Warwick（华威大学）
研究能否用范畴概率构建和分析Metropolis-Hastings算法，通过马尔可夫范畴和CD范畴等工具表述相关概念，研究交换幺半群上CD范畴的丰富化，给出MH类采样器可逆的充要条件。
2026-07-14 math.CT math.PR stat.CO
Efficient Metropolis-Hastings Proposal Mechanisms for Bayesian Regression Tree Models
贝叶斯回归树是一种灵活的非参数模型，非常适合许多现代统计回归问题。已经提出了许多这样的树模型，从简单的单树模型到更复杂的树集合。它们的非参数公式化允许对在模型预测因子和观测值之间表现出复杂的非线性关系的数据集进行有效和高效的建模。然而，马尔可夫链蒙特卡罗（MCMC）采样器的混合行为有时很差。这是因为采样器中的建议通常是树结构的局部改变，例如叶节点的出生/死亡，这不允许模型空间的有效遍历。这种糟糕的混合会导致推理问题，例如不确定性的代表性不足。在本文中，我们开发了新的建议机制，有效的采样。第一个是规则扰动建议，而第二个我们称之为树旋转。扰动建议可以被看作是一个有效的变化，在现有的文献中发现的变化建议。新的树旋转建议是简单的实现，因为它只需要局部变化的回归树结构，但它有效地遍历不同区域的模型空间沿等值线的概率相等。当结合经典的出生/死亡的建议，所得到的MCMC采样器表现出良好的接受率，并适当地代表模型的不确定性，在后验样本。我们实现这种抽样算法的贝叶斯加性回归树（BART）模型，并证明其有效性的预测问题，从计算机实验和测试功能，结构树的变异性是需要充分探索后验。
2013-12-06 stat.CO
Efficient posterior sampling for Bayesian Poisson regression
Poisson对数线性模型在许多应用中是普遍存在的，并且是参数计数回归的最流行的方法之一。然而，在贝叶斯上下文中，没有足够的具体计算工具用于从参数的后验分布进行有效采样，并且通常使用标准算法，例如随机游动Metropolis-Hastings或哈密顿蒙特卡罗算法。在此，我们开发了一个有效的梅特罗波利斯-黑斯廷斯算法和重要性采样器来模拟条件高斯先验下的泊松对数线性模型的参数的后验分布，相对于最先进的替代品具有优越的性能。这两种算法的关键是引入一个建议密度的基础上的高斯近似的后验分布的参数。具体而言，我们的结果利用了泊松似然的负二项近似和成功的Pólya-gamma数据增强方案。通过仿真，我们得到的时间，每个独立的样本的建议采样器是具有竞争力的，使用成功的哈密顿蒙特卡罗采样，与大都会黑斯廷斯显示出优越的性能，在所有的情况下考虑。
2022-09-01 stat.CO
Differentiating Metropolis-Hastings to Optimize Intractable Densities
Massachusetts Institute of Technology（麻省理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；University of Oxford（牛津大学）；JuliaHub；Pumas-AI
提出一种 Metropolis-Hastings 采样器的自动微分算法，结合随机自动微分与 Markov chain 耦合方案提供无偏低方差梯度估计，实现对含离散成分的不可解密度的梯度优化。
2023-06-30 cs.LG stat.CO stat.ME
Convergence Rate of Multiple-try Metropolis Independent sampler
MTM（Multiple-try Metropolis）方法是经典的梅特罗波利斯-黑斯廷斯算法的一个有趣的推广。然而，其收敛行为的理论理解，以及它是否和如何可能帮助仍然是未知的。本文通过显式特征分析，导出了多尝试Metropolis独立采样器（MTM-IS）的精确收敛速度。作为一个副产品，我们证明了MTM-IS是效率较低的重复独立的Metropolis-Hastings方法在相同的计算成本的简单方法。我们进一步探索更多的变化，并发现有可能通过创建相关的多个试验来设计更有效的MTM算法。
2023-02-03 math.ST stat.CO stat.TH
Pseudo-marginal Metropolis--Hastings using averages of unbiased estimators
我们考虑一个伪边缘大都会-黑斯廷斯内核$P_m$，它是使用$m$可交换的随机变量的平均值，以及一个类似的内核$P_s$，平均$s<m$这些相同的随机变量。使用嵌入技术，以方便比较，我们证明了与$P_m$遍历平均的渐近方差是下界的那些与$P_s$。我们证明了所提供的界是紧的，并反驳了一个猜想，即当被平均的随机变量是独立的，在$P_m$下的渐近方差永远不会小于$s/m$乘以在$P_s$下的方差。然而，当考虑连续时间马尔可夫链时，这个猜想确实成立。这些结果意味着，如果算法的计算成本与$m$成比例，则通常最好设置$m=1$。我们提供的直觉，为什么这些研究结果如此显着不同的伪边缘内核采用粒子滤波器近似最近的结果。我们的研究结果举例说明通过两个模拟研究，在第一个计算成本是有效地成正比的$m$，在第二个有一个相当大的启动成本在每次迭代。
2016-10-31 math.PR stat.CO stat.ME
Biips: Software for Bayesian Inference with Interacting Particle Systems
BIIPS是一个软件平台，用于交互粒子系统的自动贝叶斯推断。Biips允许用户在概率编程BUGS语言中定义他们的统计模型，以及在该语言中添加自定义函数或采样器。然后，它运行基于序贯蒙特卡罗算法（粒子滤波器，粒子独立的Metropolis-Hastings，粒子边缘Metropolis-Hastings）在一个黑盒子的方式，以便近似的后验分布的利益，以及边际似然。软件采用C++语言开发，并与R、Matlab和Octave软件接口。
2014-12-11 stat.CO
Multi-Marginal Couplings for Metropolis-Hastings
University of Toronto（多伦多大学）；Imperial College London（伦敦帝国学院）；McMaster University（麦克马斯特大学）
本文提出多边缘耦合方法用于改进Metropolis-Hastings链的收敛诊断，通过引入自然目标函数和分布耦合分析，提升高维设置下的共聚速率和效率。
2026-05-12 cs.IT math.IT stat.CO
