Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题，通常使用粒子和马尔可夫链蒙特卡罗（MCMC）方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings（PIMH）生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的，并且便于构造置信区间。该方案只需要访问现成的粒子滤波器（PF），因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
Log-concave sampling: Metropolis-Hastings algorithms are fast
考虑了$\mathbb{R}^d$中强对数凹密度的采样问题，证明了Metropolis调整的Langevin算法（MALA）的混合时间的一个非渐近上界.该方法通过模拟一个马尔可夫链来抽取样本，该链是从一个适当的朗之万扩散的离散化中获得的，并结合了一个接受-拒绝步骤。相对于已知的保证未调整的Langevin算法（ESTA），我们的界限表明，使用一个接受拒绝步骤MALA导致指数级改善的依赖于容错。具体地说，为了获得最多$δ$的条件数$κ$密度的TV错误的样本，我们表明，MALA需要$\mathcal{O} \big(κd \log(1/δ) \big)$步骤，相比之下，在过去的工作中建立的$\mathcal{O} \big(κ^2 d/δ^2 \big)$的步骤。我们还证明了弱对数凹密度的MALA的收益超过了。此外，我们推导出混合时间界的大都市随机游动（MRW），并获得$\mathcal{O}(κ)$混合时间慢于MALA。我们提供的数值例子，支持我们的理论研究结果，并证明了大都会黑斯廷斯调整Langevin型采样算法的好处。
2019-12-11 stat.CO stat.ML
Particle Metropolis-Hastings using gradient and Hessian information
PMH（Particle Metropolis-Hastings）通过结合马尔可夫链蒙特卡罗（MCMC）和粒子滤波，实现了非线性状态空间模型的贝叶斯参数推断。后者用于估计棘手的可能性。在其原始配方中，PMH使用边际MCMC建议的参数，通常是高斯随机游动。然而，这可能导致对参数空间的不良探索和对生成的粒子的低效使用。我们提出了一些替代版本的PMH，将梯度和Hessian信息后到建议。该信息或多或少作为似然估计的副产品获得。事实上，我们展示了如何使用固定滞后粒子平滑器来估计所需的信息，计算成本在粒子数量上线性增长。我们的结论是，所提出的方法可以：（i）减少老化阶段的长度，（ii）增加混合的马尔可夫链在稳定阶段，和（iii）使建议的分布规模不变，简化调谐。
2014-09-18 stat.CO stat.ML
Mixing Time of Metropolis-Hastings for Bayesian Community Detection
研究了贝叶斯社区检测的Metropolis-Hastings算法的计算复杂性。首先在文献中建立了随机块模型在最优信噪比条件下自然先验分布的后验强相合性结果。然后，我们给出了一组条件，保证快速混合的一个简单的大都会黑斯廷斯算法。混合时间分析基于对后验比的仔细研究和控制马尔可夫链的谱间隙的典型路径参数。
2018-11-06 math.ST stat.CO stat.TH
Decomposition Sampling applied to Parallelization of Metropolis-Hastings
本文提出了一种随机变量的抽样算法，通过将样本空间划分为重叠部分，将抽样过程分解为多个子问题。子问题可以彼此独立地解决，因此非常适合并行化。此外，在这些子问题中的每一个上，可以使用不同的和独立的采样方法。换句话说，可以为样本空间的特定部分设计特定的采样器。该算法被证明在一个粒子边缘的Metropolis-Hastings采样器适用于波动率模型和两个玩具的例子校准。在实验中观察到显着的加速和减少的总变异。
2016-01-25 stat.CO
Quasi-Newton particle Metropolis-Hastings
Particle Metropolis-Hastings在一般非线性状态空间模型（SSM）中实现贝叶斯参数推断。然而，在许多实施方式中，使用随机游动建议，并且如果没有使用繁琐的导频运行正确地调谐，则这可能导致不良的混合。因此，我们考虑一个新的建议的启发，准牛顿算法，可以实现类似的（或更好的）混合较少的调整。与其他基于Hessian的建议相比，它的优点是它只需要估计对数后验的梯度。一个可能的应用是参数推断在具有挑战性的类SSM棘手的可能性。我们通过对咖啡期货合约的对数收益率进行建模，利用具有$α$稳定观测值的随机波动率模型，来验证这一应用和新建议的好处。
2015-09-02 q-fin.CP stat.CO stat.ML
Fully Adaptive Gaussian Mixture Metropolis-Hastings Algorithm
马尔可夫链蒙特卡罗方法广泛用于信号处理和通信中的统计推断和随机最优化。在这项工作中，我们引入了一个有效的自适应梅特罗波利斯-黑斯廷斯算法，从通用的多模态和多维目标分布的样本。建议密度是高斯密度的混合，其中所有参数（权重、均值向量和协方差阵）使用应用简单递归规则的所有先前生成的样本来更新。一维和二维的情况下提供的数值结果。
2013-03-15 stat.CO stat.ME
Getting Started with Particle Metropolis-Hastings for Inference in Nonlinear Dynamical Models
本教程介绍了用于非线性状态空间模型参数推断的粒子Metropolis-Hastings（PMH）算法，以及统计编程语言R中的软件实现。我们采用分步方法与读者一起开发PMH算法（以及其中的粒子滤波器）的实现。这个最终的实现也可以作为CRAN存储库中的pmhtutorial包获得。在整个教程中，我们提供了一些关于算法如何操作的直觉，并讨论了一些解决方案，以解决实际中可能出现的问题。为了说明PMH的使用，我们考虑在线性高斯状态空间模型与合成数据和非线性随机波动率模型与真实世界的数据的参数推断。
2019-03-12 q-fin.ST stat.CO stat.ML
Exact active subspace Metropolis-Hastings, with applications to the Lorenz-96 system
我们认为，积极的子空间的应用，通知梅特罗波利斯-黑斯廷斯算法，从而积极地减少采样问题的计算维数。我们表明，原来的配方，提出了康斯坦丁，肯特，和Bui Thanh（SIAM J. Sci.计算：38（5）：A2779-A2805，2016），具有渐近偏倚。使用伪边缘参数，我们开发了一个渐近无偏的变体。我们的算法被应用到一个合成的多模态目标分布以及一个Lorenz-96系统的参数推断问题的贝叶斯公式。
2017-12-07 stat.AP stat.CO
A fast Metropolis-Hastings method for generating random correlation matrices
我们提出了一种新的梅特罗波利斯-黑斯廷斯算法，从相关矩阵的空间均匀采样。现有的方法都是基于相关矩阵的复杂表示或复杂参数化，而本文的方法基于正定矩阵的Cholesky分解和马尔可夫链蒙特卡罗理论，具有直观、简单的特点.我们进行了详细的收敛性分析所产生的马尔可夫链，并显示它如何受益于快速收敛，理论和经验。此外，在数值实验中，我们的算法被证明是显着快于目前的替代方法，由于其简单而有原则的方法。
2018-09-02 stat.CO
Maximal couplings of the Metropolis-Hastings algorithm
耦合在马尔可夫链蒙特卡罗算法的分析中起着核心作用，并且越来越频繁地出现在算法本身中，例如在收敛诊断、并行化和方差减少技术中。现有的梅特罗波利斯-黑斯廷斯算法的耦合处理的建议和接受的步骤分开，并没有达到耦合不等式给出的一步会议概率的上限。本文介绍了最大的耦合，实现这一界限，同时保持目前的方法的实用优势。我们考虑这些耦合的属性，并研究其行为的数值例子的选择。
2020-10-16 stat.CO stat.ME
Accelerating Metropolis-Hastings algorithms by Delayed Acceptance
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢，如巨大的数据集所例示的。在本文中，我们提供了一个有用的概括延迟接受的方法，旨在减少计算成本的算法，一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分，旨在大大减少计算时间，从而超过接受概率的相应减少。每个分量可以顺序地与统一变量进行比较，第一次拒绝表示不再考虑建议的值。此外，我们开发的方差相关估计的方差的理论界相对于标准的大都会黑斯廷斯和详细的最佳缩放和一般优化的过程中的一些结果。我们用一系列例子来说明这些加速特性
2015-03-05 stat.CO
Score-Based Metropolis-Hastings Algorithms
Duke University（杜克大学）；Morgan Stanley（摩根士丹利）
针对分数模型缺乏能量函数而无法应用Metropolis-Hastings调整的问题，本文基于细致平衡条件提出新损失函数来估计接受概率，从而将分数模型与MH算法结合，并在多种场景下验证了其有效性。
2025-03-31 cs.LG stat.CO
Gradient Estimation via Differentiable Metropolis-Hastings
针对Metropolis-Hastings轨迹因离散接受/拒绝步骤不可微、难以估计期望梯度的问题，提出基于重耦合链的可微采样方法，证明了估计量的强一致性与中心极限定理，并在贝叶斯分析等场景验证了有效性。
2024-06-20 math.PR math.ST stat.CO
Stability of Noisy Metropolis-Hastings
伪边缘马尔可夫链蒙特卡罗方法采样从棘手的分布得到了最近的兴趣，并已在理论上进行了深入的研究。它们的主要吸引力是它们是精确的，在这个意义上，它们的目标是边缘正确的不变分布。然而，伪边缘马尔可夫链可能表现出差的混合和向其目标的缓慢收敛。作为一种替代方案，可以模拟一个微妙不同的马尔可夫链，其中更好的混合是可能的，但牺牲了精确度属性。这是嘈杂的算法，最初概念化为蒙特卡罗内的大都市（MCWM），这也被研究，但在较小的程度上。本文提供了噪声算法的进一步表征，重点是基本的稳定性，如正递归和几何遍历性。从一个标准的Metropolis-Hastings链继承几何遍历的充分条件，以及收敛的不变分布向真正的目标分布。
2015-03-24 stat.CO
On Disturbance State-Space Models and the Particle Marginal Metropolis-Hastings Sampler
我们调查非线性状态空间模型没有一个封闭形式的过渡密度，并建议重新制定这样的模型，其潜在的噪声变量，而不是其潜在的状态变量。这样一来，易处理的噪声密度就取代了难处理的跃迁密度。对于诸如辅助粒子滤波器之类的重要性抽样方法，这使得能够计算重要性权重，否则它们不能计算。作为案例研究，我们采取了两个多元海洋生物地球化学模型，并进行状态和参数估计使用粒子边际Metropolis-Hastings采样。对于这个采样器内的粒子滤波器，我们比较了几个建议的策略，噪声变量，所有的基础上lookaheads与无味卡尔曼滤波器。这些策略进行了比较，使用传统的手段来评估大都会黑斯廷斯效率，以及与一种新的度量称为条件接受率评估使用估计的后果，而不是确切的，可能性。结果表明，该模型的实用性重新制定的噪声变量，特别是快速混合过程模型。
2013-12-10 stat.CO
Error bounds for Metropolis-Hastings algorithms applied to perturbations of Gaussian measures in high dimensions
Metropolis-adjusted Langevin算法（MALA）是一种用于从连续分布中近似采样的Metropolis-Hastings方法。我们推导上界的收缩率在Kantorovich-Rubinstein-Wasserstein距离的MALA链与半隐式欧拉建议适用于对数凹概率测度，有一个密度w.r. t。高斯参考测量。对于足够“规则”的密度，估计是维度无关的，并且它们对于足够小的步长$h$也不依赖于维度。在极限$h\downarrow0$下，边界接近凸势场中过阻尼Langevin扩散的已知最优收缩率。类似的方法也适用于大都会黑斯廷斯连锁与奥恩斯坦乌伦贝克建议。在这种情况下，得到的估计仍然是独立的维度，但不太理想，反映了一个事实，即MALA是一个高阶近似的扩散限制比大都会黑斯廷斯与奥恩斯坦-乌伦贝克建议。
2014-01-16 math.PR stat.CO
Exact Convergence Rate Analysis of the Independent Metropolis-Hastings Algorithms
关于Metropolis-Hastings算法的一个著名难题是得到其收敛速度的精确界。此外，马尔可夫链理论中一个基本但经常被忽视的问题是研究不同初始化的收敛速度。本文研究了一般状态空间和离散状态空间上的独立Metropolis-Hastings（IMH）算法的上述两个问题。我们推导了IMH算法的精确收敛速度，并证明了IMH算法的不同确定性初始化具有相同的收敛速度。在一般状态空间上得到了IMH算法的精确收敛速度。
2021-08-19 math.PR math.SP math.ST
Adaptive Independent Metropolis-Hastings by Fast Estimation of Mixtures of Normals
我们构建了一个自适应独立的大都会黑斯廷斯采样器，使用混合的法线作为建议分布。为了充分利用自适应采样的潜力，我们的算法经常更新法线的混合，从链的早期开始。该算法是建立在速度和可靠性，其采样性能进行评估与真实和模拟的例子。我们的文章概述了自适应采样保持的条件，并给出了一个容易获得的证明，即在这些条件下，采样方案生成收敛到目标分布的迭代。
2008-01-11 stat.AP stat.CO stat.ME
Metropolis-Hastings algorithms with autoregressive proposals, and a few examples
我们分析了随机AR（1）过程方案下的梅特罗波利斯-黑斯廷斯算法的计算效率。这些建议包括，作为一个子类，离散朗之万扩散（例如MALA）和离散哈密顿动力学（例如HMC）。对于目标分布相对于高斯分布是绝对连续的并且高斯分布的协方差允许有非对角项的情况，我们推导了具有一般随机AR（1）过程建议的MCMC方法的期望接受率和期望跳跃大小的表达式。这使我们能够扩展已知的几种MCMC方法，以及确定这种类型的新MCMC方法的效率。在混合蒙特卡罗的特殊情况下，我们可以确定最佳的积分时间和质量矩阵的选择的影响。通过包括Metropolis-Hastings的影响，我们还扩展了Fox和Parker的结果，他们使用矩阵分裂技术来分析从高斯分布采样的随机AR（1）过程的性能并提高其效率。
2016-05-19 stat.CO
Using parallel computation to improve Independent Metropolis--Hastings based estimation
在本文中，我们考虑的影响，并行的原始功率可以利用一个通用的梅特罗波利斯-黑斯廷斯算法，如果建议的值是独立的。特别是，我们提出了改进的独立梅特罗波利斯-黑斯廷斯算法，显着降低任何估计来自MCMC输出的方差，为零计算成本，因为这些改进是基于一个固定数量的目标密度评估。此外，本文中开发的技术不会危及算法的马尔可夫收敛特性，因为它们基于Gelfand和Smith（1990）的Rao-Blackwell原则，Casella和Robert（1996），Atchade和Perron（2005）以及Douc和Robert（2010）已经利用了这些原则。我们说明了这些改进的玩具正常的例子和经典的概率回归模型，但强调的事实是，它们适用于任何情况下，独立的大都会黑斯廷斯是适用的。
2011-03-24 cs.DC cs.DS stat.CO
A note on diffusive/random-walk behaviour in Metropolis--Hastings algorithms
University College London（伦敦大学学院）
该研究探讨了Metropolis-Hastings算法中扩散与随机游走行为的收敛特性，指出在特定条件下，随机游走算法的收敛速率与目标分布的尾部性质相关。
2026-03-07 math.PR stat.CO
Multiplicative random walk Metropolis-Hastings on the real line
本文提出了基于乘法的随机游动Metropolis Hastings（MH）算法。我们称之为随机俯冲MH（RDMH）算法。这种算法，即使简单的应用，没有研究早期的马尔可夫链蒙特卡罗文献。相关的内核被证明具有标准的属性，如不可约性，非周期性和哈里斯复发下一些温和的假设。这些保证了内核的基本收敛性（遍历性）。进一步的内核被证明是几何遍历的一大类目标密度$\mathbb{R}$。这类甚至包含现实的目标密度，随机游动或朗之万MH不是几何遍历。三个仿真实验证明了RDMH算法的混合特性及其在实际线路上优于标准MH算法。一个股价回报数据进行了分析，并与文献中的结果进行了比较。
2011-08-15 stat.CO
A large deviation principle for the empirical measures of Metropolis-Hastings chains
本文针对一般状态空间上的 Metropolis-Hastings 链，首次证明其经验测度满足大偏差原理，并依据接受与拒绝动力学刻画速率函数，为分析该类 MCMC 方法的效率提供了新的理论基础。
2023-08-14 math.PR stat.CO
A vanilla Rao--Blackwellization of Metropolis--Hastings algorithms
Casella和Robert [Biometrika 83（1996）81- 94]提出了一个用于Accept-Reject和Metropolis-Hastings格式的一般Rao-Blackwellization原理，该原理导致所得估计量的方差显著减小，但计算和存储成本很高。采用一个完全不同的角度来看，我们引入一个通用的计划，而不是保证方差减少在所有的大都市-黑斯廷斯为基础的估计，同时保持控制的计算成本。我们建立了一个中心极限定理的改进估计和玩具的例子和概率模型估计的性能说明。
2011-03-08 math.ST stat.CO stat.ME
Robust random walk-like Metropolis-Hastings algorithms for concentrating posteriors
出于贝叶斯推断与高信息量的数据，我们分析的性能的随机游动一样的梅特罗波利斯-黑斯廷斯算法的近似抽样越来越集中的目标分布。我们专注于高斯的建议，使用基于海森近似的目标协方差。通过前推转移核，我们证明了对于高斯目标测度，相应的梅特罗波利斯-黑斯廷斯算法的谱隙与后验的浓度无关，即，用于贝叶斯推断的观测数据中的噪声水平。此外，通过利用其拉普拉斯近似的集中后验的收敛性，我们将分析扩展到非高斯目标的措施，无论是集中在一个单一的点或沿线性流形。特别是，在该设置中，我们表明，平均接受率以及合适的大都会-黑斯廷斯马尔可夫链的预期平方跳跃距离不恶化的目标浓度。
2022-02-24 cs.NA math.NA math.PR
Fast Rerandomization for Balancing Covariates in Randomized Experiments: A Metropolis-Hastings Framework
University of Pennsylvania（宾夕法尼亚大学）；Harvard Business School（哈佛商学院）；North Carolina State University（北卡罗来纳州立大学）；Duke University（杜克大学）
本文提出PSRSRR算法，基于Metropolis-Hastings框架，通过引入采样-重要性重采样步骤，实现快速且有效的协变量平衡，提升随机实验的效率和准确性。
2026-02-07 stat.CO stat.ME stat.ML
Constructing Metropolis-Hastings proposals using damped BFGS updates
在系统辨识中，根据观测到的系统性能数据计算系统参数及其函数的贝叶斯估计是一个常见的问题。这是一个以前研究的问题，随机模拟方法已被检查使用流行的大都市-黑斯廷斯（MH）算法。该先前的研究已经确定了调整{proposal}分布的公认困难，使得MH方法提供具有充分混合的实现以提供有效收敛。本文提出了一种调整建议的方法，并以经验为基础进行了研究，该方法使用了从数值优化文献中借来的思想，围绕Hessians的有效计算，以便将目标后验的梯度和曲率信息纳入建议中。
2018-05-08 q-fin.CP stat.CO
Differentiating Metropolis-Hastings to Optimize Intractable Densities
Massachusetts Institute of Technology（麻省理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；University of Oxford（牛津大学）；JuliaHub；Pumas-AI
提出一种 Metropolis-Hastings 采样器的自动微分算法，结合随机自动微分与 Markov chain 耦合方案提供无偏低方差梯度估计，实现对含离散成分的不可解密度的梯度优化。
2023-06-30 cs.LG stat.CO stat.ME
Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals
马尔可夫链蒙特卡罗（MCMC）方法是计算复杂概率分布的有力工具。然而，这种方法的性能是严格依赖于适当调整的参数，其中大多数是困难的，如果不是不可能知道一个给定的目标分布的先验。自适应MCMC方法旨在通过允许在采样期间基于来自链的先前样本更新参数来解决这个问题，代价是需要新的理论分析来确保收敛。在这项工作中，我们扩展了自适应MCMC方法的收敛理论，建立在一个强大的参数密度估计，称为规范化流一类新的方法。特别是，我们考虑一个独立的大都会-黑斯廷斯采样器，其中的建议分布是由一个归一化流，其参数更新使用随机梯度下降。我们探讨了这一过程的实际性能的合成设置和物理场系统的分析，并比较它对自适应和非自适应MCMC方法。
2021-10-25 stat.CO
Rademacher complexity for Markov chains : Applications to kernel smoothing and Metropolis-Hasting
根据Talagrand的开创性方法，将随机变量独立序列的Rademacher复杂性的概念推广到马尔可夫链。所提出的“块Rademacher复杂性”（一类函数）的概念来自更新理论，并允许控制基于Harris马尔可夫链的经验过程的上确界（在该类函数上）的期望值以及超额概率。对于Vapnik-Chervonenkis类型的类，建立了“块Rademacher复杂性”的界限。这些界限基本上取决于样本量和再生时间的概率尾部。该方法被用来获得平稳测度的核密度估计的收敛速度，并推导出Metropolis-Hasting算法的浓度不等式。
2018-07-06 math.ST stat.CO stat.TH
Adaptively switching between a particle marginal Metropolis-Hastings and a particle Gibbs kernel in SMC$^2$
针对难以计算似然的状态空间模型后验采样问题，提出在SMC²迭代中自适应切换PMMH和PG粒子MCMC核的方法，显著提升算法效率并开源代码。
2023-07-21 stat.CO
Importance is Important: Generalized Markov Chain Importance Sampling Methods
本文提出基于重要性权重的无拒绝MCMC抽样方案，将多重尝试Metropolis算法推广为无需拒绝的通用框架，并拓展至离散空间，证明其比原始Metropolis--Hastings算法更高效。
2024-10-02 stat.CO stat.ME stat.ML
A Two-step Metropolis Hastings Method for Bayesian Empirical Likelihood Computation with Application to Quantile Regression and Bayesian Model Selection
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；DFS Group Ltd.（DFS集团有限公司）；Texas A& M University（德克萨斯农工大学）
本文提出一种两步Metropolis-Hastings算法，用于解决贝叶斯经验似然（BayesEL）后验分布采样困难的问题，可应用于分位数回归与贝叶斯模型选择等场景。
2026-08-28 stat.CO stat.ME stat.ML
Autocovariance and Optimal Design for Random Walk Metropolis-Hastings Algorithm
本文研究了随机游走Metropolis-Hastings算法的自协方差结构，提出了针对对称单峰分布的最优提议设计，并探讨了高维情况下的调谐准则。
2026-02-28 math.OC math.ST stat.CO
Metropolis-Hastings transition kernel couplings
耦合在马尔可夫链收敛分析和新型马尔可夫链蒙特卡罗估计、诊断和方差减少技术的构建中起着核心作用。可能的耦合的集合通常是棘手的，使寻找紧边界和有效估计器的努力受挫。为了解决这一挑战的算法在大都会黑斯廷斯（MH）家庭，我们建立了一个简单的表征MH过渡内核耦合的集合。然后，我们扩展这一结果来描述一组最大的耦合的MH内核，解决一个悬而未决的问题O 'Leary等人。我们的研究结果代表了一个进步，了解MH过渡内核和一个步骤向前耦合这类流行的算法。
2023-01-06 math.PR math.ST stat.CO
Variance bounds and robust tuning for pseudo-marginal Metropolis--Hastings algorithms
本文为伪边缘Metropolis-Hastings算法提供了简单的渐近方差上下界，揭示了盲目遵循2015年调优建议可能掩盖算法严重问题，并提出更安全的替代调优准则及相关提议扩展。
2024-11-16 math.ST stat.CO stat.TH
Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢，如巨大的数据集所例示的。在本文中，我们提供了一种方法，以减少计算成本的算法，一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分，旨在大大减少计算时间，超过相应的接受概率的减少。除法将“先验x似然”项分解为乘积，使得其某些分量的计算成本比其他分量低得多。每个分量可以顺序地与统一变量进行比较，第一次拒绝表示不再考虑所提出的值，这种方法可以反过来作为利用手头计算机的并行能力的预取算法的一部分来加速。我们说明了一系列的玩具和现实的例子，这些加速功能。
2014-06-10 stat.CO stat.ME
Precision Annealing Monte Carlo Methods for Statistical Data Assimilation: Metropolis-Hastings Procedures
统计数据同化（SDA）是将来自野外或实验室观测的信息转移到用户选择的产生这些观测的动力系统模型。数据是有噪声的，模型有误差;信息传递解决了以观测值为条件的模型状态的条件概率分布的性质。SDA中感兴趣的量是模型状态的函数的条件期望值，并且这些需要高维积分的近似评估。我们引入了一个条件概率分布，并使用退火拉普拉斯方法来确定的条件概率分布的最大值。当进入拉普拉斯方法时，退火方法缓慢地增加模型的精度项。在本文中，我们扩展的想法精密退火（PA）的蒙特卡罗计算的条件期望值使用Metropolis-Hastings方法。
2019-01-14 physics.data-an physics.geo-ph stat.CO
Efficient Mirror-type Kernels for the Metropolis-Hastings Algorithm
本文提出融合 Mirror 移动与 MALA 的 MirrorMALA 核，并结合新型高维白化变换分析 GLMMs，在相近计算成本下实现显著更高采样效率。
2025-06-07 stat.CO
A general perspective on the Metropolis-Hastings kernel
自成立以来，Metropolis-Hastings内核已经以复杂的方式应用于解决更具挑战性和多样化的采样问题。它的成功源于这样一个事实所带来的灵活性，即它的核查和采样实施取决于局部"详细平衡“条件，而不是以典型的棘手积分方程形式的全局条件。虽然在最简单的场景中检查局部条件是常规的，但对于涉及辅助结构和变量的复杂应用来说，这要困难得多。我们的目标是开发一个框架，使建立复杂的马尔可夫链蒙特卡罗内核的正确性成为一个纯粹的机械或代数练习，同时通过允许更强烈地关注基本特征-嵌入分布的选择，对合和偶尔的接受函数-而不是诱导，核心的样板结构往往会掩盖什么是重要的。该框架还可以用于验证不满足详细平衡的内核，即不可逆的内核，而是其修改版本。
2020-12-29 stat.CO stat.ME
Optimal design of the Barker proposal and other locally-balanced Metropolis-Hastings algorithms
本文研究了Livingstone & Zanella（2021）提出的一类一阶局部平衡的梅特罗波利斯-黑斯廷斯算法。为了在类中选择特定算法，用户必须选择满足$g(t) = tg(1/t)$的平衡函数$g:\mathbb{R} \to \mathbb{R}$和用于建议增量的噪声分布。类内的流行选择是大都会调整的Langevin算法和最近推出的巴克建议。我们首先建立了一个普遍的限制最优接受率为57%和缩放的$n^{-1/3}$的尺寸$n$趋于无穷大的所有成员之间的类温和的光滑假设下，$g$和算法的目标分布时，产品的形式。特别是，我们得到一个明确的表达式中的任意算法的渐近有效性的类，作为衡量的期望平方跳跃距离。然后，我们考虑如何在各种约束条件下优化这个表达式。我们推导出一个最佳选择的噪声分布的巴克建议，最佳选择的平衡功能下的高斯噪声分布，和最佳选择的一阶局部平衡算法之间的整个类，这原来取决于特定的目标分布。数值模拟证实了我们的理论研究结果，特别是表明，在巴克建议的噪声分布的双峰选择产生了一个实用的算法，始终比原来的高斯版本更有效。
2022-01-04 math.ST stat.CO stat.ML
Metropolis-Hastings within Partially Collapsed Gibbs Samplers
部分塌陷吉布斯（PCG）采样器提供了一种新的策略，以改善吉布斯采样器的收敛性。PCG通过减少其母吉布斯采样器的某些绘制中的条件来实现更快的收敛。虽然这可以显著提高收敛性，但必须注意确保保持平稳分布。在PCG采样器中采样的条件分布可能是不相容的，并且改变它们的顺序可能会打乱链的平稳分布。在部分或全部更新中使用Metropolis-Hastings（MH）更新时，必须格外小心。减少吉布斯采样器中MH的条件可以改变稳态分布，即使在不使用MH的情况下PCG采样器也可以完美工作。事实上，在文献中提倡的这种采样器的数量实际上并不具有目标平稳分布。在这篇文章中，我们说明了可能出现的挑战，当使用MH在PCG采样器和开发一个通用的策略，使用这种更新，同时保持所需的平稳分布。当在PCG采样方案中选择不同的MH时，理论论证提供了指导。最后，我们用几个应用实例说明了PCG采样器中的MH及其计算优势。
2014-03-07 stat.CO
Augmented pseudo-marginal Metropolis-Hastings for partially observed diffusion processes
我们考虑非线性，多变量扩散过程的推断问题，满足伊藤随机微分方程（SDES），使用离散时间的数据，可能是不完整的，受到测量误差。我们的出发点是一个国家的最先进的相关伪边缘梅特罗波利斯-黑斯廷斯算法，它使用相关的粒子滤波器诱导连续的似然估计之间的强和正相关。然而，除非测量误差或维数很小，否则相关性会被粒子滤波器中的重采样步骤侵蚀。因此，我们提出了一种新的增强方案，允许条件的值的潜在过程中的观察时间，完全避免了需要的reservation步骤。我们整合了观察时间的不确定性与额外的吉布斯步骤。由此产生的伪边缘计划和现有的推理计划之间的连接扩散过程，给出了一个统一的推理框架，包括吉布斯抽样和伪边缘计划。该方法适用于三个例子，越来越复杂。我们发现，与竞争方法相比，我们的方法在整体效率上有了大幅提高。
2021-09-24 stat.CO stat.ME
When Metropolis and Hastings Meet Bradley and Terry: Exact MCMC From Preference Voting
Technion – Israel Institute of Technology（以色列理工学院）
该研究针对生成建模中条件采样的挑战，提出基于偏好投票的精确MH采样器Pref-MH，利用成对比较反馈实现最优条件采样，在多模态生成任务中验证了其实用性。
2026-09-02 cs.LG stat.CO stat.ML
Variance Reduction for Metropolis-Hastings Samplers
我们介绍了一个一般的框架，构造估计减少方差的随机游动大都市和大都市调整Langevin算法。由此产生的估计需要可以忽略不计的计算成本，并得出在后处理的方式利用所有的建议值的大都市算法。方差减少是通过产生控制变量，通过近似解决方案的泊松方程与目标密度的马尔可夫链。所提出的方法是基于近似的目标密度与高斯，然后利用精确的解决方案的泊松方程的高斯情况下。这导致使用两个关键元素的估计器：（i）来自泊松方程的控制变量，其包含在提议分布下的难处理的期望，（ii）第二控制变量，以减少后一难处理的期望的蒙特卡罗估计的方差。仿真数据的例子被用来说明令人印象深刻的方差减少实现高斯目标的情况下，以及相应的效果时，目标的高斯性假设被违反。贝叶斯逻辑斯谛回归和随机波动率模型的实际数据的例子验证了相当大的方差减少，实现了微不足道的额外计算成本。
2022-03-04 stat.CO stat.ME
A categorical account of the Metropolis-Hastings algorithm
Nanyang Technological University（南洋理工大学）；University of Warwick（华威大学）
研究能否用范畴概率构建和分析Metropolis-Hastings算法，通过马尔可夫范畴和CD范畴等工具表述相关概念，研究交换幺半群上CD范畴的丰富化，给出MH类采样器可逆的充要条件。
2026-07-14 math.CT math.PR stat.CO
Randomized Reduced Forward Models for Efficient Metropolis--Hastings MCMC, with Application to Subsurface Fluid Flow and Capacitance Tomography
通过马尔可夫链蒙特卡罗（MCMC）的贝叶斯建模和计算推断是用于大规模不确定性量化的原则性框架，尽管在实践中受限于以最简单的形式实现时的计算成本，该最简单的形式需要在MCMC的每次迭代处模拟精确的计算机模型。延迟接受Metropolis-Hastings MCMC利用前向映射的简化模型来降低每次迭代的计算成本，尽管这必然会降低统计效率，但不小心会导致计算估计的计算成本没有降低到所需的精度。随机化前向映射的简化模型可以通过保持每次迭代的低成本以及避免统计效率的明显损失来显著提高计算效率。随机化映射是通过随机化和局部校正的确定性简化模型的后验自适应调整来构造的。同样地，近似的后验分布可以被视为由与简化图一起使用的修改的似然函数引起的，其中参数被调谐以优化对正确的后验分布的近似的质量。自适应MCMC算法的条件允许实际的近似和算法，保证遍历的目标分布。良好的统计和计算效率的例子中表现出的地热储层和电容层析成像的大规模数值模型的校准。
2020-09-17 stat.CO
Proximal-IMH: Proximal Posterior Proposals for Independent Metropolis-Hastings with Approximate Operators
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
本文提出了一种改进的独立Metropolis-Hastings算法，通过引入辅助优化问题来消除近似后验分布中的偏差，从而在保持精确模型的同时提高稳定性和采样效率。
2026-05-17 cs.LG stat.CO
Convergence Rate of Multiple-try Metropolis Independent sampler
MTM（Multiple-try Metropolis）方法是经典的梅特罗波利斯-黑斯廷斯算法的一个有趣的推广。然而，其收敛行为的理论理解，以及它是否和如何可能帮助仍然是未知的。本文通过显式特征分析，导出了多尝试Metropolis独立采样器（MTM-IS）的精确收敛速度。作为一个副产品，我们证明了MTM-IS是效率较低的重复独立的Metropolis-Hastings方法在相同的计算成本的简单方法。我们进一步探索更多的变化，并发现有可能通过创建相关的多个试验来设计更有效的MTM算法。
2023-02-03 math.ST stat.CO stat.TH
Note on the computation of the Metropolis-Hastings ratio for Birth-or-Death moves in trans-dimensional MCMC algorithms for signal decomposition problems
可逆跳跃MCMC（RJ-MCMC）采样技术允许在相干贝叶斯框架中联合处理模型选择和参数估计问题，自从Andrieu和Doucet的开创性论文（IEEE Trans. Signal Process.，47（10），1999）。任何RJ-MCMC采样器的实现的关键是计算所谓的大都会-黑斯廷斯-格林（MHG）比率，它决定了建议移动的接受概率。事实证明，在Andrieu和Doucet的论文中给出的MHG比的表达式对于“要么死要么死”移动-最简单的一种跨维移动，几乎在RJ-MCMC的所有应用中都使用到信号分解问题-是错误的。不幸的是，这个错误已经被复制在许多后续的论文处理的RJ-MCMC采样在信号处理文献。本文讨论了MHG比的计算，重点讨论了建议核可以分解为简单核的混合的情况，MHG比很容易计算。我们提供了充分的条件下，MHG比的混合物可以推导出MHG比的基本内核，它是由。作为应用，我们考虑了非死即死的移动情形，并给出了Andrieu和Doucet论文中错误率的修正表达式。
2012-08-09 stat.CO
Pseudo-marginal Metropolis--Hastings using averages of unbiased estimators
我们考虑一个伪边缘大都会-黑斯廷斯内核$P_m$，它是使用$m$可交换的随机变量的平均值，以及一个类似的内核$P_s$，平均$s<m$这些相同的随机变量。使用嵌入技术，以方便比较，我们证明了与$P_m$遍历平均的渐近方差是下界的那些与$P_s$。我们证明了所提供的界是紧的，并反驳了一个猜想，即当被平均的随机变量是独立的，在$P_m$下的渐近方差永远不会小于$s/m$乘以在$P_s$下的方差。然而，当考虑连续时间马尔可夫链时，这个猜想确实成立。这些结果意味着，如果算法的计算成本与$m$成比例，则通常最好设置$m=1$。我们提供的直觉，为什么这些研究结果如此显着不同的伪边缘内核采用粒子滤波器近似最近的结果。我们的研究结果举例说明通过两个模拟研究，在第一个计算成本是有效地成正比的$m$，在第二个有一个相当大的启动成本在每次迭代。
2016-10-31 math.PR stat.CO stat.ME
Multi-Marginal Couplings for Metropolis-Hastings
University of Toronto（多伦多大学）；Imperial College London（伦敦帝国学院）；McMaster University（麦克马斯特大学）
本文提出多边缘耦合方法用于改进Metropolis-Hastings链的收敛诊断，通过引入自然目标函数和分布耦合分析，提升高维设置下的共聚速率和效率。
2026-05-12 cs.IT math.IT stat.CO
Two Metropolis-Hastings algorithms for posterior measures with non-Gaussian priors in infinite dimensions
California Institute of Technology（加州理工学院）
本文提出两种Metropolis-Hastings算法，用于在无限维Hilbert空间上绝对连续的目标测度采样，重点在于设计可逆的自回归类型提案核，并引入Bessel-K先验作为伽玛分布在无限维中的推广，用于稀疏或压缩参数建模。
2019-04-22 cs.NA math.NA math.PR
