Accelerating pseudo-marginal Metropolis-Hastings by correlating auxiliary variables
伪边缘Metropolis-Hastings（pmMH）是一种用于模型中的贝叶斯推断的强大方法，其中后验分布是分析上难以处理的或直接评估计算上昂贵的。它通过在模型中引入额外的辅助变量来运行，并形成扩展的目标分布，然后可以逐点评估。在许多情况下，标准的Metropolis-Hastings然后应用于从扩展的目标中采样，并且可以通过边缘化来获得所寻求的后验。然而，在一些实现中，这种方法遭受不良混合，因为辅助变量是从独立建议中采样的。我们提出了一个修改的pmMH算法中，一个Crank-Nicolson（CN）的建议，而不是使用。这导致我们在辅助变量中引入正相关。我们研究如何调整CN的建议和它的混合所产生的PMMH采样器的影响。结论是，所提出的修改可以有一个有益的影响，混合的马尔可夫链和计算成本的pmMH算法的每次迭代。
2015-11-17 stat.CO stat.ML
Differentiating Metropolis-Hastings to Optimize Intractable Densities
Massachusetts Institute of Technology（麻省理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；University of Oxford（牛津大学）；JuliaHub；Pumas-AI
提出一种 Metropolis-Hastings 采样器的自动微分算法，结合随机自动微分与 Markov chain 耦合方案提供无偏低方差梯度估计，实现对含离散成分的不可解密度的梯度优化。
2023-06-30 cs.LG stat.CO stat.ME
Particle Metropolis-Hastings using gradient and Hessian information
PMH（Particle Metropolis-Hastings）通过结合马尔可夫链蒙特卡罗（MCMC）和粒子滤波，实现了非线性状态空间模型的贝叶斯参数推断。后者用于估计棘手的可能性。在其原始配方中，PMH使用边际MCMC建议的参数，通常是高斯随机游动。然而，这可能导致对参数空间的不良探索和对生成的粒子的低效使用。我们提出了一些替代版本的PMH，将梯度和Hessian信息后到建议。该信息或多或少作为似然估计的副产品获得。事实上，我们展示了如何使用固定滞后粒子平滑器来估计所需的信息，计算成本在粒子数量上线性增长。我们的结论是，所提出的方法可以：（i）减少老化阶段的长度，（ii）增加混合的马尔可夫链在稳定阶段，和（iii）使建议的分布规模不变，简化调谐。
2014-09-18 stat.CO stat.ML
Two-Stage Metropolis-Hastings for Tall Data
本文讨论了与贝叶斯分类（特别是二进制分类）相关的高数据问题所带来的挑战以及处理它们的现有方法。目前的方法包括并行的可能性，二次抽样，和共识蒙特卡罗。提出了一种基于两阶段梅特罗波利斯-黑斯廷斯算法的新方法。该算法的目的是在高数据量的情况下减少精确似然的计算量。在第一阶段，一个新的建议是测试的近似似然模型。只有当提案通过第一阶段筛选时，才会进行基于全似然的后验计算。此外，该方法还可以应用到共识蒙特卡罗框架中。两阶段方法适用于逻辑斯谛回归，分层逻辑斯谛回归，贝叶斯多元自适应回归样条。
2017-03-20 stat.ME
Proximal-IMH: Proximal Posterior Proposals for Independent Metropolis-Hastings with Approximate Operators
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
本文提出了一种改进的独立Metropolis-Hastings算法，通过引入辅助优化问题来消除近似后验分布中的偏差，从而在保持精确模型的同时提高稳定性和采样效率。
2026-05-17 cs.LG stat.CO
Scalable Metropolis-Hastings for Exact Bayesian Inference with Large Datasets
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；The Alan Turing Institute（艾伦·图灵研究所）
通过标准马尔可夫链蒙特卡罗（MCMC）方法进行贝叶斯推断的计算量太大，无法处理大型数据集，因为每步的成本通常与数据点$n$的数量类似$Θ(n)$。我们提出了可扩展的大都会黑斯廷斯（SMH）内核，利用高斯浓度的后验需要处理平均只有$O(1)$甚至$O(1/\sqrt{n})$数据点每一步。该方案基于因子化接受概率、伯努利过程快速模拟程序和控制变量思想的组合。相反，许多MCMC子采样方案，如固定步长的随机梯度Langevin动力学，我们的方法是准确的，只要不变分布是真正的后验，而不是一个approximatesit. We的性能，我们的算法理论上，并给出现实和可验证的条件下，它是几何遍历。这一理论证明了实证结果表明，整体性能优于标准的大都会黑斯廷斯和各种子采样算法。
2019-06-10 cs.LG stat.ML
Approximate Sampling using an Accelerated Metropolis-Hastings based on Bayesian Optimization and Gaussian Processes
University of South Carolina（南卡罗来纳大学）；University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）
马尔可夫链蒙特卡罗（MCMC）方法在处理目标分布或似然函数时有一个缺点，这是计算昂贵的评估，特别是在处理大数据时。本文主要研究单峰分布的Metropolis-Hastings（MH）算法。在这里，提出了一种增强的MH算法，需要较少的昂贵的功能评估，具有较短的老化期，并使用更好的建议分布。主要创新包括使用贝叶斯优化快速到达高概率区域，使用高斯过程（GP）模拟目标分布，以及使用GP的拉普拉斯近似来构建更好地捕获潜在相关性的建议分布。实验表明，显着改善了常规MH。两种算法的结果之间的统计比较。
2019-10-21 cs.LG stat.ML
Metropolis-Hastings via Classification
本文开发了一个贝叶斯计算平台，在后验抽样和优化模型的边缘似然难以评估之间的接口。受对抗优化的启发，即生成对抗网络（GAN），我们将似然函数估计问题重新定义为分类问题。将模拟假数据的生成器与试图将其与真实数据区分开的分类器相比较，可以获得可以插入Metropolis-Hastings算法的似然（比率）估计量。由此产生的马尔可夫链产生，在稳定状态下，从一个近似的后验样本的渐近性质，我们的特点。借鉴经验贝叶斯和贝叶斯误指定的连接，我们量化的收敛速度的收缩速度的实际后验和收敛速度的分类。渐近正态性的结果也证明了我们的方法的推理潜力。我们说明了我们的方法的有用性的例子，对现有的贝叶斯似然自由的方法提出了挑战。
2021-11-29 math.ST stat.TH
Metropolis--Hastings with Scalable Subsampling
Lancaster University（兰卡斯特大学）
本文提出了一种基于子采样的改进Metropolis-Hastings算法，通过控制变量实现高效精确的贝叶斯推断，适用于大规模数据集。
2026-03-08 stat.ME
Metropolis-Hastings Sampling Using Multivariate Gaussian Tangents
我们提出了MH-MGT，从二次可微，对数凹概率密度函数抽样的多变量技术。MH-MGT是Metropolis-Hastings抽样，使用从对数密度函数的泰勒级数展开构造的非对称多元高斯建议函数。高斯建议函数的平均值表示完整的牛顿步骤，因此MH-MGT是牛顿优化的随机对应物。收敛性分析表明，MH-MGT是非常适合从计算昂贵的对数密度与许多独立的观察贡献的采样。我们采用的技术，吉布斯抽样分析的层次贝叶斯营销有效性模型建立了一个大型的美国食品服务分销商。与单变量切片采样相比，MH-MGT显示抽样效率提高了6倍，以“每个独立样本的功能评价当量”衡量。为了便于广泛适用的MH-MGT的统计模型，我们证明了二次可微分布的对数是不变的“线性投影”的转换，包括但不限于，广义线性模型。
2013-08-03 stat.ME
Barker's algorithm for Bayesian inference with intractable likelihoods
在这篇论文中，我们抽象和描述了一个简单的MCMC计划采样从棘手的目标密度。该方法已在Gonçalves等人（2017 a）中在跳跃扩散的特定背景下引入，并且基于Barker算法与简单的Bernoulli工厂类型方案配对，即所谓的2硬币算法。在许多情况下，它是一种替代标准的Metropolis-Hastings伪边缘方法模拟从棘手的目标密度。虽然巴克的是众所周知的效率略低于大都会-黑斯廷斯，我们的方法的主要优点是，它允许实现“边际巴克的”，而不是扩展的状态空间伪边际大都会-黑斯廷斯，由于接受/拒绝概率的特殊形式。我们将说明我们的方法的上下文中的贝叶斯推断离散观察Wright-Fisher家庭的扩散。
2017-09-22 stat.CO
Geometric nested sampling: sampling from distributions defined on non-trivial geometries
Metropolis Hastings嵌套抽样演化出一个马尔可夫链，根据Metropolis Hastings接受比的一个版本接受链上的新点，该接受比已被修改为满足嵌套抽样似然约束。我在这里介绍的几何嵌套采样算法基于Metropolis Hastings方法，但将参数视为表示某些几何对象上的点，即圆、环面和球体。对于表示圆或环面上的点的参数，试验分布“包裹”在后验分布的域周围，使得在评估Metropolis比率时，由于样本在采样域之外，样本不能被自动拒绝。此外，这还增强了采样器的移动性。对于表示球面上坐标的参数，该算法在采样前将参数转换到笛卡尔坐标系中，再次保证了没有样本被自动拒绝，并提供了一种物理上直观的参数空间采样方式。
2020-02-10 astro-ph.IM stat.CO
Efficient Metropolis-Hastings Proposal Mechanisms for Bayesian Regression Tree Models
贝叶斯回归树是一种灵活的非参数模型，非常适合许多现代统计回归问题。已经提出了许多这样的树模型，从简单的单树模型到更复杂的树集合。它们的非参数公式化允许对在模型预测因子和观测值之间表现出复杂的非线性关系的数据集进行有效和高效的建模。然而，马尔可夫链蒙特卡罗（MCMC）采样器的混合行为有时很差。这是因为采样器中的建议通常是树结构的局部改变，例如叶节点的出生/死亡，这不允许模型空间的有效遍历。这种糟糕的混合会导致推理问题，例如不确定性的代表性不足。在本文中，我们开发了新的建议机制，有效的采样。第一个是规则扰动建议，而第二个我们称之为树旋转。扰动建议可以被看作是一个有效的变化，在现有的文献中发现的变化建议。新的树旋转建议是简单的实现，因为它只需要局部变化的回归树结构，但它有效地遍历不同区域的模型空间沿等值线的概率相等。当结合经典的出生/死亡的建议，所得到的MCMC采样器表现出良好的接受率，并适当地代表模型的不确定性，在后验样本。我们实现这种抽样算法的贝叶斯加性回归树（BART）模型，并证明其有效性的预测问题，从计算机实验和测试功能，结构树的变异性是需要充分探索后验。
2013-12-06 stat.CO
Efficient posterior sampling for Bayesian Poisson regression
Poisson对数线性模型在许多应用中是普遍存在的，并且是参数计数回归的最流行的方法之一。然而，在贝叶斯上下文中，没有足够的具体计算工具用于从参数的后验分布进行有效采样，并且通常使用标准算法，例如随机游动Metropolis-Hastings或哈密顿蒙特卡罗算法。在此，我们开发了一个有效的梅特罗波利斯-黑斯廷斯算法和重要性采样器来模拟条件高斯先验下的泊松对数线性模型的参数的后验分布，相对于最先进的替代品具有优越的性能。这两种算法的关键是引入一个建议密度的基础上的高斯近似的后验分布的参数。具体而言，我们的结果利用了泊松似然的负二项近似和成功的Pólya-gamma数据增强方案。通过仿真，我们得到的时间，每个独立的样本的建议采样器是具有竞争力的，使用成功的哈密顿蒙特卡罗采样，与大都会黑斯廷斯显示出优越的性能，在所有的情况下考虑。
2022-09-01 stat.CO
Biips: Software for Bayesian Inference with Interacting Particle Systems
BIIPS是一个软件平台，用于交互粒子系统的自动贝叶斯推断。Biips允许用户在概率编程BUGS语言中定义他们的统计模型，以及在该语言中添加自定义函数或采样器。然后，它运行基于序贯蒙特卡罗算法（粒子滤波器，粒子独立的Metropolis-Hastings，粒子边缘Metropolis-Hastings）在一个黑盒子的方式，以便近似的后验分布的利益，以及边际似然。软件采用C++语言开发，并与R、Matlab和Octave软件接口。
2014-12-11 stat.CO
DP-Fast MH: Private, Fast, and Accurate Metropolis-Hastings for Large-Scale Bayesian Inference
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Purdue University（普渡大学）
本文提出首个精确且快速的差分隐私Metropolis-Hastings算法，仅用少量数据批次，并首次揭示隐私、可扩展性与效率间的三方权衡，兼顾隐私保护与推断性能。
2023-10-12 cs.LG stat.ML
Variance bounding of delayed-acceptance kernels
一个延迟接受版本的大都市-黑斯廷斯算法可以是有用的贝叶斯推理时，它是计算昂贵的计算真正的后验，但计算便宜的近似是可用的;延迟接受内核的目标相同的后验作为其相关的“父”大都市-黑斯廷斯内核。虽然链的任何泛函的遍历平均值的渐近方差不能小于，使用它的父母，每次迭代的平均计算时间可以小得多，所以对于一个给定的计算预算的延迟接受内核可以更有效。当链的所有$L^2$泛函的遍历平均的渐近方差是有限的时，称核是方差有界的。最近已经注意到，延迟接受核不需要方差边界，即使它的父核是。我们提供了继承的充分条件：对于非局部算法，如独立采样器，近似值的对数密度和真实值之间的差异应该是有界的;对于局部算法，提供了两组可供选择的条件。作为我们的初始产品，一般的结果，我们还提供充分条件对任何一对的建议，这样，对于任何共享的目标分布，如果一个大都市，黑斯廷斯内核使用的建议之一是方差边界，那么是大都市，黑斯廷斯内核使用其他建议。
2021-11-11 math.ST stat.TH
Auxiliary Particle filtering within adaptive Metropolis-Hastings Sampling
本文利用粒子滤波器计算的模拟似然值，对一般状态空间模型进行了贝叶斯推断。我们的经验表明，部分或完全适应粒子滤波器可以比标准粒子更有效，特别是当信号噪声比高。这一点尤其重要，因为在MCMC采样中使用粒子滤波器的时间复杂度为O（T^2），其中T是样本量。我们还表明，一个自适应的独立的建议的基础上的混合法线的未知参数可以比通常的最佳随机游动方法更有效，因为模拟的可能性是不连续的参数和成本相比，构建一个良好的自适应建议是可以忽略不计的成本评估模拟的可能性。独立的\MH方案也很有吸引力，因为它们易于在多个处理器上并行运行。文章还表明，建议的\aimh采样收敛到后验分布。我们还表明，任何状态空间模型的边际似然可以得到一个有效的和无偏的方式，通过使用\pf模型比较简单。使用其他方法通常很难获得边际可能性。最后，我们证明了辅助粒子滤波器得到的模拟似然是无偏的。这个结果是使用粒子进行MCMC采样的基础，并且由Del Moral（2004）在更抽象和困难的环境中首次获得。然而，我们的证明是直接的，并将使读者可以访问的结果。
2010-06-09 stat.ME
The Metropolis-Hastings algorithm
这篇短文是对梅特罗波利斯-黑斯廷斯算法的一个独立的基本介绍，该算法是一种普遍存在的工具，用于从任意分布生成相关模拟。该文件说明了简单的例子与R代码的方法的原则，并提供了参考最近的扩展方法。
2016-01-27 stat.CO
A Bayesian Matrix Factorization Model for Relational Data
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
关系学习可以用来用其他相关的信息源来增强一个数据源，以提高预测的准确性。我们框架的关系学习问题的一大类矩阵分解问题，并提出了一个层次贝叶斯模型。使用随机行走Metropolis-Hastings训练我们的贝叶斯模型是不切实际的慢，所以我们开发了一个块Metropolis-Hastings采样器，它使用梯度和Hessian的可能性来动态调整建议。我们证明，大脑对刺激的反应的预测模型可以通过增加有关刺激的边信息来改善。
2012-03-15 cs.LG stat.ML
A multiple-try Metropolis-Hastings algorithm with tailored proposals
我们提出了一个新的多尝试梅特罗波利斯-黑斯廷斯算法设计时，量身定制的建议分布是特别有益的。该算法是基于一个给定的无环图$G$，其中的一个节点在$G$，$k$说，包含当前状态的马尔可夫链和剩余的节点包含建议的状态通过应用定制的建议分布。梅特罗波利斯-黑斯廷斯算法在两种类型的更新之间交替。第一种更新类型是使用定制的建议分布在$G$中除节点$k$之外的所有节点中生成新状态。第二种更新类型是生成$k$的新值，从而改变当前状态的值。我们评估所提出的方案的有效性，在一个例子中，与先前定义的目标和建议的分布。
2018-07-05 stat.CO
Particle filtering within adaptive Metropolis Hastings sampling
我们表明，它是可行的，进行精确的贝叶斯推断的非高斯状态空间模型使用自适应大都会Hastings采样计划的似然近似的粒子滤波器。此外，基于法线混合提议的自适应独立Metropolis Hastings采样器在计算上比自适应随机游动提议有效得多，因为与近似似然的成本相比，构造良好自适应提议的成本可以忽略不计。独立的大都会黑斯廷斯提案也很有吸引力，因为它们很容易在多个处理器上并行运行。我们还表明，当使用的粒子滤波器，任何模型的边际似然是在一个有效的和无偏的方式，使模型比较简单。
2009-11-02 stat.CO stat.ME
Decomposition Sampling applied to Parallelization of Metropolis-Hastings
本文提出了一种随机变量的抽样算法，通过将样本空间划分为重叠部分，将抽样过程分解为多个子问题。子问题可以彼此独立地解决，因此非常适合并行化。此外，在这些子问题中的每一个上，可以使用不同的和独立的采样方法。换句话说，可以为样本空间的特定部分设计特定的采样器。该算法被证明在一个粒子边缘的Metropolis-Hastings采样器适用于波动率模型和两个玩具的例子校准。在实验中观察到显着的加速和减少的总变异。
2016-01-25 stat.CO
Fully Adaptive Gaussian Mixture Metropolis-Hastings Algorithm
马尔可夫链蒙特卡罗方法广泛用于信号处理和通信中的统计推断和随机最优化。在这项工作中，我们引入了一个有效的自适应梅特罗波利斯-黑斯廷斯算法，从通用的多模态和多维目标分布的样本。建议密度是高斯密度的混合，其中所有参数（权重、均值向量和协方差阵）使用应用简单递归规则的所有先前生成的样本来更新。一维和二维的情况下提供的数值结果。
2013-03-15 stat.CO stat.ME
A fast Metropolis-Hastings method for generating random correlation matrices
我们提出了一种新的梅特罗波利斯-黑斯廷斯算法，从相关矩阵的空间均匀采样。现有的方法都是基于相关矩阵的复杂表示或复杂参数化，而本文的方法基于正定矩阵的Cholesky分解和马尔可夫链蒙特卡罗理论，具有直观、简单的特点.我们进行了详细的收敛性分析所产生的马尔可夫链，并显示它如何受益于快速收敛，理论和经验。此外，在数值实验中，我们的算法被证明是显着快于目前的替代方法，由于其简单而有原则的方法。
2018-09-02 stat.CO
Maximal couplings of the Metropolis-Hastings algorithm
耦合在马尔可夫链蒙特卡罗算法的分析中起着核心作用，并且越来越频繁地出现在算法本身中，例如在收敛诊断、并行化和方差减少技术中。现有的梅特罗波利斯-黑斯廷斯算法的耦合处理的建议和接受的步骤分开，并没有达到耦合不等式给出的一步会议概率的上限。本文介绍了最大的耦合，实现这一界限，同时保持目前的方法的实用优势。我们考虑这些耦合的属性，并研究其行为的数值例子的选择。
2020-10-16 stat.CO stat.ME
Accelerating Metropolis-Hastings algorithms by Delayed Acceptance
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢，如巨大的数据集所例示的。在本文中，我们提供了一个有用的概括延迟接受的方法，旨在减少计算成本的算法，一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分，旨在大大减少计算时间，从而超过接受概率的相应减少。每个分量可以顺序地与统一变量进行比较，第一次拒绝表示不再考虑建议的值。此外，我们开发的方差相关估计的方差的理论界相对于标准的大都会黑斯廷斯和详细的最佳缩放和一般优化的过程中的一些结果。我们用一系列例子来说明这些加速特性
2015-03-05 stat.CO
Score-Based Metropolis-Hastings Algorithms
Duke University（杜克大学）；Morgan Stanley（摩根士丹利）
针对分数模型缺乏能量函数而无法应用Metropolis-Hastings调整的问题，本文基于细致平衡条件提出新损失函数来估计接受概率，从而将分数模型与MH算法结合，并在多种场景下验证了其有效性。
2025-03-31 cs.LG stat.CO
Gradient Estimation via Differentiable Metropolis-Hastings
针对Metropolis-Hastings轨迹因离散接受/拒绝步骤不可微、难以估计期望梯度的问题，提出基于重耦合链的可微采样方法，证明了估计量的强一致性与中心极限定理，并在贝叶斯分析等场景验证了有效性。
2024-06-20 math.PR math.ST stat.CO
Stability of Noisy Metropolis-Hastings
伪边缘马尔可夫链蒙特卡罗方法采样从棘手的分布得到了最近的兴趣，并已在理论上进行了深入的研究。它们的主要吸引力是它们是精确的，在这个意义上，它们的目标是边缘正确的不变分布。然而，伪边缘马尔可夫链可能表现出差的混合和向其目标的缓慢收敛。作为一种替代方案，可以模拟一个微妙不同的马尔可夫链，其中更好的混合是可能的，但牺牲了精确度属性。这是嘈杂的算法，最初概念化为蒙特卡罗内的大都市（MCWM），这也被研究，但在较小的程度上。本文提供了噪声算法的进一步表征，重点是基本的稳定性，如正递归和几何遍历性。从一个标准的Metropolis-Hastings链继承几何遍历的充分条件，以及收敛的不变分布向真正的目标分布。
2015-03-24 stat.CO
On Disturbance State-Space Models and the Particle Marginal Metropolis-Hastings Sampler
我们调查非线性状态空间模型没有一个封闭形式的过渡密度，并建议重新制定这样的模型，其潜在的噪声变量，而不是其潜在的状态变量。这样一来，易处理的噪声密度就取代了难处理的跃迁密度。对于诸如辅助粒子滤波器之类的重要性抽样方法，这使得能够计算重要性权重，否则它们不能计算。作为案例研究，我们采取了两个多元海洋生物地球化学模型，并进行状态和参数估计使用粒子边际Metropolis-Hastings采样。对于这个采样器内的粒子滤波器，我们比较了几个建议的策略，噪声变量，所有的基础上lookaheads与无味卡尔曼滤波器。这些策略进行了比较，使用传统的手段来评估大都会黑斯廷斯效率，以及与一种新的度量称为条件接受率评估使用估计的后果，而不是确切的，可能性。结果表明，该模型的实用性重新制定的噪声变量，特别是快速混合过程模型。
2013-12-10 stat.CO
Error bounds for Metropolis-Hastings algorithms applied to perturbations of Gaussian measures in high dimensions
Metropolis-adjusted Langevin算法（MALA）是一种用于从连续分布中近似采样的Metropolis-Hastings方法。我们推导上界的收缩率在Kantorovich-Rubinstein-Wasserstein距离的MALA链与半隐式欧拉建议适用于对数凹概率测度，有一个密度w.r. t。高斯参考测量。对于足够“规则”的密度，估计是维度无关的，并且它们对于足够小的步长$h$也不依赖于维度。在极限$h\downarrow0$下，边界接近凸势场中过阻尼Langevin扩散的已知最优收缩率。类似的方法也适用于大都会黑斯廷斯连锁与奥恩斯坦乌伦贝克建议。在这种情况下，得到的估计仍然是独立的维度，但不太理想，反映了一个事实，即MALA是一个高阶近似的扩散限制比大都会黑斯廷斯与奥恩斯坦-乌伦贝克建议。
2014-01-16 math.PR stat.CO
Exact Convergence Rate Analysis of the Independent Metropolis-Hastings Algorithms
关于Metropolis-Hastings算法的一个著名难题是得到其收敛速度的精确界。此外，马尔可夫链理论中一个基本但经常被忽视的问题是研究不同初始化的收敛速度。本文研究了一般状态空间和离散状态空间上的独立Metropolis-Hastings（IMH）算法的上述两个问题。我们推导了IMH算法的精确收敛速度，并证明了IMH算法的不同确定性初始化具有相同的收敛速度。在一般状态空间上得到了IMH算法的精确收敛速度。
2021-08-19 math.PR math.SP math.ST
Adaptive Independent Metropolis-Hastings by Fast Estimation of Mixtures of Normals
我们构建了一个自适应独立的大都会黑斯廷斯采样器，使用混合的法线作为建议分布。为了充分利用自适应采样的潜力，我们的算法经常更新法线的混合，从链的早期开始。该算法是建立在速度和可靠性，其采样性能进行评估与真实和模拟的例子。我们的文章概述了自适应采样保持的条件，并给出了一个容易获得的证明，即在这些条件下，采样方案生成收敛到目标分布的迭代。
2008-01-11 stat.AP stat.CO stat.ME
Metropolis-Hastings algorithms with autoregressive proposals, and a few examples
我们分析了随机AR（1）过程方案下的梅特罗波利斯-黑斯廷斯算法的计算效率。这些建议包括，作为一个子类，离散朗之万扩散（例如MALA）和离散哈密顿动力学（例如HMC）。对于目标分布相对于高斯分布是绝对连续的并且高斯分布的协方差允许有非对角项的情况，我们推导了具有一般随机AR（1）过程建议的MCMC方法的期望接受率和期望跳跃大小的表达式。这使我们能够扩展已知的几种MCMC方法，以及确定这种类型的新MCMC方法的效率。在混合蒙特卡罗的特殊情况下，我们可以确定最佳的积分时间和质量矩阵的选择的影响。通过包括Metropolis-Hastings的影响，我们还扩展了Fox和Parker的结果，他们使用矩阵分裂技术来分析从高斯分布采样的随机AR（1）过程的性能并提高其效率。
2016-05-19 stat.CO
Using parallel computation to improve Independent Metropolis--Hastings based estimation
在本文中，我们考虑的影响，并行的原始功率可以利用一个通用的梅特罗波利斯-黑斯廷斯算法，如果建议的值是独立的。特别是，我们提出了改进的独立梅特罗波利斯-黑斯廷斯算法，显着降低任何估计来自MCMC输出的方差，为零计算成本，因为这些改进是基于一个固定数量的目标密度评估。此外，本文中开发的技术不会危及算法的马尔可夫收敛特性，因为它们基于Gelfand和Smith（1990）的Rao-Blackwell原则，Casella和Robert（1996），Atchade和Perron（2005）以及Douc和Robert（2010）已经利用了这些原则。我们说明了这些改进的玩具正常的例子和经典的概率回归模型，但强调的事实是，它们适用于任何情况下，独立的大都会黑斯廷斯是适用的。
2011-03-24 cs.DC cs.DS stat.CO
A note on diffusive/random-walk behaviour in Metropolis--Hastings algorithms
University College London（伦敦大学学院）
该研究探讨了Metropolis-Hastings算法中扩散与随机游走行为的收敛特性，指出在特定条件下，随机游走算法的收敛速率与目标分布的尾部性质相关。
2026-03-07 math.PR stat.CO
Multiplicative random walk Metropolis-Hastings on the real line
本文提出了基于乘法的随机游动Metropolis Hastings（MH）算法。我们称之为随机俯冲MH（RDMH）算法。这种算法，即使简单的应用，没有研究早期的马尔可夫链蒙特卡罗文献。相关的内核被证明具有标准的属性，如不可约性，非周期性和哈里斯复发下一些温和的假设。这些保证了内核的基本收敛性（遍历性）。进一步的内核被证明是几何遍历的一大类目标密度$\mathbb{R}$。这类甚至包含现实的目标密度，随机游动或朗之万MH不是几何遍历。三个仿真实验证明了RDMH算法的混合特性及其在实际线路上优于标准MH算法。一个股价回报数据进行了分析，并与文献中的结果进行了比较。
2011-08-15 stat.CO
A large deviation principle for the empirical measures of Metropolis-Hastings chains
本文针对一般状态空间上的 Metropolis-Hastings 链，首次证明其经验测度满足大偏差原理，并依据接受与拒绝动力学刻画速率函数，为分析该类 MCMC 方法的效率提供了新的理论基础。
2023-08-14 math.PR stat.CO
A vanilla Rao--Blackwellization of Metropolis--Hastings algorithms
Casella和Robert [Biometrika 83（1996）81- 94]提出了一个用于Accept-Reject和Metropolis-Hastings格式的一般Rao-Blackwellization原理，该原理导致所得估计量的方差显著减小，但计算和存储成本很高。采用一个完全不同的角度来看，我们引入一个通用的计划，而不是保证方差减少在所有的大都市-黑斯廷斯为基础的估计，同时保持控制的计算成本。我们建立了一个中心极限定理的改进估计和玩具的例子和概率模型估计的性能说明。
2011-03-08 math.ST stat.CO stat.ME
Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals
马尔可夫链蒙特卡罗（MCMC）方法是计算复杂概率分布的有力工具。然而，这种方法的性能是严格依赖于适当调整的参数，其中大多数是困难的，如果不是不可能知道一个给定的目标分布的先验。自适应MCMC方法旨在通过允许在采样期间基于来自链的先前样本更新参数来解决这个问题，代价是需要新的理论分析来确保收敛。在这项工作中，我们扩展了自适应MCMC方法的收敛理论，建立在一个强大的参数密度估计，称为规范化流一类新的方法。特别是，我们考虑一个独立的大都会-黑斯廷斯采样器，其中的建议分布是由一个归一化流，其参数更新使用随机梯度下降。我们探讨了这一过程的实际性能的合成设置和物理场系统的分析，并比较它对自适应和非自适应MCMC方法。
2021-10-25 stat.CO
Rademacher complexity for Markov chains : Applications to kernel smoothing and Metropolis-Hasting
根据Talagrand的开创性方法，将随机变量独立序列的Rademacher复杂性的概念推广到马尔可夫链。所提出的“块Rademacher复杂性”（一类函数）的概念来自更新理论，并允许控制基于Harris马尔可夫链的经验过程的上确界（在该类函数上）的期望值以及超额概率。对于Vapnik-Chervonenkis类型的类，建立了“块Rademacher复杂性”的界限。这些界限基本上取决于样本量和再生时间的概率尾部。该方法被用来获得平稳测度的核密度估计的收敛速度，并推导出Metropolis-Hasting算法的浓度不等式。
2018-07-06 math.ST stat.CO stat.TH
Adaptively switching between a particle marginal Metropolis-Hastings and a particle Gibbs kernel in SMC$^2$
针对难以计算似然的状态空间模型后验采样问题，提出在SMC²迭代中自适应切换PMMH和PG粒子MCMC核的方法，显著提升算法效率并开源代码。
2023-07-21 stat.CO
Correlated pseudo-marginal Metropolis-Hastings using quasi-Newton proposals
伪边缘Metropolis-Hastings（pmMH）是一种通用的算法，用于从不容易逐点评估的目标分布中采样。然而，pmMH需要良好的建议分布来有效地从目标中采样，这在实践中可能是有问题的。当标准的随机游走方案效率低下时，这对于高维目标尤其是一个问题。我们扩展了pmMH，允许构建的建议的基础上，从多个过去的迭代信息。因此，可以采用拟牛顿（qN）方法来形成利用梯度信息将马尔可夫链引导到高概率区域的建议，并构造局部曲率的近似以缩放步长。所提出的方法证明了几个问题，这表明，qN建议可以比其他常见的海森为基础的建议更好地执行。
2018-07-27 stat.CO stat.ML
Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题，通常使用粒子和马尔可夫链蒙特卡罗（MCMC）方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings（PIMH）生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的，并且便于构造置信区间。该方案只需要访问现成的粒子滤波器（PF），因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
Autocovariance and Optimal Design for Random Walk Metropolis-Hastings Algorithm
本文研究了随机游走Metropolis-Hastings算法的自协方差结构，提出了针对对称单峰分布的最优提议设计，并探讨了高维情况下的调谐准则。
2026-02-28 math.OC math.ST stat.CO
Metropolis-Hastings transition kernel couplings
耦合在马尔可夫链收敛分析和新型马尔可夫链蒙特卡罗估计、诊断和方差减少技术的构建中起着核心作用。可能的耦合的集合通常是棘手的，使寻找紧边界和有效估计器的努力受挫。为了解决这一挑战的算法在大都会黑斯廷斯（MH）家庭，我们建立了一个简单的表征MH过渡内核耦合的集合。然后，我们扩展这一结果来描述一组最大的耦合的MH内核，解决一个悬而未决的问题O 'Leary等人。我们的研究结果代表了一个进步，了解MH过渡内核和一个步骤向前耦合这类流行的算法。
2023-01-06 math.PR math.ST stat.CO
Variance bounds and robust tuning for pseudo-marginal Metropolis--Hastings algorithms
本文为伪边缘Metropolis-Hastings算法提供了简单的渐近方差上下界，揭示了盲目遵循2015年调优建议可能掩盖算法严重问题，并提出更安全的替代调优准则及相关提议扩展。
2024-11-16 math.ST stat.CO stat.TH
Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢，如巨大的数据集所例示的。在本文中，我们提供了一种方法，以减少计算成本的算法，一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分，旨在大大减少计算时间，超过相应的接受概率的减少。除法将“先验x似然”项分解为乘积，使得其某些分量的计算成本比其他分量低得多。每个分量可以顺序地与统一变量进行比较，第一次拒绝表示不再考虑所提出的值，这种方法可以反过来作为利用手头计算机的并行能力的预取算法的一部分来加速。我们说明了一系列的玩具和现实的例子，这些加速功能。
2014-06-10 stat.CO stat.ME
Getting Started with Particle Metropolis-Hastings for Inference in Nonlinear Dynamical Models
本教程介绍了用于非线性状态空间模型参数推断的粒子Metropolis-Hastings（PMH）算法，以及统计编程语言R中的软件实现。我们采用分步方法与读者一起开发PMH算法（以及其中的粒子滤波器）的实现。这个最终的实现也可以作为CRAN存储库中的pmhtutorial包获得。在整个教程中，我们提供了一些关于算法如何操作的直觉，并讨论了一些解决方案，以解决实际中可能出现的问题。为了说明PMH的使用，我们考虑在线性高斯状态空间模型与合成数据和非线性随机波动率模型与真实世界的数据的参数推断。
2019-03-12 q-fin.ST stat.CO stat.ML
Precision Annealing Monte Carlo Methods for Statistical Data Assimilation: Metropolis-Hastings Procedures
统计数据同化（SDA）是将来自野外或实验室观测的信息转移到用户选择的产生这些观测的动力系统模型。数据是有噪声的，模型有误差;信息传递解决了以观测值为条件的模型状态的条件概率分布的性质。SDA中感兴趣的量是模型状态的函数的条件期望值，并且这些需要高维积分的近似评估。我们引入了一个条件概率分布，并使用退火拉普拉斯方法来确定的条件概率分布的最大值。当进入拉普拉斯方法时，退火方法缓慢地增加模型的精度项。在本文中，我们扩展的想法精密退火（PA）的蒙特卡罗计算的条件期望值使用Metropolis-Hastings方法。
2019-01-14 physics.data-an physics.geo-ph stat.CO
Efficient Mirror-type Kernels for the Metropolis-Hastings Algorithm
本文提出融合 Mirror 移动与 MALA 的 MirrorMALA 核，并结合新型高维白化变换分析 GLMMs，在相近计算成本下实现显著更高采样效率。
2025-06-07 stat.CO
A general perspective on the Metropolis-Hastings kernel
自成立以来，Metropolis-Hastings内核已经以复杂的方式应用于解决更具挑战性和多样化的采样问题。它的成功源于这样一个事实所带来的灵活性，即它的核查和采样实施取决于局部"详细平衡“条件，而不是以典型的棘手积分方程形式的全局条件。虽然在最简单的场景中检查局部条件是常规的，但对于涉及辅助结构和变量的复杂应用来说，这要困难得多。我们的目标是开发一个框架，使建立复杂的马尔可夫链蒙特卡罗内核的正确性成为一个纯粹的机械或代数练习，同时通过允许更强烈地关注基本特征-嵌入分布的选择，对合和偶尔的接受函数-而不是诱导，核心的样板结构往往会掩盖什么是重要的。该框架还可以用于验证不满足详细平衡的内核，即不可逆的内核，而是其修改版本。
2020-12-29 stat.CO stat.ME
Metropolis-Hastings within Partially Collapsed Gibbs Samplers
部分塌陷吉布斯（PCG）采样器提供了一种新的策略，以改善吉布斯采样器的收敛性。PCG通过减少其母吉布斯采样器的某些绘制中的条件来实现更快的收敛。虽然这可以显著提高收敛性，但必须注意确保保持平稳分布。在PCG采样器中采样的条件分布可能是不相容的，并且改变它们的顺序可能会打乱链的平稳分布。在部分或全部更新中使用Metropolis-Hastings（MH）更新时，必须格外小心。减少吉布斯采样器中MH的条件可以改变稳态分布，即使在不使用MH的情况下PCG采样器也可以完美工作。事实上，在文献中提倡的这种采样器的数量实际上并不具有目标平稳分布。在这篇文章中，我们说明了可能出现的挑战，当使用MH在PCG采样器和开发一个通用的策略，使用这种更新，同时保持所需的平稳分布。当在PCG采样方案中选择不同的MH时，理论论证提供了指导。最后，我们用几个应用实例说明了PCG采样器中的MH及其计算优势。
2014-03-07 stat.CO
