Decomposition Sampling applied to Parallelization of Metropolis-Hastings
本文提出了一种随机变量的抽样算法，通过将样本空间划分为重叠部分，将抽样过程分解为多个子问题。子问题可以彼此独立地解决，因此非常适合并行化。此外，在这些子问题中的每一个上，可以使用不同的和独立的采样方法。换句话说，可以为样本空间的特定部分设计特定的采样器。该算法被证明在一个粒子边缘的Metropolis-Hastings采样器适用于波动率模型和两个玩具的例子校准。在实验中观察到显着的加速和减少的总变异。
2016-01-25 stat.CO
Multiplicative random walk Metropolis-Hastings on the real line
本文提出了基于乘法的随机游动Metropolis Hastings（MH）算法。我们称之为随机俯冲MH（RDMH）算法。这种算法，即使简单的应用，没有研究早期的马尔可夫链蒙特卡罗文献。相关的内核被证明具有标准的属性，如不可约性，非周期性和哈里斯复发下一些温和的假设。这些保证了内核的基本收敛性（遍历性）。进一步的内核被证明是几何遍历的一大类目标密度$\mathbb{R}$。这类甚至包含现实的目标密度，随机游动或朗之万MH不是几何遍历。三个仿真实验证明了RDMH算法的混合特性及其在实际线路上优于标准MH算法。一个股价回报数据进行了分析，并与文献中的结果进行了比较。
2011-08-15 stat.CO
Fully Adaptive Gaussian Mixture Metropolis-Hastings Algorithm
马尔可夫链蒙特卡罗方法广泛用于信号处理和通信中的统计推断和随机最优化。在这项工作中，我们引入了一个有效的自适应梅特罗波利斯-黑斯廷斯算法，从通用的多模态和多维目标分布的样本。建议密度是高斯密度的混合，其中所有参数（权重、均值向量和协方差阵）使用应用简单递归规则的所有先前生成的样本来更新。一维和二维的情况下提供的数值结果。
2013-03-15 stat.CO stat.ME
A fast Metropolis-Hastings method for generating random correlation matrices
我们提出了一种新的梅特罗波利斯-黑斯廷斯算法，从相关矩阵的空间均匀采样。现有的方法都是基于相关矩阵的复杂表示或复杂参数化，而本文的方法基于正定矩阵的Cholesky分解和马尔可夫链蒙特卡罗理论，具有直观、简单的特点.我们进行了详细的收敛性分析所产生的马尔可夫链，并显示它如何受益于快速收敛，理论和经验。此外，在数值实验中，我们的算法被证明是显着快于目前的替代方法，由于其简单而有原则的方法。
2018-09-02 stat.CO
Maximal couplings of the Metropolis-Hastings algorithm
耦合在马尔可夫链蒙特卡罗算法的分析中起着核心作用，并且越来越频繁地出现在算法本身中，例如在收敛诊断、并行化和方差减少技术中。现有的梅特罗波利斯-黑斯廷斯算法的耦合处理的建议和接受的步骤分开，并没有达到耦合不等式给出的一步会议概率的上限。本文介绍了最大的耦合，实现这一界限，同时保持目前的方法的实用优势。我们考虑这些耦合的属性，并研究其行为的数值例子的选择。
2020-10-16 stat.CO stat.ME
Efficient Mirror-type Kernels for the Metropolis-Hastings Algorithm
本文提出融合 Mirror 移动与 MALA 的 MirrorMALA 核，并结合新型高维白化变换分析 GLMMs，在相近计算成本下实现显著更高采样效率。
2025-06-07 stat.CO
Score-Based Metropolis-Hastings Algorithms
Duke University（杜克大学）；Morgan Stanley（摩根士丹利）
针对分数模型缺乏能量函数而无法应用Metropolis-Hastings调整的问题，本文基于细致平衡条件提出新损失函数来估计接受概率，从而将分数模型与MH算法结合，并在多种场景下验证了其有效性。
2025-03-31 cs.LG stat.CO
Exact Convergence Rate Analysis of the Independent Metropolis-Hastings Algorithms
关于Metropolis-Hastings算法的一个著名难题是得到其收敛速度的精确界。此外，马尔可夫链理论中一个基本但经常被忽视的问题是研究不同初始化的收敛速度。本文研究了一般状态空间和离散状态空间上的独立Metropolis-Hastings（IMH）算法的上述两个问题。我们推导了IMH算法的精确收敛速度，并证明了IMH算法的不同确定性初始化具有相同的收敛速度。在一般状态空间上得到了IMH算法的精确收敛速度。
2021-08-19 math.PR math.SP math.ST
On the utility of Metropolis-Hastings with asymmetric acceptance ratio
梅特罗波利斯-黑斯廷斯算法允许从任何概率分布$π$中渐近采样。最近有很多工作致力于开发MH更新的变体，其可以处理这样的评估是不可能的情况，并且还保证从$π$渐近地采样。已经出现的最流行的方法可以说是伪边缘MH算法，其用$π$的非归一化版本的无偏估计代替$π$。替代的伪边缘算法，而不是依赖于无偏估计的MH接受率也被提出。这些算法可以具有比标准PM算法更好的属性。已知这两类算法的收敛性取决于所涉及的估计量的可变性，并且保证减少可变性以减少遍历平均值的渐近方差，并且在大多数感兴趣的情况下缩短老化期或收敛到平衡。一个简单的方法来减少变异性，服从并行计算，由平均独立估计。然而，虽然在伪边际算法中对$π$的估计量求平均值可以保证从$π$中渐近采样，但对接受比估计求平均值会破坏详细的平衡，导致不正确的结果。我们提出了一个原始的方法，允许正确实施这一想法。我们建立的理论性质，平行的标准PM算法和上述讨论。我们证明了各种推理问题的方法的兴趣。特别是，我们表明，收敛到平衡，可以显着缩短，因此提供了可能性，以减少用户的等待时间，在一个通用的方式时，并行计算架构是可用的。
2018-03-26 stat.CO
Error bounds for Metropolis-Hastings algorithms applied to perturbations of Gaussian measures in high dimensions
Metropolis-adjusted Langevin算法（MALA）是一种用于从连续分布中近似采样的Metropolis-Hastings方法。我们推导上界的收缩率在Kantorovich-Rubinstein-Wasserstein距离的MALA链与半隐式欧拉建议适用于对数凹概率测度，有一个密度w.r. t。高斯参考测量。对于足够“规则”的密度，估计是维度无关的，并且它们对于足够小的步长$h$也不依赖于维度。在极限$h\downarrow0$下，边界接近凸势场中过阻尼Langevin扩散的已知最优收缩率。类似的方法也适用于大都会黑斯廷斯连锁与奥恩斯坦乌伦贝克建议。在这种情况下，得到的估计仍然是独立的维度，但不太理想，反映了一个事实，即MALA是一个高阶近似的扩散限制比大都会黑斯廷斯与奥恩斯坦-乌伦贝克建议。
2014-01-16 math.PR stat.CO
Exact active subspace Metropolis-Hastings, with applications to the Lorenz-96 system
我们认为，积极的子空间的应用，通知梅特罗波利斯-黑斯廷斯算法，从而积极地减少采样问题的计算维数。我们表明，原来的配方，提出了康斯坦丁，肯特，和Bui Thanh（SIAM J. Sci.计算：38（5）：A2779-A2805，2016），具有渐近偏倚。使用伪边缘参数，我们开发了一个渐近无偏的变体。我们的算法被应用到一个合成的多模态目标分布以及一个Lorenz-96系统的参数推断问题的贝叶斯公式。
2017-12-07 stat.AP stat.CO
Mixing Time of Metropolis-Hastings for Bayesian Community Detection
研究了贝叶斯社区检测的Metropolis-Hastings算法的计算复杂性。首先在文献中建立了随机块模型在最优信噪比条件下自然先验分布的后验强相合性结果。然后，我们给出了一组条件，保证快速混合的一个简单的大都会黑斯廷斯算法。混合时间分析基于对后验比的仔细研究和控制马尔可夫链的谱间隙的典型路径参数。
2018-11-06 math.ST stat.CO stat.TH
Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching
诸如梅特罗波利斯-黑斯廷斯算法的MCMC算法由于计算复杂的目标分布而变慢，如巨大的数据集所例示的。在本文中，我们提供了一种方法，以减少计算成本的算法，一个简单而通用的分而治之的战略。通用加速背后的想法是将接受步骤分为几个部分，旨在大大减少计算时间，超过相应的接受概率的减少。除法将“先验x似然”项分解为乘积，使得其某些分量的计算成本比其他分量低得多。每个分量可以顺序地与统一变量进行比较，第一次拒绝表示不再考虑所提出的值，这种方法可以反过来作为利用手头计算机的并行能力的预取算法的一部分来加速。我们说明了一系列的玩具和现实的例子，这些加速功能。
2014-06-10 stat.CO stat.ME
Barker's algorithm for Bayesian inference with intractable likelihoods
在这篇论文中，我们抽象和描述了一个简单的MCMC计划采样从棘手的目标密度。该方法已在Gonçalves等人（2017 a）中在跳跃扩散的特定背景下引入，并且基于Barker算法与简单的Bernoulli工厂类型方案配对，即所谓的2硬币算法。在许多情况下，它是一种替代标准的Metropolis-Hastings伪边缘方法模拟从棘手的目标密度。虽然巴克的是众所周知的效率略低于大都会-黑斯廷斯，我们的方法的主要优点是，它允许实现“边际巴克的”，而不是扩展的状态空间伪边际大都会-黑斯廷斯，由于接受/拒绝概率的特殊形式。我们将说明我们的方法的上下文中的贝叶斯推断离散观察Wright-Fisher家庭的扩散。
2017-09-22 stat.CO
Note on the computation of the Metropolis-Hastings ratio for Birth-or-Death moves in trans-dimensional MCMC algorithms for signal decomposition problems
可逆跳跃MCMC（RJ-MCMC）采样技术允许在相干贝叶斯框架中联合处理模型选择和参数估计问题，自从Andrieu和Doucet的开创性论文（IEEE Trans. Signal Process.，47（10），1999）。任何RJ-MCMC采样器的实现的关键是计算所谓的大都会-黑斯廷斯-格林（MHG）比率，它决定了建议移动的接受概率。事实证明，在Andrieu和Doucet的论文中给出的MHG比的表达式对于“要么死要么死”移动-最简单的一种跨维移动，几乎在RJ-MCMC的所有应用中都使用到信号分解问题-是错误的。不幸的是，这个错误已经被复制在许多后续的论文处理的RJ-MCMC采样在信号处理文献。本文讨论了MHG比的计算，重点讨论了建议核可以分解为简单核的混合的情况，MHG比很容易计算。我们提供了充分的条件下，MHG比的混合物可以推导出MHG比的基本内核，它是由。作为应用，我们考虑了非死即死的移动情形，并给出了Andrieu和Doucet论文中错误率的修正表达式。
2012-08-09 stat.CO
Robust random walk-like Metropolis-Hastings algorithms for concentrating posteriors
出于贝叶斯推断与高信息量的数据，我们分析的性能的随机游动一样的梅特罗波利斯-黑斯廷斯算法的近似抽样越来越集中的目标分布。我们专注于高斯的建议，使用基于海森近似的目标协方差。通过前推转移核，我们证明了对于高斯目标测度，相应的梅特罗波利斯-黑斯廷斯算法的谱隙与后验的浓度无关，即，用于贝叶斯推断的观测数据中的噪声水平。此外，通过利用其拉普拉斯近似的集中后验的收敛性，我们将分析扩展到非高斯目标的措施，无论是集中在一个单一的点或沿线性流形。特别是，在该设置中，我们表明，平均接受率以及合适的大都会-黑斯廷斯马尔可夫链的预期平方跳跃距离不恶化的目标浓度。
2022-02-24 cs.NA math.NA math.PR
A note on diffusive/random-walk behaviour in Metropolis--Hastings algorithms
University College London（伦敦大学学院）
该研究探讨了Metropolis-Hastings算法中扩散与随机游走行为的收敛特性，指出在特定条件下，随机游走算法的收敛速率与目标分布的尾部性质相关。
2026-03-07 math.PR stat.CO
A vanilla Rao--Blackwellization of Metropolis--Hastings algorithms
Casella和Robert [Biometrika 83（1996）81- 94]提出了一个用于Accept-Reject和Metropolis-Hastings格式的一般Rao-Blackwellization原理，该原理导致所得估计量的方差显著减小，但计算和存储成本很高。采用一个完全不同的角度来看，我们引入一个通用的计划，而不是保证方差减少在所有的大都市-黑斯廷斯为基础的估计，同时保持控制的计算成本。我们建立了一个中心极限定理的改进估计和玩具的例子和概率模型估计的性能说明。
2011-03-08 math.ST stat.CO stat.ME
Variance bounds and robust tuning for pseudo-marginal Metropolis--Hastings algorithms
本文为伪边缘Metropolis-Hastings算法提供了简单的渐近方差上下界，揭示了盲目遵循2015年调优建议可能掩盖算法严重问题，并提出更安全的替代调优准则及相关提议扩展。
2024-11-16 math.ST stat.CO stat.TH
Autocovariance and Optimal Design for Random Walk Metropolis-Hastings Algorithm
本文研究了随机游走Metropolis-Hastings算法的自协方差结构，提出了针对对称单峰分布的最优提议设计，并探讨了高维情况下的调谐准则。
2026-02-28 math.OC math.ST stat.CO
Using parallel computation to improve Independent Metropolis--Hastings based estimation
在本文中，我们考虑的影响，并行的原始功率可以利用一个通用的梅特罗波利斯-黑斯廷斯算法，如果建议的值是独立的。特别是，我们提出了改进的独立梅特罗波利斯-黑斯廷斯算法，显着降低任何估计来自MCMC输出的方差，为零计算成本，因为这些改进是基于一个固定数量的目标密度评估。此外，本文中开发的技术不会危及算法的马尔可夫收敛特性，因为它们基于Gelfand和Smith（1990）的Rao-Blackwell原则，Casella和Robert（1996），Atchade和Perron（2005）以及Douc和Robert（2010）已经利用了这些原则。我们说明了这些改进的玩具正常的例子和经典的概率回归模型，但强调的事实是，它们适用于任何情况下，独立的大都会黑斯廷斯是适用的。
2011-03-24 cs.DC cs.DS stat.CO
Adaptive Independent Metropolis-Hastings by Fast Estimation of Mixtures of Normals
我们构建了一个自适应独立的大都会黑斯廷斯采样器，使用混合的法线作为建议分布。为了充分利用自适应采样的潜力，我们的算法经常更新法线的混合，从链的早期开始。该算法是建立在速度和可靠性，其采样性能进行评估与真实和模拟的例子。我们的文章概述了自适应采样保持的条件，并给出了一个容易获得的证明，即在这些条件下，采样方案生成收敛到目标分布的迭代。
2008-01-11 stat.AP stat.CO stat.ME
A Latent Slice Sampling Algorithm
在本文中，我们介绍了一种新的采样算法，它有可能被采用作为一个通用的替代梅特罗波利斯-黑斯廷斯算法。它与切片采样器有关，并且由适用于离散概率分布的算法驱动，该算法可以被视为该设置中的梅特罗波利斯-黑斯廷斯算法的替代方案，该算法避免了对建议分布的需要，因为它没有接受/拒绝分量。本文着眼于连续对应。隐变量与切片采样器和应用于均匀密度函数的收缩过程相结合，创建了一个高效的采样器，该采样器可以从非常高维的分布作为单个块生成随机变量。
2020-10-16 stat.CO
Efficient posterior sampling for Bayesian Poisson regression
Poisson对数线性模型在许多应用中是普遍存在的，并且是参数计数回归的最流行的方法之一。然而，在贝叶斯上下文中，没有足够的具体计算工具用于从参数的后验分布进行有效采样，并且通常使用标准算法，例如随机游动Metropolis-Hastings或哈密顿蒙特卡罗算法。在此，我们开发了一个有效的梅特罗波利斯-黑斯廷斯算法和重要性采样器来模拟条件高斯先验下的泊松对数线性模型的参数的后验分布，相对于最先进的替代品具有优越的性能。这两种算法的关键是引入一个建议密度的基础上的高斯近似的后验分布的参数。具体而言，我们的结果利用了泊松似然的负二项近似和成功的Pólya-gamma数据增强方案。通过仿真，我们得到的时间，每个独立的样本的建议采样器是具有竞争力的，使用成功的哈密顿蒙特卡罗采样，与大都会黑斯廷斯显示出优越的性能，在所有的情况下考虑。
2022-09-01 stat.CO
Randomized Reduced Forward Models for Efficient Metropolis--Hastings MCMC, with Application to Subsurface Fluid Flow and Capacitance Tomography
通过马尔可夫链蒙特卡罗（MCMC）的贝叶斯建模和计算推断是用于大规模不确定性量化的原则性框架，尽管在实践中受限于以最简单的形式实现时的计算成本，该最简单的形式需要在MCMC的每次迭代处模拟精确的计算机模型。延迟接受Metropolis-Hastings MCMC利用前向映射的简化模型来降低每次迭代的计算成本，尽管这必然会降低统计效率，但不小心会导致计算估计的计算成本没有降低到所需的精度。随机化前向映射的简化模型可以通过保持每次迭代的低成本以及避免统计效率的明显损失来显著提高计算效率。随机化映射是通过随机化和局部校正的确定性简化模型的后验自适应调整来构造的。同样地，近似的后验分布可以被视为由与简化图一起使用的修改的似然函数引起的，其中参数被调谐以优化对正确的后验分布的近似的质量。自适应MCMC算法的条件允许实际的近似和算法，保证遍历的目标分布。良好的统计和计算效率的例子中表现出的地热储层和电容层析成像的大规模数值模型的校准。
2020-09-17 stat.CO
Log-concave sampling: Metropolis-Hastings algorithms are fast
考虑了$\mathbb{R}^d$中强对数凹密度的采样问题，证明了Metropolis调整的Langevin算法（MALA）的混合时间的一个非渐近上界.该方法通过模拟一个马尔可夫链来抽取样本，该链是从一个适当的朗之万扩散的离散化中获得的，并结合了一个接受-拒绝步骤。相对于已知的保证未调整的Langevin算法（ESTA），我们的界限表明，使用一个接受拒绝步骤MALA导致指数级改善的依赖于容错。具体地说，为了获得最多$δ$的条件数$κ$密度的TV错误的样本，我们表明，MALA需要$\mathcal{O} \big(κd \log(1/δ) \big)$步骤，相比之下，在过去的工作中建立的$\mathcal{O} \big(κ^2 d/δ^2 \big)$的步骤。我们还证明了弱对数凹密度的MALA的收益超过了。此外，我们推导出混合时间界的大都市随机游动（MRW），并获得$\mathcal{O}(κ)$混合时间慢于MALA。我们提供的数值例子，支持我们的理论研究结果，并证明了大都会黑斯廷斯调整Langevin型采样算法的好处。
2019-12-11 stat.CO stat.ML
A categorical account of the Metropolis-Hastings algorithm
Nanyang Technological University（南洋理工大学）；University of Warwick（华威大学）
研究能否用范畴概率构建和分析Metropolis-Hastings算法，通过马尔可夫范畴和CD范畴等工具表述相关概念，研究交换幺半群上CD范畴的丰富化，给出MH类采样器可逆的充要条件。
2026-07-14 math.CT math.PR stat.CO
Getting Started with Particle Metropolis-Hastings for Inference in Nonlinear Dynamical Models
本教程介绍了用于非线性状态空间模型参数推断的粒子Metropolis-Hastings（PMH）算法，以及统计编程语言R中的软件实现。我们采用分步方法与读者一起开发PMH算法（以及其中的粒子滤波器）的实现。这个最终的实现也可以作为CRAN存储库中的pmhtutorial包获得。在整个教程中，我们提供了一些关于算法如何操作的直觉，并讨论了一些解决方案，以解决实际中可能出现的问题。为了说明PMH的使用，我们考虑在线性高斯状态空间模型与合成数据和非线性随机波动率模型与真实世界的数据的参数推断。
2019-03-12 q-fin.ST stat.CO stat.ML
Metropolis-Hastings transition kernel couplings
耦合在马尔可夫链收敛分析和新型马尔可夫链蒙特卡罗估计、诊断和方差减少技术的构建中起着核心作用。可能的耦合的集合通常是棘手的，使寻找紧边界和有效估计器的努力受挫。为了解决这一挑战的算法在大都会黑斯廷斯（MH）家庭，我们建立了一个简单的表征MH过渡内核耦合的集合。然后，我们扩展这一结果来描述一组最大的耦合的MH内核，解决一个悬而未决的问题O 'Leary等人。我们的研究结果代表了一个进步，了解MH过渡内核和一个步骤向前耦合这类流行的算法。
2023-01-06 math.PR math.ST stat.CO
On randomized step sizes in Metropolis-Hastings algorithms
Bocconi University（博科尼大学）；University College（学院）；INSA Rouen Normandie（鲁昂诺曼底国立应用科学学院）
本文研究了Metropolis-Hastings算法中随机步长的选择，证明其在保持高维缩放极限和复杂度的同时，提高Langevin和Hamiltonian采样器的最优接受率，并通过数值实验验证了理论结果。
2026-07-21 math.ST stat.CO stat.ME
Two Metropolis-Hastings algorithms for posterior measures with non-Gaussian priors in infinite dimensions
California Institute of Technology（加州理工学院）
本文提出两种Metropolis-Hastings算法，用于在无限维Hilbert空间上绝对连续的目标测度采样，重点在于设计可逆的自回归类型提案核，并引入Bessel-K先验作为伽玛分布在无限维中的推广，用于稀疏或压缩参数建模。
2019-04-22 cs.NA math.NA math.PR
Optimal design of the Barker proposal and other locally-balanced Metropolis-Hastings algorithms
本文研究了Livingstone & Zanella（2021）提出的一类一阶局部平衡的梅特罗波利斯-黑斯廷斯算法。为了在类中选择特定算法，用户必须选择满足$g(t) = tg(1/t)$的平衡函数$g:\mathbb{R} \to \mathbb{R}$和用于建议增量的噪声分布。类内的流行选择是大都会调整的Langevin算法和最近推出的巴克建议。我们首先建立了一个普遍的限制最优接受率为57%和缩放的$n^{-1/3}$的尺寸$n$趋于无穷大的所有成员之间的类温和的光滑假设下，$g$和算法的目标分布时，产品的形式。特别是，我们得到一个明确的表达式中的任意算法的渐近有效性的类，作为衡量的期望平方跳跃距离。然后，我们考虑如何在各种约束条件下优化这个表达式。我们推导出一个最佳选择的噪声分布的巴克建议，最佳选择的平衡功能下的高斯噪声分布，和最佳选择的一阶局部平衡算法之间的整个类，这原来取决于特定的目标分布。数值模拟证实了我们的理论研究结果，特别是表明，在巴克建议的噪声分布的双峰选择产生了一个实用的算法，始终比原来的高斯版本更有效。
2022-01-04 math.ST stat.CO stat.ML
Efficiency and computability of MCMC with Langevin, Hamiltonian, and other matrix-splitting proposals
本文分析了采用AR（1）处理方案的Metropolis-Hastings算法的计算效率。这些建议包括，作为一个子类，离散朗之万扩散（例如MALA）和离散哈密顿动力学（例如HMC）。通过包括Metropolis-Hastings的影响，我们扩展了Fox和Parker的早期工作，他们使用矩阵分裂技术来分析AR（1）过程的性能并提高其效率。我们的研究使MCMC方法的分析，从非高斯目标分布的样本，通过使用AR（1）过程的建议，在大都会黑斯廷斯算法，通过分析的精度矩阵的矩阵分裂的局部高斯近似的非高斯目标。
2015-01-13 math.PR stat.CO
Importance is Important: Generalized Markov Chain Importance Sampling Methods
本文提出基于重要性权重的无拒绝MCMC抽样方案，将多重尝试Metropolis算法推广为无需拒绝的通用框架，并拓展至离散空间，证明其比原始Metropolis--Hastings算法更高效。
2024-10-02 stat.CO stat.ME stat.ML
Improved Metropolis-Hastings algorithms via landscape modifcation with applications to simulated annealing and the Curie-Weiss model
本文通过引入阈值参数修改能量景观，提出了改进的Metropolis-Hastings和模拟退火算法，在鼓励探索与利用间取得平衡，并在Curie-Weiss模型及低温模拟退火中显著提升了向基态的收敛速度与全局最小值间的隧道穿越时间。
2023-07-19 math-ph math.MP math.OC
On a Metropolis-Hastings importance sampling estimator
函数期望近似的经典方法。部分已知的分布是计算沿着Metropolis-Hastings（MH）马尔可夫链的轨迹的函数值的平均值。MH算法中的关键部分是对所提出的状态的适当接受/拒绝，这确保了所得到的马尔可夫链的正确平稳分布。然而，拒绝提案会导致高度相关的样本。特别是，当一个状态被拒绝时，它不会被进一步考虑。与此相反，我们考虑一个MH重要性抽样估计，它明确地将所有建议的状态产生的MH算法。估计满足强大数定律以及中心极限定理，并且，除此之外，我们提供了一个明确的均方误差界。值得注意的是，MH重要性抽样估计量的渐近方差不涉及任何相关项，与其经典的对应。此外，虽然分析估计使用相同的信息量的经典MH估计，它可以优于后者的情况下，中等尺寸的数值实验表明。
2020-02-04 cs.NA math.NA math.PR
Differentiating Metropolis-Hastings to Optimize Intractable Densities
Massachusetts Institute of Technology（麻省理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；University of Oxford（牛津大学）；JuliaHub；Pumas-AI
提出一种 Metropolis-Hastings 采样器的自动微分算法，结合随机自动微分与 Markov chain 耦合方案提供无偏低方差梯度估计，实现对含离散成分的不可解密度的梯度优化。
2023-06-30 cs.LG stat.CO stat.ME
Convergence Rate of Multiple-try Metropolis Independent sampler
MTM（Multiple-try Metropolis）方法是经典的梅特罗波利斯-黑斯廷斯算法的一个有趣的推广。然而，其收敛行为的理论理解，以及它是否和如何可能帮助仍然是未知的。本文通过显式特征分析，导出了多尝试Metropolis独立采样器（MTM-IS）的精确收敛速度。作为一个副产品，我们证明了MTM-IS是效率较低的重复独立的Metropolis-Hastings方法在相同的计算成本的简单方法。我们进一步探索更多的变化，并发现有可能通过创建相关的多个试验来设计更有效的MTM算法。
2023-02-03 math.ST stat.CO stat.TH
Exact MCMC for Intractable Proposals
Duke University（杜克大学）；IIT Kanpur（坎普尔印度理工学院）
本文提出利用伯努利工厂MCMC算法解决不可行提案分布的问题，通过三个实例展示其有效性。
2026-04-19 stat.CO stat.ME
On the Theoretical Properties of the Exchange Algorithm
Rutgers University（罗格斯大学）
交换算法是梅特罗波利斯-黑斯廷斯算法的最流行的扩展之一，用于从双重难处理的分布中采样。然而，交换算法的理论探索非常有限。例如，像“交换算法是否以几何速度收敛？”或“交换算法是否承认中心极限定理？”还没有得到回答。在本文中，我们研究的理论性质的交换算法，在渐近方差和收敛速度。将交换算法与原梅特罗波利斯-黑斯廷斯算法进行了比较，给出了交换算法几何遍历的充要条件.此外，我们证明了我们的结果可以适用于各种实际应用，如位置模型，高斯模型，泊松模型，和一个大类的指数族，其中包括大多数的实际应用的交换算法。建立了交换算法的中心极限定理。我们的研究结果证明了理论上的有用性的交换算法。
2021-08-19 cs.LG math.PR math.ST
