Importance is Important: Generalized Markov Chain Importance Sampling Methods
本文提出基于重要性权重的无拒绝MCMC抽样方案，将多重尝试Metropolis算法推广为无需拒绝的通用框架，并拓展至离散空间，证明其比原始Metropolis--Hastings算法更高效。
2024-10-02 stat.CO stat.ME stat.ML
Interacting Multiple Try Algorithms with Different Proposal Distributions
我们提出了一类新的相互作用的马尔可夫链蒙特卡罗（MCMC）算法，旨在提高改进的多尝试大都会（MTM）算法的效率。相对于现有的MCMC文献的扩展是双重的。提出的采样器扩展了基本的MTM算法，允许不同的建议分布在多次尝试生成步骤。我们利用不同的建议分布的MTM算法的结构，自然地引入一个相互作用的MTM机制（IMTM），扩大人口类蒙特卡罗方法。我们证明了算法的有效性，并讨论了选择权的选择和不同的建议。我们提供的数值研究表明，新的算法可以比基本的MTM算法更好地执行和互动机制，使IMTM有效地探索状态空间。
2010-11-04 stat.CO
Rapidly Mixing Multiple-try Metropolis Algorithms for Model Selection Problems
多尝试Metropolis（MTM）算法是Metropolis-Hastings（MH）算法的扩展，根据一定的权重函数在多个试验中选择建议的状态。虽然MTM由于其比标准MH算法更快的经验收敛和混合而受到广泛欢迎，但由于其复杂的建议方案，其理论混合性质在文献中很少研究。我们证明了MTM可以实现一个混合时间界小于MH的试验次数的一个因素下，适用于高维模型选择问题的离散状态空间的一般设置。我们的理论结果激发了一类新的权重函数，称为局部平衡权重函数，并指导试验次数的选择，从而提高了标准MTM算法的性能。我们支持我们的理论结果，通过广泛的模拟研究和实际数据的应用与几个贝叶斯模型选择问题。
2022-10-14 stat.CO stat.ME
Analysis of Multiple-try Metropolis via Poincaré inequalities
本文利用庞加莱不等式框架分析Multiple-try Metropolis算法，推导其与理想Metropolis--Hastings算法的庞加莱比较结果，在高斯情形下证明了该算法的显式非渐近收敛界。
2025-11-17 math.PR stat.CO
On the flexibility of the design of Multiple Try Metropolis schemes
多尝试Metropolis（MTM）方法是经典的梅特罗波利斯-黑斯廷斯算法的推广，其中根据归一化权重在一组样本中选择链的下一个状态。在文献中，已经提出了几个扩展。在这项工作中，我们显示和评论MTM型方法的设计的灵活性，满足详细的平衡条件。我们讨论了几种可能性，并显示不同的数值结果。
2013-02-28 math.ST stat.CO stat.ME
Compound Auxiliary Metropolis: Incorporating Auxiliary Variables into Multi-Candidate MCMC
Simon Fraser University（西蒙菲莎大学）
针对复杂目标分布中 MTM 局部最优转移不足的问题，提出复合辅助 metropolis（CAM）方法，将链局部状态与辅助信息纳入多候选框架，通过定义辅助变量灵活抽样，经测试其性能优于 MTM 及 No-U-Turn Sampler。
2026-07-20 stat.CO
Locally weighted Markov chain Monte Carlo
我们提出了一个加权方案的建议内马尔可夫链蒙特卡罗算法，并显示如何这可以提高统计效率，没有额外的计算成本。这些方法在与多提议MCMC算法（如多尝试Metropolis）结合时是最强大的，它可以有效地利用具有大量核心的现代计算机架构。局部加权的马尔可夫链蒙特卡罗方法还通过Rao-Blackwellization改进了梅特罗波利斯-黑斯廷斯算法的部分并行化。我们推导出我们的算法的输出的有效样本量，并显示如何在实践中估计这一点。文中给出了该方法的说明和实例，并与现有方法在理论和应用上进行了比较。
2015-06-29 stat.CO
Convergence Rate of Multiple-try Metropolis Independent sampler
MTM（Multiple-try Metropolis）方法是经典的梅特罗波利斯-黑斯廷斯算法的一个有趣的推广。然而，其收敛行为的理论理解，以及它是否和如何可能帮助仍然是未知的。本文通过显式特征分析，导出了多尝试Metropolis独立采样器（MTM-IS）的精确收敛速度。作为一个副产品，我们证明了MTM-IS是效率较低的重复独立的Metropolis-Hastings方法在相同的计算成本的简单方法。我们进一步探索更多的变化，并发现有可能通过创建相关的多个试验来设计更有效的MTM算法。
2023-02-03 math.ST stat.CO stat.TH
A multiple-try Metropolis-Hastings algorithm with tailored proposals
我们提出了一个新的多尝试梅特罗波利斯-黑斯廷斯算法设计时，量身定制的建议分布是特别有益的。该算法是基于一个给定的无环图$G$，其中的一个节点在$G$，$k$说，包含当前状态的马尔可夫链和剩余的节点包含建议的状态通过应用定制的建议分布。梅特罗波利斯-黑斯廷斯算法在两种类型的更新之间交替。第一种更新类型是使用定制的建议分布在$G$中除节点$k$之外的所有节点中生成新状态。第二种更新类型是生成$k$的新值，从而改变当前状态的值。我们评估所提出的方案的有效性，在一个例子中，与先前定义的目标和建议的分布。
2018-07-05 stat.CO
Adaptive Component-wise Multiple-Try Metropolis Sampling
在实践中最广泛使用的采样器之一是分量式Metropolis-Hastings（CMH）采样器，其使用从提议分布生成的接受-拒绝移动来依次更新向量值马尔可夫链的分量。当马尔可夫链的目标分布是不规则形状时，状态空间的一部分的“好”建议分布可能是状态空间的另一部分的“差”建议分布。我们考虑一个组件明智的多尝试大都会（CMTM）算法，可以自动选择从一组候选移动从不同的分布采样。使用CMTM算法的自适应规则来提高计算效率，该规则在马尔可夫链运行时动态地构建更好的建议分布集。从理论上证明了自适应链的遍历性。通过仿真和实际数据的例子，性能进行了研究。
2017-03-21 stat.CO
Group Importance Sampling for Particle Filtering and MCMC
IMT Lille Douai（IMT里尔-杜埃大学）；CRISTAL (UMR 9189)（CRISTAL实验室（UMR 9189））；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Image Processing Laboratory, Universitat de València（瓦伦西亚大学图像处理实验室）
贝叶斯方法及其通过复杂的蒙特卡罗技术的实现在过去几年中已经在信号处理中变得非常流行。重要性抽样（IS）是一种众所周知的蒙特卡罗技术，其通过加权样本来近似涉及后验分布的积分。在这项工作中，我们研究了分配一个单一的加权样本，压缩人口的加权样本中包含的信息。部分理论，我们目前作为组重要性抽样（GIS）已被隐含在不同的作品在文献中。所提供的分析产生了几个理论和实践的后果。例如，我们讨论了应用GIS的顺序重要性恢复框架，并显示独立的多尝试大都会计划可以被解释为一个标准的梅特罗波利斯-黑斯廷斯算法，以下的GIS方法。介绍了两种基于GIS的马尔可夫链蒙特卡罗（MCMC）方法。第一种方法是分组抽样法，它产生一组加权样本的马尔可夫链。所有这些集，然后获得一个独特的全球估计。第二种是分布式粒子Metropolis-Hastings技术，其中不同的并行粒子滤波器联合使用来驱动MCMC算法。不同的重采样轨迹进行比较，然后用适当的接受概率进行测试。新的计划进行了测试，在不同的数值实验，如学习高斯过程的超参数，在无线传感器网络的两个本地化问题（合成和真实数据）和跟踪植被参数的卫星观测，在那里他们与几个基准蒙特卡罗技术进行比较。还提供了三个说明性的Matlab演示。
2018-08-04 cs.CE cs.LG stat.CO
Adaptive MCMC with online relabeling
当目标分布是人为不变的一些排列下，马尔可夫链蒙特卡罗（MCMC）算法面临的标签切换问题，边际推理特别麻烦。例如，在有限混合模型的贝叶斯分析中就出现了这种情况。自适应MCMC算法也不例外，例如自适应Metropolis（AM），其使用目标的协方差阵的在线估计来自校准其建议分布。为了解决标签切换问题，重新标记算法将置换与每个MCMC样本相关联，试图获得合理的边际。在自适应Metropolis（Bernoulli 7（2001）223-242）的情况下，需要在线重新标记策略。本文致力于AMOR算法，可证明一致的变体AM，可以应付标签切换问题。其思想是基于单个协方差阵的估计在MCMC算法内嵌套重新标记步骤，该协方差矩阵用于调整Metropolis算法步骤中的建议分布的协方差和用于在线重新标记。我们比较了AMOR的行为与类似的重新标记方法。在紧支撑目标分布的情形下，我们证明了AMOR的一个强大数定律及其遍历性。这些是第一个结果的一致性的在线重新标记算法，以我们的知识。证明强调了重新标记和矢量量化之间的潜在关系。
2015-07-27 math.PR math.ST stat.CO
MCMC for Imbalanced Categorical Data
许多现代应用程序收集高度不平衡的分类数据，其中一些类别相对罕见。贝叶斯分层模型通过借用信息来对抗数据稀疏性，同时也量化了不确定性。然而，后验计算提出了一个基本的障碍，日常使用;一个单一的类的算法并不能很好地工作在所有的设置和从业者浪费时间尝试不同类型的MCMC方法。这篇文章的动机是定量广告的应用程序中，我们遇到了非常差的计算性能，常见的数据增强MCMC算法，但获得了良好的性能自适应大都会。为了更深入地理解这种行为，我们给出了强有力的理论结果的计算复杂性在无限不平衡的渐近制度。结果表明，Metropolis算法的计算复杂性在样本量下是对数的，而数据扩充算法在样本量下是多项式的.数据增强性能不佳的根本原因是目标密度和MCMC步长集中的速率之间的差异。一般来说，具有类似差异的MCMC算法将在大样本中失败-这一结果具有实质性的实际影响。
2017-06-26 cs.CC math.ST stat.CO
Monte Carlo Approximation of Bayes Factors via Mixing with Surrogate Distributions
通过将目标后验分布与一个归一化常数易处理的替代分布混合，提出了一种利用Wang-Landau算法估计边缘似然的方法。我们表明，所提出的方法可以通过动量加速实现更快的收敛。详细介绍了两种实现策略：（i）通过Multiple-try Metropolis促进后验分布和代理分布之间的全局跳跃;（ii）通过变分近似构造代理。在代理难以获得的情况下，提出了一种新的一般可逆跳马尔可夫链蒙特卡罗算法的跳机制，该机制结合了多尝试Metropolis算法和方向采样算法.我们说明了几个统计模型，包括对数高斯Cox过程，贝叶斯套索，逻辑斯谛回归，和g-先验贝叶斯变量选择所提出的方法。
2020-12-16 stat.CO stat.ME
Paired-move multiple-try stochastic search for Bayesian variable selection
变量选择是分析高维数据时的一个关键问题。大样本量和维数的数据爆炸给该问题的推理精度和计算复杂度带来了新的挑战。为了缓解这些问题，我们提出了一个新的可扩展的马尔可夫链蒙特卡罗（MCMC）抽样算法“大$p$小$n$“的情况下，通过推广多尝试大都会离散模型空间，并进一步纳入基于邻域的随机搜索。给出了MCMC算法可逆性的证明。进行了大量的仿真研究，以检查与现有的方法相比，新算法的效率。最后通过一个实际数据实例验证了新算法的预测性能。
2016-11-29 stat.CO stat.ME
On the fundamental limitations of multiproposal Markov chain Monte Carlo algorithms
该研究针对多提议马尔可夫链蒙特卡洛算法，证明其收敛速度提升存在上限，串行实现效率低于单提议方案，对数凹分布下并行实现增益也有限，结果适用于任意多提议方案并经数值模拟验证。
2024-10-30 math.ST stat.CO stat.ME
MCMC Using Ensembles of States for Problems with Fast and Slow Variables such as Gaussian Process Regression
我介绍了一个马尔可夫链蒙特卡罗（MCMC）计划，在该计划中，从一个密度为π（x）的分布采样是使用更新操作的“合奏”的状态。当前状态x首先被随机映射到系综x^{（1）}，.，x^{（K）}。然后使用MCMC更新来更新该系综，MCMC更新保持合适的系综密度rho（x^{（1）}，.，x^{（K）}），根据pi（x^{（i）}）定义，i=1，.，K.最后，在这些更新之后从系综中随机选择单个状态。当pi和系综的特性允许对于{1，.，K}，其计算时间少于针对单个x计算pi（x）所需的计算时间的K倍。这种类型的一种常见情况是，对某些“快速”变量的更改允许快速重新计算密度，而对其他“慢速”变量的更改则不允许。高斯过程回归模型是此类问题的一个例子，协方差的总体缩放因子和噪声方差是快速变量。我表明，集成MCMC高斯过程回归模型确实可以大大提高采样性能。最后，我讨论了其他可能的应用合奏MCMC，其关系的“多尝试大都会”的方法刘，梁，黄和“多集采样器”的莱曼，陈和拉文。
2011-01-02 stat.CO
Efficient Gibbs Sampling for Markov Switching GARCH Models
我们开发了有效的模拟技术，贝叶斯推理切换Gestro模型。我们对现有文献的贡献是多方面的。首先，我们讨论了不同的多移动采样技术的马尔可夫切换（MS）状态空间模型，特别是注意MS-Gesthem模型。我们的多移动采样策略是基于前向滤波后向采样（FFBS）应用于近似的MS-Gestro。另一个重要的贡献是使用多点采样器，如多尝试Metropolis（MTM）和多尝试Metropolize独立采样器，结合FFBS用于MS-Gestro过程。在这个意义上，我们将So [2006]关于连续状态空间模型的有效MTM采样器的工作扩展到MS状态空间模型。最后，我们建议通过在FFBS中引入Craiu和Meng [2005]和Craiu和Lemieux [2007]的对偶抽样来进一步提高抽样效率。在MS-GBS模型上的仿真实验表明，与单移动Gibbs抽样相比，多点多移动抽样策略可以提高抽样效率。
2012-12-21 math.ST stat.TH
Orthogonal parallel MCMC methods for sampling and optimization
蒙特卡罗（MC）方法广泛用于统计学、信号处理和机器学习中的贝叶斯推断和优化。众所周知的一类MC方法是马尔可夫链蒙特卡罗（MCMC）算法。为了更好地探索状态空间，特别是在高维应用中，最近引入了几种采用多个并行MCMC链的方案。在这项工作中，我们描述了一种新的并行交互MCMC计划，称为{ \it正交MCMC}（O-MCMC），其中一组“垂直”并行MCMC链共享信息使用一些“水平”MCMC技术工作在整个人口的当前状态。更具体地说，垂直链是由随机行走的建议，而水平MCMC技术采用独立的建议，从而允许一个有效的组合的全球探索和局部近似。交互包含在这些水平迭代中。在不同的O-MCMC实现的分析，新的计划，以减少并行多尝试Metropolis（MTM）链的整体计算成本。此外，O-MCMC优化的修改版本提供了考虑并行模拟退火（SA）算法。数值结果表明，所提出的采样方案的优点，在估计的效率，以及鲁棒性的独立性相对于初始值和参数的选择。
2016-09-25 stat.CO stat.ML
