Parallelizing MCMC via Weierstrass Sampler
随着统计问题规模的快速增长，基于子集的无通信并行MCMC方法是大规模贝叶斯分析的一个很有前途的未来。在这篇文章中，我们提出了一个新的Weierstrass采样器的并行MCMC的基础上独立的子集。新的采样器通过合并独立子集MCMC链的后验样本来逼近全数据后验样本，从而具有更高的计算效率。我们表明，维尔斯特拉斯采样器的近似误差是有界的一些调谐参数，并提供建议的值的选择。仿真研究表明，Weierstrass采样器是非常有竞争力的相比，其他方法结合MCMC链产生的子集，包括平均和核平滑。
2014-05-25 cs.DC stat.CO stat.ML
Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models
主题模型，更具体地说是潜在狄利克雷分配（LDA）类，广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用塌陷吉布斯采样器来执行。我们提出了一个并行稀疏部分折叠吉布斯采样器，并比较其速度和效率，以国家的最先进的采样器的主题模型上五个著名的文本语料库的不同大小和属性。特别是，我们提出并比较了两种不同的策略，用于对具有潜在主题指标的参数块进行采样。实验表明，统计效率的增加，从只有部分折叠是小于通常假设的，可以超过补偿的加速从并行化和稀疏较大的语料库。我们还证明了部分塌陷的采样器的规模以及与语料库的大小。该算法具有快速、高效、准确的特点，比普通的塌陷采样器适用于更多的建模场合。
2017-08-15 stat.ME stat.ML
Efficient Bayesian inference for stochastic volatility models with ensemble MCMC methods
本文介绍了一种有效的集成马尔可夫链蒙特卡罗（MCMC）抽样方法，用于单变量随机波动率模型的贝叶斯计算。我们将我们的集合MCMC方法的性能与Kastner和Fruadith-Schnatter（2014）最近采样器的改进版本进行了比较。我们表明，合奏采样器是更有效的比这个国家的最先进的采样器的一个因素约3.1，从随机波动模型模拟的数据集。这种性能增益是在不依赖于潜在过程是线性和高斯的假设的集合MCMC采样器的情况下实现的，这与Kastner和Fruwett-Schnatter的采样器不同。
2014-12-09 stat.CO
The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models
提出了一种新的计算效率高的隐高斯模型（LGM）的马尔可夫链蒙特卡罗（MCMC）方法。采样方案是两块吉布斯抽样方案，旨在利用LGM的模型结构。我们将建议的采样方案称为MCMC分裂采样器。MCMC分割采样器背后的基本思想是将潜在高斯参数分割为两个向量。前一个向量由出现在数据密度函数中的潜在参数组成，而后一个向量由没有出现在数据密度函数中的潜在参数组成。前一个向量被放置在所提出的采样方案的第一块中，后一个向量与任何潜在的超参数一起被放置在第二块中。由此产生的块内的条件后验密度函数允许MCMC分裂采样器处理，通过设计，LGM与潜在的模型施加在不仅仅是数据密度函数的平均结构。MCMC分裂采样器也被设计为适用于任何参数数据密度函数的选择。此外，当潜在模型的维数增加时，它在计算效率方面具有很好的扩展性。
2015-06-20 stat.CO
A Complete Recipe for Stochastic Gradient MCMC
许多最近的马尔可夫链蒙特卡罗（MCMC）采样器利用连续动态来定义有效地探索目标分布的过渡核。同时，重点是设计可扩展的变体，对数据进行子采样，并在动态模拟中使用随机梯度代替全数据梯度。然而，这样的随机梯度MCMC采样器已经落后于他们的全数据同行的复杂性的动态考虑，因为证明收敛的存在下的随机梯度噪声是不平凡的。即使是简单的动力学，也常常需要显著的物理直觉来修改动力系统以考虑随机梯度噪声。在本文中，我们提供了一个通用的配方，用于构建MCMC采样器-包括随机梯度版本-基于通过两个矩阵指定的连续马尔可夫过程。我们建设性地证明了框架是完整的。也就是说，任何从目标分布提供样本的连续马尔可夫过程都可以在我们的框架中编写。我们展示了如何在我们的框架中对以前的连续动态采样器进行平凡的“改造”，避免了复杂的采样器特定的证明。我们同样使用我们的配方，直截了当地提出了一个新的状态自适应采样器：随机梯度黎曼哈密顿蒙特卡罗（SGRHMC）。我们的实验模拟数据和流维基百科分析表明，建议SGRHMC采样器继承了黎曼HMC的好处，与随机梯度法的可扩展性。
2015-11-01 math.ST stat.ME stat.ML
Reversible jump Markov chain Monte Carlo and multi-model samplers
本文将作为章节发表于MCMC手册第二版，探讨可逆跳转马尔可夫链蒙特卡罗与多模型采样器。
2024-08-29 stat.ME
Augmented Ensemble MCMC sampling in Factorial Hidden Markov Models
阶乘隐马尔可夫模型的贝叶斯推断是具有挑战性的，由于指数大小的潜在变量空间。标准的蒙特卡罗采样器可能难以有效地探索后验景观，并且通常限于依赖于初始化的局部区域周围的探索。我们引入了一个通用的集成马尔可夫链蒙特卡罗（MCMC）技术，以改善现有的混合采样器。这是通过结合并行回火和辅助变量方案来实现的，以有效的方式在链之间交换信息。后者利用增强吉布斯采样器内的遗传算法。我们比较我们的技术与各种现有的采样器在模拟研究以及在癌症基因组学的应用，展示了我们的增强集成方法所获得的改进。
2019-02-26 stat.CO stat.ME stat.ML
Control Variates for Reversible MCMC Samplers
一个一般的方法介绍了建设和有效的应用控制变量的估计问题，涉及数据从可逆MCMC采样器。我们建议使用一类特定的功能作为控制变量，我们引入了一个新的，相合估计量的最佳线性组合的这些功能的系数值。控制变量的形式和建议的建设来自我们的解决方案的泊松方程与一个特定的MCMC方案。新的估计，它可以适用于相同的MCMC样本，来自一个新的，有限维的，明确的最佳系数表示。由此产生的方差减少方法主要适用于当模拟数据由共轭随机扫描吉布斯采样器产生。贝叶斯推断问题的MCMC示例表明，估计方差的相应减少是显著的，并且在某些情况下可能是相当戏剧性的。这种方法在几个方向的扩展，包括某些家庭的大都会黑斯廷斯采样器和混合大都会内吉布斯算法。相应的仿真例子说明所提出的方法的效用。所有的方法和渐近的论点是严格合理的，易于验证，基本上是最小的条件下。
2010-08-07 math.PR math.ST stat.CO
Multicanonical Sequential Monte Carlo Sampler for Uncertainty Quantification
在许多实际工程系统中，系统的性能或可靠性由标量参数表征。该性能参数的分布在许多不确定性量化问题中是重要的，从风险管理到效用优化。在实践中，这种分布通常不能解析地导出，并且必须通过模拟来数值地获得。为此，通常使用标准的蒙特卡罗模拟，然而，它们不能有效地重建分布的尾部，这在许多应用中是必不可少的。一种可能的补救方法是使用多规范蒙特卡罗方法，一种自适应重要性抽样方案。在该方法中，在每次迭代中从非标准形式的重要性抽样分布中抽取样本，这通常通过马尔可夫链蒙特卡罗（MCMC）来完成。MCMC本质上是串行的，因此难以并行。在本文中，我们提出了一种新的方法，它使用序贯蒙特卡罗采样器绘制的重要性抽样分布，这是特别适合于并行实现。数学和实际的例子，我们证明了所提出的方法的竞争力的性能。
2022-09-30 stat.ME
Unit Testing for MCMC and other Monte Carlo Methods
我们提出的方法来测试实现马尔可夫链蒙特卡罗方法以及一般的蒙特卡罗方法。基于统计假设测试，这些方法可以用于单元测试框架中，例如，检查吉布斯采样器或可逆跳跃MCMC中的各个步骤是否具有所需的不变分布。讨论了判定给定马尔可夫链是否具有指定不变分布的两个精确检验。蒙特卡罗方法的这些和其他测试可以嵌入到顺序方法中，如果模拟显示出期望的行为，则允许低预期工作量，如果不显示期望的行为，则允许高功率。此外，错误拒绝概率可以保持任意低。对于一般的蒙特卡罗方法，这允许测试，例如，如果采样器具有指定的分布，或者如果采样器产生具有期望均值的样本。该方法已在R-软件包MCUnit中实现。
2021-09-19 stat.CO stat.ME
Adaptive Gibbs samplers and related MCMC methods
我们考虑各种版本的自适应Gibbs和Metropolis-within-Gibbs采样器，它们在运行过程中通过学习动态更新它们的选择概率（也许还有它们的建议分布），以试图优化算法。我们提出了一个警示的例子，即使是一个简单的自适应吉布斯采样器可能无法收敛。然后，我们提出了各种积极的结果，保证在一定条件下的自适应吉布斯采样收敛。
2013-02-27 math.PR stat.CO
Collective Proposal Distributions for Nonlinear MCMC samplers: Mean-Field Theory and Fast Implementation
在过去的几十年里，各种“非线性”MCMC方法已经出现。虽然它们的收敛速度和效率很高，但它们的实际实现和理论研究仍然具有挑战性。在本文中，我们介绍了一个非线性推广的Metropolis-Hastings算法的建议，不仅取决于当前的状态，但也对它的法律。我们建议模拟这种动态的平均场限制的相互作用的粒子系统，这本身又可以被理解为一个概括的大都会黑斯廷斯算法的粒子群。在迭代次数和粒子数的双重限制下，证明了该算法的收敛性。然后，我们提出了一个高效的GPU实现，并说明其性能的各种例子。该方法是特别稳定的多峰的例子和收敛速度比经典的方法。
2022-08-03 math.PR math.ST stat.ME
Pseudo-extended Markov chain Monte Carlo
使用马尔可夫链蒙特卡罗（MCMC）方法从后验分布进行采样可能需要穷尽的迭代次数，特别是当后验是多模态时，因为MCMC采样器可能在大量迭代中陷入局部模式。在本文中，我们介绍了伪扩展MCMC方法作为一个简单的方法，以改善混合的MCMC采样器的多峰后验分布。伪扩展方法使用伪样本作为辅助变量来扩充后验的状态空间。在扩展的空间上，后验模态是连接的，这使得MCMC采样器可以很容易地在分离良好的后验模态之间移动。我们证明了伪扩展的方法提供了改进的MCMC采样超过哈密顿蒙特卡罗算法的多模态后验，包括玻尔兹曼机和模型与稀疏诱导先验。
2019-10-29 stat.CO stat.ME stat.ML
An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences
Shanghai Jiao Tong University（上海交通大学）
本文提出一种自适应独立采样MCMC算法，用于处理无限维贝叶斯推断问题，通过混合有限个特殊参数化的高斯测度作为建议分布，实现维度无关的高效采样，且在多模态后验分布中表现稳健。
2016-04-10 cs.NA math.NA math.ST
The No-Underrun Sampler: A Locally-Adaptive, Gradient-Free MCMC Method
本文提出无下冲采样器（NURS），一种无需梯度的局部自适应MCMC方法，融合Hit-and-Run与No-U-Turn思想，理论保证可逆性及收敛性，实验成功采样Neal漏斗多尺度分布。
2025-02-25 math.PR math.ST stat.ME
MCMC using $\textit{bouncy}$ Hamiltonian dynamics: A unifying framework for Hamiltonian Monte Carlo and piecewise deterministic Markov process samplers
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出基于弹性哈密顿动力学的无拒绝Metropolis提案框架，将哈密顿蒙特卡洛与分段确定性马尔可夫过程采样统一，提升贝叶斯推断的扩展性与创新性。
2026-03-09 stat.CO stat.ME
Bouncy Hybrid Sampler as a Unifying Device
本文介绍了一类无拒绝的马尔可夫链蒙特卡罗（MCMC）采样器，称为弹性混合采样器，它统一了文献中现有的几种方法。例子包括Peters和de With（2012）、Bouchard-Cote等人（2015）的Bouncy Particle Sampler和Hamiltonian MCMC。根据介绍的一般框架，我们推导出一个新的采样器称为二次弹性混合采样器。我们应用这种新的采样器的问题，从截断高斯分布的采样。
2018-02-19 stat.CO
Ergodicity of an Adaptive MCMC Sampler under a Probability Bound
Université du Littoral Côte d’Opale（滨海大学）
本文提出在概率界内放松自适应MCMC采样器的遍历性条件，无需假设样本和参数空间的紧致性。
2026-02-16 math.PR math.ST stat.CO
Multivariate strong invariance principle and uncertainty assessment for time in-homogeneous cyclic MCMC samplers
该研究为时间非齐次循环MCMC采样器相关马尔可夫链建立了速率与时齐情形最优速率一致的多元强不变性原理，据此推导了多元批均值估计强相合性与固定体积序贯终止规则渐近有效的条件，并通过数值实验验证了相关不确定性评估工具。
2024-05-16 math.ST stat.CO stat.TH
Sequentially guided MCMC proposals for synthetic likelihoods and correlated synthetic likelihoods
合成似然（SL）是当似然函数在分析或计算上难以处理时的参数推断策略。在SL中，数据的似然函数由数据的汇总统计上的多元高斯密度代替。SL需要在采样算法（例如，马尔可夫链蒙特卡罗（MCMC））考虑的每个参数值处模拟许多重复数据集，使得该方法是计算密集型的。我们提出了两种策略来减轻计算负担。首先，我们介绍了一种算法，产生一个建议的分布，依次调整和条件的数据，从而迅速\textit{guides}的建议参数向高后验密度区域。在我们的实验中，我们的算法的少量迭代就足以快速定位高密度区域，我们使用这些区域来初始化一个或多个链，这些链使用现成的自适应MCMC方法。我们的“指导”方法也可以潜在地用于MCMC采样器的近似贝叶斯计算（ABC）。其次，我们利用相关的伪边缘MCMC文献中借用的策略，以改善SL框架中的链混合。此外，我们的方法使推理具有挑战性的案例研究时，后验是多模态的，当链初始化在低后验概率区域的参数空间，标准采样失败。为了说明来自我们的框架的优势，我们考虑五个基准的例子，包括宇宙模型和高度非高斯汇总统计的随机模型的参数估计。
2022-02-18 stat.ME
Diffusion approximations and control variates for MCMC
提出了一种构造控制变量以减小马尔可夫链蒙特卡罗（MCMC）采样器可加泛函方差的新方法。我们的控制变量是通过函数族上的Langevin扩散的渐近方差的最小化来定义的，这可以看作是一个二次风险最小化过程。这些对照变量的使用在理论上是合理的。我们发现，一些著名的MCMC算法，包括随机游动大都市和（大都市）未调整/调整Langevin算法的渐近方差接近Langevin扩散的渐近方差。贝叶斯推断问题的几个例子表明，相应的减少方差是显着的。
2019-07-08 stat.ME
Training Energy-Based Models with Non-MCMC Samplers and Efficient Temperature Estimation
Corporate Laboratory, Toshiba Corporation（东芝公司实验室）；RIKEN Center for Quantum Computing (RQC)（理化学研究所量子计算中心）
本文提出采样自适应学习框架SAL，通过可并行采样器和高效温度估计方法，提升玻尔兹曼机的训练效率和表达能力。
2026-09-16 cs.LG quant-ph stat.ML
Small World MCMC with Tempering: Ergodicity and Spectral Gap
当对多模态分布$π(x)$、$x\in \rr^d$进行采样时，具有局部建议的马尔可夫链通常是缓慢混合的;而小世界采样器\citep{guankrone} --一种使用局部和远程建议混合的马尔可夫链--是快速混合的。然而，小世界采样器遭受维数灾难，因为它的频谱间隙取决于每个模式的体积。我们提出了一个新的采样器，结合回火，小世界采样，并产生长期的建议，从同伴链中的样本（例如等能量采样器）。在最简单的形式中，采样器使用两个小世界链：探索链和采样链。探索链对$π_t(x) \propto π(x)^{1/t}$、$t\in [1,\infty)$进行采样，并建立经验分布。使用此经验分布作为其长期建议，采样链被设计为具有固定分布$π(x)$。证明了算法的遍历性，并研究了算法的收敛速度。结果表明，探测链的谱隙扩大了一个因子$t^{d}$，采样链的谱隙缩小了一个因子$t^{-d}$。重要的是，探测链的谱隙取决于$π_t(x)$的“大小”，而采样链的谱隙不取决于“大小”。总的来说，该采样器以缩小一个温和的瓶颈为代价扩大了一个严重的瓶颈，从而实现了更快的混合。当将算法扩展到温度$\{t_k\}$遵循几何级数的多个链时，可以显著减轻对采样链的谱间隙的惩罚。如果我们允许$t_k \rightarrow 0$，则采样器将成为全局优化器。
2012-11-20 math.PR stat.ME
Multivariate-from-Univariate MCMC Sampler: R Package MfUSampler
R软件包MfUSApler提供蒙特卡罗马尔可夫链机制，用于使用单变量采样算法（如切片采样器和自适应拒绝采样器）从多变量概率分布生成样本。采样器函数执行单变量采样步骤的完整循环，每次一个坐标。在每个步骤中，使用针对其他坐标获得的最新样本值来形成条件分布。这个概念是吉布斯抽样的延伸，其中每一步涉及的不是来自条件分布的独立样本，而是条件分布不变的马尔可夫转换。该软件依赖于条件分布与联合分布的比例来实现用于产生条件的薄包装器。示例说明了基本用法以及提高性能的方法。通过封装多变量从单变量逻辑，MfUSApler提供了一个可靠的库，用于自定义贝叶斯模型的快速原型设计，同时允许增量性能优化，例如利用共轭性，条件独立性和将函数求值移植到编译语言。
2014-12-25 stat.CO
Debiasing Piecewise Deterministic Markov Process samplers using couplings
本文将Jacob等人的耦合MCMC去偏估计器扩展到连续时间PDMP采样器，为bouncy、boomerang和coordinate采样器推导耦合，并通过初步实验验证方法随目标维度的可扩展性。
2024-09-06 cs.DC stat.CO stat.ME
Adaptive MCMC via Combining Local Samplers
Imperial College London, London, UK（伦敦帝国学院，伦敦，英国）
本文提出了一种自适应MCMC方法，通过结合多个并行运行的局部采样器，利用核Stein分歧度优先选择链，以提高整体采样效率，实验表明该方法在多模态问题和传感器定位任务中优于现有方法。
2019-07-13 cs.LG cs.NA math.NA
Meta-Learning for Stochastic Gradient MCMC
University of Cambridge（剑桥大学）
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法在大规模贝叶斯建模中被广泛应用于后验样本的模拟。然而，现有的SG-MCMC计划并不适合任何特定的概率模型，即使是一个简单的修改的基础动力系统需要显着的物理直觉。本文提出了第一个元学习算法，允许自动设计的基础连续动态的SG-MCMC采样器。学习的采样器通过状态依赖的漂移和扩散来概括哈密顿动力学，从而实现神经网络能量景观的快速遍历和有效探索。实验验证了贝叶斯全连接神经网络和贝叶斯递归神经网络任务的方法，学习采样器优于通用的，手工设计的SG-MCMC算法，并推广到不同的数据集和更大的架构。
2018-06-12 cs.LG stat.ML
The No-U-Turn Sampler as a Proposal Distribution in a Sequential Monte Carlo Sampler with a Near-Optimal L-Kernel
本文将NUTS的Hamiltonian提议引入SMC采样器，并结合近最优L-核，以提升目标分布探索效率并降低估计方差。
2021-08-05 stat.CO
ABC Samplers
本章，“ABC采样器”，将出现在即将出版的近似贝叶斯计算手册（2018）中。详细介绍了从ABC近似抽样到后验分布的主要思想和算法，包括基于拒绝/重要性抽样、MCMC和序贯蒙特卡罗方法。
2018-02-26 stat.CO stat.ME stat.ML
Ultimate Pólya Gamma Samplers -- Efficient MCMC for possibly imbalanced binary and categorical data
针对二分类与分类数据贝叶斯建模门槛高且采样效率低的问题，提出基于Pólya-Gamma随机变量的新型潜变量表示与Gibbs采样算法，并引入边际数据增强策略提升MCMC采样效率。
2023-06-30 stat.CO stat.ME
An Adaptive Sequential Monte Carlo Sampler
序贯蒙特卡罗方法不仅是状态空间模型分析中的常用工具，而且在贝叶斯推断必须通过仿真进行的情况下，为MCMC提供了一种替代方法。本文介绍了一种新的SMC方法，使用自适应MCMC内核的粒子动力学。该算法采用在线随机最优化过程来选择最佳MCMC核，同时学习最佳调谐参数。理论结果证明了这种方法的合理性，并给出了如何实施的指导。基于混合模型数据分析的实验结果表明，新的自适应SMC算法（ASMC）既能选择最佳MCMC核，又能学习合适的尺度，在6种情况中，有5种情况下ASMC的性能优于Haario等（1998）的自适应MCMC算法。
2010-05-10 stat.CO
MCMC with Strings and Branes: The Suburban Algorithm (Extended Version)
受弦和膜物理的启发，我们提出了一类涉及扩展对象的马尔可夫链蒙特卡罗（MCMC）算法。从一组并行的Metropolis-Hastings（MH）采样器开始，我们将它们放置在一个辅助网格上，并通过最近邻相互作用将它们耦合在一起。这导致一类“郊区采样器”（即，展开大都市）。以这种方式耦合采样器可以修改马尔可夫链的混合速率和收敛速度，并且在许多情况下可以使采样器更容易地克服目标分布中的自由能障碍。我们测试这些一般的理论考虑进行了几个数值实验。对于具有波动网格拓扑的郊区采样器，性能与邻居的平均数量密切相关。将邻居的平均数量增加到零以上最初会导致性能的提高，尽管存在有效维度d_eff ~ 1的临界连通性，在该临界连通性之上，“群体思维”接管，并且采样器的性能下降。
2017-09-08 cond-mat.dis-nn hep-th physics.comp-ph
Bayesian Sparse Blind Deconvolution Using MCMC Methods Based on Normal-Inverse-Gamma Prior
用于稀疏盲反卷积问题的贝叶斯估计方法常规地采用Bernoulli-Gaussian（BG）先验来建模稀疏序列，并利用马尔可夫链蒙特卡罗（MCMC）方法来估计未知量。然而，BG模型的离散性质产生了计算瓶颈，即使使用最近提出的增强型采样器方案也阻止了对概率空间的有效探索。为了解决这个问题，我们提出了一种替代MCMC方法建模的稀疏序列使用的正常逆伽马（NIG）的先验。我们推导出有效的吉布斯采样器，并说明了与BG模型相关的计算负担可以通过将问题转移到一个完全连续值的框架中来消除。除了稀疏性，我们还将时域和频域的卷积序列的约束。我们证明了所提出的方法的有效性，通过广泛的模拟和计算增益的特点相对于现有的方法，利用BG建模。
2021-08-27 eess.SP stat.ME
A fast asynchronous MCMC sampler for sparse Bayesian inference
我们提出了一个非常快速的近似马尔可夫链蒙特卡罗（MCMC）采样框架，适用于一大类稀疏的贝叶斯推断问题，在几个模型中，每次迭代的计算成本是为了$O(ns)$，其中$n$是样本量，和$s$的基本稀疏模型。当采用随机梯度朗之万动力学时，通过数据子采样可以进一步降低该成本。该算法是Johnson等人（2013）的异步Gibbs采样器的扩展，但可以从统计学角度视为贝叶斯迭代确定独立筛选的一种形式（Fan等人（2009））。我们表明，在高维线性回归问题，所提出的算法产生的马尔可夫链承认一个不变的分布，正确地恢复主信号的概率高，在一些统计假设。此外，我们表明，它的混合时间是最多的线性回归的数量。我们用几个模型来说明该算法。
2021-08-14 math.ST stat.CO stat.ML
Dimension-independent likelihood-informed MCMC
Massachusetts Institute of Technology（麻省理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出了一种与维度无关的似然信息MCMC方法，通过引入操作权重提案分布和局部Hessian信息，实现对高维后验分布的有效采样，用于解决非高斯结构的逆问题。
2015-10-17 cs.NA math.NA stat.CO
Ensemble sampler for infinite-dimensional inverse problems
本文提出一种面向无限维逆问题的无梯度 MCMC 集成采样器，首次将仿射不变集成方法扩展至无限维函数空间，兼具高效性、易实现性和广泛适用性。
2021-02-14 stat.CO
MCMC for State Space models
本研究探讨利用状态空间模型的马尔可夫性等性质，构建含前向-后向算法的Gibbs采样、粒子MCMC等高效MCMC采样器，并分析算法效率影响因素与重参数化的优化作用。
2025-10-06 stat.ME
Mini-batch Tempered MCMC
在本文中，我们提出了一个一般的框架，执行MCMC只有一个小批量的数据。我们表明，通过估计的大都会黑斯廷比只有一个小批量的数据，一个基本上是从真正的后验提高到一个已知的温度采样。实验表明，我们的方法，小批量回火MCMC（MINT-MCMC），可以有效地探索多个模式的后验分布。基于等能量采样器（Kou et al. 2006），我们开发了一种新的基于等能量采样器的并行MCMC算法，该算法能够有效地从具有良好分离模式的高维多模态后验中采样。
2018-05-21 stat.CO
Adaptive Equi-Energy Sampler : Convergence and Illustration
马尔可夫链蒙特卡罗（MCMC）方法允许对已知的直到乘法常数的分布进行采样。经典的MCMC采样器在对多峰分布进行采样时具有非常差的混合特性。等能量采样器是Kou，Zhou和Wong在2006年提出的一种交互MCMC采样器，用于对困难的多峰分布进行采样。该算法在不同温度下并行运行多个链，并允许较低温度的链从具有与当前状态“接近”的能量的较高温度的链跳转到一个状态。该算法的一个主要缺点是，它取决于许多设计参数，因此，需要一个显着的努力来调整这些参数。在本文中，我们介绍了一个自适应等能量（AEE）采样器，自动选择的选择机制时，跳转到一个状态的高温链。我们证明了AEE的遍历性和一个强大数律，以及原始的等能量采样器。最后，我们将我们的算法应用于DNA序列的模体采样。
2013-02-04 math.ST stat.TH
Multivariate moment least-squares estimators for reversible Markov chains
本文针对可逆马尔可夫链的多元函数，基于单变量momentLS估计量提出新的自协方差序列和渐近方差矩阵估计量，证明其强相合性，并通过模拟与真实数据实验验证其优于现有方法。
2024-09-03 stat.ME
Markov Interacting Importance Samplers
我们介绍了一种新的马尔可夫链蒙特卡罗（MCMC）采样器称为马尔可夫交互重要性采样器（MIIS）。MIIS采样器使用条件重要性抽样（IS）近似来联合采样马尔可夫链的当前状态并估计条件期望，可能通过结合全范围的方差减少技术。我们计算Rao-Blackwellized估计的基础上的条件期望构造控制变量估计的期望下的目标分布。当目标分布中的变量之间存在实质性相关性时，控制变量特别有效，这对MCMC来说是一个挑战性的设置。MIIS的一个重要的激励应用发生在精确的吉布斯采样器不可用时，因为直接从条件分布进行模拟是不可行的。在这种情况下，MIIS方法可能比Metropolis-within-Gibbs方法更有效。我们还介绍了MIIS随机游动算法，旨在加快收敛速度，提高标准随机游动采样器的计算效率。贝叶斯分析的模拟和实证说明表明，该方法显着降低了方差的蒙特卡罗估计相比，标准MCMC方法，在同等的实施和计算工作量。
2015-06-25 stat.CO
A Distributed Plug-and-Play MCMC Algorithm for High-Dimensional Inverse Problems
本文提出一种分布式MCMC算法，结合近似数据增强和PnP-ULA，解决大规模高维逆问题，实现可扩展性和不确定性量化，重建性能与其它PnP方法相当。
2026-06-28 cs.DC eess.SP stat.ME
Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals
马尔可夫链蒙特卡罗（MCMC）方法是计算复杂概率分布的有力工具。然而，这种方法的性能是严格依赖于适当调整的参数，其中大多数是困难的，如果不是不可能知道一个给定的目标分布的先验。自适应MCMC方法旨在通过允许在采样期间基于来自链的先前样本更新参数来解决这个问题，代价是需要新的理论分析来确保收敛。在这项工作中，我们扩展了自适应MCMC方法的收敛理论，建立在一个强大的参数密度估计，称为规范化流一类新的方法。特别是，我们考虑一个独立的大都会-黑斯廷斯采样器，其中的建议分布是由一个归一化流，其参数更新使用随机梯度下降。我们探讨了这一过程的实际性能的合成设置和物理场系统的分析，并比较它对自适应和非自适应MCMC方法。
2021-10-25 stat.CO
Adaptive step size selection for Hessian-based manifold Langevin samplers
探讨了在简化流形Metropolis调整Langevin算法（MALA）中使用由二阶导数信息导出的正定度量张量。提出了一种新的自适应步长方法，解决了这种度量张量在对数目标在某些方向上具有接近零曲率的区域中的缺点。自适应步长选择似乎也减轻了在瞬态和稳态中对不同调谐参数的需要，这是MALA的典型特征。从二阶导数信息和自适应步长选择的度量张量的组合构成了一个大的进步，发展可靠的流形MCMC方法，可以自动实现的模型与未知或棘手的费舍尔信息，甚至为目标分布，不承认因式分解成先验和似然。通过低到中等尺寸的例子，它表明，所提出的方法相对于替代MCMC方法表现得非常好。
2015-09-02 stat.CO stat.ME
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程（PDMP），作为马尔可夫链蒙特卡罗（MCMC）的替代方法。为了便于应用到更大的一类问题，我们提出了一类新的PDMP称为吉布斯之字形采样器，它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应，并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
Error Bounds for Sequential Monte Carlo Samplers for Multimodal Distributions
本文给出了一类用于逼近多峰分布的序贯蒙特卡罗（SMC）采样器的渐近方差的界。这种方法结合了标准SMC方法和马尔可夫链蒙特卡罗（MCMC）核。我们的边界改进了以前的结果，与一些早期的工作不同，它们也适用于MCMC内核可以在模式之间移动的情况。我们将我们的结果应用到统计物理的Potts模型。在这种情况下，会遇到尖峰的问题。早期的方法，如平行回火，只能以指数（模型的一个重要参数）成本从中采样。我们提出了一个序列的插值分布称为插值独立，并表明，SMC采样器基于它是能够从这个目标分布在一个多项式的成本进行采样。我们相信我们的方法也适用于许多其他分布。
2018-01-24 math.PR stat.CO stat.ME
Unified Mixture Sampler for State-Space Models: Application to Stochastic Conditional Duration Models
Graduate School of Economics, University of Tokyo（东京大学经济学研究科）；Faculty of Economics, University of Tokyo（东京大学经济学部）
本文提出统一混合采样器，用于非线性状态空间模型的估计，通过动态调整混合组件有效处理未知参数，提升MCMC效率。
2026-04-06 econ.EM stat.CO stat.ME
LSB: Local Self-Balancing MCMC in Discrete Spaces
KU Leuven（鲁汶大学）
我们提出了本地自平衡采样器（LSB），一个本地马尔可夫链蒙特卡罗（MCMC）方法在纯粹的离散域，这是能够自主适应目标分布，并减少收敛所需的目标评估的数量进行采样。LSB基于（i）局部平衡建议的参数化，（ii）基于互信息的新提出的目标函数，以及（iii）自平衡学习过程，其最小化所提出的目标以更新建议参数。基于能量的模型和马尔可夫网络上的实验表明，LSB收敛使用较少的查询的甲骨文分布相比，最近的本地MCMC采样器。
2022-07-04 cs.AI cs.LG stat.ML
How well does your sampler really work?
我们提出了一个新的数据驱动的基准测试系统，以评估新的MCMC采样器的性能。从COCO基准优化中获得灵感，我们认为这项任务对机器学习和统计学具有至关重要的意义，因为新采样器的提出速度很高。常见的手工制作的例子来测试新的采样器是不令人满意的;我们采取了一种类似元学习的方法来生成基准测试的例子从一个大的语料库的数据集和模型。使用高度灵活的密度模型，包括现代神经网络为基础的方法，在实际问题中发现的后验的代理。我们提供了新的见解，真正有效的样本量的各种采样器每单位时间和估计效率的采样器每个样本。此外，我们提供了一个荟萃分析，以评估各种MCMC诊断的预测效用，并进行非参数回归，将它们结合起来。
2017-12-16 stat.CO stat.ML
MCMC-driven importance samplers
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；University of Edinburgh（爱丁堡大学）
蒙特卡罗抽样方法是贝叶斯推断中对多维后验分布的复杂积分进行近似的标准过程。在这项工作中，我们专注于类分层自适应重要性采样（LAIS）计划，这是一个家庭的自适应重要性采样的马尔可夫链蒙特卡罗算法被用来驱动一个潜在的多个重要性抽样计划。LAIS的模块化特性允许不同的可能实现，从而产生各种不同的性能和计算成本。在这项工作中，我们提出了不同的增强的经典LAIS设置，以提高效率，降低计算成本，上层和下层。不同的变体解决了现实世界应用中出现的计算挑战，例如高度集中的后验分布。此外，我们介绍了不同的策略来设计更便宜的方案，例如，回收在上层产生的样本，并将它们用于下层的最终估计。不同的数值实验，考虑到几个具有挑战性的情况下，所提出的计划相比，在文献中提出的基准方法的好处。
2022-04-22 cs.LG stat.CO
The Efficiency of Geometric Samplers for Exoplanet Transit Timing Variation Models
凌日时变（TTV）是确定多行星系统中凌日行星质量和轨道的重要工具。如果知道相互作用的行星的轨道结构和行星-恒星质量比，TTV可以很容易地建模，但这样的模型是高度非线性的，很难反演。马尔可夫链蒙特卡罗（MCMC）方法通常用于探索模型参数的后验分布，但是，由于参数之间的高度相关性，非线性和后验中潜在的多模态，许多采样器的效率非常低。因此，我们评估了几个MCMC采样器，使用不同程度的几何信息的目标分布的性能。我们从多个模型生成合成数据集，包括TTVFaster模型和一个简单的正弦模型，并测试各种MCMC采样器的效率。我们发现，采样效率可以大大提高所有模型的采样从一个参数空间转换使用的协方差估计和目标分布的手段。没有一个采样器对所有数据集都表现最好，但有几个采样器，如差分进化蒙特卡罗和几何自适应蒙特卡罗，具有一致的高效性能。对于具有近高斯后验的数据集，具有2或3个蛙跳步骤的Hamilton Monte Carlo采样器获得了最高的效率。基于每次有效样本量的差异，我们表明，正确选择采样器可以提高采样效率的几个数量级。
2019-01-28 astro-ph.EP astro-ph.IM stat.AP
MatDRAM: A pure-MATLAB Delayed-Rejection Adaptive Metropolis-Hastings Markov Chain Monte Carlo Sampler
马尔可夫链蒙特卡罗（MCMC）算法广泛用于数学目标函数的随机优化、采样和积分，特别是在贝叶斯逆问题和参数估计的背景下。几十年来，MCMC模拟中选择的算法一直是Metropolis-Hastings（MH）算法。相对于传统的MH-MCMC采样器的一个进步是延迟抑制自适应大都会（DRAM）。在本文中，我们提出了MatDRAM，随机优化，采样，和蒙特卡洛集成工具箱在MATLAB中实现了一个变体的DRAM算法探索的数学目标函数的任意维度，特别是，贝叶斯模型的后验分布在数据科学，机器学习和科学推理。MatDRAM的设计目标包括MCMC模拟的几乎完全自动化、用户友好性、完全确定性的再现性和模拟的重启功能。我们还讨论了一种技术的实现细节，以自动监测和确保减少适应的建议分布的DRAM算法和有效地存储所得到的模拟马尔可夫链的方法。MatDRAM库是开源的，MIT许可的，并且作为ParaMonte库的一部分在https://github.com/cdslaborg/paramonte上永久定位和维护。
2020-10-08 astro-ph.IM cs.CE physics.data-an
Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler
Cognitive Computing Lab Baidu Research（百度研究院认知计算实验室）
由于难以处理的分区函数，极大似然训练基于能量的模型（EBM）需要马尔可夫链蒙特卡罗（MCMC）采样来近似数据和模型分布之间的库尔贝克-莱布勒散度的梯度。然而，由于模式之间的混合的困难，从EBM采样是不平凡的。在本文中，我们建议学习变分自动编码器（VAE）初始化的有限步MCMC，如朗之万动力学，来自能量函数，有效的摊销采样的EBM。有了这些摊销MCMC样本，EBM可以通过极大似然进行训练，这遵循“综合分析”方案;而VAE通过变分贝叶斯从这些MCMC样本中学习。我们称这种联合训练算法为变分MCMC教学，其中VAE追赶EBM走向数据分布。我们将学习算法解释为信息几何背景下的动态交替投影。我们提出的模型可以生成与GANs和EBM相当的样本。此外，我们证明了我们的模型可以学习有效的概率分布对监督条件学习任务。
2021-12-24 cs.LG stat.ML
Stochastic Gradient Monomial Gamma Sampler
Duke University（杜克大学）
随机梯度技术的最新进展使得通过马尔可夫链蒙特卡罗（MCMC）估计大数据集的后验分布成为可能。然而，当目标后验是多模态时，混合性能往往很差。这导致对后验分布的探索不足。提出了一种基于哈密顿蒙特卡罗的改进随机梯度MCMC抽样效率的框架。一个广义的动力学函数的杠杆作用，提供卓越的静态混合，特别是多峰分布。还讨论了技术，以克服这种泛化所带来的实际问题。它表明，所提出的方法是更好地探索复杂的多峰后验分布，在多个应用程序和其他随机梯度MCMC方法相比，证明。
2018-01-10 cs.LG stat.AP stat.ML
