Automatic adaptation of MCMC algorithms
马尔可夫链蒙特卡罗（MCMC）方法是许多领域基于模拟推理的普遍工具，但如何设计和识别好的MCMC采样器仍然是一个悬而未决的问题。本文介绍了一种新的MCMC算法，即自适应MCMC。对于采样变量或变量块，我们使用两个级别的自适应，其中内部自适应优化每个采样器内的MCMC性能，而外部自适应探索内核的有效空间以找到最佳采样器。我们为我们的方法提供了理论基础。为了显示该方法的通用性和实用性，我们描述了一个框架，只使用标准的MCMC采样器作为候选采样器和一些适应计划的内部和外部迭代。在几个基准问题，我们表明，我们提出的方法大大优于其他方法，包括自动阻塞算法，MCMC的效率和计算时间。
2019-11-18 stat.CO stat.ME
The Coordinate Sampler: A Non-Reversible Gibbs-like MCMC Sampler
在这篇文章中，我们推导出一种新的不可逆的，连续时间的马尔可夫链蒙特卡罗（MCMC）采样器，称为坐标采样器，基于分段确定性的马尔可夫过程（PSEK），它可以被看作是锯齿形采样器的变体。除了证明这种新的采样算法的理论验证，我们表明，马尔可夫链诱导具有几何遍历收敛，分布的尾部衰减至少一样快的指数分布，最快的高斯分布。几个数值例子强调，我们的坐标采样器是更有效的比锯齿形采样器，在有效的样本量。
2019-04-11 stat.CO
A Neural Network MCMC sampler that maximizes Proposal Entropy
Redwood Center for theoretical Neuroscience（雷德伍德理论神经科学中心）；Department of Physics（物理系）；University of California Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究中心）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）
马尔可夫链蒙特卡罗（MCMC）方法从非标准化概率分布中采样，并提供精确采样的保证。然而，在连续的情况下，不利的几何目标分布可以大大限制MCMC方法的效率。用神经网络增强采样器可以潜在地提高它们的效率。以前的基于神经网络的采样器是用不明确鼓励探索的目标训练的，或者使用只能应用于结构良好的分布的L2跳跃目标。因此，似乎有希望最大化建议熵，以使建议适应任何形状的分布。为了允许直接优化的建议熵，我们提出了一个神经网络MCMC采样器，具有灵活和易于处理的建议分布。具体来说，我们的网络架构利用目标分布的梯度来生成建议。我们的模型实现了显着更高的效率比以前的神经网络MCMC技术在各种采样任务。此外，采样器应用于自然图像的收敛的基于能量的模型的训练。自适应采样器实现了无偏采样，具有显着更高的建议熵比Langevin动态采样器。
2020-10-07 cs.LG stat.ME stat.ML
A Single SMC Sampler on MPI that Outperforms a Single MCMC Sampler
马尔可夫链蒙特卡罗（MCMC）是一个成熟的算法家族，主要用于贝叶斯统计，当直接采样具有挑战性时，从目标分布中进行采样。MCMC方法的单个实例被广泛认为难以以问题不可知的方式并行化，因此不适合同时满足高精度和高吞吐量的约束。序贯蒙特卡罗（SMC）采样器可以解决相同的问题，但可并行：它们与粒子滤波器共享相同的关键任务和瓶颈。虽然MCMC方法已经有了丰富的文献，但SMC采样器相对来说还没有得到充分的研究，因此目前还没有并行实现。在本文中，我们首先提出了一个并行MPI版本的SMC采样器，包括一个优化的实现的瓶颈，然后将其与单核大都市黑斯廷斯。我们的目标是表明，SMC采样器可能是一个很有前途的替代MCMC方法具有很高的潜力，为未来的改进。我们证明，一个基本的SMC采样器与512个核心是高达85倍的速度或高达8倍的精度比大都会黑斯廷斯。
2019-05-24 cs.DC stat.CO
Multivariate strong invariance principle and uncertainty assessment for time in-homogeneous cyclic MCMC samplers
该研究为时间非齐次循环MCMC采样器相关马尔可夫链建立了速率与时齐情形最优速率一致的多元强不变性原理，据此推导了多元批均值估计强相合性与固定体积序贯终止规则渐近有效的条件，并通过数值实验验证了相关不确定性评估工具。
2024-05-16 math.ST stat.CO stat.TH
Parallelizing MCMC via Weierstrass Sampler
随着统计问题规模的快速增长，基于子集的无通信并行MCMC方法是大规模贝叶斯分析的一个很有前途的未来。在这篇文章中，我们提出了一个新的Weierstrass采样器的并行MCMC的基础上独立的子集。新的采样器通过合并独立子集MCMC链的后验样本来逼近全数据后验样本，从而具有更高的计算效率。我们表明，维尔斯特拉斯采样器的近似误差是有界的一些调谐参数，并提供建议的值的选择。仿真研究表明，Weierstrass采样器是非常有竞争力的相比，其他方法结合MCMC链产生的子集，包括平均和核平滑。
2014-05-25 cs.DC stat.CO stat.ML
An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences
Shanghai Jiao Tong University（上海交通大学）
本文提出一种自适应独立采样MCMC算法，用于处理无限维贝叶斯推断问题，通过混合有限个特殊参数化的高斯测度作为建议分布，实现维度无关的高效采样，且在多模态后验分布中表现稳健。
2016-04-10 cs.NA math.NA math.ST
Adaptive Gibbs samplers and related MCMC methods
我们考虑各种版本的自适应Gibbs和Metropolis-within-Gibbs采样器，它们在运行过程中通过学习动态更新它们的选择概率（也许还有它们的建议分布），以试图优化算法。我们提出了一个警示的例子，即使是一个简单的自适应吉布斯采样器可能无法收敛。然后，我们提出了各种积极的结果，保证在一定条件下的自适应吉布斯采样收敛。
2013-02-27 math.PR stat.CO
Efficient Bayesian inference for stochastic volatility models with ensemble MCMC methods
本文介绍了一种有效的集成马尔可夫链蒙特卡罗（MCMC）抽样方法，用于单变量随机波动率模型的贝叶斯计算。我们将我们的集合MCMC方法的性能与Kastner和Fruadith-Schnatter（2014）最近采样器的改进版本进行了比较。我们表明，合奏采样器是更有效的比这个国家的最先进的采样器的一个因素约3.1，从随机波动模型模拟的数据集。这种性能增益是在不依赖于潜在过程是线性和高斯的假设的集合MCMC采样器的情况下实现的，这与Kastner和Fruwett-Schnatter的采样器不同。
2014-12-09 stat.CO
Adaptive Equi-Energy Sampler : Convergence and Illustration
马尔可夫链蒙特卡罗（MCMC）方法允许对已知的直到乘法常数的分布进行采样。经典的MCMC采样器在对多峰分布进行采样时具有非常差的混合特性。等能量采样器是Kou，Zhou和Wong在2006年提出的一种交互MCMC采样器，用于对困难的多峰分布进行采样。该算法在不同温度下并行运行多个链，并允许较低温度的链从具有与当前状态“接近”的能量的较高温度的链跳转到一个状态。该算法的一个主要缺点是，它取决于许多设计参数，因此，需要一个显着的努力来调整这些参数。在本文中，我们介绍了一个自适应等能量（AEE）采样器，自动选择的选择机制时，跳转到一个状态的高温链。我们证明了AEE的遍历性和一个强大数律，以及原始的等能量采样器。最后，我们将我们的算法应用于DNA序列的模体采样。
2013-02-04 math.ST stat.TH
The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models
提出了一种新的计算效率高的隐高斯模型（LGM）的马尔可夫链蒙特卡罗（MCMC）方法。采样方案是两块吉布斯抽样方案，旨在利用LGM的模型结构。我们将建议的采样方案称为MCMC分裂采样器。MCMC分割采样器背后的基本思想是将潜在高斯参数分割为两个向量。前一个向量由出现在数据密度函数中的潜在参数组成，而后一个向量由没有出现在数据密度函数中的潜在参数组成。前一个向量被放置在所提出的采样方案的第一块中，后一个向量与任何潜在的超参数一起被放置在第二块中。由此产生的块内的条件后验密度函数允许MCMC分裂采样器处理，通过设计，LGM与潜在的模型施加在不仅仅是数据密度函数的平均结构。MCMC分裂采样器也被设计为适用于任何参数数据密度函数的选择。此外，当潜在模型的维数增加时，它在计算效率方面具有很好的扩展性。
2015-06-20 stat.CO
The Taxicab Sampler: MCMC for Discrete Spaces with Application to Tree Models
针对贝叶斯模型中离散但非常复杂的状态空间问题，提出了一种新的马尔可夫链蒙特卡罗搜索算法：出租车采样器。我们描述了这个采样器的建设，并讨论了它的解释和使用不同的标准大都会黑斯廷斯以及相关的汉明球采样器。所提出的抽样算法，然后证明在计算时间没有任何损失的效率相对于一个天真的大都会黑斯廷斯搜索在一个激励贝叶斯回归树计数模型的实质性改善，其中，我们利用离散状态空间假设来构造新的似然函数，该函数允许灵活地描述不同的均值，方差关系，同时与计数数据的现有似然函数相比保持参数可解释性。
2022-02-16 stat.ME
A fast asynchronous MCMC sampler for sparse Bayesian inference
我们提出了一个非常快速的近似马尔可夫链蒙特卡罗（MCMC）采样框架，适用于一大类稀疏的贝叶斯推断问题，在几个模型中，每次迭代的计算成本是为了$O(ns)$，其中$n$是样本量，和$s$的基本稀疏模型。当采用随机梯度朗之万动力学时，通过数据子采样可以进一步降低该成本。该算法是Johnson等人（2013）的异步Gibbs采样器的扩展，但可以从统计学角度视为贝叶斯迭代确定独立筛选的一种形式（Fan等人（2009））。我们表明，在高维线性回归问题，所提出的算法产生的马尔可夫链承认一个不变的分布，正确地恢复主信号的概率高，在一些统计假设。此外，我们表明，它的混合时间是最多的线性回归的数量。我们用几个模型来说明该算法。
2021-08-14 math.ST stat.CO stat.ML
Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models
主题模型，更具体地说是潜在狄利克雷分配（LDA）类，广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用塌陷吉布斯采样器来执行。我们提出了一个并行稀疏部分折叠吉布斯采样器，并比较其速度和效率，以国家的最先进的采样器的主题模型上五个著名的文本语料库的不同大小和属性。特别是，我们提出并比较了两种不同的策略，用于对具有潜在主题指标的参数块进行采样。实验表明，统计效率的增加，从只有部分折叠是小于通常假设的，可以超过补偿的加速从并行化和稀疏较大的语料库。我们还证明了部分塌陷的采样器的规模以及与语料库的大小。该算法具有快速、高效、准确的特点，比普通的塌陷采样器适用于更多的建模场合。
2017-08-15 stat.ME stat.ML
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程（PDMP），作为马尔可夫链蒙特卡罗（MCMC）的替代方法。为了便于应用到更大的一类问题，我们提出了一类新的PDMP称为吉布斯之字形采样器，它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应，并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
Bouncy Hybrid Sampler as a Unifying Device
本文介绍了一类无拒绝的马尔可夫链蒙特卡罗（MCMC）采样器，称为弹性混合采样器，它统一了文献中现有的几种方法。例子包括Peters和de With（2012）、Bouchard-Cote等人（2015）的Bouncy Particle Sampler和Hamiltonian MCMC。根据介绍的一般框架，我们推导出一个新的采样器称为二次弹性混合采样器。我们应用这种新的采样器的问题，从截断高斯分布的采样。
2018-02-19 stat.CO
Uniform ergodicity of the Particle Gibbs sampler
粒子吉布斯（PG）采样器是在马尔可夫链蒙特卡罗（MCMC）中使用粒子滤波器的系统方法。这导致在状态轨迹的空间上的现成的马尔可夫核，其可用于从MCMC方案中的状态空间模型的全联合平滑分布进行模拟。我们表明，PG马尔可夫内核是一致遍历的相当一般的假设下，我们将仔细审查和讨论。特别是，我们提供了一个显式的收敛速率，它揭示了：（i）对于固定数量的数据点，可以通过增加粒子数量来使收敛速度任意好，以及（ii）在一般混合假设下，可以通过超线性地增加粒子数量来保持收敛速度恒定观察次数。通过对两种常见的非紧状态空间模型的详细研究，说明了本文结果的适用性。
2014-02-05 math.PR math.ST stat.TH
Augmented Ensemble MCMC sampling in Factorial Hidden Markov Models
阶乘隐马尔可夫模型的贝叶斯推断是具有挑战性的，由于指数大小的潜在变量空间。标准的蒙特卡罗采样器可能难以有效地探索后验景观，并且通常限于依赖于初始化的局部区域周围的探索。我们引入了一个通用的集成马尔可夫链蒙特卡罗（MCMC）技术，以改善现有的混合采样器。这是通过结合并行回火和辅助变量方案来实现的，以有效的方式在链之间交换信息。后者利用增强吉布斯采样器内的遗传算法。我们比较我们的技术与各种现有的采样器在模拟研究以及在癌症基因组学的应用，展示了我们的增强集成方法所获得的改进。
2019-02-26 stat.CO stat.ME stat.ML
Resampling from the past to improve on MCMC algorithms
本文介绍了在马尔可夫链蒙特卡罗抽样器中，从过去的观测值中恢复可以加速收敛的思想。我们证明，适当的恢复从过去不会扰乱算法的极限分布。我们用两个例子来说明该方法。第一个是随机波动模型的贝叶斯分析，另一个是贝叶斯概率重建。
2006-05-16 math.PR math.ST stat.TH
Training Energy-Based Models with Non-MCMC Samplers and Efficient Temperature Estimation
Corporate Laboratory, Toshiba Corporation（东芝公司实验室）；RIKEN Center for Quantum Computing (RQC)（理化学研究所量子计算中心）
本文提出采样自适应学习框架SAL，通过可并行采样器和高效温度估计方法，提升玻尔兹曼机的训练效率和表达能力。
2026-09-16 cs.LG quant-ph stat.ML
Small World MCMC with Tempering: Ergodicity and Spectral Gap
当对多模态分布$π(x)$、$x\in \rr^d$进行采样时，具有局部建议的马尔可夫链通常是缓慢混合的;而小世界采样器\citep{guankrone} --一种使用局部和远程建议混合的马尔可夫链--是快速混合的。然而，小世界采样器遭受维数灾难，因为它的频谱间隙取决于每个模式的体积。我们提出了一个新的采样器，结合回火，小世界采样，并产生长期的建议，从同伴链中的样本（例如等能量采样器）。在最简单的形式中，采样器使用两个小世界链：探索链和采样链。探索链对$π_t(x) \propto π(x)^{1/t}$、$t\in [1,\infty)$进行采样，并建立经验分布。使用此经验分布作为其长期建议，采样链被设计为具有固定分布$π(x)$。证明了算法的遍历性，并研究了算法的收敛速度。结果表明，探测链的谱隙扩大了一个因子$t^{d}$，采样链的谱隙缩小了一个因子$t^{-d}$。重要的是，探测链的谱隙取决于$π_t(x)$的“大小”，而采样链的谱隙不取决于“大小”。总的来说，该采样器以缩小一个温和的瓶颈为代价扩大了一个严重的瓶颈，从而实现了更快的混合。当将算法扩展到温度$\{t_k\}$遵循几何级数的多个链时，可以显著减轻对采样链的谱间隙的惩罚。如果我们允许$t_k \rightarrow 0$，则采样器将成为全局优化器。
2012-11-20 math.PR stat.ME
Multivariate-from-Univariate MCMC Sampler: R Package MfUSampler
R软件包MfUSApler提供蒙特卡罗马尔可夫链机制，用于使用单变量采样算法（如切片采样器和自适应拒绝采样器）从多变量概率分布生成样本。采样器函数执行单变量采样步骤的完整循环，每次一个坐标。在每个步骤中，使用针对其他坐标获得的最新样本值来形成条件分布。这个概念是吉布斯抽样的延伸，其中每一步涉及的不是来自条件分布的独立样本，而是条件分布不变的马尔可夫转换。该软件依赖于条件分布与联合分布的比例来实现用于产生条件的薄包装器。示例说明了基本用法以及提高性能的方法。通过封装多变量从单变量逻辑，MfUSApler提供了一个可靠的库，用于自定义贝叶斯模型的快速原型设计，同时允许增量性能优化，例如利用共轭性，条件独立性和将函数求值移植到编译语言。
2014-12-25 stat.CO
Adaptive MCMC via Combining Local Samplers
Imperial College London, London, UK（伦敦帝国学院，伦敦，英国）
本文提出了一种自适应MCMC方法，通过结合多个并行运行的局部采样器，利用核Stein分歧度优先选择链，以提高整体采样效率，实验表明该方法在多模态问题和传感器定位任务中优于现有方法。
2019-07-13 cs.LG cs.NA math.NA
Meta-Learning for Stochastic Gradient MCMC
University of Cambridge（剑桥大学）
随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法在大规模贝叶斯建模中被广泛应用于后验样本的模拟。然而，现有的SG-MCMC计划并不适合任何特定的概率模型，即使是一个简单的修改的基础动力系统需要显着的物理直觉。本文提出了第一个元学习算法，允许自动设计的基础连续动态的SG-MCMC采样器。学习的采样器通过状态依赖的漂移和扩散来概括哈密顿动力学，从而实现神经网络能量景观的快速遍历和有效探索。实验验证了贝叶斯全连接神经网络和贝叶斯递归神经网络任务的方法，学习采样器优于通用的，手工设计的SG-MCMC算法，并推广到不同的数据集和更大的架构。
2018-06-12 cs.LG stat.ML
The No-U-Turn Sampler as a Proposal Distribution in a Sequential Monte Carlo Sampler with a Near-Optimal L-Kernel
本文将NUTS的Hamiltonian提议引入SMC采样器，并结合近最优L-核，以提升目标分布探索效率并降低估计方差。
2021-08-05 stat.CO
Pseudo-extended Markov chain Monte Carlo
使用马尔可夫链蒙特卡罗（MCMC）方法从后验分布进行采样可能需要穷尽的迭代次数，特别是当后验是多模态时，因为MCMC采样器可能在大量迭代中陷入局部模式。在本文中，我们介绍了伪扩展MCMC方法作为一个简单的方法，以改善混合的MCMC采样器的多峰后验分布。伪扩展方法使用伪样本作为辅助变量来扩充后验的状态空间。在扩展的空间上，后验模态是连接的，这使得MCMC采样器可以很容易地在分离良好的后验模态之间移动。我们证明了伪扩展的方法提供了改进的MCMC采样超过哈密顿蒙特卡罗算法的多模态后验，包括玻尔兹曼机和模型与稀疏诱导先验。
2019-10-29 stat.CO stat.ME stat.ML
An Adaptive Sequential Monte Carlo Sampler
序贯蒙特卡罗方法不仅是状态空间模型分析中的常用工具，而且在贝叶斯推断必须通过仿真进行的情况下，为MCMC提供了一种替代方法。本文介绍了一种新的SMC方法，使用自适应MCMC内核的粒子动力学。该算法采用在线随机最优化过程来选择最佳MCMC核，同时学习最佳调谐参数。理论结果证明了这种方法的合理性，并给出了如何实施的指导。基于混合模型数据分析的实验结果表明，新的自适应SMC算法（ASMC）既能选择最佳MCMC核，又能学习合适的尺度，在6种情况中，有5种情况下ASMC的性能优于Haario等（1998）的自适应MCMC算法。
2010-05-10 stat.CO
High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin diffusion
研究了基于欠阻尼朗之万扩散的马尔可夫采样器对高维凸光滑势目标的采样效率。我们考虑一个经典的二阶积分器，每次迭代只需要一个梯度计算。相反，以前的作品类似的采样器，Wasserstein距离和收敛速度的总方差距离的无量纲收缩被证明为离散时间链本身。非渐近Wasserstein和全变差效率界和浓度不等式得到的Metropolis调整和未调整的链。\nv{In particular, for the unadjusted chain,}的尺寸$d$和所需的准确度$\varepsilon$，Wasserstein的效率界的顺序$\sqrt d / \varepsilon$在一般情况下，$\sqrt{d/\varepsilon}$，如果潜在的海森是Lipschitz，和$d^{1/4}/\sqrt\varepsilon$在一个可分离的目标的情况下，根据已知的结果为其他动力学朗之万或HMC计划。
2021-06-18 math.PR math.ST stat.TH
MCMC with Strings and Branes: The Suburban Algorithm (Extended Version)
受弦和膜物理的启发，我们提出了一类涉及扩展对象的马尔可夫链蒙特卡罗（MCMC）算法。从一组并行的Metropolis-Hastings（MH）采样器开始，我们将它们放置在一个辅助网格上，并通过最近邻相互作用将它们耦合在一起。这导致一类“郊区采样器”（即，展开大都市）。以这种方式耦合采样器可以修改马尔可夫链的混合速率和收敛速度，并且在许多情况下可以使采样器更容易地克服目标分布中的自由能障碍。我们测试这些一般的理论考虑进行了几个数值实验。对于具有波动网格拓扑的郊区采样器，性能与邻居的平均数量密切相关。将邻居的平均数量增加到零以上最初会导致性能的提高，尽管存在有效维度d_eff ~ 1的临界连通性，在该临界连通性之上，“群体思维”接管，并且采样器的性能下降。
2017-09-08 cond-mat.dis-nn hep-th physics.comp-ph
Ensemble sampler for infinite-dimensional inverse problems
本文提出一种面向无限维逆问题的无梯度 MCMC 集成采样器，首次将仿射不变集成方法扩展至无限维函数空间，兼具高效性、易实现性和广泛适用性。
2021-02-14 stat.CO
Unit Testing for MCMC and other Monte Carlo Methods
我们提出的方法来测试实现马尔可夫链蒙特卡罗方法以及一般的蒙特卡罗方法。基于统计假设测试，这些方法可以用于单元测试框架中，例如，检查吉布斯采样器或可逆跳跃MCMC中的各个步骤是否具有所需的不变分布。讨论了判定给定马尔可夫链是否具有指定不变分布的两个精确检验。蒙特卡罗方法的这些和其他测试可以嵌入到顺序方法中，如果模拟显示出期望的行为，则允许低预期工作量，如果不显示期望的行为，则允许高功率。此外，错误拒绝概率可以保持任意低。对于一般的蒙特卡罗方法，这允许测试，例如，如果采样器具有指定的分布，或者如果采样器产生具有期望均值的样本。该方法已在R-软件包MCUnit中实现。
2021-09-19 stat.CO stat.ME
Mini-batch Tempered MCMC
在本文中，我们提出了一个一般的框架，执行MCMC只有一个小批量的数据。我们表明，通过估计的大都会黑斯廷比只有一个小批量的数据，一个基本上是从真正的后验提高到一个已知的温度采样。实验表明，我们的方法，小批量回火MCMC（MINT-MCMC），可以有效地探索多个模式的后验分布。基于等能量采样器（Kou et al. 2006），我们开发了一种新的基于等能量采样器的并行MCMC算法，该算法能够有效地从具有良好分离模式的高维多模态后验中采样。
2018-05-21 stat.CO
Debiasing Piecewise Deterministic Markov Process samplers using couplings
本文将Jacob等人的耦合MCMC去偏估计器扩展到连续时间PDMP采样器，为bouncy、boomerang和coordinate采样器推导耦合，并通过初步实验验证方法随目标维度的可扩展性。
2024-09-06 cs.DC stat.CO stat.ME
Markov Interacting Importance Samplers
我们介绍了一种新的马尔可夫链蒙特卡罗（MCMC）采样器称为马尔可夫交互重要性采样器（MIIS）。MIIS采样器使用条件重要性抽样（IS）近似来联合采样马尔可夫链的当前状态并估计条件期望，可能通过结合全范围的方差减少技术。我们计算Rao-Blackwellized估计的基础上的条件期望构造控制变量估计的期望下的目标分布。当目标分布中的变量之间存在实质性相关性时，控制变量特别有效，这对MCMC来说是一个挑战性的设置。MIIS的一个重要的激励应用发生在精确的吉布斯采样器不可用时，因为直接从条件分布进行模拟是不可行的。在这种情况下，MIIS方法可能比Metropolis-within-Gibbs方法更有效。我们还介绍了MIIS随机游动算法，旨在加快收敛速度，提高标准随机游动采样器的计算效率。贝叶斯分析的模拟和实证说明表明，该方法显着降低了方差的蒙特卡罗估计相比，标准MCMC方法，在同等的实施和计算工作量。
2015-06-25 stat.CO
MCMC using $\textit{bouncy}$ Hamiltonian dynamics: A unifying framework for Hamiltonian Monte Carlo and piecewise deterministic Markov process samplers
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出基于弹性哈密顿动力学的无拒绝Metropolis提案框架，将哈密顿蒙特卡洛与分段确定性马尔可夫过程采样统一，提升贝叶斯推断的扩展性与创新性。
2026-03-09 stat.CO stat.ME
Dimension-independent likelihood-informed MCMC
Massachusetts Institute of Technology（麻省理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出了一种与维度无关的似然信息MCMC方法，通过引入操作权重提案分布和局部Hessian信息，实现对高维后验分布的有效采样，用于解决非高斯结构的逆问题。
2015-10-17 cs.NA math.NA stat.CO
ABC Samplers
本章，“ABC采样器”，将出现在即将出版的近似贝叶斯计算手册（2018）中。详细介绍了从ABC近似抽样到后验分布的主要思想和算法，包括基于拒绝/重要性抽样、MCMC和序贯蒙特卡罗方法。
2018-02-26 stat.CO stat.ME stat.ML
Error Bounds for Sequential Monte Carlo Samplers for Multimodal Distributions
本文给出了一类用于逼近多峰分布的序贯蒙特卡罗（SMC）采样器的渐近方差的界。这种方法结合了标准SMC方法和马尔可夫链蒙特卡罗（MCMC）核。我们的边界改进了以前的结果，与一些早期的工作不同，它们也适用于MCMC内核可以在模式之间移动的情况。我们将我们的结果应用到统计物理的Potts模型。在这种情况下，会遇到尖峰的问题。早期的方法，如平行回火，只能以指数（模型的一个重要参数）成本从中采样。我们提出了一个序列的插值分布称为插值独立，并表明，SMC采样器基于它是能够从这个目标分布在一个多项式的成本进行采样。我们相信我们的方法也适用于许多其他分布。
2018-01-24 math.PR stat.CO stat.ME
Dimension-free Relaxation Times of Informed MCMC Samplers on Discrete Spaces
本文针对离散空间上的 informed Metropolis-Hastings 采样器，利用多商品流与单元素漂移条件给出与维度无关的弛豫时间充分条件及混合时间界。
2025-07-28 math.PR stat.CO stat.ML
Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals
马尔可夫链蒙特卡罗（MCMC）方法是计算复杂概率分布的有力工具。然而，这种方法的性能是严格依赖于适当调整的参数，其中大多数是困难的，如果不是不可能知道一个给定的目标分布的先验。自适应MCMC方法旨在通过允许在采样期间基于来自链的先前样本更新参数来解决这个问题，代价是需要新的理论分析来确保收敛。在这项工作中，我们扩展了自适应MCMC方法的收敛理论，建立在一个强大的参数密度估计，称为规范化流一类新的方法。特别是，我们考虑一个独立的大都会-黑斯廷斯采样器，其中的建议分布是由一个归一化流，其参数更新使用随机梯度下降。我们探讨了这一过程的实际性能的合成设置和物理场系统的分析，并比较它对自适应和非自适应MCMC方法。
2021-10-25 stat.CO
Ergodicity of Approximate MCMC Chains with Applications to Large Data Sets
在许多现代应用中，评估后验密度的困难使得即使执行单个MCMC步骤也很慢。这种困难可能是由棘手的似然函数引起的，但也出现在大型数据集的常规问题中。许多研究人员通过运行MCMC算法的近似版本做出了回应。在这篇文章中，我们给出了这些近似采样器遍历性的定量界。然后，我们使用这些界限来研究近似MCMC算法的偏差方差权衡。我们将我们的研究结果简单的版本，最近提出的算法，包括一个变种的“紧缩”框架Korratikara等人。
2015-08-24 math.PR math.ST stat.CO
LSB: Local Self-Balancing MCMC in Discrete Spaces
KU Leuven（鲁汶大学）
我们提出了本地自平衡采样器（LSB），一个本地马尔可夫链蒙特卡罗（MCMC）方法在纯粹的离散域，这是能够自主适应目标分布，并减少收敛所需的目标评估的数量进行采样。LSB基于（i）局部平衡建议的参数化，（ii）基于互信息的新提出的目标函数，以及（iii）自平衡学习过程，其最小化所提出的目标以更新建议参数。基于能量的模型和马尔可夫网络上的实验表明，LSB收敛使用较少的查询的甲骨文分布相比，最近的本地MCMC采样器。
2022-07-04 cs.AI cs.LG stat.ML
How well does your sampler really work?
我们提出了一个新的数据驱动的基准测试系统，以评估新的MCMC采样器的性能。从COCO基准优化中获得灵感，我们认为这项任务对机器学习和统计学具有至关重要的意义，因为新采样器的提出速度很高。常见的手工制作的例子来测试新的采样器是不令人满意的;我们采取了一种类似元学习的方法来生成基准测试的例子从一个大的语料库的数据集和模型。使用高度灵活的密度模型，包括现代神经网络为基础的方法，在实际问题中发现的后验的代理。我们提供了新的见解，真正有效的样本量的各种采样器每单位时间和估计效率的采样器每个样本。此外，我们提供了一个荟萃分析，以评估各种MCMC诊断的预测效用，并进行非参数回归，将它们结合起来。
2017-12-16 stat.CO stat.ML
Gradient-free Riemannian Langevin Sampler
University of Toronto（多伦多大学）；UGA, Inria, CNRS, Grenoble INP*, LJK（格勒诺布尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔国立综合理工学院、数值模拟与知识工程实验室）
研究多模态概率分布采样问题，提出无梯度黎曼朗之万采样器（GRiLS），通过引入黎曼度量改善探索，无需目标密度梯度评估，适用于复杂目标，用相互作用粒子系综估计均值和协方差，实证显示其混合效果优于现有方法。
2026-07-09 cs.LG math.ST stat.TH
Complexity Results for MCMC derived from Quantitative Bounds
本文考虑如何获得MCMC的定量收敛界，可以转化为紧的复杂性界在高维{设置}。我们提出了一个修改的漂移和minorization方法，建立广义漂移条件定义在状态空间的子集。这些子集被称为“大集合”，当状态空间维数变大时，它们被用来排除一些漂移特性较差的“坏”状态。使用“大集合”与“漂移函数的拟合族”一起，可以获得定量界，其可以被转化为紧密的复杂性界。作为示范，我们分析了几个吉布斯采样器，并获得复杂度上界的混合时间。特别是，对于一个例子的吉布斯采样，这是相关的詹姆斯-斯坦估计，我们表明，所需的迭代次数的吉布斯采样收敛在一定条件下的观测数据和初始状态是恒定的。我们希望这种改进的漂移和优化方法可以应用于其他许多具体的例子中，以获得高维马尔可夫链的复杂性界。
2022-05-10 math.PR stat.CO
Ultimate Pólya Gamma Samplers -- Efficient MCMC for possibly imbalanced binary and categorical data
针对二分类与分类数据贝叶斯建模门槛高且采样效率低的问题，提出基于Pólya-Gamma随机变量的新型潜变量表示与Gibbs采样算法，并引入边际数据增强策略提升MCMC采样效率。
2023-06-30 stat.CO stat.ME
MCMC-driven importance samplers
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；University of Edinburgh（爱丁堡大学）
蒙特卡罗抽样方法是贝叶斯推断中对多维后验分布的复杂积分进行近似的标准过程。在这项工作中，我们专注于类分层自适应重要性采样（LAIS）计划，这是一个家庭的自适应重要性采样的马尔可夫链蒙特卡罗算法被用来驱动一个潜在的多个重要性抽样计划。LAIS的模块化特性允许不同的可能实现，从而产生各种不同的性能和计算成本。在这项工作中，我们提出了不同的增强的经典LAIS设置，以提高效率，降低计算成本，上层和下层。不同的变体解决了现实世界应用中出现的计算挑战，例如高度集中的后验分布。此外，我们介绍了不同的策略来设计更便宜的方案，例如，回收在上层产生的样本，并将它们用于下层的最终估计。不同的数值实验，考虑到几个具有挑战性的情况下，所提出的计划相比，在文献中提出的基准方法的好处。
2022-04-22 cs.LG stat.CO
The Efficiency of Geometric Samplers for Exoplanet Transit Timing Variation Models
凌日时变（TTV）是确定多行星系统中凌日行星质量和轨道的重要工具。如果知道相互作用的行星的轨道结构和行星-恒星质量比，TTV可以很容易地建模，但这样的模型是高度非线性的，很难反演。马尔可夫链蒙特卡罗（MCMC）方法通常用于探索模型参数的后验分布，但是，由于参数之间的高度相关性，非线性和后验中潜在的多模态，许多采样器的效率非常低。因此，我们评估了几个MCMC采样器，使用不同程度的几何信息的目标分布的性能。我们从多个模型生成合成数据集，包括TTVFaster模型和一个简单的正弦模型，并测试各种MCMC采样器的效率。我们发现，采样效率可以大大提高所有模型的采样从一个参数空间转换使用的协方差估计和目标分布的手段。没有一个采样器对所有数据集都表现最好，但有几个采样器，如差分进化蒙特卡罗和几何自适应蒙特卡罗，具有一致的高效性能。对于具有近高斯后验的数据集，具有2或3个蛙跳步骤的Hamilton Monte Carlo采样器获得了最高的效率。基于每次有效样本量的差异，我们表明，正确选择采样器可以提高采样效率的几个数量级。
2019-01-28 astro-ph.EP astro-ph.IM stat.AP
MatDRAM: A pure-MATLAB Delayed-Rejection Adaptive Metropolis-Hastings Markov Chain Monte Carlo Sampler
马尔可夫链蒙特卡罗（MCMC）算法广泛用于数学目标函数的随机优化、采样和积分，特别是在贝叶斯逆问题和参数估计的背景下。几十年来，MCMC模拟中选择的算法一直是Metropolis-Hastings（MH）算法。相对于传统的MH-MCMC采样器的一个进步是延迟抑制自适应大都会（DRAM）。在本文中，我们提出了MatDRAM，随机优化，采样，和蒙特卡洛集成工具箱在MATLAB中实现了一个变体的DRAM算法探索的数学目标函数的任意维度，特别是，贝叶斯模型的后验分布在数据科学，机器学习和科学推理。MatDRAM的设计目标包括MCMC模拟的几乎完全自动化、用户友好性、完全确定性的再现性和模拟的重启功能。我们还讨论了一种技术的实现细节，以自动监测和确保减少适应的建议分布的DRAM算法和有效地存储所得到的模拟马尔可夫链的方法。MatDRAM库是开源的，MIT许可的，并且作为ParaMonte库的一部分在https://github.com/cdslaborg/paramonte上永久定位和维护。
2020-10-08 astro-ph.IM cs.CE physics.data-an
Monte Carlo with Soft Constraints: the Surface Augmented Sampler
我们描述了一个MCMC方法的抽样分布与软约束，这是几乎但不完全满足的约束。我们采样的总分布是一个凸组合的目标软分布与附近的硬分布上的约束表面上支持。硬分布移动导致在软参数中均匀的性能。与Holmes-Cerfon分层采样器相关的开和关移动可对目标软分布进行采样。计算实验验证了该算法在软约束下的性能是一致的。
2022-10-20 cs.NA math.NA math.PR
Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler
Cognitive Computing Lab Baidu Research（百度研究院认知计算实验室）
由于难以处理的分区函数，极大似然训练基于能量的模型（EBM）需要马尔可夫链蒙特卡罗（MCMC）采样来近似数据和模型分布之间的库尔贝克-莱布勒散度的梯度。然而，由于模式之间的混合的困难，从EBM采样是不平凡的。在本文中，我们建议学习变分自动编码器（VAE）初始化的有限步MCMC，如朗之万动力学，来自能量函数，有效的摊销采样的EBM。有了这些摊销MCMC样本，EBM可以通过极大似然进行训练，这遵循“综合分析”方案;而VAE通过变分贝叶斯从这些MCMC样本中学习。我们称这种联合训练算法为变分MCMC教学，其中VAE追赶EBM走向数据分布。我们将学习算法解释为信息几何背景下的动态交替投影。我们提出的模型可以生成与GANs和EBM相当的样本。此外，我们证明了我们的模型可以学习有效的概率分布对监督条件学习任务。
2021-12-24 cs.LG stat.ML
Stochastic Gradient Monomial Gamma Sampler
Duke University（杜克大学）
随机梯度技术的最新进展使得通过马尔可夫链蒙特卡罗（MCMC）估计大数据集的后验分布成为可能。然而，当目标后验是多模态时，混合性能往往很差。这导致对后验分布的探索不足。提出了一种基于哈密顿蒙特卡罗的改进随机梯度MCMC抽样效率的框架。一个广义的动力学函数的杠杆作用，提供卓越的静态混合，特别是多峰分布。还讨论了技术，以克服这种泛化所带来的实际问题。它表明，所提出的方法是更好地探索复杂的多峰后验分布，在多个应用程序和其他随机梯度MCMC方法相比，证明。
2018-01-10 cs.LG stat.AP stat.ML
Bayesian Sparse Blind Deconvolution Using MCMC Methods Based on Normal-Inverse-Gamma Prior
用于稀疏盲反卷积问题的贝叶斯估计方法常规地采用Bernoulli-Gaussian（BG）先验来建模稀疏序列，并利用马尔可夫链蒙特卡罗（MCMC）方法来估计未知量。然而，BG模型的离散性质产生了计算瓶颈，即使使用最近提出的增强型采样器方案也阻止了对概率空间的有效探索。为了解决这个问题，我们提出了一种替代MCMC方法建模的稀疏序列使用的正常逆伽马（NIG）的先验。我们推导出有效的吉布斯采样器，并说明了与BG模型相关的计算负担可以通过将问题转移到一个完全连续值的框架中来消除。除了稀疏性，我们还将时域和频域的卷积序列的约束。我们证明了所提出的方法的有效性，通过广泛的模拟和计算增益的特点相对于现有的方法，利用BG建模。
2021-08-27 eess.SP stat.ME
JaxSGMC: Modular stochastic gradient MCMC in JAX
本研究推出基于JAX的模块化SG-MCMC库JaxSGMC，实现多款前沿采样器、支持自定义构建，降低从随机优化切换到SG-MCMC采样的门槛，助力新型方法研究与多领域应用。
2025-05-16 stat.AP stat.CO stat.ML
