The No-U-Turn Sampler as a Proposal Distribution in a Sequential Monte Carlo Sampler with a Near-Optimal L-Kernel
本文将NUTS的Hamiltonian提议引入SMC采样器，并结合近最优L-核，以提升目标分布探索效率并降低估计方差。
2021-08-05 stat.CO
Population Quasi-Monte Carlo
蒙特卡罗方法被广泛用于近似复杂的多维积分，用于贝叶斯推断。群体蒙特卡罗（PMC）是一类重要的蒙特卡罗方法，它利用一个群体的建议来产生近似目标分布的加权样本。通用PMC框架迭代了三个步骤：从一组建议中模拟样本，为这些样本分配权重以纠正建议和目标分布之间的不匹配，然后通过从加权样本中恢复来调整建议。当目标分布的计算成本很高时，PMC有其计算限制，因为收敛速度是$\mathcal{O}(N^{-1/2})$。为了解决这个问题，我们在本文中提出了一个新的人口准蒙特卡罗（PQMC）的框架，它集成了准蒙特卡罗的想法在PMC的采样和自适应步骤。PQMC中的一个关键新颖之处是重要性支持点恢复的想法，这是一种确定性方法，用于从加权提案样本中找到“最佳”子样本。此外，在PQMC框架内，我们开发了一个有效的协方差自适应策略的多元正态建议。最后，一组新的校正权重的加权PMC估计，以提高效率，从标准PMC估计。我们证明了改进的经验收敛PQMC PMC在广泛的数值模拟和摩擦钻井应用。
2020-12-26 stat.CO stat.ME
Bayesian Detectability of Induced Polarisation in Airborne Electromagnetic Data using Reversible Jump Sequential Monte Carlo
在航空电磁（AEM）测量中检测感应极化（IP）效应还没有一个既定的方法。这一贡献开发了一种贝叶斯方法的IP-检测问题，使用解耦transdimensional分层模型，并适用于一种新的方法，其中transdimensional的建议是使用内的并行和强大的静态序贯蒙特卡罗（SMC）类算法的参数和模型的同时推理物理。尽管将该算法称为可逆跳跃序贯蒙特卡罗（RJSMC），但对该算法的统计方法贡献考虑了多个模型和建议类型的适应性考虑，特别是不太可能模型中的周围粒子扩散。固体地球物理学方法的贡献包括解耦模型的方法和建议的统计，使用后验模型的IP检测几率。一个案例研究包括调查IP效应的AEM数据在广泛的规模检测。
2021-09-02 physics.geo-ph stat.AP stat.CO
Informed reversible jump algorithms
在建议机制中描述关于目标分布的信息通常产生有效的马尔可夫链蒙特卡罗算法（或者至少，比不知情的对应方更有效的算法）。例如，它已被证明成功地将梯度信息纳入固定维算法，如哈密顿蒙特卡罗算法。在跨维算法中，Green（2003）建议在模型切换期间从具有信息性均值和协方差阵的正态分布采样参数建议。这些建议分布可以被视为参数分布的渐近近似，其中限制与样本量有关。模型通常是使用不知情的均匀分布提出的。在本文中，我们建立在Zanella（2020）的离散空间方法的基础上，以纳入有关相邻模型的信息。我们依赖于渐近精确的后验模型概率的近似值。我们证明了，在某些情况下，结合这种方法与格林（2003）的采样器表现得像理想的，使用精确的模型概率和样本从正确的参数分布，在大样本制度。我们表明，在某些情况下，所提出的采样器的实施是简单的。该方法被应用到一个真实的数据的例子。代码可在线获取。
2021-08-25 stat.CO stat.ME
High-dimensional Filtering using Nested Sequential Monte Carlo
序贯蒙特卡罗（SMC）方法是贝叶斯滤波最成功的近似方法之一。然而，SMC没有好的建议分布挣扎在高维。我们提出了嵌套的序贯蒙特卡罗（NSMC），一种方法，概括SMC框架，只需要近似，适当加权，样本从SMC的建议分布，同时仍然导致一个正确的SMC算法。通过这种方式，我们可以精确地近似局部最优建议，并扩展我们可以使用SMC进行有效推理的模型类。我们表现出更高的精度比其他国家的最先进的方法在几个时空状态空间模型。
2016-12-29 stat.CO stat.ML
Multilevel Dimension-Independent Likelihood-Informed MCMC for Large-Scale Inverse Problems
本文融合维度无关似然信息MCMC与多层MCMC，利用Rayleigh-Ritz过程降低似然信息子空间构建成本，提升各层采样效率并减少多层积分误差。
2023-11-30 cs.NA math.NA stat.CO
Hess-MC2: Sequential Monte Carlo Squared using Hessian Information and Second Order Proposals
Department of Electrical Engineering and Electronics, University of Liverpool, United Kingdom（电气工程与电子系，利物浦大学，英国）；Department of Pharmacology and Therapeutics, University of Liverpool, United Kingdom（药理学与治疗学系，利物浦大学，英国）
本文提出在序贯蒙特卡洛平方（SMC$^2$）框架内引入二阶信息（Hessian）的二阶提议方法，通过结合梯度和曲率信息提升后验近似的准确性和探索能力。
2025-07-10 cs.LG stat.CO stat.ML
Adaptive Incremental Mixture Markov chain Monte Carlo
我们提出了自适应增量混合马尔可夫链蒙特卡罗（AIMM），一种新的方法来从具有挑战性的概率分布定义在一个一般的状态空间的样本。虽然自适应MCMC方法通常使用全局规则更新参数化建议核，但AIMM局部适应半参数核。AIMM基于独立的Metropolis-Hastings建议分布，该分布采用有限混合高斯分布的形式。这种方法的核心思想是，当建议混合物和目标之间的差异被认为太大时，建议分布通过在本地添加混合成分来适应目标。因此，混合物提案中的组分数量不是预先固定的。理论上，我们证明了存在一个过程，可以任意接近AIMM，并收敛到正确的目标分布。我们还说明了它在实践中表现良好，在各种具有挑战性的情况下，包括高维和多模态的目标分布。
2018-05-31 stat.CO stat.ME
Replica Conditional Sequential Monte Carlo
本文提出了一种马尔可夫链蒙特卡罗（MCMC）方法来对非线性非高斯状态空间模型进行状态推断。解决该问题的当前最先进的方法依赖于粒子MCMC技术及其变体，例如迭代条件序贯蒙特卡罗（cSMC）方案，其在MCMC内使用序贯蒙特卡罗（SMC）类型提议。标准SMC提议的缺陷在于，当整个观测序列可用时，它们仅使用直到时间$t$的观测来提议时间$t$处的状态。可以使用基于前瞻技术的更复杂的SMC，但它们可能难以付诸实践。我们在这里提出副本cSMC，我们建立SMC建议，一个副本使用来自整个观察序列的信息，通过调节其他副本的状态。这种方法很容易并行化，我们证明了其出色的经验性能相比，标准的迭代cSMC计划在固定的计算复杂度。
2019-05-13 stat.CO
Ergodicity of Markov chain Monte Carlo with reversible proposal
我们描述了一些Metropolis-Hastings（MH）算法的遍历性质的重尾目标分布。分析通常属于亚几何遍历框架，但我们证明了混合预处理Crank-Nicolson（MpCN）算法具有几何遍历性，即使是重尾目标分布。这个有用的属性来自于MpCN算法在适当的变换下变成随机行走Metropolis算法的事实。
2016-02-09 math.ST stat.ME stat.TH
Adaptive Physics-Informed Neural Networks for Markov-Chain Monte Carlo
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
在本文中，我们提出了自适应物理信息神经网络（APINNs）的准确和有效的模拟免费贝叶斯参数估计通过马尔可夫链蒙特卡罗（MCMC）。我们特别关注一类参数估计问题，计算似然函数需要求解偏微分方程。所提出的方法包括：（1）构建离线PINN-UQ模型作为对前向模型的近似;以及（2）使用MCMC采样器生成的样本实时细化该近似模型。所提出的APINN方法不断完善这个近似模型的飞行，并保证近似误差总是小于用户定义的残差阈值。我们数值证明了所提出的APINN方法在解决由泊松方程的系统的参数估计问题的性能。
2020-08-03 cs.LG cs.NA math.NA
Gradient-based Adaptive Markov Chain Monte Carlo
DeepMind（深度思维）；University College of London（伦敦大学学院）；Univ. of Econ. and Business（经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入了一个基于梯度的学习方法，自动适应马尔可夫链蒙特卡罗（MCMC）的建议分布，棘手的目标。我们定义了一个最大熵正则化的目标函数，称为广义速度测度，它可以通过应用随机梯度优化的建议分布的参数进行鲁棒优化。与传统的自适应MCMC方法相比，我们的方法的一个优点是，即使候选状态值被拒绝，也会发生自适应。这是任何自适应策略的高度期望的属性，因为自适应在早期迭代中开始，即使初始提议分布远离最优。我们应用框架学习多元随机游动大都市和大都市调整Langevin建议与完整的协方差阵，并提供经验证据表明，我们的方法可以优于其他MCMC算法，包括哈密顿蒙特卡罗计划。
2020-01-06 cs.LG stat.CO stat.ML
Interacting Multiple Try Algorithms with Different Proposal Distributions
我们提出了一类新的相互作用的马尔可夫链蒙特卡罗（MCMC）算法，旨在提高改进的多尝试大都会（MTM）算法的效率。相对于现有的MCMC文献的扩展是双重的。提出的采样器扩展了基本的MTM算法，允许不同的建议分布在多次尝试生成步骤。我们利用不同的建议分布的MTM算法的结构，自然地引入一个相互作用的MTM机制（IMTM），扩大人口类蒙特卡罗方法。我们证明了算法的有效性，并讨论了选择权的选择和不同的建议。我们提供的数值研究表明，新的算法可以比基本的MTM算法更好地执行和互动机制，使IMTM有效地探索状态空间。
2010-11-04 stat.CO
Mixing efficiency of trans-model Markov chain Monte Carlo algorithms with applications in Bayesian phylogenetics
China Southern University of Science and Technology（南方科技大学）；University College London（伦敦大学学院）
研究跨模型马尔可夫链蒙特卡罗算法的混合效率，通过数学分析和模拟，明确优先提议高后验概率模型及从后验提议参数值的原则，为构建高效算法提供指导并应用于系统发育重建。
2026-07-09 stat.CO
Data-driven Sequential Monte Carlo in Probabilistic Programming
University of Oxford（牛津大学）
现有的概率规划系统中的大多数马尔可夫链蒙特卡罗（MCMC）和顺序蒙特卡罗（SMC）算法仅使用模型先验作为建议分布。在这项工作中，我们描述了一种训练判别模型，即一个神经网络的方法，以近似的最佳建议，通过使用后验估计从以前运行的推理。我们展示了一个例子，结合了数据驱动的建议，用于在英国圣公会概率编程系统的非参数模型。我们的研究结果表明，数据驱动的建议可以显着提高推理性能，因此需要相当少的粒子来执行良好的后验估计。
2016-05-16 cs.AI stat.AP stat.ML
Locally weighted Markov chain Monte Carlo
我们提出了一个加权方案的建议内马尔可夫链蒙特卡罗算法，并显示如何这可以提高统计效率，没有额外的计算成本。这些方法在与多提议MCMC算法（如多尝试Metropolis）结合时是最强大的，它可以有效地利用具有大量核心的现代计算机架构。局部加权的马尔可夫链蒙特卡罗方法还通过Rao-Blackwellization改进了梅特罗波利斯-黑斯廷斯算法的部分并行化。我们推导出我们的算法的输出的有效样本量，并显示如何在实践中估计这一点。文中给出了该方法的说明和实例，并与现有方法在理论和应用上进行了比较。
2015-06-29 stat.CO
Recursive Monte Carlo and Variational Inference with Auxiliary Variables
Massachusetts Institute of Technology（麻省理工学院）
在实施蒙特卡罗和变分推理算法时，一个关键的设计约束是必须能够廉价和准确地评估建议分布和变分族的边缘密度。这使得许多有趣的建议从桌面上消失，例如那些基于相关模拟或随机优化的建议。本文拓宽了设计空间，提出了一个框架，应用蒙特卡罗和变分推理算法时，建议密度不能准确评估。我们的框架，递归随机变量推理（RAVI），而是使用元推理近似必要的密度：蒙特卡洛或变分推理的附加层，目标是建议，而不是模型。RAVI推广和统一了现有的几种推理方法与表达近似的家庭，我们显示对应的元推理算法的具体选择，并提供了新的理论分析其偏差和方差。我们说明RAVI的设计框架和定理，使用它们来分析和改进Salimans等人。的马尔可夫链变分推理，并设计了一个新的采样器狄利克雷过程的混合物，实现了最先进的结果，从天文学的标准基准数据集和具有挑战性的医疗保险医院数据的重复学习任务。
2022-11-19 cs.LG stat.CO
On skew-symmetric distributions and their use in Monte Carlo sampling algorithms: coordinate-free, Gibbs-style and manifold versions of the Barker proposal
University of Oxford（牛津大学）；University College London（伦敦大学学院）；MRC Biostatistics Unit, University of Cambridge（剑桥大学医学研究理事会生物统计学单元）
本文回顾了基于偏斜对称分布的Barker提议，并提出三种扩展：坐标无关、Gibbs风格和简化流形版本，实验表明Gibbs风格提升相关目标采样效率，流形版本在几何不规则时优于MALA。
2026-10-02 stat.CO stat.ME stat.ML
Mad Props: Parallelism in Markov Chain Monte Carlo Through the Lens of the Infinite Proposal Limit
Indiana University（印第安纳大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Drexel University（德雷塞尔大学）
本文研究了多提议马尔可夫链蒙特卡罗算法中的并行性问题，通过分析无限提议极限下的核函数，揭示了不同提议和接受结构下的新方法，并发现了现有方法的局限性。
2026-05-21 math.PR math.ST stat.CO
Posterior-based proposals for speeding up Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种广泛应用于复杂系统模型的贝叶斯推断方法。然而，由于所谓的混合不良，在具有许多潜在变量的模型中，性能通常不令人满意，需要开发特定于应用程序的实现。本文介绍了“基于后验的建议”（PBPs），一种新型的MCMC更新适用于一个巨大的类的统计模型（其条件依赖结构表示的有向无环图）。PBPs在参数和潜在变量空间中生成大的联合更新，同时保持良好的接受率（通常为33%）。对其他方法（从标准吉布斯/随机游动更新到最先进的哈密顿和粒子MCMC方法）进行了评估，用于广泛变化的模型类型：基于个体的疾病诊断测试数据模型，金融随机波动模型，统计遗传学中使用的混合模型和生态学中使用的种群模型。虽然不同的方法在不同的情况下工作得更好或更差，但发现PBPs要么接近最快，要么比次佳方法快得多（高达10倍）。因此，PBPs代表了一种额外的通用技术，可以有效地应用于各种各样的环境。
2019-10-24 stat.AP stat.CO stat.ME
Similarity-Driven Proposals for MCMC Algorithms on Discrete Spaces
University of California, Los Angeles（加州大学洛杉矶分校）；University of Bergamo（贝加莫大学）；University College of London（伦敦大学学院）；National University of Singapore（新加坡国立大学）
本文提出了一种基于相似性的MCMC方法，用于离散空间中的后验分布采样，通过数据驱动的观测与提议模型之间的不一致度度量来引导转移，适用于包含离散变量和额外潜在变量的分层模型。
2026-05-20 stat.CO stat.ME
Exact MCMC for Intractable Proposals
Duke University（杜克大学）；IIT Kanpur（坎普尔印度理工学院）
本文提出利用伯努利工厂MCMC算法解决不可行提案分布的问题，通过三个实例展示其有效性。
2026-04-19 stat.CO stat.ME
Neural Adaptive Sequential Monte Carlo
University of Cambridge（剑桥大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
序贯蒙特卡罗（SMC），或粒子滤波，是一种流行的方法，从一个棘手的目标分布使用一系列简单的中间分布采样。与其他基于重要性采样的方法一样，性能严重依赖于提案分布：一个糟糕的提案可能导致对目标分布的任意不准确的估计。本文提出了一种新的方法，自动适应的建议，使用近似的Kullback-Leibler分歧之间的真实后验分布和建议。该方法非常灵活，适用于任何参数化的建议分发，它支持在线和批量变量。我们使用新的框架来适应强大的建议分布与丰富的参数化的基础上神经网络导致神经自适应顺序蒙特卡罗（NASMC）。实验表明，NASMC显着改善推理的非线性状态空间模型优于自适应建议方法，包括扩展卡尔曼和无迹粒子滤波器。实验还表明，改进的推理转化为改进的参数学习时，NASMC被用作粒子边缘大都会黑斯廷斯的子程序。最后，我们表明，NASMC是能够训练的潜变量递归神经网络（LV-RNN）实现的结果，竞争与国家的最先进的多态音乐建模。NASMC可以被看作是自适应SMC方法和最近的工作在可扩展的，黑盒变分推理之间的差距。
2015-11-16 cs.LG stat.ML
Entropy-based adaptive Hamiltonian Monte Carlo
哈密顿蒙特卡罗（HMC）是一种流行的马尔可夫链蒙特卡罗（MCMC）算法，用于对非归一化概率分布进行采样。跳耦积分器通常用于在实践中实现HMC，但其性能可能对其中使用的质量矩阵的选择敏感。我们开发了一种基于梯度的算法，允许通过鼓励蛙跳积分器具有高的接受率，同时还共同探索所有维度来适应质量矩阵。与以前使用某种形式的期望平方跳跃距离来适应HMC的超参数的工作相比，这里建议的适应策略旨在通过最大化提议熵的近似来增加抽样效率。我们说明，使用多个梯度在HMC的建议可以是有益的相比，一个单一的梯度步骤的大都会调整Langevin的建议。经验证据表明，自适应方法可以优于不同版本的HMC计划，通过调整质量矩阵的目标分布的几何形状，并通过提供一些控制的积分时间。
2021-10-27 stat.CO stat.ML
Hessian-informed, Coordinate Friendly Hamiltonian Monte Carlo in Linear Time
The University of British Columbia（不列颠哥伦比亚大学）
提出一种将Riemannian哈密顿蒙特卡洛（RHMC）固定点迭代的计算复杂度从O(d^2)降至O(d)的方法，适用于具有“坐标友好”结构的目标分布，包括广义线性模型及稠密/稀疏图模型。
2026-06-04 stat.CO stat.ME
Auto-Encoding Sequential Monte Carlo
我们建立在自动编码序贯蒙特卡罗（AESMC）：模型和建议学习的基础上，最大限度地提高了一个广泛的家庭的结构化概率模型的对数边际似然下界的方法。我们的方法依赖于序贯蒙特卡罗（SMC）在结构化概率模型中执行推理的效率，以及深度神经网络对复杂条件概率分布建模的灵活性。我们开发了更多的理论见解，并引入了一个新的训练过程，提高了模型和建议学习。我们证明了我们的方法为深度生成模型中的同时模型学习和建议适应提供了一种快速，易于实现和可扩展的方法。
2018-04-05 stat.ML
Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks
Department of Electronics and Electrical Engineering, University of Liverpool（利物浦大学电子与电气工程系）
本文提出了一种基于SMC的训练方法，利用梯度引导的提案和马尔可夫核，提升pBNNs在高维问题中的可扩展性和预测性能。
2026-01-29 cs.LG stat.ML
Inference and rare event simulation for stopped Markov processes via reverse-time sequential Monte Carlo
我们提出了一个序贯蒙特卡罗算法的马尔可夫链轨迹的建议，在逆时间，这是有利的，当路径的条件结束在一个罕见的集合。逆时间提案分布是通过近似Nagasawa公式中的格林函数的比率来构造的。条件参数可以用来解释这些比率作为低维条件抽样分布的一些坐标的过程给定的其他。从而大大降低了设计高维SMC方案的难度。我们说明了我们的方法估计的溢出概率在一个扩散模型，扩散遵循一个狭窄的走廊的概率，以及在网络上的传染病模型中的感染的初始位置。
2017-01-02 math.PR q-bio.PE stat.CO
Optimal proposals for Approximate Bayesian Computation
我们使用序贯蒙特卡罗（SMC）（或人口蒙特卡罗，PMC）推导出近似贝叶斯计算（ABC）的最佳建议密度。最优性的标准是SMC/PMC-ABC采样器最大化每个参数建议的有效样本样本个数。最优建议密度代表了有利于高接受率和减少接受样本的重要性权重方差之间的最优权衡。我们讨论了两个方便的近似这个建议，并表明，最佳的建议密度提供了一个显着的提升，在预期的抽样效率相比，在ABC文献中常用的标准内核，特别是参数的数量增加。
2018-08-18 math.ST stat.ME stat.TH
Sequential Monte Carlo on large binary sampling spaces
如果蒙特卡罗算法使用过去的模拟自动校准其当前的建议分布，则称其为自适应的。定义建议分布集的参数族的选择对于良好的性能至关重要。在本文中，我们提出了这样一个参数族的自适应采样高维二进制空间。这个问题的一个实际动机是变量选择在线性回归上下文中。我们希望使用适当版本的序贯蒙特卡罗从模型空间上的贝叶斯后验分布中采样。原始版本的序贯蒙特卡罗很容易使用具有独立分量的二进制向量实现。然而，对于高维问题，这些简单的建议并不能产生令人满意的结果。一个有效的自适应算法的关键是考虑相关性的二元参数族，类似于连续空间上的多元正态分布。我们提供了二进制数据的模型的审查，并使其中之一的顺序蒙特卡罗抽样的上下文中工作。对大约100个协变量的真实数据的计算研究表明，在困难的情况下，我们的序贯蒙特卡罗方法明显优于基于马尔可夫链探索的标准技术。
2011-11-09 math.ST stat.CO stat.ME
Plateau Proposal Distributions for Adaptive Component-wise Multiple-Try Metropolis
马尔可夫链蒙特卡罗（MCMC）方法是已经成为统计学中常用工具的采样方法，例如用于执行蒙特卡罗积分。由于计算能力的增加，MCMC方法存在许多变化，用于从任意的、可能复杂的目标分布生成样本。MCMC方法的性能主要取决于所使用的所谓建议分布的选择。在本文中，我们介绍了一种新类型的建议分布中使用的MCMC方法，操作组件明智的，每次迭代多次试验。具体来说，这类新的建议分布，称为高原分布，不重叠，从而确保多个试验是从状态空间的不同区域中提取的。此外，高原建议分布允许定制的自适应过程，其适合于具有有效的问题相关状态空间探索和改进的老化特性的马尔可夫链。仿真研究表明，我们的新的MCMC算法优于竞争对手时，从一个复杂的形状，高度相关的组件或多个模式的分布采样。
2021-06-10 stat.CO stat.ME
A unified performance analysis of likelihood-informed subspace methods
似然信息子空间（LIS）方法为贝叶斯推断中高维概率分布的降维提供了一条可行的途径。LIS识别一个内在的低维线性子空间，其中目标分布与一些易处理的参考分布差异最大。可以使用对数似然函数的梯度的Gram矩阵的前导特征向量来识别这样的子空间。然后，通过各种形式的似然函数的边缘化来逼近原始的高维目标分布，其中逼近的似然函数只在固有的低维子空间上具有支持度。这种近似使得能够设计推理算法，其可以随着问题的表观维度次线性地缩放。直觉上，近似的准确性，从而推断算法的性能，受到三个因素的影响--在确定子空间的维数截断误差，在估计Gram矩阵的蒙特卡罗误差，以及在构造边缘化的蒙特卡罗误差。这项工作建立了一个统一的框架来分析这三个因素中的每一个及其相互作用。在温和的技术假设下，我们建立了一系列现有的降维技术的基础上LIS的原则的误差界。我们的误差范围也提供了有用的见解，这些方法的准确性。此外，我们分析了LIS与采样方法，如马尔可夫链蒙特卡罗（MCMC）和序贯蒙特卡罗（SMC）的集成。我们还证明了我们的分析的适用性与高斯先验的线性逆问题，这表明，所有的估计可以是维数无关的，如果先验协方差是一个迹类算子。
2021-10-21 math.ST stat.CO stat.TH
A Point Mass Proposal Method for Bayesian State-Space Model Fitting
本文提出一种基于确定性隐马尔可夫模型近似的块提议分布，用于状态空间模型联合潜在状态与参数的Metropolis-within-Gibbs采样，以提升MCMC混合效率，并证明其对近混沌模型仍有效。
2023-08-07 stat.CO
Dimension-independent likelihood-informed MCMC
Massachusetts Institute of Technology（麻省理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出了一种与维度无关的似然信息MCMC方法，通过引入操作权重提案分布和局部Hessian信息，实现对高维后验分布的有效采样，用于解决非高斯结构的逆问题。
2015-10-17 cs.NA math.NA stat.CO
Controlled Sequential Monte Carlo
序贯蒙特卡罗方法，也称为粒子方法，是一组流行的技术，用于近似高维概率分布及其归一化常数。这些方法在统计学和相关领域中有许多应用，例如用于非线性非高斯状态空间模型和复杂静态模型中的推断。像许多蒙特卡罗抽样方案一样，它们依赖于对它们的性能有关键影响的建议分布。在这里，我们介绍了一类控制序贯蒙特卡罗算法，其中的建议分布是通过近似的解决方案，以相关的最优控制问题，使用迭代计划。该方法建立在计量经济学、物理学和统计学中用于状态空间模型推理的一些现有算法的基础上，并将这些方法推广以适应复杂的静态模型。我们提供了一个理论分析，这种方法的波动和稳定性，也提供了洞察相关算法的属性。我们展示了显着的收益，在一个固定的计算复杂度的各种应用程序的最先进的方法。
2019-10-30 stat.CO
Proposal of a Score Based Approach to Sampling Using Monte Carlo Estimation of Score and Oracle Access to Target Density
Yale University（耶鲁大学）
基于分数的采样方法作为生成算法已经显示出很大的成功，以在给定初始样本池的情况下从目标密度产生新样本。在这项工作中，我们考虑，如果我们没有从目标密度的初始样本，而是$0^{th}$和$1^{st}$命令oracle访问的日志可能性。这样的问题可能会出现在贝叶斯后验抽样，或在近似最小化的非凸函数。仅使用这些知识，我们提出了一个蒙特卡罗方法来估计分数经验作为一个特定的期望的随机变量。使用这个估计器，我们可以运行一个离散版本的反向流迭代，从目标密度中产生样本。该方法的优点在于不依赖于来自目标密度的初始样本池，并且它不依赖于神经网络或其他黑盒模型来估计分数。
2022-12-06 cs.LG stat.ME stat.ML
Efficient subsampling-rate selection for practical Multilevel Markov chain Monte Carlo
KU Leuven（荷语鲁汶大学）
本研究提出一种基于误差预算的成本误差准则，用于选择多层马尔可夫链蒙特卡洛中的高效子采样率，平衡多层采样误差而非强制独立性，显著降低计算成本。
2026-10-07 cs.NA math.NA stat.CO
On the mixing properties of some preconditioned multiproposal Markov Chain Monte Carlo algorithms
Indiana University（印第安纳大学）；Drexel University（德雷塞尔大学）；Norwegian University of Science and Technology（挪威科技大学）
研究两种“无维度”蒙特卡罗采样算法mpCN和MTpCN，通过弱哈里斯框架证明其对目标测度指数收敛，给出混合率，分析中有新耦合构造及工具，还有数值研究对比其与标准算法。
2026-07-07 math.PR math.ST stat.CO
Reverse Diffusion Sequential Monte Carlo Samplers
提出逆向扩散序贯蒙特卡洛采样器，通过构建中间目标分布并利用分数估计量纠正偏差，实现从未归一化目标分布的一致采样和无偏估计。
2025-11-05 stat.CO
Population Monte Carlo with Normalizing Flow
针对高维复杂目标分布中简单提议分布探索不足的问题，本文在 PMC/AIS 框架中引入 normalizing flow 并迭代更新参数，显著提升了高维推断性能。
2023-12-12 stat.ME
A geometric approach to informed MCMC sampling
本文提出一种基于黎曼几何和Fisher-Rao度量的MCMC采样方法，利用平方根表示构造有信息的提议密度，在多种模型上优于传统MH算法，并附带R包。
2024-11-07 stat.CO stat.ME
Improving approximate Bayesian computation via quasi-Monte Carlo
近似贝叶斯计算（ABC）是处理具有难处理的可能性的模型的一般方法。在这项工作中，我们推导出基于QMC（准蒙特卡罗）序列的ABC算法。我们表明，由此产生的ABC估计有一个较低的方差比他们的蒙特卡罗的对手。我们还开发了顺序ABC算法的QMC变体，逐步适应提案分布和接受阈值。我们说明了我们的QMC方法，通过几个例子从ABC文学。保留字：近似贝叶斯计算，无似然推断，拟蒙特卡罗，随机化拟蒙特卡罗，自适应重要性抽样
2018-05-07 stat.CO
Layered Adaptive Importance Sampling
University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）
蒙特卡罗方法代表了用于近似涉及多维目标分布的复杂积分的“事实上的”标准。为了从目标分布生成随机实现，蒙特卡罗技术使用更简单的提议概率密度来绘制候选样本。任何此类方法的性能都与建议分布的规格严格相关，因此不幸的选择很容易对结果估计造成严重破坏。在这项工作中，我们引入了一个分层（即，分层）过程来生成在蒙特卡罗方案内采用样本。这种方法确保总是自动获得适当的等效建议密度（从而消除灾难性性能的风险），尽管代价是复杂性的适度增加。此外，我们提供了一个通用的统一的重要性抽样（IS）框架，其中采用多个建议密度和几个IS计划引入所谓的确定性混合方法。最后，鉴于这些计划，我们还提出了一类新的自适应重要性采样器使用人口的建议，其中的适应是由独立的并行或相互作用的马尔可夫链蒙特卡罗（MCMC）链驱动。由此产生的算法有效地结合了IS和MCMC方法的优点。
2016-11-27 cs.LG stat.CO stat.ML
Continious-time Importance Sampling: Monte Carlo Methods which Avoid Time-discretisation Error
在本文中，我们开发了一个连续时间顺序重要性抽样（CIS）算法，消除时间离散化误差，并提供在线无偏估计连续时间马尔可夫过程，特别是扩散。我们的工作消除了EA施加的强条件，从而大大扩展了一类离散化无误差MC方法的扩散。CIS可以比EA更普遍地应用的原因是它不再工作在路径空间上。相反，它使用建议分布的扩散的过渡密度，和建议分布是绝对连续的相对于真正的过渡密度存在一般的SDEs。
2017-12-17 math.PR stat.CO stat.ME
Variable length trajectory compressible hybrid Monte Carlo
混合蒙特卡罗（HMC）通过模拟哈密顿动力学从配置空间中的指定概率分布生成样本，随后是Metropolis（-Hastings）接受/拒绝步骤。可压缩HMC（CHMC）将HMC推广到动力学可逆但不一定是哈密顿的情况。本文提出了一个框架，以进一步扩展该算法。在现有的框架内，动态的每个轨迹必须在相同的（随机）时间内进行整合，以生成有效的Metropolis提案。我们的广义接受/拒绝机制允许更慎重地选择每个轨迹的积分时间。该算法特别是使可变步长积分器的HMC型采样算法的基础上可逆动态的有效应用。我们的框架的潜力进一步证明了HMC的另一个扩展，减少了浪费的计算，由于不稳定的数值近似和相应的拒绝建议。
2016-04-04 physics.comp-ph stat.CO
Amortized Monte Carlo Integration
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
目前的方法摊销贝叶斯推断仅集中在近似的后验分布。通常，这种近似反过来用于计算一个或多个目标函数的期望值-当目标函数预先已知时，计算流水线效率低下。在本文中，我们解决了这种低效率的引入AMCI，摊销蒙特卡罗集成直接的方法。AMCI的操作类似于摊销推理，但产生三个不同的摊销建议，每个建议都适合于整体预期计算的不同组成部分。在运行时，样本是从每个摊销的建议中单独产生的，然后组合到期望的总体估计中。我们表明，虽然现有的方法是从根本上限制了他们可以实现的准确性水平，AMCI理论上可以产生任意小的错误，任何可积的目标函数，在运行时只使用一个单一的样本，从每个建议。我们进一步表明，它是能够在经验上优于理论上最优的自归一化重要性采样器的一些示例问题。此外，AMCI不仅允许在数据集上摊销，还允许在目标函数上摊销。
2019-07-18 cs.LG stat.CO stat.ML
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University（哥伦比亚大学）
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗（MCMC）或组合序贯蒙特卡罗（CSMC）等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而，当MCMC用于进化参数学习时，收敛需要长时间运行，状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗（VCSMC），一个强大的框架，建立变分顺序搜索学习分布在复杂的组合结构。然后，我们开发嵌套CSMC，一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似（棘手的）局部最优建议。我们使用嵌套的CSMC定义第二个目标，VNCSMC产生更严格的下限比VCSMC。我们表明，VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
Anchored Reversible Jump Sequential Monte Carlo
Eindhoven University of Technology（埃因霍温理工大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
针对RJMCMC模型间提议设计困难及GPU并行受限问题，提出锚定可逆跳跃序贯蒙特卡洛，结合SMC并行探索模型空间，利用粒子构建核密度近似生成跨维度提议，实现高效且可扩展的贝叶斯模型比较。
2026-10-08 math.ST stat.ME stat.TH
Fractional Langevin Monte Carlo: Exploring Lévy Driven Stochastic Differential Equations for Markov Chain Monte Carlo
随着可扩展的马尔可夫链蒙特卡罗方法的最新进展，基于朗之万扩散的采样技术开始受到越来越多的关注。这些所谓的朗之万蒙特卡罗（LMC）方法是基于布朗运动驱动的扩散，这在所得到的算法中产生高斯建议分布。尽管这些方法在许多应用中已经证明是成功的，但它们的性能可能受到高斯建议的光尾性质的限制。在这项研究中，我们扩展了经典的LMC和开发一个新的分数LMC（FLMC）的框架，是基于一个家庭的重尾分布，称为$α$ -稳定的Lévy分布。与经典方法相比，所提出的方法可以具有大的跳跃，同时以正确的分布为目标，这将有利于有效地探索状态空间。我们开发了新的计算方法，可以扩展到大规模的问题，我们提供正式的收敛性分析所提出的计划。我们的实验支持我们的理论：FLMC可以提供卓越的性能，在多模态设置，提高收敛速度，算法参数的鲁棒性。
2017-06-12 stat.CO stat.ME stat.ML
Optimized Population Monte Carlo
自适应重要性抽样（AIS）方法越来越多地用于贝叶斯推断背景下的分布和相关难处理积分的近似。群体蒙特卡罗（PMC）算法是AIS方法的一个子类，由于其易于自适应而被广泛使用。在本文中，我们提出了一种新的算法，利用PMC框架的好处，包括更有效的自适应机制，利用目标分布的几何信息。特别是，新算法适应的位置和规模参数的一组重要性密度（建议）。在每次迭代时，通过组合通用的重新定位策略（即，使用先前加权样本的信息）。局部二阶信息的目标分布是通过一个预处理矩阵作为一个缩放度量到梯度方向上。为了保证方案的鲁棒性，采用了阻尼牛顿法。由此产生的度量也用于更新提案的尺度参数。我们讨论了所提出的方法的几个关键的理论基础。最后，我们在三个数值例子中展示了所提出的方法的成功性能，涉及具有挑战性的分布。
2022-04-14 stat.CO
Nested Sequential Monte Carlo Methods
我们提出了嵌套序贯蒙特卡罗（NSMC），一种方法来采样序列的概率分布，即使在随机变量是高维的。NSMC通过只需要近似的，适当加权的，来自SMC提案分布的样本来概括SMC框架，同时仍然产生正确的SMC算法。此外，NSMC本身可以用于产生这样的适当加权的样本。因此，一个NSMC采样器可以被用来为另一个NSMC采样器构造一个有效的高维建议分布，并且算法的这种嵌套可以被实现到任意程度。这使我们能够考虑使用SMC的复杂和高维模型。我们的结果，激励我们的方法在几个过滤问题的尺寸在100至1 000的顺序的功效。
2015-09-11 stat.CO stat.ME stat.ML
A quantum parallel Markov chain Monte Carlo
我们提出了一种新的混合量子计算的并行MCMC算法，在每一步产生多个建议的战略。该策略通过使用Gumbel-max技巧将广义接受-拒绝步骤转化为离散优化问题，使并行MCMC中的限速步骤适合量子并行化。当结合新的见解，从并行MCMC文献，这样的方法使我们能够嵌入目标密度评估内一个众所周知的扩展格罗弗的量子搜索算法。让$P$表示单个MCMC迭代中的建议数，组合策略将$\mathcal{O}(P)$所需的目标评估数减少到$\mathcal{O}(P^{1/2})$。在下文中，我们将回顾量子计算、量子搜索和Gumbel-max技巧的基础知识，以便为尽可能广泛的读者阐明它们的组合。
2023-03-19 quant-ph stat.CO
Sampling Decisions: Exact Path-Space Control for Physics-Informed Generative Sampling
Program in Applied Mathematics and Department of Mathematics, University of Arizona（应用数学项目和数学系，亚利桑那大学）；Graduate School of AI at KAIST（韩国科学技术院人工智能研究生院）
研究如何校正离散空间便宜但有偏差的顺序有限时间范围采样器，核心方法是将采样决策公式化为路径空间相对熵投影，引入相关先验和校正。实验表明单例积先验有问题，局部玻尔兹曼引导效果好，确定了相关前缀引导对顺序采样的决定性作用。
2026-08-04 cond-mat.stat-mech cs.AI cs.LG
Variational Autoencoder for Generating Broader-Spectrum prior Proposals in Markov chain Monte Carlo Methods
Department One（部门一）；Department Two（部门二）；National Laboratory for Scientific Computing（国家科学计算实验室）；Department of Mathematical Sciences, The University of Texas at Dallas（数学科学系，德克萨斯大学达拉斯分校）
本文提出用变分自编码器为马尔可夫链蒙特卡罗方法生成更广谱的先验提议，以替代依赖协方差先验知识的KLE方法，并通过地下水流动反演实验验证其在精度、鲁棒性和计算效率上的优势。
2025-06-16 cs.LG stat.ML
