MCMC for doubly-intractable distributions
马尔可夫链蒙特卡罗（MCMC）算法通常用于从具有棘手的归一化常数的分布中提取样本。然而，标准MCMC算法不适用于双重棘手的分布，其中有额外的参数依赖的归一化项;例如，无向图形模型的参数后验。一个巧妙的非线性变量方案（Moeller等人，2004）提供了一个解决方案：精确抽样（Propp和Wilson，1996）用于从Metropolis-Hastings提案中抽样，其中接受概率是易处理的。不幸的是，这些昂贵的更新的接受概率可能很低。本文提供了Moeller等人（2004）的推广和一种新的MCMC算法，该算法在相同的精确采样量下获得更好的接受概率，并且无需在采样开始前估计模型参数。
2012-06-27 stat.CO stat.ME
A direct Hamiltonian MCMC approach for reliability estimation
精确和有效地估计罕见事件的概率是非常重要的，因为这些事件的发生往往具有广泛的影响。在这项工作中的重点是精确量化这些概率，经常遇到的复杂工程系统的可靠性分析，通过引入一个基于梯度的哈密顿马尔可夫链蒙特卡罗（HMCMC）框架，称为近似采样目标与后处理调整（ASTPA）。其基本思想是通过一维似然模型对高维随机变量空间进行加权，利用极限状态函数构造相关目标分布。为了从该目标分布中采样，我们利用HMCMC算法，该算法基于Hamilton动力学而不是随机游动来产生马尔可夫链样本。我们比较了典型的HMCMC方案与我们新开发的基于拟牛顿的质量预处理HMCMC算法的性能，该算法可以非常熟练地进行采样，特别是在高维和非常小的故障概率的困难情况下。为了最终计算感兴趣的概率，在该阶段设计原始的后采样步骤，使用基于样本的逆重要性抽样过程。然后讨论了ASTPA中涉及的用户自定义参数，并给出了一般的默认值。最后，所提出的方法的性能进行了详细的研究和比较子集模拟在一系列静态和动态的低维和高维的基准问题。
2019-09-10 stat.AP stat.CO
How to view an MCMC simulation as a permutation, with applications to parallel simulation and improved importance sampling
考虑一个定义在有限状态空间X上的马尔可夫链，它保持X上的均匀分布不变，并且对于某个整数Q，它的转移概率是1/Q的整数倍。我展示了从x_0开始的该链的n个转换的模拟如何可以被视为在空间XxU上应用随机置换，其中U={0，1，.，Q-1}，到起始态（x_0，u_0），其中u_0从U均匀地引出。对于某个整数P，该结果可以应用于概率为1/P的整数倍的非均匀分布，通过将其表示为来自XxY的适当定义的子集上的均匀分布的X的边缘分布，其中Y={0，1，.，P-1}。通过让Q、P和X的基数趋于无穷大，这个结果可以推广到非有理概率和连续状态空间，其中有限空间上的置换被从连续空间到其自身的保体积一对一映射所取代。这些结构可以有效地实现链中常用的马尔可夫链蒙特卡罗（MCMC）模拟。我提出了两个应用程序在这种情况下-模拟K个实现的链从K个初始状态，但与过渡定义的一个单一的流的随机数，可能是有效的向量处理器或多个处理器，并使用MCMC，以提高重要性抽样分布，已经有很大的重叠与分布的兴趣。我还讨论了这种“排列MCMC”方法的影响，在MCMC模拟的随机性的作用，以及潜在的使用非随机和准随机数。
2012-05-01 physics.comp-ph stat.CO
Subsampling MCMC - An introduction for the survey statistician
计算能力的迅速发展和高效的马尔可夫链蒙特卡罗（MCMC）模拟算法使贝叶斯统计发生了革命性的变化，使其成为应用工作中一种实用性很强的推理方法。然而，MCMC算法往往是计算要求很高的，并且对于大型数据集特别慢。数据子采样最近被建议作为一种方法，使MCMC方法可扩展的海量数据，利用有效的抽样方案和估计量的调查抽样文献。这些发展往往是未知的许多调查统计学家谁传统上与非贝叶斯方法工作，很少使用MCMC。我们的文章通过回顾一系列工作，Subsampling MCMC，一种所谓的伪边缘MCMC方法，通过数据子采样来加速MCMC，来解释MCMC中数据子采样的思想。这篇评论是为一个没有MCMC方法知识的调查统计学家写的，因为我们的目的是激励调查抽样专家为不断增长的子抽样MCMC文献做出贡献。
2018-09-20 stat.CO stat.ME stat.ML
Mixing efficiency of trans-model Markov chain Monte Carlo algorithms with applications in Bayesian phylogenetics
China Southern University of Science and Technology（南方科技大学）；University College London（伦敦大学学院）
研究跨模型马尔可夫链蒙特卡罗算法的混合效率，通过数学分析和模拟，明确优先提议高后验概率模型及从后验提议参数值的原则，为构建高效算法提供指导并应用于系统发育重建。
2026-07-09 stat.CO
Markov chain Monte Carlo for computing rare-event probabilities for a heavy-tailed random walk
本文提出了一种基于马尔可夫链蒙特卡罗（MCMC）算法的计算罕见事件概率的方法。给定稀有事件发生的基本过程的条件分布以稀有事件的概率作为其归一化常数。利用MCMC方法模拟了一个马尔可夫链，将该条件分布作为其不变分布，并从其轨迹中提取了关于归一化常数的信息。该算法被描述在充分的一般性和应用的问题计算的概率，一个重尾随机游动超过一个高阈值。构造了倒概率的一个无偏估计，其归一化方差渐近为零。该算法被扩展到随机和其性能的数值说明，并与现有的重要性抽样算法。
2012-11-09 math.PR stat.CO
Bounding rare event probabilities in computer experiments
我们感兴趣的是在计算机实验的背景下，罕见事件的概率。这些罕见事件依赖于具有随机输入变量的物理模型的输出。由于该模型只能通过昂贵的黑盒函数知道，因此不能使用为罕见事件设计的标准有效的蒙特卡罗方法。然后，我们提出了一个策略来处理这个困难的基础上重要性抽样方法。该建议依赖于克里格元建模，并能够实现罕见事件概率的置信上限。由于克里格元建模步骤的可变性是适当考虑。所提出的方法被应用到一个玩具的例子，并比较更标准的贝叶斯界限。最后，分析了一个具有挑战性的真实案例研究。它包括找到一个概率的上限，空中载荷的轨迹将与飞机碰撞，已经释放它。
2012-03-20 stat.CO
Rare Event Simulation
罕见事件是指预期不经常发生的事件，或者更严格地说，根据概率模型，发生概率较低（例如，$10^{-3}$或更低）的事件。在不确定性量化的背景下，罕见事件通常对应于设计用于高可靠性的系统的故障，这意味着系统性能未能满足某些设计或操作规范。正如本节所述，计算这种罕见事件的概率是具有挑战性的。对于非平凡的问题，通常没有解析解，并且标准的蒙特卡罗模拟在计算上是低效的。因此，许多研究工作都集中在开发先进的随机模拟方法，更有效。在这一节中，我们将讨论通过蒙特卡罗模拟、重要性抽样和子集模拟来估计高可靠动态系统的罕见事件概率的问题。
2015-08-20 stat.AP stat.CO
Almost sure convergence rates of adaptive increasingly rare Markov chain Monte Carlo
University of Bath（巴斯大学）；University of Warwick（华威大学）；University of Passau（帕绍大学）
本文研究了自适应递增稀疏MCMC算法的几乎必然收敛速度，通过收缩假设推导了收敛速率上界，并展示了在不同设置下的应用。
2025-10-13 cs.NA math.NA math.PR
Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states
Harvard University（哈佛大学）；Duke University（杜克大学）；Google（谷歌公司）
针对隐马尔可夫模型中稀有隐状态导致数据不平衡的问题，提出目标子采样（TASS）方法，通过过采样稀有状态观测值并构建权重降低梯度估计方差，显著提升了稀有事件的预测和推断准确性。
2024-07-25 cs.LG stat.ML
Estimating Discrete Markov Models From Various Incomplete Data Schemes
离散平稳马尔可夫模型的参数是状态之间的转移概率。传统上，数据由在整个观察期间对于给定数量的个体的观察状态的序列组成。在这种情况下，通过对从给定状态到另一状态的一步移动进行计数来直接进行转移概率的估计。然而，在许多现实生活中的问题中，由于状态序列没有被完全观察到，即每个个体的状态仅对于时间变量的某些给定值是已知的，因此推断要困难得多。回顾的问题，重点是蒙特卡罗马尔可夫链（MCMC）算法进行贝叶斯推断和评估后验分布的转移概率在这个丢失的数据框架。基于转移矩阵行间的相关性，提出了一种自适应MCMC机制，对经典的梅特罗波利斯-黑斯廷斯算法进行了加速，并进行了实验研究.
2012-02-22 stat.CO stat.ME
A calculus for Markov chain Monte Carlo: studying approximations in algorithms
本文提出马尔可夫链蒙特卡洛微积分，通过定义 MCMC 核关于不变分布的导数及均值不等式，为分析和证明使用不变分布近似的交互式与序贯 MCMC 算法收敛性提供统一框架。
2024-09-30 math.PR math.ST stat.CO
Rare Event Simulation for Steady-State Probabilities via Recurrency Cycles
本文提出了一种新的算法，用于估计具有连续状态空间$\mathbb R^d$和离散时间步长的马尔可夫随机过程（即离散时间$\mathbb R^d$值马尔可夫链）的稳态概率.该算法，我们硬币的递归多级分裂（RMS），依赖于马尔可夫链的底层递归结构，结合多级分裂方法。进行了大量的模拟实验，包括具有复杂气候模式的一些特征的非线性随机模式的实验。数值实验表明，RMS方法与蒙特卡罗方法相比，可以将计算效率提高几个数量级。
2019-04-05 math.PR stat.CO
Rare-event Probability Estimation via Empirical Likelihood Maximization
我们探讨了过去和最近的发展，在罕见事件的概率估计，特别侧重于一种新的蒙特卡罗技术经验似然最大化（ELM）。这是一种通用的方法，涉及使用MCMC从密度序列中进行采样，并最大化经验可能性。感兴趣的量（给定稀有事件的概率）是通过求解与似然最大化相关的凸优化程序来估计的。数值实验使用这种新技术和基准对现有的强大的算法和估计。
2013-12-11 stat.CO
Estimation of Risk Contributions with MCMC
确定单位风险敞口对整个投资组合经济资本的风险贡献是金融风险管理中的一项重要任务。计算风险贡献涉及罕见事件模拟造成的困难。在这项研究中，我们解决的问题，估计风险的贡献时，总的风险是衡量的风险价值（VaR）。我们提出的VaR贡献估计是基于Metropolis-Hasting（MH）算法，这是最流行的马尔可夫链蒙特卡罗（MCMC）方法之一。与现有的估计，我们的MH为基础的估计包括样本的条件损失分布给定一个罕见的事件的兴趣。与粗糙的蒙特卡罗方法相比，该特征提高了采样效率。此外，我们的方法具有一致性和渐近正态性，并广泛适用于各种风险模型的联合损失密度。我们的数值实验的基础上模拟和现实世界的数据表明，在各种风险模型，即使是那些具有高维（约500）的非齐次利润率，我们的MH估计有较小的偏差和均方误差与现有的估计相比。
2019-01-17 math.ST q-fin.CP q-fin.RM
Adaptive Gibbs samplers and related MCMC methods
我们考虑各种版本的自适应Gibbs和Metropolis-within-Gibbs采样器，它们在运行过程中通过学习动态更新它们的选择概率（也许还有它们的建议分布），以试图优化算法。我们提出了一个警示的例子，即使是一个简单的自适应吉布斯采样器可能无法收敛。然后，我们提出了各种积极的结果，保证在一定条件下的自适应吉布斯采样收敛。
2013-02-27 math.PR stat.CO
Efficient Importance Sampling for Wrong Exit Probabilities over Combinatorially Many Rare Regions
本文研究轻尾随机游走从众多罕见区域错误出口概率的重要性采样估计，提出通过结合少量区域的最优倾斜与控制方差的额外提议来构建分量更少的渐近高效混合方法，解决了高维下指数级区域导致的计算不可行问题。
2025-09-18 math.PR stat.CO
Importance sampling correction versus standard averages of reversible MCMCs in terms of the asymptotic variance
我们建立了一个排序准则的渐近方差一致的马尔可夫链蒙特卡罗（MCMC）估计：一个重要性抽样（IS）估计，基于近似可逆链和随后的IS加权，和一个标准的MCMC估计，基于一个精确的可逆链。从本质上讲，我们放宽了标准的Peskun型协方差排序考虑两个不同的不变概率，并获得，在一个严格的顺序的渐近方差，是由直接MCMC的渐近方差的界。简单的例子表明，IS可以有任意更好或更差的渐近方差比大都会黑斯廷斯和延迟接受（DA）MCMC。我们的排序意味着，IS是保证有竞争力的一个因素取决于（边际）IS权重的上确界。我们详细阐述了标准的情况下，无偏估计量作为辅助变量框架的一部分。我们展示了如何标准意味着渐近方差保证IS的伪边缘（PM）和DA校正，基本上如果精确和近似似然比是有界的。我们还表明，IS链的收敛性可以更少地受到无界高方差无偏估计量比PM和DA链。
2020-03-24 math.PR stat.CO
MCMC for Imbalanced Categorical Data
许多现代应用程序收集高度不平衡的分类数据，其中一些类别相对罕见。贝叶斯分层模型通过借用信息来对抗数据稀疏性，同时也量化了不确定性。然而，后验计算提出了一个基本的障碍，日常使用;一个单一的类的算法并不能很好地工作在所有的设置和从业者浪费时间尝试不同类型的MCMC方法。这篇文章的动机是定量广告的应用程序中，我们遇到了非常差的计算性能，常见的数据增强MCMC算法，但获得了良好的性能自适应大都会。为了更深入地理解这种行为，我们给出了强有力的理论结果的计算复杂性在无限不平衡的渐近制度。结果表明，Metropolis算法的计算复杂性在样本量下是对数的，而数据扩充算法在样本量下是多项式的.数据增强性能不佳的根本原因是目标密度和MCMC步长集中的速率之间的差异。一般来说，具有类似差异的MCMC算法将在大样本中失败-这一结果具有实质性的实际影响。
2017-06-26 cs.CC math.ST stat.CO
The Containment Condition and AdapFail algorithms
本文研究了自适应MCMC算法的收敛性，即在运行中修改马尔可夫链更新概率的算法。我们重点讨论了\cite{roberts2007coupling}中引入的包含条件。我们表明，如果遏制条件是\emph{not}满足，那么该算法将执行得很差。具体地说，与积极的概率，自适应算法将是渐近效率低于\emph{any}非自适应遍历MCMC算法。我们称这种算法为\texttt{AdapFail}，并得出结论，他们不应该被使用。
2013-12-28 stat.CO
Optimal Scaling of MCMC Beyond Metropolis
在马尔可夫链蒙特卡罗算法中，如何最优地缩放建议分布的问题对生成的样本的质量至关重要。许多工作已经进入获得这样的结果，各种大都市黑斯廷斯（MH）算法。最近，接受概率以外的MH正在采用棘手的目标分布的问题。对于这种情况，调整高斯建议分布的资源很少。我们获得了最佳的缩放结果的一般类的接受功能，其中包括巴克和懒惰MH。特别是，巴克算法的最佳值的推导和发现是显着不同的MH算法获得的。我们的理论结论得到了数值模拟的支持，表明当最优建议方差未知时，调整到最优接受概率仍然是一种有效的策略。
2022-02-04 math.PR math.ST stat.CO
Continuous-Time Birth-Death MCMC for Bayesian Regression Tree Models
Amsterdam Business School（阿姆斯特丹商学院）；University of Amsterdam（阿姆斯特丹大学）；The Ohio State University（俄亥俄州立大学）；University of Tilburg（蒂尔堡大学）
决策树是一种灵活的模型，非常适合于许多统计回归问题。在回归树的贝叶斯框架中，需要马尔可夫链蒙特卡罗（MCMC）搜索算法根据树模型的后验概率来生成树模型的样本。这样的MCMC算法的关键组成部分是构建良好的Metropolis-Hastings步骤更新树拓扑结构。然而，这样的算法经常遭受局部模式粘性和差的混合。因此，算法收敛缓慢。目前，作者主要使用离散时间出生/死亡机制的贝叶斯（总和）回归树模型来探索模型空间。这些算法是有效的，只有当接受率是高的，这并不总是这种情况。在这里，我们克服了这个问题，开发了一种新的搜索算法，这是基于连续时间的出生-死亡马尔可夫过程。该搜索算法通过在对应于不同树结构的参数空间之间跳跃来探索模型空间。在该算法中，模型之间的移动总是可以接受的，可以显着改善MCMC算法的收敛性和混合性能。我们为贝叶斯回归树模型的算法提供了理论支持，并证明了它的性能。
2020-10-26 cs.LG stat.CO stat.ME
Wasserstein Distributionally Robust Rare-Event Simulation
The Chinese University of Hong Kong（香港中文大学）；Huawei Hong Kong Research Center（华为香港研究中心）
本文提出了一种基于Wasserstein模糊集的分布鲁棒重要性采样方法，用于高效估计存在分布不确定性下的稀有事件概率，实现了最优的误差收敛性。
2026-01-04 q-fin.CP stat.CO stat.ME
GPU-Parallelization of Markov Chain Pool Decoding with Unbiased MCMC
Graduate School of Data Science, Shiga University（滋贺大学数据科学研究生院）；Faculty of Data Science, Shiga University（滋贺大学数据科学学院）
本文针对马尔可夫链池解码（MCPD）在GPU上的并行化问题，提出得分加权更新方案并结合无偏MCMC框架，实验显示其在高噪声下的克隆恢复效果优于均匀解码器。
2026-09-01 stat.CO
Estimating Tail Probabilities of the Ratio of the Largest Eigenvalue to the Trace of a Wishart Matrix
本文提出了一种有效的蒙特卡罗方法来估计Wishart矩阵的最大特征值与迹之比的尾概率，这在多元数据分析中起着重要的作用。该估计是基于一个改变的测量技术，它被证明是渐近有效的实和复杂的Wishart矩阵。仿真研究进一步表明，所提出的方法优于现有的方法的基础上渐近近似，特别是在估计概率的罕见事件。
2018-03-25 stat.CO stat.ME
Bayesian Parameter Estimation for Partially Observed McKean-Vlasov Diffusions Using Multilevel Markov chain Monte Carlo
本文提出基于多层马尔可夫链蒙特卡洛的新算法，用于部分观测McKean-Vlasov扩散的贝叶斯参数估计，显著降低计算成本并证明收敛性。
2025-04-22 cs.NA math.NA stat.CO
Mini-batch Metropolis-Hastings MCMC with Reversible SGLD Proposal
Stanford University（斯坦福大学）；University of Sydney（悉尼大学）
传统的MCMC算法是计算密集型的，并且不能很好地扩展到大数据。特别地，Metropolis-Hastings（MH）算法需要遍历整个数据集以在每次迭代中评估似然比。我们提出了一个通用的框架，用于执行MH-MCMC使用小批量的整个数据集，并表明，这会产生大约一个缓和的平稳分布。我们证明了该算法保留了原始目标分布的模式，并推导出一个近似的误差界，并对似然性做了温和的假设。为了进一步扩展该算法的效用，高维设置，我们构建了一个建议，使用随机梯度的向前和向后移动，并表明该建设导致合理的接受概率。我们证明了我们的算法在低维模型和高维神经网络应用的性能。特别是在后一种情况下，与流行的优化方法相比，我们的方法对学习率的选择更鲁棒，并提高了测试准确性。
2019-08-28 cs.LG stat.ML
Split Sampling: Expectations, Normalisation and Rare Events
在本文中，我们开发了一种方法，我们称之为分裂抽样方法来估计高维期望和罕见事件的概率。分裂抽样使用辅助变量MCMC模拟，并将感兴趣的期望表达为一组完整的罕见事件概率。我们从一个边缘辅助变量分布的Rao-Blackwellised估计得到我们的估计。我们说明我们的方法与两个应用程序。首先，我们计算一个最短的网络路径罕见事件的概率，并比较我们的方法估计交叉熵的方法。然后，我们计算一个高维高斯混合的归一化常数，并将我们的估计值与基于嵌套采样的估计值进行比较。我们讨论了我们的方法和其他替代品，如产品的条件概率估计和重要性抽样之间的关系。这里开发的方法在R包中可用：SplitSampling。
2013-10-31 stat.CO
Computation of Gaussian orthant probabilities in high dimension
我们研究了高斯正交概率的计算，即高斯落在象限内的概率。Geweke-Hajivassiliou-Keane（GHK）算法[Genz，1992; Geweke，1991; Hajivassiliou等人，1996; Keane，1993]，目前用于维数大于10的积分。在本文中，我们证明了马尔可夫协方差GHK可以解释为使用顺序重要性抽样（SIS）的状态空间模型的归一化常数的估计。我们证明了对于AR（1），适当归一化的GHK的方差随着维度呈指数快速发散。作为一种改进，我们提出使用一个粒子滤波器（PF）。然后，我们推广这个想法，任意协方差阵使用序贯蒙特卡罗（SMC）与适当定制的MCMC移动。我们的经验表明，这可能会导致目前使用的算法大幅改善。我们还扩展了框架的orthants的混合高斯（学生，柯西等），以及截断高斯的模拟。
2014-11-25 stat.CO
Rare event estimation with sequential directional importance sampling (SDIS)
本文提出了一种用于稀有事件估计的顺序方向重要性抽样（SDIS）方法。SDIS用一系列辅助失效概率来表示一个小的失效概率，通过放大输入变异性来定义。在笛卡尔坐标系下，用蒙特卡罗模拟估计序列中的第一个概率，在极坐标系下，用方向性重要性抽样计算序列中的所有概率。从用于估计中间概率的定向重要性抽样密度中抽取的样本通过重采样移动方案以顺序方式绘制。后者方便地在笛卡尔坐标系中执行，并且通过适当的变换获得方向样本。对于移动步，我们讨论了两种马尔可夫链蒙特卡罗（MCMC）算法，分别应用于低维和高维问题。最后，提出了一种自适应选择的参数定义的中间失效概率和由此产生的失效概率估计的变异系数进行了分析。提出的SDIS方法进行了测试，在不同的问题设置的五个例子，这表明该方法优于现有的序贯抽样可靠性方法。
2022-01-12 stat.CO
Accelerated Weight Histogram Method for Rare Event Simulations
本文描述了一种自适应的马尔可夫链蒙特卡罗方法，适用于复杂概率模型中罕见失效概率的估计。这种方法，即加速权重直方图（AWH）方法，起源于统计物理学（Lidmar，2012），并已成功应用于生物物理学中的分子动力学模拟。在这里，我们介绍它的背景下，结构可靠性和证明其有用的计算故障概率在一些选定的问题的复杂程度不同，并比较与其他既定的技术，例如，子集模拟
2022-10-26 cond-mat.dis-nn cs.CE physics.comp-ph
Deep importance sampling using tensor trains with application to a priori and a posteriori rare event estimation
Monash University（莫纳什大学）；University of Bath（巴斯大学）；Heidelberg University（海德堡大学）
本文提出基于平方张量列分解的保序变换复合来构建深度重要性采样方法，用于高维稀有事件概率估计，并通过比率估计器改进方差缩减，在微分方程约束问题上实现了此前无法达到的高维后验稀有事件概率计算。
2023-05-25 cs.LG stat.CO stat.ME
Error-guided likelihood-free MCMC
University of Vienna（维也纳大学）；CERN（欧洲核子研究中心）
本文提出了一种新的后验推理方法，适用于具有难处理证据和似然函数的模型。错误引导的似然无MCMC，或简称EG-LF-MCMC，已被开发用于科学应用，其中研究人员感兴趣的是获得模型参数的近似后验密度，同时避免需要在完整的观测数据上进行昂贵的分量估计量训练或相关方法中表达性汇总统计量的繁琐设计。我们的技术基于两个阶段。在第一阶段中，我们从先验中抽取样本，模拟相应的观测值，并记录它们相对于真实观测值的误差$ε$。我们训练分类器来区分对应和非对应的$(ε, \boldsymbolθ)$元组。在第二阶段，所述分类器以来自训练集的最小记录$ε$值为条件，并用于在马尔可夫链蒙特卡罗采样过程中计算转移概率。通过将MCMC调节到特定的$ε$值，我们的方法也可以以摊销的方式用于推断观测的后验密度，这些观测位于距观测数据给定距离处。我们评估所提出的方法在语义和结构上不同的数据的基准问题，并比较其性能对最先进的近似贝叶斯计算（ABC）。
2021-04-23 cs.LG stat.ML
On some difficulties with a posterior probability approximation technique
Scott（2002）和Congdon（2006）提出了一种计算模型后验概率的新方法。它仅基于限于单个模型的MCMC输出，即，它绕过了可逆跳跃和其他模型探索技术。虽然确实有可能仅基于单个模型的MCMC输出来近似后验概率，正如Gelfand和Dey（1994）和Bartolucci等人（2006）所证明的那样，但我们表明Scott（2002）和Congdon（2006）的提议是有偏见的，并提出了一些关于这一论点的论点，主要问题是混淆了基于模型的后验和联合伪后验。从实践的角度来看，Scott（2002）近似的偏差似乎比Congdon（2006）的偏差严重得多，后者通常与它近似的后验概率具有相同的量级，尽管我们也展示了一个与真实后验概率的偏差非常大的例子。
2008-06-05 math.ST stat.CO stat.TH
MCMC Learning
École normale supérieure（巴黎高等师范学院）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
均匀分布下的学习理论是丰富而深入的，与密码学、计算复杂性和布尔函数分析有关。然而，由于均匀分布和相应的傅里叶基很少作为统计模型而遇到，因此该理论非常有限。一个广泛推广布尔立方体上均匀分布的分布族是由马尔可夫随机场（MRF）表示的分布族。马尔可夫随机场是在统计学和机器学习的许多领域中对高维数据建模的主要工具之一。本文以MRF分布为例，将均匀分布下的学习理论的中心思想、方法和算法扩展到MRF分布下的学习概念的建立。特别是，我们的研究结果建立了一个新的MCMC采样MRF和学习下的MRF分布的属性之间的连接。
2015-06-12 cs.LG stat.ML
An extended space approach for particle Markov chain Monte Carlo methods
本文充分考虑了一般状态空间模型中的贝叶斯推断。现有的粒子马尔可夫链蒙特卡罗（MCMC）算法使用考虑在序贯蒙特卡罗算法中采样的所有变量的增强模型。本文介绍了一种方法，也使用序贯蒙特卡罗来构建一个近似的状态空间，但产生额外的状态使用MCMC运行在每个时间点。我们构造了一个增广模型，我们的扩展空间与采样状态的边缘分布匹配的状态向量的后验分布。我们展示了我们的方法如何可以与粒子独立的大都会黑斯廷斯或粒子吉布斯步骤相结合，以获得一个平滑算法。所有的大都市接受概率是相同的，在现有的方法中获得的，所以没有额外的成本在大都市黑斯廷斯拒绝时，使用我们的方法。每个时间点的MCMC迭代次数由使用者选择，当MCMC迭代次数减少时，我们的增强模型会崩溃回Olsson和Ryden（2011）中的模型。我们的经验表明，我们的方法适用于应用的例子，可以优于现有的方法。
2014-07-30 stat.ME
Affine invariant interacting Langevin dynamics in Markov chain importance sampling for rare event estimation
本文提出一种用于稀有事件估计的基于梯度的MCIS新方案ALDI-IS，利用ALDI对平滑零方差密度采样，并建立了非渐近误差界，揭示了平滑参数在采样误差与采样难度间的权衡。
2025-06-25 math.ST stat.TH
Analysis and Simulation of Extremes and Rare Events in Complex Systems
罕见的天气和气候事件，如热浪和洪水，可能带来巨大的社会成本。气候数据的持续时间和空间覆盖范围往往有限，气候预测往往转向气候模型的模拟，以便更好地预测罕见的天气事件。然而，为了获得准确的概率估计，复杂模型的非常长的模拟可能慢得令人望而却步。发展概率和动力学技术，从有限的数据中准确地估计罕见事件的概率是一个重要的科学问题。在本文中，我们比较了四个现代方法估计罕见事件的概率：广义极值（GEV）的方法，从经典极值理论;两个重要性抽样技术，系谱粒子分析（GPA）和Giardina-Kurchan-Lecomte-Taillem（GKLT）算法;以及蛮力蒙特卡罗（MC）。利用这些技术，我们估计了三种动力学模型中罕见事件的概率：Ornstein-Uhlenbeck过程，Lorenz '96系统和PlaSim（气候模型）。我们保持计算工作量不变，看看每种技术的罕见事件概率估计与长期控制提供的黄金标准相比有多好。令人惊讶的是，我们发现经典的极值理论方法优于GPA，GKLT和MC在估计罕见事件。
2020-05-11 stat.ME
Waste-free Sequential Monte Carlo
在SMC采样器中移动粒子的标准方式是应用MCMC（马尔可夫链蒙特卡罗）内核的几个步骤。不幸的是，目前尚不清楚需要执行多少步骤才能获得最佳性能。此外，中间步骤的输出被丢弃，从而以某种方式浪费。我们提出了一种新的，无浪费的SMC算法，它使用所有这些中间MCMC步骤的输出作为粒子。我们建立了它的输出是一致的和渐近正态的。我们使用的渐近方差的表达式，以开发各种见解如何在实践中实现该算法。我们特别开发了一种方法来估计，从一个单一的运行的算法，任何粒子估计的渐近方差。我们的经验表明，通过一系列的数值例子，无浪费的SMC往往优于标准的SMC采样器，特别是在混合的情况下，所考虑的MCMC内核减少迭代（如回火或罕见事件问题）。
2021-08-23 stat.CO
Rare event simulation for electronic circuit design
在这项工作中，我们提出了一个算法来模拟电子电路设计的罕见事件。我们的方法在很大程度上依赖于重要性抽样的巧妙使用，这使我们能够处理10 - 10级的概率。我们不仅可以计算非常罕见的违约概率，还可以计算与给定违约概率及其预期缺口相关的分位数。我们展示了令人印象深刻的效率的方法对实际电路。
2021-09-17 math.PR stat.AP
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto（都灵大学 ESOMAS 学院和卡罗阿尔贝托学院）
本文提出基于均场变分贝叶斯的方法，用于二元结果的稀疏变量选择，通过闭式更新实现高效推断，相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
Frequency violations from random disturbances: an MCMC approach
Queen Mary University of London（伦敦大学玛丽女王学院）；California Institute of Technology（加州理工学院）
本文提出一种MCMC方法，用于高效采样罕见的功率扰动，研究频率变化率违规的成因及概率。
2018-03-22 cs.SY eess.SY stat.CO
Estimation of Failure Probabilities via Local Subset Approximations
在这里，我们考虑子集模拟方法，使用嵌套的中间失效事件的递减序列来接近失效事件。该方法类似于重要性抽样，其通过使用马尔可夫链蒙特卡罗（MCMC）算法将下一次评估与先前的评估相结合来主动探索概率空间。马尔可夫链通常需要许多步骤来估计目标分布，这对于昂贵的数值模型是不切实际的。因此，我们建议用高斯过程（GP）回归局部地逼近马尔可夫链的每一步。可靠性分析的基准例子表明，局部近似显着提高子集模拟的整体效率。它们减少了超过$80\%$的昂贵的极限状态评估的数量。然而，随着维数的增加，GP回归在计算上变得不切实际。因此，为了使我们使用的GP可行，我们采用偏最小二乘（PLS）回归，无梯度的减少方法，本地探索和利用低维子空间内的马尔可夫链。数值实验表明，保持足够的精度显着的计算增益。
2020-03-12 physics.data-an stat.CO
Importance Sampling for rare events and conditioned random walks
本文介绍了一种新的重要性抽样方案，称为自适应扭曲重要性抽样，它适用于在与实际独立同分布经验均值有关的中等偏差范围内改进稀有事件概率的估计。summands。它是基于从随机游动中提取的长游程密度的尖锐近似，该随机游动以其端点值为条件。
2009-10-09 math.PR math.ST stat.CO
The Alive Particle Filter
在下面的文章中，我们开发了一个粒子滤波器来逼近具有指示势的Feynman-Kac模型。这样的模型的例子包括近似贝叶斯计算（ABC）后验与隐马尔可夫模型（HALTH）或罕见事件的问题。此类模型需要使用高级粒子滤波器或马尔可夫链蒙特卡罗（MCMC）算法（例如Jasra等人（2012））来执行估计。现有的粒子滤波器的缺点之一是它们可能“抖动”，因为由于指示器电位，算法可能提前终止。在本文中，使用Lee等人（2013）中的局部自适应粒子滤波器的特殊情况，它与Le Gland & Oudjane（2004）密切相关，我们使用一种可以处理后一个问题的算法，同时引入每时间步长的随机成本。该算法从理论的角度进行了研究，并给出了几个结果，这有助于验证算法，并为其实施提供指导方针。此外，我们还展示了如何使用粒子MCMC在MCMC中使用该算法（Andrieu et al. 2010）。给出了隐马尔可夫模型ABC近似的数值例子。
2013-03-31 stat.CO
Posterior model probabilities computed from model-specific Gibbs output
可逆跳马尔可夫链蒙特卡罗（RJMCMC）扩展了普通MCMC方法用于贝叶斯多模型推理。我们表明，RJMCMC可以实现为吉布斯采样与交替更新的模型指标和矢量值的"调色板"的参数表示$\bm ψ$。就像艺术家使用调色板混合特定需求的颜色一样，我们从$\bm ψ$中可用的集合中创建模型特定的参数。这种描述不仅消除了RJMCMC的一些神秘性，而且还为使用普通MCMC一次一个地拟合模型和通过后处理蒙特卡罗输出来计算模型权重或贝叶斯因子提供了基础。我们用几个例子来说明我们的程序。
2011-05-26 stat.AP stat.CO stat.ME
Variational consensus Monte Carlo
贝叶斯统计的实践者长期以来一直依赖于马尔可夫链蒙特卡罗（MCMC）从难以处理的后验分布中获得样本。不幸的是，MCMC算法通常是串行的，并且不能扩展到现代机器学习典型的大型数据集。最近提出的共识蒙特卡罗算法通过对数据进行分区并以每个分区为条件并行绘制样本来消除这一限制（Scott等人，2013）。一个固定的聚合函数，然后结合这些样本，产生近似的后验样本。我们引入变分共识蒙特卡罗（VCMC），变分贝叶斯算法，优化聚合函数，以获得更好地逼近目标的分布样本。由此产生的目标包含一个棘手的熵项，因此，我们得到一个放松的目标，并表明放松的问题是块凹在温和的条件下。我们说明了我们的算法的优势，从文献中的三个推理任务，表现出优越的质量的后验近似和适度的开销的优化步骤。我们的算法实现了一个相对误差减少（对串行MCMC测量）高达39%的共识相比，蒙特卡罗的任务估计300维概率回归参数的期望，同样，它实现了92%的错误减少估计集群comembership概率在高斯混合模型中的任务，8个组件在8个维度。此外，与串行MCMC的运行时相比，这些增益的成本适中，在某些情况下实现了接近理想的加速比。
2015-06-09 stat.CO stat.ML
Efficient Rare-Event Simulation for Random Geometric Graphs via Importance Sampling
School of Mathematics and Statistics, University of New South Wales（新南威尔士大学数学与统计学院）；Data Science and Statistics, Aarhus University（奥胡斯大学数据科学与统计学）；Institute of Stochastics, Ulm University（乌尔姆大学随机过程研究所）；School of Mathematics and Physics, The University of Queensland（昆士兰大学数学与物理学院）
本文提出通过重要性采样方法高效估计随机几何图中稀有事件概率，通过渐近分析和数值研究验证了方法的有效性，提升了对Gilbert图的分析能力。
2026-04-22 math.PR stat.CO
Rare event probability estimation for groundwater inverse problems with a two-stage Sequential Monte Carlo approach
针对地下水贝叶斯反演后的稀有事件概率估计，本文提出两阶段 PostRisk-SMC，结合后验粒子近似与子集抽样，以更低计算成本获得更稳定准确的十亿分之一级概率估计。
2024-01-24 stat.AP
Optimal Scaling of Langevin Proposals with Generalized Acceptance Rules
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文针对广义接受规则下的Langevin提议，推导了高维目标的最优缩放理论，恢复了$O(d^{-1/3})$缩放，并揭示了不同接受规则对最优接受概率的影响。
2026-09-16 math.ST stat.CO stat.TH
Approximate Inference for Observation Driven Time Series Models with Intractable Likelihoods
在下面的文章中，我们考虑近似贝叶斯参数推断的观察驱动的时间序列模型。这样的统计模型出现在各种各样的应用中，包括计量经济学和应用数学。本文考虑的情况下，似然函数不能逐点评估，在这种情况下，不能执行精确的统计推断，包括参数估计，这往往需要先进的计算算法，如马尔可夫链蒙特卡罗（MCMC）。我们介绍了一种新的近似基于近似贝叶斯计算（ABC）。在一定的条件下，我们表明，作为$n\rightarrow\infty$，与$n$的长度的时间序列，ABC后验，几乎肯定，最大的\emph{a posteriori}（MAP）估计的参数，这是从真正的参数不同。然而，一个嘈杂的ABC MAP，扰动原始数据，渐近收敛到真正的参数，几乎肯定。为了得出统计推断，对于所采用的ABC近似，标准MCMC算法可以具有在$n$中以指数速率下降的接受概率，并且稍微更高级的算法可能混合不良。我们开发了一个新的和改进的MCMC内核，这是基于精确近似的边际算法，其成本每次迭代是随机的，但预期的成本，为良好的性能，被证明是$\mathcal{O}(n^2)$每次迭代。
2013-03-29 stat.CO
Safe cross-entropy-based importance sampling for rare event simulations
针对稀有事件模拟中改进交叉熵方法收敛慢、不稳定及需预设混合成分数的问题，提出Safe-ICE方法，采用加权交叉熵惩罚EM算法自动剪枝，并引入轻重尾两成分混合，加速极小失效概率估计，数值验证更优。
2025-09-08 cs.NA math.NA stat.CO
Beyond Self-Repellent Kernels: History-Driven Target Towards Efficient Nonlinear MCMC on General Graphs
Department of Electrical and Computer Engineering, North Carolina State University, Raleigh, North Carolina, USA（电气与计算机工程系，北卡罗来纳州立大学，拉法叶，北卡罗来纳州，美国）
提出 HDT 框架，用依赖访问历史的目标分布替代修改转移核，兼容可逆与非可逆 MCMC，并以 LRU 缓存支持大型一般图上的高效低方差采样。
2025-07-27 cs.LG stat.ML
Importance Sampling for multi-constraints rare event probability
改进罕见事件概率的重要抽样估计量需要最佳密度的精确近似，从而得到接近零方差的估计量。本文提出了一种新的方法来处理定义为子集的有限交的罕见事件的概率估计。我们提供了一个尖锐的近似的密度的长期运行的随机游动条件下的倍数的限制，其中每个定义的平均值的函数的被加数，因为它们的数量趋于无穷大。
2014-01-14 math.ST stat.TH
