Markov chain Monte Carlo for computing rare-event probabilities for a heavy-tailed random walk
本文提出了一种基于马尔可夫链蒙特卡罗（MCMC）算法的计算罕见事件概率的方法。给定稀有事件发生的基本过程的条件分布以稀有事件的概率作为其归一化常数。利用MCMC方法模拟了一个马尔可夫链，将该条件分布作为其不变分布，并从其轨迹中提取了关于归一化常数的信息。该算法被描述在充分的一般性和应用的问题计算的概率，一个重尾随机游动超过一个高阈值。构造了倒概率的一个无偏估计，其归一化方差渐近为零。该算法被扩展到随机和其性能的数值说明，并与现有的重要性抽样算法。
2012-11-09 math.PR stat.CO
MCMC-Based Inference in the Era of Big Data: A Fundamental Analysis of the Convergence Complexity of High-Dimensional Chains
马尔可夫链蒙特卡罗（MCMC）是现代贝叶斯方法学的核心，没有MCMC，许多贝叶斯方法都是不可能实现的，因此MCMC的收敛性得到了广泛的关注，特别是几何遍历性的证明。然而，对MCMC从现代高维后验中采样的能力的信任受到了广泛的认识的限制，即这些链通常会遇到严重的收敛问题。在本文中，我们首先证明，当代方法获得收敛速度有严重的局限性时，尺寸的增长。然后，我们提出了一个框架，严格建立常用的高维MCMC的收敛行为。特别是，我们从理论上证明了流行MCMCCs的收敛问题的精确性质和严重性时，在高维实现，包括在各种$n$和$p$制度的收敛速度的相变，和整个频谱的模型的普遍性结果。我们还表明，收敛问题有效地消除了明显的保障几何遍历。然后，我们证明MCMCMCs的理论原则，可以构建和分析，以产生有界的几何收敛速度，即使尺寸$p$增长没有约束。此外，我们提出了一个诊断工具，建立收敛。
2015-08-27 math.PR math.ST stat.ME
MCMC Algorithms for Posteriors on Matrix Spaces
研究了目标分布在矩阵空间上的马尔可夫链蒙特卡罗（MCMC）算法.这样一个重要的抽样问题还有待分析探讨。我们进行了一个重要的步骤，通过开发适当的理论框架，允许识别遍历性的典型MCMC算法，在这样的背景下相关的属性，以覆盖这一差距。除了标准的随机游走大都会（RWM）和预处理曲柄-尼科尔森（pCN），本文的贡献，在发展一种新的算法，称为“混合”pCN（MpCN）。RWM和pCN不被证明是几何遍历的一类重要的矩阵分布与重尾。相比之下，MpCN在具有不同尾部行为的目标之间是稳健的，并且在重尾分布类内具有非常好的经验性能。MpCN的几何遍历性在这项工作中没有得到充分证明，因为由于状态空间的复杂性，一些剩余的漂移条件很难获得。然而，我们确实在证明方面取得了很大的进展，并详细展示了为未来工作留下的最后步骤。我们通过数值应用说明了各种算法的计算性能，包括在金融统计中产生的具有挑战性的模型的真实数据上的校准。
2021-11-06 stat.CO stat.ME
Small World MCMC with Tempering: Ergodicity and Spectral Gap
当对多模态分布$π(x)$、$x\in \rr^d$进行采样时，具有局部建议的马尔可夫链通常是缓慢混合的;而小世界采样器\citep{guankrone} --一种使用局部和远程建议混合的马尔可夫链--是快速混合的。然而，小世界采样器遭受维数灾难，因为它的频谱间隙取决于每个模式的体积。我们提出了一个新的采样器，结合回火，小世界采样，并产生长期的建议，从同伴链中的样本（例如等能量采样器）。在最简单的形式中，采样器使用两个小世界链：探索链和采样链。探索链对$π_t(x) \propto π(x)^{1/t}$、$t\in [1,\infty)$进行采样，并建立经验分布。使用此经验分布作为其长期建议，采样链被设计为具有固定分布$π(x)$。证明了算法的遍历性，并研究了算法的收敛速度。结果表明，探测链的谱隙扩大了一个因子$t^{d}$，采样链的谱隙缩小了一个因子$t^{-d}$。重要的是，探测链的谱隙取决于$π_t(x)$的“大小”，而采样链的谱隙不取决于“大小”。总的来说，该采样器以缩小一个温和的瓶颈为代价扩大了一个严重的瓶颈，从而实现了更快的混合。当将算法扩展到温度$\{t_k\}$遵循几何级数的多个链时，可以显著减轻对采样链的谱间隙的惩罚。如果我们允许$t_k \rightarrow 0$，则采样器将成为全局优化器。
2012-11-20 math.PR stat.ME
Limit theorems for some adaptive MCMC algorithms with subgeometric kernels: Part II
证明了一类由亚几何遍历马尔可夫核驱动的自适应马尔可夫链蒙特卡罗算法的中心极限定理。我们详细讨论了随机逼近的特殊情况。我们使用的结果来分析的Metropolis调整Langevin算法的自适应版本的重尾目标密度的渐近行为。
2009-11-02 math.PR math.ST stat.CO
Uniform ergodicity of the Particle Gibbs sampler
粒子吉布斯（PG）采样器是在马尔可夫链蒙特卡罗（MCMC）中使用粒子滤波器的系统方法。这导致在状态轨迹的空间上的现成的马尔可夫核，其可用于从MCMC方案中的状态空间模型的全联合平滑分布进行模拟。我们表明，PG马尔可夫内核是一致遍历的相当一般的假设下，我们将仔细审查和讨论。特别是，我们提供了一个显式的收敛速率，它揭示了：（i）对于固定数量的数据点，可以通过增加粒子数量来使收敛速度任意好，以及（ii）在一般混合假设下，可以通过超线性地增加粒子数量来保持收敛速度恒定观察次数。通过对两种常见的非紧状态空间模型的详细研究，说明了本文结果的适用性。
2014-02-05 math.PR math.ST stat.TH
The Coordinate Sampler: A Non-Reversible Gibbs-like MCMC Sampler
在这篇文章中，我们推导出一种新的不可逆的，连续时间的马尔可夫链蒙特卡罗（MCMC）采样器，称为坐标采样器，基于分段确定性的马尔可夫过程（PSEK），它可以被看作是锯齿形采样器的变体。除了证明这种新的采样算法的理论验证，我们表明，马尔可夫链诱导具有几何遍历收敛，分布的尾部衰减至少一样快的指数分布，最快的高斯分布。几个数值例子强调，我们的坐标采样器是更有效的比锯齿形采样器，在有效的样本量。
2019-04-11 stat.CO
Communication-Free Parallel Supervised Topic Models
AQR Capital Management LLC（AQR资本管理有限责任公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
令人尴尬的是（无通信）并行马尔可夫链蒙特卡罗（MCMC）方法通常用于学习图形模型。然而，MCMC不能直接应用于主题模型的学习，因为主题的多峰分布引起的准遍历性问题。在本文中，我们开发了一个并行MCMC算法的sLDA。我们的算法通过切换sLDA中的采样主题组合和标签变量预测的顺序来工作，其中它克服了准遍历性问题，因为遵循多峰分布的高维主题被投影到遵循单峰分布的一维文档标签中。我们的实证实验证实，使用我们的并行算法的样本外预测性能与非并行sLDA相当，而计算时间显着减少。
2017-08-10 cs.CL cs.IR cs.LG
Adaptive Stereographic MCMC
Department of Statistics, University of Warwick（华威大学统计系）；CEREMADE, Unive（CEREMADE）
研究通过马尔可夫链蒙特卡罗方法从重尾、高维分布采样的问题，引入三种自适应球极平面MCMC算法，能自动更新参数，开发新框架证明其收敛性质，使算法在特定情况下更稳健且有相关收敛结果。
2026-07-08 stat.CO
The Barker proposal: combining robustness and efficiency in gradient-based MCMC
在设计马尔可夫链蒙特卡罗（MCMC）采样算法时，存在鲁棒性和效率之间的矛盾。在这里，我们专注于调整参数的鲁棒性，表明更复杂的算法往往是更敏感的步长参数的选择和不太强大的异质性的分布的利益。我们通过研究光谱间隙的行为来消除这种现象，因为算法选择的步长越来越差。出于这些考虑，我们提出了一种新的和简单的基于梯度的MCMC算法，灵感来自经典的巴克接受拒绝规则，具有改进的鲁棒性。广泛的理论结果，处理的鲁棒性调整，几何遍历性和尺度与尺寸，表明新的计划结合了简单的计划的鲁棒性与基于梯度的效率。我们在数值上表明，这种类型的鲁棒性是特别有益的自适应MCMC的背景下，给出的例子，我们提出的方案显着优于国家的最先进的替代品。
2020-05-11 stat.CO stat.ME
Stereographic Multiple-Try Metropolis
Department of Mathematical Sciences, University of Copenhagen（哥本哈根大学数学科学系）
本文提出SMTM算法，通过结合多尝试Metropolis与立体投影MCMC框架，解决高维采样中的收敛问题，优于传统方法并在高维下表现稳健。
2026-10-15 stat.CO stat.ME stat.ML
Theoretical guarantees for neural control variates in MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Institute for Information Transmission Problems（信息传输问题研究所）
针对马尔可夫链蒙特卡洛，提出基于深度神经网络加性控制变量并最小化渐近方差估计的方差缩减方法，并在多种遍历性假设下证明其最优收敛速率。
2024-10-28 cs.LG math.PR math.ST
MCMC Importance Sampling via Moreau-Yosida Envelopes
本文提出利用Moreau-Yosida包络作为重要性分布进行MCMC重要性采样，以解决不可微先验下基于梯度采样受限的问题，并证明其估计量渐近正态且数值上方差更低。
2025-07-23 stat.CO stat.ME
Component-Wise Markov Chain Monte Carlo: Uniform and Geometric Ergodicity under Mixing and Composition
在马尔可夫链蒙特卡罗中，通常的做法是每次更新一个变量（或变量的子块），而不是进行单个全维更新。当可以从与目标相关联的每个全条件分布中提取时，这仅仅是吉布斯采样器。通常至少有一个吉布斯更新被替换为Metropolis-Hastings步骤，产生Metropolis-Hastings-within-Gibbs算法。组合组件更新的策略包括组合、随机序列和随机扫描。虽然这些策略可以简化MCMC的实现，并产生优越的经验性能相比，全维更新，相关的马尔可夫链的理论收敛性能受到了有限的关注。我们提出的条件下，一些组件明智的马尔可夫链收敛到平稳分布的几何速度。我们特别注意的各种组件明智的策略的收敛速度之间的连接。这一点很重要，因为它确保了MCMC从业者可以使用的工具的存在，以便对仿真结果充满信心，就好像它们是基于独立和相同分布的样本一样。我们说明我们的结果在两个例子，包括分层线性混合模型和一个涉及极大似然估计的混合模型。
2013-10-02 stat.CO stat.ME
Convergence Speed and Approximation Accuracy of Numerical MCMC
Monash University（莫纳什大学）；Columbia University（哥伦比亚大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）
本文研究了数值MCMC中扰动对收敛速度和估计精度的影响，提出在特定条件下扰动采样器可保持良好性能，并展示了其在多种采样算法中的应用。
2022-03-07 math.PR stat.CO
Reinforcement Learning for Adaptive MCMC
Newcastle University（纽卡斯尔大学）；University of Sydney（悉尼大学）；Alan Turing Institute（阿兰·图灵研究所）
本文提出强化学习Metropolis-Hastings框架，将自适应MCMC的转移核视为确定性策略，通过策略梯度优化学习率，确保遍历性，并在PosteriorDB基准上以约90%任务优势超越现有无梯度自适应算法。
2024-05-22 cs.LG stat.CO
Gradient Importance Sampling
自适应蒙特卡罗计划在过去几年中发展通常寻求确保遍历性的采样过程符合MCMC的传统。这就限制了适应方面的可能性。在一般情况下，遍历性只有在适应性以一定的速率减少时才能得到保证。重要性抽样方法提供了一种方法来规避这种限制，并设计不断适应的抽样算法。在这里，我提出了一个梯度知情的SMC（及其特殊情况下人口蒙特卡罗）的静态问题的变体。
2015-07-21 stat.ML
Diffeomorphic Markov Chain Monte Carlo: fast mixing for heavy-tailed distributions
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Warwick（华威大学）
该研究提出微分同胚收缩采样器（DCS），解决MCMC采样器处理重尾分布时的梯度消失问题，实验显示其在PosteriorDB基准及高维示例中性能优于现有重尾采样器。
2026-08-06 math.PR stat.CO
Exponential Ergodicity of the Bouncy Particle Sampler
基于分段确定性马尔可夫过程的不可逆马尔可夫链蒙特卡罗方法近年来被广泛应用于概率论、自动控制、物理和统计等领域。虽然这些算法在实验上表现出良好的性能，并因此越来越多地用于广泛的应用，几何遍历性的结果，这些计划只建立到目前为止，在非常严格的假设。我们在这里给可验证的条件下，在\cite{P_dW_12}中引入的弹性粒子采样算法的目标分布是几何遍历。只要目标满足曲率条件，并且尾部的衰减速度至少与指数分布一样快，最多与高斯分布一样快，这一点就成立。这使我们能够提供一个中心极限定理相关的遍历平均。当目标的尾巴薄于高斯分布，我们提出了一个原始的修改，这个计划是几何遍历。对于厚尾的目标分布，如$t$ -分布，我们扩展了\cite{J_G_12}在随机游动大都会背景下开创的想法。我们应用一个变量的变化，以获得一个转换后的目标满足尾部条件的几何遍历。通过使用Bouncy粒子采样器对变换后的目标进行采样，并将马尔可夫过程映射回原始参数化，得到了一种几何遍历算法。
2017-08-27 stat.CO
Randomized Reduced Forward Models for Efficient Metropolis--Hastings MCMC, with Application to Subsurface Fluid Flow and Capacitance Tomography
通过马尔可夫链蒙特卡罗（MCMC）的贝叶斯建模和计算推断是用于大规模不确定性量化的原则性框架，尽管在实践中受限于以最简单的形式实现时的计算成本，该最简单的形式需要在MCMC的每次迭代处模拟精确的计算机模型。延迟接受Metropolis-Hastings MCMC利用前向映射的简化模型来降低每次迭代的计算成本，尽管这必然会降低统计效率，但不小心会导致计算估计的计算成本没有降低到所需的精度。随机化前向映射的简化模型可以通过保持每次迭代的低成本以及避免统计效率的明显损失来显著提高计算效率。随机化映射是通过随机化和局部校正的确定性简化模型的后验自适应调整来构造的。同样地，近似的后验分布可以被视为由与简化图一起使用的修改的似然函数引起的，其中参数被调谐以优化对正确的后验分布的近似的质量。自适应MCMC算法的条件允许实际的近似和算法，保证遍历的目标分布。良好的统计和计算效率的例子中表现出的地热储层和电容层析成像的大规模数值模型的校准。
2020-09-17 stat.CO
Parallel local approximation MCMC for expensive models
通过马尔可夫链蒙特卡罗（MCMC）执行贝叶斯推断可能是非常昂贵的后验评估调用的计算昂贵的模型，如偏微分方程系统的评估。在最近的工作[Conrad et al. JASA 2016，arXiv：1402.1694]中，我们描述了一个框架，用于在MCMC模拟期间构建和改进此类模型的局部近似。这些后适应近似利用模型的规律性，以减少推理的计算成本，同时保持马尔可夫链的渐近精确性。在这里，我们描述两个扩展的工作。首先，我们证明了并行运行的采样器可以协同构建一个共享的后验近似，同时确保每个关联链的遍历性，为MCMC中的并行计算提供了一个新的机会。第二，集中在大都会-调整Langevin算法，我们描述了如何建议分布可以成功地利用梯度和其他相关信息提取的近似。我们调查的实际表现，我们的策略使用两个具有挑战性的推理问题，第一次在地下水文学和冰川学。使用通过并行链构建的局部近似，我们成功地减少了所需的运行时间来表征这些问题的后验分布从几天到几个小时，从几个月到几天，分别大大提高了贝叶斯推断的易处理性。
2017-12-25 stat.AP stat.CO stat.ME
Almost sure convergence rates of adaptive increasingly rare Markov chain Monte Carlo
University of Bath（巴斯大学）；University of Warwick（华威大学）；University of Passau（帕绍大学）
本文研究了自适应递增稀疏MCMC算法的几乎必然收敛速度，通过收缩假设推导了收敛速率上界，并展示了在不同设置下的应用。
2025-10-13 cs.NA math.NA math.PR
Geometric ergodicity of trans-dimensional Markov chain Monte Carlo algorithms
本文研究了模型总数有限时跨维度MCMC算法的收敛性，证明在温和条件下，若模型内移动的马尔可夫链几何遍历，则可逆及部分非可逆跨维度链可保证几何收敛，并将该理论应用于三种贝叶斯模型。
2024-10-16 math.ST stat.TH
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程（PDMP），作为马尔可夫链蒙特卡罗（MCMC）的替代方法。为了便于应用到更大的一类问题，我们提出了一类新的PDMP称为吉布斯之字形采样器，它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应，并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
Population-Based Reversible Jump Markov Chain Monte Carlo
本文将基于种群的马尔可夫链蒙特卡罗（MCMC）推广到跨维情形。基于MCMC的推理的主要挑战之一是从高维和跨维目标测量进行模拟。在这种情况下，MCMC方法可能无法充分遍历目标的支持，模拟结果将是不可靠的。我们开发了人口的方法来处理这样的问题，并给出了一个结果证明这些人口算法的一致遍历性，在温和的假设。该结果用于证明对于贝叶斯变量选择问题，人口转变核在收敛速度方面优于可逆跳跃采样器。我们还给出了一个例子的人口算法的贝叶斯多元混合模型与未知数量的组件。这是适用于1000个数据点的基因表达数据在六个维度，它表明，我们的算法执行一些竞争的马尔可夫链采样器。
2007-11-01 stat.CO
Adaptive MCMC with online relabeling
当目标分布是人为不变的一些排列下，马尔可夫链蒙特卡罗（MCMC）算法面临的标签切换问题，边际推理特别麻烦。例如，在有限混合模型的贝叶斯分析中就出现了这种情况。自适应MCMC算法也不例外，例如自适应Metropolis（AM），其使用目标的协方差阵的在线估计来自校准其建议分布。为了解决标签切换问题，重新标记算法将置换与每个MCMC样本相关联，试图获得合理的边际。在自适应Metropolis（Bernoulli 7（2001）223-242）的情况下，需要在线重新标记策略。本文致力于AMOR算法，可证明一致的变体AM，可以应付标签切换问题。其思想是基于单个协方差阵的估计在MCMC算法内嵌套重新标记步骤，该协方差矩阵用于调整Metropolis算法步骤中的建议分布的协方差和用于在线重新标记。我们比较了AMOR的行为与类似的重新标记方法。在紧支撑目标分布的情形下，我们证明了AMOR的一个强大数定律及其遍历性。这些是第一个结果的一致性的在线重新标记算法，以我们的知识。证明强调了重新标记和矢量量化之间的潜在关系。
2015-07-27 math.PR math.ST stat.CO
Accelerating Asymptotically Exact MCMC for Computationally Intensive Models via Local Approximations
我们构建了一个新的框架加速马尔可夫链蒙特卡罗在后验抽样问题的标准方法是有限的可能性，或嵌入其中的数值模型的计算成本。我们的方法将这些模型的局部近似引入到Metropolis-Hastings内核中，借鉴了确定性近似理论、优化和试验设计的思想。以前的努力，将近似模型的推理通常牺牲采样器的准确性或效率，我们的工作旨在解决这些限制，利用有用的收敛特性的局部近似。我们证明了我们的近似马尔可夫链的遍历性，表明它的样本渐近从\emph{exact}后验分布的利益。我们描述的算法，采用局部多项式逼近或局部高斯过程回归变量的变化。我们的理论结果加强了本文的关键观察：当可能性有一定的\emph{local}规律性，每个MCMC步骤的模型评估的数量可以大大减少，而不会偏置的蒙特卡罗平均值。数值实验表明，多个数量级的减少，在代表性的ODE和PDE推理问题中使用的前向模型评估的数量，与合成和真实的数据。
2015-09-15 stat.AP stat.CO stat.ME
Perturbation theory for Markov chains via Wasserstein distance
Institut für Mathematische Stochastik, Universität Göttingen（哥廷根大学数学随机学研究所）；Department of Econometrics & OR, Tilburg University（蒂尔堡大学计量经济学与运筹学系）
本文研究了马尔可夫链扰动理论，通过Wasserstein距离提供灵活的分布距离界，适用于几何递减的马尔可夫链，并展示了在自回归模型中无法进一步改进的界。
2017-02-23 cs.NA math.NA math.PR
Parameter Estimation of Heavy-Tailed AR Model with Missing Data via Stochastic EM
自回归（AR）模型是理解时间序列数据的广泛使用的模型。传统上，AR的新息噪声被建模为高斯。然而，许多时间序列应用，例如金融时间序列数据，是非高斯的，因此，具有更一般的重尾新息的AR模型是优选的。时间序列中经常出现的另一个问题是由于系统数据记录失败或意外数据丢失而导致的缺失值。虽然有大量的工作，高斯AR时间序列的缺失值，据我们所知，还没有任何工作解决的问题，缺失数据的重尾AR模型。在本文中，我们考虑这个问题的第一次，并提出了一个有效的框架参数估计不完整的重尾时间序列的基础上随机逼近期望最大化（SAEM）加上一个马尔可夫链蒙特卡罗（MCMC）过程。该算法计算量小，易于实现。严格证明了该算法收敛于观测数据似然的稳定点。大量的模拟和真实数据集的分析证明了所提出的框架的有效性。
2019-02-09 eess.SP math.OC q-fin.ST
Parallel MCMC Without Embarrassing Failures
University College London（伦敦大学学院）；Aalto University（阿尔托大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
令人尴尬的并行马尔可夫链蒙特卡罗（MCMC）利用并行计算，通过使用两步方法将贝叶斯推断扩展到大型数据集。首先，MCMC在数据分区上定义的（子）后验上并行运行。然后，服务器组合本地结果。虽然有效，这个框架是非常敏感的次后验抽样的质量。常见的采样问题，如缺失模式或低密度区域的错误表示，在组合阶段被放大-而不是被纠正-导致灾难性的故障。在这项工作中，我们提出了一种新的组合策略来缓解这个问题。我们的策略，并行主动推理（PAI），利用高斯过程（GP）代理建模和主动学习。在将GP拟合到次后验后，PAI（i）在GP代理之间共享信息以覆盖缺失的模式;以及（ii）使用主动采样来单独地改进次后验近似。我们验证PAI在具有挑战性的基准，包括重尾和多模态后验和现实世界中的应用计算神经科学。实证结果表明，PAI成功地在以前的方法灾难性地失败，与一个小的通信开销。
2022-03-29 cs.LG stat.ME stat.ML
Adaptive Independent Sticky MCMC algorithms
本文提出自适应独立粘性MCMC算法，通过迭代构建基于支持点的非参数提议密度并控制其演化，实现从单变量到多变量目标分布的高效采样。
2016-01-02 stat.CO stat.ML
Adaptive Equi-Energy Sampler : Convergence and Illustration
马尔可夫链蒙特卡罗（MCMC）方法允许对已知的直到乘法常数的分布进行采样。经典的MCMC采样器在对多峰分布进行采样时具有非常差的混合特性。等能量采样器是Kou，Zhou和Wong在2006年提出的一种交互MCMC采样器，用于对困难的多峰分布进行采样。该算法在不同温度下并行运行多个链，并允许较低温度的链从具有与当前状态“接近”的能量的较高温度的链跳转到一个状态。该算法的一个主要缺点是，它取决于许多设计参数，因此，需要一个显着的努力来调整这些参数。在本文中，我们介绍了一个自适应等能量（AEE）采样器，自动选择的选择机制时，跳转到一个状态的高温链。我们证明了AEE的遍历性和一个强大数律，以及原始的等能量采样器。最后，我们将我们的算法应用于DNA序列的模体采样。
2013-02-04 math.ST stat.TH
Stability of Conditional Sequential Monte Carlo
粒子吉布斯（PG）采样器是一种马尔可夫链蒙特卡罗（MCMC）算法，它使用相互作用的粒子系统来执行吉布斯步骤。每一步Gibbs都是模拟一个粒子系统，它依赖于一个条件序贯蒙特卡罗（cSMC）方法来创建粒子系统。我们提出了一种新的解释cSMC算法作为一个扰动的序贯蒙特卡罗（SMC）方法，并适用于伸缩分解SMC算法\cite{delmoral2004}的分析得出的预期采样路径从cSMC和MCMC算法的目标分布之间的距离的界限。这可以用来得到一致的遍历性结果。特别是，我们可以证明，cSMC的混合率可以保持恒定的线性增加粒子的数量与观察的数量。基于我们的分解，我们还证明了cSMC算法的中心极限定理，这不能使用\cite{Andrieu2013}和\cite{Lindsten2014}的方法。
2018-06-18 stat.CO
Quasi Markov Chain Monte Carlo Methods
用于估计积分的拟蒙特卡罗方法（QMC）是有吸引力的，因为所得估计量通常以比伪随机蒙特卡罗更快的速率收敛。然而，它们可能很难在贝叶斯框架内建立任意后验密度，特别是对于逆问题。我们引入了一个通用的并行马尔可夫链蒙特卡罗（MCMC）框架，我们证明了一个大数定律和一个中心极限定理。在这种情况下，不可逆的过渡进行了研究。然后，我们将这种方法扩展到使用自适应内核和状态条件，遍历性。作为进一步的推广，导出了一个重要抽样估计量，证明了它的渐近无偏性。我们考虑在上述算法中使用完全均匀分布（CUD）数，这导致了一般的并行准MCMC（QMCMC）方法。我们证明了所得到的估计的一致性，并证明了数值，这种方法的规模接近$n^{-2}$，因为我们增加并行化，而不是通常的$n^{-1}$，这是典型的标准MCMC算法。在实际的统计模型中，我们观察到多个数量级的改善相比，伪随机方法。
2018-10-02 math.PR math.ST stat.TH
Local-Global MCMC kernels: the best of both worlds
HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
最近利用学习来加强抽样的工作取得了可喜的成果，特别是通过设计有效的非本地移动和全球提案。然而，学习精度不可避免地局限于数据较少的区域，例如分布的尾部以及高维问题。在本文中，我们研究了一个探索-利用马尔可夫链蒙特卡罗策略（$Ex^2MCMC$），结合本地和全球的采样器显示，它享有这两种方法的优点。我们证明$V$ -均匀几何遍历的$Ex^2MCMC$，而不需要一个统一的适应全球采样器的目标分布。我们还计算明确的边界上的混合率的探索-利用策略在现实条件下。此外，我们还分析了自适应版本的策略（$FlEx^2MCMC$），其中一个规范化的流进行训练，同时采样作为一个建议的全球移动。我们说明了$Ex^2MCMC$及其自适应版本在经典采样基准上的效率，以及在生成对抗网络定义的高维分布采样中的效率。我们在链接https://github.com/svsamsonov/ex2mcmc_new上提供了复制实验的代码。
2022-10-04 cs.LG stat.ML
Sampling with time-changed Markov processes
本文提出通过时间变更马尔可夫过程加速MCMC算法收敛，通过状态依赖函数调整基础过程时间速度，证明了其理论性质并在多峰分布和稀有事件模拟中实现性能提升。
2025-04-05 math.PR stat.CO
Variance reduction for additive functional of Markov chains via martingale representations
在本文中，我们提出了一个有效的方差减少方法的马尔可夫链依赖于一个新的离散时间鞅表示的可加泛函。我们的方法是完全非渐进的，并且不需要静态分布（甚至任何类型的遍历性）或底层密度的特定结构的知识。通过严格分析算法的收敛性，我们表明，它的成本方差积确实小于一个朴素的算法。用Langevin型马尔可夫链蒙特卡罗（MCMC）方法验证了新方法的数值性能。
2021-12-21 stat.CO stat.ML
Stereographic Markov Chain Monte Carlo
本文提出将高维采样问题球极投影到球面上的新MCMC方法，开发随机游走Metropolis和弹跳粒子采样器，实现轻尾与重尾分布的一致遍历，并在高维下收敛更快。
2024-02-21 stat.CO stat.ME stat.ML
Data-Driven Risk Measurement by SV-GARCH-EVT Model
本文提出SV-EVT-VaR动态模型，将厚尾分布、杠杆效应与极值理论相结合，用于更准确地度量股票市场风险，并通过标普500指数数据验证其在样本外回测中的优越性。
2024-12-27 q-fin.MF q-fin.RM q-fin.ST
Two Localization Strategies for Sequential MCMC Data Assimilation with Applications to Nonlinear Non-Gaussian Geophysical Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Florida State University（佛罗里达州立大学）
本文提出两种基于SMCMC的局部数据同化策略，用于高维非线性非高斯地质模型，通过空间稀疏性减少自由度并提高效率，适用于处理重尾误差的高斯和非高斯观测噪声。
2026-10-06 stat.AP stat.CO stat.ME
Complexity of Markov Chain Monte Carlo for Generalized Linear Models
Bocconi University（博科尼大学）
本文研究了马尔可夫链蒙特卡罗方法在广义线性模型中的复杂度，证明其在样本量和维度较大时与一阶优化算法具有相同复杂度，且在更广泛的尺度下与拉普拉斯近似和变分推断方法具有竞争力。
2026-08-10 math.PR math.ST stat.CO
Proximal Hamiltonian Monte Carlo
针对不可微后验的贝叶斯推断，提出近端哈密顿蒙特卡洛算法，利用近端映射和莫罗-约西达包络实现更优梯度近似，并给出几何遍历性条件与超参数选择指导，在逻辑回归和低秩矩阵估计基准上验证效率。
2025-10-25 stat.CO
Boost your favorite Markov Chain Monte Carlo sampler using Kac's theorem: the Kick-Kac teleportation algorithm
本文提出Kick-Kac传送算法，一种基于Kac定理的新型不可逆马尔可夫链，用于从目标分布采样，结合全局与局部动力学，保证不可约、Harris常返及几何遍历性，数值实验显示优于现有MCMC算法。
2023-05-13 cs.NA math.NA math.PR
Local and Global Contraction Principles for MCMC Mixing
McMaster University（麦克马斯特大学）
提出基于Eγ散度的全局和局部收缩系数框架，证明投影Langevin Monte Carlo的指数收敛速度，并针对独立Metropolis-Hastings算法引入局部收缩系数以处理重尾分布。
2026-06-02 cs.IT math.IT math.ST
Exponential speed up in Monte Carlo sampling through Radial Updates
本文提出一种简单方法为任意势能构造有效径向更新，使混合蒙特卡洛等MCMC算法在非紧致空间指数收敛，并应用于重尾分布采样实现多个数量级加速。
2025-04-24 cs.NA hep-lat math.NA
The Importance Markov Chain
CEREMADE, CNRS, UMR 7534, Université Paris-Dauphine, PSL University（巴黎第九大学）；SAMOVAR, Telecom Sudparis, Institut Polytechnique de Paris（巴黎理工学院）；Department of Statistics, University of Warwick（华威大学）
提出重要性马尔可夫链算法，通过调参衔接拒绝采样与重要性采样，基于工具马尔可夫链修正样本生成收敛于目标分布的扩展链，证明其理论性质且易于实现。
2024-02-26 cs.NA math.NA math.PR
Sampling by averaging: A multiscale approach to score estimation
提出一种利用随机微分方程慢-快系统随机平均化估计扩散路径中间得分的新颖采样框架，开发了MultALMC和MultCDiff算法，无需训练或内循环MCMC即可高效准确地从未归一化分布中采样。
2025-11-03 stat.CO stat.ME stat.ML
Ergodicity Library: A Python Toolkit for Stochastic-Process Simulation, Time-Average Diagnostics, and Agent-Based Experiments
University of Tübingen（蒂宾根大学）
本文介绍了一个用于随机动态计算的开源Python库，专注于非遍历性、时间平均行为、重尾过程和不确定性决策。该工具包整合了过程定义、分析工具和基于代理的实验，提供可重复的示例。
2026-05-13 cs.CE cs.MS stat.CO
Geometric ergodicity of Rao and Teh's algorithm for Markov jump processes and CTBNs
Rao和Teh（2012，2013）介绍了一种有效的MCMC算法，用于从隐马尔可夫跳跃过程的后验分布中进行采样。该算法基于虚拟跳跃采样的思想。本文证明了由Rao和Teh算法生成的马尔可夫链是几何遍历的。为此，我们建立了一个几何漂移的条件向一个小的集合。一个类似的结果也证明了一个特殊版本的算法，用于连续时间贝叶斯网络的概率推理。
2016-06-27 stat.CO
Generalized Elliptical Slice Sampling with Regional Pseudo-priors
本文提出了一种基于椭圆切片采样的MCMC算法，旨在提高抽样效率。在采样期间，混合分布被周期性地拟合到先前的样本。混合分布的分量被称为区域伪先验，因为每个分量都充当采样空间的子区域的伪先验。采用期望最大化算法、变分推断算法和随机逼近算法进行参数估计。同时，采用并行计算的方法减轻了计算负担.算法的遍历性在数学上得到了证明。在一个合成数据集和两个真实数据集上的实验结果表明，该算法具有以下优点：在相同的起始点下，该算法可以发现更多的距离较远的模式，该算法具有较低的拒绝率，在对单峰后验分布进行贝叶斯推断时，该算法可以给出更精确的估计，并且该算法具有更好的泛化能力。在对多模态后验分布进行贝叶斯推断时，该算法能够很好地发现不同的模态，并且混合分布的估计均值能够为模态的定位提供额外的信息。
2019-03-13 stat.CO
Posterior Mode-Guided Dimension Reduction for Bayesian Model Averaging in Heavy-Tailed Linear Regression
Indian Institute of Management Bangalore（印度管理学院班加罗尔分校）；The University of Iowa（爱荷华大学）
针对重尾线性回归中贝叶斯模型平均的计算难题，提出结合MAP估计与MCMC的ECM引导算法，实现变量选择、尾重估计与不确定性量化，优于现有MAP方法。
2026-07-14 stat.CO stat.ME
Piecewise deterministic sampling with splitting schemes
本文提出基于分裂格式的MCMC算法，通过非可逆Metropolis-Hastings滤波器消除离散化误差，证明非调整格式具二阶弱误差且计算成本低，并验证了其有效性。
2025-11-02 math.PR stat.CO
On micromodes in Bayesian posterior distributions and their implications for MCMC
University of Copenhagen（哥本哈根大学）；Bocconi University（博科尼大学）；University of Warwick（华威大学）
本文研究了贝叶斯后验分布中的微模现象及其对MCMC算法的影响，揭示了重尾误差模型下局部模式的存在与退出时间的相变特性。
2026-02-06 math.ST stat.CO stat.TH
A Short Note on the Efficiency of Markov Chains for Bayesian Linear Regression Models with Heavy-Tailed Errors
本文证明了在重尾误差和条件共轭正态-逆Wishart先验下，Backlund和Hobert（2020）的采样器仍保持一致的几何遍历性，并进一步在更温和条件下证明了Roy和Hobert（2010）采样器在非正常先验情形下的几何遍历性。
2024-10-28 math.ST stat.CO stat.TH
