Schr{ö}dinger-F{ö}llmer Sampler: Sampling without Ergodicity
从概率分布采样是统计学和机器学习中的一个重要问题，特别是在贝叶斯推断中，当关于后验分布的整合是难以处理的并且从后验分布采样是推断的唯一可行选择时。在本文中，我们提出了薛定谔-Föllmer采样器（SFS），一种新的方法，从可能的非归一化分布的采样。所提出的SFS是基于Schrödinger-Föllmer扩散过程的单位时间间隔与时间相关的漂移项，它传输的退化分布在时间0的目标分布在时间1。与现有的马尔可夫链蒙特卡罗采样器要求遍历性相比，SFS不需要遍历性。在计算上，SFS可以很容易地实现使用Euler-Maruyama离散。在理论分析中，我们在适当的条件下，建立了SFS在瓦瑟斯坦距离上的抽样分布的非渐近误差界。我们进行数值实验，以评估的性能SFS，并证明它是能够产生更好的质量比现有的几种方法的样本。
2021-09-04 stat.CO
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中，我们考虑马尔可夫链蒙特卡罗（MCMC）算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是，我们构造的两块吉布斯采样器使用的数据增强（DA）技术。此外，我们证明了Gibbs抽样的几何遍历性，这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时，我们也提供了后适当的条件。一般而言，用于DA的Haar参数展开（PX- DA）算法是DA算法的改进，并且已经表明，它在理论上至少与DA算法一样好。在这里，我们构建了一个Haar PX DA算法，它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的，而与向量自回归的阶数和维数无关，并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言，几何收敛速度被证明是有界的渐近远离团结，几乎肯定或概率趋于一，这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的，因为任何非平凡的前导致一个棘手的后验密度。然而，如果采用条件共轭先验密度，则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中，一个常见的缺陷是不适当的先验，它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果，因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的，从实用的角度来看，因为它保证了存在的中心极限定理，允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
Informative co-data learning for high-dimensional Horseshoe regression
高维数据通常来自临床基因组学研究，以推断特定性状的相关预测因子。提高预测性能的一种方法是包括来自先验知识或先前研究的预测因子的信息。这种信息也称为"共同数据“。为此，我们开发了一种新的贝叶斯模型，包括协数据在一个高维回归框架，称为信息马蹄回归（infHS）。所提出的方法回归协数据变量的回归参数的先验方差，改善变量的选择和预测。我们实现了一个吉布斯采样器和变分近似算法。前者适用于中等尺寸的应用程序，除了预测，目标后验推理，而后者的计算效率允许处理非常大量的变量。我们展示了包括共同数据的好处与模拟研究。最后，我们证明了infHS优于两个基因组学应用的竞争方法。
2023-03-10 stat.AP stat.CO stat.ME
A Hybrid Scan Gibbs Sampler for Bayesian Models with Latent Variables
吉布斯抽样是一种广泛流行的马尔可夫链蒙特卡罗算法，可用于分析与贝叶斯分层模型相关的棘手的后验分布。吉布斯采样器有两个标准版本：系统扫描（SS）版本，其中所有变量在每次迭代时更新，以及随机扫描（RS）版本，其中单个随机选择的变量在每次迭代时更新。文献比较SS和RS吉布斯采样器的理论特性进行了审查，并介绍了一种替代的混合扫描吉布斯采样器，这是特别适合于贝叶斯模型的潜变量。“混合”一词反映了这样的事实，即在该算法中使用的扫描具有系统和随机元两者。事实上，在每次迭代中，我们都会更新整个潜在变量集，以及随机选择的剩余变量块。混合扫描（HS）Gibbs采样器与两种标准扫描Gibbs采样器相比具有重要的优点。首先，HS算法通常更容易从理论角度进行分析。特别地，建立HS吉布斯马尔可夫链的几何遍历性比对相应的SS和RS版本做同样的事情要容易得多。其次，在Hobert和Marchev（2008）中开发的三明治方法，也被审查，可以应用于HS吉布斯算法（但不适用于标准扫描吉布斯采样器）。结果表明，在弱正则性条件下，添加三明治步骤的HS吉布斯采样器总是导致在理论上优越的算法。三个具体的贝叶斯层次模型的不同复杂性来说明的结果。一个是一个简单的位置规模模型的数据从学生的$t$分布，这是作为一个教学工具。另外两个是复杂但实用的贝叶斯回归模型。
2019-12-30 math.ST stat.TH
Multivariate Varying-Coefficient BART with Graphical Horseshoe Priors
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出多变量变系数BART框架，用独立BART集成建模非线性系数曲面，图形马蹄先验捕捉残差稀疏依赖，并证明后验收缩率。
2026-06-27 math.ST stat.ME stat.ML
Horseshoe priors for edge-preserving linear Bayesian inversion
在许多大规模的反问题中，如计算机断层扫描和图像去模糊，需要描述解中的尖锐边缘。在逆问题的贝叶斯方法中，边缘保持通常使用基于重尾分布的马尔可夫随机场先验来实现。另一个在统计学中很流行的策略是分层收缩先验的应用。该公式的优点在于将先验表示为依赖于被赋予重尾超先验的全局和局部超参数的条件高斯分布。在这项工作中，我们重新审视收缩马蹄事先，并介绍其制定的边缘保持设置。我们讨论了一个抽样框架的基础上的吉布斯采样器来解决由此产生的贝叶斯逆问题的分层制定。特别地，其中一个条件分布是高维高斯分布，其余的是通过使用重尾超先验的尺度混合表示以封闭形式导出的。从成像科学的应用表明，我们的计算过程是能够计算尖锐的边缘保持后点估计减少不确定性。
2022-07-19 stat.AP stat.CO
A Theoretical Comparison of No-U-Turn Sampler Variants: Necessary and Sufficient Convergence Conditions and Mixing Time Analysis under Gaussian Targets
Université Paris-Saclay, ENS Paris-Saclay, Centre Borelli（巴黎-萨克雷大学，巴黎-萨克雷高等师范学院，Borelli中心）；University of Pennsylvania（宾夕法尼亚大学）
本文比较了NUTS-mul和NUTS-BPS两种变体，推导了几何平稳性条件，分析了混合时间，发现两者在定性行为上相似，但收敛速率存在差异。
2026-04-14 cs.LG math.PR stat.ML
On the Geometric Ergodicity of Two-Variable Gibbs Samplers
马尔可夫链是几何遍历的，如果它在全变差范数下以几何速率收敛到它的不变分布。我们研究了两变量Gibbs抽样器的确定性和随机扫描版本的几何遍历性。我们给出了一个充分条件，同时保证两个版本是几何遍历。我们还开发了一种方法，simula-pronouncement建立，这两个版本是亚几何遍历。这些一般结果使我们能够表征特定离散双变量分布族中双变量吉布斯采样器的收敛速度。
2012-06-21 math.ST stat.TH
Tree Ensembles with Rule Structured Horseshoe Regularization
提出了一种新的贝叶斯模型，用于灵活的非线性回归和分类使用树集成。该模型基于Friedman和Popescu（2008）中的RuleFit方法，其中在L1-正则化回归中使用来自决策树和线性项的规则。我们修改RuleFit取代L1正则化的马蹄事先，这是众所周知的，给积极收缩的噪声预测，而留下的重要信号基本上不变。当大量规则被用作预测器时，这一点尤其重要，因为其中许多规则只会产生噪声。我们的马蹄先验有一个额外的分层，它将更多的收缩先验应用于具有大量分裂的规则，以及仅由少数观察值满足的规则。我们先验的积极噪声收缩也使得有可能用来自随机森林的额外一组树来补充Friedman和Popescu（2008）中的提升规则，这为集合带来了理想的多样性。我们从后验分布使用一个非常有效的，易于实现的吉布斯采样器的样本。在16个数据集上，新模型的性能优于RuleFit、BART和随机森林等最先进的方法。该模型和它的解释证明了众所周知的波士顿住房数据，并对癌症分类的基因表达数据。用于解释模型结果的后验采样、预测和图形工具在公开可用的R软件包中实现。
2018-02-15 stat.ME stat.ML
Graph-Adaptive Horseshoe for Compositional Regression
The University of Texas MD Anderson Cancer Center（德克萨斯大学安德森癌症中心）；Rice University（莱斯大学）
本研究提出用于成分回归的GRACE贝叶斯框架，自适应学习结果驱动的收缩图，在模拟和口腔微生物组数据应用中表现出更优性能，证实自适应图对成分回归的重要性。
2026-08-19 stat.AP stat.ME
Wavelet-Based Bayesian Hierarchical Modeling with Regularized Horseshoe Priors for Spatially Correlated Functional Data
Instituto de Matemática, Estatística e Computação Científica. Universidade Estadual de Campinas(UNICAMP)（坎皮纳斯州立大学数学、统计与科学计算研究所）
该研究针对空间相关功能数据，提出带正则化马蹄先验的小波贝叶斯分层模型，能稳定预测未监测位置的污染物曲线及不确定性，在墨西哥城PM₁₀数据上表现优于对比方法。
2026-08-28 stat.ME
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型，这是实际相关的意义上说，它是足够普遍的，有许多应用程序，它不是直接从相应的后验分布直接采样。因此，我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是，我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之，我们的研究结果为从业者提供了工具，使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
Geometric Ergodicity of Affine Invariant Ensemble Langevin and its Discrete Time Variants
Department of Mathematics, UCLA（加州大学洛杉矶分校数学系）
本文针对仿射不变集合朗之万动力学及其离散变体，通过构造新型李雅普诺夫函数解决其几何遍历性的开放问题，证明了正则化后方法的收敛性及离散化不变分布的弱收敛性。
2026-10-06 cs.NA math.NA math.OC
Block Gibbs samplers for logistic mixed models: convergence properties and a comparison with full Gibbs samplers
逻辑斯蒂线性混合模型（LLMM）是应用最广泛的统计模型之一。通常，马尔可夫链蒙特卡罗算法用于探索与贝叶斯LLNN相关联的后验密度。Polson、Scott和Windle（2013）的Polya-Gamma数据增强（DA）技术可用于构建LLLRR的完整Gibbs（FG）采样器。在这里，我们开发了高效的块吉布斯（BG）采样器贝叶斯LLPERS使用Polya-Gamma DA方法。当固定效应和随机效应之间的相关性发生变化以及设计矩阵的维度发生变化时，我们在真实数据示例的上下文中比较FG和BG采样器。这些数值例子证明了BG采样器优于FG采样器的性能。我们还得到了条件，保证几何遍历的BG马尔可夫链时，流行的不适当的一致先验分配的回归系数，适当或不适当的先验放置在方差参数的随机效应。这一理论结果具有重要的实际意义，因为它证明了使用渐近有效的蒙特卡罗标准误的马尔可夫链为基础的后验量的估计。
2021-12-16 stat.ME
Spectral Collapsed Gibbs Sampler for Bayesian Sparse Regression
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于谱分解的高斯-马尔可夫采样器，用于解决贝叶斯稀疏回归中高维数据后验推断的效率问题，通过优化全局尺度参数τ的混合性，提升算法收敛速度和稳定性。
2026-05-07 stat.CO stat.ME
A Short Note on the Efficiency of Markov Chains for Bayesian Linear Regression Models with Heavy-Tailed Errors
本文证明了在重尾误差和条件共轭正态-逆Wishart先验下，Backlund和Hobert（2020）的采样器仍保持一致的几何遍历性，并进一步在更温和条件下证明了Roy和Hobert（2010）采样器在非正常先验情形下的几何遍历性。
2024-10-28 math.ST stat.CO stat.TH
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型（Albert和Chib（1993））是流行的，广泛用于二元回归。虽然在没有任何先验信息的情况下，回归系数的不适当的平坦先验是适当的选择，但是当先验信息可用时或者在系数的数量（$p$）大于样本大小（$n$）的现代高维设置中，适当的正态先验是期望的。对于这两种选择的先验，由此产生的后验密度是棘手的，数据Dugmentation（DA）马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的，因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中，我们首先表明，在正常的先验的情况下，DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$，$n$和$p$（不像不适当的先验的情况下，其中$n \geq p$和另一个条件$X$后的适当性本身）。我们还得到了DA马尔可夫链是迹类的充分条件，即，相应算子的本征值是可求和的。特别是，这使我们能够得出结论，Haar PX-DA三明治算法（通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得）在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Convergence rate of Markov chain methods for genomic motif discovery
我们分析的收敛速度的一个流行的吉布斯抽样方法的简化版本用于统计发现的基因调控结合基序的DNA序列。这个采样器满足一个非常强的遍历形式（均匀）。然而，我们发现，由于多模态的后验分布，收敛的收敛速率往往呈指数下降的DNA序列的长度的函数。具体来说，我们表明，每当有一个以上的真正的重复模式的数据。在实践中，生物数据中通常有多种这样的模式，目标是检测其中最保守和最频繁出现的模式。我们的研究结果与实证结果相匹配，其中基序发现吉布斯采样器表现出如此差的收敛性，以至于它仅用于寻找后验分布（候选基序）的模式，而不是从该分布中获取样本。我们的是一些第一个有意义的界限上的收敛速度的马尔可夫链方法的抽样从一个多峰后验分布，作为一个函数的统计量，如观察的数量。
2013-03-12 math.ST stat.TH
The occlusion process: improving sampler performance with parallel computation and variational approximation
本文提出遮挡过程，通过在现有MCMC采样器上并行替换去相关样本并结合变分近似，在不增加时间复杂度的情况下降低自相关和估计方差，并在高斯混合模型与Ising模型上验证了效果。
2024-11-18 stat.CO
Geometric Ergodicity of Gibbs Algorithms for a Normal Model With a Global-Local Shrinkage Prior
本文研究了具有全局-局部收缩先验的正态线性回归模型的 Gibbs 采样器，证明了其几何遍历性，提出了实用的拒绝采样方法，并通过模拟验证了其有效性。
2025-10-13 math.ST stat.CO stat.TH
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而，当参数仅通过似然性弱识别时，后验结果可能会像前验结果一样具有较重的尾部，从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”，从而产生先验的正则化版本。我们开发了一种正则化方法，与以前的建议不同，它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质，重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明，提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上，唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$，在贝叶斯桥先验的情况下，我们表明，采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
Coupling-based convergence assessment of some Gibbs samplers for high-dimensional Bayesian regression with shrinkage priors
我们考虑马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯高维回归连续收缩先验。这些算法的共同挑战是选择要执行的迭代次数。当每次迭代都很昂贵时，这一点至关重要，处理现代数据集时也是如此，例如具有数千行和多达数十万列的全基因组关联研究。我们开发的耦合技术量身定制的设置与收缩先验的高维回归，使实用的，非渐近诊断的收敛，而不依赖于tracepots或长期运行的渐近。通过建立考虑中的算法的几何漂移和优化条件，我们证明了所提出的耦合有有限的预期会议时间。专注于一类收缩先验，其中包括“马蹄铁”，我们实证证明了所提出的耦合的可扩展性。我们发现的一个亮点是，对于Gibbs采样器来说，不到1000次迭代就足以在10万个协变量的回归中达到平稳性。数值结果还说明了先验对耦合计算效率的影响，并建议使用先验，其中局部精度为半t分布，自由度大于1。
2021-07-10 stat.CO stat.ME
Approximating the Spectral Gap of the Pólya-Gamma Gibbs Sampler
由Pólya-Gamma Gibbs采样器定义的自伴正马尔可夫算子（在适当的正态先验下）被证明是迹类，这意味着它的谱的所有非零元素都是特征值。因此，频谱间隙是$1-λ_*$，其中$λ_* \in [0,1)$是第二大本征值。通过将Qin等人（2019）的经典Monte Carlo技术应用于Pólya-Gamma Gibbs采样器，开发了一种为$λ_*$上界构建渐近有效置信区间的方法。结果表明，使用德国的信贷数据。它还表明，在一般情况下，一致遍历并不意味着迹类性质，也不迹类性质意味着一致遍历。
2021-04-27 math.ST stat.TH
Geometric ergodicity of Gibbs samplers for linear latent models with GIG variance mixtures
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lund University（隆德大学）
本文研究了广义逆高斯方差混合模型中Gibbs采样器的几何遍历性，通过迹类算子和漂移次要性方法，证明其在参数空间的广泛适用性，并验证了最大似然估计的一致性。
2026-02-08 math.PR math.ST stat.TH
Ergodicity of an Adaptive MCMC Sampler under a Probability Bound
Université du Littoral Côte d’Opale（滨海大学）
本文提出在概率界内放松自适应MCMC采样器的遍历性条件，无需假设样本和参数空间的紧致性。
2026-02-16 math.PR math.ST stat.CO
Uniform ergodicity of the Particle Gibbs sampler
粒子吉布斯（PG）采样器是在马尔可夫链蒙特卡罗（MCMC）中使用粒子滤波器的系统方法。这导致在状态轨迹的空间上的现成的马尔可夫核，其可用于从MCMC方案中的状态空间模型的全联合平滑分布进行模拟。我们表明，PG马尔可夫内核是一致遍历的相当一般的假设下，我们将仔细审查和讨论。特别是，我们提供了一个显式的收敛速率，它揭示了：（i）对于固定数量的数据点，可以通过增加粒子数量来使收敛速度任意好，以及（ii）在一般混合假设下，可以通过超线性地增加粒子数量来保持收敛速度恒定观察次数。通过对两种常见的非紧状态空间模型的详细研究，说明了本文结果的适用性。
2014-02-05 math.PR math.ST stat.TH
Analysis of block slice samplers for Bayesian GLMMs and GAMs with linear inequality and shape constraints
指数族模型、广义线性模型、广义线性混合模型和广义可加模型是统计学中广泛使用的模型。然而，许多科学应用需要对模型参数进行约束，例如形状和线性不等式约束。参数的约束估计和推断仍然是统计学中的一个普遍问题，其中许多方法依赖于修改刚性大样本理论假设进行推断。针对具有线性不等式和形状约束的贝叶斯GLM和GAM问题，提出了一种灵活的切片采样Gibbs算法。我们证明我们的后验样本遵循马尔可夫链中心极限定理（CLT），证明我们的马尔可夫链的一致遍历性和存在的一个矩母函数为我们的后验分布。我们使用我们的CLT的结果来获得联合频带和多重调整贝叶斯推断的非参数功能的影响。我们严格的CLT结果解决了文献中的一个缺点，在有限样本设置的约束参数获得有效的估计和推断。我们的算法和证明技术适用于无数重要的统计建模问题。我们将贝叶斯GAM应用到一个真实的数据分析实例中，该实例涉及具有形状约束和平滑非参数效应的儿童脑震荡恢复的比例优势回归。我们得到的单调非参数时间效应的多重调整推断，以阐明儿童的恢复趋势作为时间的函数。
2022-12-22 stat.ME
Geometric convergence of elliptical slice sampling
Georg-August-Universität Göttingen（哥廷根大学）；Technische Universität Bergakademie Freiberg（弗赖贝格工业大学）
对于贝叶斯学习，给定似然函数和高斯先验，Murray，Adams和MacKay 2010年引入的椭圆切片采样器提供了一种用于构建马尔可夫链的工具，用于对底层后验分布进行近似采样。除了它的广泛适用性和简单性之外，它的主要特点是不需要调优。在弱正则性的假设下，我们证明了相应的马尔可夫链是几何遍历的，因此产生定性的收敛保证。我们说明我们的结果高斯后验，因为它们出现在高斯过程回归，以及在设置的多模态分布。值得注意的是，我们的数值实验表明，即使在我们的遍历性结果不适用的情况下，椭圆切片采样的维度无关的性能。
2021-07-23 cs.LG math.ST stat.ML
Hyper-V uniform ergodicity of Markov chains
University of Florida（佛罗里达大学）
该研究提出超V一致遍历性概念，通过新的漂移与局部极小化条件推导更强收敛保证，确立最优收敛界，应用于两类吉布斯采样器并简化二元采样器收敛分析。
2026-08-14 math.ST stat.CO stat.TH
Automatic Zig-Zag sampling in practice
从目标分布生成样本的新型蒙特卡罗方法，例如贝叶斯分析的后验，在过去十年中迅速发展。基于分段确定性马尔可夫过程（PDMP）（不可逆连续时间过程）的算法正在发展成为自己的研究分支，这要归功于它们的重要属性（例如，正确的不变分布，遍历性和超效率）。然而，在这一领域的实践并没有赶上理论，使用PDMP来解决应用问题并不普遍。这可能是由于，首先，几个实施的挑战，PDMP为基础的采样器，其次，缺乏文件，展示的方法和实施中应用的设置。在这里，我们解决这两个问题，使用最有前途的PDMP之一，锯齿形采样器，作为一个典型的例子。在解释了Zig-Zag采样器的关键要素之后，暴露并解决了其实施挑战。具体地，提供了从感兴趣的目标分布提取样本的算法的公式化。值得注意的是，该算法的唯一要求是评估感兴趣的目标密度的闭合形式函数，并且与先前的实现不同，不需要关于目标的进一步信息。该算法的性能进行评估对另一个基于梯度的采样器，它被证明是有竞争力的，在模拟和真实数据设置。最后，我们证明了超效率属性，即能够以低于评估所有数据的可能性的成本绘制一个独立样本，可以在实践中获得。
2022-09-02 stat.CO
Semiparametric Bayesian structure learning of nonparanormal directed acyclic graphs with local--global shrinkage
Ferdowsi University of Mashhad（马什哈德 Ferdowsi 大学）
提出NPN-DAG-HS，一种结合非参数正态族与马蹄形收缩的贝叶斯半参数DAG模型，无需估计单调变换即可处理非高斯数据，在高维下具有理论保证，并在模拟和真实数据中优于高斯方法。
2026-09-14 stat.ME
A Two Stage Adaptive Metropolis Algorithm
结合马尔可夫链蒙特卡罗文献中的两个非常强大的思想--自适应Metropolis采样器和两阶段Metropolis-Hastings采样器，提出了一种新的采样算法。所提出的抽样方法将特别是非常有用的高维后验抽样贝叶斯模型与昂贵的似然。在所提出的算法的第一阶段中，使用自适应建议的基础上先前采样的状态和相应的接受概率计算的基础上近似廉价的目标密度。只有当建议在第一阶段被接受时，才在计算第二阶段接受概率的同时评估真正昂贵的目标密度。该算法的自适应性质保证了链的更快收敛和非常好的混合特性。另一方面，两阶段的方法有助于在廉价的第一阶段拒绝坏的建议，使算法的计算效率。由于该方案依赖于前一个状态，链失去了它的马尔可夫性，但我们证明了它保留了所需的遍历性。在两个模拟和两个真实数据的例子中，该算法的性能与现有的算法进行了比较。
2021-01-01 stat.CO
Adaptive Equi-Energy Sampler : Convergence and Illustration
马尔可夫链蒙特卡罗（MCMC）方法允许对已知的直到乘法常数的分布进行采样。经典的MCMC采样器在对多峰分布进行采样时具有非常差的混合特性。等能量采样器是Kou，Zhou和Wong在2006年提出的一种交互MCMC采样器，用于对困难的多峰分布进行采样。该算法在不同温度下并行运行多个链，并允许较低温度的链从具有与当前状态“接近”的能量的较高温度的链跳转到一个状态。该算法的一个主要缺点是，它取决于许多设计参数，因此，需要一个显着的努力来调整这些参数。在本文中，我们介绍了一个自适应等能量（AEE）采样器，自动选择的选择机制时，跳转到一个状态的高温链。我们证明了AEE的遍历性和一个强大数律，以及原始的等能量采样器。最后，我们将我们的算法应用于DNA序列的模体采样。
2013-02-04 math.ST stat.TH
Analyzing Relevance Vector Machines using a single penalty approach
Iowa State University（爱荷华州立大学）
相关向量机（RVM）是一种流行的稀疏贝叶斯学习模型，通常用于预测。最近的研究表明，在RVM中对多个惩罚参数假设不正确的先验可能会导致不正确的后验概率。目前在文献中，RVM的后验适当性的充分条件不允许在多个惩罚参数的不适当的先验。在这篇文章中，我们提出了一个单一的惩罚相关向量机（SPRVM）模型，其中多个惩罚参数被替换为一个单一的惩罚，我们认为一个半贝叶斯方法来拟合SPRVM。SPRVM的后验适当性的充分必要条件比RVM的更自由，并允许几个不适当的先验的惩罚参数。此外，我们还证明了用于分析SPRVM模型的Gibbs采样器的几何遍历性，从而可以估计与后验预测分布的平均值的蒙特卡罗估计相关的渐近标准误。这样的蒙特卡罗标准误不能在RVM的情况下计算，因为用于分析RVM的吉布斯采样器的收敛速率是未知的。通过对三个真实数据集的分析，比较了RVM和SPRVM的预测性能。
2021-07-05 cs.LG stat.ME stat.ML
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程（PDMP），作为马尔可夫链蒙特卡罗（MCMC）的替代方法。为了便于应用到更大的一类问题，我们提出了一类新的PDMP称为吉布斯之字形采样器，它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应，并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
Uniform ergodicity of geodesic slice sampling
本文证明了测地线切片采样在紧支撑且有界密度分布上的均匀遍历性，并显式给出了收敛常数及其对超参数、目标分布和定义域的依赖关系。
2025-10-08 math.PR math.ST stat.TH
A Metropolized adaptive subspace algorithm for high-dimensional Bayesian variable selection
提出了一种简单有效的自适应马尔可夫链蒙特卡罗（MCMC）方法--Metropolized Adaptive Subspace（MAdaSub）算法，用于贝叶斯变量选择中的高维后验模型分布采样. MAdaSub算法基于独立的Metropolis-Hastings采样器，其中解释变量的个体建议概率在每次迭代后使用贝叶斯自适应学习的形式进行更新，以最终收敛到各自协变量的后验包含概率的方式。我们证明了算法的遍历性，并提出了一个并行版本的MAdaSub的适应计划的建议概率的基础上，从多个链的信息组合。该算法的有效性通过各种模拟和真实数据的例子，包括一个高维问题，超过20,000协变量证明。
2022-07-07 stat.CO stat.ME
Extensions of the solidarity principle of the spectral gap for Gibbs samplers to their blocked and collapsed variants
University of Florida（佛罗里达大学）
本文扩展了完整Gibbs采样器的固有原则，证明了阻塞和坍塌变体继承谱间隙，并通过例子说明其不继承几何平稳性。
2026-01-11 math.PR math.ST stat.CO
Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors
当处理多模态贝叶斯后验分布时，马尔可夫链蒙特卡罗（MCMC）算法在模式之间移动有困难，并且默认的变分或基于模式的近似推断会低估后验不确定性。而且，即使可以找到最重要的模式，也很难在后验中评估它们的相对权重。在这里，我们提出了一种方法，使用并行运行的MCMC，变分，或基于模式的推理，尽可能多的模式或分离的区域，然后结合这些使用贝叶斯堆叠，一个可扩展的方法，用于构建一个加权平均分布。叠加的结果有效地从多峰后验分布中采样，最小化交叉验证预测误差，并且比变分推断更好地表示后验不确定性，但它不一定等同于完全贝叶斯推断，甚至是渐进的。我们提出了理论上的一致性与一个例子，堆叠推理近似的真实数据生成过程中的错误指定的模型和非混合采样器，从它的预测性能优于完全贝叶斯推断，因此，多模态可以被认为是一个祝福，而不是一个诅咒下的模型错误指定。我们展示了几个模型家族的实际实现：潜在狄利克雷分配，高斯过程回归，分层回归，马蹄形变量选择，和神经网络。
2021-11-18 stat.ME stat.ML
A shrinkage-thresholding Metropolis adjusted Langevin algorithm for Bayesian variable selection
本文介绍了一种新的马尔可夫链蒙特卡罗方法，用于高维环境下贝叶斯变量的选择。该算法是一个黑斯廷斯-大都会采样器的建议机制，它结合了大都会调整的朗之万（MALA）的步骤，提出与收缩阈值的步骤，允许提出新的模型相关联的局部移动。证明了这种新的跨维马尔可夫链Monte Carlo采样器的几何遍历性。一个广泛的数值实验，模拟和真实的数据，提出了一些更经典的跨维算法相比，说明所提出的算法的性能。
2015-09-11 math.ST stat.TH
Ergodicity of Approximate MCMC Chains with Applications to Large Data Sets
在许多现代应用中，评估后验密度的困难使得即使执行单个MCMC步骤也很慢。这种困难可能是由棘手的似然函数引起的，但也出现在大型数据集的常规问题中。许多研究人员通过运行MCMC算法的近似版本做出了回应。在这篇文章中，我们给出了这些近似采样器遍历性的定量界。然后，我们使用这些界限来研究近似MCMC算法的偏差方差权衡。我们将我们的研究结果简单的版本，最近提出的算法，包括一个变种的“紧缩”框架Korratikara等人。
2015-08-24 math.PR math.ST stat.CO
A Network-Structured Bayesian Hierarchical Model for Sparse Mutation-Drug Response Associations: Application to Cancer Pharmacogenomics
University of Ibadan（伊巴丹大学）；Worcester Polytechnic Institute（伍斯特理工学院）
提出网络结构贝叶斯层次模型，结合GMRF与马蹄形先验及共轭吉布斯采样，在癌症药物基因组学中识别稀疏、可解释且外部支持的基因-药物敏感性关联，并支持组织特异性分析。
2026-09-09 q-bio.GN q-bio.QM stat.AP
Gibbs Sampling using Anti-correlation Gaussian Data Augmentation, with Applications to L1-ball-type Models
针对 L1-ball-type 稀疏先验的后验计算瓶颈，提出反相关高斯数据增强与分块 Gibbs 抽样，实现低成本、快速混合并具有几何遍历性保证。
2024-04-06 stat.ME
GRASP: Grouped Regression with Adaptive Shrinkage Priors
Department of Data Science and AI, Monash University（墨尔本大学数据科学与人工智能系）；Department for Information Systems, University of Haifa（海法大学信息系）
GRASP提出基于NBP先验的简单贝叶斯分组回归框架，直接控制尾部实现自适应稀疏性，并量化组内收缩相关性，实证显示鲁棒性。
2025-06-22 cs.LG stat.ME stat.ML
Perfectly random sampling of truncated multinormal distributions
目标测量$μ$是随机向量在盒子$\cB$中的分布，盒子是有界区间的笛卡儿积。Gibbs采样器是具有不变测度$μ$的马尔可夫链。Gibbs采样器的“来自过去的耦合”构造用于显示动力学的遍历性并完美地模拟$μ$。然后实现了一种对具有截断为$\cB$的多正态分布的向量进行采样的算法。
2007-09-25 math.PR math.ST stat.TH
Blocking Strategies and Stability of Particle Gibbs Samplers
在马尔可夫链蒙特卡罗方法的背景下，从隐马尔可夫模型的潜在状态的条件（或后验）概率分布中采样，给定所观察的过程的实现，是一个非平凡的问题。为此，Andrieu et al.（2010）构建了一个马尔可夫核，使用粒子滤波器保持这个条件分布不变。从从业者的角度来看，这个马尔可夫内核试图模拟的行为采样所有的潜在状态变量作为一个块从后验分布，但模型的精确模拟是不可能的。有一些最近的理论结果，建立了均匀遍历的马尔可夫核，混合率不会减少提供的粒子数至少线性增长的数量在后的潜在状态。这导致了内核的每次应用的成本，即潜在状态的数量是二次的，这对于长观测序列来说可能是禁止的。我们试图回答一个明显但重要的问题：是否有一个不同的实现，其每次迭代的成本随潜在状态的数量线性增长，但在这个意义上仍然是稳定的，它的混合率不会恶化？我们解决这个问题，使用阻塞策略，这是很容易并行化，并证明稳定的采样器。
2015-09-28 math.ST stat.TH
Rebalancing Markov jump processes for non-reversible continuous-time sampling
针对马尔可夫链蒙特卡罗方法因细致平衡导致类扩散探索需精细调参的问题，提出无需细致平衡的非可逆连续时间采样器构建机制，通过转化满足斜细致平衡的跳跃过程并利用无界平衡函数动态选跃迁，经实验验证其参数调整稳健性更优。
2025-11-13 math.ST stat.CO stat.TH
Finite Sample Properties of Adaptive Markov Chains via Curvature
自适应马尔可夫链是从概率分布抽样的一类重要的蒙特卡罗方法。自适应算法的时间演化依赖于过去的样本，因此这些算法是非马尔可夫的。虽然有以前的工作建立其遍历性的条件，没有太多的理论上知道他们的有限样本性质。本文利用Ollivier提出的马尔可夫核离散里奇曲率的概念，建立了一类自适应马尔可夫链的集中不等式和有限样本界。在建立了一些一般性的结果，我们给出了定量界的“多级”自适应算法，如等能量采样器。我们还提供了第一个严格的证明，有限的样本性质的等能量采样器优于相关的平行回火和大都市黑斯廷斯采样器的学习期后，他们的混合时间。
2014-10-01 math.PR math.ST stat.CO
An Order of Magnitude Time Complexity Reduction for Gaussian Graphical Model Posterior Sampling Using a Reverse Telescoping Block Decomposition
Department of Statistics, Purdue University（普渡大学统计学系）
本文提出一种反向折叠块分解的MCMC方法，将高斯图模型后验估计的时间复杂度从O(p⁴)降低到O(p³)，从而在大规模数据下提升了计算效率。
2026-03-20 stat.CO stat.ME
