Schr{ö}dinger-F{ö}llmer Sampler: Sampling without Ergodicity
从概率分布采样是统计学和机器学习中的一个重要问题，特别是在贝叶斯推断中，当关于后验分布的整合是难以处理的并且从后验分布采样是推断的唯一可行选择时。在本文中，我们提出了薛定谔-Föllmer采样器（SFS），一种新的方法，从可能的非归一化分布的采样。所提出的SFS是基于Schrödinger-Föllmer扩散过程的单位时间间隔与时间相关的漂移项，它传输的退化分布在时间0的目标分布在时间1。与现有的马尔可夫链蒙特卡罗采样器要求遍历性相比，SFS不需要遍历性。在计算上，SFS可以很容易地实现使用Euler-Maruyama离散。在理论分析中，我们在适当的条件下，建立了SFS在瓦瑟斯坦距离上的抽样分布的非渐近误差界。我们进行数值实验，以评估的性能SFS，并证明它是能够产生更好的质量比现有的几种方法的样本。
2021-09-04 stat.CO
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中，我们考虑马尔可夫链蒙特卡罗（MCMC）算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是，我们构造的两块吉布斯采样器使用的数据增强（DA）技术。此外，我们证明了Gibbs抽样的几何遍历性，这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时，我们也提供了后适当的条件。一般而言，用于DA的Haar参数展开（PX- DA）算法是DA算法的改进，并且已经表明，它在理论上至少与DA算法一样好。在这里，我们构建了一个Haar PX DA算法，它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的，而与向量自回归的阶数和维数无关，并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言，几何收敛速度被证明是有界的渐近远离团结，几乎肯定或概率趋于一，这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的，因为任何非平凡的前导致一个棘手的后验密度。然而，如果采用条件共轭先验密度，则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中，一个常见的缺陷是不适当的先验，它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果，因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的，从实用的角度来看，因为它保证了存在的中心极限定理，允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
On the Geometric Ergodicity of Two-Variable Gibbs Samplers
马尔可夫链是几何遍历的，如果它在全变差范数下以几何速率收敛到它的不变分布。我们研究了两变量Gibbs抽样器的确定性和随机扫描版本的几何遍历性。我们给出了一个充分条件，同时保证两个版本是几何遍历。我们还开发了一种方法，simula-pronouncement建立，这两个版本是亚几何遍历。这些一般结果使我们能够表征特定离散双变量分布族中双变量吉布斯采样器的收敛速度。
2012-06-21 math.ST stat.TH
A Theoretical Comparison of No-U-Turn Sampler Variants: Necessary and Sufficient Convergence Conditions and Mixing Time Analysis under Gaussian Targets
Université Paris-Saclay, ENS Paris-Saclay, Centre Borelli（巴黎-萨克雷大学，巴黎-萨克雷高等师范学院，Borelli中心）；University of Pennsylvania（宾夕法尼亚大学）
本文比较了NUTS-mul和NUTS-BPS两种变体，推导了几何平稳性条件，分析了混合时间，发现两者在定性行为上相似，但收敛速率存在差异。
2026-04-14 cs.LG math.PR stat.ML
A Hybrid Scan Gibbs Sampler for Bayesian Models with Latent Variables
吉布斯抽样是一种广泛流行的马尔可夫链蒙特卡罗算法，可用于分析与贝叶斯分层模型相关的棘手的后验分布。吉布斯采样器有两个标准版本：系统扫描（SS）版本，其中所有变量在每次迭代时更新，以及随机扫描（RS）版本，其中单个随机选择的变量在每次迭代时更新。文献比较SS和RS吉布斯采样器的理论特性进行了审查，并介绍了一种替代的混合扫描吉布斯采样器，这是特别适合于贝叶斯模型的潜变量。“混合”一词反映了这样的事实，即在该算法中使用的扫描具有系统和随机元两者。事实上，在每次迭代中，我们都会更新整个潜在变量集，以及随机选择的剩余变量块。混合扫描（HS）Gibbs采样器与两种标准扫描Gibbs采样器相比具有重要的优点。首先，HS算法通常更容易从理论角度进行分析。特别地，建立HS吉布斯马尔可夫链的几何遍历性比对相应的SS和RS版本做同样的事情要容易得多。其次，在Hobert和Marchev（2008）中开发的三明治方法，也被审查，可以应用于HS吉布斯算法（但不适用于标准扫描吉布斯采样器）。结果表明，在弱正则性条件下，添加三明治步骤的HS吉布斯采样器总是导致在理论上优越的算法。三个具体的贝叶斯层次模型的不同复杂性来说明的结果。一个是一个简单的位置规模模型的数据从学生的$t$分布，这是作为一个教学工具。另外两个是复杂但实用的贝叶斯回归模型。
2019-12-30 math.ST stat.TH
Block Gibbs samplers for logistic mixed models: convergence properties and a comparison with full Gibbs samplers
逻辑斯蒂线性混合模型（LLMM）是应用最广泛的统计模型之一。通常，马尔可夫链蒙特卡罗算法用于探索与贝叶斯LLNN相关联的后验密度。Polson、Scott和Windle（2013）的Polya-Gamma数据增强（DA）技术可用于构建LLLRR的完整Gibbs（FG）采样器。在这里，我们开发了高效的块吉布斯（BG）采样器贝叶斯LLPERS使用Polya-Gamma DA方法。当固定效应和随机效应之间的相关性发生变化以及设计矩阵的维度发生变化时，我们在真实数据示例的上下文中比较FG和BG采样器。这些数值例子证明了BG采样器优于FG采样器的性能。我们还得到了条件，保证几何遍历的BG马尔可夫链时，流行的不适当的一致先验分配的回归系数，适当或不适当的先验放置在方差参数的随机效应。这一理论结果具有重要的实际意义，因为它证明了使用渐近有效的蒙特卡罗标准误的马尔可夫链为基础的后验量的估计。
2021-12-16 stat.ME
Approximating the Spectral Gap of the Pólya-Gamma Gibbs Sampler
由Pólya-Gamma Gibbs采样器定义的自伴正马尔可夫算子（在适当的正态先验下）被证明是迹类，这意味着它的谱的所有非零元素都是特征值。因此，频谱间隙是$1-λ_*$，其中$λ_* \in [0,1)$是第二大本征值。通过将Qin等人（2019）的经典Monte Carlo技术应用于Pólya-Gamma Gibbs采样器，开发了一种为$λ_*$上界构建渐近有效置信区间的方法。结果表明，使用德国的信贷数据。它还表明，在一般情况下，一致遍历并不意味着迹类性质，也不迹类性质意味着一致遍历。
2021-04-27 math.ST stat.TH
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型，这是实际相关的意义上说，它是足够普遍的，有许多应用程序，它不是直接从相应的后验分布直接采样。因此，我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是，我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之，我们的研究结果为从业者提供了工具，使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
Geometric Ergodicity of Affine Invariant Ensemble Langevin and its Discrete Time Variants
Department of Mathematics, UCLA（加州大学洛杉矶分校数学系）
本文针对仿射不变集合朗之万动力学及其离散变体，通过构造新型李雅普诺夫函数解决其几何遍历性的开放问题，证明了正则化后方法的收敛性及离散化不变分布的弱收敛性。
2026-10-06 cs.NA math.NA math.OC
A Short Note on the Efficiency of Markov Chains for Bayesian Linear Regression Models with Heavy-Tailed Errors
本文证明了在重尾误差和条件共轭正态-逆Wishart先验下，Backlund和Hobert（2020）的采样器仍保持一致的几何遍历性，并进一步在更温和条件下证明了Roy和Hobert（2010）采样器在非正常先验情形下的几何遍历性。
2024-10-28 math.ST stat.CO stat.TH
The transcoding sampler for stick-breaking inferences on Dirichlet process mixtures
本文提出转码算法与转码采样器，将高效采样器得到的后验划分结果转换为stick-breaking表示，从而在保持较短IAT的同时实现对Dirichlet过程混合模型全部stick-breaking参数的推断。
2024-05-06 stat.ME
The occlusion process: improving sampler performance with parallel computation and variational approximation
本文提出遮挡过程，通过在现有MCMC采样器上并行替换去相关样本并结合变分近似，在不增加时间复杂度的情况下降低自相关和估计方差，并在高斯混合模型与Ising模型上验证了效果。
2024-11-18 stat.CO
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型（Albert和Chib（1993））是流行的，广泛用于二元回归。虽然在没有任何先验信息的情况下，回归系数的不适当的平坦先验是适当的选择，但是当先验信息可用时或者在系数的数量（$p$）大于样本大小（$n$）的现代高维设置中，适当的正态先验是期望的。对于这两种选择的先验，由此产生的后验密度是棘手的，数据Dugmentation（DA）马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的，因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中，我们首先表明，在正常的先验的情况下，DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$，$n$和$p$（不像不适当的先验的情况下，其中$n \geq p$和另一个条件$X$后的适当性本身）。我们还得到了DA马尔可夫链是迹类的充分条件，即，相应算子的本征值是可求和的。特别是，这使我们能够得出结论，Haar PX-DA三明治算法（通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得）在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Geometric ergodicity of Gibbs samplers for linear latent models with GIG variance mixtures
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lund University（隆德大学）
本文研究了广义逆高斯方差混合模型中Gibbs采样器的几何遍历性，通过迹类算子和漂移次要性方法，证明其在参数空间的广泛适用性，并验证了最大似然估计的一致性。
2026-02-08 math.PR math.ST stat.TH
Truncation Approximation for Enriched Dirichlet Process Mixture Models
本文针对富集狄利克雷过程混合模型提出截断近似方法，证明大截断值下可获高精度近似，验证最小充分截断值的精度与大截断值相当，且分块吉布斯采样器混合效果优于波利亚瓮采样器。
2023-05-02 stat.CO
Ergodicity of an Adaptive MCMC Sampler under a Probability Bound
Université du Littoral Côte d’Opale（滨海大学）
本文提出在概率界内放松自适应MCMC采样器的遍历性条件，无需假设样本和参数空间的紧致性。
2026-02-16 math.PR math.ST stat.CO
Convergence rate of Markov chain methods for genomic motif discovery
我们分析的收敛速度的一个流行的吉布斯抽样方法的简化版本用于统计发现的基因调控结合基序的DNA序列。这个采样器满足一个非常强的遍历形式（均匀）。然而，我们发现，由于多模态的后验分布，收敛的收敛速率往往呈指数下降的DNA序列的长度的函数。具体来说，我们表明，每当有一个以上的真正的重复模式的数据。在实践中，生物数据中通常有多种这样的模式，目标是检测其中最保守和最频繁出现的模式。我们的研究结果与实证结果相匹配，其中基序发现吉布斯采样器表现出如此差的收敛性，以至于它仅用于寻找后验分布（候选基序）的模式，而不是从该分布中获取样本。我们的是一些第一个有意义的界限上的收敛速度的马尔可夫链方法的抽样从一个多峰后验分布，作为一个函数的统计量，如观察的数量。
2013-03-12 math.ST stat.TH
Uniform ergodicity of the Particle Gibbs sampler
粒子吉布斯（PG）采样器是在马尔可夫链蒙特卡罗（MCMC）中使用粒子滤波器的系统方法。这导致在状态轨迹的空间上的现成的马尔可夫核，其可用于从MCMC方案中的状态空间模型的全联合平滑分布进行模拟。我们表明，PG马尔可夫内核是一致遍历的相当一般的假设下，我们将仔细审查和讨论。特别是，我们提供了一个显式的收敛速率，它揭示了：（i）对于固定数量的数据点，可以通过增加粒子数量来使收敛速度任意好，以及（ii）在一般混合假设下，可以通过超线性地增加粒子数量来保持收敛速度恒定观察次数。通过对两种常见的非紧状态空间模型的详细研究，说明了本文结果的适用性。
2014-02-05 math.PR math.ST stat.TH
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而，当参数仅通过似然性弱识别时，后验结果可能会像前验结果一样具有较重的尾部，从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”，从而产生先验的正则化版本。我们开发了一种正则化方法，与以前的建议不同，它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质，重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明，提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上，唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$，在贝叶斯桥先验的情况下，我们表明，采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
Bayesian inference for logistic models using Polya-Gamma latent variables
我们提出了一种新的数据增强策略，完全贝叶斯推断模型与二项式似然。该方法利用一类新的Polya-Γ分布，并详细构造了这类分布.各种各样的例子来显示该方法的多功能性，包括逻辑斯谛回归，负二项回归，非线性混合效应模型，和计数数据的空间模型。在每一种情况下，我们的数据增强策略都能为后验推理提供简单有效的方法：（1）避免解析近似、数值积分或Metropolis-Hastings的需要;（2）在易用性和计算效率方面优于其他已知的数据增强策略。所有的方法，包括一个有效的采样器的Polya-Γ分布，在R包贝叶斯Logit实现。在论文结尾的技术补充中，我们提供了关于Polya-Gamma随机变量生成的进一步细节;主要手稿中报告的经验基准;以及将基本数据增强框架扩展到列联表和多项式结果。
2013-07-22 stat.CO stat.ME stat.ML
Analysis of block slice samplers for Bayesian GLMMs and GAMs with linear inequality and shape constraints
指数族模型、广义线性模型、广义线性混合模型和广义可加模型是统计学中广泛使用的模型。然而，许多科学应用需要对模型参数进行约束，例如形状和线性不等式约束。参数的约束估计和推断仍然是统计学中的一个普遍问题，其中许多方法依赖于修改刚性大样本理论假设进行推断。针对具有线性不等式和形状约束的贝叶斯GLM和GAM问题，提出了一种灵活的切片采样Gibbs算法。我们证明我们的后验样本遵循马尔可夫链中心极限定理（CLT），证明我们的马尔可夫链的一致遍历性和存在的一个矩母函数为我们的后验分布。我们使用我们的CLT的结果来获得联合频带和多重调整贝叶斯推断的非参数功能的影响。我们严格的CLT结果解决了文献中的一个缺点，在有限样本设置的约束参数获得有效的估计和推断。我们的算法和证明技术适用于无数重要的统计建模问题。我们将贝叶斯GAM应用到一个真实的数据分析实例中，该实例涉及具有形状约束和平滑非参数效应的儿童脑震荡恢复的比例优势回归。我们得到的单调非参数时间效应的多重调整推断，以阐明儿童的恢复趋势作为时间的函数。
2022-12-22 stat.ME
Efficient Gibbs Sampling in Cox Regression Models Using Composite Partial Likelihood and Pólya-Gamma Augmentation
针对Cox回归贝叶斯方法基线风险建模复杂、计算低效的问题，提出GS4Cox全吉布斯采样器，结合广义贝叶斯框架、复合部分似然、Pólya-Gamma增强及仿射校准，实现高效采样并提升估计性能。
2025-11-18 stat.ME
Geometric Ergodicity of Gibbs Algorithms for a Normal Model With a Global-Local Shrinkage Prior
本文研究了具有全局-局部收缩先验的正态线性回归模型的 Gibbs 采样器，证明了其几何遍历性，提出了实用的拒绝采样方法，并通过模拟验证了其有效性。
2025-10-13 math.ST stat.CO stat.TH
Compound random measures and their use in Bayesian nonparametrics
提出了一类新的相依随机测度，我们称之为{ \it复合随机测度}，并考虑了在贝叶斯非参数混合模型中使用这些随机测度的归一化形式作为先验.它们的易处理性允许复合随机措施和归一化复合随机措施的属性来推导。特别是，我们展示了如何复合随机措施，可以与伽玛，$σ$稳定和广义伽玛过程边际。我们还推导了拉普拉斯指数的几种形式，并通过Lévy copula和相关函数来描述依赖性。在非参数混合模型中，当混合测度为归一化复合随机测度时，给出了用于后验推断的切片采样器和增广Pólya urn方案采样器，并给出了数据实例.
2015-09-02 stat.ME
The Cox-Polya-Gamma Algorithm for Flexible Bayesian Inference of Multilevel Survival Models
本文提出Cox-Polya-Gamma算法，通过泊松过程近似与充分降维策略，解决贝叶斯多层Cox半参数回归中非参数基线累积风险的单调性约束计算难题，并给出算法的一致遍历性条件。
2024-11-23 stat.ME
Geometric convergence of elliptical slice sampling
Georg-August-Universität Göttingen（哥廷根大学）；Technische Universität Bergakademie Freiberg（弗赖贝格工业大学）
对于贝叶斯学习，给定似然函数和高斯先验，Murray，Adams和MacKay 2010年引入的椭圆切片采样器提供了一种用于构建马尔可夫链的工具，用于对底层后验分布进行近似采样。除了它的广泛适用性和简单性之外，它的主要特点是不需要调优。在弱正则性的假设下，我们证明了相应的马尔可夫链是几何遍历的，因此产生定性的收敛保证。我们说明我们的结果高斯后验，因为它们出现在高斯过程回归，以及在设置的多模态分布。值得注意的是，我们的数值实验表明，即使在我们的遍历性结果不适用的情况下，椭圆切片采样的维度无关的性能。
2021-07-23 cs.LG math.ST stat.ML
Automatic Zig-Zag sampling in practice
从目标分布生成样本的新型蒙特卡罗方法，例如贝叶斯分析的后验，在过去十年中迅速发展。基于分段确定性马尔可夫过程（PDMP）（不可逆连续时间过程）的算法正在发展成为自己的研究分支，这要归功于它们的重要属性（例如，正确的不变分布，遍历性和超效率）。然而，在这一领域的实践并没有赶上理论，使用PDMP来解决应用问题并不普遍。这可能是由于，首先，几个实施的挑战，PDMP为基础的采样器，其次，缺乏文件，展示的方法和实施中应用的设置。在这里，我们解决这两个问题，使用最有前途的PDMP之一，锯齿形采样器，作为一个典型的例子。在解释了Zig-Zag采样器的关键要素之后，暴露并解决了其实施挑战。具体地，提供了从感兴趣的目标分布提取样本的算法的公式化。值得注意的是，该算法的唯一要求是评估感兴趣的目标密度的闭合形式函数，并且与先前的实现不同，不需要关于目标的进一步信息。该算法的性能进行评估对另一个基于梯度的采样器，它被证明是有竞争力的，在模拟和真实数据设置。最后，我们证明了超效率属性，即能够以低于评估所有数据的可能性的成本绘制一个独立样本，可以在实践中获得。
2022-09-02 stat.CO
Adaptive Equi-Energy Sampler : Convergence and Illustration
马尔可夫链蒙特卡罗（MCMC）方法允许对已知的直到乘法常数的分布进行采样。经典的MCMC采样器在对多峰分布进行采样时具有非常差的混合特性。等能量采样器是Kou，Zhou和Wong在2006年提出的一种交互MCMC采样器，用于对困难的多峰分布进行采样。该算法在不同温度下并行运行多个链，并允许较低温度的链从具有与当前状态“接近”的能量的较高温度的链跳转到一个状态。该算法的一个主要缺点是，它取决于许多设计参数，因此，需要一个显着的努力来调整这些参数。在本文中，我们介绍了一个自适应等能量（AEE）采样器，自动选择的选择机制时，跳转到一个状态的高温链。我们证明了AEE的遍历性和一个强大数律，以及原始的等能量采样器。最后，我们将我们的算法应用于DNA序列的模体采样。
2013-02-04 math.ST stat.TH
A Two Stage Adaptive Metropolis Algorithm
结合马尔可夫链蒙特卡罗文献中的两个非常强大的思想--自适应Metropolis采样器和两阶段Metropolis-Hastings采样器，提出了一种新的采样算法。所提出的抽样方法将特别是非常有用的高维后验抽样贝叶斯模型与昂贵的似然。在所提出的算法的第一阶段中，使用自适应建议的基础上先前采样的状态和相应的接受概率计算的基础上近似廉价的目标密度。只有当建议在第一阶段被接受时，才在计算第二阶段接受概率的同时评估真正昂贵的目标密度。该算法的自适应性质保证了链的更快收敛和非常好的混合特性。另一方面，两阶段的方法有助于在廉价的第一阶段拒绝坏的建议，使算法的计算效率。由于该方案依赖于前一个状态，链失去了它的马尔可夫性，但我们证明了它保留了所需的遍历性。在两个模拟和两个真实数据的例子中，该算法的性能与现有的算法进行了比较。
2021-01-01 stat.CO
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程（PDMP），作为马尔可夫链蒙特卡罗（MCMC）的替代方法。为了便于应用到更大的一类问题，我们提出了一类新的PDMP称为吉布斯之字形采样器，它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应，并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
Efficient posterior sampling for Bayesian Poisson regression
Poisson对数线性模型在许多应用中是普遍存在的，并且是参数计数回归的最流行的方法之一。然而，在贝叶斯上下文中，没有足够的具体计算工具用于从参数的后验分布进行有效采样，并且通常使用标准算法，例如随机游动Metropolis-Hastings或哈密顿蒙特卡罗算法。在此，我们开发了一个有效的梅特罗波利斯-黑斯廷斯算法和重要性采样器来模拟条件高斯先验下的泊松对数线性模型的参数的后验分布，相对于最先进的替代品具有优越的性能。这两种算法的关键是引入一个建议密度的基础上的高斯近似的后验分布的参数。具体而言，我们的结果利用了泊松似然的负二项近似和成功的Pólya-gamma数据增强方案。通过仿真，我们得到的时间，每个独立的样本的建议采样器是具有竞争力的，使用成功的哈密顿蒙特卡罗采样，与大都会黑斯廷斯显示出优越的性能，在所有的情况下考虑。
2022-09-01 stat.CO
Analyzing Relevance Vector Machines using a single penalty approach
Iowa State University（爱荷华州立大学）
相关向量机（RVM）是一种流行的稀疏贝叶斯学习模型，通常用于预测。最近的研究表明，在RVM中对多个惩罚参数假设不正确的先验可能会导致不正确的后验概率。目前在文献中，RVM的后验适当性的充分条件不允许在多个惩罚参数的不适当的先验。在这篇文章中，我们提出了一个单一的惩罚相关向量机（SPRVM）模型，其中多个惩罚参数被替换为一个单一的惩罚，我们认为一个半贝叶斯方法来拟合SPRVM。SPRVM的后验适当性的充分必要条件比RVM的更自由，并允许几个不适当的先验的惩罚参数。此外，我们还证明了用于分析SPRVM模型的Gibbs采样器的几何遍历性，从而可以估计与后验预测分布的平均值的蒙特卡罗估计相关的渐近标准误。这样的蒙特卡罗标准误不能在RVM的情况下计算，因为用于分析RVM的吉布斯采样器的收敛速率是未知的。通过对三个真实数据集的分析，比较了RVM和SPRVM的预测性能。
2021-07-05 cs.LG stat.ME stat.ML
Extensions of the solidarity principle of the spectral gap for Gibbs samplers to their blocked and collapsed variants
University of Florida（佛罗里达大学）
本文扩展了完整Gibbs采样器的固有原则，证明了阻塞和坍塌变体继承谱间隙，并通过例子说明其不继承几何平稳性。
2026-01-11 math.PR math.ST stat.CO
Ergodicity of Approximate MCMC Chains with Applications to Large Data Sets
在许多现代应用中，评估后验密度的困难使得即使执行单个MCMC步骤也很慢。这种困难可能是由棘手的似然函数引起的，但也出现在大型数据集的常规问题中。许多研究人员通过运行MCMC算法的近似版本做出了回应。在这篇文章中，我们给出了这些近似采样器遍历性的定量界。然后，我们使用这些界限来研究近似MCMC算法的偏差方差权衡。我们将我们的研究结果简单的版本，最近提出的算法，包括一个变种的“紧缩”框架Korratikara等人。
2015-08-24 math.PR math.ST stat.CO
On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression
在逻辑斯谛回归中，当预测因子的线性组合可以完美地分类样本中的部分或全部观测值时，分离发生，并且因此，回归系数的有限最大似然估计不存在。Gelman等人（2008）建议将独立柯西分布作为逻辑斯谛回归中回归系数的默认先验，即使在分离的情况下也是如此，并在其分析中报告了后验模式。由于柯西先验的均值不存在，一个自然的问题是分离下回归系数的后验均值是否存在。我们证明定理，提供了必要和充分条件下独立的柯西先验的logit链接和一般家庭的链接函数，包括概率链接后的手段存在。我们还研究了多元柯西先验下后验均值的存在性。对于完整的贝叶斯推断，我们开发了一个基于Polya-Gamma数据增强的Gibbs采样器，用于在独立的Student-t先验（包括Cauchy先验）下从后验分布中采样，并在补充中提供了配套的R软件包。我们的经验表明，即使在分离下的回归系数的后验均值存在，柯西先验的后验样本的大小可能是异常大，相应的吉布斯采样器显示出非常缓慢的混合。虽然Stan中的No-U-Turn Sampler等替代算法可以极大地改善混合，但为了解决分离下Cauchy先验的极重尾后验问题，需要考虑自由度大于1的轻尾先验，如正常先验或Student-t先验。
2017-02-09 stat.ME
A shrinkage-thresholding Metropolis adjusted Langevin algorithm for Bayesian variable selection
本文介绍了一种新的马尔可夫链蒙特卡罗方法，用于高维环境下贝叶斯变量的选择。该算法是一个黑斯廷斯-大都会采样器的建议机制，它结合了大都会调整的朗之万（MALA）的步骤，提出与收缩阈值的步骤，允许提出新的模型相关联的局部移动。证明了这种新的跨维马尔可夫链Monte Carlo采样器的几何遍历性。一个广泛的数值实验，模拟和真实的数据，提出了一些更经典的跨维算法相比，说明所提出的算法的性能。
2015-09-11 math.ST stat.TH
A Metropolized adaptive subspace algorithm for high-dimensional Bayesian variable selection
提出了一种简单有效的自适应马尔可夫链蒙特卡罗（MCMC）方法--Metropolized Adaptive Subspace（MAdaSub）算法，用于贝叶斯变量选择中的高维后验模型分布采样. MAdaSub算法基于独立的Metropolis-Hastings采样器，其中解释变量的个体建议概率在每次迭代后使用贝叶斯自适应学习的形式进行更新，以最终收敛到各自协变量的后验包含概率的方式。我们证明了算法的遍历性，并提出了一个并行版本的MAdaSub的适应计划的建议概率的基础上，从多个链的信息组合。该算法的有效性通过各种模拟和真实数据的例子，包括一个高维问题，超过20,000协变量证明。
2022-07-07 stat.CO stat.ME
Perfectly random sampling of truncated multinormal distributions
目标测量$μ$是随机向量在盒子$\cB$中的分布，盒子是有界区间的笛卡儿积。Gibbs采样器是具有不变测度$μ$的马尔可夫链。Gibbs采样器的“来自过去的耦合”构造用于显示动力学的遍历性并完美地模拟$μ$。然后实现了一种对具有截断为$\cB$的多正态分布的向量进行采样的算法。
2007-09-25 math.PR math.ST stat.TH
Gibbs Sampling using Anti-correlation Gaussian Data Augmentation, with Applications to L1-ball-type Models
针对 L1-ball-type 稀疏先验的后验计算瓶颈，提出反相关高斯数据增强与分块 Gibbs 抽样，实现低成本、快速混合并具有几何遍历性保证。
2024-04-06 stat.ME
Nonparametric Bayes dynamic modeling of relational data
对称二元矩阵表示实体之间的关系，在许多领域中是常见的。我们的重点是动态发展的二元关系矩阵，与兴趣是在推理的关系结构和预测。我们提出了一个非参数贝叶斯动态模型，它降低了通过低维潜在空间表示的特征的二进制矩阵的维数，通过高斯过程的潜坐标在连续时间演变。通过使用从概率矩阵空间到潜在关系空间的逻辑映射函数，我们得到了一个灵活且易于计算的公式。采用Pandelya-Gamma数据增强，一个有效的吉布斯采样器的后验计算，与自动推断的潜在空间的维数。我们提供了一些理论结果的模型的灵活性，并通过仿真实验来说明性能。我们还考虑了在世界金融市场的共同运动的应用。
2013-11-19 stat.ML
Multiscale Bernstein polynomials for densities
我们的重点是构建一个多尺度的非参数密度先验。贝叶斯密度估计文献主要是由单尺度方法，除了波利亚树，它有利于过度尖峰密度，即使当真相是光滑的。我们提出了一个多尺度的伯恩斯坦多项式家族的先验知识，它产生光滑的实现，不依赖于硬分区的支持。在无限深二元树的每个级别上，我们放置一个Beta字典密度;在一定范围内，密度相当于伯恩斯坦多项式。使用棒断裂表征，随机递减权重被分配给更精细尺度的字典元素。切片采样器用于后验计算，并描述了属性。该方法以局部变化的平滑度表征密度，并且可以产生一系列从粗到细的密度估计。介绍了一种扩展的贝叶斯测试组的差异，并适用于DNA甲基化阵列数据。
2014-10-03 stat.ME
Blocking Strategies and Stability of Particle Gibbs Samplers
在马尔可夫链蒙特卡罗方法的背景下，从隐马尔可夫模型的潜在状态的条件（或后验）概率分布中采样，给定所观察的过程的实现，是一个非平凡的问题。为此，Andrieu et al.（2010）构建了一个马尔可夫核，使用粒子滤波器保持这个条件分布不变。从从业者的角度来看，这个马尔可夫内核试图模拟的行为采样所有的潜在状态变量作为一个块从后验分布，但模型的精确模拟是不可能的。有一些最近的理论结果，建立了均匀遍历的马尔可夫核，混合率不会减少提供的粒子数至少线性增长的数量在后的潜在状态。这导致了内核的每次应用的成本，即潜在状态的数量是二次的，这对于长观测序列来说可能是禁止的。我们试图回答一个明显但重要的问题：是否有一个不同的实现，其每次迭代的成本随潜在状态的数量线性增长，但在这个意义上仍然是稳定的，它的混合率不会恶化？我们解决这个问题，使用阻塞策略，这是很容易并行化，并证明稳定的采样器。
2015-09-28 math.ST stat.TH
A generalized Bayesian approach to multiple changepoint analysis
Florida State University（佛罗里达州立大学）；University of Iowa（爱荷华大学）
本文提出一种通用贝叶斯方法用于多变化点分析，通过受多项逻辑回归启发的损失函数，无需指定数据生成过程，避免对变化点性质的限制，同时推断变化点位置和多项逻辑回归系数，通过模拟和应用展示其准确性和可解释性。
2026-03-26 stat.ME
Bayesian Boundary Trend Filtering
本文针对边界趋势估计问题，提出结合截断多元正态近似与Pólya-Gamma数据增广的贝叶斯趋势滤波方法，引入马蹄先验实现局部自适应收缩，还扩展了近似保序约束版本，经实验验证性能良好。
2023-11-10 stat.ME
Microbiome subcommunity learning with logistic-tree normal latent Dirichlet allocation
混合隶属度（MM）模型，如潜在狄利克雷分配（LDA）已被应用于微生物组成数据，以确定潜在的亚群落的微生物物种。这些亚群落对于理解微生物的生物相互作用和预测健康结果是有用的。然而，微生物组组成通常在亚群落组成中显示出实质性的跨样品异质性-即样品间共享亚群落中微生物比例的变异性-这在先前的分析中没有考虑到。因此，LDA可以产生推理，这是高度敏感的规格的数量的子社区，往往把一个单一的子社区到多个人工的。为了解决这个问题，我们将逻辑树正常（LTN）模型LDA形成一个新的MM模型。该模型允许每个子社区的组成围绕一些定义子社区的“质心”组成进行跨样本变化。结合辅助Pólya-Gamma变量，使计算效率高的崩溃块吉布斯采样器进行贝叶斯推断在这个模型下。通过考虑这种异质性，我们的新模型恢复了子社区数量规范中的推断的鲁棒性，并允许识别有意义的子社区。
2022-05-17 stat.AP stat.ML
Zero-inflated stochastic volatility model for disaggregated inflation data with exact zeros
The University of Tokyo（东京大学）
本文提出零膨胀随机波动模型，用于处理包含精确零的分解通胀数据，通过联合动态零生成过程提升时变趋势和波动率估计的准确性，并在预测中表现更优。
2026-03-03 stat.AP stat.ME
Efficient Bayesian Inference of Sigmoidal Gaussian Cox Processes
Technische Universität Berlin（柏林工业大学）
提出了一种估计非齐次泊松过程强度的近似贝叶斯推断方法，其中强度函数通过S型连接函数使用高斯过程（GP）先验建模.使用潜在的标记泊松过程和Pólya-Gamma随机变量来增强模型，我们获得了与GP先验共轭的可能性的表示。我们估计后使用变分自由形式的平均场优化与稀疏GP的框架。此外，作为替代近似，我们提出了一个稀疏的拉普拉斯方法的后，一个有效的期望-最大化算法推导出找到后的模式。这两种算法比较以及对精确的推理得到的马尔可夫链蒙特卡罗采样器和标准的变分高斯方法解决相同的模型，而一个数量级更快。此外，我们的方法的性能和速度是有竞争力的另一个最近提出的泊松过程模型的基础上的二次链接函数，而不限于GP与平方指数内核和矩形域。
2019-05-03 cs.LG stat.ML
Stochastic Gradient Descent as Approximate Bayesian Inference
Data Science Institute（数据科学研究所）；Columbia University（哥伦比亚大学）；Adobe Research（Adobe 研究院）；Adobe Systems Incorporated（Adobe 系统公司）
具有恒定学习率（恒定SGD）的随机梯度下降模拟具有平稳分布的马尔可夫链。从这个角度来看，我们得到了一些新的结果。(1)我们表明，常数SGD可以作为一个近似的贝叶斯后验推理算法。具体来说，我们将展示如何调整调整参数的恒定SGD最佳匹配的平稳分布的后验，最大限度地减少这两个分布之间的库尔贝克-莱布勒散度。(2)我们证明，恒定SGD产生一个新的变分期望最大化算法，优化超参数在复杂的概率模型。(3)我们还提出了SGD与动量采样，并显示如何相应地调整阻尼系数。(4)我们分析MCMC算法。对于Langevin动力学和随机梯度Fisher评分，我们量化了由于有限学习率而导致的近似误差。最后（5），我们使用随机过程的观点来给出为什么Polyak平均是最优的简短证明。基于这一思想，我们提出了一个可扩展的近似MCMC算法，平均随机梯度采样。
2018-01-19 cs.LG stat.ML
Finite Sample Properties of Adaptive Markov Chains via Curvature
自适应马尔可夫链是从概率分布抽样的一类重要的蒙特卡罗方法。自适应算法的时间演化依赖于过去的样本，因此这些算法是非马尔可夫的。虽然有以前的工作建立其遍历性的条件，没有太多的理论上知道他们的有限样本性质。本文利用Ollivier提出的马尔可夫核离散里奇曲率的概念，建立了一类自适应马尔可夫链的集中不等式和有限样本界。在建立了一些一般性的结果，我们给出了定量界的“多级”自适应算法，如等能量采样器。我们还提供了第一个严格的证明，有限的样本性质的等能量采样器优于相关的平行回火和大都市黑斯廷斯采样器的学习期后，他们的混合时间。
2014-10-01 math.PR math.ST stat.CO
Bayesian Nonparametric Factor Analysis via Marginalized Dirichlet Process Column Clustering with Spike-and-Slab Sparsity
St. Xavier’s College (Autonomous), Kolkata（加尔各答圣泽维尔学院（自治））；Indian Statistical Institute（印度统计研究所）
提出一种边缘化狄利克雷过程列聚类与尖峰- slab稀疏性的贝叶斯非参数因子模型，自适应推断因子数并合并冗余字典，实现最优收缩率，在模拟和乳腺癌数据中优于基线。
2026-09-29 math.ST stat.AP stat.ME
A Framework of Zero-Inflated Bayesian Negative Binomial Regression Models For Spatiotemporal Data
该研究提出一种基于贝叶斯框架的零膨胀负二项回归模型，利用Pólya-Gamma潜变量和最近邻高斯过程处理大规模时空数据中的大量零值，并应用于佛罗里达州COVID-19死亡数据分析。
2024-02-06 stat.CO stat.ME
A Bayesian Approach to Unit-level Dependent Multi-type Survey Data
University of Missouri（密苏里大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）
本文提出一种贝叶斯分层框架，联合建模单位层面的高斯和二项式调查数据，通过共享区域随机效应捕捉响应间依赖，采用伪似然和Polya-Gamma数据增强实现高效推断，实验证明该模型在均方误差和区间评分上优于传统方法。
2026-04-16 stat.ME
