Geometric ergodicity of Gibbs samplers for linear latent models with GIG variance mixtures
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Lund University(隆德大学)
本文研究了广义逆高斯方差混合模型中Gibbs采样器的几何遍历性,通过迹类算子和漂移次要性方法,证明其在参数空间的广泛适用性,并验证了最大似然估计的一致性。
2026-02-08 math.PR math.ST stat.TH
Uniform ergodicity of the Particle Gibbs sampler
粒子吉布斯(PG)采样器是在马尔可夫链蒙特卡罗(MCMC)中使用粒子滤波器的系统方法。这导致在状态轨迹的空间上的现成的马尔可夫核,其可用于从MCMC方案中的状态空间模型的全联合平滑分布进行模拟。我们表明,PG马尔可夫内核是一致遍历的相当一般的假设下,我们将仔细审查和讨论。特别是,我们提供了一个显式的收敛速率,它揭示了:(i)对于固定数量的数据点,可以通过增加粒子数量来使收敛速度任意好,以及(ii)在一般混合假设下,可以通过超线性地增加粒子数量来保持收敛速度恒定观察次数。通过对两种常见的非紧状态空间模型的详细研究,说明了本文结果的适用性。
2014-02-05 math.PR math.ST stat.TH
A shrinkage-thresholding Metropolis adjusted Langevin algorithm for Bayesian variable selection
本文介绍了一种新的马尔可夫链蒙特卡罗方法,用于高维环境下贝叶斯变量的选择。该算法是一个黑斯廷斯-大都会采样器的建议机制,它结合了大都会调整的朗之万(MALA)的步骤,提出与收缩阈值的步骤,允许提出新的模型相关联的局部移动。证明了这种新的跨维马尔可夫链Monte Carlo采样器的几何遍历性。一个广泛的数值实验,模拟和真实的数据,提出了一些更经典的跨维算法相比,说明所提出的算法的性能。
2015-09-11 math.ST stat.TH
Approximating the Spectral Gap of the Pólya-Gamma Gibbs Sampler
由Pólya-Gamma Gibbs采样器定义的自伴正马尔可夫算子(在适当的正态先验下)被证明是迹类,这意味着它的谱的所有非零元素都是特征值。因此,频谱间隙是$1-λ_*$,其中$λ_* \in [0,1)$是第二大本征值。通过将Qin等人(2019)的经典Monte Carlo技术应用于Pólya-Gamma Gibbs采样器,开发了一种为$λ_*$上界构建渐近有效置信区间的方法。结果表明,使用德国的信贷数据。它还表明,在一般情况下,一致遍历并不意味着迹类性质,也不迹类性质意味着一致遍历。
2021-04-27 math.ST stat.TH
Fast Monte Carlo Markov chains for Bayesian shrinkage models with random effects
当使用一般线性混合模型执行贝叶斯数据分析时,所得的后验密度几乎总是难以解析的。然而,如果使用适当的条件共轭先验,则存在一个简单的两块吉布斯采样器,该采样器在几乎所有实际设置中都是几何遍历的,包括$p > n$的情况(Abrahamsen和Hobert,2017)。不幸的是,$β$的(条件共轭)多元正态先验在$p \gg n$的高维环境中表现不佳。在本文中,我们考虑一种替代模型,其中多元正态先验被Griffin和Brown(2010)开发的正态-gamma收缩先验所取代。这一变化导致了更为复杂的后验密度,我们开发了一个简单的MCMC算法来探索它,该算法具有确定性和随机扫描组件,比更明显的三步Gibbs采样器更容易分析。事实上,我们证明了新算法是几何遍历在大多数实际设置。
2017-11-18 math.ST stat.TH
Analysis of the Polya-Gamma block Gibbs sampler for Bayesian logistic linear mixed models
在这篇文章中,我们使用Polson等人(2013)的数据增强技术,在适当的先验条件下,使用Polya-Gamma潜变量构建了贝叶斯逻辑线性混合模型的两块Gibbs采样器。此外,我们证明了这种Gibbs抽样的一致遍历性,这保证了基于MCMC估计的中心极限定理的存在性。
2017-11-17 math.ST stat.TH
Bayesian Structure Learning in Graphical Models using Shrinkage priors
我们考虑在稀疏性假设下学习高维精度矩阵结构的问题。我们建议使用收缩先验,称为DL-图形先验的基础上的狄利克雷-拉普拉斯先验用于高斯均值问题。同时给出了一种基于Gibbs抽样的后验抽样方案,并通过精度矩阵的后验收敛速度给出了该方法的理论保证。
2019-07-26 math.ST stat.ME stat.TH
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程(PDMP),作为马尔可夫链蒙特卡罗(MCMC)的替代方法。为了便于应用到更大的一类问题,我们提出了一类新的PDMP称为吉布斯之字形采样器,它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应,并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
Trace class Markov chains for the Normal-Gamma Bayesian shrinkage model
高维数据,其中变量的数量超过或相当于样本量,现在在许多科学应用中很普遍。近年来,贝叶斯收缩模型已被开发为分析此类数据的有效且计算上可行的工具,特别是在线性回归的背景下。本文主要研究Griffin和Brown提出的Normal-Gamma收缩模型。该模型包含了流行的贝叶斯套索模型,Griffin和Brown已经开发了一种三块Gibbs抽样算法来从所产生的棘手的后验分布中进行抽样。我们考虑一种替代的两块吉布斯采样算法,并严格证明其优势,通过比较特定的频谱特性的三块采样器。特别是,我们表明,马尔可夫算子对应的两块采样器是迹族(因此希尔伯特-施密特),而对应的三块采样器的操作员甚至不是希尔伯特-施密特。两块采样器的迹族属性意味着相关的马尔可夫链的几何收敛,这证明了使用马尔可夫链CLT的MCMC为基础的估计获得实际的误差界。此外,它有利于理论比较的两块采样器与三明治算法,旨在提高性能,通过插入廉价的额外步骤之间的两个条件绘制的两块采样器。
2018-04-16 math.ST stat.TH
Extensions of the solidarity principle of the spectral gap for Gibbs samplers to their blocked and collapsed variants
University of Florida(佛罗里达大学)
本文扩展了完整Gibbs采样器的固有原则,证明了阻塞和坍塌变体继承谱间隙,并通过例子说明其不继承几何平稳性。
2026-01-11 math.PR math.ST stat.CO
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型,这是实际相关的意义上说,它是足够普遍的,有许多应用程序,它不是直接从相应的后验分布直接采样。因此,我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是,我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之,我们的研究结果为从业者提供了工具,使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
Generalized double Pareto shrinkage
提出了一种广义双Pareto先验,用于线性模型中的贝叶斯收缩估计和推断.先验可以通过拉普拉斯或正态分布的尺度混合来获得,从而在拉普拉斯先验和正态Jeffreys先验之间形成桥梁。虽然它像拉普拉斯密度一样在零处有尖峰,但它也有学生$t$样的尾部行为。贝叶斯计算是直接通过一个简单的吉布斯抽样算法。我们调查的最大后验估计的性质,稀疏估计在许多问题中起着重要的作用,揭示了一些完善的正则化程序的连接,并显示一些渐近结果。通过仿真和实际应用,验证了该算法的有效性。
2013-01-26 math.ST stat.ME stat.ML
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中,我们考虑马尔可夫链蒙特卡罗(MCMC)算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是,我们构造的两块吉布斯采样器使用的数据增强(DA)技术。此外,我们证明了Gibbs抽样的几何遍历性,这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时,我们也提供了后适当的条件。一般而言,用于DA的Haar参数展开(PX- DA)算法是DA算法的改进,并且已经表明,它在理论上至少与DA算法一样好。在这里,我们构建了一个Haar PX DA算法,它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的,而与向量自回归的阶数和维数无关,并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言,几何收敛速度被证明是有界的渐近远离团结,几乎肯定或概率趋于一,这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Sequential Monte Carlo as Approximate Sampling: bounds, adaptive resampling via $\infty$-ESS, and an application to Particle Gibbs
序贯蒙特卡罗(SMC)算法最初是为估计状态空间模型中的棘手条件期望而设计的,但现在通常用于在通用贝叶斯推理的上下文中生成近似样本。特别是,SMC算法经常被用作子程序内较大的蒙特卡罗计划,在这种情况下,放在SMC的要求是不同的:控制的均方误差是不够的-一个需要控制的发散直接从目标分布。为了实现这一目标,我们引入了条件自适应恢复粒子滤波器,建立在Gordon,Salmond和Smith(1993),Andrieu,Doucet和Holenstein(2010)以及Whiteley,Lee和Heine(2016)的工作基础上。通过控制有效样本量的新概念,$\infty$ -ESS,我们建立了由此产生的SMC采样算法的效率,提供了Andrieu,Lee和Vihola(2013)工作的自适应恢复扩展。我们应用我们的研究结果,以达到新的发散范围SMC采样器的自适应rescue以及自适应rescue版本的粒子吉布斯算法具有相同的几何遍历保证其非自适应对应。
2017-04-10 math.ST stat.CO stat.TH
Perfectly random sampling of truncated multinormal distributions
目标测量$μ$是随机向量在盒子$\cB$中的分布,盒子是有界区间的笛卡儿积。Gibbs采样器是具有不变测度$μ$的马尔可夫链。Gibbs采样器的“来自过去的耦合”构造用于显示动力学的遍历性并完美地模拟$μ$。然后实现了一种对具有截断为$\cB$的多正态分布的向量进行采样的算法。
2007-09-25 math.PR math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的,因为任何非平凡的前导致一个棘手的后验密度。然而,如果采用条件共轭先验密度,则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中,一个常见的缺陷是不适当的先验,它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果,因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的,从实用的角度来看,因为它保证了存在的中心极限定理,允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
A Hybrid Scan Gibbs Sampler for Bayesian Models with Latent Variables
吉布斯抽样是一种广泛流行的马尔可夫链蒙特卡罗算法,可用于分析与贝叶斯分层模型相关的棘手的后验分布。吉布斯采样器有两个标准版本:系统扫描(SS)版本,其中所有变量在每次迭代时更新,以及随机扫描(RS)版本,其中单个随机选择的变量在每次迭代时更新。文献比较SS和RS吉布斯采样器的理论特性进行了审查,并介绍了一种替代的混合扫描吉布斯采样器,这是特别适合于贝叶斯模型的潜变量。“混合”一词反映了这样的事实,即在该算法中使用的扫描具有系统和随机元两者。事实上,在每次迭代中,我们都会更新整个潜在变量集,以及随机选择的剩余变量块。混合扫描(HS)Gibbs采样器与两种标准扫描Gibbs采样器相比具有重要的优点。首先,HS算法通常更容易从理论角度进行分析。特别地,建立HS吉布斯马尔可夫链的几何遍历性比对相应的SS和RS版本做同样的事情要容易得多。其次,在Hobert和Marchev(2008)中开发的三明治方法,也被审查,可以应用于HS吉布斯算法(但不适用于标准扫描吉布斯采样器)。结果表明,在弱正则性条件下,添加三明治步骤的HS吉布斯采样器总是导致在理论上优越的算法。三个具体的贝叶斯层次模型的不同复杂性来说明的结果。一个是一个简单的位置规模模型的数据从学生的$t$分布,这是作为一个教学工具。另外两个是复杂但实用的贝叶斯回归模型。
2019-12-30 math.ST stat.TH
Blocking Strategies and Stability of Particle Gibbs Samplers
在马尔可夫链蒙特卡罗方法的背景下,从隐马尔可夫模型的潜在状态的条件(或后验)概率分布中采样,给定所观察的过程的实现,是一个非平凡的问题。为此,Andrieu et al.(2010)构建了一个马尔可夫核,使用粒子滤波器保持这个条件分布不变。从从业者的角度来看,这个马尔可夫内核试图模拟的行为采样所有的潜在状态变量作为一个块从后验分布,但模型的精确模拟是不可能的。有一些最近的理论结果,建立了均匀遍历的马尔可夫核,混合率不会减少提供的粒子数至少线性增长的数量在后的潜在状态。这导致了内核的每次应用的成本,即潜在状态的数量是二次的,这对于长观测序列来说可能是禁止的。我们试图回答一个明显但重要的问题:是否有一个不同的实现,其每次迭代的成本随潜在状态的数量线性增长,但在这个意义上仍然是稳定的,它的混合率不会恶化?我们解决这个问题,使用阻塞策略,这是很容易并行化,并证明稳定的采样器。
2015-09-28 math.ST stat.TH
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型(Albert和Chib(1993))是流行的,广泛用于二元回归。虽然在没有任何先验信息的情况下,回归系数的不适当的平坦先验是适当的选择,但是当先验信息可用时或者在系数的数量($p$)大于样本大小($n$)的现代高维设置中,适当的正态先验是期望的。对于这两种选择的先验,由此产生的后验密度是棘手的,数据Dugmentation(DA)马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的,因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中,我们首先表明,在正常的先验的情况下,DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$,$n$和$p$(不像不适当的先验的情况下,其中$n \geq p$和另一个条件$X$后的适当性本身)。我们还得到了DA马尔可夫链是迹类的充分条件,即,相应算子的本征值是可求和的。特别是,这使我们能够得出结论,Haar PX-DA三明治算法(通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得)在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH