Approximating the Spectral Gap of the Pólya-Gamma Gibbs Sampler
由Pólya-Gamma Gibbs采样器定义的自伴正马尔可夫算子(在适当的正态先验下)被证明是迹类,这意味着它的谱的所有非零元素都是特征值。因此,频谱间隙是$1-λ_*$,其中$λ_* \in [0,1)$是第二大本征值。通过将Qin等人(2019)的经典Monte Carlo技术应用于Pólya-Gamma Gibbs采样器,开发了一种为$λ_*$上界构建渐近有效置信区间的方法。结果表明,使用德国的信贷数据。它还表明,在一般情况下,一致遍历并不意味着迹类性质,也不迹类性质意味着一致遍历。
2021-04-27 math.ST stat.TH
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中,我们考虑马尔可夫链蒙特卡罗(MCMC)算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是,我们构造的两块吉布斯采样器使用的数据增强(DA)技术。此外,我们证明了Gibbs抽样的几何遍历性,这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时,我们也提供了后适当的条件。一般而言,用于DA的Haar参数展开(PX- DA)算法是DA算法的改进,并且已经表明,它在理论上至少与DA算法一样好。在这里,我们构建了一个Haar PX DA算法,它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Extensions of the solidarity principle of the spectral gap for Gibbs samplers to their blocked and collapsed variants
本文扩展了完整Gibbs采样器的固有原则,证明了阻塞和坍塌变体继承谱间隙,并通过例子说明其不继承几何平稳性。
2026-01-11 math.PR math.ST stat.CO
Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型,并表明,各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索,贝叶斯组套索,和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在,并确保可靠的输出分析。我们的几何遍历性的结果,使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
Sufficient burn-in for Gibbs samplers for a hierarchical random effects model
我们认为吉布斯和块吉布斯抽样的贝叶斯分层版本的单向随机效应模型。漂移和最小化条件建立的基础马尔可夫链。漂移和少数化与J. S。罗森塔尔[J. Amer. Statistist. Assoc.90(1995)558-566]和G. O. Roberts和R. L.特威迪[随机过程。Appl. 80(1999)211-229]来构造关于到平稳性的距离的分析上界。这些导致上界的烧伤,这是需要得到一个预先指定的(全变差)的距离内的固定分布链的量。最后用数值例子说明了结果。
2004-06-23 math.ST stat.TH
On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析,这是研究马尔可夫链蒙特卡罗(MCMC)算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的,部分原因是固定的$n$和$p$的现有结果根本不够尖锐,不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal(2019)提出的,他们为Rosenthal(1996)引入和研究的Gibbs采样器(用于简单的贝叶斯随机效应模型)建立了混合时间结果。然而,这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术(秦等。例如,2019)以提供实质性的数值证据,即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果,两个不同的吉布斯采样器与Rosenthal(1996)考虑的随机效应模型的推广。我们的结果表明,在强正则性条件下,这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
Geometric ergodicity of Gibbs samplers for the Horseshoe and its regularized variants
马蹄铁是高维贝叶斯线性回归中广泛使用的一种连续收缩先验。最近,正则化版本的马蹄事先也已在文献中介绍。在文献中已经开发了各种吉布斯采样马尔可夫链,以从相应的难处理的后验密度生成近似样本。建立这些马尔可夫链的几何遍历性为基于马尔可夫链的后验量估计的渐近标准误差的准确性提供了关键的技术依据。在本文中,我们建立了几何遍历对应于马蹄先验及其正则化变量的线性回归的背景下,各种吉布斯采样。首先,我们建立了几何遍历的吉布斯采样器的原始马蹄后严格弱于现有的分析文献中的条件下。其次,我们考虑了Piironen和Vehtari(2017)中引入的正则化马蹄先验,并证明了Gibbs采样马尔可夫链从相应的后验中采样的几何遍历性,而无需对全局和局部收缩参数进行任何截断约束。最后,我们考虑Nishimura和Suchard(2020)中引入的正则化马蹄先验的一个变体,并再次建立Gibbs采样马尔可夫链的几何遍历性,以从相应的后验中采样。
2021-01-02 math.ST stat.TH
On the convergence rate of the "out-of-order" block Gibbs sampler
它表明,一个看似无害的块吉布斯采样器中的步骤重新排序,实际上可以使算法无效。特别地,由"无序"块吉布斯采样器模拟的马尔可夫链不具有正确的不变概率分布。然而,尽管具有错误的不变分布,马尔可夫链以与原始块吉布斯马尔可夫链相同的速率收敛。更具体地说,它表明,要么两个马尔可夫链是几何遍历(具有相同的几何收敛速率),或者都不是。这些结果从实际的观点来看是重要的,因为(无效的)无序算法可能比(有效的)块吉布斯采样器更容易分析(参见,例如,Yang和Rosenthal [2019])。
2021-10-27 math.ST stat.CO stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的,因为任何非平凡的前导致一个棘手的后验密度。然而,如果采用条件共轭先验密度,则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中,一个常见的缺陷是不适当的先验,它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果,因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的,从实用的角度来看,因为它保证了存在的中心极限定理,允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
Mixing Time Bounds for the Gibbs Sampler under Isoperimetry
Imperial College London(伦敦帝国理工学院);Qube Research & Technologies(Qube研究与科技公司)
本文基于等周性条件,推导了系统扫描和随机扫描基尔丁采样器的导电性界,扩展了对基尔丁采样收敛行为的理解,并展示了结果对log-Lipschitz和log-smooth目标分布的有效性。
2026-04-27 math.PR math.ST stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的,而与向量自回归的阶数和维数无关,并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言,几何收敛速度被证明是有界的渐近远离团结,几乎肯定或概率趋于一,这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Posterior computation with the Gibbs zig-zag sampler
最近提出了一类有趣的分段确定性马尔可夫过程(PDMP),作为马尔可夫链蒙特卡罗(MCMC)的替代方法。为了便于应用到更大的一类问题,我们提出了一类新的PDMP称为吉布斯之字形采样器,它允许参数更新块与之字形采样器应用于某些参数和传统的MCMC风格的更新其他。我们证明了这个框架的灵活性后验抽样的逻辑模型与收缩先验的高维回归和随机效应,并提供几何遍历性和有效性的中心极限定理的条件。
2022-05-22 math.ST stat.CO stat.TH
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣,收敛复杂性分析是研究蒙特卡罗马尔可夫链(对于难以处理的贝叶斯后验分布)的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题,而且很少有成功的分析。秦和霍伯特(2021 b)最近提出了一个富有成效的分析,他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明,在规则性条件下,随着数据集大小的增加,该吉布斯采样器的几何收敛速度收敛到零。本文表明,吉布斯采样器表现出类似的行为,更一般的贝叶斯模型,具有随机效应和传统的连续协变量,所谓的混合模型。该分析采用了Qin和Hobert(2021 b)介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Convergence analysis of block Gibbs samplers for Bayesian linear mixed models with $p>N$
探索与一般线性混合模型的贝叶斯版本相关的棘手的后验分布,经常使用马尔可夫链蒙特卡罗。特别地,如果使用条件共轭先验,则存在可用的简单两块吉布斯采样器。Román和Hobert [线性代数Appl. 473(2015)54-77]表明,当先验是适当的并且$X$矩阵具有满列秩时,这些Gibbs采样器下的马尔可夫链几乎总是几何遍历的。在本文中,Román和Hobert(2015)的结果通过允许方差分量上的不适当先验,更重要的是,通过删除$X$矩阵上的所有假设来扩展。因此,$X$不仅允许(列)秩亏,这在参数化固定效应时提供了额外的灵活性,还允许列数多于行数,这在$p>N$越来越重要的情况下是必要的。关于$X$的满秩假设是Román和Hobert(2015)证明的核心。因此,扩展到无限制的$X$需要一个完全不同的分析。
2016-09-30 math.ST stat.TH
Convergence rate of a collapsed Gibbs sampler for crossed random effects models
本文分析了交叉随机效应模型的折叠Gibbs抽样的收敛速度。我们的研究结果适用于一个比以前的作品,包括模型,将缺失机制和不平衡的水平数据的更大范围的模型。在我们的分析中涉及的理论工具包括弛豫时间和自回归矩阵,集中不等式,和随机矩阵理论之间的连接。
2021-10-21 math.ST stat.CO stat.ME
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中,在没有先验信息的情况下,回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的(2013)数据增强(DA)算法。在本文中,我们建立了马尔可夫链的基础上Polson等人。的(2013)DA算法是几何遍历的。证明这一理论结果具有重要的实际意义,因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Spectral gap bounds for reversible hybrid Gibbs chains
本文针对可逆混合Gibbs采样器收敛性质研究不足的问题,提出新方法建立其收敛速率界,证明混合Gibbs链绝对谱间隙可由精确链及近似用马尔可夫链的谱间隙界定,并拓展至混合数据增强算法,应用于三类采样器实例。
2025-03-21 math.PR math.ST stat.TH
Efficient Gibbs Sampling for Markov Switching GARCH Models
我们开发了有效的模拟技术,贝叶斯推理切换Gestro模型。我们对现有文献的贡献是多方面的。首先,我们讨论了不同的多移动采样技术的马尔可夫切换(MS)状态空间模型,特别是注意MS-Gesthem模型。我们的多移动采样策略是基于前向滤波后向采样(FFBS)应用于近似的MS-Gestro。另一个重要的贡献是使用多点采样器,如多尝试Metropolis(MTM)和多尝试Metropolize独立采样器,结合FFBS用于MS-Gestro过程。在这个意义上,我们将So [2006]关于连续状态空间模型的有效MTM采样器的工作扩展到MS状态空间模型。最后,我们建议通过在FFBS中引入Craiu和Meng [2005]和Craiu和Lemieux [2007]的对偶抽样来进一步提高抽样效率。在MS-GBS模型上的仿真实验表明,与单移动Gibbs抽样相比,多点多移动抽样策略可以提高抽样效率。
2012-12-21 math.ST stat.TH
Spectral Telescope: Convergence Rate Bounds for Random-Scan Gibbs Samplers Based on a Hierarchical Structure
随机扫描吉布斯采样器具有自然的层次结构。该结构将针对高维分布的Gibbs采样器连接到针对低维分布的Gibbs采样器。这导致了它们的光谱间隙的准伸缩性质。基于这一性质,我们得到了一般域上Gibbs采样器的谱间隙和收敛速度的三个新的界。这三个界限分别与链的谱间隙、目标分布的相关结构、一类随机游动链和一组影响矩阵有关。值得注意的是,我们的结果之一,推广的技术谱独立,这已收到相当大的关注,其成功的有限域,一般状态空间。我们说明了我们的方法,通过采样器针对均匀分布的一个角落的$n$立方体。
2022-10-14 cs.DS math.PR math.ST
MALA-within-Gibbs samplers for high-dimensional distributions with sparse conditional structure
马尔可夫链蒙特卡罗(MCMC)采样器是用于从给定目标概率分布中抽取样本的数值方法。我们讨论了一个特殊的MCMC采样器,MALA内吉布斯采样器,从理论和实践的角度。我们首先表明,这个采样器的接受率和步长是独立的整体问题的尺寸时,(i)的目标分布具有稀疏的条件结构,和(ii)这种结构是反映在部分更新策略的MALA-within-Gibbs。此外,如果目标密度是分块对数凹的,则采样器的收敛速度与维数无关。从实际的角度来看,我们希望MALA-within-Gibbs是有用的解决高维贝叶斯推断问题,后验显示稀疏条件结构至少近似。在这种情况下,必须找到一个分区的状态,正确地反映了稀疏的条件结构,我们说明了这个过程中的两个数值例子。我们还讨论了用于部分更新的块大小和可能随着块数量增加而增加的计算要求之间的权衡。
2020-03-18 math.ST stat.CO stat.ME
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间,在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果,并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Entropy contraction of the Gibbs sampler under log-concavity
Duke University(杜克大学);Bocconi University(博科尼大学)
本文研究了在强log-concave条件下吉布斯采样的熵收缩特性,证明了其收敛速率与条件数线性相关,并探讨了非强log-concave情况下的收敛退化及扩展应用。
2026-01-20 math.PR math.ST stat.CO
Uniform ergodicity of the Particle Gibbs sampler
粒子吉布斯(PG)采样器是在马尔可夫链蒙特卡罗(MCMC)中使用粒子滤波器的系统方法。这导致在状态轨迹的空间上的现成的马尔可夫核,其可用于从MCMC方案中的状态空间模型的全联合平滑分布进行模拟。我们表明,PG马尔可夫内核是一致遍历的相当一般的假设下,我们将仔细审查和讨论。特别是,我们提供了一个显式的收敛速率,它揭示了:(i)对于固定数量的数据点,可以通过增加粒子数量来使收敛速度任意好,以及(ii)在一般混合假设下,可以通过超线性地增加粒子数量来保持收敛速度恒定观察次数。通过对两种常见的非紧状态空间模型的详细研究,说明了本文结果的适用性。
2014-02-05 math.PR math.ST stat.TH
Gibbs sampling for mixtures in order of appearance: the ordered allocation sampler
吉布斯抽样方法是对混合模型进行后验推断的标准工具。这些方法大致分为两类:边际方法和条件方法。虽然条件采样器比边际采样器适用范围更广,但它们可能会在无限混合中混合缓慢,需要某种形式的截断,无论是确定性的还是随机的。在具有随机数组分的混合物中,探索不同维度的参数空间也可能是具有挑战性的。我们解决这些问题的混合物组分表示的随机顺序的外观在一个可交换的序列由混合分布。我们推导出一个采样器,这是简单的混合分布与易处理的大小偏置有序的权重,可以很容易地适应混合模型的边际采样器是不可用的。在无限混合物中,不需要任何形式的截断。对于具有随机维数的有限混合物,通过阻塞参数获得了组分数量的简单更新,从而缓解了通过Metropolis-Hastings步骤在跨维移动中发现的挑战。此外,采样发生在有序分区的空间中,其中块以最小元素顺序标记,这赋予采样器良好的混合特性。所提出的算法的性能进行了评估,在仿真研究。
2023-02-20 math.ST stat.ME stat.TH
Analysis of the Gibbs sampler for hierarchical inverse problems
在实际应用中,许多反问题都是由未知参数为场的连续介质模型引起的。在实践中,未知字段被离散化,导致$\mathbb{R}^N$中的问题,应当理解,细化离散化,即增加$N$,通常是期望的。在贝叶斯反演的背景下,这种情况表明两个问题的重要性:(i)以这样的方式定义超参数,即它们在连续极限$N \to \infty$中是可解释的,并且它们的值可以在不同的离散化水平之间进行比较;(ii)理解用于探测后验分布的算法的效率,作为大$N.$的函数这里我们在基于未知场的高斯先验和超参数的逆伽马先验的分层建模框架内的受加性高斯噪声影响的线性逆问题的上下文中解决这两个问题,即先前方差的幅度。该模型的结构是这样的吉布斯采样器可以很容易地实现探测的后验分布。订阅的教条,一个人应该认为在有限维实现之前,无限维,我们提出了函数空间的直觉,并提供严格的理论表明,随着$N$增加,吉布斯采样器的组件,用于采样的幅度的先验方差变得越来越慢。我们讨论了一个重新参数化的先验方差,是强大的维数的增加,我们给出的数值实验表明,我们的重新参数化防止放缓。我们的直觉上的行为的先验超参数,有和没有重新参数化,是足够普遍的,包括广泛的一类非线性反问题,以及其他家庭的超先验。
2014-07-15 math.ST stat.TH
Blocking Strategies and Stability of Particle Gibbs Samplers
在马尔可夫链蒙特卡罗方法的背景下,从隐马尔可夫模型的潜在状态的条件(或后验)概率分布中采样,给定所观察的过程的实现,是一个非平凡的问题。为此,Andrieu et al.(2010)构建了一个马尔可夫核,使用粒子滤波器保持这个条件分布不变。从从业者的角度来看,这个马尔可夫内核试图模拟的行为采样所有的潜在状态变量作为一个块从后验分布,但模型的精确模拟是不可能的。有一些最近的理论结果,建立了均匀遍历的马尔可夫核,混合率不会减少提供的粒子数至少线性增长的数量在后的潜在状态。这导致了内核的每次应用的成本,即潜在状态的数量是二次的,这对于长观测序列来说可能是禁止的。我们试图回答一个明显但重要的问题:是否有一个不同的实现,其每次迭代的成本随潜在状态的数量线性增长,但在这个意义上仍然是稳定的,它的混合率不会恶化?我们解决这个问题,使用阻塞策略,这是很容易并行化,并证明稳定的采样器。
2015-09-28 math.ST stat.TH
Geometric ergodicity of Gibbs samplers for linear latent models with GIG variance mixtures
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Lund University(隆德大学)
本文研究了广义逆高斯方差混合模型中Gibbs采样器的几何遍历性,通过迹类算子和漂移次要性方法,证明其在参数空间的广泛适用性,并验证了最大似然估计的一致性。
2026-02-08 math.PR math.ST stat.TH
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型,这是实际相关的意义上说,它是足够普遍的,有许多应用程序,它不是直接从相应的后验分布直接采样。因此,我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是,我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之,我们的研究结果为从业者提供了工具,使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
GIST: Gibbs self-tuning for locally adaptive Hamiltonian Monte Carlo
Rutgers University(罗格斯大学);Flatiron Institute(平果研究所);Stanford University(斯坦福大学)
本文提出了一种新的灵活框架,通过基于每一步的位置和动量进行Gibbs采样来构建局部自适应Hamilton-Monte Carlo(HMC)采样器。GIST方法能够适应路径长度的采样,涵盖了随机HMC、多项式HMC、无U-turn采样器(NUTS)和Apogee-to-Apogee路径采样器等特殊情况。
2025-06-24 math.ST stat.CO stat.ML
Fast increased fidelity approximate Gibbs samplers for Bayesian Gaussian process regression
高斯过程(GP)的使用得到了有效的采样算法,丰富的方法学文献和强大的理论基础的支持。然而,由于其禁止的计算和存储需求,在贝叶斯模型中使用精确的GP仅限于包含最多几千个观测值的问题。采样需要以$\mathcal{O}(n^3),$缩放的矩阵运算,其中$n$是唯一输入的数量。单个矩阵的存储在$\mathcal{O}(n^2),$上扩展,并且可以迅速压倒大多数现代计算机的资源。为了克服这些瓶颈,我们开发了一个采样算法,使用$\mathcal{H}$矩阵近似的矩阵,包括GP后验协方差。这些矩阵可以在机器精度内近似真实的条件协方差阵,并允许在$\mathcal{O}(n \ \mbox{log}^2 n)$时间缩放的采样算法和在$\mathcal{O}(n \ \mbox{log} \ n).$的存储需求缩放。我们还描述了如何将这些算法用作构建块,以在$\mathcal{O}(d \ n \ \mbox{log}^2 n)$上对高维表面进行建模,其中$d$是使用一维GP的张量积来考虑的表面的维度。虽然已经提出了各种可扩展的过程,用于近似贝叶斯GP推理时,$n$是大的,据我们所知,这些方法都没有显示,近似的Kullback-Leibler发散到真正的后验可以任意小,可能不会比有限的计算机算法提供的近似差。我们描述了$\mathcal{H}-$矩阵,给出了一个有效的吉布斯采样器使用这些矩阵的一维…
2020-06-11 math.ST stat.ME stat.TH
Multivariate strong invariance principle and uncertainty assessment for time in-homogeneous cyclic MCMC samplers
该研究为时间非齐次循环MCMC采样器相关马尔可夫链建立了速率与时齐情形最优速率一致的多元强不变性原理,据此推导了多元批均值估计强相合性与固定体积序贯终止规则渐近有效的条件,并通过数值实验验证了相关不确定性评估工具。
2024-05-16 math.ST stat.CO stat.TH
Geometric Ergodicity of Gibbs Algorithms for a Normal Model With a Global-Local Shrinkage Prior
本文研究了具有全局-局部收缩先验的正态线性回归模型的 Gibbs 采样器,证明了其几何遍历性,提出了实用的拒绝采样方法,并通过模拟验证了其有效性。
2025-10-13 math.ST stat.CO stat.TH
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而,当参数仅通过似然性弱识别时,后验结果可能会像前验结果一样具有较重的尾部,从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”,从而产生先验的正则化版本。我们开发了一种正则化方法,与以前的建议不同,它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质,重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明,提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上,唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$,在贝叶斯桥先验的情况下,我们表明,采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
A mixing time bound for Gibbs sampling from log-smooth log-concave distributions
本文研究了 Gibbs 采样器在对数平滑且强对数凹分布上的行为,证明了在初始分布为 $M$-warm 的假设下,其达到指定总变差距离误差所需的混合时间上界。
2024-12-23 cs.DS math.ST stat.ML
Perfectly random sampling of truncated multinormal distributions
目标测量$μ$是随机向量在盒子$\cB$中的分布,盒子是有界区间的笛卡儿积。Gibbs采样器是具有不变测度$μ$的马尔可夫链。Gibbs采样器的“来自过去的耦合”构造用于显示动力学的遍历性并完美地模拟$μ$。然后实现了一种对具有截断为$\cB$的多正态分布的向量进行采样的算法。
2007-09-25 math.PR math.ST stat.TH
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型(Albert和Chib(1993))是流行的,广泛用于二元回归。虽然在没有任何先验信息的情况下,回归系数的不适当的平坦先验是适当的选择,但是当先验信息可用时或者在系数的数量($p$)大于样本大小($n$)的现代高维设置中,适当的正态先验是期望的。对于这两种选择的先验,由此产生的后验密度是棘手的,数据Dugmentation(DA)马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的,因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中,我们首先表明,在正常的先验的情况下,DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$,$n$和$p$(不像不适当的先验的情况下,其中$n \geq p$和另一个条件$X$后的适当性本身)。我们还得到了DA马尔可夫链是迹类的充分条件,即,相应算子的本征值是可求和的。特别是,这使我们能够得出结论,Haar PX-DA三明治算法(通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得)在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Scalability of Metropolis-within-Gibbs schemes for high-dimensional Bayesian models
本文研究了高维贝叶斯模型中Metropolis-within-Gibbs方案的收敛性,通过条件电导分析其性能,并讨论了在非共轭分层模型中的应用及相关理论扩展。
2026-01-09 math.ST stat.CO stat.ML
Fast Gibbs sampling for high-dimensional Bayesian inversion
Centre for Medical Image Computing, University College London(医学图像计算中心,伦敦大学学院)
本文提出了一种改进的吉布斯采样方法,用于高维贝叶斯反演问题,支持多种先验分布,如一般ℓ_𝑝^𝑞先验和硬约束,并通过计算实例展示了其在CT数据反演中的应用效果。
2016-07-05 cs.NA math.NA math.PR