Geometric Ergodicity of Gibbs Samplers in Bayesian Penalized Regression Models
我们考虑三个贝叶斯惩罚回归模型，并表明，各自的确定性扫描吉布斯采样器是几何遍历的回归问题的尺寸无关。我们证明了几何遍历的吉布斯采样贝叶斯融合套索，贝叶斯组套索，和贝叶斯稀疏组套索。几何遍历性与矩条件一起导致蒙特卡罗平均值的马尔可夫链中心极限定理的存在，并确保可靠的输出分析。我们的几何遍历性的结果，使我们也可以提供默认的吉布斯采样器的起始值。
2017-07-04 math.ST stat.CO stat.TH
A Symmetric Prior for Multinomial Probit Models
广泛使用的贝叶斯多项式概率单位模型的拟合概率可能强烈依赖于基础类别的选择，该基础类别用于唯一识别模型的参数。本文提出了一种新的识别策略，以及相关的先验分布的模型参数，使先验对称相对于重新标记的结果类别。新的先验允许一个有效的吉布斯算法，样本秩亏协方差阵，而不诉诸大都会黑斯廷斯更新。
2020-05-17 stat.ME
Sufficient burn-in for Gibbs samplers for a hierarchical random effects model
我们认为吉布斯和块吉布斯抽样的贝叶斯分层版本的单向随机效应模型。漂移和最小化条件建立的基础马尔可夫链。漂移和少数化与J. S。罗森塔尔[J. Amer. Statistist. Assoc.90（1995）558-566]和G. O. Roberts和R. L.特威迪[随机过程。Appl. 80（1999）211-229]来构造关于到平稳性的距离的分析上界。这些导致上界的烧伤，这是需要得到一个预先指定的（全变差）的距离内的固定分布链的量。最后用数值例子说明了结果。
2004-06-23 math.ST stat.TH
Block Gibbs samplers for logistic mixed models: convergence properties and a comparison with full Gibbs samplers
逻辑斯蒂线性混合模型（LLMM）是应用最广泛的统计模型之一。通常，马尔可夫链蒙特卡罗算法用于探索与贝叶斯LLNN相关联的后验密度。Polson、Scott和Windle（2013）的Polya-Gamma数据增强（DA）技术可用于构建LLLRR的完整Gibbs（FG）采样器。在这里，我们开发了高效的块吉布斯（BG）采样器贝叶斯LLPERS使用Polya-Gamma DA方法。当固定效应和随机效应之间的相关性发生变化以及设计矩阵的维度发生变化时，我们在真实数据示例的上下文中比较FG和BG采样器。这些数值例子证明了BG采样器优于FG采样器的性能。我们还得到了条件，保证几何遍历的BG马尔可夫链时，流行的不适当的一致先验分配的回归系数，适当或不适当的先验放置在方差参数的随机效应。这一理论结果具有重要的实际意义，因为它证明了使用渐近有效的蒙特卡罗标准误的马尔可夫链为基础的后验量的估计。
2021-12-16 stat.ME
On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析，这是研究马尔可夫链蒙特卡罗（MCMC）算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的，部分原因是固定的$n$和$p$的现有结果根本不够尖锐，不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal（2019）提出的，他们为Rosenthal（1996）引入和研究的Gibbs采样器（用于简单的贝叶斯随机效应模型）建立了混合时间结果。然而，这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术（秦等。例如，2019）以提供实质性的数值证据，即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果，两个不同的吉布斯采样器与Rosenthal（1996）考虑的随机效应模型的推广。我们的结果表明，在强正则性条件下，这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
Geometric ergodicity of Gibbs samplers for the Horseshoe and its regularized variants
马蹄铁是高维贝叶斯线性回归中广泛使用的一种连续收缩先验。最近，正则化版本的马蹄事先也已在文献中介绍。在文献中已经开发了各种吉布斯采样马尔可夫链，以从相应的难处理的后验密度生成近似样本。建立这些马尔可夫链的几何遍历性为基于马尔可夫链的后验量估计的渐近标准误差的准确性提供了关键的技术依据。在本文中，我们建立了几何遍历对应于马蹄先验及其正则化变量的线性回归的背景下，各种吉布斯采样。首先，我们建立了几何遍历的吉布斯采样器的原始马蹄后严格弱于现有的分析文献中的条件下。其次，我们考虑了Piironen和Vehtari（2017）中引入的正则化马蹄先验，并证明了Gibbs采样马尔可夫链从相应的后验中采样的几何遍历性，而无需对全局和局部收缩参数进行任何截断约束。最后，我们考虑Nishimura和Suchard（2020）中引入的正则化马蹄先验的一个变体，并再次建立Gibbs采样马尔可夫链的几何遍历性，以从相应的后验中采样。
2021-01-02 math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的，因为任何非平凡的前导致一个棘手的后验密度。然而，如果采用条件共轭先验密度，则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中，一个常见的缺陷是不适当的先验，它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果，因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的，从实用的角度来看，因为它保证了存在的中心极限定理，允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣，收敛复杂性分析是研究蒙特卡罗马尔可夫链（对于难以处理的贝叶斯后验分布）的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题，而且很少有成功的分析。秦和霍伯特（2021 b）最近提出了一个富有成效的分析，他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明，在规则性条件下，随着数据集大小的增加，该吉布斯采样器的几何收敛速度收敛到零。本文表明，吉布斯采样器表现出类似的行为，更一般的贝叶斯模型，具有随机效应和传统的连续协变量，所谓的混合模型。该分析采用了Qin和Hobert（2021 b）介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的，而与向量自回归的阶数和维数无关，并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言，几何收敛速度被证明是有界的渐近远离团结，几乎肯定或概率趋于一，这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间，在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果，并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Stability of the Gibbs Sampler for Bayesian Hierarchical Models
本文证明了在具有任意对称误差分布的分层线性模型中，从参数和缺失数据的联合后验分布中采样的Gibbs采样器的收敛性。我们表明，收敛可以是均匀的，几何或亚几何依赖于相对尾部行为的误差分布，并选择的参数化。我们的理论被用来证明潜在高斯过程模型上Gibbs抽样器的收敛性。我们指出，我们介绍的理论框架将是有用的，在分析更复杂的模型。
2007-10-23 stat.CO stat.ME
Convergence analysis of block Gibbs samplers for Bayesian linear mixed models with $p>N$
探索与一般线性混合模型的贝叶斯版本相关的棘手的后验分布，经常使用马尔可夫链蒙特卡罗。特别地，如果使用条件共轭先验，则存在可用的简单两块吉布斯采样器。Román和Hobert [线性代数Appl. 473（2015）54-77]表明，当先验是适当的并且$X$矩阵具有满列秩时，这些Gibbs采样器下的马尔可夫链几乎总是几何遍历的。在本文中，Román和Hobert（2015）的结果通过允许方差分量上的不适当先验，更重要的是，通过删除$X$矩阵上的所有假设来扩展。因此，$X$不仅允许（列）秩亏，这在参数化固定效应时提供了额外的灵活性，还允许列数多于行数，这在$p>N$越来越重要的情况下是必要的。关于$X$的满秩假设是Román和Hobert（2015）证明的核心。因此，扩展到无限制的$X$需要一个完全不同的分析。
2016-09-30 math.ST stat.TH
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中，在没有先验信息的情况下，回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的（2013）数据增强（DA）算法。在本文中，我们建立了马尔可夫链的基础上Polson等人。的（2013）DA算法是几何遍历的。证明这一理论结果具有重要的实际意义，因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Adaptive Scan Gibbs Sampler for Large Scale Inference Problems
对于大规模的在线推理问题，更新策略是性能的关键。我们推导出一个自适应扫描吉布斯采样器，通过选择一个最佳的小批量大小的更新频率进行优化。我们证明了我们的自适应批量吉布斯采样器的性能，通过比较它对贝叶斯套索，狄利克雷过程混合模型（DPMM）和潜在狄利克雷分配（LDA）图形模型的崩溃吉布斯采样器。
2018-01-27 stat.ML
Fused $L_{1/2}$ prior for large scale linear inverse problem with Gibbs bouncy particle sampler
本文提出融合L_{1/2}先验的吉布斯弹跳粒子采样方法，用于高效解决大规模线性逆问题。
2025-12-16 stat.CO stat.ME
Fast increased fidelity approximate Gibbs samplers for Bayesian Gaussian process regression
高斯过程（GP）的使用得到了有效的采样算法，丰富的方法学文献和强大的理论基础的支持。然而，由于其禁止的计算和存储需求，在贝叶斯模型中使用精确的GP仅限于包含最多几千个观测值的问题。采样需要以$\mathcal{O}(n^3),$缩放的矩阵运算，其中$n$是唯一输入的数量。单个矩阵的存储在$\mathcal{O}(n^2),$上扩展，并且可以迅速压倒大多数现代计算机的资源。为了克服这些瓶颈，我们开发了一个采样算法，使用$\mathcal{H}$矩阵近似的矩阵，包括GP后验协方差。这些矩阵可以在机器精度内近似真实的条件协方差阵，并允许在$\mathcal{O}(n \ \mbox{log}^2 n)$时间缩放的采样算法和在$\mathcal{O}(n \ \mbox{log} \ n).$的存储需求缩放。我们还描述了如何将这些算法用作构建块，以在$\mathcal{O}(d \ n \ \mbox{log}^2 n)$上对高维表面进行建模，其中$d$是使用一维GP的张量积来考虑的表面的维度。虽然已经提出了各种可扩展的过程，用于近似贝叶斯GP推理时，$n$是大的，据我们所知，这些方法都没有显示，近似的Kullback-Leibler发散到真正的后验可以任意小，可能不会比有限的计算机算法提供的近似差。我们描述了$\mathcal{H}-$矩阵，给出了一个有效的吉布斯采样器使用这些矩阵的一维…
2020-06-11 math.ST stat.ME stat.TH
Multilevel linear models, Gibbs samplers and multigrid decompositions
我们研究了条件高斯分层模型的贝叶斯分析所产生的后验分布的背景下的吉布斯采样器的收敛性质。我们开发了一个多重网格的方法，推导出各种广泛使用的模型结构，包括嵌套和交叉随机效应的算法的收敛速度的解析表达式。我们的结果适用于多级模型的层次结构中的任意层数，而以前的工作仅限于两级嵌套的情况下。理论结果提供了明确的和易于实施的指导方针，以优化实际实施的吉布斯采样器，如指示上的参数化选择（如中心和非中心），施加约束，以保证统计可识别性，以及哪些参数监测诊断过程中。模拟结果表明，在非高斯分布和更一般的MCMC计划，如基于梯度的上下文中也是信息丰富的。条件高斯分层模型的吉布斯采样器的实现。
2019-06-26 math.PR stat.CO stat.ME
A discomfort-informed adaptive Gibbs sampler for finite mixture models
本文提出一种基于不适感的自适应吉布斯采样器，用于提高有限混合模型的收敛效率。
2025-12-01 stat.ME
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而，当参数仅通过似然性弱识别时，后验结果可能会像前验结果一样具有较重的尾部，从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”，从而产生先验的正则化版本。我们开发了一种正则化方法，与以前的建议不同，它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质，重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明，提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上，唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$，在贝叶斯桥先验的情况下，我们表明，采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
A Modified Gibbs Sampler on General State Spaces
我们提出了一个修改的吉布斯采样一般状态空间。我们确定，这种修改可以导致统计效率的大幅提高，同时保持收敛的整体质量。我们说明我们的结果在两个例子中，包括一个玩具正态-正态模型和贝叶斯版本的随机效应模型。
2013-08-26 stat.CO
The transcoding sampler for stick-breaking inferences on Dirichlet process mixtures
本文提出转码算法与转码采样器，将高效采样器得到的后验划分结果转换为stick-breaking表示，从而在保持较短IAT的同时实现对Dirichlet过程混合模型全部stick-breaking参数的推断。
2024-05-06 stat.ME
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化，但相应的后验分布可能对离群值敏感。为了克服这一问题，近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似，它是可能的，以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
Analysis of the Gibbs sampler for hierarchical inverse problems
在实际应用中，许多反问题都是由未知参数为场的连续介质模型引起的。在实践中，未知字段被离散化，导致$\mathbb{R}^N$中的问题，应当理解，细化离散化，即增加$N$，通常是期望的。在贝叶斯反演的背景下，这种情况表明两个问题的重要性：（i）以这样的方式定义超参数，即它们在连续极限$N \to \infty$中是可解释的，并且它们的值可以在不同的离散化水平之间进行比较;（ii）理解用于探测后验分布的算法的效率，作为大$N.$的函数这里我们在基于未知场的高斯先验和超参数的逆伽马先验的分层建模框架内的受加性高斯噪声影响的线性逆问题的上下文中解决这两个问题，即先前方差的幅度。该模型的结构是这样的吉布斯采样器可以很容易地实现探测的后验分布。订阅的教条，一个人应该认为在有限维实现之前，无限维，我们提出了函数空间的直觉，并提供严格的理论表明，随着$N$增加，吉布斯采样器的组件，用于采样的幅度的先验方差变得越来越慢。我们讨论了一个重新参数化的先验方差，是强大的维数的增加，我们给出的数值实验表明，我们的重新参数化防止放缓。我们的直觉上的行为的先验超参数，有和没有重新参数化，是足够普遍的，包括广泛的一类非线性反问题，以及其他家庭的超先验。
2014-07-15 math.ST stat.TH
A positive-definiteness-assured block Gibbs sampler for Bayesian graphical models with shrinkage priors
尽管Wang（2012）提出的贝叶斯图LASSO的块Gibbs采样器近年来已被广泛应用并扩展到各种收缩先验，但它具有不太明显但可能严重的缺点，即在Gibbs采样器的每个循环中不能保证高斯图模型中精度矩阵的正定性。具体地说，如果精度矩阵的维数超过样本量，精度矩阵的正定性将难以满足，吉布斯采样器几乎肯定会失败。在本文中，我们建议修改原来的块吉布斯采样器，使精度矩阵永远不会失败，是正定的采样，正是从域的正定性。正如我们在蒙特卡罗实验中所示，这种修改不仅稳定了采样过程，而且显着提高了参数估计和图形结构学习的性能。我们还将我们提出的算法应用于股票数量超过样本周期的月度回报数据的图形模型，证明了其稳定性和可扩展性。
2022-04-14 stat.CO
Bayesian conjugacy in probit, tobit, multinomial probit and extensions: A review and new results
通常出现在几个领域中的一大类模型可以表示为部分或完全离散化的高斯线性回归。除了包括基本的高斯响应设置，这个类还包括probit，多项式probit和tobit回归等，从而产生了应用中最广泛实现的模型家族之一。这种表示的相关性刺激了贝叶斯领域数十年的研究，主要是出于这样一个事实，即与高斯线性回归不同，由这种模型引起的后验分布似乎不属于一个已知的类别，在通常假设的高斯先验下的系数。这激发了依赖于基于采样的策略或确定性近似的后验推理的几种解决方案，然而，这些解决方案仍然存在计算和准确性问题，特别是在高维中。本文的范围是审查，统一和扩展贝叶斯推断和计算这一类模型的最新进展。为了解决这样一个目标，我们证明了这些配方诱导的似然共享一个共同的分析结构，这意味着共轭与广泛的一类分布，即统一的偏态法线（SUN），广义高斯偏态的情况下。这一结果统一和扩展了最近的共轭特性分析类内的特定模型，并打开了途径，改善后验推理，在更广泛的一类配方和先验，通过新的封闭形式的表达式，i.i.d.精确SUN后验的采样器，以及来自VB和EP的更精确和可扩展的近似。这些优势在模拟中得到了说明，并有望促进这些核心贝叶斯模型的常规使用，同时提供了一个新的框架来研究理论特性和开发未来的扩展。
2023-03-05 stat.CO stat.ME
Optimal transport couplings of Gibbs samplers on partitions for unbiased estimation
马尔可夫链的计算耦合为无偏蒙特卡罗估计提供了一条实用的途径，可以利用并行计算。然而，这些方法主要依赖于在少量转换之后的链相遇。对于将数据分组的模型，例如混合模型，耦合吉布斯采样器的明显方法无法快速满足。这种失败归因于所谓的“标签切换”问题;语义上等同的重新标记的群体有助于分离后的模式，阻碍快速混合，并导致大的会议时间。我们在这里演示如何通过将链视为探索分区空间而不是标签来避免标签切换。使用这个空间上的度量，我们采用了最佳的吉布斯条件传输耦合。这种耦合优于依赖于标签的替代耦合，并且在真实的数据集上，在有限的时间范围内提供比通常的遍历平均值更精确的估计。代码可在github.com/tinnguyen96/coupling-Gibbs-partition上获得。
2021-04-13 stat.CO stat.ME
Blocking Collapsed Gibbs Sampler for Latent Dirichlet Allocation Models
隐狄利克雷分配（LDA）模型是机器学习中广泛使用的文本分析隐变量模型。该模型的推断通常涉及与观测相关联的潜变量的单站点塌陷吉布斯抽样步骤。采样的效率对于模型在实际大规模应用中的成功至关重要。在这篇文章中，我们介绍了一个阻塞计划的崩溃吉布斯采样器的LDA模型，可以在理论上保证，提高链混合效率。我们开发了两个程序，一个O（K）步向后模拟和O（log K）步嵌套模拟，直接采样每个块内的潜变量。我们证明，阻塞计划实现了显着改善链混合相比，最先进的单网站崩溃吉布斯采样器。我们还表明，当主题的数量超过数百个，嵌套模拟阻塞计划可以实现显着减少计算时间相比，单站点采样器。
2016-08-02 stat.CO stat.ML
Gibbs sampler approach for objective Bayeisan inference in elliptical multivariate random effects model
本文针对椭圆多元随机效应模型，在参考先验和Jeffreys先验下提出基于混合Gibbs采样器的贝叶斯后验抽样算法，并通过模拟研究与两种Metropolis-Hastings算法比较，最后应用于十项高血压治疗研究。
2023-05-25 stat.CO stat.ME
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型，这是实际相关的意义上说，它是足够普遍的，有许多应用程序，它不是直接从相应的后验分布直接采样。因此，我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是，我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之，我们的研究结果为从业者提供了工具，使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge（剑桥大学）
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题，提出一种变复杂度采样器，在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
A Multinomial Probit Model for Asymmetric Choice Responses
Department of Econometrics & Business Statistics, Monash University（莫纳什大学计量经济学与商业统计系）
针对标准MNP模型无法捕捉非对称选择响应的问题，提出SMNP模型，通过协变量重参数化等方法解决识别与计算挑战，在消费者选择数据应用中提升了预测效果。
2026-08-12 econ.EM stat.ME
Modeling Text Complexity using a Multi-Scale Probit
我们提出了一种新的文本复杂性分析模型，它可以适合于在多个尺度上测量的有序分类数据，例如，具有二进制响应的语料库与具有两个以上有序结果的语料库混合。假设多个尺度由描述文本复杂性的相同潜在变量驱动。我们提出了一个易于实现的吉布斯采样器的后验分布的直接扩展建立的数据增强计划。通过能够将多个语料库与不同的注释方案相结合，我们可以解决文本特征多于注释文档的常见问题，即$p>n$问题的一个示例。该模型的预测性能进行评估，使用模拟和现实世界的可读性数据非常有前途的结果。
2018-11-12 stat.AP
Spectral Collapsed Gibbs Sampler for Bayesian Sparse Regression
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于谱分解的高斯-马尔可夫采样器，用于解决贝叶斯稀疏回归中高维数据后验推断的效率问题，通过优化全局尺度参数τ的混合性，提升算法收敛速度和稳定性。
2026-05-07 stat.CO stat.ME
Gradient Scan Gibbs Sampler: an efficient algorithm for high-dimensional Gaussian distributions
本文讨论了包含高维条件高斯分布的Gibbs采样器。它提出了一种有效的算法，避免了高维高斯采样，并依赖于沿一个小的方向集的随机偏移。该算法被证明是收敛的，即所抽取的样本是根据目标分布渐近分布的。我们的主要动机是在逆问题相关的一般线性观测模型和他们的解决方案，通过采样算法实现的分层贝叶斯框架。它可以直接应用于半盲/无监督方法以及一些非高斯方法。本文以超分辨率方法中的无监督估计为例进行了研究。
2015-09-11 stat.CO
Non-Gaussian Stochastic Volatility Model with Jumps via Gibbs Sampler
在这项工作中，我们提出了一个模型来估计波动率从金融时间序列，扩展了非高斯族的空间状态模型与确切的边际似然Gamerman，Santos和Franco（2013）。在文献中，有模型专注于估计金融资产风险，然而，他们中的大多数依赖于基于Metropolis算法的MCMC方法，因为完整的条件后验分布是未知的。我们提出了一个替代模型，能够估计的波动率，在一个自动的方式，因为所有完整的条件后验分布是已知的，它是可以通过吉布斯采样器获得一个精确的参数样本。在收益中加入跳跃，使模型能够捕捉到数据的投机性波动，这样它们的影响就不会传播到波动性。我们使用合成和真实的数据时间序列的算法的性能进行评估。关键词：金融时间序列，随机波动率，吉布斯采样器，动态线性模型。
2018-10-01 q-fin.CP q-fin.ST stat.OT
A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology（大连理工大学）；University College London（伦敦大学学院）
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能，然后我们提供了几个其他联合对角化算法，这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品，吉布斯采样器的输出可以用来估计对数边际似然，但是我们采用基于贝叶斯信息准则（BIC）的近似，在合成的例子中，它被认为正确地定位了公共特征向量的数量。然后，我们成功地应用采样器的源分离问题，以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley（加州大学伯克利分校）
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间，因此使用了各种近似方法。吉布斯抽样是最准确的方法之一，并提供无偏样本的后验，但它历来是太昂贵的大型模型。在本文中，我们提出了一个优化的，并行吉布斯采样增强状态复制（或状态增强边际估计），以减少收敛时间。我们发现，改进的参数估计的质量，同时加速收敛。合成和真实数据的实验表明，我们的吉布斯采样器是大大快于最先进的采样器，JAGS，而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器，以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Vanderbilt University（范德堡大学）
本文针对层次贝叶斯 Poisson 回归在大规模计数数据上 MCMC 推断耗时的问题，提出用 Gaussian 近似似然获得系数条件后验收闭式解的 AGS，并在真实与合成数据上验证其高效准确。
2024-07-01 cs.LG stat.ME
Adaptive MC^3 and Gibbs algorithms for Bayesian Model Averaging in Linear Regression Models
MC $^3$（Madigan and York，1995）和Gibbs（George and McCulloch，1997）采样器是线性回归模型中贝叶斯模型平均（BMA）最广泛实现的算法。这些采样器在每次迭代中使用统一的选择概率随机抽取一个变量，然后建议更新该变量。如果变量的数量很大并且许多变量是冗余的，则这在计算上可能是低效的。在这项工作中，我们引入自适应版本的这些采样器，保持其简单的实施，并减少了许多冗余变量的选择概率。在真实和模拟数据集的自适应采样器的效率的改进说明。
2013-06-25 stat.CO
Gibbs Sampling for (Coupled) Infinite Mixture Models in the Stick Breaking Representation
非参数贝叶斯方法聚类，信息检索，语言建模和对象识别最近显示出巨大的希望，作为一个新的范例无监督数据分析。大多数的贡献都集中在狄利克雷过程的混合物模型或扩展，有效的吉布斯采样器存在。在本文中，我们探讨吉布斯采样无限复杂的混合模型在棒断裂表示。这种表示的优点是提高了建模的灵活性。例如，人们可以设计集群大小的先验分布，或者在其参数水平上耦合多个无限混合模型（例如，随时间）（即，相关狄利克雷过程模型）。然而，无限混合模型的吉布斯采样器（最近在统计文献中介绍）似乎在集群标签上混合得很差。除其他问题外，这可能会产生不利影响，即耦合混合模型中相同聚类的标签会混淆。我们在这些采样器中引入了额外的移动，以改善集群标签的混合，并使集群保持一致。风暴轨迹建模的应用程序来说明这些想法。
2012-06-27 cs.LG stat.ME stat.ML
Fast Mixing of Data Augmentation Algorithms: Bayesian Probit, Logit, and Lasso Regression
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出使用改进的导电性方法研究数据增强算法的混合时间，证明了三种重要算法的非渐近多项式上界，展示了在设计矩阵和先验协方差矩阵上的紧界。
2026-04-21 math.PR math.ST stat.ML
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
本文提出了一种对称随机扫描坍缩Gibbs采样器，用于高效贝叶斯变量选择，结合尖峰-夹层先验和自适应正则化，实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME
Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models
本文提出了一种新的马尔可夫链蒙特卡罗方法，用于共轭混合模型的后验分布的抽样。该算法依赖于一个灵活的分裂合并过程中使用粒子吉布斯采样器。与现有的分裂-合并过程相反，所得到的所谓粒子吉布斯分裂-合并采样器不需要计算复杂的接受率，使用现有的序贯蒙特卡罗库实现简单，并且可以并行化。我们研究其性能实验合成的问题，以及地理位置和癌症基因组学数据。在所有这些例子中，粒子吉布斯分裂-合并采样器优于最先进的分裂-合并方法高达一个数量级的固定计算复杂度。
2017-05-27 stat.CO
A Distributed Block-Split Gibbs Sampler with Hypergraph Structure for High-Dimensional Inverse Problems
本文提出一种分布式块分裂Gibbs采样器，结合近似增强与块坐标方法，利用超图结构高效分布变量，解决高维逆问题中的贝叶斯推断，在图像去模糊实验中实现快速高质量估计。
2023-11-26 cs.DC eess.SP stat.ME
Instrumental Variable Bayesian Model Averaging via Conditional Bayes Factors
我们发展了一种方法来执行两阶段线性回归系统的模型平均值受到内消。我们的方法扩展了现有的吉布斯采样器的工具变量，将模型的不确定性的组成部分。在这种情况下，模型概率的直接评估是棘手的。我们表明，通过嵌套模型移动内的吉布斯采样器，模型比较可以通过条件贝叶斯因子，导致简单的计算。这个新的吉布斯采样器只是比原来的算法稍微多一点，并没有表现出混合困难的证据。最后，我们研究了两种不同的建模挑战：将不确定性纳入宏观经济增长的决定因素，并通过对零售价格的批发来估计需求函数。
2012-03-19 stat.AP stat.ME
A Gibbs posterior sampler for inverse problem based on prior diffusion model
针对观测系统线性变换且带加性误差、问题不适定且正则化依赖贝叶斯策略、先验由扩散过程建模的逆问题，引入吉布斯算法，证明其有效且简单，给出收敛保证要素及论据，数值模拟证实了结果。
2026-07-08 cs.LG stat.AP stat.ML
Scalability of Metropolis-within-Gibbs schemes for high-dimensional Bayesian models
本文研究了高维贝叶斯模型中Metropolis-within-Gibbs方案的收敛性，通过条件电导分析其性能，并讨论了在非共轭分层模型中的应用及相关理论扩展。
2026-01-09 math.ST stat.CO stat.ML
Blocked Gibbs sampler for hierarchical Dirichlet processes
针对 HDP 混合模型后验采样中 CRF 混合差、复杂度高及切片采样器不稳定的问题，提出基于随机测度截断与 gamma 先验的分块 Gibbs 采样器及高效拒绝采样方法。
2024-08-04 stat.CO
Coupling-based convergence assessment of some Gibbs samplers for high-dimensional Bayesian regression with shrinkage priors
我们考虑马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯高维回归连续收缩先验。这些算法的共同挑战是选择要执行的迭代次数。当每次迭代都很昂贵时，这一点至关重要，处理现代数据集时也是如此，例如具有数千行和多达数十万列的全基因组关联研究。我们开发的耦合技术量身定制的设置与收缩先验的高维回归，使实用的，非渐近诊断的收敛，而不依赖于tracepots或长期运行的渐近。通过建立考虑中的算法的几何漂移和优化条件，我们证明了所提出的耦合有有限的预期会议时间。专注于一类收缩先验，其中包括“马蹄铁”，我们实证证明了所提出的耦合的可扩展性。我们发现的一个亮点是，对于Gibbs采样器来说，不到1000次迭代就足以在10万个协变量的回归中达到平稳性。数值结果还说明了先验对耦合计算效率的影响，并建议使用先验，其中局部精度为半t分布，自由度大于1。
2021-07-10 stat.CO stat.ME
An Exact Auxiliary Variable Gibbs Sampler for a Class of Diffusions
随机微分方程（英语：Stochastic Differential Equations，缩写：SDEs）是一类连续时间随机过程，广泛应用于数学和应用科学中。模拟这些过程的路径通常是一个棘手的问题，通常涉及时间离散近似。我们提出了一个精确的马尔可夫链蒙特卡罗采样算法，不涉及这样的时间离散化误差。我们的采样器是适用于问题的事先模拟，后验模拟条件下的噪声观测，以及参数推断噪声观测。我们的工作重铸现有的拒绝抽样算法的一类扩散作为一个潜在的变量模型，然后推导出一个辅助变量吉布斯抽样算法，目标相关的联合分布。在高层次上，所得到的算法包括两个步骤：模拟一个随机网格的时间从一个非齐次泊松过程，并更新这个网格的条件下的轨迹。我们的工作允许大量的文献的蒙特卡罗抽样算法从高斯过程文献被带到承担涉及扩散的应用。我们在合成和真实数据集上研究了我们的方法，在那里我们展示了优于竞争方法的性能。
2020-05-25 stat.CO
Assessing Preferential Sampling in Retail Survival Data: A Bayesian Joint LGCP and Spatial Probit Model for Mini-Supermarket Closure in Tokyo
Bank of America, Tokyo, Japan（美国银行）；Graduate School of Social Data Science, Hitotsubashi University, Tokyo, Japan（一桥大学社会数据科学研究生院）
研究零售生存数据中因位置因素致偏好抽样问题，提出贝叶斯联合LGCP和空间Probit模型，用特定算法和协变量等进行分析，结果显示能区分偏好抽样，且靠近大型超市是关闭风险的稳健预测因素。
2026-08-12 stat.AP stat.ME
Bayesian Estimation of Hierarchical Linear Models from Incomplete Data: Cluster-Level Interaction Effects and Small Sample Sizes
针对小样本和部分观测数据下HLM的估计问题，提出一种直接从精确后验分布填补参数与缺失值的兼容Gibbs采样器，通过模拟证明其优于现有方法。
2025-01-31 stat.ME
An efficient adaptive dimension selection algorithm for multidimensional probit graded response models
KLATASDS-MOE；School of Statistics, East China Normal University（东华大学统计学院）；Zhiyuan School of Liberal Arts,Beijing Institute of Petrochemical Technology（北京石油化学工业技术学院人文学院）
针对多维概率等级响应模型应用中确定潜在维度数量的挑战，提出自适应贝叶斯维度选择框架，基于累积收缩过程分配先验，结合多种更新形成自适应采样器，经模拟和真实数据验证能准确恢复潜在结构且计算高效。
2026-07-21 cs.LG stat.ME stat.ML
A Note on Particle Gibbs Method and its Extensions and Variants
状态空间模型的高维状态轨迹对贝叶斯推断提出了挑战。粒子吉布斯（PG）方法已被广泛用于从状态空间模型的后验采样。基本上，粒子吉布斯是一种粒子马尔可夫链蒙特卡罗（PMCMC）算法，它通过从条件分布中提取模型参数和状态来模拟吉布斯采样器。本教程介绍了粒子吉布斯（PG）方法及其扩展和变体，并通过非线性状态空间模型（SSM）中的几个推理示例进行了说明。我们还用两种不同的编程语言实现了PG采样器：Python和Rust。还为各种PG方法提供了Python和Rust程序的运行时性能比较。
2020-08-15 stat.AP stat.CO
