On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析，这是研究马尔可夫链蒙特卡罗（MCMC）算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的，部分原因是固定的$n$和$p$的现有结果根本不够尖锐，不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal（2019）提出的，他们为Rosenthal（1996）引入和研究的Gibbs采样器（用于简单的贝叶斯随机效应模型）建立了混合时间结果。然而，这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术（秦等。例如，2019）以提供实质性的数值证据，即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果，两个不同的吉布斯采样器与Rosenthal（1996）考虑的随机效应模型的推广。我们的结果表明，在强正则性条件下，这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
Geometric ergodicity of Gibbs samplers for the Horseshoe and its regularized variants
马蹄铁是高维贝叶斯线性回归中广泛使用的一种连续收缩先验。最近，正则化版本的马蹄事先也已在文献中介绍。在文献中已经开发了各种吉布斯采样马尔可夫链，以从相应的难处理的后验密度生成近似样本。建立这些马尔可夫链的几何遍历性为基于马尔可夫链的后验量估计的渐近标准误差的准确性提供了关键的技术依据。在本文中，我们建立了几何遍历对应于马蹄先验及其正则化变量的线性回归的背景下，各种吉布斯采样。首先，我们建立了几何遍历的吉布斯采样器的原始马蹄后严格弱于现有的分析文献中的条件下。其次，我们考虑了Piironen和Vehtari（2017）中引入的正则化马蹄先验，并证明了Gibbs采样马尔可夫链从相应的后验中采样的几何遍历性，而无需对全局和局部收缩参数进行任何截断约束。最后，我们考虑Nishimura和Suchard（2020）中引入的正则化马蹄先验的一个变体，并再次建立Gibbs采样马尔可夫链的几何遍历性，以从相应的后验中采样。
2021-01-02 math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的，因为任何非平凡的前导致一个棘手的后验密度。然而，如果采用条件共轭先验密度，则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中，一个常见的缺陷是不适当的先验，它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果，因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的，从实用的角度来看，因为它保证了存在的中心极限定理，允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的，而与向量自回归的阶数和维数无关，并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言，几何收敛速度被证明是有界的渐近远离团结，几乎肯定或概率趋于一，这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣，收敛复杂性分析是研究蒙特卡罗马尔可夫链（对于难以处理的贝叶斯后验分布）的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题，而且很少有成功的分析。秦和霍伯特（2021 b）最近提出了一个富有成效的分析，他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明，在规则性条件下，随着数据集大小的增加，该吉布斯采样器的几何收敛速度收敛到零。本文表明，吉布斯采样器表现出类似的行为，更一般的贝叶斯模型，具有随机效应和传统的连续协变量，所谓的混合模型。该分析采用了Qin和Hobert（2021 b）介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中，在没有先验信息的情况下，回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的（2013）数据增强（DA）算法。在本文中，我们建立了马尔可夫链的基础上Polson等人。的（2013）DA算法是几何遍历的。证明这一理论结果具有重要的实际意义，因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
MALA-within-Gibbs samplers for high-dimensional distributions with sparse conditional structure
马尔可夫链蒙特卡罗（MCMC）采样器是用于从给定目标概率分布中抽取样本的数值方法。我们讨论了一个特殊的MCMC采样器，MALA内吉布斯采样器，从理论和实践的角度。我们首先表明，这个采样器的接受率和步长是独立的整体问题的尺寸时，（i）的目标分布具有稀疏的条件结构，和（ii）这种结构是反映在部分更新策略的MALA-within-Gibbs。此外，如果目标密度是分块对数凹的，则采样器的收敛速度与维数无关。从实际的角度来看，我们希望MALA-within-Gibbs是有用的解决高维贝叶斯推断问题，后验显示稀疏条件结构至少近似。在这种情况下，必须找到一个分区的状态，正确地反映了稀疏的条件结构，我们说明了这个过程中的两个数值例子。我们还讨论了用于部分更新的块大小和可能随着块数量增加而增加的计算要求之间的权衡。
2020-03-18 math.ST stat.CO stat.ME
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间，在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果，并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Adaptive Scan Gibbs Sampler for Large Scale Inference Problems
对于大规模的在线推理问题，更新策略是性能的关键。我们推导出一个自适应扫描吉布斯采样器，通过选择一个最佳的小批量大小的更新频率进行优化。我们证明了我们的自适应批量吉布斯采样器的性能，通过比较它对贝叶斯套索，狄利克雷过程混合模型（DPMM）和潜在狄利克雷分配（LDA）图形模型的崩溃吉布斯采样器。
2018-01-27 stat.ML
Analysis of the Gibbs sampler for hierarchical inverse problems
在实际应用中，许多反问题都是由未知参数为场的连续介质模型引起的。在实践中，未知字段被离散化，导致$\mathbb{R}^N$中的问题，应当理解，细化离散化，即增加$N$，通常是期望的。在贝叶斯反演的背景下，这种情况表明两个问题的重要性：（i）以这样的方式定义超参数，即它们在连续极限$N \to \infty$中是可解释的，并且它们的值可以在不同的离散化水平之间进行比较;（ii）理解用于探测后验分布的算法的效率，作为大$N.$的函数这里我们在基于未知场的高斯先验和超参数的逆伽马先验的分层建模框架内的受加性高斯噪声影响的线性逆问题的上下文中解决这两个问题，即先前方差的幅度。该模型的结构是这样的吉布斯采样器可以很容易地实现探测的后验分布。订阅的教条，一个人应该认为在有限维实现之前，无限维，我们提出了函数空间的直觉，并提供严格的理论表明，随着$N$增加，吉布斯采样器的组件，用于采样的幅度的先验方差变得越来越慢。我们讨论了一个重新参数化的先验方差，是强大的维数的增加，我们给出的数值实验表明，我们的重新参数化防止放缓。我们的直觉上的行为的先验超参数，有和没有重新参数化，是足够普遍的，包括广泛的一类非线性反问题，以及其他家庭的超先验。
2014-07-15 math.ST stat.TH
Block Gibbs samplers for logistic mixed models: convergence properties and a comparison with full Gibbs samplers
逻辑斯蒂线性混合模型（LLMM）是应用最广泛的统计模型之一。通常，马尔可夫链蒙特卡罗算法用于探索与贝叶斯LLNN相关联的后验密度。Polson、Scott和Windle（2013）的Polya-Gamma数据增强（DA）技术可用于构建LLLRR的完整Gibbs（FG）采样器。在这里，我们开发了高效的块吉布斯（BG）采样器贝叶斯LLPERS使用Polya-Gamma DA方法。当固定效应和随机效应之间的相关性发生变化以及设计矩阵的维度发生变化时，我们在真实数据示例的上下文中比较FG和BG采样器。这些数值例子证明了BG采样器优于FG采样器的性能。我们还得到了条件，保证几何遍历的BG马尔可夫链时，流行的不适当的一致先验分配的回归系数，适当或不适当的先验放置在方差参数的随机效应。这一理论结果具有重要的实际意义，因为它证明了使用渐近有效的蒙特卡罗标准误的马尔可夫链为基础的后验量的估计。
2021-12-16 stat.ME
A Modified Gibbs Sampler on General State Spaces
我们提出了一个修改的吉布斯采样一般状态空间。我们确定，这种修改可以导致统计效率的大幅提高，同时保持收敛的整体质量。我们说明我们的结果在两个例子中，包括一个玩具正态-正态模型和贝叶斯版本的随机效应模型。
2013-08-26 stat.CO
Stability of the Gibbs Sampler for Bayesian Hierarchical Models
本文证明了在具有任意对称误差分布的分层线性模型中，从参数和缺失数据的联合后验分布中采样的Gibbs采样器的收敛性。我们表明，收敛可以是均匀的，几何或亚几何依赖于相对尾部行为的误差分布，并选择的参数化。我们的理论被用来证明潜在高斯过程模型上Gibbs抽样器的收敛性。我们指出，我们介绍的理论框架将是有用的，在分析更复杂的模型。
2007-10-23 stat.CO stat.ME
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型，这是实际相关的意义上说，它是足够普遍的，有许多应用程序，它不是直接从相应的后验分布直接采样。因此，我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是，我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之，我们的研究结果为从业者提供了工具，使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
Fused $L_{1/2}$ prior for large scale linear inverse problem with Gibbs bouncy particle sampler
本文提出融合L_{1/2}先验的吉布斯弹跳粒子采样方法，用于高效解决大规模线性逆问题。
2025-12-16 stat.CO stat.ME
A positive-definiteness-assured block Gibbs sampler for Bayesian graphical models with shrinkage priors
尽管Wang（2012）提出的贝叶斯图LASSO的块Gibbs采样器近年来已被广泛应用并扩展到各种收缩先验，但它具有不太明显但可能严重的缺点，即在Gibbs采样器的每个循环中不能保证高斯图模型中精度矩阵的正定性。具体地说，如果精度矩阵的维数超过样本量，精度矩阵的正定性将难以满足，吉布斯采样器几乎肯定会失败。在本文中，我们建议修改原来的块吉布斯采样器，使精度矩阵永远不会失败，是正定的采样，正是从域的正定性。正如我们在蒙特卡罗实验中所示，这种修改不仅稳定了采样过程，而且显着提高了参数估计和图形结构学习的性能。我们还将我们提出的算法应用于股票数量超过样本周期的月度回报数据的图形模型，证明了其稳定性和可扩展性。
2022-04-14 stat.CO
Multilevel linear models, Gibbs samplers and multigrid decompositions
我们研究了条件高斯分层模型的贝叶斯分析所产生的后验分布的背景下的吉布斯采样器的收敛性质。我们开发了一个多重网格的方法，推导出各种广泛使用的模型结构，包括嵌套和交叉随机效应的算法的收敛速度的解析表达式。我们的结果适用于多级模型的层次结构中的任意层数，而以前的工作仅限于两级嵌套的情况下。理论结果提供了明确的和易于实施的指导方针，以优化实际实施的吉布斯采样器，如指示上的参数化选择（如中心和非中心），施加约束，以保证统计可识别性，以及哪些参数监测诊断过程中。模拟结果表明，在非高斯分布和更一般的MCMC计划，如基于梯度的上下文中也是信息丰富的。条件高斯分层模型的吉布斯采样器的实现。
2019-06-26 math.PR stat.CO stat.ME
Blocking Collapsed Gibbs Sampler for Latent Dirichlet Allocation Models
隐狄利克雷分配（LDA）模型是机器学习中广泛使用的文本分析隐变量模型。该模型的推断通常涉及与观测相关联的潜变量的单站点塌陷吉布斯抽样步骤。采样的效率对于模型在实际大规模应用中的成功至关重要。在这篇文章中，我们介绍了一个阻塞计划的崩溃吉布斯采样器的LDA模型，可以在理论上保证，提高链混合效率。我们开发了两个程序，一个O（K）步向后模拟和O（log K）步嵌套模拟，直接采样每个块内的潜变量。我们证明，阻塞计划实现了显着改善链混合相比，最先进的单网站崩溃吉布斯采样器。我们还表明，当主题的数量超过数百个，嵌套模拟阻塞计划可以实现显着减少计算时间相比，单站点采样器。
2016-08-02 stat.CO stat.ML
Gradient Scan Gibbs Sampler: an efficient algorithm for high-dimensional Gaussian distributions
本文讨论了包含高维条件高斯分布的Gibbs采样器。它提出了一种有效的算法，避免了高维高斯采样，并依赖于沿一个小的方向集的随机偏移。该算法被证明是收敛的，即所抽取的样本是根据目标分布渐近分布的。我们的主要动机是在逆问题相关的一般线性观测模型和他们的解决方案，通过采样算法实现的分层贝叶斯框架。它可以直接应用于半盲/无监督方法以及一些非高斯方法。本文以超分辨率方法中的无监督估计为例进行了研究。
2015-09-11 stat.CO
Non-Gaussian Stochastic Volatility Model with Jumps via Gibbs Sampler
在这项工作中，我们提出了一个模型来估计波动率从金融时间序列，扩展了非高斯族的空间状态模型与确切的边际似然Gamerman，Santos和Franco（2013）。在文献中，有模型专注于估计金融资产风险，然而，他们中的大多数依赖于基于Metropolis算法的MCMC方法，因为完整的条件后验分布是未知的。我们提出了一个替代模型，能够估计的波动率，在一个自动的方式，因为所有完整的条件后验分布是已知的，它是可以通过吉布斯采样器获得一个精确的参数样本。在收益中加入跳跃，使模型能够捕捉到数据的投机性波动，这样它们的影响就不会传播到波动性。我们使用合成和真实的数据时间序列的算法的性能进行评估。关键词：金融时间序列，随机波动率，吉布斯采样器，动态线性模型。
2018-10-01 q-fin.CP q-fin.ST stat.OT
A discomfort-informed adaptive Gibbs sampler for finite mixture models
本文提出一种基于不适感的自适应吉布斯采样器，用于提高有限混合模型的收敛效率。
2025-12-01 stat.ME
The transcoding sampler for stick-breaking inferences on Dirichlet process mixtures
本文提出转码算法与转码采样器，将高效采样器得到的后验划分结果转换为stick-breaking表示，从而在保持较短IAT的同时实现对Dirichlet过程混合模型全部stick-breaking参数的推断。
2024-05-06 stat.ME
Fast increased fidelity approximate Gibbs samplers for Bayesian Gaussian process regression
高斯过程（GP）的使用得到了有效的采样算法，丰富的方法学文献和强大的理论基础的支持。然而，由于其禁止的计算和存储需求，在贝叶斯模型中使用精确的GP仅限于包含最多几千个观测值的问题。采样需要以$\mathcal{O}(n^3),$缩放的矩阵运算，其中$n$是唯一输入的数量。单个矩阵的存储在$\mathcal{O}(n^2),$上扩展，并且可以迅速压倒大多数现代计算机的资源。为了克服这些瓶颈，我们开发了一个采样算法，使用$\mathcal{H}$矩阵近似的矩阵，包括GP后验协方差。这些矩阵可以在机器精度内近似真实的条件协方差阵，并允许在$\mathcal{O}(n \ \mbox{log}^2 n)$时间缩放的采样算法和在$\mathcal{O}(n \ \mbox{log} \ n).$的存储需求缩放。我们还描述了如何将这些算法用作构建块，以在$\mathcal{O}(d \ n \ \mbox{log}^2 n)$上对高维表面进行建模，其中$d$是使用一维GP的张量积来考虑的表面的维度。虽然已经提出了各种可扩展的过程，用于近似贝叶斯GP推理时，$n$是大的，据我们所知，这些方法都没有显示，近似的Kullback-Leibler发散到真正的后验可以任意小，可能不会比有限的计算机算法提供的近似差。我们描述了$\mathcal{H}-$矩阵，给出了一个有效的吉布斯采样器使用这些矩阵的一维…
2020-06-11 math.ST stat.ME stat.TH
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley（加州大学伯克利分校）
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间，因此使用了各种近似方法。吉布斯抽样是最准确的方法之一，并提供无偏样本的后验，但它历来是太昂贵的大型模型。在本文中，我们提出了一个优化的，并行吉布斯采样增强状态复制（或状态增强边际估计），以减少收敛时间。我们发现，改进的参数估计的质量，同时加速收敛。合成和真实数据的实验表明，我们的吉布斯采样器是大大快于最先进的采样器，JAGS，而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器，以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化，但相应的后验分布可能对离群值敏感。为了克服这一问题，近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似，它是可能的，以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
Adaptive MC^3 and Gibbs algorithms for Bayesian Model Averaging in Linear Regression Models
MC $^3$（Madigan and York，1995）和Gibbs（George and McCulloch，1997）采样器是线性回归模型中贝叶斯模型平均（BMA）最广泛实现的算法。这些采样器在每次迭代中使用统一的选择概率随机抽取一个变量，然后建议更新该变量。如果变量的数量很大并且许多变量是冗余的，则这在计算上可能是低效的。在这项工作中，我们引入自适应版本的这些采样器，保持其简单的实施，并减少了许多冗余变量的选择概率。在真实和模拟数据集的自适应采样器的效率的改进说明。
2013-06-25 stat.CO
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge（剑桥大学）
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题，提出一种变复杂度采样器，在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而，当参数仅通过似然性弱识别时，后验结果可能会像前验结果一样具有较重的尾部，从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”，从而产生先验的正则化版本。我们开发了一种正则化方法，与以前的建议不同，它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质，重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明，提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上，唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$，在贝叶斯桥先验的情况下，我们表明，采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
Optimal transport couplings of Gibbs samplers on partitions for unbiased estimation
马尔可夫链的计算耦合为无偏蒙特卡罗估计提供了一条实用的途径，可以利用并行计算。然而，这些方法主要依赖于在少量转换之后的链相遇。对于将数据分组的模型，例如混合模型，耦合吉布斯采样器的明显方法无法快速满足。这种失败归因于所谓的“标签切换”问题;语义上等同的重新标记的群体有助于分离后的模式，阻碍快速混合，并导致大的会议时间。我们在这里演示如何通过将链视为探索分区空间而不是标签来避免标签切换。使用这个空间上的度量，我们采用了最佳的吉布斯条件传输耦合。这种耦合优于依赖于标签的替代耦合，并且在真实的数据集上，在有限的时间范围内提供比通常的遍历平均值更精确的估计。代码可在github.com/tinnguyen96/coupling-Gibbs-partition上获得。
2021-04-13 stat.CO stat.ME
Gibbs sampler approach for objective Bayeisan inference in elliptical multivariate random effects model
本文针对椭圆多元随机效应模型，在参考先验和Jeffreys先验下提出基于混合Gibbs采样器的贝叶斯后验抽样算法，并通过模拟研究与两种Metropolis-Hastings算法比较，最后应用于十项高血压治疗研究。
2023-05-25 stat.CO stat.ME
Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models
本文提出了一种新的马尔可夫链蒙特卡罗方法，用于共轭混合模型的后验分布的抽样。该算法依赖于一个灵活的分裂合并过程中使用粒子吉布斯采样器。与现有的分裂-合并过程相反，所得到的所谓粒子吉布斯分裂-合并采样器不需要计算复杂的接受率，使用现有的序贯蒙特卡罗库实现简单，并且可以并行化。我们研究其性能实验合成的问题，以及地理位置和癌症基因组学数据。在所有这些例子中，粒子吉布斯分裂-合并采样器优于最先进的分裂-合并方法高达一个数量级的固定计算复杂度。
2017-05-27 stat.CO
Spectral Collapsed Gibbs Sampler for Bayesian Sparse Regression
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于谱分解的高斯-马尔可夫采样器，用于解决贝叶斯稀疏回归中高维数据后验推断的效率问题，通过优化全局尺度参数τ的混合性，提升算法收敛速度和稳定性。
2026-05-07 stat.CO stat.ME
Scalability of Metropolis-within-Gibbs schemes for high-dimensional Bayesian models
本文研究了高维贝叶斯模型中Metropolis-within-Gibbs方案的收敛性，通过条件电导分析其性能，并讨论了在非共轭分层模型中的应用及相关理论扩展。
2026-01-09 math.ST stat.CO stat.ML
A Gibbs posterior sampler for inverse problem based on prior diffusion model
针对观测系统线性变换且带加性误差、问题不适定且正则化依赖贝叶斯策略、先验由扩散过程建模的逆问题，引入吉布斯算法，证明其有效且简单，给出收敛保证要素及论据，数值模拟证实了结果。
2026-07-08 cs.LG stat.AP stat.ML
A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology（大连理工大学）；University College London（伦敦大学学院）
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能，然后我们提供了几个其他联合对角化算法，这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品，吉布斯采样器的输出可以用来估计对数边际似然，但是我们采用基于贝叶斯信息准则（BIC）的近似，在合成的例子中，它被认为正确地定位了公共特征向量的数量。然后，我们成功地应用采样器的源分离问题，以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
Blocked Gibbs sampler for hierarchical Dirichlet processes
针对 HDP 混合模型后验采样中 CRF 混合差、复杂度高及切片采样器不稳定的问题，提出基于随机测度截断与 gamma 先验的分块 Gibbs 采样器及高效拒绝采样方法。
2024-08-04 stat.CO
An Exact Auxiliary Variable Gibbs Sampler for a Class of Diffusions
随机微分方程（英语：Stochastic Differential Equations，缩写：SDEs）是一类连续时间随机过程，广泛应用于数学和应用科学中。模拟这些过程的路径通常是一个棘手的问题，通常涉及时间离散近似。我们提出了一个精确的马尔可夫链蒙特卡罗采样算法，不涉及这样的时间离散化误差。我们的采样器是适用于问题的事先模拟，后验模拟条件下的噪声观测，以及参数推断噪声观测。我们的工作重铸现有的拒绝抽样算法的一类扩散作为一个潜在的变量模型，然后推导出一个辅助变量吉布斯抽样算法，目标相关的联合分布。在高层次上，所得到的算法包括两个步骤：模拟一个随机网格的时间从一个非齐次泊松过程，并更新这个网格的条件下的轨迹。我们的工作允许大量的文献的蒙特卡罗抽样算法从高斯过程文献被带到承担涉及扩散的应用。我们在合成和真实数据集上研究了我们的方法，在那里我们展示了优于竞争方法的性能。
2020-05-25 stat.CO
Gibbs Sampling for (Coupled) Infinite Mixture Models in the Stick Breaking Representation
非参数贝叶斯方法聚类，信息检索，语言建模和对象识别最近显示出巨大的希望，作为一个新的范例无监督数据分析。大多数的贡献都集中在狄利克雷过程的混合物模型或扩展，有效的吉布斯采样器存在。在本文中，我们探讨吉布斯采样无限复杂的混合模型在棒断裂表示。这种表示的优点是提高了建模的灵活性。例如，人们可以设计集群大小的先验分布，或者在其参数水平上耦合多个无限混合模型（例如，随时间）（即，相关狄利克雷过程模型）。然而，无限混合模型的吉布斯采样器（最近在统计文献中介绍）似乎在集群标签上混合得很差。除其他问题外，这可能会产生不利影响，即耦合混合模型中相同聚类的标签会混淆。我们在这些采样器中引入了额外的移动，以改善集群标签的混合，并使集群保持一致。风暴轨迹建模的应用程序来说明这些想法。
2012-06-27 cs.LG stat.ME stat.ML
An integer grid bridge sampler for the Bayesian inference of incomplete birth-death records
在生灭过程的桥路空间与单形和整数网格的乘积空间的排他并之间建立了一一对应。导出了上跳次数固定的整数格桥的精确计数公式。然后构造了一个在这种有限桥路空间上的均匀采样器。这导致了一个蒙特卡罗计划，整数网格桥采样器，IGBS，以评估的转移概率的生灭过程。即使是概率接近于零的罕见事件，现在也可以用受控的相对误差进行评估。基于IGBS的不完全出生-死亡观测值的贝叶斯推断可方便地用于实例演示和对一个真实的严重不完全数据集的分析。与基本的自举滤波器，一个基本的顺序重要性恢复算法进行比较。在新计划中，挥之不去的过滤失败没有找到任何位置。
2022-08-08 math.ST stat.CO stat.ME
Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Vanderbilt University（范德堡大学）
本文针对层次贝叶斯 Poisson 回归在大规模计数数据上 MCMC 推断耗时的问题，提出用 Gaussian 近似似然获得系数条件后验收闭式解的 AGS，并在真实与合成数据上验证其高效准确。
2024-07-01 cs.LG stat.ME
A Note on Particle Gibbs Method and its Extensions and Variants
状态空间模型的高维状态轨迹对贝叶斯推断提出了挑战。粒子吉布斯（PG）方法已被广泛用于从状态空间模型的后验采样。基本上，粒子吉布斯是一种粒子马尔可夫链蒙特卡罗（PMCMC）算法，它通过从条件分布中提取模型参数和状态来模拟吉布斯采样器。本教程介绍了粒子吉布斯（PG）方法及其扩展和变体，并通过非线性状态空间模型（SSM）中的几个推理示例进行了说明。我们还用两种不同的编程语言实现了PG采样器：Python和Rust。还为各种PG方法提供了Python和Rust程序的运行时性能比较。
2020-08-15 stat.AP stat.CO
A hybrid Gibbs sampler for edge-preserving tomographic reconstruction with uncertain view angles
在计算机断层扫描中，数据由穿过物体的X射线衰减的测量值组成。目标是重建物体内部的线性衰减系数。对于X射线源的每个位置，其特征在于其相对于固定坐标系的角度，测量一组称为视图的数据。一个常见的假设是这些视角是已知的，但在某些应用中，它们是不精确的。我们提出了一个框架来解决贝叶斯逆问题，共同估计的视角和图像的对象的衰减系数。我们还包括一些表征可能性和先验的超参数。我们的方法是基于吉布斯采样器，其中相关的条件密度模拟使用不同的采样方案-因此，长期混合。特别地，与重建相关联的条件分布在图像像素中是非线性的、非高斯的和高维的。我们通过构造一个拉普拉斯近似来接近这个分布，该近似在每次Gibbs迭代时局部地表示目标条件。这使得能够使用迭代重建算法以有效的方式对衰减系数进行采样。数值结果表明，我们的算法能够联合识别图像和视角，同时还提供两者的不确定性估计。我们证明了我们的方法与二维X射线计算机断层扫描问题，使用扇形光束配置。
2021-04-14 stat.CO
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
本文提出了一种对称随机扫描坍缩Gibbs采样器，用于高效贝叶斯变量选择，结合尖峰-夹层先验和自适应正则化，实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME
A Distributed Block-Split Gibbs Sampler with Hypergraph Structure for High-Dimensional Inverse Problems
本文提出一种分布式块分裂Gibbs采样器，结合近似增强与块坐标方法，利用超图结构高效分布变量，解决高维逆问题中的贝叶斯推断，在图像去模糊实验中实现快速高质量估计。
2023-11-26 cs.DC eess.SP stat.ME
Distributed Collapsed Gibbs Sampler for Dirichlet Process Mixture Models in Federated Learning
University of Versailles, Paris-Saclay University（巴黎萨克雷大学凡尔赛大学）；Sorbonne Paris Nord University（索邦巴黎北大学）；Technology Innovation Institute（技术创新研究院）；CDAT
针对狄利克雷过程混合模型在大数据下推理慢的问题，提出适用于横向联邦学习的分布式折叠吉布斯采样方法DisCGS，在10万数据点上较集中式算法提速200倍且不损失聚类性能。
2023-12-18 cs.LG stat.ML
Particle Gibbs for Bayesian Additive Regression Trees
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
加法回归树是一种灵活的非参数模型，也是现实世界中非线性回归的常用工具。在应用领域，如生物信息学，也有需求的概率预测与不确定性的措施，贝叶斯加性回归树（BART）模型，介绍了Chipman等人。（2010），越来越受欢迎。然而，随着数据集规模的增长，用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地，这些马尔可夫链对树进行局部改变，并且当数据是高维的或者最佳拟合树超过几层深度时，遭受缓慢混合。我们提出了一种基于粒子吉布斯（PG）算法的BART新采样器（Andrieu等人，2010）和用于贝叶斯决策树的自上而下的粒子滤波算法（Lakshminarayanan等人，2013年）。PG采样器不是对单个树进行局部更改，而是提出一个完整的树来拟合残差。实验表明，PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
Instrumental Variable Bayesian Model Averaging via Conditional Bayes Factors
我们发展了一种方法来执行两阶段线性回归系统的模型平均值受到内消。我们的方法扩展了现有的吉布斯采样器的工具变量，将模型的不确定性的组成部分。在这种情况下，模型概率的直接评估是棘手的。我们表明，通过嵌套模型移动内的吉布斯采样器，模型比较可以通过条件贝叶斯因子，导致简单的计算。这个新的吉布斯采样器只是比原来的算法稍微多一点，并没有表现出混合困难的证据。最后，我们研究了两种不同的建模挑战：将不确定性纳入宏观经济增长的决定因素，并通过对零售价格的批发来估计需求函数。
2012-03-19 stat.AP stat.ME
Bayesian variable selection for latent class analysis using a collapsed Gibbs sampler
潜在类别分析用于对多变量分类响应执行基于模型的聚类。选择与聚类最相关的变量是一项重要的任务，它会大大影响聚类的质量。这项工作认为贝叶斯方法选择的集群数量和最佳聚类变量。其主要思想是重新制定的问题组和变量选择的概率驱动搜索在一个大的离散空间使用马尔可夫链蒙特卡罗（MCMC）方法。这种方法的结果是估计聚类的每个变量的相关程度以及聚类数的后验概率。然后可以很容易地计算贝叶斯因子，并以原则性的方式选择合适的模型。这两个选择任务同时进行，使用MCMC方法的基础上崩溃的吉布斯抽样方法，其中几个模型参数集成的模型，大大提高了计算性能。提出了估计类成员资格，变量包含和组数的后验边际概率的方法，并概述了参数和不确定性估计的事后程序。模拟和真实数据的方法进行了测试。
2015-04-30 stat.CO
Truncation Approximation for Enriched Dirichlet Process Mixture Models
本文针对富集狄利克雷过程混合模型提出截断近似方法，证明大截断值下可获高精度近似，验证最小充分截断值的精度与大截断值相当，且分块吉布斯采样器混合效果优于波利亚瓮采样器。
2023-05-02 stat.CO
Coupling-based convergence assessment of some Gibbs samplers for high-dimensional Bayesian regression with shrinkage priors
我们考虑马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯高维回归连续收缩先验。这些算法的共同挑战是选择要执行的迭代次数。当每次迭代都很昂贵时，这一点至关重要，处理现代数据集时也是如此，例如具有数千行和多达数十万列的全基因组关联研究。我们开发的耦合技术量身定制的设置与收缩先验的高维回归，使实用的，非渐近诊断的收敛，而不依赖于tracepots或长期运行的渐近。通过建立考虑中的算法的几何漂移和优化条件，我们证明了所提出的耦合有有限的预期会议时间。专注于一类收缩先验，其中包括“马蹄铁”，我们实证证明了所提出的耦合的可扩展性。我们发现的一个亮点是，对于Gibbs采样器来说，不到1000次迭代就足以在10万个协变量的回归中达到平稳性。数值结果还说明了先验对耦合计算效率的影响，并建议使用先验，其中局部精度为半t分布，自由度大于1。
2021-07-10 stat.CO stat.ME
An Asymptotically Efficient Metropolis-Hastings Sampler for Bayesian Inference in Large-Scale Educational Measuremen
本文讨论了由\citeA{MarsmanIsing}提出的梅特罗波利斯-黑斯廷斯算法。该算法是从第一性原理推导出来的，并证明了该算法随着数据量的增加而变得更有效，并满足大规模教育测量日益增长的需求。
2018-08-12 stat.CO
Fast Gibbs sampling for the local and global trend Bayesian exponential smoothing model
针对局部与全局趋势贝叶斯指数平滑模型依赖 NUTS 导致拟合过慢的问题，本文改进模型并提出定制 Gibbs 采样器，在 M3 上保持或提升精度且速度显著加快。
2024-06-29 cs.LG stat.CO stat.ML
Parallel hierarchical sampling: a practical multiple-chains sampler for Bayesian model selection
本文介绍了并行分层采样器（PHS），一种同时使用多个链的马尔可夫链蒙特卡罗算法。说明了PHS与并行回火（PT）算法之间的联系，证明了PHS联合转移核的收敛性，强调了PHS联合转移核的实用优势。我们说明了使用PHS，并行回火和梅特罗波利斯-黑斯廷斯算法的贝叶斯模型选择问题，即高斯聚类，协变量的选择线性回归模型和选择的结构树生存模型的推断。
2008-12-08 stat.CO stat.ME
Graph_sampler: a simple tool for fully Bayesian analyses of DAG-models
贝叶斯网络（BN）是广泛使用的图形模型，可用于绘制关于有向无环图（DAG）的统计推断。本文介绍了一个快速、免费的C语言软件Graph_sampler，用于BN的结构推理. Graph_sampler使用完全贝叶斯方法，其中考虑了数据的边际似然性和有关网络结构的先验信息。这种新的软件可以处理连续和离散数据，并根据数据类型制定两种不同的模型。该软件还提供了各种各样的结构先验，可以是信息性的或非信息性的。在梅特罗波利斯-黑斯廷斯算法中提出了一种新的、速度更快的核跳跃策略。本源码C代码分布非常紧凑，速度快，占用内存和磁盘存储量低.我们基于不同的模拟数据集和合成以及真实网络进行了几次分析，以讨论Graph_sampler的性能。
2016-02-04 stat.CO
