The surrogate Gibbs-posterior of a corrected stochastic MALA: Towards uncertainty quantification for neural networks
Universität Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出校正的随机MALA（csMALA），通过简单修正项减少替代后验与原始Gibbs后验之间的距离，同时保持可扩展性，并在非参数回归模型中证明了PAC-Bayes oracle不等式，展示了对神经网络的不确定性量化。
2025-07-03 cs.LG math.ST stat.ML
Gibbs posterior convergence and the thermodynamic formalism
在本文中，我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验，标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括（隐藏）马尔可夫链模型，包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时，Gibbs后验分布在参数空间上的渐近行为。特别是，我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统，我们表明，吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下，我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系，这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。
2019-01-24 math.DS math.PR math.ST
Gibbs posterior inference on the minimum clinically important difference
众所周知，具有统计学意义的治疗可能不具有临床意义。一个可以用来评估临床意义的量被称为最小临床重要差异（MCID），对MCID的推断是一个重要且具有挑战性的问题。建模的目的是推断的MCID是不平凡的，从一个错误指定的参数模型或效率低下的非参数模型的偏差的关注激励一种替代方法来平衡鲁棒性和效率。特别是，最近提出的表示MCID作为一个合适的风险函数的最小值，使得它可以构建一个吉布斯后验分布的MCID，而无需指定一个模型。我们建立后收敛速度，并显示，数值上，这吉布斯后产生的MCID的有效和有效的，即使是相对较小的样本量的一个适当的缩放版本的区间估计。
2017-06-26 math.ST stat.ME stat.TH
Graphical posterior predictive classifier: Bayesian model averaging with particle Gibbs
在这项研究中，我们提出了一个多类的图形贝叶斯预测分类器，将不确定性的模型选择到标准的贝叶斯形式主义。对于每个类，所观察到的功能的依赖结构表示由一组可分解的高斯图形模型。然后重点放在贝叶斯模型平均，充分考虑到类特定的模型的不确定性，平均后验图模型的概率。众所周知，对模型概率的明确评估是不可行的。为了解决这个问题，我们考虑Olsson等人的粒子Gibbs策略。（2018 b）用于可分解图形模型的后验采样，该模型利用Olsson等人的圣诞树算法。（2018 a）作为建议内核。我们还推导出一个强大的超马尔可夫定律，我们称之为超正常Wishart法，允许进行贝叶斯计算本地。所提出的预测图形分类器显示出优越的性能相比，普通的贝叶斯预测规则，不考虑模型的不确定性，以及一些开箱即用的分类器。
2018-06-06 stat.ML
Bayesian Stacking via Proper Scoring Rule Optimization using a Gibbs Posterior
针对协作预测中的权重选择问题，提出基于Gibbs后验、通过恰当评分规则优化的贝叶斯堆叠最优线性池，兼具正则化与权重不确定性量化能力，在模拟和FluSight竞赛数据上表现优于对比方法。
2025-09-04 stat.ME
Gibbs posterior inference on a Levy density under discrete sampling
在金融数学中，Levy过程因其能够模拟连续变化和突然的不连续跳跃而被广泛使用。这些跳跃实际上是相关的，所以可靠的推断功能，控制跳跃的频率和幅度，即Levy密度，是至关重要的。执行基于模型的具体障碍（例如，Bayesian）推断的问题是，对于一般的Levy过程，可能性是棘手的。为了克服这一障碍，在这里，我们采用吉布斯后验框架，更新先验分布使用合适的损失函数，而不是一个可能性。我们建立渐近后验浓度率建议吉布斯后验。特别是，在最有趣的和实际相关的情况下，我们给出的条件下，吉布斯后集中在（近）最小最大的最佳速率，适应未知的光滑的真实利维密度。
2021-09-14 math.PR math.ST q-fin.MF
Practical calibration of the temperature parameter in Gibbs posteriors
EPFL（洛桑联邦理工学院）；RIKEN（理化学研究所）
PAC-Bayesian算法和Gibbs后验因其对模型误设的鲁棒性而越来越受欢迎，即使在Bayesian推断不一致的情况下。PAC-Bayesian alpha-posterior是标准贝叶斯后验的推广，可以使用参数alpha来处理不一致性。已经提出了用于调整alpha的数据驱动方法，但仍然很少，并且通常计算量很大。此外，在我们使用变分近似而不是精确的α-后验的情况下，这些方法的充分性尚不清楚。这将它们的使用范围缩小到简单的模型，并防止它们应用于大规模的问题。因此，我们需要快速的方法来调整alpha，同时使用精确和变分的alpha后验。首先，我们提出了两种数据驱动的方法来调整alpha，分别基于样本分裂和自举。其次，我们制定了（精确或变分）后验的三个流行的统计模型，并修改成α后验。对于每个模型，我们测试我们的策略，并将其与标准贝叶斯和Grunwald的SafeBayes进行比较。虽然自举实现了混合的结果，样本分裂和SafeBayes表现良好的精确和变化的α后验，我们描述，并实现更好的结果比标准贝叶斯在错误指定或复杂的模型。此外，样本分割在速度方面优于SafeBayes。样本分割提供了一个快速和简单的解决方案，不一致，通常执行类似或优于贝叶斯推理。我们的研究结果提供了在PAC贝叶斯和吉布斯后验的α校准的提示，并可能有助于在大型和复杂的模型中使用这些方法。
2020-04-22 cs.LG math.ST stat.ML
Adaptive particle-based approximations of the Gibbs posterior for inverse problems
Duke University（杜克大学）；George Mason University（乔治梅森大学）
在这项工作中，我们采用了一个通用的框架的基础上吉布斯后更新信念分布的偏微分方程（PDE）的反问题。吉布斯后验公式是标准贝叶斯推断的推广，其仅依赖于将未知参数连接到数据的损失函数。当真实数据生成机制（或噪声分布）未知或难以指定时，它特别有用。吉布斯后验符合贝叶斯更新时，一个真正的似然函数是已知的，损失函数对应于负对数似然，但在更一般的设置提供主观推断。我们采用序贯蒙特卡罗（SMC）的方法来近似吉布斯后验粒子。为了管理通过损失函数传播越来越多的粒子的计算成本，我们采用了最近开发的局部缩减基方法来构建一个有效的替代损失函数，该函数用于吉布斯更新公式中代替真实损失。我们推导出我们的近似误差界，并提出了一种自适应的方法来构建代理模型，在一个有效的方式。我们证明了我们的方法的效率，通过几个数值例子。
2019-07-02 cs.LG stat.CO
Model-free posterior inference on the area under the receiver operating characteristic curve
受试者工作特征曲线（AUC）下的面积作为二元分类器性能的总结。用于估计AUC的方法已经在限制分类器产生的分数的分布的二正态性假设下开发。然而，这种假设引入了无限维的讨厌参数，并且可能是不合适的，特别是在机器学习的上下文中。这促使我们采用模型自由吉布斯后验分布的AUC。我们提出了渐近吉布斯后验集中率，并调整学习率，使相应的可信区间达到标称频率覆盖概率的策略。仿真实验和实际数据分析表明，吉布斯后验的强大性能相比，现有的方法的基础上的秩似然。
2019-06-26 stat.ME
Robust posterior inference for Youden's index cutoff
Youden指数截止值是将患者的诊断测试结果和可用协变量信息映射到诊断类别的分类器。通常，通过首先对给定诊断的测试结果的条件分布进行建模，然后为估计的分布选择最佳截止值，来间接估计截止值。在这里，我们提出了一个吉布斯后验分布直接推断的截止。与现有方法相比，我们的方法使得结合有关截止的先验信息变得更容易，并且在没有指定数据的概率模型的情况下这样做，这可能是错误的。建议的吉布斯后验分布是强大的数据分布，是由大样本理论的支持，并在模拟中表现良好的替代贝叶斯和bootstrap为基础的方法。此外，两个真实的数据集进行检查，说明吉布斯后验方法的灵活性和它的能力，利用直接先验信息的截止。
2021-08-10 stat.ME
Posterior model probabilities computed from model-specific Gibbs output
可逆跳马尔可夫链蒙特卡罗（RJMCMC）扩展了普通MCMC方法用于贝叶斯多模型推理。我们表明，RJMCMC可以实现为吉布斯采样与交替更新的模型指标和矢量值的"调色板"的参数表示$\bm ψ$。就像艺术家使用调色板混合特定需求的颜色一样，我们从$\bm ψ$中可用的集合中创建模型特定的参数。这种描述不仅消除了RJMCMC的一些神秘性，而且还为使用普通MCMC一次一个地拟合模型和通过后处理蒙特卡罗输出来计算模型权重或贝叶斯因子提供了基础。我们用几个例子来说明我们的程序。
2011-05-26 stat.AP stat.CO stat.ME
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化，但相应的后验分布可能对离群值敏感。为了克服这一问题，近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似，它是可能的，以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
A Gibbs posterior sampler for inverse problem based on prior diffusion model
针对观测系统线性变换且带加性误差、问题不适定且正则化依赖贝叶斯策略、先验由扩散过程建模的逆问题，引入吉布斯算法，证明其有效且简单，给出收敛保证要素及论据，数值模拟证实了结果。
2026-07-08 cs.LG stat.AP stat.ML
Mixture model fitting using conditional models and modal Gibbs sampling
Department of Mathematics, School of Industrial Engineering-Albacete（工业工程学院阿尔巴塞特分校数学系）
提出一种基于模态吉布斯采样的新算法，通过仅采样辅助变量来近似混合模型的后验分布，利用集成嵌套拉普拉斯近似计算密度参数的条件分布众数，降低计算负担并给出良好估计。
2026-06-18 stat.CO stat.ME
Posterior distributions of Gibbs-type priors
针对Gibbs型先验通用类后验分布未知的问题，本文利用其独有Gibbs性质提出新颖证明方法，给出该类先验的后验分布描述，并通过多个具体案例验证说明。
2023-08-28 math.PR math.ST stat.TH
Efficient Gibbs Sampling in Cox Regression Models Using Composite Partial Likelihood and Pólya-Gamma Augmentation
National Institute of Infectious Diseases（国立感染症研究所）
针对Cox回归贝叶斯方法基线风险建模复杂、计算低效的问题，提出GS4Cox全吉布斯采样器，结合广义贝叶斯框架、复合部分似然、Pólya-Gamma增强及仿射校准，实现高效采样并提升估计性能。
2025-11-18 stat.ME
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而，当参数仅通过似然性弱识别时，后验结果可能会像前验结果一样具有较重的尾部，从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”，从而产生先验的正则化版本。我们开发了一种正则化方法，与以前的建议不同，它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质，重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明，提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上，唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$，在贝叶斯桥先验的情况下，我们表明，采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
Stability of Gibbs Posteriors from the Wasserstein Loss for Bayesian Full Waveform Inversion
最近，Wasserstein损失函数被证明是有效的，当应用于确定性全波形反演（FWI）问题。我们考虑应用这个损失函数在贝叶斯FWI，使不确定性可以捕获的解决方案。为了比较，还考虑了在实践中常用的其他损失函数。在对先验和模型的弱假设下，证明了所得Gibbs后验在函数空间上的存在性和稳定性。特别是，所产生的Wasserstein损失的分布被证明是相当稳定的高频噪声的数据。然后，我们用数值方法说明了所得分布之间的差异，使用拉普拉斯近似来估计未知的速度场和与估计相关的不确定性。
2021-04-16 cs.NA math.NA math.ST
Geometric ergodicity of Gibbs samplers for the Horseshoe and its regularized variants
马蹄铁是高维贝叶斯线性回归中广泛使用的一种连续收缩先验。最近，正则化版本的马蹄事先也已在文献中介绍。在文献中已经开发了各种吉布斯采样马尔可夫链，以从相应的难处理的后验密度生成近似样本。建立这些马尔可夫链的几何遍历性为基于马尔可夫链的后验量估计的渐近标准误差的准确性提供了关键的技术依据。在本文中，我们建立了几何遍历对应于马蹄先验及其正则化变量的线性回归的背景下，各种吉布斯采样。首先，我们建立了几何遍历的吉布斯采样器的原始马蹄后严格弱于现有的分析文献中的条件下。其次，我们考虑了Piironen和Vehtari（2017）中引入的正则化马蹄先验，并证明了Gibbs采样马尔可夫链从相应的后验中采样的几何遍历性，而无需对全局和局部收缩参数进行任何截断约束。最后，我们考虑Nishimura和Suchard（2020）中引入的正则化马蹄先验的一个变体，并再次建立Gibbs采样马尔可夫链的几何遍历性，以从相应的后验中采样。
2021-01-02 math.ST stat.TH
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上，我们可以在更新结构模型时施加空间稀疏刚度的变化。为此，基于我们以前的工作类似的层次稀疏贝叶斯学习模型，我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同，但都是从结构刚度参数和系统模态参数的条件后验概率密度函数（PDF）中采样。吉布斯抽样的有效维数较低，因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成，同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样，其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看，一个很好的特点是，它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害，以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战，从贝叶斯推断的结构刚度服务，以加强基于振动的结构系统识别的能力，但我们的方法也有更广泛的适用性，在科学和技术的逆问题，系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
Block Gibbs samplers for logistic mixed models: convergence properties and a comparison with full Gibbs samplers
逻辑斯蒂线性混合模型（LLMM）是应用最广泛的统计模型之一。通常，马尔可夫链蒙特卡罗算法用于探索与贝叶斯LLNN相关联的后验密度。Polson、Scott和Windle（2013）的Polya-Gamma数据增强（DA）技术可用于构建LLLRR的完整Gibbs（FG）采样器。在这里，我们开发了高效的块吉布斯（BG）采样器贝叶斯LLPERS使用Polya-Gamma DA方法。当固定效应和随机效应之间的相关性发生变化以及设计矩阵的维度发生变化时，我们在真实数据示例的上下文中比较FG和BG采样器。这些数值例子证明了BG采样器优于FG采样器的性能。我们还得到了条件，保证几何遍历的BG马尔可夫链时，流行的不适当的一致先验分配的回归系数，适当或不适当的先验放置在方差参数的随机效应。这一理论结果具有重要的实际意义，因为它证明了使用渐近有效的蒙特卡罗标准误的马尔可夫链为基础的后验量的估计。
2021-12-16 stat.ME
Kinetic Langevin Meets Split Gibbs: Accelerated Posterior Sampling for Imaging Inverse Problems with Diffusion Priors
Hokkaido University（北海道大学）；Institute of Information Technology, VAST（越南科学技术翰林院信息技术学院）
本文提出RED-KLwSGS及其联合变体，将动力学朗之万扩散与分裂吉布斯采样结合，以加速成像逆问题的后验采样，并证明非渐近收敛性，实验显示更快收敛和高质量重建。
2026-10-08 cs.LG stat.ML
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型，这是实际相关的意义上说，它是足够普遍的，有许多应用程序，它不是直接从相应的后验分布直接采样。因此，我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是，我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之，我们的研究结果为从业者提供了工具，使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中，我们考虑马尔可夫链蒙特卡罗（MCMC）算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是，我们构造的两块吉布斯采样器使用的数据增强（DA）技术。此外，我们证明了Gibbs抽样的几何遍历性，这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时，我们也提供了后适当的条件。一般而言，用于DA的Haar参数展开（PX- DA）算法是DA算法的改进，并且已经表明，它在理论上至少与DA算法一样好。在这里，我们构建了一个Haar PX DA算法，它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Gibbs Sampling using Anti-correlation Gaussian Data Augmentation, with Applications to L1-ball-type Models
针对 L1-ball-type 稀疏先验的后验计算瓶颈，提出反相关高斯数据增强与分块 Gibbs 抽样，实现低成本、快速混合并具有几何遍历性保证。
2024-04-06 stat.ME
Component-wise approximate Bayesian computation via Gibbs-like steps
Université Paris-Dauphine, Université PSL, CNRS, CEREMADE（巴黎第九大学、巴黎文理研究大学、法国国家科学研究中心、计算与数据科学数学中心）
本文提出一种基于Gibbs步骤的分量近似贝叶斯计算方法，通过降维汇总统计量提升效率，实现更高效的参数估计。
2020-09-17 stat.CO stat.ME
The Bayesian SLOPE
SLOPE通过使用排序的$\ell_1$范数惩罚最小化正则化残差平方和来估计回归系数。SLOPE结合了回归问题中的测试和估计。它具有合适的变量选择和预测属性，以及极大极小最优性。本文介绍了线性回归的贝叶斯斜率法。经典的SLOPE估计是正态回归问题中的后验模式，具有适当的系数先验。Bayesian SLOPE考虑了完整的Bayesian模型，并具有为参数提供可信集和标准误估计值的优势。此外，分层贝叶斯框架允许完整的贝叶斯和经验贝叶斯处理的惩罚系数，而目前尚不清楚如何选择这些系数时，使用的SLOPE对一般的设计矩阵。后提供了一个直接的表征，这表明吉布斯采样器，不涉及潜在变量。本文介绍了一种有效的贝叶斯斜率混合Gibbs采样器。突出显示了使用后验均值的点估计，这自动促进了对未来观测的贝叶斯预测。这些都证明了真实和合成数据。
2016-09-01 stat.ME stat.ML
Exact Sampling of Gibbs Measures with Estimated Losses
Monash University（莫纳什大学）；University College London（伦敦大学学院）；Queensland University of Technology（昆士兰科技大学）
针对损失需随机估计时标准MCMC后验依赖伪观测数量的问题，提出改进的PDMP采样器，实现后验抽取与伪观测数无关，并在五个实例中验证有效性。
2026-09-09 math.ST stat.CO stat.ME
The transcoding sampler for stick-breaking inferences on Dirichlet process mixtures
本文提出转码算法与转码采样器，将高效采样器得到的后验划分结果转换为stick-breaking表示，从而在保持较短IAT的同时实现对Dirichlet过程混合模型全部stick-breaking参数的推断。
2024-05-06 stat.ME
Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
完整的贝叶斯后验概率很少可以分析处理，这就是为什么现实世界的贝叶斯推断严重依赖于近似技术。近似通常不同于真正的后验，需要诊断工具来评估推断是否仍然可信。我们研究了一种新的方法来诊断近似推理：近似不匹配是由于在电感偏置的变化，通过处理的近似准确和逆向工程相应的先验。我们表明，这个问题比乍一看似乎更复杂，因为解决方案通常取决于观察。通过用不相容的条件分布重新构造问题，我们得到了一个自然的解决方案：吉布斯先验。诊断结果是基于伪吉布斯抽样，这是广泛适用，易于实现。我们说明了如何吉布斯先验可以用来发现在一个受控的高斯设置和各种贝叶斯模型和近似的归纳偏差。
2022-03-07 cs.LG stat.ML
Bayesian nonparametric estimation of Simpson's evenness index under $α-$Gibbs priors
Lijoi等人（2007，2008）最近介绍了一种贝叶斯非参数方法，用于研究物种多样性，该方法基于选择随机离散分布作为未知物种相对丰度的先验模型。在属于$α$ -Gibbs类的先验下，获得了{ \it物种丰富度}的显式后验预测估计（Gnedin & Pitman，2006）。在这里，我们专注于{ \it物种均匀度}的后验估计，它考虑了多样性的接近的情况下，均匀分布的人口到不同的物种。我们专注于辛普森指数，并提供了贝叶斯估计下的平方损失函数，其方差，在一些特定的$α-$吉布斯先验。
2012-03-08 math.PR math.ST stat.TH
Gibbs optimal design of experiments
本文提出Gibbs最优设计框架，将最优实验设计从依赖正确统计模型的贝叶斯范式推广到对模型误设更稳健的Gibbs推断，并给出计算方法及在多种模型上的示例验证。
2025-01-02 stat.ME
Stability of the Gibbs Sampler for Bayesian Hierarchical Models
本文证明了在具有任意对称误差分布的分层线性模型中，从参数和缺失数据的联合后验分布中采样的Gibbs采样器的收敛性。我们表明，收敛可以是均匀的，几何或亚几何依赖于相对尾部行为的误差分布，并选择的参数化。我们的理论被用来证明潜在高斯过程模型上Gibbs抽样器的收敛性。我们指出，我们介绍的理论框架将是有用的，在分析更复杂的模型。
2007-10-23 stat.CO stat.ME
Bridged Posterior: Optimization, Profile Likelihood and a New Approach to Generalized Bayes
本文提出桥接后验这一广义贝叶斯框架，将优化子问题嵌入似然以保留计算效率与约束结构，并证明其参数后验渐近等价于积分后验，从而消除部分优化会低估不确定性的传统顾虑。
2025-07-22 stat.ME
A Comprehensive Bayesian Treatment of the Universal Kriging model with Matérn correlation kernels
Gibbs参考后验分布为具有Matérn各向异性核的平稳高斯过程的预测问题提供了一个客观的全贝叶斯解决方案。一个完整的贝叶斯方法是可能的，因为后验分布表示为一致遍历马尔可夫核的不变分布，我们给出了一个明确的表达式。在本文中，我们表明，它是适当的泛克里格框架，即当一个未知的函数被添加到平稳高斯过程。我们给出了适用于各种实际情况的吉布斯参考后验的存在性和适当性的充分条件，并用几个例子说明了该方法。最后，高斯过程的模拟表明，吉布斯参考后验具有良好的频率属性的预测区间的覆盖。
2018-01-15 math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的，因为任何非平凡的前导致一个棘手的后验密度。然而，如果采用条件共轭先验密度，则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中，一个常见的缺陷是不适当的先验，它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果，因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的，从实用的角度来看，因为它保证了存在的中心极限定理，允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
When Is Generalized Bayes Bayesian? A Decision-Theoretic Characterization of Loss-Based Updating
Temple University（天普大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文通过决策理论特征化，区分了信念后验与决策后验，并证明基于损失的后验在特定条件下等同于普通贝叶斯，同时揭示了决策后验需要非线性偏好及熵惩罚的变分表示。
2026-02-02 stat.ME stat.ML
Fused $L_{1/2}$ prior for large scale linear inverse problem with Gibbs bouncy particle sampler
Central South University（中南大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
本文提出融合L_{1/2}先验的吉布斯弹跳粒子采样方法，用于高效解决大规模线性逆问题。
2025-12-16 stat.CO stat.ME
Gibbs-type Indian buffet processes
我们研究了一类特征分配模型，推广了印度自助餐过程和参数化吉布斯型随机措施。两个现有的类包含作为特殊情况：原来的两个参数的印度自助过程，对应于Dirichlet过程，和稳定的（或三个参数）印度自助过程，对应于Pitman-Yor过程。吉布斯型分区的渐近行为，如幂律保持的潜在集群的数量，转化为这类吉布斯型特征分配模型的类似特征。尽管包含几个不同的不同子类，吉布斯型分区的属性允许我们开发一个黑盒程序的模型的任何子类内的后验推理。通过数值实验，我们比较和对比这些子类中的几个，并突出不同的幂律行为的潜在功能的效用。
2019-11-10 stat.ML
Sampling hyperparameters in hierarchical models: improving on Gibbs for high-dimensional latent fields and large data sets
我们考虑在非常常见的贝叶斯分层模型中的后验抽样，在该模型中，观察到的数据取决于高维潜变量，而高维潜变量又取决于相对较少的超参数。当隐变量上的完全条件具有已知形式时，超参数上的边缘后验分布是可访问的，并且可以在低维参数空间上使用马尔可夫链蒙特卡罗（MCMC）方法进行采样。这可以提高标准吉布斯抽样的计算效率，因为计算不在潜在变量的高维空间上，并且超参数和潜在变量之间的相关性变得无关紧要。当超参数上的边际后验依赖于一个固定维的充分统计量时，预先计算该充分统计量使得低维MCMC的代价与数据大小无关.然后，当超参数是感兴趣的主要变量时，可以以适度的成本在大数据设置中执行推断。此外，由于潜变量的完全条件的形式不依赖于超先验分布的形式，因此该方法不对超先验施加限制，这与通常需要共轭分布的吉布斯抽样不同。我们证明了这些效率的提高在四个计算的例子。
2016-10-21 stat.CO
Analyzing Relevance Vector Machines using a single penalty approach
Iowa State University（爱荷华州立大学）
相关向量机（RVM）是一种流行的稀疏贝叶斯学习模型，通常用于预测。最近的研究表明，在RVM中对多个惩罚参数假设不正确的先验可能会导致不正确的后验概率。目前在文献中，RVM的后验适当性的充分条件不允许在多个惩罚参数的不适当的先验。在这篇文章中，我们提出了一个单一的惩罚相关向量机（SPRVM）模型，其中多个惩罚参数被替换为一个单一的惩罚，我们认为一个半贝叶斯方法来拟合SPRVM。SPRVM的后验适当性的充分必要条件比RVM的更自由，并允许几个不适当的先验的惩罚参数。此外，我们还证明了用于分析SPRVM模型的Gibbs采样器的几何遍历性，从而可以估计与后验预测分布的平均值的蒙特卡罗估计相关的渐近标准误。这样的蒙特卡罗标准误不能在RVM的情况下计算，因为用于分析RVM的吉布斯采样器的收敛速率是未知的。通过对三个真实数据集的分析，比较了RVM和SPRVM的预测性能。
2021-07-05 cs.LG stat.ME stat.ML
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型（Albert和Chib（1993））是流行的，广泛用于二元回归。虽然在没有任何先验信息的情况下，回归系数的不适当的平坦先验是适当的选择，但是当先验信息可用时或者在系数的数量（$p$）大于样本大小（$n$）的现代高维设置中，适当的正态先验是期望的。对于这两种选择的先验，由此产生的后验密度是棘手的，数据Dugmentation（DA）马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的，因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中，我们首先表明，在正常的先验的情况下，DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$，$n$和$p$（不像不适当的先验的情况下，其中$n \geq p$和另一个条件$X$后的适当性本身）。我们还得到了DA马尔可夫链是迹类的充分条件，即，相应算子的本征值是可求和的。特别是，这使我们能够得出结论，Haar PX-DA三明治算法（通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得）在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Non-Gaussian Stochastic Volatility Model with Jumps via Gibbs Sampler
在这项工作中，我们提出了一个模型来估计波动率从金融时间序列，扩展了非高斯族的空间状态模型与确切的边际似然Gamerman，Santos和Franco（2013）。在文献中，有模型专注于估计金融资产风险，然而，他们中的大多数依赖于基于Metropolis算法的MCMC方法，因为完整的条件后验分布是未知的。我们提出了一个替代模型，能够估计的波动率，在一个自动的方式，因为所有完整的条件后验分布是已知的，它是可以通过吉布斯采样器获得一个精确的参数样本。在收益中加入跳跃，使模型能够捕捉到数据的投机性波动，这样它们的影响就不会传播到波动性。我们使用合成和真实的数据时间序列的算法的性能进行评估。关键词：金融时间序列，随机波动率，吉布斯采样器，动态线性模型。
2018-10-01 q-fin.CP q-fin.ST stat.OT
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具，但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法，但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法，它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法，发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用，说明了所提出的方法的性能。
2020-05-26 stat.ME
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中，在没有先验信息的情况下，回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的（2013）数据增强（DA）算法。在本文中，我们建立了马尔可夫链的基础上Polson等人。的（2013）DA算法是几何遍历的。证明这一理论结果具有重要的实际意义，因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Dirichlet Posterior Sampling with Truncated Multinomial Likelihoods
我们考虑的问题，从后验分布下形成的Dirichlet先验和截断多项式似然，我们的意思是一个多项式似然函数，我们的条件下，一个或多个计数为零的先验。对该后验分布进行采样在基于狄利克雷分布或狄利克雷过程的分层贝叶斯模型的推理算法中是有意义的，特别是分层狄利克雷过程隐半马尔可夫模型的吉布斯抽样算法。我们提供了一个数据增强采样算法，易于实现，快速混合和执行，并易于扩展到许多维度。我们证明了该算法的优势，一个通用的大都市黑斯廷斯抽样算法在几个数值实验。
2012-09-03 stat.ME
On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression
在逻辑斯谛回归中，当预测因子的线性组合可以完美地分类样本中的部分或全部观测值时，分离发生，并且因此，回归系数的有限最大似然估计不存在。Gelman等人（2008）建议将独立柯西分布作为逻辑斯谛回归中回归系数的默认先验，即使在分离的情况下也是如此，并在其分析中报告了后验模式。由于柯西先验的均值不存在，一个自然的问题是分离下回归系数的后验均值是否存在。我们证明定理，提供了必要和充分条件下独立的柯西先验的logit链接和一般家庭的链接函数，包括概率链接后的手段存在。我们还研究了多元柯西先验下后验均值的存在性。对于完整的贝叶斯推断，我们开发了一个基于Polya-Gamma数据增强的Gibbs采样器，用于在独立的Student-t先验（包括Cauchy先验）下从后验分布中采样，并在补充中提供了配套的R软件包。我们的经验表明，即使在分离下的回归系数的后验均值存在，柯西先验的后验样本的大小可能是异常大，相应的吉布斯采样器显示出非常缓慢的混合。虽然Stan中的No-U-Turn Sampler等替代算法可以极大地改善混合，但为了解决分离下Cauchy先验的极重尾后验问题，需要考虑自由度大于1的轻尾先验，如正常先验或Student-t先验。
2017-02-09 stat.ME
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley（加州大学伯克利分校）
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间，因此使用了各种近似方法。吉布斯抽样是最准确的方法之一，并提供无偏样本的后验，但它历来是太昂贵的大型模型。在本文中，我们提出了一个优化的，并行吉布斯采样增强状态复制（或状态增强边际估计），以减少收敛时间。我们发现，改进的参数估计的质量，同时加速收敛。合成和真实数据的实验表明，我们的吉布斯采样器是大大快于最先进的采样器，JAGS，而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器，以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Sequential Gibbs Posteriors with Applications to Principal Component Analysis
针对单调参Gibbs后验不确定性量化效果差的问题，提出序贯Gibbs后验，证明其满足集中性与Bernstein-von Mises定理，还得到流形上传统贝叶斯后验的首个该定理，并通过主成分分析验证方法。
2025-09-07 stat.ME stat.ML
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
Tamkang University（淡江大学）
本文提出了一种对称随机扫描坍缩Gibbs采样器，用于高效贝叶斯变量选择，结合尖峰-夹层先验和自适应正则化，实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME
Bayesian Estimation of Hierarchical Linear Models from Incomplete Data: Cluster-Level Interaction Effects and Small Sample Sizes
针对小样本和部分观测数据下HLM的估计问题，提出一种直接从精确后验分布填补参数与缺失值的兼容Gibbs采样器，通过模拟证明其优于现有方法。
2025-01-31 stat.ME
Fast sampling and model selection for Bayesian mixture models
Center for the Study of Complex Systems, University of Michigan（密歇根大学复杂系统研究中心）
我们研究贝叶斯估计的混合模型，并认为有利于拟合的边缘后验分布组件分配直接，而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢，但我们证明，如果正确实现，它可以实现出色的性能。特别是，我们描述了一种新的蒙特卡罗算法，从边缘后采样的一般可积混合，利用拒绝免费抽样从以前的组件分配，以实现优良的混合时间在典型的应用程序中，优于标准的吉布斯抽样，在某些情况下，由一个很宽的利润率。我们展示了高斯，泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
The Tilted Sampling Problem: Optimism, Posterior Sampling, and Logarithmic Regret
Mila – Québec AI Institute, McGill University（米拉-魁北克人工智能研究所，麦吉尔大学）
针对倾斜采样问题，研究目标是从未知奖励函数诱导的吉布斯分布中采样，定义了采样遗憾并提出通用遗憾框架，开发了UCB和汤普森采样的采样模拟算法，得到对数级采样遗憾的结果，区分了软最优分布采样与硬最优识别的学习任务。
2026-10-16 cs.LG math.OC stat.ML
Bayesian Lasso Posterior Sampling via Parallelized Measure Transport
众所周知，Lasso可以被解释为具有Laplacian先验的贝叶斯后验模式估计。从完整的后验分布（Bayesian Lasso）中获取样本，与仅使用Lasso点估计相比，在性能方面具有重大优势。传统上，贝叶斯套索是通过吉布斯抽样方法，缺乏可扩展性，未知的收敛速度，并产生的样本，必然是相关的。我们提供了一个测量运输的方法来生成i.i.d样本的后，通过构建一个运输映射，将一个样本从拉普拉斯先验到一个样本的后。我们展示了如何建设这个运输地图可以并行成模块，迭代解决拉索问题，并执行封闭形式的线性代数更新。利用这种后验抽样方法，我们通过期望最大化算法对Lasso正则化参数进行极大似然估计。我们提供比较传统的吉布斯采样器使用糖尿病数据集的埃夫隆等人。最后，我们给出了一个例子，利用并行化，图形处理单元，其执行时间的计算系统上的实现方式有更少的依赖于尺寸相比，一个标准的实现。
2018-01-07 stat.CO
