Bayesian variable selection for latent class analysis using a collapsed Gibbs sampler
潜在类别分析用于对多变量分类响应执行基于模型的聚类。选择与聚类最相关的变量是一项重要的任务,它会大大影响聚类的质量。这项工作认为贝叶斯方法选择的集群数量和最佳聚类变量。其主要思想是重新制定的问题组和变量选择的概率驱动搜索在一个大的离散空间使用马尔可夫链蒙特卡罗(MCMC)方法。这种方法的结果是估计聚类的每个变量的相关程度以及聚类数的后验概率。然后可以很容易地计算贝叶斯因子,并以原则性的方式选择合适的模型。这两个选择任务同时进行,使用MCMC方法的基础上崩溃的吉布斯抽样方法,其中几个模型参数集成的模型,大大提高了计算性能。提出了估计类成员资格,变量包含和组数的后验边际概率的方法,并概述了参数和不确定性估计的事后程序。模拟和真实数据的方法进行了测试。
2015-04-30 stat.CO
Bayesian Modeling of Gibbs Point Processes via Basis Function Expansions
University of Missouri(密苏里大学)
该研究针对非齐次成对交互Gibbs点过程模型,提出基于基函数展开的分层贝叶斯框架与完全空间随机性检验程序,并通过水黾、森林火灾两个真实基准数据验证了方法有效性。
2026-08-14 stat.AP stat.CO stat.ME
Component-wise approximate Bayesian computation via Gibbs-like steps
Université Paris-Dauphine, Université PSL, CNRS, CEREMADE(巴黎第九大学、巴黎文理研究大学、法国国家科学研究中心、计算与数据科学数学中心)
本文提出一种基于Gibbs步骤的分量近似贝叶斯计算方法,通过降维汇总统计量提升效率,实现更高效的参数估计。
2020-09-17 stat.CO stat.ME
A Modified Gibbs Sampler on General State Spaces
我们提出了一个修改的吉布斯采样一般状态空间。我们确定,这种修改可以导致统计效率的大幅提高,同时保持收敛的整体质量。我们说明我们的结果在两个例子中,包括一个玩具正态-正态模型和贝叶斯版本的随机效应模型。
2013-08-26 stat.CO
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣,收敛复杂性分析是研究蒙特卡罗马尔可夫链(对于难以处理的贝叶斯后验分布)的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题,而且很少有成功的分析。秦和霍伯特(2021 b)最近提出了一个富有成效的分析,他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明,在规则性条件下,随着数据集大小的增加,该吉布斯采样器的几何收敛速度收敛到零。本文表明,吉布斯采样器表现出类似的行为,更一般的贝叶斯模型,具有随机效应和传统的连续协变量,所谓的混合模型。该分析采用了Qin和Hobert(2021 b)介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间,在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果,并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Analysis of the Polya-Gamma block Gibbs sampler for Bayesian logistic linear mixed models
在这篇文章中,我们使用Polson等人(2013)的数据增强技术,在适当的先验条件下,使用Polya-Gamma潜变量构建了贝叶斯逻辑线性混合模型的两块Gibbs采样器。此外,我们证明了这种Gibbs抽样的一致遍历性,这保证了基于MCMC估计的中心极限定理的存在性。
2017-11-17 math.ST stat.TH
A note on Bayesian logistic regression for spatial exponential family Gibbs point processes
近年来,指数族Gibbs空间点过程的逻辑斯谛回归推理方法被提出.我们将它与二次切向变分逼近技术相结合,导出了一种新的贝叶斯空间点模式分析方法。该技术进行了详细描述,并证明了数值例子。
2014-11-03 stat.ME stat.OT
Scalability of Metropolis-within-Gibbs schemes for high-dimensional Bayesian models
Duke University(杜克大学);University of Warwick(华威大学);Bocconi University(博科尼大学)
本文研究了高维贝叶斯模型中Metropolis-within-Gibbs方案的收敛性,通过条件电导分析其性能,并讨论了在非共轭分层模型中的应用及相关理论扩展。
2026-01-09 math.ST stat.CO stat.ML
Gibbs Sampling for a Bayesian Hierarchical General Linear Model
我们考虑贝叶斯分层版本的正常理论一般线性模型,这是实际相关的意义上说,它是足够普遍的,有许多应用程序,它不是直接从相应的后验分布直接采样。因此,我们研究了一个块吉布斯采样器的后验作为其不变分布。特别是,我们建立的吉布斯采样器收敛于几何速度。这使我们能够建立一个中心极限定理的遍历平均用于估计后的功能的条件。几何遍历性也是使用批平均方法一致地估计渐近正态分布方差的关键组成部分。总之,我们的研究结果为从业者提供了工具,使他们对基于吉布斯采样器观察结果的推断和基于后验随机样本的推断一样有信心。我们的理论结果说明了应用程序的健康维护组织发布的健康计划的成本数据。
2010-01-21 math.ST stat.CO stat.TH
Algorithmic Bayesian Group Gibbs Selection
贝叶斯模型选择,在George和McCulloch(1993)和Abramovich等人(1998)中有先例,支持与模型不确定性相关的可信度度量,但当稀疏先验近似时,计算成本可能很高。我们设计了一个适合高斯噪声,t分布噪声和逻辑学习的精确选择引擎,受益于坐标下降套索的数据结构。吉布斯采样器链以与等能量(Equi-Energy)兼容的压缩二进制格式存储(Kou等人,2006)回火。我们实现了一个分组效应选择模型,类似于组套索的设置,以确定进入模型的系数的共同输入。我们推导出一个函数的群包含被积函数,并引入一个新的MCMC开关步骤,以避免数值积分。定理表明该步具有指数收敛到目标分布。我们证明了群体选择的作用,以告知遗传分解的dilemma实验,并确定潜在的数量性状基因座在p > 40 K异质股票单倍型/表型研究。
2023-03-10 stat.CO stat.ME
Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields
Université Montpellier(蒙彼利埃大学);University College Dublin(都柏林大学学院)
本文提出了一种校准方法,用于通过复合似然进行Gibbs随机场的贝叶斯推断,通过实例验证了该方法的有效性。
2015-11-18 math.ST stat.CO stat.TH
Nested Sampling with Slice-within-Gibbs: Efficient Evidence Calculation for Hierarchical Bayesian Models
Kavli Institute for Cosmology Cambridge, University of Cambridge(剑桥大学卡弗里宇宙学研究所);Institute of Astronomy, University of Cambridge(剑桥大学天文学研究所)
NS-SwiG是一种用于分层贝叶斯模型的高效证据计算算法,通过切片内吉布斯核和似然预算分解提升高维模型的采样效率和证据估计精度。
2026-02-19 astro-ph.IM stat.CO stat.ME
Bayesian nonparametric estimation of Simpson's evenness index under $α-$Gibbs priors
Lijoi等人(2007,2008)最近介绍了一种贝叶斯非参数方法,用于研究物种多样性,该方法基于选择随机离散分布作为未知物种相对丰度的先验模型。在属于$α$ -Gibbs类的先验下,获得了{ \it物种丰富度}的显式后验预测估计(Gnedin & Pitman,2006)。在这里,我们专注于{ \it物种均匀度}的后验估计,它考虑了多样性的接近的情况下,均匀分布的人口到不同的物种。我们专注于辛普森指数,并提供了贝叶斯估计下的平方损失函数,其方差,在一些特定的$α-$吉布斯先验。
2012-03-08 math.PR math.ST stat.TH
Geometric ergodicity of Gibbs samplers for Bayesian error-in-variable regression
针对含经典与Berkson误差的多元Bayesian EIV回归,提出三变量确定性扫描Gibbs采样器,证明其始终几何遍历,并通过模拟和天体物理数据验证性能。
2023-04-20 math.ST stat.TH
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化,但相应的后验分布可能对离群值敏感。为了克服这一问题,近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似,它是可能的,以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
Marginals of multivariate Gibbs distributions with applications in Bayesian species sampling
Gibbs划分模型是推广两参数Poisson-Dirichlet族的概率函数乘积形式的最大一类正整数的无限可交换划分。最近,这些模型已被调查的贝叶斯非参数方法的物种抽样问题的替代品的狄利克雷和Pitman-Yor过程先验。在这里,我们推导出的条件和无条件的多元分布的边际所产生的可交换吉布斯分区,以获得显式的联合下降阶乘矩相应的条件和无条件吉布斯抽样公式。我们的证明依赖于一个已知的非独立指标和的阶乘矩的结果。我们提供了一个应用贝叶斯非参数估计的预测概率,观察一个物种已经观察了一定的次数。
2012-08-09 math.PR math.ST stat.TH
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley(加州大学伯克利分校)
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间,因此使用了各种近似方法。吉布斯抽样是最准确的方法之一,并提供无偏样本的后验,但它历来是太昂贵的大型模型。在本文中,我们提出了一个优化的,并行吉布斯采样增强状态复制(或状态增强边际估计),以减少收敛时间。我们发现,改进的参数估计的质量,同时加速收敛。合成和真实数据的实验表明,我们的吉布斯采样器是大大快于最先进的采样器,JAGS,而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器,以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
A Hybrid Scan Gibbs Sampler for Bayesian Models with Latent Variables
吉布斯抽样是一种广泛流行的马尔可夫链蒙特卡罗算法,可用于分析与贝叶斯分层模型相关的棘手的后验分布。吉布斯采样器有两个标准版本:系统扫描(SS)版本,其中所有变量在每次迭代时更新,以及随机扫描(RS)版本,其中单个随机选择的变量在每次迭代时更新。文献比较SS和RS吉布斯采样器的理论特性进行了审查,并介绍了一种替代的混合扫描吉布斯采样器,这是特别适合于贝叶斯模型的潜变量。“混合”一词反映了这样的事实,即在该算法中使用的扫描具有系统和随机元两者。事实上,在每次迭代中,我们都会更新整个潜在变量集,以及随机选择的剩余变量块。混合扫描(HS)Gibbs采样器与两种标准扫描Gibbs采样器相比具有重要的优点。首先,HS算法通常更容易从理论角度进行分析。特别地,建立HS吉布斯马尔可夫链的几何遍历性比对相应的SS和RS版本做同样的事情要容易得多。其次,在Hobert和Marchev(2008)中开发的三明治方法,也被审查,可以应用于HS吉布斯算法(但不适用于标准扫描吉布斯采样器)。结果表明,在弱正则性条件下,添加三明治步骤的HS吉布斯采样器总是导致在理论上优越的算法。三个具体的贝叶斯层次模型的不同复杂性来说明的结果。一个是一个简单的位置规模模型的数据从学生的$t$分布,这是作为一个教学工具。另外两个是复杂但实用的贝叶斯回归模型。
2019-12-30 math.ST stat.TH
Bayesian nonparametric scalar-on-image regression via Potts-Gibbs random partition models
标量图像回归旨在研究基于高维成像数据的感兴趣标量响应的变化。我们提出了一种新的贝叶斯非参数标量图像回归模型,利用体素的空间坐标组体素具有相似的影响的响应有一个共同的系数。我们采用Potts-Gibbs随机分区模型作为随机分区的先验,其中分区过程是空间依赖的,从而鼓励代表空间连续区域的组。此外,贝叶斯收缩先验用于识别与预测最相关的协变量和区域。使用模拟数据集说明了所提出的模型。
2022-06-22 stat.AP stat.ME
A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology(大连理工大学);University College London(伦敦大学学院)
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能,然后我们提供了几个其他联合对角化算法,这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品,吉布斯采样器的输出可以用来估计对数边际似然,但是我们采用基于贝叶斯信息准则(BIC)的近似,在合成的例子中,它被认为正确地定位了公共特征向量的数量。然后,我们成功地应用采样器的源分离问题,以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
Spectral Collapsed Gibbs Sampler for Bayesian Sparse Regression
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种基于谱分解的高斯-马尔可夫采样器,用于解决贝叶斯稀疏回归中高维数据后验推断的效率问题,通过优化全局尺度参数τ的混合性,提升算法收敛速度和稳定性。
2026-05-07 stat.CO stat.ME
Efficient Bayesian inference for nonlinear state space models with univariate autoregressive state equation
潜自回归过程是一个流行的选择模型的时变参数。这些模型可以用公式表示为非线性状态空间模型,由于参数数量多,因此推断不直接。因此,极大似然方法往往是不可行的,研究人员依赖于替代技术,如吉布斯抽样。但是传统的吉布斯采样器通常是针对特定情况定制的,并且在重复抽取中具有高自相关性。针对一般的非线性状态空间模型,提出了一种基于单变量自回归状态方程的Gibbs采样器。为此,我们采用交织策略和椭圆切片采样,以利用自回归过程所隐含的依赖性。在一个模拟研究中,我们证明了所提出的采样器的效率为二元动态copula模型。此外,我们有兴趣在波动率回报关系建模。因此,我们使用所提出的采样估计的参数的随机波动率模型的偏学生t误差和一个新的二元动态混合copula模型的参数。该模型允许动态非对称尾部依赖。相关的基准模型,如DCC-Gestra或学生t copula模型,预测精度方面的比较显示所提出的方法的优越性能。
2019-10-31 stat.CO
Computational Solutions for Bayesian Inference in Mixture Models
本章调查了最标准的蒙特卡罗方法,可用于从与混合物相关的后验分布进行模拟,并进行了一些关于Gibbs采样器在高维高斯设置中的鲁棒性的实验。这是为即将出版的《混合物分析手册》准备的一章。
2018-12-18 stat.CO
Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
完整的贝叶斯后验概率很少可以分析处理,这就是为什么现实世界的贝叶斯推断严重依赖于近似技术。近似通常不同于真正的后验,需要诊断工具来评估推断是否仍然可信。我们研究了一种新的方法来诊断近似推理:近似不匹配是由于在电感偏置的变化,通过处理的近似准确和逆向工程相应的先验。我们表明,这个问题比乍一看似乎更复杂,因为解决方案通常取决于观察。通过用不相容的条件分布重新构造问题,我们得到了一个自然的解决方案:吉布斯先验。诊断结果是基于伪吉布斯抽样,这是广泛适用,易于实现。我们说明了如何吉布斯先验可以用来发现在一个受控的高斯设置和各种贝叶斯模型和近似的归纳偏差。
2022-03-07 cs.LG stat.ML
Fast Gibbs sampling for the local and global trend Bayesian exponential smoothing model
针对局部与全局趋势贝叶斯指数平滑模型依赖 NUTS 导致拟合过慢的问题,本文改进模型并提出定制 Gibbs 采样器,在 M3 上保持或提升精度且速度显著加快。
2024-06-29 cs.LG stat.CO stat.ML
Bayesian nonparametric analysis for a species sampling model with finitely many types
本文对Gnedin(2009)提出的一类具有多种Gibbs形式的种群抽样模型进行了显式贝叶斯非参数分析,该模型具有$α= -1$型.我们的结果补充了Lijoi等人(2008)提出的$α\in [0, 1)$型Gibbs先验下的现有分析。计算依赖于Cerquetti(2008)中引入的Gibbs分区的组顺序构造。
2010-01-01 math.PR math.ST stat.TH
Particle Gibbs for Bayesian Additive Regression Trees
University College London(伦敦大学学院);University of Toronto(多伦多大学);University of Oxford(牛津大学)
加法回归树是一种灵活的非参数模型,也是现实世界中非线性回归的常用工具。在应用领域,如生物信息学,也有需求的概率预测与不确定性的措施,贝叶斯加性回归树(BART)模型,介绍了Chipman等人。(2010),越来越受欢迎。然而,随着数据集规模的增长,用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地,这些马尔可夫链对树进行局部改变,并且当数据是高维的或者最佳拟合树超过几层深度时,遭受缓慢混合。我们提出了一种基于粒子吉布斯(PG)算法的BART新采样器(Andrieu等人,2010)和用于贝叶斯决策树的自上而下的粒子滤波算法(Lakshminarayanan等人,2013年)。PG采样器不是对单个树进行局部更改,而是提出一个完整的树来拟合残差。实验表明,PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
Bayesian Semi-Blind Deconvolution at Scale
NTNU(挪威科技大学);Indiana University(印第安纳大学);UCLA(加州大学洛杉矶分校)
本文提出了一种基于傅里叶域的可扩展贝叶斯半盲去卷积方法,通过改进的哈密顿蒙特卡罗更新和吉布斯采样器,提高了大规模图像去卷积的效率和准确性。
2026-01-14 stat.CO
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中,我们考虑马尔可夫链蒙特卡罗(MCMC)算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是,我们构造的两块吉布斯采样器使用的数据增强(DA)技术。此外,我们证明了Gibbs抽样的几何遍历性,这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时,我们也提供了后适当的条件。一般而言,用于DA的Haar参数展开(PX- DA)算法是DA算法的改进,并且已经表明,它在理论上至少与DA算法一样好。在这里,我们构建了一个Haar PX DA算法,它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Gradient Scan Gibbs Sampler: an efficient algorithm for high-dimensional Gaussian distributions
本文讨论了包含高维条件高斯分布的Gibbs采样器。它提出了一种有效的算法,避免了高维高斯采样,并依赖于沿一个小的方向集的随机偏移。该算法被证明是收敛的,即所抽取的样本是根据目标分布渐近分布的。我们的主要动机是在逆问题相关的一般线性观测模型和他们的解决方案,通过采样算法实现的分层贝叶斯框架。它可以直接应用于半盲/无监督方法以及一些非高斯方法。本文以超分辨率方法中的无监督估计为例进行了研究。
2015-09-11 stat.CO
Bayesian Lasso Posterior Sampling via Parallelized Measure Transport
众所周知,Lasso可以被解释为具有Laplacian先验的贝叶斯后验模式估计。从完整的后验分布(Bayesian Lasso)中获取样本,与仅使用Lasso点估计相比,在性能方面具有重大优势。传统上,贝叶斯套索是通过吉布斯抽样方法,缺乏可扩展性,未知的收敛速度,并产生的样本,必然是相关的。我们提供了一个测量运输的方法来生成i.i.d样本的后,通过构建一个运输映射,将一个样本从拉普拉斯先验到一个样本的后。我们展示了如何建设这个运输地图可以并行成模块,迭代解决拉索问题,并执行封闭形式的线性代数更新。利用这种后验抽样方法,我们通过期望最大化算法对Lasso正则化参数进行极大似然估计。我们提供比较传统的吉布斯采样器使用糖尿病数据集的埃夫隆等人。最后,我们给出了一个例子,利用并行化,图形处理单元,其执行时间的计算系统上的实现方式有更少的依赖于尺寸相比,一个标准的实现。
2018-01-07 stat.CO
Graphical posterior predictive classifier: Bayesian model averaging with particle Gibbs
在这项研究中,我们提出了一个多类的图形贝叶斯预测分类器,将不确定性的模型选择到标准的贝叶斯形式主义。对于每个类,所观察到的功能的依赖结构表示由一组可分解的高斯图形模型。然后重点放在贝叶斯模型平均,充分考虑到类特定的模型的不确定性,平均后验图模型的概率。众所周知,对模型概率的明确评估是不可行的。为了解决这个问题,我们考虑Olsson等人的粒子Gibbs策略。(2018 b)用于可分解图形模型的后验采样,该模型利用Olsson等人的圣诞树算法。(2018 a)作为建议内核。我们还推导出一个强大的超马尔可夫定律,我们称之为超正常Wishart法,允许进行贝叶斯计算本地。所提出的预测图形分类器显示出优越的性能相比,普通的贝叶斯预测规则,不考虑模型的不确定性,以及一些开箱即用的分类器。
2018-06-06 stat.ML
Stability of Gibbs Posteriors from the Wasserstein Loss for Bayesian Full Waveform Inversion
最近,Wasserstein损失函数被证明是有效的,当应用于确定性全波形反演(FWI)问题。我们考虑应用这个损失函数在贝叶斯FWI,使不确定性可以捕获的解决方案。为了比较,还考虑了在实践中常用的其他损失函数。在对先验和模型的弱假设下,证明了所得Gibbs后验在函数空间上的存在性和稳定性。特别是,所产生的Wasserstein损失的分布被证明是相当稳定的高频噪声的数据。然后,我们用数值方法说明了所得分布之间的差异,使用拉普拉斯近似来估计未知的速度场和与估计相关的不确定性。
2021-04-16 cs.NA math.NA math.ST
GIBBON: General-purpose Information-Based Bayesian OptimisatioN
Lancaster University(兰卡斯特大学);Microsoft Research(微软研究院)
本文介绍了一种通用的扩展最大值熵搜索,贝叶斯优化(BO)的流行方法。提出了一种新的近似的信息增益-信息理论的数量中心解决一系列BO问题,包括噪声,多保真度和批量优化跨连续和高度结构化的离散空间。在此之前,这些问题已经在信息理论BO中单独解决,每个问题都需要不同的复杂近似方案,除了批次BO之外,之前没有提出计算轻量级的信息理论方法。GIBBON(General-purpose Information-Based Bayesian OptimisatioN)提供了一个适用于上述所有方法的单一原则框架,其性能优于现有方法,同时大幅降低了计算开销。此外,GIBBON不要求问题的搜索空间是欧几里得的,因此是第一个高性能但计算量小的采集函数,支持在一般高度结构化的输入空间(如分子搜索和基因设计)上进行批量BO。此外,我们的原则推导GIBBON产生一个流行的批量BO启发式的基础上确定点过程的自然解释。最后,我们分析了GIBBON在一套合成基准任务,分子搜索循环,并作为一个具有挑战性的批处理多保真度框架的一部分,与可控的实验噪声的问题。
2021-10-26 cs.LG stat.ML
Bayesian Model Calibration for Extrapolative Prediction via Gibbs Posteriors
目前的标准贝叶斯模型校准方法,它分配一个高斯过程之前的差异项,往往遭受的不可识别性和计算复杂性和不稳定性的问题。当目标是量化外推预测的物理参数的不确定性时,则不需要对差异项执行推断。考虑到这一点,我们引入吉布斯后验作为一种替代贝叶斯方法模型校准,更新与损失函数连接的数据参数的先验。推理的目标是使期望损失最小的物理参数值。我们建议调整损失规模的吉布斯后验模型的差异形式的假设下,以保持名义频率覆盖率,并提出了一个自举实现近似覆盖率。我们的方法是高度模块化的,允许分析师轻松地对各种各样的假设进行编码。此外,我们提供了一个原则性的方法,结合后验的数据子集计算。我们将我们的方法应用于测量钽材料特性的实验数据。
2019-09-12 stat.ME
Gibbs posterior convergence and the thermodynamic formalism
在本文中,我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验,标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括(隐藏)马尔可夫链模型,包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时,Gibbs后验分布在参数空间上的渐近行为。特别是,我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统,我们表明,吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下,我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系,这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。
2019-01-24 math.DS math.PR math.ST
Coupling-based convergence assessment of some Gibbs samplers for high-dimensional Bayesian regression with shrinkage priors
我们考虑马尔可夫链蒙特卡罗(MCMC)算法的贝叶斯高维回归连续收缩先验。这些算法的共同挑战是选择要执行的迭代次数。当每次迭代都很昂贵时,这一点至关重要,处理现代数据集时也是如此,例如具有数千行和多达数十万列的全基因组关联研究。我们开发的耦合技术量身定制的设置与收缩先验的高维回归,使实用的,非渐近诊断的收敛,而不依赖于tracepots或长期运行的渐近。通过建立考虑中的算法的几何漂移和优化条件,我们证明了所提出的耦合有有限的预期会议时间。专注于一类收缩先验,其中包括“马蹄铁”,我们实证证明了所提出的耦合的可扩展性。我们发现的一个亮点是,对于Gibbs采样器来说,不到1000次迭代就足以在10万个协变量的回归中达到平稳性。数值结果还说明了先验对耦合计算效率的影响,并建议使用先验,其中局部精度为半t分布,自由度大于1。
2021-07-10 stat.CO stat.ME
Grid Particle Gibbs with Ancestor Sampling for State-Space Models
针对一般状态空间模型的贝叶斯参数与潜在状态估计,提出利用确定性网格和近似HMM表示高效生成粒子的带祖先采样网格粒子Gibbs算法,并在机制转换模型中验证其显著计算收益。
2025-01-06 stat.CO
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的,而与向量自回归的阶数和维数无关,并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言,几何收敛速度被证明是有界的渐近远离团结,几乎肯定或概率趋于一,这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Sampling from Constrained Gibbs Measures: with Applications to High-Dimensional Bayesian Inference
Yale University(耶鲁大学)
本文提出了一种在非规则部分受限的吉布斯分布中进行非渐近采样的方法,并应用于高维贝叶斯推断。
2026-02-25 math.PR math.ST stat.ML
Adaptive particle-based approximations of the Gibbs posterior for inverse problems
Duke University(杜克大学);George Mason University(乔治梅森大学)
在这项工作中,我们采用了一个通用的框架的基础上吉布斯后更新信念分布的偏微分方程(PDE)的反问题。吉布斯后验公式是标准贝叶斯推断的推广,其仅依赖于将未知参数连接到数据的损失函数。当真实数据生成机制(或噪声分布)未知或难以指定时,它特别有用。吉布斯后验符合贝叶斯更新时,一个真正的似然函数是已知的,损失函数对应于负对数似然,但在更一般的设置提供主观推断。我们采用序贯蒙特卡罗(SMC)的方法来近似吉布斯后验粒子。为了管理通过损失函数传播越来越多的粒子的计算成本,我们采用了最近开发的局部缩减基方法来构建一个有效的替代损失函数,该函数用于吉布斯更新公式中代替真实损失。我们推导出我们的近似误差界,并提出了一种自适应的方法来构建代理模型,在一个有效的方式。我们证明了我们的方法的效率,通过几个数值例子。
2019-07-02 cs.LG stat.CO
Generalized Bayesian Inference for Dynamic Random Dot Product Graphs
Florida State University(佛罗里达州立大学)
针对动态随机点积图缺乏连贯贝叶斯更新潜在位置先验信念及有效未来网络预测的问题,本研究提出广义贝叶斯框架,开发快速吉布斯采样器,其性能优于现有方法。
2025-09-24 stat.CO stat.ME
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中,在没有先验信息的情况下,回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的(2013)数据增强(DA)算法。在本文中,我们建立了马尔可夫链的基础上Polson等人。的(2013)DA算法是几何遍历的。证明这一理论结果具有重要的实际意义,因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的,因为任何非平凡的前导致一个棘手的后验密度。然而,如果采用条件共轭先验密度,则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中,一个常见的缺陷是不适当的先验,它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果,因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的,从实用的角度来看,因为它保证了存在的中心极限定理,允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上,我们可以在更新结构模型时施加空间稀疏刚度的变化。为此,基于我们以前的工作类似的层次稀疏贝叶斯学习模型,我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同,但都是从结构刚度参数和系统模态参数的条件后验概率密度函数(PDF)中采样。吉布斯抽样的有效维数较低,因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成,同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样,其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看,一个很好的特点是,它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害,以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战,从贝叶斯推断的结构刚度服务,以加强基于振动的结构系统识别的能力,但我们的方法也有更广泛的适用性,在科学和技术的逆问题,系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
Bayesian Stacking via Proper Scoring Rule Optimization using a Gibbs Posterior
针对协作预测中的权重选择问题,提出基于Gibbs后验、通过恰当评分规则优化的贝叶斯堆叠最优线性池,兼具正则化与权重不确定性量化能力,在模拟和FluSight竞赛数据上表现优于对比方法。
2025-09-04 stat.ME
On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析,这是研究马尔可夫链蒙特卡罗(MCMC)算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的,部分原因是固定的$n$和$p$的现有结果根本不够尖锐,不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal(2019)提出的,他们为Rosenthal(1996)引入和研究的Gibbs采样器(用于简单的贝叶斯随机效应模型)建立了混合时间结果。然而,这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术(秦等。例如,2019)以提供实质性的数值证据,即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果,两个不同的吉布斯采样器与Rosenthal(1996)考虑的随机效应模型的推广。我们的结果表明,在强正则性条件下,这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
A Note on Particle Gibbs Method and its Extensions and Variants
状态空间模型的高维状态轨迹对贝叶斯推断提出了挑战。粒子吉布斯(PG)方法已被广泛用于从状态空间模型的后验采样。基本上,粒子吉布斯是一种粒子马尔可夫链蒙特卡罗(PMCMC)算法,它通过从条件分布中提取模型参数和状态来模拟吉布斯采样器。本教程介绍了粒子吉布斯(PG)方法及其扩展和变体,并通过非线性状态空间模型(SSM)中的几个推理示例进行了说明。我们还用两种不同的编程语言实现了PG采样器:Python和Rust。还为各种PG方法提供了Python和Rust程序的运行时性能比较。
2020-08-15 stat.AP stat.CO
Evidence and Bayes factor estimation for Gibbs random fields
吉布斯随机场在统计学中起着重要的作用。然而,他们是复杂的工作,由于一个棘手的似然函数,并一直致力于寻找计算算法,让贝叶斯推断进行这种所谓的双重棘手的分布。本文扩展了这项工作,并解决了估计的证据和贝叶斯因子等模型的问题。我们开发的方法被证明是产生良好的性能。
2014-03-28 stat.CO stat.ME
Fused $L_{1/2}$ prior for large scale linear inverse problem with Gibbs bouncy particle sampler
Central South University(中南大学);CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出融合L_{1/2}先验的吉布斯弹跳粒子采样方法,用于高效解决大规模线性逆问题。
2025-12-16 stat.CO stat.ME
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge(剑桥大学)
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题,提出一种变复杂度采样器,在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Convergence analysis of block Gibbs samplers for Bayesian linear mixed models with $p>N$
探索与一般线性混合模型的贝叶斯版本相关的棘手的后验分布,经常使用马尔可夫链蒙特卡罗。特别地,如果使用条件共轭先验,则存在可用的简单两块吉布斯采样器。Román和Hobert [线性代数Appl. 473(2015)54-77]表明,当先验是适当的并且$X$矩阵具有满列秩时,这些Gibbs采样器下的马尔可夫链几乎总是几何遍历的。在本文中,Román和Hobert(2015)的结果通过允许方差分量上的不适当先验,更重要的是,通过删除$X$矩阵上的所有假设来扩展。因此,$X$不仅允许(列)秩亏,这在参数化固定效应时提供了额外的灵活性,还允许列数多于行数,这在$p>N$越来越重要的情况下是必要的。关于$X$的满秩假设是Román和Hobert(2015)证明的核心。因此,扩展到无限制的$X$需要一个完全不同的分析。
2016-09-30 math.ST stat.TH
A Comprehensive Bayesian Treatment of the Universal Kriging model with Matérn correlation kernels
Gibbs参考后验分布为具有Matérn各向异性核的平稳高斯过程的预测问题提供了一个客观的全贝叶斯解决方案。一个完整的贝叶斯方法是可能的,因为后验分布表示为一致遍历马尔可夫核的不变分布,我们给出了一个明确的表达式。在本文中,我们表明,它是适当的泛克里格框架,即当一个未知的函数被添加到平稳高斯过程。我们给出了适用于各种实际情况的吉布斯参考后验的存在性和适当性的充分条件,并用几个例子说明了该方法。最后,高斯过程的模拟表明,吉布斯参考后验具有良好的频率属性的预测区间的覆盖。
2018-01-15 math.ST stat.TH