Analysis of the Polya-Gamma block Gibbs sampler for Bayesian logistic linear mixed models
在这篇文章中,我们使用Polson等人(2013)的数据增强技术,在适当的先验条件下,使用Polya-Gamma潜变量构建了贝叶斯逻辑线性混合模型的两块Gibbs采样器。此外,我们证明了这种Gibbs抽样的一致遍历性,这保证了基于MCMC估计的中心极限定理的存在性。
2017-11-17 math.ST stat.TH
Adaptive MC^3 and Gibbs algorithms for Bayesian Model Averaging in Linear Regression Models
MC $^3$(Madigan and York,1995)和Gibbs(George and McCulloch,1997)采样器是线性回归模型中贝叶斯模型平均(BMA)最广泛实现的算法。这些采样器在每次迭代中使用统一的选择概率随机抽取一个变量,然后建议更新该变量。如果变量的数量很大并且许多变量是冗余的,则这在计算上可能是低效的。在这项工作中,我们引入自适应版本的这些采样器,保持其简单的实施,并减少了许多冗余变量的选择概率。在真实和模拟数据集的自适应采样器的效率的改进说明。
2013-06-25 stat.CO
Dimension free convergence rates for Gibbs samplers for Bayesian linear mixed models
大数据的出现导致人们对所谓的收敛复杂性分析越来越感兴趣,收敛复杂性分析是研究蒙特卡罗马尔可夫链(对于难以处理的贝叶斯后验分布)的收敛速度如何随着底层数据集的大小增长而扩展。连续状态空间上的实际蒙特卡罗马尔可夫链的收敛复杂性分析是一个相当具有挑战性的问题,而且很少有成功的分析。秦和霍伯特(2021 b)最近提出了一个富有成效的分析,他们研究了简单贝叶斯随机效应模型的吉布斯采样器。这些作者表明,在规则性条件下,随着数据集大小的增加,该吉布斯采样器的几何收敛速度收敛到零。本文表明,吉布斯采样器表现出类似的行为,更一般的贝叶斯模型,具有随机效应和传统的连续协变量,所谓的混合模型。该分析采用了Qin和Hobert(2021 b)介绍的基于Wasserstein的技术。
2021-08-11 math.ST stat.CO stat.TH
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间,在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果,并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Bayesian Multi--Dipole Modeling of a Single Topography in MEG by Adaptive Sequential Monte Carlo Samplers
在本文中,我们开发了一种新的贝叶斯方法来估计神经电流的问题,从一个固定的磁场分布(称为\emph{topography}),脑磁图测量。从最近的研究,描述反演技术,如时空正则化/滤波,其中神经动力学总是发挥作用,我们在这里面临一个纯粹的静态逆问题。神经电流被建模为一个未知数量的电流偶极子,其状态空间描述的变维模型。在贝叶斯框架内,我们建立了一个序贯蒙特卡罗采样器来探索后验分布。采用自适应技术,以有效地平衡计算成本和样本近似的质量。然后,未知的电流偶极子的数量和参数的同时估计。该方法的性能进行评估的合成数据,由源配置包含多达四个偶极子。最后,我们描述了从一个真正的实验,涉及体感诱发领域的数据分析所获得的结果,并将它们与其他三种方法所提供的。
2014-01-07 stat.AP
Geometric ergodicity of Gibbs samplers for Bayesian error-in-variable regression
针对含经典与Berkson误差的多元Bayesian EIV回归,提出三变量确定性扫描Gibbs采样器,证明其始终几何遍历,并通过模拟和天体物理数据验证性能。
2023-04-20 math.ST stat.TH
HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
Brown University(布朗大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
该研究拓展了Cole-Hopf变换的抽象理论框架,提出HJ-sampler算法,通过求解粘性HJ偏微分方程和随机最优控制采样求解带终端观测的随机微分方程贝叶斯逆问题,还给出两种求解器变体并验证了有效性与灵活性。
2024-10-08 cs.LG math.OC stat.CO
Regenerative Simulation for the Bayesian Lasso
Park和Casella的Gibbs采样器是最流行的MCMC方法之一,用于从贝叶斯Lasso回归的后验密度中采样。与许多马尔可夫链采样器一样,他们的吉布斯采样器缺乏理论上合理的输出分析方法-一种用于估计给定遍历平均值的方差和估计链从平稳分布采样的接近程度的方法,即老化。在本文中,我们解决了这个缺点,通过识别再生结构的采样器的公园和卡塞拉,从而提供了一个理论上合理的方法来评估其性能。再生结构提供了强一致的方差估计量和与目标后验密度的全变差距离的估计量(上界)。其结果是一个简单的和理论上健全的方式来评估公园和卡塞拉,更普遍的是,其他MCMC采样器,再生模拟是可能的平稳性。我们进行了一个数值研究,我们验证了我们的再生方法计算的标准误,通过比较它与AR(1)启发式近似计算的标准误。因此,我们表明,贝叶斯Lasso模型,再生方法是一个可行的和理论上合理的替代现有的ad-hoc MCMC收敛诊断。
2018-06-06 stat.CO
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化,但相应的后验分布可能对离群值敏感。为了克服这一问题,近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似,它是可能的,以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology(大连理工大学);University College London(伦敦大学学院)
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能,然后我们提供了几个其他联合对角化算法,这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品,吉布斯采样器的输出可以用来估计对数边际似然,但是我们采用基于贝叶斯信息准则(BIC)的近似,在合成的例子中,它被认为正确地定位了公共特征向量的数量。然后,我们成功地应用采样器的源分离问题,以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
An integer grid bridge sampler for the Bayesian inference of incomplete birth-death records
在生灭过程的桥路空间与单形和整数网格的乘积空间的排他并之间建立了一一对应。导出了上跳次数固定的整数格桥的精确计数公式。然后构造了一个在这种有限桥路空间上的均匀采样器。这导致了一个蒙特卡罗计划,整数网格桥采样器,IGBS,以评估的转移概率的生灭过程。即使是概率接近于零的罕见事件,现在也可以用受控的相对误差进行评估。基于IGBS的不完全出生-死亡观测值的贝叶斯推断可方便地用于实例演示和对一个真实的严重不完全数据集的分析。与基本的自举滤波器,一个基本的顺序重要性恢复算法进行比较。在新计划中,挥之不去的过滤失败没有找到任何位置。
2022-08-08 math.ST stat.CO stat.ME
Piecewise Deterministic Markov Processes for Bayesian Inference of PDE Coefficients
Delft University of Technology(代尔夫特理工大学)
本文提出了一种基于分段确定性马尔可夫过程的框架,利用代理模型提升贝叶斯推断效率,特别适用于PDE系数的非线性反问题。
2026-02-05 math.ST stat.AP stat.CO
A fast non-reversible sampler for Bayesian mixture models
Duke University(杜克大学);University of Padua(帕多瓦大学);Bocconi University(博科尼大学)
针对贝叶斯有限混合模型后验采样收敛慢的问题,提出一种新型不可逆采样方案,理论证明其渐近方差性能不劣于标准方法四倍,可将大样本下收敛时间从O(n²)降至O(n),在多场景下性能显著优于经典采样器。
2026-10-05 stat.CO stat.ME stat.ML
Cost free hyper-parameter selection/averaging for Bayesian inverse problems with vanilla and Rao-Blackwellized SMC Samplers
在贝叶斯逆问题中,人们的目标是在给定间接测量的情况下,描述一组未知数的后验分布。对于非线性/非高斯问题,解析解很少可用:序贯蒙特卡罗采样器通过构建平滑到达后验的辅助密度序列,为近似复杂后验提供了强大的工具。后验通常取决于标量超参数。在这项工作中,我们表明,适当设计的序贯蒙特卡罗(SMC)采样器自然提供了一个近似的边际似然与此超参数免费,即在一个可以忽略不计的额外计算成本。所提出的方法通过构造分布的辅助序列来进行,使得它们中的每一个可以被解释为对应于超参数的不同值的后验分布。这可以被利用来在经验贝叶斯方法中执行超参数的选择,以及在完全贝叶斯方法中根据一些超先验分布对超参数的值进行平均。对于FB方法,所提出的方法具有允许以可忽略的计算成本进行先前的敏感性分析的进一步益处。此外,所提出的方法在所有(相关)迭代中利用粒子,从而减轻SMC采样器的已知限制之一,即中间迭代中的所有样本通常被丢弃的事实。我们展示了两种不同情况下的数值结果,其中超参数只影响可能性:一个玩具的例子,其中SMC采样器用于近似完整的后验分布;和一个脑成像的例子,其中Rao-Blackwellized SMC采样器用于近似条件线性高斯模型中的参数子集的后验分布。
2022-12-23 stat.AP stat.ME
AI4BayesCode: From Natural Language Descriptions to Validated Modular Stateful Bayesian Samplers
Department of Biostatistics, Columbia University(哥伦比亚大学生物统计学系)
该研究提出AI4BayesCode系统,通过自然语言描述生成可运行且验证过的MCMC采样器,采用模块化设计和递归状态性编码范式,提升了贝叶斯模型的可靠性和扩展性。
2026-11-17 cs.AI cs.LG stat.CO
Adaptive random neighbourhood informed Markov chain Monte Carlo for high-dimensional Bayesian variable Selection
我们介绍了一个有效的马尔可夫链蒙特卡罗(MCMC)算法的框架,目标是离散值的高维分布,如后验分布贝叶斯变量选择(BVS)问题。我们表明,许多最近推出的算法,如本地知情的采样器和自适应缩放的个人适应采样器(ASI),可以被视为框架内的特殊情况。然后,我们描述了一种新的算法,自适应随机邻域知情采样器(ARNI),从这两个现有的方法相结合的想法。我们使用几个例子的真实和模拟的数据集,计算效率高的逐点实现(PARNI)导致相对更可靠的推论的变量选择问题的范围内,特别是在非常大的$p$设置。
2021-10-26 stat.CO
Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference
Universität Heidelberg(海德堡大学);University of Tübingen(蒂宾根大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);Zuse School ELIZA(祖塞ELIZA学院)
本文提出马尔可夫链蒙特卡洛循环类比热机循环,通过自适应集成调度器实现参数调整,发现非高斯模型可产生非零净功,并作为非高斯性度量应用于超新星宇宙学。
2026-09-09 cond-mat.stat-mech cs.AI stat.CO
Deep Bootstrap for Bayesian Inference
对于贝叶斯,定义可能性的任务可能与定义先验的任务一样令人困惑。我们专注于当感兴趣的参数已经从可能性中解放出来,并通过损失函数直接与数据相关联时的情况。我们调查现有的工作都与吉布斯后验贝叶斯参数推断以及贝叶斯非参数推断。然后,我们强调最近的自举计算方法近似损失驱动的后验。特别是,我们专注于通过一个潜在的前推映射定义的隐式自举分布。我们调查iid采样器从近似后验通过随机引导权重通过一个训练有素的生成网络。在训练深度学习映射之后,这种iid采样器的模拟成本可以忽略不计。我们在几个例子(包括支持向量机或分位数回归)上比较了这些深度自举采样器与精确自举和MCMC的性能。我们还提供了理论上的见解,引导后验模型的错误规范的连接。
2022-05-30 stat.CO
A Modified Gibbs Sampler on General State Spaces
我们提出了一个修改的吉布斯采样一般状态空间。我们确定,这种修改可以导致统计效率的大幅提高,同时保持收敛的整体质量。我们说明我们的结果在两个例子中,包括一个玩具正态-正态模型和贝叶斯版本的随机效应模型。
2013-08-26 stat.CO
Spectral Collapsed Gibbs Sampler for Bayesian Sparse Regression
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种基于谱分解的高斯-马尔可夫采样器,用于解决贝叶斯稀疏回归中高维数据后验推断的效率问题,通过优化全局尺度参数τ的混合性,提升算法收敛速度和稳定性。
2026-05-07 stat.CO stat.ME
Low Rank Independence Samplers in Bayesian Inverse Problems
Clemson University(克莱姆森大学);North Carolina State University(北卡罗来纳州立大学);Statistical and Applied Mathematical Sciences Institute(统计与应用数学科学研究所)
本文提出一种高效采样方法,用于高维高斯分布的贝叶斯线性逆问题,利用低秩近似先验预条件Hessian进行Metropolis-Hastings独立采样,提升计算效率。
2018-03-12 cs.NA math.NA stat.CO
Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models
本文提出了一种新的马尔可夫链蒙特卡罗方法,用于共轭混合模型的后验分布的抽样。该算法依赖于一个灵活的分裂合并过程中使用粒子吉布斯采样器。与现有的分裂-合并过程相反,所得到的所谓粒子吉布斯分裂-合并采样器不需要计算复杂的接受率,使用现有的序贯蒙特卡罗库实现简单,并且可以并行化。我们研究其性能实验合成的问题,以及地理位置和癌症基因组学数据。在所有这些例子中,粒子吉布斯分裂-合并采样器优于最先进的分裂-合并方法高达一个数量级的固定计算复杂度。
2017-05-27 stat.CO
A Hybrid Scan Gibbs Sampler for Bayesian Models with Latent Variables
吉布斯抽样是一种广泛流行的马尔可夫链蒙特卡罗算法,可用于分析与贝叶斯分层模型相关的棘手的后验分布。吉布斯采样器有两个标准版本:系统扫描(SS)版本,其中所有变量在每次迭代时更新,以及随机扫描(RS)版本,其中单个随机选择的变量在每次迭代时更新。文献比较SS和RS吉布斯采样器的理论特性进行了审查,并介绍了一种替代的混合扫描吉布斯采样器,这是特别适合于贝叶斯模型的潜变量。“混合”一词反映了这样的事实,即在该算法中使用的扫描具有系统和随机元两者。事实上,在每次迭代中,我们都会更新整个潜在变量集,以及随机选择的剩余变量块。混合扫描(HS)Gibbs采样器与两种标准扫描Gibbs采样器相比具有重要的优点。首先,HS算法通常更容易从理论角度进行分析。特别地,建立HS吉布斯马尔可夫链的几何遍历性比对相应的SS和RS版本做同样的事情要容易得多。其次,在Hobert和Marchev(2008)中开发的三明治方法,也被审查,可以应用于HS吉布斯算法(但不适用于标准扫描吉布斯采样器)。结果表明,在弱正则性条件下,添加三明治步骤的HS吉布斯采样器总是导致在理论上优越的算法。三个具体的贝叶斯层次模型的不同复杂性来说明的结果。一个是一个简单的位置规模模型的数据从学生的$t$分布,这是作为一个教学工具。另外两个是复杂但实用的贝叶斯回归模型。
2019-12-30 math.ST stat.TH
Convergence analysis of the block Gibbs sampler for Bayesian probit linear mixed models with improper priors
在这篇文章中,我们考虑马尔可夫链蒙特卡罗(MCMC)算法探索棘手的后验密度与贝叶斯概率线性混合模型在不适当的先验下的回归系数和方差分量。特别是,我们构造的两块吉布斯采样器使用的数据增强(DA)技术。此外,我们证明了Gibbs抽样的几何遍历性,这是建立基于MCMC的估计和后续推理的中心极限定理的基础。几何收敛的条件与保证后验性质的条件相似。当设计矩阵采取通常观察到的形式时,我们也提供了后适当的条件。一般而言,用于DA的Haar参数展开(PX- DA)算法是DA算法的改进,并且已经表明,它在理论上至少与DA算法一样好。在这里,我们构建了一个Haar PX DA算法,它具有基本相同的计算成本的两块吉布斯采样器。
2018-11-22 math.ST stat.TH
Scalable Bayesian shrinkage and uncertainty quantification in high-dimensional regression
贝叶斯收缩方法作为高维回归和模型选择的工具,最近引起了人们的极大兴趣。这些方法自然有利于易于处理的不确定性量化和纳入先验信息。这些模型,包括贝叶斯套索,全局-局部收缩先验,和尖峰和平板先验的一个共同特征是,回归系数上的相应先验可以表示为正态的尺度混合。虽然用于从通常难以处理的相关后验密度中进行采样的三步吉布斯采样器已被证明对于其中几个模型具有几何遍历性(Khare和Hobert,2013; Khare和Khare,2014),但最近已经证明,尽管有这种明显的理论保障,这种采样器的收敛在现代高维环境中仍然非常缓慢。我们提出了一种新的方法,通过一个易于处理的两步阻塞吉布斯采样器从相同的后验。我们证明了我们提出的两步块采样器具有非常优越的收敛行为相比,原来的三步采样器在高维制度的真实和模拟数据。我们还提供了一个详细的理论基础的贝叶斯套索的上下文中的新方法。首先,我们得到明确的(几何)收敛速度的上限。此外,我们从理论上证明,虽然原来的贝叶斯套索链不是希尔伯特-施密特,拟议的链是迹类(因此希尔伯特-施密特)。迹类性质具有重要的理论和实际意义。这意味着相应的马尔可夫算子是紧的,其特征值是可和的。它还有助于严格比较两步阻塞链与“三明治”算法,其目的是通过插入廉价的额外步骤来提高两步链的性能。
2017-04-14 stat.CO
Bayesian variable selection for latent class analysis using a collapsed Gibbs sampler
潜在类别分析用于对多变量分类响应执行基于模型的聚类。选择与聚类最相关的变量是一项重要的任务,它会大大影响聚类的质量。这项工作认为贝叶斯方法选择的集群数量和最佳聚类变量。其主要思想是重新制定的问题组和变量选择的概率驱动搜索在一个大的离散空间使用马尔可夫链蒙特卡罗(MCMC)方法。这种方法的结果是估计聚类的每个变量的相关程度以及聚类数的后验概率。然后可以很容易地计算贝叶斯因子,并以原则性的方式选择合适的模型。这两个选择任务同时进行,使用MCMC方法的基础上崩溃的吉布斯抽样方法,其中几个模型参数集成的模型,大大提高了计算性能。提出了估计类成员资格,变量包含和组数的后验边际概率的方法,并概述了参数和不确定性估计的事后程序。模拟和真实数据的方法进行了测试。
2015-04-30 stat.CO
Instrumental Variable Bayesian Model Averaging via Conditional Bayes Factors
我们发展了一种方法来执行两阶段线性回归系统的模型平均值受到内消。我们的方法扩展了现有的吉布斯采样器的工具变量,将模型的不确定性的组成部分。在这种情况下,模型概率的直接评估是棘手的。我们表明,通过嵌套模型移动内的吉布斯采样器,模型比较可以通过条件贝叶斯因子,导致简单的计算。这个新的吉布斯采样器只是比原来的算法稍微多一点,并没有表现出混合困难的证据。最后,我们研究了两种不同的建模挑战:将不确定性纳入宏观经济增长的决定因素,并通过对零售价格的批发来估计需求函数。
2012-03-19 stat.AP stat.ME
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge(剑桥大学)
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题,提出一种变复杂度采样器,在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的,而与向量自回归的阶数和维数无关,并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言,几何收敛速度被证明是有界的渐近远离团结,几乎肯定或概率趋于一,这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
Tamkang University(淡江大学)
本文提出了一种对称随机扫描坍缩Gibbs采样器,用于高效贝叶斯变量选择,结合尖峰-夹层先验和自适应正则化,实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中,在没有先验信息的情况下,回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的(2013)数据增强(DA)算法。在本文中,我们建立了马尔可夫链的基础上Polson等人。的(2013)DA算法是几何遍历的。证明这一理论结果具有重要的实际意义,因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
Efficient Bayesian inference for nonlinear state space models with univariate autoregressive state equation
潜自回归过程是一个流行的选择模型的时变参数。这些模型可以用公式表示为非线性状态空间模型,由于参数数量多,因此推断不直接。因此,极大似然方法往往是不可行的,研究人员依赖于替代技术,如吉布斯抽样。但是传统的吉布斯采样器通常是针对特定情况定制的,并且在重复抽取中具有高自相关性。针对一般的非线性状态空间模型,提出了一种基于单变量自回归状态方程的Gibbs采样器。为此,我们采用交织策略和椭圆切片采样,以利用自回归过程所隐含的依赖性。在一个模拟研究中,我们证明了所提出的采样器的效率为二元动态copula模型。此外,我们有兴趣在波动率回报关系建模。因此,我们使用所提出的采样估计的参数的随机波动率模型的偏学生t误差和一个新的二元动态混合copula模型的参数。该模型允许动态非对称尾部依赖。相关的基准模型,如DCC-Gestra或学生t copula模型,预测精度方面的比较显示所提出的方法的优越性能。
2019-10-31 stat.CO
SOMA: A Novel Sampler for Bayesian Inference from Privatized Data
Purdue University(普渡大学);Dartmouth College(达特茅斯学院)
本文提出SOMA采样器,通过单个提议同时评估替换所有分量来提高接受率,解决私有化数据贝叶斯推断中DAMCMC混合缓慢的问题,并给出理论保证与实验验证。
2025-11-06 stat.ME
On the convergence complexity of Gibbs samplers for a family of simple Bayesian random effects models
大数据的出现导致了所谓的收敛复杂性分析,这是研究马尔可夫链蒙特卡罗(MCMC)算法如何随着样本量$n$和/或参数数量$p$在底层数据集中的增加而表现。这种类型的分析往往是相当具有挑战性的,部分原因是固定的$n$和$p$的现有结果根本不够尖锐,不能产生良好的渐近结果。连续状态空间上MCMC算法的第一个收敛复杂性结果之一是由Yang和Rosenthal(2019)提出的,他们为Rosenthal(1996)引入和研究的Gibbs采样器(用于简单的贝叶斯随机效应模型)建立了混合时间结果。然而,这个吉布斯采样器的谱隙的渐近行为仍然是未知的。我们使用最近开发的模拟技术(秦等。例如,2019)以提供实质性的数值证据,即间隙以$n \rightarrow \infty$远离0为界。我们还建立了一对严格的收敛复杂性的结果,两个不同的吉布斯采样器与Rosenthal(1996)考虑的随机效应模型的推广。我们的结果表明,在强正则性条件下,这些吉布斯采样器的光谱间隙收敛到1的样本量增加。
2020-06-23 math.ST stat.TH
Enhancing Computational Efficiency in High-Dimensional Bayesian Analysis: Applications to Cancer Genomics
本文系统评估了 Two-Block Gibbs 采样器在高维贝叶斯收缩模型中的性能,证明其相比 Three-Block Gibbs 采样器计算效率更高、收敛更快,并通过 NCI-60 癌细胞基因表达预测蛋白质表达的应用验证了其价值。
2024-10-22 stat.CO stat.ME
A simple sampler for the horseshoe estimator
本文提出一种简单贝叶斯采样器用于线性回归中的horseshoe层级结构,并探讨了其在逻辑回归和替代层级结构中的扩展应用。
2015-09-28 stat.CO
Eryn : A multi-purpose sampler for Bayesian inference
本研究提出整合多种贝叶斯推断进展的MCMC算法,构建了多用途工具箱Eryn,可处理从简单推断到跨维度的参数估计与模型选择问题,并通过多类用例验证其功能。
2023-10-10 astro-ph.CO astro-ph.IM gr-qc
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题,特别是当似然函数的梯度不可用时。在低到中等尺寸,仿射不变的方法,一类基于集成的无梯度的方法,已发现在采样集中后验的成功。然而,系综成员的数量必须超过未知状态的维度,以便正确的分布成为目标。相反,预处理Crank-Nicolson(pCN)算法在高维采样时成功,但当后验与前验显著不同时,样本变得高度相关。在这篇文章中,我们将上述方法以两种不同的方式结合起来,试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差,而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤,同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
A hybrid sampler for Poisson-Kingman mixture models
本文研究先验信息属于一般Poisson-Kingman类的贝叶斯非参数混合模型的后验抽样问题,提出了一种新的马尔可夫链蒙特卡罗方法.我们提出了一种新的紧凑的方式来表示模型的无限维组件,从而明确表示这个无限的组件,它具有更少的内存和存储要求比以前的MCMC计划。我们描述了比较模拟结果表明,建议的MCMC算法对现有的边际和条件MCMC采样器的功效。
2015-09-24 stat.CO
Particle Gibbs for Bayesian Additive Regression Trees
University College London(伦敦大学学院);University of Toronto(多伦多大学);University of Oxford(牛津大学)
加法回归树是一种灵活的非参数模型,也是现实世界中非线性回归的常用工具。在应用领域,如生物信息学,也有需求的概率预测与不确定性的措施,贝叶斯加性回归树(BART)模型,介绍了Chipman等人。(2010),越来越受欢迎。然而,随着数据集规模的增长,用于在BART中执行推理的标准梅特罗波利斯-黑斯廷斯算法被证明是不够的。特别地,这些马尔可夫链对树进行局部改变,并且当数据是高维的或者最佳拟合树超过几层深度时,遭受缓慢混合。我们提出了一种基于粒子吉布斯(PG)算法的BART新采样器(Andrieu等人,2010)和用于贝叶斯决策树的自上而下的粒子滤波算法(Lakshminarayanan等人,2013年)。PG采样器不是对单个树进行局部更改,而是提出一个完整的树来拟合残差。实验表明,PG采样器优于现有的采样器在许多设置。
2015-02-16 cs.LG stat.CO stat.ML
A marginal sampler for $σ$-Stable Poisson-Kingman mixture models
在贝叶斯非参数混合模型的背景下,研究了一类$σ$稳定的Poisson-Kingman随机概率测度(RPM).这是一个大类的离散RPM,其中包括大多数流行的离散RPM中使用的贝叶斯非参数,如Dirichlet过程,Pitman-Yor过程,归一化逆高斯过程和归一化广义Gamma过程。我们展示了如何某些采样特性和边缘特性的$σ$稳定的泊松-金曼RPM可以有效地利用设计一个马尔可夫链蒙特卡罗(MCMC)算法进行推断贝叶斯非参数混合建模。具体来说,我们引入了一种新的和有效的MCMC采样方案在增广空间,有一个固定数量的辅助变量每次迭代。我们应用我们的抽样方案的密度估计和聚类任务的一维和多维数据集,我们比较它对竞争的抽样方案。
2015-09-24 stat.CO stat.ML
Trace class Markov chains for the Normal-Gamma Bayesian shrinkage model
高维数据,其中变量的数量超过或相当于样本量,现在在许多科学应用中很普遍。近年来,贝叶斯收缩模型已被开发为分析此类数据的有效且计算上可行的工具,特别是在线性回归的背景下。本文主要研究Griffin和Brown提出的Normal-Gamma收缩模型。该模型包含了流行的贝叶斯套索模型,Griffin和Brown已经开发了一种三块Gibbs抽样算法来从所产生的棘手的后验分布中进行抽样。我们考虑一种替代的两块吉布斯采样算法,并严格证明其优势,通过比较特定的频谱特性的三块采样器。特别是,我们表明,马尔可夫算子对应的两块采样器是迹族(因此希尔伯特-施密特),而对应的三块采样器的操作员甚至不是希尔伯特-施密特。两块采样器的迹族属性意味着相关的马尔可夫链的几何收敛,这证明了使用马尔可夫链CLT的MCMC为基础的估计获得实际的误差界。此外,它有利于理论比较的两块采样器与三明治算法,旨在提高性能,通过插入廉价的额外步骤之间的两个条件绘制的两块采样器。
2018-04-16 math.ST stat.TH
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的,因为任何非平凡的前导致一个棘手的后验密度。然而,如果采用条件共轭先验密度,则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中,一个常见的缺陷是不适当的先验,它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果,因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的,从实用的角度来看,因为它保证了存在的中心极限定理,允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
Coupling-based convergence assessment of some Gibbs samplers for high-dimensional Bayesian regression with shrinkage priors
我们考虑马尔可夫链蒙特卡罗(MCMC)算法的贝叶斯高维回归连续收缩先验。这些算法的共同挑战是选择要执行的迭代次数。当每次迭代都很昂贵时,这一点至关重要,处理现代数据集时也是如此,例如具有数千行和多达数十万列的全基因组关联研究。我们开发的耦合技术量身定制的设置与收缩先验的高维回归,使实用的,非渐近诊断的收敛,而不依赖于tracepots或长期运行的渐近。通过建立考虑中的算法的几何漂移和优化条件,我们证明了所提出的耦合有有限的预期会议时间。专注于一类收缩先验,其中包括“马蹄铁”,我们实证证明了所提出的耦合的可扩展性。我们发现的一个亮点是,对于Gibbs采样器来说,不到1000次迭代就足以在10万个协变量的回归中达到平稳性。数值结果还说明了先验对耦合计算效率的影响,并建议使用先验,其中局部精度为半t分布,自由度大于1。
2021-07-10 stat.CO stat.ME
Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Vanderbilt University(范德堡大学)
本文针对层次贝叶斯 Poisson 回归在大规模计数数据上 MCMC 推断耗时的问题,提出用 Gaussian 近似似然获得系数条件后验收闭式解的 AGS,并在真实与合成数据上验证其高效准确。
2024-07-01 cs.LG stat.ME
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley(加州大学伯克利分校)
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间,因此使用了各种近似方法。吉布斯抽样是最准确的方法之一,并提供无偏样本的后验,但它历来是太昂贵的大型模型。在本文中,我们提出了一个优化的,并行吉布斯采样增强状态复制(或状态增强边际估计),以减少收敛时间。我们发现,改进的参数估计的质量,同时加速收敛。合成和真实数据的实验表明,我们的吉布斯采样器是大大快于最先进的采样器,JAGS,而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器,以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Fused $L_{1/2}$ prior for large scale linear inverse problem with Gibbs bouncy particle sampler
Central South University(中南大学);CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出融合L_{1/2}先验的吉布斯弹跳粒子采样方法,用于高效解决大规模线性逆问题。
2025-12-16 stat.CO stat.ME
Convergence analysis of block Gibbs samplers for Bayesian linear mixed models with $p>N$
探索与一般线性混合模型的贝叶斯版本相关的棘手的后验分布,经常使用马尔可夫链蒙特卡罗。特别地,如果使用条件共轭先验,则存在可用的简单两块吉布斯采样器。Román和Hobert [线性代数Appl. 473(2015)54-77]表明,当先验是适当的并且$X$矩阵具有满列秩时,这些Gibbs采样器下的马尔可夫链几乎总是几何遍历的。在本文中,Román和Hobert(2015)的结果通过允许方差分量上的不适当先验,更重要的是,通过删除$X$矩阵上的所有假设来扩展。因此,$X$不仅允许(列)秩亏,这在参数化固定效应时提供了额外的灵活性,还允许列数多于行数,这在$p>N$越来越重要的情况下是必要的。关于$X$的满秩假设是Román和Hobert(2015)证明的核心。因此,扩展到无限制的$X$需要一个完全不同的分析。
2016-09-30 math.ST stat.TH
The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research Cambridge(微软研究院剑桥实验室)
计算机视觉是困难的,因为在照明,形状和纹理的大的可变性;此外,图像信号是非加性的,由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人,但由于后验推理的困难,计算机视觉的生成模型在很大程度上未能实现这一承诺。因此,社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性,但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”,并在仔细的实验中证明它具有挑战性的生成模型,其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题,一种方法,可以被理解为“逆图形”。知情的采样器,使用简单的判别建议的基础上现有的计算机视觉技术,实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
Analysis of block slice samplers for Bayesian GLMMs and GAMs with linear inequality and shape constraints
指数族模型、广义线性模型、广义线性混合模型和广义可加模型是统计学中广泛使用的模型。然而,许多科学应用需要对模型参数进行约束,例如形状和线性不等式约束。参数的约束估计和推断仍然是统计学中的一个普遍问题,其中许多方法依赖于修改刚性大样本理论假设进行推断。针对具有线性不等式和形状约束的贝叶斯GLM和GAM问题,提出了一种灵活的切片采样Gibbs算法。我们证明我们的后验样本遵循马尔可夫链中心极限定理(CLT),证明我们的马尔可夫链的一致遍历性和存在的一个矩母函数为我们的后验分布。我们使用我们的CLT的结果来获得联合频带和多重调整贝叶斯推断的非参数功能的影响。我们严格的CLT结果解决了文献中的一个缺点,在有限样本设置的约束参数获得有效的估计和推断。我们的算法和证明技术适用于无数重要的统计建模问题。我们将贝叶斯GAM应用到一个真实的数据分析实例中,该实例涉及具有形状约束和平滑非参数效应的儿童脑震荡恢复的比例优势回归。我们得到的单调非参数时间效应的多重调整推断,以阐明儿童的恢复趋势作为时间的函数。
2022-12-22 stat.ME
MCMC with Adaptive Principal-Component Transformation: Rotation-Invariant Universal Samplers for Bayesian Structural System Identification
Harbin Institute of Technology(哈尔滨工业大学);California Institute of Technology(加州理工学院)
本文提出APM-SGHMC算法,通过自适应旋转坐标轴对齐当前后验样本的主成分方向,实现旋转不变的采样性能,提升贝叶斯结构系统识别的通用性和效率。
2026-04-25 stat.AP stat.ME stat.ML
A Bayesian Approach to Linking Data Without Unique Identifiers
现有的文件链接方法可能会产生次优的结果,因为它们既不考虑不同的匹配记录对之间的相互作用,也不考虑变量之间的关系,是专属于一个文件。此外,许多当前的方法未能解决链接中的不确定性,这可能导致对变量之间的关系的过于精确的估计,而这些变量仅限于其中一个文件。贝叶斯方法的记录链接可以减少在估计的科学关系的利益和提供区间估计,占的不确定性的联系,但是,这些方法的实施往往是复杂的和计算密集型的。本文介绍了Python编程语言的gfs_sampler包,它利用贝叶斯方法进行文件链接。在gfs_sampler中实现的链接过程从模型参数的联合后验分布和链接排列中采样。该算法将文件链接问题看作是一个缺失数据问题,并生成多个链接数据集。为了计算效率,仅存储连接排列,并且单独使用每个排列执行多个分析。这种实现降低了链接过程的计算复杂性和研究人员分析链接数据集所需的专业知识。我们描述了在gfs_sampler包中实现的算法及其统计基础,并演示了其在样本数据集上的使用。
2021-09-27 stat.CO
Scalable Bayesian shrinkage and uncertainty quantification for high-dimensional regression
贝叶斯收缩方法作为高维回归和模型选择的工具,最近引起了人们的极大兴趣。这些方法自然有利于易于处理的不确定性量化和纳入先验信息。这一优势导致贝叶斯收缩方法在不同应用中的广泛使用。这些模型的一个共同特点是回归系数的相应先验可以表示为正态的尺度混合。虽然三步吉布斯采样器用于采样从往往棘手的相关后验密度已被证明是几何遍历的几个这些模型,它最近已被证明,这种采样器的收敛仍然可以在现代高维设置相当缓慢,尽管这个明显的理论保障。我们提出了一种新的方法,通过一个易于处理的两步阻塞吉布斯采样器从相同的后验。我们证明了我们提出的两步块采样器具有非常优越的收敛行为相比,原来的三步采样器在高维制度的真实和模拟数据。我们还提供了一个详细的理论基础的贝叶斯套索的上下文中的新方法。首先,我们证明了建议的两步采样器是几何遍历,并推导出明确的(几何)收敛速度的上界。此外,我们从理论上证明,虽然原来的贝叶斯套索链不是希尔伯特-施密特,拟议的链是迹类(因此希尔伯特-施密特)。迹类性质意味着相应的马尔可夫算子是紧的,并且它的(可数的)特征值是可和的。它还有助于严格比较两步阻塞链与“三明治”算法,其目的是通过插入廉价的额外步骤来提高两步链的性能。
2017-04-19 stat.ME
Block Gibbs samplers for logistic mixed models: convergence properties and a comparison with full Gibbs samplers
逻辑斯蒂线性混合模型(LLMM)是应用最广泛的统计模型之一。通常,马尔可夫链蒙特卡罗算法用于探索与贝叶斯LLNN相关联的后验密度。Polson、Scott和Windle(2013)的Polya-Gamma数据增强(DA)技术可用于构建LLLRR的完整Gibbs(FG)采样器。在这里,我们开发了高效的块吉布斯(BG)采样器贝叶斯LLPERS使用Polya-Gamma DA方法。当固定效应和随机效应之间的相关性发生变化以及设计矩阵的维度发生变化时,我们在真实数据示例的上下文中比较FG和BG采样器。这些数值例子证明了BG采样器优于FG采样器的性能。我们还得到了条件,保证几何遍历的BG马尔可夫链时,流行的不适当的一致先验分配的回归系数,适当或不适当的先验放置在方差参数的随机效应。这一理论结果具有重要的实际意义,因为它证明了使用渐近有效的蒙特卡罗标准误的马尔可夫链为基础的后验量的估计。
2021-12-16 stat.ME