A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Posterior Model Consistency in Variable Selection as the Model Dimension Grows
回归分析中变量选择的贝叶斯方法的一致性分析大多涉及两两一致性,即贝叶斯因子的一致性。然而,回归中的变量选择是在给定的一类回归模型中进行的,其中自然变量选择器是模型的后验概率。在本文中,我们分析了后验模型概率的一致性时,随着样本量的增长,潜在的回归数量的增长。后验模型一致性的新颖之处在于,它不仅依赖于通过贝叶斯因子得到的模型参数的先验,而且还依赖于模型的先验,因此它是为模型和模型参数选择先验的有用工具。我们已经发现,通常用于变量选择的某些类别的先验会产生后验模型不一致性,而这些先验的混合物会改善这种不受欢迎的行为。对于中等样本量,我们评估贝叶斯成对变量选择程序,通过比较其频率论I型和II型错误概率。这提供了有价值的信息来区分变量选择常用的模型参数的先验。
2015-07-29 stat.ME
Bayesian model selection for exponential random graph models
指数随机图模型是社交网络中一类应用广泛的指数族模型。一个观察到的网络的拓扑结构建模的一组局部子图配置称为网络统计的相对流行。在这些模型的应用中的关键任务之一是在模型中包括哪些网络统计数据。这可以被认为是统计模型选择问题。这是一个非常具有挑战性的问题-每个模型的后验分布通常被称为“双重棘手”,因为计算的可能性很少,而且,后验的证据是,像往常一样,棘手。本文的贡献是基于Caimo和Friel(2011)的可逆跳跃马尔可夫链蒙特卡罗算法扩展开发了一种完全贝叶斯模型选择方法,该方法估计了每个竞争模型的后验概率。
2013-01-18 stat.AP stat.CO
Minimax Posterior Convergence Rates and Model Selection Consistency in High-dimensional DAG Models based on Sparse Cholesky Factors
本文研究了经验稀疏Cholesky先验下的高维稀疏有向无环图模型。其中,强模型选择一致性或图选择一致性是在比现有文献更一般的条件下得到的。与Cao,Khare和Ghosh(2017)相比,所需条件在Cholesky因子中非零元素的维数,稀疏性和下界方面有所减弱。此外,我们的结果不需要不可表示的条件,这是必要的Lasso类型的方法。我们还得到了精度矩阵和Cholesky因子关于各种矩阵范数的后验收敛速度。所得的后验收敛速度是现有贝叶斯方法中最快的。特别是,我们证明了我们的后验收敛速度的Cholesky因素是极大极小或至少接近极大极小取决于真正的稀疏的相对大小为整个尺寸。仿真研究表明,该方法优于竞争的方法。
2018-11-15 stat.ME
Fast sampling and model selection for Bayesian mixture models
Center for the Study of Complex Systems, University of Michigan(密歇根大学复杂系统研究中心)
我们研究贝叶斯估计的混合模型,并认为有利于拟合的边缘后验分布组件分配直接,而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢,但我们证明,如果正确实现,它可以实现出色的性能。特别是,我们描述了一种新的蒙特卡罗算法,从边缘后采样的一般可积混合,利用拒绝免费抽样从以前的组件分配,以实现优良的混合时间在典型的应用程序中,优于标准的吉布斯抽样,在某些情况下,由一个很宽的利润率。我们展示了高斯,泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
Gibbs posterior for variable selection in high-dimensional classification and data mining
在流行的“贝叶斯变量选择”(BVS)方法中,使用先验和后验分布来选择候选变量的子集进入模型。一个全新的方向将在这里被认为是研究生物可吸收性与吉布斯后起源于统计力学。吉布斯后验是从实际感兴趣的风险函数(如分类误差)构建的,旨在最小化风险函数,而无需对数据进行概率建模。这可以改善通常的贝叶斯方法的性能,贝叶斯方法依赖于可能被错误指定的概率模型。当候选变量“$K$“的数量远大于样本量“$n$“时,即使在存在高维度的情况下,也将提供实现良好风险性能的条件。“此外,我们开发了一个方便的马尔可夫链蒙特卡罗算法来实现BVS与吉布斯后验。
2008-10-31 stat.ME stat.ML
Bayesian model selection in the $\mathcal{M}$-open setting -- Approximate posterior inference and probability-proportional-to-size subsampling for efficient large-scale leave-one-out cross-validation
竞争性统计模型的比较是心理学研究的重要组成部分。从贝叶斯的角度来看,在文献中已经提出了各种方法来模型比较和选择。然而,这些方法的适用性很大程度上取决于关于模型空间$\mathcal{M}$的假设,即所谓的模型视图。此外,传统的方法,如留一交叉验证(LOO-CV)估计预期的对数预测密度(ELPD)的模型,以研究如何推广的样本外,这很快变得计算效率低下时,样本量变得很大。在这里,我们提供了一个关于近似帕累托平滑重要性抽样留一交叉验证(PSIS-LOO)的教程,这是一种计算效率高的贝叶斯模型比较方法。首先,我们讨论了几个模型视图和每个视图中可用的贝叶斯模型比较方法。然后,我们使用贝叶斯逻辑斯谛回归作为一个运行的例子,如何在实践中应用该方法,并表明它优于其他方法,如LOO-CV或信息标准的计算工作量,同时提供类似的准确ELPD估计。在第二步中,我们展示了如何通过使用后验近似结合概率比例大小子采样来有效地比较大规模模型。我们展示了如何根据所提供的ELPD估计值比较竞争模型,以及如何进行后验预测检查以防止在考虑中的模型中过度自信。我们的结论是,该方法是有吸引力的数学心理学家谁的目的是比较几个竞争的统计模型,这可能是高维和大数据制度。
2020-05-27 stat.AP stat.CO
The good, the bad, and the ugly: Bayesian model selection produces spurious posterior probabilities for phylogenetic trees
贝叶斯方法在分析大型数据集时会产生虚假的高后验概率,但这种过度自信的确切原因尚不清楚。一般来说,贝叶斯选择错误指定的模型的性能知之甚少,即使这是很大的科学兴趣,因为模型在真实的数据分析中从来都不是真的。在这里,我们描述了贝叶斯模型选择的渐近行为,并表明当竞争模型同样错误时,贝叶斯模型选择在大型数据集中表现出令人惊讶的极化行为,全力支持一个模型,同时拒绝其他模型。如果一个模型比另一个模型的错误稍小,那么当数据量增加时,错误较少的模型最终会获胜,但该方法可能在变得可靠之前变得过于自信。我们认为,这种极端的行为可能是进化树的虚假高后验概率的一个主要因素。我们的研究结果的哲学意义的贝叶斯模型选择的应用,以评估相反的科学假设还有待探讨,在类似的情况下,非贝叶斯方法的行为。
2018-10-12 math.ST q-bio.PE stat.TH
Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models
高维多元数据的协方差估计与选择是现代统计学中的一个基本问题。高斯有向无环图(DAG)模型是用于此目的的一类流行的模型。高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性,稀疏性模式又对应于对基础变量的特定条件独立性假设。近年来,各种先验已经开发了贝叶斯推断在DAG模型,但这些模型的关键收敛性和稀疏性选择属性还没有得到彻底的研究。这些先验知识中的大多数是Wishart分布在DAG上下文中的适应或概括。在本文中,我们考虑了灵活的和一般的类,这些“DAG Wishart”先验与多个形状参数。在弱正则性假设下,当变量p随样本量样本量n以适当的次指数速率增长时,我们建立了强图选择一致性和后验收敛率.
2017-10-11 math.ST stat.ME stat.TH
Variable selection for Gaussian processes via sensitivity analysis of the posterior predictive distribution
用于高斯过程模型的变量选择通常使用自动相关性确定来完成,该自动相关性确定使用每个输入变量的逆长度尺度参数作为变量相关性的代理。这种隐式确定的相关性有几个缺点,防止在预测性能方面的最佳输入变量的选择。为了改善这一点,我们提出了两种新的变量选择方法的高斯过程模型,利用一个完整的模型在附近的训练点的预测,从而排名的变量根据其预测的相关性。我们对合成和真实世界数据集的实证结果表明,与自动相关性确定相比,在可变性和预测性能方面改进了变量选择。
2019-03-06 stat.ME stat.ML
Power-Expected-Posterior Priors for Generalized Linear Models
功率期望后验(PEP)先验提供了一个客观的,自动的,一致的和简约的模型选择过程。同时,它解决了概念和计算问题,由于使用虚构的数据。也就是说,(i)它不需要在所有可能的最小虚样本中进行选择和平均,以及(ii)它减少了虚数据对后验分布的影响。这些属性允许在需要时进行大样本近似,以减少更复杂模型下的计算负担。在这项工作中,我们概括的PEP方法的适用性,侧重于框架的广义线性模型(GLM),通过引入两个新的PEP定义,这是在任何一般的模型设置有效。超先验扩展的功率参数,调节的贡献的虚数据的介绍。我们进一步研究了预测匹配和模型选择一致性的有效性,为前者提供了分析证据,为后者提供了经验证据。对于后验模型和包含概率的估计,我们引入了一个免调谐的吉布斯变量选择采样器。考虑了几种模拟场景和一个现实生活示例,以评估所提出的方法与其他基于g先验混合的常用方法相比的性能。结果表明,GLM-PEP先验更有效地识别稀疏和简约的模型配方。
2017-09-29 stat.CO stat.ME
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research(谷歌研究院);Harvard University(哈佛大学)
该工作为深度贝叶斯神经网络(BNN)是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理,以表明正确配置的深度BNN(1)在高维中有效地学习变量重要性,其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的,在这个意义上,它对变量重要性的95%可信区间确实覆盖了95%的时间的真相(即,Bernstein-von Mises(BvM)现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果,并表明,该算法优于现有的经典和基于神经网络的变量选择方法,特别是在高维。
2019-12-03 cs.LG stat.ML
Bayesian finite mixtures: a note on prior specification and posterior computation
本文提出了一种计算有限混合物组分数k的后验分布的新方法。本文还研究了先验规范的两个方面:论证了使用Poisson(1)分布作为k的先验;给出了在混合正态模型中选择超参数值的方法,其中分量参数具有自然共轭先验。
2007-11-03 stat.CO stat.ME
Bayesian Stability Selection and Inference on Selection Probabilities
Macquarie University(麦考瑞大学);The University of Sydney(悉尼大学)
本文提出一种结合贝叶斯分析的稳定性选择方法,通过整合领域知识提升变量选择的推断和决策稳定性。
2025-02-28 stat.CO stat.ME
Model Based Screening Embedded Bayesian Variable Selection for Ultra-high Dimensional Settings
我们开发了一种贝叶斯变量选择方法,称为SVEN,基于一个分层高斯线性模型的先验放置在回归系数以及模型空间。稀疏性是通过使用退化的尖峰先验的非活动变量,而高斯板先验被放置在重要的预测因子的系数,使模型的后验概率以显式形式(直到一个归一化常数)。强模型选择的一致性被证明是达到当预测因子的数量几乎呈指数增长的样本量,甚至当范数的均值效应完全是由于不重要的变量发散,这是一个新的有吸引力的功能。SVEN的一个吸引人的副产品是新的模型权重调整预测区间的构造。SVEN嵌入了一个独特的基于模型的筛选和使用快速Cholesky更新,产生了一个高度可扩展的计算框架,以探索巨大的模型空间,快速识别高后验概率的区域,并进行快速推理和预测。由我们的模型选择一致性推导指导的温度时间表用于进一步减轻多峰后验分布。SVEN的性能是通过一些模拟实验和一个真实的数据例子,从基因组范围内的关联研究超过50万个标记证明。
2020-07-31 stat.CO stat.ME
Posterior Summarization for Variable Selection in Bayesian Tree Ensembles
Northwestern University(西北大学);Rice University(莱斯大学)
针对贝叶斯树集成变量选择的后验汇总问题,提出VC-度量及聚类阈值,该方法适配BART变体,在大规模基准测试中提升F1值,与DART结合后平衡了召回率、精度与效率。
2026-08-25 stat.ME
Bayesian Variable Selection on Small Sample Trial Data via Adaptive Posterior-Informed Shrinkage Prior
University of Michigan(密歇根大学);Vertex Pharmaceutics Inc.(福泰制药公司)
针对小样本临床试验(如CGT、超罕见病领域)的变量选择需求,提出自适应后验信息收缩先验(APSP)贝叶斯方法,通过自适应借用外部信息提升效率并保持稳健性,模拟及CIT研究应用验证其优于传统方法。
2025-11-17 stat.ME
Decoupling Shrinkage and Selection for the Bayesian Quantile Regression
本文将连续先验的解耦收缩和稀疏性思想推广到贝叶斯分位数回归(BQR)。该过程遵循两个步骤:在第一步中,我们收缩分位数回归后,通过国家的最先进的连续先验和在第二步中,我们稀疏后,通过一个有效的变体的自适应套索,信号自适应变量选择(SAVS)算法。我们提出了一个新的变体的SAVS自动选择的惩罚,通过分位数特定的损失函数,是有效的高维。我们在大规模的模拟表明,我们的选择过程降低了偏见,而不管数据中的真实的潜在稀疏程度,相比非稀疏回归后验。我们将我们的两步方法应用于高维风险增长(GaR)练习。保留非稀疏后验的预测准确性,同时产生可解释的分位数特定变量选择结果。我们的程序可用于向政策制定者传达哪些变量会导致宏观经济下行风险。
2021-07-18 econ.EM stat.ML
Exploring Learning Rate Selection in Generalised Bayesian Inference using Posterior Predictive Checks
本文探索利用后验预测检查为广义贝叶斯推断设置学习率,以EDiSC模型为案例,选取使对数似然检验在10%水平不被拒绝的最低值,结果有前景但需进一步研究。
2025-01-21 stat.AP stat.ME
Posterior Inference for Quantile Regression: Adaptation to Sparsity
分位数回归是一种功能强大的数据分析工具,可适应异质协变量-响应关系。我们发现,通过耦合适当的收缩先验的非对称拉普拉斯工作似然,我们可以提供后验推理,自动适应可能的稀疏性分位数回归分析。在对后验方差进行适当调整后,后验推断在异质性下提供了渐近有效的推断。此外,所提出的方法导致Oracle渐近有效性的积极(非零)的分位数回归系数和超有效的非积极的。通过避免需要追求二分变量选择,贝叶斯计算框架证明了理想的推理稳定性调整参数选择。我们的工作有助于揭示贝叶斯计算方法在分位数回归的频率论推断中的价值。
2021-11-01 math.ST stat.ME stat.TH
Comparing Spike and Slab Priors for Bayesian Variable Selection
建立回归模型的一个重要任务是决定哪些回归变量应该包含在最终模型中。在贝叶斯方法中,变量选择可以使用混合先验进行,对于受选择影响的效应,混合先验具有尖峰和平板分量。由于尖峰集中在零处,因此变量选择基于将相应的回归效应分配给板组件的概率。这些后验包含概率可以通过MCMC采样来确定。在本文中,我们比较了几个尖峰和板先验的MCMC实现方面的后验包含概率和它们的抽样效率模拟数据。此外,我们调查后验包含概率分析不同的平板在两个简单的设置。应用程序的变量选择与穗和板先验的精神病患者的数据集,其目标是确定影响代谢的协变量。
2018-12-18 stat.ME
Bayesian Spatial Inversion and Conjugate Selection Gaussian Prior Models
本文在贝叶斯空间反演中引入了对给定似然函数的共轭先验模型的概念。先验模型的共轭类可以选择扩展,并且仍然保持共轭。我们证明了选择高斯先验模型的一般性,代表多模态,偏态和重尾。对于高斯线性似然函数,后验模型也是选择高斯的。后验概率密度函数的模型参数是似然模型和先验模型的模型参数的显函数,当然还有实际观测值。有效的算法模拟和预测的选择高斯后验概率密度函数的定义。基于空间变量的一个训练图像,通过极大似然准则和数值优化,可以可靠地推断选择高斯先验概率密度函数中的模型参数。最后,给出了一个地震反演实例,并发现了$ 20$ - $40\%$相对于传统高斯反演在预测均方误差方面的改进。
2018-12-05 stat.ME
Power-Expected-Posterior Priors as Mixtures of g-Priors
构造客观贝叶斯方法的先验分布的主要方法之一是随机虚观测值的概念。在这种设置下,期望后验先验(EPP)提供了几个优点,其中它具有很好的和简单的解释,并提供了一种有效的方法来建立模型之间的先验的兼容性。本文研究了正态线性模型下客观贝叶斯模型选择中幂期望后验先验的推广。我们证明,它可以表示为混合物的$g$先验,像一个广泛的先验分布下的正态线性模型,从而后验分布和贝叶斯因子推导出封闭的形式,因此保持计算易处理。比较与其他混合物的$g$先验和重点是在后验分布的g和它的效果贝叶斯模型选择和模型平均。
2020-10-08 stat.ME
Resolving label uncertainty with implicit posterior models
University of California, Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Stony Brook University(石溪大学);University of Washington(华盛顿大学);Microsoft AI for Good(微软AI向善)
我们提出了一种方法,用于在一组数据样本中联合推断标签,其中每个样本由一个观察和关于标签的先验信念组成。通过隐含地假设生成模型的存在,其中可微预测器是后验,我们得到了一个训练目标,允许在弱信念下学习。这个公式统一了各种机器学习设置;弱信念可以以噪声或不完整标签的形式出现,由辅助输入的不同预测机制给出的可能性,或者反映有关手头问题结构的常识先验知识。我们证明了所提出的算法在不同的问题:分类与负训练样本,学习排名,弱和自我监督的航空图像分割,共同分割的视频帧,粗监督文本分类。
2022-06-17 cs.LG stat.ML
Empirical Bayes posterior concentration in sparse high-dimensional linear models
我们提出了一个新的经验贝叶斯方法的推理$p \gg n$正常线性模型。新颖之处在于以两种方式使用先验数据,即中心化和正则化。在适当的稀疏性假设下,我们建立了经验贝叶斯后验分布的各种浓度率结果,相关的估计和模型选择。计算是直接和快速的,和模拟结果表明强有限样本性能的经验贝叶斯模型选择过程。
2018-12-05 math.ST stat.ME stat.TH
Scalable methods for Bayesian selective inference
沿着Panigrahi(2016)中的截断方法建模,贝叶斯机制中的选择调整推理基于选择性后验。这样的后验是由施加在数据上的生成模型和强制截断假定定律的选择事件共同确定的。选择性后验和通常的贝叶斯框架之间的有效差异反映在使用截断的可能性。在调整后的框架中截断定律的归一化是选择事件的概率;这通常是棘手的,并且它导致从这样的后验样本中的计算瓶颈。目前的工作奠定了解决近似优化问题的原始-对偶方法,提供有效的后选择贝叶斯推断。选择过程构成的数据查询,解决了一个随机版本的凸学习程序,其优点是保留更多的剩余信息进行推理。我们提出了一个随机化方案下的优化具有可分离的约束,导致在一个部分可分离的目标,在较低的维度为许多常用的选择性查询,以近似,否则难以处理的选择性后验。我们表明,近似优化下的高斯随机化给出了一个有效的指数衰减率的选择概率在一个大的偏差规模。我们提供了一个原始-对偶方法来解决导致近似后验的优化问题,这使我们能够利用贝叶斯机制在低维和高维机制中的通常优点,其中底层信号是有效稀疏的。我们表明,调整后的估计经验表现出更好的频率属性相比,未调整的估计的基础上通常的后验,当应用到广泛的约束,凸数据查询。
2017-09-11 stat.ME
On Bayesian Oracle Properties
当模型的不确定性由贝叶斯模型平均(BMA)或贝叶斯模型选择(BMS)处理时,如果对于足够大的数据,后验分布几乎与预言后验分布一样好,则它具有用于参数推断的理想的“预言属性”,预言后验分布是通过不切实际地假设真实模型是已知的并且仅使用真实模型而获得的。我们在一个非常一般的拟后验情形下研究预言机的性质,它可以适应具有立方根渐近性和部分可辨识性的非正则模型。我们的方法证明的预言属性是基于一个统一的治疗,边界模型误选择的后验概率。这个理论框架可能会引起贝叶斯统计学家的兴趣,他们除了实证结果之外,还希望从理论上证明他们的新模型选择或模型平均方法的合理性。此外,对于非正则模型,我们得到了关于先验惩罚对模型复杂性的影响、拟后验的温度参数以及BMA优于BMS的非平凡结论。
2018-02-02 math.ST stat.TH
Cost free hyper-parameter selection/averaging for Bayesian inverse problems with vanilla and Rao-Blackwellized SMC Samplers
在贝叶斯逆问题中,人们的目标是在给定间接测量的情况下,描述一组未知数的后验分布。对于非线性/非高斯问题,解析解很少可用:序贯蒙特卡罗采样器通过构建平滑到达后验的辅助密度序列,为近似复杂后验提供了强大的工具。后验通常取决于标量超参数。在这项工作中,我们表明,适当设计的序贯蒙特卡罗(SMC)采样器自然提供了一个近似的边际似然与此超参数免费,即在一个可以忽略不计的额外计算成本。所提出的方法通过构造分布的辅助序列来进行,使得它们中的每一个可以被解释为对应于超参数的不同值的后验分布。这可以被利用来在经验贝叶斯方法中执行超参数的选择,以及在完全贝叶斯方法中根据一些超先验分布对超参数的值进行平均。对于FB方法,所提出的方法具有允许以可忽略的计算成本进行先前的敏感性分析的进一步益处。此外,所提出的方法在所有(相关)迭代中利用粒子,从而减轻SMC采样器的已知限制之一,即中间迭代中的所有样本通常被丢弃的事实。我们展示了两种不同情况下的数值结果,其中超参数只影响可能性:一个玩具的例子,其中SMC采样器用于近似完整的后验分布;和一个脑成像的例子,其中Rao-Blackwellized SMC采样器用于近似条件线性高斯模型中的参数子集的后验分布。
2022-12-23 stat.AP stat.ME
Consistency of Bayesian Linear Model Selection With a Growing Number of Parameters
参数越来越多的线性模型在现代统计学中得到了广泛的应用。这类模型的一个重要问题是变量的选择问题。贝叶斯方法,它提供了一个随机搜索的信息变量,已经得到普及。本文研究了当模型维数$p$随样本量$n$增长时贝叶斯模型选择的渐近性质。我们考虑$p\le n$,并提供了充分条件,在此条件下:(1)大概率下,真实模型(从中抽取样本)的后验概率均匀地支配任何不正确模型的后验概率;(2)大概率下,真实模型的后验概率收敛于1。(1)和(2)都保证在贝叶斯框架下选择真实模型。我们还演示了(1)成立但(2)失败的几种情况,这说明了这两个属性之间的差异。最后给出了模拟算例来说明主要结果。
2012-02-02 math.ST stat.TH
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification
Institut Polytechnique de Paris(巴黎综合理工学院);Université Paris-Saclay(巴黎萨克雷大学);Aix Marseille University(艾克斯-马赛大学)
贝叶斯神经网络(BNN)长期以来一直被认为是用于提高深度神经网络的鲁棒性和预测不确定性的理想但不可扩展的解决方案。虽然它们可以更准确地捕获网络参数的后验分布,但大多数BNN方法要么限于小型网络,要么依赖于参数独立性等约束假设。这些缺点使得简单但计算量大的方法变得突出,例如深度集成,其训练和测试成本随着网络数量的增加而线性增加。在这项工作中,我们的目标是高效的深度BNN,适用于复杂的计算机视觉架构,例如ResNet 50 DeepLabV 3+,以及任务,例如语义分割,对参数的假设较少。我们通过利用变分自编码器(VAE)来学习每个网络层参数的交互和潜在分布来实现这一点。我们的方法,潜在后验BNN(LP-BNN),与最近的BatchEncriminal方法兼容,导致高效(在训练和测试期间的计算和内存方面)集成。LP-BNN在图像分类、语义分割和分布外检测的几个具有挑战性的基准测试中,在多个指标上取得了有竞争力的结果。
2021-03-25 cs.CV cs.LG stat.ML
Conjugate priors for Bayesian Variable Selection in exponential family Generalized Linear Models
University of Trento(特伦托大学);Fondazione Bruno Kessler (FBK)(布鲁诺·孔塞雷基金会);BCAM — Basque Center for Applied Mathematics(巴斯克应用数学中心);Ikerbasque — Basque Foundation for Science(巴斯克科学基金会)
提出一种全贝叶斯共轭框架,通过二进制包含指标实现广义线性模型中的变量选择与参数估计,并证明后验一致性,开发了高效Gibbs采样算法及R包。
2026-11-05 math.ST stat.CO stat.ME
Joint Neural Posterior Estimation and Model Selection for Chemical Reaction Networks
University of Toronto(多伦多大学);The University of Queensland(昆士兰大学);Australian Research Council Centre of Excellence in Quantum Biotechnology(澳大利亚研究委员会量子生物技术卓越中心);Queensland Quantum Decarbonisation Alliance(昆士兰量子脱碳联盟);The Matter Lab, University of Toronto(多伦多大学物质实验室);Institute of Micro and Nanotechnology(微纳技术研究所);Departments of Chemistry, Computer Science, Materials Science & Engineering, Chemical Engineering & Applied Chemistry, and Institute of Medical Science, University of Toronto(多伦多大学化学、计算机科学、材料科学与工程、化学工程与应用化学系及医学科学研究所);Acceleration Consortium(加速联盟);Vector Institute for Artificial Intelligence(人工智能维克多研究所);Canadian Institute for Advanced Research (CIFAR)(加拿大高级研究院);NVIDIA(英伟达);School of the Environment, University of Toronto(多伦多大学环境学院)
本研究针对化学反应网络的贝叶斯推断难题,提出结合1D-CNN与集注意力机制的神经架构,同步实现模型选择与参数后验估计,在真实脱硼反应案例中验证了方法处理结构歧义与提取动力学参数的有效性。
2026-10-14 cs.LG physics.chem-ph stat.ML
Fast Bayesian Feature Selection for High Dimensional Linear Regression in Genomics via the Ising Approximation
Boston University(波士顿大学)
识别与预测响应相关的变量子集的特征选择是统计学和机器学习中许多方法的重要且具有挑战性的组成部分。当变量的数量接近或超过样本的数量时,特征选择特别困难且计算密集,这通常是许多基因组数据集的情况。在这里,我们介绍了一种新的方法-贝叶斯伊辛近似(BIA)-快速计算后验概率的特征相关性L2惩罚线性回归。在该制度的回归问题是强正规化的先验,我们表明,计算边际后验概率的功能是等价于计算的伊辛模型的磁化。使用平均场近似,我们表明,它是可以快速计算的后验概率作为L2惩罚的函数所描述的特征选择路径。我们目前的模拟和分析结果说明了一些简单的回归问题的BIA的准确性。最后,我们通过分析具有近30,000个特征的基因表达数据集,证明了BIA对高维回归的适用性。
2014-07-30 cs.LG q-bio.QM stat.ML
Bayesian model selection on linear mixed-effects models for comparisons between multiple treatments and a control
我们提出了一种新的贝叶斯模型选择技术的线性混合效应模型比较多个治疗与控制。采用完全贝叶斯方法来估计边际纳入概率,该概率提供治疗和对照之间差异的直接测量,以及模型平均后验分布。缺省先验提出了结合领域知识的模型选择,并开发了一种有效的后验计算的组件式吉布斯采样器。我们证明了所提出的方法的基础上模拟数据和实验数据集从小鼠寿命和体重轨迹的纵向研究。
2015-09-24 stat.AP stat.ME
Optimal predictive model selection
通常,模型选择的目标是为未来预测选择一个模型,并且很自然地通过平方误差损失来衡量未来预测的准确性。在贝叶斯方法下,通常认为最佳预测模型是具有最高后验概率的模型,但情况不一定如此。在本文中,我们表明,在正常的线性模型中的选择,最佳的预测模型往往是中位概率模型,这是定义为那些变量的总体后验概率大于或等于1/2的模型。中位概率模型通常不同于最高概率模型。
2004-06-23 math.ST stat.TH
Coverage of Credible Sets for Regression under Variable Selection
该研究提出变量选择下多元线性回归的新型贝叶斯可信集方法,通过稀疏诱导映射纳入变量选择,证明特定条件下修正可信区间有精确渐近覆盖率,给出参数选择准则并提供R包实现。
2024-06-20 stat.ME
Variations of Power-Expected-Posterior Priors in Normal Regression Models
功率期望后验(PEP)先验是高斯线性模型的一种客观先验,在M-闭情形下,PEP先验导致一致的模型选择推理,并倾向于简约模型.最近,提出了两种新形式的PEP先验,将其适用性推广到更广泛的模型。这两个PEP变量的正常线性模型的上下文中的属性进行了彻底的检查,集中在先前的分散和诱导模型选择过程的一致性。结果表明,这两个PEP的变种有更大的方差比单位信息g先验,他们是M-封闭一致的限制行为的相应的边际似然匹配的BIC。在M-开的情况下,使用三种不同的模型误设定的情况下的一致性进一步研究。
2019-11-21 stat.ME
On the Consistency of Optimal Bayesian Feature Selection in the Presence of Correlations
The Ohio State University(俄亥俄州立大学)
最佳贝叶斯特征选择(OBFS)是一种多变量监督筛选方法,旨在从根本上发现生物标志物。在这项工作中,我们证明了高斯OBFS是强一致的温和的条件下,并提供关键后验的收敛速度的框架。这些结果是非常重要的,因为他们准确地确定了OBFS渐近选择的功能,表征不同类型的功能的后验的相对收敛速度,提供条件,保证收敛,证明使用OBFS时,其内部假设是无效的,并设置为理解基于OBFS框架的其他算法的渐近行为的阶段。
2020-02-01 cs.CV cs.LG stat.ML
Empirical Bayes inference in sparse high-dimensional generalized linear models
本文针对高维广义线性模型提出一种经验贝叶斯方法,通过数据驱动先验构造后验分布,并证明其具有最优估计速率、变量选择一致性及渐近有效的不确定性量化,模拟中优于现有方法。
2024-04-24 math.ST stat.ME stat.TH
Bayesian High-dimensional Grouped-regression using Sparse Projection-posterior
North Carolina State University(北卡罗来纳州立大学)
提出一种基于稀疏投影后验的贝叶斯高维分组回归方法,通过三种投影映射实现组变量选择和估计,并证明模型选择一致性和最优后验收缩率。
2026-05-22 stat.ME
Nearly optimal Bayesian Shrinkage for High Dimensional Regression
在过去的十年中,收缩先验在高维数据的贝叶斯分析中受到了广泛的关注。本文建立了高维线性回归的后验相合性,它具有厚而平的尾,并且在零的一个很小的邻域内分配了足够大的概率质量。在后验模拟中,收缩先验在效率上与钉板先验相比,具有接近最优的后验收缩率和变量选择一致性。数值结果表明,在后验一致性条件下,贝叶斯方法在变量选择上比正则化方法如Lasso和SCAD能得到更好的结果。本文还建立了一个Bernstein von-Mises型结果,为回归系数估计的不确定性量化提供了一种简便的方法。
2022-10-08 math.ST stat.TH
Concentration of posterior probabilities and normalized L0 criteria
我们研究贝叶斯和$L_0$模型选择的频率属性,重点是(潜在的非线性)高维回归。我们提出了一个建设,研究如何后验概率和规范化的$L_0$标准集中在(Kullback-Leibler)最优模型和其他子集的模型空间。当这种集中发生时,也限制了选择正确模型的频率论概率,即I型和II型错误。这些结果总体上成立,并有助于验证使用后验概率和$L_0$标准来控制与模型选择和假设检验相关的频率论错误概率。关于回归,我们帮助理解先验或$L_0$惩罚所施加的稀疏性的影响,以及问题特征,如样本量,信噪比,维数和真实稀疏性。一个特别的发现是,人们可以使用更少的稀疏配方比渐近最优,但仍然达到一致性,往往也显着更好的有限样本性能。我们还证明了新的结果有关的错误指定的平均值或协方差结构,并给出更严格的某些非局部先验比目前可用的利率。
2021-03-02 math.ST stat.TH
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法,以选择空间相关结构中的回归项和活动协变量。然后,我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择,从而提高预测。
2014-12-31 stat.ME
On Oracle Property and Asymptotic Validity of Bayesian Generalized Method of Moments
当很难确定一个完整的概率模型时,基于矩条件和估计方程的统计推断具有重要意义。我们提出了一个贝叶斯风味的模型选择框架的基础上(准)后验概率从贝叶斯广义矩方法(BGMM),这使我们能够将贝叶斯方法的两个重要优点:表达的后验分布和方便的计算方法的马尔可夫链蒙特卡罗(MCMC)。从理论上讲,我们表明,BGMM可以实现后验一致性选择未知的真实模型,它具有贝叶斯版本的Oracle属性,即后验分布的利益是渐近正态的,是信息,如果真实的模型是已知的。此外,我们表明,拟议的准后验是有效的,被解释为一个近似的后验分布的数据摘要。我们的应用包括相关数据的建模,分位数回归和基于偏相关的图形模型。我们通过数值例子演示了BGMM模型选择的实现。
2016-10-07 math.ST stat.TH
Bayesian Stacking via Proper Scoring Rule Optimization using a Gibbs Posterior
针对协作预测中的权重选择问题,提出基于Gibbs后验、通过恰当评分规则优化的贝叶斯堆叠最优线性池,兼具正则化与权重不确定性量化能力,在模拟和FluSight竞赛数据上表现优于对比方法。
2025-09-04 stat.ME
On Posterior consistency of Bayesian Changepoint models
虽然最近在高维线性模型的贝叶斯模型选择和变量选择方面取得了很多进展,但与频率论不同,文献中存在变点的工作并不多。我们考虑一个分层贝叶斯线性模型,其中通过均值模型影响观测值的协变量的活动集在不同的时间段之间可以变化。这种结构可能出现在社会科学/经济科学中,例如基于外部经济因素的房价突然变化,基于社会和建筑环境因素的犯罪率变化等。使用适当的自适应先验,我们概述了一个分层贝叶斯方法的发展,可以选择真正的变化点以及真正的协变量,具有很高的概率。我们提供了第一个详细的理论分析后验一致性或无协变量,在适当的条件下。吉布斯抽样技术提供了一种有效的计算策略。我们也考虑小样本模拟研究以及应用于犯罪预测的应用。
2021-02-25 math.ST stat.ME stat.TH
High-dimensional posterior consistency for hierarchical non-local priors in regression
贝叶斯变量选择中调整参数的选择是现代统计学中的一个关键问题。特别地,对于非局部先验的贝叶斯线性回归,非局部先验密度中的尺度参数是一个重要的调整参数,它反映了非局部先验密度在零附近的离散度,并隐含地决定了将收缩到零的回归系数的大小.当前的方法将尺度参数视为给定的,并且基于先前的覆盖/渐近考虑来建议选择。在本文中,我们考虑了(Wu,2016)中引入的完全贝叶斯方法,其中具有pvp非局部先验和关于调整参数的适当的逆伽马先验,以分析潜在的理论性质。在标准的规律性假设下,我们建立了强的模型选择的一致性,在高维设置,其中$p$被允许以多项式的速度增加n$,甚至在一个次指数的速度与n。通过模拟研究,我们证明了我们的模型选择过程可以优于其他贝叶斯方法,处理的尺度参数给定的,常用的惩罚似然方法,在一系列的模拟设置。
2019-02-22 math.ST stat.TH
Scalable Approximations of Marginal Posteriors in Variable Selection
在许多情况下,有兴趣从一个非常大的集合中选择最重要的变量,通常被称为支持恢复或变量,特征或子集选择。有大量的文献提出了各种各样的算法。在科学应用中,量化变量选择中的不确定性至关重要,为每个变量提供统计显著性的度量。绝大多数算法都无法产生这样的度量。这导致了科学文献中对独立筛选方法的关注,这种方法孤立地检查每个变量,获得测量边缘关联的重要性的p值。贝叶斯方法提供了一种替代方法,使用边际包含概率代替p值。贝叶斯变量选择具有优势,但在计算上不切实际,超出了小问题。在这篇文章中,我们表明,近似消息传递(AMP)和贝叶斯压缩回归(BCR)可以用来快速获得准确的近似边缘包含概率在高维变量选择。提供了理论支持,进行模拟研究,以评估性能,并将该方法应用于大脑网络的创造性推理的研究。
2015-06-22 stat.CO