High-dimensional Ising model selection with Bayesian information criteria
我们考虑使用贝叶斯信息标准的选择的图形基础的伊辛模型。在伊辛模型中,每个变量的完整条件分布形成逻辑斯谛回归模型,回归的变量选择技术允许识别每个节点的邻域,从而识别整个图。我们证明了高维的一致性结果,这种伪似然图选择的方法时,使用贝叶斯信息准则的变量选择问题的逻辑斯谛回归。结果涉及到的稀疏性和相关的先前工作的信息标准,我们认为将一个明确的先验,鼓励稀疏的情况。
2015-03-05 math.ST stat.TH
Random tree Besov priors: Data-driven regularisation parameter selection
Delft University of Technology(代尔夫特理工大学);Delft Institute of Applied Mathematics(代尔夫特应用数学研究所)
本文提出了一种基于随机树Besov先验的数据驱动正则化参数选择算法,用于提高贝叶斯反演的计算效率和表达能力。
2026-11-11 math.PR math.ST stat.TH
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法,其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看,所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式,并指定条件的先验,这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义,因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则,这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用,这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
High-dimensional posterior consistency for hierarchical non-local priors in regression
贝叶斯变量选择中调整参数的选择是现代统计学中的一个关键问题。特别地,对于非局部先验的贝叶斯线性回归,非局部先验密度中的尺度参数是一个重要的调整参数,它反映了非局部先验密度在零附近的离散度,并隐含地决定了将收缩到零的回归系数的大小.当前的方法将尺度参数视为给定的,并且基于先前的覆盖/渐近考虑来建议选择。在本文中,我们考虑了(Wu,2016)中引入的完全贝叶斯方法,其中具有pvp非局部先验和关于调整参数的适当的逆伽马先验,以分析潜在的理论性质。在标准的规律性假设下,我们建立了强的模型选择的一致性,在高维设置,其中$p$被允许以多项式的速度增加n$,甚至在一个次指数的速度与n。通过模拟研究,我们证明了我们的模型选择过程可以优于其他贝叶斯方法,处理的尺度参数给定的,常用的惩罚似然方法,在一系列的模拟设置。
2019-02-22 math.ST stat.TH
Bayesian network marker selection via the thresholded graph Laplacian Gaussian prior
在许多研究领域中,在大规模网络中选择信息节点变得越来越重要。现有的方法大多只关注局部网络结构,对于大规模问题计算量大。在广义线性模型(GLM)框架下,提出了一种新的贝叶斯网络标记选择先验模型:广义图拉普拉斯高斯(TGLG)先验模型,该模型采用图拉普拉斯矩阵来表征全局网络结构中相邻标记之间的条件依赖关系.在较弱的条件下,我们证明了该模型在网络中边数和节点数不同的情况下具有后验一致性。我们还开发了一个大都市调整的朗之万算法(MALA)的有效后验计算,这是可扩展的大规模网络。我们说明了所提出的方法与现有的替代品相比,通过广泛的模拟研究和分析的乳腺癌基因表达数据集的癌症基因组图谱(TCGA)的优越性。
2018-09-29 math.ST stat.ME stat.TH
Bayes Variable Selection in Semiparametric Linear Models
有丰富的文献提出的方法,并建立参数模型的贝叶斯变量选择方法的渐近性质,特别关注的是正态线性回归模型,并越来越强调设置中的候选预测($p$)的数量与样本量($n$)发散。我们的重点是推广的方法和渐近理论建立的混合物的$g$先验半参数线性回归模型具有未知的剩余密度。使用Dirichlet过程的位置混合的剩余密度,我们提出了一个半参数$g$先验,它采用了一个未知的矩阵的集群分配指标。对于这类先验,后验计算可以通过一个简单的随机搜索变量选择算法进行。此外,贝叶斯因子和变量选择的一致性,结果在各种情况下,包括适当和不适当的先验$g$和$p>n$,与模型进行比较,限制有模型尺寸发散的速度小于$n$。
2011-08-12 math.PR math.ST stat.TH
Bayes Factor Asymptotics for Variable Selection in the Gaussian Process Framework
虽然变量选择是现代统计研究中最受欢迎的领域之一,但与贝叶斯范式相比,它的大部分发展都发生在经典范式中。有些令人惊讶的是,这两种范式几乎完全集中在线性模型上,尽管现代研究真实复杂现象的进步带来了模型解放运动的巨大范围。在这篇文章中,我们研究了由高斯过程驱动的模型中的一般贝叶斯变量选择,这使我们能够以同样的方式处理线性,非线性和非参数模型,甚至与依赖设置相结合。我们考虑贝叶斯因子的变量选择路线,并在“大p,大n”的设置,甚至与p>>n,建立几乎必然指数收敛的贝叶斯因子适当温和的条件下,高斯过程框架中的一般渐近理论。固定p设置作为特殊情况包括在内。为了说明这一点,我们将我们的一般结果应用于线性回归中的变量选择,具有平方指数协方差函数的高斯过程模型,以及具有时变协变量的一阶自回归过程。我们还跟进了我们的理论研究,在上述回归环境中进行了大量的模拟实验,并在一个真实的核黄素数据中进行了变量选择,该数据由71个观测值组成,但有4088个协变量。为了实现贝叶斯因子的变量选择,我们提出了一种新颖有效的基于跨维变换的马尔可夫链蒙特卡罗算法,该算法在模拟和实际数据应用中发挥了重要作用。
2021-05-26 math.ST stat.ME stat.TH
A robust Bayesian analysis of variable selection under prior ignorance
我们提出了一个谨慎的贝叶斯变量选择程序,通过调查的敏感性分层模型,其中的回归系数指定的穗和板坯先验。我们利用潜变量来理解协变量的重要性。这些潜变量还允许我们获得模型空间的大小,这是高维问题的一个重要方面。在我们的方法中,而不是固定一个单一的先验,我们采用了一种特定类型的鲁棒贝叶斯分析,在那里我们考虑一组先验在同一个参数的家庭,以指定这些潜变量的选择概率。我们通过考虑一组预期的先验选择概率来实现这一点,这使我们能够进行敏感性分析,以了解先验启发对变量选择的影响。敏感性分析为我们提供了一套后验的回归系数以及选择指标,我们表明,后验概率的模型选择概率是单调的选择概率的先验期望。我们还分析了合成和现实生活中的数据集,以说明我们谨慎的变量选择方法,并将其与其他知名的方法进行比较。
2022-05-03 stat.ME
Bayesian Spatial Inversion and Conjugate Selection Gaussian Prior Models
本文在贝叶斯空间反演中引入了对给定似然函数的共轭先验模型的概念。先验模型的共轭类可以选择扩展,并且仍然保持共轭。我们证明了选择高斯先验模型的一般性,代表多模态,偏态和重尾。对于高斯线性似然函数,后验模型也是选择高斯的。后验概率密度函数的模型参数是似然模型和先验模型的模型参数的显函数,当然还有实际观测值。有效的算法模拟和预测的选择高斯后验概率密度函数的定义。基于空间变量的一个训练图像,通过极大似然准则和数值优化,可以可靠地推断选择高斯先验概率密度函数中的模型参数。最后,给出了一个地震反演实例,并发现了$ 20$ - $40\%$相对于传统高斯反演在预测均方误差方面的改进。
2018-12-05 stat.ME
Bayesian inference on hierarchical nonlocal priors in generalized linear models
具有非局部先验的变量选择方法在线性回归模型中得到了广泛的研究,其理论和经验性能都有报道。然而,在高维广义线性回归中,对于分层非局部先验的关键模型选择性质却很少被研究。本文考虑了高维逻辑斯谛回归模型的分层非局部先验分布,并研究了其后验分布的理论性质。具体地说,一个产品的时刻(pmoment)的非局部先验施加在回归系数与逆伽玛先验的调谐参数。在标准的规律性假设下,我们在高维环境中建立了强模型选择一致性,其中允许协变量的数量随着样本量以亚指数速率增加。我们实现了拉普拉斯近似计算的后验概率,并提出了一种改进的鸟枪随机搜索过程,有效地探索模型空间。我们证明了所提出的方法的有效性,通过模拟研究和RNA测序数据集分层疾病风险。
2022-03-14 math.ST stat.ME stat.TH
Loss-based Objective and Penalizing Priors for Model Selection Problems
提出风险均衡先验和风险惩罚先验,作为贝叶斯模型选择中仅依赖模型空间和损失函数的客观先验,揭示了损失函数对先验属性的影响,并通过变量选择和聚类分析验证。
2023-11-22 stat.ME
Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models
高维多元数据的协方差估计与选择是现代统计学中的一个基本问题。高斯有向无环图(DAG)模型是用于此目的的一类流行的模型。高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性,稀疏性模式又对应于对基础变量的特定条件独立性假设。近年来,各种先验已经开发了贝叶斯推断在DAG模型,但这些模型的关键收敛性和稀疏性选择属性还没有得到彻底的研究。这些先验知识中的大多数是Wishart分布在DAG上下文中的适应或概括。在本文中,我们考虑了灵活的和一般的类,这些“DAG Wishart”先验与多个形状参数。在弱正则性假设下,当变量p随样本量样本量n以适当的次指数速率增长时,我们建立了强图选择一致性和后验收敛率.
2017-10-11 math.ST stat.ME stat.TH
Bayesian Variable Selection and Estimation Based on Global-Local Shrinkage Priors
本文研究了具有全局-局部收缩先验的线性回归模型的贝叶斯变量选择问题。我们提出了一个变量选择程序,选择一个变量,如果后验均值的比例,相应的系数的普通最小二乘估计大于$1/2$。在正交设计的假设下,证明了当局部参数具有多项式尾先验时,该方法具有预言性质,即可以同时获得变量选择的一致性和最优估计率.然而,如果相反,指数尾先验被用于局部参数,所提出的方法不具有预言属性。
2016-05-25 stat.ME
On the safe use of prior densities for Bayesian model selection
贝叶斯推断在模型选择中的应用是当前研究的热点。在这个框架中,模型通过它们的边际似然性或它们的相似性进行比较,称为贝叶斯因子。然而,边际可能性取决于先前的选择。对于模型选择,甚至扩散先验实际上可以提供非常多的信息,这与参数估计问题不同。此外,当先验不适当时,相应模型的边际似然是不确定的。在这项工作中,我们讨论了边际似然的先验灵敏度问题及其在模型选择中的作用。我们还评论使用无信息先验,这是非常常见的选择在实践中。几个实际的建议进行了讨论,许多可能的解决方案,在文献中提出,设计目标先验模型选择进行了说明。其中一些还允许使用不适当的先验。边际似然法和众所周知的信息标准之间的连接也被提出。我们描述的主要问题和可能的解决方案说明数值例子,也提供了一些相关的代码。其中一个涉及到系外行星探测的实际应用。
2022-06-10 stat.CO stat.ME stat.ML
Fully Bayes factors with a generalized g-prior
对于正常的线性模型变量的选择问题,我们提出了选择标准的基础上,充分贝叶斯制定与Zellner的$g$ -前,允许$p>n$的推广。一个特殊的情况下,事先制定的边际密度和贝叶斯因子,揭示了新的模型评估特性的潜在利益产生听话的封闭形式。
2012-02-23 math.ST stat.ME stat.TH
Comparing Spike and Slab Priors for Bayesian Variable Selection
建立回归模型的一个重要任务是决定哪些回归变量应该包含在最终模型中。在贝叶斯方法中,变量选择可以使用混合先验进行,对于受选择影响的效应,混合先验具有尖峰和平板分量。由于尖峰集中在零处,因此变量选择基于将相应的回归效应分配给板组件的概率。这些后验包含概率可以通过MCMC采样来确定。在本文中,我们比较了几个尖峰和板先验的MCMC实现方面的后验包含概率和它们的抽样效率模拟数据。此外,我们调查后验包含概率分析不同的平板在两个简单的设置。应用程序的变量选择与穗和板先验的精神病患者的数据集,其目标是确定影响代谢的协变量。
2018-12-18 stat.ME
Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines
我们提出了一个客观的贝叶斯方法来选择协变量和惩罚样条变换广义加性模型。为模型参数指定一个合理的默认先验,并结合模型本身的多重性校正先验,对于这项任务至关重要。在这里,我们使用了良好的研究和良好的行为连续混合的g先验作为默认先验。我们在正态模型中引入该方法,并将其推广到非正态指数族。仿真研究和文献中的应用说明了所提出的方法。一个有效的实现是在R-包“hypergsplines”。
2012-08-20 stat.ME
Model Selection in Bayesian Neural Networks via Horseshoe Priors
贝叶斯神经网络(BNN)最近受到越来越多的关注,因为它们能够提供良好校准的后验不确定性。然而,模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。在这项工作中,我们将马蹄铁先验应用于贝叶斯神经网络的节点预激活,这有效地关闭了无助于解释数据的节点。我们证明了我们的先验知识可以防止BNN拟合不足,即使所需的节点数量被严重高估。此外,这种对节点数量的模型选择并不以牺牲预测或计算性能为代价;事实上,我们学习的是更小的网络,其预测性能与当前方法相当。
2017-05-29 stat.ML
Model selection-based estimation for generalized additive models using mixtures of g-priors: Towards systematization
本文研究广义可加模型的贝叶斯模型选择估计,通过Laplace近似扩展至指数分布族,发现g-先验混合比单位信息先验更有效,且基于模型选择的方法优于其他贝叶斯方法。
2024-08-30 stat.ME
Variable Fusion and Selection via a Spike-and-Slab Approach with Nonlocal Priors
The Institute of Statistical Mathematics(统计数学研究所);Graduate School of Mathematics, Kyushu University(九州大学大学院数学院);Faculty of Mathematics, Kyushu University(九州大学数学系)
本文提出一种基于贝叶斯模型平均框架的变量融合与选择方法,通过设计非局部先验实现变量融合与选择的联合建模。
2026-07-20 stat.ME
Bayesian feature selection with strongly-regularizing priors maps to the Ising Model
Boston University(波士顿大学)
识别与预测和/或分类任务相关的小特征子集是机器学习和统计中的一个核心问题。特征选择任务对于现代数据集尤其重要,并且在计算上很困难,因为现代数据集的特征数量可以与样本数量相当,甚至超过样本数量。在这里,我们表明,贝叶斯推断的特征选择具有普遍的形式,并减少到计算磁化的伊辛模型,在一些温和的条件下。我们的研究结果利用观察到的证据采取了普遍的形式强正规化先验-先验,即使在无限的数据限制后验概率有很大的影响。我们推导出广义线性模型的特征选择的显式表达式,广义线性模型是一大类统计技术,包括线性和逻辑回归。我们通过分析基于逻辑回归的分类器中的特征选择来说明我们方法的强大功能,该分类器经过训练以区分notMNIST数据集中的字母B和D。
2014-11-03 cond-mat.stat-mech cs.LG stat.ML
Bayesian Image-on-Scalar Regression with a Spatial Global-Local Spike-and-Slab Prior
在这篇文章中,我们提出了一种新的空间全局-局部尖峰和板选择图像标量回归之前。我们认为贝叶斯分层高斯过程模型的图像平滑,使用灵活的逆Wishart过程之前,处理图像内的依赖性,并提出了一个通用的全局-局部空间选择之前,扩展了丰富的一类研究良好的选择先验。与现有的构造不同,我们实现了同时的全局(即,在协变量水平上)和局部(即,在像素/体素级)通过引入“参与率”参数进行选择,该参数测量各个协变量影响观察到的图像的概率。这与硬阈值策略一起导致两个级别的选择之间的依赖性,在局部级别引入额外的稀疏性,并允许全局选择被局部选择告知,所有这些都以基于模型的方式进行。我们设计了一个有效的吉布斯采样器,允许推断大图像数据。我们模拟数据表明,参数是可解释的,并导致有效的选择。最后,我们使用自闭症脑成像数据交换(ABIDE)研究的数据证明了所提出的模型的性能。据我们所知,该模型的建设是第一次在贝叶斯文献中,同时实现图像平滑,参数估计和两个级别的变量选择图像上的标量回归。
2022-12-16 stat.AP stat.ME
Power-Expected-Posterior Priors for Variable Selection in Gaussian Linear Models
在线性模型中贝叶斯变量选择的期望后验先验(EPP)方法的背景下,我们结合了幂先验和单位信息先验方法的思想,同时产生最小信息先验并减少训练样本的影响。结果是,在实践中,我们的功率预期后验(PEP)方法是足够不敏感的训练样本的大小n*,由于PEP的单位信息的建设,一个可以采取n* 等于全数据样本量n和免除训练样本。在本文中,我们专注于高斯线性模型和开发我们的方法在两个不同的基线先验选择:独立Jeffreys(或参考)前,产生的J-PEP后,和Zellner g先验,导致Z-PEP。我们发现,在参考基线先验下,PEP贝叶斯因子的渐近性与Schwartz的BIC准则的渐近性是等价的,从而保证了PEP方法在模型选择中的一致性。我们比较我们的方法的性能,在模拟研究和一个真实的例子,涉及预测的空气污染物浓度从气象协变量,与各种先前定义的变量的贝叶斯因素的客观变量选择。我们的先验,由于其单位信息结构,导致变量选择过程,(1)系统地比具有最小训练样本的基本EPP更简约,同时不牺牲期望的性能特征来实现这种简约;(2)对训练样本的大小是鲁棒的,因此享受上述的优点,完全避免训练样本;以及(3)识别实现良好的样本外预测性能的最大后验模型。
2014-05-20 stat.CO
Bayesian Region Selection and Prediction in Poisson Regression with Spatially Dependent Global-Local Shrinkage Prior
Yale School of Public Health(耶鲁大学公共卫生学院);University of Arizona(亚利桑那大学)
本文提出一种新的全局-局部收缩先验,用于泊松回归中空间变量的选择与预测,结合条件自回归先验和超重尾先验,以处理空间依赖性和稀疏结构,提升预测精度。
2026-05-06 stat.AP stat.ME
The Importance of Prior Choice in Model Selection: a Density Dependence Example
我们进行贝叶斯分析的丰度数据为10种北美鸭,使用的结果,调查的证据有利于生物动机的假设,在这些物种的密度依赖的原因和机制。我们探索我们的方法来检测密度相关的影响,无论是通过模拟和分析的真实数据的能力。先验选择对预测精度的影响也进行了研究。我们的结论是,我们的先验,这是出于考虑系统的动态利益,提供了明确的进步,由以前的作者使用的鸭子数据集的先验。我们使用这个分析作为一个激励的例子来证明仔细的参数事先选择的重要性,如果我们要执行一个平衡的模型选择程序。我们还提出了一些简单的指导方针,可以遵循各种各样的建模框架,模糊的参数先验选择是不是一个可行的选择。这些将产生参数先验,不仅大大减少了选择某些模型的偏差,但提高了所得模型平均预测器的预测能力。
2011-08-24 stat.ME
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island(罗德岛大学)
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则,称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同,贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外,该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制,并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例,说明了算法和参数的选取。最后,使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
On the Choice of Model Space Priors and Multiplicity Control in Bayesian Variable Selection: An Application to Streaming Logistic Regression
The University of Iowa(爱荷华大学)
本文探讨了贝叶斯变量选择中模型空间先验的选择对流式逻辑回归的影响,提出了一种简化MD先验并评估其在稀疏性和多重性控制中的有效性。
2025-12-27 stat.CO stat.ME
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法,导致稀疏和自适应收缩的精度(逆协方差)矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵,这是必不可少的几个应用程序,涉及学习变量之间的关系。在这种情况下,我们引入了一种新类型的选择之前,开发一个稀疏结构的精度矩阵,使大多数元素正好为零,除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案,以实现后验推理在所提出的模型,包括评估的归一化常数,这是感兴趣的参数的功能,从而导致相关矩阵的限制。我们评估我们的方法的操作特性,通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
On integral priors for multiple comparison in Bayesian model selection
University of Murcia(穆尔西亚大学);CIBER de Epidemiología y Salud Pública (CIBERESP)(公共卫生与流行病学网络中心(CIBERESP));Biomedical Research Institute of Murcia Pascual Parrilla–IMIB(穆尔西亚生物医学研究所帕斯夸尔·帕里利亚-IMIB);Université Paris Dauphine PSL(巴黎第九大学PSL);University of Warwick(华威大学)
本文提出了一种用于贝叶斯模型选择中多重比较的积分先验方法,通过构建遍历马尔可夫链来获得先验分布,并展示了其在模型比较中的有效性。
2026-02-17 stat.ME
Posterior Model Consistency in Variable Selection as the Model Dimension Grows
回归分析中变量选择的贝叶斯方法的一致性分析大多涉及两两一致性,即贝叶斯因子的一致性。然而,回归中的变量选择是在给定的一类回归模型中进行的,其中自然变量选择器是模型的后验概率。在本文中,我们分析了后验模型概率的一致性时,随着样本量的增长,潜在的回归数量的增长。后验模型一致性的新颖之处在于,它不仅依赖于通过贝叶斯因子得到的模型参数的先验,而且还依赖于模型的先验,因此它是为模型和模型参数选择先验的有用工具。我们已经发现,通常用于变量选择的某些类别的先验会产生后验模型不一致性,而这些先验的混合物会改善这种不受欢迎的行为。对于中等样本量,我们评估贝叶斯成对变量选择程序,通过比较其频率论I型和II型错误概率。这提供了有价值的信息来区分变量选择常用的模型参数的先验。
2015-07-29 stat.ME
Selection of inverse gamma and half-t priors for hierarchical models: sensitivity and recommendations
虽然先验选择的重要性是众所周知的,建立指导方针,选择先验的分层模型仍然是一个活跃的,有时有争议的,贝叶斯方法研究领域。文献中经常讨论单个先验族的超参数的选择,但很少在类似的模型和超参数下比较不同的先验族。使用模拟数据,我们评估了逆伽马和半$t$先验估计随机效应的标准差在三个分层模型中的性能:8所学校模型,随机截距纵向模型和简单的多个结果模型。我们使用一系列先验超参数比较了两个先验家族的性能,其中一些在文献中已经提出,另一些允许直接比较半- $t$和逆伽马先验对。估计非常小的随机效应标准差值会导致收敛问题,尤其是对于半$t$先验。对于大多数设置,我们发现,后验分布的标准差有较小的偏差下半$t$先验比他们的逆伽马对应。逆伽马先验一般给出类似的覆盖范围,但具有比它们的半$t$先验对应物更小的间隔长度。我们对这两个先验家族的研究结果将为分层模型的先验规范提供信息,使从业者能够更好地将他们的先验与他们各自的模型和目标保持一致。
2021-08-26 stat.ME
Multi-Goal Prior Selection: A Way to Reconcile Bayesian and Classical Approaches for Random Effects Models
两水平正态分层模型在统计理论和应用中发挥着重要的作用。在本文中,我们首先介绍了一个一般的调整极大似然方法的未知方差分量的模型和相关的经验最佳线性无偏预测的随机效应。然后,我们讨论了一个新的想法,选择先验的超参数。先验,称为多目标先验,产生超参数和随机效应的贝叶斯解,这些解与线性混合模型中的相应经典解在几个属性方面相匹配(在高阶渐近意义上)。此外,我们首次建立了分析等价的后验方差下提出的多目标先验和相应的参数bootstrap二阶均方误差估计的背景下的随机效应模型。
2019-01-24 stat.ME
Adaptive Prior Selection in Gaussian Process Bandits with Thompson Sampling
Department of Computer Science and Engineering, Chalmers University of Technology and University of Gothenburg(计算机科学与工程系,楚尔姆斯理工大学和哥德堡大学)
本文提出两种算法,通过高斯过程强化学习进行先验选择和后悔最小化,理论分析证明了HP-GP-TS的亚线性后悔界,并通过实验验证其有效性。
2026-06-08 cs.LG stat.ML
Bayesian Variable Selection on Small Sample Trial Data via Adaptive Posterior-Informed Shrinkage Prior
University of Michigan(密歇根大学);Vertex Pharmaceutics Inc.(福泰制药公司)
针对小样本临床试验(如CGT、超罕见病领域)的变量选择需求,提出自适应后验信息收缩先验(APSP)贝叶斯方法,通过自适应借用外部信息提升效率并保持稳健性,模拟及CIT研究应用验证其优于传统方法。
2025-11-17 stat.ME
Robust Bayesian high-dimensional variable selection and inference with the horseshoe family of priors
针对重尾误差下高维稳健回归的推断难题,本文构建采用 horseshoe 先验族和高效 Gibbs 抽样的贝叶斯层次模型,证明其在选择、估计与可信区间推断上优于替代方法。
2025-07-22 stat.ME
Bayesian Stability Selection and Inference on Selection Probabilities
Macquarie University(麦考瑞大学);The University of Sydney(悉尼大学)
本文提出一种结合贝叶斯分析的稳定性选择方法,通过整合领域知识提升变量选择的推断和决策稳定性。
2025-02-28 stat.CO stat.ME
A Bayes factor with reasonable model selection consistency for ANOVA model
对于方差分析模型,我们提出了一个新的基于g先验的贝叶斯因子,没有积分表示,合理的模型选择一致性的任何渐近情况下(无论是因子的水平数和/或在每个水平的重复数趋于无穷大)。精确的分析计算的边缘密度下的先验的特殊选择,使这样的贝叶斯因子。
2012-06-13 stat.ME
Bayesian Optimization with Automatic Prior Selection for Data-Efficient Direct Policy Search
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
用于直接策略搜索的贝叶斯优化的最有趣的特征之一是它可以利用先验(例如,从模拟或从先前的任务)来加速机器人上的学习。在本文中,我们感兴趣的情况下,存在几个先验,但我们事先不知道哪一个最适合当前的情况。我们解决这个问题,通过引入一种新的采集功能,称为最可能的预期改善(MLEI),结合先验的可能性和预期的改善。我们评估这个新的采集功能上的迁移学习任务的5自由度平面臂和可能损坏的,6条腿的足式机器人,必须学会走在平地上和楼梯上,与先验对应于不同的楼梯和不同种类的损害。我们的研究结果表明,MLEI有效地识别和利用先验,即使当前情况和先验之间没有明显的匹配。
2018-03-13 cs.AI cs.LG cs.NE
Model selection for ecological community data using tree shrinkage priors
研究人员和管理人员对生态群落进行建模,以推断生物和非生物变量,这些变量塑造了物种的范围,栖息地使用和共生,反过来,这些变量又用于支持管理决策和测试生态理论。最近,物种分布模型被开发并应用于生态群落的数据。生态群落数据的模型开发和选择是困难的,因为需要高水平的复杂性,并通过包括许多参数来实现,这可能会降低预测准确性,并具有解释和沟通的挑战性。与其他统计模型一样,多物种分布模型也可能被过度参数化。正则化是一种通过缩小或消除模型参数来优化预测精度的技术。对于贝叶斯模型,先验分布会自动正则化参数。我们提出了一个贝叶斯多物种分布模型的树收缩先验,执行正则化,并减少与预测变量相关的回归系数的数量。利用这一先验知识,通过对较少数量的工会而不是较多数量的物种的唯一回归系数的估计,减少了多物种分布模型中的回归系数的数量.我们证明了我们的树收缩之前使用的例子存在-不存在的数据为6种水生植被和相对丰度数据为15种鱼类。我们的研究结果表明,树木收缩先验可以提高多物种分布模型的预测精度,使研究人员能够推断的数量和物种组成的功能团的生态群落数据。
2020-05-28 stat.AP
Bayesian prior elicitation and selection for extreme values
极值分析的一个主要问题是确定形状参数$ξ$的通用广义极值(GEV)和广义帕累托(GP)分布,驱动尾部的行为,并对收益率水平和周期的估计有重大影响。许多从业者选择贝叶斯框架来进行这种评估,以核算参数不确定性,这些不确定性在以少量观测为特征的分析中通常很高。尽管如此,这样的方法可以为$ξ$提供大的可信度域,包括负值和正值,这不允许对尾部的性质做出结论。考虑到块极大值的框架,一个通用的方法来确定的值和符号的$ξ$从模型选择之间的Fréchet,Gumbel和Weibull可能的域的吸引条件的观察。与通常选择GEV作为{ \it采样}极值的适当模型相反,必须非常小心地进行这种模型选择。正确的,信息丰富的和易于使用的先验的启发是基于以下原则进行的:对于所有的参数尺寸,他们作为后验的noninformative先验和虚拟样本。这些虚拟样本的统计数据可以从先前的预测信息中评估,并且可以执行相容性规则以完成校准,即使它们只是半共轭的。此外,模型选择是使用混合包围框架进行的,该框架允许处理贝叶斯因子的计算。激励一个真正的案例研究,涉及气象量级的专家知识的启发,玩具的例子也说明了整体的方法。
2018-06-17 stat.ME
Fully Bayesian Logistic Regression with Hyper-Lasso Priors for High-dimensional Feature Selection
高维特征选择出现在现代科学的许多领域。例如,在基因组研究中,我们希望找到可以用于将不同类别的组织(例如癌症和正常组织)与在某些组织细胞中活跃(表达)的数万个基因分开的基因。为此,我们希望用大量的特征(也称为变量,预测因子)来拟合回归和分类模型。在过去的十年中,惩罚似然方法拟合回归模型的基础上hyper-LASSO惩罚受到越来越多的关注,在文献中。然而,使用马尔可夫链蒙特卡罗(MCMC)的完全贝叶斯方法在文献中仍然缺乏发展。本文介绍了一种基于超LASSO先验(非凸罚)的逻辑斯谛回归模型严重多模态后验的MCMC(fully Bayesian)学习方法。我们的MCMC算法使用哈密顿蒙特卡罗在一个限制性吉布斯抽样框架,我们称我们的方法贝叶斯逻辑斯谛回归与超LASSO(BLRHL)先验。我们已经使用模拟研究和真实数据分析,以证明超LASSO先验的优越性能,并探讨了超LASSO先验的选择沉重和规模的问题。
2018-05-12 stat.CO stat.ME stat.ML
Entropic Priors and Bayesian Model Selection
我们证明,最大相对熵(ME)的原则,明智地使用,可以减轻规范的先验模型选择问题。由此产生的效果是,模型作出尖锐的预测是不利的,削弱了通常的贝叶斯“奥卡姆剃刀”。这是说明了一个简单的例子,涉及什么杰恩斯所谓的“肯定的事情”的假设。杰恩斯的解决方案包括引入大量的替代性“确定的事情”假设,这些假设在我们观察数据之前是可能的。但是,在更复杂的情况下,可能无法显式枚举大量的备选方案。熵先验形式主义产生了预期的结果,而不需要修改假设空间或要求明确枚举的替代品;所有需要的是一个良好的模型的先验预测分布的数据。这个想法是用一个简单的操纵彩票的例子来说明,我们概述了这个想法可能有助于解决最近的争论宇宙学家:暗能量是一个宇宙学常数,或者它随着时间的推移以某种方式演变?我们该如何决定,当数据进来?
2009-08-28 astro-ph.CO physics.data-an stat.ME
Objective Bayes Covariate-Adjusted Sparse Graphical Model Selection
提出了一种用于高斯多元回归模型中协方差选择的客观贝叶斯方法,该模型的误差项具有关于有向无环图(DAG)的马尔可夫协方差结构。范围是协变量调整稀疏图形模型选择,一个日益重要的主题,特别是在遗传基因组学(eQTL分析)领域。具体来说,我们提供了一个封闭形式的表达的边缘可能性的任何DAG(与小的父集),其计算几乎不需要主观的启发由用户,只涉及共轭矩阵正常Wishart分布。这是通过一种特定形式的先验分配来实现的,根据分数贝叶斯因子的概念,在完整的DAG模型下只需要指定一个先验。其他DAG模型下的所有先验都是使用Geiger & Heckerman(2002)的术语中的先验模块性和全局参数独立性导出的。由于我们获得的边际似然是恒定的每一类马尔可夫等价的DAG,我们的方法自然专门协变量调整可分解的图形模型。
2015-10-08 stat.ME
Bayesian model selection for unsupervised image deconvolution with structured Gaussian priors
本文考虑了随机模型的客观比较,以解决反问题,更具体地说,图像恢复。大多数情况下,模型比较是以监督的方式进行的,这可能是耗时的,并且部分是任意的。在这里,我们采用了无监督贝叶斯方法,并客观地比较模型的基础上,他们的后验概率,直接从数据没有地面真理可用。的概率取决于边际似然或“证据”的模型,我们诉诸Chib方法,包括吉布斯采样器。我们专注于家庭的高斯模型与循环协方差和未知的超参数,并比较不同类型的协方差阵的图像和噪声。
2020-10-13 stat.CO
Mixtures of g-priors in Generalized Linear Models
Zellner g-先验的混合已在线性模型中得到广泛研究,并已被证明具有贝叶斯变量选择和模型平均的许多理想性质。在文献中已经提出了几个扩展的g-先验的广义线性模型(GLM),然而,选择先验分布的g和由此产生的属性的推断得到了相当少的关注。本文通过将截断的复合合流超几何(tCCH)分布赋为1/(1 + g),统一了GLM中g先验的混合,其中包括文献中的几种g先验的混合,如hyper-g,Beta-prime,truncated Gamma,incomplete inverse Gamma,benchmark,robust,hyper-g/n和intrinsic prior。通过积分拉普拉斯近似,1/(1 + g)的后验分布又是tCCH分布,因此近似的边缘似然性可通过分析获得,从而导致用于模型选择的“复合超几何信息准则”。我们讨论了GLM中g先验的局部几何性质,并展示了Bayarri等人提出的模型选择的必要条件,如渐近模型选择一致性,内在一致性和测量不变性,可以用来证明超参数的先验和特定选择。我们说明推理使用这些先验知识,并通过模拟和真实数据的例子将它们与其他方法进行对比。该方法在R包BAS中实现,并在CRAN上免费提供。
2018-05-04 stat.ME
On the Equivalence of Factorized Information Criterion Regularization and the Chinese Restaurant Process Prior
因子信息准则(FIC)是近年来发展起来的一种新的信息准则,基于FIC提出了一种新的模型选择方法--因子渐近贝叶斯(FAB)推理,并成功地应用于各种层次贝叶斯模型。狄利克雷过程(DP)先验,以及它的一个著名的表示,中国餐馆过程(CRP),派生出另一行的模型选择方法。FIC可以被看作是潜变量配置上的先验分布。在这种观点下,我们证明了当参数维数为$D_{c}=2$时,FIC等价于CRP.我们认为,当$D_{c}>2$,FIC避免了DP/CRP的一个固有的问题,即数据的似然性将主导的影响,先验,因此模型选择能力将削弱$D_{c}$增加。然而,FIC高估了数据的可能性。因此,FIC可能会过度偏向组件较少的模型。我们提出了FIC的自然推广,它在CRP和FIC之间找到了一个中间地带,并且可能产生比FIC更准确的模型选择结果。
2015-07-01 stat.ML
A weakly informative prior for Bayesian dynamic model selection with applications in fMRI
近年来,贝叶斯统计方法在神经科学中取得了重要进展。特别是,用于研究大脑复杂性的大脑信号的检测是一个活跃的研究领域。功能性磁共振成像(fMRI)是一种重要的工具,可以确定大脑的哪些部分被不同类型的身体行为激活。根据最近的结果,有证据表明,连接性脑信号参数的值接近于零,并且由于具有高频行为的时间序列fMRI数据的性质,用于识别稀疏性的贝叶斯动态模型确实影响深远。我们提出了一个多元贝叶斯动态方法的模型选择和收缩估计的连接参数。我们描述了任何一对区域之间的耦合或领先滞后通过使用混合先验的连接参数,并提出了一个新的弱信息的状态方差的默认先验。该框架产生一步前进正确的后验预测结果,并诱导收缩和鲁棒性的稀疏性的存在下,适合于fMRI数据。为了探索所提出的方法的性能,我们提出了模拟研究和应用功能磁共振成像数据。
2017-06-03 stat.ME
A note on the area under the likelihood and the fake evidence for model selection
Universita’ di Catania(卡塔尼亚大学);Stony Brook University(石溪大学)
本文指出在模型选择中可使用不恰当先验分布,提出“假证据”概念,并通过实验验证了其有效性。
2026-02-26 cs.CE eess.SP stat.CO
Adaptive Ridge Selector (ARiS)
我们引入了一个新的收缩变量选择算子,我们称之为\emph{adaptive ridge selector}(ARiS)。这种方法受到\emph{relevance vector machine}(RVM)的启发,它使用贝叶斯分层线性设置来进行变量选择和模型估计。扩展RVM算法,我们包括一个适当的先验分布的精度的回归系数,$v_{j}^{-1} \sim f(v_{j}^{-1}|η)$,其中$η$是一个标量超参数。一种新的拟合方法,它利用了全套的后验条件分布的应用,以最大限度地提高联合后验分布$p(\boldsymbolβ,σ^{2},\mathbf{v}^{-1}|\mathbf{y},η)$给定的超参数$η$值。提出了一种选择$η$的经验贝叶斯方法。这种方法与其他正则化最小二乘估计量(包括套索、其变体、非负绞索和普通岭回归)进行了对比。性能差异探讨了各种模拟数据的例子。结果表明,优越的预测和模型选择精度稀疏设置下,随着样本量的增加,模型选择的准确性大大提高。
2008-05-28 stat.CO stat.ME
Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure
在许多使用高维数据的现代科学研究问题中,需要进行特征选择。一个典型的例子是从高维基因表达中找到与某种疾病(如癌症)相关的最有用的基因。基因的表达具有分组结构,例如,一组具有相似生物学功能的共调节基因往往具有相似的表达。已经提出了许多统计方法来将分组结构考虑在特征选择中,包括组LASSO、监督组LASSO和对组代表的回归。在本文中,我们提出了一个完整的贝叶斯Robit回归方法与重尾(稀疏)先验(简称FBRHT)选择功能与分组结构。FBRHT的主要特点包括它比LASSO更积极地丢弃不相关的特征,并且它可以在没有预先指定的分组结构的情况下自动进行组内特征选择。在本文中,我们使用模拟和真实的数据集,以证明FBRHT选择的稀疏特征子集的预测能力与LASSO,组LASSO,监督组LASSO,惩罚逻辑斯谛回归和随机森林选择的其他更大的特征子集相当,并且通过FBRHT选择的简洁特征子集具有比从通过上述方法选择的顶部特征。
2017-05-12 stat.ME
Bayesian Effect Selection in Structured Additive Distributional Regression Models
我们提出了一种新的spike和slab先验规范与缩放的beta素数边缘的重要性参数的回归系数,允许一般的效果选择类结构添加剂分布回归。这使我们能够对任意参数分布的所有分布参数进行建模,并考虑各种效应类型,如非线性或空间效应以及分层回归结构。我们的尖峰和板前依赖于一个参数扩展,分离块的回归系数到整体标量的重要性参数和向量的标准化系数。因此,我们可以使用标量来进行效果选择,而不是使用可能的高维效果向量,与经典的正态-逆伽马先验相比,这会产生改进的收缩和采样性能。我们调查的后验的适当性,显示出的前收益率理想的收缩性能,提出了一种方法,引出先验参数,并提供有效的马尔可夫链蒙特卡罗采样。使用模拟和三个大规模的数据集,我们表明,我们的方法是适用于数据的潜在大量的协变量,多层次的预测因子占分层嵌套的数据和非标准的响应分布,如二元正态或零膨胀泊松。
2019-02-27 stat.ME
An Application of Bayesian Variable Selection to Spatial Concurrent Linear Models
空间并发线性模型是空间数据分析的一种灵活有效的工具,其模型系数是局部变化的空间过程。一种方法是将平稳的高斯过程先验信息放在空间过程上,但在实际应用中,数据可能会显示出很强的非平稳模式。在本文中,我们提出了一种基于小波工具的贝叶斯变量选择方法来解决这个问题。所提出的方法不涉及任何平稳性假设的先验知识,而是我们施加一个混合先验直接对每个小波系数。我们引入一个选项来控制先验,使得高分辨率系数更可能为零。计算效率的MCMC程序提供解决后验抽样,并通过后验均值和标准差评估估计的不确定性。基于仿真数据的算例验证了该方法的估计精度和优越性。我们还说明了所提出的方法通过遥感获得的真实数据的性能。
2012-02-02 stat.AP
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
Tamkang University(淡江大学)
本文提出了一种对称随机扫描坍缩Gibbs采样器,用于高效贝叶斯变量选择,结合尖峰-夹层先验和自适应正则化,实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME