Importance Sampling Methods for Bayesian Inference with Partitioned Data
本文提出了一种新的基于样本的贝叶斯推断的方法,当数据被分区和部分之间的通信是昂贵的,因为在“大数据”的背景下,必要性或选择,以利用计算并行性。该方法,我们称之为拉普拉斯丰富的多重重要性估计,使用新的多重重要性抽样技术,以近似后验预期使用独立的本地后验分布(那些条件孤立的部分数据)的样本。我们构造了拉普拉斯近似,可以相对快速地提取额外的样本,并改进了高维估计的方法。这些方法是“并行的”,对抽样算法(包括MCMC)的使用或先验分布的选择没有限制,并且不依赖于任何关于后验的假设,如正态性。的方法的性能进行了演示,并与模拟数据的实验中的一些替代品进行比较。
2022-10-31 stat.AP stat.ME
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research(谷歌研究院);Harvard University(哈佛大学)
该工作为深度贝叶斯神经网络(BNN)是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理,以表明正确配置的深度BNN(1)在高维中有效地学习变量重要性,其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的,在这个意义上,它对变量重要性的95%可信区间确实覆盖了95%的时间的真相(即,Bernstein-von Mises(BvM)现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果,并表明,该算法优于现有的经典和基于神经网络的变量选择方法,特别是在高维。
2019-12-03 cs.LG stat.ML
Computational methods for Bayesian model choice
在这篇文章中,我们简要地回顾了贝叶斯假设检验和贝叶斯模型选择中使用的贝叶斯因子的近似方法。特别是,我们重新评估重要性抽样,调和平均抽样,嵌套抽样从一个统一的角度来看。
2009-07-29 stat.CO
Variable Importance Assessments and Backward Variable Selection for High-Dimensional Data
高维情景下的变量选择是统计学研究的热点。一种应用涉及在基因组分析中鉴定差异表达的基因。用于解决该问题的现有方法具有一些限制或缺点。在本文中,我们提出了基于距离的变量的重要性措施来处理这些问题,这是多响应置换过程(MRPP)的启发。所提出的变量重要性评估可以有效地衡量单个维度的重要性,通过量化其对多元分布之间的差异的影响。提出了一种后向选择算法,可用于高维变量选择,发现重要变量。仿真和实际数据的应用表明,我们提出的方法具有良好的性能,并优于其他方法。
2018-06-18 stat.ME
spikeSlabGAM: Bayesian Variable Selection, Model Choice and Regularization for Generalized Additive Mixed Models in R
R软件包spikeSlabGAM在高斯、二项式和泊松响应的(geo-)加性混合模型中实现贝叶斯变量选择、模型选择和正则化估计。其目的是(1)选择潜在协变量及其相互作用的适当子集,(2)确定是否需要线性或更灵活的函数形式来建模各个协变量的影响,以及(3)估计它们的形状。模型项的选择和正则化是基于与参数和半参数效应相关的系数组上的新的尖峰和板型先验。
2011-05-26 stat.ME
Correlation and variable importance in random forests
研究了预测变量相关时随机森林算法的变量选择问题。在高维回归或分类框架中,变量选择是一项困难的任务,在存在高度相关的预测因子时变得更具挑战性。首先,我们对可加回归模型的排列重要性测度进行了理论研究。这使我们能够描述预测变量之间的相关性如何影响排列重要性。我们的研究结果激励使用递归特征消除(RFE)算法在这种情况下的变量选择。该算法使用排列重要性作为排序准则,递归地消除变量。接下来的各种模拟实验说明了RFE算法的效率,用于选择少量的变量以及良好的预测误差。最后,该选择算法进行了测试的Landsat卫星数据从UCI机器学习知识库。
2016-04-18 stat.ME
Variable selection in linear regression models: choosing the best subset is not always the best choice
线性回归中的变量选择是一个讨论较多的问题。最佳子集选择(BSS)通常被认为是直观的“黄金标准”,其使用仅受其NP难性质的限制。诸如最小绝对收缩和选择操作符(Lasso)或弹性网(Enet)之类的替代方法已成为高维设置中的选择方法。最近的一项建议表示BSS作为一个混合整数优化问题,使更大的问题已经成为可行的合理的计算时间。我们提出了一个广泛的中性比较评估变量选择性能,在线性回归,BSS相比,向前逐步选择(FSS),拉索和Enet。模拟研究考虑了各种各样的设置,这些设置在维度(相对于观测和变量的数量),信噪比和预测因子之间的相关性方面具有挑战性。作为性能的主要衡量标准,我们对每种方法都使用了尽可能好的F1分数,以确保公平的比较,而不管选择调优参数的任何标准如何,结果都得到了替代性能指标的证实。令人惊讶的是,只有在信噪比高且变量(几乎)不相关的情况下,BSS才能可靠地优于其他方法,即使在低维环境中也是如此。此外,FSS的性能几乎与BSS相同。我们的研究结果揭示了新的光通常的假设BSS是,在原则上,变量选择的最佳选择。特别是对于相关变量,像Enet这样的替代方案更快,并且在实际设置中表现得更好。
2023-02-23 stat.ME
Selection of proposal distributions for multiple importance sampling
朴素重要性抽样(IS)估计器通常在涉及对多个目标的同时推断的示例中不工作得很好,因为重要性权重可以取任意大的值,使得估计器高度不稳定。在这种情况下,替代的多个IS估计,涉及多个建议分布的样本是首选。就像朴素IS一样,这些多IS估计器的成功关键取决于建议分布的选择。这些提案发行版的选择是本文的重点。我们提出了三种方法:(i)几何空间填充方法,(ii)极小极大方差方法,和(iii)最大熵方法。前两种方法适用于任何IS估计器,而第三种方法在Doss(2010)的两阶段IS估计器的上下文中描述。对于第一种方法,我们提出了一个合适的“接近度”的对称库尔贝克-莱布勒散度的基础上,而第二和第三种方法分别使用Doss(2010年)的IS估计和Geyer(1994年)的反向逻辑斯谛回归估计的渐近方差估计。因此,当样本的建议分布获得运行马尔可夫链,我们提供了一致的谱方差估计这些渐近方差。使用各种详细的例子来说明建议密度的选择方法。
2022-04-18 stat.ME
Sparsity Oriented Importance Learning for High-dimensional Linear Regression
由于现在公认的不可忽略的模型选择不确定性,数据分析师不应再满足于来自模型选择过程的单个最终模型的输出,而不管其复杂性如何。为了提高模型选择的可靠性和重现性,一个建设性的方法是充分利用一个健全的变量重要性措施。虽然有趣的重要性措施,并越来越多地用于数据分析,很少有理论的理由已经完成。在本文中,我们提出了一种新的变量重要性度量,稀疏导向的重要性学习(SOIL),从稀疏线性建模的角度考虑到变量选择的不确定性,通过使用一个合理的模型加权高维回归。理论上证明了SOIL方法具有包含/排除属性:当模型权重适当地围绕真实模型时,SOIL重要性可以很好地将真实模型中的变量与其他变量分开。特别是,即使信号很弱,SOIL也很少给真实模型中的变量提供比真实模型中的变量显著更高的重要值。广泛的模拟在几个说明性的设置和实际数据的例子与引导模拟显示理想的属性的土壤的重要性相比,其他的重要性措施。
2016-08-01 stat.ME
Factor Importance Ranking and Selection using Total Indices
本文提出FIRST方法,利用总Sobol'指数实现与算法无关的因子重要性排序与选择,无需模型拟合,并通过模拟实验验证其在回归和分类任务上的优势。
2024-01-12 stat.ME stat.ML
The generalized hyperbolic family and automatic model selection through the multiple-choice LASSO
本文重新研究广义双曲分布族及其嵌套模型,提出多重选择LASSO惩罚方法,通过分层惩罚似然在GH族内同时实现模型选择与推断,并用模拟研究验证,提供R实现。
2023-07-11 stat.AP stat.CO stat.ME
Grouped variable importance with random forests and application to multiple functional data analysis
被认为是使用随机森林算法的分组变量的选择。首先,提出了一种新的适用于变量组的重要性度量。理论上的见解,这一标准的添加剂回归模型。其次,开发了一种基于分组变量重要性测度的函数变量选择方法。使用小波基,它建议重组所有的小波系数为一个给定的功能变量,并使用这些群体的包装选择算法。提出了利用小波基的频率和时间局部化的各种其他分组。进行了广泛的模拟研究,以说明在这种情况下使用的分组的重要性措施。该方法被应用到一个现实生活中的问题来自航空安全。
2015-05-19 stat.ME
Random Forest Variable Importance-based Selection Algorithm in Class Imbalance Problem
University of Washington(华盛顿大学);University of Miami Miller School of Medicine(迈阿密大学米勒医学院)
针对类别不平衡场景下随机森林变量重要性研究不足的问题,本文分析了类别平衡技术的影响,提出结合随机森林变量重要性与置信区间的特征选择算法,可高效选最优特征集以提升不平衡场景的预测性能。
2023-12-17 cs.LG stat.ME stat.ML
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析,包括高维度的鲁棒性的保证,明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时,预计将优于标准计划。当应用于贝叶斯变量选择问题时,新算法比现有的替代抽样方案效率高出几个数量级,并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Hierarchical clustering: visualization, feature importance and model selection
我们提出了层次聚类的分析方法,充分利用了树状图提供的多分辨率结构。具体来说,我们提出了一个损失之间的选择聚类方法,一个功能的重要性得分和可视化的功能在树状图中的分割图形工具。这些任务的当前方法导致信息丢失,因为它们需要用户通过在指定级别切割树状图来生成实例的单个分区。相反,我们提出的方法使用树状图的完整结构。所提出的方法背后的关键见解是将树状图视为一个遗传学。这种类比允许通过进化模型将特征值分配给树的每个内部节点。真实和模拟数据集提供的证据表明,我们提出的框架具有理想的结果,并提供了比最先进的方法更多的见解。我们提供了一个R包来实现我们的方法。
2023-01-28 cs.LG stat.ME
ControlBurn: Feature Selection by Sparse Forests
Cornell University(康奈尔大学)
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制,这降低了可解释性并使特征选择复杂化。在本文中,我们提出了ControlBurn,一个特征选择算法,使用加权LASSO为基础的特征选择方法修剪不必要的功能,从树系综,就像低强度火灾减少过度生长的植被。像线性LASSO一样,ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外,与基于迭代包装器的特征选择方法不同,该算法高效且仅需要一次训练迭代即可运行。我们表明,ControlBurn的性能大大优于特征选择方法,在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Cost-based feature selection for network model choice
在机器学习和近似贝叶斯计算中,从大量可能有噪声的候选者中选择一小部分信息特征是一个具有挑战性的问题。在实践中,计算信息特征的成本也需要考虑。这对于网络来说尤其重要,因为单个特征的计算成本可以跨越几个数量级。我们使用两种方法来解决网络模型选择问题。首先,我们采用了九种特征选择方法来考虑特征的成本。我们证明了两类网络模型的成本可以降低两个数量级,而不会显着影响分类精度(正确识别模型的比例)。其次,我们使用较小网络的试点模拟来选择特征。这种方法将计算成本降低了50倍,而不影响分类精度。为了证明我们的方法的实用性,我们将其应用于三种不同的酵母蛋白质相互作用网络,并确定了最佳拟合的重复发散模型。
2022-09-01 stat.CO stat.ME stat.ML
Just add noise: Debiasing tree-based variable importance in mixed data
Duke University(杜克大学)
针对树模型变量重要性偏向连续变量的问题,提出添加噪声的简单去偏方法,并结合稳定性选择实现混合数据变量选择与错误发现控制。
2026-09-15 cs.LG stat.ME stat.ML
Automated threshold selection and associated inference uncertainty for univariate extremes
针对单变量极值分析中阈值选择主观且影响高分位数推断的问题,提出自动平衡偏差与方差的阈值选择方法,并将阈值不确定性传播至极值分位数推断。
2024-10-29 stat.AP stat.ME
Controlling the False Discovery Rate via Model-Agnostic Importance Measures
Nankai University(南开大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出了一种名为MAS的模型不可知选择方法,通过样本拆分策略和新颖的agent-X重要性度量,在规避协变量分布假设的同时控制错误发现率,经模拟和真实数据验证其性能具有竞争力。
2026-10-16 stat.ME stat.ML
Error-based Knockoffs Inference for Controlled Feature Selection
Huazhong Agricultural University(华中农业大学);Xi’an Jiaotong University(西安交通大学);Southern University of Science and Technology(南方科技大学)
最近,X模型仿制品方案被提出作为一个有前途的解决方案,以解决高维有限样本设置下的控制特征选择。然而,模型X的仿制过程严重依赖于基于系数的特征重要性,并且仅涉及错误发现率(FDR)的控制。为了进一步提高其自适应性和灵活性,在本文中,我们提出了一个基于错误的敲除推理方法集成敲除功能,基于错误的特征重要性统计,和降压过程在一起。建议的推理过程不需要指定一个回归模型,并可以处理与控制错误发现比例(FDP),FDR,或k-familywise错误率(k-FWER)的理论保证的特征选择。实证评估表明,我们的方法在模拟和真实数据的竞争力。
2022-03-09 cs.AI stat.ME
Approximate Bayesian Computation with Statistical Distances for Model Selection
University of Sydney(悉尼大学);ARC Training Centre in Data Analytics for Resources and Environments (DARE)(资源与环境数据分析 ARC 培训中心)
本文探讨基于统计距离的ABC方法在模型选择中的应用,通过比较不同度量指标和方法,揭示其在稳定性、校准性和模型复杂度下的表现差异。
2026-02-28 stat.CO stat.ME
Nonparametric IPSS: Fast, flexible feature selection with false discovery control
Harvard T.H. Chan School of Public Health(哈佛T.H. Chan公共卫生学院);Duke University(杜克大学)
本文提出非参数IPSS特征选择方法,通过将集成路径稳定性选择应用于任意特征重要性分数实现有限样本错误发现控制,其IPSSGB和IPSSRF变体在模拟和癌症数据上均优于现有方法。
2025-07-16 cs.LG stat.AP stat.ME
A Survey of Tuning Parameter Selection for High-dimensional Regression
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
惩罚(或正则化)回归,如Lasso及其变体所代表的,已经成为当变量数量大大超过样本量时分析高维数据的标准技术。惩罚回归的性能关键取决于调整参数的选择,调整参数决定了正则化的数量,从而决定了拟合模型的稀疏程度。调谐参数的最佳选择取决于设计矩阵的结构和未知的随机误差分布(方差、尾部行为等)。本文从理论和实践两个方面综述了高维回归中调整参数选择的研究现状。我们讨论了选择调整参数以实现预测精度或支持恢复的各种策略。我们还回顾了最近提出的几种无调谐高维回归方法。
2019-08-10 cs.LG stat.ME stat.ML