Discussion: Latent variable graphical model selection via convex optimization
University of Oxford(牛津大学)
讨论“通过凸优化进行潜变量图形模型选择“,Venkat Jenrasekaran,Pablo A. Parrilo和Alan S. Willsky [arXiv:1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Discussion: Latent variable graphical model selection via convex optimization
University of California at Berkeley(加州大学伯克利分校)
讨论“通过凸优化进行潜变量图形模型选择“,Venkat Jenrasekaran,Pablo A. Parrilo和Alan S. Willsky [arXiv:1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Rejoinder: Latent variable graphical model selection via convex optimization
California Institute of Technology(加州理工学院);Massachusetts Institute of Technology(麻省理工学院)
对“通过凸优化进行潜变量图形模型选择“一文的反驳。Parrilo和Alan S. Willsky [arXiv:1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Differentially Private Variable Selection via the Knockoff Filter
University of Utah(犹他大学)
敲除滤波器是Barber和Candes最近提出的一种有效的变量选择方法,它具有可控的错误发现率。我们提出了一个私人版本的敲除过滤器,通过将高斯和拉普拉斯机制,并表明,变量选择与控制FDR可以实现。仿真表明,我们的设置具有合理的统计功效。
2022-01-31 cs.CR cs.DB cs.IT
Conditional Variable Selection for Intelligent Test
University of Stuttgart(斯图加特大学);Advantest Europe GmbH(爱德万测试欧洲有限公司)
智能测试需要对大规模高维数据进行高效、有效的分析。传统上,分析通常由人类专家进行,但在大数据时代,它是不可扩展的。为了应对这一挑战,最近将变量选择引入智能测试。然而,在实践中,我们会遇到某些情况,其中某些变量(例如,被测设备的某些特定处理条件)必须在变量选择后保持不变。我们称之为条件变量选择,这对于嵌入式或基于深度学习的变量选择方法还没有得到很好的研究。在本文中,我们讨论了一种新的条件变量选择框架,可以选择最重要的候选变量给定一组预选变量。
2022-07-01 cs.LG
Solar: $L_0$ solution path averaging for fast and accurate variable selection in high-dimensional data
University of Sydney(悉尼大学)
我们提出了一个新的变量选择算法,子样本排序最小角度回归(太阳),和它的坐标下降推广,太阳cd。Solar使用$L_0$范数重建套索路径,并对子样本之间的结果解路径求平均值。路径平均保留了信息变量的排名信息,同时平均了对高维的敏感性,提高了变量选择的稳定性,效率和准确性。我们证明:(i)以高概率,路径平均在平均$L_0$路径上完美地将信息变量与冗余变量分离;(ii)太阳变量选择是一致和准确的;以及(iii)太阳忽略弱信号的概率对于有限的样本量是可控的。我们还证明:(i)太阳能产量,在小于lasso计算负荷的$1/3$的情况下,在稀疏性方面相对于lasso有实质性改进(ii)与Lasso安全/强规则和变量筛选相比,Solar在很大程度上避免了冗余变量的选择和在存在复杂依赖结构的情况下对信息变量的拒绝;(iii)太阳能的稀疏性和稳定性保存了数据分裂假设检验的剩余自由度,提高了对具有有限$n$的弱信号的选择后推断的准确性;(iv)在自举选择中用太阳能代替套索(例如,bolasso或稳定性选择)产生多层变量排序方案,其在仅一个套索实现的计算负载的情况下改善选择稀疏性和排序准确性;以及(v)给定计算资源,太阳能自举选择比并行化自举套索的理论最大加速(由Amdahl定律确认)快得多(计算时间低98%)。
2022-05-06 cs.LG stat.ML
Improving the Predictive Performances of $k$ Nearest Neighbors Learning by Efficient Variable Selection
Rochester Institute of Technology(罗切斯特理工学院)
本文计算证明了一个急剧改善的预测性能$k$最近的邻居由于一个有效的前向选择的预测变量。我们展示了模拟和真实世界的数据,这种新的方法反复优于逐步选择下的回归模型
2022-11-04 cs.LG stat.ML
Copula Entropy based Variable Selection for Survival Analysis
Hitachi China Research Laboratory(日立中国研究院)
变量选择是统计学和机器学习中的一个重要问题。Copula熵(CE)是一个度量统计独立性的数学概念,近年来被应用于变量选择。在本文中,我们提出了应用CE为基础的变量选择方法的生存分析。其思想是用CE测量变量与事件发生时间之间的相关性,然后根据其CE值选择变量。在模拟数据和两个真实癌症数据上进行实验,并与随机生存森林和Lasso-Cox方法进行比较。实验结果表明,该方法可以选择出“正确”的变量,更解释,导致更好的预测性能。
2022-09-04 cs.LG stat.ME
VC-PCR: A Prediction Method based on Supervised Variable Selection and Clustering
UCLouvain(天主教鲁汶大学);Ruhr-University Bochum(波鸿鲁尔大学)
当预测变量具有聚类结构(例如,存在高度相关的变量组)时,稀疏线性预测方法遭受降低的预测精度。为了提高预测精度,已经提出了各种方法来从数据中识别可变聚类,并将聚类信息集成到稀疏建模过程中。但这些方法都不能同时实现预测、变量选择和变量聚类的性能。为了解决这一问题,本文提出了一种监督变量选择和变量聚类的预测方法--变量聚类主成分回归(VC-PCR)。真实数据和模拟数据的实验表明,与竞争对手的方法相比,VC-PCR实现更好的预测,变量选择和聚类性能时,集群结构。
2022-02-02 cs.LG stat.ME stat.ML
Variable Selection with Copula Entropy
Hitachi (China) Research & Development Corporation(日立(中国)研究开发有限公司)
在要求可解释性的机器学习和统计应用中,变量选择对分类和回归任务十分重要. 本文提出了一种基于Copula熵的变量选择方法,利用Copula熵值的阶次选择变量. 本方法既是模型无关的又是参数无关的.在UCI心脏病数据上,将该方法与传统的变量选择方法(距离相关法、希尔伯特-施密特独立准则法、逐步选择法、正则化广义线性模型法和自适应LASSO法)进行了对比实验。实验结果表明,与传统方法相比,基于CE的方法能够在不牺牲精度的情况下,更有效地选择出“正确”的变量,并得到更好的可解释结果。我们相信,基于CE的变量选择有助于建立更可解释的模型。
2020-07-29 cs.LG stat.ME stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research(谷歌研究院);Harvard University(哈佛大学)
该工作为深度贝叶斯神经网络(BNN)是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理,以表明正确配置的深度BNN(1)在高维中有效地学习变量重要性,其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的,在这个意义上,它对变量重要性的95%可信区间确实覆盖了95%的时间的真相(即,Bernstein-von Mises(BvM)现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果,并表明,该算法优于现有的经典和基于神经网络的变量选择方法,特别是在高维。
2019-12-03 cs.LG stat.ML
A gradient-based variable selection for binary classification in reproducing kernel Hilbert space
Seoul National University(首尔国立大学);Korea University(高丽大学)
变量选择在高维数据分析中至关重要。虽然已经开发了各种变量选择方法,但大多数依赖于线性模型假设。提出了一种基于再生核希尔伯特空间(RKHS)的大间隔分类器的非参数变量选择方法。我们提出了一种基于梯度的大间隔分类器的表示,然后通过组套索惩罚来正则化梯度函数,以获得自然导致变量选择的稀疏梯度。提出了分组优化下降算法(GMD,Yang和Zou,2015),以有效地解决具有大量参数的所提出的问题。我们采用强顺序规则(Tibshirani等人,2012年),以促进调整程序。该方法的选择一致性是通过获得估计分类器的风险界及其梯度来建立的。最后,我们通过仿真和实际数据说明了所提出的方法有前途的性能。
2021-09-29 cs.LG stat.ML
Stability Selection for Structured Variable Selection
Carnegie Mellon University(卡内基梅隆大学)
在变量或图选择问题中,找到合适大小的模型或控制误报的数量是非常困难的。最近,提出了一种称为稳定性选择的元算法,可以提供可靠的有限样本控制误报的数量。当与套索和正交匹配追踪算法结合使用时,其优点得到了证明。在本文中,我们研究的适用性稳定性选择结构化选择算法:组套索和结构化的输入输出套索。我们发现,使用稳定性选择往往会增加这两种算法的功率,但复杂结构的存在降低了稳定性选择下的错误控制的可靠性。我们给出了调整参数的设置策略,以获得一个良好的模型大小下的稳定性选择,并强调其优势和劣势相比,竞争的方法屏幕和清洁和交叉验证。我们给出了何时使用哪种错误控制方法的指导方针。
2017-12-13 cs.LG stat.ML
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st(哈桑一世大学);University of Abdelmalek Essaâdi(阿卜杜勒马利克·埃萨迪大学)
混合模型已被广泛用于聚类中,由于其概率框架,其基础,然而,对于现代数据库,其特点是其规模大,这些模型的行为dispromisingly在设置模型,使必要的相关变量的选择,这种类型的聚类。在回顾了基于模型的聚类的基础知识之后,本文将研究基于模型的聚类的变量选择方法,并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Scalable variable selection for two-view learning tasks with projection operators
Aalto University(阿尔托大学)
本文提出一种基于投影算子代数的可扩展变量选择方法,通过迭代选取与输出相关且与已选变量不相关的变量,并利用核函数支持非线性相关建模,在合成与真实数据上验证了其可扩展性和特征相关性。
2023-07-04 cs.AI cs.LG
DiscoVars: A New Data Analysis Perspective -- Application in Variable Selection for Clustering
提出一种基于变量依赖网络和图中心性度量的无监督变量选择新方法,并开发了Shiny应用界面,方便用户进行聚类等学习任务的变量选择与比较。
2023-04-08 cs.LG stat.ML
Efficient Clustering of Correlated Variables and Variable Selection in High-Dimensional Linear Models
Indian Statistical Institute(印度统计研究所)
本文提出了一种自适应聚类Lasso(ACL)方法,用于变量强相关的高维稀疏回归模型的变量选择。为了处理相关变量,聚类或分组变量,然后追求模型拟合的概念被广泛接受。当维数很高时,找到一个合适的群结构和原来的问题一样困难。ACL是一个三阶段的过程,在第一阶段,我们使用Lasso(或其自适应或阈值版本)进行初始选择,然后我们还包括那些未被Lasso选择但与Lasso选择的变量密切相关的变量。在第二阶段,我们集群的变量的基础上减少预测集,并在第三阶段,我们进行稀疏估计,如Lasso集群代表或组Lasso的基础上产生的结构聚类过程。我们表明,我们的程序是一致的和有效的,在寻找真正的底层人口群体结构(假设不可表示和β-min条件下)。我们还研究了我们的方法的组选择的一致性,我们使用模拟和伪真实数据集的例子来支持理论。
2016-03-11 cs.LG stat.ML
Use of High Dimensional Modeling for automatic variables selection: the best path algorithm
Università Cattolica del Sacro Cuore(圣心天主教大学)
本文提出了一种新的变量自动选择算法。特别是,使用图形模型属性,可以开发一种可用于大型数据集竞赛的方法。该算法的优点是可以与不同的预测模型相结合。在这项研究中,我们使用了OLS方法,我们与LASSO方法的结果进行了比较。
2022-01-14 cs.LG stat.ML
Learning sparse gradients for variable selection and dimension reduction
University of California, Irvine(加州大学欧文分校)
变量选择和降维是两种常用的高维数据分析方法,但传统上被分开处理。在这里,我们提出了一个集成的方法,称为稀疏梯度学习(SGL),变量选择和降维通过学习梯度的预测函数直接从样本。通过对梯度施加稀疏约束,通过选择对应于非零偏导数的变量来实现变量选择,并且基于导出的稀疏经验梯度协方差阵的特征向量来提取有效维度。给出了误差分析的估计梯度收敛到真正的欧氏和流形设置。我们还开发了一个有效的前向-后向分裂算法来解决SGL问题,使得该框架实际上可扩展到中型或大型数据集。明确给出了SGL在变量选择和特征提取方面的实用性,并通过人工数据和真实世界的示例进行了说明。我们的方法的主要优点包括变量选择的线性和非线性预测,有效的降维与稀疏加载,和一个有效的算法,大p,小n的问题。
2010-07-01 cs.LG stat.ME stat.ML
An Automatic Relevance Determination Prior Bayesian Neural Network for Controlled Variable Selection
University of Johannesburg(约翰内斯堡大学)
我们提出了一个自动相关性确定先验贝叶斯神经网络(BNN-ARD)的权重l2范数测量作为模型x敲除过滤器的特征重要性统计。我们在模拟数据和挪威风电场数据集上表明,相对于现实世界数据集上的变量选择能力和预测性能,所提出的特征重要性统计量在统计上都有显着改善。
2020-01-06 cs.LG stat.ML
Variable selection with false discovery rate control in deep neural networks
University of Notre Dame(圣母大学)
深度神经网络(DNN)以其高预测精度而闻名,但它们也因其黑箱性质和可解释性差而闻名。我们考虑变量选择的问题,也就是说,在DNN中选择对输出具有显著预测能力的输入变量。我们提出了一种称为SurvNet的向后消除过程,它基于一种适用于各种网络的变量重要性的新度量。更重要的是,SurvNet能够估计和控制选定变量的错误发现率,而现有的方法没有提供这样的质量控制。此外,SurvNet自适应地确定在每一步要消除多少变量,以最大限度地提高选择效率。为了研究其有效性,SurvNet被应用于图像数据和基因表达数据,以及各种模拟数据集。
2019-09-17 cs.LG stat.ML
An Ensemble Approach toward Automated Variable Selection for Network Anomaly Detection
Texas A&M University(得克萨斯农工大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);ETRI(电子通信研究院)
虽然变量选择对于通过对特征进行优先级排序来优化学习复杂性是必不可少的,但自动化选择过程是首选,因为它需要进行大量的分析。然而,由于几个原因,实现自动化并不是一件容易的任务。首先,选择技术通常需要一个条件来终止约简过程,例如,通过使用阈值或特征的数量来停止,并且搜索适当的停止条件是非常具有挑战性的。其次,不确定减少的变量集是否会很好地工作;我们的初步实验结果表明,众所周知的选择技术产生不同的变量集作为减少的结果(即使具有相同的终止条件),并且很难估计其中哪一个在未来的测试中工作得最好。在本文中,我们展示了我们的方法的选择过程,结合知名的选择方法,识别重要变量的自动化的潜在力量。我们对两个公共网络流量数据(UNSW-NB 15和IDS 2017)的实验结果表明,我们提出的方法识别了少量的核心变量,使用这些变量可以近似于具有全部变量的性能。
2019-10-28 cs.LG cs.NI stat.ML
Variable Selection for Nonparametric Learning with Power Series Kernels
RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);Nagoya University(名古屋大学);Tokyo Institute of Technology(东京工业大学)
本文提出了一般非参数核估计的变量选择方法。该方法包括两步估计:(1)构造目标函数的相合估计量,(2)用较少的变量用l1-型惩罚估计逼近估计量。我们看到,所提出的方法可以应用于各种核非参数估计,如核岭回归,基于核的密度和密度比估计。证明了当采用幂级数核时,该方法具有变量选择一致性的性质。这一结果被认为是非负绞喉估计的变量选择相合性在核估计中的推广。仿真研究和实际数据应用表明了该方法的有效性。
2018-12-04 cs.LG stat.ML
Penalized Generative Variable Selection
Yale School of Public Health(耶鲁公共卫生学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出在条件Wasserstein生成对抗网络中使用Group Lasso惩罚进行变量选择,并将其扩展到删失生存数据分析,建立了变量选择的收敛速率并提升了分布估计效率。
2024-02-26 cs.LG stat.ME stat.ML
Grouping effects of sparse CCA models in variable selection
University of Pennsylvania(宾夕法尼亚大学)
稀疏典型相关分析(SCCA)是一种双多变量关联模型,它可以找到两组变量的稀疏线性组合,这些变量彼此之间的相关性最大。除了标准的SCCA模型之外,简化的SCCA准则由于其计算简单而在文献中广泛使用,该准则最大化一对典型变量之间的互协方差而不是它们的互相关性。然而,这两个模型的解的行为/性质在理论上仍然未知。本文分析了标准SCCA模型和简化SCCA模型在变量选择上的分组效应。在高维环境中,变量通常形成具有高组内相关性和低组间相关性的组。我们的理论分析表明,对于分组变量选择,简化SCCA联合选择或取消选择一组变量在一起,而标准SCCA随机选择几个主导变量从每个相关组的相关变量。对人工合成数据和真实成像遗传学数据的实验结果验证了我们的理论分析结果。
2020-08-07 cs.LG stat.ME
Variable selection for nonlinear Cox regression model via deep learning
Biogen(百健)
研究非线性Cox回归模型的变量选择问题。在生存分析中,一个主要目标是识别与发生关注事件的风险相关的协变量。Cox比例风险模型在生存分析中广泛用于研究生存时间和协变量之间的关系,该模型假设协变量对风险函数具有对数线性效应。然而,这种线性假设在实践中可能并不满足。为了提取具有代表性的特征子集,已经提出了各种变量选择方法用于线性Cox模型下的生存数据。然而,很少有文献对非线性Cox模型的变量选择。为了打破这一差距,我们将最近开发的基于深度学习的变量选择模型LassoNet扩展到生存数据。仿真结果验证了该方法的有效性和可行性。最后,我们应用所提出的方法来分析弥漫性大B细胞淋巴瘤的真实数据集。
2022-11-17 cs.LG stat.ME stat.ML
High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
研究了监督学习中高维非线性变量的选择问题。我们的方法是基于执行线性选择指数之间的许多适当定义的正定内核,表征原始变量之间的非线性相互作用。为了有效地选择这些许多内核,我们使用的问题的自然层次结构扩展的多内核学习框架,可以嵌入在一个有向无环图的内核,我们表明,它是可以通过一个图形适应的稀疏诱导规范,在多项式时间在选定的内核的数量进行内核选择。此外,我们研究了变量选择在高维环境中的一致性,表明在某些假设下,我们的正则化框架允许一些无关变量,这些变量在观测数量上是指数级的。我们对合成数据集和UCI存储库数据集的模拟显示了非线性回归问题的最新预测性能。
2009-09-04 cs.LG math.ST stat.TH
Variable Selection via Thompson Sampling
University of Chicago(芝加哥大学)
Thompson抽样是机器学习中求解多臂强盗问题的一种启发式算法。该算法具有贝叶斯精神的意义上,它选择武器的奖励概率的后验样本的基础上,每个arm. By锻造组合二进制土匪和钉和板变量选择之间的连接,我们提出了一个随机优化方法,子集选择称为汤普森变量选择(TVS)。TVS是一个可解释的机器学习框架,它不依赖于底层模型是线性的。TVS将贝叶斯强化和机器学习结合在一起,以便将贝叶斯子集选择的范围扩展到非参数模型和具有非常多预测因子和/或非常多观测值的大型数据集。根据奖励的选择,TVS可以部署在离线和在线设置中,并具有流数据批次。定制多人玩强盗变量选择,我们提供遗憾的界限,而不必假设手臂意味着奖励是无关的。我们在模拟和真实数据上都表现出非常强的经验表现。与确定性优化方法的钉和板变量选择,随机性质使得TVS不太容易局部收敛,从而更强大。
2021-02-11 cs.LG stat.CO stat.ME
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley(加州大学伯克利分校)
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗(MCMC)方法的计算复杂性。我们首先表明,贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后,我们证明,后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前,我们提供了一组条件,保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系,直至对数因子。我们的证明控制的马尔可夫链的频谱间隙,通过构建一个典型的路径合奏,启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
Bayesian subset selection and variable importance for interpretable prediction and classification
Rice University(莱斯大学);Department of Statistics(统计系)
子集选择是可解释学习、科学发现和数据压缩的重要工具。然而,由于选择不稳定,缺乏正则化,以及选择后推理的困难,经典的子集选择通常被避免。我们从贝叶斯的角度来解决这些挑战。给定任何贝叶斯预测模型$\mathcal{M}$,我们提取一系列接近最优的变量子集进行线性预测或分类。这种策略不再强调单一“最佳”子集的作用,而是提出了更广泛的观点,即许多子集往往具有高度竞争力。可接受的子集族为模型解释提供了一种新的途径,并通过关键成员(如最小可接受子集)以及基于变量(共同)是否出现在所有、一些或没有可接受子集中的新(共同)变量重要性度量进行了简洁的总结。更广泛地说,我们应用贝叶斯决策分析来获得任何变量子集的最佳线性系数。这些系数通过$\mathcal{M}$继承正则化和预测不确定性量化。对于模拟和真实数据,所提出的方法表现出更好的预测,区间估计,变量选择比竞争贝叶斯和频率选择方法。这些工具应用于具有高度相关协变量的大型教育数据集。我们的分析为预测教育成果的环境,社会经济和人口因素的组合提供了独特的见解,并确定了200多个不同的变量子集,这些变量提供了接近最佳的样本外预测准确性。
2022-02-16 cs.LG stat.AP stat.CO
A Theory of Dichotomous Valuation with Applications to Variable Selection
International Monetary Fund(国际货币基金组织)
如果我们在计量经济学或统计模型中加入一个新的变量,它可能会有边际收益;如果我们从模型中删除一个现有的变量,它可能会有边际损失。假设所有候选变量之间的机会均等,我们推导出一个估值框架的预期边际收益和边际损失在所有潜在的建模方案。然而,边际收益和损失是不对称的,因此,我们引入三个无偏的解决方案。当用于变量选择时,我们的新方法显着优于实践中使用的几种流行方法。研究结果还揭示了Shapley值的一些新特性。
2020-03-13 cs.LG econ.EM math.OC