Deep Feature Selection Using a Novel Complementary Feature Mask
University of Stuttgart(斯图加特大学);Advantest Europe GmbH(爱德万测试欧洲有限公司)
特征选择在过去的几十年里在机器学习中引起了广泛的关注,因为它可以在保持特征的原始物理意义的同时降低数据维度,这使得比特征提取具有更好的可解释性。然而,大多数现有的特征选择方法,特别是基于深度学习的方法,通常只关注具有大的重要性分数的特征,而忽略了训练过程中具有较小重要性分数的特征以及重要候选特征的顺序。这可能是有风险的,因为在训练过程中可能会不幸地忽略一些重要和相关的特征,从而导致次优解决方案或误导性选择。在我们的工作中,我们处理的特征选择,利用具有较低的重要性分数的功能,并提出了一个特征选择框架的基础上,一个新的互补特征掩模。我们的方法是通用的,可以很容易地集成到现有的基于深度学习的特征选择方法中,以提高它们的性能。在基准数据集上进行的实验表明,该方法可以选择比现有技术更具代表性和信息量的特征。
2022-09-25 cs.LG
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart(斯图加特大学);Advantest Europe GmbH(爱德万测试欧洲有限公司)
特征选择通常被用作机器学习中最重要的预处理技术之一,因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此,通过利用特征选择,可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法,但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块(FM-模块)。该方法几乎不需要超参数,可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明,我们的方法易于使用,与其他最先进的基于深度学习的特征选择方法相比,具有更优越的性能。
2021-04-23 cs.LG
FSEVAL: Feature Selection Evaluation Toolbox and Dashboard
Department of Mathematics and Computer Science University of Southern Denmark(数学与计算机科学系索恩大学)
提出FSEVAL工具箱与可视化仪表盘,用于标准化、统一地评估和可视化特征选择算法。
2026-08-25 cs.LG
Exploring Language-Independent Emotional Acoustic Features via Feature Selection
School of Computer Science, The University of Manchester(曼彻斯特大学计算机科学学院)
我们提出了一种新的特征选择策略来发现语言无关的声学特征,这些特征往往与语言,语言学和其他因素无关。实验结果表明,语言无关的特征子集发现产生的性能相媲美的各种情感语音语料库的全特征集。
2010-09-01 cs.LG
Feature Selection Tutorial with Python Examples
University College Dublin(都柏林大学学院);Technological University Dublin(都柏林理工大学)
在机器学习中,特征选择需要选择数据集中可用特征的子集以用于模型开发。特征选择有许多动机,它可能会产生更好的模型,它可能会提供对数据的洞察力,它可能会在数据收集或数据处理方面带来经济效益。出于这些原因,特征选择在数据分析研究中受到了广泛关注。在本文中,我们提供了主要方法的概述,并提供了Python实现的实际示例。虽然主要的重点是监督特征选择技术,我们也涵盖了一些特征转换方法。
2021-06-11 cs.LG
Feature Selection: A Data Perspective
Arizona State University(亚利桑那州立大学);Michigan State University(密歇根州立大学)
特征选择作为一种数据预处理策略,在为各种数据采掘和机器学习问题准备数据(尤其是高维数据)方面已被证明是有效和高效的。特征选择的目标包括:建立更简单和更容易理解的模型,提高数据采掘性能,并准备干净,可理解的数据。最近大数据的激增给特征选择带来了一些实质性的挑战和机遇。在这次调查中,我们提供了一个全面的和结构化的概述特征选择研究的最新进展。基于当前大数据时代的挑战和机遇,本文从数据的角度回顾了特征选择研究,并对传统数据、结构化数据、异构数据和流数据的典型特征选择算法进行了综述。在方法论上,为了强调传统数据的大多数现有特征选择算法的差异和相似性,我们将它们分为四个主要组:基于相似性的方法,基于信息理论的方法,基于稀疏学习的方法和基于统计的方法。为了方便和促进在这个社区的研究,我们还提出了一个开源的特征选择库,其中包括大多数流行的特征选择算法(\url{http://featureselection.asu.edu/})。此外,我们用它作为一个例子来说明如何评估特征选择算法。在调查的最后,我们提出了一些开放的问题和挑战,需要更多的关注在未来的研究进行了讨论。
2018-08-26 cs.LG
Higher Order Mutual Information Approximation for Feature Selection
Tsinghua University(清华大学);University of Texas Austin(德克萨斯大学奥斯汀分校)
特征选择是选择相关特征子集的过程,从而可以提高预测模型的质量。大量的工作存在于信息理论特征选择上,基于最大化特征子集和类标签之间的互信息(MI)。现有方法通过将联合熵处理为几个单变量熵的总和来使用低阶近似。这会导致局部最优选择并错过多路特征组合。我们提出了一个高阶MI为基础的近似技术称为高阶特征选择(HOFS)。我们的方法不是产生一个单一的功能列表,而是产生一个功能子集的排名集合,最大限度地提高MI,提供更好的理解(功能排名),哪些功能在选择时最好地结合在一起,由于其底层的相互依赖的结构。实验结果表明,该方法在保持相似运行时间和计算复杂性的同时,性能优于现有的特征选择方法。
2016-12-02 cs.LG
ProtoGate: Prototype-based Neural Networks with Global-to-local Feature Selection for Tabular Biomedical Data
University of Cambridge(剑桥大学);Department of Oncology, University of Cambridge(剑桥大学肿瘤学系)
针对高维小样本表格生物医学数据,提出基于原型的神经模型ProtoGate,通过自适应平衡全局与局部特征选择及非参数预测机制解决协同适应问题,实现了更高预测精度与可解释性。
2024-06-03 cs.LG
A Supervised Feature Selection Method For Mixed-Type Data using Density-based Feature Clustering
North Carolina A&T State University(北卡罗来纳农工州立大学)
特征选择方法被广泛用于解决高维数据分类中的高计算开销和维数灾难。大多数传统的特征选择方法集中于处理同质特征,而现实世界的数据集通常具有连续和离散特征的混合。最近的一些混合类型的特征选择研究只选择与类标签相关性高的特征,而忽略了特征之间的冗余。确定适当的特征子集也是一个挑战。本文提出了一种基于密度特征聚类的有监督特征选择方法(SFSDFC),用于混合类型数据的特征选择。SFSDFC使用一种新的基于密度的聚类方法将特征空间分解为一组不相交的特征聚类。然后,采用有效的特征选择策略从这些特征簇中获得冗余度最小的重要特征子集。使用13个真实世界的基准数据集进行了广泛的实验以及与5种最先进的方法的比较研究,结果证明了SFSDFC方法的有效性。
2021-11-10 cs.LG
Supervised Infinite Feature Selection
University of Guilan(桂兰大学)
在本文中,我们提出了一种新的特征选择方法,适用于无监督和监督的问题。我们建立在最近提出的无限特征选择(IFS)的方法,考虑所有大小(包括无穷大)的特征子集。我们以两种方式扩展IFS。首先,我们提出了一个有监督的版本。其次,我们提出了新的方法来形成特征邻接矩阵,在无监督的问题中表现得更好。我们广泛评估我们的方法在许多基准数据集,包括大型图像分类数据集(PASCAL VOC),并表明我们的方法优于IFS和广泛使用的“最小冗余最大相关性(mRMR)”特征选择算法。
2017-08-21 cs.LG
Automatically Redundant Features Removal for Unsupervised Feature Selection via Sparse Feature Graph
Stony Brook University(石溪大学);General Electric Global Research(通用电气全球研究中心)
高维数据中存在的冗余特征往往会影响学习和挖掘算法的性能。如何检测和去除它们是机器学习和数据采掘研究中的一个重要研究课题。在本文中,我们提出了一个基于图的方法来自动发现和删除这些冗余的功能,高维数据。在基于稀疏学习的无监督特征选择框架的基础上,引入稀疏特征图(SFG)来描述特征间的冗余,揭示特征组间的组冗余。利用SFG,我们可以将整个特征分成不同的组,并通过去除检测到的冗余特征来改善数据的内在结构。通过精确的数据结构,可以获得质量指标向量,从而提高现有无监督特征选择算法如多聚类特征选择(MCFS)的学习性能。我们在基准数据集上的实验结果表明,所提出的SFG和特征冗余去除算法可以提高无监督特征选择算法的性能一致。
2017-06-30 cs.LG
Performance analysis of unsupervised feature selection methods
Periyar University(佩里亚尔大学)
特征选择(FS)是试图选择更多信息特征的过程。在某些情况下,过多的冗余或不相关的特征可能会压倒主要特征的分类。特征选择可以弥补这个问题,从而提高预测精度,减少分类算法的计算开销。特征选择的主要目的是从问题域中确定最小特征子集,同时在表示原始特征时保持适当的高精度。在本文中,主成分分析(PCA),粗糙PCA,无监督快速还原(USQR)算法和经验分布排名(EDR)的方法被应用到发现的歧视性特征,这将是最适当的分类。使用标准的分类指标的方法的效率进行评估。
2013-06-06 cs.LG
Synthetic Data for Feature Selection
Canadian University Dubai(迪拜加拿大大学);American University of Sharjah(沙迦美国大学);Vellore Institute of Technology(韦洛尔理工学院)
特征选择是机器学习和数据科学中一个重要而活跃的研究领域。我们在本文中的目标是提出一个合成数据集,可以作为一个共同的参考点,特征选择算法。合成数据集允许对选定的特征进行精确评估,并控制数据参数以进行全面评估。建议的数据集是基于电子应用程序,以模仿现实生活中的场景。为了说明所提出的数据的效用,我们采用的数据集之一,测试几个流行的特征选择算法。这些数据集在GitHub上公开提供,研究人员可以使用它们来评估特征选择算法。
2022-11-06 cs.LG
Gradient-based Laplacian Feature Selection
SickKids Research Institute(病童医院研究所)
高维噪声数据的分析是跨各种研究领域的本质。特征选择技术的目的是找到相关的特征子集,可以促进分类或模式检测。传统的(有监督的)特征选择方法利用标签信息来指导相关特征子集的识别。然而,在本文中,我们考虑无监督的特征选择问题。如果没有标签信息,由于真实世界数据的噪声性质破坏了数据的内在结构,因此特别难以识别一小组相关特征。我们的基于一致性的拉普拉斯特征选择(GLFS)通过最小化拉普拉斯正则化最小二乘回归模型的方差来选择重要的特征。通过$\ell_1$松弛,GLFS可以找到与拉普拉斯流形相关的特征的稀疏子集。在模拟的三个真实世界的对象识别和两个计算生物学数据集上进行的大量实验表明,我们的方法比多个最先进的无监督特征选择方法具有强大的功能和优越的性能。此外,我们表明,GLFS选择一个更稀疏的一组更相关的功能,在监督设置优于流行的弹性网络方法。
2014-04-10 cs.LG
Neural Gaussian Mirror for Controlled Feature Selection in Neural Networks
Department of Statistics, Virginia Tech(弗吉尼亚理工大学统计系);Department of Statistics, University of Chicago(芝加哥大学统计系);Department of Statistics, Harvard University(哈佛大学统计系)
深度神经网络(DNN)越来越受欢迎,并在预测任务中取得了出色的表现。然而,DNN框架本身无法告知用户哪些特征与预测或多或少相关,这限制了其在许多科学领域的适用性。我们引入神经高斯镜(NGM),其中镜像功能的创建,通过基于核的条件依赖度量的结构化扰动,以帮助评估功能的重要性。我们设计了DNN架构的两个修改,用于合并镜像功能并提供镜像统计来衡量功能的重要性。如在模拟和真实数据的例子中所示,所提出的方法控制在预定义的水平的特征选择错误率,并保持高的选择功率,即使存在高度相关的功能。
2020-10-13 cs.LG stat.ML
Deep-gKnock: nonlinear group-feature selection with deep neural network
University of Rhode Island(罗德岛大学);Northeastern University(东北大学)
特征选择是当代高维数据分析的核心。在各种科学问题中,自然会出现特征间的同构。已经提出了许多方法来将分组结构信息并入特征选择。然而,这些方法通常限于线性回归设置。为了放松线性约束,我们将深度神经网络(DNN)与最近的Knockoffs技术相结合,该技术在个人特征选择上下文中取得了成功。我们提出Deep-gKnock(使用Knockoffs的深度组特征选择)作为模型解释和降维的方法。Deep-gKnock通过控制逐组错误发现率(gFDR)来执行无模型组特征选择。我们的方法提高了DNN的可解释性和可重复性。在合成数据和真实数据上的实验结果表明,与现有的方法相比,我们的方法实现了更高的功率和更精确的gFDR控制。
2019-05-27 cs.LG stat.ML
Evolutionary feature selection for spiking neural network pattern classifiers
Comenius University(夸美纽斯大学);University Nova de Lisboa(新里斯本大学)
本文提出将生物真实性的JASTAP神经网络模型应用于分类任务,通过进化方法改进特征选择和神经网络训练,实验证明更小的网络能处理噪声数据且分类准确率不变。
2026-10-06 cs.LG cs.NE
Consistent Feature Selection for Analytic Deep Neural Networks
University of Delaware(特拉华大学);Dalhousie University(达尔豪西大学)
特征选择是实现神经网络模型的可解释性和可解释性的最重要步骤之一,其目的是识别相关特征的子集。该领域的理论成果主要集中在预测方面的问题,几乎没有工作的特征选择一致性的深度神经网络由于模型的严重非线性和不可识别性。这种理论基础的缺乏使人们对深度学习在正确解释特征起核心作用的环境中的适用性产生了怀疑。在这项工作中,我们研究了解析深度网络的特征选择问题。我们证明了,对于广泛的一类网络,包括深度前馈神经网络,卷积神经网络,和一个主要的子类的剩余神经网络,自适应组Lasso选择过程与组Lasso作为基础估计是选择一致的。这项工作提供了进一步的证据,表明Group Lasso对于使用神经网络进行特征选择可能是低效的,并提倡使用Adaptive Group Lasso而不是流行的Group Lasso。
2020-10-16 cs.LG math.ST stat.ML
Submodular Batch Selection for Training Deep Neural Networks
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
基于小批量梯度下降的方法是当今用于训练神经网络架构的事实上的算法。本文提出了一种基于子模函数最大化的小批量选择策略。我们的新的子模块化配方捕捉每个样本的信息量和整个子集的多样性。我们设计了一个有效的,贪心算法,可以提供高质量的解决方案,这个NP难的组合优化问题。我们在标准数据集上进行的大量实验表明,使用所提出的批量选择策略训练的深度模型比随机梯度下降以及不同学习率、批量大小和距离度量的流行基线采样策略提供了更好的泛化能力。
2019-06-20 cs.LG stat.ML
Feature Selection Based on Sparse Neural Network Layer with Normalizing Constraints
Technical University of Košice(科希策技术大学)
特征选择是机器学习中的一个重要步骤,因为它可以提高预测精度,同时降低高维数据的维数灾难。神经网络在解决许多非线性学习问题方面取得了巨大的成功。在这里,我们提出了新的基于神经网络的特征选择方法,该方法引入了两个约束,满足这两个约束会导致稀疏FS层。我们已经进行了广泛的实验,合成和真实世界的数据,以评估性能的建议FS。在实验中,我们专注于高维,低样本量的数据,因为这些代表了特征选择的主要挑战。实验结果表明,提出的基于规范化约束稀疏神经网络层的特征选择方法(SNEL-FS)能够有效地选择重要特征,并且与其他传统的FS方法相比具有更好的性能。
2021-07-12 cs.CV cs.LG cs.NE
Understanding Feature Selection and Feature Memorization in Recurrent Neural Networks
Beihang University(北京航空航天大学);University of Ottawa(渥太华大学)
在本文中,我们提出了一个测试,称为标记1位(F1B)测试,研究循环神经网络在序列学习的内在能力。四个不同的经常性网络模型进行了研究,分析和实验使用此测试。我们的研究结果表明,在序列学习中,一般存在特征选择和特征记忆之间的冲突。这种冲突可以使用LSTM中的门控机制来解决,或者通过增加Vanilla RNN中的状态维度来解决。门控模型通过自适应地调整其状态更新方程来解决这种冲突,而Vanilla RNN通过分配不同的维度不同的任务来解决这种冲突。深入了解特征选择和记忆递归网络。
2019-03-03 cs.LG stat.ML
Binary Stochastic Filtering: a Method for Neural Network Size Minimization and Supervised Feature Selection
University of Chemistry and Technology(化学技术大学)
提出了二进制随机滤波(BSF)算法,用于特征选择和神经元修剪。该方法定义了过滤层,该过滤层对训练过程中涉及的信息量进行惩罚。该信息可以是前一层的输入数据或输出,其分别直接导致特征选择或神经元修剪,从而产生特征的\textit{ad hoc}子集或选择每层中神经元的最佳数目。过滤层随机传递或丢弃基于单个权重的特征,这些权重在训练过程中使用标准的反向传播算法进行调整。实验中实现了神经网络规模的成倍减小。此外,该方法能够选择最少数量的特征,超过文献参考的准确性/维数比。
2019-08-20 cs.LG stat.ML
Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks
Eindhoven University of Technology(埃因霍温理工大学);University of Twente(特文特大学)
特征选择从数据中选择信息丰富的变量子集,不仅增强了模型的可解释性和性能,而且减少了资源需求。近年来,利用神经网络进行特征选择受到越来越多的关注。然而,现有的方法通常遭受高的计算成本时,应用于高维数据集。在本文中,进化过程的启发,我们提出了一种新的资源有效的监督特征选择方法,使用稀疏神经网络,命名为\enquote{NeuroFS}。通过从从头开始训练的稀疏神经网络的输入层逐渐修剪无信息特征,NeuroFS有效地导出特征的信息子集。通过对不同类型的$11$低维和高维真实世界基准进行几次实验,我们证明了NeuroFS在所考虑的最先进的监督特征选择模型中获得了最高的基于排名的分数。代码可以在GitHub上找到。
2023-03-14 cs.AI cs.LG cs.NE
Unveiling the Power of Sparse Neural Networks for Feature Selection
University of Twente(特温特大学);University of Cambridge(剑桥大学);Eindhoven University of Technology(埃因霍温理工大学);University of Luxembourg(卢森堡大学)
本文系统分析了基于动态稀疏训练的稀疏神经网络在特征选择中的表现,并提出一种新的特征重要性度量指标,证明其能在显著降低内存和计算开销的同时提升所选特征质量。
2024-08-08 cs.AI cs.LG
ControlBurn: Feature Selection by Sparse Forests
Cornell University(康奈尔大学)
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制,这降低了可解释性并使特征选择复杂化。在本文中,我们提出了ControlBurn,一个特征选择算法,使用加权LASSO为基础的特征选择方法修剪不必要的功能,从树系综,就像低强度火灾减少过度生长的植被。像线性LASSO一样,ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外,与基于迭代包装器的特征选择方法不同,该算法高效且仅需要一次训练迭代即可运行。我们表明,ControlBurn的性能大大优于特征选择方法,在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Nonparametric Feature Selection by Random Forests and Deep Neural Networks
Shanghai Jiao Tong University(上海交通大学);The University of Melbourne(墨尔本大学);Xiamen University(厦门大学)
随机森林是一种广泛使用的机器学习算法,但当应用于具有大量实例和无用特征的大规模数据集时,其计算效率会受到影响。在这里,我们提出了一个非参数特征选择算法,它结合了随机森林和深度神经网络,其理论性质也在正则性条件下进行了研究。使用不同的合成模型和一个真实世界的例子,我们证明了所提出的算法在识别有用的功能,避免无用的,和计算效率方面的优势。虽然该算法是使用标准的随机森林提出的,但它可以广泛地适用于其他机器学习算法,只要特征可以相应地排序。
2022-01-18 cs.LG stat.CO
Feature Selection for Latent Factor Models
Department of Statistics, Florida State University(佛罗里达州立大学统计系)
本文提出一种基于低秩生成模型和信噪比准则的逐类特征选择方法,在理论保证和标准分类数据集上优于现有方法。
2026-10-21 cs.LG stat.AP
MINERVA: Mutual Information Neural Estimation for Supervised Feature Selection
Queen Mary University of London(伦敦女王学院);Wise Payments Ltd;Memorial University of Newfoundland(新不伦瑞克纪念大学)
针对现有特征过滤方法无法捕捉高阶特征交互的问题,提出基于神经互信息估计的两阶段监督特征选择算法MINERVA,实验验证其能有效捕获复杂依赖关系且性能优异。
2025-10-06 cs.AI cs.LG
A Nonparametric Statistics Approach to Feature Selection in Deep Neural Networks with Theoretical Guarantees
Department of Statistics and Actuarial Science, The University of Hong Kong(统计与精算科学系,香港大学);Peking University HSBC Business School(北京大学汇丰商学院)
本文提出了一种非参数统计方法,通过神经网络索引模型和二次Stein公式,在理论保证下实现深度神经网络中的特征选择,适用于高维和稀疏场景。
2025-12-15 cs.LG stat.ML
DeepPINK: reproducible feature selection in deep neural networks
University of Washington(华盛顿大学);University of Southern California(南加州大学)
由于其出色的经验性能,深度学习在监督和无监督机器学习中越来越受欢迎。然而,由于其内在的复杂性,大多数深度学习方法在很大程度上被视为黑盒工具,几乎没有可解释性。尽管最近已经尝试促进深度神经网络(DNN)的可解释性,但是现有方法易受噪声影响并且缺乏鲁棒性。因此,科学家们对发现的可重复性非常谨慎,这通常与基础统计模型的可解释性有关。在本文中,我们描述了一种方法,以提高DNN的解释性和再现性,结合特征选择的想法与控制出错率。通过设计一个新的DNN架构并将其与最近提出的仿制品框架相集成,我们以受控的出错率执行特征选择,同时保持高功率。这种新方法,DeepPINK(深度特征选择使用配对输入非线性敲除),被应用到模拟和真实数据集,以证明其经验效用。
2018-09-06 cs.LG stat.ML
Supervised Feature Subset Selection and Feature Ranking for Multivariate Time Series without Feature Extraction
NEC Laboratories America(美国NEC实验室)
我们介绍了多变量时间序列(MTS)分类的监督特征排序和特征子集选择算法。与大多数现有的监督/无监督MTS的特征选择算法,我们的技术不需要一个特征提取步骤,从时间序列生成一个一维的特征向量。相反,它是基于直接计算单个时间序列之间的相似性,并评估产生的聚类结构与标签的匹配程度。该技术适用于异构MTS数据,其中时间序列测量可能具有不同的采样分辨率,以及多模态数据。
2020-05-01 cs.LG stat.ML
Neural Greedy Pursuit for Feature Selection
KTH Royal Institute of Technology(瑞典皇家理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
提出神经贪婪追踪(NGP)算法,通过神经网络预测器在迭代损失最小化中逐一顺序选择特征,有效解决非线性预测中 $N \ll P$ 的特征选择问题,性能优于多种方法并展现相变行为。
2022-07-19 cs.LG stat.ML
Worse than Random: The Importance of a Baseline for Unsupervised Feature Selection -- Extended Version
University of Southern Denmark(丹麦南部大学);New Jersey Institute of Technology(新泽西理工学院);Oratio Technologies(Oratio技术公司)
提出使用随机特征选择作为基线,实证表明许多现有无监督特征选择方法在性能和效率上均不如随机选择,强调新方法开发中必须以此基线确保改进。
2026-10-30 cs.AI cs.LG
Robust LassoNet: Enhancing Feature Selection in Neural Networks via Robust Loss Functions
针对神经网络特征选择对异常值敏感的问题,提出鲁棒LassoNet,通过引入Huber、Cauchy等鲁棒损失函数,在保持优化框架的同时提升污染数据下的预测与特征选择性能。
2026-10-12 cs.LG math.PR stat.ML
Model-based feature selection for neural networks: A mixed-integer programming approach
KTH Royal Institute of Technology(瑞典皇家理工学院);Imperial College London(帝国理工学院)
在这项工作中,我们为基于ReLU的深度神经网络(DNN)开发了一种新的输入特征选择框架,该框架建立在混合整数优化方法的基础上。虽然该方法通常适用于各种分类任务,但我们专注于寻找用于图像分类的输入特征,以便清晰地呈现。这个想法是使用一个经过训练的DNN或一组经过训练的DNN来识别显著的输入特征。将输入特征选择公式化为一系列混合整数线性规划(MILP)问题,该问题找到使每个类别的分类置信度最大化的稀疏输入集。这些“逆”问题通过为每个类别选择的输入数量和分布约束进行正则化。在著名的MNIST和FashionMNIST数据集上的数值结果表明,所提出的输入特征选择允许我们将输入的大小大幅减少到$\sim$ 15\%,同时保持良好的分类精度。这使我们能够设计具有更少连接的DNN,减少计算工作量,并产生对对抗性攻击更鲁棒的DNN。
2023-02-20 cs.LG math.OC
Automated Human Activity Recognition by Colliding Bodies Optimization-based Optimal Feature Selection with Recurrent Neural Network
University of Agder(阿格德大学)
在智能医疗保健中,人体活动识别(HAR)被认为是根据传感器读数进行普适计算的有效模型。家庭或社区的环境辅助生活(AAL)帮助人们提供独立的护理和提高生活质量。然而,许多AAL模型受到许多因素的限制,包括计算成本和系统复杂性。此外,HAR概念由于其应用而具有更大的相关性。因此,本文试图使用深度学习来实现HAR系统,这些数据是从UC Irvine机器学习存储库(UCI)中公开提供的智能传感器收集的。该模型包括三个过程:(1)数据汇集,(b)最优特征选择,(c)识别。从基准测试存储库收集的数据最初经过最佳特征选择,这有助于选择最重要的特征。提出的最佳特征选择是基于一种新的元启发式算法称为碰撞体优化(CBO)。由识别精度导出的目标函数用于完成最佳特征选择。在这里,称为循环神经网络(RNN)的深度学习模型用于活动识别。所提出的模型在有关基准数据集上的性能优于现有的学习方法,与传统模型相比,提供了更高的性能。
2021-11-19 cs.LG eess.SP
Neural Additive and Basis Models with Feature Selection and Interactions
Yokohama National University(横滨国立大学)
提出在神经加性模型和神经基础模型中引入特征选择机制,通过特征选择层减少计算开销,并支持高维数据中的特征交互学习,性能优于或持平于现有GAM方法。
2026-06-19 cs.AI cs.LG
AutoEncoder Inspired Unsupervised Feature Selection
Peking University(北京大学)
在计算机视觉和机器学习任务等许多领域,高维数据给计算和分析带来了困难。特征选择是从观测到的特征中选择一个子集,是一种广泛使用的提高高维数据机器学习模型性能和有效性的方法。在本文中,我们提出了一种新的自动编码器特征选择(AEFS)的无监督特征选择结合自动编码器回归和组套索任务。与传统的特征选择方法相比,AEFS能够挖掘特征间的线性和非线性信息,从而选择出最重要的特征,比传统的自表示方法在无监督特征选择中只采用线性假设的情况下更加灵活。在基准数据集上的实验结果表明,该方法优于现有方法。
2018-04-09 cs.LG stat.ML
On Feature Selection Using Anisotropic General Regression Neural Network
University of Lausanne - Faculty of Geosciences and Environment(洛桑大学地球科学与环境学院);Scientific Computing and Research Support Unit Computer Center UNIL(洛桑大学计算机中心科学计算与研究支持单元)
输入数据集中不相关特征的存在往往会降低机器学习模型的可解释性和预测质量。因此,开发识别不相关特征的特征选择方法是机器学习中的一个重要课题。在这里,我们展示了如何使用具有各向异性高斯核的一般回归神经网络来执行特征选择。利用模拟数据进行了大量的数值实验,以研究所提出的方法的鲁棒性及其对样本量的敏感性。最后,与其他四种特征选择方法进行了比较,在几个真实世界的数据集。
2020-10-12 cs.AI cs.LG stat.ML
Feature Selection for Huge Data via Minipatch Learning
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
特征选择通常通过丢弃不相关或冗余的特征来提高模型的可解释性、更快的计算速度和改进的模型性能。虽然特征选择是许多广泛使用的技术中的一个得到充分研究的问题,但通常存在两个关键挑战:i)许多现有方法在具有数百万个观测值和特征的庞大数据设置中变得计算上难以处理;以及ii)所选特征的统计准确性在高噪声、高相关性设置中降低,从而阻碍可靠的模型解释。我们通过提出稳定的小补丁选择(STAMPS)和自适应STAMPS(AdaSTAMPS)来解决这些问题。这些是元算法,它们构建基本特征选择器的选择事件集合,这些基本特征选择器在数据的观察和特征的许多微小的(自适应选择的)随机子集上进行训练,我们称之为minipatches。我们的方法是通用的,可以采用各种现有的特征选择策略和机器学习技术。此外,我们提供的理论见解STAMPS和经验表明,我们的方法,特别是AdaSTAMPS,占主导地位的竞争方法的特征选择精度和计算时间。
2021-02-10 cs.LG stat.ML
Gradient Boosted Feature Selection
Microsoft Research(微软研究院);Washington University in St. Louis(圣路易斯华盛顿大学);Tsinghua University(清华大学);GraphLab
一个特征选择算法应该理想地满足四个条件:可靠地提取相关特征;能够识别非线性特征交互;与特征和维度的数量线性缩放;允许结合已知的稀疏结构。在这项工作中,我们提出了一种新的特征选择算法,梯度提升特征选择(GBFS),它满足所有这四个要求。该算法是灵活的,可扩展的,并且令人惊讶地直接实现,因为它是基于梯度提升树的修改。我们评估GBFS在几个现实世界的数据集,并表明它匹配或优于其他国家的最先进的特征选择算法。然而,它可以扩展到更大的数据集大小,并且自然地允许特定于域的辅助信息。
2019-01-13 cs.LG stat.ML
Soft Set Based Feature Selection Approach for Lung Cancer Images
肺癌是男性和女性最致命的癌症类型。特征选择在癌症分类中起着至关重要的作用。研究了基于软集理论的肺癌CT图像特征选择过程。提出了一种新的基于软集的无监督特征选择算法。利用灰度共生矩阵(GLCM)和灰度差异矩阵(GLDM)对分割后的肺部图像进行了19个特征提取。本文提出了一种基于无监督软集的快速约简算法(SSUSQR)。将该方法应用于数据集的特征选择,并与现有的基于粗糙集的无监督特征选择方法进行了比较。然后采用K-Means和SOM聚类算法对数据进行聚类。基于聚类技术的性能评估的特征选择算法的性能。实验结果表明,该方法有效地去除了冗余特征。
2012-12-21 cs.CE cs.LG
LOFS: Library of Online Streaming Feature Selection
University of South Australia(南澳大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校);University of Vermont(佛蒙特大学)
作为一个新兴的研究方向,在线流特征选择处理的是在一个特征空间中连续增加的维度,而数据实例的数量是固定的。在线流特征选择提供了一种新的、互补的算法方法来丰富在线特征选择,特别是针对大数据分析中的高维度。本文介绍了第一个在MATLAB中使用的全面的开源库,它实现了在线流特征选择的最新算法。该库旨在促进这一令人兴奋的研究方向的新算法的开发,并在新方法和现有方法之间进行比较。
2016-03-02 cs.LG stat.ML
Cost-Sensitive Feature Selection by Optimizing F-Measures
Peking University(北京大学);University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学)
特征选择通过从高维特征中提取信息子集,有利于提高一般机器学习任务的性能。传统的特征选择方法通常忽略了类别不平衡的问题,因此选择的特征会偏向于大多数类别。考虑到F-测度是一种比准确度更合理的非平衡数据的性能度量,本文提出了一种有效的特征选择算法,通过优化F-测度来解决类别不平衡问题。由于F-测度优化问题可以分解为一系列代价敏感的分类问题,本文在严格的理论指导下,通过对每个类生成和分配不同的代价,研究了代价敏感的特征选择问题。在解决了一系列代价敏感的特征选择问题后,将选择与最佳F-测度相对应的特征。这样,所选特征将完全代表所有类的属性。在流行的基准测试和具有挑战性的真实数据集上的实验结果表明,代价敏感的特征选择对于不平衡数据集的重要性,验证了所提方法的有效性。
2019-04-04 cs.CV cs.LG
Feature Selection via L1-Penalized Squared-Loss Mutual Information
Tokyo Institute of Technology(东京工业大学)
特征选择是一种筛选不太重要的特征的技术。现有的有监督特征选择算法多以冗余度和相关度作为特征选择的主要标准。然而,功能交互,潜在的一个关键特征在现实世界中的问题,并没有得到太多的关注。作为一种尝试,考虑到功能的相互作用,我们提出了L1-LSMI,L1正则化为基础的算法,最大限度地提高了平方损失变量之间的互信息选择功能和输出。数值结果表明,L1-LSMI在处理冗余、检测非线性依赖和考虑特征交互方面表现良好。
2012-10-06 cs.LG stat.ML
Supervised feature selection with orthogonal regression and feature weighting
有效的特征可以提高模型的性能,从而帮助我们理解复杂数据的特征和底层结构。以往的特征选择方法通常不能保留更多的局部结构信息。为了解决上述缺陷,我们提出了一种新的监督正交最小二乘回归模型与特征加权特征选择。目标函数的优化问题可以通过广义幂迭代(GPI)和增广拉格朗日乘子(ALM)方法求解。实验结果表明,与传统的特征选择方法相比,该方法能更有效地降低特征维数,获得更好的分类结果。证明了该迭代法的收敛性。理论和实验验证了该方法的有效性和优越性。
2019-10-09 cs.LG stat.ML
FSMJ: Feature Selection with Maximum Jensen-Shannon Divergence for Text Categorization
University of Rhode Island(罗德岛大学)
在本文中,我们提出了一种新的包装器特征选择方法的基础上詹森-香农(JS)的分歧,称为最大JS-分歧的特征选择(FSMJ),文本分类。与大多数现有的特征选择方法,建议FSMJ方法是基于实值的功能,提供更多的信息比二进制值的功能,在传统的方法中使用的歧视。我们表明,FSMJ是一个贪婪的方法,当选择更多的功能时,JS发散单调增加。我们进行了几个实验,在现实生活中的数据集,与国家的最先进的文本分类的特征选择方法。FSMJ方法的优越性能证明了其有效性,并进一步表明其在数据挖掘中的广泛应用前景。
2016-06-20 cs.LG stat.ML
Feature selection algorithm based on Catastrophe model to improve the performance of regression analysis
University of California San Francisco(加州大学旧金山分校)
在本文中,我们介绍了一种新的特征选择算法,以消除不相关的或冗余的数据集的功能。在该算法中,特征的重要性基于其对突变模型的拟合。赤池信息标准值用于对数据集中的特征进行排序。该算法与著名的RELIEF特征选择算法进行了比较。乳腺癌,帕金森远程监测数据和切片局部数据集被用来评估模型。
2017-04-21 cs.LG stat.ML
Beam Search for Feature Selection
在本文中,我们提出并证明了一些一致性结果的分类模型的性能使用的一个子集的功能。此外,我们建议使用束搜索来执行特征选择,这可以被看作是向前选择的推广。我们将束搜索应用于模拟和真实世界的数据,通过评估和比较使用不同特征集的不同分类模型的性能。结果表明,束搜索可以优于前向选择,特别是当特征相关时,使得它们在联合考虑时比单独考虑时具有更大的区分力。此外,在某些情况下,分类模型可以获得相当的性能,仅使用由束搜索选择的十个特征,而不是数百个原始特征。
2022-03-08 cs.LG stat.ML
Online Sparse Streaming Feature Selection Using Adapted Classification
Southwest University(西南大学)
传统的特征选择需要在学习之前知道特征空间,而在线流特征选择(OSFS)被提出来动态地处理流特征。现有方法在不丢失数据的情况下将特征分为相关和不相关,删除不相关特征可能导致信息丢失。基于此,本文重点研究了流特征矩阵的构造和特征相关性的划分,提出了基于自适应分类的在线稀疏流特征选择算法(OS 2FS-AC)。本研究使用潜在因素分析(LFA)来预估缺失数据。此外,我们使用自适应的方法来获得阈值,将特征分为强相关,弱相关和不相关的特征,然后再划分弱相关与更多的信息。在10个真实数据集上的实验结果表明,OS 2FS-AC的性能优于现有算法。
2023-02-25 cs.AI cs.LG
Simplifying Reinforced Feature Selection via Restructured Choice Strategy of Single Agent
Northeast Normal University(东北师范大学);University of Central Florida(中佛罗里达大学)
特征选择旨在选择特征的子集以优化下游预测任务的性能。最近,多代理增强特征选择(MARFS)已被引入到自动化特征选择,通过创建代理为每个功能选择或删除相应的功能。虽然MARFS享有自动化的选择过程中,MARFS遭受不仅在内容和维度方面的数据复杂性,但也指数增加的计算成本方面的代理。这就引出了一个新的研究问题:能否在强化学习环境下简化智能体的选择过程,从而提高特征选择的效率和成本?为了解决这个问题,我们开发了一个单一的代理人加强特征选择的方法与重组的选择策略。具体而言,重构的选择策略包括:1)我们只使用一个单一的代理来处理多个功能的选择任务,而不是使用多个代理。2)我们开发了一种扫描方法,使单个代理在每一轮扫描中做出多个选择/取消选择的决定。3)我们利用与特征的预测标签的相关性来优先化代理对多个特征的扫描顺序。4)我们提出了一种卷积自动编码算法,结合编码的索引信息的功能,以改善状态表示。5)我们设计了一个奖励计划,考虑到预测精度和特征冗余,以促进探索过程。最后,我们提出了广泛的实验结果证明所提出的方法的效率和有效性。
2020-09-19 cs.LG stat.ML
Consistent feature selection for neural networks via Adaptive Group Lasso
University of Delaware(特拉华大学);Dalhousie University(达尔豪斯大学)
在医学和工程科学中广泛使用深度学习的一个主要障碍是其可解释性。虽然神经网络模型是进行预测的强大工具,但它们通常很少提供有关哪些特征在影响预测准确性方面起重要作用的信息。为了克服这个问题,已经提出了许多用于利用神经网络学习的正则化过程以丢弃非重要特征。不幸的是,由于缺乏理论结果,人们对此类管道的适用性产生了怀疑。在这项工作中,我们提出并建立了一个理论保证使用自适应组套索选择重要功能的神经网络。具体来说,我们表明,我们的特征选择方法是一致的单输出前馈神经网络与一个隐藏层和双曲正切激活函数。我们证明了它的适用性,使用模拟和数据分析。
2021-12-03 cs.LG math.ST stat.ML
Feature Selection Based on Unique Relevant Information for Health Data
National University of Singapore(新加坡国立大学)
特征选择是在观测数据中搜索最具代表性的特征,对健康数据分析至关重要。与诸如基于PCA和自动编码器的方法的特征提取不同,特征选择保留了可解释性,这意味着所选择的特征提供关于某些健康状况的直接信息(即,标签)。因此,特征选择允许领域专家(诸如临床医生)理解由基于机器学习的系统做出的预测,以及提高他们自己的诊断技能。互信息通常用作特征选择的基础,因为它测量特征和标签之间的依赖性。在本文中,我们介绍了一种新的互信息为基础的特征选择(MIBFS)的方法称为SURI,提高功能与高独特的相关信息。我们比较SURI现有的MIBFS方法使用3种不同的分类器6公开可用的医疗保健数据集。结果表明,除了保持可解释性,SURI选择更多的相关特征子集,导致更高的分类性能。更重要的是,我们探索的互信息的公共低维健康数据集通过穷举搜索的动态。结果表明,独特的相关信息在特征选择中的重要作用,并验证了SURI背后的原则。
2018-12-02 cs.LG stat.ML
Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);University of Central Florida(中佛罗里达大学);Arizona State University(亚利桑那州立大学)
本文将特征选择重新表述为深度可微优化任务,提出连续嵌入空间优化框架,通过编码器-评估器-解码器结构和梯度上升搜索,解决高维小样本下的泛化与性能问题。
2023-09-15 cs.AI cs.LG