Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University（宋卡王子大学）；Khon Kaen University（孔敬大学）
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成，假设好的特征集包含与类高度相关的特征，这可以在分类精度的性能上实现。所提出的方法包括两个阶段：（i）通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及（ii）使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术：（i）基于相关性，（ii）基于一致性，（iii）ReliefF和（iv）信息增益。实验结果表明，将信息增益特征选择和基于相关性的特征选择与SVM集成相结合，比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
Deep Feature Selection Using a Novel Complementary Feature Mask
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
特征选择在过去的几十年里在机器学习中引起了广泛的关注，因为它可以在保持特征的原始物理意义的同时降低数据维度，这使得比特征提取具有更好的可解释性。然而，大多数现有的特征选择方法，特别是基于深度学习的方法，通常只关注具有大的重要性分数的特征，而忽略了训练过程中具有较小重要性分数的特征以及重要候选特征的顺序。这可能是有风险的，因为在训练过程中可能会不幸地忽略一些重要和相关的特征，从而导致次优解决方案或误导性选择。在我们的工作中，我们处理的特征选择，利用具有较低的重要性分数的功能，并提出了一个特征选择框架的基础上，一个新的互补特征掩模。我们的方法是通用的，可以很容易地集成到现有的基于深度学习的特征选择方法中，以提高它们的性能。在基准数据集上进行的实验表明，该方法可以选择比现有技术更具代表性和信息量的特征。
2022-09-25 cs.LG
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
特征选择通常被用作机器学习中最重要的预处理技术之一，因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此，通过利用特征选择，可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法，但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块（FM-模块）。该方法几乎不需要超参数，可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明，我们的方法易于使用，与其他最先进的基于深度学习的特征选择方法相比，具有更优越的性能。
2021-04-23 cs.LG
FSEVAL: Feature Selection Evaluation Toolbox and Dashboard
Department of Mathematics and Computer Science University of Southern Denmark（数学与计算机科学系索恩大学）
提出FSEVAL工具箱与可视化仪表盘，用于标准化、统一地评估和可视化特征选择算法。
2026-08-25 cs.LG
Exploring Language-Independent Emotional Acoustic Features via Feature Selection
School of Computer Science, The University of Manchester（曼彻斯特大学计算机科学学院）
我们提出了一种新的特征选择策略来发现语言无关的声学特征，这些特征往往与语言，语言学和其他因素无关。实验结果表明，语言无关的特征子集发现产生的性能相媲美的各种情感语音语料库的全特征集。
2010-09-01 cs.LG
Feature Selection Tutorial with Python Examples
University College Dublin（都柏林大学学院）；Technological University Dublin（都柏林理工大学）
在机器学习中，特征选择需要选择数据集中可用特征的子集以用于模型开发。特征选择有许多动机，它可能会产生更好的模型，它可能会提供对数据的洞察力，它可能会在数据收集或数据处理方面带来经济效益。出于这些原因，特征选择在数据分析研究中受到了广泛关注。在本文中，我们提供了主要方法的概述，并提供了Python实现的实际示例。虽然主要的重点是监督特征选择技术，我们也涵盖了一些特征转换方法。
2021-06-11 cs.LG
Composite Feature Selection using Deep Ensembles
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
在许多现实世界的问题中，特征不是单独作用的，而是相互结合的。例如，在基因组学中，疾病可能不是由任何单一突变引起的，而是需要存在多个突变。之前关于特征选择的工作要么寻求识别单个特征，要么只能从预定义的集合中确定相关组。我们调查的问题，发现没有预定义的分组的预测功能组。为此，我们根据特征之间的线性和非线性相互作用来定义预测组。我们引入了一种新的深度学习架构，该架构使用特征选择模型的集合来找到预测组，而不需要提供候选组。选定的组是稀疏的，并且显示最小的重叠。此外，我们提出了一个新的度量标准来衡量发现的群体和地面真相之间的相似性。我们展示了我们的模型在多个合成任务和半合成化学数据集上的实用性，其中地面真实结构是已知的，以及图像数据集和真实世界的癌症数据集。
2023-01-11 cs.LG
Feature Selection: A Data Perspective
Arizona State University（亚利桑那州立大学）；Michigan State University（密歇根州立大学）
特征选择作为一种数据预处理策略，在为各种数据采掘和机器学习问题准备数据（尤其是高维数据）方面已被证明是有效和高效的。特征选择的目标包括：建立更简单和更容易理解的模型，提高数据采掘性能，并准备干净，可理解的数据。最近大数据的激增给特征选择带来了一些实质性的挑战和机遇。在这次调查中，我们提供了一个全面的和结构化的概述特征选择研究的最新进展。基于当前大数据时代的挑战和机遇，本文从数据的角度回顾了特征选择研究，并对传统数据、结构化数据、异构数据和流数据的典型特征选择算法进行了综述。在方法论上，为了强调传统数据的大多数现有特征选择算法的差异和相似性，我们将它们分为四个主要组：基于相似性的方法，基于信息理论的方法，基于稀疏学习的方法和基于统计的方法。为了方便和促进在这个社区的研究，我们还提出了一个开源的特征选择库，其中包括大多数流行的特征选择算法（\url{http://featureselection.asu.edu/}）。此外，我们用它作为一个例子来说明如何评估特征选择算法。在调查的最后，我们提出了一些开放的问题和挑战，需要更多的关注在未来的研究进行了讨论。
2018-08-26 cs.LG
Group-Feature (Sensor) Selection With Controlled Redundancy Using Neural Networks
Indian Statistical Institute（印度统计研究所）
本文提出一种基于MLP的嵌入式特征选择方法并推广至组特征选择，通过推广组Lasso惩罚实现冗余控制，理论证明其单调性与收敛性，实验验证了其在特征和组特征选择任务上的优越性能。
2024-09-25 cs.LG
Higher Order Mutual Information Approximation for Feature Selection
Tsinghua University（清华大学）；University of Texas Austin（德克萨斯大学奥斯汀分校）
特征选择是选择相关特征子集的过程，从而可以提高预测模型的质量。大量的工作存在于信息理论特征选择上，基于最大化特征子集和类标签之间的互信息（MI）。现有方法通过将联合熵处理为几个单变量熵的总和来使用低阶近似。这会导致局部最优选择并错过多路特征组合。我们提出了一个高阶MI为基础的近似技术称为高阶特征选择（HOFS）。我们的方法不是产生一个单一的功能列表，而是产生一个功能子集的排名集合，最大限度地提高MI，提供更好的理解（功能排名），哪些功能在选择时最好地结合在一起，由于其底层的相互依赖的结构。实验结果表明，该方法在保持相似运行时间和计算复杂性的同时，性能优于现有的特征选择方法。
2016-12-02 cs.LG
A Supervised Feature Selection Method For Mixed-Type Data using Density-based Feature Clustering
North Carolina A&T State University（北卡罗来纳农工州立大学）
特征选择方法被广泛用于解决高维数据分类中的高计算开销和维数灾难。大多数传统的特征选择方法集中于处理同质特征，而现实世界的数据集通常具有连续和离散特征的混合。最近的一些混合类型的特征选择研究只选择与类标签相关性高的特征，而忽略了特征之间的冗余。确定适当的特征子集也是一个挑战。本文提出了一种基于密度特征聚类的有监督特征选择方法（SFSDFC），用于混合类型数据的特征选择。SFSDFC使用一种新的基于密度的聚类方法将特征空间分解为一组不相交的特征聚类。然后，采用有效的特征选择策略从这些特征簇中获得冗余度最小的重要特征子集。使用13个真实世界的基准数据集进行了广泛的实验以及与5种最先进的方法的比较研究，结果证明了SFSDFC方法的有效性。
2021-11-10 cs.LG
Supervised Infinite Feature Selection
University of Guilan（桂兰大学）
在本文中，我们提出了一种新的特征选择方法，适用于无监督和监督的问题。我们建立在最近提出的无限特征选择（IFS）的方法，考虑所有大小（包括无穷大）的特征子集。我们以两种方式扩展IFS。首先，我们提出了一个有监督的版本。其次，我们提出了新的方法来形成特征邻接矩阵，在无监督的问题中表现得更好。我们广泛评估我们的方法在许多基准数据集，包括大型图像分类数据集（PASCAL VOC），并表明我们的方法优于IFS和广泛使用的“最小冗余最大相关性（mRMR）”特征选择算法。
2017-08-21 cs.LG
Automatically Redundant Features Removal for Unsupervised Feature Selection via Sparse Feature Graph
Stony Brook University（石溪大学）；General Electric Global Research（通用电气全球研究中心）
高维数据中存在的冗余特征往往会影响学习和挖掘算法的性能。如何检测和去除它们是机器学习和数据采掘研究中的一个重要研究课题。在本文中，我们提出了一个基于图的方法来自动发现和删除这些冗余的功能，高维数据。在基于稀疏学习的无监督特征选择框架的基础上，引入稀疏特征图（SFG）来描述特征间的冗余，揭示特征组间的组冗余。利用SFG，我们可以将整个特征分成不同的组，并通过去除检测到的冗余特征来改善数据的内在结构。通过精确的数据结构，可以获得质量指标向量，从而提高现有无监督特征选择算法如多聚类特征选择（MCFS）的学习性能。我们在基准数据集上的实验结果表明，所提出的SFG和特征冗余去除算法可以提高无监督特征选择算法的性能一致。
2017-06-30 cs.LG
Performance analysis of unsupervised feature selection methods
Periyar University（佩里亚尔大学）
特征选择（FS）是试图选择更多信息特征的过程。在某些情况下，过多的冗余或不相关的特征可能会压倒主要特征的分类。特征选择可以弥补这个问题，从而提高预测精度，减少分类算法的计算开销。特征选择的主要目的是从问题域中确定最小特征子集，同时在表示原始特征时保持适当的高精度。在本文中，主成分分析（PCA），粗糙PCA，无监督快速还原（USQR）算法和经验分布排名（EDR）的方法被应用到发现的歧视性特征，这将是最适当的分类。使用标准的分类指标的方法的效率进行评估。
2013-06-06 cs.LG
Gradient-based Laplacian Feature Selection
SickKids Research Institute（病童医院研究所）
高维噪声数据的分析是跨各种研究领域的本质。特征选择技术的目的是找到相关的特征子集，可以促进分类或模式检测。传统的（有监督的）特征选择方法利用标签信息来指导相关特征子集的识别。然而，在本文中，我们考虑无监督的特征选择问题。如果没有标签信息，由于真实世界数据的噪声性质破坏了数据的内在结构，因此特别难以识别一小组相关特征。我们的基于一致性的拉普拉斯特征选择（GLFS）通过最小化拉普拉斯正则化最小二乘回归模型的方差来选择重要的特征。通过$\ell_1$松弛，GLFS可以找到与拉普拉斯流形相关的特征的稀疏子集。在模拟的三个真实世界的对象识别和两个计算生物学数据集上进行的大量实验表明，我们的方法比多个最先进的无监督特征选择方法具有强大的功能和优越的性能。此外，我们表明，GLFS选择一个更稀疏的一组更相关的功能，在监督设置优于流行的弹性网络方法。
2014-04-10 cs.LG
Fair Causal Feature Selection
Anhui University（安徽大学）；Shanxi University（山西大学）；Hefei University of Technology（合肥工业大学）
本文提出FairCFS算法，通过构建局部化因果图识别类别与敏感变量的马尔可夫毯以阻断敏感信息传递，在保持与现有方法相当准确性的同时提升特征选择的公平性。
2023-09-18 cs.LG
An Online Sparse Streaming Feature Selection Algorithm
Southwest University（西南大学）；University of Chinese Academy of Sciences（中国科学院大学）
在线流特征选择（OSFS）是一种在线进行特征选择的方法，在高维数据处理中起着重要的作用。在许多实际应用中，例如智能医疗平台，流媒体功能总是有一些缺失的数据，这对进行OSFS提出了关键挑战，即，如何建立稀疏流特征和标签之间的不确定关系。遗憾的是，现有的OSFS算法没有考虑这种不确定的关系。为了填补这一空白，我们在本文中提出了一个在线稀疏流特征选择与不确定性（OS 2FSU）算法。OS 2FSU主要包括两个部分：1）在进行特征选择之前，利用潜在因子分析对稀疏流特征中的缺失数据进行预估计; 2）在进行特征选择时，利用模糊逻辑和邻域粗糙集来消除估计的流特征与标签之间的不确定性。在实验中，OS 2FSU与五个国家的最先进的OSFS算法在六个真实的数据集进行了比较。结果表明，OS 2FSU优于其竞争对手时，在OSFS中遇到丢失的数据。
2022-08-03 cs.LG
Unsupervised Feature Selection with Adaptive Structure Learning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
特征选择的问题在过去的十年中引起了相当大的兴趣。传统的无监督方法选择能够忠实地保持数据内在结构的特征，其中内在结构是利用数据的所有输入特征来估计的。然而，当不去除冗余和噪声特征时，估计的内在结构是不可靠/不准确的。因此，我们面临着一个两难的境地：一个需要数据的真实结构来识别信息特征，一个需要信息特征来准确地估计数据的真实结构。为了解决这个问题，我们提出了一个统一的学习框架，同时进行结构学习和特征选择。该方法从特征选择的结果中自适应地学习数据结构，并重新选择信息特征以保持数据的精细结构。通过利用这两个基本任务之间的相互作用，我们能够捕获准确的结构并选择更多信息的特征。在许多基准数据集上的实验结果表明，该方法优于许多最先进的无监督特征选择方法。
2015-04-03 cs.LG
Towards Ultrahigh Dimensional Feature Selection for Big Data
Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）；University of California（加利福尼亚大学）
本文提出了一种新的自适应特征缩放方案，用于大数据上的超高维特征选择。为了有效地解决这个问题，我们首先将其转化为一个凸半无限规划（SIP）问题，然后提出了一个有效的\emph{feature generating paradigm}。与传统的基于梯度的方法进行优化的所有输入功能相比，所提出的方法迭代激活一组功能，并解决了一系列的多核学习（MKL）子问题的规模大大减少。为了进一步加快训练速度，我们建议通过改进的加速邻近梯度方法以原始形式解决MKL子问题。由于这种优化方案，一些有效的缓存技术也被开发出来。该特征生成范式能够保证解在温和的条件下全局收敛，并获得较低的特征选择偏差。此外，该方法可以解决两个具有挑战性的任务，特征选择：1）基于组的特征选择与复杂的结构和2）非线性特征选择与显式特征映射。在包含数千万数据点的$O(10^{14})$特征的合成数据集和真实数据集上进行的综合实验表明，该方法在泛化性能和训练效率方面优于现有的特征选择方法。
2019-12-15 cs.LG
Feature Selection via Maximizing Distances between Class Conditional Distributions
本文提出基于积分概率度量的特征选择框架，通过最大化类条件分布间距离直接挖掘判别信息，并在多个真实数据集上验证其在分类精度和鲁棒性上优于现有方法。
2024-01-15 cs.LG
Graph-based Extreme Feature Selection for Multi-class Classification Tasks
Tel-Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）
当处理高维数据集时，常见的预处理步骤是特征选择。基于过滤器的特征选择算法不是针对特定的分类方法而定制的，而是对每个特征与目标和任务的相关性进行排名。这项工作的重点是基于图的，过滤器特征选择方法，适用于多类分类任务。我们的目标是大幅减少所选特征的数量，以便创建原始数据的草图，为分类任务编码有价值的信息。该算法将Jeffries-Matusita距离与非线性降维方法扩散映射相结合。基于低维空间中特征的分布来执行特征消除。然后，选择具有互补分离强度非常小数量的特征。此外，低维嵌入允许可视化特征空间。实验结果提供了公共数据集，并与已知的过滤器为基础的特征选择技术。
2023-03-03 cs.LG
Feature Selection as Deep Sequential Generative Learning
Arizona State University（亚利桑那州立大学）；University of Kansas（堪萨斯大学）；NEC Laboratories America Inc（美国NEC实验室）
本研究将特征选择重构为深度序列生成学习任务，通过深度变分Transformer模型提炼特征知识、学习嵌入空间，结合效用评估器梯度指导与自回归解码生成最优特征子集，兼具有效性与通用性。
2024-03-06 cs.LG
DeepDRK: Deep Dependency Regularized Knockoff for Feature Selection
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
DeepDRK通过多源对抗攻击下的新颖公式化表述和扰动技术，平衡了FDR与功效，在合成、半合成及真实数据集上超越现有基准，尤其适用于小样本非高斯数据。
2024-11-08 cs.LG
Ensemble feature selection with clustering for analysis of high-dimensional, correlated clinical data in the search for Alzheimer's disease biomarkers
UNSW Sydney（悉尼新南威尔士大学）
医疗保健数据集通常包含高度相关的特征组，例如来自相同生物系统的特征。当将特征选择应用于这些数据集以识别最重要的特征时，由于相关特征而导致的某些多变量特征选择器中固有的偏差使得这些方法难以区分重要特征和不相关特征，并且特征选择过程的结果可能不稳定。特征选择集合，其聚合多个单独的基本特征选择器的结果，已经被研究作为稳定特征选择结果的手段，但是不解决相关特征的问题。我们提出了一个新的框架，以创建特征选择合奏从多变量特征选择器，同时考虑到相关功能组产生的偏见，使用凝聚层次聚类在预处理步骤。这些方法应用于阿尔茨海默病（AD）研究的两个真实世界数据集，AD是一种进行性神经退行性疾病，无法治愈，尚未完全了解。我们的研究结果表明，在没有聚类的模型中选择的特征的稳定性有显着改善，并且这些模型选择的特征与AD文献中的研究结果一致。
2022-07-06 cs.LG
Feature selection simultaneously preserving both class and cluster structures
Indian Statistical Institute（印度统计研究所）
针对现有特征选择难以同时兼顾分类判别与聚类结构保持的问题，提出一种基于神经网络的集成式特征选择方法，并在高光谱图像波段选择中验证其能选出对分类和聚类均有效的特征子集。
2023-07-08 cs.LG
Feature Selection Based on Wasserstein Distance
UC, Davis（加州大学戴维斯分校）
本文提出一种基于Wasserstein距离和Markov blanket的特征选择方法，通过评估特征相似性捕捉类别关系，有效降低噪声标签影响，在多数据集上表现优于传统方法。
2024-11-13 cs.LG
ControlBurn: Feature Selection by Sparse Forests
Cornell University（康奈尔大学）
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制，这降低了可解释性并使特征选择复杂化。在本文中，我们提出了ControlBurn，一个特征选择算法，使用加权LASSO为基础的特征选择方法修剪不必要的功能，从树系综，就像低强度火灾减少过度生长的植被。像线性LASSO一样，ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外，与基于迭代包装器的特征选择方法不同，该算法高效且仅需要一次训练迭代即可运行。我们表明，ControlBurn的性能大大优于特征选择方法，在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Feature Selection for Latent Factor Models
Department of Statistics, Florida State University（佛罗里达州立大学统计系）
本文提出一种基于低秩生成模型和信噪比准则的逐类特征选择方法，在理论保证和标准分类数据集上优于现有方法。
2026-10-21 cs.LG stat.AP
Genetic heterogeneity analysis using genetic algorithm and network science
针对GWAS中遗传异质性与特征交互导致易感变量难检测的问题，提出融合遗传算法、网络分析与CRS的FCSNet，并在合成及结直肠癌数据中验证有效。
2023-08-12 cs.CE cs.LG
Supervised Feature Subset Selection and Feature Ranking for Multivariate Time Series without Feature Extraction
NEC Laboratories America（美国NEC实验室）
我们介绍了多变量时间序列（MTS）分类的监督特征排序和特征子集选择算法。与大多数现有的监督/无监督MTS的特征选择算法，我们的技术不需要一个特征提取步骤，从时间序列生成一个一维的特征向量。相反，它是基于直接计算单个时间序列之间的相似性，并评估产生的聚类结构与标签的匹配程度。该技术适用于异构MTS数据，其中时间序列测量可能具有不同的采样分辨率，以及多模态数据。
2020-05-01 cs.LG stat.ML
Worse than Random: The Importance of a Baseline for Unsupervised Feature Selection -- Extended Version
University of Southern Denmark（丹麦南部大学）；New Jersey Institute of Technology（新泽西理工学院）；Oratio Technologies（Oratio技术公司）
提出使用随机特征选择作为基线，实证表明许多现有无监督特征选择方法在性能和效率上均不如随机选择，强调新方法开发中必须以此基线确保改进。
2026-10-30 cs.AI cs.LG
AutoEncoder Inspired Unsupervised Feature Selection
Peking University（北京大学）
在计算机视觉和机器学习任务等许多领域，高维数据给计算和分析带来了困难。特征选择是从观测到的特征中选择一个子集，是一种广泛使用的提高高维数据机器学习模型性能和有效性的方法。在本文中，我们提出了一种新的自动编码器特征选择（AEFS）的无监督特征选择结合自动编码器回归和组套索任务。与传统的特征选择方法相比，AEFS能够挖掘特征间的线性和非线性信息，从而选择出最重要的特征，比传统的自表示方法在无监督特征选择中只采用线性假设的情况下更加灵活。在基准数据集上的实验结果表明，该方法优于现有方法。
2018-04-09 cs.LG stat.ML
Feature Selection for Huge Data via Minipatch Learning
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
特征选择通常通过丢弃不相关或冗余的特征来提高模型的可解释性、更快的计算速度和改进的模型性能。虽然特征选择是许多广泛使用的技术中的一个得到充分研究的问题，但通常存在两个关键挑战：i）许多现有方法在具有数百万个观测值和特征的庞大数据设置中变得计算上难以处理;以及ii）所选特征的统计准确性在高噪声、高相关性设置中降低，从而阻碍可靠的模型解释。我们通过提出稳定的小补丁选择（STAMPS）和自适应STAMPS（AdaSTAMPS）来解决这些问题。这些是元算法，它们构建基本特征选择器的选择事件集合，这些基本特征选择器在数据的观察和特征的许多微小的（自适应选择的）随机子集上进行训练，我们称之为minipatches。我们的方法是通用的，可以采用各种现有的特征选择策略和机器学习技术。此外，我们提供的理论见解STAMPS和经验表明，我们的方法，特别是AdaSTAMPS，占主导地位的竞争方法的特征选择精度和计算时间。
2021-02-10 cs.LG stat.ML
Gradient Boosted Feature Selection
Microsoft Research（微软研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）；Tsinghua University（清华大学）；GraphLab
一个特征选择算法应该理想地满足四个条件：可靠地提取相关特征;能够识别非线性特征交互;与特征和维度的数量线性缩放;允许结合已知的稀疏结构。在这项工作中，我们提出了一种新的特征选择算法，梯度提升特征选择（GBFS），它满足所有这四个要求。该算法是灵活的，可扩展的，并且令人惊讶地直接实现，因为它是基于梯度提升树的修改。我们评估GBFS在几个现实世界的数据集，并表明它匹配或优于其他国家的最先进的特征选择算法。然而，它可以扩展到更大的数据集大小，并且自然地允许特定于域的辅助信息。
2019-01-13 cs.LG stat.ML
Soft Set Based Feature Selection Approach for Lung Cancer Images
肺癌是男性和女性最致命的癌症类型。特征选择在癌症分类中起着至关重要的作用。研究了基于软集理论的肺癌CT图像特征选择过程。提出了一种新的基于软集的无监督特征选择算法。利用灰度共生矩阵（GLCM）和灰度差异矩阵（GLDM）对分割后的肺部图像进行了19个特征提取。本文提出了一种基于无监督软集的快速约简算法（SSUSQR）。将该方法应用于数据集的特征选择，并与现有的基于粗糙集的无监督特征选择方法进行了比较。然后采用K-Means和SOM聚类算法对数据进行聚类。基于聚类技术的性能评估的特征选择算法的性能。实验结果表明，该方法有效地去除了冗余特征。
2012-12-21 cs.CE cs.LG
LOFS: Library of Online Streaming Feature Selection
University of South Australia（南澳大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Vermont（佛蒙特大学）
作为一个新兴的研究方向，在线流特征选择处理的是在一个特征空间中连续增加的维度，而数据实例的数量是固定的。在线流特征选择提供了一种新的、互补的算法方法来丰富在线特征选择，特别是针对大数据分析中的高维度。本文介绍了第一个在MATLAB中使用的全面的开源库，它实现了在线流特征选择的最新算法。该库旨在促进这一令人兴奋的研究方向的新算法的开发，并在新方法和现有方法之间进行比较。
2016-03-02 cs.LG stat.ML
Cost-Sensitive Feature Selection by Optimizing F-Measures
Peking University（北京大学）；University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
特征选择通过从高维特征中提取信息子集，有利于提高一般机器学习任务的性能。传统的特征选择方法通常忽略了类别不平衡的问题，因此选择的特征会偏向于大多数类别。考虑到F-测度是一种比准确度更合理的非平衡数据的性能度量，本文提出了一种有效的特征选择算法，通过优化F-测度来解决类别不平衡问题。由于F-测度优化问题可以分解为一系列代价敏感的分类问题，本文在严格的理论指导下，通过对每个类生成和分配不同的代价，研究了代价敏感的特征选择问题。在解决了一系列代价敏感的特征选择问题后，将选择与最佳F-测度相对应的特征。这样，所选特征将完全代表所有类的属性。在流行的基准测试和具有挑战性的真实数据集上的实验结果表明，代价敏感的特征选择对于不平衡数据集的重要性，验证了所提方法的有效性。
2019-04-04 cs.CV cs.LG
Feature Selection via L1-Penalized Squared-Loss Mutual Information
Tokyo Institute of Technology（东京工业大学）
特征选择是一种筛选不太重要的特征的技术。现有的有监督特征选择算法多以冗余度和相关度作为特征选择的主要标准。然而，功能交互，潜在的一个关键特征在现实世界中的问题，并没有得到太多的关注。作为一种尝试，考虑到功能的相互作用，我们提出了L1-LSMI，L1正则化为基础的算法，最大限度地提高了平方损失变量之间的互信息选择功能和输出。数值结果表明，L1-LSMI在处理冗余、检测非线性依赖和考虑特征交互方面表现良好。
2012-10-06 cs.LG stat.ML
Supervised feature selection with orthogonal regression and feature weighting
有效的特征可以提高模型的性能，从而帮助我们理解复杂数据的特征和底层结构。以往的特征选择方法通常不能保留更多的局部结构信息。为了解决上述缺陷，我们提出了一种新的监督正交最小二乘回归模型与特征加权特征选择。目标函数的优化问题可以通过广义幂迭代（GPI）和增广拉格朗日乘子（ALM）方法求解。实验结果表明，与传统的特征选择方法相比，该方法能更有效地降低特征维数，获得更好的分类结果。证明了该迭代法的收敛性。理论和实验验证了该方法的有效性和优越性。
2019-10-09 cs.LG stat.ML
FSMJ: Feature Selection with Maximum Jensen-Shannon Divergence for Text Categorization
University of Rhode Island（罗德岛大学）
在本文中，我们提出了一种新的包装器特征选择方法的基础上詹森-香农（JS）的分歧，称为最大JS-分歧的特征选择（FSMJ），文本分类。与大多数现有的特征选择方法，建议FSMJ方法是基于实值的功能，提供更多的信息比二进制值的功能，在传统的方法中使用的歧视。我们表明，FSMJ是一个贪婪的方法，当选择更多的功能时，JS发散单调增加。我们进行了几个实验，在现实生活中的数据集，与国家的最先进的文本分类的特征选择方法。FSMJ方法的优越性能证明了其有效性，并进一步表明其在数据挖掘中的广泛应用前景。
2016-06-20 cs.LG stat.ML
Feature selection algorithm based on Catastrophe model to improve the performance of regression analysis
University of California San Francisco（加州大学旧金山分校）
在本文中，我们介绍了一种新的特征选择算法，以消除不相关的或冗余的数据集的功能。在该算法中，特征的重要性基于其对突变模型的拟合。赤池信息标准值用于对数据集中的特征进行排序。该算法与著名的RELIEF特征选择算法进行了比较。乳腺癌，帕金森远程监测数据和切片局部数据集被用来评估模型。
2017-04-21 cs.LG stat.ML
Deep-gKnock: nonlinear group-feature selection with deep neural network
University of Rhode Island（罗德岛大学）；Northeastern University（东北大学）
特征选择是当代高维数据分析的核心。在各种科学问题中，自然会出现特征间的同构。已经提出了许多方法来将分组结构信息并入特征选择。然而，这些方法通常限于线性回归设置。为了放松线性约束，我们将深度神经网络（DNN）与最近的Knockoffs技术相结合，该技术在个人特征选择上下文中取得了成功。我们提出Deep-gKnock（使用Knockoffs的深度组特征选择）作为模型解释和降维的方法。Deep-gKnock通过控制逐组错误发现率（gFDR）来执行无模型组特征选择。我们的方法提高了DNN的可解释性和可重复性。在合成数据和真实数据上的实验结果表明，与现有的方法相比，我们的方法实现了更高的功率和更精确的gFDR控制。
2019-05-27 cs.LG stat.ML
Beam Search for Feature Selection
在本文中，我们提出并证明了一些一致性结果的分类模型的性能使用的一个子集的功能。此外，我们建议使用束搜索来执行特征选择，这可以被看作是向前选择的推广。我们将束搜索应用于模拟和真实世界的数据，通过评估和比较使用不同特征集的不同分类模型的性能。结果表明，束搜索可以优于前向选择，特别是当特征相关时，使得它们在联合考虑时比单独考虑时具有更大的区分力。此外，在某些情况下，分类模型可以获得相当的性能，仅使用由束搜索选择的十个特征，而不是数百个原始特征。
2022-03-08 cs.LG stat.ML
Online Sparse Streaming Feature Selection Using Adapted Classification
Southwest University（西南大学）
传统的特征选择需要在学习之前知道特征空间，而在线流特征选择（OSFS）被提出来动态地处理流特征。现有方法在不丢失数据的情况下将特征分为相关和不相关，删除不相关特征可能导致信息丢失。基于此，本文重点研究了流特征矩阵的构造和特征相关性的划分，提出了基于自适应分类的在线稀疏流特征选择算法（OS 2FS-AC）。本研究使用潜在因素分析（LFA）来预估缺失数据。此外，我们使用自适应的方法来获得阈值，将特征分为强相关，弱相关和不相关的特征，然后再划分弱相关与更多的信息。在10个真实数据集上的实验结果表明，OS 2FS-AC的性能优于现有算法。
2023-02-25 cs.AI cs.LG
Simplifying Reinforced Feature Selection via Restructured Choice Strategy of Single Agent
Northeast Normal University（东北师范大学）；University of Central Florida（中佛罗里达大学）
特征选择旨在选择特征的子集以优化下游预测任务的性能。最近，多代理增强特征选择（MARFS）已被引入到自动化特征选择，通过创建代理为每个功能选择或删除相应的功能。虽然MARFS享有自动化的选择过程中，MARFS遭受不仅在内容和维度方面的数据复杂性，但也指数增加的计算成本方面的代理。这就引出了一个新的研究问题：能否在强化学习环境下简化智能体的选择过程，从而提高特征选择的效率和成本？为了解决这个问题，我们开发了一个单一的代理人加强特征选择的方法与重组的选择策略。具体而言，重构的选择策略包括：1）我们只使用一个单一的代理来处理多个功能的选择任务，而不是使用多个代理。2)我们开发了一种扫描方法，使单个代理在每一轮扫描中做出多个选择/取消选择的决定。3)我们利用与特征的预测标签的相关性来优先化代理对多个特征的扫描顺序。4)我们提出了一种卷积自动编码算法，结合编码的索引信息的功能，以改善状态表示。5)我们设计了一个奖励计划，考虑到预测精度和特征冗余，以促进探索过程。最后，我们提出了广泛的实验结果证明所提出的方法的效率和有效性。
2020-09-19 cs.LG stat.ML
Feature Selection Based on Unique Relevant Information for Health Data
National University of Singapore（新加坡国立大学）
特征选择是在观测数据中搜索最具代表性的特征，对健康数据分析至关重要。与诸如基于PCA和自动编码器的方法的特征提取不同，特征选择保留了可解释性，这意味着所选择的特征提供关于某些健康状况的直接信息（即，标签）。因此，特征选择允许领域专家（诸如临床医生）理解由基于机器学习的系统做出的预测，以及提高他们自己的诊断技能。互信息通常用作特征选择的基础，因为它测量特征和标签之间的依赖性。在本文中，我们介绍了一种新的互信息为基础的特征选择（MIBFS）的方法称为SURI，提高功能与高独特的相关信息。我们比较SURI现有的MIBFS方法使用3种不同的分类器6公开可用的医疗保健数据集。结果表明，除了保持可解释性，SURI选择更多的相关特征子集，导致更高的分类性能。更重要的是，我们探索的互信息的公共低维健康数据集通过穷举搜索的动态。结果表明，独特的相关信息在特征选择中的重要作用，并验证了SURI背后的原则。
2018-12-02 cs.LG stat.ML
Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；University of Central Florida（中佛罗里达大学）；Arizona State University（亚利桑那州立大学）
本文将特征选择重新表述为深度可微优化任务，提出连续嵌入空间优化框架，通过编码器-评估器-解码器结构和梯度上升搜索，解决高维小样本下的泛化与性能问题。
2023-09-15 cs.AI cs.LG
Target-Focused Feature Selection Using a Bayesian Approach
University of California, Los Angeles（加州大学洛杉矶分校）
在许多数据是高维的真实世界场景中，由于与特征获取和评估特征值相关联的成本，特征的测试时间获取是一项重要的任务。通过允许特征选择方法变为目标感知，可以解决对具有极其简单的特征获取的高度置信模型的需求。我们引入了一种基于贝叶斯学习的特征选择方法，使我们能够报告特定目标的不确定性水平、假阳性率和假阴性率。此外，测量不确定性解除了对目标不可知的特征选择的限制，允许基于多个聚焦目标中的单个聚焦目标的特征获取。我们发现，获取特定目标的特征至少与小型非稀疏数据集的常见线性特征选择方法一样好，并且在面对规模更大且稀疏的真实医疗数据时超过这些方法。
2019-09-15 cs.LG stat.ML
Efficient Sparse Group Feature Selection via Nonconvex Optimization
Arizona State University（亚利桑那州立大学）；The Biodesign Institute, Arizona State University（亚利桑那州立大学生物设计研究所）；University of Minnesota（明尼苏达大学）
稀疏特征选择已被证明是有效的，在处理高维数据。虽然有前途，大多数现有的作品使用凸的方法，这可能是次优的特征选择和参数估计的准确性方面。在本文中，我们扩展了一个非凸的范例稀疏组特征选择，这是出于应用程序，需要确定底层组结构，同时执行特征选择。本文的主要贡献有两个方面：（1）在统计上，我们引入了一个非凸稀疏群特征选择模型，它可以重构Oracle估计量。因此，一致的特征选择和参数估计可以实现;（2）计算上，我们提出了一个有效的算法，适用于大规模的问题。数值结果表明，所提出的非凸方法相比，毫不逊色于它的竞争对手的合成数据和现实世界的应用，从而实现了预期的目标，提供高性能。
2013-01-18 cs.LG stat.ML
LassoLayer: Nonlinear Feature Selection by Switching One-to-one Links
Shizuoka University（静冈大学）；ST Engineering Ltd.（新科工程有限公司）；JAVIS CO., LTD.（JAVIS株式会社）
随着解决更复杂问题的需要，特征选择方法变得越来越重要。特征选择方法可以分为包装方法、过滤方法和嵌入方法。Lasso作为一种功能强大的嵌入式特征选择方法，引起了众多研究者的关注。然而，作为一种线性方法，Lasso的适用性受到限制。在这项工作中，我们提出了LassoLayer，它是一对一连接的，并通过L1优化进行训练，它可以删除不必要的单元进行预测。对于非线性特征选择，我们构建了LassoMLP：配备LassoLayer作为第一层的网络。因为我们可以在任何网络结构中插入LassoLayer，所以它可以利用神经网络的强度，适用于需要特征选择的任务。我们评估LassoMLP在特征选择回归和分类任务。LassoMLP接收的特征包括相当数量的噪声因素，这对过拟合是有害的。在使用MNIST数据集的实验中，我们确认LassoMLP优于最先进的方法。
2021-08-27 cs.CV cs.LG
Fuzzy Feature Selection with Key-based Cryptographic Transformations
University of Pretoria（比勒陀利亚大学）
针对密码学中特征选择影响加密算法安全与效率的问题，提出将模糊特征选择融入基于密钥的加密变换的方法，可低开销选安全密钥特征，助力加密算法优化与安全通信发展。
2023-06-16 cs.CR cs.LG
IGRF-RFE: A Hybrid Feature Selection Method for MLP-based Network Intrusion Detection on UNSW-NB15 Dataset
Ajou University（亚洲大学）
机器学习模型的有效性受到数据集大小和特征质量的显著影响，因为冗余和不相关的特征可以从根本上降低性能。本文提出了IGRF-RFE：一种混合的特征选择方法，任务是使用多层感知器（MLP）网络的多类网络异常。IGRF-RFE可以被认为是一种基于过滤器特征选择方法和包装器特征选择方法的特征约简技术。在我们提出的方法中，我们使用过滤器特征选择方法，这是信息增益和随机森林重要性的组合，以减少特征子集搜索空间。然后，我们应用递归特征消除（RFE）作为一个包装特征选择方法，以进一步消除冗余特征递归减少的特征子集。基于UNSW-NB 15数据集的实验结果表明，该方法在降低特征维数的同时，提高了异常检测的准确性。实验结果表明，特征维数从42降到23，多分类器的分类准确率从82.25%提高到84.24%。
2023-02-06 cs.CR cs.LG
New methods for SVM feature selection
École polytechnique（巴黎综合理工学院）；ST Microelectronics（意法半导体）
支持向量机已经成为一个流行的话题有相当长的一段时间了，随着它们的发展，需要新的特征选择方法。这项工作提出了各种方法支持向量机特征选择开发使用新的工具，如熵测量和K-中心点聚类。工作的重点是使用一类SVM的晶圆测试，与数值实现在R。
2019-05-24 cs.LG stat.ML
Mutual Information-Based Unsupervised Feature Transformation for Heterogeneous Feature Subset Selection
传统的基于互信息（MI）的特征选择（FS）方法由于特征子集和类标签之间的数据格式差异或互信息的估计方法而无法正确处理异构特征子集的选择。解决这个问题的一种方法是特征变换（FT）。在这项研究中，一种新的无监督的特征变换（UFT），它可以将非数值特征转换为数值特征的开发和测试。UFT过程是基于MI的并且独立于类标签。基于MI的FS算法，如Parzen窗口特征选择器（PWFS），最小冗余最大相关特征选择（mRMR）和归一化MI特征选择（NMIFS），都可以采用UFT对非数值特征进行预处理。与传统的FT方法不同，所提出的UFT是无偏的，而PWFS是利用其充分的优势。对大规模数据集的仿真分析表明，UFT-PWFS综合方法所选择的特征子集在分类精度上优于其他FT-FS综合方法。
2015-03-29 cs.LG stat.ML
