An Efficient Feature Selection in Classification of Audio Files
Camellia Institute of Technology（卡米利亚理工学院）；Jadavpur University（贾达普大学）
在本文中，我们专注于一个有效的特征选择方法在音频文件的分类。主要目标是特征选择和提取。我们选择了一组特征进行进一步分析，它们代表特征向量中的元素。通过提取方法，我们可以计算一个数值表示，可以使用现有的工具箱来表征音频。在这项研究中，增益比（GR）被用作特征选择措施。GR用于选择分裂属性，将元组分成不同的类。脉冲清晰度被认为是一个主观的衡量标准，它被用来计算音频文件的特征增益。应用程序中采用的分裂准则是从测试数据库中识别特定音频文件的类别或音乐流派。实验结果表明，该应用程序可以使用GR音乐流派分类取得令人满意的结果。在降维后，从音频文件的各种特征中选出最佳的三个特征，该技术可以获得90%以上的分类成功率。
2014-03-24 cs.LG
Improving Performance of a Group of Classification Algorithms Using Resampling and Feature Selection
Islamic Azad University, Tehran North Branch（伊斯兰阿扎德大学德黑兰北部分校）；Manchester University（曼彻斯特大学）
近年来，从庞大的数据集中找到有意义的模式变得越来越具有挑战性。数据挖掘者试图通过应用特征选择方法来采用创新的方法来面对这个问题。在本文中，我们提出了一种新的混合方法，在该方法中，我们使用的组合，过滤的样本域和包装器子集评估方法与遗传搜索，以减少维度的肺癌数据集，我们收到的UCI仓库的机器学习数据库。最后，我们应用一些著名的分类算法（朴素贝叶斯，逻辑斯蒂，多层感知器，最佳第一决策树和JRIP）得到的数据集，并比较我们的特征选择方法应用于该数据集之前和之后的结果和预测率。实验结果表明，五种分类算法的平均性能都有了很大的提高，分类误差也有了很大的降低。实验结果表明，该方法在性能上优于其他特征选择方法，且具有较低的代价。
2014-03-08 cs.LG
Performance analysis of unsupervised feature selection methods
Periyar University（佩里亚尔大学）
特征选择（FS）是试图选择更多信息特征的过程。在某些情况下，过多的冗余或不相关的特征可能会压倒主要特征的分类。特征选择可以弥补这个问题，从而提高预测精度，减少分类算法的计算开销。特征选择的主要目的是从问题域中确定最小特征子集，同时在表示原始特征时保持适当的高精度。在本文中，主成分分析（PCA），粗糙PCA，无监督快速还原（USQR）算法和经验分布排名（EDR）的方法被应用到发现的歧视性特征，这将是最适当的分类。使用标准的分类指标的方法的效率进行评估。
2013-06-06 cs.LG
BoMGene: Integrating Boruta-mRMR feature selection for enhanced Gene expression classification
Can Tho University（金瓯大学）
针对高维基因表达数据的特征选择需求，提出整合Boruta与mRMR的混合特征选择方法BoMGene，在25个公开数据集上验证了其在减少特征数、加快训练的同时提升分类准确率的效果。
2025-10-01 cs.LG
Feature Selection for classification of hyperspectral data by minimizing a tight bound on the VC dimension
Indian Institute of Technology Delhi（印度理工学院德里分校）
高光谱数据包含大量的特征，需要复杂的分析来提取。减少计算成本、促进信息表示和加速知识发现的一种流行方法是消除不能改进所应用的分类和分析方法的频带。特别是，执行频带消除的算法应该被设计为利用所使用的分类方法的细节。本文采用了最近提出的过滤器特征选择算法的基础上，最大限度地减少VC维上的紧界。我们已经成功地应用该算法来确定一个合理的波段子集，而无需任何用户定义的停止标准，广泛使用的高光谱图像，并证明该方法优于国家的最先进的方法，在两个稀疏的特征集以及分类的准确性。\end{abstract}
2015-09-27 cs.LG
Feature Selection for MAUC-Oriented Classification Systems
University of Science and Technology of China（中国科学技术大学）
特征选择是许多模式分类任务的重要预处理步骤。传统上，特征选择方法被设计为获得可以导致高分类精度的特征子集。然而，分类精度最近已被证明是一个不适当的性能指标的分类系统在许多情况下。相反，受试者工作特征曲线下面积（AUC）及其多类扩展MAUC已被证明是更好的替代方案。因此，分类系统设计的目标逐渐从寻求具有最大分类精度的系统转向获得具有最大AUC/MAUC的系统。以往的研究表明，传统的特征选择方法需要修改，以应付这个新的目标。这些方法通常仅限于二进制分类问题。在这项研究中，过滤器特征选择方法，即基于MAUC分解的特征选择（MDFS），提出了多类分类问题。据我们所知，MDFS是第一种专门设计用于选择特征以构建具有最大MAUC的分类系统的方法。大量的实验结果表明，MDFS的优势比几个比较特征选择方法。
2011-05-15 cs.AI cs.LG
Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms
University of British Columbia（不列颠哥伦比亚大学）
存在许多不同的机器学习算法;考虑到每个算法的超参数，总体上存在大量可能的替代方案。我们考虑的问题，同时选择一个学习算法和设置其超参数，超越以前的工作，解决这些问题的孤立。我们表明，这个问题可以通过一个完全自动化的方法来解决，利用贝叶斯优化的最新创新。具体来说，我们考虑了广泛的特征选择技术（结合3搜索和8评估方法）和WEKA中实现的所有分类方法，跨越2集成方法，10元方法，27个基础分类器，和每个分类器的超参数设置。在来自UCI存储库的21个流行数据集、KDD Cup 09、MNIST数据集的变体和CIFAR-10上，我们显示出的分类性能通常比使用标准选择/超参数优化方法要好得多。我们希望我们的方法将帮助非专家用户更有效地识别适合其应用程序的机器学习算法和超参数设置，从而提高性能。
2013-03-06 cs.LG
Feature Selection for Gender Classification in TUIK Life Satisfaction Survey
Muğla Sıtkı Koçman University（穆拉·西特基·科奇曼大学）
属性选择是数据采掘分类前的一种方法。在这项研究中，已经创建了一个新的数据集，通过使用土耳其统计研究所（TSI）生活满意度调查数据集的整体满意度表示的属性。在数据采掘应用中，使用属性选择算法通过排序搜索方法对属性进行排序。这些选定的属性进行分类测试与朴素贝叶斯和随机森林从机器学习算法。根据选择的属性的数量和分类准确率，比较特征选择算法。在这项研究中，这是旨在减少数据集的体积，最好的分类结果来选择3个属性的卡方2算法。随机森林分类算法的最佳分类率为73%。
2018-07-12 cs.LG stat.ML
On-the-Fly Joint Feature Selection and Classification
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
联合特征选择和分类在线设置是至关重要的时间敏感的决策。然而，大多数现有的方法单独对待这个耦合问题。具体而言，在线特征选择方法可以离线处理流特征或数据实例，以产生用于分类的固定特征集，而在线分类方法使用关于特征空间的全部知识对传入实例进行分类。然而，所有现有的方法利用一组特征，共同的所有数据实例，分类。相反，我们提出了一个框架来执行联合特征选择和分类的飞行，以便最大限度地减少每个数据实例评估的特征数量，并最大限度地提高分类精度。我们推导出相关的优化问题的最优解，并分析其结构。基于最优解及其性质，提出了两种算法ETANA和F-ETANA。我们在几个公共数据集上评估了所提出的算法的性能，证明了（i）所提出的算法在最先进的技术水平上的优势，以及（ii）它对广泛的应用领域的适用性，包括临床研究和自然语言处理。
2020-04-21 cs.LG stat.ML
A Novel Feature Selection and Extraction Technique for Classification
BITS Pilani KK Birla Goa Campus（贝拉理工学院皮拉尼KK比拉果阿校区）；Rutgers University（罗格斯大学）
本文提出了一种通用的特征选择和提取技术-类相关特征（CDF）.我们使用CDF来提高分类的准确性，同时通过解决维数灾难来控制计算开销。为了证明该技术的通用性，将其应用于手写数字识别和文本分类。
2014-12-26 cs.CV cs.LG
Online Sparse Streaming Feature Selection Using Adapted Classification
Southwest University（西南大学）
传统的特征选择需要在学习之前知道特征空间，而在线流特征选择（OSFS）被提出来动态地处理流特征。现有方法在不丢失数据的情况下将特征分为相关和不相关，删除不相关特征可能导致信息丢失。基于此，本文重点研究了流特征矩阵的构造和特征相关性的划分，提出了基于自适应分类的在线稀疏流特征选择算法（OS 2FS-AC）。本研究使用潜在因素分析（LFA）来预估缺失数据。此外，我们使用自适应的方法来获得阈值，将特征分为强相关，弱相关和不相关的特征，然后再划分弱相关与更多的信息。在10个真实数据集上的实验结果表明，OS 2FS-AC的性能优于现有算法。
2023-02-25 cs.AI cs.LG
A New Gene Selection Algorithm using Fuzzy-Rough Set Theory for Tumor Classification
School of Electrical and Computer Engineering, Shiraz University（设拉子大学电气与计算机工程学院）；School of Information Management, Nanjing University（南京大学信息管理学院）
在统计学和机器学习中，特征选择是选择相关属性子集以用于预测模型的过程。最近，基于粗糙集的特征选择技术，利用特征依赖性来执行选择过程，已经引起了人们的注意。在生物信息学应用中，基于基因表达的肿瘤分类用于诊断疾病的适当治疗和预后。微阵列基因表达数据中含有多余的高维特征基因和较小的训练样本。由于在这样的高维问题中，基因表达实例的精确监督分类是非常复杂的，因此选择合适的基因是肿瘤分类的关键任务。在这项研究中，我们提出了一种新的技术，基因选择使用的模糊粗糙集的可扩展性矩阵。所提出的技术考虑了具有相同和不同类别标签的实例的相似性，以改善基因选择结果，而现有技术的先前方法仅解决具有不同类别标签的实例的相似性。为了满足这一要求，我们扩展了约翰逊减少技术的模糊情况下。实验结果表明，该技术提供了更好的效率相比，国家的最先进的方法。
2020-03-26 cs.LG stat.ML
Margin-aware Fuzzy Rough Feature Selection: Bridging Uncertainty Characterization and Pattern Classification
Department of Electrical and Computer Engineering, University of Alberta（阿尔伯塔大学电气与计算机工程系）；Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）；School of Computer, Jiangsu University of Science and Technology（江苏科技大学计算机学院）；School of Artificial Intelligence and Computer Science, Nantong University（南通大学人工智能与计算机科学学院）
针对现有模糊粗糙特征选择仅关注降低不确定性却未必提升分类性能的问题，提出同时考虑标签类紧致性与分离性的MAFRFS框架，在15个公开数据集上表现优于现有6种SOTA特征选择算法。
2025-05-21 cs.AI cs.LG
Embedding Feature Selection for Large-scale Hierarchical Classification
George Mason University（乔治梅森大学）
大规模层次分类（HC）涉及由数千个类和数百万个训练实例组成的数据集，这些数据集具有高维特征，这带来了一些大数据挑战。特征选择是解决大规模HC问题的一种有效策略。它加快了训练过程，减少了预测时间，并通过压缩学习模型权重向量的总大小来最大限度地减少内存需求。大多数研究也表明，特征选择是称职的，并成功地提高分类精度，通过删除不相关的功能。在这项工作中，我们研究了各种基于过滤器的特征选择方法降维，以解决大规模HC问题。我们对具有不同特征，类别和实例分布的文本和图像数据集进行的实验评估显示，在大规模数据集上的速度提高了3倍，存储学习模型的权重向量的内存需求减少了45%，而分类精度没有任何显着损失（某些数据集的改进）。源代码：https://cs.gmu.edu/~mlbio/featureselection.
2017-06-06 cs.LG stat.ML
Causal Feature Selection with Dimension Reduction for Interpretable Text Classification
Temple University（天普大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
与类别标签相关但不直接导致类别标签的文本特征有时对预测有用，但它们可能没有洞察力。作为传统的基于相关性的特征选择的替代方案，因果推理可以揭示文本特征和标签之间更有原则、更有意义的关系。为了帮助研究人员深入了解文本数据，例如社会科学应用，在本文中，我们研究了一类基于匹配的因果推理方法的文本特征选择。文档分类中使用的特征通常是高维的，然而现有的因果特征选择方法使用倾向分数匹配（PSM），这在高维空间中是无效的。本文提出了一种新的因果特征选择框架，将降维与因果推理相结合，改进了文本特征选择。在合成数据和真实数据上的实验证明了我们的方法在提高分类和增强可解释性方面的潜力。
2020-10-09 cs.CL cs.IR cs.LG
Probabilistic Feature Selection and Classification Vector Machine
University of Science and Technology of China（中国科学技术大学）；University of Amsterdam（阿姆斯特丹大学）
稀疏贝叶斯学习是一种最先进的监督学习算法，它可以从输入数据中选择相关样本的子集，并进行可靠的概率预测。然而，在高维数据与不相关的功能，传统的稀疏贝叶斯分类器的性能下降和效率低，无法消除不相关的功能。为了解决这个问题，我们提出了一种新的稀疏贝叶斯嵌入式特征选择方法，采用截断高斯分布作为样本和特征先验。所提出的方法，称为概率特征选择和分类向量机（PFCVMLP），能够同时选择相关的特征和样本的分类任务。为了得到解析解，拉普拉斯近似被用来计算近似后验和边缘似然。最后，参数和超参数优化的第二类最大似然方法。在三个数据集上的实验从两个方面验证了PFCVMLP的性能：分类性能和特征选择的有效性。最后，我们分析了PFCVMLP的泛化性能，并给出了PFCVMLP的泛化误差界。通过收紧边界，证明了特征选择的重要性。
2018-06-13 cs.LG stat.ML
Extreme Binary Classification: Extreme Value Theory for Extreme Constraint on False Negative
Tampere university（坦佩雷大学）
本文提出极端二分类问题，要求假阴性率随正例数趋于零，基于极值理论设计阈值自适应与置换检验特征选择，在四个真实数据集上优于现有方法，并展示了可解释性。
2026-10-08 cs.LG stat.AP stat.ME
BOLIMES: Boruta and LIME optiMized fEature Selection for Gene Expression Classification
Can Tho University（芹苴大学）
针对基因表达分类中的高维与过拟合问题，提出BOLIMES算法，融合Boruta过滤与LIME排序，通过迭代评估确定最优特征子集，兼顾降维与高分类性能。
2025-02-26 cs.AI cs.LG
Improving the performance of the ripper in insurance risk classification : A comparitive study using feature selection
University of Johannesburg（约翰内斯堡大学）；Council for Scientific and Industrial Research (CSIR)（科学与工业研究理事会（CSIR））
Ripper算法旨在为具有许多特征的大型数据集生成规则集。然而，它表明，该算法的斗争与分类性能的缺失数据的存在。当数据质量由于丢失数据的增加而恶化时，该算法很难对实例进行分类。在本文中，特征选择技术被用来帮助提高Ripper模型的分类性能。主成分分析和证据自动相关性判定技术被用来提高性能。进行比较，看看哪种技术有助于算法提高最多。使用具有完全可观察数据的训练数据集来构建模型，使用具有缺失值的测试数据集来测量准确性。结果表明，主成分分析是一种较好的特征选择方法，可以提高Ripper分类器的分类性能。
2011-08-23 cs.CE cs.LG
Enhancing Efficiency and Privacy in Memory-Based Malware Classification through Feature Selection
Old Dominion University（奥尔多明尼恩大学）；University of Memphis（孟菲斯大学）；University of Central Arkansas（中阿肯色大学）
针对恶意软件分类的效率与隐私问题，本研究采用三种特征选择方法结合多类分类器，在三层分类任务中验证了互信息特征选择加随机森林的最优效果，为相关系统优化提供参考。
2023-10-05 cs.CR cs.LG
Feature Selection and Dualities in Maximum Entropy Discrimination
MIT Media Lab（麻省理工学院媒体实验室）；MIT AI Lab（麻省理工学院人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
将特征选择简化为分类或回归方法通常具有许多优点。在本文中，我们正式特征选择，特别是从提高分类/回归精度的判别角度。特征选择方法是最近提出的最大熵判别（MED）框架的扩展。我们将MED描述为一种灵活的（贝叶斯）正则化方法，包括，例如，支持向量分类、回归和指数族模型。为了简洁起见，我们主要限制自己的线性分类/回归方法的背景下，特征选择，并证明所提出的方法确实进行了实质性的改进，在实践中。此外，我们讨论和开发各种扩展的特征选择，包括处理的问题与具体的例子，但未观察到的自由度-路线或不变。
2013-01-16 cs.LG stat.ML
A new computationally efficient algorithm to solve Feature Selection for Functional Data Classification in high-dimensional spaces
IBM Research Europe（IBM欧洲研究院）
本文提出 FSFC 方法，通过整合逻辑损失与函数主成分并采用自适应 Dual Augmented Lagrangian 算法，在高维函数数据中联合进行特征选择与分类，实验证明其在计算效率和准确率上优于现有方法，并能提升其他分类算法性能。
2024-03-05 cs.LG stat.ML
A novel embedded min-max approach for feature selection in nonlinear support vector machine classification
University of Málaga（马拉加大学）
近年来，特征选择已成为机器学习领域的一个具有挑战性的问题，如分类问题。支持向量机（SVM）是一种应用于分类任务的公知技术。在文献中已经提出了各种方法来选择SVM中最相关的特征。不幸的是，所有这些方法要么处理线性分类设置中的特征选择问题，要么提出难以在实践中实现的特设方法。相比之下，我们提出了一个嵌入式特征选择方法的基础上的最小-最大优化问题，在模型的复杂性和分类精度之间的权衡寻求。通过利用对偶理论，我们等价地重新表述了最小-最大问题，并使用非线性优化的现成软件解决了它。我们的方法的效率和实用性进行了测试，在几个基准数据集的准确性，选定的功能和可解释性的数量。
2021-01-15 cs.LG math.OC stat.ML
Orthogonal Least Squares Based Fast Feature Selection for Linear Classification
The University of Sheffield（谢菲尔德大学）
提出了一种基于正交最小二乘（OLS）的特征选择方法。基于OLS中的误差减少比（ERR）定义了一种新的平方正交相关系数（SOCC），并将其作为特征排序准则。揭示了典型相关系数、Fisher准则和SOCC之和之间的等价性，首次揭示了OLS中ERR的统计含义。它还表明，基于OLS的特征选择方法具有速度优势时，适用于贪婪搜索。该方法与基于互信息的特征选择方法和嵌入式方法进行了比较。结果表明，该方法在12种候选方法中始终排在前5位。此外，所提出的方法可以直接应用于连续的功能，而无需离散化，这是另一个显着的优势，基于互信息的方法。
2021-10-02 cs.LG stat.ML
A comparative study of feature selection methods for stress hotspot classification in materials
Carnegie Mellon University（卡内基梅隆大学）
构建机器学习模型的第一步是定义可用于优化学习的数据集的特征。在这项工作中，我们讨论的特征选择方法，可以用来建立更好的模型，以及实现模型的可解释性。我们将这些方法应用于应力热点分类问题的背景下，以确定什么样的微观结构特征可以导致应力在某些晶粒在单轴拉伸变形过程中建立。结果表明，一些功能选择技术是有偏见的，并展示了一个首选的技术，以获得物理解释的功能排名。
2018-04-19 cond-mat.mtrl-sci cs.LG stat.ML
Feature selection in functional data classification with recursive maxima hunting
Computer Science Department. Universidad Autónoma de Madrid, Spain（马德里自治大学计算机科学系）
在设计有效的自动归纳机器学习方法时，模糊性约简是关键问题之一。在这项工作中，我们引入递归最大值狩猎（RMH）的变量选择功能数据的分类问题。在这种情况下，变量选择技术是特别有吸引力的，因为它们降低了维度，便于解释，并可以提高预测模型的准确性。该方法，这是一个递归扩展的最大值狩猎（MH），执行变量选择，通过识别的相关性函数，它测量的强度的预测功能变量与类标签的相关性的最大值。在每个阶段，通过减去过程的条件期望来去除与所选变量相关联的信息。一个广泛的实证评估的结果被用来说明，在调查的问题，RMH具有可比或更高的预测精度比标准的降维技术，如PCA和PLS，和国家的最先进的功能数据的特征选择方法，如最大狩猎。
2018-06-07 cs.LG stat.ML
Beam Search for Feature Selection
在本文中，我们提出并证明了一些一致性结果的分类模型的性能使用的一个子集的功能。此外，我们建议使用束搜索来执行特征选择，这可以被看作是向前选择的推广。我们将束搜索应用于模拟和真实世界的数据，通过评估和比较使用不同特征集的不同分类模型的性能。结果表明，束搜索可以优于前向选择，特别是当特征相关时，使得它们在联合考虑时比单独考虑时具有更大的区分力。此外，在某些情况下，分类模型可以获得相当的性能，仅使用由束搜索选择的十个特征，而不是数百个原始特征。
2022-03-08 cs.LG stat.ML
Investigating Classification Techniques with Feature Selection For Intention Mining From Twitter Feed
De Montfort University（德蒙福特大学）
在过去的十年中，社交网络成为最流行的通信和交互媒介。例如，微型博客服务Twitter拥有2亿多注册用户，每天交换6 500多万条帖子。用户通过这些推文表达他们的想法，想法，甚至他们的意图。大多数推文都是非正式的，而且经常使用俚语，其中包含拼写错误和缩写词。本文研究了基于文本挖掘技术从Twitter提要中提取用户意图的特征选择问题。它首先介绍了我们用来从提取的Twitter提要构建自己的数据集的方法。在此之后，我们提出了两种技术的特征选择，然后分类。在第一种技术中，我们使用信息增益作为一个阶段的特征选择，其次是监督分类算法。在第二种技术中，我们使用了一种混合的方法，基于前向特征选择算法，其中两个特征选择技术采用其次是分类算法。我们研究这两种技术与四个分类算法。我们使用自己的数据集进行评估，并严格审查结果。
2020-01-22 cs.AI cs.IR cs.LG
Feature Selection for Classification with QAOA
Politecnico di Milano（米兰理工大学）
特征选择在机器学习中具有重要的意义，它可以用来降低分类、排序和预测问题的维数。去除冗余和噪声特征可以提高训练模型的准确性和可扩展性。然而，特征选择是一个计算上昂贵的任务，解决方案空间，组合增长。在这项工作中，我们特别考虑了二次特征选择问题，可以解决的量子近似优化算法（QAOA），已经在组合优化。首先，我们表示的特征选择问题的QUBO制定，然后映射到一个伊辛自旋哈密顿。然后，我们应用QAOA的目标是找到这个哈密顿量的基态，这对应于功能的最佳选择。在我们的实验中，我们考虑了7个不同的真实世界数据集，维度高达21，并在量子模拟器和7量子位IBM（ibm-perth）量子计算机上运行QAOA。我们使用一组选定的功能训练的分类模型，并评估其准确性。我们的分析表明，这是可能的，以解决特征选择问题与QAOA和目前可用的量子器件可以有效地使用。未来的研究可以测试更广泛的分类模型，并通过探索其经典步骤的性能更好的优化器来提高QAOA的有效性。
2022-11-05 cs.IR cs.LG quant-ph
An Efficient and Accurate Rough Set for Feature Selection, Classification and Knowledge Representation
Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Telecommunications and Posts（重庆邮电大学计算智能重庆市重点实验室）；National Engineering Laboratory for Algorithm and Analysis Technologiy on Big Data, Xi’an Jiaotong University（西安交通大学大数据算法与分析技术国家工程实验室）；University of California Riverside（加州大学河滨分校）
本文提出了一种基于粗糙集的强数据采掘方法，该方法可以同时实现特征选择、分类和知识表示。粗糙集具有良好的可解释性，是特征选择的一种常用方法。但效率低、精度低是制约其应用的主要问题。本文针对粗糙集理论在处理噪声属性时存在的过拟合问题，提出了一种属性的鲁棒性度量--相对重要性，并提出了“粗糙概念树”的概念，用于知识表示和分类。在公共基准数据集上的实验结果表明，该框架比七种流行或最先进的特征选择方法具有更高的准确率.
2022-01-12 cs.AI cs.DB cs.LG
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes（特鲁瓦理工大学夏尔·德洛纳研究所）；Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute（布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所）；Universidad Tecnologica Nacional Buenos Aires（布宜诺斯艾利斯国立理工大学）
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估，如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中，我们提出了一种基于多核学习的特征选择方法，该方法可以减少基因子集和自定义内核，从而在用于支持向量分类时提高分类性能。在特征选择过程中，该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题，从而执行新的潜在正则化。与其他有监督的特征选择方法相比，当用所提出的方法选择的特征训练分类器时，通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Texture Selection for Automatic Music Genre Classification
Federal University of Technology – Paraná（巴拉那联邦理工大学）；University of Campinas（坎皮纳斯大学）
音乐流派分类是将与流派相关的标签与数字化音乐曲目相关联的问题。它在商业和个人音乐收藏的组织中有应用。通常，音乐曲目被描述为一组音色灵感的声音纹理。在浅学习系统中，每个音轨的声音纹理总数通常太高，纹理下采样是必要的，以使训练易于处理。虽然以前的工作已经解决了这个线性下采样，没有广泛的工作已经完成，以评估如何纹理选择的好处流派分类的背景下，袋的帧轨道描述。在本文中，我们评估的影响，帧选择自动音乐流派分类在一袋帧的情况下。我们还提出了一种新的纹理选择器的基础上K-Means旨在确定不同的声音纹理在每个轨道。我们评估了纹理选择在不同的数据集，四个不同的功能集，以及它的关系，一个单变量特征选择策略。结果表明，帧选择导致显着改善的单一向量基线的数据集组成的全长轨道，无论功能集。结果还表明，K-Means纹理选择器在基线上实现了显着的改进，与常用的线性下采样相比，每个轨道使用更少的纹理。结果还表明，纹理选择是互补的特征选择策略评估。我们的定性分析表明，类内的纹理多样性有利于模型的泛化。我们的分析表明，选择特定的音频摘录可以提高分类性能，它可以自动完成。
2019-05-28 cs.IR cs.LG cs.SD
Review on Feature Selection Techniques and the Impact of SVM for Cancer Classification using Gene Expression Profile
Dr. M.G.R University（Dr. M.G.R大学）
DNA微阵列技术使生物学研究方法现代化，科学家现在可以在一个实验中同时测量数千个基因的表达水平。基因表达谱在分子水平上代表了细胞的状态，作为医学诊断工具具有巨大的潜力。但与涉及的基因数量相比，可用的训练数据集通常具有相当小的分类样本大小。这些训练数据限制对某些分类方法构成了挑战。特征选择技术可以有效地去除不需要的噪声和冗余基因，从而提取出影响分类精度的标记基因。本文综述了基于微阵列数据的肿瘤分类中的特征选择技术，以及支持向量机在肿瘤分类中的优势地位。
2011-09-06 cs.CE cs.ET cs.LG
Feature and Variable Selection in Classification
机器学习算法可用的特征和变量形式的信息量不断增加。这可能导致分类器倾向于在高维中过拟合，高维模型不适合于可解释的结果，并且在高维数据集上运行所需的CPU和存储器资源严重限制了方法的应用。变量和特征选择旨在通过找到以某种方式捕获所提供的最佳信息的特征子集来补救这一点。在本文中，我们提出了一般方法，并强调了一些具体的方法。
2014-02-10 cs.AI cs.LG stat.ML
On Riemannian Approach for Constrained Optimization Model in Extreme Classification Problems
Internation Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
我们提出了一种新的黎曼方法来解决极端多标签分类问题，利用稀疏低维局部嵌入模型的几何结构。将约束最优化问题表示为矩阵流形上的最优化问题，并采用黎曼最优化方法求解。该方法在几个真实世界的大规模多标签数据集上进行了测试，并通过数值实验证明了其有效性。数值实验表明，该方法是最快的训练和最小的嵌入式方法中的模型大小。本文还简要介绍了所提出的黎曼最优化方法的收敛性证明。
2021-09-30 cs.LG cs.NA math.NA
On the utility of power spectral techniques with feature selection techniques for effective mental task classification in noninvasive BCI
Jawaharlal Nehru University（尼赫鲁大学）；University of Essex（埃塞克斯大学）；Imperial College London（伦敦帝国理工学院）；Nantong University（南通大学）；University of Technology Sydney（悉尼科技大学）
在本文中，分类的心理任务根脑机接口（BCI）正在调查，因为这些是一个主导领域的调查在BCI和最感兴趣的，因为这些系统可以增强生活的人有严重的残疾。BCI模型的性能主要取决于通过多个通道获得的特征向量的大小。在心理任务分类的情况下，训练样本对特征的可用性是最小的。通常，特征选择通过去除无关和多余的特征来提高心理任务的分类率。本文提出了一种选择相关和非冗余的光谱特征用于心理任务分类的方法。这可以通过使用四个非常已知的多变量特征选择方法来完成，即Bhattacharya距离，散布矩阵比率，线性回归和最小冗余度和最大相关性。本文还对心理任务分类的多变量和单变量特征选择进行了比较分析。在应用上述方法后，研究结果表明，在心理任务分类的学习模型的性能显着改善。此外，所提出的方法的有效性得到认可，通过执行一个强大的排名算法和弗里德曼的统计测试，找到最佳的组合，并比较不同的组合的功率谱密度和特征选择方法。
2021-11-16 cs.HC cs.LG eess.SP
MOANOFS: Multi-Objective Automated Negotiation based Online Feature Selection System for Big Data Classification
REsearch Groups in Intelligent Machines（智能机器研究组）；University of Sfax（斯法克斯大学）；ENIS（斯法克斯国立工程师学院）
特征选择在学习和分类任务中起着重要的作用。FS的目的是选择相关的和非冗余的功能。由于实际应用中特征数量巨大，采用批量学习技术的FS方法无法解决大数据问题，特别是当数据顺序到达时。在本文中，我们提出了一个在线特征选择系统，解决了这个问题。更具体地说，我们把在线监督的二进制分类的特征选择的问题作为一个决策问题。这个问题的哲学视野导致两个重要领域之间的杂交：特征选择使用在线学习技术（OFS）和自动协商（AN）。提出的OFS系统称为MOANOFS（多目标自动协商基于在线特征选择）使用两个层次的决策。在第一级中，从n个学习者（或OFS方法）中，我们决定哪些是k个可信的学习者（具有高置信度或信任值）。这些选出的k学习者将参加第二级。在这个层次上，我们整合我们提出的多边自动协商的OFS（MANOFS）方法，以决定最终哪个是最好的解决方案或相关功能。我们表明，MOANOFS系统是适用于不同的领域成功地实现了高精度与几个现实世界的应用。索引术语：特征选择、在线学习、多目标自动协商、信任、分类、大数据。
2019-06-18 cs.AI cs.CV cs.LG
Towards Feature Selection for Ranking and Classification Exploiting Quantum Annealers
Politecnico di Milano（米兰理工大学）；ContentWise；Università degli Studi di Padova（帕多瓦大学）
特征选择是许多排序、分类或预测任务中的常见步骤，并且用于许多目的。通过去除冗余或噪声特征，可以提高排名或分类的准确性，并且可以降低后续学习步骤的计算成本。然而，特征选择本身可能是计算上昂贵的过程。虽然几十年来量子计算仅限于理论算法论文，但现在量子计算正成为解决现实问题的可行工具，特别是基于量子退火范式的专用求解器。本文旨在探索使用当前可用的量子计算架构来解决一些用于排序和分类的二次特征选择算法的可行性。实验分析包括15个最先进的数据集。量子计算硬件获得的有效性与经典求解器相当，这表明量子计算机现在足够可靠，可以解决有趣的问题。在可扩展性方面，当前一代量子计算机能够提供比某些经典算法有限的加速，并且混合量子-经典策略对于超过一千个特征的问题显示出较低的计算成本。
2022-05-09 cs.IR cs.LG quant-ph
Gene selection for cancer classification using a hybrid of univariate and multivariate feature selection methods
Institute of Molecular and Cell Biology（分子与细胞生物学研究所）；National University of Singapore（新加坡国立大学）
基于微阵列数据的癌症分类基因选择的各种方法可以在文献中找到，并且它们可以分为两类：单变量方法和多变量方法。单变量方法将数据中的每个基因与其他基因隔离开来。他们测量特定基因对分类的贡献，而不考虑其他基因的存在。相比之下，多变量方法通过考虑数据中的其他基因来测量基因对分类的相对贡献。多变量方法通常选择较少的基因。然而，多变量方法的选择过程可能对不相关基因、表达中的噪声和训练数据中的离群值的存在敏感。同时，多变量方法的计算成本很高。为了克服这两种方法的缺点，我们提出了一种混合的方法来获得基因集是小的和高度区分。我们设计我们的混合方法从单变量最大似然法（LIK）和多变量递归特征消除方法（RFE）。我们分析了这些方法的特性，并系统地测试了我们提出的方法在两个癌症微阵列数据集上的有效性。我们在白血病数据集和一个小的圆形蓝细胞肿瘤数据集上的实验证明了我们的混合方法的有效性。它能够发现由比文献中报道的更少的基因组成的集合，同时实现相同或更好的预测精度。
2015-06-05 cs.CE cs.LG q-bio.QM
Classification with Extreme Learning Machine and Ensemble Algorithms Over Randomly Partitioned Data
TÜBİTAK BİLGEM（土耳其科学技术研究委员会信息与信息安全高级研究中心）
在这个大数据时代，基于机器学习的数据采掘方法被广泛用于检查大规模数据集。从这些类型的数据集导出适用的预测建模是一个具有挑战性的障碍，因为它们的高度复杂性。随着数据可用性水平的提高，数据集的自动分类已成为一项关键而复杂的功能。本文探讨了应用基于MapReduce的分布式AdaBoosting的极限学习机（ELM）来构建可靠的分类模型预测包的能力。因此，（i）构建数据集集合;（ii）使用ELM算法来构建弱分类模型;以及（iii）从一组弱分类模型构建强分类模型。该训练模型被应用于公开的知识发现和数据采掘数据集。
2015-04-12 cs.LG
Enhancing Classification Performance via Reinforcement Learning for Feature Selection
本研究针对分类模型性能提升问题，采用Q-learning、SARSA两种强化学习算法进行特征选择，在BCCDS数据集结合三种归一化方法测试，最高准确率达88%，验证了强化学习特征选择的有效性。
2024-03-09 cs.LG
Extreme-SAX: Extreme Points Based Symbolic Representation for Time Series Classification
Coventry University（考文垂大学）
时间序列分类是数据采掘中的一个重要问题，在不同的领域有着广泛的应用。由于时间序列数据通常是高维的，降维技术已被提出作为一种有效的方法来降低其维数。时间序列数据最流行的降维技术之一是符号聚集近似（SAX），它受到文本挖掘和生物信息学算法的启发。SAX简单而高效，因为它使用预先计算的距离。SAX的缺点是它不能准确地表示时间序列中的重要点。在本文中，我们提出了Extreme-SAX（E-SAX），它只使用每个段的极值点来表示时间序列。E-SAX具有与原始SAX完全相同的简单性和效率，但它在时间序列分类方面比原始SAX提供了更好的结果，正如我们在各种时间序列数据集上进行的广泛实验所示。
2020-10-02 cs.LG
Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks
Rice University（莱斯大学）
联邦学习使许多本地设备能够联合训练深度学习模型，而无需共享本地数据。目前，大多数联邦训练方案通过平均局部模型的参数来学习全局模型。然而，这些训练方案中的大多数遭受高的通信成本导致的传输全部本地模型参数。此外，由于不同设备上的类不平衡的非iid数据，直接平均模型参数会导致显著的性能下降。特别是对于涉及极端分类的现实生活中的联邦学习任务，（1）通信成为主要瓶颈，因为模型大小与输出类的数量成比例地增加;（2）极端分类（例如用户推荐）通常具有极不平衡的类和不同设备上的异构数据。为了克服这个问题，我们提出了联邦多标签哈希（FedMLH），它利用标签散列来同时减小模型大小（最多减少3.40倍），包括通信费用（最多减少18.75倍），并实现了更高的准确性（相对精度提高高达35.5%）和更快的收敛速度（最多增加5.5倍），与联邦平均算法相比，在联邦极端分类任务上免费使用。
2021-10-23 cs.LG
Extreme Entropy Machines: Robust information theoretic classification
Jagiellonian University（雅盖隆大学）
大多数现有的分类方法的目的是最大限度地减少经验风险（通过一些简单的基于点的误差与损失函数测量）与添加正则化。我们建议通过研究熵测度作为分类模型目标函数的适用性，以更多信息理论的方式来处理这个问题。我们专注于二次Renyi熵和连接Cauchy-Schwarz发散，导致极端熵机（EEM）的建设。本文的主要贡献是提出了一个模型的基础上的信息理论的概念，这一方面显示了新的，熵的角度对已知的线性分类器，另一方面导致建设一个非常强大的方法competitive与国家的最先进的非信息理论的（包括支持向量机和极端学习机）。对从UCI存储库中的小问题到大问题（成千上万个样本的数百个）的大量问题的评估表明，EEM在现实生活中的问题中具有广泛的适用性，并且具有很好的扩展性。
2015-01-21 cs.LG
Review of Extreme Multilabel Classification
CSTAR, IIIT, Hyderabad, India（印度海得拉巴IIIT计算机科学与应用研究实验室）
本文综述了机器学习领域的极端多标签分类（XMLC）任务，梳理了其标签规模大、头尾标签分布不均等核心问题，总结了嵌入方法等多种技术路线及对应的评价指标。
2025-05-15 cs.LG
XMix: Combating Extremely Noisy Labels via Local Smoothness in Self-Supervised Feature Space
McMaster University（麦克马斯特大学）；École de Technologie Supérieure（高等技术学院）
针对监督学习中噪声标签问题，提出XMix框架，利用自监督特征空间的局部平滑性，估计噪声率，识别干净样本并平衡类别选择，生成可靠伪标签，在极端噪声环境下性能优于现有方法。
2026-07-28 cs.LG
Scalable Classifier-Agnostic Channel Selection for Multivariate Time Series Classification
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学）
准确性是当前时间序列分类工作的一个重点。然而，在许多应用程序中，速度和数据减少同样重要，特别是当数据规模和存储需求迅速增加时。目前的MTSC算法需要数百个计算小时来完成训练和预测。这是由于多变量时间序列数据的性质，它随着时间序列的数量、长度和通道的数量而增长。在许多应用中，并不是所有的通道是有用的分类任务，因此，我们需要的方法，可以有效地选择有用的通道，从而节省计算资源。我们提出并评估两种方法进行信道选择。我们的技术的工作原理是通过一个原型时间序列来表示每个类，并根据类之间的原型距离进行通道选择。主要的假设是，有用的通道可以更好地区分类;因此，类原型之间的距离越大的通道越有用。在UEA多变量时间序列分类（MTSC）基准测试中，我们证明了这些技术在相似的分类精度水平下实现了显着的数据减少和分类器加速。信道选择作为训练最先进的MTSC算法之前的预处理步骤，并节省约70%的计算时间和数据存储，保持精度。此外，我们的方法甚至使有效的分类器，如火箭，实现更好的准确性比不使用通道选择或前向通道选择。为了进一步研究我们的技术的影响，我们提出了对具有100多个通道的合成多变量时间序列数据集进行分类的实验，以及对具有50个通道的数据集进行的真实案例研究。我们的通道选择方法导致显着的数据减少与保存或提高精度。
2022-12-05 cs.LG
Classification with Boosting of Extreme Learning Machine Over Arbitrarily Partitioned Data
TÜBİTAK BİLGEM, Cyber Security Institute（土耳其科学技术研究理事会 信息与信息安全研究中心 网络安全研究所）
在大数据时代，基于机器学习的计算智能方法被广泛用于分析大规模数据集。从这些类型的数据集中提取有用的预测模型是一个具有挑战性的问题，因为它们的高度复杂性。分析可用于获取业务价值的大量流数据是另一个需要解决的复杂问题。随着数据可用性（\textit{i.e. Big Data}）水平的提高，对它们的自动分类已成为一项重要而复杂的任务。因此，我们探索了应用基于MapReduce的分布式AdaBoosting的极限学习机（ELM）来构建分类模型的预测包的能力。因此，（i）创建数据集集合;（ii）使用ELM算法来构建弱学习器（分类器函数）;以及（iii）从一组弱学习器构建强学习器。我们将此训练模型应用于基准知识发现和数据采掘数据集。
2016-02-09 cs.LG
Naive Bayes Classification for Subset Selection
ISAE-SUPAERO - Institut Supérieur de l’Aéronautique et de l’Espace（法国高等航空航天学院）
本文重点讨论如何在一个较大的集合中自动选择一个子集。我们介绍了一种方法的推理合奏的离散值，朴素贝叶斯假设的基础上。我们的动机源于实际用例，其中希望从一组观察到的特征中预测一组无序的（可能相互依赖的）值。这个问题可以在多标签分类（MLC）的上下文中考虑，其中这些值被视为与连续或离散特征相关联的标签。我们介绍了\nbx算法，朴素贝叶斯分类到多标签域的扩展，讨论其属性和评估我们的方法在现实世界中的问题。
2017-07-19 cs.LG
Cluster Representatives Selection in Non-Metric Spaces for Nearest Prototype Classification
Cisco Systems（思科系统公司）；Czech Technical University in Prague（布拉格捷克理工大学）
最近的原型分类是一个计算密集度较低的替代$k$ -NN方法，特别是当考虑大数据集。在度量空间中，质心通常被用作表示整个簇的原型。在非度量空间中选择集群原型更具挑战性，因为计算质心的想法并不直接适用。在本文中，我们提出了CRS，一种新的方法，用于选择一个小而有代表性的对象子集作为集群原型。通过利用由NN-下降算法创建的每个聚类的相似性图表示来实现代表的存储器和计算高效的选择。CRS可以用于任意度量或非度量空间，因为基于图的方法，它只需要一个成对的相似性度量。正如我们在实验评估中所证明的那样，我们的方法在来自不同领域的多个数据集上的表现优于最先进的技术。
2021-07-03 cs.LG
Extreme Algorithm Selection With Dyadic Feature Representation
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Department of Computer Science, Paderborn University（帕德博恩大学计算机科学系）；Paderborn University（帕德博恩大学）；Heinz Nixdorf Institute and Department of Computer Science, Paderborn University（海因茨·尼克斯多夫研究所和帕德博恩大学计算机科学系）
算法选择（AS）处理从最适合算法问题的特定实例的候选算法的固定集合中选择算法，例如，选择SAT问题的求解器。AS的基准套件通常包括由最多数十个算法组成的候选集，而在组合算法选择和超参数优化问题中，候选集的数量变得难以处理，从而阻碍学习有效的元模型，并因此需要昂贵的在线性能评估。因此，在这里，我们提出了极端算法选择（XAS）的设置，其中我们考虑数千个候选算法的固定集合，促进元学习。我们评估了最先进的AS技术的XAS设置的适用性，并提出了利用二元特征表示的方法，其中描述了问题实例和算法。我们发现后者在各种指标上都比目前的技术水平有了显著提高。
2020-10-22 cs.LG stat.ML
Decoy Selection for Protein Structure Prediction Via Extreme Gradient Boosting and Ranking
George Mason University（乔治梅森大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
从数以百万计的非天然诱饵中识别一个或多个生物活性/天然诱饵是计算结构生物学中的主要挑战之一。诱饵集合中的阳性和阴性样本（原生和非原生诱饵）的极度缺乏平衡使得问题更加复杂。共识方法在处理诱饵选择的挑战方面取得了不同的成功，尽管与聚类大诱饵集和没有显示出太多结构相似性的诱饵集相关的一些问题。最近的调查显示，基于能量消耗的诱饵选择方法的承诺。然而，缺乏泛化能力的各种测试用例仍然是这些方法的瓶颈。我们提出了一种新的诱饵选择方法，ML-Select，一个机器学习框架，利用与结构空间相关的能量景观探测通过无模板诱饵生成。所提出的方法优于聚类和基于能量排名的方法，同时始终提供更好的性能在不同的测试用例。此外，ML-Select显示出有前途的结果，即使是诱饵集组成的大多是低质量的诱饵。ML-Select是一种有效的诱饵选择方法。这项工作建议进一步研究，以寻找更有效的方法来采用机器学习框架，在无模板蛋白质结构预测中实现诱饵选择的鲁棒性能。
2020-10-03 cs.LG q-bio.BM
Cascaded Algorithm-Selection and Hyper-Parameter Optimization with Extreme-Region Upper Confidence Bound Bandit
Nanjing University（南京大学）
自动机器学习（AutoML）任务是同时选择最佳算法及其超参数。以往算法的超参数都是联合在一个单一的搜索空间中，由于超参数的很多维度与所选算法无关，不仅空间庞大而且冗余。在本文中，我们提出了一个级联的方法，算法选择和超参数优化。在超参数优化的层次上采用搜索过程，而在算法选择的层次上运行基于搜索反馈分配预算的强盗策略。由于强盗需要选择具有最大性能的算法，而不是平均性能，因此，我们提出了极值区域置信上限（ER-UCB）策略，该策略侧重于底层反馈分布的极值区域。我们从理论上证明了ER-UCB在独立反馈下有一个后悔上界$O\left(K \ln n\right)$，它和经典的UCB bandit一样有效。我们还对一个合成问题以及一组AutoML任务进行了实验。结果验证了该方法的有效性。
2019-05-31 cs.LG stat.ML
Risk-Averse Action Selection Using Extreme Value Theory Estimates of the CVaR
Concordia University（康考迪亚大学）
在各种各样的顺序决策问题中，估计罕见事件的影响以最小化风险暴露可能是重要的。一个流行的风险度量是条件风险价值（CVaR），它通常通过在给定的置信水平下对超过分位数的观测值进行平均来估计。当该置信水平非常高时，由于相应分位数以上的样本数量有限，因此该估计方法可能表现出高方差。为了缓解这个问题，极值理论可以用来推导出一个估计的CVaR，使用外推超出可用的样本。这种估计需要选择一个阈值参数才能很好地工作，这是一个困难的挑战，在极值理论文献中已经得到了广泛的研究。在本文中，我们提出了一个估计过程的CVaR，结合极值理论和最近推出的自动阈值选择方法\cite{bader2018automated}。在适当的条件下，我们使用广义Pareto分布估计尾部风险。我们比较经验，这种估计过程与常用的方法的样本平均，并显示出一些分布的性能改善。最后，我们展示了如何将估计过程应用于强化学习，将我们的方法应用于多臂强盗问题，其目标是避免灾难性风险。
2020-12-10 cs.LG stat.ML
