Feature selection in high-dimensional dataset using MapReduce
Université Libre de Bruxelles（布鲁塞尔自由大学）
本文描述了一个分布式MapReduce实现的最小冗余最大相关性算法，一个流行的特征选择方法在生物信息学和网络推理问题。所提出的方法处理高/窄和宽/短数据集。我们进一步提供了一个基于Hadoop/Spark的开源实现，并说明了它在涉及数百万观测或特征的数据集上的可扩展性。
2017-09-07 cs.DC cs.LG stat.ML
Toward better feature weighting algorithms: a focus on Relief
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
特征加权算法试图解决当今机器学习中一个非常重要的问题：为给定领域的特征搜索相关性度量。这种相关性主要用于特征选择，因为特征加权可以被视为它的泛化，但它也有助于更好地理解问题的域或在其学习过程中指导电感器。救济家庭的算法被证明是非常有效的，在这项任务。一些其他的特征加权方法进行审查，以提供一些背景，然后解释现有的不同扩展到原始算法。Relief的一个已知问题是，当存在冗余特征时，其估计的性能会下降。一个新的理论定义的冗余水平，以指导工作的扩展算法，更强大的冗余。提出了一个新的扩展，旨在提高算法的性能。一些实验被驱动来测试这个新的扩展对现有的一组人工和真实的数据集，并表示在某些情况下，它提高了权重的估计精度。
2015-09-16 cs.LG
Improving Mutual Information based Feature Selection by Boosting Unique Relevance
National University of Singapore（新加坡国立大学）
基于互信息（MI）的特征选择利用MI来评估每个特征并最终列出相关特征子集，以解决与高维数据集相关联的问题。尽管MI在特征选择中的有效性，我们注意到，许多国家的最先进的算法忽略了所谓的独特的相关性（UR）的功能，并达到一个次优的选择的特征子集，其中包含一个不可忽略的冗余功能。我们指出，问题的核心是，所有这些MIBFS算法遵循的标准最大化相关性与最小冗余（MRwMR），这并不明确的目标UR。这促使我们以提高独特相关性（BUR）为目标来增强现有的标准，从而产生一个新的标准，称为MRwMR-BUR。根据所处理的任务，MRwMR-BUR有两个变体，称为MRwMR-BUR-KSG和MRwMR-BUR-CLF，它们以不同的方式估计UR。MRwMR-BUR-KSG通过称为KSG估计器的基于最近邻的方法来估计UR，并且被设计用于三个主要任务：（i）分类性能。(ii)特征可解释性。(iii)分类器泛化。MRwMR-BUR-CLF通过基于分类器的方法估计UR。它使UR适应不同的分类器，进一步提高了MRwMR-BUR的竞争力分类性能为导向的任务。使用六个公共数据集和三个流行的分类器通过实验验证了MRwMR-BUR-KSG和MRwMR-BUR-CLF的性能。具体而言，与MRwMR相比，所提出的MRwMR-BUR-KSG在不增加算法复杂度的情况下，将测试精度提高了2% - 3%，选择的特征减少了25% - 3…
2022-12-17 cs.AI cs.LG
Review and Evaluation of Feature Selection Algorithms in Synthetic Problems
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
特征子集选择的主要目的是从特征集描述的数据集中找到属性的精简子集。特征选择算法（FSA）的任务是提供一个计算解决方案，其动机是一定的相关性定义或可靠的评估措施。在本文中，几个基本的算法进行了研究，以评估其性能在一个受控的实验方案。一个措施来评估FSA的设计，计算FSA和已知的最优解的输出之间的匹配程度。合成问题进行了广泛的实验研究，以评估的行为的算法的解决方案的准确性和大小的相关性，不相关性，冗余度和大小的数据样本的函数。受控的实验条件有利于更好地支持和有意义的结论的推导。
2011-01-12 cs.AI cs.LG
A Supervised Feature Selection Method For Mixed-Type Data using Density-based Feature Clustering
North Carolina A&T State University（北卡罗来纳农工州立大学）
特征选择方法被广泛用于解决高维数据分类中的高计算开销和维数灾难。大多数传统的特征选择方法集中于处理同质特征，而现实世界的数据集通常具有连续和离散特征的混合。最近的一些混合类型的特征选择研究只选择与类标签相关性高的特征，而忽略了特征之间的冗余。确定适当的特征子集也是一个挑战。本文提出了一种基于密度特征聚类的有监督特征选择方法（SFSDFC），用于混合类型数据的特征选择。SFSDFC使用一种新的基于密度的聚类方法将特征空间分解为一组不相交的特征聚类。然后，采用有效的特征选择策略从这些特征簇中获得冗余度最小的重要特征子集。使用13个真实世界的基准数据集进行了广泛的实验以及与5种最先进的方法的比较研究，结果证明了SFSDFC方法的有效性。
2021-11-10 cs.LG
Mutual Information-Based Unsupervised Feature Transformation for Heterogeneous Feature Subset Selection
传统的基于互信息（MI）的特征选择（FS）方法由于特征子集和类标签之间的数据格式差异或互信息的估计方法而无法正确处理异构特征子集的选择。解决这个问题的一种方法是特征变换（FT）。在这项研究中，一种新的无监督的特征变换（UFT），它可以将非数值特征转换为数值特征的开发和测试。UFT过程是基于MI的并且独立于类标签。基于MI的FS算法，如Parzen窗口特征选择器（PWFS），最小冗余最大相关特征选择（mRMR）和归一化MI特征选择（NMIFS），都可以采用UFT对非数值特征进行预处理。与传统的FT方法不同，所提出的UFT是无偏的，而PWFS是利用其充分的优势。对大规模数据集的仿真分析表明，UFT-PWFS综合方法所选择的特征子集在分类精度上优于其他FT-FS综合方法。
2015-03-29 cs.LG stat.ML
Feature Selection Based on Confidence Machine
Montana State University（蒙大拿州立大学）
在机器学习和模式识别中，特征选择一直是文献研究的热点。无监督的特征选择由于会丢失提供相关信息的标签而具有挑战性，如何定义合适的度量是特征选择的关键。提出了一种基于置信度机的无监督特征选择滤波方法。置信度机器提供了对特征可靠性的置信度估计。在特征选择的背景下，本文给出了置信度机的数学模型，该模型使所选特征的相关性最大化，冗余度最小化。我们比较我们的方法与经典的特征选择方法拉普拉斯得分，皮尔逊相关和主成分分析的基准数据集。实验结果证明了该方法的有效性和实用性。
2015-01-13 cs.LG
BORA: Bayesian Optimization for Resource Allocation
University of Milano-Bicocca（米兰比可卡大学）；OAKS s.r.l.（OAKS有限责任公司）
最优资源分配由于其作为管理云和高性能计算设施的核心问题的相关性而获得了新的兴趣。半Bandit反馈（SBF）是有效解决这一问题的参考方法。在本文中，我们提出（一）最佳资源分配的扩展到更一般的一类问题，特别是随着时间的推移，资源的可用性变化，和（ii）贝叶斯优化作为一个更有效的替代SBF。提出了三种用于资源分配的贝叶斯优化算法，即BORA算法，用于以数值向量或分布表示的分配决策。第二种选择需要考虑Wasserstein距离作为更合适的度量用于BORA算法之一。结果（i）文献中提出的原始SBF案例研究，以及（ii）实际应用（即，多渠道营销的优化）的经验证明，BORA是一个更有效的学习和优化框架比SBF。
2022-10-12 cs.AI cs.LG math.OC
Efficient Wrapper Feature Selection using Autoencoder and Model Based Elimination
Purdue University（普渡大学）
我们提出了一种计算效率高的包装特征选择方法-称为自动编码器和基于模型的消除功能，使用相关性和冗余度分数（AMBER）-使用一个单一的排名模型与自动编码器一起执行贪婪的向后消除功能。ranker模型用于优先删除对分类任务不重要的特征，而自动编码器用于优先删除相关特征。我们证明了优越的特征选择能力的AMBER 4个众所周知的数据集对应于不同的领域的应用，通过比较与其他计算效率的国家的最先进的特征选择技术的分类精度。有趣的是，我们发现用于特征选择的排名模型不一定必须与在所选特征上训练的最终分类器相同。最后，我们注意到较少数量的特征如何在某些数据集上导致更高的准确性，并假设在训练集上过度拟合排名模型有助于选择更突出的特征。
2020-01-02 cs.AI cs.LG stat.ML
Max-Margin Feature Selection
Indian Institute of Technology Delhi（印度理工学院德里分校）
许多机器学习应用，如视觉、生物学和社交网络，都处理高维数据。通常采用特征选择来选择特征的子集，这提高了泛化精度，并且降低了学习模型的计算成本。用于特征选择的标准之一是共同地最小化所选特征的冗余并最大化所选特征的相关性。在本文中，我们制定的特征选择的任务作为一个类SVM问题的空间中的特征对应的数据点和实例对应的尺寸。目标是寻找特征（支持向量）的代表性子集，该子集描述了特征（数据点）集合存在的区域的边界。这导致了一个联合优化的相关性和冗余的原则最大利润框架。此外，我们的配方使我们能够利用现有的技术，优化SVM的目标，从而在高计算效率的解决方案的任务特征选择。具体地，我们采用双坐标下降算法（Hsieh等人，2008年），最初提出的支持向量机，为我们的配方。我们使用稀疏表示来处理非常高维的数据。七个公开的基准数据集从各种领域的实验表明，我们的方法的结果在数量级更快的解决方案，即使保持相同的精度水平相比，最先进的特征选择技术。
2016-06-14 cs.CV cs.LG
Feature selection for classification with class-separability strategy and data envelopment analysis
Huazhong University of Science and Technology（华中科技大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
提出了一种基于类可分性（CS）策略和数据包络分析（DEA）的特征选择方法。为了更好地捕捉特征和类之间的关系，类标签被分成单独的变量，并且在每个类标签上显式地处理相关性和冗余性。采用超效率DEA方法，通过特征在所有类标签上的条件依赖得分对特征进行评价和排序，并将超效率得分最大的特征加入到下一次迭代的条件依赖估计中，从而迭代选择特征，得到最终选择的特征。最后，通过实验从分类精度的角度与四种现有方法进行比较，验证了该方法的有效性。实验结果验证了所提特征选择方法的可行性和优越性。
2015-02-01 cs.IT cs.LG math.IT
Feature Selection: A perspective on inter-attribute cooperation
Polytechnic School, National University of Asunción（亚松森国立大学理工学院）；Center for Research in Mathematics（数学研究中心）；Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）
本文从属性间协作视角全面综述了过滤式特征选择方法的最新进展，总结了各方法贡献，并指出了当前问题与未来研究方向。
2023-09-14 cs.AI cs.IT cs.LG
MINT: Mutual Information based Transductive Feature Selection for Genetic Trait Prediction
IBM T.J. Watson Research（IBM T.J. 沃森研究中心）；Limagrain Europe（利马格兰欧洲）
利用高密度基因分型芯片对复杂表型性状进行全基因组预测，由于其与动植物育种和遗传流行病学领域相关，因此引起了极大的关注。由于基因型的数量通常比样本的数量大得多，预测模型受到维数灾难的影响。维数灾难问题不仅影响特定基因组选择方法的计算效率，而且还可能导致性能不佳，这主要是由于标记之间的相关性。在这项工作中，我们提出了第一个直推特征选择方法的基础上MRMR（最大相关性和最小冗余）标准，我们称之为MINT。我们应用MINT遗传性状预测问题，并表明，在一般情况下，MINT是一个更好的特征选择方法比国家的最先进的归纳方法mRMR。
2013-10-07 cs.CE cs.LG
Medium-Term Load Forecasting Using Support Vector Regression, Feature Selection, and Symbiotic Organism Search Optimization
Niroo Research Institute（尼罗研究所）；State University of New York, Binghamton University（纽约州立大学宾汉姆顿大学）
准确的负荷预测一直是电力系统运行规划中不可缺少的重要组成部分。短期负荷预测（STLF）和长期负荷预测（LTLF）分别具有预测精度高和预测概率大的优点，而中期负荷预测（MTLF）由于其在电力系统运行和规划中的重要作用，如机组优化调度、用户服务规划和经济供电等方面的重要作用，受到了越来越多的关注。在这项研究中，一个混合的方法，支持向量回归（SVR）和共生生物体搜索优化（SOSO）的方法，提出了MTLF。在该模型中，支持向量回归机是预测算法的主体部分，SOSO算法被嵌入其中以优化支持向量回归机的参数。此外，在输入数据的预处理中，采用了最小冗余-最大相关特征选择算法。在EUNITE竞赛数据集上对该方法进行了测试，以证明其正确的性能。此外，它与以前的一些作品进行比较，以显示我们的方法的合格性。
2019-06-11 cs.LG cs.NE stat.ML
BoMGene: Integrating Boruta-mRMR feature selection for enhanced Gene expression classification
Can Tho University（金瓯大学）
针对高维基因表达数据的特征选择需求，提出整合Boruta与mRMR的混合特征选择方法BoMGene，在25个公开数据集上验证了其在减少特征数、加快训练的同时提升分类准确率的效果。
2025-10-01 cs.LG
Thelxinoë: Recognizing Human Emotions Using Pupillometry and Machine Learning
Rivier University（里维尔大学）；University of Massachusetts（马萨诸塞大学）
本研究提出基于瞳孔测量的VR情绪识别方法，通过提取时域、频域和时频域特征并结合mRMR特征选择与梯度提升模型，将准确率从84.9%提升至98.8%，为Thelxinoë框架中的虚拟触觉交互提供支持。
2024-03-27 cs.HC cs.LG
The mRMR variable selection method: a comparative study for functional data
变量选择方法的使用在函数数据的统计问题中特别有吸引力。选择变量的明显的一般标准是选择“最具代表性”或“最相关”的变量。然而，同样清楚的是，纯粹以关联性为导向的标准可能导致选择许多多余的变量。由Ding和Peng（2005）和Peng等人（2005）提出的mRMR（最小冗余最大相关性）过程是一种系统地执行变量选择的算法，实现了相关性和冗余之间的合理权衡。在其原始形式中，该过程基于使用所谓的互信息标准来评估相关性和冗余性。保持对功能数据问题的关注，我们在这里提出了mRMR方法的修改版本，通过用Székely等人（2007）提出的新关联度量（称为距离相关性）替换互信息来获得。我们还进行了广泛的模拟研究，包括1600个功能实验（100个功能模型$\times$ 4个样本量$\times$ 4个分类器）和3个真实数据的例子，旨在比较不同版本的mRMR方法。结果是相当确凿的，有利于新提出的替代方案。
2015-07-13 stat.ME stat.ML
Null importance: Disentangling relevance for interpretable machine learning
本文提出零重要性统一框架，区分特征重要性的多种相关性概念，连接科学问题、假设与算法，并通过公平性、基因组扰动及模拟实验验证其理论区分与实际影响。
2026-09-18 cs.LG stat.ML
A Feature Selection Method for Driver Stress Detection Using Heart Rate Variability and Breathing Rate
Xperi Corporation（Xperi公司）
本文提出一种基于最小冗余-最大相关性特征选择的心率变异性和呼吸率组合方法，结合径向基函数核支持向量机，利用皮肤电反应估计真实压力，在目标数据集上实现高准确率检测驾驶员压力。
2023-11-13 cs.CV cs.HC cs.LG
Logical Explanations for Deep Relational Machines Using Relevance Information
BITS Pilani, K.K. Birla Goa Campus（博拉理工学院（BITS Pilani）K.K.贝拉果阿校区）；TCS Research（塔塔咨询服务公司研究院）；University of New South Wales（新南威尔士大学）
我们在这篇论文中的兴趣是在由一个深神经网络作出的预测的符号解释的建设。我们将把注意力集中在深度关系机器（DRM）上，它首先由H。Lodhi）。DRM是一种深度网络，其中输入层由布尔值函数（特征）组成，这些布尔值函数（特征）根据作为域或背景知识提供的关系定义。我们的DRM不同于Lodhi提出的DRM，Lodhi使用归纳逻辑程序设计（ILP）引擎来首先选择功能（我们使用从满足逻辑相关性和非冗余性的近似约束的功能空间中随机选择）。但为什么DRM会预测它们的行为呢？回答这个问题的一种方法是LIME设置，其中为黑盒预测器提供可读代理。代理仅用于在实例空间的局部区域中对黑盒的预测进行建模。但是仅仅可读性可能还不够：为了便于理解，本地模型必须以有意义的方式使用相关概念。我们调查使用贝叶斯的方法来确定本地预测的DRM逻辑代理。我们展示：（a）DRM与我们的随机命题化方法实现了最先进的预测性能;（b）一阶逻辑中的模型可以在一个小的局部区域中近似DRM的预测;（c）专家提供的相关性信息可以发挥先验的作用，以区分单独进行预测的逻辑解释。
2018-07-02 cs.LG stat.ML
Maximum Joint Entropy and Information-Based Collaboration of Automated Learning Machines
我们正在努力开发自动化智能代理，它可以在最少的人为干预下作为学习机器进行操作和反应。为了实现这一点，智能代理被视为一个提问机，这是通过耦合推理和查询的过程，形成一个基于模型的学习单元。为了选择信息量最大的查询，智能代理需要能够计算问题的相关性。这是通过使用查询演算来实现的，查询演算与概率演算是对偶的，并且通过明确地要求上下文来扩展信息论。在这里，我们考虑两个问题问智能代理之间的相互作用，并注意到，有一个潜在的信息冗余的代理可能会选择提出的两个问题。我们表明，通过最大化问题的联合熵，同时最大化每个问题的相关性，同时最小化它们之间的互信息，信息冗余被最小化。因此，最大联合熵是基于信息的协作的重要原则，它使智能代理能够有效地一起学习。
2011-11-15 math.OC math.PR physics.comp-ph
