Dynamic Instance-Wise Classification in Correlated Feature Spaces
University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
在典型的监督机器学习设置中,对所有测试实例的预测都基于在模型训练期间发现的特征的公共子集。然而,单独使用每个测试实例信息量最大的不同特征子集不仅可以提高预测准确性,还可以提高模型的整体可解释性。同时,当许多特征不相关和/或不相关时,已知用于分类的特征选择方法是最有效的。事实上,忽略特征之间的相关性的特征选择会导致较差的分类性能。在这项工作中,贝叶斯网络被用来建模功能的依赖关系。使用依赖网络,提出了一种新的方法,顺序地选择最好的功能来评估每个测试实例,并停止选择过程中作出预测,一旦它确定没有进一步的改进,可以实现相对于分类精度。每个测试实例的最佳数量的功能来获取和最佳的分类策略。分析了最优解的理论性质,并提出了一种新的算法,利用这些性质实现了高维环境下的鲁棒性和可扩展性。所提出的方法的有效性,通用性和可扩展性说明了各种现实世界的数据集,从不同的应用领域。
2021-06-08 cs.AI cs.LG
Correlated Feature Selection for Tweet Spam Classification
Shiv Nadar University(希夫·纳达尔大学)
社交网络上垃圾短信的识别是一项非常具有挑战性的任务。像Twitter \& Facebook这样的社交媒体网站吸引了大量的用户和公司来做广告,吸引用户的个人利益。这些广告大多数时候会导致垃圾邮件,而垃圾邮件反过来又会导致糟糕的用户体验。本文的目的是对Twitter上的垃圾邮件进行分析。为了有效地对垃圾邮件进行分类,有必要首先了解垃圾邮件推文的特征以及识别垃圾邮件发送者的属性。我们提取基于推文的特征和基于用户的特征进行分析,并观察这些特征之间的相关性。这一步是必要的,因为如果我们结合高度相关的特征,我们可以减少训练时间。我们所提出的方法使用的分类模型的基础上,人工神经网络分类的推文作为垃圾邮件或非垃圾邮件的最高准确率为97.57%相比,其他四个标准的分类器,即SVM,K近邻,朴素贝叶斯,和随机森林。
2020-10-25 cs.LG cs.SI stat.ML
Analysis of ensemble feature selection for correlated high-dimensional RNA-Seq cancer data
University of Białystok(比亚韦斯托克大学);University of Warsaw(华沙大学)
发现诊断和预后的分子标志物是重要的,并积极追求在癌症研究领域。对于复杂的疾病,这个过程通常使用机器学习来执行。目前的研究比较了两种方法发现相关变量:通过应用单一的功能选择算法,与不同的算法的合奏。这些方法用于使用来自癌症基因组图谱的RNA测序谱来识别与四种癌症类型的相关辨别的变量。比较是在两个方向进行的:评估模型的预测性能和监测选定的变量的稳定性。使用四个特征选择算法,即U-检验,ReliefF,和MDFS算法的两个变体来识别最具信息量的特征。使用随机森林算法进行正常和肿瘤组织的区分。当使用U检验时,特征集的稳定性最高。不幸的是,建立在从特征选择算法的集合获得的特征集上的模型并不比建立在从单个算法获得的特征集上的模型更好。另一方面,导致最佳分类结果的特征选择器在数据集之间变化。
2020-04-28 cs.LG q-bio.GN stat.ML
Correlated Differential Privacy: Feature Selection in Machine Learning
University of Technology Sydney(悉尼科技大学);China University of Geosciences(中国地质大学);Zhongnan University of Economics and Law(中南财经政法大学);RMIT University(皇家墨尔本理工大学)
机器学习中的隐私保护是工业信息学中的一个关键问题,因为工业中用于训练的数据通常包含敏感信息。现有的差分隐私机器学习算法没有考虑数据相关性的影响,这可能导致工业应用中比预期更多的隐私泄露。例如,由于时间相关性或用户相关性,为流量监控收集的数据可能包含一些相关记录。为了填补这一空白,我们提出了一个相关性减少计划与差异私人特征选择考虑隐私损失的问题时,数据相关的机器学习任务。该方案的关键是描述数据相关性并选择特征,这导致整个数据集之间的数据相关性较小。该方案包括五个步骤,目标是管理数据相关性的程度,保护隐私,并支持预测结果的准确性。这样,所提出的特征选择方案减轻了数据相关性的影响,并且保证了学习中数据相关性的隐私问题。该方法可广泛应用于工业领域提供服务的机器学习算法中。实验结果表明,与现有的方法相比,该方法在机器学习任务下能产生更好的预测结果,且数据查询的均方误差更小。
2020-10-07 cs.CR cs.LG
Sequential Feature Selection for Efficient Landslide Segmentation from Multi-Spectral Data
School of Computer Science(计算机科学学院);Informatics Cardiff University(卡迪夫大学信息学)
本文提出一种可解释的通道选择框架,通过序列前向浮选选择法优化滑坡分割模型输入,提升效率并揭示物理特征驱动机制。
2026-06-23 cs.AI cs.LG
FREEtree: A Tree-based Approach for High Dimensional Longitudinal Data With Correlated Features
Southern University of Science and Technology(南方科技大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California Institute of Technology(加州理工学院);The University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Sichuan University(四川大学)
本文提出了一种基于树的高维纵向数据相关特征提取方法FREEtree。流行的机器学习方法,如随机森林,通常用于变量选择,当存在相关特征时表现不佳,并且不考虑随时间观察到的数据。FREEtree采用分段随机效应模型处理纵向数据。它还利用网络结构的功能,首先聚类使用加权相关网络分析,即WGCNA。然后,它在每个特征集群内进行筛选步骤,并在幸存的特征中进行选择步骤,这提供了一种相对公正的选择特征的方法。FREEtree在每个叶节点上使用主成分作为回归变量,在分裂节点上使用原始特征作为分裂变量,保持了FREEtree的可解释性,提高了计算效率。仿真结果表明,FREEtree优于其他基于树的方法在预测精度,特征选择精度,以及恢复底层结构的能力。
2020-06-17 cs.LG stat.ML
Robust Ultra-High-Dimensional Variable Selection With Correlated Structure Using Group Testing
University of Maryland Baltimore Marlene & Stewart Greenebaum Comprehensive Cancer Center(马里兰大学巴尔的摩分校马伦和斯蒂文·格林堡综合癌症中心);Case Western Reserve University(凯斯西储大学);University of Florida(佛罗里达大学)
本文提出了一种基于群体测试的鲁棒超高维变量选择方法,通过数据驱动的组内聚类和稳健统计方法,在数据污染和非正态条件下均表现出色,适用于基因组生物标志物发现。
2026-02-06 cs.LG stat.ME
Fairness-Aware Unsupervised Feature Selection
Tsinghua University(清华大学);Brandeis University(布兰迪斯大学);University of Virginia(弗吉尼亚大学)
特征选择是一种普遍的数据预处理范例,用于各种学习任务。由于获取监督信息的代价昂贵,无监督特征选择近年来引起了人们的极大兴趣。然而,现有的无监督特征选择算法没有公平性考虑,并且通过选择与受保护属性(诸如性别、种族和民族)过度关联的特征而遭受放大歧视的高风险。在本文中,我们做了初步的调查公平意识的无监督特征选择问题,并开发了一个原则性的框架,利用内核对齐找到一个子集的高质量的功能,可以最好地保留在原始特征空间中的信息,同时最低限度地与受保护的属性相关。具体而言,不同于主流的处理中去偏置方法,我们提出的框架可以被视为一个模型无关的去偏置策略,消除偏见和歧视之前,下游学习算法参与。多个真实数据集上的实验结果表明,我们的框架实现了效用最大化和公平性促进之间的良好权衡。
2021-06-04 cs.AI cs.LG
Efficient Wrapper Feature Selection using Autoencoder and Model Based Elimination
Purdue University(普渡大学)
我们提出了一种计算效率高的包装特征选择方法-称为自动编码器和基于模型的消除功能,使用相关性和冗余度分数(AMBER)-使用一个单一的排名模型与自动编码器一起执行贪婪的向后消除功能。ranker模型用于优先删除对分类任务不重要的特征,而自动编码器用于优先删除相关特征。我们证明了优越的特征选择能力的AMBER 4个众所周知的数据集对应于不同的领域的应用,通过比较与其他计算效率的国家的最先进的特征选择技术的分类精度。有趣的是,我们发现用于特征选择的排名模型不一定必须与在所选特征上训练的最终分类器相同。最后,我们注意到较少数量的特征如何在某些数据集上导致更高的准确性,并假设在训练集上过度拟合排名模型有助于选择更突出的特征。
2020-01-02 cs.AI cs.LG stat.ML
Beam Search for Feature Selection
在本文中,我们提出并证明了一些一致性结果的分类模型的性能使用的一个子集的功能。此外,我们建议使用束搜索来执行特征选择,这可以被看作是向前选择的推广。我们将束搜索应用于模拟和真实世界的数据,通过评估和比较使用不同特征集的不同分类模型的性能。结果表明,束搜索可以优于前向选择,特别是当特征相关时,使得它们在联合考虑时比单独考虑时具有更大的区分力。此外,在某些情况下,分类模型可以获得相当的性能,仅使用由束搜索选择的十个特征,而不是数百个原始特征。
2022-03-08 cs.LG stat.ML
Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University(宋卡王子大学);Khon Kaen University(孔敬大学)
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成,假设好的特征集包含与类高度相关的特征,这可以在分类精度的性能上实现。所提出的方法包括两个阶段:(i)通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及(ii)使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术:(i)基于相关性,(ii)基于一致性,(iii)ReliefF和(iv)信息增益。实验结果表明,将信息增益特征选择和基于相关性的特征选择与SVM集成相结合,比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
Fuzzy Forests For Feature Selection in High-Dimensional Survey Data: An Application to the 2020 U.S. Presidential Election
California Institute of Technology(加州理工学院)
在社会科学领域,一个越来越常见的方法论问题是高维和高度相关的数据集,不适合传统的演绎研究框架。分析2020年总统选举中的候选人选择是这个问题出现的一个领域:为了测试解释选举结果的许多理论,有必要使用2020年合作选举研究共同内容等数据,其中包含数百个高度相关的特征。我们提出的模糊森林算法,流行的随机森林集成方法的一个变体,作为一种有效的方法,以减少在这种情况下的特征空间,最小的偏差,同时也保持预测性能与常见的算法,如随机森林和logit。使用模糊森林,我们分离出候选人选择的最高相关性,并发现党派极化是推动2020年总统选举的最强因素。
2022-03-05 cs.LG stat.ML
Generalizing Gain Penalization for Feature Selection in Tree-based Models
Hamilton Institute(汉密尔顿研究所);Maynooth University(梅努斯大学)
我们开发了一种新的方法,通过在基于树的模型中的增益惩罚的特征选择。首先,我们表明,以前的方法没有执行足够的正则化,往往表现出次优的样本外的性能,特别是当相关的功能存在。相反,我们开发了一个新的增益惩罚的想法,表现出一般的局部-全局正则化基于树的模型。新方法允许在选择特定特征的重要性权重时具有更大的灵活性。我们验证了我们的方法在模拟和真实的数据,并实现作为一个流行的R包测距仪的扩展。
2020-06-12 cs.IR cs.LG stat.ML
Adjusted Measures for Feature Selection Stability for Data Sets with Similar Features
TU Dortmund University(多特蒙德工业大学)
对于具有相似特征的数据集,例如高度相关的特征,大多数现有的稳定性度量以不期望的方式表现:它们将几乎相同但具有不同标识符的特征视为不同特征。现有的调整后的稳定性措施,即考虑到功能之间的相似性的稳定性措施,有重大的理论缺陷。我们引入新的调整稳定性措施,克服这些缺点。我们将它们相互比较,并根据人工和真实的选定功能集现有的稳定性措施。基于结果,我们建议使用一种新的稳定性措施,认为高度相似的功能可交换。
2020-09-25 cs.LG stat.ML
Partial Information Decomposition for Data Interpretability and Feature Selection
University College London(伦敦大学学院)
本文提出可同时实现数据可解释性与特征选择的新范式PIDF,基于特征的三项互信息相关指标设计分析流程,经多类数据验证了其应用潜力与有效性。
2025-11-14 cs.AI cs.IT cs.LG
Causal Feature Selection with Dimension Reduction for Interpretable Text Classification
Temple University(天普大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与类别标签相关但不直接导致类别标签的文本特征有时对预测有用,但它们可能没有洞察力。作为传统的基于相关性的特征选择的替代方案,因果推理可以揭示文本特征和标签之间更有原则、更有意义的关系。为了帮助研究人员深入了解文本数据,例如社会科学应用,在本文中,我们研究了一类基于匹配的因果推理方法的文本特征选择。文档分类中使用的特征通常是高维的,然而现有的因果特征选择方法使用倾向分数匹配(PSM),这在高维空间中是无效的。本文提出了一种新的因果特征选择框架,将降维与因果推理相结合,改进了文本特征选择。在合成数据和真实数据上的实验证明了我们的方法在提高分类和增强可解释性方面的潜力。
2020-10-09 cs.CL cs.IR cs.LG
Correlated Logistic Model With Elastic Net Regularization for Multilabel Image Classification
University of Technology Sydney(悉尼科技大学);The Hong Kong Polytechnic University(香港理工大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种用于多标签图像分类的相关Logistic(CorrLog)模型。CorrLog通过显式建模标签之间的成对相关性,将传统的逻辑回归模型扩展到多标签情况。此外,我们建议使用弹性网络正则化来学习CorrLog的模型参数,这有助于利用特征选择和标签相关性的稀疏性,从而进一步提高多标签分类的性能。CorrLog可以通过正则化的最大伪似然估计来有效地学习,尽管是近似的,并且它具有与标签数量无关的令人满意的泛化界。与最先进的多标签分类算法相比,CorrLog在基准数据集MULAN场景、MIT户外场景、PASCAL VOC 2007和PASCAL VOC 2012上的多标签图像分类方面具有竞争力。
2019-04-17 cs.CV cs.LG
Neural Gaussian Mirror for Controlled Feature Selection in Neural Networks
Department of Statistics, Virginia Tech(弗吉尼亚理工大学统计系);Department of Statistics, University of Chicago(芝加哥大学统计系);Department of Statistics, Harvard University(哈佛大学统计系)
深度神经网络(DNN)越来越受欢迎,并在预测任务中取得了出色的表现。然而,DNN框架本身无法告知用户哪些特征与预测或多或少相关,这限制了其在许多科学领域的适用性。我们引入神经高斯镜(NGM),其中镜像功能的创建,通过基于核的条件依赖度量的结构化扰动,以帮助评估功能的重要性。我们设计了DNN架构的两个修改,用于合并镜像功能并提供镜像统计来衡量功能的重要性。如在模拟和真实数据的例子中所示,所提出的方法控制在预定义的水平的特征选择错误率,并保持高的选择功率,即使存在高度相关的功能。
2020-10-13 cs.LG stat.ML
An Evolutionary Correlation-aware Feature Selection Method for Classification Problems
Ferdowsi University of Mashhad(马什哈德菲尔多西大学);Birjand University of Technology(比尔詹德理工大学)
基于种群的优化算法在特征选择问题中取得了令人满意的结果。然而,主要的挑战是高时间复杂度。此外,特征之间的相互作用是FS问题中的另一个重大挑战,直接影响分类性能。本文提出了一种分布估计算法,以满足三个目标。首先,作为EDA的扩展,所提出的方法在每次迭代中只生成两个个体,它们基于适应度函数进行竞争,并基于我们提出的更新过程在算法过程中进化。其次,我们提供了一个指导性的技术,以确定在每次迭代中的个人的功能的数量。因此,最终解决方案的选定特征的数量将在进化过程中得到优化。这两个优点可以提高算法的收敛速度。第三,作为本文的主要贡献,该方法除了单独考虑每个特征的重要性外,还可以考虑特征之间的相互作用。因此,它可以处理互补特征,从而提高分类性能。为此,我们提供了一个条件概率方案,该方案考虑了选择两个特征的联合概率分布。引入的概率成功地检测相关特征。在具有相关特征的合成数据集上的实验结果证明了我们所提出的方法面对这些类型的特征的性能。此外,从UCI数据库中获得的13个真实世界的数据集上的结果表明,与一些国家的最先进的方法相比,所提出的方法的优越性。
2021-10-16 cs.LG cs.NE
Efficient Clustering of Correlated Variables and Variable Selection in High-Dimensional Linear Models
Indian Statistical Institute(印度统计研究所)
本文提出了一种自适应聚类Lasso(ACL)方法,用于变量强相关的高维稀疏回归模型的变量选择。为了处理相关变量,聚类或分组变量,然后追求模型拟合的概念被广泛接受。当维数很高时,找到一个合适的群结构和原来的问题一样困难。ACL是一个三阶段的过程,在第一阶段,我们使用Lasso(或其自适应或阈值版本)进行初始选择,然后我们还包括那些未被Lasso选择但与Lasso选择的变量密切相关的变量。在第二阶段,我们集群的变量的基础上减少预测集,并在第三阶段,我们进行稀疏估计,如Lasso集群代表或组Lasso的基础上产生的结构聚类过程。我们表明,我们的程序是一致的和有效的,在寻找真正的底层人口群体结构(假设不可表示和β-min条件下)。我们还研究了我们的方法的组选择的一致性,我们使用模拟和伪真实数据集的例子来支持理论。
2016-03-11 cs.LG stat.ML
SPPCSO: Adaptive Penalized Estimation Method for High-Dimensional Correlated Data
College of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院)
SPPCSO通过结合主成分回归和L1正则化,自适应调整收缩因子,有效解决高维相关数据中的多重共线性问题,提升模型稳定性与预测准确性。
2026-03-06 cs.LG stat.ML
A Unified Descriptive-Complexity Framework for Model Selection under Correlated Designs
Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Citigroup(花旗集团);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
针对强预测变量依赖与模型类不确定性下的模型选择难题,提出描述复杂度信息准则(DCIC),建立选择一致性与风险界,开发复杂度引导搜索路径,经实验验证其支持恢复与估计性能良好。
2026-08-28 cs.LG stat.ML
Semi-analytic approximate stability selection for correlated data in generalized linear models
Department of Mathematical and Computing Science(数学与计算科学部);Tokyo Institute of Technology(东京技术大学)
针对广义线性模型变量选择中稳定性选择计算成本高的问题,提出基于复制方法与向量近似消息传递的近似推断算法,实现无需重复拟合的稳定性选择,并在旋转不变矩阵系综下推导状态演化方程,实验验证其快速收敛和高精度。
2020-06-26 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Automated data-driven selection of the hyperparameters for Total-Variation based texture segmentation
Univ Lyon(里昂大学);ENS de Lyon(里昂高等师范学院);Univ Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);Université de Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学)
惩罚最小二乘法在信号和图像处理中有着广泛的应用。然而,它受到一个主要的限制,因为它需要微调的正则化参数。在噪声概率分布的假设下,基于Stein的方法给出了二次风险的无偏估计量。重新讨论了广义Stein无偏风险估计,以处理相关的高斯噪声,而不需要反转的协方差阵。然后,为了避免扩展网格搜索,需要设计关于正则化参数的二次风险最小化的算法方案。这项工作扩展了Stein的无偏GrAdient估计的风险Deledalle等人。相关的高斯噪声的情况下,推导出一般的自动调整的正则化参数。首先,在一般相关高斯噪声的情况下,证明了梯度估计的理论渐近无偏性。然后,所提出的参数选择策略是特殊的分形纹理分割,其中的问题制定自然需要尺度间和空间相关的噪声。提供了数值评估,以及讨论的实际问题。
2020-05-12 cs.LG math.OC stat.ML
Don't Always Pick the Highest-Performing Model: An Information Theoretic View of LLM Ensemble Selection
Department of Electrical and Electronics Engineering, Bilkent University, Ankara, Turkey(电气与电子工程系,比尔肯大学,安卡拉,土耳其);School of Computer Science, University of Birmingham, Birmingham, UK(计算机科学学院,伯明翰大学,伯明翰,英国)
本文提出了一种基于信息论的集成选择算法,通过最大化互信息来选择模型,以提高集成性能并避免性能饱和问题。
2026-02-08 cs.AI cs.DC cs.IT
Evaluating Fair Feature Selection in Machine Learning for Healthcare
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本文针对医疗机器学习中特征选择可能加剧健康差异的问题,提出一种联合公平性与误差指标的公平特征选择方法,在三个医疗数据集上验证了其能在几乎不损失准确率的情况下提升公平性。
2024-04-01 cs.CY cs.LG
Harnessing XGBoost for Robust Biomarker Selection of Obsessive-Compulsive Disorder (OCD) from Adolescent Brain Cognitive Development (ABCD) data
Columbia University(哥伦比亚大学)
本研究基于ABCD模拟数据比较多种机器学习模型,发现XGBoost在高相关神经信号中能更稳健地选择强迫症相关预测特征,为神经影像分析提供方法选择依据。
2024-05-14 cs.LG q-bio.NC stat.AP
Power analysis of knockoff filters for correlated designs
Massachusetts Institute of Technology(麻省理工学院)
Barber和Candès 2016年引入的山寨过滤器是一个优雅的框架,用于控制变量选择中的错误发现率。虽然实证结果表明,这种方法并不太保守,但没有结论性的理论结果,其权力。当预测因子是独立同分布时。高斯,已知当信噪比趋于无穷大时,敲除滤波器在可以使FDR同时变为0和功率变为1的意义上是一致的。在这项工作中,我们研究的情况下,预测有一个一般的协方差阵$Σ$。我们引入一个简单的功能称为有效信号不足(ESD)的协方差阵$Σ$,预测各种变量选择方法的一致性。特别是,ESD揭示了精度矩阵$Σ^{-1}$的结构在一致性中起着核心作用,因此,预测器的条件独立结构也是如此。为了利用这种连接,我们引入了条件独立敲除,这是一个简单的过程,能够与更复杂的敲除过滤器竞争,并且当预测器服从高斯树图形模型时(或者当图形足够稀疏时)定义。我们的理论结果得到了合成数据的数值证据的支持。
2020-01-09 cs.IT cs.LG math.IT