Bayesian Classification and Feature Selection from Finite Data Sets
NEC Research Institute(NEC研究院)
特征选择的目的是为指定的性能级别选择最小的特征子集。特征子集上的最佳可实现分类性能由其接收器工作曲线(ROC)总结。当有无穷多个数据时,奈曼-皮尔逊(NP)设计方法是获得该曲线的最有效方法.在实践中,设计过程适用于有限数据集的密度估计。我们进行了详细的统计分析有限的字母表上产生的错误传播。我们表明,估计的性能曲线(EPC)的设计过程中产生的任意准确的足够的数据,独立的功能集的大小。然而,潜在的似然排序过程对错误高度敏感,这降低了EPC实际上是ROC的概率。在最坏的情况下,保证EPC等于ROC可能需要特征集大小的指数级数据大小。这些结果意味着,在理论上的NP设计方法可能只适用于表征相对较小的特征子集,即使任何给定的分类器的性能可以非常准确地估计。我们讨论了实际的限制,在线方法,确保NP程序在一个统计有效的区域。
2013-01-16 cs.LG stat.ML
ManiFeSt: Manifold-based Feature Selection for Small Data Sets
Technion - Israel Institute of Technology(以色列理工学院);MIT(麻省理工学院);Yale University(耶鲁大学)
本文提出了一种新的少样本监督特征选择方法。我们的方法首先使用捕获多特征关联的内核来学习每个类的特征空间的流形。然后,基于黎曼几何,计算复合核,提取学习的特征关联之间的差异。最后,提出了一种基于谱分析的FS评分。考虑多特征关联使我们的方法多变量的设计。这反过来又允许提取隐藏在特征之下的流形,并避免过拟合,从而促进少样本FS。我们展示了我们的方法在说明性示例和几个基准上的有效性,与竞争方法相比,我们的方法在选择信息特征方面具有更高的准确性。此外,我们表明,我们的FS导致改进的分类和更好的推广时,应用于测试数据。
2022-07-18 cs.LG eess.SP stat.ML
Online Learning of Portfolio Ensembles with Sector Exposure Regularization
Technion – Israel Institute of Technology(以色列理工学院)
我们考虑投资组合选择算法的集合的在线学习,并旨在通过鼓励相对于预定义的风险驱动的股票分组的多样化来规范风险。我们的程序使用在线凸优化来控制资本分配到基础投资算法,同时鼓励在给定的分组非稀疏。我们证明了这个过程中的最佳事后合奏的对数遗憾。我们应用的程序与已知的均值回归投资组合选择算法,使用标准的GICS行业部门分组。实证实验结果表明,风险调整后的回报率(夏普比率)的增加令人印象深刻。
2016-04-12 cs.LG
Finding Optimal Diverse Feature Sets with Alternative Feature Selection
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出替代特征选择方法,将其形式化为优化问题,通过约束控制替代方案数量与差异性,结合求解器和启发式搜索,在30个数据集上验证了替代特征集的高预测质量。
2025-02-05 cs.LG
AFS: An Attention-based mechanism for Supervised Feature Selection
Central South University(中南大学);Zhejiang Sci-Tech University(浙江理工大学)
特征选择作为一个有效的数据预处理步骤,已经显示出它的有效性,准备高维数据的许多机器学习任务。然而,高维海量数据的激增给现有的特征选择技术带来了巨大的挑战,如计算复杂度和噪声数据下的稳定性。本文介绍了一种新的基于神经网络的特征选择结构,称为基于注意力的特征选择(AFS)。AFS由两个可分离的模块组成:用于特征权重生成的注意模块和用于问题建模的学习模块。注意力模块将特征与监控目标之间的关联问题转化为一个二元分类问题,每个特征由一个浅层注意力网络支持。在训练过程中,基于通过反向传播调整的各个特征选择模式的分布来生成特征权重。可拆卸的结构允许直接重用现有的现成模型,这允许更少的训练时间、对训练数据的需求和对专业知识的要求。为了提高特征选择的准确性,本文还提出了一种混合初始化方法,以解决样本量不足的情况下特征选择的问题。实验结果表明,AFS算法在MNIST、噪声MNIST和小样本数据集上均获得了最佳的准确性和稳定性,优于现有的几种特征选择算法.
2019-02-28 cs.AI cs.LG stat.ML
Active feature selection discovers minimal gene sets for classifying cell types and disease states with single-cell mRNA-seq data
California Institute of Technology(加州理工学院);Beckman Center for Single-cell Profiling and Engineering(贝克曼单细胞分析与工程中心)
测序成本目前禁止将单细胞mRNA-seq应用于许多生物和临床分析。靶向单细胞mRNA测序通过分析用最少数量的基因捕获生物信息的减少的基因集来降低测序成本。在这里,我们介绍了一种主动学习方法(ActiveSVM),它可以识别最小但信息量很大的基因集,这些基因集可以使用少量基因识别单细胞数据中的细胞类型、生理状态和遗传扰动。我们的主动特征选择程序通过迭代细胞类型分类任务从单细胞数据生成最小基因集,在每一轮分析中检查错误分类的细胞,以通过“主动”支持向量机(ActiveSVM)分类器识别最大信息基因。通过将计算资源集中在错误分类的细胞上,ActiveSVM可以扩展到分析超过一百万个单细胞的数据集。我们证明了ActiveSVM特征选择识别的基因集能够在各种数据集(包括细胞图谱和疾病表征数据集)中实现约90%的细胞类型分类准确度。该方法概括地揭示基因的遗传扰动,并确定区域特异性基因表达模式的空间转录组学数据。小但信息量高的基因集的发现应该能够大幅减少将单细胞mRNA-seq应用于临床测试、治疗发现和遗传筛选所需的测量数量。
2022-02-12 cs.LG q-bio.GN
UAFS: Uncertainty-Aware Feature Selection for Problems with Missing Data
缺失数据是许多现实世界数据集中的一个问题,通常需要插补方法来估计缺失数据的值,但是具有过度缺失和高维的数据集挑战大多数插补方法。在这里,我们表明,适当的特征选择可以是一个有效的预处理步骤填补,允许更准确的填补和后续的模型预测。这种预处理的关键特征是它包含了不确定性:通过在选择特征时考虑由于缺失而导致的不确定性,我们可以降低缺失的程度,同时限制用于构建预测模型的无信息特征的数量。我们介绍了一种方法来执行不确定性感知特征选择(UAFS),提供了一个理论的动机,并测试UAFS的真实和合成的问题,表明在各种数据集和缺失水平,我们可以提高插补的准确性。由于UAFS而改进的插补也导致在使用这些插补数据集执行监督学习时提高了预测准确性。我们的UAFS方法是通用的,可以卓有成效地耦合到各种插补方法。
2021-04-20 cs.LG physics.data-an stat.ME
A Feature Subset Selection Algorithm Automatic Recommendation Method
Xi’an Jiaotong University(西安交通大学);Nanjing University(南京大学)
许多特征子集选择(FSS)算法已经被提出,但并不是所有的都是适合于一个给定的特征选择问题。同时,到目前为止,很少有一个很好的方法来选择合适的FSS算法的问题。因此,FSS算法的自动推荐具有重要的现实意义。提出了一种基于元学习的FSS算法自动推荐方法。该方法首先通过k-近邻分类算法确定与当前数据最相似的数据集,然后根据常用数据集特征计算这些数据集之间的距离。然后,根据它们在这些相似数据集上的性能对所有候选FSS算法进行排名,并选择性能最好的算法作为合适的算法。候选FSS算法的性能评估的多标准度量,考虑到不仅在所选功能的分类精度,但也运行时的特征选择和所选功能的数量。建议的推荐方法进行了广泛的测试,在115个真实世界的数据集与22个著名的和常用的不同的FSS算法的五个代表性的分类。实验结果表明了本文提出的FSS算法推荐方法的有效性。
2014-02-04 cs.LG
Selection of tuning parameters in bridge regression models via Bayesian information criterion
我们考虑的桥梁线性回归建模,它可以产生一个稀疏或非稀疏模型。模型建立过程中的一个关键点是调整参数的选择,包括正则化参数和调整参数的桥梁回归模型。调整参数的选择可以看作是一个模型选择和评估问题。本文提出了一种基于贝叶斯方法的桥梁回归模型评价的模型选择准则。该选择标准使我们能够客观地选择调整参数。我们调查我们提出的建模策略的有效性,通过一些数值例子。
2012-04-14 stat.ME stat.ML
Dynamic Feature Selection from Variable Feature Sets Using Features of Features
Kyoto University(京都大学)
针对可测量特征集合因实例而异的动态特征选择问题,提出利用“特征的特征”先验信息的深度学习方法,实验证明其能有效选择特征。
2025-03-12 cs.IT cs.LG math.IT
An entropic feature selection method in perspective of Turing formula
The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对健康数据类型复杂且样本量小的问题,提出基于覆盖度调整标准化互信息(CASMI)的特征选择方法,利用改进的熵估计器高效选特征并自动学习数量,在小样本下表现优异。
2019-02-19 cs.IT cs.LG math.IT
Model selection with proper scoring rules on data sets of time series: prefer the mean scaled score
SUPSI, Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA), Lugano, Switzerland(SUPSI,日内瓦智能研究 institute(IDSIA),卢加诺,瑞士)
针对时间序列数据集上的概率模型选择问题,发现均值、中位数和平均秩三种统计量因分数分布偏斜导致冲突决策,随着测试集增大结论趋于一致,但短测试集下仅均值分数能识别真模型。
2026-06-25 cs.LG stat.ML
Visualization tools for parameter selection in cluster analysis
我们提出了一种算法,HPREF(层次分区的重复功能),产生一个层次分区的一组聚类的固定数据集,如通过运行一个聚类算法的参数范围内产生的聚类集。这为这样的聚类集提供了几何结构,并且可以用于可视化通过运行具有一系列参数的聚类算法获得的结果集。
2019-09-28 cs.LG stat.ML
Generalized Sparse Precision Matrix Selection for Fitting Multivariate Gaussian Random Fields to Large Data Sets
我们提出了一种基于稀疏精度矩阵选择(SPS)算法估计多变量二阶平稳高斯随机场(GRF)模型的新方法,该算法由Davanloo等人(2015)提出,用于估计标量GRF模型。建立估计的响应间协方差阵和基础空间相关函数的估计参数的理论收敛速率。使用模拟和真实数据集的数值测试验证了我们的理论研究结果。数据分割用于处理大型数据集。
2017-07-06 stat.ML
Sparse Learning for Variable Selection with Structures and Nonlinearities
Université de Genève(日内瓦大学)
在这篇论文中,我们讨论了机器学习方法执行自动变量选择学习稀疏预测模型。在预测模型中促进稀疏性有多种原因。通过依赖于有限的输入变量集,模型自然地抵消了从有限的训练点集学习时普遍存在的过拟合问题。稀疏模型用于预测的成本更低,它们通常需要更低的计算资源,并且通过依赖较小的输入集可以降低数据汇集和存储的成本。稀疏模型也有助于更好地理解所研究的现象,因为它们比完整模型更容易解释。
2019-03-26 cs.LG stat.ML
Feature selection in omics prediction problems using cat scores and false nondiscovery rate control
我们重新讨论了线性判别分析(LDA)中的特征选择问题,即当特征相关时。首先,我们介绍了一个汇集的质心制定的多类LDA预测函数,其中的Mahalanobis变换预测的相对权重由相关调整$t$ -分数(猫分数)。其次,对于特征选择,我们提出了阈值猫分数通过控制错误的非发现率(FNDR)。第三,分类器的训练是基于相关性和方差的James-Stein收缩估计,其中正则化参数是分析选择的,而不需要重新搜索。总的来说,这导致了一个有效的和计算成本低廉的框架,高维预测与自然特征选择。建议的收缩判别程序在R软件包`` sda '中实现,可从R存储库CRAN获得。
2010-10-08 stat.AP stat.ML
Valid Selection among Conformal Sets
CMAP, École polytechnique, Institut Polytechnique de Paris, France(应用数学与计算科学实验室,巴黎高等理工学院,巴黎理工学院);Inria, École Normale Supérieure, PSL Research University(法国国家科学研究中心,巴黎高等师范大学,巴黎科学实验室);Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA(电气工程与计算机科学系,伯克利大学,美国)
针对选择最优conformal prediction set会破坏覆盖保证的问题,提出一种基于稳定性的方法以确保所选集合的覆盖性,并扩展至在线场景及实验验证其有效性。
2025-06-25 cs.AI cs.LG stat.ME
Sparse-group boosting -- Unbiased group and variable selection
本文提出稀疏组提升方法,通过同时使用逐分量和逐组梯度提升并调整自由度,实现组内与组间稀疏性,在模拟、基因和农业数据上相比逐分量提升具有更低变量选择偏差和更高预测能力。
2024-04-07 stat.ME stat.ML
PLUTO: Penalized Unbiased Logistic Regression Trees
我们提出了一个新的算法称为PLUTO建立逻辑斯谛回归树的二进制响应数据。PLUTO通过对样本空间的递归划分,可以捕捉到杂乱数据中的非线性和交互模式。它在每个分区中拟合简单或多重线性逻辑斯谛回归模型。PLUTO采用循环坐标下降法估计多个线性逻辑斯谛回归模型,并加入弹性网惩罚,这使得它能够有效地处理高维数据。树结构包括数据的图形描述。与逻辑斯谛回归模型一起,它提供了一个准确的分类器以及“成功”概率的分段平滑估计。PLUTO通过以下方式控制选择偏差:(1)将分离变量选择与分离点选择分开;(2)应用调整后的卡方检验来找到分离变量,而不是穷举搜索。采用自举校准技术来进一步校正选择偏差。在真实数据集上的比较表明,平均而言,多线性PLUTO模型比其他算法预测更准确。
2014-11-25 stat.ME stat.ML
A Stable Lasso
Macquarie University(麦考瑞大学);The University of Sydney(悉尼大学)
本文针对 Lasso 在相关预测变量下选择稳定性变差的问题,提出将基于相关性调整排序的加权方案集成到 Lasso 惩罚函数中以提升稳定性,并验证了其作为通用正则化选择稳定方案的潜力。
2026-10-20 stat.CO stat.ME stat.ML
Selecting informative conformal prediction sets with false coverage rate control
本文提出 InfoSP 与 InfoSCOP,在分类和回归中经规则选择小而有信息量的保形预测集,并对所选样本实现有限样本 FCR 控制。
2024-11-25 math.ST stat.ML stat.TH
Controlling false discoveries in high-dimensional situations: Boosting with stability selection
现代生物技术通常会产生高维数据集,其变量比观测值多得多(n $\ll$ p)。这些数据集对统计分析提出了新的挑战:变量选择成为该设置中最重要的任务之一。我们评估最近提出的灵活的变量选择框架称为稳定性选择。通过使用恢复过程,稳定性选择将有限样本误差控制添加到高维变量选择过程,例如Lasso或boosting。我们认为,结合提高和稳定性的选择和目前的结果,从一个详细的模拟研究,提供了深入了解这种组合的有用性。讨论了局限性,并给出了稳定性选择的规范和调整指南。所使用的误差范围的解释进行了阐述,并给出了实际数据分析的见解。结果将用于检测自闭症谱系障碍患者的差异表达表型测量。所有方法都在免费提供的R包stabs中实现。
2014-11-05 stat.AP stat.CO stat.ML