Robust Multi-class Feature Selection via $l_{2,0}$-Norm Regularization Minimization
Fuzhou University(福州大学)
特征选择是数据采掘和机器学习中一个重要的数据预处理过程,它可以在不降低模型性能的前提下减少特征的大小。近年来,基于稀疏回归的特征选择方法由于其良好的性能而受到广泛关注。然而,由于$l_{2,0}$ -范数正则化项是非凸的,这个问题是很难解决的。与大多数只求解近似问题的方法不同,本文提出了一种基于同伦迭代硬阈值(HIHT)的多类特征选择$l_{2,0}$ -范数正则化最小二乘问题的直接求解方法,该方法能够得到权值矩阵的精确行稀疏解.此外,为了减少HIHT的计算时间,本文还提出了一种加速HIHT算法(AHIHT)。在8个生物数据集上的大量实验表明,与近似凸模型和现有的特征选择方法相比,该方法能够以最少的选择特征数(No.fea)获得更高的分类精度(ACC).分类精度对正则化参数和特征个数的鲁棒性也得到了验证。
2020-12-07 cs.LG
Joint Active Learning with Feature Selection via CUR Matrix Decomposition
University of Electronic Science and Technology of China(电子科技大学);Youedata(优易数据);East China Normal University(华东师范大学);Baidu Search(百度搜索);Shanghai Jiao Tong University(上海交通大学);Nanjing University of Information Science and Technology(南京信息工程大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种同时进行样本和特征选择的无监督学习方法,这与现有的主要分别解决这两个问题的工作不同。实际上,这两项任务往往是相互交织的:噪声和高维特征会对样本选择产生不利影响,而信息量大或具有代表性的样本则有利于特征选择。具体来说,我们提出了一个框架,共同进行主动学习和特征选择的基础上CUR矩阵分解。从数据重构的角度来看,所选择的样本和特征都可以分别最好地近似原始数据集,使得由特征表征的所选择的样本具有高度代表性。特别是,我们的方法运行在一个镜头没有渐进式标记的迭代样本选择的过程。因此,我们的模型是特别适合当有标记的样本很少,甚至在没有监督,这是一个特殊的挑战,现有的方法。由于联合学习问题是NP难的,所提出的公式涉及凸但非光滑的优化问题。我们用一个迭代算法有效地解决了这个问题,并证明了它的全局收敛性。在公开数据集上的实验结果证实了我们的方法与最先进的方法相比的有效性。
2018-09-09 cs.LG
Minimal cost feature selection of data with normal distribution measurement errors
最小代价特征选择致力于在测试代价和误分类代价之间取得折衷。这个问题最近在名义数据上得到了解决。本文考虑具有测量误差的数值数据,研究了该模型中的最小代价特征选择问题。首先,我们建立了测量误差服从正态分布的数据模型。其次,通过置信区间构造每个数据项的邻域。与离散化区间相比,邻域更能合理地保持数据的信息。第三,我们定义了一个新的最小总成本特征选择问题,通过考虑测试成本和误分类成本之间的权衡。第四,我们提出了一个回溯算法,三个有效的修剪技术来处理这个问题。该算法在四个UCI数据集上进行了测试。实验结果表明,剪枝技术是有效的,该算法是有效的数据集的近千个对象。
2013-06-03 cs.AI cs.LG
A concise method for feature selection via normalized frequencies
Xihua University(西华大学)
特征选择是建立机器学习模型的重要组成部分。通过消除数据中的冗余或误导性特征,机器学习模型可以实现更好的性能,同时减少对计算资源的需求。元启发式算法主要用于实现特征选择,如群体智能算法和进化算法。然而,它们具有相对复杂和缓慢的缺点。本文提出了一种通用特征选择的简明方法。所提出的方法使用过滤器方法和包装器方法的融合,而不是它们的组合。该方法采用one-hoting编码对数据集进行预处理,并采用随机森林作为分类器。该方法使用归一化频率为每个特征分配一个值,该值将用于找到最佳特征子集。此外,我们提出了一种新的方法来利用输出的互信息,这使得一个更好的起点的实验。利用入侵检测领域的两个真实数据集对该方法进行了测试。实验结果表明,该方法在准确率、精确率、召回率、F-score和AUC等方面均优于现有的相关研究成果。
2021-06-10 cs.LG cs.NE
A New Modeling to Feature Selection Based on the Fuzzy Rough Set Theory in Normal and Optimistic States on Hybrid Information Systems
本文提出了一种基于模糊粗糙集理论的新型特征选择模型FSbuHD,通过优化方法在正常和乐观状态下提升特征选择效率。
2026-03-11 cs.AI cs.LG
Columnwise Element Selection for Computationally Efficient Nonnegative Coupled Matrix Tensor Factorization
Queensland University of Technology(昆士兰科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
耦合矩阵张量分解(CMTF)有助于集成和分析多个数据源,并有助于发现有意义的信息。非负CMTF(N-CMTF)已在许多应用中用于识别潜在模式、预测和推荐。然而,由于张量和矩阵数据之间的耦合增加的复杂性,现有的N-CMTF算法表现出较差的计算效率。本文提出了一种基于列元素选择的N-CMTF分解算法,避免了频繁的梯度更新。理论和实证分析表明,与现有的因子分解算法相比,本文提出的N-CMTF因子分解算法不仅精度更高,而且计算效率更高.
2020-03-07 cs.LG stat.ML
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University(多伦多都会大学);University of Toronto(多伦多大学)
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中,秩显示QR(RRQR)因子分解,这是计算上比奇异值分解(SVD)便宜,利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择,这是该因子分解方法的独特性质。此外,QR分解嵌入到非负矩阵分解(NMF)的目标函数作为一种新的无监督特征选择方法。最后,提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中,使用RRQR分解去除冗余特征,并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的,当与最先进的特征选择算法在监督,无监督和半监督设置。所有的方法进行了测试,7个可用的微阵列数据集,使用KNN,SVM和C4.5分类。实验结果表明,该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
Matrix reconstruction with the local max norm
Stanford University(斯坦福大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);University of Toronto(多伦多大学)
我们引入了一个新的家庭的矩阵规范,“本地最大”的规范,推广现有的方法,如最大的规范,跟踪规范(核规范),加权或平滑加权跟踪规范,已被广泛用于文献中的正则化矩阵重构问题。我们表明,这个新的家庭可用于(加权或不加权)的跟踪规范和更保守的最大范数之间的插值。我们在模拟数据和大规模Netflix和MovieLens收视率数据上测试了这种插值,并发现相对于现有矩阵范数的准确性有所提高。我们还提供了一些新规范的学习保证的理论结果。
2012-10-18 cs.LG stat.ML
Robust Face Recognition using Local Illumination Normalization and Discriminant Feature Point Selection
Kim Il Sung University(金日成大学)
人脸识别系统必须对人脸表情、光照、头部姿态和年龄等各种因素的变化具有鲁棒性。特别是,对光照变化的鲁棒性是人脸识别系统实际应用中需要解决的最重要的问题之一。Gabor小波由于能够模拟人类视觉系统的功能而被广泛应用于人脸检测和识别中。本文提出了一种在局部光照变化下保持稳定的Gabor小波特征提取方法,并给出了实验结果,证明了该方法的有效性。
2012-12-11 cs.CV cs.LG
SLS (Single $\ell_1$ Selection): a new greedy algorithm with an $\ell_1$-norm selection rule
École Centrale de Nantes(南特中央理工学院);CNRS(法国国家科学研究中心)
本文提出了一种新的用于稀疏逼近的贪婪算法--单L_1选择SLS算法。SLS本质上由一个贪婪的前向策略组成,其中在每次迭代中新组件的选择规则是基于解决最小二乘最优化问题,由剩余变量的L_1范数惩罚。然后,选择具有最大幅度的分量。对含有高相关字典的稀疏反卷积问题的仿真结果表明,该方法在解稀疏的情况下,性能优于常用的贪婪算法和基追踪去噪算法。
2021-02-11 cs.LG math.OC stat.CO
Diverse Subset Selection via Norm-Based Sampling and Orthogonality
School of Electrical Engineering at Tel Aviv University(特拉维夫大学电气工程学院)
针对标注成本高昂的问题,本文提出结合特征范数、随机化与正交性的子集选择方法,在多个图像和文本基准上显著提升多样性与信息量。
2025-09-26 cs.AI cs.CV cs.LG
Efficient Latent Variable Graphical Model Selection via Split Bregman Method
University of California Irvine(加州大学欧文分校)
本文考虑潜变量存在时的协方差阵估计问题。在适当的条件下,可以通过一个易于处理的凸规划来学习观测变量的边际协方差阵,其中观测变量的集中矩阵被分解为稀疏矩阵(表示观测变量的图形结构)和低秩矩阵(表示潜在变量的边际效应)。我们提出了一个有效的基于分裂Bregman的一阶方法来解决凸问题。该算法在温和的条件下保证收敛。我们表明,我们的算法是显着的速度比最先进的算法在人工和真实世界的数据。将该算法应用于涉及数千个基因的基因表达数据,我们表明,观测变量之间的大部分相关性可以解释只有几十个潜在的因素。
2011-10-13 cs.LG stat.ML
A Fast Greedy Algorithm for Generalized Column Subset Selection
University of Waterloo(滑铁卢大学)
本文定义了一个广义列子集选择问题,它涉及从源矩阵A中选择最接近目标矩阵B的跨度的列。然后,本文提出了一种快速的贪心算法来解决这个问题,并绘制连接到不同的问题,可以有效地解决使用所提出的算法。
2013-12-24 cs.DS cs.LG stat.ML
SPSD Matrix Approximation vis Column Selection: Theories, Algorithms, and Extensions
University of California at Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学)
对称半正定矩阵逼近是核方法中的一个重要应用问题.然而,现有的SPSD矩阵近似方法,如Nyström方法只有弱误差界。在本文中,我们进行了深入的研究SPSD矩阵近似模型,并建立强相对误差界。我们称之为原型模型,因为它具有更高效和有效的扩展,并且它的一些扩展具有很高的可扩展性。虽然原型模型本身不适合大规模数据,但研究其性质仍然是有用的,这是分析其扩展的基础。本文提供了新颖的理论分析,高效的算法,和一个高度准确的扩展。首先,我们建立了一个错误的下限的原型模型和改进的错误界现有的列选择算法,以匹配下限。这样,我们得到了原型模型的第一个最优列选择算法。我们还证明了原型模型在一定条件下是精确的。其次,我们开发了一个简单的列选择算法,具有可证明的误差界。第三,我们提出了一个所谓的谱移模型,使近似更准确时,矩阵的特征值衰减缓慢,并从理论上量化的改进。该方法也可用于改进其它SPSD矩阵近似模型。
2016-05-20 cs.LG
Normalizing Flows for Knockoff-free Controlled Feature Selection
University of Michigan(密歇根大学)
受控特征选择旨在发现响应所依赖的特征,同时将错误发现率(FDR)限制在预定义的水平。最近,已经提出了多种基于深度学习的方法来通过Model-X敲除框架执行受控特征选择。然而,我们证明,这些方法往往无法控制FDR有两个原因。首先,这些方法通常学习不准确的特征模型。第二,仿冒品有效所需的“互换”属性通常没有得到很好的执行。我们提出了一个新的程序称为FlowSelect进行控制功能选择,不遭受这两个问题。为了更准确地对特征进行建模,FlowSelect使用归一化流,这是用于密度估计的最先进方法。FlowSelect没有强制执行“交换”属性,而是使用一种新颖的基于MCMC的过程来直接计算每个特征的p值。渐进地,FlowSelect计算有效的p值。从经验上讲,FlowSelect始终控制合成和半合成基准上的FDR,而竞争的基于仿制品的方法则没有。FlowSelect还在这些基准测试中展示了更强大的功能。此外,FlowSelect还能从GWAS数据中正确推断出与特定大豆性状相关的遗传变异。
2022-10-21 cs.LG stat.ML
Average Case Column Subset Selection for Entrywise $\ell_1$-Norm Loss
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
我们研究了列子集选择问题的条目方面的$\ell_1$-范数损失。已知在最坏的情况下,为了获得对矩阵的良好秩$k$近似,需要任意大的$n^{Ω(1)}$列数来获得对$n \times n$矩阵的最佳逐项$\ell_1$范数低秩近似的$(1+ε)$近似.然而,我们表明,在某些最小和现实的分布设置,它是可能的,以获得一个接近线性的运行时间和聚$(k/ε)+O(k\log n)$列的$(1+ε)$近似。也就是说,我们证明了,如果输入矩阵$A$具有$A = B + E$的形式,其中$B$是任意秩的$k$矩阵,$E$是具有i.i.d.对于任意小的常数$γ> 0$,从存在$(1+γ)$阶矩的任何分布$μ$中提取的项,则可以在近似线性时间内获得对逐项$\ell_1$范数的$(1+ε)$近似列子集选择。相反,我们表明,如果第一时刻不存在,那么它是不可能获得一个$(1+ε)$-近似子集选择算法,即使选择任何$n^{o(1)}$列。这是第一个算法的任何一种实现的$(1+ε)$近似的入口方向$\ell_1$-范数损失低秩近似。
2020-04-16 cs.DS cs.LG stat.ML
l0-norm Based Centers Selection for Training Fault Tolerant RBF Networks and Selecting Centers
City University of Hong Kong(香港城市大学)
本文的目的是训练一个RBF神经网络和选择中心的并发故障。容错是神经网络的一个非常有吸引力的特性。中心选择是RBF神经网络训练过程中的一个重要环节。在本文中,我们设计了两个新的算法来同时解决这两个问题。两者都是基于ADMM框架的。在第一种方法中,极小极大凹罚(MCP)函数被引入到选择中心。在第二种方法中,直接使用l0-范数项,并利用硬阈值(HT)来解决l0-范数项。在适当的条件下,我们证明了这两种方法都能全局收敛到唯一的极限点。仿真结果表明,在并发故障下,所提出的算法优于现有的许多方法。
2018-11-01 cs.LG cs.NE stat.ML
Model Selection for Nonnegative Matrix Factorization by Support Union Recovery
Department of Electrical and Computer Engineering(电子工程系)
本文提出了一种通过计算经验二阶矩并恢复与经验二阶矩相关的矩阵中非零行的索引集来自动选择非负矩阵分解的潜在维度的算法,该算法在理论上有保证地检测出真实的潜在维度。
2018-10-23 cs.LG cs.NA math.NA
Discriminability-Driven Spatial-Channel Selection with Gradient Norm for Drone Signal OOD Detection
State Key Laboratory of Integrated Services Network(信息服务网络国家重点实验室);Xidian University(西安电子科技大学)
本文提出了一种结合判别性驱动空域-通道选择和梯度范数的无人机信号OOD检测算法,通过自适应加权时间-频率特征和融合能量分数,提升检测的判别力和鲁棒性。
2026-01-26 cs.LG
Kernel Alignment for Unsupervised Feature Selection via Matrix Factorization
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出整合核函数与核对齐的矩阵分解无监督特征选择方法,并引入多核学习自动生成最优核,在真实数据上显著提升了聚类效果与冗余减少。
2024-03-13 cs.LG cs.NA math.NA
Block-diagonal covariance selection for high-dimensional Gaussian graphical models
KU Leuven(鲁汶大学);Leuven Statistics Research Center (LStat)(鲁汶统计研究中心);Université Paris Descartes(巴黎笛卡尔大学);CNRS(法国国家科学研究中心);Université Paris-Sud(巴黎南大学);INRA(法国国家农业研究院)
高斯图形模型被广泛用于推断和可视化连续变量之间的依赖关系网络。然而,当样本量与变量数量相比较小时,很难推断该图。为了减少模型中需要估计的参数数量,我们提出了一种基于预言不等式和极大极小下界的强理论保证的非渐近模型选择方法。该模型的协方差阵近似为一个分块对角矩阵。通过对样本协方差阵进行阈值化来检测该矩阵的结构,其中使用斜率试探法来选择阈值。基于协方差阵的块对角结构,将估计问题分解为若干个独立的问题:然后在每个块中使用图形套索算法推断变量之间的依赖关系网络。该程序的性能示出了模拟数据。一个真正的基因表达数据集有限的样本量的应用程序也提出:降维允许注意力客观地集中在较小的基因子集之间的相互作用,导致更简约和可解释的模块化网络。
2016-09-29 cs.LG math.ST stat.ML
Mixed-norm Regularization for Brain Decoding
Université de Nice(尼斯大学);Gipsa Lab(Gipsa实验室);Université de Rouen(鲁昂大学)
本文研究了基于事件相关电位(ERP)的脑机接口(BCI)中传感器选择的混合范数正则化方法。分类问题被铸造作为一个歧视性的优化框架,传感器的选择是通过使用混合规范诱导。该框架被扩展到多任务学习的情况下,几个类似的分类任务相关的不同的主题是同时学习。在这种情况下,多任务学习有助于利用数据稀缺问题,从而产生更强大的分类器。为此,我们引入了一个正则化,诱导传感器选择和分类器的相似性。在三个ERP数据集上比较了不同的正则化方法,显示了混合范数正则化在传感器选择方面的兴趣。多任务的方法进行评估时,少量的学习实例产生显着的性能改善,特别是对科目表现不佳。
2014-03-14 cs.LG
PNCS:Power-Norm Cosine Similarity for Diverse Client Selection in Federated Learning
Department of Electrical and Computer Engineering, McMaster University, Hamilton, Canada(电气与计算机工程系,麦斯特大学);Department of Electrical and Computer Engineering, National Yang-Ming Chiao-Tung University, Taiwan(电气与计算机工程系,国立阳明交通大学)
本文提出基于幂范数余弦相似度(PNCS)的联邦学习客户端选择框架,通过捕获高阶梯度矩应对非独立同分布数据,并引入选择历史队列确保多样性,实验表明在VGG16模型上优于现有方法。
2025-06-18 cs.AI cs.DC cs.LG
Rank Selection of CP-decomposed Convolutional Layers with Variational Bayesian Matrix Factorization
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子通信研究院)
卷积神经网络(Convolutional Neural Networks,CNN)是一种在图像分类等领域取得成功的方法。然而,由于内存和计算能力的限制,CNN推理所需的内存量和计算成本阻碍了它们在移动设备中有效运行。压缩CNN的方法之一是迭代地压缩层,即通过逐层压缩和微调,在卷积层中进行CP分解。为了用CP分解进行压缩,秩的选择是重要的。在以前的方法秩选择的基础上,每一层的灵敏度,平均秩的网络仍然是任意选择的。此外,在整个迭代压缩过程之前,确定了所有层的秩,而一个层的秩可以通过微调来改变。因此,本文提出使用变分贝叶斯矩阵分解(VBMF)来选择每一层的秩,这比任意的方法更系统。此外,为了考虑在先前迭代的微调之后每个层的秩的变化,该方法在压缩目标层之前应用,即在先前迭代的微调之后应用。结果显示更好的准确性,同时在AlexNet的卷积层压缩中也具有更高的压缩率。
2018-01-16 cs.LG
Two-way Spectrum Pursuit for CUR Decomposition and Its Application in Joint Column/Row Subset Selection
University of Central Florida(中佛罗里达大学)
本文讨论了行和列同时选择子集的问题。矩阵的列空间和行空间分别由其左奇异向量和右奇异向量张成。然而,奇异向量不在矩阵的实际列/行内。在本文中,提出了一种迭代的方法,通过选择一个子集的实际列/行捕获的列/行的最结构化的信息。这种算法被称为双向谱追踪(TWSP),它为我们提供了一个准确的解决方案的CUR矩阵分解。由于TWSP算法具有线性复杂度,因此它具有广泛的应用前景。原始列/行的数量。我们展示了应用TWSP联合信道和传感器选择在认知无线电网络,信息用户和内容检测,有效的监督数据减少。
2021-06-13 cs.LG
BVSIMC: Bayesian Variable Selection-Guided Inductive Matrix Completion for Improved and Interpretable Drug Discovery
Department of Statistics University of South Carolina(统计学系南卡罗来纳大学);Department of Biostatistics University of South Carolina(生物统计学系南卡罗来纳大学);Department of Biostatistics University of Florida(生物统计学系佛罗里达大学);Department of Surgery University of Florida(外科医学系佛罗里达大学);Department of Statistics George Mason University(统计学系乔治·梅森大学)
本文提出BVSIMC模型,通过学习稀疏潜在嵌入提升药物发现预测精度和可解释性,并在模拟研究和两个真实应用中优于其他方法,揭示了临床意义最大的侧信息特征。
2026-03-19 cs.LG stat.ME
Greedy Column Subset Selection for Large-scale Data Sets
University of Waterloo(滑铁卢大学)
在当今的信息系统中,大量数据的可用性需要开发快速准确的算法来汇总这些数据并以简洁的格式表示它们。大数据分析中的一个关键问题是从大型和分布式数据中选择代表性实例,这在形式上被称为列子集选择(CSS)问题。这个问题的解决方案使数据分析师能够理解数据的洞察力并探索其隐藏的结构。所选择的实例还可以用于数据预处理任务,例如学习数据点的低维嵌入或计算对应矩阵的低秩近似。提出了一种快速、准确的大规模列子集选择贪心算法。该算法最小化目标函数,该目标函数基于所选列的子集来测量数据矩阵的重构误差。首先提出了一种集中式贪心算法来选择列子集,该算法依赖于一种新的计算数据矩阵重构误差的递推公式。然后,本文提出了一种MapReduce算法,该算法从一个矩阵中选择一些有代表性的列,该矩阵的列大量分布在几个商品机器上。该算法首先使用随机投影学习所有列的简明表示,然后在每个机器上解决广义列子集选择问题,其中从该机器上的子矩阵中选择列的子集,使得简明表示的重建误差最小化。本文通过对基准数据集的实证评估,证明了该算法的有效性和效率。
2013-12-24 cs.DS cs.LG
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
Dynamic selection of p-norm in linear adaptive filtering via online kernel-based reinforcement learning
Tokyo Institute of Technology(东京工业大学)
本研究解决了动态选择的问题,在每个时刻,“最优”的p-范数,以打击离群值的线性自适应滤波没有任何知识的潜在的随时间变化的概率分布函数的离群值。为此,通过基于内核的强化学习(KBRL)设计了一个在线和数据驱动的框架。在再生核Hilbert空间(RKHS)上引入了新的Bellman映射,该映射不需要关于Markov决策过程的转移概率的知识,并且关于Hilbert范数是非扩张的.通过引入Bellman映射不动点集的有限维仿射超集,给出了一个近似的策略迭代框架。众所周知的“灾难的维数”在RKHS解决通过建立一个基础的向量通过一个近似的线性依赖性标准。对合成数据的数值测试表明,所提出的框架总是选择“最优”的p-范数的离群值的情况下,在同一时间几个非RL和KBRL计划跑赢。
2022-10-21 cs.LG eess.SP