Effective Discriminative Feature Selection with Non-trivial Solutions
National University of Defense Technology(国防科技大学);Northwestern Polytechnical University(西北工业大学)
特征选择和特征变换是降维的两种主要方法,通常是分开提出的。本文将基于变换的线性判别分析(LDA)降维方法与稀疏正则化相结合,提出了一种特征选择方法。我们通过${\ell}_{2,1}$ -范数正则化对LDA的变换矩阵施加行稀疏性来实现特征选择,并且所得公式优化以选择最具鉴别力的特征并同时去除冗余特征。该公式被扩展到${\ell}_{2,p}$ -范数正则化的情况下:这是更有可能提供更好的稀疏性时,$0<p<1$。因此,公式是一个更好的近似的特征选择问题。给出了求解基于${\ell}_{2,p}$ -范数的优化问题的一个有效算法,并证明了该算法在满足$0<p\le 2$条件下收敛.进行了系统的实验,以了解所提出的方法的工作。在各种类型的真实数据集上的实验结果表明了该算法的有效性。
2015-04-21 cs.LG
A concise method for feature selection via normalized frequencies
Xihua University(西华大学)
特征选择是建立机器学习模型的重要组成部分。通过消除数据中的冗余或误导性特征,机器学习模型可以实现更好的性能,同时减少对计算资源的需求。元启发式算法主要用于实现特征选择,如群体智能算法和进化算法。然而,它们具有相对复杂和缓慢的缺点。本文提出了一种通用特征选择的简明方法。所提出的方法使用过滤器方法和包装器方法的融合,而不是它们的组合。该方法采用one-hoting编码对数据集进行预处理,并采用随机森林作为分类器。该方法使用归一化频率为每个特征分配一个值,该值将用于找到最佳特征子集。此外,我们提出了一种新的方法来利用输出的互信息,这使得一个更好的起点的实验。利用入侵检测领域的两个真实数据集对该方法进行了测试。实验结果表明,该方法在准确率、精确率、召回率、F-score和AUC等方面均优于现有的相关研究成果。
2021-06-10 cs.LG cs.NE
A New Modeling to Feature Selection Based on the Fuzzy Rough Set Theory in Normal and Optimistic States on Hybrid Information Systems
本文提出了一种基于模糊粗糙集理论的新型特征选择模型FSbuHD,通过优化方法在正常和乐观状态下提升特征选择效率。
2026-03-11 cs.AI cs.LG
Multi-task Feature Selection based Anomaly Detection
Institute of Command Information System, PLA University of Science and Technology(中国人民解放军理工大学指挥信息系统学院)
网络异常检测仍然是一个充满活力的研究领域。随着网络带宽的快速增长和网络流量的巨大化,如何高效、准确地检测多个流量的异常成为一个极具挑战性的问题。在多任务学习中,由不同时间段的流量组成的流量被认为是一个任务。在不同的时间段同时执行多个任务以检测异常。本文将多任务特征选择应用于网络异常检测领域,为同时从多个流量中收集信息并检测异常提供了一种强有力的方法。特别地,多任务特征选择包括公知的基于l1范数的特征选择作为仅给定一个任务的特殊情况。此外,我们表明,多任务特征选择是更准确的,同时利用更多的信息比基于l1范数的方法。在评估阶段,我们对日本和美国之间的跨太平洋主干链路的原始数据进行预处理,标记异常社区,并生成248个特征数据集。我们的经验表明,多任务的特征选择优于独立的l1范数为基础的特征选择真实的交通数据集。
2014-03-17 cs.LG stat.ML
New Computational and Statistical Aspects of Regularized Regression with Application to Rare Feature Selection and Aggregation
Technicolor AI Lab(特艺集团人工智能实验室);Marshall School of Business, University of Southern California(南加州大学马歇尔商学院);University of Washington(华盛顿大学)
关于目标模型属性的先验知识通常是离散或组合的描述。这项工作提供了一个统一的计算框架,定义规范,促进这种结构。更具体地说,我们开发了相关的工具,涉及这些规范的优化只考虑到所需模型的非凸集的正交投影预言。作为一个例子,我们研究了一个规范,我们称之为双稀疏规范,促进向量与几个非零的项目,只有几个不同的值。我们进一步讨论了如何在这种情况下,K-均值算法可以作为底层的投影预言机,以及它如何可以有效地表示为一个二次约束的二次规划。我们研究这个规范的动机是在存在罕见特征的情况下的正则化回归,这对高维统计和一般机器学习中的各种方法提出了挑战。建议的估计过程的目的是执行自动特征选择和聚合,我们开发的统计界限。边界是通用的,并提供了一个基于范数的正则化的统计框架。边界依赖于新的几何量,我们试图详细说明。
2019-04-10 cs.LG math.OC math.ST
Fast projections onto mixed-norm balls with applications
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
联合稀疏性为特征选择提供了强有力的结构线索,特别是对于预期表现出“分组”行为的变量。这种行为通常通过组套索,多任务套索和相关方法来建模,其中特征选择通过混合范数来实现。几种基于混合范数的稀疏模型受到了广泛的关注,并且在某些情况下也可以使用高效的算法。令人惊讶的是,几个约束稀疏模型似乎缺乏可扩展的算法。我们通过提出批处理和在线(随机梯度)优化方法来解决这一缺陷,这两种方法都依赖于有效的预测到混合范数球。我们说明我们的方法,将其应用到多任务套索。最后,我们提出一些悬而未决的问题。
2012-04-06 cs.LG math.OC stat.ML
Enhancing Unsupervised Feature Selection via Double Sparsity Constrained Optimization
Shanghai University(上海大学);Northeastern University(东北大学);Sun Yat-sen University(中山大学)
本文提出 DSCOFS 方法,在 PCA 框架中引入 $\ell_{2,0}$-范数和 $\ell_0$-范数双重稀疏约束,并设计邻近交替极小化算法,以提升无监督特征选择的判别力、稳定性和聚类性能。
2025-01-01 cs.LG math.OC
On the equivalence of different adaptive batch size selection strategies for stochastic gradient descent methods
University of Nottingham(诺丁汉大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);RWTH Aachen University(亚琛工业大学);King Abdullah University of Science & Technology(阿卜杜拉国王科技大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文证明了在ε²=θ²+ν²条件下,SGD方法中范数检验与内积/正交性检验在收敛速率上等价,并分析了两种自适应批量选择策略的计算开销关系。
2023-07-04 cs.LG math.OC stat.ML
On the Adversarial Robustness of LASSO Based Feature Selection
University of California, Davis(加州大学戴维斯分校);Shenzhen Research Institute of Big Data(深圳市大数据研究院)
本文研究了基于$\ell_1$正则化线性回归模型(LASSO)的特征选择的对抗鲁棒性。在所考虑的模型中,有一个恶意的对手可以观察整个数据集,然后会仔细修改响应值或特征矩阵,以操纵所选择的特征。我们制定的修改策略的对手作为一个双层优化问题。由于$\ell_1$范数在零点处不可微的困难,我们将$\ell_1$范数正则化器转化为线性不等式约束。我们采用邻点法来解决这个重新制定的LASSO问题,并获得梯度信息。然后利用投影梯度下降方法设计修正策略。此外,我们证明了该方法可以扩展到其他基于$\ell_1$的特征选择方法,如组LASSO和稀疏组LASSO。模拟数据和实际数据的数值算例表明了该方法的有效性。
2020-10-20 cs.LG eess.SP math.OC
Non-uniform Feature Sampling for Decision Tree Ensembles
EPFL(洛桑联邦理工学院);IBM Research Lab, Zurich(IBM苏黎世研究实验室)
研究了非均匀随机特征选择在决策树分类中的有效性。我们实验评估两种特征选择方法,从提供的数据集提取的信息的基础上:$(i)$ \emph{leverage scores-based}和$(ii)$ \emph{norm-based}特征选择。对所提出的特征选择技术的实验评估表明,与朴素的均匀特征选择相比,这种方法可能更有效,而且与随机森林算法[3]具有相当的性能。
2014-03-24 cs.IT cs.LG math.IT
Robust Face Recognition using Local Illumination Normalization and Discriminant Feature Point Selection
Kim Il Sung University(金日成大学)
人脸识别系统必须对人脸表情、光照、头部姿态和年龄等各种因素的变化具有鲁棒性。特别是,对光照变化的鲁棒性是人脸识别系统实际应用中需要解决的最重要的问题之一。Gabor小波由于能够模拟人类视觉系统的功能而被广泛应用于人脸检测和识别中。本文提出了一种在局部光照变化下保持稳定的Gabor小波特征提取方法,并给出了实验结果,证明了该方法的有效性。
2012-12-11 cs.CV cs.LG
Diverse Subset Selection via Norm-Based Sampling and Orthogonality
School of Electrical Engineering at Tel Aviv University(特拉维夫大学电气工程学院)
针对标注成本高昂的问题,本文提出结合特征范数、随机化与正交性的子集选择方法,在多个图像和文本基准上显著提升多样性与信息量。
2025-09-26 cs.AI cs.CV cs.LG
CLIPLoss and Norm-Based Data Selection Methods for Multimodal Contrastive Learning
University of Washington(华盛顿大学);University of Michigan(密歇根大学)
针对CLIP预训练数据选择,提出改进模态对齐的s-CLIPLoss和基于范数的NormSim方法,在DataComp基准上显著提升性能并达到新SOTA。
2024-12-20 cs.CV cs.LG
SLS (Single $\ell_1$ Selection): a new greedy algorithm with an $\ell_1$-norm selection rule
École Centrale de Nantes(南特中央理工学院);CNRS(法国国家科学研究中心)
本文提出了一种新的用于稀疏逼近的贪婪算法--单L_1选择SLS算法。SLS本质上由一个贪婪的前向策略组成,其中在每次迭代中新组件的选择规则是基于解决最小二乘最优化问题,由剩余变量的L_1范数惩罚。然后,选择具有最大幅度的分量。对含有高相关字典的稀疏反卷积问题的仿真结果表明,该方法在解稀疏的情况下,性能优于常用的贪婪算法和基追踪去噪算法。
2021-02-11 cs.LG math.OC stat.CO
Discriminability-Driven Spatial-Channel Selection with Gradient Norm for Drone Signal OOD Detection
State Key Laboratory of Integrated Services Network(信息服务网络国家重点实验室);Xidian University(西安电子科技大学)
本文提出了一种结合判别性驱动空域-通道选择和梯度范数的无人机信号OOD检测算法,通过自适应加权时间-频率特征和融合能量分数,提升检测的判别力和鲁棒性。
2026-01-26 cs.LG
Mixed-norm Regularization for Brain Decoding
Université de Nice(尼斯大学);Gipsa Lab(Gipsa实验室);Université de Rouen(鲁昂大学)
本文研究了基于事件相关电位(ERP)的脑机接口(BCI)中传感器选择的混合范数正则化方法。分类问题被铸造作为一个歧视性的优化框架,传感器的选择是通过使用混合规范诱导。该框架被扩展到多任务学习的情况下,几个类似的分类任务相关的不同的主题是同时学习。在这种情况下,多任务学习有助于利用数据稀缺问题,从而产生更强大的分类器。为此,我们引入了一个正则化,诱导传感器选择和分类器的相似性。在三个ERP数据集上比较了不同的正则化方法,显示了混合范数正则化在传感器选择方面的兴趣。多任务的方法进行评估时,少量的学习实例产生显着的性能改善,特别是对科目表现不佳。
2014-03-14 cs.LG
Average Case Column Subset Selection for Entrywise $\ell_1$-Norm Loss
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
我们研究了列子集选择问题的条目方面的$\ell_1$-范数损失。已知在最坏的情况下,为了获得对矩阵的良好秩$k$近似,需要任意大的$n^{Ω(1)}$列数来获得对$n \times n$矩阵的最佳逐项$\ell_1$范数低秩近似的$(1+ε)$近似.然而,我们表明,在某些最小和现实的分布设置,它是可能的,以获得一个接近线性的运行时间和聚$(k/ε)+O(k\log n)$列的$(1+ε)$近似。也就是说,我们证明了,如果输入矩阵$A$具有$A = B + E$的形式,其中$B$是任意秩的$k$矩阵,$E$是具有i.i.d.对于任意小的常数$γ> 0$,从存在$(1+γ)$阶矩的任何分布$μ$中提取的项,则可以在近似线性时间内获得对逐项$\ell_1$范数的$(1+ε)$近似列子集选择。相反,我们表明,如果第一时刻不存在,那么它是不可能获得一个$(1+ε)$-近似子集选择算法,即使选择任何$n^{o(1)}$列。这是第一个算法的任何一种实现的$(1+ε)$近似的入口方向$\ell_1$-范数损失低秩近似。
2020-04-16 cs.DS cs.LG stat.ML
PNCS:Power-Norm Cosine Similarity for Diverse Client Selection in Federated Learning
Department of Electrical and Computer Engineering, McMaster University, Hamilton, Canada(电气与计算机工程系,麦斯特大学);Department of Electrical and Computer Engineering, National Yang-Ming Chiao-Tung University, Taiwan(电气与计算机工程系,国立阳明交通大学)
本文提出基于幂范数余弦相似度(PNCS)的联邦学习客户端选择框架,通过捕获高阶梯度矩应对非独立同分布数据,并引入选择历史队列确保多样性,实验表明在VGG16模型上优于现有方法。
2025-06-18 cs.AI cs.DC cs.LG
l0-norm Based Centers Selection for Training Fault Tolerant RBF Networks and Selecting Centers
City University of Hong Kong(香港城市大学)
本文的目的是训练一个RBF神经网络和选择中心的并发故障。容错是神经网络的一个非常有吸引力的特性。中心选择是RBF神经网络训练过程中的一个重要环节。在本文中,我们设计了两个新的算法来同时解决这两个问题。两者都是基于ADMM框架的。在第一种方法中,极小极大凹罚(MCP)函数被引入到选择中心。在第二种方法中,直接使用l0-范数项,并利用硬阈值(HT)来解决l0-范数项。在适当的条件下,我们证明了这两种方法都能全局收敛到唯一的极限点。仿真结果表明,在并发故障下,所提出的算法优于现有的许多方法。
2018-11-01 cs.LG cs.NE stat.ML
Normalizing Flows for Knockoff-free Controlled Feature Selection
University of Michigan(密歇根大学)
受控特征选择旨在发现响应所依赖的特征,同时将错误发现率(FDR)限制在预定义的水平。最近,已经提出了多种基于深度学习的方法来通过Model-X敲除框架执行受控特征选择。然而,我们证明,这些方法往往无法控制FDR有两个原因。首先,这些方法通常学习不准确的特征模型。第二,仿冒品有效所需的“互换”属性通常没有得到很好的执行。我们提出了一个新的程序称为FlowSelect进行控制功能选择,不遭受这两个问题。为了更准确地对特征进行建模,FlowSelect使用归一化流,这是用于密度估计的最先进方法。FlowSelect没有强制执行“交换”属性,而是使用一种新颖的基于MCMC的过程来直接计算每个特征的p值。渐进地,FlowSelect计算有效的p值。从经验上讲,FlowSelect始终控制合成和半合成基准上的FDR,而竞争的基于仿制品的方法则没有。FlowSelect还在这些基准测试中展示了更强大的功能。此外,FlowSelect还能从GWAS数据中正确推断出与特定大豆性状相关的遗传变异。
2022-10-21 cs.LG stat.ML
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
Dynamic selection of p-norm in linear adaptive filtering via online kernel-based reinforcement learning
Tokyo Institute of Technology(东京工业大学)
本研究解决了动态选择的问题,在每个时刻,“最优”的p-范数,以打击离群值的线性自适应滤波没有任何知识的潜在的随时间变化的概率分布函数的离群值。为此,通过基于内核的强化学习(KBRL)设计了一个在线和数据驱动的框架。在再生核Hilbert空间(RKHS)上引入了新的Bellman映射,该映射不需要关于Markov决策过程的转移概率的知识,并且关于Hilbert范数是非扩张的.通过引入Bellman映射不动点集的有限维仿射超集,给出了一个近似的策略迭代框架。众所周知的“灾难的维数”在RKHS解决通过建立一个基础的向量通过一个近似的线性依赖性标准。对合成数据的数值测试表明,所提出的框架总是选择“最优”的p-范数的离群值的情况下,在同一时间几个非RL和KBRL计划跑赢。
2022-10-21 cs.LG eess.SP
Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection
VNU University of Science(越南国家科学大学);Knovel Engineering Lab(Knovel工程实验室)
选择性引导通过判别层选择和范数保持旋转,实现对LLM行为的可控稳定修改。
2026-01-27 cs.AI cs.LG
Client Selection in Federated Learning based on Gradients Importance
Mohammed VI Polytechnic University(穆罕默德六世理工大学)
联邦学习(FL)使多个设备能够协作学习全局模型,而无需共享其个人数据。在实际应用中,不同的参与方可能具有异构的数据分布和有限的通信带宽。在本文中,我们感兴趣的是提高FL系统的通信效率。我们研究并设计了一种基于梯度范数重要性的设备选择策略。特别是,我们的方法包括在每个通信回合中选择具有最高梯度值范数的设备。我们研究了这样的选择技术的收敛性和性能,并将其与现有技术进行比较。我们进行了几个实验与非iid设置。结果表明,与随机选择相比,我们的方法具有收敛性,并且测试准确度显着提高。
2021-11-19 cs.LG
Brownian Heads for Deep ReLU Representations: Activation Mass and the Cost of Same-Sample Selection
Free University of Bozen–Bolzano(博尔扎诺自由大学);Technische Universität Braunschweig(布伦瑞克工业大学)
本研究提出布朗头模型,分析深度ReLU表示在同样本选择下的Rademacher复杂度,推导出激活质量相关的尖锐界,并通过实验验证了选择代价的存在。
2026-09-21 cs.LG stat.ML
LPLgrad: Optimizing Active Learning Through Gradient Norm Sample Selection and Auxiliary Model Training
Missouri University of Science and Technology(密苏里科学与技术大学);Washington State University(华盛顿州立大学)
本文提出主动学习方法 LPLgrad,通过主模型与辅助模型联合训练预测损失,并以未标注样本熵的梯度范数指导样本选择,在少量标注图像上显著超越现有方法,同时保持相当的训练与查询时间。
2024-11-20 cs.AI cs.CV cs.LG
An Iteratively Re-weighted Method for Problems with Sparsity-Inducing Norms
Northwestern Polytechnical University(西北工业大学);University of Pittsburgh(匹兹堡大学)
针对多任务学习、子空间聚类、特征选择、鲁棒主成分分析等机器学习任务中经常遇到的稀疏范数难以处理的问题,提出了一种具有可靠收敛保证的迭代重加权方法(IRW).我们研究其收敛速度,通过大量的实验上的真实数据。此外,为了验证IRW的实用性,我们使用它来解决一个具体的鲁棒特征选择模型,具有复杂的目标函数。实验结果表明,该模型与所提出的优化方法相结合,显着优于替代方法。
2019-07-02 cs.LG stat.ML
DEFT: Exploiting Gradient Norm Difference between Model Layers for Scalable Gradient Sparsification
Ajou University(亚洲大学)
本文提出 DEFT 梯度稀疏化方案,通过分区选择、层间梯度范数差异和装箱负载均衡,降低计算与通信开销,并在实验中显著提升选择速度且保持高收敛性能。
2023-07-13 cs.DC cs.LG
An Automatic Relevance Determination Prior Bayesian Neural Network for Controlled Variable Selection
University of Johannesburg(约翰内斯堡大学)
我们提出了一个自动相关性确定先验贝叶斯神经网络(BNN-ARD)的权重l2范数测量作为模型x敲除过滤器的特征重要性统计。我们在模拟数据和挪威风电场数据集上表明,相对于现实世界数据集上的变量选择能力和预测性能,所提出的特征重要性统计量在统计上都有显着改善。
2020-01-06 cs.LG stat.ML
Exclusive Group Lasso for Structured Variable Selection
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)(加泰罗尼亚电信技术中心(CTTC/CERCA))
针对组内稀疏的结构化变量选择问题,提出基于原子范数的互斥组稀疏复合范数及近端、主动集优化算法,并证明其带符号支撑集恢复的渐近一致性。
2023-11-02 cs.LG eess.SP stat.ML
LaPrune: Controllable Differentiable Sparsity at Million Scale
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院)
本研究提出LaPrune算法,通过LapSum屏障与归一化二阶矩约束实现百万规模下可控可微稀疏性,推导了相关理论保证,解决了稀疏模型训练中梯度与质量耦合的问题。
2026-08-06 cs.AI cs.LG
Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection
Department of Mathematics, Washington State University(数学系,华盛顿州立大学);Department of Statistics, University of Connecticut(统计系,康涅狄格大学);Department of Industrial and Systems Engineering, University of Wisconsin-Madison(工业与系统工程系,威斯康星大学麦迪逊分校)
本文从锥优化视角探讨变量选择问题,证明MCP和反Huber惩罚函数可视为视角松弛的特例,并通过半定松弛解决,结合Goemans-Williamson方法获得近似解。
2015-10-20 cs.LG cs.NA math.NA