K-means Derived Unsupervised Feature Selection using Improved ADMM
School of Data Science, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文提出K-means UFS方法,直接利用K-means目标进行无监督特征选择,并设计改进的ADMM求解NP难优化问题,实验证明其在聚类特征选择上优于现有基线方法。
2024-11-19 cs.AI cs.LG stat.ML
Unsupervised Feature Selection to Identify Important ICD-10 Codes for Machine Learning: A Case Study on a Coronary Artery Disease Patient Cohort
University of Calgary(卡尔加里大学);Kyung Hee University(庆熙大学)
针对冠状动脉疾病患者 ICD 编码高维问题,比较五种无监督特征选择方法,发现带 ICD 树权重调整的 Concrete Autoencoders 在特征重建和 90 天死亡率预测上表现最佳,并降低特征复杂度。
2023-03-25 cs.AI cs.LG
Towards Truly Unsupervised Evaluation of Feature Selection -- Extended Version
University of Southern Denmark(南丹麦大学)
本文针对现有无监督特征选择评估方法的缺陷,提出了一种无需标签信息、结合无监督主成分分析与最优传输的真正无监督评估框架,解决了现有评估方法的监督性质问题。
2026-09-15 cs.LG
LUCoS: Latent Unsupervised Context Selection for Tabular Foundation Models
Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究 institute);Department of Computer Science and Artificial Intelligence (DECSAI)(计算机科学与人工智能系);Research Center in Information and Communication Technologies (CITIC)(信息与通信技术研究中心);Instituto de Investigación Biosanitaria Ibs.GRANADA, University of Granada, Granada, 18071, Spain(格拉纳达大学生物医学研究所)
针对表格基础模型在低标签场景下的上下文选择问题,提出LUCoS方法,利用无监督先验拟合网络(PFN)的潜在几何结构选择代表性medoids作为上下文,在67个数据集上优于随机选择和原始空间方法。
2026-05-26 cs.AI cs.LG
Unsupervised feature selection algorithm framework based on neighborhood interval disturbance fusion
Shanxi University(山西大学);Anhui University(安徽大学)
本文提出基于邻域区间扰动融合的无监督特征选择算法NIDF,通过区间近似数据集并联合学习特征得分与数据区间,以提升算法稳定性,实验验证了其优越性。
2024-10-20 cs.LG
Unsupervised Classification Using Immune Algorithm
Damascus University(大马士革大学);Faculty of Mechanical and Electrical Engineering(机电工程学院);Faculty of Information technology Engineering(信息技术工程学院)
提出了一种基于克隆选择原理的无监督分类算法--无监督克隆选择分类(UCSC)。新算法是数据驱动的自适应算法,它根据数据调整参数,使分类操作尽可能快。UCSC的性能进行评估,通过比较它与著名的K-均值算法,使用几个人工和现实生活中的数据集。实验结果表明,与传统的K-means等分类方法相比,UCSC算法具有更高的分类精度和可靠性。
2012-01-25 cs.AI cs.LG
Unsupervised Instance Selection with Low-Label, Supervised Learning for Outlier Detection
Elder Research, Inc.(埃尔德研究公司)
标记数据的费力过程通常会阻碍旨在利用监督机器学习的能力的项目。主动学习(AL)已经建立了一种技术,以改善这种情况下,通过一个迭代的框架,查询人类注释的标签的实例与最不确定的类分配。通过这种机制,AL产生了一个二元分类器,该分类器在较少的标记数据上训练,但预测性能几乎没有损失。尽管AL具有优势,但它在处理类别不平衡的数据集时可能会遇到困难,并导致标记过程效率低下。为了解决这些缺点,我们研究了我们的无监督实例选择(UNISEL)技术,然后在低标签条件下对10个离群值检测数据集进行随机森林(RF)分类。将这些结果与在相同数据集上执行的AL进行比较。此外,我们调查的UNISEL和AL的组合。结果表明,UNISEL其次是RF执行与RF和UNISEL和AL的组合表现出优越的性能。这些调查结果的实际影响,在节省时间和普遍性UNISEL提供了讨论。
2022-03-17 cs.AI cs.LG
Unsupervised Feature Selection Algorithm Based on Dual Manifold Re-ranking
针对无监督特征选择难以利用数据结构的问题,提出DMRR算法,通过构建样本、样本-特征及特征间流形相似度并联合重排序,实验证明其能提升特征选择效果。
2024-10-27 cs.LG
Automatically Redundant Features Removal for Unsupervised Feature Selection via Sparse Feature Graph
Stony Brook University(石溪大学);General Electric Global Research(通用电气全球研究中心)
高维数据中存在的冗余特征往往会影响学习和挖掘算法的性能。如何检测和去除它们是机器学习和数据采掘研究中的一个重要研究课题。在本文中,我们提出了一个基于图的方法来自动发现和删除这些冗余的功能,高维数据。在基于稀疏学习的无监督特征选择框架的基础上,引入稀疏特征图(SFG)来描述特征间的冗余,揭示特征组间的组冗余。利用SFG,我们可以将整个特征分成不同的组,并通过去除检测到的冗余特征来改善数据的内在结构。通过精确的数据结构,可以获得质量指标向量,从而提高现有无监督特征选择算法如多聚类特征选择(MCFS)的学习性能。我们在基准数据集上的实验结果表明,所提出的SFG和特征冗余去除算法可以提高无监督特征选择算法的性能一致。
2017-06-30 cs.LG
Performance analysis of unsupervised feature selection methods
Periyar University(佩里亚尔大学)
特征选择(FS)是试图选择更多信息特征的过程。在某些情况下,过多的冗余或不相关的特征可能会压倒主要特征的分类。特征选择可以弥补这个问题,从而提高预测精度,减少分类算法的计算开销。特征选择的主要目的是从问题域中确定最小特征子集,同时在表示原始特征时保持适当的高精度。在本文中,主成分分析(PCA),粗糙PCA,无监督快速还原(USQR)算法和经验分布排名(EDR)的方法被应用到发现的歧视性特征,这将是最适当的分类。使用标准的分类指标的方法的效率进行评估。
2013-06-06 cs.LG
Unsupervised Dynamic Feature Selection for Robust Latent Spaces in Vision Tasks
Universidade da Coruña(科鲁纳大学);CITIC Research Center(CITIC研究中心)
针对视觉任务中潜在表征易受噪声/无关特征干扰的问题,提出无监督动态特征选择方法,无标注依赖地逐样本筛选特征以构建鲁棒潜在空间,在多视觉任务上以极小计算代价提升了模型泛化性能。
2025-10-02 cs.AI cs.CV cs.LG
Low-rank Dictionary Learning for Unsupervised Feature Selection
University of Tehran(德黑兰大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
在生物学、计算机视觉、社交网络等实际应用中存在着大量的高维数据。特征选择方法的目的是有效的学习技术,以及降低模型的复杂性,以面对高维数据的挑战。由于这些数据集上的标记的困难,有各种各样的方法在特征选择过程中,在一个无监督的设置,通过考虑一些重要的数据特性。在本文中,我们介绍了一种新的无监督的特征选择方法,通过应用字典学习的思想,在一个低秩表示。低秩表示中的字典学习不仅使我们能够提供新的表示,而且还保持了特征相关性。然后,频谱分析,以保持样本的相似性。最后,通过$\ell_{2,1}$ -范数正则化,以稀疏的方式提出了一个统一的无监督特征选择目标函数.此外,设计了一种有效的数值算法来解决相应的优化问题。我们证明了所提出的方法的性能的基础上,从不同的应用领域的各种标准数据集。我们的实验结果表明,该方法优于国家的最先进的算法。
2021-06-21 cs.LG
Unsupervised Feature Selection with Adaptive Structure Learning
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
特征选择的问题在过去的十年中引起了相当大的兴趣。传统的无监督方法选择能够忠实地保持数据内在结构的特征,其中内在结构是利用数据的所有输入特征来估计的。然而,当不去除冗余和噪声特征时,估计的内在结构是不可靠/不准确的。因此,我们面临着一个两难的境地:一个需要数据的真实结构来识别信息特征,一个需要信息特征来准确地估计数据的真实结构。为了解决这个问题,我们提出了一个统一的学习框架,同时进行结构学习和特征选择。该方法从特征选择的结果中自适应地学习数据结构,并重新选择信息特征以保持数据的精细结构。通过利用这两个基本任务之间的相互作用,我们能够捕获准确的结构并选择更多信息的特征。在许多基准数据集上的实验结果表明,该方法优于许多最先进的无监督特征选择方法。
2015-04-03 cs.LG
AutoEncoder Inspired Unsupervised Feature Selection
Peking University(北京大学)
在计算机视觉和机器学习任务等许多领域,高维数据给计算和分析带来了困难。特征选择是从观测到的特征中选择一个子集,是一种广泛使用的提高高维数据机器学习模型性能和有效性的方法。在本文中,我们提出了一种新的自动编码器特征选择(AEFS)的无监督特征选择结合自动编码器回归和组套索任务。与传统的特征选择方法相比,AEFS能够挖掘特征间的线性和非线性信息,从而选择出最重要的特征,比传统的自表示方法在无监督特征选择中只采用线性假设的情况下更加灵活。在基准数据集上的实验结果表明,该方法优于现有方法。
2018-04-09 cs.LG stat.ML
Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection
HuaQiao University(华侨大学);Fuzhou University(福州大学)
特征选择是数据采掘和机器学习中一个重要的数据预处理过程,它可以在不降低模型性能的前提下降低特征维数。由于获取带注释的数据在许多情况下是费力的,甚至是不可行的,无监督的特征选择在现实中更实用。虽然已经提出了许多无监督的特征选择方法,但这些方法都是独立地选择特征,因此不能保证选择的特征组是最优的。此外,必须仔细调整所选特征的数量以获得满意的结果。为了解决这些问题,本文提出了一种联合自适应图和结构稀疏正则化无监督特征选择(JASFS)方法.该方法在流形学习中引入一个关于变换矩阵的$l_{2,0}$范数正则化项用于特征选择,在学习模型中引入一个图正则化项用于自适应地学习数据的局部几何结构.通过对该优化问题的计算复杂性分析,设计了一种简单有效的迭代算法。优化完成后,将分组选择最优特征子集,并自动确定所选特征的数量。八个基准测试的实验结果表明,该方法的有效性和效率相比,一些国家的最先进的方法。
2022-04-07 cs.LG
Global and Local Structure Preserving Sparse Subspace Learning: An Iterative Approach to Unsupervised Feature Selection
University of Electronic Science and Technology of China(电子科技大学);University of Alberta(阿尔伯塔大学);University of Waterloo(滑铁卢大学)
由于我们的目标是减轻高维灾难,子空间学习变得越来越流行。现有的方法使用的是关于数据的全局或局部结构的信息,很少有研究同时关注全局和局部结构,因为它们都包含重要的信息。本文提出了一种全局和局部结构保持的稀疏子空间学习(GLoSS)模型,用于无监督特征选择。该模型可以同时实现特征选择和子空间学习。此外,我们开发了一个贪心算法来建立一个通用的组合模型,并使用基于加速块坐标下降的迭代策略来解决GLoSS问题。给出了该迭代算法的全序列收敛性分析。在真实数据集上进行了大量的实验,以显示所提出的方法优于几种最先进的无监督特征选择方法。
2015-10-19 cs.LG
Multi-view Unsupervised Feature Selection by Cross-diffused Matrix Alignment
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在大数据时代,多视角的高维数据变得越来越普遍。特征选择是缓解多视图学习中维数灾难的有效方法。在本文中,我们研究了无监督特征选择的多视图数据,类标签通常是昂贵的获得。传统的特征选择方法大多是针对单视图数据设计的,不能充分利用多视图数据中的丰富信息。现有的多视图特征选择方法通常是基于噪声聚类标签,这可能无法从多视图数据中保留足够的信息。为了更好地利用多视图信息,我们提出了一种方法,CDMA-FS,通过交叉扩散矩阵上执行对齐来选择每个视图的特征。我们将其表述为一个约束优化问题,并使用基于拟牛顿的方法求解。在四个真实世界数据集上的实验结果表明,该方法在多视图环境下比现有方法更有效。
2017-05-02 cs.LG
Unsupervised Model Selection for Time-series Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学);AWS AI Labs(AWS人工智能实验室)
时间序列的异常检测有着广泛的实际应用。虽然文献中已经提出了许多异常检测方法,但最近的一项调查得出结论,没有一种方法在各种数据集上是最准确的。更糟糕的是,异常标签很少,在实践中很少可用。在文献中,为没有标签的给定数据集选择最准确的模型的实际问题很少受到关注。本文回答了这个问题,即给定一个未标记的数据集和一组候选异常检测器,我们如何选择最准确的模型?为此,我们确定了三类替代(无监督)指标,即预测误差,模型中心性,和性能注入合成异常,并表明,一些指标是高度相关的标准监督异常检测性能指标,如$F_1$分数,但在不同程度上。我们制定度量组合与多个不完美的替代指标作为一个强大的秩聚合问题。然后,我们提出的方法背后的理论依据。在多个真实世界数据集上的大规模实验表明,我们提出的无监督方法与基于部分标记数据选择最准确的模型一样有效。
2023-01-24 cs.AI cs.LG
Unsupervised feature selection using Bayesian Tucker decomposition
Department of Physics, Chuo University(筑波大学物理系);Graduate School of Social Data Science, Hitotsubashi University(早稻田大学社会数据科学研究生院)
本文提出贝叶斯塔克分解(BTuD)用于无监督特征选择,通过高阶正交迭代实现,适用于多种数据集,展示了其在基因表达等领域的应用潜力。
2026-04-18 cs.LG stat.ML
Deep Unsupervised Feature Selection by Discarding Nuisance and Correlated Features
现代数据集通常包含大量相关特征和讨厌特征的子集,这些特征与数据的主要底层结构无关或松散相关。营养特征可以使用拉普拉斯得分标准来识别,该标准通过其与图拉普拉斯的领先特征向量的一致性来评估给定特征的重要性。我们证明,在大量的滋扰功能的存在下,拉普拉斯算子必须计算所选功能的子集,而不是完整的功能集。为此,我们提出了一种完全可区分的无监督特征选择方法,利用Laplacian评分标准来避免选择讨厌的特征。我们采用自动编码器架构来处理相关的功能,训练从选定的功能的子集重建数据。基于最近提出的混凝土层,允许通过架构设计控制所选功能的数量,简化优化过程。在几个真实世界的数据集上进行实验,我们证明了我们提出的方法优于类似的方法,旨在避免相关或滋扰功能,但不是两者兼而有之。几个国家的最先进的聚类结果的报告。
2021-10-11 cs.AI cs.LG stat.ML
Unsupervised Model Selection for Variational Disentangled Representation Learning
DeepMind(深度思维)
最近已经证明,在简单的监督和强化学习任务中,解纠缠表示可以提高公平性、数据效率和泛化能力。为了将解纠缠表示的好处扩展到更复杂的领域和实际应用,重要的是要启用现有无监督方法的超参数调整和模型选择,而无需访问大多数数据集不可用的地面真值属性标签。本文针对这个问题,介绍了一个简单而强大的和可靠的方法,无监督的解纠缠模型选择。我们的方法,无监督解纠缠排名(UDR),利用最近的理论结果解释了为什么变分自编码器解纠缠(Rolinek et al,2019),通过在训练的模型表示之间进行成对比较来量化解纠缠的质量。我们表明,我们的方法对来自六个最先进的无监督分解表示学习模型类的5,400个模型中的现有监督替代方案进行了验证。此外,我们表明,我们的方法产生的排名以及相关的最终任务的性能在两个不同的域。
2020-02-14 cs.LG stat.ML
Block Model Guided Unsupervised Feature Selection
University of California, Davis(加利福尼亚大学戴维斯分校)
特征选择是数据挖掘的一个核心领域,最近的创新是图驱动的无监督特征选择的链接数据。在此设置中,我们有一个数据集$\mathbf{Y}$,该数据集由每个具有$m$特征的$n$实例和相应的$n$节点图(其邻接矩阵为$\mathbf{A}$)组成,该节点图具有指示两个实例相似的边。在属性网络上进行无监督特征选择的现有努力已经探索了通过求解$f$来直接重新生成链接,使得$f(\mathbf{y}_i,\mathbf{y}_j) \approx \mathbf{A}_{i,j}$或在$\mathbf{A}$中找到社区结构并使用$\mathbf{Y}$中的特征来预测这些社区。然而,图形驱动的无监督特征选择仍然是一个研究不足的领域,探索更复杂的指导。在这里,我们采取了新的方法,首先在图上建立一个块模型,然后使用块模型进行特征选择。也就是说,我们发现$\mathbf{F}\mathbf{M}\mathbf{F}^T \approx \mathbf{A}$,然后找到一个子集的功能$\mathcal{S}$,诱导另一个图,以保持$\mathbf{F}$和$\mathbf{M}$。我们称我们的方法块模型引导无监督特征选择(BMGUFS)。实验结果表明,我们的方法优于国家的最先进的几个现实世界的公共数据集上找到高质量的特征聚类。
2020-07-05 cs.LG stat.ML
Reinforcement Neighborhood Selection for Unsupervised Graph Anomaly Detection
Zhejiang University(浙江大学);New York University Shanghai(上海纽约大学);The Hong Kong Polytechnic University(香港理工大学)
针对无监督图异常检测中异常污染邻域的问题,本文提出RAND,通过强化学习选择可靠邻居并进行异常感知聚合,在合成与真实数据集上优于现有方法。
2023-12-09 cs.AI cs.LG
Distance Rank Score: Unsupervised filter method for feature selection on imbalanced dataset
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Univ. Savoie Mont Blanc(萨瓦大学);CNRS(法国国家科学研究中心);Optimistik
本文提出一种基于斯皮尔曼秩相关的无监督过滤特征选择方法,通过观测距离与特征距离的秩相关性避免方差法在不平衡多类数据上的缺陷,并在多个聚类任务中验证其有效性。
2023-05-31 cs.LG stat.ML
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection
Air Force Engineering University(空军工程大学);Northwestern Polytechnical University(西北工业大学)
在数据采掘领域,如何处理高维数据是一个不可避免的问题。无监督特征选择由于不依赖于标签而受到越来越多的关注。基于谱的无监督方法的性能取决于构造的相似性矩阵的质量,该矩阵用于描述数据的内在结构。然而,现实世界中的数据包含大量的噪声样本和特征,使得由原始数据构造的相似度矩阵不能完全可靠。更糟糕的是,随着样本数量的增加,相似度矩阵的大小迅速膨胀,使得计算成本显著增加。受主成分分析的启发,我们提出了一种简单有效的无监督特征选择方法,通过结合重建误差和$l_{2,p}$ -范数正则化。投影矩阵用于特征选择,通过在稀疏约束下最小化重建误差来学习。然后,我们提出了一个有效的优化算法来解决所提出的无监督模型,并从理论上分析了算法的收敛性和计算复杂性。最后,在真实数据集上的实验证明了该方法的有效性。
2020-12-29 cs.LG stat.ML
Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran(德黑兰大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来,由于在大数据集上的标记任务繁重,基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法,通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性,而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明,与现有的方法相比,我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
Identifying Selections for Unsupervised Subtask Discovery
Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该研究针对无监督子任务发现问题,提出子任务是动作选择机制产物的理论,开发seq-NMF方法学习子目标提取子任务,实验验证其可提升多任务模仿学习的新任务泛化能力。
2024-10-28 cs.AI cs.LG cs.RO
Incremental Unsupervised Feature Selection for Dynamic Incomplete Multi-view Data
Southwestern University of Finance and Economics(西南财经大学);JD Intelligent Cities Research(京东智能城市研究院);Minnan Normal University(闽南师范大学);FernUniversität in Hagen(哈根函授大学);Southwest Jiaotong University(西南交通大学)
多视图无监督特征选择已被证明是有效的,以减少多视图的高维未标记数据的维数。前面的方法假设所有视图都是完整的。然而,在实际应用中,多视图数据往往是不完整的,即,这些方法在实际应用中往往会遗漏一些实例的视图,从而导致方法的失败。此外,当数据以流的形式到达时,这些现有的方法将遭受高存储成本和昂贵的计算时间的问题。为了解决这些问题,我们提出了一个增量不完整的多视图无监督特征选择方法(I $^2$ MUFS)不完整的多视图流数据。通过联合考虑不同视图之间的一致性和互补性信息,$^2$ MUFS将无监督特征选择嵌入到一个扩展的加权非负矩阵分解模型中,该模型可以学习一致性聚类指示矩阵并使用自适应视图权重融合不同的潜在特征矩阵。此外,我们引入增量学习机制来开发一种替代的迭代算法,其中特征选择矩阵是增量更新的,而不是从头开始重新计算整个更新的数据。通过与现有的几种方法进行比较,验证了该方法的有效性。实验结果表明,该方法的有效性和效率的聚类指标和计算成本。
2022-12-30 cs.LG
Unsupervised Feature Selection Based on Space Filling Concept
University of Lausanne(洛桑大学)
本文讨论了无监督特征选择问题的一个新的措施的适应。所提出的措施是基于空间填充的概念,被称为覆盖措施。该方法被用于判断一个实验空间填充设计的质量。在目前的工作中,覆盖率的措施是适应于选择最小的信息子集的变量,通过减少数据中的冗余。本文提出了一个简单的类比来应用这一措施。它是实现在一个过滤器算法的无监督特征选择问题。该滤波算法对高维数据具有较强的鲁棒性,且无需额外参数即可实现。此外,它是测试与模拟数据和现实世界的案例研究,包括环境数据和高光谱图像。最后,用随机森林算法对结果进行了评价。
2017-06-27 cs.LG stat.ME stat.ML
A Large-scale Study on Unsupervised Outlier Model Selection: Do Internal Strategies Suffice?
Carnegie Mellon University(卡内基梅隆大学)
给定一个无监督的离群值检测任务,应该如何选择检测算法及其超参数(统称为模型)?无监督模型选择是出了名的困难,在没有坚持的验证数据与地面真理标签。因此,这个问题还没有得到充分的研究。在这项工作中,我们研究的可行性,采用内部模型评估策略选择模型离群检测。这些所谓的内部策略仅依赖于候选模型的输入数据(没有标签)和输出(离群值分数)。我们设置(并开源)了一个大型测试平台,其中包含39个检测任务和297个候选模型,包括8个检测器和各种超参数配置。我们评估了7种不同的策略,以区分模型w.r.t.检测性能,无需使用任何标签。我们的研究揭示了进步的空间--我们发现没有一个是实际有用的,因为他们选择的模型只能与最先进的探测器(具有随机配置)相媲美。
2021-04-12 cs.LG
Toward Unsupervised Outlier Model Selection
Carnegie Mellon University(卡内基梅隆大学)
目前,文献中不乏离群点检测算法,但无监督离群点模型选择(UOMS)的补充和关键问题却被广泛研究。在这项工作中,我们提出了ELECT,一种新的方法来选择一个有效的候选模型,即离群检测算法及其超参数,用于没有任何标签的新数据集。ELECT的核心是基于元学习;在与新数据集相似的历史数据集上转移先验知识(例如模型性能),以促进UOMS。独特的是,它采用了基于性能的数据集相似性度量,这比过去使用的其他度量更直接和目标驱动。ELECT自适应地搜索类似的历史数据集,因此,它可以按需提供输出,能够适应不同的时间预算。大量的实验表明,ELECT显著优于各种基本的UOMS基线,包括没有模型选择(总是使用相同的流行模型,如iForest)以及基于元特征的最新选择策略。
2022-11-03 cs.LG
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University(多伦多都会大学);University of Toronto(多伦多大学)
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中,秩显示QR(RRQR)因子分解,这是计算上比奇异值分解(SVD)便宜,利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择,这是该因子分解方法的独特性质。此外,QR分解嵌入到非负矩阵分解(NMF)的目标函数作为一种新的无监督特征选择方法。最后,提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中,使用RRQR分解去除冗余特征,并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的,当与最先进的特征选择算法在监督,无监督和半监督设置。所有的方法进行了测试,7个可用的微阵列数据集,使用KNN,SVM和C4.5分类。实验结果表明,该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
Objective-Induced Bias and Search Dynamics in Multiobjective Unsupervised Feature Selection
LIACS, Leiden University(莱顿大学LIACS);LUMC, Leiden University(莱顿大学LUMC)
本研究探讨了多目标无监督特征选择中评价目标对搜索动态和Pareto前沿质量的影响,发现基于轮廓系数的评价目标倾向于产生低基数的平凡解,而提出的PCA损失目标能生成测试准确度与监督优化相似的紧凑子集。
2026-06-29 cs.LG
Unsupervised Feature Selection via Robust Autoencoder and Adaptive Graph Learning
Department of Sociology University of California, Davis, California, USA(加州大学戴维斯分校社会学系)
本文提出RAEUFS模型,通过深度自编码器学习非线性特征表示并提高对异常值的鲁棒性,实验表明其在清洁和异常值污染数据中均优于现有方法。
2026-03-19 cs.LG stat.ML
Unsupervised learning with GLRM feature selection reveals novel traumatic brain injury phenotypes
Perelman School of Medicine(佩雷尔曼医学院);University of Pennsylvania(宾夕法尼亚大学)
基线损伤分类对创伤性脑损伤(TBI)的研究和治疗具有重要意义。目前的分类主要是基于损伤的评分,不足以捕捉损伤的异质性。在这项工作中,我们应用无监督聚类来识别新的TBI表型。我们的方法使用一个广义低秩模型(GLRM)模型的特征选择在一个类似于包装方法的过程。由此产生的聚类揭示了四种新的TBI表型,具有不同的特征,并与90天的功能和认知状态相关。
2018-11-30 cs.LG q-bio.QM stat.ML
Unsupervised Hypergraph Feature Selection via a Novel Point-Weighting Framework and Low-Rank Representation
Amirkabir University of Technology(阿米尔卡比尔理工大学)
特征选择方法被广泛用于解决“维数灾难”问题。许多提出的特征选择框架,平等地对待所有的数据点,忽略了它们不同的表示能力和重要性。在本文中,我们提出了一个无监督的超图特征选择方法,通过一个新的点加权框架和低秩表示,捕捉不同的数据点的重要性。我们引入了一种新的低复杂度的软超图来建模数据。然后,我们制定的特征选择作为一个优化问题,以保持局部关系,也是全球的数据结构。我们的全局结构保存方法有助于该框架克服无监督学习中数据标签不可用的问题。所提出的特征选择方法根据数据点在定义数据结构和表示能力方面的重要性来处理不同的数据点。此外,由于特征选择方法对噪声和离群值的鲁棒性是非常重要的,我们在我们的模型中采用低秩表示。此外,我们提供了一个有效的算法来解决所提出的优化问题。所提出的算法的计算成本低于许多国家的最先进的方法,这是非常重要的特征选择任务。我们在不同的基准数据集上进行了各种评估方法的综合实验。这些实验表明,显着的改善,与国家的最先进的特征选择方法相比。
2018-10-03 cs.LG stat.ML
Beyond Correlation: Causal Multi-View Unsupervised Feature Selection Learning
Joint Laboratory of Data Science and Business Intelligence, School of Statistics and Data Science, Southwestern University of Finance and Economics(数据科学与商务智能联合实验室,统计与数据科学学院,西南财经大学);College of Information Science and Engineering, Ocean University of China(信息科学与工程学院,中国海洋大学);School of Computing and Artificial Intelligence, Southwest Jiaotong University(计算与人工智能学院,西南交通大学)
针对现有多视图无监督特征选择方法因忽略混杂因子导致的虚假相关性易选出无关特征的问题,本文提出CAUSA方法,通过因果正则化缓解虚假相关性,实验验证其性能优于现有最优方法。
2025-11-18 cs.LG
Unsupervised feature selection via self-paced learning and low-redundant regularization
Southwest Jiaotong University(西南交通大学);National Engineering Laboratory of Integrated Transportation Big Data Application Technology(综合交通运输大数据应用技术国家工程实验室)
由于大量未标记数据的出现,无监督特征选择越来越受到人们的关注。需要考虑样本的分布以及使用更有效顺序的样本训练学习方法的潜在效果,以提高方法的鲁棒性。考虑到样本的训练顺序,自步调学习是一种有效的方法。在本研究中,提出一种结合自步调学习与子空间学习架构的无监督特征选择方法。此外,局部流形结构保持和冗余的特征是由两个正则项约束。$L_{2,1/2}$ -范数应用于投影矩阵,其目的是保留鉴别特征并进一步减轻数据中的噪声的影响。然后,提出了一种求解优化问题的迭代法。理论和实验证明了该方法的收敛性。所提出的方法进行了比较与其他国家的最先进的算法在9个真实世界的数据集。实验结果表明,该方法可以提高聚类方法的性能,优于其他比较算法。
2021-12-14 cs.LG
Unsupervised Feature Selection Through Group Discovery
针对现有无监督特征选择方法孤立评估特征或依赖预定义组的局限,提出端到端可微分框架GroupFS,可联合发现潜在特征组并选择信息性组,在9个基准测试中聚类性能优于现有方法。
2025-11-12 cs.LG
IW-GAE: Importance Weighted Group Accuracy Estimation for Improved Calibration and Model Selection in Unsupervised Domain Adaptation
Northwestern University(西北大学)
针对无监督域适应中的分布偏移,提出重要性加权组精度估计器(IW-GAE),通过优化重要性权重实现准确组精度估计,在模型校准和选择任务上分别提升22%和14%。
2024-07-17 cs.LG stat.ML
Scalable unsupervised feature selection via weight stability
School of Computer Science and Electronic Engineering, University of Essex, Wivenhoe, UK(埃塞克斯大学计算机科学与电子工程学院,英国威文豪)
本文提出了一种基于Minkowski加权k-均值的无监督特征选择方法,通过聚合不同Minkowski指数下的特征权重来识别稳定且信息丰富的特征,从而提升聚类性能。
2026-06-24 cs.LG
Extending Contrastive Learning to Unsupervised Coreset Selection
KAIST(韩国科学技术院);Kyungpook National University(庆北国立大学)
自监督对比学习提供了一种从未标记数据池中学习信息特征的方法。在本文中,我们深入研究了另一种有用的方法-提供了一种选择完全未标记的核心集的方法。在这方面,对比学习,大量的自我监督的方法之一,最近提出,并一直提供最高的性能。这促使我们选择了两种主要的对比学习方法:视觉表征对比学习的简单框架(Simplified)和动量对比学习框架(MoCo)。我们计算了对比学习过程的整个持续时间内每个时期的余弦相似度,随后累积余弦相似度值以获得coreset分数。我们的假设是,具有低相似性的样本可能表现为coreset。与现有的核心选择方法与标签相比,我们的方法减少了与人类注释相关的成本。在本研究中实现的用于核心集选择的无监督方法在随机选择的子集上获得了改进的结果,并且与各种分类数据集上的现有监督核心集选择(例如,CIFAR、SVHN和QMNIST)。
2021-04-07 cs.LG
Fast Unsupervised Deep Outlier Model Selection with Hypernetworks
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加利福尼亚大学)
针对无监督深度异常值检测模型的超参数调优难题,提出HYPER框架,利用超网络动态生成模型权重并结合元学习训练代理验证函数,在保证高性能的同时实现了显著的效率提升。
2024-08-24 cs.AI cs.LG
Towards Accurate Model Selection in Deep Unsupervised Domain Adaptation
University of California, Berkeley(加州大学伯克利分校);UC Berkeley(加州大学伯克利分校)
针对深度无监督域适应中缺乏准确模型选择方法的问题,提出Deep Embedded Validation (DEV)方法,通过嵌入适应特征表示到验证过程中,获得目标风险的无偏估计,并利用控制变量技术降低方差,理论和实验证明了其有效性。
2026-06-03 cs.LG
Adaptive Collaborative Similarity Learning for Unsupervised Multi-view Feature Selection
Shandong Normal University(山东师范大学);Shandong University(山东大学);University of Electronic Science and Technology of China(电子科技大学);National University of Singapore(新加坡国立大学)
本文研究了无监督多视图特征选择的研究问题。传统的解决方案首先简单地将多个预先构建的视图特定相似性结构组合成协作相似性结构,然后执行后续的特征选择。这两个过程是分开和独立的。协作相似性结构在特征选择期间保持固定。此外,简单的无向视图组合可能不利地降低用于特征选择的最终相似性结构的可靠性,因为视图特定的相似性结构通常涉及噪声和外围条目。为了缓解这些问题,我们提出了一个自适应的协作相似性学习(ACSL)的多视图特征选择。我们建议动态学习的合作相似性结构,并进一步将其与最终的特征选择到一个统一的框架。此外,通过合理的排序约束,自适应地学习出一个理想的协同相似结构,并给出合适的相似度组合权重和理想的邻域分配,这两点都有利于特征选择.一个有效的解决方案,保证证明的收敛性,推导出迭代解决制定的优化问题。实验证明了该方法的优越性。
2019-04-25 cs.IR cs.LG
Unsupervised Feature Selection Algorithm Based on Graph Filtering and Self-representation
Shanxi University(山西大学);Sichuan University(四川大学);Anhui University(安徽大学)
针对现有无监督特征选择方法未考虑数据高阶邻域信息、难捕捉数据内在结构的问题,提出结合图滤波与自表示的算法,通过高阶图滤波、l2,1范数约束及迭代求解提升特征选择效果,经仿真验证有效。
2024-11-01 cs.LG
Subject Selection on a Riemannian Manifold for Unsupervised Cross-subject Seizure Detection
Emory University School of Medicine(埃默里大学医学院);Georgia Institute of Technology(佐治亚理工学院)
个体之间的受试者间差异性对受试者间脑信号分析问题提出了挑战。提出了一种基于黎曼流形上协方差矩阵聚类的主题选择算法。在无监督地选择相关受试者的子集之后,将聚类中的数据映射到该聚类中的协方差矩阵的平均点处的切空间,并且训练来自相关受试者的标记数据的SVM分类器。在癫痫发作脑电数据库上的实验表明,该方法将癫痫发作脑电特征提取的准确率从86.83%提高到89.84%,特异性从87.38%提高到89.64%,同时将每小时的假阳性率从0.8个/小时降低到0.77个/小时。
2017-12-01 cs.LG stat.ML
CONDEN-FI: Consistency and Diversity Learning-based Multi-View Unsupervised Feature and In-stance Co-Selection
Joint Laboratory of Data Science and Business Intelligence, School of Statistics, Southwestern University of Finance and Economics(西南财经大学统计学院数据科学与商务智能联合实验室);University of Kansas(堪萨斯大学);School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对多视图无监督共选择中特征与实例选择割裂、忽略视图一致性的问题,提出CONDEN-FI方法,通过双空间重构学习视图一致与特有表征,结合视图共识相似图提升实例多样性,实验验证其优于现有最优方法。
2024-12-09 cs.LG
Automatic Unsupervised Ensemble Outlier Model Selection--Extended Version
Department of Software Engineering, FPT University, Vietnam(FPT大学软件工程系);Department of Information Technology, Can Tho University of Technology, Vietnam(胡志明市技术大学信息科技系);School of Business, RMIT University, Vietnam(RMIT大学商学院);Department of Computer Science, Aalborg University, Denmark(阿阿尔堡大学计算机科学系);School of Data Science and Engineering, East China Normal University, China(华东师范大学数据科学与工程学院)
本文提出MetaEns框架,通过学习预测边际增益模型,自动选择高质异常检测模型集成,无需标注数据,实验显示其在39个真实数据集上表现优异。
2026-05-15 cs.AI cs.DB cs.LG
Kernel Alignment for Unsupervised Feature Selection via Matrix Factorization
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出整合核函数与核对齐的矩阵分解无监督特征选择方法,并引入多核学习自动生成最优核,在真实数据上显著提升了聚类效果与冗余减少。
2024-03-13 cs.LG cs.NA math.NA
Differentiable Unsupervised Feature Selection based on a Gated Laplacian
Yale University(耶鲁大学);Technion(以色列理工学院);Hebrew University(希伯来大学)
科学观测可能由大量的变量(特征)组成。在无监督学习中,识别有意义特征的子集通常被忽略,尽管它有可能解开隐藏在周围空间中的清晰模式。在本文中,我们提出了一种无监督的特征选择的方法,我们证明了它的使用任务的聚类。我们提出了一个可微的损失函数,结合拉普拉斯得分,有利于低频功能,与门控机制的特征选择。我们改进了拉普拉斯得分,将其替换为在特征子集上计算的门控变量。该子集是使用伯努利变量的连续近似来获得的,伯努利变量的参数被训练以门控整个特征空间。我们从数学上激发了所提出的方法,并证明了在高噪声状态下,计算门控输入上的拉普拉斯算子而不是完整的特征集是至关重要的。使用几个现实世界的例子,所提出的方法的有效性和它的优势,目前的基线的实验演示。
2020-11-09 cs.LG stat.ML
Multi-modal Differentiable Unsupervised Feature Selection
Yale University(耶鲁大学);Bar-Ilan University(巴伊兰大学);Hebrew University of Jerusalem(希伯来大学)
多模态高通量生物数据提供了巨大的科学机遇和重大的计算挑战。在多模态测量中,每个样品都由两组或多组传感器同时观察。在这样的设置中,在两种模态中的许多观察到的变量通常是讨厌的,并且不携带关于感兴趣的现象的信息。在这里,我们提出了一个多模态无监督特征选择框架:识别信息变量的基础上耦合高维测量。我们的方法旨在识别与两种类型的潜在低维结构相关的特征:(i)管理两种模态中的观测的共享结构和(ii)仅出现在一种模态中的差分结构。为此,我们提出了两个基于拉普拉斯算子的评分算子。我们将分数与可微门相结合,这些可微门掩盖了滋扰特征,并提高了由图拉普拉斯算子捕获的结构的准确性。使用合成和真实的数据集,包括扩展的单细胞多组学的生物学应用程序,说明了新方案的性能。
2023-03-16 cs.LG
i-IF-Learn: Iterative Feature Selection and Unsupervised Learning for High-Dimensional Complex Data
SUSTech(华南理工大学);NUS(国立大学)
本文提出i-IF-Learn框架,通过迭代特征选择与聚类,有效识别高维数据中的关键特征,提升聚类性能并增强下游模型表现。
2026-07-07 cs.LG stat.ME
Mutual Information-Based Unsupervised Feature Transformation for Heterogeneous Feature Subset Selection
传统的基于互信息(MI)的特征选择(FS)方法由于特征子集和类标签之间的数据格式差异或互信息的估计方法而无法正确处理异构特征子集的选择。解决这个问题的一种方法是特征变换(FT)。在这项研究中,一种新的无监督的特征变换(UFT),它可以将非数值特征转换为数值特征的开发和测试。UFT过程是基于MI的并且独立于类标签。基于MI的FS算法,如Parzen窗口特征选择器(PWFS),最小冗余最大相关特征选择(mRMR)和归一化MI特征选择(NMIFS),都可以采用UFT对非数值特征进行预处理。与传统的FT方法不同,所提出的UFT是无偏的,而PWFS是利用其充分的优势。对大规模数据集的仿真分析表明,UFT-PWFS综合方法所选择的特征子集在分类精度上优于其他FT-FS综合方法。
2015-03-29 cs.LG stat.ML