Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran(德黑兰大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来,由于在大数据集上的标记任务繁重,基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法,通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性,而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明,与现有的方法相比,我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
AMOS: An Automated Model Order Selection Algorithm for Spectral Graph Clustering
University of Michigan(密歇根大学)
谱图聚类(SGC)中的一个长期存在的问题是所谓的模型阶数选择问题:自动选择正确数量的聚类。这相当于在无向图中找到连通组件或社区的数量的问题。在本文中,我们提出了AMOS,自动模型阶选择算法的SGC。基于最近对随机互连模型下的SGC聚类可靠性的分析,AMOS通过逐步增加聚类的数量,估计所识别的聚类的质量,并提供一系列聚类可靠性测试来工作。因此,AMOS输出具有统计聚类可靠性保证的最小模型阶数的聚类。与其他三种真实数据集上的自动图聚类方法相比,AMOS在多个外部和内部聚类指标方面表现出优越的性能。
2016-09-21 cs.LG cs.SI stat.ML
Degrees of Freedom and Model Selection for k-means Clustering
Stellenbosch University(斯泰伦博斯大学)
本文研究了k-means聚类中的模型自由度。Stein引理的扩展提供了k均值模型中有效自由度的表达式。近似的自由度在实践中需要简化这个表达式,但实证研究表明,我们提出的方法是适当的。通过使用贝叶斯信息准则的模型选择,证明了这种新的自由度公式的实际意义。该方法的可靠性是通过模拟数据的实验,以及从不同的应用领域的公开可用的基准数据集的大集合进行验证。与流行的现有技术的比较表明,这种方法是非常有竞争力的选择高质量的聚类解决方案。可以从https://github.com/DavidHofmeyr/edfkmeans以R包的形式获得实现所提出方法的代码。
2020-02-21 cs.LG stat.ML
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University(小松大学);University of Electro-Communications(电气通信大学)
谱聚类(SC)是最流行的聚类方法之一,往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点:从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题,我开发了一个新的近似谱聚类使用的网络生成的神经气体(GNG),在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化,而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络,降低了计算复杂度和空间复杂度,提高了聚类质量。在这项研究中,我证明了ASC与GNG有效地减少了计算时间。此外,这项研究表明,ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
VC-PCR: A Prediction Method based on Supervised Variable Selection and Clustering
UCLouvain(天主教鲁汶大学);Ruhr-University Bochum(波鸿鲁尔大学)
当预测变量具有聚类结构(例如,存在高度相关的变量组)时,稀疏线性预测方法遭受降低的预测精度。为了提高预测精度,已经提出了各种方法来从数据中识别可变聚类,并将聚类信息集成到稀疏建模过程中。但这些方法都不能同时实现预测、变量选择和变量聚类的性能。为了解决这一问题,本文提出了一种监督变量选择和变量聚类的预测方法--变量聚类主成分回归(VC-PCR)。真实数据和模拟数据的实验表明,与竞争对手的方法相比,VC-PCR实现更好的预测,变量选择和聚类性能时,集群结构。
2022-02-02 cs.LG stat.ME stat.ML
Efficient Clustering of Correlated Variables and Variable Selection in High-Dimensional Linear Models
Indian Statistical Institute(印度统计研究所)
本文提出了一种自适应聚类Lasso(ACL)方法,用于变量强相关的高维稀疏回归模型的变量选择。为了处理相关变量,聚类或分组变量,然后追求模型拟合的概念被广泛接受。当维数很高时,找到一个合适的群结构和原来的问题一样困难。ACL是一个三阶段的过程,在第一阶段,我们使用Lasso(或其自适应或阈值版本)进行初始选择,然后我们还包括那些未被Lasso选择但与Lasso选择的变量密切相关的变量。在第二阶段,我们集群的变量的基础上减少预测集,并在第三阶段,我们进行稀疏估计,如Lasso集群代表或组Lasso的基础上产生的结构聚类过程。我们表明,我们的程序是一致的和有效的,在寻找真正的底层人口群体结构(假设不可表示和β-min条件下)。我们还研究了我们的方法的组选择的一致性,我们使用模拟和伪真实数据集的例子来支持理论。
2016-03-11 cs.LG stat.ML
DiscoVars: A New Data Analysis Perspective -- Application in Variable Selection for Clustering
提出一种基于变量依赖网络和图中心性度量的无监督变量选择新方法,并开发了Shiny应用界面,方便用户进行聚类等学习任务的变量选择与比较。
2023-04-08 cs.LG stat.ML
Simultaneous Clustering and Model Selection for Multinomial Distribution: A Comparative Study
Université Lumière Lyon 2(里昂第二大学)
在本文中,我们研究了不同的离散数据聚类方法,使用基于模型的聚类(MBC)框架与多项分布。我们的研究包括几个相关的问题,如初始化,模型估计和模型选择。此外,我们提出了一种新的MBC方法,有效地结合分区和层次聚类技术。我们进行实验,合成和真实的数据和评估的方法,使用的准确性,稳定性和计算时间。我们的研究确定了适当的策略,用于离散数据分析的MBC方法。此外,我们提出的方法是非常有竞争力的w.r.t.聚类精度和更好的w.r.t.稳定性和计算时间。
2015-09-06 cs.LG stat.ME stat.ML
Automatic selection of clustering algorithms using supervised graph embedding
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
机器学习(ML)技术的广泛采用以及应用它们所需的广泛专业知识,导致人们对自动化ML解决方案的兴趣增加,这些解决方案减少了对人工干预的需求。将ML应用于以前看不见的问题的主要挑战之一是算法选择-为给定的数据集,任务和评估措施识别高性能算法。本研究解决了算法选择的挑战,数据聚类,在数据采掘,旨在分组相似的对象的基本任务。我们提出了MARCO-GE,一种新的元学习方法的聚类算法的自动推荐。MARCO-GE首先将数据集转换为图形,然后利用图形卷积神经网络技术来提取其潜在表示。使用所获得的嵌入表示,MARCO-GE训练了一个排名元模型,该模型能够为新数据集和聚类评估措施准确地推荐性能最佳的算法。对210个数据集,13个聚类算法和10个聚类度量的广泛评估表明了我们的方法的有效性及其在预测和泛化性能方面优于最先进的聚类元学习方法。
2021-09-13 cs.IR cs.LG stat.ML
DISCERN: Diversity-based Selection of Centroids for k-Estimation and Rapid Non-stochastic Clustering
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学)
基于中心的聚类算法(如K-Means)的应用之一是将数据点划分为K个聚类。在某些示例中,特征空间与我们试图解决的潜在问题有关,有时我们可以获得合适的特征空间。然而,虽然K-Means是最有效的离线聚类算法之一,但它不具备估计聚类数的能力,这在某些实际情况下是有用的。其他实用的方法太复杂了,因为它们需要对每个可能的K至少运行一次K-Means。为了解决这个问题,我们提出了一个类似于K-Means++的K-Means初始化,它能够基于特征空间估计K,同时以确定性的方式为K-Means找到合适的初始质心。然后,我们比较了所提出的方法,DISCERN,与一些最实用的K估计方法,同时还比较了随机初始化时,使用K-Means++和使用DISCERN的K-Means的聚类结果。结果表明,在估计和最终的聚类性能的改善。
2020-09-22 cs.LG stat.ML
Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective
稀疏子空间聚类(SSC)使用基于贪婪的邻居选择,如匹配追踪(MP)和正交匹配追踪(OMP),已被称为是一种流行的计算效率高的替代传统的基于L1最小化的方法。在确定性有界噪声腐败,在本文中,我们推导出基于相干性的充分条件,保证正确的邻居识别使用MP/OMP。我们的分析利用了两个噪声数据点之间的最大/最小内积受到一个已知的上限的噪声水平。所得到的充分条件清楚地揭示了噪声对基于贪婪的邻居恢复的影响。具体地说,它断言,只要噪声足够小,使得所得到的扰动残差向量保持接近所需的子空间,MP和OMP都成功地返回正确的邻居子集。一个惊人的发现是,当地面真值子空间彼此分离并且噪声不大时,基于MP的迭代在享受较低算法复杂度的同时,产生较小的残差扰动,从而能够更好地识别正确的邻居,进而实现更高的全局数据聚类精度。大量的数值实验被用来证实我们的理论研究。
2020-02-02 cs.LG stat.ML
Medoid Silhouette clustering with automatic cluster number selection
TU Dortmund University(多特蒙德工业大学)
本文提出基于质心的轮廓系数高效变体,结合PAM与FasterPAM实现快速优化,并支持自动选择最优簇数,实验显示显著加速。
2023-09-07 cs.LG stat.ML
Optimal Clustering Framework for Hyperspectral Band Selection
Northwestern Polytechnical University(西北工业大学);Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所);University of Chinese Academy of Sciences(中国科学院大学)
波段选择是在高光谱图像中选取一组具有代表性的波段,在不影响原始图像内容的前提下减少冗余信息的有效方法。近年来,人们提出了各种无监督的波段选择方法,但大多数方法都是基于近似算法,只能获得针对特定目标函数的次优解。本文针对基于聚类的波段选择问题,提出了一种新的解决上述问题的框架,主要包括以下几个方面:1)最优聚类框架(OCF),该框架能够在合理的约束条件下,针对特定形式的目标函数,获得最优的聚类结果。2)提出了一种基于聚类的排序策略(RCS),为在现有聚类结构上选择波段提供了一个有效的标准。3)一种自动确定所需波段数的方法,该方法可以更好地评估由一定数量的波段产生的区别性信息。在实验中,所提出的算法相比,一些国家的最先进的竞争对手。实验结果表明,该算法具有较好的鲁棒性,在各种数据集上的性能都明显优于其他方法。
2019-04-30 cs.LG eess.IV stat.ML
CS Sparse K-means: An Algorithm for Cluster-Specific Feature Selection in High-Dimensional Clustering
Carnegie Mellon University(卡内基梅隆大学)
特征选择是高维聚类中一项重要而又具有挑战性的任务。例如,在基因组学中,可能只有少量基因差异表达,这对整个聚类结构是有信息的。现有的特征选择方法,如稀疏K-means,很少解决只能分离聚类子集的会计特征的问题。在基因组学中,一个基因很可能只能定义一个亚型,而不能区分所有其他亚型,或者只能区分一对亚型。在本文中,我们提出了一种基于K-均值的聚类算法,发现信息的功能,以及集群对可分离的每个选定的功能。该方法本质上是一种期望最大化算法,在M步中对每个簇对引入套索约束,通过最大化原始簇间距离而不是最小化簇内距离来实现E步.结果在模拟数据和白血病基因表达数据集上得到证实。
2019-10-03 cs.LG stat.ME stat.ML
A Strongly Consistent Sparse $k$-means Clustering with Direct $l_1$ Penalization on Variable Weights
Indian Statistical Institute(印度统计研究所)
我们提出了Lasso加权$k$ -means($LW$ - $k$ -means)算法,作为一个简单而有效的稀疏聚类过程的高维数据的特征($p$)的数量可以大得多的观察($n$)相比。在$LW$ - $k$ -means算法中,我们引入了一个基于套索的惩罚项,直接在特征权重上加入稀疏聚类框架中的特征选择。$LW$ - $k$ -means不对给定数据集进行任何分布假设,因此,引入了用于特征选择的非参数方法。我们还分析研究了基本的优化过程中的收敛性$LW$ - $k$ -手段,并建立我们的算法的强一致性。$LW$ - $k$ -手段是在几个现实生活和合成数据集上进行测试,并通过详细的实验分析,我们发现,该方法的性能是非常有竞争力的一些国家的最先进的聚类和特征选择程序,不仅在聚类精度,但也相对于计算时间。
2019-03-24 cs.LG stat.ML
CLAMS: A System for Zero-Shot Model Selection for Clustering
Eindhoven University of Technology(埃因霍温理工大学)
提出CLAMS系统,利用最优传输数据集相似性实现聚类零样本模型选择,超越多个基线,开辟AutoML新领域。
2024-07-15 cs.AI cs.LG
A review of systematic selection of clustering algorithms and their evaluation
数据分析在工业价值创造中发挥着不可或缺的作用。在这种情况下,聚类分析能够在很少或没有先验知识的情况下探索给定的数据集,并识别未知的模式。随着(大)数据复杂性在数量、种类和速度方面的增加,这变得更加重要。许多聚类分析工具从早期就已经开发出来,并且各种不同的聚类算法是巨大的。由于选择正确的聚类过程对数据分析的结果至关重要,因此用户需要在从原始数据中提取知识的过程中获得支持。因此,本文的目的在于识别一个系统的选择逻辑聚类算法和相应的验证概念。我们的目标是使潜在的用户选择一个算法,最适合他们的需求和他们的底层数据聚类问题的属性。此外,支持用户选择正确的验证概念来理解聚类结果。在综合文献综述的基础上,本文提出了聚类方法评价和验证概念选择的评价标准。该标准适用于几个常见的算法和算法的选择过程是支持的伪代码为基础的例程,考虑底层数据结构的介绍。
2021-06-24 cs.LG
Automatic Clustering of a Network Protocol with Weakly-Supervised Clustering
Graz University of Technology(格拉茨技术大学)
抽象是学习系统行为模型的基本部分。抽象的过程通常由领域专家手动定义。提出了一种对网络协议进行自动抽象的方法。特别是一个弱监督聚类算法被用来建立一个广泛使用的TLS协议的抽象与一个小的词汇量。为了显示所提出的方法的有效性,我们将得到的抽象消息与手动构造的(参考)抽象进行比较。通过少量的边信息(以几个带标签的示例的形式),该方法可以找到一个与引用抽象完美匹配的抽象。
2018-06-04 cs.CR cs.LG stat.ML
CRAFT: ClusteR-specific Assorted Feature selecTion
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个框架,集群特定的特征选择聚类。的框架,CRAFT,来自非参数MAP为基础的聚类模型的渐近对数后验公式。CRAFT处理各种数据,即,数字和分类数据以及潜在的目标函数都直观地吸引人。由此产生的算法是简单的实现和规模很好,需要最小的参数调整,避免了需要指定的聚类数先验,并与其他方法相比,在真实的数据集。
2015-06-25 cs.LG stat.ML
A Hybrid Algorithm Based Robust Big Data Clustering for Solving Unhealthy Initialization, Dynamic Centroid Selection and Empty clustering Problems with Analysis
World University of Bangladesh (WUB)(孟加拉世界大学)
大数据是大量的结构化和非结构化数据,这些数据太大,而且很难使用传统技术进行处理。聚类算法已经发展成为一种强大的学习工具,可以准确地分析现代应用程序产生的数据量。数据采掘中的聚类是根据对象的特征对特定对象集进行分组。聚类的主要目的是根据相似性和特征将数据分类到簇中,使得对象在对应时被分组到相同的簇中。到目前为止,K-MEANS是在大范围的区域中连接的最佳利用的计算,以识别聚类分离比聚集分离之间的分离大的聚集。我们开发的算法与K-MEANS一起工作,在大数据聚类过程中进行高质量的聚类。我们提出的算法EG K-MEANS:扩展生成K-MEANS主要解决了K-MEANS的三个问题:不健康的初始化、动态重心选择和空聚类。它保证了防止不健康的初始化,动态质心选择和空聚类问题的最佳方法,以获得高质量的聚类。
2020-02-21 cs.AI cs.LG
Duality between Feature Selection and Data Clustering
Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院);Texas A&M University(德克萨斯A&M大学)
特征选择问题是从信息论的角度制定的。我们表明,这个问题可以有效地解决了最近提出的信息聚类范式的扩展。这揭示了特征选择和数据聚类之间的基本二元性,这是组合优化中主分区和分区的主格之间更一般的二元性的结果。
2016-10-05 cs.IT cs.LG math.IT
Deterministic Feature Selection for $k$-means Clustering
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心);Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究了$k$均值聚类的特征选择问题。虽然文献中包含许多具有良好经验性能的方法,但具有可证明理论行为的算法只是最近才开发出来。不幸的是,这些算法是随机的,失败的概率是恒定的。我们解决这个问题,提出了一个确定性的特征选择算法的k-均值理论保证。在我们的算法的核心在于一个确定性的方法分解的身份。
2013-06-21 cs.DS cs.LG
ESMC: MLLM-Based Embedding Selection for Explainable Multiple Clustering
ESMC利用多模态大语言模型实现用户驱动的可解释多聚类,通过嵌入选择和伪标签学习提升聚类准确性。
2025-11-30 cs.LG
Towards Deep Industrial Transfer Learning: Clustering for Transfer Case Selection
University of Stuttgart(斯图加特大学)
工业迁移学习增加了深度学习算法对异构和动态工业用例的适应性,而无需大量的人工工作。适当选择要转移的内容可以极大地改善转移的结果。提出了一种基于聚类的分动器选型方法。基于聚类算法的调查,BIRCH算法被选中用于此目的。它是在离散制造场景的工业时间序列数据集上进行评估的。结果强调了该方法的适用性,其结果的可重复性和实际无关的顺序,大小和维度的(子)数据集进行聚类顺序。
2022-04-04 cs.AI cs.LG
A Supervised Feature Selection Method For Mixed-Type Data using Density-based Feature Clustering
North Carolina A&T State University(北卡罗来纳农工州立大学)
特征选择方法被广泛用于解决高维数据分类中的高计算开销和维数灾难。大多数传统的特征选择方法集中于处理同质特征,而现实世界的数据集通常具有连续和离散特征的混合。最近的一些混合类型的特征选择研究只选择与类标签相关性高的特征,而忽略了特征之间的冗余。确定适当的特征子集也是一个挑战。本文提出了一种基于密度特征聚类的有监督特征选择方法(SFSDFC),用于混合类型数据的特征选择。SFSDFC使用一种新的基于密度的聚类方法将特征空间分解为一组不相交的特征聚类。然后,采用有效的特征选择策略从这些特征簇中获得冗余度最小的重要特征子集。使用13个真实世界的基准数据集进行了广泛的实验以及与5种最先进的方法的比较研究,结果证明了SFSDFC方法的有效性。
2021-11-10 cs.LG
Clustering and Feature Selection using Sparse Principal Component Analysis
Princeton University(普林斯顿大学)
本文研究了稀疏主成分分析(PCA)在聚类和特征选择问题中的应用。稀疏PCA寻求稀疏因子或数据变量的线性组合,解释数据中的最大方差量,同时只有有限数量的非零系数。PCA通常被用作一种简单的聚类技术,稀疏因子允许我们在这里用一组减少的变量来解释聚类。我们从稀疏PCA的简要介绍和动机开始,并详细介绍我们在d'Aspremont等人(2005)中实现的算法。然后,我们将这些结果应用到一些经典的聚类和生物学中出现的特征选择问题。
2008-10-08 cs.AI cs.LG cs.MS
Cost-sensitive Hierarchical Clustering for Dynamic Classifier Selection
GE Global Research(通用电气全球研究中心)
我们考虑动态分类器选择(DCS)问题:给定一个分类器集合,我们要根据要分类的特定输入向量选择使用哪个分类器。这个问题是一般算法选择问题的一个特例,在这个问题中,我们有多个不同的算法可以用来处理给定的输入。我们调查,如果开发的一般算法选择命名为成本敏感的层次聚类(CSHC)的方法是适合DCS。我们介绍了一些额外的原始CSHC方法的特殊情况下,选择一个分类算法,并评估其对性能的影响。然后,我们比较了一些国家的最先进的动态分类器选择方法。我们的实验结果表明,我们的修改CSHC算法相比,
2020-12-18 cs.AI cs.LG
Clustering with feature selection using alternating minimization, Application to computational biology
I3S, Univ. Côte d’Azur & CNRS(蔚蓝海岸大学与法国国家科学研究中心I3S实验室);IPMC, Univ. Côte d’Azur & CNRS(蔚蓝海岸大学与法国国家科学研究中心IPMC研究所);LJAD, Univ. Côte d’Azur & CNRS/Inria(蔚蓝海岸大学、法国国家科学研究中心/法国国家信息与自动化研究所LJAD实验室)
本文研究了带特征选择的无监督聚类。问题是估计标签和权重的稀疏投影矩阵。为了解决这个组合非凸问题保持严格控制的稀疏矩阵的权重,我们提出了一个交替最小化的Frobenius范数准则。我们提出了一种新的高效算法命名为K-稀疏交替k-means与投影梯度最小化。投影梯度步骤是一种分裂型方法,在$\ell^1$球上精确投影以提高稀疏性。讨论了梯度投影法的收敛性,并对交替极小化法进行了初步分析。Frobenius范数准则在算法K-sparse中的迭代次数趋于无穷大时收敛。在单细胞RNA测序数据集上的实验表明,该方法显著改善了PCA k-means、谱聚类、SIMLR和Sparcl方法的结果,实现了基因的相关选择。K-sparse的复杂度与样本(细胞)的数量呈线性关系,因此该方法可以扩展到大型数据集。
2019-05-24 cs.AI cs.LG stat.ML
Quantum Annealing for Machine Learning: Applications in Feature Selection, Instance Selection, and Clustering
Georgia Institute of Technology(佐治亚理工学院)
本文将特征选择、实例选择和聚类形式化为QUBO问题,通过量子退火与经典模拟退火对比,提出多种QUBO配置和新启发式方法,并构建经典到量子聚类流水线,证明QA在离散机器学习优化中具有竞争力。
2025-07-20 cs.ET cs.LG quant-ph
Feature selection or extraction decision process for clustering using PCA and FRSD
本文关注的关键决策过程中提取或选择的功能之前,应用聚类算法。评估特征的重要性并不明显,因为最流行的方法通常是针对监督学习技术过程。聚类算法是一种无监督的方法。这意味着没有已知的输出标签与输入数据匹配。本文提出了一种根据数据科学家的参数选择最佳降维方法(选择或提取)的新方法,旨在最终应用聚类过程。它使用基于轮廓分解的特征排名过程(FRSD)算法,主成分分析(PCA)算法和K-Means算法及其度量,轮廓指数(SI)。本文介绍了基于智慧城市数据集的5个用例。本研究还旨在讨论在这种无监督学习过程中可以做出的每种选择的影响、优点和缺点。
2021-11-20 cs.LG
Key point selection and clustering of swimmer coordination through Sparse Fisher-EM
Université de Rouen(鲁昂大学);INSA de Rouen(鲁昂国立应用科学学院)
为了回答最佳游泳运动员学习/教学策略的存在,这项工作引入了两级聚类,以分析蛙泳运动学习的时间动态。每个级别都是通过Sparse Fisher-EM执行的,Sparse Fisher-EM是一个无监督的框架,可以有效地应用于大型相关数据集。引入的稀疏性在没有任何先验知识的情况下选择协调阶段的关键点。
2014-01-07 cs.CV cs.LG physics.data-an
Privacy-Preserving Optimal Parameter Selection for Collaborative Clustering
Case Western Reserve University(凯斯西储大学)
本文研究协同聚类中隐私保护下的最优参数选择,利用差分隐私随机响应机制在保证聚类质量的同时降低成员推断攻击风险。
2024-06-08 cs.CR cs.LG
Ensemble feature selection with clustering for analysis of high-dimensional, correlated clinical data in the search for Alzheimer's disease biomarkers
UNSW Sydney(悉尼新南威尔士大学)
医疗保健数据集通常包含高度相关的特征组,例如来自相同生物系统的特征。当将特征选择应用于这些数据集以识别最重要的特征时,由于相关特征而导致的某些多变量特征选择器中固有的偏差使得这些方法难以区分重要特征和不相关特征,并且特征选择过程的结果可能不稳定。特征选择集合,其聚合多个单独的基本特征选择器的结果,已经被研究作为稳定特征选择结果的手段,但是不解决相关特征的问题。我们提出了一个新的框架,以创建特征选择合奏从多变量特征选择器,同时考虑到相关功能组产生的偏见,使用凝聚层次聚类在预处理步骤。这些方法应用于阿尔茨海默病(AD)研究的两个真实世界数据集,AD是一种进行性神经退行性疾病,无法治愈,尚未完全了解。我们的研究结果表明,在没有聚类的模型中选择的特征的稳定性有显着改善,并且这些模型选择的特征与AD文献中的研究结果一致。
2022-07-06 cs.LG
Sparse and geometry-aware generalisation of the mutual information for joint discriminative clustering and feature selection
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Maasai Team(马赛团队);CHU de Québec Research Centre(魁北克大学中心医院研究中心);Laval University(拉瓦尔大学)
本文提出稀疏GEMINI,一种基于几何感知互信息推广的判别聚类模型,通过l1惩罚实现联合聚类与特征选择,在合成及大规模数据上表现优异,无需先验假设。
2024-07-18 cs.AI cs.LG stat.CO
Optimal Bandwidth Selection for DENCLUE Algorithm
针对DENCLUE聚类算法参数选择长期被忽视的问题,本文提出了一种计算其最优参数的新方法,并通过实验验证了该方法的性能。
2023-08-21 cs.IR cs.LG
Sample-Efficient "Clustering and Conquer" Procedures for Parallel Large-Scale Ranking and Selection
Guanghua School of Management, Peking University, Beijing 100871, China(北京大学光华管理学院)
本文提出一种高效的并行大规模排序与选择方法,通过引入聚类步骤提升样本效率,适用于大规模AI应用。
2026-10-08 cs.LG stat.ME
Sparse Portfolio Selection via Topological Data Analysis based Clustering
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Swiss Finance Institute(瑞士金融研究所);Indian Institute of Technology Ropar(罗帕尔印度理工学院)
该研究提出结合拓扑数据分析与聚类的稀疏投资组合选股策略,通过新的拓扑距离度量选股,经标普指数实证验证,在多市场场景下显著提升组合性能。
2024-12-13 cs.LG q-fin.PM q-fin.ST
VICatMix: variational Bayesian clustering and variable selection for discrete biomedical data
MRC Biostatistics Unit University of Cambridge East Forvie Building(医学研究理事会生物统计学单位剑桥大学东部大楼);MRC Biostatistics Unit and CRUK Cambridge Centre Ovarian Programme and Cambridge Institute of Therapeutic Immunology and Infectious Disease (CITIID) University of Cambridge(医学研究理事会生物统计学单位和癌症研究英国委员会剑桥中心卵巢计划及剑桥治疗免疫学和传染病研究所(CITIID)剑桥大学)
VICatMix通过变分贝叶斯方法实现高效聚类和变量选择,适用于高维生物医学数据,提升癌症亚型分组和驱动基因发现的准确性。
2026-03-01 cs.LG stat.ME stat.ML
Performance analysis of coreset selection for quantum implementation of K-Means clustering algorithm
The University of Melbourne(墨尔本大学)
预计量子计算将提供巨大的计算能力,可以为许多数据科学问题提供有效的解决方案。然而,目前这一代的量子器件体积小且有噪声,这使得处理与实际问题相关的大型数据集变得困难。核心集选择的目的是规避这个问题,减少输入数据的大小,而不损害的准确性。最近的工作表明,核心集选择可以帮助实现量子K-Means聚类问题。然而,核集选择对量子K-Means聚类性能的影响尚未被探索。在这项工作中,我们比较了两种coreset技术(BFL 16和ONESHOT)的相对性能,以及在每种情况下coreset构造的大小,相对于各种数据集和布局的优点和限制coreset选择在实现量子算法。我们还研究了去极化量子噪声和比特翻转误差的影响,并实现了量子自动编码器技术,以克服噪声的影响。我们的工作为未来在近期量子设备上实现数据科学算法提供了有用的见解,其中问题大小已通过核心集选择减少。
2022-06-16 cs.ET cs.LG quant-ph
An Initial Seed Selection Algorithm for K-means Clustering of Georeferenced Data to Improve Replicability of Cluster Assignments for Mapping Application
Central European University(中欧大学)
K-means是各种学科中使用最广泛的聚类算法之一,特别是对于大型数据集。然而,已知该方法对聚类中心的初始种子选择高度敏感。K-means++已经被提出来克服这个问题,并且已经被证明比k-means具有更好的准确性和计算效率。然而,在许多聚类问题中,例如当对地图应用的地理参考数据进行分类时,聚类方法的标准化,具体地说,对于方法的每次运行达到相同聚类分配的能力,即方法的可复制性,可能比任何感知的准确性度量更重要,特别是当解决方案已知为非唯一时,如在k均值聚类的情况下。在这里,我们提出了一个简单的初始种子选择算法的k-均值聚类沿着一个属性,绘制初始聚类边界沿“最深的山谷”或最大的差距数据集。因此,它采用了一种措施,以最大限度地提高连续的聚类中心之间的距离,这增强了传统的k-均值优化聚类中心和聚类成员之间的最小距离。不同于现有的初始化方法,没有额外的参数或自由度被引入到聚类算法。与k-means和k-means++相比,这将聚类分配的可复制性提高了100%,实际上将不同运行的方差降低到零,而无需向聚类过程引入任何额外的参数。此外,所提出的方法比k-means++计算效率更高,在某些情况下更准确。
2016-04-17 cs.DS cs.LG
fMBN-E: Efficient Unsupervised Network Structure Ensemble and Selection for Clustering
Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);Northwestern Polytechnical University(西北工业大学)
众所周知,无监督的非线性降维和聚类对超参数的选择敏感,特别是对于基于深度学习的方法,这阻碍了其实际使用。如何选择一个合适的网络结构,在不同的应用程序中可能会有显着不同的是一个困难的问题,深度模型,给定的数据先验知识很少。在本文中,我们的目标是通过简单的集成学习和选择技术自动确定深度模型的最佳网络结构,称为多层引导网络(MBN)。具体来说,我们首先提出了一个MBN集成(MBN-E)算法,它连接到一个新的表示一组MBN基本模型与不同的网络结构的稀疏输出。然后,我们把MBN-E产生的新表示作为选择最佳MBN基础模型的参考。此外,我们提出了一个快速版本的MBN-E(fMBN-E),这不仅是理论上甚至比一个单一的标准MBN更快,但也不会增加MBN-E的估计误差。重要的是,MBN-E及其集成选择技术保持了基于单最近邻学习的MBN的简单公式。实验结果表明,本文提出的方法在不需要人工调整超参数的情况下,与许多先进的深度聚类方法和多达20种具有代表性的无监督集成学习和选择方法相比,达到了最先进的性能。根据经验,fMBN-E甚至比MBN-E快数百倍,而不会遭受性能降级。在图像分割和图数据采掘中的应用进一步证明了该方法的优越性。
2022-08-29 cs.LG
Clustering Indices based Automatic Classification Model Selection
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Claritrics Inc. d.b.a BUDDI AI(Claritrics公司(以BUDDI AI名义开展业务))
本文提出一种仅基于数据集聚类指标的自动分类模型选择方法,通过回归任务预测模型性能并推荐合适模型类,实验证明其在60个二元类数据集中准确率高,且构建的端到端 Automated ML 系统优于现有商业与非商业系统。
2023-05-23 cs.AI cs.LG
Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering
ALTECA(阿尔泰卡公司);Sorbonne Paris Nord University(巴黎北索邦大学);CY Cergy Paris University(塞尔吉-蓬图瓦兹大学)
针对多视图聚类中特征选择不足和超参数依赖经验的问题,提出DMFAW,利用控制理论机制动态调节特征权重并融合局部划分,实验显示其性能优于现有方法。
2024-12-03 cs.AI cs.LG stat.ML
On the Efficiency of K-Means Clustering: Evaluation, Optimization, and Algorithm Selection
New York University(纽约大学);RMIT University(皇家墨尔本理工大学)
本文提出了一个彻底的评估现有的方法,加速劳埃德的快速k-均值聚类算法。为此,我们分析了现有方法的剪枝机制,并总结了它们的共同管道到一个统一的评估框架UniK。UniK包含一类众所周知的方法,并支持细粒度的性能分解。在UniK中,我们使用多个数据集上的多个性能指标彻底评估了现有方法的优缺点。此外,我们推导出一个优化的算法在UniK,有效地混合了多种现有的方法,更积极的修剪。为了更进一步,我们研究了是否可以通过机器学习自动选择给定聚类任务的最有效方法,以使从业者和研究人员受益。
2020-10-27 cs.DB cs.LG
Statistical Parameter Selection for Clustering Persistence Diagrams
DLR German Aerospace Center(德国航空航天中心);CNRS(法国国家科学研究中心);Sorbonne Universite(索邦大学)
在紧急决策应用中,集合模拟是基于当前可用数据确定不同结果情景的重要方法。在本文中,我们将分析合奏模拟的输出,考虑所谓的持久性图,这是减少表示的原始数据,出于提取的拓扑特征。基于最近发表的渐进算法的聚类持久性图,我们确定的最佳数量的集群,因此显着不同的结果的情况下,通过最小化建立的统计评分函数的数量。此外,我们提出了一个概念验证的原型实现的聚类数量的统计选择,并提供了实验研究的结果,这种实现已被应用到现实世界的合奏数据集。
2019-10-17 cs.GR cs.LG eess.IV
Model selection for deep audio source separation via clustering analysis
Northwestern University(西北大学)
音频源分离是将混合(例如流行乐队录音)分离为来自各个源(例如仅主唱)的孤立声音的过程。深度学习模型是源分离领域的最新技术,因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练,以便为给定的音频混合选择正确的模型。在这项工作中,我们自动选择适当的模型的音频混合。我们提出了一种置信度度量,该度量不需要地面实况来估计分离质量,给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法,使用单独的模型没有选择,一个神谕,总是选择最好的模型和随机模型选择器。结果表明,我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
Hierarchical clustering: visualization, feature importance and model selection
我们提出了层次聚类的分析方法,充分利用了树状图提供的多分辨率结构。具体来说,我们提出了一个损失之间的选择聚类方法,一个功能的重要性得分和可视化的功能在树状图中的分割图形工具。这些任务的当前方法导致信息丢失,因为它们需要用户通过在指定级别切割树状图来生成实例的单个分区。相反,我们提出的方法使用树状图的完整结构。所提出的方法背后的关键见解是将树状图视为一个遗传学。这种类比允许通过进化模型将特征值分配给树的每个内部节点。真实和模拟数据集提供的证据表明,我们提出的框架具有理想的结果,并提供了比最先进的方法更多的见解。我们提供了一个R包来实现我们的方法。
2023-01-28 cs.LG stat.ME
Cascaded two-stage feature clustering and selection via separability and consistency in fuzzy decision systems
School of Information Science and Technology, Nantong University(南通大学信息科学与技术学院)
本文针对高维复杂数据提出级联两阶段特征聚类与选择算法,结合全局可分性与局部一致性评估特征显著性,在多个数据集上提升了分类准确率并减少了特征数量。
2024-07-22 cs.AI cs.LG
Clustering-Based Validation Splits for Model Selection under Domain Shift
Institute of Sound and Vibration Research(声学与振动研究所);University of Southampton(南安普顿大学)
本文提出基于核k均值聚类和线性规划的验证集划分方法,通过最大化训练集与验证集间的MMD来提升域偏移下的模型选择性能。
2025-08-17 cs.CV cs.LG
Interpret3C: Interpretable Student Clustering Through Individualized Feature Selection
EPFL(洛桑联邦理工学院)
针对现有聚类忽视个体特征差异的问题,提出Interpret3C方法,利用神经网络自适应门控为每个学生选择特征,并在5000余名学生的MOOC中验证,提升了聚类的相关性和可解释性。
2024-05-28 cs.CY cs.HC cs.LG
Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss
Institute of Microelectronics, A*Star Singapore(新加坡科技研究局微电子研究所)
针对现有深度聚类方法聚类损失非对称、需提前已知聚类数的缺陷,提出采用闭式Jensen-Shannon散度构建损失、结合狄利克雷过程高斯混合实现隐空间自适应聚类数选择的深度聚类方法,在多数据集上验证了有效性。
2024-12-12 cs.CV cs.LG
Multi-view Hierarchical Clustering
Xi’an Jiaotong University(西安交通大学)
本文主要研究多视图聚类,旨在提高多视图数据的聚类效果。通常,大多数现有的工作遭受的问题,参数选择和高计算复杂性。为了克服这些限制,我们提出了多视图层次聚类(MHC),它以多个粒度级别递归地划分多视图数据。具体来说,MHC由两个重要组成部分:余弦距离积分(CDI)和最近邻聚集(NNA)。CDI可以探索多视图数据的潜在互补信息,从而学习一个必要的距离矩阵,NNA利用该距离矩阵获得聚类结果。值得注意的是,建议的MHC可以很容易地和有效地在现实世界中的应用,而无需参数选择。在9个基准数据集上的实验表明,与现有的多视图聚类方法相比,该方法具有很大的优越性。
2020-10-15 cs.LG
Bayesian Model Selection for Change Point Detection and Clustering
KTH Royal Institute of Technology(KTH皇家理工学院)
我们解决的新问题,估计一个分段常数信号的目的是检测其变化点和集群的水平。我们的方法是将其建模为一个非参数惩罚最小二乘模型选择的一个家庭的模型索引的分区的设计点的集合,并提出了一个计算效率高的算法来近似解决it.Statistically,最小化这样的惩罚标准产生的最大后验概率(MAP)估计的近似。然后分析了该准则,并利用高斯集中不等式导出了一个预言不等式。的预言不等式是用来获得一方面的一致性条件,另一方面的自适应上界的估计,这在统计上激励我们的近似的期望平方风险。最后,我们将我们的算法应用于模拟数据,以实验验证统计保证并说明其行为。
2019-12-03 cs.LG math.ST stat.ML
Randomized Dimensionality Reduction for k-means Clustering
Yahoo Labs(雅虎实验室);IBM Zürich Research Lab(IBM苏黎世研究实验室);UC Berkeley(加州大学伯克利分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究了$k$ -均值聚类的降维问题。简化包含两种方法的结合:\emph{feature selection}和\emph{feature extraction}。一种基于特征选择的$k$均值聚类算法选择输入特征的一个小子集,然后对所选特征应用$k$均值聚类。一种基于特征提取的$k$均值聚类算法构造了一个小的新的人工特征集,然后对构造的特征应用$k$均值聚类。尽管$k$均值聚类的重要性以及解决它的探试法的财富,可证明准确的特征选择方法$k$均值聚类是未知的。另一方面,在文献中已知两种可证明准确的$k$均值聚类特征提取方法;一种是基于随机投影,另一种是基于奇异值分解(SVD)。本文对$k$ -均值聚类的降维方法有了进一步的认识。也就是说,我们提出了第一个证明准确的特征选择方法$k$ -均值聚类,此外,我们提出了两个特征提取方法。第一种特征提取方法是基于随机投影的,它在时间复杂度和需要提取的特征数量方面改进了现有的结果。第二种特征提取方法是基于快速近似SVD分解,它也改善了现有的结果方面的时间复杂度。所提出的算法是随机的,并提供恒定的因素近似保证最佳的$k$ -手段的目标值。
2014-11-04 cs.DS cs.LG