Generative Kernel Spectral Clustering
ESAT-Stadius(ESAT-斯蒂杜斯);KU Leuven(库勒文大学);Leuven.AI - KU Leuven institute for AI(勒文人工智能-库勒文大学人工智能研究所)
针对深度学习聚类可解释性差的问题,提出生成式核谱聚类(GenKSC),结合核谱聚类与生成建模,通过重建和聚类损失增强加权方差最大化,在MNIST和FashionMNIST上学习到可解释的簇表示。
2025-02-04 cs.LG
Fast Asymmetric Factorization for Large Scale Multiple Kernel Clustering
College of Computer Science, Sichuan University(四川大学计算机学院);Institute of Big Data Science and Industry, Shanxi University(山西大学大数据科学与产业研究院)
针对大规模多核聚类面临的内存和时间瓶颈,提出高效多核概念分解(EMKCF),通过构建稀疏核矩阵和扩展正交概念分解,实现内存与时间效率的双重优化,并在基准数据集上验证了其优越性。
2024-05-26 cs.LG
Scalable Multi-view Clustering via Explicit Kernel Features Maps
CDC Informatique(信息科技公司)
本文提出一种可扩展的多视图聚类方法,通过显式核特征映射和非迭代优化策略,提升大规模数据集的聚类效率和准确性。
2026-01-22 cs.LG
Spectral Clustering with Jensen-type kernels and their multi-point extensions
Indian Institute of Science(印度科学院)
多分布的分歧,起源于信息论,我们提出了一个概念的“多点”内核,并研究其应用。我们研究了一类基于詹森型分歧的内核,并表明这些可以扩展到多个点之间的相似性测量。研究了张量平坦化方法,提出了一种多点(核)谱聚类方法。我们进一步强调所提出的内核,这是一个多点扩展的线性(点积)内核的特殊情况下,并显示在这种情况下的立方时间张量平坦算法的存在。最后,我们使用标准数据集和图像分割任务说明了我们的贡献的有用性。
2014-03-18 cs.LG
DK-GBMKKM: Dynamic Kernel-Space Granular-Ball Multiple Kernel $k$-Means Clustering
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing Open University(重庆开放大学)
针对多核k均值易受噪声边界样本影响、粒球与融合核几何不匹配的问题,提出DK-GBMKKM,通过核空间动态粒球交替优化提升聚类性能,在12个公开数据集上表现出色且代码开源。
2026-09-02 cs.LG
Density-Based Clustering with Kernel Diffusion
University of Southampton(南安普顿大学);Peking University(北京大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
对于基于密度的聚类算法,如DBSCAN和DPC,找到合适的密度函数是必不可少的。在这些算法中,通常使用对应于单位$d$维欧氏球的指示函数的朴素密度。这样的密度在复杂数据集中捕获局部特征时会受到影响。为了解决这个问题,我们提出了一个新的核扩散密度函数,这是自适应的数据变化的局部分布特性和平滑。此外,我们开发了一个可以在线性时间和空间中有效计算的代理,并证明它与核扩散密度函数渐进等价。在基准数据集和大规模人脸图像数据集上的实验表明,该方法不仅比经典的基于密度的聚类算法有显著的改进,而且比现有的人脸聚类算法性能更好.
2021-10-14 cs.LG
The Impact of Isolation Kernel on Agglomerative Hierarchical Clustering Algorithms
Deakin University(迪肯大学);Nanjing University(南京大学)
针对现有基于距离的凝聚层次聚类难以识别密度不同的相邻簇的问题,本文分析问题成因,提出用数据依赖核解决该问题,并将Isolation Kernel应用于多种层次聚类算法,实验证明其生成的树图质量与纯度更优。
2020-10-12 cs.LG
Explaining Kernel Clustering via Decision Trees
Technical University of Munich(慕尼黑工业大学);Amazon Research(亚马逊研究院)
本文研究可解释核聚类,提出用决策树逼近核k-means诱导的划分,并通过合适的特征选择在保持可解释性的同时不牺牲逼近保证。
2024-02-15 cs.LG
Robust Multiple Kernel k-means Clustering using Min-Max Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
多核学习是一种多视图学习,它通过使用内核捕获视图特定的模式来组合不同的数据模态。虽然监督多核学习已经得到了广泛的研究,直到最近,只有少数无监督的方法已经提出。与此同时,对抗性学习最近受到了广泛的关注。已经提出了许多作品来抵御对抗性的例子。然而,人们对多视图学习中对抗扰动的影响知之甚少,在无监督的情况下更是如此。在这项研究中,我们表明,添加到视图的对抗性功能可以使现有的方法与最小-最大公式在多核聚类产生不利的集群。为了解决这个问题,并受到对抗学习中最近工作的启发,我们提出了一种具有最小-最大框架的多核聚类方法,旨在对这种对抗扰动具有鲁棒性。我们评估了我们的方法在不同类型的对抗性扰动下对模拟数据的鲁棒性,并表明它优于现有的几种方法。在实际数据分析中,我们证明了我们的方法对现实世界的问题的实用性。
2019-09-10 cs.LG
Fast Kernel k-means Clustering Using Incomplete Cholesky Factorization
Zhengzhou University(郑州大学);Xidian University(西安电子科技大学)
基于核的聚类算法可以识别和捕捉数据集中的非线性结构,从而可以获得比线性聚类更好的性能。然而,计算和存储整个核矩阵占用大量内存,这是基于核的聚类很难处理大规模的数据集。在本文中,我们采用不完全Cholesky分解加速核聚类和节省内存空间。提出的核$k$ -均值聚类的核心思想是,我们近似的低秩矩阵和转置的产品的整个核矩阵使用不完全Cholesky分解。然后将线性$k$均值聚类应用于低秩矩阵的转置的列。我们分析和经验表明,该算法的性能是类似的内核$k$均值聚类算法,但我们的方法可以处理大规模的数据集。
2020-02-07 cs.LG stat.ML
Multiple Kernel $k$-Means Clustering by Selecting Representative Kernels
University of Science and Technology of China(中国科学技术大学)
为了对原始特征空间中不可线性分离的数据进行聚类,将$k$ -均值聚类扩展到内核版本。然而,核$k$ -均值聚类的性能在很大程度上取决于核函数的选择。为了缓解这个问题,多核学习已被引入到$k$均值聚类,以获得最佳的内核组合的聚类。尽管多核$k$ -均值聚类算法在各种场景下都取得了成功,但现有的工作很少根据核的多样性来更新组合系数,这导致所选核含有较高的冗余度,从而降低了聚类性能和效率。在本文中,我们提出了一个简单而有效的策略,选择一个不同的子集从预先指定的内核作为代表性的内核,然后将子集选择过程中的多个$k$均值聚类的框架。代表性核可以表示为有效组合权重。由于所得到的目标函数的非凸性,我们开发了一种交替最小化方法来优化所选择的核和集群成员的组合系数交替。我们评估所提出的方法在几个基准和现实世界的数据集。实验结果表明,我们的方法相比,国家的最先进的方法的竞争力。
2018-11-01 cs.LG stat.ML
Manifold Adaptive Multiple Kernel K-Means for Clustering
Shanxi University(山西大学)
基于k-means的多核方法旨在整合一组核来提高核k-means聚类的性能。然而,我们观察到,大多数现有的多核k-means方法利用内核内的非线性关系,而多核空间之间的局部流形结构没有得到充分考虑。在本文中,我们采用流形自适应核,而不是原来的核,集成核的局部流形结构。因此,诱导的多重流形自适应核不仅反映了非线性关系,而且还反映了局部流形结构。然后,我们在多核k-means聚类框架内执行多核聚类。它已被验证,所提出的方法优于几个国家的最先进的基线方法对各种数据集。
2020-09-30 cs.LG stat.ML
Accelerated sparse Kernel Spectral Clustering for large scale data clustering problems
CERN(欧洲核子研究中心);Katholieke Universiteit Leuven(荷语鲁汶大学);AI Fund(人工智能基金)
本文提出了稀疏多路核谱聚类(KSC)的改进版本,通过求解对称化特征值问题消除大型矩阵SVD计算,大幅提升计算效率与稀疏性,使算法适用于大规模实际聚类问题。
2023-10-20 cs.LG
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Munich(慕尼黑工业大学)
尽管基于内核的聚类无处不在,但令人惊讶的是,除了考虑数据生成过程中强结构假设的设置之外,几乎没有统计保证。在这项工作中,我们采取了一个步骤弥合这一差距,通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下,这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证,而无需对组件分布的形式进行结构性假设。此外,我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响,这种联系可能具有实际意义,包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Inception Institute of Artificial Intelligence(启智人工智能研究院)
本文研究了核$k$ -means的统计性质,得到了一个接近最优的超聚类风险界,大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果,并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知,这样的核(或近似核)$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Multi-Relation Graph-Kernel Strengthen Network for Graph-Level Clustering
Hainan University(海南大学);Northeast Normal University(东北师范大学);Hebei University of Technology(河北工业大学);University of Chinese Academy of Science(中国科学院大学);Hubei University(湖北大学);The Australian National University(澳大利亚国立大学);Beijing University of Posts and Telecommunications(北京邮电大学);Southeast University(东南大学)
针对图级聚类中现有深度方法受限于池化及传统图核难以处理多关系数据的问题,提出多关系图核增强网络(MGSN),通过结合多关系建模与图核技术提取特征并渐进融合,在多个基准上超越现有方法。
2025-04-02 cs.LG
Time Series Clustering With Random Convolutional Kernels
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);UC3M-Santander Big Data Institute(马德里卡洛斯三世大学-桑坦德大数据研究所)
本文提出 R-Clustering 方法,利用随机参数卷积架构进行时间序列聚类,在 UCR 数据集上验证其在聚类精度、计算效率和可扩展性方面优于现有方法。
2023-07-06 cs.LG
Robust Kernel Sparse Subspace Clustering
Ruđer Bošković Institute(鲁杰·博什科维奇研究所)
针对现有核子空间聚类无法处理非高斯稀疏损坏的问题,提出首个鲁棒核稀疏子空间聚类算法,经两个数据集和Wilcoxon检验验证,性能显著优于线性鲁棒基线,且原理可推广至其他子空间聚类算法。
2024-01-30 cs.LG
Clustering on Multiple Incomplete Datasets via Collective Kernel Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
包含不同类型特征的多个数据集可用于给定任务。例如,用户的简档可以用于为推荐系统对用户进行分组。此外,模型还可以使用用户的历史行为和信用历史来对用户进行分组。每个数据集包含不同的信息,足以进行学习。在过去的几年中,提出了许多多数据集上的聚类算法。这些算法假设至少有一个数据集是完整的。就我们所知,如果没有完整的数据集,所有以前的方法都将不适用。然而,在现实中,有许多情况下,没有数据集是完整的。在构建推荐系统时,一些新用户可能没有个人资料或历史行为,而一些新用户可能没有信用历史。因此,没有可用的数据集是完整的。为了解决这个问题,我们提出了一种称为集体核学习的方法来推断隐藏的样本相似性,从多个不完整的数据集。其思想是通过优化数据集的共享实例的对齐来共同完成不完整数据集的核矩阵。在此基础上,提出了一种基于核矩阵的聚类算法。在合成数据集和真实数据集上的实验结果表明了该方法的有效性。该算法在归一化互信息方面的性能是比较算法的两倍。
2016-05-06 cs.LG
Out-of-Distribution Detection through Soft Clustering with Non-Negative Kernel Regression
University of Southern California(南加州大学);Tenyx(Tenx公司);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
提出基于非负核回归的软聚类方法用于分布外检测,大幅降低计算与存储开销,并在多个基准上提升AUROC性能。
2024-07-18 cs.LG
Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds
Stevens Institute of Technology(斯蒂文斯理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);International Computer Science Institute(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
核$k$ -均值聚类算法比线性$k$ -均值聚类算法能够正确地识别和提取更多样的聚类结构集合。然而,核$k$ -均值聚类是计算昂贵的非线性特征映射是高维的,有很多输入点。核近似,例如,Nyström方法,已被应用在以前的工作,以近似解决内核学习问题时,上述两个条件都存在。这项工作分析了这种范例的应用内核$k$ -均值聚类,并表明,应用线性$k$ -均值聚类算法的$\frac{k}ε (1 + o(1))$功能构建使用所谓的秩限制Nyström近似结果在集群分配,满足$1 + ε$近似比的内核$k$ -均值成本函数,相对于不使用Nyström方法的相同算法提供的保证。作为分析的一部分,这项工作建立了一个新的$1 + ε$相对误差跟踪范数保证低秩近似使用秩限制Nyström近似。在$8.1$百万实例MNIST 8 M数据集上的实证评估证明了内核$k$均值聚类与Nyström近似的可扩展性和实用性。这项工作认为,谱聚类使用Nyström近似-一个流行的和计算效率高,但理论上不健全的方法,非线性聚类-应取代内核$k$ -均值聚类Nyström近似的有效和理论上合理的组合。后一种方法的优越性能是经验验证。
2019-02-10 cs.LG stat.ML
Kernel Correlation-Dissimilarity for Multiple Kernel k-Means Clustering
School of Mathematical Science, Inner Mongolia University(内蒙古大学数学科学学院);The Chinese University of Hong Kong(香港中文大学)
针对现有多核k均值聚类仅用单一相关性或不相似性指标刻画核关系存在偏差的问题,提出融合核相关性与不相似性的新方法,在13个基准数据集上实现了优于现有最优MKKM技术的聚类性能。
2024-03-06 cs.CV cs.LG
Tight Kernel Query Complexity of Kernel Ridge Regression and Kernel $k$-means Clustering
Carnegie Mellon University(卡内基梅隆大学)
我们提出了严格的下界的核评估所需的数量近似解决内核岭回归(KRR)和内核$k$ -均值聚类(KKMC)的$n$输入点。对于KRR,我们的相对误差逼近目标函数的最小值的界是$Ω(nd_{\mathrm{eff}}^λ/\varepsilon)$,其中$d_{\mathrm{eff}}^λ$是有效的统计维数,它紧到$\log(d_{\mathrm{eff}}^λ/\varepsilon)$因子。对于KKMC,我们找到一个$k$ -聚类实现目标函数的相对误差近似的界限是$Ω(nk/\varepsilon)$,这是紧到一个$\log(k/\varepsilon)$因素。我们的KRR结果解决了El Alaoui和Mahoney的一个开放问题的变体,即有效统计维度是否是抽样复杂性的下限。此外,对于重要的实际情况下,当输入是高斯的混合,我们提供了一个KKMC算法绕过上述下限。
2019-05-15 cs.DS cs.LG
Scalable Kernel Clustering: Approximate Kernel k-means
Michigan State University(密歇根州立大学);Michigan Tech University(密歇根理工大学)
基于核的聚类算法具有捕捉真实世界数据中非线性结构的能力。在各种基于核的聚类算法中,核k-means由于其简单的迭代性质和易于实现而受到欢迎。然而,它的运行时复杂度和内存占用增加的平方方面的数据集的大小,因此,大型数据集不能有效地聚类。在本文中,我们提出了一个近似方案的基础上随机化,称为近似核k-means。我们使用几个采样点和数据集中的所有点之间的核相似性来近似聚类中心。我们表明,该方法实现了更好的聚类性能比传统的低秩核近似基于聚类方案。我们还证明了它的运行时间和内存需求显着低于内核k-means,只有一个小的减少在几个公共领域的大数据集的聚类质量。然后,我们采用集成聚类技术,以进一步提高我们的算法的性能。
2014-02-16 cs.CV cs.DS cs.LG
Point-Set Kernel Clustering
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);School of Information Technology, Deakin University(迪肯大学信息技术学院)
度量两个对象之间的相似性是现有聚类算法的核心操作,用于将相似的对象分组到类中。本文介绍了一种新的相似性度量称为点集核,它计算一个对象和一组对象之间的相似性。建议的聚类过程利用这种新的措施来表征每个集群从一个种子对象。我们表明,新的聚类过程是有效的和高效的,使其能够处理大规模的数据集。相比之下,现有的聚类算法要么是高效的,要么是有效的。与最先进的密度峰值聚类和可扩展的核k均值聚类相比,我们表明,该算法是更有效的,运行速度的数量级更快时,适用于数百万个数据点的数据集,在常用的计算机上。
2022-01-06 cs.LG stat.ML
Learning the kernel matrix by resampling
Northwestern Polytechnical University(西北工业大学)
在这篇抽象的论文中,我们介绍了一个新的核学习方法的非参数密度估计。估计器由一组k-质心聚类组成。每个聚类随机选择具有随机选择的特征的数据点作为其质心,并通过单最近邻优化来学习独热编码器。估计器为每个数据点生成稀疏表示。然后,我们从数据的稀疏表示构造一个非线性核矩阵。所提出的核方法的一个主要优点是,它是相对不敏感的自由参数,因此,它可以产生合理的结果,而无需参数调整。另一个优点是它很简单。我们推测,该方法可以找到它的应用在许多学习任务或方法,稀疏表示或核矩阵的探索。在这个初步的研究中,我们已经应用核矩阵的谱聚类。我们的实验结果表明,所提出的方法产生的核优于良好的调整高斯RBF核。这篇摘要文章是用来保护这个想法的,完整的版本将在以后更新。
2017-08-01 cs.LG
Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering
Aalto University(阿尔托大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
核函数是一种强有力的工具,通过核技巧来增强$k$ -均值聚类算法。已知所选核函数的参数可以对结果具有显著影响。在监督设置中,这些可以通过交叉验证进行调整,但对于聚类来说,这并不简单,通常采用分类法。在本文中,我们研究了核参数对核$k$ -均值的影响。特别是,我们推导出一个下界,紧到常数因子,低于该参数的RBF内核将使内核$k$ -意味着毫无意义。我们认为,网格搜索可以是无效的超参数搜索在这种情况下,并提出了一种替代算法。此外,我们提供了一个有效的实现的基础上快速近似取幂可证明的质量保证。我们的实验结果表明,我们的方法能够有效地揭示一组丰富而有用的超参数值。
2020-06-24 cs.LG stat.ML
Convergence and clustering analysis for Mean Shift with radially symmetric, positive definite kernels
本文研究了均值偏移算法在径向对称正定核下的收敛性与聚类分析,证明了在足够大的带宽下,无论维度如何,算法都能收敛。同时探讨了不同核函数在大带宽下的聚类性能。
2026-03-16 cs.LG stat.ML
Kernel Spectral Clustering and applications
在本章中,我们回顾了与核谱聚类(KSC)相关的主要文献,KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式,由加权核PCA目标描述。正如在分类器的情况下,二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外,多路聚类可以通过经由纠错输出码(ECOC)编码方案组合一组二元决策函数来获得。由于其基于模型的性质,KSC方法包括三个主要步骤:训练,验证,测试。在验证阶段,执行模型选择以获得调优参数,如数据中存在的聚类数。这是一个主要的优势相比,经典的谱聚类的聚类参数的确定是不清楚的,依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练,它就能够很好地推广到看不见的测试点。除了基本公式,稀疏KSC算法的基础上不完全Cholesky分解(ICD)和$L_0$,$L_1, L_0 + L_1$,组Lasso正则化。在这方面,我们展示了如何处理大规模数据。此外,两种可能的方式来执行层次聚类和软聚类方法。最后,考虑了实际应用,如图像分割,电力负荷时间序列聚类,文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
On the optimality of kernels for high-dimensional clustering
International Max Planck Research School for Intelligent Systems(马克斯·普朗克智能系统国际研究学院);IMPRS-IS(马克斯·普朗克智能系统国际研究学院);University of Tübingen(图宾根大学);Technical University of Munich(慕尼黑工业大学)
研究了高维数据聚类中核方法的最优性。最近的工作已经研究了大样本性能的核聚类在高维制度,其中欧氏距离变得信息量较少。然而,目前还不清楚流行的方法,如核k-means,在这种制度下是否是最佳的。我们认为,高维高斯聚类的问题,并表明,与指数核函数,部分恢复集群使用NP-硬核k-均值目标的充分条件匹配已知的信息理论的限制高达一个因素的$\sqrt{2}$大$k$。它也完全匹配非内核设置的已知上限。我们还表明,一个半定松弛的内核k-均值程序匹配到常数因子,频谱阈值,低于它没有多项式时间算法是已知的成功。这是第一个为内核k-means及其凸松弛提供这种最优性保证的工作。我们的证明表明,在高阶分析的核方法的指数衰减尾部的随机变量的不太知名的多项式浓度的结果的效用。
2019-12-01 cs.LG stat.ML
Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph
National University of Defense Technology(国防科技大学);Hunan University(湖南大学);Supercomputing and Cloud Computing Institute(超级计算与云计算研究院);State University of New York, New Paltz(纽约州立大学新帕尔茨分校)
多核聚类(MKC)致力于从一组基本核中实现最佳信息融合。由于距离-距离相似性估计的不可靠性会降低聚类性能,因此构造精确的局部核矩阵具有重要的应用价值。虽然现有的局部化MKC算法与全局设计的竞争者相比表现出更好的性能,但大多数算法广泛采用KNN机制通过考虑τ -最近邻来定位核矩阵。然而,这种粗略的方式遵循了不合理的策略,即不同邻居的排序重要性相等,这在应用中是不切实际的。为了缓解这些问题,本文提出了一种新的局部样本加权多核聚类(LSWMKC)模型。我们首先在核空间中构造了一个一致判别亲和图,揭示了潜在的局部结构。此外,学习的亲和图的最佳邻域核输出具有自然稀疏性和清晰的块对角结构。此外,LSWMKC implementation优化不同的邻居与相应的样本的自适应权重。实验结果表明,我们的LSWMKC具有更好的局部流形表示,并优于现有的核或基于图的聚类算法。LSWMKC的源代码可以从https://github.com/liliangnudt/LSWMKC公开访问。
2022-07-05 cs.AI cs.LG
Wasserstein-based Kernel Principal Component Analysis for Clustering Applications
Risk Engineering Lab, Institute of Energy;Process Engineering, Department of Mechanical;Process Engineering, ETH Z\"urich , country= Switzerland
本文提出一个集成Wasserstein度量与核方法的无监督聚类框架,通过参考分布近似距离、平移正定核及可扩展有效性指标,有效处理向量型和分布型数据,并在电力图和时序数据上验证了性能。
2025-10-14 cs.LG stat.AP
Attention-Based Clustering: Learning a Kernel from Context
Zuken Ltd(图研有限公司)
在机器学习中,没有数据点是孤立的。我们认为,在许多机器学习方法中,上下文是一个未得到充分重视的概念。我们提出了基于注意力的聚类(ABC),基于注意力机制的神经体系结构,其目的是学习适应输入集内上下文的潜在表示,并且其本质上与输入大小和聚类数量无关。通过学习相似性核,我们的方法直接与任何开箱即用的基于核的聚类方法相结合。我们提出了竞争力的聚类Omniglot字符的结果,包括分析证据的有效性的注意力为基础的方法进行聚类。
2020-10-02 cs.CV cs.LG stat.ML
Deep Kernel Learning for Clustering
Northeastern University(东北大学)
我们提出了一种深度学习方法,用于发现针对样本数据识别聚类的内核。我们的神经网络产生的样本嵌入是由谱聚类激发的,并且至少与谱聚类一样具有表达力。我们的训练目标,基于Hilbert Schmidt信息准则,可以通过Stiefel流形上的梯度自适应来优化,从而显著加速依赖于特征分解的谱方法。最后,我们训练的嵌入可以直接应用于样本外数据。我们的实验表明,我们的方法优于几个国家的最先进的深度聚类方法,以及传统的方法,如$k$ -手段和谱聚类在广泛的现实生活和合成数据集。
2020-01-02 cs.LG stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA(蔚蓝海岸大学法国国家信息与自动化研究所)
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度,仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构,从这样的混合物中抽取的样本。基于这些结果,我们分析了核PCA聚类高维混合的能力。特别是,我们展示了一个特定的内核,导致一个简单的频谱算法聚类可能共同的手段,但不同的协方差阵的混合物。我们表明,所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective
School of Computer Science and Engineering(计算机科学与工程学院);Division of Computer Science and Engineering(计算机科学与工程系);Yam Pak Charitable Foundation School of Computing and Information Sciences(Yam Pak慈善基金会计算与信息科学学院);Department of Computer Science(计算机科学系)
本文提出 LoRD 和 B-LoRD 两种低秩双随机聚类模型,仅松弛正交约束并引入块对角正则化,通过将非凸约束转化为线性凸约束,实现全局收敛的投影梯度下降优化,显著提升聚类性能。
2025-09-23 cs.LG
Multiple Kernel Clustering with Dual Noise Minimization
National University of Defense Technology(国防科技大学)
聚类是一种典型的无监督方法,广泛应用于多模态、多视角的场景。多核聚类(MKC)的目的是通过整合来自基本核的互补信息来对数据进行分组。作为一个代表,晚融合MKC首先将核分解成正交划分矩阵,然后从它们学习一个共识,最近取得了很好的性能。然而,这些方法未能考虑划分矩阵内的噪声,阻碍了聚类性能的进一步提高。我们发现,噪声可以分解为可分离的对偶部分,即N-噪声和C-噪声(空间噪声和列空间噪声)。在本文中,我们严格定义了对偶噪声,并提出了一种新的无参数MKC算法,通过最小化他们。为了解决由此产生的优化问题,我们设计了一个有效的两步迭代策略。据我们所知,这是第一次在核空间中研究分区内的对偶噪声。我们观察到,双噪声会污染块对角结构,导致聚类性能的退化,并且C噪声比N噪声具有更强的破坏性。由于我们的有效机制,以最大限度地减少双重噪声,该算法超越了最近的方法大幅度。
2022-07-13 cs.AI cs.LG
Low-rank Kernel Learning for Graph-based Clustering
University of Electronic Science and Technology of China(电子科技大学)
邻接图的构造是基于图聚类的基础。内核空间中的图学习在许多基准数据集上表现出令人印象深刻的性能。然而,其性能在很大程度上取决于所选择的核矩阵。为了解决这个问题,先前的多核学习算法已经被应用于从一组预定义的核中学习最优的核。这种方法可能对噪声敏感,并限制了共识核的表示能力。与现有的方法相比,我们建议学习一个低秩的核矩阵,利用核矩阵的相似性,并寻求一个最佳的内核从候选内核的邻域。通过在统一的框架中制定图构造和核学习,图和共识核可以相互迭代增强。大量的实验结果验证了该方法的有效性。
2019-03-14 cs.CV cs.LG stat.ML
A New Framework for Convex Clustering in Kernel Spaces: Finite Sample Bounds, Consistency and Performance Insights
Indian Statistical Institute, Kolkata(印度统计研究院,加尔各答);Electronics and Communication Sciences Unit, Indian Statistical Institute(印度统计研究院电子与通信科学单位);Department of Statistics, University of Oxford(牛津大学统计系);Department of Statistics, University of Michigan(密歇根大学统计系)
本文提出核化凸聚类方法,通过映射数据到RKHS空间,解决线性不可分和非凸数据的聚类问题,理论分析和实验验证显示其优于现有方法。
2026-05-14 cs.LG stat.ML
Similarity Kernel and Clustering via Random Projection Forests
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Linkedin Inc(领英公司);Indigo Agriculture Inc(靛蓝农业公司);DiDi Research America(滴滴美国研究院)
相似性在数据采掘、机器学习、统计学等许多应用领域都起着重要的作用。受集成方法的成功和树的灵活性的启发,我们提出通过随机投影森林(rpForests)学习一个称为rpf-kernel的相似性内核。我们的理论分析揭示了rpf内核的一个非常理想的属性:远(不相似)点具有低相似性值,而近(相似)点具有高相似性,并且相似性具有原生解释,即在rpForests的生长过程中,点保留在相同叶节点中的概率。学习的rpf核导致了一个有效的聚类算法-rpfCluster。在各种各样的真实和基准数据集上,rpfCluster与K-means聚类,谱聚类和最先进的聚类集成算法-Cluster Forests相比毫不逊色。我们的方法是简单的实现和容易适应的几何基础数据。鉴于其理想的理论属性和竞争力的经验性能时,应用于聚类,我们期望rpf核适用于许多问题的无监督性质或作为正则化在一些监督或弱监督设置。
2019-08-28 cs.LG stat.ME stat.ML
Clustering evolving data using kernel-based methods
Université de Namur(那慕尔大学)
在这篇论文中,我们提出了几种建模策略来处理不同背景下不断变化的数据。在静态聚类的框架下,我们首先介绍了一个软核谱聚类(SKSC)算法,它可以更好地处理重叠的集群相对于核谱聚类(KSC),并提供更多的可解释的结果。在此基础上,提出了基于KSC的静态网络社区发现的整体策略,其中高质量训练子图的提取、核函数的选择、模型的选择以及对大规模数据的适用性是关键。这铺平了道路的发展一种新的聚类算法的分析不断发展的网络称为核谱聚类与记忆效应(MKSC),在连续的时间步长的聚类结果之间的时间平滑度被纳入在初级优化问题的水平,通过适当修改KSC制定。最后给出了KSC在工业机械故障检测中的应用。在这里,需要通过适当的窗口操作对数据进行智能预处理,以捕捉影响机器的正在进行的退化过程。通过这种方式,在真正无人监督的情况下,可以在必要时以在线方式发出预警。最后,我们提出了一种新的算法称为增量核谱聚类(IKSC)的在线学习的非平稳数据。这一雄心勃勃的挑战是通过利用核谱聚类(KSC)的样本外属性来适应初始模型,以解决聚类随时间的合并,分裂或漂移。本文考虑的实际应用包括图像分割、时间序列聚类、静态和演化网络的社区发现。
2014-11-20 cs.LG cs.SI stat.ML
Kernel KMeans clustering splits for end-to-end unsupervised decision trees
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
针对无标签数据的端到端聚类树学习挑战,提出无监督二叉树模型 Kauri,通过贪婪最大化核 KMeans 目标且无需定义质心,在多数据集上表现优异。
2024-02-19 cs.AI cs.LG stat.ML
Towards Robust Nonlinear Subspace Clustering: A Kernel Learning Approach
Université de Sherbrooke(谢布鲁克大学)
本文提出DKLM,一种数据驱动的核学习非线性子空间聚类方法,通过自适应核学习与块对角亲和矩阵优化,提升聚类鲁棒性并在实验中验证其有效性。
2025-01-20 cs.CV cs.LG stat.ML
Kernel K-means clustering of distributional data
Departamento de Matemáticas, Universidad Autónoma de Madrid(马德里自治大学数学系);Escuela de Doctorado, Universidad Autónoma de Madrid(马德里自治大学博士学院)
本文提出将概率分布映射到再生核希尔伯特空间中的核均值嵌入,再执行K-means聚类,实现对分布数据的无监督分类,并在SAR图像上验证了方法性能。
2025-09-22 cs.LG stat.CO stat.ML
Twin Learning for Similarity and Clustering: A Unified Kernel Approach
Southern Illinois University(南伊利诺伊大学)
许多基于相似性的聚类方法分为两个独立的步骤,包括相似性矩阵计算和随后的谱聚类。然而,相似性度量是具有挑战性的,因为它通常受到许多因素的影响,例如,相似性度量、邻域大小、数据规模、噪声和离群点的选择。因此,学习的相似性矩阵通常不适合,更不用说最佳的,为后续的聚类。此外,非线性相似性往往存在于许多现实世界中的数据,然而,没有被有效地考虑到大多数现有的方法。为了解决这两个挑战,我们提出了一个模型,同时学习聚类指示矩阵和核空间中的相似性信息的原则性方式。我们展示了核k-均值,k-均值和谱聚类方法的理论关系。然后,为了解决如何为特定的聚类任务选择最合适的内核的实际问题,我们进一步扩展了我们的模型与多核学习能力。利用该模型,可以自动完成寻找最佳聚类指标矩阵、最精确的相似关系和多核函数的最优组合三个子任务。通过在联合框架中利用这三个子任务之间的交互,每个子任务可以通过使用其他子任务的结果来迭代地提高整体最优解。大量的实验证明了我们的方法的有效性。
2017-05-03 cs.CV cs.LG stat.ML
Overlapping clustering based on kernel similarity metric
Larodec, ISG University of Tunis(突尼斯ISG大学Larodec);Ceremade, Université Paris-Dauphine(巴黎第九大学Ceremade)
产生重叠方案是集群中的一个主要问题。最近提出的重叠方法依赖于最佳覆盖的搜索,并基于不同的度量,如欧几里得距离和I-Divergence,用于测量观测之间的接近度。在本文中,我们提出了另一种基于核相似性度量的重叠聚类方法,并利用Gram矩阵估计重叠聚类的个数。在Iris和EachMovie数据集上的实验结果表明,基于核相似性度量的聚类数估计方法是正确的,并且提高了重叠聚类的查准率、查全率和f-measure。
2012-11-29 cs.LG stat.ME stat.ML
A Study of Clustering Techniques and Hierarchical Matrix Formats for Kernel Ridge Regression
University of Michigan(密歇根大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了内存效率和可扩展的算法,用于机器学习的内核方法。使用分层矩阵近似的内核矩阵的内存需求,浮点运算的数量,和执行时间大大减少相比,标准的密集线性代数例程。我们考虑了一般的$\mathcal{H}$矩阵层次格式以及层次半可分(HSS)矩阵。此外,我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。输入的有效聚类导致压缩效率提高十倍。这些算法是使用STRUMPACK求解器库实现的。这些结果证实,-正确调整的超参数-分类使用核岭回归与压缩矩阵不失去预测精度相比,确切的-未压缩-核矩阵,我们的方法可以扩展到$\mathcal{O}(1M)$数据集,其中计算与完整的内核矩阵变得过于昂贵。我们目前的数值实验在分布式内存环境中高达1,024处理器的NERSC的科里超级计算机使用众所周知的数据集的机器学习社区,范围从8到784。
2018-03-27 cs.LG stat.ML
Adaptive Weighted Multiview Kernel Matrix Factorization with its application in Alzheimer's Disease Analysis -- A clustering Perspective
Clemson University(克莱姆森大学)
最近的技术和设备进步为我们提供了更好地分析阿尔茨海默病(AD)的机会,我们可以收集和利用来自不同图像和遗传模式的数据,这些数据可能会提高预测性能。为了在AD分析中进行更好的聚类,本文提出了一种新的模型来利用来自所有不同模态/视图的数据,该模型可以自适应地学习每个视图的权重。与传统的非负矩阵分解假设数据是线性可分的不同,本文提出了一种简单有效的基于核矩阵分解的方法,该方法不仅能够处理非线性数据结构,而且能够获得更好的预测精度。在ADNI数据集上的实验结果表明了该方法的有效性,表明了核函数在AD分析中的应用前景。
2023-03-07 cs.AI cs.LG
Distributed Clustering based on Distributional Kernel
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);School of Information Technology, Deakin University(迪肯大学信息技术学院)
该研究提出首个基于分布核的分布式聚类框架KDC,兼具结果与集中式等价、单站点耗时更低、适配任意簇形态三大特性,搭配新型Kernel Bounded Cluster Cores算法效果更优,还能让二次时间聚类算法处理大规模数据集。
2024-09-14 cs.AI cs.LG stat.ML
Constrained Clustering and Multiple Kernel Learning without Pairwise Constraint Relaxation
Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学)
成对约束下的聚类是一种重要的知识发现工具,它能够学习适当的核或距离度量来提高聚类性能。这些成对约束以必须链接和不能链接对的形式出现,在许多应用程序中自然出现,并且对于用户来说是直观的。然而,当学习内核或度量时,将离散约束放松到连续域以简化优化的常见做法可能会损害泛化,因为仅编码链接的信息被转换为通知距离。我们引入了一个新的约束聚类算法,联合聚类数据和学习的内核,根据现有的成对约束。为了更好地推广,我们的方法被设计为最大化约束满足,而不放松成对约束到一个连续的域,其中它们通知距离。我们表明,所提出的方法优于现有的方法在大量不同的公开可用的数据集,我们讨论了我们的方法如何可以扩展到处理大数据。
2022-03-23 cs.AI cs.LG stat.ML
Concentration of kernel matrices with application to kernel spectral clustering
University of California, Los Angeles(加州大学洛杉矶分校);Cedars-Sinai Medical Center(西达赛奈医疗中心)
研究了随机核矩阵在其均值附近的集中度。假设数据点独立于$\mathbb R^d$上的一类多元分布(包括仿射变换下的强对数凹分布),得到了Lipschitz核的非渐近指数浓度不等式.我们的结果的一个特点是,数据点不需要具有相同的分布或零均值,这在某些应用中是关键,如聚类。我们对Lipschitz核的界是无量纲的,并且一直到常数。为了比较,我们还推导出了一类次高斯分布的欧氏(内积)核的伴随结果。这两种情况之间的一个显著区别是,与欧几里得核相反,在Lipschitz情况下,浓度不等式不依赖于基础向量的均值。作为这些不等式的应用,我们得到了一个核谱聚类(KSC)算法的误分类率的界,扰动下的非参数混合模型。我们展示了一个例子,这个界限建立高维的一致性(作为$d \to \infty$)的KSC,当应用高斯内核,噪声模型嵌套的非线性流形。
2020-01-27 cs.LG math.ST stat.ML
Network Clustering Via Kernel-ARMA Modeling and the Grassmannian The Brain-Network Case
University at Buffalo, The State University of New York (SUNY)(纽约州立大学布法罗分校);Drexel University(德雷塞尔大学);Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
本文介绍了一个聚类框架的节点与时间序列数据注释的网络。该框架解决了所有类型的网络聚类问题:状态聚类,状态内的节点聚类(也称为状态聚类)。拓扑识别或社区发现),甚至子网络状态序列识别/跟踪。通过自下而上的方法,首先从原始节点时间序列数据中提取特征,通过内核自回归移动平均建模来揭示非线性依赖关系和低秩表示,然后映射到格拉斯曼流形(格拉斯曼)。所有的聚类任务都是通过以一种新颖的方式利用格拉斯曼的基本黎曼几何来执行的。为了验证所提出的框架,脑网络聚类被认为是,在合成和真正的功能磁共振成像(fMRI)数据的广泛的数值测试表明,倡导的学习框架相比有利的几个国家的最先进的聚类方案。
2020-02-18 cs.LG cs.SI stat.ML
Multiple-Kernel Dictionary Learning for Reconstruction and Clustering of Unseen Multivariate Time-series
CITEC cluster of excellence(CITEC卓越集群);Bielefeld University(比勒费尔德大学)
存在许多方法用于描述和识别数据集中的不可见类。然而,当我们处理多变量时间序列(MTS)(例如,运动数据),其中我们不能将矢量算法直接应用于输入。在这项工作中,我们提出了一种新的多核字典学习(MKD),学习语义属性的MTS维度在特征空间中的特定组合的基础上。因此,MKD可以基于训练数据(可见类)完全/部分地重建不可见类。此外,我们获得稀疏编码看不见的类的基础上学习的MKD属性,并在此基础上,我们提出了一个简单而有效的增量聚类算法来分类看不见的MTS类在无监督的方式。根据我们的MKD框架在真实基准上的经验评估,它提供了一个不可见MTS数据的可解释的重建以及关于其在线聚类的高性能。
2019-03-12 cs.LG stat.ML