The ParClusterers Benchmark Suite (PCBS): A Fine-Grained Analysis of Scalable Graph Clustering
MIT（麻省理工学院）；Google（谷歌公司）；UMD（马里兰大学学院公园分校）
本文提出了ParClusterers基准测试套件（PCBS），包含高度可扩展的并行图聚类算法和基准测试工具，用于简化不同算法的比较，并标准化评估可扩展图聚类算法在质量与性能上的权衡。
2024-11-15 cs.AI cs.DC cs.LG
A Novel Scalable Apache Spark Based Feature Extraction Approaches for Huge Protein Sequence and their Clustering Performance Analysis
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Mahindra Ecole Centrale（马恒达中央学院）；ICAR-Indian Institute of Soybean Research（印度农业研究委员会-印度大豆研究所）
基因组测序项目正在迅速增加高维蛋白质序列数据集的数量。使用传统的机器学习方法对高维蛋白质序列数据集进行聚类带来了许多挑战。存在许多不同的特征提取方法并且被广泛使用。然而，从数以百万计的蛋白质序列中提取特征变得不切实际，因为它们不能用当前的算法缩放。因此，需要一种有效的特征提取方法来提取重要特征。我们提出了两种基于Apache Spark的可扩展特征提取方法，分别称为60 d-SPF（60-dimensional Scalable Protein Feature）和6d-SCPSF（6-dimensional Scalable Co-occurrence-based Probability-Specific Feature）。所提出的60 d-SPF和6d-SCPSF方法捕获氨基酸的统计特性，以创建分别以60维和6维特征表示每个蛋白质序列的固定长度的数字特征向量。预处理的巨大蛋白质序列被用作两种聚类算法的输入，即，可伸缩随机抽样与迭代优化模糊c均值（SRSIO-FCM）和可伸缩文字模糊c均值（SLFCM）聚类。我们已经进行了广泛的实验，在各种大豆蛋白数据集上，以证明所提出的特征提取方法，60 d-SPF，6d-SCPSF，和现有的特征提取方法的有效性SRSIO-FCM和SLFCM聚类算法。在Silhouette指数和Davies-Bouldin指数方面的报告结果表明，所提出的60 d…
2022-04-21 cs.AI cs.LG q-bio.QM
Scalable Spectral Clustering Using Random Binning Features
IBM Research AI（IBM研究院人工智能部门）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）；Huawei Research（华为研究院）
谱聚类是最有效的聚类方法之一，它可以捕捉数据中隐藏的聚类结构。然而，它不能很好地扩展到大规模的问题，由于其在构建相似图和计算随后的特征分解的二次复杂性。虽然已经提出了一些方法来加速谱聚类，其中大多数妥协相当大的信息损失的原始数据，以减少计算瓶颈。在本文中，我们提出了一种新的可扩展的谱聚类方法，使用随机装箱功能（RB），同时加快相似图的建设和特征分解。具体来说，我们隐式地近似的图形相似性（内核）矩阵的内积由RB生成的大型稀疏特征矩阵。然后，我们引入了一个国家的最先进的SVD求解器，有效地计算这个大矩阵的谱聚类的特征向量。使用这两个构建块，我们将计算成本从数据点数量的二次降低到线性，同时实现类似的精度。我们的理论分析表明，通过RB的谱聚类比标准的随机特征近似更快地收敛到精确的谱聚类。在8个基准测试上的实验表明，该方法在准确性和运行时间上都优于或匹配最先进的方法。此外，我们的方法在数据样本的数量和RB特征的数量方面都具有线性可扩展性。
2019-11-25 cs.LG stat.ML
Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China（电子科技大学）；JD AI Research（京东人工智能研究院）
多核学习（MKL）方法通常被认为比单核方法性能更好。然而，一些实证研究表明，这并不总是正确的：多个内核的组合甚至可能产生比使用单个内核更差的性能。失败有两个可能的原因：（i）大多数现有的MKL方法假设最优内核是基本内核的线性组合，这可能不成立;以及（ii）由于噪声和粗心设计的算法，一些内核权重被不适当地分配。在本文中，我们提出了一种新的MKL框架，通过以下两个直观的假设：（i）每个内核是共识内核的扰动;（ii）接近共识内核的内核应该被分配一个大的权重。令人印象深刻的是，所提出的方法可以自动分配一个适当的权重，每个内核，而无需引入额外的参数，现有的方法。该框架被集成到一个统一的框架，基于图的聚类和半监督分类。我们在多个基准数据集上进行了实验，实验结果验证了该框架的优越性。
2018-06-20 cs.AI cs.CV cs.LG
Multiple kernel learning for integrative consensus clustering of 'omic datasets
MRC Biostatistics Unit（MRC生物统计学单元）；Cambridge Institute of Therapeutic Immunology & Infectious Disease（剑桥治疗免疫学与传染病研究所）；University of Cambridge（剑桥大学）
不同的应用程序-特别是在肿瘤亚型-已经证明了整合聚类技术的重要性，从多个数据源的信息相结合。聚类分析（COCA）就是一种广泛应用于肿瘤亚型分析的方法。然而，COCA的属性从未被系统地探索过，并且它对包含噪声数据集或定义冲突聚类结构的数据集的鲁棒性尚不清楚。我们严格基准COCA，并提出核学习集成聚类（KLIC）作为一种替代策略。KLIC将组合聚类结构的挑战框定为多核学习问题，其中不同的数据集各自为最终聚类提供加权贡献。这允许噪声数据集的贡献相对于信息量更大的数据集被降低权重。我们通过仿真研究比较了KLIC和COCA在各种情况下的性能。我们还介绍了KLIC和COCA在癌症亚型和转录模块发现的实际数据应用中的输出。R软件包“klic”和“coca”可以在Comprehensive R Archive Network上找到。
2020-05-18 cs.LG stat.AP stat.ME
Summaries as Centroids for Interpretable and Scalable Text Clustering
York University（约克大学）
本文提出k-NLPmeans和k-LLMmeans，通过摘要作为中心实现可解释且可扩展的文本聚类，优于传统方法并接近LLM聚类性能。
2026-02-06 cs.CL cs.LG stat.ML
Multiple Kernel Clustering via Local Regression Integration
本文提出多核局部回归聚类方法CMKLR，通过构建并聚合各候选核的局部回归稀疏系数来刻画流形结构并提升鲁棒性，在基准数据集上优于10种现有多核聚类方法。
2024-10-20 cs.LG
Multi-view Clustering via Unified Multi-kernel Learning and Matrix Factorization
School of Mathematics, Hunan University（湖南大学数学学院）；Shenzhen Research Institute, Hunan University（湖南大学深圳研究院）；Malaysia-Japan International Institute of Technology (MJIIT), Universiti Teknologi, Malaysia（马来西亚理工大学马来西亚-日本国际理工学院）；College of Science, Princess Nourah bint Abdulrahman University (PNU)（公主诺拉·宾特·阿卜杜勒拉赫曼大学理学院）；Regional Research Center, Iwate Prefectural University（岩手县立大学区域研究中心）
针对现有多核聚类计算复杂度高、基于矩阵分解的多视图聚类单视图约束限制学习的问题，提出融合多核学习与矩阵分解的多视图聚类方法，通过对共识矩阵施加正交约束、避免最优核学习降低复杂度，搭配三步优化算法，经真实数据集验证有效。
2024-12-12 cs.LG
Generative Kernel Spectral Clustering
ESAT-Stadius（ESAT-斯蒂杜斯）；KU Leuven（库勒文大学）；Leuven.AI - KU Leuven institute for AI（勒文人工智能-库勒文大学人工智能研究所）
针对深度学习聚类可解释性差的问题，提出生成式核谱聚类（GenKSC），结合核谱聚类与生成建模，通过重建和聚类损失增强加权方差最大化，在MNIST和FashionMNIST上学习到可解释的簇表示。
2025-02-04 cs.LG
Fast Asymmetric Factorization for Large Scale Multiple Kernel Clustering
College of Computer Science, Sichuan University（四川大学计算机学院）；Institute of Big Data Science and Industry, Shanxi University（山西大学大数据科学与产业研究院）
针对大规模多核聚类面临的内存和时间瓶颈，提出高效多核概念分解（EMKCF），通过构建稀疏核矩阵和扩展正交概念分解，实现内存与时间效率的双重优化，并在基准数据集上验证了其优越性。
2024-05-26 cs.LG
Spectral Clustering with Jensen-type kernels and their multi-point extensions
Indian Institute of Science（印度科学院）
多分布的分歧，起源于信息论，我们提出了一个概念的“多点”内核，并研究其应用。我们研究了一类基于詹森型分歧的内核，并表明这些可以扩展到多个点之间的相似性测量。研究了张量平坦化方法，提出了一种多点（核）谱聚类方法。我们进一步强调所提出的内核，这是一个多点扩展的线性（点积）内核的特殊情况下，并显示在这种情况下的立方时间张量平坦算法的存在。最后，我们使用标准数据集和图像分割任务说明了我们的贡献的有用性。
2014-03-18 cs.LG
STCAD: Scalable Trajectory Clustering and Anomaly Detection on Terabyte-Scale AIS Data
该研究提出STCAD框架，通过自定义BERT模型与CURE层次聚类实现TB级AIS轨迹的无监督聚类，结合重构损失与聚类噪声分配检测异常，在国家级AIS数据集上验证了方法的有效性。
2026-08-12 cs.LG
Scalable Hierarchical Agglomerative Clustering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google LLC（谷歌有限责任公司）；Facebook（脸书）；University of Southern California（南加州大学）
凝聚聚类的适用性，推断层次和平面聚类，是有限的，其可扩展性。现有的可扩展的层次聚类方法牺牲质量的速度，往往导致过度合并的集群。在本文中，我们提出了一个可扩展的，凝聚的层次聚类方法，不牺牲质量和规模数十亿的数据点。我们进行了详细的理论分析，表明在温和的可分性条件下，我们的算法不仅可以恢复最佳的平面划分，而且还提供了一个两个近似的非参数DP均值目标。这介绍了一种新的应用程序的层次聚类作为一个近似算法的非参数聚类目标。我们还涉及到我们的算法的经典层次凝聚聚类方法。我们进行了广泛的实证实验，在分层和扁平的聚类设置，并表明我们提出的方法实现了国家的最先进的结果公开可用的聚类基准。最后，我们证明了我们的方法的可扩展性，将其应用到一个数据集的30亿次查询。人类对发现的聚类的评价表明，我们的方法发现的聚类质量比目前最先进的聚类质量更好。
2021-09-30 cs.LG
DK-GBMKKM: Dynamic Kernel-Space Granular-Ball Multiple Kernel $k$-Means Clustering
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Open University（重庆开放大学）
针对多核k均值易受噪声边界样本影响、粒球与融合核几何不匹配的问题，提出DK-GBMKKM，通过核空间动态粒球交替优化提升聚类性能，在12个公开数据集上表现出色且代码开源。
2026-09-02 cs.LG
The Impact of Isolation Kernel on Agglomerative Hierarchical Clustering Algorithms
Deakin University（迪肯大学）；Nanjing University（南京大学）
针对现有基于距离的凝聚层次聚类难以识别密度不同的相邻簇的问题，本文分析问题成因，提出用数据依赖核解决该问题，并将Isolation Kernel应用于多种层次聚类算法，实验证明其生成的树图质量与纯度更优。
2020-10-12 cs.LG
Fast and Scalable Multi-Kernel Encoder Classifier
本文提出一种快速且可扩展的多核编码器分类器，将核矩阵视为广义图并利用图嵌入技术，在保持与SVM等方法相当准确率的同时显著提升了运行时间。
2024-11-11 cs.LG
Explaining Kernel Clustering via Decision Trees
Technical University of Munich（慕尼黑工业大学）；Amazon Research（亚马逊研究院）
本文研究可解释核聚类，提出用决策树逼近核k-means诱导的划分，并通过合适的特征选择在保持可解释性的同时不牺牲逼近保证。
2024-02-15 cs.LG
Robust Multiple Kernel k-means Clustering using Min-Max Optimization
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）
多核学习是一种多视图学习，它通过使用内核捕获视图特定的模式来组合不同的数据模态。虽然监督多核学习已经得到了广泛的研究，直到最近，只有少数无监督的方法已经提出。与此同时，对抗性学习最近受到了广泛的关注。已经提出了许多作品来抵御对抗性的例子。然而，人们对多视图学习中对抗扰动的影响知之甚少，在无监督的情况下更是如此。在这项研究中，我们表明，添加到视图的对抗性功能可以使现有的方法与最小-最大公式在多核聚类产生不利的集群。为了解决这个问题，并受到对抗学习中最近工作的启发，我们提出了一种具有最小-最大框架的多核聚类方法，旨在对这种对抗扰动具有鲁棒性。我们评估了我们的方法在不同类型的对抗性扰动下对模拟数据的鲁棒性，并表明它优于现有的几种方法。在实际数据分析中，我们证明了我们的方法对现实世界的问题的实用性。
2019-09-10 cs.LG
Scalable Varied-Density Clustering via Graph Propagation
针对高维数据变密度聚类问题，提出将其作为邻域图中标签传播过程的新视角，引入密度感知邻域传播算法并结合随机投影方法构建近似邻域图，在降计算成本同时保持聚类质量，处理大数据集效率高且准确率有竞争力。
2026-07-13 cs.LG
Fast Kernel k-means Clustering Using Incomplete Cholesky Factorization
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
基于核的聚类算法可以识别和捕捉数据集中的非线性结构，从而可以获得比线性聚类更好的性能。然而，计算和存储整个核矩阵占用大量内存，这是基于核的聚类很难处理大规模的数据集。在本文中，我们采用不完全Cholesky分解加速核聚类和节省内存空间。提出的核$k$ -均值聚类的核心思想是，我们近似的低秩矩阵和转置的产品的整个核矩阵使用不完全Cholesky分解。然后将线性$k$均值聚类应用于低秩矩阵的转置的列。我们分析和经验表明，该算法的性能是类似的内核$k$均值聚类算法，但我们的方法可以处理大规模的数据集。
2020-02-07 cs.LG stat.ML
Multiple Kernel $k$-Means Clustering by Selecting Representative Kernels
University of Science and Technology of China（中国科学技术大学）
为了对原始特征空间中不可线性分离的数据进行聚类，将$k$ -均值聚类扩展到内核版本。然而，核$k$ -均值聚类的性能在很大程度上取决于核函数的选择。为了缓解这个问题，多核学习已被引入到$k$均值聚类，以获得最佳的内核组合的聚类。尽管多核$k$ -均值聚类算法在各种场景下都取得了成功，但现有的工作很少根据核的多样性来更新组合系数，这导致所选核含有较高的冗余度，从而降低了聚类性能和效率。在本文中，我们提出了一个简单而有效的策略，选择一个不同的子集从预先指定的内核作为代表性的内核，然后将子集选择过程中的多个$k$均值聚类的框架。代表性核可以表示为有效组合权重。由于所得到的目标函数的非凸性，我们开发了一种交替最小化方法来优化所选择的核和集群成员的组合系数交替。我们评估所提出的方法在几个基准和现实世界的数据集。实验结果表明，我们的方法相比，国家的最先进的方法的竞争力。
2018-11-01 cs.LG stat.ML
Manifold Adaptive Multiple Kernel K-Means for Clustering
Shanxi University（山西大学）
基于k-means的多核方法旨在整合一组核来提高核k-means聚类的性能。然而，我们观察到，大多数现有的多核k-means方法利用内核内的非线性关系，而多核空间之间的局部流形结构没有得到充分考虑。在本文中，我们采用流形自适应核，而不是原来的核，集成核的局部流形结构。因此，诱导的多重流形自适应核不仅反映了非线性关系，而且还反映了局部流形结构。然后，我们在多核k-means聚类框架内执行多核聚类。它已被验证，所提出的方法优于几个国家的最先进的基线方法对各种数据集。
2020-09-30 cs.LG stat.ML
Accelerated sparse Kernel Spectral Clustering for large scale data clustering problems
CERN（欧洲核子研究中心）；Katholieke Universiteit Leuven（荷语鲁汶大学）；AI Fund（人工智能基金）
本文提出了稀疏多路核谱聚类（KSC）的改进版本，通过求解对称化特征值问题消除大型矩阵SVD计算，大幅提升计算效率与稀疏性，使算法适用于大规模实际聚类问题。
2023-10-20 cs.LG
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Random Gegenbauer Features for Scalable Kernel Methods
Yale University（耶鲁大学）；MPI-Informatics（马克斯·普朗克信息学研究所）；Tel Aviv University（特拉维夫大学）
我们提出了有效的随机功能，近似一个新的和丰富的核函数，我们称为广义带状核（GZK）。我们提出的GZK家族，概括了区域内核（即，单位球面上的点积核），并且包括广泛的普遍存在的核函数，诸如点积核的整体以及高斯核和最近引入的神经切线核。有趣的是，通过利用Gegenbauer多项式的再生特性，我们可以基于随机定向的Gegenbauer核为GZK族构造有效的随机特征。我们证明子空间嵌入保证我们的Gegenbauer功能，确保我们的功能可以用于近似解决学习问题，如核k-均值聚类，核岭回归等经验结果表明，我们提出的功能优于最近的核近似方法。
2022-02-07 cs.LG
Towards Robust and Scalable Density-based Clustering via Graph Propagation
School of Computer Science, University of Auckland, New Zealand（奥克兰大学计算机科学学院）；Department of Mathematics and Computer Science, University of Southern Denmark, Denmark（丹麦南部大学数学与计算机科学系）
本文提出CluProp框架，将高维空间中的变密度聚类转化为邻域图上的标签传播过程，通过高效的传播机制缓解传统密度方法的参数敏感性，实现大规模数据的高效准确聚类。
2026-08-27 cs.LG
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Inception Institute of Artificial Intelligence（启智人工智能研究院）
本文研究了核$k$ -means的统计性质，得到了一个接近最优的超聚类风险界，大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果，并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知，这样的核（或近似核）$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Scalable Pairwise Kernel Learning with Stochastic Vec Trick
Department of Computing, University of Turku（图尔库大学计算系）
提出SPaiK方法，利用随机广义vec技巧（sGVT）实现成对核学习的大规模扩展，在七个药物-靶标亲和力数据集上优于现有方法。
2026-06-16 cs.LG
Multi-Relation Graph-Kernel Strengthen Network for Graph-Level Clustering
Hainan University（海南大学）；Northeast Normal University（东北师范大学）；Hebei University of Technology（河北工业大学）；University of Chinese Academy of Science（中国科学院大学）；Hubei University（湖北大学）；The Australian National University（澳大利亚国立大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Southeast University（东南大学）
针对图级聚类中现有深度方法受限于池化及传统图核难以处理多关系数据的问题，提出多关系图核增强网络（MGSN），通过结合多关系建模与图核技术提取特征并渐进融合，在多个基准上超越现有方法。
2025-04-02 cs.LG
Kempe Swap K-Means: A Scalable Near-Optimal Solution for Semi-Supervised Clustering
Georgia Institute of Technology（佐治亚理工学院）
本文提出Kempe Swap K-Means算法，通过双重迭代过程在约束空间中优化聚类，结合可控扰动提升全局搜索能力，实现高效且可扩展的半监督聚类解决方案。
2026-03-28 cs.LG
Robust Kernel Sparse Subspace Clustering
Ruđer Bošković Institute（鲁杰·博什科维奇研究所）
针对现有核子空间聚类无法处理非高斯稀疏损坏的问题，提出首个鲁棒核稀疏子空间聚类算法，经两个数据集和Wilcoxon检验验证，性能显著优于线性鲁棒基线，且原理可推广至其他子空间聚类算法。
2024-01-30 cs.LG
Clustering on Multiple Incomplete Datasets via Collective Kernel Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
包含不同类型特征的多个数据集可用于给定任务。例如，用户的简档可以用于为推荐系统对用户进行分组。此外，模型还可以使用用户的历史行为和信用历史来对用户进行分组。每个数据集包含不同的信息，足以进行学习。在过去的几年中，提出了许多多数据集上的聚类算法。这些算法假设至少有一个数据集是完整的。就我们所知，如果没有完整的数据集，所有以前的方法都将不适用。然而，在现实中，有许多情况下，没有数据集是完整的。在构建推荐系统时，一些新用户可能没有个人资料或历史行为，而一些新用户可能没有信用历史。因此，没有可用的数据集是完整的。为了解决这个问题，我们提出了一种称为集体核学习的方法来推断隐藏的样本相似性，从多个不完整的数据集。其思想是通过优化数据集的共享实例的对齐来共同完成不完整数据集的核矩阵。在此基础上，提出了一种基于核矩阵的聚类算法。在合成数据集和真实数据集上的实验结果表明了该方法的有效性。该算法在归一化互信息方面的性能是比较算法的两倍。
2016-05-06 cs.LG
Scalable Support Vector Clustering Using Budget
Faculty of Information Technology, VNUHCM-University of Science（越南国立大学胡志明市分校自然科学大学信息技术学院）；Centre for Pattern Recognition and Data Analytics, Deakin University（迪肯大学模式识别与数据分析中心）
基于支持度的聚类由于其在解决复杂多样的聚类或孤立点检测问题中的应用，近年来引起了广泛的关注。基于支持度的聚类方法通常要经历两个阶段：发现新的领域和进行聚类分配。为了找到新颖的域，当前求解器给出的训练时间通常在训练大小上超过二次，因此排除了对大规模数据集使用基于支持度的聚类方法。在本文中，我们提出了应用随机梯度下降（SGD）框架的第一阶段的支持为基础的聚类发现域的新颖性和一个新的策略来执行聚类分配。然而，直接将SGD应用于基于支持度的聚类的第一阶段容易受到核化的诅咒，即模型大小随时间推移积累的数据大小线性增长。为了解决这个问题，我们调用预算方法，它允许我们将模型大小限制在一个小的预算。我们的聚类分配新策略通过将完整训练集上的聚类分配任务减少到一个显着更小的集合上的相同任务来实现快速计算。我们还提供了一个严格的理论分析所提出的方法的收敛速度。最后，我们验证了我们提出的方法在著名的数据集聚类显示，所提出的方法提供了一个可比的聚类质量，同时实现显着的加速与基线相比。
2017-09-19 cs.LG
Radius-Guided Post-Clustering for Shape-Aware, Scalable Refinement of k-Means Results
Independent Researcher（独立研究者）
针对k-means在非凸形状上表现不佳且需预设簇数的问题，提出半径引导的后聚类方法，通过合并半径重叠的簇重建非凸形状，支持递归划分实现可扩展性，在基准数据集上以极低计算开销取得高准确率。
2025-04-28 cs.LG
Out-of-Distribution Detection through Soft Clustering with Non-Negative Kernel Regression
University of Southern California（南加州大学）；Tenyx（Tenx公司）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
提出基于非负核回归的软聚类方法用于分布外检测，大幅降低计算与存储开销，并在多个基准上提升AUROC性能。
2024-07-18 cs.LG
Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds
Stevens Institute of Technology（斯蒂文斯理工学院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
核$k$ -均值聚类算法比线性$k$ -均值聚类算法能够正确地识别和提取更多样的聚类结构集合。然而，核$k$ -均值聚类是计算昂贵的非线性特征映射是高维的，有很多输入点。核近似，例如，Nyström方法，已被应用在以前的工作，以近似解决内核学习问题时，上述两个条件都存在。这项工作分析了这种范例的应用内核$k$ -均值聚类，并表明，应用线性$k$ -均值聚类算法的$\frac{k}ε (1 + o(1))$功能构建使用所谓的秩限制Nyström近似结果在集群分配，满足$1 + ε$近似比的内核$k$ -均值成本函数，相对于不使用Nyström方法的相同算法提供的保证。作为分析的一部分，这项工作建立了一个新的$1 + ε$相对误差跟踪范数保证低秩近似使用秩限制Nyström近似。在$8.1$百万实例MNIST 8 M数据集上的实证评估证明了内核$k$均值聚类与Nyström近似的可扩展性和实用性。这项工作认为，谱聚类使用Nyström近似-一个流行的和计算效率高，但理论上不健全的方法，非线性聚类-应取代内核$k$ -均值聚类Nyström近似的有效和理论上合理的组合。后一种方法的优越性能是经验验证。
2019-02-10 cs.LG stat.ML
Kernel Correlation-Dissimilarity for Multiple Kernel k-Means Clustering
School of Mathematical Science, Inner Mongolia University（内蒙古大学数学科学学院）；The Chinese University of Hong Kong（香港中文大学）
针对现有多核k均值聚类仅用单一相关性或不相似性指标刻画核关系存在偏差的问题，提出融合核相关性与不相似性的新方法，在13个基准数据集上实现了优于现有最优MKKM技术的聚类性能。
2024-03-06 cs.CV cs.LG
Tight Kernel Query Complexity of Kernel Ridge Regression and Kernel $k$-means Clustering
Carnegie Mellon University（卡内基梅隆大学）
我们提出了严格的下界的核评估所需的数量近似解决内核岭回归（KRR）和内核$k$ -均值聚类（KKMC）的$n$输入点。对于KRR，我们的相对误差逼近目标函数的最小值的界是$Ω(nd_{\mathrm{eff}}^λ/\varepsilon)$，其中$d_{\mathrm{eff}}^λ$是有效的统计维数，它紧到$\log(d_{\mathrm{eff}}^λ/\varepsilon)$因子。对于KKMC，我们找到一个$k$ -聚类实现目标函数的相对误差近似的界限是$Ω(nk/\varepsilon)$，这是紧到一个$\log(k/\varepsilon)$因素。我们的KRR结果解决了El Alaoui和Mahoney的一个开放问题的变体，即有效统计维度是否是抽样复杂性的下限。此外，对于重要的实际情况下，当输入是高斯的混合，我们提供了一个KKMC算法绕过上述下限。
2019-05-15 cs.DS cs.LG
Scalable Kernel Clustering: Approximate Kernel k-means
Michigan State University（密歇根州立大学）；Michigan Tech University（密歇根理工大学）
基于核的聚类算法具有捕捉真实世界数据中非线性结构的能力。在各种基于核的聚类算法中，核k-means由于其简单的迭代性质和易于实现而受到欢迎。然而，它的运行时复杂度和内存占用增加的平方方面的数据集的大小，因此，大型数据集不能有效地聚类。在本文中，我们提出了一个近似方案的基础上随机化，称为近似核k-means。我们使用几个采样点和数据集中的所有点之间的核相似性来近似聚类中心。我们表明，该方法实现了更好的聚类性能比传统的低秩核近似基于聚类方案。我们还证明了它的运行时间和内存需求显着低于内核k-means，只有一个小的减少在几个公共领域的大数据集的聚类质量。然后，我们采用集成聚类技术，以进一步提高我们的算法的性能。
2014-02-16 cs.CV cs.DS cs.LG
SimpleMKKM: Simple Multiple Kernel K-means
National University of Defense Technology（国防科技大学）；Edinburgh University（爱丁堡大学）；Hefei University of Technology（合肥工业大学）
我们提出了一个简单而有效的多核聚类算法，称为简单的多核k-means（SimpleMKKM）。它扩展了广泛使用的监督核对齐标准的多核聚类。我们的标准是由一个棘手的最小化最大化问题的核心系数和聚类划分矩阵。为了优化它，我们重新制定了一个光滑的最小化的问题，这可以有效地解决使用减少梯度下降算法。从理论上分析了SimpleMKKM的聚类泛化误差。在11个基准数据集上的综合实验表明，SimpleMKKM优于最先进的多核聚类替代方案。
2020-05-12 cs.LG stat.ML
Point-Set Kernel Clustering
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
度量两个对象之间的相似性是现有聚类算法的核心操作，用于将相似的对象分组到类中。本文介绍了一种新的相似性度量称为点集核，它计算一个对象和一组对象之间的相似性。建议的聚类过程利用这种新的措施来表征每个集群从一个种子对象。我们表明，新的聚类过程是有效的和高效的，使其能够处理大规模的数据集。相比之下，现有的聚类算法要么是高效的，要么是有效的。与最先进的密度峰值聚类和可扩展的核k均值聚类相比，我们表明，该算法是更有效的，运行速度的数量级更快时，适用于数百万个数据点的数据集，在常用的计算机上。
2022-01-06 cs.LG stat.ML
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University（卡内基梅隆大学）；Philips Research Hamburg（飞利浦汉堡研究院）
我们引入了一个新的结构化核插值（SKI）框架，该框架推广和统一了可伸缩高斯过程（GP）的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导（又名插值）点的数量、插值策略和GP协方差核。SKI还提供了一种机制，通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值，我们引入了KISS-GP，它1）比诱导点替代方案更具可扩展性，2）自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益，而不需要任何网格数据，3）可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O（n）。我们评估KISS-GP的核矩阵近似，核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering
Aalto University（阿尔托大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
核函数是一种强有力的工具，通过核技巧来增强$k$ -均值聚类算法。已知所选核函数的参数可以对结果具有显著影响。在监督设置中，这些可以通过交叉验证进行调整，但对于聚类来说，这并不简单，通常采用分类法。在本文中，我们研究了核参数对核$k$ -均值的影响。特别是，我们推导出一个下界，紧到常数因子，低于该参数的RBF内核将使内核$k$ -意味着毫无意义。我们认为，网格搜索可以是无效的超参数搜索在这种情况下，并提出了一种替代算法。此外，我们提供了一个有效的实现的基础上快速近似取幂可证明的质量保证。我们的实验结果表明，我们的方法能够有效地揭示一组丰富而有用的超参数值。
2020-06-24 cs.LG stat.ML
Convergence and clustering analysis for Mean Shift with radially symmetric, positive definite kernels
本文研究了均值偏移算法在径向对称正定核下的收敛性与聚类分析，证明了在足够大的带宽下，无论维度如何，算法都能收敛。同时探讨了不同核函数在大带宽下的聚类性能。
2026-03-16 cs.LG stat.ML
Kernel Spectral Clustering and applications
在本章中，我们回顾了与核谱聚类（KSC）相关的主要文献，KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式，由加权核PCA目标描述。正如在分类器的情况下，二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外，多路聚类可以通过经由纠错输出码（ECOC）编码方案组合一组二元决策函数来获得。由于其基于模型的性质，KSC方法包括三个主要步骤：训练，验证，测试。在验证阶段，执行模型选择以获得调优参数，如数据中存在的聚类数。这是一个主要的优势相比，经典的谱聚类的聚类参数的确定是不清楚的，依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练，它就能够很好地推广到看不见的测试点。除了基本公式，稀疏KSC算法的基础上不完全Cholesky分解（ICD）和$L_0$，$L_1, L_0 + L_1$，组Lasso正则化。在这方面，我们展示了如何处理大规模数据。此外，两种可能的方式来执行层次聚类和软聚类方法。最后，考虑了实际应用，如图像分割，电力负荷时间序列聚类，文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
On the optimality of kernels for high-dimensional clustering
International Max Planck Research School for Intelligent Systems（马克斯·普朗克智能系统国际研究学院）；IMPRS-IS（马克斯·普朗克智能系统国际研究学院）；University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）
研究了高维数据聚类中核方法的最优性。最近的工作已经研究了大样本性能的核聚类在高维制度，其中欧氏距离变得信息量较少。然而，目前还不清楚流行的方法，如核k-means，在这种制度下是否是最佳的。我们认为，高维高斯聚类的问题，并表明，与指数核函数，部分恢复集群使用NP-硬核k-均值目标的充分条件匹配已知的信息理论的限制高达一个因素的$\sqrt{2}$大$k$。它也完全匹配非内核设置的已知上限。我们还表明，一个半定松弛的内核k-均值程序匹配到常数因子，频谱阈值，低于它没有多项式时间算法是已知的成功。这是第一个为内核k-means及其凸松弛提供这种最优性保证的工作。我们的证明表明，在高阶分析的核方法的指数衰减尾部的随机变量的不太知名的多项式浓度的结果的效用。
2019-12-01 cs.LG stat.ML
Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）；Supercomputing and Cloud Computing Institute（超级计算与云计算研究院）；State University of New York, New Paltz（纽约州立大学新帕尔茨分校）
多核聚类（MKC）致力于从一组基本核中实现最佳信息融合。由于距离-距离相似性估计的不可靠性会降低聚类性能，因此构造精确的局部核矩阵具有重要的应用价值。虽然现有的局部化MKC算法与全局设计的竞争者相比表现出更好的性能，但大多数算法广泛采用KNN机制通过考虑τ -最近邻来定位核矩阵。然而，这种粗略的方式遵循了不合理的策略，即不同邻居的排序重要性相等，这在应用中是不切实际的。为了缓解这些问题，本文提出了一种新的局部样本加权多核聚类（LSWMKC）模型。我们首先在核空间中构造了一个一致判别亲和图，揭示了潜在的局部结构。此外，学习的亲和图的最佳邻域核输出具有自然稀疏性和清晰的块对角结构。此外，LSWMKC implementation优化不同的邻居与相应的样本的自适应权重。实验结果表明，我们的LSWMKC具有更好的局部流形表示，并优于现有的核或基于图的聚类算法。LSWMKC的源代码可以从https://github.com/liliangnudt/LSWMKC公开访问。
2022-07-05 cs.AI cs.LG
Wasserstein-based Kernel Principal Component Analysis for Clustering Applications
Risk Engineering Lab, Institute of Energy；Process Engineering, Department of Mechanical；Process Engineering, ETH Z\"urich , country= Switzerland
本文提出一个集成Wasserstein度量与核方法的无监督聚类框架，通过参考分布近似距离、平移正定核及可扩展有效性指标，有效处理向量型和分布型数据，并在电力图和时序数据上验证了性能。
2025-10-14 cs.LG stat.AP
Attention-Based Clustering: Learning a Kernel from Context
Zuken Ltd（图研有限公司）
在机器学习中，没有数据点是孤立的。我们认为，在许多机器学习方法中，上下文是一个未得到充分重视的概念。我们提出了基于注意力的聚类（ABC），基于注意力机制的神经体系结构，其目的是学习适应输入集内上下文的潜在表示，并且其本质上与输入大小和聚类数量无关。通过学习相似性核，我们的方法直接与任何开箱即用的基于核的聚类方法相结合。我们提出了竞争力的聚类Omniglot字符的结果，包括分析证据的有效性的注意力为基础的方法进行聚类。
2020-10-02 cs.CV cs.LG stat.ML
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文的主要贡献是一种新的子空间聚类方法，该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类（SSC）中的回归技术，通过用称为有序加权$\ell_1$（OWL）最小化的泛化来替换$\ell_1$最小化，该泛化同时执行相关变量的回归和聚类。利用随机几何图理论，我们证明了OWL回归在每个子空间内选择更多的点，从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类，与SSC相比显著降低了计算复杂性。在实验中，我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Deep Kernel Learning for Clustering
Northeastern University（东北大学）
我们提出了一种深度学习方法，用于发现针对样本数据识别聚类的内核。我们的神经网络产生的样本嵌入是由谱聚类激发的，并且至少与谱聚类一样具有表达力。我们的训练目标，基于Hilbert Schmidt信息准则，可以通过Stiefel流形上的梯度自适应来优化，从而显著加速依赖于特征分解的谱方法。最后，我们训练的嵌入可以直接应用于样本外数据。我们的实验表明，我们的方法优于几个国家的最先进的深度聚类方法，以及传统的方法，如$k$ -手段和谱聚类在广泛的现实生活和合成数据集。
2020-01-02 cs.LG stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA（蔚蓝海岸大学法国国家信息与自动化研究所）
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度，仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构，从这样的混合物中抽取的样本。基于这些结果，我们分析了核PCA聚类高维混合的能力。特别是，我们展示了一个特定的内核，导致一个简单的频谱算法聚类可能共同的手段，但不同的协方差阵的混合物。我们表明，所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Scalable Density-based Clustering with Random Projections
University of Auckland（奥克兰大学）
本研究提出可扩展密度聚类算法sDBSCAN及配套sOPTICS，利用随机投影提升高维聚类效率，支持多种距离度量，在百万级数据集上速度远快于传统方法且精度更高。
2025-05-18 cs.CV cs.LG
Scalable Kernel Learning via the Discriminant Information
Princeton University（普林斯顿大学）
核近似方法创建显式的低维核特征映射，以处理标准技术的高计算和存储复杂性。这项工作研究了一种监督核学习方法来优化这种映射。我们利用判别信息标准，一种与判别分析有很强联系的类可分性度量。通过推广这种措施，以涵盖更广泛的内核映射和学习设置，我们开发了可扩展的方法来学习具有高鉴别力的内核功能。在几个数据集上的实验结果表明，我们的技术可以提高最先进的核学习方法的优化和泛化性能。
2020-02-14 cs.LG stat.ML
