Understanding Regularized Spectral Clustering via Graph Conductance
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文利用图电导和谱聚类之间的关系来研究（i）谱聚类的失败和（ii）正则化的好处。原因很简单。稀疏图和随机图创建了许多小树，这些小树仅通过一条边连接到图的核心。图电导是敏感的，这些嘈杂的“悬挂集”。谱聚类继承了这种敏感性。本文的第二部分从先前提出的正则化谱聚类的形式开始，并表明它与“正则化图”上的图电导有关。我们称正则化图上的电导为CoreCut。基于先前将图电导与谱聚类（例如Cheeger不等式）相关联的参数，最小化CoreCut松弛以正则化谱聚类。对CoreCut的简单检查揭示了为什么它对图中的小切割不那么敏感。总之，这些结果表明，谱聚类的不平衡分区可以被理解为在稀疏和随机图的外围对噪声的过拟合。正则化修复了这种过拟合。除了这种统计上的好处，这些结果还证明了正则化如何提高谱聚类的计算速度。我们提供模拟和数据的例子来说明这些结果。
2018-12-01 cs.LG stat.ML
On a 'Two Truths' Phenomenon in Spectral Graph Clustering
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute for Defense Analyses（国防分析研究所）；University of Massachusetts（马萨诸塞大学）
聚类关注的是在没有任何明确的真实分组概念的情况下对观测数据进行连贯的分组。谱图聚类--根据图的谱嵌入对图的顶点进行聚类--通常通过由拉普拉斯或邻接谱嵌入（LSE或ASE）组成的K均值（或者更一般地，高斯混合模型）聚类来实现。最近的理论结果提供了新的理解的问题和解决方案，并导致我们的“两个真理”的LSE与ASE频谱图聚类现象令人信服地说明了这里通过扩散MRI连接体数据集：不同的嵌入方法产生不同的聚类结果，与LSE捕获左半球/右半球的亲和结构和ASE捕获灰质/白质的核心-外围结构。
2019-02-11 cs.LG stat.ML
Mini-Batch Spectral Clustering
Symantec Research Labs（赛门铁克研究实验室）；EURECOM
计算拉普拉斯矩阵谱的代价阻碍了谱聚类在大数据集上的应用。虽然近似恢复计算易处理性，但它们可能会影响聚类性能。提出了一种基于自适应随机梯度优化的谱聚类学习方法。最重要的是，所提出的方法恢复的拉普拉斯矩阵的精确谱的限制的迭代，每次迭代的成本是线性的样本数。在多达50万个样本的数据集上进行了广泛的实验验证，证明了其可扩展性及其优于最先进的近似方法的能力，以在给定的计算预算下学习谱聚类。
2016-08-12 cs.LG stat.ML
Clustering Result Re-guided Incomplete Multi-view Spectral Clustering
College of Information Engineering, Shanghai Maritime University（上海 Maritime University 信息工程学院）；Department of Automation, Shanghai Jiao Tong University（上海 Jiao Tong University 自动化系）
针对不完整多视图谱聚类中样本连通性未被有效利用的问题，提出CRG_IMSC方法，通过非负约束直接获取聚类结果并构建连通性矩阵最小化自表示残差，实验证明其优于现有方法且收敛。
2025-10-11 cs.LG stat.ML
The Mathematics Behind Spectral Clustering And The Equivalence To PCA
谱聚类是一种流行的算法，它使用来自数据的拉普拉斯矩阵的特征值和特征向量来聚类点。多年来，谱聚类一直在神秘地工作。本文解释谱聚类分为两类的基础上，图拉普拉斯是完全连接或不。对于全连通图，本文通过提供一个目标函数：原始数据点的相似性和映射数据点的相似性之间的协方差来演示降维部分。对于多连通图，证明了在适当的$k$下，第一个$k$特征向量是连通分支的指示.本文还证明了谱嵌入与主成分分析之间的等价性。
2021-03-01 cs.LG stat.ML
Improved Analysis of Spectral Algorithm for Clustering
Shizuoka University（静冈大学）
谱算法是通过使用谱嵌入映射将图的节点集划分为组的图划分算法。基于该算法的聚类技术被称为谱聚类，并广泛应用于数据分析。为了更好地理解为什么谱聚类是成功的，Peng et al.（2015）和Kolev and Mehlhorn（2016）研究了一类图的某种类型的谱算法的行为，称为良好聚类图。具体地说，他们对图进行了假设，并给出了在此假设下谱算法的性能保证，他们研究的算法使用了Shi和Malic（2000）提出的谱嵌入图。在本文中，我们改进了他们的结果，在较弱的假设下给出了更好的性能保证。我们还评估了谱算法的性能与Ng等人（2001）开发的谱嵌入图。
2020-09-07 cs.LG stat.ML
Constrained 1-Spectral Clustering
Max Planck Institute for Computer Science（马克斯·普朗克计算机科学研究所）；Saarland University（萨尔大学）
聚类中先验信息的一种重要形式是不能链接和必须链接约束。我们提出了一个普遍的谱聚类技术，它集成了这样的限制。受最近提出的$1$ -谱聚类无约束问题的启发，我们的方法是基于紧松弛的约束归一化切割成一个连续的优化问题。相对于所有其他的方法，已建议约束谱聚类，我们总是可以保证满足所有的约束。此外，我们的软配方允许优化归一化的削减和违反约束的数量之间的权衡。提供了一种有效的实现，其可扩展到大型数据集。在实验中，我们始终优于所有其他提出的方法。
2015-05-24 cs.LG stat.ML
An improved spectral clustering method for community detection under the degree-corrected stochastic blockmodel
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
对于社区检测问题，谱聚类是一种广泛使用的网络簇检测方法。在本文中，我们提出了一种改进的谱聚类（ISC）方法下的度校正随机块模型（DCSBM）。ISC是基于正则化Laplacian矩阵的加权首K + 1个特征向量的k-均值聚类算法设计的，其中权值是其对应的特征值。ISC的理论分析表明，在温和的条件下，ISC产生稳定一致的社区检测。数值结果表明，ISC优于经典的谱聚类方法的社区检测模拟和八个经验网络。特别是，ISC对两个弱信号网络Simmons和Caltech提供了显着的改进，错误率分别为121/1137和96/590。
2020-11-12 cs.LG stat.ML
Consistent Spectral Clustering in Hyperbolic Spaces
Indian Statistical Institute（印度统计研究所）
针对非欧空间中非深度聚类研究不足的问题，提出双曲谱聚类算法，用双曲相似矩阵替代欧几里得相似矩阵，证明弱一致性与不低于欧氏谱聚类的收敛速度，并在乳腺癌数据集上验证优势。
2024-12-06 cs.LG stat.ML
Connecting Spectral Clustering to Maximum Margins and Level Sets
Stellenbosch University（斯泰伦博斯大学）
我们研究了谱聚类和最大间隔聚类问题之间的联系，以及密度函数水平集分量的估计。具体来说，我们得到的图拉普拉斯矩阵的特征向量的集群之间的分离，集群内的连接方面的界限。这些界限确保谱聚类解决方案收敛到最大间距聚类解决方案的缩放参数减少到零。最大间距聚类解决方案对离群点的敏感性是众所周知的，但可以通过首先去除这些离群点并将最大间距聚类应用于剩余点来减轻。如果使用潜在概率密度的估计来识别离群值，则剩余点可以被视为该密度函数的水平集的估计。我们表明，这样的方法可以用来一致地估计组件的水平集的密度函数在非常温和的假设。
2018-12-16 cs.LG stat.ML
Spectral clustering on spherical coordinates under the degree-corrected stochastic blockmodel
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
谱聚类是网络图中社区检测的一种流行方法：从图的矩阵表示开始，节点被聚类到从矩阵的截断谱分解获得的低维投影上。正确估计谱聚类算法中的社区数和缩减后的潜在空间维数是保证算法性能的关键。此外，许多现实世界的图，如在网络安全应用中研究的企业计算机网络，经常显示异构的社区内度分布。这样的异构度分布通常不能很好地捕捉标准谱聚类算法。在本文中，提出了一种新的谱聚类算法的度校正随机块模型下的社区检测。所提出的方法是基于变换的谱嵌入球坐标，和一个新的建模假设在变换空间。该方法允许同时和自动选择社区的数量和潜在的维度谱嵌入的图与不均匀的节点度。结果表明，在代表计算机网络的竞争方法的性能有所改善。
2021-09-08 cs.LG stat.ML
Data Clustering and Graph Partitioning via Simulated Mixing
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
谱聚类方法已经导致在给定数据集中找到准确聚类的公认算法。然而，其应用到大规模的数据集一直受到计算复杂性的特征值分解。最近已经提出了几种算法来加速谱聚类，然而它们在谱聚类的准确性上妥协以实现更快的速度。在本文中，我们提出了一种新的谱聚类算法的基础上混合过程的图。不同于现有的谱聚类算法，我们的算法不需要计算特征向量。具体地说，它找到了与相应的特征值加权的归一化相似性矩阵的特征向量的线性组合的等价物。然后使用该线性组合将数据集划分为有意义的聚类。在真实数据集上的仿真表明，随着聚类数的增加，基于这种特征向量线性组合的数据集划分方法比标准谱聚类方法具有更好的准确性。我们的算法可以很容易地在分布式环境中实现。
2016-03-15 cs.LG stat.ML
A Performance Guarantee for Spectral Clustering
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of California Davis（加利福尼亚大学戴维斯分校）；University of California at Davis（加利福尼亚大学戴维斯分校）
两步谱聚类方法是一种广泛使用的图划分方法，它由Laplacian特征映射和舍入步骤组成。它可以被看作是对NP难最小比率切割问题的一种自然松弛。在本文中，我们研究的中心问题：当是谱聚类能够找到全球解决方案的最小比率削减问题？首先，我们提供了一个条件，自然取决于一个给定的分区的集群内和集群间的连通性，我们可以证明，这个分区是最小比率削减问题的解决方案。然后，我们开发了一个确定的2到无穷大范数扰动界的不变子空间的图拉普拉斯对应的$k$最小特征值。最后结合这两个结果，给出了保证谱聚类输出最小比割问题全局解的条件，作为谱聚类性能的保证。
2020-07-10 cs.LG stat.ML
Scalable Spectral Clustering Using Random Binning Features
IBM Research AI（IBM研究院人工智能部门）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）；Huawei Research（华为研究院）
谱聚类是最有效的聚类方法之一，它可以捕捉数据中隐藏的聚类结构。然而，它不能很好地扩展到大规模的问题，由于其在构建相似图和计算随后的特征分解的二次复杂性。虽然已经提出了一些方法来加速谱聚类，其中大多数妥协相当大的信息损失的原始数据，以减少计算瓶颈。在本文中，我们提出了一种新的可扩展的谱聚类方法，使用随机装箱功能（RB），同时加快相似图的建设和特征分解。具体来说，我们隐式地近似的图形相似性（内核）矩阵的内积由RB生成的大型稀疏特征矩阵。然后，我们引入了一个国家的最先进的SVD求解器，有效地计算这个大矩阵的谱聚类的特征向量。使用这两个构建块，我们将计算成本从数据点数量的二次降低到线性，同时实现类似的精度。我们的理论分析表明，通过RB的谱聚类比标准的随机特征近似更快地收敛到精确的谱聚类。在8个基准测试上的实验表明，该方法在准确性和运行时间上都优于或匹配最先进的方法。此外，我们的方法在数据样本的数量和RB特征的数量方面都具有线性可扩展性。
2019-11-25 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes（巴黎笛卡尔大学）
最近，许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式，其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示，或者同时方式，其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能，但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍，其中包括权重初始化，层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响，我们提出了一种新的模型，该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
Robust spectral clustering using LASSO regularization
Toulouse Mathematics Institute（图卢兹数学研究所）；University of Toulouse（图卢兹大学）；Metabolic and Cardiovascular Diseases Institute（代谢与心血管疾病研究所）；CNRS（法国国家科学研究中心）
簇结构检测是图分析的一项基本任务，目的是理解和可视化它们的功能特性。在不同的聚类结构检测方法中，谱聚类由于其快速和简单而成为目前应用最广泛的方法之一。然而，对于一般模型，很少有理论上的保证来恢复图的底层分区。因此，本文提出了一个变种的谱聚类，称为1-谱聚类，进行一个新的随机模型密切相关的随机块模型。它的目标是促进稀疏特征基解决方案的1最小化问题，揭示了自然结构的图。我们的技术的有效性和小噪声扰动的鲁棒性是通过一组模拟和真实数据的例子来证实的。
2020-04-08 cs.LG stat.ML
Spectral Clustering with Smooth Tiny Clusters
Peking University（北京大学）
谱聚类是最重要的聚类方法之一。基于距离的相似性是谱聚类中应用最广泛的方法。然而，人们已经注意到，这不适合多尺度数据，因为对于不同密度的集群，距离变化很大。现有技术（ROSC和CAST）通过考虑对象的可达性相似性来解决该限制。然而，我们观察到，在现实世界的场景中，同一个集群中的数据往往以平滑的方式呈现，而以前的算法从未考虑到这一点。在此基础上，提出了一种新的聚类算法，该算法首次考虑了数据的平滑性。我们首先把物体分成许多小的簇。我们的核心思想是聚类微小的集群，其中心构成光滑的图形。理论分析和实验结果表明，本文提出的聚类算法在性能上明显优于现有的聚类算法。虽然本文只针对多尺度情况，但数据平滑的思想可以推广到任何聚类算法中
2020-09-10 cs.LG stat.ML
Kernel Spectral Clustering and applications
在本章中，我们回顾了与核谱聚类（KSC）相关的主要文献，KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式，由加权核PCA目标描述。正如在分类器的情况下，二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外，多路聚类可以通过经由纠错输出码（ECOC）编码方案组合一组二元决策函数来获得。由于其基于模型的性质，KSC方法包括三个主要步骤：训练，验证，测试。在验证阶段，执行模型选择以获得调优参数，如数据中存在的聚类数。这是一个主要的优势相比，经典的谱聚类的聚类参数的确定是不清楚的，依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练，它就能够很好地推广到看不见的测试点。除了基本公式，稀疏KSC算法的基础上不完全Cholesky分解（ICD）和$L_0$，$L_1, L_0 + L_1$，组Lasso正则化。在这方面，我们展示了如何处理大规模数据。此外，两种可能的方式来执行层次聚类和软聚类方法。最后，考虑了实际应用，如图像分割，电力负荷时间序列聚类，文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
On Constrained Spectral Clustering and Its Applications
University of California, Davis（加州大学戴维斯分校）
约束聚类已被充分研究的算法，如$K$ -均值和层次聚类。然而，如何满足这些算法设置中的许多约束已被证明是棘手的。编码许多约束的一种替代方法是使用谱聚类，这仍然是一个发展中的领域。在本文中，我们提出了一个灵活的框架约束谱聚类。与以前的一些努力，隐式编码必须链接和不能链接的约束，通过修改图形拉普拉斯算子或约束的基础特征空间，我们提出了一个更自然和原则的制定，明确编码的约束作为约束优化问题的一部分。我们的方法提供了几个实际的优点：它可以编码的程度的信念，必须链接和不能链接的约束，它保证下限如何以及给定的约束满足使用用户指定的阈值，它可以解决确定性在多项式时间通过广义特征分解。此外，通过继承目标函数的谱聚类和编码的约束明确，现有的分析无约束谱聚类技术仍然有效，我们的配方。我们验证了我们的方法的有效性，人工和真实数据集上的实证结果。我们还展示了一个创新的使用编码大量的约束：迁移学习通过约束。
2012-09-21 cs.LG stat.ML
Spectral Clustering with Graph Neural Networks for Graph Pooling
NORCE, the Norwegian Research Centre（挪威研究中心NORCE）；Università della Svizzera italiana（意大利语区大学（瑞士））；Politecnico di Milano（米兰理工大学）
谱聚类（SC）是一种流行的聚类技术，用于发现图上的强连接社区。SC可以在图神经网络（GNN）中使用，以实现聚合属于同一集群的节点的池化操作。然而，拉普拉斯算子的特征分解是昂贵的，并且由于聚类结果是特定于图的，因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中，我们提出了一个图聚类的方法，解决这些限制SC。我们制定了一个连续放松的归一化minCUT问题和训练GNN计算集群分配，最大限度地减少这一目标。我们基于GNN的实现是可微的，不需要计算谱分解，并学习可以在样本外图上快速评估的聚类函数。从所提出的聚类方法，我们设计了一个图池运营商，克服了一些重要的限制国家的最先进的图池技术，并在几个监督和无监督的任务中实现最佳性能。
2020-12-29 cs.LG stat.ML
Convex Programming Based Spectral Clustering
Shizuoka University（静冈大学）
聚类是数据分析中的一项基本任务，谱聚类是一种很有前途的聚类方法。给定一个描述数据之间关系的图，谱聚类分两个阶段探索潜在的聚类结构。第一阶段将图的节点嵌入到真实空间中，第二阶段将嵌入的节点分组到几个簇中。在分组阶段使用$k$ -均值方法是目前的标准做法。我们提出了一个谱聚类算法，在分组阶段使用凸规划，并研究它的工作原理。该算法基于以下观察而设计。如果一个图是良好的聚类，那么每个簇中度最大的节点可以通过计算嵌入真实空间中的节点的封闭椭球来找到，并且可以通过使用这些节点来识别簇。我们表明，良好的聚类图，该算法可以找到集群的节点具有最小的电导。我们还给出了一个实验评估算法的性能。
2020-12-22 cs.LG stat.ML
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo（滑铁卢大学）
在本文中，我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法，但由于特征分解而具有高计算复杂性。在这项工作中，我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵，我们只考虑有限数量的点，称为地标，并计算所有数据点与地标的相似性。然后，我们给出了图的拉普拉斯矩阵的定义，使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$，其中$n$是数据点的数量，$p$是界标的数量。最后，通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
Multi-way Spectral Clustering of Augmented Multi-view Data through Deep Collective Matrix Tri-factorization
National University of Singapore（新加坡国立大学）
我们提出了第一个基于深度学习的架构，用于任意矩阵集合的集体矩阵三分解（DCMTF），也称为增强多视图数据。DCMTF可以用于关系数据矩阵的异构集合的多路谱聚类，以发现每个输入矩阵中的潜在聚类，跨两个维度，以及跨聚类的关联强度。DCMTF的源代码可以在我们的公共存储库中找到：https://bitbucket.org/cdal/dcmtf_generic
2022-01-24 cs.LG stat.ML
Spectral Clustering of Categorical and Mixed-type Data via Extra Graph Nodes
Columbia University（哥伦比亚大学）；Bowdoin College（鲍登学院）
针对类别型与混合型数据聚类，提出添加对应类别的额外图节点的谱聚类方法，无需预处理，可解释且对纯类别数据达线性时间，性能与运行时间具竞争力。
2024-03-08 cs.LG stat.ML
Ultra-Scalable Spectral Clustering and Ensemble Clustering
South China Agricultural University（华南农业大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）；Nanchang University（南昌大学）
本文主要研究谱聚类算法在资源有限的超大规模数据集上的可扩展性和鲁棒性。提出了两种新的聚类算法：超可扩展谱聚类（U-SPEC）和超可扩展集成聚类（U-SENC）。在U-SPEC中，提出了一种混合的代表选择策略和K-最近代表的快速近似方法，用于构造稀疏的亲和子矩阵。通过将稀疏子矩阵解释为二分图，然后利用转移割来有效地划分图并获得聚类结果。在U-SENC中，多个U-SPEC聚类器被进一步集成到一个集成聚类框架中，以增强U-SPEC的鲁棒性，同时保持高效率。基于多个U-SEPC的集成生成，在对象和基簇之间构造一个新的二分图，然后进行有效的划分，以达到一致的聚类结果。值得注意的是，U-SPEC和U-SENC都具有接近线性的时间和空间复杂度，并且能够在具有64 GB内存的PC上健壮且高效地划分千万级非线性可分离数据集。在各种大规模数据集上的实验证明了算法的可扩展性和鲁棒性。MATLAB代码和实验数据可在https://www.researchgate.net/publication/330760669上获得。
2019-03-05 cs.LG stat.ML
On consistency of constrained spectral clustering under representation-aware stochastic block model
Indian Institute of Science（印度科学学院）
谱聚类由于其灵活性、计算效率和良好的理论性能保证而在实践中得到广泛应用。最近，谱聚类已被研究，以找到平衡的集群人口水平的限制。这些约束由辅助分类节点属性形式的附加信息指定。在本文中，我们考虑的情况下，这些属性可能是不可观察的，但表现为一个辅助图的潜在特征。出于这一动机，我们研究约束谱聚类的目的是找到平衡的集群在一个给定的\textit{similarity graph} $\mathcal{G}$，这样每个人都充分表示相对于一个辅助图$\mathcal{R}$（我们称之为表示图）。我们提出了一个个人层面的平衡约束，形式化这个想法。我们的工作导致一个有趣的随机块模型，不仅植物给定的分区在$\mathcal{G}$，但也植物的辅助信息编码的表示图$\mathcal{R}$。在这种情况下，我们开发了谱聚类的非归一化和归一化变体。这些算法使用$\mathcal{R}$在$\mathcal{G}$中找到近似满足所提出的约束的聚类。我们还建立了第一个统计一致性结果的约束谱聚类下的个人水平的限制，从上述变体的随机块模型采样的图形。我们的实验结果证实了我们的理论发现。
2022-03-03 cs.LG stat.ML
The Hidden Convexity of Spectral Clustering
the Ohio State University（俄亥俄州立大学）
近年来，谱聚类已成为数据分析的标准方法，在广泛的应用中使用。在本文中，我们提出了一类新的算法，多路谱聚类的基础上优化一定的“对比度函数”的单位球。这些算法，部分灵感来自某些独立分量分析技术，是简单的，易于实现和有效的。几何上，所提出的算法可以被解释为隐基恢复通过函数优化。我们给出了可证基恢复容许的对比函数的完整刻画。我们展示了如何将这些条件解释为我们在球面上的优化问题的“隐藏凸性”;有趣的是，我们使用有效的凸最大化，而不是更常见的凸最小化。我们还显示了令人鼓舞的实验结果的真实和模拟数据。
2016-05-04 cs.LG stat.ML
Spectral Clustering using Eigenspectrum Shape Based Nystrom Sampling
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
谱聚类在分析聚类结构方面表现出优越的性能。但其计算复杂性限制了其在大规模数据分析中的应用。为了解决这个问题，提出了许多低秩矩阵近似算法，包括Nystrom方法-一种具有已证明的近似误差界的方法。有几种算法提供了构造具有可变精度和计算时间的Nystrom近似的方法。本文提出了一种基于Nystrom的聚类算法，该算法采用了一种新的采样过程--质心最小平方相似和（CMS 3），并给出了何时使用该算法的启发式算法。我们的启发式算法依赖于数据集的特征谱形状，并在测试数据集上产生了与其他最先进的方法相比具有竞争力的低秩近似
2020-07-21 cs.LG stat.ML
Simultaneous Dimensionality and Complexity Model Selection for Spectral Graph Clustering
Naval Surface Warfare Center Dahlgren Division（美国海军水面战中心达尔格伦分部）；Johns Hopkins University（约翰霍普金斯大学）
我们感兴趣的问题是通过识别底层社区结构来聚类图的顶点。在各种顶点聚类方法中，谱聚类是最流行的方法之一，因为它易于实现，同时往往优于传统的聚类算法。然而，在谱聚类中存在两个固有的模型选择问题，即估计嵌入维数和聚类数。本文试图解决这个问题，建立一个新的模型选择框架，专门用于图上的顶点聚类下的随机块模型。第一个贡献是一个概率模型，它近似的分布图的扩展谱嵌入。该模型是基于嵌入的信息部分的渐近正态性的理论结果构建的，并且基于提供嵌入的冗余部分的限制行为的猜想的模拟结果。第二个贡献是一个同步的模型选择框架。与传统方法相比，我们的模型选择过程同时估计嵌入维数和聚类数。基于我们的约束分布模型，给出了模型参数估计的相合性定理，为我们方法的有效性提供了支持。我们的同时模型选择顶点聚类算法提出，在模拟实验中表现出优越的性能。我们说明了我们的方法通过应用程序的脑图的集合。
2020-09-22 cs.LG stat.ML
An Automated Spectral Clustering for Multi-scale Data
Virginia Tech（弗吉尼亚理工学院暨州立大学）
谱聚类算法通常需要输入参数的先验选择，例如聚类的数量、用于亲和度度量的缩放参数或用于参数调整的这些值的范围。尽管努力自动化的谱聚类的过程中，在多尺度和高维空间的数据分组的任务还有待探讨。本文提出了一种谱聚类启发式算法，该算法通过估计数据本身的参数来避免对输入的需要。具体地说，它介绍了启发式的迭代特征间隙搜索（1）全局缩放和（2）局部缩放。这些方法估计缩放参数，并沿着搜索树实现迭代本征间隙量化，以揭示特征空间的不同尺度下的相异性并识别聚类。这些方法的性能已经在具有多尺度性质和基因表达的功率变化的各种真实世界数据集上进行了测试。我们的研究结果表明，迭代特征间隙搜索与PCA为基础的全球尺度计划可以发现不同的模式，在大多数情况下，准确率高于90%，而不要求先验输入信息。
2019-02-06 cs.LG stat.ML
A Non-Parametric Bootstrap for Spectral Clustering
University of Toronto（多伦多大学）；Simon Fraser University（西蒙菲莎大学）
针对有限混合模型中EM算法易收敛到次优解的问题，提出两种结合数据矩阵谱分解和非参数自助法抽样的新算法，模拟证明其具有更高的灵活性、计算效率和收敛一致性。
2024-03-20 cs.LG stat.ML
Dual regularized Laplacian spectral clustering methods on community detection
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
谱聚类方法被广泛应用于社区检测网络中的簇检测，而图拉普拉斯矩阵的微小变化可以带来显着的改善。在本文中，我们提出了一个对偶正则图拉普拉斯矩阵，然后将其用于度校正随机块模型下的三个经典的谱聚类方法。如果社区的数量是已知的$K$，我们认为更多的$K$领导特征向量和权重，他们相应的特征值在谱聚类过程中，以提高性能。三种改进的谱聚类方法是对偶正则化谱聚类（DRSC）方法、对偶正则化特征向量比谱聚类（DRSCORE）方法和对偶正则化对称拉普拉斯逆矩阵（DRSLIM）方法。对DRSC和DRSLIM算法的理论分析表明，在较弱的条件下，DRSC和DRSLIM算法能够获得稳定一致的社区检测结果，而在理想情况下，DRSCORE算法能够获得理想的聚类结果.通过大量的仿真网络和8个真实网络，比较了DRSC、DRSCORE和DRSLIM与几种谱方法的性能。
2020-11-09 cs.LG cs.SI stat.ML
Iterative Spectral Method for Alternative Clustering
Northeastern University（东北大学）
给定一个数据集和一个现有的聚类作为输入，替代聚类的目的是找到一个替代的分区。最先进的方法之一是核维交替聚类（KDAC）。我们提出了一种新的迭代谱方法（ISM），大大提高了KDAC的可扩展性。我们的算法是直观的，依赖于易于实现的频谱分解，并与理论保证。它的计算时间比现有的KDAC实现提高了5个数量级。
2019-09-08 cs.LG stat.AP stat.ML
A Tighter Analysis of Spectral Clustering, and Beyond
University of Edinburgh（爱丁堡大学）
本文研究了经典的谱聚类算法，该算法利用$G$矩阵的$k$特征向量将图$G=(V_G, E_G)$的顶点嵌入到图$\mathbb{R}^k$中，并应用$k$ -means将图$V_G$划分为$k$簇。我们的第一个结果是对谱聚类的性能进行了更严格的分析，并解释了为什么它在比文献中研究的条件弱得多的条件下工作。对于第二个结果，我们表明，通过应用少于$k$的特征向量来构造嵌入，谱聚类能够在许多实际情况下产生更好的输出，这是谱聚类中的第一个结果。除了它的概念和理论意义，我们的工作的实际影响证明了合成和现实世界的数据集，其中谱聚类产生可比或更好的结果，少于$k$特征向量的实证分析。
2022-08-02 cs.DS cs.LG stat.ML
Clustering dynamics on graphs: from spectral clustering to mean shift through Fokker-Planck interpolation
在这项工作中，我们建立了一个统一的框架，密度驱动和基于几何的数据聚类算法之间的插值，具体来说，连接的均值漂移算法与谱聚类在离散和连续水平。我们通过引入数据图上的福克-普朗克方程来寻求这种联系。除了引入新形式的均值漂移算法的图形，我们提供了新的理论见解的行为的家庭的扩散地图在大样本限制，以及提供新的连接之间的扩散地图和均值漂移动态固定图。几个数值例子说明了我们的理论研究结果，并强调插值密度驱动和基于几何的聚类算法的好处。
2021-10-20 cs.LG math.AP stat.ML
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得最佳嵌入子空间进行聚类，与传统的聚类方法相比，它可以更有效。在本文中，我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行潜在表示及其噪声版本的重建约束，将输入嵌入到潜在空间中进行聚类。因此，学习的潜在表示可以对噪声更鲁棒。然后，利用互信息估计来提供来自输入的更多辨别性信息。此外，一个深谱聚类方法被应用到嵌入到特征空间的潜在表示，并随后聚类它们，它可以充分利用输入之间的关系，以达到最佳的聚类结果。基准数据集上的实验结果表明，我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
Scalable Spectral Clustering with Nystrom Approximation: Practical and Theoretical Aspects
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
谱聚类技术是信号处理和机器学习中用于划分复杂数据集的有价值的工具。谱聚类的有效性源于基于创建相似图和计算拉普拉斯矩阵的谱分解来构造非线性嵌入。然而，谱聚类方法无法扩展到大的数据集，因为高的计算成本和内存使用。解决这些问题的一种流行方法是利用Nystrom方法，这是一种有效的基于采样的算法，用于计算大型半正定矩阵的低秩近似。本文演示了以前流行的基于Nystrom的谱聚类方法有严重的局限性。现有的时间有效的方法忽略了重要的信息，过早地减少与采样点的相似性矩阵的秩。此外，目前的理解是有限的，关于如何利用Nystrom近似将影响频谱嵌入近似的质量。为了解决这些限制，这项工作提出了一个原则性的谱聚类算法，利用频谱特性的相似性矩阵与采样点调节精度效率的权衡。我们提供了理论结果，以减少目前的差距和数值实验与实际和合成数据。实验结果表明，该方法的有效性和效率相比，现有的谱聚类技术的基础上Nystrom方法和其他有效的方法。这项工作的总体目标是为未来的研究方向提供一个改进的基线，以加速谱聚类。
2021-01-31 cs.CV cs.LG stat.ML
Multiscale Clustering of Hyperspectral Images Through Spectral-Spatial Diffusion Geometry
Tufts University（塔夫茨大学）
聚类算法将数据集划分为相似点的组。本文的主要贡献是多尺度空间正则化扩散学习（M-SRDL）聚类算法，该算法使用空间正则化扩散距离来高效准确地学习高光谱图像中潜在结构的多个尺度。M-SRDL聚类算法从高光谱图像中提取多个尺度的聚类，并输出这些聚类的信息重心变化作为所有潜在聚类结构的样本。我们表明，将空间正则化到一个多尺度聚类框架的结果更平滑，更连贯的集群时，应用于高光谱数据，产生更准确的聚类标签。
2022-04-07 cs.CV cs.LG stat.ML
Guarantees for Spectral Clustering with Fairness Constraints
Rutgers University（罗格斯大学）；Georgia Tech（佐治亚理工学院）
鉴于谱聚类（SC）用于划分图数据的广泛流行，我们研究了一种受约束的SC版本，其中我们试图纳入Chierichetti等人提出的公平性概念。根据这个概念，如果每个人口统计组在每个聚类中近似地按比例表示，则聚类是公平的。为此，我们开发了规范化和非规范化约束SC的变体，并表明它们有助于在合成和真实数据上找到更公平的聚类。我们还提供了一个严格的理论分析，我们的算法上的一个自然的随机块模型，其中$h$组有很强的组间连接，但也表现出一个“自然”的聚类结构，这是公平的。我们证明，我们的算法可以恢复这种公平的聚类概率很高。
2019-05-10 cs.DS cs.LG stat.ML
AMOS: An Automated Model Order Selection Algorithm for Spectral Graph Clustering
University of Michigan（密歇根大学）
谱图聚类（SGC）中的一个长期存在的问题是所谓的模型阶数选择问题：自动选择正确数量的聚类。这相当于在无向图中找到连通组件或社区的数量的问题。在本文中，我们提出了AMOS，自动模型阶选择算法的SGC。基于最近对随机互连模型下的SGC聚类可靠性的分析，AMOS通过逐步增加聚类的数量，估计所识别的聚类的质量，并提供一系列聚类可靠性测试来工作。因此，AMOS输出具有统计聚类可靠性保证的最小模型阶数的聚类。与其他三种真实数据集上的自动图聚类方法相比，AMOS在多个外部和内部聚类指标方面表现出优越的性能。
2016-09-21 cs.LG cs.SI stat.ML
CAST: A Correlation-based Adaptive Spectral Clustering Algorithm on Multi-scale Data
The University of Hong Kong（香港大学）；Simon Fraser University（西蒙弗雷泽大学）
我们研究了应用谱聚类对多尺度数据进行聚类的问题，这些数据的聚类具有不同的大小和密度。传统的谱聚类技术通过处理反映对象接近程度的相似性矩阵来发现聚类。对于多尺度数据，基于距离的相似性是无效的，因为稀疏聚类的对象可能相距很远，而密集聚类的对象必须足够接近。继[16]之后，我们通过将对象的“可达性相似性”概念与给定的基于距离的相似性结合起来，推导出对象的系数矩阵，解决了多尺度数据的谱聚类问题。我们提出了CAST算法，该算法应用跟踪Lasso来正则化系数矩阵。我们证明了由此产生的系数矩阵具有“分组效应”，它具有“稀疏性”。我们表明，这两个特点意味着非常有效的谱聚类。我们评估CAST和其他10个聚类方法在广泛的数据集w.r.t.各种措施。实验结果表明，CAST提供了良好的性能，并在多尺度数据的测试情况下具有很高的鲁棒性。
2020-06-08 cs.AI cs.LG stat.ML
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University（密歇根理工大学）
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中，我们引入了一个高度可扩展的，频谱保持的图稀疏化算法，使建立超稀疏NN（u-NN）图与保证保留的原始图频谱，如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网，而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树（LSST）从原始图，然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST，提出了一种特征值稳定性检查方案，该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外，提出了一种增量图致密化方案，用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明，各种知名的数据集，该方法可以显着降低NN图的复杂性，导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
Multi-graph Fusion for Multi-view Spectral Clustering
University of Electronic Science and Technology of China（电子科技大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
针对多视图数据的特点，提出了一系列的多视图聚类算法。其中，基于光谱聚类的方法近年来受到了广泛的关注，并取得了可喜的成果。尽管取得了进展，但迄今仍有两个基本问题没有得到回答。首先，如何将不同的视图融合到一个图中。通常情况下，样本之间的相似性可能会通过不同的视图以不同的方式表现出来。许多现有的算法要么简单地取多个视图的平均值，要么只学习一个公共图。这些简单的方法未能考虑所有视图的灵活的局部流形结构。因此，丰富的异构信息没有得到充分利用。第二，如何学习显式聚类结构。现有的谱聚类方法大多不考虑图的质量，将图学习和谱聚类分开进行。这些不可靠的图可能导致次优的聚类结果。为了填补这些空白，在本文中，我们提出了一种新的多视图谱聚类模型，同时进行图融合和谱聚类。融合图近似每个单独视图的原始图，但保持显式的聚类结构。四个广泛使用的数据集上的实验证实了所提出的方法的优越性。
2019-09-16 cs.CV cs.LG stat.ML
Conformal Prediction based Spectral Clustering
Sri Sathya Sai Institute of Higher Learning（斯里·萨提亚·赛高等教育学院）
谱聚类是近年来一种重要的数据聚类技术，引起了研究者的广泛关注。它是一种高度数据驱动的方法，对要聚类的数据结构没有严格的假设。谱聚类的核心部分之一是基于数据点之间的相似性度量构建亲和矩阵。定义数据点之间的相似性度量的方式对SC技术的性能有直接影响。已经在加强成对相似性度量以增强谱聚类的方向上进行了几次尝试。在这项工作中，我们已经定义了一种新的亲和性措施，采用共形预测（CP）框架中使用的非一致性的概念。基于非一致性的亲和度捕获数据点的邻域之间的关系，并且具有概括上下文相似性的概念的能力。我们已经表明，这种制定的亲和性措施给出了良好的结果，并与最先进的方法。
2019-09-17 cs.CV cs.LG stat.ML
Weighted Spectral Cluster Ensemble
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
聚类在未标记的数据集中探索有意义的模式。聚类包围选择是一种新的聚类方法，它可以将单个聚类结果进行合并，以提高最终结果的性能。虽然CES可以实现更好的最终结果相比，单独的聚类算法和集群集成方法，其性能可以显着影响其一致性多样性度量和阈值过程。CES存在两个问题：1）大多数多样性度量是基于启发式香农熵的，2）估计阈值在实践中非常困难。本文的主要目标是提出一个强大的方法来解决上述问题。因此，本文开发了一种新的聚类问题的框架，这是所谓的加权谱聚类包围圈（WSCE），利用一些概念，从社区发现领域和基于图的聚类。在此框架下，一个新的版本的谱聚类，这是所谓的两个核谱聚类，用于生成基于图的个人聚类结果。此外，通过使用模块性，这是一个著名的度量在社区发现，对转换后的图表示的个体聚类结果，我们的方法提供了一个有效的多样性估计的个体聚类结果。此外，本文介绍了一种新的方法来合并评估的个人聚类结果没有阈值的过程。不同数据集上的实验研究表明，该方法取得了优越的性能，国家的最先进的方法。
2016-04-25 cs.AI cs.LG stat.ML
Beyond Spectral Clustering: Probabilistic Cuts for Differentiable Graph Partitioning
本文提出一种统一的概率框架，涵盖多种图切割方法，提供精确的分析上界，为可微图划分提供严谨且稳定的计算基础。
2026-04-01 cs.DS cs.LG stat.ML
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University（小松大学）；University of Electro-Communications（电气通信大学）
谱聚类（SC）是最流行的聚类方法之一，往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点：从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题，我开发了一个新的近似谱聚类使用的网络生成的神经气体（GNG），在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化，而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络，降低了计算复杂度和空间复杂度，提高了聚类质量。在这项研究中，我证明了ASC与GNG有效地减少了计算时间。此外，这项研究表明，ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
Consistency of Constrained Spectral Clustering under Graph Induced Fair Planted Partitions
IBM Research（IBM研究院）；Indian Institute of Science（印度科学学院）
谱聚类在实践者和理论家中都很受欢迎。虽然谱聚类的性能保证是很好理解的，但最近的研究集中在集群中执行“公平性”，要求它们相对于分类敏感节点属性（例如，集群中的种族分布必须匹配种群中的种族分布）进行“平衡”。在本文中，我们考虑一个设置敏感属性间接体现在一个辅助\textit{representation graph}，而不是直接观察。该图指定可以相对于敏感属性彼此表示的节点对，并且除了通常的\textit{similarity graph}之外还观察到该节点对。我们的目标是在相似性图中找到聚类，同时尊重由表示图编码的新的个人级公平性约束。我们为此任务开发了非规范化和规范化谱聚类的变体，并在由表示图诱导的\emph{fair}种植分区模型下分析了它们的性能。该模型使用节点的簇成员关系和表示图的结构来生成随机相似图。据我们所知，这些是第一个一致性结果约束谱聚类下的个人水平的公平性约束。数值结果证实了我们的理论研究结果。
2022-09-24 cs.CY cs.LG stat.ML
Asymptotic Gaussian Fluctuations of Eigenvectors in Spectral Clustering
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；GIPSA-lab（格勒诺布尔图像处理与信号学实验室）
本文证明了谱聚类中相似矩阵特征向量元素的波动在高维下服从高斯分布，填补了精确预测其分类性能的最后缺失环节，并通过合成与真实数据实验验证了普适性。
2024-05-27 cs.LG math.PR stat.ML
Spectral Clustering Based on Local PCA
提出了一种基于局部主成分分析的谱聚类方法。该算法在选定的邻域内进行局部主成分分析后，根据邻域内主子空间之间的差异建立一个加权的最近邻图，然后进行谱聚类。相对于标准的光谱方法，仅仅基于点之间的成对距离，我们的算法是能够解决交叉点。我们建立了理论保证更简单的变种内的一个原型的数学框架多流形聚类，并评估我们的算法在各种模拟数据集。
2013-01-09 stat.ML
Randomized Spectral Clustering in Large-Scale Stochastic Block Models
Center for Modern Statistics, School of Mathematics, Northwest University（西北大学数学学院现代统计中心）
谱聚类是网络中社区发现的常用方法之一。然而，大规模网络的特征值分解带来了计算上的挑战。在本文中，我们研究了谱聚类使用随机素描算法从统计的角度来看，我们通常假设网络数据是从随机块模型，不一定是满秩的。为此，我们首先使用最近开发的草图算法，得到两个随机谱聚类算法，即基于随机投影和基于随机采样的谱聚类。然后，我们研究了所得到的算法在人口邻接矩阵的近似误差，误分类误差，和链路概率矩阵的估计误差的理论界。结果表明，在较弱的条件下，随机谱聚类算法与原始谱聚类算法的理论界相同。我们还将结果扩展到度校正的随机块模型。数值实验支持我们的理论研究结果，并显示随机方法的效率。开发了一个新的R软件包，称为Rounds，并向公众提供。
2022-01-06 cs.LG cs.SI stat.ME
A variational approach to the consistency of spectral clustering
本文建立了数据聚类的谱方法的一致性。我们认为聚类的点云作为一个地面实况测量的样本。表示点云的图是通过基于它们连接的点之间的距离向边分配权重来获得的。我们研究了非规范化和规范化的图拉普拉斯算子在连续域中对相应算子的谱收敛性。我们得到尖锐的条件，如何连接半径可以缩放相对于频谱收敛的样本点的数量。我们还表明，通过谱聚类得到的离散集群收敛到一个连续的地面真值测量分区。这样的连续分区最小化的功能描述的连续模拟的基于图形的光谱分区。我们的方法，变分收敛的基础上，是通用的和灵活的。
2015-08-08 cs.LG math.ST stat.ML
Perfect Clustering for Stochastic Blockmodel Graphs via Adjacency Spectral Embedding
随机块模型图中的顶点聚类具有广泛的适用性，并且已经成为广泛研究的主题。本文给出了一个简短的证明，证明了邻接谱嵌入可以用来获得随机块模型和度校正随机块模型的完美聚类。我们也证明了更一般的随机点积图模型的类似结果。
2015-01-15 stat.ML
Improving Spectral Clustering using the Asymptotic Value of the Normalised Cut
谱聚类是一种流行的和通用的聚类方法的基础上放松的规范化图切割目标。尽管它的流行，但是，没有一个单一的商定的方法来调整重要的缩放参数，也没有自动确定聚类提取的数量。流行的物理学是存在的，但相应的理论结果是稀缺的。在本文中，我们调查的渐近值的归一化削减假设产生一个潜在的概率分布增加的样本，并根据这一结果提供改进谱聚类方法的建议。提出了相应的算法，具有较强的经验性能。
2019-11-09 stat.ML
