A Model-Based Approach to Rounding in Spectral Clustering
The Hong Kong University of Science and Technology（香港科技大学）
提出一种基于潜树模型的谱聚类舍入方法，同时解决特征向量选择、聚类数确定和数据划分三个子问题。
2012-10-16 cs.LG cs.NA math.NA
The Mathematics Behind Spectral Clustering And The Equivalence To PCA
谱聚类是一种流行的算法，它使用来自数据的拉普拉斯矩阵的特征值和特征向量来聚类点。多年来，谱聚类一直在神秘地工作。本文解释谱聚类分为两类的基础上，图拉普拉斯是完全连接或不。对于全连通图，本文通过提供一个目标函数：原始数据点的相似性和映射数据点的相似性之间的协方差来演示降维部分。对于多连通图，证明了在适当的$k$下，第一个$k$特征向量是连通分支的指示.本文还证明了谱嵌入与主成分分析之间的等价性。
2021-03-01 cs.LG stat.ML
Multi-kernel spectral clustering: Entrywise eigenvector perturbation bounds and exact recovery
Nanyang Technological University（南洋理工大学）；University of Macau（澳门大学）；Dalian University of Technology（大连理工大学）
针对高维多尺度数据的单一带宽核谱聚类不足问题，提出多核谱聚类方法，建立逐元素特征向量扰动界，证明其结合近似K-means可高概率实现数据精确恢复。
2026-08-11 cs.LG math.ST stat.ML
Spectral Clustering Revisited: Information Hidden in the Fiedler Vector
Yale University（耶鲁大学）；Department of Mathematics, Yale University（耶鲁大学数学系）
我们感兴趣的是图上的聚类问题：众所周知，如果有两个潜在的集群，那么对应于邻接矩阵的第二大特征值的特征向量的符号可以可靠地重建这两个集群。我们认为，顶点的特征向量具有最大和最小的条目，分别是异常强烈地连接到自己的集群和更可靠的分类比其余的。这可以被看作是热点猜想的离散版本，并且应该在应用中是有用的。给出了随机块模型的严格证明和几个例子。
2020-03-22 cs.DM cs.LG math.PR
Spectral Clustering with Epidemic Diffusion
California State University, Fullerton（加州州立大学富勒顿分校）；USC Information Sciences Institute（南加州大学信息科学研究所）；Claremont Graduate University（克莱蒙特研究生大学）；HP Labs（惠普实验室）
谱聚类被广泛用于将图划分为不同的模块或社区。现有的谱聚类方法使用图拉普拉斯算子的特征值和特征向量，这是一种与图上的随机游走密切相关的算子。我们提出了一种新的谱分割方法，利用流行病扩散的属性。流行病是一个动态过程，与随机游走不同，它同时转移到给定节点的所有邻居。我们发现，复制，一个操作符描述流行病扩散，是等价的对称归一化拉普拉斯算子的重加权图的边缘重加权的特征向量中心的事件节点。因此，更多的权重被给予连接更多中心节点的边。我们描述了一种方法，分区节点的复制的第二特征向量的第一分量比的基础上，并比较其性能与传统的谱聚类技术与已知的社区结构的合成图。我们证明了复制因子优先考虑密集的，类cnc的结构，使其能够更有效地发现社区，可能被掩盖的密集社区间的联系。
2013-10-04 cs.LG cs.SI physics.soc-ph
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University（小松大学）；University of Electro-Communications（电气通信大学）
谱聚类（SC）是最流行的聚类方法之一，往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点：从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题，我开发了一个新的近似谱聚类使用的网络生成的神经气体（GNG），在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化，而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络，降低了计算复杂度和空间复杂度，提高了聚类质量。在这项研究中，我证明了ASC与GNG有效地减少了计算时间。此外，这项研究表明，ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
Dual regularized Laplacian spectral clustering methods on community detection
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
谱聚类方法被广泛应用于社区检测网络中的簇检测，而图拉普拉斯矩阵的微小变化可以带来显着的改善。在本文中，我们提出了一个对偶正则图拉普拉斯矩阵，然后将其用于度校正随机块模型下的三个经典的谱聚类方法。如果社区的数量是已知的$K$，我们认为更多的$K$领导特征向量和权重，他们相应的特征值在谱聚类过程中，以提高性能。三种改进的谱聚类方法是对偶正则化谱聚类（DRSC）方法、对偶正则化特征向量比谱聚类（DRSCORE）方法和对偶正则化对称拉普拉斯逆矩阵（DRSLIM）方法。对DRSC和DRSLIM算法的理论分析表明，在较弱的条件下，DRSC和DRSLIM算法能够获得稳定一致的社区检测结果，而在理想情况下，DRSCORE算法能够获得理想的聚类结果.通过大量的仿真网络和8个真实网络，比较了DRSC、DRSCORE和DRSLIM与几种谱方法的性能。
2020-11-09 cs.LG cs.SI stat.ML
Hypergraphs with Edge-Dependent Vertex Weights: p-Laplacians and Spectral Clustering
Rice University（莱斯大学）
我们研究了最近提出的超图模型，采用边依赖顶点权重（EDVW）的p-拉普拉斯算子和谱聚类。这些权值可以反映超边内顶点的不同重要性，从而赋予超图模型更高的表达能力和灵活性。通过构造基于次模EDVW的分裂函数，将具有EDVW的超图转化为谱理论得到较好发展的次模超图。这样，已有的概念和定理，如p-Laplacian和Cheeger不等式下提出的子模超图设置可以直接扩展到超图EDVW。对于具有EDVW分裂函数的子模超图，我们提出了一个计算超图1-Laplacian次小特征值的特征向量的有效算法。然后，我们利用这个特征向量聚类的顶点，实现更高的聚类精度比传统的基于2-拉普拉斯谱聚类。更广泛地说，所提出的算法适用于所有的子模超图，图可约。使用真实世界的数据进行的数值实验表明，基于1-Laplacian和EDVW相结合的谱聚类的有效性。
2023-02-16 cs.LG cs.SI
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University（密歇根理工大学）
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中，我们引入了一个高度可扩展的，频谱保持的图稀疏化算法，使建立超稀疏NN（u-NN）图与保证保留的原始图频谱，如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网，而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树（LSST）从原始图，然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST，提出了一种特征值稳定性检查方案，该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外，提出了一种增量图致密化方案，用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明，各种知名的数据集，该方法可以显着降低NN图的复杂性，导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
Deep Embedded K-Means Clustering
Tongji University（同济大学）
最近，由于深度神经网络（DNN）（如自动编码器）的高表示能力，深度聚类方法已经获得了发展势头。关键思想是表示学习和聚类可以相互加强：好的表示导致好的聚类，而好的聚类为表示学习提供了好的监督信号。关键问题包括：1）如何优化表示学习和聚类？2)编码器的重构损失是否应该一直考虑？在本文中，我们提出了DEKM（Deep Embedded K-Means）来回答这两个问题。由于自动编码器生成的嵌入空间可能没有明显的聚类结构，我们建议进一步将嵌入空间转换为一个新的空间，揭示聚类结构信息。这是通过一个正交变换矩阵来实现的，该矩阵包含K均值的类内散布矩阵的特征向量。特征值反映了特征向量对新空间中簇结构信息贡献的重要性。我们的目标是增加集群结构的信息。为此，我们放弃了解码器，并提出了一个贪婪的方法来优化表示。DEKM交替优化表示学习和聚类。在真实数据集上的实验结果表明，DEKM达到了最先进的性能。
2021-09-30 cs.LG
Spectral graph clustering with inhomogeneous latent geometry
Inria Sophia Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）；University of Münster（明斯特大学）
针对混杂潜在几何下谱聚类的问题，提出DBSPEC算法，可从深层特征向量恢复社区，能处理一般潜在几何，其理论预测与真实实验结果一致。
2026-08-13 cs.LG cs.SI math.PR
An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA
Saarland University（萨尔兰大学）
机器学习和统计学中的许多问题可以用公式表示为（广义）特征问题。就相关的优化问题而言，计算线性特征向量相当于找到受二次约束的二次函数的临界点。本文证明了一类具有非二次目标和约束的约束优化问题可以理解为非线性特征值问题。我们得到了一个推广的逆幂方法，保证收敛到一个非线性特征向量。我们将逆幂方法应用于1-谱聚类和稀疏PCA，它们可以自然地被表述为非线性特征值问题。在这两个应用程序中，我们在解决方案质量和运行时间方面都取得了最先进的成果。超越标准的特征值问题应该是有用的，也在许多其他应用中，我们的逆功率方法可以很容易地适应新的问题。
2010-12-03 cs.LG math.OC stat.ML
Hypergraphs with Edge-Dependent Vertex Weights: Spectral Clustering based on the 1-Laplacian
Rice University（莱斯大学）
本研究提出带边依赖顶点权重的超图1-拉普拉斯框架，基于其第二小特征值特征向量进行谱聚类，理论和实验均验证其精度更优，且特例可高效计算以适配大规模数据集。
2023-04-30 cs.LG cs.SI
Community Detection by Principal Components Clustering Methods
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
在经典度修正随机块模型（DCSBM）的基础上，提出了两种新的网络社区发现方法：主成分聚类（PCC）和归一化主成分聚类（NPCC）。PCC方法不需要估计任何参数，实现简单。在温和的条件下，我们表明，PCC产生一致的社区检测。NPCC是基于PCC和RSC方法的组合而设计的（Qin & Rohe 2013）。NPCC的总体分析表明，NPCC返回理想情况下的DCSBM完美的聚类。PCC和NPCC通过合成和真实世界的数据集进行说明。数值结果表明，NPCC提供了显着的改善相比，PCC和RSC。此外，NPCC继承了PCC和RSC的优良特性，使得NPCC对待聚类的特征向量的数目和调谐参数的选择不敏感。在处理Simmons和Caltech两个弱信号网络时，通过多考虑一个特征向量进行聚类，分别给出了PCC和NPCC的两个精化PCC+和NPCC+。这两种改进算法与原算法相比，性能都有一定的提高。特别是，NPCC+在Simmons和Caltech上提供了令人满意的性能，错误率分别为121/1137和96/590。
2020-11-10 cs.LG cs.SI stat.ML
Approximating Spectral Clustering via Sampling: a Review
CNRS, Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab（法国国家科学研究中心、格勒诺布尔阿尔卑斯大学、格勒诺布尔理工学院、GIPSA实验室）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
谱聚类是指一系列无监督学习算法，其基于相似性图的特征向量计算原始数据的谱嵌入。这种数据的非线性变换既是这些算法成功的关键，也是它们的致命弱点：当处理超过数万个点时，形成一个图并计算其主特征向量确实在计算上是令人望而却步的。在本文中，我们回顾了主要的研究工作，旨在减少这种计算成本。我们专注于方法，来与理论控制的聚类性能，并在其操作中采用某种形式的采样。这种方法在机器学习、数值线性代数和图形信号处理文献中比比皆是，其中包括Nyström近似、地标、粗化、核心集和压缩谱聚类。我们提出的近似保证可用于每个和讨论实际的优点和局限性。令人惊讶的是，尽管所探索的文献范围很广，但我们得出的结论是，理论与实践之间仍然存在差距：最具可扩展性的方法只是出于直观的动机或松散的控制，而那些具有端到端保证的方法则依赖于强有力的假设或能够有限地增加计算时间。
2019-01-29 cs.LG stat.ML
Spectral Clustering via Orthogonalization-Free Methods
Purdue University（普渡大学）；University of Maryland（马里兰大学）
针对现有谱聚类降维方法的正交化步骤并行扩展性差的问题，提出四种无虚假局部极小值的无正交化谱聚类方法，理论上可收敛到对应特征，在合成图和流图上验证了其有效性、竞争力与可扩展性，适用于大型流图谱聚类。
2024-11-02 cs.LG cs.NA eess.SP
Optimal Graph Clustering without Edge Density Signals
EPFL（苏黎世联邦理工学院）；Stanford University（斯坦福大学）
本文在流行度调整块模型下刻画图聚类的最优误差率，证明即使边缘密度信号消失，只要簇内外流行度系数不同，聚类仍可恢复，并发现使用k²个特征向量的谱聚类优于传统方法。
2025-10-24 cs.LG stat.ML
Multi-class Graph Clustering via Approximated Effective $p$-Resistance
University College London（伦敦大学学院）
针对基于$p$-拉普拉斯算子特征向量的聚类方法高阶特征向量计算难、$p$-电阻计算成本高的问题，本文提出$p$-电阻近似方法，证明其上下界且树图下精确，提供聚类理论依据，实验验证其相较同类方法的有效性。
2023-07-18 cs.LG stat.ML
Higher-Order Spectral Clustering for Geometric Graphs
Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯分部）
本文主要研究几何图的聚类问题。虽然标准的谱聚类往往是无效的几何图形，我们提出了一个有效的推广，我们称之为高阶谱聚类。它在概念上类似于经典的谱聚类方法，但用于划分与高阶特征值相关联的特征向量。我们建立了一个广泛的一类几何图，我们称之为软几何块模型的算法的弱一致性。算法的小调整提供了强一致性。我们还表明，我们的方法是有效的数值实验，即使是适度的大小的图形。
2021-03-15 cs.LG cs.SI math.PR
flow-based clustering and spectral clustering: a comparison
Aalto University（阿尔托大学）
我们提出并研究了一种新的图聚类方法的数据具有内在的网络结构。与谱聚类相似，我们利用数据的内在网络结构来构建欧氏特征向量。然后，这些特征向量可以被馈送到基本的聚类方法中，例如基于k均值或高斯混合模型（GMM）的软聚类。我们的方法与谱聚类的区别在于，我们不使用图拉普拉斯算子的特征向量来构造特征向量。相反，我们使用总变差最小化问题的解决方案来构建反映数据点之间连接的特征向量。我们的动机是总变差最小化的解决方案是分段常数围绕一组给定的种子节点。这些种子节点可以从领域知识中获得，也可以通过基于数据网络结构的简单算法获得。我们的研究结果表明，我们的聚类方法可以应付某些图结构，是具有挑战性的谱聚类方法。
2022-06-20 cs.LG
An improved spectral clustering method for community detection under the degree-corrected stochastic blockmodel
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
对于社区检测问题，谱聚类是一种广泛使用的网络簇检测方法。在本文中，我们提出了一种改进的谱聚类（ISC）方法下的度校正随机块模型（DCSBM）。ISC是基于正则化Laplacian矩阵的加权首K + 1个特征向量的k-均值聚类算法设计的，其中权值是其对应的特征值。ISC的理论分析表明，在温和的条件下，ISC产生稳定一致的社区检测。数值结果表明，ISC优于经典的谱聚类方法的社区检测模拟和八个经验网络。特别是，ISC对两个弱信号网络Simmons和Caltech提供了显着的改进，错误率分别为121/1137和96/590。
2020-11-12 cs.LG stat.ML
A parameter-free graph reduction for spectral clustering and SpectralNet
The University of Sydney（悉尼大学）
基于图的聚类方法，如谱聚类和SpectralNet，在检测非凸形状的聚类方面非常有效。与流行的$k$ -means不同，基于图的聚类方法不假设每个聚类具有单个均值。然而，这些方法需要一个图，其中同一簇中的顶点由大权重的边连接。为了实现这一目标，许多研究提出了带参数的图约简方法。不幸的是，这些参数必须针对每个数据集进行调整。我们介绍了一个图约简方法，不需要任何参数。首先，使用自适应阈值过滤从每个点$p$到其邻居的距离，以仅保留具有相似周围密度的邻居。第二，计算与近邻的相似性，并且仅保持高相似性。在这两个过滤步骤中幸存下来的边形成了被传递到谱聚类和SpectralNet的构造图。实验表明，我们的方法提供了一个稳定的替代方案，其中其他方法的性能根据其参数的设置而波动。
2023-02-25 cs.AI cs.IR cs.LG
Connecting Spectral Clustering to Maximum Margins and Level Sets
Stellenbosch University（斯泰伦博斯大学）
我们研究了谱聚类和最大间隔聚类问题之间的联系，以及密度函数水平集分量的估计。具体来说，我们得到的图拉普拉斯矩阵的特征向量的集群之间的分离，集群内的连接方面的界限。这些界限确保谱聚类解决方案收敛到最大间距聚类解决方案的缩放参数减少到零。最大间距聚类解决方案对离群点的敏感性是众所周知的，但可以通过首先去除这些离群点并将最大间距聚类应用于剩余点来减轻。如果使用潜在概率密度的估计来识别离群值，则剩余点可以被视为该密度函数的水平集的估计。我们表明，这样的方法可以用来一致地估计组件的水平集的密度函数在非常温和的假设。
2018-12-16 cs.LG stat.ML
Graph partitioning advance clustering technique
Alluri Institute of Management Sciences（阿卢里管理科学学院）
聚类是统计数据分析的常用技术，聚类是将数据分组为类或簇的过程，使得簇内的对象彼此之间具有高度相似性，但与其他簇中的对象非常不相似。基于描述对象的属性值来评估相异性。通常使用距离测量。聚类是一种无监督学习技术，其中可以直接从非常大的数据集中发现有趣的模式和结构，而很少或没有背景知识。本文还考虑了m维格图的Fiedler方法的划分，这需要确定的特征向量属于第二个最小的Laplacian特征值的K-均值划分算法。
2012-03-09 cs.DB cs.LG
Large Scale Spectral Clustering Using Approximate Commute Time Embedding
School of IT, University of Sydney（悉尼大学信息技术学院）
谱聚类是一种新的聚类方法，它可以检测复杂形状的数据簇。但是，它需要图的拉普拉斯矩阵的特征分解，这是成比例的$O(n^3)$，因此不适合于大规模系统。近年来，人们提出了许多方法来加速谱聚类的计算时间。这些近似方法通常涉及抽样技术，这可能会丢失原始数据的许多信息。在这项工作中，我们提出了一个快速和准确的谱聚类方法使用近似通勤时间嵌入，这是类似于谱嵌入。该方法不需要使用任何采样技术和计算任何特征向量。相反，它使用随机投影和线性时间求解器来找到近似嵌入。在几个人工数据集和真实数据集上的实验表明，该方法具有更好的聚类质量，比现有的近似谱聚类方法更快。
2012-02-29 cs.LG
Regularized Spectral Clustering under the Degree-Corrected Stochastic Blockmodel
UW-Madison（威斯康星大学麦迪逊分校）
谱聚类是一种快速而流行的网络聚类算法。最近，Chaudhuri等人（2012）和Amini等人（2013）在2014年发表了关于生物多样性的论文。（2012）提出了算法的灵感变化，人为地增加节点度以提高统计性能。目前的文件扩展了以前的统计估计结果，更规范的谱聚类算法的方式，删除任何假设的最小程度，并提供指导的调谐参数的选择。此外，我们的研究结果表明，“星形”的特征向量-经验网络的一个共同特征-可以解释度校正随机块模型和扩展种植分区模型，两个统计模型，允许高度异构度。在整个过程中，本文的特点和理由的谱聚类算法的变化，这些模型。
2013-09-16 cs.LG math.ST stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA（蔚蓝海岸大学法国国家信息与自动化研究所）
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度，仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构，从这样的混合物中抽取的样本。基于这些结果，我们分析了核PCA聚类高维混合的能力。特别是，我们展示了一个特定的内核，导致一个简单的频谱算法聚类可能共同的手段，但不同的协方差阵的混合物。我们表明，所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Partitioning Well-Clustered Graphs: Spectral Clustering Works!
Georgia Institute of Technology（佐治亚理工学院）；University of Bristol（布里斯托大学）
在本文中，我们研究了广泛使用的谱聚类的变体，该谱聚类通过（1）使用拉普拉斯矩阵的底部特征向量将图的顶点嵌入到低维空间中，以及（2）通过k-means算法将嵌入的点分组到k个聚类中，将图划分为k个聚类。我们表明，对于广泛的一类图，谱聚类给出了一个很好的近似的最佳聚类。虽然这种方法是在20世纪90年代初提出的，并具有广泛的应用，在我们的工作之前，类似的结果只知道从随机模型生成的图。我们还给出了一个近似线性时间算法划分良好的聚类图的基础上计算矩阵指数和近似最近邻数据结构。
2017-01-31 cs.DS cs.LG
A New Spectral Clustering Algorithm
Louisiana State University（路易斯安那州立大学）；Los Alamos National Lab（洛斯阿拉莫斯国家实验室）
我们提出了一种新的聚类算法，这是基于寻找自然的差距的最低能量的特征向量的一个图的拉普拉斯算子的组件。在比较所提出的方法与一组其他流行的方法（KMEANS，频谱KMEANS，凝聚的方法）的背景下，Lancichinetti-Ravanato-Radicchi（LFR）基准无向加权重叠网络的性能，我们发现，新的方法优于其他谱方法考虑在某些参数制度。最后，在一个应用程序中的气候数据，涉及一个最重要的模式的年际气候变率，厄尔尼诺南方涛动现象，我们证明了新算法的能力，很容易识别不同口味的现象。
2017-10-07 cs.CV cs.LG physics.geo-ph
On Consistency of Compressive Spectral Clustering
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Indian Institute of Science（印度科学学院）
谱聚类是图中社区发现的最常用的方法之一。谱聚类算法中的一个关键步骤是对$n{\times}n$图拉普拉斯矩阵进行特征分解，提取其$k$前导特征向量，其中$k$是$n$对象之间所需的聚类数。对于非常大的数据集来说，这是非常复杂的。然而，最近已经表明，它是可能的，通过计算一个近似的频谱嵌入，通过图形滤波的随机信号，绕过本征分解。在本文中，我们分析了通过图过滤随机块模型进行谱聚类的工作。具体来说，我们的稀疏性，维数和过滤器近似误差的一致性算法在恢复种植集群的影响。
2018-05-29 cs.IT cs.LG math.IT
Strong Consistency, Graph Laplacians, and the Stochastic Block Model
University of California at Davis（加州大学戴维斯分校）；New York University Shanghai（上海纽约大学）
谱聚类已经成为数据聚类和社区发现中最流行的算法之一。我们研究了经典的两步谱聚类的性能，通过图拉普拉斯学习随机块模型。我们的目标是回答以下问题：通过图拉普拉斯算子的谱聚类何时能够实现强一致性，即，隐藏社区的确切恢复情况我们的工作提供了一个entrywise分析（一个$\ell_{\infty}$ -范数扰动界）的非规范化和规范化的拉普拉斯算子与随机块模型采样的邻接矩阵相关联的菲尔德特征向量。我们证明了谱聚类是能够实现准确的恢复种植的社区结构的条件下，符合信息理论的限制。
2020-04-21 cs.LG cs.SI stat.ML
Multistability of Self-Attention Dynamics in Transformers
Division of Automatic Control, Dept. of Electrical Engineering, Linköping University（自动控制系，电气工程系，_linköping大学）
本文针对Transformer的自注意力机制，证明其连续时间类多智能体动力学与多智能体版Oja流相关，分类单头自注意力系统平衡点并分析其多稳定性与特征向量对齐特性。
2025-11-14 cs.LG cs.SY eess.SY
An Improved and Generalised Analysis for Spectral Clustering
Department of Mathematical Sciences（数学科学系）；University of Bath（巴斯大学）
本文提出了一种改进的谱聚类分析方法，适用于不同尺度的聚类层次结构，能够处理有向图的厄米特表示，并在合成和实际数据集上验证了其有效性。
2025-11-28 cs.LG cs.SI
Fast and Simple Spectral Clustering in Theory and Practice
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
本文提出一种基于幂法计算$O(\log(k))$个向量的简单谱聚类算法，在近线性时间内完成顶点嵌入，可证明恢复真实簇，且实验表明其速度显著快于替代算法而准确度相近。
2023-10-17 cs.DS cs.LG
jBOT: Semantic Jet Representation Clustering Emerges from Self-Distillation
University of Pennsylvania, USA（美国宾夕法尼亚大学）
本文提出jBOT，一种基于自蒸馏的预训练方法，通过局部粒子级和全局喷流级蒸馏学习喷流表示，支持异常检测和分类等下游任务，并在无标签喷流上观察到语义类聚类。
2026-09-21 cs.LG hep-ex
Scaling Graph Clustering with Distributed Sketches
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Colorado Boulder（科罗拉多大学博尔德分校）
社区结构的无监督学习，特别是将顶点划分成簇或社区，是探索性图分析中的一个典型和研究得很好的问题。然而，像大多数图形分析一样，巨大规模的引入对传统方法提出了挑战。例如，分布式存储器中的谱聚类需要数百个昂贵的批量同步通信轮来计算顶点到图关联矩阵的几个特征向量的嵌入。此外，如果底层图改变了一些低百分比的边更新，则可能需要重复整个计算。我们提出了一种方法的启发，谱聚类，而不是使用来自随机降维投影矩阵草图。我们表明，我们的方法产生的嵌入，产生高性能的聚类结果给出了一个完全动态的随机块模型流使用快速约翰逊-林登施特劳斯和CountSketch变换。我们还讨论了随机块模型参数对后续嵌入所需维数的影响，并展示了随机投影如何显着提高分布式内存中图聚类的性能。
2020-07-24 cs.LG stat.ML
Decision Support Framework for Home Health Caregiver Allocation Using Optimally Tuned Spectral Clustering and Genetic Algorithm
University of Tennessee（田纳西大学）；Tecnológico de Monterrey（蒙特雷理工大学）
针对居家医疗护理人员分配优化问题，提出一种结合谱聚类与遗传算法的决策支持框架，在保证访问序列灵活性的同时显著降低行驶里程并提升护理质量。
2024-04-26 cs.LG
Subspace Projection Methods for Fast Spectral Embeddings of Evolving Graphs
Department of Electrical and Computer Engineering, Michigan State University（密歇根州立大学电气与计算机工程系）；IBM Research（IBM研究院）
本文提出一种子空间投影方法，用于动态图谱的快速谱嵌入，通过降低计算和内存复杂度，提升动态图中主特征值的更新效率和下游任务的准确性。
2026-03-19 cs.LG eess.SP stat.ML
Sparse Quantized Spectral Clustering
ICSI and Department of Statistics University of California, Berkeley（加州大学伯克利分校统计系与ICSI）；G-STATS Data Science Chair, GIPSA-lab University Grenobles-Alpes（格勒诺布尔-阿尔卑斯大学GIPSA-lab实验室G-STATS数据科学讲席）
给定大数据矩阵，稀疏化、量化和/或执行其它逐项非线性运算可具有许多益处，范围从加速核心数值线性代数问题的迭代算法到提供非线性滤波器以设计最先进的神经网络模型。在这里，我们利用随机矩阵理论的工具，对矩阵的本征谱在这种非线性变换下如何变化做出精确的陈述。特别是，我们表明，即使在激烈的稀疏化/量化的信息特征结构发生的变化很小，因此，非常积极的稀疏化或量化谱聚类发生的下游性能损失很小。我们说明了这些结果如何依赖于非线性，我们的特征超过谱聚类成为可能的相变，我们表明，当这种非线性变换可以引入虚假的非信息特征向量。
2020-10-03 cs.LG math.SP stat.ML
Compressive Spectral Clustering
INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Technicolor（汤姆逊集团）
谱聚类由于其在许多情况下的高性能而成为一种流行的技术。它包括三个主要步骤：创建N个对象之间的相似性图进行聚类，计算其拉普拉斯矩阵的前k个特征向量以定义每个对象的特征向量，并对这些特征运行k-均值以将对象分成k个类。对于大的N和/或k，这三个步骤中的每一个都变得计算密集。我们建议加快最后两个步骤的基础上，在新兴领域的图形信号处理：图形过滤的随机信号，和随机采样的带限图形信号。我们证明，我们的方法，在计算时间的增益，可以达到几个数量级，实际上是一个近似的谱聚类，我们能够控制的错误。我们测试我们的方法在人工和真实世界的网络数据的性能。
2016-05-23 cs.DS cs.LG stat.ML
Revisiting the Bethe-Hessian: Improved Community Detection in Sparse Heterogeneous Graphs
GIPSA-lab（GIPSA实验室）；UGA（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；L2S（信号与系统实验室）；CentraleSupélec（中央理工-高等电力学院）；University of Paris Saclay（巴黎萨克雷大学）
谱聚类是图上社区发现的最流行但尚未完全理解的方法之一。本文研究了基于Bethe-Hessian矩阵$H_r = (r^2-1)I_n + D-rA$的谱聚类算法，该算法适用于稀疏异构图（遵循度校正随机块模型）的两类集.对于一个特定的值$r = ζ$，聚类被证明是不敏感的程度异质性。然后，我们研究的行为的信息特征向量的$H_ζ$，作为一个结果，预测聚类精度。文章最后概述了对两个以上类别的推广，以及对合成和真实网络的广泛模拟，证实了我们的发现。
2019-10-09 cs.LG cs.SI physics.soc-ph
Robust Spectral Detection of Global Structures in the Data by Learning a Regularization
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）
谱方法在检测可以表示为矩阵的给定数据中的全局结构中是流行的。然而，当数据矩阵是稀疏或噪声时，经典的谱方法通常无法工作，这是由于稀疏或噪声导致的特征向量（或奇异向量）的局部化。在这项工作中，我们提出了一个通用的方法来解决本地化问题，学习正则化矩阵的本地化特征向量。使用矩阵扰动分析，我们证明了学习的正则化抑制了与本地化特征向量相关的特征值，并使我们能够恢复代表全局结构的信息特征向量。我们展示了我们的方法在几个推理问题中的应用：网络中的社区检测，成对相似性聚类，秩估计和矩阵完成问题。使用广泛的实验，我们说明，我们的方法解决了本地化问题，并在不同种类的合成数据的理论检测极限。这与现有的谱算法相比，基于数据矩阵，非回溯矩阵，拉普拉斯算子和那些秩一正则化，在稀疏的情况下，噪声表现不佳。
2016-09-09 cs.LG cs.SI physics.soc-ph
Revisiting k-means: New Algorithms via Bayesian Nonparametrics
Ohio State University（俄亥俄州立大学）；UC Berkeley（加州大学伯克利分校）
贝叶斯模型为聚类应用提供了很大的灵活性-贝叶斯非参数可用于建模无限混合物，分层贝叶斯模型可用于在多个数据集上共享聚类。在大多数情况下，这种灵活性是缺乏经典的聚类方法，如k-means。在本文中，我们重新审视的k-means聚类算法从贝叶斯非参数的观点。受启发的渐近连接之间的k-均值和混合高斯，我们表明，吉布斯采样算法的Dirichlet过程的混合接近硬聚类算法的限制，并进一步得到的算法单调最小化一个优雅的底层k-均值聚类目标，包括惩罚的集群数量。我们推广这种分析的情况下，聚类多个数据集，通过类似的渐近参数与分层狄利克雷过程。我们还讨论了进一步的扩展，突出了我们的分析的好处：i）涉及阈值特征向量的谱松弛，和ii）归一化割图聚类算法，不固定图中的聚类数量。
2012-06-14 cs.LG stat.ML
A Dynamic Mode Decomposition Approach for Decentralized Spectral Clustering of Graphs
Raytheon Technologies Research Center（雷神技术研究中心）；University of Surrey（萨里大学）
本研究提出一种基于Koopman算子框架与局部DMD计算的去中心化图聚类算法，等效于谱聚类，相比现有FFT方法鲁棒性更强，步数仅需1/20且相对误差降低数个数量级。
2022-08-29 cs.DC cs.DM cs.LG
Spectral Clustering of Signed Graphs via Matrix Power Means
Saarland University（萨尔兰大学）；University of Tübingen（图宾根大学）；University of Strathclyde（思克莱德大学）
符号图编码节点之间的正（吸引）和负（排斥）关系。我们扩展谱聚类到有符号图通过一个参数的家庭的符号幂平均拉普拉斯算子，定义为矩阵幂平均归一化标准和无符号拉普拉斯算子的积极和消极的边缘。我们提供了一个全面的分析所提出的方法，在设置一个一般的随机块模型，其中包括模型，如标签随机块模型和删失块模型。我们表明，在预期中，符号幂平均拉普拉斯算子在合理的设置下捕获了最先进的方法失败的真实聚类。证明了在一般随机块模型中，符号幂平均拉普拉斯算子的特征值和特征向量在合理的条件下集中在它们的期望附近。在随机图和真实世界数据集上的大量实验证实了符号幂平均拉普拉斯算子的理论预测行为，并表明它与最先进的方法相比毫不逊色。
2019-05-15 cs.LG stat.ML
Disentangling the Spectral Properties of the Hodge Laplacian: Not All Small Eigenvalues Are Equal
RWTH Aachen University（亚琛工业大学）
本文指出 Hodge Laplacian 的小特征值因关联旋度或梯度特征模态而携带不同信息，提出持久特征向量相似性方法追踪各类特征向量，并据此引入新型 Hodge 谱聚类及边与高阶单纯形分类方法。
2024-03-26 cs.LG math.AT
Nonbacktracking spectral clustering of nonuniform hypergraphs
Middlebury College（明德学院）；Grinnell College（格林内尔学院）；Harvey Mudd College（哈维·穆德学院）
谱方法通过图矩阵上的特征向量计算为图中的聚类提供了一个易于处理的全局框架。超图数据中，实体在任意大小的边缘上交互，对矩阵表示和谱聚类提出了挑战。研究了基于超图非回溯算子的非均匀超图谱聚类问题。在回顾了这个算子的定义及其基本性质之后，我们证明了Ihara-Bass型定理，该定理允许在较小的矩阵上进行本征对计算，通常可以实现更快的计算。然后，我们提出了一个交替的算法，在超图随机块模型通过线性化的信念传播，其中涉及的谱聚类步骤再次使用nonbacktracking运营商的推理。我们提供的证据，该算法的形式化和扩展以前的几个结果。我们提出了几个aptures的限制谱方法和检测在超图随机块模型一般，支持这些与预期分析的eigeinpairs我们研究的运营商。我们在真实数据和合成数据中进行实验，证明了超图方法在不同大小的交互携带不同的聚类结构信息时优于基于图的方法。
2022-09-03 cs.LG cs.SI math.PR
Clustering with Multi-Layer Graphs: A Spectral Perspective
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Nokia Research Center (NRC)（诺基亚研究中心）
观测数据通常具有多模态性质，这意味着它可以自然地由多层图表示，其层共享具有不同边（成对关系）的相同顶点（用户）集。在本文中，我们解决的问题，结合不同的层的多层图的顶点的改进聚类相比，单独使用层。我们提出了两种新的方法，这是基于联合矩阵分解和图正则化框架，分别有效地结合频谱的多个图层，即图拉普拉斯矩阵的特征向量。在每种情况下，所得到的组合，我们称之为多个图的“联合谱”，用于聚类顶点。我们通过模拟几个真实世界的社交网络数据集来评估我们的方法。结果表明，所提出的方法优于最先进的技术和常见的基线方法，如共正则化和汇总的信息，从个别图形的优越或有竞争力的性能。
2011-06-11 cs.CV cs.LG cs.SI
Multiclass spectral feature scaling method for dimensionality reduction
University of Tsukuba（筑波大学）
不规则的特征破坏了所需的分类。在本文中，我们考虑积极地修改尺度的功能在原始空间中的标签信息，以形成良好的分离在低维空间中的集群。所提出的方法利用谱聚类来获得用于修改功能的缩放因子。具体地说，我们将谱聚类的拉普拉斯特征值问题转化为特征向量具有尺度因子的线性矩阵束的特征值问题。数值实验表明，该方法在样本数大于特征数的玩具问题和特征数大于样本数的现实问题中的降维效果优于已有的监督降维方法.
2019-10-16 cs.LG stat.ML
The Power Mean Laplacian for Multilayer Graph Clustering
Department of Mathematics and Computer Science, Saarland University（萨尔兰大学数学与计算机科学系）；Department of Mathematics and Statistics, University of Strathclyde（斯特拉斯克莱德大学数学与统计学系）
本文提出一种参数化的矩阵幂均值方法，用于融合多层图的拉普拉斯矩阵，分析其在随机块模型中的期望性能，并在真实数据中验证其在不同设置下恢复真实聚类的能力。
2018-03-01 cs.LG cs.NA math.NA
Fast Eigenspace Approximation using Random Signals
EPFL, Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在这项工作中，我们专注于估计的第一个$k$特征向量的任何图形拉普拉斯滤波高斯随机信号。我们证明，我们只需要$k$这样的信号，能够准确地恢复尽可能多的最小的特征向量，无论在图中的节点数。此外，我们解决的关键问题，在实践中使用准确的近似方法实施的理论概念。我们还提出了快速算法的本征空间近似和$k$第最小本征值$λ_k$的测定。后者被证明是非常有效的假设下，局部均匀分布的本征值的频谱。最后，我们提出的实验表明，我们的方法在实践中的有效性，并将其与最先进的方法进行聚类和可视化的合成小规模数据集和更大的现实世界的问题，数以百万计的节点。我们表明，我们的方法允许一个更好的缩放比以前所有的方法的节点数，同时实现了几乎完美的重建由第一个$k$特征向量形成的特征空间。
2016-11-04 cs.DS cs.LG stat.ML
Spectral Clustering: An empirical study of Approximation Algorithms and its Application to the Attrition Problem
University of California, Los Angeles（加州大学洛杉矶分校）；Instituto Tecnológico Autónomo de México（墨西哥自治技术研究所）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Claremont McKenna College（克莱蒙特·麦肯纳学院）
本文通过实验评估多种谱聚类近似方法，并应用于员工流失预测问题，展示了近似谱聚类在保持分类准确性的同时降低计算成本的有效性。
2012-11-14 cs.LG cs.NA math.NA
Topological Point Cloud Clustering
RWTH Aachen University（亚琛工业大学）
提出拓扑点云聚类（TPCC）方法，基于单纯复形的Hodge-Laplacians谱性质，利用点对全局拓扑特征的贡献进行聚类，兼具谱聚类的易实现性与拓扑技术的抗噪鲁棒性。
2025-03-01 cs.CG cs.LG cs.SI
Certifying Global Optimality of Graph Cuts via Semidefinite Relaxation: A Performance Guarantee for Spectral Clustering
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；University of California at Davis（加州大学戴维斯分校）
谱聚类已经成为一种最广泛使用的聚类技术，当单个聚类的结构是非凸的或高度各向异性的。然而，尽管它的巨大的普及，存在相当少的理论性能保证谱聚类。这个问题部分是由于谱聚类通常涉及两个步骤，这使得其理论分析变得复杂：首先，使用关联图Laplacian的特征向量来嵌入数据集，其次，将k-means聚类算法应用于嵌入的数据集以获得标签。本文介绍了谱聚类和图割的理论基础。我们考虑一个凸松弛的图割，即比率割和归一化割，这使得通常的两步谱聚类方法过时，并在同一时间产生了严格的理论分析图割和谱聚类。我们通过一个谱邻近条件，自然地依赖于每个集群的代数连接和集群间的连接，成功的谱聚类的确定性界限。此外，我们通过一些流行的例子证明，我们的界限可以达到近最优。我们的研究结果也是核k-means的理论理解的基础。数值模拟证实并补充了我们的分析。
2019-04-14 cs.IT cs.LG math.IT
