Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的非线性维数和特征提取方法的基础上,拉普拉斯的图形数据。首先介绍了邻接矩阵、拉普拉斯矩阵的定义以及拉普拉斯算子的解释。然后,我们覆盖了图的切割和谱聚类,它应用于数据的子空间中的聚类。解释了拉普拉斯特征映射及其样本外扩展的不同优化变体。之后,我们引入了保局投影及其核变体作为拉普拉斯特征映射的线性特例。图嵌入的版本,然后解释这是广义版本的拉普拉斯特征映射和局部保持投影。最后介绍了一种基于数据的拉普拉斯算子和数据图上的随机游动的扩散映射方法。
2022-08-06 cs.CV cs.LG stat.ML
The Mathematics Behind Spectral Clustering And The Equivalence To PCA
谱聚类是一种流行的算法,它使用来自数据的拉普拉斯矩阵的特征值和特征向量来聚类点。多年来,谱聚类一直在神秘地工作。本文解释谱聚类分为两类的基础上,图拉普拉斯是完全连接或不。对于全连通图,本文通过提供一个目标函数:原始数据点的相似性和映射数据点的相似性之间的协方差来演示降维部分。对于多连通图,证明了在适当的$k$下,第一个$k$特征向量是连通分支的指示.本文还证明了谱嵌入与主成分分析之间的等价性。
2021-03-01 cs.LG stat.ML
Incremental Method for Spectral Clustering of Increasing Orders
University of Michigan(密歇根大学);Indiana University - Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯联合分校)
本文提出一种逐步方法,用于构建图拉普拉斯矩阵的特征谱,通过利用图拉普拉斯矩阵的特征结构,从已知的K-1个最小特征对中获取K个特征对,从而将批量特征分解问题转化为高效的顺序主导特征对计算问题。
2016-08-13 cs.NA cs.SI math.NA
Incremental Eigenpair Computation for Graph Laplacian Matrices: Theory and Applications
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Purdue University(普渡大学);Indiana University Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校)
最小特征值和相关特征向量(即,图拉普拉斯矩阵的特征对(eigenpairs)在谱聚类和社区发现中得到了广泛的应用。然而,在实际应用中,集群或社区(比如说,$K$)的数量通常是先验未知的。因此,大多数现有的方法要么选择$K$,或者他们重复的聚类方法与不同的选择$K$,并接受最好的聚类结果。第一个选项,更经常地,产生次优的结果,而第二个选项是计算昂贵的。在这项工作中,我们提出了一个增量的方法来构造图拉普拉斯矩阵的特征谱。该方法利用图拉普拉斯矩阵的特征结构来获得拉普拉斯矩阵的第$K$个最小特征对,给定所有先前计算的$K-1$最小特征对的集合。我们提出的方法适应拉普拉斯矩阵,使批量特征值分解问题转化为一个有效的顺序领先的特征对计算问题。作为一个实际应用,我们考虑用户引导的谱聚类。具体来说,我们证明了用户可以利用所提出的增量方法进行有效的特征对计算,并确定所需的集群数量的基础上多个聚类指标。
2017-12-13 cs.LG cs.SI stat.ML
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo(滑铁卢大学)
在本文中,我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法,但由于特征分解而具有高计算复杂性。在这项工作中,我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵,我们只考虑有限数量的点,称为地标,并计算所有数据点与地标的相似性。然后,我们给出了图的拉普拉斯矩阵的定义,使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$,其中$n$是数据点的数量,$p$是界标的数量。最后,通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
SPONGE: A generalized eigenproblem for clustering signed networks
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);King’s College London(伦敦国王学院);INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
我们介绍了一个原则和理论上健全的频谱方法$k$的方式聚类在有符号图,其中节点之间的亲和力措施采取正值或负值。我们的方法受到社会平衡理论的启发,其中聚类任务旨在将网络分解为不相交的组,使得同一组中的个体通过尽可能多的正边缘连接,而来自不同组的个体通过尽可能多的负边缘连接。我们的算法依赖于一个广义特征问题制定的启发,最近的工作约束聚类。我们提供了理论保证,我们的方法在设置一个有符号的随机块模型,利用工具,从矩阵扰动理论和随机矩阵理论。一组广泛的数值实验的合成和真实的数据表明,我们的方法相比毫不逊色,与国家的最先进的方法签署的聚类,特别是对于大量的集群和稀疏的测量图。
2019-05-19 cs.LG math.ST stat.ML
Spectral graph clustering with inhomogeneous latent geometry
Inria Sophia Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所);Federal University of Rio Grande do Sul(南里奥格兰德联邦大学);University of Münster(明斯特大学)
针对混杂潜在几何下谱聚类的问题,提出DBSPEC算法,可从深层特征向量恢复社区,能处理一般潜在几何,其理论预测与真实实验结果一致。
2026-08-13 cs.LG cs.SI math.PR
A Tighter Analysis of Spectral Clustering, and Beyond
University of Edinburgh(爱丁堡大学)
本文研究了经典的谱聚类算法,该算法利用$G$矩阵的$k$特征向量将图$G=(V_G, E_G)$的顶点嵌入到图$\mathbb{R}^k$中,并应用$k$ -means将图$V_G$划分为$k$簇。我们的第一个结果是对谱聚类的性能进行了更严格的分析,并解释了为什么它在比文献中研究的条件弱得多的条件下工作。对于第二个结果,我们表明,通过应用少于$k$的特征向量来构造嵌入,谱聚类能够在许多实际情况下产生更好的输出,这是谱聚类中的第一个结果。除了它的概念和理论意义,我们的工作的实际影响证明了合成和现实世界的数据集,其中谱聚类产生可比或更好的结果,少于$k$特征向量的实证分析。
2022-08-02 cs.DS cs.LG stat.ML
Dual regularized Laplacian spectral clustering methods on community detection
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
谱聚类方法被广泛应用于社区检测网络中的簇检测,而图拉普拉斯矩阵的微小变化可以带来显着的改善。在本文中,我们提出了一个对偶正则图拉普拉斯矩阵,然后将其用于度校正随机块模型下的三个经典的谱聚类方法。如果社区的数量是已知的$K$,我们认为更多的$K$领导特征向量和权重,他们相应的特征值在谱聚类过程中,以提高性能。三种改进的谱聚类方法是对偶正则化谱聚类(DRSC)方法、对偶正则化特征向量比谱聚类(DRSCORE)方法和对偶正则化对称拉普拉斯逆矩阵(DRSLIM)方法。对DRSC和DRSLIM算法的理论分析表明,在较弱的条件下,DRSC和DRSLIM算法能够获得稳定一致的社区检测结果,而在理想情况下,DRSCORE算法能够获得理想的聚类结果.通过大量的仿真网络和8个真实网络,比较了DRSC、DRSCORE和DRSLIM与几种谱方法的性能。
2020-11-09 cs.LG cs.SI stat.ML
An improved spectral clustering method for community detection under the degree-corrected stochastic blockmodel
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
对于社区检测问题,谱聚类是一种广泛使用的网络簇检测方法。在本文中,我们提出了一种改进的谱聚类(ISC)方法下的度校正随机块模型(DCSBM)。ISC是基于正则化Laplacian矩阵的加权首K + 1个特征向量的k-均值聚类算法设计的,其中权值是其对应的特征值。ISC的理论分析表明,在温和的条件下,ISC产生稳定一致的社区检测。数值结果表明,ISC优于经典的谱聚类方法的社区检测模拟和八个经验网络。特别是,ISC对两个弱信号网络Simmons和Caltech提供了显着的改进,错误率分别为121/1137和96/590。
2020-11-12 cs.LG stat.ML
An Automated Spectral Clustering for Multi-scale Data
Virginia Tech(弗吉尼亚理工学院暨州立大学)
谱聚类算法通常需要输入参数的先验选择,例如聚类的数量、用于亲和度度量的缩放参数或用于参数调整的这些值的范围。尽管努力自动化的谱聚类的过程中,在多尺度和高维空间的数据分组的任务还有待探讨。本文提出了一种谱聚类启发式算法,该算法通过估计数据本身的参数来避免对输入的需要。具体地说,它介绍了启发式的迭代特征间隙搜索(1)全局缩放和(2)局部缩放。这些方法估计缩放参数,并沿着搜索树实现迭代本征间隙量化,以揭示特征空间的不同尺度下的相异性并识别聚类。这些方法的性能已经在具有多尺度性质和基因表达的功率变化的各种真实世界数据集上进行了测试。我们的研究结果表明,迭代特征间隙搜索与PCA为基础的全球尺度计划可以发现不同的模式,在大多数情况下,准确率高于90%,而不要求先验输入信息。
2019-02-06 cs.LG stat.ML
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University(密歇根理工大学)
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中,我们引入了一个高度可扩展的,频谱保持的图稀疏化算法,使建立超稀疏NN(u-NN)图与保证保留的原始图频谱,如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网,而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树(LSST)从原始图,然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST,提出了一种特征值稳定性检查方案,该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外,提出了一种增量图致密化方案,用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明,各种知名的数据集,该方法可以显着降低NN图的复杂性,导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
Spectral Clustering Revisited: Information Hidden in the Fiedler Vector
Yale University(耶鲁大学);Department of Mathematics, Yale University(耶鲁大学数学系)
我们感兴趣的是图上的聚类问题:众所周知,如果有两个潜在的集群,那么对应于邻接矩阵的第二大特征值的特征向量的符号可以可靠地重建这两个集群。我们认为,顶点的特征向量具有最大和最小的条目,分别是异常强烈地连接到自己的集群和更可靠的分类比其余的。这可以被看作是热点猜想的离散版本,并且应该在应用中是有用的。给出了随机块模型的严格证明和几个例子。
2020-03-22 cs.DM cs.LG math.PR
On Consistency of Compressive Spectral Clustering
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Indian Institute of Science(印度科学学院)
谱聚类是图中社区发现的最常用的方法之一。谱聚类算法中的一个关键步骤是对$n{\times}n$图拉普拉斯矩阵进行特征分解,提取其$k$前导特征向量,其中$k$是$n$对象之间所需的聚类数。对于非常大的数据集来说,这是非常复杂的。然而,最近已经表明,它是可能的,通过计算一个近似的频谱嵌入,通过图形滤波的随机信号,绕过本征分解。在本文中,我们分析了通过图过滤随机块模型进行谱聚类的工作。具体来说,我们的稀疏性,维数和过滤器近似误差的一致性算法在恢复种植集群的影响。
2018-05-29 cs.IT cs.LG math.IT
Scalable Spectral Clustering Using Random Binning Features
IBM Research AI(IBM研究院人工智能部门);Carnegie Mellon University(卡内基梅隆大学);College of William and Mary(威廉与玛丽学院);Huawei Research(华为研究院)
谱聚类是最有效的聚类方法之一,它可以捕捉数据中隐藏的聚类结构。然而,它不能很好地扩展到大规模的问题,由于其在构建相似图和计算随后的特征分解的二次复杂性。虽然已经提出了一些方法来加速谱聚类,其中大多数妥协相当大的信息损失的原始数据,以减少计算瓶颈。在本文中,我们提出了一种新的可扩展的谱聚类方法,使用随机装箱功能(RB),同时加快相似图的建设和特征分解。具体来说,我们隐式地近似的图形相似性(内核)矩阵的内积由RB生成的大型稀疏特征矩阵。然后,我们引入了一个国家的最先进的SVD求解器,有效地计算这个大矩阵的谱聚类的特征向量。使用这两个构建块,我们将计算成本从数据点数量的二次降低到线性,同时实现类似的精度。我们的理论分析表明,通过RB的谱聚类比标准的随机特征近似更快地收敛到精确的谱聚类。在8个基准测试上的实验表明,该方法在准确性和运行时间上都优于或匹配最先进的方法。此外,我们的方法在数据样本的数量和RB特征的数量方面都具有线性可扩展性。
2019-11-25 cs.LG stat.ML
Role of normalization in spectral clustering for stochastic blockmodels
谱聚类是一种使用元素(可能归一化)相似性矩阵的前几个特征向量对元素进行聚类的技术。谱聚类的质量与这些主特征向量的收敛特性密切相关。在最近的随机矩阵理论文献中,这种收敛速度对于正规化和非正规化变量都是相同的。然而,谱聚类的归一化通常被认为是有益的[Stat. Comput. 17(2007)395-416]。事实上,我们的实验表明,归一化提高了预测精度。在本文中,对于流行的随机块模型,我们从理论上表明,规范化收缩的点在一个广泛的参数制度下的一个恒定的分数类的蔓延。作为我们工作的副产品,我们还获得了从随机块模型生成的图的经验主特征值的尖锐偏差界。
2015-06-25 math.ST stat.ML stat.TH
Koopman-based spectral clustering of directed and time-evolving graphs
虽然用于无向图的谱聚类算法已经很好地建立,并且已经成功地应用于从图像分割和基因组测序到信号处理和社会网络分析的无监督机器学习问题,但是聚类有向图仍然非常困难。两个主要的挑战是与有向图相关的图拉普拉斯算子的特征值和特征向量通常是复值的,并且在有向图中没有普遍接受的簇定义。我们首先利用图形拉普拉斯算子和传输操作员之间的关系,特别是集群之间的无向图和亚稳态集的随机动力系统,然后使用一个概括的概念亚稳态来推导出聚类算法的有向和时间演化图。由此产生的集群可以被解释为相干集,这在流体流动中的传输和混合过程的分析中起着重要的作用。
2022-10-19 math.DS stat.ML
Multi-kernel spectral clustering: Entrywise eigenvector perturbation bounds and exact recovery
Nanyang Technological University(南洋理工大学);University of Macau(澳门大学);Dalian University of Technology(大连理工大学)
针对高维多尺度数据的单一带宽核谱聚类不足问题,提出多核谱聚类方法,建立逐元素特征向量扰动界,证明其结合近似K-means可高概率实现数据精确恢复。
2026-08-11 cs.LG math.ST stat.ML
Spectral Clustering with Epidemic Diffusion
California State University, Fullerton(加州州立大学富勒顿分校);USC Information Sciences Institute(南加州大学信息科学研究所);Claremont Graduate University(克莱蒙特研究生大学);HP Labs(惠普实验室)
谱聚类被广泛用于将图划分为不同的模块或社区。现有的谱聚类方法使用图拉普拉斯算子的特征值和特征向量,这是一种与图上的随机游走密切相关的算子。我们提出了一种新的谱分割方法,利用流行病扩散的属性。流行病是一个动态过程,与随机游走不同,它同时转移到给定节点的所有邻居。我们发现,复制,一个操作符描述流行病扩散,是等价的对称归一化拉普拉斯算子的重加权图的边缘重加权的特征向量中心的事件节点。因此,更多的权重被给予连接更多中心节点的边。我们描述了一种方法,分区节点的复制的第二特征向量的第一分量比的基础上,并比较其性能与传统的谱聚类技术与已知的社区结构的合成图。我们证明了复制因子优先考虑密集的,类cnc的结构,使其能够更有效地发现社区,可能被掩盖的密集社区间的联系。
2013-10-04 cs.LG cs.SI physics.soc-ph
Sparse Quantized Spectral Clustering
ICSI and Department of Statistics University of California, Berkeley(加州大学伯克利分校统计系与ICSI);G-STATS Data Science Chair, GIPSA-lab University Grenobles-Alpes(格勒诺布尔-阿尔卑斯大学GIPSA-lab实验室G-STATS数据科学讲席)
给定大数据矩阵,稀疏化、量化和/或执行其它逐项非线性运算可具有许多益处,范围从加速核心数值线性代数问题的迭代算法到提供非线性滤波器以设计最先进的神经网络模型。在这里,我们利用随机矩阵理论的工具,对矩阵的本征谱在这种非线性变换下如何变化做出精确的陈述。特别是,我们表明,即使在激烈的稀疏化/量化的信息特征结构发生的变化很小,因此,非常积极的稀疏化或量化谱聚类发生的下游性能损失很小。我们说明了这些结果如何依赖于非线性,我们的特征超过谱聚类成为可能的相变,我们表明,当这种非线性变换可以引入虚假的非信息特征向量。
2020-10-03 cs.LG math.SP stat.ML
Performance Analysis of Spectral Clustering on Compressed, Incomplete and Inaccurate Measurements
University of California, Davis(加州大学戴维斯分校)
本文结合压缩感知和矩阵完成的距离保持测量与鲁棒谱聚类,分析了亲和矩阵微小误差对谱坐标和聚类能力的影响,并将双类谱聚类的扰动结果推广到多类聚类。
2010-11-03 cs.CV cs.NA math.FA
Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering
University of Utah(犹他大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
该研究针对多流形混合分布数据,建立了张量化拉普拉斯-贝尔特拉米算子特征对估计的极小极大率,提出的流形无关图拉普拉斯估计器改进了谱收敛速率,数值实验验证了理论结果。
2026-10-14 cs.LG stat.ML
Higher-Order Spectral Clustering for Geometric Graphs
Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安蒂波利斯分部)
本文主要研究几何图的聚类问题。虽然标准的谱聚类往往是无效的几何图形,我们提出了一个有效的推广,我们称之为高阶谱聚类。它在概念上类似于经典的谱聚类方法,但用于划分与高阶特征值相关联的特征向量。我们建立了一个广泛的一类几何图,我们称之为软几何块模型的算法的弱一致性。算法的小调整提供了强一致性。我们还表明,我们的方法是有效的数值实验,即使是适度的大小的图形。
2021-03-15 cs.LG cs.SI math.PR
A Model-Based Approach to Rounding in Spectral Clustering
The Hong Kong University of Science and Technology(香港科技大学)
提出一种基于潜树模型的谱聚类舍入方法,同时解决特征向量选择、聚类数确定和数据划分三个子问题。
2012-10-16 cs.LG cs.NA math.NA
A Performance Guarantee for Spectral Clustering
University of California Los Angeles(加利福尼亚大学洛杉矶分校);University of California Davis(加利福尼亚大学戴维斯分校);University of California at Davis(加利福尼亚大学戴维斯分校)
两步谱聚类方法是一种广泛使用的图划分方法,它由Laplacian特征映射和舍入步骤组成。它可以被看作是对NP难最小比率切割问题的一种自然松弛。在本文中,我们研究的中心问题:当是谱聚类能够找到全球解决方案的最小比率削减问题?首先,我们提供了一个条件,自然取决于一个给定的分区的集群内和集群间的连通性,我们可以证明,这个分区是最小比率削减问题的解决方案。然后,我们开发了一个确定的2到无穷大范数扰动界的不变子空间的图拉普拉斯对应的$k$最小特征值。最后结合这两个结果,给出了保证谱聚类输出最小比割问题全局解的条件,作为谱聚类性能的保证。
2020-07-10 cs.LG stat.ML
Multi-Community Spectral Clustering for Geometric Graphs
INRIA, NEO Team, Sophia Antipolis - Méditerranée(法国国家信息与自动化研究所,NEO团队,索菲亚-地中海)
本文针对软几何块模型提出一种谱聚类算法,利用邻接矩阵特征向量嵌入并应用k-means,证明弱一致性和强一致性,并分析极限谱。
2025-07-27 cs.LG cs.SI math.PR
Incremental Minimax Optimization based Fuzzy Clustering for Large Multi-view Data
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学)
增量聚类方法已经被提出来处理大数据时,给定的数据集太大,无法存储。这些方法的核心思想是在每个数据块中找到代表每个聚类的代表,并基于从所有数据块中识别出的代表进行最终的数据分析。然而,大多数增量方法用于单视图数据。随着从多个源生成的大型多视图数据变得普遍,现在需要增量聚类方法来处理大型和多视图数据。在本文中,我们提出了一种新的增量聚类方法称为增量最小最大优化的模糊聚类(IminimaxFCM)来处理大的多视图数据。在IminimaxFCM中,通过使用Minimax优化集成多个互补视图来识别具有多个视图的代表以代表每个聚类。详细的问题制定,更新规则的推导,并在建议IminimaxFCM的深入分析。在几个真实世界的多视图数据集上进行了实验研究。我们观察到,IminimaxFCM优于相关的增量模糊聚类的聚类精度,展示了巨大的潜力,IminimaxFCM大型多视图数据分析。
2016-08-25 cs.AI cs.LG stat.ML
Spectral clustering and the high-dimensional stochastic blockmodel
网络或图可以很容易地表示以交互单元或参与者为特征的各种数据源。社交网络代表了人们之间的交流,就是一个例子。由高度关联的行为者组成的社区或集群构成了若干经验网络结构的一个基本特征。谱聚类是一种流行的和计算上可行的方法来发现这些社区。随机块模型[社交网络5(1983)109- 137]是一个具有明确定义的社区的社会网络模型;每个节点是一个社区的成员。对于从随机块模型生成的网络,我们通过谱聚类来限制“误聚类”的节点数量。本文中的渐近结果是第一个聚类结果,允许模型中的簇的数量随着节点的数量而增长,因此命名为高维。为了研究随机块模型下的谱聚类,我们首先证明了在更一般的潜在空间模型下,归一化图拉普拉斯算子的特征向量渐近收敛到“总体”归一化图拉普拉斯算子的特征向量。除了对谱聚类的影响外,这还提供了对图形可视化技术的深入了解。本文研究随机矩阵特征向量的方法是新颖的。
2011-12-13 math.ST stat.ML stat.TH
On Constrained Spectral Clustering and Its Applications
University of California, Davis(加州大学戴维斯分校)
约束聚类已被充分研究的算法,如$K$ -均值和层次聚类。然而,如何满足这些算法设置中的许多约束已被证明是棘手的。编码许多约束的一种替代方法是使用谱聚类,这仍然是一个发展中的领域。在本文中,我们提出了一个灵活的框架约束谱聚类。与以前的一些努力,隐式编码必须链接和不能链接的约束,通过修改图形拉普拉斯算子或约束的基础特征空间,我们提出了一个更自然和原则的制定,明确编码的约束作为约束优化问题的一部分。我们的方法提供了几个实际的优点:它可以编码的程度的信念,必须链接和不能链接的约束,它保证下限如何以及给定的约束满足使用用户指定的阈值,它可以解决确定性在多项式时间通过广义特征分解。此外,通过继承目标函数的谱聚类和编码的约束明确,现有的分析无约束谱聚类技术仍然有效,我们的配方。我们验证了我们的方法的有效性,人工和真实数据集上的实证结果。我们还展示了一个创新的使用编码大量的约束:迁移学习通过约束。
2012-09-21 cs.LG stat.ML
Fast Approximate Spectral Clustering for Dynamic Networks
谱聚类是一个被广泛研究的问题,但它的复杂性是令人望而却步的动态图,甚至适度的大小。我们声称,它是可能的重用信息,过去的集群分配,以加快计算。我们的方法建立在最近的想法,回避谱聚类的主要瓶颈,即,利用随机信号的快速Chebyshev图滤波计算图特征向量。我们表明,该算法实现聚类分配的质量近似的谱聚类,它可以产生显着的复杂性的好处时,图的动态是适当的有界。
2017-06-12 math.SP stat.ML
Two-way kernel matrix puncturing: towards resource-efficient PCA and spectral clustering
GIPSA-lab(格勒诺布尔阿尔卑斯大学物理与信息科学研究所);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院);University Grenoble-Alps(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);University Paris Saclay(巴黎萨克雷大学)
本文介绍了一种降低谱聚类和主成分分析的基本代价和存储量的方法。该方法包括通过伯努利掩码随机地“穿孔”数据矩阵$X\in\mathbb{C}^{p\times n}$(或$\mathbb{R}^{p\times n}$)及其对应的核(Gram)矩阵$K$:用于$X$的$S\in\{0,1\}^{p\times n}$和用于$K$的$B\in\{0,1\}^{n\times n}$。因此,所得到的“双向穿孔”内核由$K=\frac{1}{p}[(X \odot S)^{\sf H} (X \odot S)] \odot B$给出。我们证明,$X$组成的独立列从高斯混合模型,$n,p\to\infty$与$p/n\to c_0\in(0,\infty)$,$K$的频谱行为-其限制本征值分布,以及其孤立的本征值和本征向量-是完全易于处理的,并表现出一系列的反直观的现象。我们特别证明,并在GAN生成的图像数据库上经验性地证实,有可能大幅刺穿数据,从而提供可能巨大的计算和存储增益,以实现几乎恒定的(PCA聚类)性能。这项初步研究从大维度的角度重新思考了基本机器学习模型的计算和存储成本。
2021-05-17 cs.LG stat.ML
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University(小松大学);University of Electro-Communications(电气通信大学)
谱聚类(SC)是最流行的聚类方法之一,往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点:从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题,我开发了一个新的近似谱聚类使用的网络生成的神经气体(GNG),在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化,而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络,降低了计算复杂度和空间复杂度,提高了聚类质量。在这项研究中,我证明了ASC与GNG有效地减少了计算时间。此外,这项研究表明,ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
The geometry of kernelized spectral clustering
数据集的聚类是科学和工程的许多领域中的标准问题。谱聚类的方法是基于使用核函数嵌入数据集,并使用归一化拉普拉斯算子的顶部特征向量来恢复连通分量。我们研究了谱聚类在恢复i.i.d.的潜在标签的性能。样本来自非参数分布的有限混合。这个标签恢复问题的难度取决于混合成分之间的重叠,以及如何容易将混合成分分成两个不重叠的成分。当重叠是小的混合物成分的不可分割性相比,人口水平的归一化拉普拉斯算子的主特征空间近似由平方根核化的成分密度。在有限样本条件下,在相同的假设条件下,当样本量较大时,来自不同成分的嵌入样本以高概率近似正交。作为一个推论,我们控制的分数的样本错误标记的谱聚类下有限的混合物与非参数成分。
2015-04-07 math.ST stat.ML stat.TH
Community Detection by Principal Components Clustering Methods
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
在经典度修正随机块模型(DCSBM)的基础上,提出了两种新的网络社区发现方法:主成分聚类(PCC)和归一化主成分聚类(NPCC)。PCC方法不需要估计任何参数,实现简单。在温和的条件下,我们表明,PCC产生一致的社区检测。NPCC是基于PCC和RSC方法的组合而设计的(Qin & Rohe 2013)。NPCC的总体分析表明,NPCC返回理想情况下的DCSBM完美的聚类。PCC和NPCC通过合成和真实世界的数据集进行说明。数值结果表明,NPCC提供了显着的改善相比,PCC和RSC。此外,NPCC继承了PCC和RSC的优良特性,使得NPCC对待聚类的特征向量的数目和调谐参数的选择不敏感。在处理Simmons和Caltech两个弱信号网络时,通过多考虑一个特征向量进行聚类,分别给出了PCC和NPCC的两个精化PCC+和NPCC+。这两种改进算法与原算法相比,性能都有一定的提高。特别是,NPCC+在Simmons和Caltech上提供了令人满意的性能,错误率分别为121/1137和96/590。
2020-11-10 cs.LG cs.SI stat.ML