Fragility of spectral clustering for networks with an overlapping structure
社区通常在现实世界的网络中重叠。这是开发重叠社区发现方法的动机,因为用于非重叠社区的方法可能执行得不好。然而,用于非重叠社区的检测方法的劣化机制很少被理论研究。在这里,我们分析的准确性谱聚类,它不考虑重叠的结构,通过使用从统计物理学的副本方法。通过对重叠随机块模型的分析,揭示了重叠结构是如何导致前导特征向量的结构信息丢失的。
2020-10-25 cond-mat.stat-mech cs.SI physics.soc-ph
A Note on Spectral Clustering and SVD of Graph Data
Tsinghua University(清华大学)
谱聚类和奇异值分解(SVD)都是分析图形数据的常用方法.在本文中,我将使用简单的线性代数来展示它们之间的联系,旨在为未来的研究提供一些深入的理解。
2018-09-27 cs.LG cs.SI
Seating Assignment Using Constrained Signed Spectral Clustering
在本文中,我们提出了一种新的方法,限制集群大小签署谱聚类,使我们能够细分大群体的人的基础上,他们的关系。一般来说,有符号聚类只需要K个硬簇,并且不限制簇的大小。我们扩展了有符号聚类,包括集群大小的限制。使用座位分配的例子,我们有效地找到了具有高社会亲和力的人群,同时减轻了彼此不喜欢的人之间尴尬的社会互动。
2017-08-02 cs.DC cs.SI
Dual regularized Laplacian spectral clustering methods on community detection
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
谱聚类方法被广泛应用于社区检测网络中的簇检测,而图拉普拉斯矩阵的微小变化可以带来显着的改善。在本文中,我们提出了一个对偶正则图拉普拉斯矩阵,然后将其用于度校正随机块模型下的三个经典的谱聚类方法。如果社区的数量是已知的$K$,我们认为更多的$K$领导特征向量和权重,他们相应的特征值在谱聚类过程中,以提高性能。三种改进的谱聚类方法是对偶正则化谱聚类(DRSC)方法、对偶正则化特征向量比谱聚类(DRSCORE)方法和对偶正则化对称拉普拉斯逆矩阵(DRSLIM)方法。对DRSC和DRSLIM算法的理论分析表明,在较弱的条件下,DRSC和DRSLIM算法能够获得稳定一致的社区检测结果,而在理想情况下,DRSCORE算法能够获得理想的聚类结果.通过大量的仿真网络和8个真实网络,比较了DRSC、DRSCORE和DRSLIM与几种谱方法的性能。
2020-11-09 cs.LG cs.SI stat.ML
General Tensor Spectral Co-clustering for Higher-Order Data
谱聚类和联合聚类是数据分析中的众所周知的技术,最近的工作已经将谱聚类扩展到来自网络的平方、对称张量和超矩阵。我们开发了一种新的张量谱联合聚类方法,适用于任何非负张量的数据。应用我们的方法的结果是三模式张量的行,列和切片的同时聚类,并且该想法推广到任何数量的模式。我们设计的算法通过递归地将张量分成两部分来工作。我们还设计了一个新的措施,以了解张量中的每个集群的作用。我们的新算法和流水线证明在合成和现实世界的问题。在种植高阶集群结构的合成问题上,我们的方法是唯一一种在所有情况下都能可靠地识别种植结构的方法。在基于n元文本数据的张量上,我们识别停用词和语义独立集;在来自航空公司-机场多式联运网络的张量上,我们发现航空公司和机场的全球和区域合作集群;在来自电子邮件网络的张量上,我们识别日常垃圾邮件和集中主题集。
2016-03-01 cs.SI
Scalable Constrained Clustering: A Generalized Spectral Method
我们提出了一个原则性的谱方法研究约束聚类问题。它将聚类问题归结为拉普拉斯算子上的广义特征值问题。该方法工作在接近线性的时间,并提供了具体的保证质量的集群,至少在2路分区的情况下。在实践中,这转化为非常快的实现,始终优于现有的频谱方法。我们通过在各种数据集上的实验来支持这一说法:我们的方法在以前的方法失败的例子中恢复了正确的集群,并处理了数百万个数据点的数据集-比以前大了两个数量级。
2016-01-18 cs.SI
Spectral Clustering and Block Models: A Review And A New Algorithm
我们专注于未标记图的谱聚类,并回顾了聚类方法的一些结果,这些方法可以在这些模型生成的数据中实现弱或强一致性识别。我们还提出了一个新的算法,似乎执行最佳理论上使用渐近理论和经验。
2015-08-07 cs.SI math.ST stat.ML
Average Sensitivity of Spectral Clustering
University of Sheffield(谢菲尔德大学);National Institute of Informatics(国立信息学研究所)
谱聚类是一种最常用的聚类方法,在数据采掘中有着广泛的应用。然而,这些应用中的输入图可能由于测量误差、出于隐私原因的保留或数据转换中的任意性而具有许多缺失的边。为了基于谱聚类做出可靠和有效的决策,我们使用平均灵敏度的概念来评估谱聚类对输入图中边缘扰动的稳定性,平均灵敏度是我们随机删除边缘之前和之后输出聚类的对称差异的预期大小。我们首先证明了谱聚类的平均灵敏度与$λ_2/λ_3^2$成正比,其中$λ_i$是(归一化)拉普拉斯算子的$i$ -th最小特征值。我们还证明了一个类似的$k$方式的谱聚类,分区图成$k$集群的限制。然后,我们通过在合成网络和真实网络上进行实验,实证地证实了我们的理论界限。我们的研究结果表明,谱聚类是稳定的边缘扰动时,有一个集群结构的输入图。
2020-06-07 cs.DS cs.LG cs.SI
Accelerated Spectral Clustering Using Graph Filtering Of Random Signals
INRIA Rennes - Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所);Physics Laboratory, ENS Lyon, CNRS, University of Lyon(里昂高等师范学校物理实验室);Institute of Electrical Engineering, EPFL(洛桑联邦理工学院电气工程学院)
本文提出一种加速谱聚类算法,通过图滤波随机信号估计谱聚类距离矩阵,无需计算特征向量,从而在大规模数据集上实现更快的聚类性能。
2015-09-29 cs.NA cs.SI math.NA
Nonbacktracking spectral clustering of nonuniform hypergraphs
Middlebury College(明德学院);Grinnell College(格林内尔学院);Harvey Mudd College(哈维·穆德学院)
谱方法通过图矩阵上的特征向量计算为图中的聚类提供了一个易于处理的全局框架。超图数据中,实体在任意大小的边缘上交互,对矩阵表示和谱聚类提出了挑战。研究了基于超图非回溯算子的非均匀超图谱聚类问题。在回顾了这个算子的定义及其基本性质之后,我们证明了Ihara-Bass型定理,该定理允许在较小的矩阵上进行本征对计算,通常可以实现更快的计算。然后,我们提出了一个交替的算法,在超图随机块模型通过线性化的信念传播,其中涉及的谱聚类步骤再次使用nonbacktracking运营商的推理。我们提供的证据,该算法的形式化和扩展以前的几个结果。我们提出了几个aptures的限制谱方法和检测在超图随机块模型一般,支持这些与预期分析的eigeinpairs我们研究的运营商。我们在真实数据和合成数据中进行实验,证明了超图方法在不同大小的交互携带不同的聚类结构信息时优于基于图的方法。
2022-09-03 cs.LG cs.SI math.PR
Hypergraphs with Edge-Dependent Vertex Weights: p-Laplacians and Spectral Clustering
Rice University(莱斯大学)
我们研究了最近提出的超图模型,采用边依赖顶点权重(EDVW)的p-拉普拉斯算子和谱聚类。这些权值可以反映超边内顶点的不同重要性,从而赋予超图模型更高的表达能力和灵活性。通过构造基于次模EDVW的分裂函数,将具有EDVW的超图转化为谱理论得到较好发展的次模超图。这样,已有的概念和定理,如p-Laplacian和Cheeger不等式下提出的子模超图设置可以直接扩展到超图EDVW。对于具有EDVW分裂函数的子模超图,我们提出了一个计算超图1-Laplacian次小特征值的特征向量的有效算法。然后,我们利用这个特征向量聚类的顶点,实现更高的聚类精度比传统的基于2-拉普拉斯谱聚类。更广泛地说,所提出的算法适用于所有的子模超图,图可约。使用真实世界的数据进行的数值实验表明,基于1-Laplacian和EDVW相结合的谱聚类的有效性。
2023-02-16 cs.LG cs.SI
Higher-Order Spectral Clustering for Geometric Graphs
Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安蒂波利斯分部)
本文主要研究几何图的聚类问题。虽然标准的谱聚类往往是无效的几何图形,我们提出了一个有效的推广,我们称之为高阶谱聚类。它在概念上类似于经典的谱聚类方法,但用于划分与高阶特征值相关联的特征向量。我们建立了一个广泛的一类几何图,我们称之为软几何块模型的算法的弱一致性。算法的小调整提供了强一致性。我们还表明,我们的方法是有效的数值实验,即使是适度的大小的图形。
2021-03-15 cs.LG cs.SI math.PR
Spectral clustering via adaptive layer aggregation for multi-layer networks
Columbia University(哥伦比亚大学);Michigan State University(密歇根州立大学);New York University(纽约大学)
网络分析中的一个基本问题是发现多层网络中的社团结构,其中每一层代表节点之间的一种边信息。我们提出了基于有效凸层聚合的综合谱聚类方法。我们的聚合方法的强烈动机是一个微妙的渐近分析的频谱嵌入加权邻接矩阵和下游$k$ -手段聚类,在一个具有挑战性的制度,社区检测一致性是不可能的。事实上,该方法被示出来估计最优凸聚集,该最优凸聚集在一些专门的多层网络模型下使误聚类误差最小化。我们的分析进一步表明,使用高斯混合模型的聚类一般优于常用的$k$ -均值谱聚类。大量的数值研究表明,我们的自适应聚合技术,再加上高斯混合模型聚类,使新的谱聚类显着的竞争力相比,几个常用的方法。
2022-10-06 cs.LG cs.SI math.ST
Randomized Spectral Clustering in Large-Scale Stochastic Block Models
Center for Modern Statistics, School of Mathematics, Northwest University(西北大学数学学院现代统计中心)
谱聚类是网络中社区发现的常用方法之一。然而,大规模网络的特征值分解带来了计算上的挑战。在本文中,我们研究了谱聚类使用随机素描算法从统计的角度来看,我们通常假设网络数据是从随机块模型,不一定是满秩的。为此,我们首先使用最近开发的草图算法,得到两个随机谱聚类算法,即基于随机投影和基于随机采样的谱聚类。然后,我们研究了所得到的算法在人口邻接矩阵的近似误差,误分类误差,和链路概率矩阵的估计误差的理论界。结果表明,在较弱的条件下,随机谱聚类算法与原始谱聚类算法的理论界相同。我们还将结果扩展到度校正的随机块模型。数值实验支持我们的理论研究结果,并显示随机方法的效率。开发了一个新的R软件包,称为Rounds,并向公众提供。
2022-01-06 cs.LG cs.SI stat.ME
An Improved and Generalised Analysis for Spectral Clustering
Department of Mathematical Sciences(数学科学系);University of Bath(巴斯大学)
本文提出了一种改进的谱聚类分析方法,适用于不同尺度的聚类层次结构,能够处理有向图的厄米特表示,并在合成和实际数据集上验证了其有效性。
2025-11-28 cs.LG cs.SI
Multilayer Spectral Graph Clustering via Convex Layer Aggregation: Theory and Algorithms
多层图通常用于表示实体之间的不同关系并处理异构数据处理任务。需要非标准的多层图聚类方法来将聚类分配给公共多层节点集并组合来自每个层的信息。本文提出了一种多层谱图聚类(SGC)框架,执行凸层聚合。在多层信号加噪声模型下,给出了聚类可靠性的相变分析。此外,我们使用的相变准则,提出了一个多层迭代模型顺序选择算法(MIMOSA)的多层SGC,该算法具有自动聚类分配和层权重自适应,并提供统计聚类可靠性保证。对合成多层图的数值模拟验证了相变分析,对真实多层图的实验表明MIMOSA具有竞争力或优于其他聚类方法。
2017-08-08 cs.SI stat.ML
Perfect Spectral Clustering with Discrete Covariates
Pennsylvania State University(宾夕法尼亚州立大学)
在社区检测方法中,谱聚类具有两个理想的性质:计算效率和理论上的一致性保证。大多数谱聚类的研究只考虑网络的边缘作为算法的输入。在这里,我们考虑的问题进行社区检测存在的离散节点协变量,其中网络结构是由一个潜在的块模型结构和同质性的组合所观察到的协变量。我们提出了一个谱算法,我们证明实现了完美的聚类具有高概率的一类大型,稀疏的网络与离散的协变量,有效地分离潜在的网络结构同质性观察到的协变量。据我们所知,我们的方法是第一个提供了一个保证一致的潜在结构恢复使用谱聚类的边缘形成是依赖于潜在的和观察到的因素。
2022-05-17 cs.LG cs.SI math.ST
AMOS: An Automated Model Order Selection Algorithm for Spectral Graph Clustering
University of Michigan(密歇根大学)
谱图聚类(SGC)中的一个长期存在的问题是所谓的模型阶数选择问题:自动选择正确数量的聚类。这相当于在无向图中找到连通组件或社区的数量的问题。在本文中,我们提出了AMOS,自动模型阶选择算法的SGC。基于最近对随机互连模型下的SGC聚类可靠性的分析,AMOS通过逐步增加聚类的数量,估计所识别的聚类的质量,并提供一系列聚类可靠性测试来工作。因此,AMOS输出具有统计聚类可靠性保证的最小模型阶数的聚类。与其他三种真实数据集上的自动图聚类方法相比,AMOS在多个外部和内部聚类指标方面表现出优越的性能。
2016-09-21 cs.LG cs.SI stat.ML
Analysis of spectral clustering algorithms for community detection: the general bipartite setting
我们认为谱聚类算法的社区检测下一般的二分随机块模型(SBM)。现代谱聚类算法由三个步骤组成:(1)适当的邻接矩阵或拉普拉斯矩阵的正则化(2)谱截断的形式和(3)减少谱域中的k-means型算法。我们专注于基于邻接的谱聚类,并为第一步,提出了一种新的数据驱动的正则化,即使对于稀疏网络,也可以恢复邻接矩阵的浓度。这个结果是基于最近的随机二进制矩阵的正则化工作,但避免使用未知的人口水平参数,而是从数据中估计必要的数量。我们还提出并研究了一种新的变化的频谱截断步骤,并显示这种变化如何改变的性质的误分类率在一般的SBM。然后,我们将展示如何将一致性结果扩展到SBM之外的模型,例如具有近似聚类的非均匀随机图模型,包括图子聚类问题,以及一般的亚高斯双聚类。本文的一个主题是提供一个更好的理解分析的谱方法社区检测和建立一致性的结果,在相当一般的聚类模型和广泛的制度的程度增长,包括稀疏的情况下,平均预期的程度增长任意缓慢。
2018-12-22 cs.SI math.ST stat.ML
Randomized spectral co-clustering for large-scale directed networks
Northwest University(西北大学);Carnegie Mellon University(卡内基梅隆大学)
有向网络广泛用于表示单元之间的非对称关系。联合聚类的目标是同时对有向网络的接收者和接收者进行聚类。特别地,著名的谱聚类算法可以被修改为谱共聚类到共聚类有向网络。然而,大规模网络对它提出了巨大的计算挑战,本文利用草图技术,推导了两种随机谱联合聚类算法,一种是\emph{random-projection-based},另一种是\emph{random-sampling-based},用于加速大规模有向网络的联合聚类.我们从理论上分析了两个生成模型下的算法-随机co-block模型和度校正随机co-block模型,并建立其近似错误率和误聚类错误率,表明更好的界限比国家的最先进的结果的共同聚类文献。在数值上,我们设计并进行模拟来支持我们的理论结果,并在具有数百万节点的真实网络上测试算法的效率。一个公开可用的R包\textsf{RandClust}的开发更好的可用性和重现性所提出的方法。
2022-04-09 cs.LG cs.SI stat.ME
Submodular Hypergraphs: p-Laplacians, Cheeger Inequalities and Spectral Clustering
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍了子模超图,一个家庭的超图,有不同的子模的权重与不同的削减超边。子模超图出现在聚类应用中,其中高阶结构携带相关信息。对于这样的超图,我们定义了p-Laplacian的概念,并得到相应的节点域定理和k-way Cheeger不等式。我们的结论与描述的算法计算的频谱的1-和2-拉普拉斯构成新的谱超图聚类方法的基础。
2018-10-11 cs.DM cs.DS cs.LG
Spectral Clustering for Directed Graphs via Likelihood Estimation on Stochastic Block Models
University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对有向图聚类问题,基于有向随机块模型的最大似然估计推导全局目标函数,并提出一种自适应谱聚类方法,在合成与真实数据上显著优于现有基线。
2025-06-03 cs.LG cs.SI math.ST
Co-clustering Vertices and Hyperedges via Spectral Hypergraph Partitioning
Rice University(莱斯大学)
提出了一种新的边依赖顶点权重超图顶点和超边的共聚类方法。在该超图模型中,每个顶点对其每个关联超边的贡献通过边依赖权重来表示,赋予模型比经典超图更高的表达能力。在我们的方法中,我们利用随机游走与EDVW构建一个超图拉普拉斯算子,并使用其频谱特性嵌入顶点和超边在一个共同的空间。然后,我们聚类这些嵌入,以获得我们提出的共同聚类方法,在应用程序中需要同时聚类的数据实体和功能,特别相关。使用真实世界的数据的数值实验表明,我们所提出的方法相比,国家的最先进的替代品的有效性。
2021-02-19 cs.DS cs.LG cs.SI
Fundamental Limits of Spectral Clustering in Stochastic Block Models
针对稀疏随机块模型中谱聚类理论不清的问题,本文提出截断 $\ell_2$ 扰动与特征向量截断分析,证明其错误率指数小,并以首项常数一致的匹配上下界刻画基本极限。
2024-05-09 cs.SI math.SP math.ST
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
本文研究随机块模型下社区检测的边差分隐私谱聚类方法,提出隐私算法并刻画隐私预算与恢复准确性之间的权衡,同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG