Hierarchical Overlapping Clustering of Network Data Using Cut Metrics
一种从网络数据中获得分层和重叠聚类的新方法-即,给出了一组具有成对相异性的节点。所介绍的方法是分层的,在这个意义上说,它输出一个嵌套的集合的节点集的分组取决于所需的分辨率或相似度,它是重叠的,因为它允许节点属于一个以上的组。我们的构造植根于这样的事实:网络的分层(非重叠)集群可以等效地由有限超度量空间表示,并且超度量的凸组合会导致切割度量。通过应用分层(非重叠)聚类方法到给定网络的多个抖动版本,然后凸组合得到的超度量,我们得到一个切割度量相关的网络的兴趣。然后,我们将展示如何从上述切割度量中提取分层重叠聚类结构。此外,所谓的重叠功能作为一种工具,通过识别所获得的层次结构的有意义的决议,获得有关数据的见解。此外,我们探索层次重叠准聚类方法,保持在有向网络中包含的数据的不对称性。最后,通过手写体数字分类和著名戏剧的作者归属等综合和真实世界的分类问题来说明所提出的方法。
2017-12-12 cs.IT cs.SI math.IT
Consistency of regularized spectral clustering in degree-corrected mixed membership model
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
网络分析中的社区发现是近年来的一个研究热点。在度校正混合隶属度(DCMM)模型下,提出了一种基于正则化拉普拉斯矩阵的混合正则化谱聚类(Mixed-RSC)方法.基于种群正则化Laplacian矩阵的特征分解的变体的理想锥结构,设计了混合RSC。我们证明了该算法是渐近一致的温和条件下,通过提供每个节点的推断成员向量的误差界。作为我们界限的副产品,我们提供了正则化参数τ的理论最佳选择。为了证明我们的方法的性能,我们将其与以前的基准方法一起应用于模拟和真实网络。据我们所知,这是第一个工作,设计的混合隶属度社区发现问题DCMM模型下的谱聚类算法的基础上应用正则化拉普拉斯矩阵。
2021-08-27 cs.LG cs.SI stat.ML
A Pragmatic Method for Comparing Clusterings with Overlaps and Outliers
Department of Mathematics, Toronto Metropolitan University(多伦多 Metropolitan 大学数学系);Tutte Institute for Mathematics and Computing(图图数学与计算研究所)
本文提出一种实用的相似性度量方法,用于比较包含重叠和异常值的聚类,证明其具有 desirable 属性,并通过实验验证其不受其他聚类比较度量的常见偏差影响。
2026-03-20 cs.LG cs.SI math.CO
Evaluating Overlapping Communities with the Conductance of their Boundary Nodes
通常,网络中社区的边界是在节点之间画出的,因此穿过了它的输出链路。如果我们通过应用链接聚类方法构建重叠社区,节点和链接交换它们的角色。因此,必须通过两个或多个社区共享的节点来划分边界。为了社区评估的目的,我们定义了一个电导的边界节点的重叠社区类似的图形电导的边界交叉链接用于划分一个图形到不相交的社区。我们证明了边界节点的电导(或归一化节点切割)可以从Evans和Lambiotte(2009)引入的网络加权线图中不相交簇的普通图电导推导出来,以获得原始网络中节点的重叠社区。我们测试我们的定义是否可以用来构建有意义的重叠社区与本地贪心算法的链接聚类。在本说明中,我们提出了令人鼓舞的结果,我们获得了扎卡里的空手道俱乐部网络。
2013-10-13 cs.SI physics.soc-ph
Addressing overlapping communities in multiple-source detection: An edge clustering approach for complex networks
本研究提出将边聚类算法集成到基于社区的标签传播框架中解决多源检测(MSD)问题,通过自动潜在空间边聚类模型划分感染网络,在ADD HEALTH数据集上以F1-Measure评估实现了优于现有算法的准确率,有效应对了重叠社区场景。
2025-07-11 cs.SI stat.CO
Hierarchical Single-Linkage Clustering for Community Detection with Overlaps and Outliers
Toronto Metropolitan University(多伦多都会大学)
本研究将HDBSCAN的层次单链接聚类算法应用于多种节点/边相似性评分,探究可检测含离群点社区的方法,实验证实该范式是图聚类的可行方向。
2025-09-02 cs.SI
AOC; Assembling Overlapping Communities
通过发现中尺度结构,社区发现方法有助于理解复杂网络。然而,许多社区发现方法依赖于不相交的聚类技术,其中节点成员资格仅限于一个社区或集群。这种严格的要求限制了包容性地描述社区的能力,因为一些节点可能被合理地分配给许多社区。我们之前已经报道过迭代K核心聚类(IKC),这是一个可扩展的模块化管道,可以从科学文献中发现不相交的研究社区。我们现在提出组装重叠集群(AOC),这是一种用于重叠社区的补充元方法,可以解决不相交的集群问题。我们提出了在超过1300万个节点的网络上使用AOC的研究结果,该网络捕获了生物学中细胞外囊泡非常快速增长领域的最新研究。
2022-10-04 cs.SI
Measuring the Clustering Strength of a Network via the Normalized Clustering Coefficient
在本文中,我们提出了一种新的统计网络,归一化聚类系数,这是一个修改版本的聚类系数,是强大的网络规模,网络密度和程度的异质性在不同的网络生成模型。特别地,在度校正块模型(DCBM)下,可以从归一化的聚类系数推断出“进出比”。在三种流行的网络生成模型下研究了该指标的渐近性质。归一化聚类系数还可用于网络聚类、网络抽样和动态网络分析。仿真和实际数据分析进行了演示这些应用程序。
2019-08-01 cs.SI physics.soc-ph stat.AP
Random Overlapping Communities: Approximating Motif Densities of Large Graphs
各种各样的复杂网络(社会,生物,信息等)表现出局部聚类,聚类系数(相邻节点被连接的概率)有很大变化。现有的大型图模型捕获幂律度分布(Barabási-Albert)和小世界属性(Watts-Strogatz),但只有有限的聚类行为。我们介绍了一个推广的经典Erdens-Rényi模型的随机图,可证明实现了广泛的所需的聚类系数,三角形的边缘和四个循环的边缘比率为任何给定的图的大小和边缘密度。在随机重叠社区模型中,不是随机地独立选择边,而是通过选择一组随机的、相对密集的子图("社区")来生成图。我们讨论了模型的解释能力及其一些后果。
2017-09-27 cs.DM cs.SI math.CO
Sender--Receiver Community Detection in Directed Networks via Node-Role-Constrained Edge Clustering
Institute of Mathematics, Vietnam Academy of Science and Technology(越南科学技术院数学研究所)
提出TT-SR框架,为每个节点分配发送者和接收者角色,通过双层次规则优化角色分配,在保持可解释性的同时提升有向边社区恢复性能。
2026-06-17 cs.SI
Convexified Modularity Maximization for Degree-corrected Stochastic Block Models
Cornell University(康奈尔大学);University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学)
随机块模型(SBM)是研究网络社区发现的一个流行框架。该模型的限制是假设同一社区中的所有节点在统计上是等价的,并且具有相同的期望度。度修正随机块模型(DCSBM)是SBM的自然扩张,它考虑了群落内的度异质性。本文提出了一种凸化的模块最大化方法来估计DCSBM下的隐藏社区。我们的方法是基于经典的(广义)模块化最大化制定的凸规划松弛,其次是一个新的双加权$ \ell_1 $ -规范$ k $ -中位数程序。我们建立了非渐近的理论保证近似聚类和完美的聚类。我们的近似聚类结果是不敏感的最低程度,甚至在稀疏制度与有界的平均度。在SBM的特殊情况下,这些理论结果与计算上可行的算法的最佳性能保证相匹配。数值上,我们提供了一个有效的实现我们的算法,这是适用于合成和现实世界的网络。实验结果表明,我们的方法具有竞争力的性能相比,在文献中的最先进的。
2016-01-19 cs.LG cs.SI math.ST
Network clustering and community detection using modulus of families of loops
我们研究的结构,在网络中的循环使用的概念,模的循环家庭。我们引入了一个新的网络聚类措施,通过量化(简单)循环的家庭的丰富性。Modulus试图通过最佳地扩展预期的链路使用来最小化环路之间的预期重叠。我们提出加权网络使用这些预期的链接使用,以改善经典的社区发现算法。我们表明,所提出的方法提高了某些算法的性能,如频谱划分和模块化最大化算法,在标准的基准测试。
2016-12-26 cs.SI physics.soc-ph
Correlation Clustering with Overlap: a Heuristic Graph Editing Approach
针对簇编辑模型中“紧密相关需直接相邻”和“数据元素无法多簇归属”的问题,提出通过小直径子图转化和顶点克隆解决重叠相关聚类,并给出有效启发式方法及实验验证。
2024-11-23 cs.SI
Degree-corrected distribution-free model for community detection in weighted networks
针对加权社交网络,提出融合节点度异质性的度校正无分布社区检测模型,配套谱聚类算法、一致性理论与广义模块度,实验证明其显著优于未校正方法。
2024-04-05 cs.SI physics.data-an physics.soc-ph
Detecting hierarchical and overlapping network communities using locally optimal modularity changes
凝聚聚类是一种确定网络社区的成熟策略。社区逐渐合并为更大的社区,使行为者网络粗化为更易于管理的社区网络。合并发生的顺序一般不清楚,因此需要选择要合并的社区对。我们描述了一个层次聚类算法的基础上的局部最优属性。对于网络中的每个边缘,我们将模块化变化与其链接的社区合并相关联。对于每一个社区顶点,我们称之为首选的边缘的模块化变化是最大的。当一条边被它所链接的两个顶点所偏好时,从局部观点来看,它似乎是最佳选择。我们使用局部最优边缘来定义算法:同时合并由局部最优边缘连接的所有社区对,这将增加模块化,在每一步之后重新确定局部最优边缘,并继续只要模块化可以进一步增加。我们将该算法应用于模型和经验网络,证明它可以有效地产生高质量的社区解决方案。我们将性能和实现细节与由此产生的社区层次结构相关联。我们还考虑了一个互补的局部聚类算法,描述了如何识别重叠社区的局部最优条件的基础上。
2013-09-04 cond-mat.dis-nn cs.SI physics.soc-ph
Overlapping Community Detection via Local Spectral Clustering
大型图出现在许多背景下,理解它们的结构并从中提取信息是一个重要的研究领域。挖掘社区的早期算法专注于全局结构,并且通常根据整个图的大小随时间函数运行。如今,我们经常探索具有数十亿个顶点的网络,并发现数百个大小的社区,因此将我们的注意力从宏观结构转移到大型网络的微观结构至关重要。越来越多的工作采用了本地扩展方法,以便从一些模范种子成员中识别社区成员。在本文中,我们提出了一种新的方法来寻找重叠的社区称为LEMON(本地扩展通过最小一个范数)。该算法通过在局部谱的跨度中寻找稀疏向量来找到社区,使得种子在其支持下。我们表明,LEMON可以达到最高的检测精度之间的国家的最先进的建议。运行时间取决于社区的大小,而不是整个图的大小。该算法易于实现,具有高度的并行性。我们进一步提供了理论分析的局部谱特性,界定的措施,紧张的提取社区的特征值的图拉普拉斯。此外,由于网络的性质并不完全相同,因此仍然缺乏关于本地扩展方法如何适用于发现不同网络中的社区的全面分析。我们使用不同领域的合成数据集和真实数据集对我们的方法进行了全面评估,并分析了将我们的方法应用于实际中固有的不同网络时的经验变化。此外,还对结实质量和数量对产量的影响进行了分析。
2015-09-26 cs.DS cs.SI physics.soc-ph
Identifying robust communities and multi-community nodes by combining top-down and bottom-up approaches to clustering
生物功能是由相互作用的分子,细胞或组织,称为社区。当生物成分参与多种功能时,这些社区的成员可能会重叠。然而,传统的聚类方法检测非重叠社区。这些检测到的群落也可能不稳定,难以复制,因为传统方法对噪声和参数设置很敏感。传统聚类方法的这些方面限制了我们检测生物群落的能力,从而限制了我们理解生物功能的能力。为了解决这些局限性和检测强大的重叠生物群落,我们提出了一种非正统的聚类方法SpeakEasy,它同时使用自上而下和自自底向上的【形】的方法来识别社区。具体而言,节点根据其本地连接以及关于网络结构的全局信息加入社区。该方法可以量化每个社区的稳定性,自动识别社区的数量,并快速聚类具有数十万个节点的网络。SpeakEasy在合成聚类基准测试中表现出色,并在一系列数据集中准确识别有意义的生物群落,包括:基因微阵列,蛋白质相互作用,分选细胞群,电生理学和fMRI脑成像。
2015-02-26 cs.CE cs.SI physics.bio-ph
An improved spectral clustering method for mixed membership community detection
社区发现近年来得到了很好的研究,但更现实的情况下,混合成员社区发现仍然是一个挑战。在这里,我们开发了一个有效的频谱算法Mixed-ISC的基础上,应用超过K个特征向量聚类给定K个社区,估计社区成员的度校正的混合成员(DCMM)模型。我们证明了该算法是渐近相容的。模拟网络和许多经验网络的数值实验表明,混合ISC表现良好的混合成员社区发现的基准方法相比。特别是,混合ISC在弱信号网络上提供了令人满意的性能。
2020-12-11 cs.SI
DAOC: Stable Clustering of Large Networks
University of Fribourg(弗里堡大学)
聚类是许多涉及分析和探索各种数据的数据采掘系统的重要组成部分。数据多样性要求聚类算法在提供稳定(即,确定性和鲁棒性)的结果。此外,现代系统通常使用大型数据集进行操作,这隐含地限制了聚类算法的复杂性。然而,现有的聚类技术只是部分稳定的,因为它们保证了确定性或鲁棒性。为了解决这个问题,我们介绍了DAOC,一个确定性和凝聚重叠聚类算法。DAOC利用一种称为重叠分解的新技术,以确定性的方式识别细粒度的集群,捕获多个最优值。此外,它利用一种新的共识方法,相互最大增益,以确保鲁棒性,并进一步提高结果的稳定性,同时仍然能够识别微尺度集群。我们在合成网络和真实网络上的经验结果表明,DAOC产生稳定的集群,同时平均比最先进的确定性算法准确25%,而不需要任何调整。我们的方法的目标是大大简化和加快数据分析任务,包括迭代处理(需要确定性)以及数据波动(需要鲁棒性),并提供准确和可重复的结果。
2019-12-17 cs.DS cs.LG cs.SI
Resampled Mutual Information for Clustering and Community Detection
Harvard University(哈佛大学)
该研究提出重采样互信息(ResMI)这一聚类相似性度量,结合信息论与成对计数方法,满足常数基线性质且无需调整项,在合成数据集上对高聚类数等场景的偏差鲁棒,还能识别真实接触网络的社区结构。
2024-11-21 cs.LG cs.SI
Overlapping community detection in networks via sparse spectral decomposition
University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们考虑的问题,估计重叠的社区成员在网络中,每个节点可以属于多个社区。每个节点的社区数量超过几个是很难估计和解释的,所以我们专注于稀疏节点成员向量。我们的算法是基于稀疏主子空间估计与迭代阈值。该方法计算效率高,计算成本相当于估计的邻接矩阵的领导特征向量,不需要额外的聚类步骤,不像谱聚类方法。我们表明,一个不动点的算法对应于正确的节点成员下的随机块模型的一个版本。该方法在模拟和真实网络上进行了经验评估,显示出良好的统计性能和计算效率。
2021-02-15 cs.LG cs.SI stat.CO
Multi-layer Trajectory Clustering: A Network Algorithm for Disease Subtyping
许多疾病在临床特征及其进展方面表现出异质性,表明存在疾病亚型。提取亚型的疾病变量进展模式在医学中具有巨大的应用,例如,在早期预后和个性化医学治疗中。本文提出了一种基于数据驱动、网络化的轨迹聚类(TC)算法,用于基于疾病轨迹识别帕金森病亚型。将患者变量相互作用建模为二分网络,TC首先提取不同进展阶段的共表达疾病变量的社区。然后,它通过多层网络聚类以疾病变量的严重程度为特征的相似患者轨迹来识别帕金森病亚型。轨迹相似性的确定考虑了轨迹之间的直接重叠以及二阶相似性,即,与第三组轨迹共同重叠。这项工作在两种类型的层上聚类轨迹:(a)时间,和(b)独立结果变量(代表疾病严重程度)的范围,两者都产生四种不同的亚型。前一种亚型在疾病领域(认知、心理健康等)的进展方面表现出差异,而后者亚型表现出不同程度的进展,即,有些仍然较轻,而另一些则在5年后显示出显着恶化。TC方法通过统计分析和确定的亚型与医学文献的一致性进行验证。这种可推广且鲁棒的方法可以很容易地扩展到其他进行性多变量疾病数据集,并且可以有效地辅助个性化医疗领域的靶向亚型特异性治疗。
2020-08-03 cs.SI physics.soc-ph q-bio.QM
Dual regularized Laplacian spectral clustering methods on community detection
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
谱聚类方法被广泛应用于社区检测网络中的簇检测,而图拉普拉斯矩阵的微小变化可以带来显着的改善。在本文中,我们提出了一个对偶正则图拉普拉斯矩阵,然后将其用于度校正随机块模型下的三个经典的谱聚类方法。如果社区的数量是已知的$K$,我们认为更多的$K$领导特征向量和权重,他们相应的特征值在谱聚类过程中,以提高性能。三种改进的谱聚类方法是对偶正则化谱聚类(DRSC)方法、对偶正则化特征向量比谱聚类(DRSCORE)方法和对偶正则化对称拉普拉斯逆矩阵(DRSLIM)方法。对DRSC和DRSLIM算法的理论分析表明,在较弱的条件下,DRSC和DRSLIM算法能够获得稳定一致的社区检测结果,而在理想情况下,DRSCORE算法能够获得理想的聚类结果.通过大量的仿真网络和8个真实网络,比较了DRSC、DRSCORE和DRSLIM与几种谱方法的性能。
2020-11-09 cs.LG cs.SI stat.ML
Spectral Clustering for Multiple Sparse Networks: I
虽然网络统计工作的重点一直是静态网络,但多个网络目前在网络数据集中变得越来越普遍。通常,多个网络数据集彼此之间共享某种形式的连接,称为多层或多层网络。我们考虑的问题,确定多个网络的共同社区结构。我们考虑扩展的谱聚类方法的多个稀疏网络,并给出理论保证,谱聚类方法产生一致的社区检测的情况下,多个随机块模型和多个度校正块模型。所示的方法工作在足够温和的条件下的多个网络的数量来检测关联的社区结构,即使所有的个人网络是稀疏的,大多数的个人网络低于社区检测阈值。我们也通过模拟加强了理论结果的有效性。
2018-05-27 cs.SI math.ST stat.ME
Randomized spectral co-clustering for large-scale directed networks
Northwest University(西北大学);Carnegie Mellon University(卡内基梅隆大学)
有向网络广泛用于表示单元之间的非对称关系。联合聚类的目标是同时对有向网络的接收者和接收者进行聚类。特别地,著名的谱聚类算法可以被修改为谱共聚类到共聚类有向网络。然而,大规模网络对它提出了巨大的计算挑战,本文利用草图技术,推导了两种随机谱联合聚类算法,一种是\emph{random-projection-based},另一种是\emph{random-sampling-based},用于加速大规模有向网络的联合聚类.我们从理论上分析了两个生成模型下的算法-随机co-block模型和度校正随机co-block模型,并建立其近似错误率和误聚类错误率,表明更好的界限比国家的最先进的结果的共同聚类文献。在数值上,我们设计并进行模拟来支持我们的理论结果,并在具有数百万节点的真实网络上测试算法的效率。一个公开可用的R包\textsf{RandClust}的开发更好的可用性和重现性所提出的方法。
2022-04-09 cs.LG cs.SI stat.ME
Randomized Spectral Clustering in Large-Scale Stochastic Block Models
Center for Modern Statistics, School of Mathematics, Northwest University(西北大学数学学院现代统计中心)
谱聚类是网络中社区发现的常用方法之一。然而,大规模网络的特征值分解带来了计算上的挑战。在本文中,我们研究了谱聚类使用随机素描算法从统计的角度来看,我们通常假设网络数据是从随机块模型,不一定是满秩的。为此,我们首先使用最近开发的草图算法,得到两个随机谱聚类算法,即基于随机投影和基于随机采样的谱聚类。然后,我们研究了所得到的算法在人口邻接矩阵的近似误差,误分类误差,和链路概率矩阵的估计误差的理论界。结果表明,在较弱的条件下,随机谱聚类算法与原始谱聚类算法的理论界相同。我们还将结果扩展到度校正的随机块模型。数值实验支持我们的理论研究结果,并显示随机方法的效率。开发了一个新的R软件包,称为Rounds,并向公众提供。
2022-01-06 cs.LG cs.SI stat.ME
Modularity aided consistent attributed graph clustering via coarsening
Indian Institute of Technology, Delhi(印度理工学院德里分校)
针对图聚类难以准确捕捉社区结构、计算低效及难识别小社区的问题,提出整合粗化与模块度最大化方法,设计含对数行列式等分量的损失函数,理论与实验均证明其性能优于现有方法。
2024-11-17 cs.LG cs.SI stat.ML