Algorithmic detectability threshold of the stochastic block model
假设模型参数的值已知或正确学习,即,Nishimori条件是统计推断中随机块模型可检测性分析的必要条件之一。然而,在实践中,没有例子证明我们可以事先知道模型参数,也不能保证模型参数可以准确地学习。在这项研究中,我们考虑的期望-最大化(EM)算法与信念传播(BP),并推导出其算法的可检测性阈值。我们的分析不限于社区结构,但包括一般的模块化结构。由于该算法不能总是正确地学习种植模型参数,因此算法的可检测性阈值与Nishimori条件下的阈值有质的不同。
2018-03-07 cs.SI physics.soc-ph stat.ML
Reinventing the Triangles: Rule of Thumb for Assessing Detectability
网络聚类的统计意义一直是一个悬而未决的问题,因为它被观察到,社区发现算法产生误报,即使在随机图。在发现了不可检测和可检测的簇结构之间的相变之后,显示了邻接矩阵的谱与可检测性极限之间的联系,并且针对具有任意度分布和社区结构的广泛网络计算了两者。在实践中,并不知道整个本征谱,也不容易确定某个网络是否有任何社区处于可探测性范围内。基于全局聚类系数,我们构建了一个标准,告诉是否在一个无向的,未加权的网络有一些/没有可检测的社区结构,或者如果网络是在一个瞬态政权。该方法比涉及自举的方法简单且快速。
2015-11-03 cs.IR cs.SI physics.soc-ph
Detectability thresholds of general modular graphs
我们研究了随机块模型中各种模块结构的可检测性阈值。我们的分析揭示了可检测性阈值是如何与模块化模式的细节相关的,包括集群的层次结构。我们表明,某些种植结构是不可能推断,无论他们的未来。
2017-01-10 cs.SI physics.soc-ph
Multilayer Modularity Belief Propagation To Assess Detectability Of Community Structure
基于模块化的社区发现包括许多广泛使用的、有效的网络结构识别算法。最近,一种用于模块化优化的置信传播方法为识别单层网络中的非平凡结构提供了有用的指导,这是其他优化算法所没有的。在本文中,我们扩展模块化的信念传播多层网络。作为该开发的一部分,我们还直接引入了分辨率参数。我们表明,调整分辨率参数影响算法的收敛性能,并产生不同的社区结构比基线。我们比较我们的方法与广泛使用的社区发现工具,GenLouvain,在一系列的合成,多层基准网络,证明我们的方法执行的最先进的状态。最后,我们证明了我们的工具提供的额外信息的实际优势,通过两个现实世界的网络例子。我们展示了该算法的收敛特性如何可以用于选择适当的分辨率和耦合参数,以及节点级边缘如何为所确定的社区的附着强度提供解释。为了方便使用,我们将我们的工具作为Python包发布。
2020-07-03 cs.SI physics.data-an physics.soc-ph
Phase Transitions in Spectral Community Detection of Large Noisy Networks
研究了基于谱聚类的社区发现算法在Erdos-Renyi型随机噪声模型下的灵敏度问题。我们证明了在社区可检测性的相变作为外部边缘连接概率和噪声边缘存在概率的函数下的一般网络模型,其中两个任意连接的社区由随机外部边缘互连。具体地,当社区间边缘连接概率超过某个临界值时,社区发现性能从几乎完美的可检测性转变为低可检测性。我们推导出上界和下界的临界值,并表明,当两个社区具有相同的大小的界限是相同的。使用网络仿真验证了相变结果。使用推导出的相变阈值的表达式,我们提出了一种方法,从观测数据估计这个阈值。
2015-04-10 cs.SI physics.data-an physics.soc-ph
Detectability of minority communities in networks
Maastricht University(马斯特里赫特大学)
研究从理论角度探讨网络中少数群体社区的可检测性,通过随机块模型识别三个阶段:可检测、可区分和可解决,揭示了谱聚类在细粒度社区结构识别上的局限性。
2026-04-20 cs.SI
Detectability thresholds and optimal algorithms for community structure in dynamic networks
University of Colorado(科罗拉多大学);Santa Fe Institute(圣塔菲研究所);BioFrontiers Institute, University of Colorado(科罗拉多大学生物前沿研究所)
我们研究了在动态网络中学习潜在社区结构的基本限制。具体来说,我们研究动态随机块模型,节点随着时间的推移改变他们的社区成员,但在每个时间步独立生成的边缘。在这种情况下(这是一个特殊的情况下,现有的几个模型),我们能够准确地得出检测阈值,作为变化率和社区的强度的函数。低于这个阈值,我们声称没有算法可以比机会更好地识别社区。然后,我们给出了两个算法是最优的,在这个意义上,他们成功的所有方式下降到这个限制。第一个使用的信念传播(BP),它给出了渐近最佳的精度,第二个是一个快速的谱聚类算法,线性化的BP方程的基础上。我们通过数值模拟验证了我们的分析和算法结果,并结束了简短的讨论扩展和开放的问题。
2015-06-19 cond-mat.dis-nn cs.LG cs.SI
Message-Passing on Hypergraphs: Detectability, Phase Transitions and Higher-Order Information
该研究针对超图社区检测缺乏可检测性极限理论分析的问题,推导闭式界并提出高效消息传递算法与精确采样方法,揭示结构属性对检测的影响,拓展了相关理论认知并提供了研究高阶相互作用系统的工具。
2024-04-24 cs.IT cs.SI math.IT
Phase Transitions in Spectral Community Detection
本文研究两社区经随机外部边连接时的谱聚类检测问题,利用随机矩阵理论刻画连接概率临界值处的突变相变并推导其上下界。
2015-05-02 cs.SI physics.soc-ph
A paradox in community detection
最近的研究表明,几乎所有旨在识别网络中社区的算法都受到相同的主要限制的影响:如果内部和外部节点度之间的差异的平均值不超过严格的正值,则不可能检测到社区,即使这些社区是明确定义的,在文献中称为可检测性阈值。在这里,我们反直觉地表明,这个阈值的值是成反比的社区的内在质量:明确定义的模块的检测,因此比定义不明确的社区的识别更困难。
2014-05-06 cs.SI physics.soc-ph
Recognizing number of communities and detecting community structures in complex networks
本文讨论了复杂网络中社团数目的识别和社团结构的检测问题。块模型作为一种直观可行的算法,已成功应用于复杂网络社团结构的检测。为了衡量块模型的质量,我们首先定义一个目标函数WQ值。为了得到网络的块模型B,采用GSA算法,在随机密钥的帮助下优化WQ。在块模型B上执行过程AO(Adding Ones)和RO(Removing Ones)之后,可以清楚地识别网络的社区数量。此外,基于块模型节点排序与社团排序一致的优点,提出了一种新的模糊边界社团结构检测算法,并成功地应用于一些典型网络。最后通过实验验证了该算法的可行性。
2018-03-18 cs.SI physics.soc-ph
Regularized Stochastic Block Model for robust community detection in complex networks
随机块模型能够生成不同的网络分区,从传统的分离社区到分离结构。由于度校正随机块模型没有指定所需的混合模式,因此发现网络节点的最可能分区的推理算法很可能陷入对数似然的局部最优解。在这里,我们引入了一个新的模型约束节点的内部度比的目标函数,以稳定的块模型的推断从观察到的网络数据。给定正则化模型,推理算法,如马尔可夫链蒙特卡罗,可靠地找到由单个参数的值指示的连续或离散结构。实验结果表明,当网络中传统的排斥性社团结构不强时,度修正随机块模型的推理往往陷入局部最优解,而我们提出的模型的推理则能快速收敛到期望的排斥性或排斥性分区.
2019-03-28 cs.SI physics.soc-ph
Detectability of communities in heterogeneous networks
社区是刻画真实网络结构的基本实体。识别网络中社区的标准方法是基于被称为“模块性”的质量函数的优化。虽然模块化一直是一个激烈的研究活动的中心,并提出了许多方法,其最大化,它还没有太多的必要条件,社区需要满足,以检测与模块化最大化的方法。在这里,我们开发了一个简单的理论来建立这些条件,并成功地将其应用于各种网络模型。我们的主要结果是,在度分布的异质性有助于模块正确地恢复网络的社区结构,在现实的情况下,度指数$γ< 2.5$的无标度网络,模块总是能够检测社区的存在。
2013-07-04 cond-mat.stat-mech cs.SI physics.soc-ph
Community detection in networks with unequal groups
最近,在网络社区发现问题中发现了一个相变,在该相变下,没有算法能够比随机猜测更好地区分哪些节点属于哪些社区。然而,这个结果到目前为止仅限于社区具有相同大小或相同平均度的情况。在这里,我们考虑的情况下,大小或平均程度是不同的。这种不对称性使我们能够通过检查社区的局部邻域,将节点分配给比随机成功更好的社区。使用腔的方法,我们表明,这完全消除了可检测性过渡的网络与四组或更少,而超过四组的过渡持续到一个临界量的不对称性,但不超过。在后一种情况下,临界点与局部信息的扩散点重合,导致从较不准确的解到更准确的解的全局过渡。
2015-09-10 cs.SI physics.soc-ph
On the relationship between Gaussian stochastic blockmodels and label propagation algorithms
社区发现问题是近年来备受关注的问题。已经提出了许多方法来发现网络中的社区。在本文中,我们提出了一个高斯随机块模型,使用高斯分布来拟合非重叠社区发现网络中的边的权重。该模型的最大似然估计具有与一般的具有节点偏好的标签传播相同的目标函数。在最大似然估计下,特定顶点的节点偏好结果是与社区内特征向量中心度(该顶点社区内的子图的邻接矩阵的主特征向量中的对应条目)成比例的值。此外,我们的模型的约束版本的最大似然估计是高度相关的标签传播算法的另一个扩展,即,标签传播算法下的约束。实验结果表明,所提出的高斯随机块模型在各种基准网络上表现良好。
2015-01-27 cs.SI physics.soc-ph
Consistency of community structure in complex networks
网络中最广泛使用的社区发现技术,包括基于模块化、统计推断和信息论论证的方法,都是通过优化衡量网络分区质量的目标函数来工作的。然而,有一个很好的理由可以证明,在这样一个目标函数下,人们不应该只看单一的最佳社区结构,而应该选择得分高的结构。如果这样做,人们通常会发现所得的结构显示出相当大的变化,这已经被认为是这些社区发现方法不可靠的证据,因为它们似乎不能给出一致的答案。在这里,我们认为,经过仔细检查,发现的结构实际上是一致的,在某种程度上。具体来说,我们表明,他们都可以组装从一组底层的“积木”,组的网络节点,通常被发现在同一个社区。不同的群落结构对应于不同的区块排列,但区块本身在很大程度上是不变的。我们提出了一个信息理论的方法,发现在特定的网络中的构建块,并证明了它与几个示例应用程序。我们的结论是,传统的社区发现并不像有些人认为的那样失败,事实上,它对网络结构提供了大量的洞察力,尽管可能并不完全像以前想象的那样。
2019-08-26 cs.SI physics.soc-ph
Block-corrected Modularity for Community Detection
针对复杂网络中未知属性驱动的社区易被已知块结构掩盖的问题,提出块校正模块度,搭配谱方法和Louvain类微调算法优化,在合成和真实引用网络上均有效。
2025-08-01 cond-mat.stat-mech cs.SI physics.soc-ph
Bayesian Degree-Corrected Stochastic Blockmodels for Community Detection
网络中的社区发现在社会科学领域引起了广泛的关注。鉴于其重要性,已经有大量的文献从许多领域的方法。在这里,我们提出了一个统计框架,是有代表性的,可扩展的,并产生一个估计具有良好的性能。我们提出的方法认为,一个随机块模型的基础上,逻辑斯谛回归制定与节点校正项。我们遵循贝叶斯方法,通过事先规范明确捕获社区行为。我们进一步采用了一个数据增强策略与潜在的Polya-Gamma变量,以获得后验样本。我们进行推理的基础上的原则,规范映射的质心估计,正式解决标签不可识别性,并捕捉代表性的社区分配。我们证明了所提出的模型和估计在现实世界以及模拟的基准网络,并表明,所提出的模型和估计更灵活,代表性,并产生较小的错误率相比,MAP估计从经典的度校正随机块模型。
2014-12-17 cs.SI physics.soc-ph stat.ME
Stochastic blockmodels and community structure in networks
随机块模型已经被提出作为一种工具,用于检测网络中的社区结构,以及用于生成合成网络作为基准。然而,大多数块模型忽略了顶点度的变化,使得它们不适合应用于现实世界的网络,现实世界的网络通常显示广泛的度分布,这可能会显着扭曲结果。在这里,我们演示了如何将块模型的泛化纳入这个缺失的元素,从而改进复杂网络中社区检测的目标函数。我们还提出了一个启发式算法,社区检测使用这个目标函数或其非度校正对应,并表明度校正版本显着优于未校正的真实世界和合成网络。
2010-08-23 cond-mat.stat-mech cs.SI physics.data-an
Community Detection Algorithm Combining Stochastic Block Model and Attribute Data Clustering
Tohoku University(东北大学);Yamagata University(山形大学)
我们提出了一种新的算法来检测社区结构的网络,利用网络结构和顶点属性数据。假设我们有网络结构和顶点属性数据,即分配给每个顶点的信息与它所属的社区相关联。本文所解决的问题是从网络结构和顶点属性数据的信息中检测社区结构。我们的方法是基于贝叶斯方法,模型的后验概率分布的社区标签。在我们的方法中的社区结构的检测是通过使用信念传播和EM算法。我们使用计算机生成的网络和真实世界的网络数值验证了我们的方法的性能。
2016-07-21 cs.LG cs.SI physics.soc-ph
Consistency of community detection in networks under degree-corrected stochastic block models
社区检测是网络分析中的一个基本问题,在许多不同的领域有着广泛的应用。随机块模型是一种常用的基于模型的社区检测工具,最近开发了用于检查块模型下社区检测一致性的渐近工具。然而,块模型受到其假设的限制,即社区内的所有节点都是随机等价的,并且对社区内具有枢纽或高度变化的节点度的网络提供了较差的拟合,这在实践中很常见。度修正的随机块模型被提出来解决这个缺点,并允许社区内的节点度的变化,同时保持整体块社区结构。本文建立了度修正随机块模型下社区检测一致性检验的一般理论,并比较了标准模型和度修正模型下的几种社区检测准则。我们展示了哪些标准在哪些模型和约束条件下是一致的,并比较了它们在实践中的相对性能。我们发现,基于度校正块模型,其中包括标准块模型作为一个特殊情况下,方法是一致的,在更广泛的一类模型和模块化类型的方法需要参数约束的一致性,而基于可能性的方法不。另一方面,在实践中,度校正涉及估计更多的参数,根据经验,我们发现只有在社区内的节点度确实高度可变的情况下才值得这样做。我们说明了模拟网络和网络上的政治博客的方法。
2015-03-17 cs.SI math.ST physics.soc-ph
Disentangling group and link persistence in Dynamic Stochastic Block models
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学);Scuola Normale Superiore(比萨高等师范学校)
我们研究了一个动态网络模型的推理,其中社区和链接都保持以前的网络状态的记忆。通过考虑网络的单次快照观测的最大似然推断,我们表明,链接持久性使社区的推断更难,降低了可检测性阈值,而社区持久性往往使其更容易。我们分析表明,从单个网络快照推断出的社区可以共享一个最大的重叠与底层社区的一个特定的前一个时刻的时间。这就导致了时间滞后的推断:识别过去的社区而不是现在的社区。最后,我们计算的时间滞后,并提出了一个修正的算法,滞后快照动态(LSD)算法,在动态网络中的社区发现。我们分析和数值特征的可检测性转换的算法作为一个函数的记忆参数的模型,我们做了比较与一个完整的动态推理。
2018-12-19 cs.LG cs.SI physics.soc-ph
Improved Community Detection using Stochastic Block Models
针对SBM软件在真实与合成网络中生成连接不良或不连通簇的问题,提出简单修改方法提升其簇的连通性,并通过模拟网络验证修改后准确性得到改善。
2025-02-13 cs.SI
Community Detection in the Labelled Stochastic Block Model
University of Massachusetts(马萨诸塞大学);Technicolor(特艺集团);INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学院);INRIA-Microsoft Research Joint Centre(法国国家信息与自动化研究所-微软研究院联合中心)
我们考虑的问题,社区发现从观察到的个人之间的相互作用,在多种类型的相互作用是可能的。我们使用标记的随机块模型来表示观察到的数据,其中标签对应于相互作用类型。专注于两个社区的情况下,我们推测一个阈值的重建隐藏的社区的方式,是与真正的分区的问题。为了证实这一猜想,我们证明了给定的阈值正确地识别了从不敏感到敏感的信念传播行为的转变。我们进一步证明了相同的阈值对应于树模型上的相关推理问题从不可行到可行的过渡。最后,数值结果使用信念传播的社区发现进一步支持的猜想。
2012-09-13 cs.LG cs.SI math.PR
Community Detection in Bipartite Networks with Stochastic Blockmodels
University of Colorado(科罗拉多大学);BioFrontiers Institute(生物前沿研究所)
在二分网络中,社区结构被限制为区分性的,因为一种类型的节点根据与另一种类型的节点的共同连接模式进行分组。这使得随机块模型(SBM),一个高度灵活的生成模型的网络块结构,一个直观的选择二分社区检测。然而,SBM的典型公式不使用二分网络的特殊结构。在这里,我们介绍了贝叶斯非参数制定的SBM和相应的算法,以有效地找到社区的二分网络吝啬地选择社区的数量。当数据有噪声时,biSBM改进了一般SBM的社区检测结果,将模型分辨率限制提高了$\sqrt{2}$倍,并扩展了我们对与社区检测任务相关的复杂优化环境的理解。在biSBM和相关的高分辨率分层SBM的先验分布的某些条款的直接比较也揭示了一个违反直觉的制度的社区检测问题,由更小和更稀疏的网络,其中非分层模型优于其更灵活的对应。
2020-09-29 cs.LG cs.SI physics.soc-ph
Stochastic Block Models with Multiple Continuous Attributes
随机块模型(SBM)是一种描述网络社团结构的概率模型。通常,仅使用邻接矩阵来执行SBM参数推断。在本文中,我们考虑的情况下,节点有一个相关的向量的连续属性,也用于学习节点到社区的分配和相应的SBM参数。虽然这种假设对于每个应用程序都是不现实的,但我们的模型假设与网络社区中的节点相关联的属性可以由一个常见的多变量高斯模型来描述。在这个增强的,归因的SBM中,目标是同时学习SBM连接概率与描述每个社区的多变量高斯参数。虽然最近的例子在文献中,结合连接和属性信息通知社区发现,我们的模型是第一个增强的随机块模型来处理多个连续属性。这提供了生物数据的灵活性,例如,通过来自多个实验模态的连续测量来增强连接信息。由于缺乏标记的网络数据往往使社区发现的结果难以验证,我们强调我们的模型的有用性的两个网络预测任务:链接预测和协同过滤。作为拟合该属性随机块模型的结果,可以在信息的互补源(分别为连接性或属性)的情况下预测新节点的属性向量或连接性模式。我们还强调了两个生物的例子,其中属性随机块模型提供了令人满意的性能,在链接预测和协同过滤任务。
2018-03-07 cs.SI physics.soc-ph stat.ML
Clustering Network Layers With the Strata Multilayer Stochastic Block Model
多层网络是一种用于同时捕获一组节点之间的多种类型关系的有用数据结构。在这样的网络中,每一个关系定义都会产生一个层。虽然每一层都提供了自己的信息集,但跨层的社区结构可以共同用于发现和量化节点之间的底层关系模式。为了从多层网络中简洁地提取信息,我们建议识别和组合社区结构中具有有意义相似性的层集。本文描述了一种多层群落结构的概率模型--“地层多层随机块体模型”(sMLSBM)。该模型的中心扩展是存在层组,称为“层”,其被定义为使得给定层中的所有层具有由公共随机块模型(SBM)描述的社区结构。也就是说,层中的层表现出类似的节点到社区分配和SBM概率参数。将sMLSBM拟合到多层网络提供了产生节点到社区和层到层分配的联合聚类,其在推断期间相互协作地辅助。我们描述了一种算法,用于分离层到其适当的地层和推断技术,用于估计每个地层的SBM参数。我们使用合成网络和从人类微生物组项目收集的数据推断的多层网络来演示我们的方法。
2015-10-09 cs.SI physics.soc-ph stat.ML
Community Detection in Degree-Corrected Block Models
社区发现是网络数据分析的核心问题。给定一个网络,社区检测的目标是将网络节点划分为少量的集群,这通常有助于揭示有趣的结构。本文研究度校正块模型(DCBMs)中的社区发现问题。我们首先推导出在适当的条件下,错误分类比例损失问题的渐近极小极大风险。极大极小风险取决于度校正参数,社区规模,平均内和社区之间的连接在一个直观的和可解释的方式。此外,我们提出了一个多项式时间算法自适应执行一致的,甚至渐近最优的社区检测DCBM。
2016-07-24 cs.SI math.ST stat.ML
Community Recovery on Noisy Stochastic Block Models
针对几何噪声随机块模型的社区恢复问题,提出模体注意力谱算子MASO与迭代几何去噪算法GeoDe,二者融合性能优于现有方法,且用作去噪步骤可使置信传播在Amazon Metadata数据集上的社区恢复效果提升79.7%。
2025-05-20 cs.SI math.PR
Inference and Visualization of Community Structure in Attributed Hypergraphs Using Mixed-Membership Stochastic Block Models
Graduate School of Systems Design, Tokyo Metropolitan University(东京 Metropolitan 大学系统设计研究生院);Principles of Informatics Research Division, National Institute of Informatics(国家信息研究所信息原理研究部门)
本文提出HyperNEO框架,结合混合成员随机块模型与降维方法,在保留节点社区成员关系的前提下实现带属性超图社区结构的推断与可视化。
2025-05-04 cs.LG cs.SI
Algorithm independent bounds on community detection problems and associated transitions in stochastic block model graphs
我们推导出严格的界限,定义良好的社区结构在复杂网络的随机块模型(SBM)基准。特别是,我们分析了社区间的“噪音”(社区间的边缘)对任何“社区检测”算法的能力,正确地分配到一个种植分区,一个问题,已被证明是NP完全的标准再现组节点的影响。我们的结果不依赖于任何一个特定的算法的使用,也不依赖于推理的局限性的分析。相反,我们把它的头上的问题和工作向后检查时,在第一位,定义良好的结构可能存在于SBMs。我们在这里介绍的方法可以潜在地应用到其他计算问题。社区检测算法的目标是将给定的网络划分为最优不相交的子图(或社区)。类似于k-SAT和其他组合优化问题,“社区检测”表现出不同的阶段。处于“不可解阶段”的网络缺乏明确的结构,因此没有有意义的划分。可解系统分裂成两个完全不同的阶段:“困难”阶段和“容易”阶段。正如它的名字一样,在简单阶段,分区很容易通过已知的算法实现。当网络处于硬阶段时,它仍然具有底层结构,但要找到一个可以在多项式时间内检查的有意义的分区,需要进行详尽的计算工作,并且随着图的大小而迅速增加。当考虑在一起,(i)严格的结果,我们在这里报告的图形时,有一个基本的结构和(ii)最近的结果有关的限制,而一般的算法,建议硬相的界限。
2014-07-10 cond-mat.stat-mech cs.SI physics.soc-ph
Improved Community Detection using Stochastic Block Models
针对随机块模型(SBM)检测社区时产生内部不连通社区的问题,提出连接良好聚类(WCC)后处理技术,通过反复移除小边割提升社区连通性,在合成网络上验证可提高聚类精度且适用于百万级节点网络。
2025-02-13 cs.SI
Scratch Community Blocks: Supporting Children as Data Scientists
在本文中,我们提出了Scratch社区块,一个新的系统,使儿童能够以编程方式访问,分析和可视化数据,他们参与Scratch,一个在线社区学习计算机编程。在其核心,我们的方法涉及到谁分析数据的转变:从成人数据科学家到年轻的学习者自己。我们首先介绍系统的目标和设计,然后通过描述说明其功能的示例项目来演示它。接下来,我们通过一系列案例研究展示了该系统如何让孩子们不仅代表数据和用数据回答问题,而且还对自己的学习和参与进行自我反思。
2017-02-02 cs.CY cs.HC cs.SI
A spectral method for community detection in moderately-sparse degree-corrected stochastic block models
我们考虑度校正随机块模型(DC-SBM)中的社区检测。我们提出了一种基于适当规范的邻接矩阵的谱聚类算法。我们表明,该算法始终恢复块成员的所有,但消失的一部分节点,在政权的最低程度是为了日志$(n)$或更高。恢复成功,即使是非常异质度分布。所使用的算法不依赖于参数作为输入。特别是,它不需要知道社区的数量。
2017-02-07 cs.LG cs.SI math.PR
Phase Transitions of Diversity in Stochastic Block Model Dynamics
本文提出带优先连接的随机块模型,研究两社区增长动力学,推导确定性近似并刻画多样性相变,发现跨社区边概率低时少数群体可能消亡,即使跨社区合作价值更高。
2024-01-12 cs.GT cs.SI physics.soc-ph
Community Detection in the Stochastic Block Model by Mixed Integer Programming
Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio)(里约热内卢天主教大学)
度校正随机块模型(DCSBM)是一种流行的模型,用于生成具有期望度序列的社区结构的随机图。基于DCSBM的社区发现的标准方法是通过最大似然估计(MLE)搜索最有可能产生观测网络数据的模型参数。目前的技术MLE问题的启发式,因此不能保证收敛到最优。我们提出了数学规划公式和精确的解决方案,可以证明找到模型参数和社区分配的最大似然给定的观察图。我们比较这些确切的方法与经典的启发式算法的基础上期望最大化(EM)。精确方法给出的解决方案为我们提供了一种原则性的方法来测量经典化学的实验性能,并比较其不同的变化。
2021-05-04 cs.LG cs.SI
Community Detection in Weighted Multilayer Networks with Ambient Noise
我们介绍了一种新的模型,多层加权网络,占全球噪声除了本地信号。该模型类似于多层随机块模型(SBM),但关键的区别在于,块之间的相互作用在整个系统中是常见的,我们称之为环境噪声。单个块也由这些固定的环境参数表征,以表示不属于其他任何位置的成员。这种方法允许同时将块聚类和类型化为信号或噪声,以便更好地理解它们在整个系统中的作用,这是现有块模型所不能解释的。我们采用了一种新的应用分层变分推理,共同检测和区分类型的块。我们把这种多层加权网络模型称为随机块(带)环境噪声模型(SBANM),并开发了一个相关的社区发现算法。我们将这种方法应用于费城神经发育队列中的受试者,以发现与精神病相关的并发精神病理学受试者的社区。
2022-07-24 cs.SI physics.soc-ph stat.AP
Community detection in the sparse hypergraph stochastic block model
University of Washington(华盛顿大学);University of California, San Diego(加州大学圣地亚哥分校)
本文研究了稀疏随机超图中的社团检测问题。Angelini et al.(2015)证明了在由超图随机块模型生成的稀疏超图中,社区检测的模型参数存在一个尖锐的阈值。我们解决了两个块的情况下的猜想的积极的一部分:在阈值以上,有一个谱算法,渐近几乎肯定构建一个分区的超图与真正的分区。我们的方法是Massoulié(2014)为稀疏随机图开发的方法的随机超图的推广。
2021-07-08 cs.LG cs.SI math.CO
A stochastic block model for community detection in attributed networks
本文提出一种整合节点介数中心性和聚类系数的随机块模型BCSBM,用于属性网络社区检测,能检测多分和混合结构,实验优于五种对比算法。
2023-08-31 cs.SI stat.ML
Partial Recovery Bounds for the Sparse Stochastic Block Model
本文研究了对称两社区随机块模型中社区发现的信息论极限,社区内和社区间的边缘概率分别为$\frac{a}{n}$和$\frac{b}{n}$.我们考虑稀疏设置,其中$a$和$b$不随$n$扩展,并提供平均恢复的社区标签比例的上限和下限。我们提供了一个数值例子,其中的界限是接近匹配的适度值的$a - b$,并在极限匹配的$a-b$增长大。
2016-04-04 cs.IT cs.SI math.IT
Percolation in the Stochastic Block Model
Sharon High School(沙伦高中);Network Science Institute, Northeastern University(东北大学网络科学研究所);Complexity Science Hub, Vienna(维也纳复杂性科学中心);Department of Physics, Northeastern University(东北大学物理系);Department of Mathematics, Northeastern University(东北大学数学系);Department of Electrical & Computer Engineering, Northeastern University(东北大学电气与计算机工程系)
本文研究社区结构随网络规模演化的随机块模型序列中的渗流,发现临界平均度通常不等于1,并提出了社区尺度分支过程方法以准确预测相变,扩展了渗流研究至更现实场景。
2026-10-21 cond-mat.stat-mech cs.SI math.PR
Differentially Private Online Community Detection for Censored Block Models: Algorithms and Fundamental Limits
本文针对删失块模型下的动态社区,提出在局部和中心边差分隐私下的联合变化检测与社区估计方法,并给出隐私、延迟与精确恢复间权衡的理论条件及实验验证。
2025-10-07 cs.CR cs.IT cs.SI
Exact Community Recovery in Correlated Stochastic Block Models
Northwestern University(西北大学);Princeton University(普林斯顿大学)
我们考虑从多个相关网络中学习潜在社区结构的问题。研究了具有两个平衡社区的边相关随机块模型,重点研究了平均度与顶点数成对数关系的情形。我们的主要结果得出了精确的信息理论的阈值,使用多个相关图的确切社区恢复。该阈值捕获社区恢复和图匹配任务之间的相互作用。特别是,我们发现和表征的参数空间,其中精确的社区恢复是可能的,使用多个相关的图形,即使(1)这是信息理论上不可能使用一个单一的图形和(2)精确的图形匹配也是信息理论上不可能的。在这个制度中,我们开发了一种新的算法,仔细综合算法从社区恢复和图匹配文献。
2022-03-29 cs.IT cs.LG cs.SI
Information-theoretic Limits for Community Detection in Network Models
Purdue University(普渡大学)
我们分析了几种网络模型中节点标签恢复的信息论限制。这包括随机块模型、指数随机图模型、潜在空间模型、定向偏好依恋模型和定向小世界模型。对于随机块模型,不可恢复性条件取决于社区内部和不同社区之间具有边缘的概率。对于潜在空间模型,不可恢复性条件取决于潜在空间的维度,以及社区在潜在空间中的距离和分布。对于有向偏好依恋模型和有向小世界模型,不可恢复性条件依赖于同质性与邻域大小的比值。我们还考虑了随机块模型和潜空间模型的动态版本。
2018-05-22 cs.LG cs.SI physics.soc-ph
Adaptive Group Testing on Networks with Community Structure: The Stochastic Block Model
团体测试是在第二次世界大战期间构想出来的,目的是使用尽可能少的测试来识别感染梅毒的士兵,在COVID-19大流行期间,它再次引起了人们的兴趣。在群体测试问题的概率变体中,一个长期存在的假设是个体独立地被疾病感染。然而,这种假设在实践中很少成立,因为疾病往往通过个体之间的相互作用传播,因此导致感染相关。受COVID-19和其他传染病特点的启发,我们引入了一个网络上的感染模型,该模型推广了传统的i.i.d.概率分组测试模型。在此模型下,我们问是否可以利用网络结构的知识来更有效地执行组测试,特别是从随机块模型绘制的社区结构图。我们证明了一个简单的社区意识算法优于基线二进制分裂算法的模型参数时,有利于“强社区结构。“此外,我们的新下界意味着社区感知算法在某些参数制度下是最优的。我们扩展我们的界限的噪声设置,并支持我们的结果与数值实验。
2022-11-17 cs.SI stat.ME
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
本文研究随机块模型下社区检测的边差分隐私谱聚类方法,提出隐私算法并刻画隐私预算与恢复准确性之间的权衡,同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG
Fundamental limits of community detection from multi-view data: multi-layer, dynamic and partially labeled block models
本文通过统一理论框架研究多视角数据(多层、动态、部分标注块模型)中社区发现的互信息与尖锐恢复阈值,并提出基于近似消息传递的迭代算法。
2024-01-16 cs.IT cs.SI math.IT
Minimax Rates of Community Detection in Stochastic Block Models
近年来,网络分析在统计学、计算机科学、概率论和应用数学等领域得到了越来越多的关注。随机块模型(SBM)的社团检测是网络分析中研究最多的课题。已经提出了许多方法。在各种条件下得到了一些漂亮而有意义的相变结果。在本文中,我们提供了一个一般的极大极小理论的社区检测。它给出了一个广泛的设置,包括均匀和非均匀的SBM,密集和稀疏的网络,有限的和不断增长的社区数量的失配率的极大极小率。极大极小率是指数的,不同于我们在统计文献中经常看到的多项式率。结果的直接后果是建立强一致性(精确恢复)以及弱一致性(部分恢复)的阈值现象。我们得到的上界的惩罚似然型方法的范围。该下界是通过一个新的减少从一个全局的不匹配率的一个节点的局部聚类问题,通过一个交换的属性。
2015-11-16 cs.SI math.ST stat.TH
Phase Transitions in Community Detection: A Solvable Toy Model
最近的研究表明,在社区发现问题中存在相变。这种跃迁首先是用腔方法计算的,并且在$q=2$群的情况下得到了严格的证明。然而,使用腔方法的分析计算是具有挑战性的,因为它们要求我们理解消息的概率分布。我们研究类似的过渡,在所谓的“零温度推断”模型,这种分布只支持最有可能的消息。此外,只要有几个消息的可能性相等,我们就可以通过以相等的概率在其中进行选择来打破平局。虽然所得到的分析没有给出正确的阈值,但它确实再现了系统的一些定性特征。它预测一个一阶的可探测性转变时,$q > 2$,而有限温度腔的方法表明,这是只有当$q > 4$。它也有一个类似于“硬但可检测”阶段的机制,在这个阶段,社区结构可以部分恢复,但只有在初始消息足够准确的情况下。最后,我们研究了一个半监督设置,我们给出了正确的标签的一部分$ρ$的节点。对于$q > 2$,我们发现一个政权的准确度跳跃不连续的$ρ$的临界值。
2013-12-02 cond-mat.stat-mech cs.SI physics.soc-ph
Asymptotic analysis of the stochastic block model for modular networks and its algorithmic applications
在本文中,我们扩展了我们以前的工作随机块模型,社会和生物网络的一个常用的生成模型,以及从网络的拓扑结构推断功能组或社区的问题。我们使用统计物理的腔方法来获得相图的渐近精确分析。我们详细描述了社区检测问题的可检测性/不可检测性相变和易/难相变的性质。我们的分析自然地转化为用于以最佳方式推断节点的组成员资格的置信传播算法,即,最大化与底层组成员的重叠,并学习块模型的底层参数。最后,我们将该算法应用到两个现实世界的网络的例子,并讨论其性能。
2013-05-08 cond-mat.dis-nn cond-mat.stat-mech cs.SI
Dynamic Network Sampling for Community Detection
我们提出了一个动态的网络采样计划,以优化块恢复随机块模型(SBM)的情况下,它是昂贵的,以观察整个图。从理论上讲,我们提供了我们提出的最佳动态采样方案的理由,通过最佳动态采样信息。实际上,我们评估的性能,块恢复,我们的方法在几个真正的数据集从不同的域。理论和实践结果表明,我们的方法可以确定的顶点,有最大的块结构的影响,使人们可以只检查它们之间是否有边缘,以节省大量的资源,但仍然恢复块结构。
2022-12-16 cs.SI math.ST stat.CO
SamBaS: Sampling-Based Stochastic Block Partitioning
Virginia Tech(弗吉尼亚理工大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
社区发现是一个广泛研究的问题,其应用范围从网络到生物信息学。由于真实世界数据量的快速增长,人们对加速当代社区发现算法的兴趣越来越大。然而,更精确和统计上更鲁棒的方法往往难以并行化。一种这样的方法是随机块划分(SBP)-一种社区发现算法,适用于具有复杂和异构社区结构的图。在本文中,我们提出了一个基于采样的SBP(SamBaS)的稀疏图上加速SBP。我们描述了各种图形参数如何影响SambaS的社区发现的加速和结果质量,并量化其中的权衡。为了在没有已知真实社区的真实网络图上评估SamBas,我们引入了分区质量分数(PQS),这是一种在与F1分数的相关性方面优于模块化的评估指标。总体而言,SambaS在保持结果质量的同时实现了高达10倍的加速(甚至在某些图形上将结果质量提高了150%以上,相对于F1分数)。
2023-01-20 cs.LG cs.SI
On Equivalence of Likelihood Maximization of Stochastic Block Model and Constrained Nonnegative Matrix Factorization
复杂网络中社团结构的发现对于理解网络的拓扑结构和功能具有重要意义,随机块模型和非负矩阵分解是社区发现的两种常用方法,它们是从不同的角度提出的。本文研究了它们之间的关系。在非负矩阵分解的框架下,对随机块模型的似然函数的对数进行了重新表述。这两种方法除了模型等价外,所采用的算法也不同。初步的数值实验进行了比较的算法的行为。
2017-07-10 cs.SI
Data clustering using stochastic block models
它已被证明,社区发现算法比其他更流行的方法,如k-means聚类任务的工作更好。事实上,基于网络分析的方法通常优于更广泛使用的方法,并且不会受到我们在其他地方注意到的一些缺点的影响,例如,聚类k的数量通常必须提前知道。然而,随机块模型,这是众所周知的执行良好的社区发现,尚未测试这项任务。我们讨论了为什么这些模型不能直接应用于这个问题,并测试的随机块模型的加权图的泛化的性能,并将它们与其他聚类技术进行比较。
2017-07-24 cs.SI