Community Detection in Degree-Corrected Block Models
社区发现是网络数据分析的核心问题。给定一个网络,社区检测的目标是将网络节点划分为少量的集群,这通常有助于揭示有趣的结构。本文研究度校正块模型(DCBMs)中的社区发现问题。我们首先推导出在适当的条件下,错误分类比例损失问题的渐近极小极大风险。极大极小风险取决于度校正参数,社区规模,平均内和社区之间的连接在一个直观的和可解释的方式。此外,我们提出了一个多项式时间算法自适应执行一致的,甚至渐近最优的社区检测DCBM。
2016-07-24 cs.SI math.ST stat.ML
Stochastic blockmodels and community structure in networks
随机块模型已经被提出作为一种工具,用于检测网络中的社区结构,以及用于生成合成网络作为基准。然而,大多数块模型忽略了顶点度的变化,使得它们不适合应用于现实世界的网络,现实世界的网络通常显示广泛的度分布,这可能会显着扭曲结果。在这里,我们演示了如何将块模型的泛化纳入这个缺失的元素,从而改进复杂网络中社区检测的目标函数。我们还提出了一个启发式算法,社区检测使用这个目标函数或其非度校正对应,并表明度校正版本显着优于未校正的真实世界和合成网络。
2010-08-23 cond-mat.stat-mech cs.SI physics.data-an
Recognizing number of communities and detecting community structures in complex networks
本文讨论了复杂网络中社团数目的识别和社团结构的检测问题。块模型作为一种直观可行的算法,已成功应用于复杂网络社团结构的检测。为了衡量块模型的质量,我们首先定义一个目标函数WQ值。为了得到网络的块模型B,采用GSA算法,在随机密钥的帮助下优化WQ。在块模型B上执行过程AO(Adding Ones)和RO(Removing Ones)之后,可以清楚地识别网络的社区数量。此外,基于块模型节点排序与社团排序一致的优点,提出了一种新的模糊边界社团结构检测算法,并成功地应用于一些典型网络。最后通过实验验证了该算法的可行性。
2018-03-18 cs.SI physics.soc-ph
Community Detection in the Stochastic Block Model by Mixed Integer Programming
Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio)(里约热内卢天主教大学)
度校正随机块模型(DCSBM)是一种流行的模型,用于生成具有期望度序列的社区结构的随机图。基于DCSBM的社区发现的标准方法是通过最大似然估计(MLE)搜索最有可能产生观测网络数据的模型参数。目前的技术MLE问题的启发式,因此不能保证收敛到最优。我们提出了数学规划公式和精确的解决方案,可以证明找到模型参数和社区分配的最大似然给定的观察图。我们比较这些确切的方法与经典的启发式算法的基础上期望最大化(EM)。精确方法给出的解决方案为我们提供了一种原则性的方法来测量经典化学的实验性能,并比较其不同的变化。
2021-05-04 cs.LG cs.SI
A stochastic block model for community detection in attributed networks
本文提出一种整合节点介数中心性和聚类系数的随机块模型BCSBM,用于属性网络社区检测,能检测多分和混合结构,实验优于五种对比算法。
2023-08-31 cs.SI stat.ML
Scratch Community Blocks: Supporting Children as Data Scientists
在本文中,我们提出了Scratch社区块,一个新的系统,使儿童能够以编程方式访问,分析和可视化数据,他们参与Scratch,一个在线社区学习计算机编程。在其核心,我们的方法涉及到谁分析数据的转变:从成人数据科学家到年轻的学习者自己。我们首先介绍系统的目标和设计,然后通过描述说明其功能的示例项目来演示它。接下来,我们通过一系列案例研究展示了该系统如何让孩子们不仅代表数据和用数据回答问题,而且还对自己的学习和参与进行自我反思。
2017-02-02 cs.CY cs.HC cs.SI
On Equivalence of Likelihood Maximization of Stochastic Block Model and Constrained Nonnegative Matrix Factorization
复杂网络中社团结构的发现对于理解网络的拓扑结构和功能具有重要意义,随机块模型和非负矩阵分解是社区发现的两种常用方法,它们是从不同的角度提出的。本文研究了它们之间的关系。在非负矩阵分解的框架下,对随机块模型的似然函数的对数进行了重新表述。这两种方法除了模型等价外,所采用的算法也不同。初步的数值实验进行了比较的算法的行为。
2017-07-10 cs.SI
Consistency of community detection in networks under degree-corrected stochastic block models
社区检测是网络分析中的一个基本问题,在许多不同的领域有着广泛的应用。随机块模型是一种常用的基于模型的社区检测工具,最近开发了用于检查块模型下社区检测一致性的渐近工具。然而,块模型受到其假设的限制,即社区内的所有节点都是随机等价的,并且对社区内具有枢纽或高度变化的节点度的网络提供了较差的拟合,这在实践中很常见。度修正的随机块模型被提出来解决这个缺点,并允许社区内的节点度的变化,同时保持整体块社区结构。本文建立了度修正随机块模型下社区检测一致性检验的一般理论,并比较了标准模型和度修正模型下的几种社区检测准则。我们展示了哪些标准在哪些模型和约束条件下是一致的,并比较了它们在实践中的相对性能。我们发现,基于度校正块模型,其中包括标准块模型作为一个特殊情况下,方法是一致的,在更广泛的一类模型和模块化类型的方法需要参数约束的一致性,而基于可能性的方法不。另一方面,在实践中,度校正涉及估计更多的参数,根据经验,我们发现只有在社区内的节点度确实高度可变的情况下才值得这样做。我们说明了模拟网络和网络上的政治博客的方法。
2015-03-17 cs.SI math.ST physics.soc-ph
Block-corrected Modularity for Community Detection
针对复杂网络中未知属性驱动的社区易被已知块结构掩盖的问题,提出块校正模块度,搭配谱方法和Louvain类微调算法优化,在合成和真实引用网络上均有效。
2025-08-01 cond-mat.stat-mech cs.SI physics.soc-ph
A spectral method for community detection in moderately-sparse degree-corrected stochastic block models
我们考虑度校正随机块模型(DC-SBM)中的社区检测。我们提出了一种基于适当规范的邻接矩阵的谱聚类算法。我们表明,该算法始终恢复块成员的所有,但消失的一部分节点,在政权的最低程度是为了日志$(n)$或更高。恢复成功,即使是非常异质度分布。所使用的算法不依赖于参数作为输入。特别是,它不需要知道社区的数量。
2017-02-07 cs.LG cs.SI math.PR
Data clustering using stochastic block models
它已被证明,社区发现算法比其他更流行的方法,如k-means聚类任务的工作更好。事实上,基于网络分析的方法通常优于更广泛使用的方法,并且不会受到我们在其他地方注意到的一些缺点的影响,例如,聚类k的数量通常必须提前知道。然而,随机块模型,这是众所周知的执行良好的社区发现,尚未测试这项任务。我们讨论了为什么这些模型不能直接应用于这个问题,并测试的随机块模型的加权图的泛化的性能,并将它们与其他聚类技术进行比较。
2017-07-24 cs.SI
Regularized Stochastic Block Model for robust community detection in complex networks
随机块模型能够生成不同的网络分区,从传统的分离社区到分离结构。由于度校正随机块模型没有指定所需的混合模式,因此发现网络节点的最可能分区的推理算法很可能陷入对数似然的局部最优解。在这里,我们引入了一个新的模型约束节点的内部度比的目标函数,以稳定的块模型的推断从观察到的网络数据。给定正则化模型,推理算法,如马尔可夫链蒙特卡罗,可靠地找到由单个参数的值指示的连续或离散结构。实验结果表明,当网络中传统的排斥性社团结构不强时,度修正随机块模型的推理往往陷入局部最优解,而我们提出的模型的推理则能快速收敛到期望的排斥性或排斥性分区.
2019-03-28 cs.SI physics.soc-ph
Improved Online Wilson Score Interval Method for Community Answer Quality Ranking
本文提出了一种快速、易于部署、解释性强的社区答案质量排名方法。该方法是在Wilson评分区间法[Wilson,1927]的基础上进行改进,保留了其优点,同时提高了对高质量答案排序的满意度。改进后的答案质量评分同时考虑了Wilson评分区间和聚光灯指数,本文将介绍聚光灯指数。这种方法可以显着提高排名的最佳答案在不同的场景下具有高的关注度。
2018-09-04 cs.SI stat.CO
Community Detection in Blockchain Social Networks
在这项工作中,我们考虑区块链网络中的社区发现。我们特别以比特币网络和以太坊网络为例,其中社区发现以不同的方式提供服务。针对比特币网络,我们对传统的社区发现方法进行了修改,并将其应用于交易社交网络,对具有相似特征的用户进行聚类。另一方面,对于以太坊网络,我们定义了一个基于智能合约交易的二分社交图。提出了一种新的社区发现算法,该算法针对图中的低秩信号,基于用户令牌的订阅来发现用户的社区。基于这些结果,设计了两种策略来向同一社区中的用户提供链上广告。我们在真实数据上实现了所提出的算法。通过采用改进的聚类算法,比特币网络中的社区结果与已公布的博彩网站社区的真实情况基本一致。与此同时,我们在真实的以太坊数据上运行了所提出的策略,可视化了结果,并在Ropsten测试网上实现了广告投放。
2021-01-16 cs.IT cs.SI math.IT
Community detection in the sparse hypergraph stochastic block model
University of Washington(华盛顿大学);University of California, San Diego(加州大学圣地亚哥分校)
本文研究了稀疏随机超图中的社团检测问题。Angelini et al.(2015)证明了在由超图随机块模型生成的稀疏超图中,社区检测的模型参数存在一个尖锐的阈值。我们解决了两个块的情况下的猜想的积极的一部分:在阈值以上,有一个谱算法,渐近几乎肯定构建一个分区的超图与真正的分区。我们的方法是Massoulié(2014)为稀疏随机图开发的方法的随机超图的推广。
2021-07-08 cs.LG cs.SI math.CO
Bayesian Degree-Corrected Stochastic Blockmodels for Community Detection
网络中的社区发现在社会科学领域引起了广泛的关注。鉴于其重要性,已经有大量的文献从许多领域的方法。在这里,我们提出了一个统计框架,是有代表性的,可扩展的,并产生一个估计具有良好的性能。我们提出的方法认为,一个随机块模型的基础上,逻辑斯谛回归制定与节点校正项。我们遵循贝叶斯方法,通过事先规范明确捕获社区行为。我们进一步采用了一个数据增强策略与潜在的Polya-Gamma变量,以获得后验样本。我们进行推理的基础上的原则,规范映射的质心估计,正式解决标签不可识别性,并捕捉代表性的社区分配。我们证明了所提出的模型和估计在现实世界以及模拟的基准网络,并表明,所提出的模型和估计更灵活,代表性,并产生较小的错误率相比,MAP估计从经典的度校正随机块模型。
2014-12-17 cs.SI physics.soc-ph stat.ME
Community Detection Algorithm Combining Stochastic Block Model and Attribute Data Clustering
Tohoku University(东北大学);Yamagata University(山形大学)
我们提出了一种新的算法来检测社区结构的网络,利用网络结构和顶点属性数据。假设我们有网络结构和顶点属性数据,即分配给每个顶点的信息与它所属的社区相关联。本文所解决的问题是从网络结构和顶点属性数据的信息中检测社区结构。我们的方法是基于贝叶斯方法,模型的后验概率分布的社区标签。在我们的方法中的社区结构的检测是通过使用信念传播和EM算法。我们使用计算机生成的网络和真实世界的网络数值验证了我们的方法的性能。
2016-07-21 cs.LG cs.SI physics.soc-ph
Partial Recovery Bounds for the Sparse Stochastic Block Model
本文研究了对称两社区随机块模型中社区发现的信息论极限,社区内和社区间的边缘概率分别为$\frac{a}{n}$和$\frac{b}{n}$.我们考虑稀疏设置,其中$a$和$b$不随$n$扩展,并提供平均恢复的社区标签比例的上限和下限。我们提供了一个数值例子,其中的界限是接近匹配的适度值的$a - b$,并在极限匹配的$a-b$增长大。
2016-04-04 cs.IT cs.SI math.IT
Differentially Private Online Community Detection for Censored Block Models: Algorithms and Fundamental Limits
Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
本文针对删失块模型下的动态社区,提出在局部和中心边差分隐私下的联合变化检测与社区估计方法,并给出隐私、延迟与精确恢复间权衡的理论条件及实验验证。
2025-10-07 cs.CR cs.IT cs.SI
Exact Community Recovery in Correlated Stochastic Block Models
Northwestern University(西北大学);Princeton University(普林斯顿大学)
我们考虑从多个相关网络中学习潜在社区结构的问题。研究了具有两个平衡社区的边相关随机块模型,重点研究了平均度与顶点数成对数关系的情形。我们的主要结果得出了精确的信息理论的阈值,使用多个相关图的确切社区恢复。该阈值捕获社区恢复和图匹配任务之间的相互作用。特别是,我们发现和表征的参数空间,其中精确的社区恢复是可能的,使用多个相关的图形,即使(1)这是信息理论上不可能使用一个单一的图形和(2)精确的图形匹配也是信息理论上不可能的。在这个制度中,我们开发了一种新的算法,仔细综合算法从社区恢复和图匹配文献。
2022-03-29 cs.IT cs.LG cs.SI
Adaptive Group Testing on Networks with Community Structure: The Stochastic Block Model
团体测试是在第二次世界大战期间构想出来的,目的是使用尽可能少的测试来识别感染梅毒的士兵,在COVID-19大流行期间,它再次引起了人们的兴趣。在群体测试问题的概率变体中,一个长期存在的假设是个体独立地被疾病感染。然而,这种假设在实践中很少成立,因为疾病往往通过个体之间的相互作用传播,因此导致感染相关。受COVID-19和其他传染病特点的启发,我们引入了一个网络上的感染模型,该模型推广了传统的i.i.d.概率分组测试模型。在此模型下,我们问是否可以利用网络结构的知识来更有效地执行组测试,特别是从随机块模型绘制的社区结构图。我们证明了一个简单的社区意识算法优于基线二进制分裂算法的模型参数时,有利于“强社区结构。“此外,我们的新下界意味着社区感知算法在某些参数制度下是最优的。我们扩展我们的界限的噪声设置,并支持我们的结果与数值实验。
2022-11-17 cs.SI stat.ME
Community Detection in the Labelled Stochastic Block Model
University of Massachusetts(马萨诸塞大学);Technicolor(特艺集团);INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学院);INRIA-Microsoft Research Joint Centre(法国国家信息与自动化研究所-微软研究院联合中心)
我们考虑的问题,社区发现从观察到的个人之间的相互作用,在多种类型的相互作用是可能的。我们使用标记的随机块模型来表示观察到的数据,其中标签对应于相互作用类型。专注于两个社区的情况下,我们推测一个阈值的重建隐藏的社区的方式,是与真正的分区的问题。为了证实这一猜想,我们证明了给定的阈值正确地识别了从不敏感到敏感的信念传播行为的转变。我们进一步证明了相同的阈值对应于树模型上的相关推理问题从不可行到可行的过渡。最后,数值结果使用信念传播的社区发现进一步支持的猜想。
2012-09-13 cs.LG cs.SI math.PR
Comment on "Improved mutual information measure for clustering, classification, and community detection"
最近的一篇文章提出了减少互信息的评价聚类,分类和社区发现。其动机是,标准的归一化互信息(NMI)可能会在某些条件下,特别是当集群的数量在考虑中的两个部门之间不同的反直观的答案。动机是有道理的。然而,文章中给出的例子并不准确,这篇评论讨论了原因。此外,本文还从经验上证明了减少的互信息不能处理NMI的困难,甚至会带来更多的困难。Kappa的必要性也在这篇评论中得到了经验验证。
2020-05-14 cs.SI physics.data-an
Community Detection in Bipartite Networks with Stochastic Blockmodels
University of Colorado(科罗拉多大学);BioFrontiers Institute(生物前沿研究所)
在二分网络中,社区结构被限制为区分性的,因为一种类型的节点根据与另一种类型的节点的共同连接模式进行分组。这使得随机块模型(SBM),一个高度灵活的生成模型的网络块结构,一个直观的选择二分社区检测。然而,SBM的典型公式不使用二分网络的特殊结构。在这里,我们介绍了贝叶斯非参数制定的SBM和相应的算法,以有效地找到社区的二分网络吝啬地选择社区的数量。当数据有噪声时,biSBM改进了一般SBM的社区检测结果,将模型分辨率限制提高了$\sqrt{2}$倍,并扩展了我们对与社区检测任务相关的复杂优化环境的理解。在biSBM和相关的高分辨率分层SBM的先验分布的某些条款的直接比较也揭示了一个违反直觉的制度的社区检测问题,由更小和更稀疏的网络,其中非分层模型优于其更灵活的对应。
2020-09-29 cs.LG cs.SI physics.soc-ph
On the relationship between Gaussian stochastic blockmodels and label propagation algorithms
社区发现问题是近年来备受关注的问题。已经提出了许多方法来发现网络中的社区。在本文中,我们提出了一个高斯随机块模型,使用高斯分布来拟合非重叠社区发现网络中的边的权重。该模型的最大似然估计具有与一般的具有节点偏好的标签传播相同的目标函数。在最大似然估计下,特定顶点的节点偏好结果是与社区内特征向量中心度(该顶点社区内的子图的邻接矩阵的主特征向量中的对应条目)成比例的值。此外,我们的模型的约束版本的最大似然估计是高度相关的标签传播算法的另一个扩展,即,标签传播算法下的约束。实验结果表明,所提出的高斯随机块模型在各种基准网络上表现良好。
2015-01-27 cs.SI physics.soc-ph
Consistency of community structure in complex networks
网络中最广泛使用的社区发现技术,包括基于模块化、统计推断和信息论论证的方法,都是通过优化衡量网络分区质量的目标函数来工作的。然而,有一个很好的理由可以证明,在这样一个目标函数下,人们不应该只看单一的最佳社区结构,而应该选择得分高的结构。如果这样做,人们通常会发现所得的结构显示出相当大的变化,这已经被认为是这些社区发现方法不可靠的证据,因为它们似乎不能给出一致的答案。在这里,我们认为,经过仔细检查,发现的结构实际上是一致的,在某种程度上。具体来说,我们表明,他们都可以组装从一组底层的“积木”,组的网络节点,通常被发现在同一个社区。不同的群落结构对应于不同的区块排列,但区块本身在很大程度上是不变的。我们提出了一个信息理论的方法,发现在特定的网络中的构建块,并证明了它与几个示例应用程序。我们的结论是,传统的社区发现并不像有些人认为的那样失败,事实上,它对网络结构提供了大量的洞察力,尽管可能并不完全像以前想象的那样。
2019-08-26 cs.SI physics.soc-ph
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
本文研究随机块模型下社区检测的边差分隐私谱聚类方法,提出隐私算法并刻画隐私预算与恢复准确性之间的权衡,同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG
SamBaS: Sampling-Based Stochastic Block Partitioning
Virginia Tech(弗吉尼亚理工大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
社区发现是一个广泛研究的问题,其应用范围从网络到生物信息学。由于真实世界数据量的快速增长,人们对加速当代社区发现算法的兴趣越来越大。然而,更精确和统计上更鲁棒的方法往往难以并行化。一种这样的方法是随机块划分(SBP)-一种社区发现算法,适用于具有复杂和异构社区结构的图。在本文中,我们提出了一个基于采样的SBP(SamBaS)的稀疏图上加速SBP。我们描述了各种图形参数如何影响SambaS的社区发现的加速和结果质量,并量化其中的权衡。为了在没有已知真实社区的真实网络图上评估SamBas,我们引入了分区质量分数(PQS),这是一种在与F1分数的相关性方面优于模块化的评估指标。总体而言,SambaS在保持结果质量的同时实现了高达10倍的加速(甚至在某些图形上将结果质量提高了150%以上,相对于F1分数)。
2023-01-20 cs.LG cs.SI
Fundamental limits of community detection from multi-view data: multi-layer, dynamic and partially labeled block models
本文通过统一理论框架研究多视角数据(多层、动态、部分标注块模型)中社区发现的互信息与尖锐恢复阈值,并提出基于近似消息传递的迭代算法。
2024-01-16 cs.IT cs.SI math.IT
Minimax Rates of Community Detection in Stochastic Block Models
近年来,网络分析在统计学、计算机科学、概率论和应用数学等领域得到了越来越多的关注。随机块模型(SBM)的社团检测是网络分析中研究最多的课题。已经提出了许多方法。在各种条件下得到了一些漂亮而有意义的相变结果。在本文中,我们提供了一个一般的极大极小理论的社区检测。它给出了一个广泛的设置,包括均匀和非均匀的SBM,密集和稀疏的网络,有限的和不断增长的社区数量的失配率的极大极小率。极大极小率是指数的,不同于我们在统计文献中经常看到的多项式率。结果的直接后果是建立强一致性(精确恢复)以及弱一致性(部分恢复)的阈值现象。我们得到的上界的惩罚似然型方法的范围。该下界是通过一个新的减少从一个全局的不匹配率的一个节点的局部聚类问题,通过一个交换的属性。
2015-11-16 cs.SI math.ST stat.TH
A penalized inference approach to stochastic block modelling of community structure in the Italian Parliament
我们分析了意大利众议院的法案共同赞助网络。与其他议会相比,众议院的一个显著特点是政治团体数量众多。我们的分析旨在推断这些群体之间的合作模式,从数据的法案coordinships。我们提出了一个扩展的随机块模型的边值图和团体生产力和政党之间的合作的措施。由于所提出的模型包含大量的参数,我们追求一种惩罚似然方法,使我们能够推断出一个稀疏的简化图显示政党之间的合作。
2017-07-31 cs.SI stat.AP
Dynamic Network Sampling for Community Detection
我们提出了一个动态的网络采样计划,以优化块恢复随机块模型(SBM)的情况下,它是昂贵的,以观察整个图。从理论上讲,我们提供了我们提出的最佳动态采样方案的理由,通过最佳动态采样信息。实际上,我们评估的性能,块恢复,我们的方法在几个真正的数据集从不同的域。理论和实践结果表明,我们的方法可以确定的顶点,有最大的块结构的影响,使人们可以只检查它们之间是否有边缘,以节省大量的资源,但仍然恢复块结构。
2022-12-16 cs.SI math.ST stat.CO
Community Detection in Weighted Multilayer Networks with Ambient Noise
我们介绍了一种新的模型,多层加权网络,占全球噪声除了本地信号。该模型类似于多层随机块模型(SBM),但关键的区别在于,块之间的相互作用在整个系统中是常见的,我们称之为环境噪声。单个块也由这些固定的环境参数表征,以表示不属于其他任何位置的成员。这种方法允许同时将块聚类和类型化为信号或噪声,以便更好地理解它们在整个系统中的作用,这是现有块模型所不能解释的。我们采用了一种新的应用分层变分推理,共同检测和区分类型的块。我们把这种多层加权网络模型称为随机块(带)环境噪声模型(SBANM),并开发了一个相关的社区发现算法。我们将这种方法应用于费城神经发育队列中的受试者,以发现与精神病相关的并发精神病理学受试者的社区。
2022-07-24 cs.SI physics.soc-ph stat.AP
Matrix Concentration for Random Signed Graphs and Community Recovery in the Signed Stochastic Block Model
本文针对随机符号图建立邻接矩阵与拉普拉斯矩阵的强集中不等式,并应用于符号随机块模型,证明谱隙集中于2s且第一特征向量符号可弱一致地恢复平衡社区结构。
2024-12-29 cs.LG cs.SI stat.ML
Stochastic Block Models with Multiple Continuous Attributes
随机块模型(SBM)是一种描述网络社团结构的概率模型。通常,仅使用邻接矩阵来执行SBM参数推断。在本文中,我们考虑的情况下,节点有一个相关的向量的连续属性,也用于学习节点到社区的分配和相应的SBM参数。虽然这种假设对于每个应用程序都是不现实的,但我们的模型假设与网络社区中的节点相关联的属性可以由一个常见的多变量高斯模型来描述。在这个增强的,归因的SBM中,目标是同时学习SBM连接概率与描述每个社区的多变量高斯参数。虽然最近的例子在文献中,结合连接和属性信息通知社区发现,我们的模型是第一个增强的随机块模型来处理多个连续属性。这提供了生物数据的灵活性,例如,通过来自多个实验模态的连续测量来增强连接信息。由于缺乏标记的网络数据往往使社区发现的结果难以验证,我们强调我们的模型的有用性的两个网络预测任务:链接预测和协同过滤。作为拟合该属性随机块模型的结果,可以在信息的互补源(分别为连接性或属性)的情况下预测新节点的属性向量或连接性模式。我们还强调了两个生物的例子,其中属性随机块模型提供了令人满意的性能,在链接预测和协同过滤任务。
2018-03-07 cs.SI physics.soc-ph stat.ML
A Sparse Completely Positive Relaxation of the Modularity Maximization for Community Detection
在本文中,我们考虑的社区检测问题下的随机块模型(SBM)的假设或度相关的随机块模型(DCSBM)的假设。社区检测问题的模块度最大化公式一般是NP困难的。针对模块度最大化问题,提出了一种稀疏的低秩完全正松弛算法,并给出了一种有效的逐行(RBR)型块坐标下降(BCD)算法,证明了$\mathcal{O}(1/\sqrt{N})$收敛速度稳定点的速度,其中$N$为迭代次数.构造了一种快速舍入方案来从解中检索社区结构。非渐近的高概率界的错误分类率的建立,以证明我们的方法。我们进一步发展了一个异步并行RBR算法,以加快收敛速度。在人工网络和真实网络上的大量数值实验表明,该方法在聚类精度和数值效率方面都具有优势。我们的数值结果表明,新提出的方法是一个非常有竞争力的替代稀疏网络上的社区检测超过50万个节点。
2017-08-03 cs.SI math.OC
Fragmentation Coagulation Based Mixed Membership Stochastic Blockmodel
University of Alberta(阿尔伯塔大学);University of New South Wales(新南威尔士大学);University of Social Sciences, Poland(波兰社会科学大学)
混合隶属度随机块模型(MMSB)是一种适用于学习网络数据复杂隐藏结构的贝叶斯关系模型。然而,目前的MMSB模型存在两个问题:(1)先验信息(如实体的社区结构信息)不能很好地嵌入到模型中;(2)社区演化不能在文献中很好地描述。因此,我们提出了一个非参数的碎片凝聚的混合成员随机块模型(fcMMSB)。我们的模型执行基于实体的聚类来捕获实体的社区信息和基于链接的聚类来同时获得链接的组信息。此外,所提出的模型推断网络结构和模型的社区演变,表现为出现和消失的社区,使用离散破碎凝聚过程(DFCP)。通过整合社区结构与组相容性矩阵,我们得到了一个广义版本的MMSB。采用Polya Gamma(PG)方法实现了一种有效的吉布斯抽样方案用于后验推理。我们验证我们的模型合成和真实世界的数据。
2020-01-17 cs.LG cs.SI stat.ML
Clustering Network Layers With the Strata Multilayer Stochastic Block Model
多层网络是一种用于同时捕获一组节点之间的多种类型关系的有用数据结构。在这样的网络中,每一个关系定义都会产生一个层。虽然每一层都提供了自己的信息集,但跨层的社区结构可以共同用于发现和量化节点之间的底层关系模式。为了从多层网络中简洁地提取信息,我们建议识别和组合社区结构中具有有意义相似性的层集。本文描述了一种多层群落结构的概率模型--“地层多层随机块体模型”(sMLSBM)。该模型的中心扩展是存在层组,称为“层”,其被定义为使得给定层中的所有层具有由公共随机块模型(SBM)描述的社区结构。也就是说,层中的层表现出类似的节点到社区分配和SBM概率参数。将sMLSBM拟合到多层网络提供了产生节点到社区和层到层分配的联合聚类,其在推断期间相互协作地辅助。我们描述了一种算法,用于分离层到其适当的地层和推断技术,用于估计每个地层的SBM参数。我们使用合成网络和从人类微生物组项目收集的数据推断的多层网络来演示我们的方法。
2015-10-09 cs.SI physics.soc-ph stat.ML
Active Learning for Community Detection in Stochastic Block Models
University of Southern California(南加州大学)
随机块模型(SBM)是网络科学和机器学习中随机图的一个重要生成模型,可用于基准测试社区发现(或聚类)算法。对称SBM生成具有$2n$节点的图,这些节点聚类成两个相等大小的社区。节点在社区内以概率$p$连接,在不同社区之间以概率$q$连接。我们考虑$p=a\ln (n)/n$和$q=b\ln (n)/n$的情况。在这种情况下,最近表明,以高概率(w. h. p.)仅使用该图是可能的,当且仅当B-H(CH)发散$D(a,b)=(\sqrt{a}-\sqrt{b})^2 \geq 1$。在这项工作中,我们研究了社区发现查询有限数量的所选节点的标签(即,主动学习)。我们的主要结果是表明,在一定条件下,采样标签的一个消失的小部分节点(一个数字次线性$n$)是足够的精确社区发现,即使当$D(a,b)<1$。此外,我们提供了一个有效的学习算法,恢复社区成员的所有节点w. h. p.,只要采样点的数量满足充分条件。我们还表明,恢复是不可能的,如果观察到的标签的数量小于$n^{1-D(a,b)}$。通过数值实验证明了我们的结果的有效性。
2016-05-08 cs.LG cs.SI math.PR
On spectral algorithms for community detection in stochastic blockmodel graphs with vertex covariates
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pittsburgh(匹兹堡大学)
在网络推理应用中,通常需要检测社区结构,即根据某种相似性度量将顶点聚类成组或块。除了邻接矩阵之外,许多真实网络还涉及顶点协变量,这些协变量携带关于图中底层块结构的关键信息。为了评估这些协变量对块恢复的影响,我们提出了一个比较分析的两个基于模型的谱算法的顶点聚类随机块模型图与顶点协变量。第一种算法只使用邻接矩阵,直接估计块分配。第二种算法将邻接矩阵和顶点协变量结合到块分配的估计中,并且量化了顶点协变量对块分配的估计结果的显式影响。我们采用的分析比较算法的性能,并获得信息理论的分析比为某些模型的兴趣。分析结果和模拟表明,第二种算法往往是首选:我们往往可以更好地估计诱导块分配,首先估计顶点协变量的影响。此外,实际数据的例子也表明,第二种算法具有揭示底层块结构和考虑观察到的顶点异构性在实际应用中的优势。我们的研究结果强调了区分观察到的和未观察到的因素,可以影响图中的块结构的重要性。
2021-08-04 cs.LG cs.SI math.ST
Matrix Factorization Framework for Community Detection under the Degree-Corrected Block Model
University of Mons(蒙斯大学)
本文提出基于度校正块模型的社区检测矩阵分解框架,通过将推断问题转化为约束非负矩阵分解问题,提出新的社区检测方法和理论支持的初始化策略,实现高效且鲁棒的社区检测。
2026-11-09 cs.SI math.OC stat.ML
Exponential random graph models for networks with community structure
社区结构组织是现实网络的重要特征之一,传统的网络模型无法再现这一特征。因此,这些模型作为测试社区检测算法的基准图是无用的。它们也不足以预测真实网络的各种性质。我们打算用这份文件来填补这一空白。我们开发了一个指数随机图的方法来处理具有社团结构的网络。为此,我们主要建立在块模型的思想上。我们认为,经典的块模型和它的度校正对应,并研究他们的许多属性分析。我们发现,在度校正块模型中,节点度显示出一个有趣的缩放属性,这让人想起在现实世界的分形网络中观察到的。的缩放功能来作为一个惊喜,特别是在这项研究中,与文献中所建议的,缩放属性不归因于任何特定的网络建设过程。这是度校正块模型的内在特征。一个简短的描述蒙特卡罗模拟的模型也给出了希望是有用的其他工作在该领域。
2013-05-17 cond-mat.dis-nn cs.SI physics.soc-ph
Algorithm independent bounds on community detection problems and associated transitions in stochastic block model graphs
我们推导出严格的界限,定义良好的社区结构在复杂网络的随机块模型(SBM)基准。特别是,我们分析了社区间的“噪音”(社区间的边缘)对任何“社区检测”算法的能力,正确地分配到一个种植分区,一个问题,已被证明是NP完全的标准再现组节点的影响。我们的结果不依赖于任何一个特定的算法的使用,也不依赖于推理的局限性的分析。相反,我们把它的头上的问题和工作向后检查时,在第一位,定义良好的结构可能存在于SBMs。我们在这里介绍的方法可以潜在地应用到其他计算问题。社区检测算法的目标是将给定的网络划分为最优不相交的子图(或社区)。类似于k-SAT和其他组合优化问题,“社区检测”表现出不同的阶段。处于“不可解阶段”的网络缺乏明确的结构,因此没有有意义的划分。可解系统分裂成两个完全不同的阶段:“困难”阶段和“容易”阶段。正如它的名字一样,在简单阶段,分区很容易通过已知的算法实现。当网络处于硬阶段时,它仍然具有底层结构,但要找到一个可以在多项式时间内检查的有意义的分区,需要进行详尽的计算工作,并且随着图的大小而迅速增加。当考虑在一起,(i)严格的结果,我们在这里报告的图形时,有一个基本的结构和(ii)最近的结果有关的限制,而一般的算法,建议硬相的界限。
2014-07-10 cond-mat.stat-mech cs.SI physics.soc-ph
An Ensemble Framework for Detecting Community Changes in Dynamic Networks
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
动态网络,特别是那些代表社交网络的动态网络,随着时间的推移,其社区结构不断演变。节点可以在不同的社区之间迁移,社区可以分裂成多个新的社区,社区可以合并在一起,等等。为了表示动态网络与不断发展的社区,必须使用动态模型,而不是静态模型。在这里,我们使用动态随机块模型,其中底层块模型在不同时间是不同的。为了表示该动态模型所表达的结构变化,网络将被分成离散的时间段,聚类算法将为每个段分配块成员。在本文中,我们表明,使用集成的聚类分配适应可扩展的聚类算法的方差,并产生优越的结果,成对精度和成对召回。我们还表明,动态集群所产生的合奏可以被可视化为一个流程图,简洁地封装社区的演变。
2017-07-24 cs.LG cs.SI
The Geometric Block Model
为了捕获许多社区发现问题的固有几何特征,我们提出使用一种新的社区随机图模型,我们称之为几何块模型。几何块模型推广了随机几何图,就像随机块模型推广了Erdos-Renyi随机图一样。它也是随机社区模型的自然扩展,受到社区发现理论和实践进展的启发。虽然是一个基本的理论兴趣的话题,我们的主要贡献是表明,许多实际的社区结构更好地解释了几何块模型。我们还表明,一个简单的三角形计数算法来检测社区的几何块模型是近最佳的。事实上,即使在该制度的平均度的图形增长的顶点数(稀疏图),我们表明,该算法执行得非常好,无论是理论上和实践中。相比之下,三角形计数算法是远远不是最佳的随机块模型。我们在真实和合成数据集上模拟了我们的结果,以显示新模型和我们的算法的优越性能。
2018-01-24 cs.DS cs.SI stat.ML
Community Detection in Networks using Graph Distance
网络的研究最近不仅受到社会科学和统计学的关注,而且受到物理学家,计算机科学家和数学家的关注。网络中的一个主要问题是社区发现。人们已经提出了许多算法来寻找社区,但大多数算法对于稀疏网络和物理学家提出的相变边界附近的网络都没有理论保证。也有例外,但都有不完善的理论基础。在这里,我们提出了一个算法的基础上,在网络中的顶点的图距离。我们给出了理论保证,我们的方法在识别社区块模型,并可以扩展到度校正块模型和块模型的社区数量与顶点数增长。尽管有利的模拟结果,我们还不能得出结论,我们的方法是令人满意的最坏的可能情况。我们以政治博客网络、Facebook网络和其他一些网络为例。
2014-01-24 cs.SI stat.ML
Community Detection and Stochastic Block Models
本专著综述了随机块模型(SBM)中社区检测的基本极限,涵盖信息论与计算权衡及精确、部分、弱恢复要求,并系统推导了图分割、半定规划、置信传播及谱方法等主要算法。
2023-10-25 cs.CC cs.IT cs.SI
Neural Stochastic Block Model & Scalable Community-Based Graph Learning
Amazon Alexa AI(亚马逊Alexa人工智能部门);Temple University(天普大学)
本文提出了一种新的可扩展的基于社区的图学习神经框架。该框架通过社区发现和链接预测的任务来学习图拓扑,通过我们提出的联合SBM损失函数进行优化,该函数来自经典随机块模型(SBM)的似然函数的非平凡适应。与SBM相比,我们的框架是灵活的,自然允许软标签和消化复杂的节点属性。主要目标是对复杂图形数据进行有效评估,因此我们的设计旨在适应大数据,并确保有一个有效评估的单一向前传递。对于大型图,如何有效地利用其底层结构进行各种图学习任务仍然是一个悬而未决的问题。以前可能是繁重的工作。通过我们基于社区的框架,这变得不那么困难,并允许任务模型基本上即插即用并执行联合训练。我们目前正在研究两个特定的应用程序,图对齐和异常相关检测,并讨论如何利用我们的框架来解决这两个问题。大量的实验证明了我们的方法的有效性。我们还贡献了经典技术的调整,我们发现这对性能和可扩展性很有帮助。例如,1)GAT+,GAT(图注意力网络)的改进设计,缩放余弦相似性,以及基于卷积/注意力和基于随机游走的神经图模型的统一实现。
2020-05-16 cs.LG cs.SI stat.ML
Accurate Community Detection in the Stochastic Block Model via Spectral Algorithms
考虑随机块模型中的社区发现问题,其中有限个$K$社区的大小随网络大小$n$线性增长.该模型由一个随机图组成,使得每对顶点在社区内以概率$p$独立连接,在社区间以概率$q$独立连接。人们观察到这个随机图的一个实现,目标是从这个观察中重建社区。我们发现,在谱算法下,错误分类的顶点的数量不超过$s$与高概率$n$增长大,每当$pn=ω(1)$,$s=o(n)$和\begin{equation*} \lim\inf_{n\to\infty} {n(α_1 p+α_2 q-(α_1 + α_2)p^{\frac{α_1}{α_1 + α_2}}q^{\frac{α_2}{α_1 + α_2}})\over \log (\frac{n}{s})} >1,\quad\quad(1) \end{equation*},其中$α_1$和$α_2$表示(固定)的两个最小的社区中的顶点的比例。鉴于Abbe等人和Mossel等人最近的工作,这确立了所提出的频谱算法能够精确地恢复社区,只要在具有两个大小相等的社区的网络的情况下这是完全可能的。我们猜想,条件(1)实际上是必要的,以获得少于$s$错误分类的顶点渐近,这将建立在更一般的情况下的谱方法的最优性。
2014-12-23 cs.DS cs.SI
Percolation in the Stochastic Block Model
Sharon High School(沙伦高中);Network Science Institute, Northeastern University(东北大学网络科学研究所);Complexity Science Hub, Vienna(维也纳复杂性科学中心);Department of Physics, Northeastern University(东北大学物理系);Department of Mathematics, Northeastern University(东北大学数学系);Department of Electrical & Computer Engineering, Northeastern University(东北大学电气与计算机工程系)
本文研究社区结构随网络规模演化的随机块模型序列中的渗流,发现临界平均度通常不等于1,并提出了社区尺度分支过程方法以准确预测相变,扩展了渗流研究至更现实场景。
2026-10-21 cond-mat.stat-mech cs.SI math.PR
Phase Transitions of Diversity in Stochastic Block Model Dynamics
本文提出带优先连接的随机块模型,研究两社区增长动力学,推导确定性近似并刻画多样性相变,发现跨社区边概率低时少数群体可能消亡,即使跨社区合作价值更高。
2024-01-12 cs.GT cs.SI physics.soc-ph
Improved mutual information measure for classification and community detection
被称为互信息的信息理论量在分类和社区发现分析中得到广泛使用,以将同一组对象的两个分类进行比较。例如,在分类算法的上下文中,它通常用于将发现的类与已知的地面实况进行比较,从而量化算法性能。在这里,我们认为,标准的互信息,通常定义,省略了一个关键的长期,可以成为大的现实世界的条件下,产生的结果,可以大大错误。我们演示了如何纠正这个错误,并定义了一个互信息,在所有情况下的作品。我们讨论了新措施的实际实施,并给出了一些示例应用程序。
2019-07-29 cs.SI physics.soc-ph stat.ML
Active learning in the geometric block model
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nokia Bell Labs(诺基亚贝尔实验室);University of Naples Federico II(那不勒斯费德里科二世大学)
几何块模型是最近提出的一种随机图生成模型,它能够捕捉到许多社区发现问题的内在几何性质,与流行的随机块模型相比,能够更准确地描述实际社区结构。Galhotra等人最近提出了一种用于几何块模型中无监督社区发现的模体计数算法,该算法被证明是接近最优的。他们还表征了所提出的算法可以实现精确恢复的模型参数的制度。在这项工作中,我们发起了在几何块模型的主动学习的研究。也就是说,我们感兴趣的问题,准确地恢复随机图的社区结构的几何块模型在任意的模型参数下,通过可能查询有限数量的选定节点的标签。我们提出了两个主动学习算法,结合了两种不同的标签查询策略的想法的图案计数。我们的主要贡献是表明,对一小部分节点(节点总数中的次线性)的标签进行采样足以在最先进的无监督方法失败的情况下实现精确的恢复。我们通过对真实和合成数据集的数值模拟来验证我们的算法的优越性能。
2019-11-15 cs.LG cs.SI stat.ML
Hierarchical Stochastic Block Model for Community Detection in Multiplex Networks
The University of California at Los Angeles(加利福尼亚大学洛杉矶分校);Federal University of Rio de Janeiro(里约热内卢联邦大学);The University of Notre Dame(圣母大学)
多路复用网络在许多领域变得越来越普遍,并且已经成为对真实网络的复杂性进行建模的强大工具。有一个关键的需求,为多路复用网络,可以考虑到跨不同层的潜在的依赖关系,特别是当目标是社区发现的推理模型。我们提出了一种新的和有效的贝叶斯模型,在多路复用网络中的社区发现有限的文献。我们的方法的一个关键特征是能够在不同的网络层对不同的社区进行建模。相比之下,许多现有的模型假设所有层都有相同的社区。此外,我们的模型自动在每一层选择必要数量的社区(通过真实数据示例验证)。这是有吸引力的,因为决定社区的数量是社区发现的一个具有挑战性的方面,特别是在多重设置中,如果允许社区跨层改变的话。借用分层贝叶斯建模的思想,我们使用分层Dirichlet之前跨层的社区标签建模,允许其结构中的依赖性。给定社区标签,假设每一层都有一个随机块模型(SBM)。我们开发了一个有效的切片采样器,用于采样社区标签的后验分布以及社区之间的链接概率。在这样做的过程中,我们解决了一些独特的挑战所带来的耦合复杂的可能性SBM与标签上的先验的层次性质。对模拟和真实数据进行了广泛的实证验证,证明了该模型优于单层替代方案的性能,以及发现真实网络中有趣结构的能力。
2023-02-12 cs.LG cs.SI stat.ME