Community Recovery on Noisy Stochastic Block Models
针对几何噪声随机块模型的社区恢复问题,提出模体注意力谱算子MASO与迭代几何去噪算法GeoDe,二者融合性能优于现有方法,且用作去噪步骤可使置信传播在Amazon Metadata数据集上的社区恢复效果提升79.7%。
2025-05-20 cs.SI math.PR
Inference and Visualization of Community Structure in Attributed Hypergraphs Using Mixed-Membership Stochastic Block Models
Graduate School of Systems Design, Tokyo Metropolitan University(东京 Metropolitan 大学系统设计研究生院);Principles of Informatics Research Division, National Institute of Informatics(国家信息研究所信息原理研究部门)
本文提出HyperNEO框架,结合混合成员随机块模型与降维方法,在保留节点社区成员关系的前提下实现带属性超图社区结构的推断与可视化。
2025-05-04 cs.LG cs.SI
Universal Phase Transition in Community Detectability under a Stochastic Block Model
我们证明了谱模块化方法中社区可检测性的渐近相变阈值的存在性[M。E. J.Newman,Phys.Rev.E74,036104(2006)和Proc.National Academy of Sciences. 103,8577(2006)]中的随机块模型。随着社区间边缘连接概率$p$的增长,社区可检测性发生相变。该相变将小$p$的次临界状态(其中基于模块的社区检测成功地识别社区)与大$p$的超临界状态(其中成功的社区发现是不可能的)分开。我们发现,随着社区规模变大,渐近相变阈值$p^*$等于$\sqrt{p_1\cdot p_2}$,其中$p_i~(i=1,2)$是社区内边缘连接概率。因此,相变阈值是普遍的,在这个意义上,它不依赖于社区大小的比例。通过对中等规模社区的模拟,验证了普遍的相变现象。使用推导出的相变阈值的表达式,我们提出了一个经验的方法来估计这个阈值从现实世界的数据。
2015-06-17 cs.SI physics.soc-ph
Consistency of community detection in networks under degree-corrected stochastic block models
社区检测是网络分析中的一个基本问题,在许多不同的领域有着广泛的应用。随机块模型是一种常用的基于模型的社区检测工具,最近开发了用于检查块模型下社区检测一致性的渐近工具。然而,块模型受到其假设的限制,即社区内的所有节点都是随机等价的,并且对社区内具有枢纽或高度变化的节点度的网络提供了较差的拟合,这在实践中很常见。度修正的随机块模型被提出来解决这个缺点,并允许社区内的节点度的变化,同时保持整体块社区结构。本文建立了度修正随机块模型下社区检测一致性检验的一般理论,并比较了标准模型和度修正模型下的几种社区检测准则。我们展示了哪些标准在哪些模型和约束条件下是一致的,并比较了它们在实践中的相对性能。我们发现,基于度校正块模型,其中包括标准块模型作为一个特殊情况下,方法是一致的,在更广泛的一类模型和模块化类型的方法需要参数约束的一致性,而基于可能性的方法不。另一方面,在实践中,度校正涉及估计更多的参数,根据经验,我们发现只有在社区内的节点度确实高度可变的情况下才值得这样做。我们说明了模拟网络和网络上的政治博客的方法。
2015-03-17 cs.SI math.ST physics.soc-ph
A spectral method for community detection in moderately-sparse degree-corrected stochastic block models
我们考虑度校正随机块模型(DC-SBM)中的社区检测。我们提出了一种基于适当规范的邻接矩阵的谱聚类算法。我们表明,该算法始终恢复块成员的所有,但消失的一部分节点,在政权的最低程度是为了日志$(n)$或更高。恢复成功,即使是非常异质度分布。所使用的算法不依赖于参数作为输入。特别是,它不需要知道社区的数量。
2017-02-07 cs.LG cs.SI math.PR
Scratch Community Blocks: Supporting Children as Data Scientists
在本文中,我们提出了Scratch社区块,一个新的系统,使儿童能够以编程方式访问,分析和可视化数据,他们参与Scratch,一个在线社区学习计算机编程。在其核心,我们的方法涉及到谁分析数据的转变:从成人数据科学家到年轻的学习者自己。我们首先介绍系统的目标和设计,然后通过描述说明其功能的示例项目来演示它。接下来,我们通过一系列案例研究展示了该系统如何让孩子们不仅代表数据和用数据回答问题,而且还对自己的学习和参与进行自我反思。
2017-02-02 cs.CY cs.HC cs.SI
Hierarchical benchmark graphs for testing community detection algorithms
层级组织是复杂系统的一个重要而普遍的特征;为了理解它们的组织,对描述其组成部分之间相互作用的底层(通常是复杂的)网络的研究起着核心作用。许多以前的工作已经表明,许多现实世界中的社会,生物和技术系统的网络呈现层次组织,往往在社区结构的层次结构的形式。为了测试不同的社区检测方法,已经提出了许多人工基准图,但是还没有开发出基准来彻底测试分层社区结构的检测。在本研究中,我们通过扩展基准图的Lancichinetti-Fortunato-Radicchi(LFR)系综来填补这一空缺,采用了Ravasz和Barabási提出的构建分层网络的规则。我们采用这个基准测试三个最流行的社区检测算法,并量化其准确性使用传统的互信息和最近推出的层次互信息。结果表明,Ravasz-Barabási-Lancichinetti-Ravasato-Radicchi(RB-LFR)基准产生了一个复杂的层次结构,构成了一个具有挑战性的基准考虑社区检测方法。
2017-08-23 cs.SI physics.soc-ph
Block-corrected Modularity for Community Detection
针对复杂网络中未知属性驱动的社区易被已知块结构掩盖的问题,提出块校正模块度,搭配谱方法和Louvain类微调算法优化,在合成和真实引用网络上均有效。
2025-08-01 cond-mat.stat-mech cs.SI physics.soc-ph
Improved Community Detection using Stochastic Block Models
针对随机块模型(SBM)检测社区时产生内部不连通社区的问题,提出连接良好聚类(WCC)后处理技术,通过反复移除小边割提升社区连通性,在合成网络上验证可提高聚类精度且适用于百万级节点网络。
2025-02-13 cs.SI
Recognizing number of communities and detecting community structures in complex networks
本文讨论了复杂网络中社团数目的识别和社团结构的检测问题。块模型作为一种直观可行的算法,已成功应用于复杂网络社团结构的检测。为了衡量块模型的质量,我们首先定义一个目标函数WQ值。为了得到网络的块模型B,采用GSA算法,在随机密钥的帮助下优化WQ。在块模型B上执行过程AO(Adding Ones)和RO(Removing Ones)之后,可以清楚地识别网络的社区数量。此外,基于块模型节点排序与社团排序一致的优点,提出了一种新的模糊边界社团结构检测算法,并成功地应用于一些典型网络。最后通过实验验证了该算法的可行性。
2018-03-18 cs.SI physics.soc-ph
Community detection in the sparse hypergraph stochastic block model
University of Washington(华盛顿大学);University of California, San Diego(加州大学圣地亚哥分校)
本文研究了稀疏随机超图中的社团检测问题。Angelini et al.(2015)证明了在由超图随机块模型生成的稀疏超图中,社区检测的模型参数存在一个尖锐的阈值。我们解决了两个块的情况下的猜想的积极的一部分:在阈值以上,有一个谱算法,渐近几乎肯定构建一个分区的超图与真正的分区。我们的方法是Massoulié(2014)为稀疏随机图开发的方法的随机超图的推广。
2021-07-08 cs.LG cs.SI math.CO
Community Detection in the Stochastic Block Model by Mixed Integer Programming
Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio)(里约热内卢天主教大学)
度校正随机块模型(DCSBM)是一种流行的模型,用于生成具有期望度序列的社区结构的随机图。基于DCSBM的社区发现的标准方法是通过最大似然估计(MLE)搜索最有可能产生观测网络数据的模型参数。目前的技术MLE问题的启发式,因此不能保证收敛到最优。我们提出了数学规划公式和精确的解决方案,可以证明找到模型参数和社区分配的最大似然给定的观察图。我们比较这些确切的方法与经典的启发式算法的基础上期望最大化(EM)。精确方法给出的解决方案为我们提供了一种原则性的方法来测量经典化学的实验性能,并比较其不同的变化。
2021-05-04 cs.LG cs.SI
Community Detection in Blockchain Social Networks
在这项工作中,我们考虑区块链网络中的社区发现。我们特别以比特币网络和以太坊网络为例,其中社区发现以不同的方式提供服务。针对比特币网络,我们对传统的社区发现方法进行了修改,并将其应用于交易社交网络,对具有相似特征的用户进行聚类。另一方面,对于以太坊网络,我们定义了一个基于智能合约交易的二分社交图。提出了一种新的社区发现算法,该算法针对图中的低秩信号,基于用户令牌的订阅来发现用户的社区。基于这些结果,设计了两种策略来向同一社区中的用户提供链上广告。我们在真实数据上实现了所提出的算法。通过采用改进的聚类算法,比特币网络中的社区结果与已公布的博彩网站社区的真实情况基本一致。与此同时,我们在真实的以太坊数据上运行了所提出的策略,可视化了结果,并在Ropsten测试网上实现了广告投放。
2021-01-16 cs.IT cs.SI math.IT
Efficient hypothesis testing for community detection in heterogeneous networks
在网络中识别社区是一个基本的和具有挑战性的问题,在许多科学领域的实际重要性。目前的方法要么忽略了节点度的异质分布,要么假设社区数量的先验知识。在这里,我们提出了一个有效的假设检验社区发现的基础上量化图之间的差异。给定一个随机图,零假设是它是度校正的Erdös-Rényi型。我们比较它们之间的差异,通过一个措施,将顶点距离分布,聚类系数分布,和α-中心分布,这是用于我们的假设检验。我们设计了一个两阶段的二分算法,同时发现社区的数量和相应的结构。在合成网络和真实网络上的实验表明,我们的方法优于最先进的方法。
2021-12-21 cs.SI physics.soc-ph
A stochastic block model for community detection in attributed networks
本文提出一种整合节点介数中心性和聚类系数的随机块模型BCSBM,用于属性网络社区检测,能检测多分和混合结构,实验优于五种对比算法。
2023-08-31 cs.SI stat.ML
Partial Recovery Bounds for the Sparse Stochastic Block Model
本文研究了对称两社区随机块模型中社区发现的信息论极限,社区内和社区间的边缘概率分别为$\frac{a}{n}$和$\frac{b}{n}$.我们考虑稀疏设置,其中$a$和$b$不随$n$扩展,并提供平均恢复的社区标签比例的上限和下限。我们提供了一个数值例子,其中的界限是接近匹配的适度值的$a - b$,并在极限匹配的$a-b$增长大。
2016-04-04 cs.IT cs.SI math.IT
Community Detection in Weighted Multilayer Networks with Ambient Noise
我们介绍了一种新的模型,多层加权网络,占全球噪声除了本地信号。该模型类似于多层随机块模型(SBM),但关键的区别在于,块之间的相互作用在整个系统中是常见的,我们称之为环境噪声。单个块也由这些固定的环境参数表征,以表示不属于其他任何位置的成员。这种方法允许同时将块聚类和类型化为信号或噪声,以便更好地理解它们在整个系统中的作用,这是现有块模型所不能解释的。我们采用了一种新的应用分层变分推理,共同检测和区分类型的块。我们把这种多层加权网络模型称为随机块(带)环境噪声模型(SBANM),并开发了一个相关的社区发现算法。我们将这种方法应用于费城神经发育队列中的受试者,以发现与精神病相关的并发精神病理学受试者的社区。
2022-07-24 cs.SI physics.soc-ph stat.AP
Community Detection Algorithm Combining Stochastic Block Model and Attribute Data Clustering
Tohoku University(东北大学);Yamagata University(山形大学)
我们提出了一种新的算法来检测社区结构的网络,利用网络结构和顶点属性数据。假设我们有网络结构和顶点属性数据,即分配给每个顶点的信息与它所属的社区相关联。本文所解决的问题是从网络结构和顶点属性数据的信息中检测社区结构。我们的方法是基于贝叶斯方法,模型的后验概率分布的社区标签。在我们的方法中的社区结构的检测是通过使用信念传播和EM算法。我们使用计算机生成的网络和真实世界的网络数值验证了我们的方法的性能。
2016-07-21 cs.LG cs.SI physics.soc-ph
Regularized Stochastic Block Model for robust community detection in complex networks
随机块模型能够生成不同的网络分区,从传统的分离社区到分离结构。由于度校正随机块模型没有指定所需的混合模式,因此发现网络节点的最可能分区的推理算法很可能陷入对数似然的局部最优解。在这里,我们引入了一个新的模型约束节点的内部度比的目标函数,以稳定的块模型的推断从观察到的网络数据。给定正则化模型,推理算法,如马尔可夫链蒙特卡罗,可靠地找到由单个参数的值指示的连续或离散结构。实验结果表明,当网络中传统的排斥性社团结构不强时,度修正随机块模型的推理往往陷入局部最优解,而我们提出的模型的推理则能快速收敛到期望的排斥性或排斥性分区.
2019-03-28 cs.SI physics.soc-ph
Exact Community Recovery in Correlated Stochastic Block Models
Northwestern University(西北大学);Princeton University(普林斯顿大学)
我们考虑从多个相关网络中学习潜在社区结构的问题。研究了具有两个平衡社区的边相关随机块模型,重点研究了平均度与顶点数成对数关系的情形。我们的主要结果得出了精确的信息理论的阈值,使用多个相关图的确切社区恢复。该阈值捕获社区恢复和图匹配任务之间的相互作用。特别是,我们发现和表征的参数空间,其中精确的社区恢复是可能的,使用多个相关的图形,即使(1)这是信息理论上不可能使用一个单一的图形和(2)精确的图形匹配也是信息理论上不可能的。在这个制度中,我们开发了一种新的算法,仔细综合算法从社区恢复和图匹配文献。
2022-03-29 cs.IT cs.LG cs.SI
Differentially Private Online Community Detection for Censored Block Models: Algorithms and Fundamental Limits
本文针对删失块模型下的动态社区,提出在局部和中心边差分隐私下的联合变化检测与社区估计方法,并给出隐私、延迟与精确恢复间权衡的理论条件及实验验证。
2025-10-07 cs.CR cs.IT cs.SI
Community Detection in the Labelled Stochastic Block Model
University of Massachusetts(马萨诸塞大学);Technicolor(特艺集团);INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学院);INRIA-Microsoft Research Joint Centre(法国国家信息与自动化研究所-微软研究院联合中心)
我们考虑的问题,社区发现从观察到的个人之间的相互作用,在多种类型的相互作用是可能的。我们使用标记的随机块模型来表示观察到的数据,其中标签对应于相互作用类型。专注于两个社区的情况下,我们推测一个阈值的重建隐藏的社区的方式,是与真正的分区的问题。为了证实这一猜想,我们证明了给定的阈值正确地识别了从不敏感到敏感的信念传播行为的转变。我们进一步证明了相同的阈值对应于树模型上的相关推理问题从不可行到可行的过渡。最后,数值结果使用信念传播的社区发现进一步支持的猜想。
2012-09-13 cs.LG cs.SI math.PR
Survey-Based Calibration of the One-Community and Two-Community Social Network Models Used for Testing Singapore's Resilience to Pandemic Lockdown
本研究通过调查2,057名新加坡居民校准动态社交网络模型,模拟疫情封锁下的社会恢复,发现新加坡可在1-2个月内恢复,为量化社会韧性提供方法。
2025-03-26 cs.SI physics.soc-ph
Community Detection in Bipartite Networks with Stochastic Blockmodels
University of Colorado(科罗拉多大学);BioFrontiers Institute(生物前沿研究所)
在二分网络中,社区结构被限制为区分性的,因为一种类型的节点根据与另一种类型的节点的共同连接模式进行分组。这使得随机块模型(SBM),一个高度灵活的生成模型的网络块结构,一个直观的选择二分社区检测。然而,SBM的典型公式不使用二分网络的特殊结构。在这里,我们介绍了贝叶斯非参数制定的SBM和相应的算法,以有效地找到社区的二分网络吝啬地选择社区的数量。当数据有噪声时,biSBM改进了一般SBM的社区检测结果,将模型分辨率限制提高了$\sqrt{2}$倍,并扩展了我们对与社区检测任务相关的复杂优化环境的理解。在biSBM和相关的高分辨率分层SBM的先验分布的某些条款的直接比较也揭示了一个违反直觉的制度的社区检测问题,由更小和更稀疏的网络,其中非分层模型优于其更灵活的对应。
2020-09-29 cs.LG cs.SI physics.soc-ph
Hierarchical Stochastic Block Model for Community Detection in Multiplex Networks
The University of California at Los Angeles(加利福尼亚大学洛杉矶分校);Federal University of Rio de Janeiro(里约热内卢联邦大学);The University of Notre Dame(圣母大学)
多路复用网络在许多领域变得越来越普遍,并且已经成为对真实网络的复杂性进行建模的强大工具。有一个关键的需求,为多路复用网络,可以考虑到跨不同层的潜在的依赖关系,特别是当目标是社区发现的推理模型。我们提出了一种新的和有效的贝叶斯模型,在多路复用网络中的社区发现有限的文献。我们的方法的一个关键特征是能够在不同的网络层对不同的社区进行建模。相比之下,许多现有的模型假设所有层都有相同的社区。此外,我们的模型自动在每一层选择必要数量的社区(通过真实数据示例验证)。这是有吸引力的,因为决定社区的数量是社区发现的一个具有挑战性的方面,特别是在多重设置中,如果允许社区跨层改变的话。借用分层贝叶斯建模的思想,我们使用分层Dirichlet之前跨层的社区标签建模,允许其结构中的依赖性。给定社区标签,假设每一层都有一个随机块模型(SBM)。我们开发了一个有效的切片采样器,用于采样社区标签的后验分布以及社区之间的链接概率。在这样做的过程中,我们解决了一些独特的挑战所带来的耦合复杂的可能性SBM与标签上的先验的层次性质。对模拟和真实数据进行了广泛的实证验证,证明了该模型优于单层替代方案的性能,以及发现真实网络中有趣结构的能力。
2023-02-12 cs.LG cs.SI stat.ME
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
本文研究随机块模型下社区检测的边差分隐私谱聚类方法,提出隐私算法并刻画隐私预算与恢复准确性之间的权衡,同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG
Fundamental limits of community detection from multi-view data: multi-layer, dynamic and partially labeled block models
本文通过统一理论框架研究多视角数据(多层、动态、部分标注块模型)中社区发现的互信息与尖锐恢复阈值,并提出基于近似消息传递的迭代算法。
2024-01-16 cs.IT cs.SI math.IT
Testing for Global Network Structure Using Small Subgraph Statistics
我们研究的问题,测试社区结构的网络中使用的关系,观察到的频率的小子图。我们提出了一个简单的测试社区存在的基础上,只有三个节点的子图的频率。检验统计量被证明是渐近正态的零假设下,没有社区结构,并有权力接近一个复合备择假设下的度校正随机块模型。我们还推导出一个版本的测试,适用于多元高斯数据。我们的方法实现了接近最佳的检测率的存在下的社区结构,在政权的信噪比太弱,明确估计社区本身,使用现有的计算效率高的算法。我们演示了该方法如何有效地检测社交网络中的结构,科学文章的引用网络,以及标准普尔500指数公司之间的股票收益率的相关性。
2017-10-16 cs.SI math.ST stat.AP
Hypothesis Testing for Automated Community Detection in Networks
University of California, Berkeley(加州大学伯克利分校)
网络中的社区检测是一个关键的探索性工具,在不同的领域中有着广泛的应用,从在社会和生物网络中寻找社区到在万维网中识别链接农场。在网络中寻找社区或簇的问题受到了统计学、物理学和计算机科学的广泛关注。然而,大多数聚类算法假设知道聚类数k。在本文中,我们提出了自动确定k生成的图从随机块模型。我们的主要贡献是双重的,首先,我们在理论上建立了适当的中心和缩放邻接矩阵的主特征值的极限分布,并使用该分布进行假设检验。其次,我们利用这个测试设计了一个递归二分算法。在真实网络上使用可量化的分类任务,我们证明了我们的算法在学习重叠集群方面优于现有的概率模型,并且在未标记的网络上,我们发现了嵌套的社区结构。
2013-11-20 cs.LG cs.SI math.ST
Testing Network Structure Using Relations Between Small Subgraph Probabilities
我们研究了利用小子图的观测频率之间的关系来测试网络结构的问题。考虑统计量\begin{align*} T_3 & =(\text{edge frequency})^3 - \text{triangle frequency}\\ T_2 & =3(\text{edge frequency})^2(1-\text{edge frequency}) - \text{V-shape frequency} \end{align*},在Erdens-Rényi零模型下证明了$(T_2, T_3)$的中心极限定理.然后,我们分析了在一般替代模型下相关的$χ^2$检验统计量的功效。特别是,当替代方案是一个$k$ -社区随机块模型,与$k$未知,测试的权力接近一。此外,所需的信噪比严格弱于社区检测所需的信噪比。我们还研究了三节点子图上的统计量与其他统计量的关系,并分析了在两种自然算法下的误差。总之,我们的研究结果表明,全球网络的结构特征可以推断出当地的子图频率,而不需要明确估计的全球社区结构。
2017-04-22 cs.SI math.ST stat.ME
Dynamic Network Sampling for Community Detection
我们提出了一个动态的网络采样计划,以优化块恢复随机块模型(SBM)的情况下,它是昂贵的,以观察整个图。从理论上讲,我们提供了我们提出的最佳动态采样方案的理由,通过最佳动态采样信息。实际上,我们评估的性能,块恢复,我们的方法在几个真正的数据集从不同的域。理论和实践结果表明,我们的方法可以确定的顶点,有最大的块结构的影响,使人们可以只检查它们之间是否有边缘,以节省大量的资源,但仍然恢复块结构。
2022-12-16 cs.SI math.ST stat.CO
Testing Changes in Communities for the Stochastic Block Model
Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出并分析了\textit{community goodness-of-fit and two-sample testing}的随机块模型(SBM)的问题,其中出现的变化,由于修改社区成员的节点。出于实际应用的需要,我们考虑了具有挑战性的稀疏制度,其中预期的节点度是恒定的,并且社区间平均度($b$)与社区内平均度($a$)成比例地缩放。先前的工作已经根据基于$a$和$b$的“信噪比”($\mathrm{SNR}$)来明确地表征部分或全部社区恢复。对于这两个问题,我们提出了计算效率高的测试,可以成功远远超出的制度,恢复社区成员甚至是可能的。总的来说,对于大的变化,$s \gg \sqrt{n}$,我们只需要$\mathrm{SNR}= O(1)$,而基于$O(s)$错误的社区恢复的简单测试需要$\mathrm{SNR}= Θ(\log n)$。相反,在小的变化制度,$s \ll \sqrt{n}$,通过信息理论的下限,我们表明,令人惊讶的是,没有算法可以做得比天真的算法,首先估计社区高达$O(s)$错误,然后检测变化。我们验证这些现象数值上的SBM和现实世界的数据集,以及马尔可夫随机场,我们只观察节点数据,而不是链接的存在。
2019-10-31 cs.IT cs.LG cs.SI
Minimax Rates of Community Detection in Stochastic Block Models
近年来,网络分析在统计学、计算机科学、概率论和应用数学等领域得到了越来越多的关注。随机块模型(SBM)的社团检测是网络分析中研究最多的课题。已经提出了许多方法。在各种条件下得到了一些漂亮而有意义的相变结果。在本文中,我们提供了一个一般的极大极小理论的社区检测。它给出了一个广泛的设置,包括均匀和非均匀的SBM,密集和稀疏的网络,有限的和不断增长的社区数量的失配率的极大极小率。极大极小率是指数的,不同于我们在统计文献中经常看到的多项式率。结果的直接后果是建立强一致性(精确恢复)以及弱一致性(部分恢复)的阈值现象。我们得到的上界的惩罚似然型方法的范围。该下界是通过一个新的减少从一个全局的不匹配率的一个节点的局部聚类问题,通过一个交换的属性。
2015-11-16 cs.SI math.ST stat.TH
On the relationship between Gaussian stochastic blockmodels and label propagation algorithms
社区发现问题是近年来备受关注的问题。已经提出了许多方法来发现网络中的社区。在本文中,我们提出了一个高斯随机块模型,使用高斯分布来拟合非重叠社区发现网络中的边的权重。该模型的最大似然估计具有与一般的具有节点偏好的标签传播相同的目标函数。在最大似然估计下,特定顶点的节点偏好结果是与社区内特征向量中心度(该顶点社区内的子图的邻接矩阵的主特征向量中的对应条目)成比例的值。此外,我们的模型的约束版本的最大似然估计是高度相关的标签传播算法的另一个扩展,即,标签传播算法下的约束。实验结果表明,所提出的高斯随机块模型在各种基准网络上表现良好。
2015-01-27 cs.SI physics.soc-ph
Consistency of community structure in complex networks
网络中最广泛使用的社区发现技术,包括基于模块化、统计推断和信息论论证的方法,都是通过优化衡量网络分区质量的目标函数来工作的。然而,有一个很好的理由可以证明,在这样一个目标函数下,人们不应该只看单一的最佳社区结构,而应该选择得分高的结构。如果这样做,人们通常会发现所得的结构显示出相当大的变化,这已经被认为是这些社区发现方法不可靠的证据,因为它们似乎不能给出一致的答案。在这里,我们认为,经过仔细检查,发现的结构实际上是一致的,在某种程度上。具体来说,我们表明,他们都可以组装从一组底层的“积木”,组的网络节点,通常被发现在同一个社区。不同的群落结构对应于不同的区块排列,但区块本身在很大程度上是不变的。我们提出了一个信息理论的方法,发现在特定的网络中的构建块,并证明了它与几个示例应用程序。我们的结论是,传统的社区发现并不像有些人认为的那样失败,事实上,它对网络结构提供了大量的洞察力,尽管可能并不完全像以前想象的那样。
2019-08-26 cs.SI physics.soc-ph
SamBaS: Sampling-Based Stochastic Block Partitioning
Virginia Tech(弗吉尼亚理工大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
社区发现是一个广泛研究的问题,其应用范围从网络到生物信息学。由于真实世界数据量的快速增长,人们对加速当代社区发现算法的兴趣越来越大。然而,更精确和统计上更鲁棒的方法往往难以并行化。一种这样的方法是随机块划分(SBP)-一种社区发现算法,适用于具有复杂和异构社区结构的图。在本文中,我们提出了一个基于采样的SBP(SamBaS)的稀疏图上加速SBP。我们描述了各种图形参数如何影响SambaS的社区发现的加速和结果质量,并量化其中的权衡。为了在没有已知真实社区的真实网络图上评估SamBas,我们引入了分区质量分数(PQS),这是一种在与F1分数的相关性方面优于模块化的评估指标。总体而言,SambaS在保持结果质量的同时实现了高达10倍的加速(甚至在某些图形上将结果质量提高了150%以上,相对于F1分数)。
2023-01-20 cs.LG cs.SI
On spectral algorithms for community detection in stochastic blockmodel graphs with vertex covariates
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pittsburgh(匹兹堡大学)
在网络推理应用中,通常需要检测社区结构,即根据某种相似性度量将顶点聚类成组或块。除了邻接矩阵之外,许多真实网络还涉及顶点协变量,这些协变量携带关于图中底层块结构的关键信息。为了评估这些协变量对块恢复的影响,我们提出了一个比较分析的两个基于模型的谱算法的顶点聚类随机块模型图与顶点协变量。第一种算法只使用邻接矩阵,直接估计块分配。第二种算法将邻接矩阵和顶点协变量结合到块分配的估计中,并且量化了顶点协变量对块分配的估计结果的显式影响。我们采用的分析比较算法的性能,并获得信息理论的分析比为某些模型的兴趣。分析结果和模拟表明,第二种算法往往是首选:我们往往可以更好地估计诱导块分配,首先估计顶点协变量的影响。此外,实际数据的例子也表明,第二种算法具有揭示底层块结构和考虑观察到的顶点异构性在实际应用中的优势。我们的研究结果强调了区分观察到的和未观察到的因素,可以影响图中的块结构的重要性。
2021-08-04 cs.LG cs.SI math.ST
Matrix Concentration for Random Signed Graphs and Community Recovery in the Signed Stochastic Block Model
本文针对随机符号图建立邻接矩阵与拉普拉斯矩阵的强集中不等式,并应用于符号随机块模型,证明谱隙集中于2s且第一特征向量符号可弱一致地恢复平衡社区结构。
2024-12-29 cs.LG cs.SI stat.ML
Stochastic Block Models with Multiple Continuous Attributes
随机块模型(SBM)是一种描述网络社团结构的概率模型。通常,仅使用邻接矩阵来执行SBM参数推断。在本文中,我们考虑的情况下,节点有一个相关的向量的连续属性,也用于学习节点到社区的分配和相应的SBM参数。虽然这种假设对于每个应用程序都是不现实的,但我们的模型假设与网络社区中的节点相关联的属性可以由一个常见的多变量高斯模型来描述。在这个增强的,归因的SBM中,目标是同时学习SBM连接概率与描述每个社区的多变量高斯参数。虽然最近的例子在文献中,结合连接和属性信息通知社区发现,我们的模型是第一个增强的随机块模型来处理多个连续属性。这提供了生物数据的灵活性,例如,通过来自多个实验模态的连续测量来增强连接信息。由于缺乏标记的网络数据往往使社区发现的结果难以验证,我们强调我们的模型的有用性的两个网络预测任务:链接预测和协同过滤。作为拟合该属性随机块模型的结果,可以在信息的互补源(分别为连接性或属性)的情况下预测新节点的属性向量或连接性模式。我们还强调了两个生物的例子,其中属性随机块模型提供了令人满意的性能,在链接预测和协同过滤任务。
2018-03-07 cs.SI physics.soc-ph stat.ML
A penalized inference approach to stochastic block modelling of community structure in the Italian Parliament
我们分析了意大利众议院的法案共同赞助网络。与其他议会相比,众议院的一个显著特点是政治团体数量众多。我们的分析旨在推断这些群体之间的合作模式,从数据的法案coordinships。我们提出了一个扩展的随机块模型的边值图和团体生产力和政党之间的合作的措施。由于所提出的模型包含大量的参数,我们追求一种惩罚似然方法,使我们能够推断出一个稀疏的简化图显示政党之间的合作。
2017-07-31 cs.SI stat.AP
Fragmentation Coagulation Based Mixed Membership Stochastic Blockmodel
University of Alberta(阿尔伯塔大学);University of New South Wales(新南威尔士大学);University of Social Sciences, Poland(波兰社会科学大学)
混合隶属度随机块模型(MMSB)是一种适用于学习网络数据复杂隐藏结构的贝叶斯关系模型。然而,目前的MMSB模型存在两个问题:(1)先验信息(如实体的社区结构信息)不能很好地嵌入到模型中;(2)社区演化不能在文献中很好地描述。因此,我们提出了一个非参数的碎片凝聚的混合成员随机块模型(fcMMSB)。我们的模型执行基于实体的聚类来捕获实体的社区信息和基于链接的聚类来同时获得链接的组信息。此外,所提出的模型推断网络结构和模型的社区演变,表现为出现和消失的社区,使用离散破碎凝聚过程(DFCP)。通过整合社区结构与组相容性矩阵,我们得到了一个广义版本的MMSB。采用Polya Gamma(PG)方法实现了一种有效的吉布斯抽样方案用于后验推理。我们验证我们的模型合成和真实世界的数据。
2020-01-17 cs.LG cs.SI stat.ML
Clustering Network Layers With the Strata Multilayer Stochastic Block Model
多层网络是一种用于同时捕获一组节点之间的多种类型关系的有用数据结构。在这样的网络中,每一个关系定义都会产生一个层。虽然每一层都提供了自己的信息集,但跨层的社区结构可以共同用于发现和量化节点之间的底层关系模式。为了从多层网络中简洁地提取信息,我们建议识别和组合社区结构中具有有意义相似性的层集。本文描述了一种多层群落结构的概率模型--“地层多层随机块体模型”(sMLSBM)。该模型的中心扩展是存在层组,称为“层”,其被定义为使得给定层中的所有层具有由公共随机块模型(SBM)描述的社区结构。也就是说,层中的层表现出类似的节点到社区分配和SBM概率参数。将sMLSBM拟合到多层网络提供了产生节点到社区和层到层分配的联合聚类,其在推断期间相互协作地辅助。我们描述了一种算法,用于分离层到其适当的地层和推断技术,用于估计每个地层的SBM参数。我们使用合成网络和从人类微生物组项目收集的数据推断的多层网络来演示我们的方法。
2015-10-09 cs.SI physics.soc-ph stat.ML
Achieving Optimal Misclassification Proportion in Stochastic Block Model
社区发现是网络数据分析中的一个基本统计问题。已经提出了许多算法来解决这个问题。这些算法中的大多数不能保证实现问题的统计最优性,而实现一般参数空间的信息理论极限的程序在计算上是不可处理的。本文针对弱正则条件下的随机块模型,提出了一种计算上可行的两阶段方法,该方法在误分类率方面具有最优的统计性能.我们的两个阶段的过程包括一个通用的细化步骤,可以采取广泛的弱一致的社区检测程序作为初始化,细化阶段适用于并输出一个社区分配实现最佳的误分类比例与高概率。数值结果表明了新算法的有效性。
2015-10-03 cs.SI math.ST stat.ME
On Equivalence of Likelihood Maximization of Stochastic Block Model and Constrained Nonnegative Matrix Factorization
复杂网络中社团结构的发现对于理解网络的拓扑结构和功能具有重要意义,随机块模型和非负矩阵分解是社区发现的两种常用方法,它们是从不同的角度提出的。本文研究了它们之间的关系。在非负矩阵分解的框架下,对随机块模型的似然函数的对数进行了重新表述。这两种方法除了模型等价外,所采用的算法也不同。初步的数值实验进行了比较的算法的行为。
2017-07-10 cs.SI
Active Learning for Community Detection in Stochastic Block Models
University of Southern California(南加州大学)
随机块模型(SBM)是网络科学和机器学习中随机图的一个重要生成模型,可用于基准测试社区发现(或聚类)算法。对称SBM生成具有$2n$节点的图,这些节点聚类成两个相等大小的社区。节点在社区内以概率$p$连接,在不同社区之间以概率$q$连接。我们考虑$p=a\ln (n)/n$和$q=b\ln (n)/n$的情况。在这种情况下,最近表明,以高概率(w. h. p.)仅使用该图是可能的,当且仅当B-H(CH)发散$D(a,b)=(\sqrt{a}-\sqrt{b})^2 \geq 1$。在这项工作中,我们研究了社区发现查询有限数量的所选节点的标签(即,主动学习)。我们的主要结果是表明,在一定条件下,采样标签的一个消失的小部分节点(一个数字次线性$n$)是足够的精确社区发现,即使当$D(a,b)<1$。此外,我们提供了一个有效的学习算法,恢复社区成员的所有节点w. h. p.,只要采样点的数量满足充分条件。我们还表明,恢复是不可能的,如果观察到的标签的数量小于$n^{1-D(a,b)}$。通过数值实验证明了我们的结果的有效性。
2016-05-08 cs.LG cs.SI math.PR
Data clustering using stochastic block models
它已被证明,社区发现算法比其他更流行的方法,如k-means聚类任务的工作更好。事实上,基于网络分析的方法通常优于更广泛使用的方法,并且不会受到我们在其他地方注意到的一些缺点的影响,例如,聚类k的数量通常必须提前知道。然而,随机块模型,这是众所周知的执行良好的社区发现,尚未测试这项任务。我们讨论了为什么这些模型不能直接应用于这个问题,并测试的随机块模型的加权图的泛化的性能,并将它们与其他聚类技术进行比较。
2017-07-24 cs.SI
Matrix Factorization Framework for Community Detection under the Degree-Corrected Block Model
University of Mons(蒙斯大学)
本文提出基于度校正块模型的社区检测矩阵分解框架,通过将推断问题转化为约束非负矩阵分解问题,提出新的社区检测方法和理论支持的初始化策略,实现高效且鲁棒的社区检测。
2026-11-09 cs.SI math.OC stat.ML
Community Detection and Stochastic Block Models
本专著综述了随机块模型(SBM)中社区检测的基本极限,涵盖信息论与计算权衡及精确、部分、弱恢复要求,并系统推导了图分割、半定规划、置信传播及谱方法等主要算法。
2023-10-25 cs.CC cs.IT cs.SI
Exponential random graph models for networks with community structure
社区结构组织是现实网络的重要特征之一,传统的网络模型无法再现这一特征。因此,这些模型作为测试社区检测算法的基准图是无用的。它们也不足以预测真实网络的各种性质。我们打算用这份文件来填补这一空白。我们开发了一个指数随机图的方法来处理具有社团结构的网络。为此,我们主要建立在块模型的思想上。我们认为,经典的块模型和它的度校正对应,并研究他们的许多属性分析。我们发现,在度校正块模型中,节点度显示出一个有趣的缩放属性,这让人想起在现实世界的分形网络中观察到的。的缩放功能来作为一个惊喜,特别是在这项研究中,与文献中所建议的,缩放属性不归因于任何特定的网络建设过程。这是度校正块模型的内在特征。一个简短的描述蒙特卡罗模拟的模型也给出了希望是有用的其他工作在该领域。
2013-05-17 cond-mat.dis-nn cs.SI physics.soc-ph
Algorithm independent bounds on community detection problems and associated transitions in stochastic block model graphs
我们推导出严格的界限,定义良好的社区结构在复杂网络的随机块模型(SBM)基准。特别是,我们分析了社区间的“噪音”(社区间的边缘)对任何“社区检测”算法的能力,正确地分配到一个种植分区,一个问题,已被证明是NP完全的标准再现组节点的影响。我们的结果不依赖于任何一个特定的算法的使用,也不依赖于推理的局限性的分析。相反,我们把它的头上的问题和工作向后检查时,在第一位,定义良好的结构可能存在于SBMs。我们在这里介绍的方法可以潜在地应用到其他计算问题。社区检测算法的目标是将给定的网络划分为最优不相交的子图(或社区)。类似于k-SAT和其他组合优化问题,“社区检测”表现出不同的阶段。处于“不可解阶段”的网络缺乏明确的结构,因此没有有意义的划分。可解系统分裂成两个完全不同的阶段:“困难”阶段和“容易”阶段。正如它的名字一样,在简单阶段,分区很容易通过已知的算法实现。当网络处于硬阶段时,它仍然具有底层结构,但要找到一个可以在多项式时间内检查的有意义的分区,需要进行详尽的计算工作,并且随着图的大小而迅速增加。当考虑在一起,(i)严格的结果,我们在这里报告的图形时,有一个基本的结构和(ii)最近的结果有关的限制,而一般的算法,建议硬相的界限。
2014-07-10 cond-mat.stat-mech cs.SI physics.soc-ph
A Sparse Completely Positive Relaxation of the Modularity Maximization for Community Detection
在本文中,我们考虑的社区检测问题下的随机块模型(SBM)的假设或度相关的随机块模型(DCSBM)的假设。社区检测问题的模块度最大化公式一般是NP困难的。针对模块度最大化问题,提出了一种稀疏的低秩完全正松弛算法,并给出了一种有效的逐行(RBR)型块坐标下降(BCD)算法,证明了$\mathcal{O}(1/\sqrt{N})$收敛速度稳定点的速度,其中$N$为迭代次数.构造了一种快速舍入方案来从解中检索社区结构。非渐近的高概率界的错误分类率的建立,以证明我们的方法。我们进一步发展了一个异步并行RBR算法,以加快收敛速度。在人工网络和真实网络上的大量数值实验表明,该方法在聚类精度和数值效率方面都具有优势。我们的数值结果表明,新提出的方法是一个非常有竞争力的替代稀疏网络上的社区检测超过50万个节点。
2017-08-03 cs.SI math.OC
The Geometric Block Model
为了捕获许多社区发现问题的固有几何特征,我们提出使用一种新的社区随机图模型,我们称之为几何块模型。几何块模型推广了随机几何图,就像随机块模型推广了Erdos-Renyi随机图一样。它也是随机社区模型的自然扩展,受到社区发现理论和实践进展的启发。虽然是一个基本的理论兴趣的话题,我们的主要贡献是表明,许多实际的社区结构更好地解释了几何块模型。我们还表明,一个简单的三角形计数算法来检测社区的几何块模型是近最佳的。事实上,即使在该制度的平均度的图形增长的顶点数(稀疏图),我们表明,该算法执行得非常好,无论是理论上和实践中。相比之下,三角形计数算法是远远不是最佳的随机块模型。我们在真实和合成数据集上模拟了我们的结果,以显示新模型和我们的算法的优越性能。
2018-01-24 cs.DS cs.SI stat.ML
Percolation in the Stochastic Block Model
Sharon High School(沙伦高中);Network Science Institute, Northeastern University(东北大学网络科学研究所);Complexity Science Hub, Vienna(维也纳复杂性科学中心);Department of Physics, Northeastern University(东北大学物理系);Department of Mathematics, Northeastern University(东北大学数学系);Department of Electrical & Computer Engineering, Northeastern University(东北大学电气与计算机工程系)
本文研究社区结构随网络规模演化的随机块模型序列中的渗流,发现临界平均度通常不等于1,并提出了社区尺度分支过程方法以准确预测相变,扩展了渗流研究至更现实场景。
2026-10-21 cond-mat.stat-mech cs.SI math.PR
Neural Stochastic Block Model & Scalable Community-Based Graph Learning
Amazon Alexa AI(亚马逊Alexa人工智能部门);Temple University(天普大学)
本文提出了一种新的可扩展的基于社区的图学习神经框架。该框架通过社区发现和链接预测的任务来学习图拓扑,通过我们提出的联合SBM损失函数进行优化,该函数来自经典随机块模型(SBM)的似然函数的非平凡适应。与SBM相比,我们的框架是灵活的,自然允许软标签和消化复杂的节点属性。主要目标是对复杂图形数据进行有效评估,因此我们的设计旨在适应大数据,并确保有一个有效评估的单一向前传递。对于大型图,如何有效地利用其底层结构进行各种图学习任务仍然是一个悬而未决的问题。以前可能是繁重的工作。通过我们基于社区的框架,这变得不那么困难,并允许任务模型基本上即插即用并执行联合训练。我们目前正在研究两个特定的应用程序,图对齐和异常相关检测,并讨论如何利用我们的框架来解决这两个问题。大量的实验证明了我们的方法的有效性。我们还贡献了经典技术的调整,我们发现这对性能和可扩展性很有帮助。例如,1)GAT+,GAT(图注意力网络)的改进设计,缩放余弦相似性,以及基于卷积/注意力和基于随机游走的神经图模型的统一实现。
2020-05-16 cs.LG cs.SI stat.ML