A Generic Sample Splitting Approach for Refined Community Recovery in Stochastic Block Models
我们提出并分析了一个通用的方法,在随机块模型和度校正块模型的社区恢复。当期望节点度为$\log n$阶或更高阶时,该方法能够以较高的概率准确地恢复出隐藏社区。该方法从传统社区恢复算法给出的大致正确的社区划分出发,通过交叉聚类对社区划分进行细化。我们的研究结果简化和扩展了以前的一些工作,确切的社区恢复,发现样本分裂所发挥的关键作用。该方法简单,可以用许多实用的社区恢复算法来实现。
2014-11-06 math.ST stat.ML stat.TH
Community Detection in Degree-Corrected Block Models
社区发现是网络数据分析的核心问题。给定一个网络,社区检测的目标是将网络节点划分为少量的集群,这通常有助于揭示有趣的结构。本文研究度校正块模型(DCBMs)中的社区发现问题。我们首先推导出在适当的条件下,错误分类比例损失问题的渐近极小极大风险。极大极小风险取决于度校正参数,社区规模,平均内和社区之间的连接在一个直观的和可解释的方式。此外,我们提出了一个多项式时间算法自适应执行一致的,甚至渐近最优的社区检测DCBM。
2016-07-24 cs.SI math.ST stat.ML
Testing Changes in Communities for the Stochastic Block Model
Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出并分析了\textit{community goodness-of-fit and two-sample testing}的随机块模型(SBM)的问题,其中出现的变化,由于修改社区成员的节点。出于实际应用的需要,我们考虑了具有挑战性的稀疏制度,其中预期的节点度是恒定的,并且社区间平均度($b$)与社区内平均度($a$)成比例地缩放。先前的工作已经根据基于$a$和$b$的“信噪比”($\mathrm{SNR}$)来明确地表征部分或全部社区恢复。对于这两个问题,我们提出了计算效率高的测试,可以成功远远超出的制度,恢复社区成员甚至是可能的。总的来说,对于大的变化,$s \gg \sqrt{n}$,我们只需要$\mathrm{SNR}= O(1)$,而基于$O(s)$错误的社区恢复的简单测试需要$\mathrm{SNR}= Θ(\log n)$。相反,在小的变化制度,$s \ll \sqrt{n}$,通过信息理论的下限,我们表明,令人惊讶的是,没有算法可以做得比天真的算法,首先估计社区高达$O(s)$错误,然后检测变化。我们验证这些现象数值上的SBM和现实世界的数据集,以及马尔可夫随机场,我们只观察节点数据,而不是链接的存在。
2019-10-31 cs.IT cs.LG cs.SI
Consistency of community detection in networks under degree-corrected stochastic block models
社区检测是网络分析中的一个基本问题,在许多不同的领域有着广泛的应用。随机块模型是一种常用的基于模型的社区检测工具,最近开发了用于检查块模型下社区检测一致性的渐近工具。然而,块模型受到其假设的限制,即社区内的所有节点都是随机等价的,并且对社区内具有枢纽或高度变化的节点度的网络提供了较差的拟合,这在实践中很常见。度修正的随机块模型被提出来解决这个缺点,并允许社区内的节点度的变化,同时保持整体块社区结构。本文建立了度修正随机块模型下社区检测一致性检验的一般理论,并比较了标准模型和度修正模型下的几种社区检测准则。我们展示了哪些标准在哪些模型和约束条件下是一致的,并比较了它们在实践中的相对性能。我们发现,基于度校正块模型,其中包括标准块模型作为一个特殊情况下,方法是一致的,在更广泛的一类模型和模块化类型的方法需要参数约束的一致性,而基于可能性的方法不。另一方面,在实践中,度校正涉及估计更多的参数,根据经验,我们发现只有在社区内的节点度确实高度可变的情况下才值得这样做。我们说明了模拟网络和网络上的政治博客的方法。
2015-03-17 cs.SI math.ST physics.soc-ph
Non-Asymptotic Chernoff Lower Bound and Its Application to Community Detection in Stochastic Block Model
在分类问题中,贝叶斯误差概率的上界是贝叶斯系数。本文给出了Bayes误差概率的sharp Beschoff型界。在非渐近条件下,新的界不仅是Bayes误差概率的上界,而且是Bayes误差概率的下界。此外,我们还将这一结果应用于随机块模型中的社区发现。作为一个聚类问题,社区检测的最优差错率可以用我们的Bauffff型界来表征。这可以通过在特定类别的参数空间上导出极大极小错误率来形式化,然后通过采用EM类型更新的多个步骤的可行算法来实现这样的差错率。
2018-12-29 math.ST stat.TH
Two-sample Test of Community Memberships of Weighted Stochastic Block Models
假设对同一组节点观察到两个网络,其中每个网络假定从加权随机块模型生成。本文考虑的问题,测试是否社区成员的两个网络是相同的。提出了一种基于奇异子空间距离的检验统计量。在稠密图加权随机区组模型下,给出了所提出的检验统计量的极限分布。仿真结果表明,该检验在稠密图下具有正确的经验1型误差。该测试在经验功效方面也表现得与预期相同,当块内和块间分布接近时,显示逐渐变化,当两个分布不那么接近时,达到1,其中两个分布的接近程度由Renyi发散度表征1/2阶。安然电子邮件网络被用来证明所提出的测试。
2018-11-30 math.ST stat.TH
Consistent Bayesian community recovery in multilayer networks
揭示网络中节点之间的潜在关系是网络分析中最重要的任务之一。利用各种学科的工具和技术,为不同的情况开发了许多社区恢复方法。尽管最近对多层网络中的社区恢复感兴趣,但关于估计准确性的理论结果却很少。给定一个多层,例如时间,网络和多层随机块模型,我们推导出足够的块内和块间连通性参数之间的分离的界限,以实现后验精确和几乎精确的社区恢复。这些条件是一个众所周知的社区检测的单层随机块模型的阈值相媲美。仿真研究表明,推导出的界限转化为分类精度,提高了观察层的数量增加。
2022-02-11 math.PR math.ST stat.TH
Community recovery in non-binary and temporal stochastic block models
Inria(法国国家信息与自动化研究所);Aalto University(阿尔托大学)
本文研究了$N$节点网络中的成对交互对潜在社区成员的估计,其中观察到的交互可以是任意类型的,包括二进制,分类和向量值,并且不排除更一般的对象,如时间序列或空间点模式。作为一个生成模型,这样的数据,我们引入了一个随机块模型与一般的可测量的相互作用空间$\mathcal S$,我们推导出的最小可实现的差错率的信息理论界。这些界限产生尖锐的标准存在一致的和强一致的估计数据稀疏性,块内和块间的相互作用分布之间的统计相似性,以及相互作用空间的形状和大小。一般的框架,使人们有可能研究时间和多路复用网络与$\mathcal S = \{0,1\}^T$,在设置中,$N \to \infty$和$T \to \infty$,和时间的相互作用模式随着时间的推移相关。对于时间马尔可夫相互作用,我们得到尖锐的一致性阈值。我们还提出了快速在线估计算法,充分利用了非二进制性质的观测数据。对合成数据和真实数据的数值实验表明,即使对于非常稀疏的数据阵列,这些算法也能快速产生准确的估计。
2022-08-30 cs.LG math.PR math.ST
Bayesian nonparametric community detection in assortative stochastic block models
University of Torino(都灵大学);Collegio Carlo Alberto(卡罗阿尔贝托学院)
本文研究了在 assortative 随机块模型中通过贝叶斯非参数方法进行社区检测,探讨了 assortativity 约束对社区检测的影响,并通过模拟研究验证了其有效性。
2025-11-24 math.PR math.ST stat.ME
Combinatorial-Probabilistic Trade-Off: Community Properties Test in the Stochastic Block Models
在本文中,我们提出了一个推理框架测试一般社区组合性质的随机块模型。而不是估计社区分配,我们的目标是测试的假设是否满足一定的社区财产。例如,我们建议测试一组给定的节点是否属于同一个社区,或者不同的网络社区是否具有相同的大小。我们提出了一个通用的推理框架,可以适用于所有对称社区属性。为了缓解社区属性的组合性质所带来的挑战,我们开发了一种新的阴影引导测试方法。通过利用对称性,我们的方法可以找到一个阴影代表真正的分配和分配的数量进行测试的替代可以大大减少。理论上,我们引入了两个社区类之间的组合距离,并在社区属性测试中显示了组合概率权衡现象。只要两个社区之间的组合距离与两个分配概率之间的概率距离的乘积足够大,我们的测试就是诚实的。另一方面,我们表明,这种权衡也存在于信息理论的下界的共同财产测试。我们还实现了数值实验的合成数据和蛋白质相互作用的应用程序,以显示我们的方法的有效性。
2020-10-29 math.ST stat.TH
A Semidefinite Program for Structured Blockmodels
半定规划最近被开发的问题的社区检测,这可能被视为一个特殊情况下的随机块模型。在这里,我们开发了一个半定的程序,可以针对块模型的其他实例,如非连续网络和重叠社区。我们建立标签恢复稀疏设置,与社区检测的最近结果类似的条件。在数据不是由块模型生成的情况下,我们给出了一个oracle不等式,该不等式限制了相对于最佳块模型近似的超额风险。模拟社区检测,重叠的社区,和潜在的空间模型。
2016-11-16 math.ST stat.ML stat.TH
Pairwise Covariates-adjusted Block Model for Community Detection
针对传统随机块模型(SBM)同社区节点随机等价假设的局限性,提出纳入成对协变量的PCABM模型,设计高效求解的SCWA算法并证明其一致性,还提出模型与特征选择算法,在多类网络中表现优于SBM和DCBM。
2023-05-01 math.ST stat.AP stat.ME
On spectral algorithms for community detection in stochastic blockmodel graphs with vertex covariates
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pittsburgh(匹兹堡大学)
在网络推理应用中,通常需要检测社区结构,即根据某种相似性度量将顶点聚类成组或块。除了邻接矩阵之外,许多真实网络还涉及顶点协变量,这些协变量携带关于图中底层块结构的关键信息。为了评估这些协变量对块恢复的影响,我们提出了一个比较分析的两个基于模型的谱算法的顶点聚类随机块模型图与顶点协变量。第一种算法只使用邻接矩阵,直接估计块分配。第二种算法将邻接矩阵和顶点协变量结合到块分配的估计中,并且量化了顶点协变量对块分配的估计结果的显式影响。我们采用的分析比较算法的性能,并获得信息理论的分析比为某些模型的兴趣。分析结果和模拟表明,第二种算法往往是首选:我们往往可以更好地估计诱导块分配,首先估计顶点协变量的影响。此外,实际数据的例子也表明,第二种算法具有揭示底层块结构和考虑观察到的顶点异构性在实际应用中的优势。我们的研究结果强调了区分观察到的和未观察到的因素,可以影响图中的块结构的重要性。
2021-08-04 cs.LG cs.SI math.ST
Optimal Rates for Community Estimation in the Weighted Stochastic Block Model
网络中的社区识别是社会科学、神经科学和遗传学等领域的一个重要问题。在过去的十年中,随机块模型(SBM)已经成为一个流行的统计框架,这个问题。然而,SBM有一个重要的局限性,即它们只适用于具有未加权边缘的网络;在各种科学应用中,忽略边缘权重可能会导致有价值的信息丢失。我们研究了一个加权的推广的SBM,在其中的意见收集的形式加权邻接矩阵和每个边缘的权重是独立的从一个未知的概率密度确定的社区成员的端点。我们的特点是加权SBM的误聚类错误的最佳率在1/2之间的权重分布的社区内和社区之间的边缘,基本上概括了现有的结果为未加权SBM的Renyi分歧。此外,我们提出了一个计算上易于处理的算法,实现了最佳的差错率的离散化。我们的方法是自适应的,在这个意义上说,该算法,不假设知识的重量密度,以及最好的算法,知道的重量密度。
2018-09-29 math.ST stat.TH
Phase Transition in the Generalized Stochastic Block Model
研究了广义随机块模型(GSBM)中的社团结构检测问题。通过对经验谱分布的Stieljtes变换的分析,证明了GSBM的最大本征值存在一个BBP型跃迁。对于特定的模型,如一个隐藏的社区模型和一个不平衡的随机模型,我们提供了两个最大的特征值的精确公式,建立在BBP型过渡的差距。
2022-06-20 math.PR math.ST stat.TH
Dynamic Network Sampling for Community Detection
我们提出了一个动态的网络采样计划,以优化块恢复随机块模型(SBM)的情况下,它是昂贵的,以观察整个图。从理论上讲,我们提供了我们提出的最佳动态采样方案的理由,通过最佳动态采样信息。实际上,我们评估的性能,块恢复,我们的方法在几个真正的数据集从不同的域。理论和实践结果表明,我们的方法可以确定的顶点,有最大的块结构的影响,使人们可以只检查它们之间是否有边缘,以节省大量的资源,但仍然恢复块结构。
2022-12-16 cs.SI math.ST stat.CO
Minimax Rates of Community Detection in Stochastic Block Models
近年来,网络分析在统计学、计算机科学、概率论和应用数学等领域得到了越来越多的关注。随机块模型(SBM)的社团检测是网络分析中研究最多的课题。已经提出了许多方法。在各种条件下得到了一些漂亮而有意义的相变结果。在本文中,我们提供了一个一般的极大极小理论的社区检测。它给出了一个广泛的设置,包括均匀和非均匀的SBM,密集和稀疏的网络,有限的和不断增长的社区数量的失配率的极大极小率。极大极小率是指数的,不同于我们在统计文献中经常看到的多项式率。结果的直接后果是建立强一致性(精确恢复)以及弱一致性(部分恢复)的阈值现象。我们得到的上界的惩罚似然型方法的范围。该下界是通过一个新的减少从一个全局的不匹配率的一个节点的局部聚类问题,通过一个交换的属性。
2015-11-16 cs.SI math.ST stat.TH
A Threshold Constant for Exact Community Recovery in the Degree-Corrected Poisson Stochastic Block Model
本研究通过最大剖面似然估计器,为度修正泊松随机块模型确定了精确社区恢复的显式阈值常数,证明了其大于1时实现强相合恢复,并推测其为信息论尖锐阈值。
2026-09-15 math.ST stat.TH
Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence
我们推导出精确恢复的社区在加权随机块模型,观察收集的形式加权邻接矩阵,每个边缘的权重独立于由其端点的社区成员资格所确定的分布而产生的尖锐阈值。我们的主要结果,表征成功和失败的最大似然估计边缘权重时,从离散分布之间的精确边界,涉及Renyi发散的顺序$\frac{1}{2}$之间的分布内社区和社区之间的边缘。当Renyi散度高于某个阈值时,意味着边缘分布充分分离,最大似然法成功,概率趋于1;当Renyi散度低于阈值时,最大似然法失败,概率远离0。在图形通道的语言中,Renyi分歧指出了具有二进制输入的离散图形通道的信息理论容量。我们的研究结果概括了以前建立的阈值,专门为未加权块模型,并支持一个重要的自然直觉有关的内在硬度社区估计的边缘分类的问题。一路上,我们建立了一个一般的关系之间的Renyi分歧和成功的概率的最大似然估计的任意边缘重量分布。最后,我们讨论的后果,我们的界限的相关问题的截尾块模型和子矩阵本地化,这可能被视为特殊情况下,我们的文件中开发的框架。
2015-09-21 cs.IT cs.SI math.IT
Strongly Consistent Community Detection in Popularity Adjusted Block Models
针对 PABM 下社区检测的谱聚类适配与强一致性难题,提出 TCSC 及 Refined TCSC 算法,并给出数据驱动的社区数选择方法。
2025-06-08 math.ST stat.ME stat.ML
Consistent community recovery in stochastic block Ornstein-Uhlenbeck processes
Aarhus University(奥胡斯大学);Imperial College London(帝国理工学院)
该研究提出随机块奥恩斯坦-乌伦贝克(SBOU)过程模型,开发出一种社区检测算法,在特定渐近 regime 下可实现一致的社区恢复,并通过 RE-Europe 风电容量数据集验证了方法的有效性。
2026-08-06 math.PR math.ST stat.ME
Dynamic clustering for heterophilic stochastic block models with time-varying node memberships
本文提出KD-SoS方法,通过核去偏平方和聚合邻接矩阵后进行谱聚类,解决节点成员随时间变化且单点信号不足的异配随机块模型动态社区检测问题,并证明其一致性及可识别性。
2025-08-21 math.ST stat.AP stat.TH
Exact recovery in Gaussian weighted stochastic block model and planted dense subgraphs: Statistical and algorithmic thresholds
本文研究高斯加权 Stochastic block model 的精确恢复问题,确定了基于信噪比的信息论阈值,证明不存在信息-计算间隙,并对比了社区检测与植入密集子图恢复的难度差异。
2024-02-19 math.PR math.ST stat.TH
Node-Private Community Detection in Stochastic Block Models
ESSEC Business School(ESSEC高等商学院);Yale University(耶鲁大学)
研究在纯节点级差分隐私下随机块模型中的社区检测,提出基于指数机制的节点私有估计器,证明精确恢复仍可行,并展示在稀疏条件下,对数隐私预算足以获得非平凡恢复保证,同时证明对数缩放是不可避免的。
2026-04-10 math.ST stat.TH
Spectral Recovery of Binary Censored Block Models
社区检测是识别图中社区结构的问题。图通常被建模为随机块模型的样本,其中每个顶点属于一个社区。两个顶点通过边连接的概率取决于这些顶点的社区。在本文中,我们考虑了一个模型的{ \em审查}社区检测与两个社区,其中大部分的数据是失踪的状态,只有一小部分的潜在的边缘被揭示。在该模型中,同一社区中的顶点以概率$p$连接,而相反社区中的顶点以概率$q$连接。给定顶点对$\{u,v\}$的连接状态以概率$α$显示,独立于所有对,其中$α= \frac{t \log(n)}{n}$。我们建立了信息论阈值$t_c(p,q)$,使得没有算法成功地恢复社区时,$t < t_c(p,q)$。我们表明,当$t > t_c(p,q)$,一个简单的频谱算法的基础上加权,签署邻接矩阵成功地恢复社区。虽然频谱算法在对称的情况下具有接近最优的性能,我们表明,他们可能会失败的不对称的情况下,允许两个社区内的连接概率是不同的。特别是,我们展示了一个简单的两阶段算法成功的参数制度的存在,但任何算法的基础上的前两个特征向量的加权,签署邻接矩阵失败。
2021-11-10 math.PR math.ST stat.TH
Optimal Community Recovery by Spectrally Initialized Variational EM in General Stochastic Block Models
本文证明谱初始化变分EM在一般随机块模型中达到Chernoff指数级最优社区恢复,无需全局最大化,且实现一阶精确恢复阈值。
2026-10-20 math.ST stat.TH
Achieving Optimal Misclassification Proportion in Stochastic Block Model
社区发现是网络数据分析中的一个基本统计问题。已经提出了许多算法来解决这个问题。这些算法中的大多数不能保证实现问题的统计最优性,而实现一般参数空间的信息理论极限的程序在计算上是不可处理的。本文针对弱正则条件下的随机块模型,提出了一种计算上可行的两阶段方法,该方法在误分类率方面具有最优的统计性能.我们的两个阶段的过程包括一个通用的细化步骤,可以采取广泛的弱一致的社区检测程序作为初始化,细化阶段适用于并输出一个社区分配实现最佳的误分类比例与高概率。数值结果表明了新算法的有效性。
2015-10-03 cs.SI math.ST stat.ME
Fast Network Community Detection with Profile-Pseudo Likelihood Methods
随机块模型是研究最多的社区发现网络模型之一。众所周知,大多数用于拟合随机块模型似然函数的算法不能扩展到大规模网络。一个突出的工作,克服了这一计算挑战是阿米尼等人。(2013),其提出了用于将随机块模型拟合到大型稀疏网络的快速伪似然方法。然而,这种方法不具有收敛保证,并且不太适合于中小规模的网络。在这篇文章中,我们提出了一种新的基于似然的方法,在似然函数,这使得一个快速的交替最大化的行和列的标签,新方法是计算效率高,表现良好的小型和大型网络,并具有可证明的收敛保证。我们表明,我们的方法提供了强相合估计的社区在一个随机块模型。仿真结果表明,该方法在估计精度和计算效率方面都优于伪似然方法,特别是对于大型稀疏网络。我们进一步考虑扩展我们提出的方法来处理网络的度异质性和二分属性。
2021-08-29 math.ST stat.ME stat.ML
Community Detection in Hypergraphs, Spiked Tensor Models, and Sum-of-Squares
研究了随机块模型下超图的社区发现问题。类似于图中的随机块模型如何建议研究尖峰随机矩阵,我们的模型激励调查在一定的尖峰张量模型中精确恢复的统计和计算限制。与矩阵的情况下,尖峰模型自然产生的社区发现超图是不同的,在所谓的张量主成分分析模型。我们调查的有效性,在这些模型的平方和层次的算法。有趣的是,我们的研究结果表明,这两个表面上相似的模型表现出显着不同的计算统计差距。
2018-07-03 cs.DS cs.SI math.ST
Node-private community estimation in stochastic block models: Tractable algorithms and lower bounds
University of Cambridge(剑桥大学)
本文研究了在固定社区数的随机块模型中社区恢复问题,提出在节点差分隐私约束下基于谱聚类的可计算算法及下界,通过隐私保护的PCA、凸优化等方法提升社区估计一致性。
2026-05-15 math.ST stat.ML stat.TH
Joint Spectral Clustering in Multilayer Degree-Corrected Stochastic Blockmodels
本文研究多层度校正随机块模型中的社区检测问题,提出联合谱聚类算法,并证明其误聚类率随网络层数增加呈指数下降,在异质性强的多层网络场景下优于现有方法。
2025-06-03 math.ST stat.ME stat.TH
Change Point Estimation in a Dynamic Stochastic Block Model
本文研究动态随机块模型中单个变点位置的估计问题。我们提出了两种方法来估计变点,以及模型参数。第一个采用最小二乘准则函数,并考虑到随机块模型的完整结构,并在每个时间点进行评估。因此,作为中间步骤,它需要在每个时间点基于聚类算法估计社区结构。第二种方法包括以下两个步骤:在第一种方法中,使用最小二乘函数,并在每个时间点进行评估,但忽略了社区结构,只考虑表现出变化点的随机图生成机制。一旦识别出变化点,在第二步中,将其之前和之后的所有网络数据与聚类算法一起使用,以获得相应的社区结构,并随后估计生成的随机块模型参数。这两种方法之间的比较说明。此外,对于这两种方法在各自的可识别性和某些额外的正则性条件下,我们建立了收敛速度,并推导出变点估计量的渐近分布。合成数据的结果进行了说明。
2020-05-20 math.ST stat.ML stat.TH