Optimal and exact recovery on the general nonuniform Hypergraph Stochastic Block Model
University of California, San Diego(加州大学圣地亚哥分校)
针对非均匀超图随机块模型中的社区检测问题,首次建立了精确恢复的尖锐阈值,并提出了两种达到最优性能的高效算法。
2026-06-02 math.PR math.ST stat.ML
Exact recovery in Gaussian weighted stochastic block model and planted dense subgraphs: Statistical and algorithmic thresholds
本文研究高斯加权 Stochastic block model 的精确恢复问题,确定了基于信噪比的信息论阈值,证明不存在信息-计算间隙,并对比了社区检测与植入密集子图恢复的难度差异。
2024-02-19 math.PR math.ST stat.TH
Community recovery in non-binary and temporal stochastic block models
Inria(法国国家信息与自动化研究所);Aalto University(阿尔托大学)
本文研究了$N$节点网络中的成对交互对潜在社区成员的估计,其中观察到的交互可以是任意类型的,包括二进制,分类和向量值,并且不排除更一般的对象,如时间序列或空间点模式。作为一个生成模型,这样的数据,我们引入了一个随机块模型与一般的可测量的相互作用空间$\mathcal S$,我们推导出的最小可实现的差错率的信息理论界。这些界限产生尖锐的标准存在一致的和强一致的估计数据稀疏性,块内和块间的相互作用分布之间的统计相似性,以及相互作用空间的形状和大小。一般的框架,使人们有可能研究时间和多路复用网络与$\mathcal S = \{0,1\}^T$,在设置中,$N \to \infty$和$T \to \infty$,和时间的相互作用模式随着时间的推移相关。对于时间马尔可夫相互作用,我们得到尖锐的一致性阈值。我们还提出了快速在线估计算法,充分利用了非二进制性质的观测数据。对合成数据和真实数据的数值实验表明,即使对于非常稀疏的数据阵列,这些算法也能快速产生准确的估计。
2022-08-30 cs.LG math.PR math.ST
Consistent community recovery in stochastic block Ornstein-Uhlenbeck processes
Aarhus University(奥胡斯大学);Imperial College London(帝国理工学院)
该研究提出随机块奥恩斯坦-乌伦贝克(SBOU)过程模型,开发出一种社区检测算法,在特定渐近 regime 下可实现一致的社区恢复,并通过 RE-Europe 风电容量数据集验证了方法的有效性。
2026-08-06 math.PR math.ST stat.ME
Weak recovery, hypothesis testing, and mutual information in stochastic block models and planted factor graphs
本研究证明稀疏随机块模型中弱恢复与检测任务除临界点外等价,给出检测不可行时的高效低次最优检验,还证明渐近互信息在弱恢复阈值处存在相变,且结果可推广至超图块模型与植入因子图。
2025-02-21 cs.IT cs.SI math.CO
Optimal Recovery of Block Models with $q$ Communities
本文研究稀疏随机块模型的重建问题。Mossel、Neeman和Sly的论文“Belief Propagation,robust reconstruction and optimal recovery of block models”提供并证明了一种重建算法,该算法在2个社区的情况下恢复社区的最佳比例。他们证明的主要步骤是表明,当信噪比足够大时,特别是$θ^2d > C$,在叶子上有或没有噪声的规则树上的重建精度是相同的。本文将把他们的结果,包括主要步骤,推广到任何数量的社区,提供一个与信念传播相关的算法,该算法可以恢复社区标签的可证明的最优比例。
2020-10-20 cs.SI math.PR
Exact Recovery in Block Spin Ising Models at the Critical Line
我们展示了如何在所谓的伊辛块模型的临界线准确地重建块结构。Berthet,Rigollet和Srivastava在最近的一篇论文中重新介绍了这个模型。在那里,作者展示了如何准确地重建块远离临界线,他们给了一个上限和一个下界的观测数量的需要,从而他们建立了一个最小最大的最佳速率(常数)。我们的技术依赖于他们的方法与块自旋伊辛模型的波动结果相结合。后者被扩展到完全的临界状态。我们发现,所需的观测数量取决于两个块之间的相互作用参数是正的还是负的:在第一种情况下,有大约$N \log N$观测需要准确地恢复块结构,而在后者$\sqrt N \log N$观测就足够了。
2020-03-12 math.PR
Community Recovery on Noisy Stochastic Block Models
针对几何噪声随机块模型的社区恢复问题,提出模体注意力谱算子MASO与迭代几何去噪算法GeoDe,二者融合性能优于现有方法,且用作去噪步骤可使置信传播在Amazon Metadata数据集上的社区恢复效果提升79.7%。
2025-05-20 cs.SI math.PR
Recovery and Rigidity in a Regular Stochastic Block Model
随机块模型是研究随机网络中社区发现的自然模型。它的聚类特性在统计学、物理学和计算机科学文献中得到了广泛的研究。最近,这一领域经历了重大的数学突破,特别是对于二进制(两个社区)版本,参见Mossel,Neeman,Sly(2012,2013)和Massoulie(2013)。在本文中,我们介绍了一个变种的二元模型,我们称之为定期随机块模型(RSBM)。我们证明刚性表明,以高概率的社区结构的准确恢复是可能的。谱方法显示了一种可以有效地完成这一工作的方法。此外,我们还证明,在这种情况下,任何适当的好的部分恢复可以自举,以获得一个完整的恢复的社区。
2020-05-04 math.CO math.PR
Stochastic block models with many communities and the Kesten--Stigum bound
Massachusetts Institute of Technology(麻省理工学院);Brown University(布朗大学);University of California, Davis(加州大学戴维斯分校)
本文研究社区数随顶点数增长的随机块模型,证明KS界之上可高效恢复,KS界之下q≪√n时低度困难、q≫√n时基于非回溯游走的算法可高效恢复,还确定了新阈值及信息论阈值,改进了图估计结果。
2026-08-25 cs.SI math.PR math.ST
Partial recovery and weak consistency in the non-uniform hypergraph Stochastic Block Model
University of California, San Diego(加州大学圣地亚哥分校);University of California, Irvine(加州大学尔湾分校)
针对非均匀超图随机块模型,提出一种谱算法,通过超边选择、谱划分和校正合并步骤,在稀疏随机超图中实现部分恢复和弱一致性。
2026-06-02 math.PR math.ST stat.ML
Achieving Exact Cluster Recovery Threshold via Semidefinite Programming: Extensions
解决了Abbe,Bandeira和Hall的猜想,作者最近证明了半定规划(SDP)放松的极大似然估计达到了尖锐的阈值,准确地恢复社区结构下的二进制随机块模型的两个大小相等的集群。对于单个聚类和离群值的情况也显示了相同的情况。扩展证明技术,本文证明了SDP松弛在以下情况下也达到了尖锐的恢复阈值:(1)具有两个大小与网络大小成比例但不一定相等的簇的二进制随机块模型;(2)具有固定数量的大小相等的簇的随机块模型;(3)背景图为Erdens-Rényi的二进制删失块模型。此外,一个充分条件的SDP程序,以实现精确的恢复的一般情况下,一个固定数量的集群加离群值。这些结果表明,SDP松弛作为一个简单的,通用的,计算上可行的社区检测方法的通用性。
2016-06-15 cs.SI math.PR stat.ML
Belief propagation, robust reconstruction and optimal recovery of block models
我们考虑的问题,重建稀疏对称块模型与两个块和连接概率$a/n$和$b/n$的块间和块内边缘概率,分别。最近的研究表明,当且仅当$(a-b)^2>2(a+b)$时,人们可以做得比随机猜测更好。使用一个变种的信念传播,我们给出了一个重建算法,这是最佳的意义上说,如果$(a-b)^2>C(a+b)$的一些常数$C$,那么我们的算法最大化的分数正确标记的节点。我们的算法是唯一被证明可以实现正确标记节点的最佳比例的算法。一路上,我们证明了一些结果的独立利益的鲁棒重建的伊辛模型的定期和泊松树。
2016-09-27 cs.SI math.PR
Phase Transition for Stochastic Block Model with more than $\sqrt{n}$ Communities (II)
Institut für Mathematik – Universität Potsdam(波恩大学数学研究所);Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay, CNRS(奥赛数学实验室,巴黎-萨克雷大学,CNRS);INRAE, Institut Agro, MISTEA, Univ. Montpellier(法国国家农业科学研究院,农业研究所,MISTEA,蒙彼利埃大学)
本文研究了具有超过√n个社区的随机块模型的相变问题,通过构造特定结构的motif并证明其在阈值之上实现社区恢复,完善了计算障碍图景,并表明中等稀疏情形下的最优算法与谱方法不同。
2025-11-26 cs.LG math.PR math.ST
Exact Recovery in the Stochastic Block Model
具有两个社区的随机块模型(SBM),或者等价于种植二分模型,是一种流行的具有聚类行为的随机图模型。在对称的情况下,图有两个大小相等的簇,并且顶点以簇内概率$p$和簇间概率$q$连接。在过去的二十年里,大量的统计学和计算机科学文献都集中在提供$|p-q|$的缩放下限,以确保准确的恢复。在本文中,我们确定了一个尖锐的阈值现象,准确的恢复:如果$α=pn/\log(n)$和$β=qn/\log(n)$是恒定的(与$α>β$),恢复社区与高概率是可能的,如果$\frac{α+β}{2} - \sqrt{αβ}>1$和不可能的,如果$\frac{α+β}{2} - \sqrt{αβ}<1$。特别是,这改善了现有的边界。这也为高效的聚类算法提供了新的思路。虽然最大似然(ML)达到了最佳阈值(根据定义),但它在最坏情况下是NP困难的。本文提出了一种基于ML的半定规划松弛的有效算法,该算法被证明能够成功地恢复出接近阈值的社区,数值实验表明该算法可以达到阈值。一个有效的算法,成功所有的方式下降到阈值也得到了使用局部改进过程相结合的部分恢复算法。
2014-10-27 cs.SI math.PR physics.soc-ph
Robust recovery for stochastic block models, simplified and generalized
本文证明鲁棒社区恢复的计算阈值位于Kesten–Stigum阈值,通过Bethe Hessian外点特征向量、稀疏鲁棒PCA算法和舍入算法,为任意常数社区数的随机块模型给出高效恢复算法。
2024-02-21 cs.DS math.PR
Community Detection and Stochastic Block Models
本专著综述了随机块模型(SBM)中社区检测的基本极限,涵盖信息论与计算权衡及精确、部分、弱恢复要求,并系统推导了图分割、半定规划、置信传播及谱方法等主要算法。
2023-10-25 cs.CC cs.IT cs.SI
Community detection in general stochastic block models: fundamental limits and efficient recovery algorithms
随机块模型是两个非重叠对称社区的特殊情况,最近发现了新的相变现象。这特别提出了由阈值驱动的新算法挑战。本文探讨了是否有一个普遍的现象发生在多个社区,而不强加对称性。在一般的随机块模型$\text{SBM}(n,p,Q)$中,$n$顶点被分成大小为$\{p_i\}_{i \in [k]}$的$k$社区,社区中的顶点$i$和$j$以概率$\{Q_{i,j}\}_{i,j \in [k]}$独立连接.本文研究了一般SBM(在常数和对数度制度)的社区的部分和精确恢复,并使用结果的一般性来解决重叠社区。该论文的贡献包括:(i)根据新的发散函数$D_+$的一般SBM中的恢复阈值的明确表征,该新的发散函数推广了Hellinger发散和Bauffff发散,并且向类似于信道编码定理中的KL发散的发散函数提供了操作意义,(ii)开发一种算法,该算法将社区一直恢复到最佳阈值,并在准线性时间内运行,表明精确恢复对于多个社区没有信息理论到计算差距,与4个以上群落的检测结果相反;注意该算法在达到阈值和具有准线性复杂度方面都是最优的,(iii)发展一种有效的算法,在常数度范围内检测社区,并具有明确的准确性界限,当指定信号-信噪比(根据$\diag(p)Q$的光谱定义)趋于无穷大。
2015-04-04 cs.IT cs.SI math.IT
Weak Recovery Threshold for the Hypergraph Stochastic Block Model
研究 $r$-均匀超图随机块模型的弱恢复问题,引入多终端强数据处理不等式证明在特定参数下低于 KS 阈值时弱恢复不可能,并揭示了参数 $r$ 引发的相变与潜在信息-计算鸿沟。
2023-06-27 cs.IT math.IT math.PR
Stochastic Block Model for Hypergraphs: Statistical limits and a semidefinite programming approach
New York University(纽约大学)
研究了一个随机超图模型中的社团发现问题,我们称之为$k$ -一致超图的随机块模型($k$ -SBM).我们研究了$k$ -SBM中的精确恢复问题,并证明了在一个阈值附近会发生急剧的相变:在阈值以下,不可能以非零概率恢复社区,但在阈值以上,存在一个几乎渐近肯定地恢复社区的估计。我们还考虑了一个简单的,有效的算法的精确恢复问题是基于半定松弛技术。
2018-07-08 cs.IT cs.LG math.IT
Optimal Cluster Recovery in the Labeled Stochastic Block Model
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);KTH, The Royal Institute of Technology(KTH皇家理工学院)
我们考虑了标记随机块模型(LSBM)中的社区检测或聚类问题,其中有限个$K$簇的大小随项目$n$的全局人口线性增长。每对项目都是随机独立标记的,并且标签$\ell$以$p(i,j,\ell)$的概率出现在分别由$i$和$j$索引的聚类中的两个项目之间。我们的目标是从这些随机标签的观察重建集群。基于SBM及其扩展的聚类算法近年来引起了人们的广泛关注。大多数现有的工作旨在表征的一组参数,以便有可能推断集群正相关的真实集群,或与消失的比例错误分类的项目,或完全匹配的真实集群。我们发现的参数集,使得存在一个聚类算法,最多$s$误分类项目的平均下一般的LSBM和任何$s=o(n)$,解决了一个开放的问题提出了\cite{abbe2015community}。我们进一步开发了一种算法,基于简单的谱方法,实现了这一基本性能限制内的$O(n \mbox{polylog}(n))$计算,没有先验知识的模型参数。
2016-05-21 cs.LG cs.SI math.PR
Exact recovery and sharp thresholds of Stochastic Ising Block Model
随机块模型(SBM)是一种随机图模型,其中边是根据顶点上的底层簇结构生成的。另一方面,(铁磁)伊辛模型根据底层图结构将$\pm 1$标签分配给顶点,如果两个顶点在图中连接,则它们更有可能被分配相同的标签。在SBM模型中,人们的目标是从图结构中恢复底层的簇,而在Ising模型中,一个广泛研究的问题是基于i.i.d.采样(顶点的标记)。在本文中,我们提出了一个自然的组成SBM和伊辛模型,我们称之为随机伊辛块模型(SIBM)。在SIBM中,我们以最简单的形式采用SBM,其中$n$顶点被分成两个大小相等的簇,并且边缘以簇内$p$和簇间$q$的概率独立连接。然后我们使用由SBM生成的图$G$作为伊辛模型的底层图,并绘制$m$ i.i.d.。目标是从由伊辛模型生成的样本中准确地恢复SBM中的两个聚类,而不观察图$G$。作为本文的主要结果,我们建立了一个尖锐的阈值$m^\ast$上的样本复杂性,这个确切的恢复问题在适当选择的制度,其中$m^\ast$可以计算从参数的SIBM。我们表明,当$m\ge m^\ast$,可以恢复集群从$m$样本在$O(n)$时间的顶点数$n$趋于无穷大。当$m<m^\ast$,我们进一步表明,几乎所有的选择参数的SIBM,任何恢复算法的成功概率接近$0$作为$n\to\infty$。
2020-10-14 cs.IT math.IT math.PR
Density Evolution in the Degree-correlated Stochastic Block Model
最近,在随机块模型下确定簇恢复的急剧恢复阈值的兴趣激增。在本文中,我们解决了更精细的问题,平均有多少顶点会被错误分类。我们考虑二进制形式的随机块模型,其中$n$顶点被划分为两个集群与边缘概率$a/n$内的第一个集群,$c/n$内的第二个集群,和$b/n$跨集群。设为$n \to \infty$,$a= b+ μ\sqrt{ b} $,$c=b+ ν\sqrt{ b} $为两个固定常数$μ, ν$,而$b \to \infty$为$b=n^{o(1)}$ .当簇的大小是平衡的和$μ\neq ν$,我们表明,平均错误分类的顶点的最小分数是由$Q(\sqrt{v^*})$,其中$Q(x)$是标准正常的Q-函数,$v^*$是唯一的不动点的$v= \frac{(μ-ν)^2}{16} + \frac{ (μ+ν)^2 }{16} \mathbb{E}[ \tanh(v+ \sqrt{v} Z)],$和$Z$是标准正常的。此外,最小的误分类分数平均获得的局部算法,即信念传播,在时间上的线性的边缘的数量。我们的证明技术的基础上连接的集群恢复问题的树重建问题,并分析密度的高斯近似树上的信念传播的演变。
2016-06-03 cs.IT math.IT math.PR