Community Recovery in Graphs with Locality
Stanford University(斯坦福大学);KAIST(韩国科学技术院)
受社交网络和计算生物学等领域应用的启发,我们研究了具有局部性的图中的社区恢复问题。在这个问题中,两个节点是否在同一社区或不同社区的成对噪声测量主要或专门来自附近的节点,而不是在所有节点对之间均匀采样,如在大多数现有的模型。我们提出了一种算法,运行在测量的数量几乎线性,并达到了精确恢复的信息理论极限。
2016-06-01 cs.IT cs.LG cs.SI
Exact Recovery of Community Detection in dependent Gaussian Mixture Models
University of Connecticut(康涅狄格大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究在依赖且异质高斯噪声的高斯混合模型中社区检测的精确恢复,提出在奇异协方差矩阵情况下MLE的约束二次优化问题,并推导出在社区大小未知或已知时的精确恢复条件。
2026-05-02 math.PR math.ST stat.ML
Exact Community Recovery in the Geometric SBM
研究几何随机块模型中的精确社区恢复问题,提出一种两阶段线性时间算法,在信息论阈值下成功恢复社区标签,证实了先前猜想。
2024-01-05 cs.SI math.PR math.ST
A Threshold Constant for Exact Community Recovery in the Degree-Corrected Poisson Stochastic Block Model
本研究通过最大剖面似然估计器,为度修正泊松随机块模型确定了精确社区恢复的显式阈值常数,证明了其大于1时实现强相合恢复,并推测其为信息论尖锐阈值。
2026-09-15 math.ST stat.TH
Exact recovery in Gaussian weighted stochastic block model and planted dense subgraphs: Statistical and algorithmic thresholds
本文研究高斯加权 Stochastic block model 的精确恢复问题,确定了基于信噪比的信息论阈值,证明不存在信息-计算间隙,并对比了社区检测与植入密集子图恢复的难度差异。
2024-02-19 math.PR math.ST stat.TH
Exact Community Recovery in Bipartite Networks
Chongqing University of Technology(重庆理工大学)
本文针对二部网络中的社区检测问题,提出基于对角删除Gram矩阵的谱聚类算法,证明其在温和条件下可实现精确恢复,并扩展到度校正模型,实验验证了理论结果。
2026-09-14 cs.SI math.ST stat.ML
General Community Detection with Optimal Recovery Conditions for Multi-relational Sparse Networks with Dependent Layers
近年来,多层和复用网络正在成为常见的网络数据集。我们考虑的问题,确定一种特殊类型的多层网络称为多关系网络的共同社区结构。我们考虑扩展的谱聚类方法的多关系网络,并给出理论保证,谱聚类方法恢复社区结构一致的多关系网络产生的多层版本的随机和度校正块模型,即使网络层之间的依赖。该方法示出的网络的度参数上的最佳条件下工作,以检测两个独立的和独立的社区结构与消失的错误比例,即使个别层的多关系网络的网络结构低于社区可检测性阈值。我们也通过模拟加强了理论结果的有效性。
2020-04-06 cs.SI math.ST stat.ME
Optimal recovery by maximum and integrated conditional likelihood in the general Stochastic Block Model
Universidade Federal de São Carlos(圣卡洛斯联邦大学);Universidade de São Paulo(圣保罗大学)
本文研究了随机块模型中社区检测问题的最大和积分条件似然估计的弱一致性和强一致性,证明最大条件似然在对数度数范围内达到最优阈值,而积分条件似然在相同范围内获得次优常数但强一致。
2026-03-27 math.PR math.ST stat.TH
Phase Transition for Stochastic Block Model with more than $\sqrt{n}$ Communities (II)
Institut für Mathematik – Universität Potsdam(波恩大学数学研究所);Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay, CNRS(奥赛数学实验室,巴黎-萨克雷大学,CNRS);INRAE, Institut Agro, MISTEA, Univ. Montpellier(法国国家农业科学研究院,农业研究所,MISTEA,蒙彼利埃大学)
本文研究了具有超过√n个社区的随机块模型的相变问题,通过构造特定结构的motif并证明其在阈值之上实现社区恢复,完善了计算障碍图景,并表明中等稀疏情形下的最优算法与谱方法不同。
2025-11-26 cs.LG math.PR math.ST
Exact recovery in the Ising blockmodel
我们考虑的问题,以恢复块结构的伊辛模型的独立观察的二进制超立方体。这个新模型被称为伊辛块模型(Ising blockmodel),是对伊辛模型(Curie-Weiss model)的平均场近似的扰动:这些位点被分成两个大小相等的块,同一块中的位点之间的相互作用比跨块的强,以解释每个块中的更多顺序。我们研究的概率,统计和计算方面的这个模型在高维的情况下,网站的数量可能远远大于样本量。
2017-02-02 cs.DS math.ST stat.TH
Accuracy guaranties for $\ell_1$ recovery of block-sparse signals
我们引入了一个通用框架来处理结构化模型(稀疏模型和可能存在重叠块的块稀疏模型)。我们讨论了新的方法,从不完整的观察,破坏了确定性和随机噪声,使用块$\ell_1$正则化。虽然目前的理论提供了一些不同的,但大多难以验证的条件下的恢复错误的有前途的界限,我们的重点是可验证的条件上的问题参数(感测矩阵和块结构),保证准确的恢复。验证我们的条件,不仅导致有效地可计算的恢复误差的界限,但也使我们能够优化这些误差界的方法参数,从而构建估计与改进的统计特性。为了证明我们的方法,我们还提供了一个预言不等式,该不等式将所提出的恢复算法的属性和最佳估计性能联系起来。此外,利用这些可验证的条件,我们开发了一个计算成本低的替代块- $\ell_1$最小化,非欧几里德块匹配追踪算法。最后,我们提出了一个数值研究,调查不同的块正则化的效果,并证明了所提出的恢复的性能。
2013-02-27 math.OC math.ST stat.ML
Optimal Community Recovery by Spectrally Initialized Variational EM in General Stochastic Block Models
本文证明谱初始化变分EM在一般随机块模型中达到Chernoff指数级最优社区恢复,无需全局最大化,且实现一阶精确恢复阈值。
2026-10-20 math.ST stat.TH
Consistent community recovery in stochastic block Ornstein-Uhlenbeck processes
Aarhus University(奥胡斯大学);Imperial College London(帝国理工学院)
该研究提出随机块奥恩斯坦-乌伦贝克(SBOU)过程模型,开发出一种社区检测算法,在特定渐近 regime 下可实现一致的社区恢复,并通过 RE-Europe 风电容量数据集验证了方法的有效性。
2026-08-06 math.PR math.ST stat.ME
Semidefinite Programs for Exact Recovery of a Hidden Community
我们研究了一个半定规划(SDP)松弛的最大似然估计精确恢复一个隐藏的社区的基数$K$从$n \times n$对称数据矩阵$A$,其中不同的指标$i,j$,$A_{ij} \sim P$,如果$i, j$都在社区和$A_{ij} \sim Q$否则,对于两个已知的概率分布$P$和$Q$。我们确定了一个充分条件和SDP的一般模型的成功的必要条件。对于伯努利的例子($P={\rm Bern}(p)$和带有$p>q$的$Q={\rm Bern}(q)$)和高斯情况($P=\mathcal{N}(μ,1)$和$Q=\mathcal{N}(0,1)$ with $μ>0$),分别对应于种植稠密子图的恢复问题和子矩阵的定位问题,得到了如下结论:(1)如果$K=ω( n /\log n)$,SDP达到了具有尖锐常数的信息论恢复极限;(2)如果是$K=Θ(n/\log n)$,则SDP是阶次最优的,但严格地是次最优的,但相差一个常数因子;(3)如果是$K=o(n/\log n)$和$K \to \infty$,则SDP是阶次最优的.相同的关键缩放$K$被发现持有,直到常数因子,SDP的性能随机块模型的$n$顶点划分成多个社区的大小相等的$K$。必要条件证明的一个关键组成部分是一个原始可行解的真实集群矩阵的随机扰动的基础上建设。
2016-06-03 cs.IT cs.SI math.IT
When Does Bottom-up Beat Top-down in Hierarchical Community Detection?
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校)
本文研究了自底向上方法在分层社区检测中的优势,证明其在中间层次实现精确恢复的理论保证优于自顶向下方法。
2025-11-23 cs.LG cs.SI math.ST
Node-Private Community Detection in Stochastic Block Models
ESSEC Business School(ESSEC高等商学院);Yale University(耶鲁大学)
研究在纯节点级差分隐私下随机块模型中的社区检测,提出基于指数机制的节点私有估计器,证明精确恢复仍可行,并展示在稀疏条件下,对数隐私预算足以获得非平凡恢复保证,同时证明对数缩放是不可避免的。
2026-04-10 math.ST stat.TH
High-dimensional Clustering and Signal Recovery under Block Signals
本文针对块信号结构下的高维聚类与信号恢复问题,提出CFA-PCA和MA-PCA两种自适应方法,分别处理稀疏与稠密块信号,并证明其达到计算极小化极大下界,在更弱信号条件下实现一致聚类与恢复。
2025-04-11 cs.IT math.IT math.ST
Community Detection in Degree-Corrected Block Models
社区发现是网络数据分析的核心问题。给定一个网络,社区检测的目标是将网络节点划分为少量的集群,这通常有助于揭示有趣的结构。本文研究度校正块模型(DCBMs)中的社区发现问题。我们首先推导出在适当的条件下,错误分类比例损失问题的渐近极小极大风险。极大极小风险取决于度校正参数,社区规模,平均内和社区之间的连接在一个直观的和可解释的方式。此外,我们提出了一个多项式时间算法自适应执行一致的,甚至渐近最优的社区检测DCBM。
2016-07-24 cs.SI math.ST stat.ML
Optimal and exact recovery on the general nonuniform Hypergraph Stochastic Block Model
University of California, San Diego(加州大学圣地亚哥分校)
针对非均匀超图随机块模型中的社区检测问题,首次建立了精确恢复的尖锐阈值,并提出了两种达到最优性能的高效算法。
2026-06-02 math.PR math.ST stat.ML
Non-Asymptotic Chernoff Lower Bound and Its Application to Community Detection in Stochastic Block Model
在分类问题中,贝叶斯误差概率的上界是贝叶斯系数。本文给出了Bayes误差概率的sharp Beschoff型界。在非渐近条件下,新的界不仅是Bayes误差概率的上界,而且是Bayes误差概率的下界。此外,我们还将这一结果应用于随机块模型中的社区发现。作为一个聚类问题,社区检测的最优差错率可以用我们的Bauffff型界来表征。这可以通过在特定类别的参数空间上导出极大极小错误率来形式化,然后通过采用EM类型更新的多个步骤的可行算法来实现这样的差错率。
2018-12-29 math.ST stat.TH
Two-sample Test of Community Memberships of Weighted Stochastic Block Models
假设对同一组节点观察到两个网络,其中每个网络假定从加权随机块模型生成。本文考虑的问题,测试是否社区成员的两个网络是相同的。提出了一种基于奇异子空间距离的检验统计量。在稠密图加权随机区组模型下,给出了所提出的检验统计量的极限分布。仿真结果表明,该检验在稠密图下具有正确的经验1型误差。该测试在经验功效方面也表现得与预期相同,当块内和块间分布接近时,显示逐渐变化,当两个分布不那么接近时,达到1,其中两个分布的接近程度由Renyi发散度表征1/2阶。安然电子邮件网络被用来证明所提出的测试。
2018-11-30 math.ST stat.TH
Weak recovery, hypothesis testing, and mutual information in stochastic block models and planted factor graphs
本研究证明稀疏随机块模型中弱恢复与检测任务除临界点外等价,给出检测不可行时的高效低次最优检验,还证明渐近互信息在弱恢复阈值处存在相变,且结果可推广至超图块模型与植入因子图。
2025-02-21 cs.IT cs.SI math.CO
The Power of Two Matrices in Spectral Algorithms for Community Recovery
本文针对删失随机块模型的精确社区恢复问题,提出融合同一图两种矩阵编码谱信息的双矩阵谱算法,证明其可达信息论阈值,而单矩阵算法通常次优。
2024-10-24 cs.DS math.ST stat.TH
Consistency of community detection in networks under degree-corrected stochastic block models
社区检测是网络分析中的一个基本问题,在许多不同的领域有着广泛的应用。随机块模型是一种常用的基于模型的社区检测工具,最近开发了用于检查块模型下社区检测一致性的渐近工具。然而,块模型受到其假设的限制,即社区内的所有节点都是随机等价的,并且对社区内具有枢纽或高度变化的节点度的网络提供了较差的拟合,这在实践中很常见。度修正的随机块模型被提出来解决这个缺点,并允许社区内的节点度的变化,同时保持整体块社区结构。本文建立了度修正随机块模型下社区检测一致性检验的一般理论,并比较了标准模型和度修正模型下的几种社区检测准则。我们展示了哪些标准在哪些模型和约束条件下是一致的,并比较了它们在实践中的相对性能。我们发现,基于度校正块模型,其中包括标准块模型作为一个特殊情况下,方法是一致的,在更广泛的一类模型和模块化类型的方法需要参数约束的一致性,而基于可能性的方法不。另一方面,在实践中,度校正涉及估计更多的参数,根据经验,我们发现只有在社区内的节点度确实高度可变的情况下才值得这样做。我们说明了模拟网络和网络上的政治博客的方法。
2015-03-17 cs.SI math.ST physics.soc-ph
Spectral Recovery in the Labeled SBM
针对具有$k$个社区的Labeled SBM精确社区恢复问题,提出一种使用$L$个矩阵特征向量的谱算法,在对数度机制下达到信息论阈值,推广了$L=2$时的现有工作。
2024-08-23 cs.SI math.ST stat.TH
Combinatorial-Probabilistic Trade-Off: Community Properties Test in the Stochastic Block Models
在本文中,我们提出了一个推理框架测试一般社区组合性质的随机块模型。而不是估计社区分配,我们的目标是测试的假设是否满足一定的社区财产。例如,我们建议测试一组给定的节点是否属于同一个社区,或者不同的网络社区是否具有相同的大小。我们提出了一个通用的推理框架,可以适用于所有对称社区属性。为了缓解社区属性的组合性质所带来的挑战,我们开发了一种新的阴影引导测试方法。通过利用对称性,我们的方法可以找到一个阴影代表真正的分配和分配的数量进行测试的替代可以大大减少。理论上,我们引入了两个社区类之间的组合距离,并在社区属性测试中显示了组合概率权衡现象。只要两个社区之间的组合距离与两个分配概率之间的概率距离的乘积足够大,我们的测试就是诚实的。另一方面,我们表明,这种权衡也存在于信息理论的下界的共同财产测试。我们还实现了数值实验的合成数据和蛋白质相互作用的应用程序,以显示我们的方法的有效性。
2020-10-29 math.ST stat.TH
Testing Changes in Communities for the Stochastic Block Model
Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出并分析了\textit{community goodness-of-fit and two-sample testing}的随机块模型(SBM)的问题,其中出现的变化,由于修改社区成员的节点。出于实际应用的需要,我们考虑了具有挑战性的稀疏制度,其中预期的节点度是恒定的,并且社区间平均度($b$)与社区内平均度($a$)成比例地缩放。先前的工作已经根据基于$a$和$b$的“信噪比”($\mathrm{SNR}$)来明确地表征部分或全部社区恢复。对于这两个问题,我们提出了计算效率高的测试,可以成功远远超出的制度,恢复社区成员甚至是可能的。总的来说,对于大的变化,$s \gg \sqrt{n}$,我们只需要$\mathrm{SNR}= O(1)$,而基于$O(s)$错误的社区恢复的简单测试需要$\mathrm{SNR}= Θ(\log n)$。相反,在小的变化制度,$s \ll \sqrt{n}$,通过信息理论的下限,我们表明,令人惊讶的是,没有算法可以做得比天真的算法,首先估计社区高达$O(s)$错误,然后检测变化。我们验证这些现象数值上的SBM和现实世界的数据集,以及马尔可夫随机场,我们只观察节点数据,而不是链接的存在。
2019-10-31 cs.IT cs.LG cs.SI
Conditioning of Random Block Subdictionaries with Applications to Block-Sparse Recovery and Regression
线性模型是统计学和信号处理文献的主要内容,在线性模型中,一组观测值被假定为由矩阵的列的线性组合给出。在线性模型下进行推理的一个特殊挑战是理解字典上的条件,在这些条件下可靠的推理是可能的。近年来,由于许多现代推理问题涉及“欠定”设置,其中观察的数量比字典中的列数要小于得多,因此这一挑战重新引起了人们的关注。本文作出了几个贡献,这种设置时,一组的意见是由一个线性组合的一小部分列的字典,被称为“块稀疏”的情况下。首先,它指定字典上的条件,在该条件下,大多数块子字典是良态的。这个结果从根本上不同于先前关于块稀疏推理的工作,因为(i)它提供了可以在多项式时间内显式计算的条件,(ii)给定的条件转化为块子字典的列数的接近最优的缩放,作为大类字典的观察数的函数,以及(iii)它表明字典的谱范数和二次平均块相干性(而不是最坏情况的相干性)从根本上限制了条件良好的块子字典的维度的缩放。其次,本文研究了欠定背景下的块稀疏恢复和块稀疏回归问题。只要字典满足容易计算的条件,并且描述列组的线性组合的系数可以通过温和的统计先验来建模,则对于某些字典,接近最优的块稀疏恢复和回归是可能的。
2016-08-28 cs.IT math.IT math.ST
Exact Recovery in the General Hypergraph Stochastic Block Model
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);National University of Singapore(新加坡国立大学)
本文研究了一般d-一致超图随机块模型(d-HSBM)的精确恢复的基本极限,其中n个节点被划分为k个相对大小为(p1,.,pk)。基数为d的每个节点子集都独立地生成为d阶超边,其概率取决于d个节点所属的地面实况社区。目标是根据观察到的超图准确地恢复k个隐藏社区。我们表明,存在一个尖锐的阈值,使确切的恢复是可以实现的阈值以上,不可能低于阈值(除了一个小政权的参数,将被精确指定)。这一阈值表示在一个数量,我们称之为社区之间的广义B-H分歧。我们的结果,这个一般模型恢复先前的结果为标准的SBM和d-HSBM两个对称社区作为特殊情况。在证明我们的可实现性结果的过程中,我们开发了一个满足阈值的多项式时间两阶段算法。第一阶段采用一定的超图谱聚类方法来获得社区的粗略估计,第二阶段通过局部细化步骤单独细化每个节点,以确保准确的恢复。
2022-09-09 cs.IT cs.LG eess.SP
Fundamental limits of community detection from multi-view data: multi-layer, dynamic and partially labeled block models
本文通过统一理论框架研究多视角数据(多层、动态、部分标注块模型)中社区发现的互信息与尖锐恢复阈值,并提出基于近似消息传递的迭代算法。
2024-01-16 cs.IT cs.SI math.IT
Dynamic Network Sampling for Community Detection
我们提出了一个动态的网络采样计划,以优化块恢复随机块模型(SBM)的情况下,它是昂贵的,以观察整个图。从理论上讲,我们提供了我们提出的最佳动态采样方案的理由,通过最佳动态采样信息。实际上,我们评估的性能,块恢复,我们的方法在几个真正的数据集从不同的域。理论和实践结果表明,我们的方法可以确定的顶点,有最大的块结构的影响,使人们可以只检查它们之间是否有边缘,以节省大量的资源,但仍然恢复块结构。
2022-12-16 cs.SI math.ST stat.CO
Pairwise Covariates-adjusted Block Model for Community Detection
针对传统随机块模型(SBM)同社区节点随机等价假设的局限性,提出纳入成对协变量的PCABM模型,设计高效求解的SCWA算法并证明其一致性,还提出模型与特征选择算法,在多类网络中表现优于SBM和DCBM。
2023-05-01 math.ST stat.AP stat.ME
Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence
我们推导出精确恢复的社区在加权随机块模型,观察收集的形式加权邻接矩阵,每个边缘的权重独立于由其端点的社区成员资格所确定的分布而产生的尖锐阈值。我们的主要结果,表征成功和失败的最大似然估计边缘权重时,从离散分布之间的精确边界,涉及Renyi发散的顺序$\frac{1}{2}$之间的分布内社区和社区之间的边缘。当Renyi散度高于某个阈值时,意味着边缘分布充分分离,最大似然法成功,概率趋于1;当Renyi散度低于阈值时,最大似然法失败,概率远离0。在图形通道的语言中,Renyi分歧指出了具有二进制输入的离散图形通道的信息理论容量。我们的研究结果概括了以前建立的阈值,专门为未加权块模型,并支持一个重要的自然直觉有关的内在硬度社区估计的边缘分类的问题。一路上,我们建立了一个一般的关系之间的Renyi分歧和成功的概率的最大似然估计的任意边缘重量分布。最后,我们讨论的后果,我们的界限的相关问题的截尾块模型和子矩阵本地化,这可能被视为特殊情况下,我们的文件中开发的框架。
2015-09-21 cs.IT cs.SI math.IT