Partial Recovery Bounds for the Sparse Stochastic Block Model
本文研究了对称两社区随机块模型中社区发现的信息论极限,社区内和社区间的边缘概率分别为$\frac{a}{n}$和$\frac{b}{n}$.我们考虑稀疏设置,其中$a$和$b$不随$n$扩展,并提供平均恢复的社区标签比例的上限和下限。我们提供了一个数值例子,其中的界限是接近匹配的适度值的$a - b$,并在极限匹配的$a-b$增长大。
2016-04-04 cs.IT cs.SI math.IT
Information Limits for Recovering a Hidden Community
我们研究了从$n \times n$对称数据矩阵$A$中恢复一个隐藏的基数$K$社区的问题,其中对于不同的索引$i,j$,如果$i, j$都属于社区,则为$A_{ij} \sim P$,否则为$A_{ij} \sim Q$,对于两个已知的概率分布$P$和$Q$依赖于$n$。如果$P={\rm Bern}(p)$和$Q={\rm Bern}(q)$与$p>q$,它减少到寻找一个密集连接的$K$ -子图种植在一个大的Erdös-Rényi图的问题;如果$P=\mathcal{N}(μ,1)$和$Q=\mathcal{N}(0,1)$与$μ>0$,它对应于定位一个$K \times K$主子矩阵的提升的意思在一个大的高斯随机矩阵。我们专注于两种类型的渐近恢复保证$n \to \infty$:(1)弱恢复:预期的分类错误数是$o(K)$ ;(2)精确恢复:正确分类所有指标的概率收敛到一个。在对$P$和$Q$的温和假设下,并允许社区规模与$n$呈次线性关系,我们导出了一组恢复的充分条件和一组必要条件,这些条件是渐近紧的,具有尖锐的常数。特别是高斯的情况下,和有界对数似然比的情况下,包括伯努利的情况下,$\frac{p}{q}$和$\frac{1-p}{1-q}$有界远离零和无穷大的结果。一个重要的算法的含义是,只要精确的恢复是信息理论上可能的,任何算法,提供弱恢复时,社区规模集中在$K$附近…
2016-01-25 cs.IT math.IT stat.ML
Harnessing Multiple Correlated Networks for Exact Community Recovery
Northwestern University(西北大学)
针对从多个相关网络中学习潜在社区结构的问题,本文推导了使用任意常数数量相关图进行精确社区恢复的信息论阈值,解决了两图以上场景的信息聚合挑战,刻画了K≥3时仅K图可恢复而K-1图不可的参数区域。
2024-12-03 cs.IT cs.LG cs.SI
Recovery under Side Constraints
本文讨论了稀疏信号重构下的各种类型的结构侧约束的应用在多天线系统。边约束可以由关于测量系统和稀疏信号结构的先验信息产生。它们可能涉及传感矩阵的结构,非零支持值的结构,稀疏表示向量的时间结构,以及非线性测量结构。首先,我们演示了如何先验信息的形式结构侧约束的影响恢复保证(零空间属性)使用L1最小化。此外,对于恒模信号,信号的行,块和秩稀疏,以及非圆形信号,我们说明了如何结构先验信息可以用来设计有效的算法,提高恢复性能和降低计算复杂性。最后,我们解决了测量系统的设计,线性和非线性测量稀疏信号。此外,我们讨论了基于相干最小化的线性混合矩阵设计。然后,我们将我们的重点扩展到非线性测量系统,我们设计并行优化算法,有效地计算稳定点的稀疏相位恢复问题,字典学习和没有。
2021-06-17 cs.IR cs.IT math.IT
Community Recovery in Hypergraphs
KAIST(韩国科学技术院)
社区恢复是一个中心问题,出现在各种各样的应用,如网络聚类,运动分割,人脸聚类和蛋白质复合物检测。该问题的目标是基于一组测量值将数据点聚类到不同的社区中,每个测量值与一定数量的数据点的值相关联。虽然大多数先前的工作集中在一个测量中涉及的数据点的数量是两个的设置,这项工作探索了一个广义的设置,其中的数量可以超过两个。特别是在机器学习和信道编码中的应用的启发下,我们考虑两种类型的测量:(1)同质性测量,其指示相关联的数据点是否属于同一社区;(2)奇偶性测量,其指示数据点的值的模2和。这样的测量可能被伯努利噪声破坏。我们的特点所需的测量数量的基本限制,以重建所考虑的模型的社区。
2017-09-12 cs.IT cs.LG math.IT
Recovering a Single Community with Side Information
我们研究了边信息的质量和数量对大小为$n$的图中大小为$K=o(n)$的隐藏社区的恢复的影响。图中每个节点的边信息由具有以下特征的随机向量建模:允许向量的维度随$n$而变化,而每个分量相对于节点标签的对数似然比(LLR)是固定的,或者允许LLR变化并且向量维度是固定的。这两个模型代表了边信息的质量和数量的变化。根据最大似然检测,我们计算严格的必要和充分条件,准确恢复的标签。我们演示了如何边信息需要演变与$n$在其数量,或质量方面,以提高准确的恢复阈值。一组类似的结果得到弱恢复。在置信传播下,当LLR为常数时,得到了弱恢复的充分必要条件,当LLR随$n$变化时,得到了弱恢复的充分必要条件.此外,我们设计和分析了一个本地投票过程中使用的边信息,可以实现准确的恢复后,信念传播。通过有限合成数据集上的仿真验证了置信传播的结果,表明本文的渐近结果也可以揭示有限$n$上的性能。
2018-09-05 cs.IT math.IT stat.ML
Community Detection with Known, Unknown, or Partially Known Auxiliary Latent Variables
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
经验观察表明,在实践中,社区成员资格并不能完全解释观察图的边缘之间的依赖关系。图边缘的残差依赖性在本文中建模,一阶,辅助节点的潜变量,影响图边缘的统计,但没有携带有关感兴趣的社区的信息。然后,我们研究了图中的社区发现服从随机块模型和截尾块模型与辅助潜变量。当这些辅助潜变量是未知的,代表未知的滋扰参数或模型不匹配时,我们分析了精确恢复的条件。我们还分析了确切的恢复时,这些次要的潜在变量已被完全或部分揭示。最后,我们提出了一个半定规划算法恢复所需的标签时,二级标签是已知的或未知的。我们表明,精确的恢复是可能的半定规划下降到各自的最大似然精确恢复阈值。
2023-01-08 cs.IT cs.LG cs.SI
Query-Limited Community Recovery in Stochastic Block Models
Microsoft Research(微软研究院);Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);University of Liverpool(利物浦大学);Aalto University(阿尔托大学)
研究在有限且带噪的网络数据访问下,通过自适应查询策略实现两社区随机块模型的精确社区恢复,并证明自适应查询可突破非自适应基准的信息论极限。
2026-06-01 cs.IT cs.LG cs.SI
Exact Matching in Correlated Networks with Node Attributes for Improved Community Recovery
本文提出相关CSBM模型及两步匹配算法,利用边和节点属性实现跨网络精确节点对齐,从而合并多图信息以提升社区检测性能。
2025-07-23 cs.IT cs.SI math.IT
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
本文研究随机块模型下社区检测的边差分隐私谱聚类方法,提出隐私算法并刻画隐私预算与恢复准确性之间的权衡,同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG
Community Detection on Euclidean Random Graphs
研究了欧氏随机几何图上的社团检测问题,其中每个顶点有两个潜变量:一个二元社团标签和一个$\mathbb{R}^d$值位置标签,该标签构成强度为$λ$的泊松点过程的支撑.然后绘制一个随机图,其边缘概率取决于社区和位置标签。与没有位置标签的随机块模型(SBM)相比,由于几何嵌入,所得到的随机图包含更多的短循环。我们考虑恢复的社区标签,部分和精确的,使用随机图和位置标签。我们建立稀疏和对数度制度的相变,并提供界限的阈值的位置上,严格的情况下,确切的恢复。我们还表明,阈值的可扩展性问题,即,我们的模型和没有社区标签的空模型之间的测试没有表现出相变,特别是,不匹配弱恢复阈值(与SBM相反)。
2020-03-19 cs.IT cs.SI math.IT
Semidefinite Programs for Exact Recovery of a Hidden Community
我们研究了一个半定规划(SDP)松弛的最大似然估计精确恢复一个隐藏的社区的基数$K$从$n \times n$对称数据矩阵$A$,其中不同的指标$i,j$,$A_{ij} \sim P$,如果$i, j$都在社区和$A_{ij} \sim Q$否则,对于两个已知的概率分布$P$和$Q$。我们确定了一个充分条件和SDP的一般模型的成功的必要条件。对于伯努利的例子($P={\rm Bern}(p)$和带有$p>q$的$Q={\rm Bern}(q)$)和高斯情况($P=\mathcal{N}(μ,1)$和$Q=\mathcal{N}(0,1)$ with $μ>0$),分别对应于种植稠密子图的恢复问题和子矩阵的定位问题,得到了如下结论:(1)如果$K=ω( n /\log n)$,SDP达到了具有尖锐常数的信息论恢复极限;(2)如果是$K=Θ(n/\log n)$,则SDP是阶次最优的,但严格地是次最优的,但相差一个常数因子;(3)如果是$K=o(n/\log n)$和$K \to \infty$,则SDP是阶次最优的.相同的关键缩放$K$被发现持有,直到常数因子,SDP的性能随机块模型的$n$顶点划分成多个社区的大小相等的$K$。必要条件证明的一个关键组成部分是一个原始可行解的真实集群矩阵的随机扰动的基础上建设。
2016-06-03 cs.IT cs.SI math.IT
Semidefinite Programming for Community Detection with Side Information
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Virginia Tech(弗吉尼亚理工大学)
本文提出了一种有效的半定规划(SDP)的解决方案,社区检测,结合非图形数据,在这种情况下被称为边信息。SDP是一种有效的解决方案,用于图上的标准社区检测。我们制定了一个半定松弛的节点标签的极大似然估计,观察图形和非图形数据。该公式与标准社区检测的SDP解决方案不同,但保持了其理想的特性。我们计算了三种类型的非图信息的精确恢复阈值,在本文中称为边信息:部分显示的标签,嘈杂的标签,以及每个节点的多个观察(功能)任意但有限的基数。我们发现,SDP具有相同的确切的恢复阈值的边信息的存在下,作为极大似然与边信息。因此,本文开发的方法对于在存在边信息的情况下的社区检测的解决方案是计算上有效的以及渐近准确的。仿真结果表明,本文的渐近结果也可以揭示SDP的性能,为适度的大小的图。
2021-05-06 cs.IT cs.LG cs.SI
Community Detection and Stochastic Block Models
本专著综述了随机块模型(SBM)中社区检测的基本极限,涵盖信息论与计算权衡及精确、部分、弱恢复要求,并系统推导了图分割、半定规划、置信传播及谱方法等主要算法。
2023-10-25 cs.CC cs.IT cs.SI
Community detection in general stochastic block models: fundamental limits and efficient recovery algorithms
随机块模型是两个非重叠对称社区的特殊情况,最近发现了新的相变现象。这特别提出了由阈值驱动的新算法挑战。本文探讨了是否有一个普遍的现象发生在多个社区,而不强加对称性。在一般的随机块模型$\text{SBM}(n,p,Q)$中,$n$顶点被分成大小为$\{p_i\}_{i \in [k]}$的$k$社区,社区中的顶点$i$和$j$以概率$\{Q_{i,j}\}_{i,j \in [k]}$独立连接.本文研究了一般SBM(在常数和对数度制度)的社区的部分和精确恢复,并使用结果的一般性来解决重叠社区。该论文的贡献包括:(i)根据新的发散函数$D_+$的一般SBM中的恢复阈值的明确表征,该新的发散函数推广了Hellinger发散和Bauffff发散,并且向类似于信道编码定理中的KL发散的发散函数提供了操作意义,(ii)开发一种算法,该算法将社区一直恢复到最佳阈值,并在准线性时间内运行,表明精确恢复对于多个社区没有信息理论到计算差距,与4个以上群落的检测结果相反;注意该算法在达到阈值和具有准线性复杂度方面都是最优的,(iii)发展一种有效的算法,在常数度范围内检测社区,并具有明确的准确性界限,当指定信号-信噪比(根据$\diag(p)Q$的光谱定义)趋于无穷大。
2015-04-04 cs.IT cs.SI math.IT
An Approximate Message Passing Framework for Side Information
近似消息传递(AMP)方法最近在稀疏信号恢复中获得了牵引力。关于信号的附加信息或\emph{side information}(SI)通常是可用的,并且可以帮助有效的信号恢复。这项工作提出了一个基于AMP的框架,利用SI,可以很容易地实现在各种设置中的SI结果在可分离的分布。为了说明我们的方法的简单性和适用性,这个框架被应用到一个Bernoulli-Gaussian(BG)模型和一个随时间变化的出生-死亡-漂移(BDD)信号模型,在信道估计的应用程序的动机。我们开发了一套算法,称为AMP-SI,并推导出去噪BDD和BG模型。数值证据表明,我们的方法的优势,提出了一个建议的状态演变的准确性的经验证据。
2019-05-02 cs.IT math.IT
Differentially Private Online Community Detection for Censored Block Models: Algorithms and Fundamental Limits
Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
本文针对删失块模型下的动态社区,提出在局部和中心边差分隐私下的联合变化检测与社区估计方法,并给出隐私、延迟与精确恢复间权衡的理论条件及实验验证。
2025-10-07 cs.CR cs.IT cs.SI
Information Limits of Joint Community Detection and Finite Group Synchronization
本文研究联合社区检测与有限群同步问题,在稀疏随机块模型下建立了最大似然估计精确恢复的锐利信息论阈值,证明额外群变换显著有利于社区恢复,并揭示了MLE与现有半定规划及谱方法之间的显著性能差距。
2025-06-05 cs.IT math.IT
Exact Recovery in the Data Block Model
Statistical Laboratory, Centre for Mathematical Sciences, University of Cambridge, Cambridge, United Kingdom(剑桥大学统计实验室,数学科学中心);Department of Mathematical Sciences, Isfahan University of Technology, Isfahan, Iran(伊斯法罕技术大学数学科学系);Department of Electrical Engineering, Faculty of Engineering, University of Isfahan, Isfahan, Iran(伊斯法罕大学工程学院电气工程系)
本文研究了数据块模型中的精确恢复问题,引入了Chernoff-TV分歧来刻画精确恢复阈值,并提出高效算法和反向结果,验证了节点数据在社区检测中的辅助作用。
2026-02-05 cs.IT cs.LG math.IT
Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence
我们推导出精确恢复的社区在加权随机块模型,观察收集的形式加权邻接矩阵,每个边缘的权重独立于由其端点的社区成员资格所确定的分布而产生的尖锐阈值。我们的主要结果,表征成功和失败的最大似然估计边缘权重时,从离散分布之间的精确边界,涉及Renyi发散的顺序$\frac{1}{2}$之间的分布内社区和社区之间的边缘。当Renyi散度高于某个阈值时,意味着边缘分布充分分离,最大似然法成功,概率趋于1;当Renyi散度低于阈值时,最大似然法失败,概率远离0。在图形通道的语言中,Renyi分歧指出了具有二进制输入的离散图形通道的信息理论容量。我们的研究结果概括了以前建立的阈值,专门为未加权块模型,并支持一个重要的自然直觉有关的内在硬度社区估计的边缘分类的问题。一路上,我们建立了一个一般的关系之间的Renyi分歧和成功的概率的最大似然估计的任意边缘重量分布。最后,我们讨论的后果,我们的界限的相关问题的截尾块模型和子矩阵本地化,这可能被视为特殊情况下,我们的文件中开发的框架。
2015-09-21 cs.IT cs.SI math.IT
Testing Changes in Communities for the Stochastic Block Model
Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出并分析了\textit{community goodness-of-fit and two-sample testing}的随机块模型(SBM)的问题,其中出现的变化,由于修改社区成员的节点。出于实际应用的需要,我们考虑了具有挑战性的稀疏制度,其中预期的节点度是恒定的,并且社区间平均度($b$)与社区内平均度($a$)成比例地缩放。先前的工作已经根据基于$a$和$b$的“信噪比”($\mathrm{SNR}$)来明确地表征部分或全部社区恢复。对于这两个问题,我们提出了计算效率高的测试,可以成功远远超出的制度,恢复社区成员甚至是可能的。总的来说,对于大的变化,$s \gg \sqrt{n}$,我们只需要$\mathrm{SNR}= O(1)$,而基于$O(s)$错误的社区恢复的简单测试需要$\mathrm{SNR}= Θ(\log n)$。相反,在小的变化制度,$s \ll \sqrt{n}$,通过信息理论的下限,我们表明,令人惊讶的是,没有算法可以做得比天真的算法,首先估计社区高达$O(s)$错误,然后检测变化。我们验证这些现象数值上的SBM和现实世界的数据集,以及马尔可夫随机场,我们只观察节点数据,而不是链接的存在。
2019-10-31 cs.IT cs.LG cs.SI
Community Recovery in the Geometric Block Model
Cornell University(康奈尔大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Google Research(谷歌研究院)
提出几何块模型以捕捉社区检测的几何特征,利用随机环图连通性结果证明简单三角形计数算法在该模型中近最优,并在对数度数区间内理论和实验表现优异。
2023-11-18 cs.DM cs.IT cs.LG
Differentially Private Community Detection in $h$-uniform Hypergraphs
本文研究了在h-均匀超图中实现差分隐私的社区检测,分析了不同隐私机制的精确恢复阈值及隐私预算的影响。
2025-12-12 cs.IT eess.SP math.IT
Differentially Private Community Detection for Stochastic Block Models
University of Arizona(亚利桑那大学);University of Virginia(弗吉尼亚大学)
本文研究SBM中边差分隐私下的社区精确恢复,分析稳定性、采样与图扰动三类机制,揭示隐私预算、连接概率和计算复杂度之间的权衡。
2023-08-18 cs.CR cs.IT cs.LG
The greedy side of the LASSO: New algorithms for weighted sparse recovery via loss function-based orthogonal matching pursuit
本文提出基于损失函数推广 OMP 的加权稀疏恢复贪婪算法,给出多种加权 LASSO 形式的显式选择规则,并通过实验验证其继承 SR-LASSO 与 LAD-LASSO 的优良特性。
2025-02-16 cs.IT cs.NA math.IT
Fundamental limits of community detection from multi-view data: multi-layer, dynamic and partially labeled block models
本文通过统一理论框架研究多视角数据(多层、动态、部分标注块模型)中社区发现的互信息与尖锐恢复阈值,并提出基于近似消息传递的迭代算法。
2024-01-16 cs.IT cs.SI math.IT
Sample-efficient inductive matrix completion with noise and inexact side-information
Yale Department of Statistics and Data Sciences, Yale University(耶鲁大学统计与数据科学系);UChicago Department of Statistics, University of Chicago(芝加哥大学统计系)
本文研究了在存在噪声和不精确侧信息的情况下,通过非凸投影梯度下降算法实现样本高效的归纳矩阵补全,提出了一个适用于有效问题规模的正则性条件,实现了线性收敛和估计误差仅依赖于有效问题规模的结论。
2026-06-09 cs.IT cs.LG math.IT
Fundamental Limits of Community Detection in Contextual Multi-Layer Stochastic Block Models
Peking University(北京大学);Tsinghua University(清华大学)
本文研究了在具有上下文的多层随机块模型中社区检测的基本限制,推导了检测和估计的阈值,并设计了高效算法以消除统计-计算间隙。
2026-02-09 cs.IT cs.LG math.IT
Community Detection with Contextual Multilayer Networks
在本文中,我们研究社区检测时,我们观察$m$稀疏网络和高维协变量矩阵,所有编码相同的社区结构之间的$n$科目。在特征数$p$和主题数$n$成比例增长的渐近条件下,我们推导出了在平衡两个块的情况下估计共同社区结构的渐近最小均方误差(MMSE)的精确公式.该公式意味着有必要整合来自多个数据源的信息。因此,它在检测(即,弱恢复)是可能的,并且没有任何过程比随机猜测执行得更好。渐近MMSE依赖于协变量的信噪比在一个更微妙的方式比相变阈值。在特殊情况下,$m=1$,我们的渐近MMSE公式补充了Deshpande等的开创性工作。等人(2018)发现当$m=1$ .
2023-01-12 cs.IT math.IT math.ST
Weak recovery, hypothesis testing, and mutual information in stochastic block models and planted factor graphs
本研究证明稀疏随机块模型中弱恢复与检测任务除临界点外等价,给出检测不可行时的高效低次最优检验,还证明渐近互信息在弱恢复阈值处存在相变,且结果可推广至超图块模型与植入因子图。
2025-02-21 cs.IT cs.SI math.CO