Information Limits for Recovering a Hidden Community
我们研究了从$n \times n$对称数据矩阵$A$中恢复一个隐藏的基数$K$社区的问题,其中对于不同的索引$i,j$,如果$i, j$都属于社区,则为$A_{ij} \sim P$,否则为$A_{ij} \sim Q$,对于两个已知的概率分布$P$和$Q$依赖于$n$。如果$P={\rm Bern}(p)$和$Q={\rm Bern}(q)$与$p>q$,它减少到寻找一个密集连接的$K$ -子图种植在一个大的Erdös-Rényi图的问题;如果$P=\mathcal{N}(μ,1)$和$Q=\mathcal{N}(0,1)$与$μ>0$,它对应于定位一个$K \times K$主子矩阵的提升的意思在一个大的高斯随机矩阵。我们专注于两种类型的渐近恢复保证$n \to \infty$:(1)弱恢复:预期的分类错误数是$o(K)$ ;(2)精确恢复:正确分类所有指标的概率收敛到一个。在对$P$和$Q$的温和假设下,并允许社区规模与$n$呈次线性关系,我们导出了一组恢复的充分条件和一组必要条件,这些条件是渐近紧的,具有尖锐的常数。特别是高斯的情况下,和有界对数似然比的情况下,包括伯努利的情况下,$\frac{p}{q}$和$\frac{1-p}{1-q}$有界远离零和无穷大的结果。一个重要的算法的含义是,只要精确的恢复是信息理论上可能的,任何算法,提供弱恢复时,社区规模集中在$K$附近…
2016-01-25 cs.IT math.IT stat.ML
Harnessing Multiple Correlated Networks for Exact Community Recovery
Northwestern University(西北大学)
针对从多个相关网络中学习潜在社区结构的问题,本文推导了使用任意常数数量相关图进行精确社区恢复的信息论阈值,解决了两图以上场景的信息聚合挑战,刻画了K≥3时仅K图可恢复而K-1图不可的参数区域。
2024-12-03 cs.IT cs.LG cs.SI
Community Recovery in Hypergraphs
KAIST(韩国科学技术院)
社区恢复是一个中心问题,出现在各种各样的应用,如网络聚类,运动分割,人脸聚类和蛋白质复合物检测。该问题的目标是基于一组测量值将数据点聚类到不同的社区中,每个测量值与一定数量的数据点的值相关联。虽然大多数先前的工作集中在一个测量中涉及的数据点的数量是两个的设置,这项工作探索了一个广义的设置,其中的数量可以超过两个。特别是在机器学习和信道编码中的应用的启发下,我们考虑两种类型的测量:(1)同质性测量,其指示相关联的数据点是否属于同一社区;(2)奇偶性测量,其指示数据点的值的模2和。这样的测量可能被伯努利噪声破坏。我们的特点所需的测量数量的基本限制,以重建所考虑的模型的社区。
2017-09-12 cs.IT cs.LG math.IT
Recovering a Single Community with Side Information
我们研究了边信息的质量和数量对大小为$n$的图中大小为$K=o(n)$的隐藏社区的恢复的影响。图中每个节点的边信息由具有以下特征的随机向量建模:允许向量的维度随$n$而变化,而每个分量相对于节点标签的对数似然比(LLR)是固定的,或者允许LLR变化并且向量维度是固定的。这两个模型代表了边信息的质量和数量的变化。根据最大似然检测,我们计算严格的必要和充分条件,准确恢复的标签。我们演示了如何边信息需要演变与$n$在其数量,或质量方面,以提高准确的恢复阈值。一组类似的结果得到弱恢复。在置信传播下,当LLR为常数时,得到了弱恢复的充分必要条件,当LLR随$n$变化时,得到了弱恢复的充分必要条件.此外,我们设计和分析了一个本地投票过程中使用的边信息,可以实现准确的恢复后,信念传播。通过有限合成数据集上的仿真验证了置信传播的结果,表明本文的渐近结果也可以揭示有限$n$上的性能。
2018-09-05 cs.IT math.IT stat.ML
Community Detection with Known, Unknown, or Partially Known Auxiliary Latent Variables
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
经验观察表明,在实践中,社区成员资格并不能完全解释观察图的边缘之间的依赖关系。图边缘的残差依赖性在本文中建模,一阶,辅助节点的潜变量,影响图边缘的统计,但没有携带有关感兴趣的社区的信息。然后,我们研究了图中的社区发现服从随机块模型和截尾块模型与辅助潜变量。当这些辅助潜变量是未知的,代表未知的滋扰参数或模型不匹配时,我们分析了精确恢复的条件。我们还分析了确切的恢复时,这些次要的潜在变量已被完全或部分揭示。最后,我们提出了一个半定规划算法恢复所需的标签时,二级标签是已知的或未知的。我们表明,精确的恢复是可能的半定规划下降到各自的最大似然精确恢复阈值。
2023-01-08 cs.IT cs.LG cs.SI
Query-Limited Community Recovery in Stochastic Block Models
Microsoft Research(微软研究院);Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);University of Liverpool(利物浦大学);Aalto University(阿尔托大学)
研究在有限且带噪的网络数据访问下,通过自适应查询策略实现两社区随机块模型的精确社区恢复,并证明自适应查询可突破非自适应基准的信息论极限。
2026-06-01 cs.IT cs.LG cs.SI
Exact Matching in Correlated Networks with Node Attributes for Improved Community Recovery
本文提出相关CSBM模型及两步匹配算法,利用边和节点属性实现跨网络精确节点对齐,从而合并多图信息以提升社区检测性能。
2025-07-23 cs.IT cs.SI math.IT
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
本文研究随机块模型下社区检测的边差分隐私谱聚类方法,提出隐私算法并刻画隐私预算与恢复准确性之间的权衡,同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG
Community Detection on Euclidean Random Graphs
研究了欧氏随机几何图上的社团检测问题,其中每个顶点有两个潜变量:一个二元社团标签和一个$\mathbb{R}^d$值位置标签,该标签构成强度为$λ$的泊松点过程的支撑.然后绘制一个随机图,其边缘概率取决于社区和位置标签。与没有位置标签的随机块模型(SBM)相比,由于几何嵌入,所得到的随机图包含更多的短循环。我们考虑恢复的社区标签,部分和精确的,使用随机图和位置标签。我们建立稀疏和对数度制度的相变,并提供界限的阈值的位置上,严格的情况下,确切的恢复。我们还表明,阈值的可扩展性问题,即,我们的模型和没有社区标签的空模型之间的测试没有表现出相变,特别是,不匹配弱恢复阈值(与SBM相反)。
2020-03-19 cs.IT cs.SI math.IT
Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative Priors
Northeastern University(东北大学)
统计学和机器学习中的许多问题都需要从噪声数据中重建秩一信号矩阵。在秩一分量上强制执行额外的先验信息通常是保证良好恢复性能的关键。一个这样的先验的低秩分量是稀疏性,导致稀疏主成分分析问题。不幸的是,有强有力的证据表明,这个问题受到计算到统计差距的影响,这可能是根本性的。在这项工作中,我们研究了另一种先验,其中低秩分量在训练的生成网络的范围内。我们提供了一个非渐近分析的最佳样本复杂性,对数因子,秩一矩阵恢复下的扩展高斯网络之前。具体来说,我们建立了一个有利的全局优化景观的非线性最小二乘目标,提供的样本数量是对生成模型的输入的维数的顺序。这一结果表明,生成先验在有限数据,非渐近制度的结构化秩一矩阵恢复没有计算到统计差距。我们提出了这种分析的情况下,Wishart和Wigner尖峰矩阵模型。
2020-11-09 cs.IT cs.LG math.IT
Uniform Recovery Guarantees for Quantized Corrupted Sensing Using Structured or Generative Priors
本文针对量化损坏感知问题,利用抖动均匀量化器和亚高斯感知矩阵,为结构化先验和生成先验下的Lasso恢复建立了统一保证,并改进了量化乘积嵌入性质及误差衰减率。
2024-01-16 cs.IT eess.SP math.IT
Semidefinite Programs for Exact Recovery of a Hidden Community
我们研究了一个半定规划(SDP)松弛的最大似然估计精确恢复一个隐藏的社区的基数$K$从$n \times n$对称数据矩阵$A$,其中不同的指标$i,j$,$A_{ij} \sim P$,如果$i, j$都在社区和$A_{ij} \sim Q$否则,对于两个已知的概率分布$P$和$Q$。我们确定了一个充分条件和SDP的一般模型的成功的必要条件。对于伯努利的例子($P={\rm Bern}(p)$和带有$p>q$的$Q={\rm Bern}(q)$)和高斯情况($P=\mathcal{N}(μ,1)$和$Q=\mathcal{N}(0,1)$ with $μ>0$),分别对应于种植稠密子图的恢复问题和子矩阵的定位问题,得到了如下结论:(1)如果$K=ω( n /\log n)$,SDP达到了具有尖锐常数的信息论恢复极限;(2)如果是$K=Θ(n/\log n)$,则SDP是阶次最优的,但严格地是次最优的,但相差一个常数因子;(3)如果是$K=o(n/\log n)$和$K \to \infty$,则SDP是阶次最优的.相同的关键缩放$K$被发现持有,直到常数因子,SDP的性能随机块模型的$n$顶点划分成多个社区的大小相等的$K$。必要条件证明的一个关键组成部分是一个原始可行解的真实集群矩阵的随机扰动的基础上建设。
2016-06-03 cs.IT cs.SI math.IT
Community Detection and Stochastic Block Models
本专著综述了随机块模型(SBM)中社区检测的基本极限,涵盖信息论与计算权衡及精确、部分、弱恢复要求,并系统推导了图分割、半定规划、置信传播及谱方法等主要算法。
2023-10-25 cs.CC cs.IT cs.SI
Community detection in general stochastic block models: fundamental limits and efficient recovery algorithms
随机块模型是两个非重叠对称社区的特殊情况,最近发现了新的相变现象。这特别提出了由阈值驱动的新算法挑战。本文探讨了是否有一个普遍的现象发生在多个社区,而不强加对称性。在一般的随机块模型$\text{SBM}(n,p,Q)$中,$n$顶点被分成大小为$\{p_i\}_{i \in [k]}$的$k$社区,社区中的顶点$i$和$j$以概率$\{Q_{i,j}\}_{i,j \in [k]}$独立连接.本文研究了一般SBM(在常数和对数度制度)的社区的部分和精确恢复,并使用结果的一般性来解决重叠社区。该论文的贡献包括:(i)根据新的发散函数$D_+$的一般SBM中的恢复阈值的明确表征,该新的发散函数推广了Hellinger发散和Bauffff发散,并且向类似于信道编码定理中的KL发散的发散函数提供了操作意义,(ii)开发一种算法,该算法将社区一直恢复到最佳阈值,并在准线性时间内运行,表明精确恢复对于多个社区没有信息理论到计算差距,与4个以上群落的检测结果相反;注意该算法在达到阈值和具有准线性复杂度方面都是最优的,(iii)发展一种有效的算法,在常数度范围内检测社区,并具有明确的准确性界限,当指定信号-信噪比(根据$\diag(p)Q$的光谱定义)趋于无穷大。
2015-04-04 cs.IT cs.SI math.IT
Differentially Private Online Community Detection for Censored Block Models: Algorithms and Fundamental Limits
Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
本文针对删失块模型下的动态社区,提出在局部和中心边差分隐私下的联合变化检测与社区估计方法,并给出隐私、延迟与精确恢复间权衡的理论条件及实验验证。
2025-10-07 cs.CR cs.IT cs.SI
Information Limits of Joint Community Detection and Finite Group Synchronization
本文研究联合社区检测与有限群同步问题,在稀疏随机块模型下建立了最大似然估计精确恢复的锐利信息论阈值,证明额外群变换显著有利于社区恢复,并揭示了MLE与现有半定规划及谱方法之间的显著性能差距。
2025-06-05 cs.IT math.IT
Exact Recovery in the Data Block Model
Statistical Laboratory, Centre for Mathematical Sciences, University of Cambridge, Cambridge, United Kingdom(剑桥大学统计实验室,数学科学中心);Department of Mathematical Sciences, Isfahan University of Technology, Isfahan, Iran(伊斯法罕技术大学数学科学系);Department of Electrical Engineering, Faculty of Engineering, University of Isfahan, Isfahan, Iran(伊斯法罕大学工程学院电气工程系)
本文研究了数据块模型中的精确恢复问题,引入了Chernoff-TV分歧来刻画精确恢复阈值,并提出高效算法和反向结果,验证了节点数据在社区检测中的辅助作用。
2026-02-05 cs.IT cs.LG math.IT
Robust Compressed Sensing using Generative Models
UT Austin(德克萨斯大学奥斯汀分校)
压缩感知的目标是从欠定的噪声线性方程组中估计高维向量。类似于经典压缩感知,这里我们假设生成模型作为先验,即,我们假设向量由深度生成模型$G: \mathbb{R}^k \rightarrow \mathbb{R}^n$表示。经典的恢复方法,如经验风险最小化(ERM),保证成功时的测量矩阵是亚高斯。然而,当测量矩阵和测量是重尾的或具有离群值时,恢复可能会显著失败。在本文中,我们提出了一个算法的启发,中位数的平均值(MENS)。我们的算法保证恢复重尾数据,即使在存在离群值。理论上,我们的研究结果表明,我们的新的基于MOM的算法享有相同的样本复杂度保证下的次高斯假设的ERM。我们的实验验证了我们的主张的两个方面:其他算法确实是脆弱的,失败的重尾和/或损坏的数据,而我们的方法表现出预测的鲁棒性。
2021-06-23 cs.IT cs.LG math.IT
Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence
我们推导出精确恢复的社区在加权随机块模型,观察收集的形式加权邻接矩阵,每个边缘的权重独立于由其端点的社区成员资格所确定的分布而产生的尖锐阈值。我们的主要结果,表征成功和失败的最大似然估计边缘权重时,从离散分布之间的精确边界,涉及Renyi发散的顺序$\frac{1}{2}$之间的分布内社区和社区之间的边缘。当Renyi散度高于某个阈值时,意味着边缘分布充分分离,最大似然法成功,概率趋于1;当Renyi散度低于阈值时,最大似然法失败,概率远离0。在图形通道的语言中,Renyi分歧指出了具有二进制输入的离散图形通道的信息理论容量。我们的研究结果概括了以前建立的阈值,专门为未加权块模型,并支持一个重要的自然直觉有关的内在硬度社区估计的边缘分类的问题。一路上,我们建立了一个一般的关系之间的Renyi分歧和成功的概率的最大似然估计的任意边缘重量分布。最后,我们讨论的后果,我们的界限的相关问题的截尾块模型和子矩阵本地化,这可能被视为特殊情况下,我们的文件中开发的框架。
2015-09-21 cs.IT cs.SI math.IT
Testing Changes in Communities for the Stochastic Block Model
Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出并分析了\textit{community goodness-of-fit and two-sample testing}的随机块模型(SBM)的问题,其中出现的变化,由于修改社区成员的节点。出于实际应用的需要,我们考虑了具有挑战性的稀疏制度,其中预期的节点度是恒定的,并且社区间平均度($b$)与社区内平均度($a$)成比例地缩放。先前的工作已经根据基于$a$和$b$的“信噪比”($\mathrm{SNR}$)来明确地表征部分或全部社区恢复。对于这两个问题,我们提出了计算效率高的测试,可以成功远远超出的制度,恢复社区成员甚至是可能的。总的来说,对于大的变化,$s \gg \sqrt{n}$,我们只需要$\mathrm{SNR}= O(1)$,而基于$O(s)$错误的社区恢复的简单测试需要$\mathrm{SNR}= Θ(\log n)$。相反,在小的变化制度,$s \ll \sqrt{n}$,通过信息理论的下限,我们表明,令人惊讶的是,没有算法可以做得比天真的算法,首先估计社区高达$O(s)$错误,然后检测变化。我们验证这些现象数值上的SBM和现实世界的数据集,以及马尔可夫随机场,我们只观察节点数据,而不是链接的存在。
2019-10-31 cs.IT cs.LG cs.SI
The Generalized Lasso with Nonlinear Observations and Generative Priors
National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,从噪声的非线性测量信号估值估计的未知$n$维信号的范围内的$L$ -Lipschitz连续生成模型与有界$k$维输入。我们假设的亚高斯测量,这是满足广泛的测量模型,如线性,逻辑,1位,和其他量化模型。此外,我们认为对抗腐败对这些测量的影响。我们的分析基于广义Lasso方法(Plan和Vershynin,2016)。我们首先提供了一个非统一的恢复保证,它指出,根据i.i.d.~高斯测量,大致$O\left(\frac{k}{ε^2}\log L\right)$样本足以恢复$ε$的$\ell_2$ -误差,并且该方案对对抗性噪声是鲁棒的。然后,我们将这一结果应用到神经网络生成模型中,并讨论了对其他模型和非独立同分布模型的各种扩展。测量.此外,我们表明,我们的结果可以扩展到均匀恢复保证下的一个所谓的本地嵌入属性的假设,这是由1位和删失Tobit模型所满足的。
2020-10-08 cs.IT cs.LG math.IT
Community Recovery in the Geometric Block Model
Cornell University(康奈尔大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Google Research(谷歌研究院)
提出几何块模型以捕捉社区检测的几何特征,利用随机环图连通性结果证明简单三角形计数算法在该模型中近最优,并在对数度数区间内理论和实验表现优异。
2023-11-18 cs.DM cs.IT cs.LG
Differentially Private Community Detection in $h$-uniform Hypergraphs
本文研究了在h-均匀超图中实现差分隐私的社区检测,分析了不同隐私机制的精确恢复阈值及隐私预算的影响。
2025-12-12 cs.IT eess.SP math.IT
Semidefinite Programming for Community Detection with Side Information
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Virginia Tech(弗吉尼亚理工大学)
本文提出了一种有效的半定规划(SDP)的解决方案,社区检测,结合非图形数据,在这种情况下被称为边信息。SDP是一种有效的解决方案,用于图上的标准社区检测。我们制定了一个半定松弛的节点标签的极大似然估计,观察图形和非图形数据。该公式与标准社区检测的SDP解决方案不同,但保持了其理想的特性。我们计算了三种类型的非图信息的精确恢复阈值,在本文中称为边信息:部分显示的标签,嘈杂的标签,以及每个节点的多个观察(功能)任意但有限的基数。我们发现,SDP具有相同的确切的恢复阈值的边信息的存在下,作为极大似然与边信息。因此,本文开发的方法对于在存在边信息的情况下的社区检测的解决方案是计算上有效的以及渐近准确的。仿真结果表明,本文的渐近结果也可以揭示SDP的性能,为适度的大小的图。
2021-05-06 cs.IT cs.LG cs.SI
Differentially Private Community Detection for Stochastic Block Models
University of Arizona(亚利桑那大学);University of Virginia(弗吉尼亚大学)
本文研究SBM中边差分隐私下的社区精确恢复,分析稳定性、采样与图扰动三类机制,揭示隐私预算、连接概率和计算复杂度之间的权衡。
2023-08-18 cs.CR cs.IT cs.LG
Fundamental limits of community detection from multi-view data: multi-layer, dynamic and partially labeled block models
本文通过统一理论框架研究多视角数据(多层、动态、部分标注块模型)中社区发现的互信息与尖锐恢复阈值,并提出基于近似消息传递的迭代算法。
2024-01-16 cs.IT cs.SI math.IT
A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing
University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学);Hong Kong Baptist University(香港浸会大学);UESTC(电子科技大学)
针对非线性生成压缩感知现有恢复结果多为非均匀的问题,提出统一框架推导均匀恢复保证,引入Lipschitz近似处理不连续观测,提出更紧的集中不等式,实验验证了理论有效性。
2023-10-09 cs.IT cs.LG eess.SP
Constant-Expansion Suffices for Compressed Sensing with Generative Priors
MIT(麻省理工学院)
生成神经网络已经被经验地发现在为压缩感知提供有效的结构先验方面非常有前途,因为它们可以被训练成在高维信号空间中跨越低维数据流形。尽管所得到的优化问题的非凸性,它也已被证明,在理论上,对于具有随机高斯权重的神经网络,在网络的范围内的信号可以有效地,近似地从几个噪声测量恢复。然而,这些理论保证的一个主要瓶颈是网络扩张性条件:神经网络的每一层必须比前一层大一个对数因子。我们的主要贡献是打破这种强膨胀性假设,表明恒定的膨胀性足以得到有效的恢复算法,除了它也是信息理论上必要的。为了克服现有方法中的理论瓶颈,我们证明了一个新的随机函数,可能不是Lipschitz,但满足一个宽松的概念,我们称之为“伪Lipschitz一致浓度定理。“使用这个定理,我们可以证明一个矩阵浓度不等式,称为权重分布条件(WDC),以前只知道适用于对数纵横比的高斯矩阵,实际上也适用于恒定纵横比。由于WDC是一个基本的矩阵浓度不等式,在这个问题上的所有现有理论保证的核心,我们的更严格的约束立即产生在压缩感知与深生成先验的文献中的所有已知结果的改进,包括一位恢复,相位恢复,低秩矩阵恢复,等等。
2020-06-26 cs.IT cs.LG math.IT
Fundamental Limits of Community Detection in Contextual Multi-Layer Stochastic Block Models
Peking University(北京大学);Tsinghua University(清华大学)
本文研究了在具有上下文的多层随机块模型中社区检测的基本限制,推导了检测和估计的阈值,并设计了高效算法以消除统计-计算间隙。
2026-02-09 cs.IT cs.LG math.IT