Clustering via Content-Augmented Stochastic Blockmodels
University of Waterloo（滑铁卢大学）；Cornell University（康奈尔大学）
在Web上创建的大部分数据都包含用户和项目之间的交互。随机块模型和其他用于二分图的社区检测和聚类的方法可以从该交互数据推断潜在用户社区和潜在项目聚类。然而，这些方法通常忽略项目的内容和它们提供的关于项目聚类的信息，尽管相同潜在聚类中的项目倾向于共享内容中的共性。我们引入了内容增强的随机块模型（CASB），它使用项目内容与用户-项目交互数据来增强用户社区和项目集群的学习。比较几个国家的最先进的基准方法，从科学家与科学文章互动所产生的数据集，显示内容增强的随机块模型提供高度准确的集群相对于代表底层社区结构的度量。
2015-05-25 cs.LG cs.SI stat.ML
A Tractable Fully Bayesian Method for the Stochastic Block Model
National Institute of Informatics（国立信息学研究所）；Tokyo Institute of Technology（东京工业大学）
随机块模型（SBM）是一个生成模型，揭示了图的宏观结构。贝叶斯方法用于（i）聚类分配推断和（ii）聚类数的模型选择。本文研究了大样本极限下SBM中贝叶斯推理的行为。结合变分逼近和拉普拉斯方法，建立了完全边缘化对数似然的一致性判据。在此基础上，我们导出了一个易于处理的算法，可以同时解决任务（i）和（ii），从而避免了需要外部循环来检查所有候选模型。我们的经验和理论结果表明，我们的方法是可扩展的计算，准确的近似，和简洁的模型选择。
2016-02-06 cs.LG stat.ML
A spectral method for community detection in moderately-sparse degree-corrected stochastic block models
我们考虑度校正随机块模型（DC-SBM）中的社区检测。我们提出了一种基于适当规范的邻接矩阵的谱聚类算法。我们表明，该算法始终恢复块成员的所有，但消失的一部分节点，在政权的最低程度是为了日志$(n)$或更高。恢复成功，即使是非常异质度分布。所使用的算法不依赖于参数作为输入。特别是，它不需要知道社区的数量。
2017-02-07 cs.LG cs.SI math.PR
Sparse Popularity Adjusted Stochastic Block Model
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Central Florida（中佛罗里达大学）；Middle Tennessee State University（中田纳西州立大学）
在本文中，我们研究了一个稀疏的随机网络启用块结构。流行的随机块模型（SBM）和度校正块模型（DCBM）通过对任何一对节点之间的连接的最大概率设置上限来解决稀疏性问题。因此，稀疏性只描述了网络的整体行为，而没有区分块相关的稀疏模式。据我们所知，最近推出的流行度调整块模型（PABM）是唯一的块模型，允许引入{ \it结构稀疏}，其中一些连接的概率是相同的等于零，而其余的保持在一定的阈值以上。后者对网络的看法更为微妙。
2021-10-07 cs.LG math.ST stat.ME
Strong Consistency, Graph Laplacians, and the Stochastic Block Model
University of California at Davis（加州大学戴维斯分校）；New York University Shanghai（上海纽约大学）
谱聚类已经成为数据聚类和社区发现中最流行的算法之一。我们研究了经典的两步谱聚类的性能，通过图拉普拉斯学习随机块模型。我们的目标是回答以下问题：通过图拉普拉斯算子的谱聚类何时能够实现强一致性，即，隐藏社区的确切恢复情况我们的工作提供了一个entrywise分析（一个$\ell_{\infty}$ -范数扰动界）的非规范化和规范化的拉普拉斯算子与随机块模型采样的邻接矩阵相关联的菲尔德特征向量。我们证明了谱聚类是能够实现准确的恢复种植的社区结构的条件下，符合信息理论的限制。
2020-04-21 cs.LG cs.SI stat.ML
Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs（英特尔研究院）
对于随机块模型生成的图，邻接谱嵌入是渐近一致的。此外，由普遍一致的分类器组成的邻接谱嵌入是普遍一致的，以实现贝叶斯错误。然而，当图包含私有或敏感信息时，将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明，我们提出的方法可以估计的潜在位置接近，在Frobenius范数，通过邻接谱嵌入的潜在位置，并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
An improved spectral clustering method for community detection under the degree-corrected stochastic blockmodel
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
对于社区检测问题，谱聚类是一种广泛使用的网络簇检测方法。在本文中，我们提出了一种改进的谱聚类（ISC）方法下的度校正随机块模型（DCSBM）。ISC是基于正则化Laplacian矩阵的加权首K + 1个特征向量的k-均值聚类算法设计的，其中权值是其对应的特征值。ISC的理论分析表明，在温和的条件下，ISC产生稳定一致的社区检测。数值结果表明，ISC优于经典的谱聚类方法的社区检测模拟和八个经验网络。特别是，ISC对两个弱信号网络Simmons和Caltech提供了显着的改进，错误率分别为121/1137和96/590。
2020-11-12 cs.LG stat.ML
Efficient inference in stochastic block models with vertex labels
Eindhoven University of Technology（埃因霍温理工大学）；Microsoft Research - INRIA joint centre（微软研究院-法国国家信息与自动化研究所联合中心）
我们研究了两个社区的随机块模型，其中顶点包含边信息的形式的顶点标签。这些顶点标签可以具有任意的标签分布，这取决于社区成员。我们分析了流行的信念传播算法的线性化版本。我们表明，该算法实现了最高的精度可能的网络参数的某个函数有一个唯一的固定点。每当该函数具有多个固定点时，置信传播算法可能不会最佳地执行。我们发现，增加顶点标签中的信息可能会减少不动点的数量，从而导致最优的信念传播。
2018-08-17 cs.LG math.PR stat.ML
Stochastic Blockmodels meet Graph Neural Networks
Duke University（杜克大学）；IIT Kanpur（印度理工学院坎普尔分校）
随机块模型（SBM）及其变体$e.g.$，混合隶属度和重叠随机块模型，是基于潜在变量的图的生成模型。他们已经被证明是成功的各种任务，如发现社区结构和链接预测的图形结构的数据。最近，图神经网络，$e.g.$，图卷积网络，也已经出现作为一个有前途的方法来学习强大的表示（嵌入）的图中的节点，通过利用图形属性，如局部性和不变性。在这项工作中，我们统一了这两个方向，开发一个\emph{sparse}变分自编码器的图形，保留了SBM的可解释性，同时也享有良好的预测性能的图形神经网络。此外，我们的框架还伴随着一个快速识别模型，该模型可以快速推断节点嵌入（这对于SBM及其变体的推断具有独立的意义）。虽然我们开发了一个特定类型的SBM，即\emph{overlapping}随机块模型的框架，所提出的框架可以很容易地适应其他类型的SBM。多个基准测试的实验结果表明，在学习可用于社区发现的可解释潜在结构的同时，在链接预测方面取得了令人鼓舞的结果。
2019-05-14 cs.LG cs.SI stat.ML
Clustering Degree-Corrected Stochastic Block Model with Outliers
Northwestern University（西北大学）；Cornell University（康奈尔大学）
对于度校正的随机块模型中存在的任意甚至对抗性离群点，我们开发了一个基于凸优化的聚类算法，其中包括一个惩罚项取决于一个节点的正偏差从预期的边缘数到其他内点。我们证明，在温和的条件下，这种方法实现了准确的恢复的基础集群。我们的合成实验表明，我们的算法在异构网络上表现良好，特别是那些具有Pareto度分布的网络，离群值具有广泛的可能度，可以增强其对抗能力。我们还表明，我们的方法允许恢复显着较低的出错率相比，现有的算法。
2019-06-07 cs.LG q-fin.ST stat.ML
Community detection in the sparse hypergraph stochastic block model
University of Washington（华盛顿大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文研究了稀疏随机超图中的社团检测问题。Angelini et al.（2015）证明了在由超图随机块模型生成的稀疏超图中，社区检测的模型参数存在一个尖锐的阈值。我们解决了两个块的情况下的猜想的积极的一部分：在阈值以上，有一个谱算法，渐近几乎肯定构建一个分区的超图与真正的分区。我们的方法是Massoulié（2014）为稀疏随机图开发的方法的随机超图的推广。
2021-07-08 cs.LG cs.SI math.CO
The non-tightness of the reconstruction threshold of a 4 states symmetric model with different in-block and out-block mutations
Queensborough Community College, City University of New York（纽约城市大学皇后区社区学院）；University of Washington（华盛顿大学）
树重构问题是在树的$n$级收集和分析海量数据，以确定当$n$趋于无穷大时，根是否存在非零信息。它与随机块模型中的聚类问题的联系已经很好地建立起来，随机块模型在机器学习和数据挖掘中有广泛的应用。对于随机块模型，一个“信息理论上可解，但计算困难”的区域，或说“混合硬相”，出现时，重建界是不紧的树问题的相应的重建。虽然它已经在许多情况下进行了研究，建立严格的重建阈值的现有文献是非常有限的，它变得非常具有挑战性时，所调查的模型具有$4$状态（随机块模型与$4$社区）。受新近提出的$q_1+q_2$随机块模型的启发，本文研究了具有不同块内和块外转移概率的$4$状态对称模型，并严格给出了重构阈值不紧的条件.
2019-06-22 cs.LG math.PR stat.ML
Stochastic blockmodel approximation of a graphon: Theory and consistent estimation
Harvard University（哈佛大学）
基于可交换图模型（ExGM）的网络数据非参数分析方法最近引起了人们的兴趣。定义ExGM的关键对象通常称为graphon。网络建模的这种非参数化的观点提出了一个具有挑战性的问题，即如何对观察到的网络数据的底层图进行推断。在本文中，我们提出了一个计算效率高的过程来估计一个图子从一组观察到的网络从它产生。这个过程是基于随机块模型近似（SBA）的图子。我们表明，通过近似的graphon与随机块模型，graphon可以一致地估计，也就是说，估计误差消失的大小的图接近无穷大。
2013-11-08 cs.LG cs.SI physics.data-an
Stochastic Block-ADMM for Training Deep Networks
Oregon State University（俄勒冈州立大学）；Applied Research Center, PCG, Tencent（腾讯PCG应用研究中心）
在本文中，我们提出了随机块ADMM作为训练深度神经网络的方法，在批量和在线设置。我们的方法通过将神经网络分成任意数量的块，并利用辅助变量连接这些块，同时使用随机梯度下降进行优化。这允许在传统的反向传播不适用的情况下训练具有不可微约束的深度网络。这一点的一个应用是监督特征分解，我们提出的DeepFacto将非负矩阵分解（NMF）层插入网络。由于反向传播只需要在每个块内执行，我们的方法消除了消失的梯度，并提供了并行化的潜力。我们证明了我们提出的方法的收敛性，并通过监督和弱监督设置中的实验证明了其能力。
2021-05-01 cs.AI cs.DC cs.LG
Block stochastic gradient iteration for convex and nonconvex optimization
Rice University（莱斯大学）；UCLA（加州大学洛杉矶分校）
随机梯度（SG）方法可以使由大量可微函数组成的目标函数最小化，或者以中等精度解决随机最优化问题。另一方面，块坐标下降/更新（BCD）方法通过一次更新一个变量来处理多个变量块的问题;当变量块单独更新比一起更新更容易时，BCD具有较低的每次迭代成本。本文介绍了一种结合SG和BCD特点的方法，用于解决目标中含有多个分量和多个（块）变量的问题。具体来说，提出了一种用于求解凸规划和非凸规划的块随机梯度（BSG）方法。在每次迭代中，BSG通过随机采样一小组数据或从目标中的和项中采样几个函数来近似目标的可微部分的梯度，然后使用这些样本，它以确定性或随机混洗顺序更新所有变量块。在不同的意义下，证明了它对凸和非凸情形的收敛性。在凸情形下，该方法具有与SG方法相同的收敛速度阶。在非凸的情况下，它的收敛性建立在一阶最优性条件的预期违反。所提出的方法进行了数值测试的问题，包括随机最小二乘和逻辑斯谛回归，这是凸的，以及低秩张量恢复和双线性逻辑斯谛回归，这是非凸的。
2015-03-02 cs.LG cs.NA math.NA
Comparative Study for Inference of Hidden Classes in Stochastic Block Models
CNRS（法国国家科学研究中心）；ESPCI ParisTech（巴黎高等物理化工学院）；University of Würzburg（维尔茨堡大学）；CEA Saclay（法国原子能和替代能源委员会萨克雷中心）；Institut de Physique Théorique, IPhT（理论物理研究所（IPhT））
随机块模型中隐类的推断是一个经典问题，有着重要的应用。最常用的方法，这个问题涉及天真的平均场方法或启发式谱方法。最近，置信传播被提出来解决这个问题。在这篇文章中，我们对这三种方法在合成网络上进行了比较研究。我们发现，信念传播表现出更好的性能相比，天真的平均场和频谱的方法。这适用于准确性，计算效率和过度拟合数据的趋势。
2012-07-13 cond-mat.stat-mech cs.LG physics.data-an
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London（帝国理工学院）
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术，具有最佳理论保证。嵌入可以用来估计网络的社区结构，在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中，提出了一种新的贝叶斯模型，同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据，表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Asynchronous Stochastic Block Coordinate Descent with Variance Reduction
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
随机优化问题的异步并行实现近年来在理论和实践上都取得了巨大的成功。无锁的异步实现比有写锁或读锁的异步实现效率更高。本文主要研究了一种由光滑凸函数$f$和块可分凸函数组成的复合目标函数，它广泛存在于机器学习和计算机视觉中。提出了一种基于加速方差缩减技术的异步随机块坐标下降算法（AsySBCDVR），该算法在实现和分析上都是无锁的。AsySBCDVR特别重要，因为它可以同时与样本大小和维度进行良好的缩放。证明了当函数$f$具有最优强凸性时，AsySBCDVR具有线性收敛速度;当函数$f$具有一般凸性时，AsySBCDVR具有次线性收敛速度.更重要的是，在共享内存的并行系统上，可以获得接近线性的加速比。
2016-11-14 cs.LG
An iterative clustering algorithm for the Contextual Stochastic Block Model with optimality guarantees
Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）
现实世界的网络通常带有辅助信息，可以帮助提高网络分析任务（如聚类）的性能。尽管在过去的十年中进行了大量的网络聚类方法的实证和理论研究，侧信息的附加值和用于将其最佳地在聚类算法的方法是相对较少的理解。我们提出了一个新的迭代算法聚类网络与边信息的节点（协变量的形式），并表明我们的算法是最优的上下文对称随机块模型。我们的算法可以应用于一般的上下文随机块模型，并避免超参数调整，与以前提出的方法相比。我们证实了我们的理论结果的合成数据实验中，我们的算法显着优于其他方法，并表明它也可以应用到有符号的图。最后，我们证明了我们的方法对真实数据的实际兴趣。
2022-07-28 cs.LG math.ST stat.ML
When is Nontrivial Estimation Possible for Graphons and Stochastic Block Models?
块图子（也称为随机块模型）是一类重要且广泛研究的随机网络模型。我们提供了一个下界的准确性估计块图子大量的块。我们表明，只给的数量$k$的块和上界$ρ$的值（连接概率）的graphon，每个估计引起的错误至少在$\min(ρ, \sqrt{ρk^2/n^2})$的顺序在$δ_2$度量与恒定的概率，在最坏的情况下，在graphons。特别是，我们的界限排除了任何非平凡的估计（即，$δ_2$误差大大小于$ρ$）时，$k\geq n\sqrtρ$。结合以前的上界和下界，我们的结果特征，对数项，极小极大的准确性的graphon估计的$δ_2$度量。Klopp，Tsybakov和Verzelen（2016）独立获得了与我们相似的下界。
2016-04-07 cs.LG math.ST stat.TH
Contextual Stochastic Block Model: Sharp Thresholds and Contiguity
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
我们在上下文随机块模型arXiv：1807.09596 [cs.SI]，arXiv：1607.02675 [stat.ME]中研究了社区发现。在arXiv：1807.09596 [cs.SI]中，第二作者在具有高维节点协变量的稀疏图的设置中研究了这个问题。使用统计物理学中的非严格腔方法，他们证明了在这种情况下社区发现的严格限制。进一步，假设所观察图的平均度较大，验证了信息论阈值。当平均度超过1时，猜想成立，从而图有一个巨分支。我们建立了这个猜想，并描述了检测和弱恢复的尖锐阈值。
2020-11-15 cs.LG cs.SI math.ST
Stochastic Block Transition Models for Dynamic Networks
Technicolor Research（特艺集团研究院）
近年来，人们对动态网络的统计模型产生了极大的兴趣。在本文中，我提出了一个随机块转换模型（SBTM）的动态网络的启发，著名的随机块模型（SBM）的静态网络和以前的动态扩展的SBM。与大多数现有的动态网络模型不同，它不对边缘级动态进行隐马尔可夫假设，允许边缘的存在或不存在直接影响未来的边缘概率，同时保留SBM的可解释性。我推导出一个近似的SBTM推理过程，并证明它是显着更好地在真实的社会网络数据中的边缘再现持续时间。
2015-01-29 cs.LG cs.SI physics.soc-ph
Randomized Block Coordinate Descent for Online and Stochastic Optimization
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
两种类型的低成本每次迭代梯度下降方法已被广泛研究并行。一种是在线或随机梯度下降（OGD/SGD），另一种是随机坐标下降（RBCD）。在本文中，我们结合这两种类型的方法在一起，提出了在线随机块坐标下降（ORBCD）。在每次迭代中，ORBCD只计算一个小批量样本的一个块坐标的部分梯度。ORBCD非常适合于复合最小化问题，其中一个函数是大量样本损失的平均值，另一个是定义在高维变量上的简单正则化子。我们证明了ORBCD的迭代复杂度与OGD或SGD具有相同的数量级。对于强凸函数，通过降低随机梯度的方差，证明了ORBCD可以以几何速度收敛，与方差降低的SGD和RBCD的收敛速度相当.
2014-07-26 cs.LG
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs（诺基亚贝尔实验室）；Princeton University（普林斯顿大学）
本文研究随机块模型下社区检测的边差分隐私谱聚类方法，提出隐私算法并刻画隐私预算与恢复准确性之间的权衡，同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG
Stochastic Block Model for Hypergraphs: Statistical limits and a semidefinite programming approach
New York University（纽约大学）
研究了一个随机超图模型中的社团发现问题，我们称之为$k$ -一致超图的随机块模型（$k$ -SBM）.我们研究了$k$ -SBM中的精确恢复问题，并证明了在一个阈值附近会发生急剧的相变：在阈值以下，不可能以非零概率恢复社区，但在阈值以上，存在一个几乎渐近肯定地恢复社区的估计。我们还考虑了一个简单的，有效的算法的精确恢复问题是基于半定松弛技术。
2018-07-08 cs.IT cs.LG math.IT
Serialized Interacting Mixed Membership Stochastic Block Model
Université de Lyon（里昂大学）
最近几年，在推荐系统中使用随机块模型（SBM）的兴趣又恢复了。这些模型被视为能够处理标记数据的张量分解技术的灵活替代方案。最近的工作提出了解决离散推荐问题，通过SBM考虑更大的上下文作为输入数据，并通过添加上下文的相关元素之间的二阶交互。在这项工作中，我们表明，这些模型都是一个单一的全球框架的特殊情况下：串行交互混合成员随机块模型（SIMSBM）。它允许对任意大的上下文以及任意高阶的交互进行建模。我们证明了SIMSBM概括了最近几个基于SBM的基线。此外，我们还证明了我们的公式可以在六个真实世界的数据集上提高预测能力。
2022-09-16 cs.IR cs.LG cs.SI
On spectral algorithms for community detection in stochastic blockmodel graphs with vertex covariates
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pittsburgh（匹兹堡大学）
在网络推理应用中，通常需要检测社区结构，即根据某种相似性度量将顶点聚类成组或块。除了邻接矩阵之外，许多真实网络还涉及顶点协变量，这些协变量携带关于图中底层块结构的关键信息。为了评估这些协变量对块恢复的影响，我们提出了一个比较分析的两个基于模型的谱算法的顶点聚类随机块模型图与顶点协变量。第一种算法只使用邻接矩阵，直接估计块分配。第二种算法将邻接矩阵和顶点协变量结合到块分配的估计中，并且量化了顶点协变量对块分配的估计结果的显式影响。我们采用的分析比较算法的性能，并获得信息理论的分析比为某些模型的兴趣。分析结果和模拟表明，第二种算法往往是首选：我们往往可以更好地估计诱导块分配，首先估计顶点协变量的影响。此外，实际数据的例子也表明，第二种算法具有揭示底层块结构和考虑观察到的顶点异构性在实际应用中的优势。我们的研究结果强调了区分观察到的和未观察到的因素，可以影响图中的块结构的重要性。
2021-08-04 cs.LG cs.SI math.ST
Correlated Stochastic Block Models: Exact Graph Matching with Applications to Recovering Communities
Princeton University（普林斯顿大学）
我们考虑从多个相关网络中学习潜在社区结构的任务。首先，我们研究了学习两个边相关随机块模型之间的潜在顶点对应关系的问题，重点是平均度是顶点数对数的制度。我们推导出精确恢复的精确信息理论阈值：在阈值之上存在一个估计器，该估计器输出的真实对应概率接近1，而在阈值之下，没有估计器可以恢复的真实对应概率远离0。作为我们的研究结果的应用程序，我们展示了如何可以准确地恢复潜在的社区使用多个相关的图形在参数制度，它是信息理论上不可能这样做，只使用一个单一的图形。
2021-07-14 cs.IT cs.LG cs.SI
