Multiple Hypothesis Testing To Estimate The Number Of Communities in Stochastic Block Models
本文提出一种基于似然的方法和新的顺序多重检验方法，用于估计随机块模型中的社区数量，适用于噪声scRNA-seq数据集。
2026-02-15 math.ST stat.ME stat.TH
Is it easier to count communities than find them?
研究在计算上难以寻找社区时是否仍能推断其性质，证明在低次多项式框架下检验不同社区结构模型与寻找社区一样困难，并给出检验两种植入分布的首个计算下界。
2025-06-27 cs.CC cs.DS math.CO
Testing for Association in Multi-View Network Data
在本文中，我们考虑由多个网络组成的数据，每个网络由一组公共节点上的不同边集组成。许多模型已经被提出来分析这样的多视图网络数据的假设下，数据视图是密切相关的。在本文中，我们提供了评估这一假设的工具。我们尤其要问：给定两个网络，每个网络都遵循随机块模型，两个网络中节点的潜在社区成员之间是否存在关联？为了回答这个问题，我们扩展了一个单一的网络视图的随机块模型的两个视图设置，并开发了一个新的假设检验的原假设，潜在的社区成员在两个数据视图是独立的。我们将我们的测试应用于来自HINT数据库的蛋白质-蛋白质相互作用数据（Das和Hint，2012）。我们发现证据的潜在社区成员的蛋白质定义相对于二进制相互作用数据和潜在社区成员的蛋白质定义相对于共同复杂的关联数据之间的弱关联。我们还将此建议扩展到节点协变量的网络设置。
2021-03-22 stat.ME stat.ML
A testing based extraction algorithm for identifying significant communities in networks
在网络研究中出现的一个常见且重要的问题是如何将给定网络的顶点划分为一个或多个称为社区的组，以这种方式，同一社区的顶点比属于不同社区的顶点更加互连。我们提出并研究了一个基于测试的社区发现过程，称为统计显著社区提取（ESSC）。ESSC过程是基于$p$ -值的一个单一的顶点和一组顶点之间的连接强度的参考分布来自一个条件配置网络模型。该过程自动选择网络中的社区数量及其大小。此外，ESSC可以处理重叠的社区，不像大多数现有的方法，确定“背景”顶点不属于一个定义良好的社区。该方法只有一个参数，用于控制假设检验的严格性。我们调查的性能和潜在的使用ESSC，并比较它与现有的方法，通过验证研究，使用四个真实的网络数据集。此外，我们进行了模拟研究，以评估ESSC的有效性，在网络中的各种类型的社区结构，包括网络与重叠社区和背景顶点。这些结果表明，ESSC是一个有效的探索工具，发现相关的社区结构的复杂网络系统。数据和软件可在\urlhttp：//www.example.com上获得。www.unc.edu/~jameswd/research.html
2014-12-03 cs.SI physics.soc-ph stat.ME
ECoHeN: A Hypothesis Testing Framework for Extracting Communities from Heterogeneous Networks
社区发现是从网络中获得独立社区的一般过程：在网络中密集连接但与网络其余部分稀疏连接的节点集合。虽然社区发现已经得到了很好的研究，很少有这样的技术存在异构网络，其中包含不同类型的节点和节点类型之间可能不同的连接模式。在本文中，我们介绍了一个框架称为ECoHeN，\textbf{e}提取\textbf{co}从一个\textbf{he}异构\textbf{n}网络在统计上有意义的方式。使用异构配置模型作为参考分布，ECoHeN确定的社区，是显着更密集的连接比预期给定的节点类型和连接的成员。具体而言，ECoHeN算法提取社区一次一个通过一组动态的迭代更新规则，保证收敛，并不施加任何约束的类型组成的提取社区。据我们所知，这是第一个发现方法，区分和识别同质和异质，可能重叠，社区结构的网络。我们展示了性能的ECoHeN通过模拟和应用程序的政治博客网络，以确定收集的博客，其中提到彼此比预期的考虑其成员的意识形态。
2022-12-20 cs.SI stat.ME
False Discovery Control in Multiple Testing: A Brief Overview of Theories and Methodologies
本文综述了多重检验中错误发现率（FDR）控制方法的最新进展，并提出了一个概念框架以梳理相关文献、阐释核心思想，为研究者在方法应用与开发上提供指导。
2024-11-16 math.ST stat.AP stat.ME
On spike and slab empirical Bayes multiple testing
本文探讨了经验贝叶斯后验分布和错误发现率（FDR）控制之间的联系。在高斯序列模型中，这项工作表明，经验贝叶斯校准的尖峰和板后验分布允许一个正确的FDR控制下稀疏。这样做，它提供了一个频率论的理论验证的经验贝叶斯方法的背景下，多重测试。我们的理论结果与数值实验说明。
2019-06-15 math.ST stat.TH
Multiple testing in game-theoretic probability: pictures and questions
本文探讨博弈论概率中由多个预测者输出预测时的多重检验问题，发现略微放宽族系有效性可显著提升检验效率，并报告初步模拟结果与未来研究方向。
2024-03-18 stat.ME
A generalized hypothesis test for community structure in networks
针对网络是否存在统计意义上的社区结构这一问题，研究人员基于通用的模型无关社区结构参数构建统计假设检验，提出两种检验框架并证明其理论性质，可用于分析真实网络数据。
2023-11-22 cs.SI stat.ME
COVID-19 Outbreak Prediction and Analysis using Self Reported Symptoms
PathCheck Foundation（PathCheck基金会）；Stony Brook Medicine（石溪医学中心）；MIT Media Lab（麻省理工学院媒体实验室）；University of California San Francisco（加州大学旧金山分校）
政策制定者必须了解COVID-19的社区流行情况，以便在COVID-19大流行期间有效分配和优先考虑战斗资源。传统上，通过诊断和抗体检测数据评估社区流行率。然而，尽管COVID-19检测的可用性不断增加，但全球大部分地区尚未达到所需水平，因此需要为社区提供替代方法来确定疾病流行率。由于COVID-19的流行和传播在不同的空间、时间和人口统计学上存在差异，这一点进一步复杂化。在这项研究中，我们利用自我报告的COVID-19症状调查结果作为COVID-19检测报告的替代方案，了解COVID-19的传播趋势。这使我们能够评估社区疾病流行率，即使是在COVID-19检测能力较低的地区。使用来自不同人群的单独报告的症状数据，我们的方法预测了COVID-19检测呈阳性的人群的可能百分比。我们这样做的平均绝对误差（MAE）为1.14，平均相对误差（MRE）为60.40%，95%置信区间为（60.12，60.67）。这意味着我们的模型在100万人口中预测的病例数比原始模型多出+/- 1140例。此外，我们使用前几天自我报告的症状数据预测了未来30天检测呈阳性的人群的位置百分比。该方法对纽约的MAE低至0.15（MRE为23.61%，95%置信区间为（23.6，13.7））。我们对这些结果进行了分析，揭示了不同人口统计学中感兴趣的各种临床属性。最后，我们定性分析了各种政策法规（检测、宵禁）如何影响社…
2021-06-19 cs.LG stat.AP
On community structure validation in real networks
社区结构是真实网络的一个常见特征。该术语指的是网络中存在的节点组（社区），这些节点具有高度的内部连接性，但彼此之间的连接很差。虽然社区检测的问题已经在几个工作中得到解决，验证一个分区的节点作为一个良好的社区结构的一个真正的网络的问题已经收到相当少的关注，仍然是一个悬而未决的问题。我们提出了一组指数的社区结构验证网络分区的基础上的假设检验程序，评估社区之间和社区内的链接的分布。使用模拟和真实数据，我们说明了如何建议的指数可以用来比较在一个给定的网络中的社区结构的节点的不同分区的充分性，以评估是否两个网络共享相同或相似的社区结构，并评估不同的网络聚类算法的性能。
2021-10-06 cs.SI physics.soc-ph stat.AP
Information Theoretic Limits of Exact Recovery in Sub-hypergraph Models for Community Detection
Purdue University（普渡大学）
本文研究了子超图模型社区检测精确恢复的信息论界。我们定义了一个通用的模型称为$m-$均匀子超图随机块模型（$m-$ ShSBM）。在$m-$ ShSBM模型下，我们利用Fano不等式来确定模型参数的区域，在该区域中任何算法都不能以很大的概率精确地恢复种植群落。我们还确定了区域的极大似然估计（MLE）算法成功地准确地恢复社区的高概率。我们的边界是紧的，属于社区检测问题，在各种模型，如种植超图随机块模型，种植dennial子超图模型，种植多部超图模型。
2021-01-29 cs.LG stat.ML
A Unified Framework for Community Detection and Model Selection in Blockmodels
The Pennsylvania State University（宾夕法尼亚州立大学）；North Carolina State University（北卡罗来纳州立大学）
本文提出了一种统一框架，用于在块模型层次结构中同时进行社区检测和模型选择，通过双重损失函数实现高精度识别和模型选择。
2025-12-22 stat.ME
Two ways game-theoretic probability can improve data analysis
本研究提出博弈论概率可从两方面改进数据分析：一是下注检验原则支持统计假设检验中按需续采数据，比扩展古诺原理更简洁通用；二是借凯利原理让概率分布对赌，以表现好的分布集合替代置信区间，最简实现与Fisher似然区间一致。
2023-08-29 stat.ME
Hypothesis Testing for Equality of Latent Positions in Random Graphs
考虑广义随机点积图的两个顶点$i$和$j$具有相同的潜在位置的假设检验问题，可能达到缩放。该假设检验的特殊情况包括测试随机块模型或度校正的随机块模型图中的两个顶点是否具有相同的块成员向量，或者测试受欢迎度调整的块模型中的两个顶点是否具有相同的社区分配。我们提出了几个检验统计量的基础上的经验马氏距离之间的$i$和$j$行的邻接或规范化的拉普拉斯谱嵌入的图形。我们表明，在温和的条件下，这些检验统计量的限制χ 2分布下的零和本地的备择假设，我们推导出明确的表达式的非中心参数下的本地备择。利用这些极限结果，我们解决了模型选择问题，包括标准随机块模型和它的度校正变量之间的选择，ER模型和随机块模型之间的选择。我们所提出的测试的有效性，通过模拟研究和实际数据的应用。
2022-03-12 stat.ME stat.ML
Significance-based community detection in weighted networks
社区发现是对网络中强连接节点进行分组的过程。许多非加权网络的社区发现方法都是基于零模型的。因此，通过这些方法发现的群落具有统计意义。在本文中，我们引入了一个空的加权网络称为连续配置模型。我们使用该模型作为社区发现的工具，并模拟加权网络与空节点。首先，我们提出了一个加权网络的社区提取算法，它结合了零值下的迭代假设检验。在加权随机块模型下，证明了边权和的中心极限定理及算法的渐近相合性。然后，我们将该算法在一个社区发现方法称为CCME。为了基准的方法，我们提供了一个模拟框架，将空植物“背景”节点加权网络社区。我们发现，CCME在这些模拟上的经验表现与现有方法具有竞争力，特别是当存在重叠的社区和背景节点时。为了进一步验证该方法，我们提出了两个现实世界的网络与潜在的背景节点，并分析它们与CCME，产生的结果，揭示了相应的系统的宏观特征。
2017-10-23 cs.SI physics.soc-ph stat.ME
Practical methods for graph two-sample testing
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
图的假设检验是应用研究领域的一个重要工具，但它仍然是一个具有挑战性的问题，因为人们经常需要从大图的几个副本中得出推论。最近的统计学和学习理论的研究提供了一些理论见解，这种高维图测试问题，但开发的理论方法的实用性仍然是一个悬而未决的问题。本文考虑大型图的两样本测试问题。我们展示了现有的理论测试和自举的变体的实际优点和局限性。我们还提出了两个新的测试的基础上渐近分布。我们表明，这些测试是计算成本较低，在某些情况下，比现有的方法更可靠。
2018-11-30 cs.LG stat.ML
Testing for Global Network Structure Using Small Subgraph Statistics
我们研究的问题，测试社区结构的网络中使用的关系，观察到的频率的小子图。我们提出了一个简单的测试社区存在的基础上，只有三个节点的子图的频率。检验统计量被证明是渐近正态的零假设下，没有社区结构，并有权力接近一个复合备择假设下的度校正随机块模型。我们还推导出一个版本的测试，适用于多元高斯数据。我们的方法实现了接近最佳的检测率的存在下的社区结构，在政权的信噪比太弱，明确估计社区本身，使用现有的计算效率高的算法。我们演示了该方法如何有效地检测社交网络中的结构，科学文章的引用网络，以及标准普尔500指数公司之间的股票收益率的相关性。
2017-10-16 cs.SI math.ST stat.AP
Testing Changes in Communities for the Stochastic Block Model
Boston University（波士顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出并分析了\textit{community goodness-of-fit and two-sample testing}的随机块模型（SBM）的问题，其中出现的变化，由于修改社区成员的节点。出于实际应用的需要，我们考虑了具有挑战性的稀疏制度，其中预期的节点度是恒定的，并且社区间平均度（$b$）与社区内平均度（$a$）成比例地缩放。先前的工作已经根据基于$a$和$b$的“信噪比”（$\mathrm{SNR}$）来明确地表征部分或全部社区恢复。对于这两个问题，我们提出了计算效率高的测试，可以成功远远超出的制度，恢复社区成员甚至是可能的。总的来说，对于大的变化，$s \gg \sqrt{n}$，我们只需要$\mathrm{SNR}= O(1)$，而基于$O(s)$错误的社区恢复的简单测试需要$\mathrm{SNR}= Θ(\log n)$。相反，在小的变化制度，$s \ll \sqrt{n}$，通过信息理论的下限，我们表明，令人惊讶的是，没有算法可以做得比天真的算法，首先估计社区高达$O(s)$错误，然后检测变化。我们验证这些现象数值上的SBM和现实世界的数据集，以及马尔可夫随机场，我们只观察节点数据，而不是链接的存在。
2019-10-31 cs.IT cs.LG cs.SI
Combinatorial-Probabilistic Trade-Off: Community Properties Test in the Stochastic Block Models
在本文中，我们提出了一个推理框架测试一般社区组合性质的随机块模型。而不是估计社区分配，我们的目标是测试的假设是否满足一定的社区财产。例如，我们建议测试一组给定的节点是否属于同一个社区，或者不同的网络社区是否具有相同的大小。我们提出了一个通用的推理框架，可以适用于所有对称社区属性。为了缓解社区属性的组合性质所带来的挑战，我们开发了一种新的阴影引导测试方法。通过利用对称性，我们的方法可以找到一个阴影代表真正的分配和分配的数量进行测试的替代可以大大减少。理论上，我们引入了两个社区类之间的组合距离，并在社区属性测试中显示了组合概率权衡现象。只要两个社区之间的组合距离与两个分配概率之间的概率距离的乘积足够大，我们的测试就是诚实的。另一方面，我们表明，这种权衡也存在于信息理论的下界的共同财产测试。我们还实现了数值实验的合成数据和蛋白质相互作用的应用程序，以显示我们的方法的有效性。
2020-10-29 math.ST stat.TH
Uncertainty quantification and testing in a stochastic block model with two unequal communities
我们显示后收敛的社区结构中种植的双节模型，几个有趣的先验。示例包括每个顶点上的标签是iid Bernoulli分布的，具有某些参数$r\in(0,1)$。参数$r$可以是固定的，或者配备有β分布。我们对类的大小没有限制，类的大小可能小到零，或者包括所有顶点，以及介于两者之间的所有东西。这使我们能够在没有可区分社区的均匀（Erdös-Rényi）随机图或种植二节模型之间进行测试。后验收敛的精确界使我们能够将可信集转换为置信集。后验概率的对称检验是一致的。
2021-08-13 math.ST stat.TH
Community Detection in Random Networks
我们正式的问题，检测一个社区在网络中测试是否在一个给定的（随机）图有一个子图是异常密集。我们在N个节点上观察到一个无向无权图。在原假设下，图是概率为p0的Erdös-Rényi图的实现。在（复合）替代方案下，存在n个节点的子图，其中连接概率为p1 > p0。我们推导出一个检测下界，用于检测这样的子图的N，n，p0，p1，并展示了一个测试，达到该下界。当p0已知和未知时，我们都这样做。我们还考虑了多项式时间的测试问题。作为一个旁白，我们考虑的问题，检测一个集团，这是密切相关的种植集团问题。我们在本文中的重点是在准正常制度，其中np 0是有界远离零，或缓慢地趋于零。
2013-02-28 math.ST stat.ML stat.TH
General Community Detection with Optimal Recovery Conditions for Multi-relational Sparse Networks with Dependent Layers
近年来，多层和复用网络正在成为常见的网络数据集。我们考虑的问题，确定一种特殊类型的多层网络称为多关系网络的共同社区结构。我们考虑扩展的谱聚类方法的多关系网络，并给出理论保证，谱聚类方法恢复社区结构一致的多关系网络产生的多层版本的随机和度校正块模型，即使网络层之间的依赖。该方法示出的网络的度参数上的最佳条件下工作，以检测两个独立的和独立的社区结构与消失的错误比例，即使个别层的多关系网络的网络结构低于社区可检测性阈值。我们也通过模拟加强了理论结果的有效性。
2020-04-06 cs.SI math.ST stat.ME
Testing Degree Corrections in Stochastic Block Models
研究了随机区组模型中度校正的检测阈值，并探讨了未知社区分配（一个高维冗余参数）和图密度对度校正检测的影响.当度校正相对密集时，基于边缘总数的简单测试是渐近最优的。对于稀疏度校正，结果根据底层随机块模型的密度而经历若干行为变化。对于不是非常稀疏的图，最佳测试基于更高的批评或最大程度类型测试，该测试基于（估计的）社区程度内和跨社区程度的线性组合。在平衡社区的特殊情况下，在图不完全稠密的情况下，基于简单程度的高级批评测试（Mukherjee，Mukherjee，Sen 2016）是最佳的，而在完全稠密的情况下，需要更复杂的基于线性组合的过程。两步过程的“必要性”的情况下，平衡社区的失败，普通的最大程度测试在实现尖锐的常数证明。最后，对于非常稀疏的图形的最佳速率的变化，和一个版本的最大程度的测试与不同的拒绝区域被证明是最佳的。
2019-07-15 math.PR math.ST stat.TH
Two-sample Test of Community Memberships of Weighted Stochastic Block Models
假设对同一组节点观察到两个网络，其中每个网络假定从加权随机块模型生成。本文考虑的问题，测试是否社区成员的两个网络是相同的。提出了一种基于奇异子空间距离的检验统计量。在稠密图加权随机区组模型下，给出了所提出的检验统计量的极限分布。仿真结果表明，该检验在稠密图下具有正确的经验1型误差。该测试在经验功效方面也表现得与预期相同，当块内和块间分布接近时，显示逐渐变化，当两个分布不那么接近时，达到1，其中两个分布的接近程度由Renyi发散度表征1/2阶。安然电子邮件网络被用来证明所提出的测试。
2018-11-30 math.ST stat.TH
Power Enhancement and Phase Transitions for Global Testing of the Mixed Membership Stochastic Block Model
混合隶属度随机块模型（MMSBM）是社交网络的一种常见模型。给定一个由$K$社区MMSBM生成的$n$节点对称网络，我们想测试$K=1$和$K>1$ .我们首先研究了基于度的$χ^2$测试和传统的符号四边形（oSQ）测试。这两个统计量分别估计“信号”矩阵的二阶多项式和四阶多项式。我们推导出这两个测试的渐近零分布和功率。然而，对于每一个测试，存在一个参数制度，其权力是不满意的。这促使我们提出一个功率增强（PE）测试，结合这两个测试的优势。我们表明，PE测试具有易处理的空分布，提高了这两个测试的功率。为了评估PE的最优性，我们考虑一个随机设置，其中$n$成员向量独立地从标准单纯形上的分布中提取。我们表明，全球测试的成功是由一个数量$β_n(K,P,h)$，这取决于社区结构矩阵$P$和平均向量$h$的成员。对于每个给定的$(K, P, h)$，如果在$β_n(K, P,h)\to\infty$时区分两个假设，则测试称为$\textit{ optimal}$。如果测试对所有$(K, P, h)$都是最佳的，则该测试称为$\textit{optimally adaptive}$。我们表明，PE测试是最佳自适应的，而许多现有的测试只为某些特定的$(K, P, h)$最佳，因此，不是最佳自适应。
2022-04-23 math.ST stat.TH
Decision-theoretic justifications for Bayesian hypothesis testing using credible sets
在贝叶斯统计中，精确点原假设$θ=θ_0$可以通过检查$θ_0$是否包含在可信集中来检验.这允许测试$θ=θ_0$，而不必对假设施加先验概率。虽然这种可信集的反演在贝叶斯推理中有很长的历史，但它们因缺乏决策理论的理由而受到批评。我们认为，这些测试有许多优势，比标准的贝叶斯检验，使用点质量概率的原假设。通过研究一个具有方向性结论的三判定问题，我们给出了中心可信区间的反演的决策理论证明，并在一个特殊情况下证明了HPD集。通过解释证明中所使用的损失函数，讨论了基于可信集的检验在什么情况下适用。然后，我们给出了一些理由，使用可信集测试复合假设时，可信集的基础上，在这种情况下，测试符合标准测试。
2012-12-17 math.ST stat.TH
Exact Community Recovery in Correlated Stochastic Block Models
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们考虑从多个相关网络中学习潜在社区结构的问题。研究了具有两个平衡社区的边相关随机块模型，重点研究了平均度与顶点数成对数关系的情形。我们的主要结果得出了精确的信息理论的阈值，使用多个相关图的确切社区恢复。该阈值捕获社区恢复和图匹配任务之间的相互作用。特别是，我们发现和表征的参数空间，其中精确的社区恢复是可能的，使用多个相关的图形，即使（1）这是信息理论上不可能使用一个单一的图形和（2）精确的图形匹配也是信息理论上不可能的。在这个制度中，我们开发了一种新的算法，仔细综合算法从社区恢复和图匹配文献。
2022-03-29 cs.IT cs.LG cs.SI
Community detection in censored hypergraph
North Dakota State University（北达科他州立大学）；North China University of Water Resources and Electric Power（华北水利水电大学）
社区检测是指将网络（图或超图）中的节点聚类成组的问题。各种算法可用于社区检测和所有这些方法适用于未经审查的网络。在实践中，网络可能有删失（或缺失）值，它表明，删失值对网络的结构特性有不可忽略的影响。本文从信息论的角度研究了删失$m$ -一致超图的社团发现问题。我们推导出的信息理论阈值的社区结构的确切恢复。此外，我们提出了一个多项式时间的算法，以准确地恢复社区结构的阈值。该算法由一个谱算法加上一个细化步骤。研究没有细化的单个谱算法是否达到阈值也是有趣的。为此，我们还探讨了半定松弛算法，并分析了其性能。
2021-11-04 cs.LG math.ST stat.ML
Harnessing Multiple Correlated Networks for Exact Community Recovery
Northwestern University（西北大学）
针对从多个相关网络中学习潜在社区结构的问题，本文推导了使用任意常数数量相关图进行精确社区恢复的信息论阈值，解决了两图以上场景的信息聚合挑战，刻画了K≥3时仅K图可恢复而K-1图不可的参数区域。
2024-12-03 cs.IT cs.LG cs.SI
Dynamic Network Sampling for Community Detection
我们提出了一个动态的网络采样计划，以优化块恢复随机块模型（SBM）的情况下，它是昂贵的，以观察整个图。从理论上讲，我们提供了我们提出的最佳动态采样方案的理由，通过最佳动态采样信息。实际上，我们评估的性能，块恢复，我们的方法在几个真正的数据集从不同的域。理论和实践结果表明，我们的方法可以确定的顶点，有最大的块结构的影响，使人们可以只检查它们之间是否有边缘，以节省大量的资源，但仍然恢复块结构。
2022-12-16 cs.SI math.ST stat.CO
