Computing the statistical significance of optimized communities in networks
在网络数据中发现社区,用于无监督学习,特征发现,异常检测或科学研究通常是令人感兴趣的。绝大多数社区检测方法通过优化质量函数来进行,即使在没有社区的随机网络上也是可能的。因此,通常没有一种简单的方法来判断社区是否“重要”,在这种情况下,这意味着比在没有社区的随机图模型下预期的内部连接更多。本文将现有的空模型推广到二分图,并引入了一种新的重要性评分算法,称为快速优化社区重要性(FOCS),该算法具有高度可扩展性和不可知性。此外,与单部图上的现有方法相比,FOCS在数值上更稳定,并且更好地平衡了检测能力和误报之间的权衡。
2018-11-17 cs.SI physics.soc-ph stat.ME
Abandon Statistical Significance
我们讨论的问题,原假设显著性检验(NHST)范式复制和更广泛地在生物医学和社会科学,以及如何这些问题仍然没有得到解决的建议,涉及修改后的p值阈值,置信区间,贝叶斯因子。然后,我们讨论我们自己的建议,即放弃统计显著性。我们建议放弃NHST范式-以及它固有的p值阈值-作为生物医学和社会科学研究,出版和发现的默认统计范式。具体而言,我们建议将p值从其阈值筛选角色降级,而是连续处理,与当前从属因素(例如,相关的先前证据、机制的可验证性、研究设计和数据质量、现实世界的成本和收益、发现的新颖性以及因研究领域而异的其他因素)仅作为许多证据之一。我们无意“禁止”p值或其他纯粹的统计指标。相反,我们认为,这些措施不应设定门槛,而且,无论是否设定门槛,它们都不应优先于目前的次要因素。我们还认为,将证据校准为p值或其他纯统计指标的函数很少有意义。我们提供了建议,我们的建议如何可以在科学出版过程中,以及在统计决策更广泛地实施。
2018-09-08 stat.ME
Modeling association in microbial communities with clique loglinear models
人们越来越认识到微生物群落在复杂的生物过程中所起的重要作用。这些的现代研究通常使用宏基因组样品的下一代测序来确定群落组成。我们提出了一种统计技术的基础上集团对数线性模型和贝叶斯模型平均识别微生物组分的宏基因组样本在不同的分类水平,具有显着的关联。我们描述了模型类,模型选择的随机搜索技术,以及感兴趣的后验概率估计的计算。我们使用来自人类微生物组项目和慢性伤口愈合中皮肤微生物组研究的数据来证明我们的方法。我们的技术还确定了微生物组分之间的显著依赖性,作为可能的微生物共养的证据。关键词:列联表、图形模型、模型选择、微生物组、下一代测序
2018-01-23 stat.AP
Measuring Significance of Community Structure in Complex Networks
许多复杂系统可以表示为网络,将网络分成社区可以大大简化功能分析。近年来,人们提出了许多方法来寻找社区,但没有一种方法能够明确地评价所发现的社区是重要的还是微不足道的。在本文中,我们提出了一个指标来评估社区在网络中的重要性。该指标基于网络中原始社团结构与扰动后网络社团结构之间的相似性比较,综合所有相似性定义。许多人工网络和现实世界的网络进行了测试。结果表明,该指数与网络规模和社区数量无关。另外,我们发现在社交网络中总是存在清晰的社区,而在蛋白质相互作用网络和代谢网络中没有发现有意义的社区。
2009-02-19 physics.soc-ph
Statistical Significance Revisited
Botswana International University of Science and Technology(博茨瓦纳国际科学技术大学)
本文重审统计显著性方法,探讨其发展、争议及改进建议,分析显著性检验的优劣与替代方案。
2026-05-07 stat.OT
Inference of hyperedges and overlapping communities in hypergraphs
超图,编码任何数量的系统单元之间的结构化的相互作用,最近被证明是一个成功的工具来描述许多现实世界的生物和社交网络。在这里,我们提出了一个基于统计推断的超图的结构组织特征的框架。该方法允许以有原则的方式推断任何大小的缺失超边,并在存在高阶交互的情况下联合检测重叠社区。此外,我们的模型有一个有效的数值实现,它运行速度比二进算法从高阶数据投影的成对记录。我们将我们的方法应用到各种现实世界的系统中,在超边缘预测任务中表现出强大的性能,检测与交互所携带的信息保持一致的社区,以及对添加噪声超边缘的鲁棒性。我们的方法说明了一个超图概率模型的基本优势时,建模关系系统与高阶交互。
2022-11-11 cs.SI physics.data-an physics.soc-ph
StatTestCalculator: A New General Tool for Statistical Analysis in High Energy Physics
本文提出了开源统计分析工具StatTestCalculator(STC),用于高能物理实验中计算发现显著性或设定参数上限,支持渐近计算与Monte Carlo模拟,并能灵活处理系统不确定性和自定义模型。
2025-10-13 hep-ph stat.CO
Generalized Permutation Framework for Testing Model Variable Significance
针对高维小样本数据中变量显著性检验难题,提出一种非参数置换框架,可排序并检验变量及交互显著性,并在鸢尾花和RNA数据上验证。
2023-10-12 stat.ME
Semantic and Cognitive Tools to Aid Statistical Science: Replace Confidence and Significance by Compatibility and Surprise
研究人员经常曲解和歪曲统计结果。这种滥用导致了大量关于修改或替换测试阈值和$P$ -值与置信区间、贝叶斯因子和其他装置的文献。因为核心问题出现认知,而不是统计,我们审查简单的援助统计解释。这些辅助工具强调逻辑和信息概念,而不是概率,因此可能比传统的描述对常见的误解更强大。我们使用$P$ -值$p$的香农变换,也称为二进制函数或$S$ -值$s=-\log_{2}(p)$,来测量测试过程提供的信息,并帮助校准直觉对简单的物理实验,如抛硬币。我们还使用表格或图表的检验统计量的替代假设,和区间估计不同的百分位数水平,以挫败谬论所产生的任意二分法。最后,我们重新解释$P$ -值和区间估计的无条件条款,这描述了数据的兼容性与整个分析假设。我们说明这些方法与现有的记录为基础的队列研究的数据重新分析。与其他最近的建议,我们建议,教材和研究报告讨论$P$ -值作为措施的兼容性,而不是显着性,计算$P$ -值的备择假设,每当他们计算零假设,并解释区间估计显示值的高兼容性与数据,而不是地区的信心。我们的建议强调认知设备显示的兼容性观察到的数据与各种假设的利益,而不是专注于单一的假设检验或区间估计。我们认为,这些简单的改革是值得的,他们需要的小努力。
2020-10-01 q-bio.QM stat.AP stat.ME
A Formal Graphical Inference Framework for Combining Effect Size with Statistical Significance: Application to Multivariate and Functional Linear Models
Faculty of Agriculture and Technology, University of South Bohemia(南波希米亚大学农业与技术学院);Natural Resources Institute Finland (Luke)(芬兰自然资源研究所(Luke));University of Helsinki(赫尔辛基大学)
提出一种结合效应量与统计显著性的形式化图形推断框架,基于重采样和全局包络,实现强FWER控制,并应用于多元和函数线性模型。
2026-10-08 stat.CO stat.ME
A common misapplication of statistical inference: nuisance control with null-hypothesis significance tests
行为和认知的实验研究经常依赖于刺激或主题选择,即使尝试严格匹配,也不是所有特征都可以完全控制。例如,当将患者与对照组进行对比时,智力或社会经济地位等变量通常与患者状态相关。类似地,当呈现单词刺激时,诸如词频之类的变量通常与感兴趣的主要变量相关。一个非常常用的程序来控制这种滋扰效应是进行推理测试混淆刺激或主题的特点。例如,如果两个刺激集的字长没有显著不同,则认为它们的字长匹配。这样的测试有很高的错误率,在概念上是误导的。它反映了对统计检验的一个常见误解:解释显著性不是指对特定总体参数的推断,而是关于1。样品中,2。样本差异的实际相关性(以便进行非显著性检验以表明不存在相关差异的证据)。我们显示推理测试评估滋扰的影响是不适当的务实和实用的,目前的调查显示其高患病率,并简要讨论了一种替代的形式,包括滋扰变量的回归。
2016-08-02 stat.ME
How to Tell When a Result Will Replicate: Significance and Replication in Distributional Null Hypothesis Tests
本文提出分布零假设检验方法,通过同时考虑实验内和实验间变异来修正标准显著性检验对随机变异的低估,并利用Many Labs复现数据验证其能有效预测结果的可复现概率。
2025-02-05 math.ST stat.ME stat.TH
Review on Determining the Number of Communities in Network Data
本文综述了网络模型中确定社区数量的统计方法,评估了Bickel、SCORE和NCV等方法在假设检验与聚类中的表现,并提出探索特征向量条目分布以提升计算效率。
2025-03-01 stat.ME stat.ML
Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所);Nagoya University(名古屋大学)
尽管大量文献涉及使用深度神经网络(DNN)的图像分割方法,但较少关注评估分割结果的统计可靠性。在这项研究中,我们将分割结果解释为DNN驱动的假设(称为DNN驱动的假设),并提出了一种方法,通过该方法在统计假设测试框架内量化这些假设的可靠性。具体地说,我们考虑一个统计假设测试对象和背景区域之间的差异。这个问题是具有挑战性的,因为由于DNN对数据的适应性,差异会虚假地大。为了克服这一困难,我们引入了一个条件选择性推理(SI)框架-一个新的统计推断框架的数据驱动的假设,最近受到了相当大的关注-计算精确的(非渐近)有效的p值的分割结果。为了将条件SI框架用于基于DNN的分割,我们开发了一种基于同伦方法的新SI算法,该算法使我们能够推导出DNN驱动假设的精确(非渐近)采样分布。我们在合成和真实世界的数据集上进行了实验,通过这些实验,我们提供了证据,证明我们提出的方法可以成功地控制假阳性率,在计算效率方面具有良好的性能,并且在应用于医学图像数据时提供了良好的结果。
2022-12-14 cs.CV cs.LG stat.ML
Statistical Significance of Feature Importance Rankings
Department of Statistics University of California, Berkeley(统计学系加州大学伯克利分校);Department of Statistics and Data Science University of Pennsylvania(统计学与数据科学系宾夕法尼亚大学)
本文针对特征重要性排名因随机采样而不稳定的问题,提出基于假设检验的验证方法和两种高效采样算法,能以超过 1-α 的概率正确识别前 K 个重要特征及其顺序,并在 SHAP 和 LIME 上验证了有效性。
2025-07-03 cs.LG stat.ML
Statistical significance in high-dimensional linear models
我们提出了一种在高维线性模型中为一般假设构造p值的方法。假设可以是局部的,用于测试单个回归参数,或者它们可以是更全局的,涉及几个甚至所有参数。此外,当考虑许多假设,我们展示了如何调整多重检验考虑p值之间的依赖性。我们的技术是基于岭估计与一个额外的校正项,由于大量的投影偏置在高维。我们证明了我们的p值的强误差控制,并提供了检测的充分条件:对于前者,我们不对真正的底层回归系数的大小做任何假设,而对于后者,我们的程序可能不是最佳的功率。我们证明了模拟的例子和一个真实的数据应用程序的方法。
2013-10-11 math.ST stat.ME stat.TH
Statistical significance in high-dimensional linear mixed models
本文讨论了高维线性混合效应模型的推理框架。例如,当我们对$M$受试者进行$n$重复测量时,这些是合适的模型。我们考虑固定效应$p$的数量很大(可能大于$M$),但随机效应$q$的数量很小的情况。我们的框架受到最近一系列工作的启发,该工作提出了去偏惩罚估计量,以仅对具有固定效应的高维线性模型进行推断。特别是,我们演示了如何在Bühlmann(2013)的工作扩展中校正“朴素”岭估计,以构建混合效应模型的渐近有效置信区间。我们验证了我们的理论结果与数值实验中,我们表明我们的方法优于那些未能考虑相关引起的随机效应。对于一个实际的演示,我们认为核黄素生产数据集,具有组结构,并表明,使用我们的方法得出的结论是一致的,在一个类似的数据集没有组结构。
2019-12-16 stat.ME stat.ML
Finding and testing network communities by lumped Markov chains
识别社区(或集群),即具有相对较强内部连通性的节点组,是深入理解网络结构和功能的基本任务。然而,缺乏界定社区和检验其重要性的正式标准。我们提出了一个尖锐的定义,这是基于一个显着性阈值。通过一个集总马尔可夫链模型的随机步行者,一个质量度量称为“持久性概率”相关联的集群。然后,如果这样的概率不小于$α$,则将集群定义为“$α$ -社区”。一致地,由$α$ -社区组成的分区是“$α$ -分区”。这些定义对于寻找和测试社区非常有效。如果一组候选分区可用,则设置期望的$α$级别允许立即选择具有最精细分解的$α$分区。同时,持久性概率量化了每个社区的重要性。鉴于其单独评估每个集群的质量的能力,这种方法也可以揭示单个定义明确的社区,即使在网络中,总体上不具有明确的集群结构。
2011-06-03 cs.SI physics.soc-ph
Significant communities in large sparse networks
研究人员使用社区检测算法来揭示生物和社交网络中的大规模组织,但社区检测只有在社区重要且不是噪声数据的结果时才有用。为了评估网络社区的统计显著性或检测到的结构的鲁棒性,一种方法是通过移除链接来扰动网络结构并测量社区的变化程度。然而,扰动稀疏网络是具有挑战性的,因为它们本质上是敏感的;如果删除链接,它们很容易破碎。在这里,我们提出了一个简单的方法来扰动稀疏网络,并评估其社区的重要性。我们通过基于局部信息添加额外的链接来生成重采样网络,然后我们聚合来自多个重采样网络的信息,以找到重要聚类的粗粒度描述。除了在基准网络上测试我们的方法外,我们还在欧洲法院(ECJ)判例法的稀疏网络上使用我们的方法来检测重要和不重要的法律领域。我们使用我们的显著性分析绘制了一张欧洲法院判例法网络图,揭示了法律领域之间的关系。
2013-02-01 cs.SI physics.soc-ph
Resampling effects on significance analysis of network clustering and ranking
社区检测有助于我们简化复杂的网络配置,但社区只有在统计上显著时才是可靠的。为了检测统计上显著的社区,一种常见的方法是重新采样原始网络并分析社区。但是,响应假设样本之间是独立的,而网络的组成部分本质上是相互依赖的。因此,我们必须了解如何打破重采样组件之间的依赖关系影响显著性分析的结果。在这里,我们使用科学传播作为一个模型系统来分析这种影响。我们的数据集包括1984-2010年在期刊上发表的文章中的引用。我们比较了引用的参数检索与非参数文章检索。虽然引用恢复打破了链接依赖性,但条目恢复保持了这种依赖性。我们发现,引文检索低估了链接权重的方差。此外,这种低估解释了排名和聚类显著性分析中的大部分差异。因此,当只有链接权重是可用的,文章回复不是一个选项,我们建议一个简单的参数回复方案,产生链接权重方差接近的链接权重方差的文章回复。尽管如此,当我们强调和总结科学中重要的结构变化时,我们在重新定位方案中保持的依赖性越多,我们就能越早地预测结构变化。
2013-02-11 cs.SI physics.soc-ph
Scalable detection of statistically significant communities and hierarchies, using message-passing for modularity
模块化是衡量社区结构的一个常用指标。然而,最大化模块性可能会导致许多具有几乎相同模块性的竞争分区,这些分区彼此之间的相关性很差。它还可以在不存在的随机图中产生虚幻的“社区”。我们解决这个问题,通过使用的模块化作为一个哈密顿量在有限的温度,并使用一个有效的信念传播算法,以获得共识的许多分区具有高模块化,而不是寻找一个单一的分区,最大化it.We分析和数值计算表明,该算法的工作一直到可检测性过渡的随机块模型所产生的网络。它在现实世界的网络中也表现良好,揭示了一些网络中的大型社区,而以前的工作声称不存在社区。最后,我们表明,通过递归地应用我们的算法,细分社区,直到没有显著的子社区可以找到,我们可以更有效地检测在现实世界中的网络层次结构比以前的方法。
2014-12-27 cond-mat.stat-mech cs.SI physics.soc-ph
Detecting the optimal number of communities in complex networks
社区数目的确定是社区结构检测中的一个重要问题。在本文中,我们扩展了社区发现算法的测量,以找到最佳的社区数。基于归一化互信息指数,这已被用来作为一个衡量社区的相似性,一个统计$Ω(c)$提出了检测的最佳社区数目。一般来说,当$Ω(c)$达到其局部最大值时,特别是第一个时,相应的社区数\emph{c}在社区检测中可能是最优的。此外,统计量$Ω(c)$还可以度量复杂网络中社团结构的重要性,这一点近年来受到了广泛的关注。数值和实验结果表明,该指标$Ω(c)$在人工网络和真实世界网络中都是有效的。
2011-03-30 cs.SI physics.soc-ph stat.AP
Community detection based on significance optimization in complex networks
社团结构是广泛存在于各种复杂网络中的一种重要的结构性质。在过去的十年里,社区检测方法的设计受到了广泛的关注,但分析社区检测方法的行为也是理论研究和实际应用中的一个热点。在这里,我们专注于社区结构的重要措施,意义[科学。Rep.3(2013)2930]。详细研究了网络参数对该测度的影响,分析了该测度在分块跃迁中的临界行为,并解析地给出了临界点的计算公式和相图。结果表明,随着社区间和社区内链接密度的不同,划分转换的临界社区数显著增加,显著性优化方法在社区发现中表现出更高的分辨率,但也容易导致社区过度分裂。利用Louvain显著性优化算法,在人工网络和真实网络上验证了理论结果,并与一些经典方法进行了一系列比较。
2017-01-24 cs.SI physics.data-an physics.soc-ph
Communities in Affiliation Networks with Attitudunal Actors
我们在这里的目的是恳求的意义,重叠的跨态度模式的文化考虑的权利旁边的良好建立的结构性考虑的组织间网络的基础上重叠的成员模式。特别是,我们研究如何分析社会学方法纳入文化属性或态度可能会提高我们的理解,结构社区分类在组织间网络。为此,我们分析了2003年2月15日世界范围内的和平抗议的国际和平抗议调查(IPPS)的数据,以体现参与研究的文化结构的二重性的考虑所提供的附加值。
2012-07-16 cs.SI physics.soc-ph
Statistical significance of rich-club phenomena in complex networks
我们建议复杂网络中的富俱乐部现象应定义在自举的精神,其中采用零模型来评估的富俱乐部检测到的统计意义。该方法可以作为富俱乐部现象的一个定义,并应用于分析三个真实网络和三个模型网络。与以前报道的结果相比,结果显着改善。我们报告一个特殊的例子,表明不存在一个万能的定义富人俱乐部现象的困境。
2007-05-10 physics.soc-ph
Core of communities in bipartite networks
我们使用存在于二分网络中的信息来检测二分系统的每个集合的社区的核心。社区的核心是通过调查统计验证的预测网络中使用的二分网络中存在的信息。社区的核心是高度信息化的,并且对于二分网络中存在的错误或缺失条目是鲁棒的。我们通过研究人工基准网络、合著网络和演员电影网络来评估核心的统计鲁棒性。相对于参考分区获得的分区的准确度和精确度分别根据经调整的Rand索引和经调整的Wallace索引来测量。核的检测是高度精确的,尽管该方法的准确性在某些情况下可能是有限的。
2017-03-06 cs.SI physics.data-an physics.soc-ph
Large scale statistically validated comorbidity networks
本文基于电子健康记录构建大规模共病网络,通过统计验证和社区划分揭示不同年龄与性别队列的疾病关联模式,并利用层次树和拆解程序分析疾病类别对网络结构的影响。
2025-10-10 physics.data-an physics.soc-ph
Finding statistically significant communities in networks
社区结构是网络的主要结构特征之一,它揭示了网络的内部组织和基本单元的相似性。尽管提出了各种各样的方法来检测图中的社区,但仍然需要多用途技术,能够处理不同类型的数据集和社区结构的微妙之处。在本文中,我们提出了OSLOM(顺序统计局部优化方法),第一种方法能够检测网络中的边缘方向,边缘权重,重叠社区,层次结构和社区动态集群。它基于适应度函数的局部优化,该函数表达集群相对于随机波动的统计显着性,该显着性是使用极端和顺序统计工具估计的。OSLOM可以单独使用,也可以作为其他技术提供的分区/覆盖的细化过程。我们还实现了顺序算法结合OSLOM与其他快速技术,使社区结构的非常大的网络可以被发现。我们的方法具有可比的性能作为现有的最好的人工基准图的算法。实际网络上的几个应用程序也显示。OSLOM是在一个免费提供的软件(http://www.example.com)中实现的,我们相信它将是网络分析中的一个有价值的工具。www.oslom.org
2011-05-04 cs.IR cs.SI physics.soc-ph
Statistical Behavior of Embeddedness and Communities of Overlapping Cliques in Online Social Networks
节点的度分布,特别是幂律度分布,被认为是社会网络和信息网络最重要的结构特征之一。然而,节点度只揭示了网络的一阶结构。更高阶的结构,如边缘嵌入和社区的大小可能在许多在线社交网络中发挥更重要的作用。在本文中,我们提供的经验证据丰富的高阶结构特征存在于在线社交网络,开发数学模型来解释和模拟这些特征,并讨论其在实践中的各种应用。特别是,1)我们表明,嵌入分布的社会链接在许多社交网络有有趣的和丰富的行为,不能被著名的网络模型。我们还提供了实证结果,显示了嵌入性分布和社交网络节点对之间通信的平均消息数之间的明显相关性。2)我们正式证明了随机k树,最近的复杂网络模型,具有幂律嵌入分布,并经验表明,随机k树模型可以用来捕捉丰富的行为,我们观察到在现实世界的社交网络的高阶结构。3)超越嵌入性,我们表明,随机k树模型的一个变体可以用来捕捉最近发现的重叠集团的社区大小的幂律分布。
2010-09-22 cs.SI physics.soc-ph
Scale invariance and statistical significance in complex weighted networks
本研究针对加权配置模型(WCM)统计显著性依赖标度的问题,提出先随机化结构再用合适分布随机化权重的两步法,恢复标度不变性,实现加权网络无偏显著性评估。
2025-10-28 physics.soc-ph
Communities and bottlenecks: Trees and treelike networks have high modularity
人们在理解复杂网络的模块化本质方面做了很多努力。社区,也称为集群或模块,通常被认为是密集互连的节点组,仅稀疏地连接到网络中的其他组。发现高质量的社区在许多领域都是一个困难而重要的问题。最流行的方法是被称为模块化的目标函数,用于发现社区并衡量其强度。为了理解网络的模块化结构,关键是要知道这些函数如何评估不同的拓扑结构,它们解释了哪些特征,以及它们可能做出哪些隐含假设。我们表明,树和树状网络可以有意想不到的,往往是任意高的值的模块化。这是令人惊讶的,因为树是最大稀疏连通图,通常不被认为具有模块化结构,但模块化使用的非局部空模型分配低概率,因此高意义,这些稀疏树社区的密度。我们进一步研究了流行的方法在模型树和家谱数据集上的实际性能,发现发现社区也具有非常高的模块化,通常接近其最大值。统计测试表明,社区的树木是显着的,与已知的结果稀疏,随机图的分区。
2012-06-25 cs.SI physics.data-an physics.soc-ph
How to Measure Significance of Community Structure in Complex Networks
社团结构分析是研究复杂网络的有力工具,它可以大大简化复杂网络的功能分析。近年来,人们提出了许多方法来检测社区结构,但很少有工作集中在社区结构的意义。由于从复杂系统中得到的真实网络中往往存在错误链接,而且大多数社团发现算法中存在随机因素,因此评价社团结构的重要性就显得尤为重要和迫切。在本文中,我们使用特征向量的稳定性来表征社区结构的重要性。通过对一个给定网络的Laplacian矩阵的特征值进行分析,可以评估其社区结构的重要性,从而得到最优社区数目,这是社区发现算法的难点。我们将我们的方法应用于许多真实的网络。我们发现许多社交网络和秀丽隐杆线虫神经网络中存在显著的社区结构,而蛋白质相互作用网络和代谢网络中存在不太显著的社区结构。由于其坚实的数学基础和效率,我们的方法可以应用于广泛的聚类问题的数据挖掘。
2010-02-10 physics.data-an physics.soc-ph
An efficient and principled method for detecting communities in networks
网络数据分析中的一个基本问题是检测网络社区,即密集互连的节点组,这些节点可能重叠或不相交。在这里,我们描述了一种基于原则性统计方法使用生成网络模型来寻找重叠社区的方法。我们展示了如何使用一个快速的,封闭形式的期望最大化算法,使我们能够分析网络的数百万个节点在合理的运行时间可以实现的方法。我们在真实世界的网络和合成基准测试的方法,发现它给出的结果与以前的方法竞争。我们还表明,同样的方法可以用来提取非重叠社区划分通过松弛法,并证明该算法是有竞争力的快速和准确的非重叠问题。
2011-04-18 cond-mat.stat-mech cs.SI physics.soc-ph
Identifying multi-scale communities in networks by asymptotic surprise
优化社区结构的统计度量是最流行的社区发现策略之一,但其中许多策略缺乏分辨率的灵活性,因此与网络的多尺度社区不兼容。在这里,我们进一步研究了社区检测的统计度量,渐近惊喜,惊喜的渐近近似。从理论上讨论了社团划分的相变中渐近突变的临界行为。然后,根据理论分析,提出了一种基于渐近惊奇的多分辨方法,为研究多尺度网络提供了一种新的途径,并提出了一种改进的Louvain算法,以更有效地优化渐近惊奇。通过在不同网络中的一系列实验测试,进一步验证了渐近惊讶的临界行为和改进的Louvain算法的有效性,显示了其解决第一类分辨率极限的能力和对第二类分辨率极限的更强容忍性,证实了其揭示多尺度网络中多尺度社团结构的有效性。
2018-10-25 physics.data-an physics.soc-ph
Social significance of community structure: Statistical view
社区结构分析是研究社交网络的有力工具,它可以大大简化网络的拓扑和功能分析。然而,由于社团发现方法具有随机性,而从复杂系统中得到的真实社交网络往往含有错误边,因此评价社团结构划分的意义是一个迫切而重要的问题。本文结合现实社会的具体特点,提出了一个专门分析社会共同体意义的新框架。社会互动的动力学建模识别社会领袖和相应的层次结构。我们不是直接与随机模型的平均结果进行比较,而是通过公共邻居的数量来计算给定节点与领导者的相似性。为了确定社区成员向量,提出了一种基于节点位置及其领导者的社区发现算法。然后,使用对数似然得分,社区的紧密度可以得到。基于群落紧密度的分布,建立了$p$ -值理论与网络分析的新联系,并得到了一种新的统计形式的显著性测度。最后,该框架被应用到基准网络和真实的社交网络。实验结果表明,本文的工作可用于确定最优社区数目、分析给定社区的社会意义、比较各种算法的性能等领域。
2015-05-08 cs.SI physics.soc-ph
Which cities produce excellent papers worldwide more than can be expected? A new mapping approach--using Google Maps--based on statistical significance testing
本文提出的方法允许使用免费提供的程序进行统计分析,揭示世界各地的卓越中心。基于Web of Science数据,可以在高被引论文大量发表的城市中确定特定领域的卓越性。与迄今为止出版的映射方法相比,我们的方法更注重分析,允许对预期数量的城市(样本中)的优秀论文的观察数量进行评估。使用这种测试,这种方法不仅可以识别出产出中的顶级表现者,而且可以识别出“真正的宝石”。“这些城市的作者发表的被引用论文比预期的要多得多。正如本文中的物理、化学和心理学的例子所示,这些城市并不一定有很高的优秀论文产出。
2011-06-28 cs.DL physics.soc-ph
Shaping Communities out of Triangles
社区发现在生物学、社交网络、网络流量分析等领域有着重要的应用价值,是图数据采掘领域的研究热点之一。建议塑造社区的指标是通用的,并遵循两种方法:最大限度地提高这些社区的内部密度或减少内部顶点与社区外的连接。然而,这些指标将边缘作为一个集合,而不考虑社区中边缘的内部布局。我们定义了一组面向社交网络的属性,以确保社区具有凝聚力,结构化和良好的定义。然后,我们提出了加权社区聚类(WCC),这是一个基于三角形的社区度量。我们证明,分析社区的三角形社区,满足所列的属性集,在以前的指标。最后,我们的实验表明,WCC正确地捕捉社区的概念,在社交网络使用真实的和合成的数据集,并统计比较一些最相关的社区发现算法在最先进的。
2012-07-26 cs.SI physics.soc-ph
Emergent Behavior in Agent Networks: Self-Organization in Wasp and Open Source Communities
理解软件开发人员社区的复杂动态需要将这些组织视为一个涉及目标和约束的交互代理网络。除了它们的特殊特征之外,这些系统还显示出一些总体的组织模式,这些模式与其他类型的组织(包括自然和人工实体)中的模式相差不远。通过将软件开发人员和社会昆虫视为在复杂网络中交互的代理,我们发现了组织的共同统计模式。在这里,简单的自组织过程导致黄蜂殖民地和开源社区的层次结构的形成进行了研究。我们的分析进一步验证了基于个体学习的黄蜂层次结构形成的简单模型。在开源社区中,少数成员与社区的其他成员有着明显的区别,他们有着不同的强化机制。
2006-02-01 physics.soc-ph
Communities in Networks
社区检测已成为网络科学的一个日益重要的领域,本文综述了社区检测的一些概念、方法和应用。为了帮助新手进入该领域,我们提供了一个可用的方法和开放问题的指南,并讨论了为什么来自不同背景的科学家对这些问题感兴趣。作为一个运行的主题,我们强调社区检测的统计物理和计算优化问题的连接。
2009-09-09 cond-mat.stat-mech cs.CY cs.DM
Significance of Side Information in the Graph Matching Problem
基于渗流的图匹配算法依赖于种子顶点对的可用性作为边信息来有效地跨网络匹配用户。虽然这样的算法在实践中工作得很好,但是存在对攻击者潜在有用的其他类型的辅助信息。在本文中,我们考虑的问题匹配两个相关的图时,攻击者可以访问侧信息,无论是在社区标签或不完美的初始匹配的形式。在前一种情况下,我们提出了一个朴素的图匹配算法,通过引入社区度向量,利用社区标签的信息,在一个有效的方式。此外,我们分析了一个变种的基本渗流算法在文献中提出的社区结构的图。在后一种情况下,我们提出了一种新的渗透算法,使用两个阈值,作为输入的不完美匹配匹配相关的图。我们评估所提出的算法合成以及现实世界的数据集,使用各种实验。实验结果表明,社区作为边信息的重要性,特别是当种子的数量很少,网络是弱相关的。
2017-06-21 cs.SI physics.soc-ph
Faster unfolding of communities: speeding up the Louvain algorithm
许多复杂网络都呈现出密集连接的节点组的模块化结构。通常,这样的模块化结构是通过优化某些质量函数来揭示的。尽管存在缺陷,但模块化仍然是最受欢迎的质量功能之一。Louvain算法最初是为了优化模块化而开发的,但已应用于各种方法。因此,加速Louvain算法,使更大的图在更短的时间内分析各种方法。我们建议考虑将节点移动到随机邻居社区,而不是最佳邻居社区。虽然非常简单,但它在具有清晰社区结构的网络中将理论上的运行时复杂度从$\mathcal{O}(m)$降低到了$\mathcal{O}(n \log \langle k \rangle)$。在基准网络中,它将算法加速了大约2-3倍,而在一些真实网络中,它甚至达到了10倍的运行速度。这种改进是由于两个因素:(1)随机邻居可能处于“好”社区;(2)随机邻居可能是枢纽,有助于收敛。最后,性能增益仅略微降低质量,特别是对于模块化,从而提供良好的质量性能比。然而,对于其他一些指标,如显著性或意外性,这些收益不太明显,甚至消失。
2015-09-09 cs.DS cs.SI physics.soc-ph