When Less Is More: Systematic Analysis of Cascade-Based Community Detection
信息扩散、传染病的传播和谣言的传播是发生在现实生活网络中的基本过程。在许多实际情况下,人们可以观察到节点何时被感染,但感染或信息传播的底层网络是隐藏的。推断底层网络的属性是很重要的,因为这些属性可以用于约束感染、预测、病毒式营销等。此外,对于许多应用程序来说,只恢复该网络的粗略高级属性就足够了,而不是恢复其所有边。本文对以下问题进行了系统和广泛的分析:仅给定感染次数,找到高度互连节点的社区。这个任务显着不同的研究社区发现的问题,因为我们没有观察到一个图进行聚类。我们在几个大型数据集上对现有方法和新方法进行了彻底的比较,并涵盖了针对这一问题的方法学挑战。其中一个主要结论是,最稳定的性能和最显着的改善,目前的最先进的是通过我们提出的简单的启发式方法不可知的特定的图结构和流行病模型。我们还表明,一些著名的社区发现算法可以通过包括边缘权重的级联数据的基础上得到增强。
2022-03-30 cs.SI physics.soc-ph
Inferring Network Structure From Data
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Ohio State University(俄亥俄州立大学)
网络是许多应用领域中底层数据的复杂模型。在大多数情况下,原始数据本身并不是网络的形式,而是从传感器、日志、图像或其他数据中获取的。然而,在将这些数据转换到网络中的各种选择的影响在很大程度上还没有得到研究。在这项工作中,我们提出了一种网络模型选择方法,重点是评估网络的效用不同的任务,以及效率的措施,选择最简约的模型。我们证明了这种网络定义的问题,在几个方面的行为建模的底层系统。
2020-04-04 cs.LG cs.SI stat.ML
CENI: a Hybrid Framework for Efficiently Inferring Information Networks
如今,用户或网站之间的信息传播链接推动了无数创新应用的发展。然而,在现实中,当网络中的不同节点对消息做出反应时,我们更容易观察到时间戳,而使消息扩散的连接仍然隐藏。这激发了最近对网络推理问题的广泛研究:揭示通过它们传播的信息记录的边缘。现有的解决方案是计算昂贵的,这促使我们开发一个有效的两步通用框架,聚类嵌入式网络推理(CENI)。CENI集成了聚类策略,提高了网络推理的效率。通过直接在消息的时间轴上对节点进行聚类,我们提出了两种简单的CENI实现:以调度为中心的CENI和以级联为中心的CENI。此外,我们还指出了CENI的临界维数问题:在聚类之前,我们需要首先将节点投影到某个维度的欧氏空间,而不是一维时间轴。在投影空间上采用聚类方法的CENI能更好地保留隐藏在级联中的结构,生成更准确的推理链接。这一见解揭示了其他相关的工作,试图发现或利用潜在的集群结构中传播的消息。通过解决关键维度问题,我们提出了CENI框架的第三种实现方式:基于投影的CENI。通过在两个真实数据集上的大量实验,我们表明,这三个CENI模型只需要大约20% $\sim$ 50%的运行时间的国家的最先进的方法。此外,基于投影的CENI的推断边缘保留甚至优于最先进方法的有效性。
2015-03-17 cs.SI
Estimating Diffusion Network Structures: Recovery Conditions, Sample Complexity & Soft-thresholding Algorithm
信息在社会和技术网络中传播,但网络结构往往对我们隐藏,我们只能观察到被称为级联的扩散过程留下的痕迹。我们能从这些观察到的级联中恢复隐藏的网络结构吗?我们需要什么样的级联和多少级联?是否有一些网络结构比其他网络结构更难恢复?我们能否设计出具有可证明保证的高效推理算法?尽管越来越多的级联数据和方法从这些数据推断网络,一个彻底的理论理解上述问题仍然在很大程度上未在文献中探索。在本文中,我们研究了一般家庭的连续时间扩散模型使用$l_1$正则似然最大化框架的网络结构推断问题。我们表明,只要级联采样过程满足自然的不相干条件,我们的框架可以恢复正确的网络结构,如果我们观察到$O(d^3 \log N)$级联,其中$d$是一个节点的父母的最大数量和$N$是节点的总数。此外,我们开发了一个简单而有效的软阈值推理算法,我们用它来说明我们的理论结果的后果,并表明我们的框架在实践中优于其他替代方案。
2014-05-12 cs.SI physics.soc-ph stat.ML
Seeing the Unseen Network: Inferring Hidden Social Ties from Respondent-Driven Sampling
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学)
了解隐藏的和难以接触的人群的社会结构-如吸毒者和性工作者-是流行病学和公共卫生研究的一个主要目标,对危险行为和疾病预防。应答者驱动抽样(RDS)是许多卫生组织广泛使用的同行推荐过程,其中研究对象从其社交网络中招募其他受试者。在这类调查中,研究人员观察谁招募了谁,以及招募时间和受访者的熟人总数(网络度)。不过,出于隐私考虑,熟人的身份并未公开。在这项工作中,我们将展示如何重建潜在的网络结构,通过该网络结构招募受试者。我们制定的动态RDS作为一个连续时间的扩散过程的基础图形,并推导出招聘时间序列的可能性下的任意招聘时间分布。我们开发了一种高效的随机优化算法,称为RENDER(代表驱动的网络重建),它可以找到最能解释收集到的数据的网络。我们支持我们的分析结果,通过一套详尽的实验合成和真实的数据。
2015-12-02 cs.AI cs.LG cs.SI
Urban spatial-temporal activity structures: a New Approach to Inferring the Intra-urban Functional Regions via Social Media Check-In Data
现有文献大多从城市外部的人类活动时间节奏来推断城市的功能区,但忽略了功能区与人类活动之间的内在依存关系,从而揭示了区域更详细的特征。在这项研究中,我们提出了一种新的模型的基础上的低秩近似(LRA)检测功能区使用的数据,从约1500万入住记录在一年的时间在中国上海,中国。我们发现了一系列的潜在结构,称为城市时空活动结构(USTAS)。在解释这些结构的同时,可以发现时空活动模式之间的一系列显著的潜在联系,而且我们不仅可以用较低的维数再现观测数据,而且可以在同一个坐标系中同时投影时空活动模式。通过利用K-均值聚类算法,可以得到五个显著类型的聚类,这些聚类直接用相应的时间活动组合进行注释。这提供了一幅清晰的画面,显示了区域组如何与一天中不同时间的不同活动相关联。除了商业和交通优势区,我们还发现了两种类型的居住区,开发的居住区和发展中的居住区。从城市形态分析的角度进一步验证了这些城市群的空间分布。结果表明,该模型与同期的政府规划具有较高的一致性,表明该模型适用于通过社会媒体签到数据推断功能区域,并可用于城市规划、公共服务和基于位置的推荐系统等广泛领域。
2015-01-21 cs.SI physics.soc-ph
Super-blockers and the effect of network structure on information cascades
对在线社交网络上的信息级联进行建模在从市场营销到内乱预测等领域都很重要,然而底层网络结构强烈影响这种级联的概率和性质。即使是简单的级联动力学,大级联的概率几乎完全取决于网络特性,著名的网络,如Erdos-Renyi和Barabasi-Albert,从同一个模型中产生了截然不同的级联。事实上,“超级传播者”的概念已经出现,用来描述在社交网络中促进全球级联的具有高度影响力的节点。在这里,我们使用一个简单的全球级联模型来表明,在网络中的局部性的存在增加了全球级联的概率,由于连接节点的脆弱性增加。而不是“超级传播者”,我们发现这些高度连接的“超级阻断者”在重尾网络中的存在实际上降低了全球级联的概率,同时促进了信息传播。
2018-03-21 cs.SI physics.data-an physics.soc-ph
Inferring the interplay of network structure and market effects in Bitcoin
经济学研究的一个主要焦点是理解商品和资产价格的时间序列。虽然只使用时间序列本身的属性的统计模型已经在许多方面取得了成功,我们希望获得更好的理解所涉及的现象,如果我们可以模拟相互作用的代理的基础系统。在本文中,我们考虑比特币的历史,这是一种新颖的数字货币系统,其完整的交易列表可供分析。使用这个数据集,我们重建了用户之间的交易网络,并分析了由最活跃的用户引起的子图结构的变化。我们的方法是基于网络的时间变化的重要特征的无监督识别。将广泛使用的主成分分析方法应用于从不同时间的网络快照构建的矩阵,我们能够展示网络中的结构变化如何伴随比特币交易价格的显著变化。
2014-12-12 cs.SI physics.soc-ph
Deep Collaborative Embedding for information cascade prediction
Sichuan University(四川大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
近年来,信息级联预测引起了研究者的极大兴趣,但由于现有工作存在三个方面的缺陷,信息级联预测还远未得到很好的解决。首先,现有的工作往往假设一个潜在的信息扩散模型,这是不切实际的,在现实世界中,由于信息扩散的复杂性。第二,现有的工作往往忽略了传染顺序的预测,而传染顺序在社会网络分析中也起着重要的作用。最后,现有的工作往往依赖于潜在的扩散网络的要求,这在实践中可能是不可观测的。在本文中,我们的目标是预测节点感染和感染顺序,而不需要关于底层扩散机制和扩散网络的知识,其中的挑战是双重的。第一个问题是应该捕获哪些节点的级联特征以及如何捕获这些特征,第二个问题是如何对信息级联中节点的非线性特征进行建模。为了解决这些问题,本文提出了一种新的信息级联预测模型--深度协同嵌入(DCE)模型,该模型不仅能够捕获节点的结构特性,还能够捕获两种节点级联特性。我们提出了一个基于自动编码器的协作嵌入框架来学习级联协作和节点协作的节点嵌入,以这种方式可以有效地捕获信息级联的非线性。在真实数据集上进行的大量实验结果验证了该方法的有效性。
2020-01-18 cs.LG cs.SI
Potential Networks, Contagious Communities, and Understanding Social Network Structure
在本文中,我们研究如何网络的代理采用特定的技术涉及到的基础网络的结构,该技术的采用蔓延。我们开发了一个模型,并表明,网络的代理采用特定的技术可能具有显着不同的特点,从社会网络的代理技术传播。例如,由级联引起的网络可能具有重尾度分布,即使原始网络没有。这提供了证据表明,通过在底层社交网络上采用技术而创建的在线社交网络可能看起来与社交网络有根本的不同,并表明如果我们试图使用来自许多在线社交网络的数据来直接推断社交网络的结构,则使用这些数据可能会误导我们。我们的研究结果为数据集中重复观察到的某些属性提供了另一种解释,例如:重尾度分布,网络致密化,收缩直径和网络社区概况。这些特性可能是由某种“抽样偏差”造成的,而不是由基本社会结构的属性造成的。通过在本身不包含这些属性的传统网络模型上使用级联来生成网络,我们仍然可以可靠地生成包含所有这些属性的网络。有趣的未来研究的一个机会是开发新的方法,正确地推断底层网络结构的数据,通过级联传播在底层网络上生成的网络。
2013-04-06 cs.SI physics.soc-ph
A data-driven analysis to question epidemic models for citation cascades on the blogosphere
博客网络中的引用级联通常被认为是信息在这个社交媒体上传播的痕迹。在这项工作中,我们质疑这一点,使用结构和语义分析的五个月活动的最具代表性的博客的法语community.Statistical措施显示,我们的数据集与那些可以在文献中找到的许多功能,这表明存在一个相同的基本过程。然而,对文章内容的进一步分析表明,在这种背景下,流行的对级联的类似于数学的描述是误导性的。一个基本的模型,只考虑了博客的行为和他们有限的社会网络,解释了数据的几个重要统计特征。这些论点支持这样一种观点,即引用的主要目的可能不是在博客圈传播信息。
2013-06-03 cs.SI physics.soc-ph
Inferring the Graph of Networked Dynamical Systems under Partial Observability and Spatially Colored Noise
Carnegie Mellon University(卡内基梅隆大学)
针对部分可观测、存在空间有色噪声的网络化动力系统,研究提出噪声相关结构的可行性条件及结构辨识算法,可一致推断观测节点间的底层依赖关系,在多场景下性能优异。
2023-12-18 cs.LG cs.SI
The Message or the Messenger? Inferring Virality and Diffusion Structure from Online Petition Signature Data
Goel et al.(2016)研究了Twitter的传播数据,得出的结论是,在线请愿比其他类型的内容更具病毒性。他们对结构性病毒式传播的定义,即衡量传播遵循广播模型或在人与人之间传播(病毒式)的程度,取决于对扩散级联拓扑结构的了解。但通常不能直接观察到扩散结构。我们检查了来自奥巴马白宫的We the People请愿平台的时间戳签名数据。我们开发了基于时间动态的措施,我们认为,可以用来推断扩散结构以及更内在的概念,有时被称为传染性的病毒性。这些措施表明,成功的请愿书很可能是更高的内在和结构病毒比不成功的请愿书。我们还调查了挑战简单传染模型的请愿书签名的阈值效应,并报告了与我们的数据一致的理论模型的模拟。
2017-08-11 cs.CY cs.SI stat.AP
Network Topology Inference Using Information Cascades with Limited Statistical Knowledge
我们研究了从信息级联推断网络拓扑结构的问题,其中信息在网络中的边缘扩散所需的时间遵循未知的分布。与以前的研究不同,这些研究假设了这些分布的知识,我们只要求沿着网络中不同边缘的扩散与有限的矩信息(例如,的手段)。本文引入了图的分离点集的概念,它是指对于图的任意两个不同的顶点,存在一个到它们的距离不同的顶点的顶点集。我们表明,重建一棵树完美地使用顶点对之间的距离信息的必要条件是由所观察到的分离顶点集的大小。然后,我们提出了一个算法来恢复的树结构使用感染时间,其差异有相应的两个顶点之间的距离的手段。为了提高算法的准确性,我们提出了冗余顶点的概念,它允许我们执行平均以更好地估计两个顶点之间的距离。虽然理论主要是为树网络开发的,我们演示了如何将算法扩展到一般的图形。使用合成网络和真实网络的仿真以及使用真实数据的实验表明,我们提出的算法比当前一些最先进的网络重建方法表现得更好。
2019-03-04 cs.SI
Boundary Degree as a Node-level Feature for Epidemic Scenario Identification in Agent-based Cascade Simulations
Biocomplexity Institute(生物复杂性研究所)
提出边界度作为节点级级联特征,通过消融实验证明其单独提升场景识别准确率19%,并理论证明无边界或边信息时某些场景不可区分。
2026-07-07 cs.LG cs.SI
Inferring network properties from time series using transfer entropy and mutual information: validation of multivariate versus bivariate approaches
从时间序列中推断出的功能性和有效性网络是网络神经科学的核心。解释它们的性质需要推断的网络模型来反映关键的潜在结构特征;然而,即使是一些虚假的链接也会扭曲网络测量,挑战功能连接体。我们研究了在何种程度上可以推断的基础网络的微观和宏观性质的算法的基础上互信息和二元/多元传递熵。验证是在两个猕猴连接体和具有各种拓扑结构的合成网络(规则格,小世界,随机,无标度,模块化)上进行的。模拟是基于神经质量模型和自回归动力学(采用高斯估计直接比较功能连接和格兰杰因果关系)。我们发现,多变量传递熵捕获的关键属性的所有网络较长的时间序列。双变量方法可以在较短的时间序列中实现较高的召回率(灵敏度),但随着可用数据的增加,无法控制假阳性(较低的特异性)。这会导致高估集群、小世界和富俱乐部系数,低估最短路径长度和枢纽中心性,以及增加度分布尾部。因此,在解释通过相关性或成对统计依赖性测量获得的功能性连接体的网络特性时,而不是更全面(但需要大量数据)的多变量模型时,应谨慎使用。
2020-11-25 cs.IT cs.SI math.IT
Asymptotic analysis of the stochastic block model for modular networks and its algorithmic applications
在本文中,我们扩展了我们以前的工作随机块模型,社会和生物网络的一个常用的生成模型,以及从网络的拓扑结构推断功能组或社区的问题。我们使用统计物理的腔方法来获得相图的渐近精确分析。我们详细描述了社区检测问题的可检测性/不可检测性相变和易/难相变的性质。我们的分析自然地转化为用于以最佳方式推断节点的组成员资格的置信传播算法,即,最大化与底层组成员的重叠,并学习块模型的底层参数。最后,我们将该算法应用到两个现实世界的网络的例子,并讨论其性能。
2013-05-08 cond-mat.dis-nn cond-mat.stat-mech cs.SI
Inferring Networks of Diffusion and Influence
信息扩散和病毒传播是发生在网络中的基本过程。虽然通常可以直接观察节点何时感染病毒或采用信息,但观察单独的传输(即,谁感染谁,或者谁影响谁)通常是非常困难的。此外,在许多应用中,扩散和传播的底层网络实际上是不可观察的。我们通过开发一种方法来应对这些挑战,该方法用于跟踪通过网络的扩散和影响路径,并推断传染传播的网络。给定节点接受信息或被感染的时间,我们确定最佳网络,最好地解释观察到的感染时间。由于优化问题是NP-难精确解决,我们开发了一种有效的近似算法,可扩展到大数据集,并找到可证明的接近最优的网络。我们证明了我们的方法的有效性,通过跟踪信息扩散在一组1.7亿博客和新闻文章在一年内推断信息如何通过网络媒体空间流动。我们发现,前1,000名媒体网站和博客的新闻传播网络往往具有核心-外围结构,其中一小部分核心媒体网站将信息传播到网络的其他部分。这些网站往往有稳定的影响圈,更一般的新闻媒体网站充当它们之间的连接器。
2011-10-23 cs.DS cs.SI physics.soc-ph
Robust Cascade Reconstruction by Steiner Tree Sampling
我们考虑一个网络,其中发生了感染级联,并且部分观察到了受感染节点的子集。我们的目标是重建可能产生这些观察结果的潜在级联。我们减少了这个级联重建问题,计算边际概率,一个节点被感染的部分观察,这是一个P-困难的问题。为了规避这个问题,我们采取估计感染概率,通过生成一个样本的可能级联,其中跨越节点已经被观察到被感染,并避免节点已被观察到未感染。抽样问题对应于给定终端集的有向Steiner树的抽样,这是一个独立的兴趣问题,在文献中受到了有限的关注。对于后一个问题,我们提出了两个新的算法与可证明的保证返回斯坦纳树的采样分布。由此产生的方法改进了最先进的方法,这些方法通常对感染传播模型做出明确的假设,或者需要额外的参数。我们的方法提供了一个更强大的方法来级联重建问题,使较弱的假设感染模型,需要较少的额外参数,并可用于估计节点感染概率。从经验上讲,我们验证了所提出的重建算法在现实世界的图形与合成和真实级联。我们表明,我们的方法在大多数情况下优于所有其他基线策略
2018-11-20 cs.SI
DANI: Fast Diffusion Aware Network Inference with Preserving Topological Structure Property
针对扩散信息下的底层社交网络推断问题,本文提出 DANI,利用 Markov 转移矩阵和节点级联相似性在线性时间内推断网络,并在真实与合成数据上验证其更准确、更快且能保持多项拓扑特性。
2023-10-02 cs.CY cs.IR cs.LG