CS-TGN: Community Search via Temporal Graph Neural Networks
University of British Columbia(不列颠哥伦比亚大学)
搜索本地社区是一个重要的研究挑战,它允许个性化的社区发现,并支持各种复杂网络,如万维网,社交网络和大脑网络中的高级数据分析。随着时间的推移,这些网络的演变,激发了一些最近的研究,以确定当地的时间网络社区。给定任何查询节点,社区搜索的目标是找到一个密集连接的子图包含查询节点。然而,现有的时态网络社区搜索方法存在两个主要的局限性:(1)它们采用预定义的子图模式对社区进行建模,无法在真实网络中发现不符合这些模式的社区;(2)它们只使用不相交的结构信息的聚合来度量质量,而忽略了连接的动态性和时态属性。在本文中,我们提出了一个查询驱动的时间图卷积网络(CS-TGN),可以捕捉灵活的社区结构,通过学习从地面实况社区在数据驱动的方式。CS-TGN首先在网络的每个快照中结合局部查询依赖结构和全局图嵌入,然后使用具有上下文注意力的GRU单元来学习交互的动态并随时间更新节点嵌入。我们演示了如何使用这个模型可以在在线设置的交互式社区搜索,让用户评估发现的社区,并提供反馈。在真实世界的时间图与地面真实社区的实验验证了所获得的解决方案的优越质量和我们的模型在时间和交互式静态设置的效率。
2023-03-15 cs.LG cs.SI
Modularity Optimization as a Training Criterion for Graph Neural Networks
Tokyo Institute of Technology(东京工业大学)
图卷积是一种最近的可扩展方法,用于通过聚合多层上的本地节点信息来对属性图执行深度特征学习。这些层只考虑前向模型中节点邻居的属性信息,而不将全局网络结构的知识纳入学习任务中。特别是,模块化功能提供了一个方便的信息来源的社区结构的网络。在这项工作中,我们研究了在图卷积模型中加入网络的社区结构保护目标对学习表示质量的影响。我们以两种方式合并目标,通过输出层成本函数中的显式正则化项以及通过辅助层计算的额外损失项。我们报告了社区结构保留项在图卷积架构中的效果。两个属性bibilographic网络的实验评估表明,社区保护的目标,提高了半监督节点分类精度在稀疏标签制度。
2022-06-30 cs.LG cs.SI
Query Driven-Graph Neural Networks for Community Search: From Non-Attributed, Attributed, to Interactive Attributed
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Hong Kong Baptist University(香港浸会大学)
给定一个或多个查询顶点,社区搜索(CS)的目标是找到密集的内部连接和松散的内部连接的结构包含查询顶点。属性社区搜索(ACS),一个相关的问题,是更具挑战性的,因为它发现社区的凝聚力结构和同质顶点属性。然而,CS任务的大多数方法依赖于不灵活的预定义的结构和研究ACS独立对待每个属性。此外,最流行的ACS策略将ACS分解为两个单独的子问题,即,CS任务和后续属性筛选任务。然而,在现实世界的图,社区结构和顶点属性是密切相关的。这种相关性对于ACS问题至关重要。在本文中,我们提出了用于CS和ACS问题的图神经网络模型,即,查询驱动GNN和属性查询驱动GNN。在QD-GNN中,我们结合了局部查询依赖结构和全局图嵌入。为了扩展QD-GNN来处理属性,我们将顶点属性建模为二分图,并通过在该二分图上构造GNN来捕获属性之间的关系。通过特征融合算子,AQD-GNN同时处理结构和属性,并根据每个属性查询预测社区。在真实图和真实社区上的实验表明,所提出的模型在效率和有效性方面优于现有的CS和ACS算法。最近,提出了一种用于CS的交互式设置,允许用户调整预测的社区。我们进一步验证了我们的方法下的互动设置和扩展到属性上下文。我们的方法实现了2.37%和6.29%的F1分数分别比最先进的模型没有属性和属性。
2022-03-23 cs.DB cs.LG cs.SI
Graph Neural Networks for Community Detection in Graph Signal Analysis
本文研究了图神经网络在图信号插值框架中的社区检测应用,通过将GNN生成的社区与图基函数(GBF)-PUM插值方法结合,实现了对图信号的准确重建,展示了深度学习在社区检测中对大规模图信号分析的支持。
2026-05-19 cs.LG cs.NA math.NA
Not Just Oversmoothing: Detecting the Echo Chamber Effect in Graph Neural Networks
University of Melbourne(墨尔本大学);Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织Data61研究院)
针对图神经网络中社区内表示快速坍缩而社区间分离持续存在的回声室效应,提出回声室指数(ECI)进行量化,并设计轻量级插件CASP解耦社区内外聚合以提升分类性能。
2026-09-09 cs.LG
Deep Learning for Community Detection: Progress, Challenges and Opportunities
Macquarie University(麦考瑞大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Computer Science, Wuhan University(武汉大学计算机学院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系)
由于社区代表着相似的观点、相似的功能、相似的目的等,社区发现在科学探究和数据分析中都是一种重要且极其有用的工具。然而,经典的社区发现方法,如谱聚类和统计推断,正在被淘汰,因为深度学习技术表现出越来越大的处理高维图形数据的能力,性能令人印象深刻。因此,通过深度学习对社区发现的当前进展进行调查是及时的。本文分为该领域的三大研究流--深度神经网络、深度图嵌入和图神经网络,总结了每个流中各种框架、模型和算法的贡献,以及当前尚未解决的挑战和有待探索的未来研究机会。
2020-09-23 cs.AI cs.LG cs.SI
ComFairGNN: Community Fair Graph Neural Network
Iowa State University(爱荷华州立大学)
针对GNNs因图结构复杂性导致的评估偏差问题,提出ComFairGNN框架,通过社区级策略衡量偏差并采用基于可学习核心集的去偏函数,有效缓解局部邻居分布引发的偏见,在准确性与公平性上表现优异。
2025-07-15 cs.AI cs.LG
Socially Aware Music Recommendation: A Multi-Modal Graph Neural Networks for Collaborative Music Consumption and Community-Based Engagement
University of Maryland(马里兰大学)
本文提出多模态图神经网络MM-GNN,通过无融合深度互学习、异构图社交建模和情感感知嵌入,实现社交感知的个性化音乐推荐,并在基准数据集上显著超越现有方法。
2025-09-13 cs.IR cs.LG cs.MM
Unsupervised Community Detection with Modularity-Based Attention Model
Criteo(科韬)
在本文中,我们采取的无监督节点聚类图的问题,并显示如何在最近的进展,注意力模型可以成功地应用在一个“硬”政权的问题。我们提出了一个无监督的算法,编码Bethe Hessian嵌入通过优化软模块损失,并认为我们的模型是有竞争力的经典和图神经网络(GNN)模型,而它可以在一个单一的图上训练。
2019-05-20 cs.LG cs.SI stat.ML
Non-Dissipative Graph Propagation for Non-Local Community Detection
School of Engineering Mathematics and Technology(工程数学与技术学院);Technology University of Bristol Bristol, UK(布里斯托尔技术大学(英国));Dept. of Computer Science University of Pisa Pisa, Italy(计算机科学系,帕尔米斯大学(意大利))
针对异质性图中社区检测的挑战,提出无监督反对称图神经网络(uAGNN),利用非耗散动力系统和反对称权重矩阵捕获局部与全局结构,在十个数据集的高/中等异质性场景中表现优于传统方法。
2025-08-15 cs.AI cs.LG cs.SI
Analyzing Modularity Maximization in Approximation, Heuristic, and Graph Neural Network Algorithms for Community Detection
University of Toronto(多伦多大学);Polytechnique Montreal(蒙特利尔综合理工学院)
本文在104个网络上比较了启发式、图神经网络和Bayan近似算法与精确整数规划在模块度最大化社区发现中的表现,发现常用方法很少得到最优划分,建议采用近似优化算法以更合理地使用模块度。
2024-01-10 cond-mat.stat-mech cs.LG cs.SI
A Community-Enhanced Graph Representation Model for Link Prediction
School of Computer Science and Engineering(计算机科学与工程学院);School of Computer Science(计算机科学学院)
本文提出CELP框架,通过结合社区结构,改进图表示模型以提升链接预测的准确性。
2025-12-24 cs.LG cs.SI
The Map Equation Goes Neural: Mapping Network Flows with Graph Neural Networks
University of Zurich(苏黎世大学);Julius-Maximilians-Universität Würzburg(维尔茨堡大学);Data Analytics Group(数据分析组);Department of Informatics(信息学系);Center for Artificial Intelligence and Data Science(人工智能与数据科学中心);Chair of Machine Learning for Complex Networks(复杂网络机器学习主席席位)
本文将经典的无监督社区检测目标函数map equation转化为可微张量形式,使其适配图神经网络实现端到端聚类,可自动确定聚类数,在多类数据集上性能比肩当前最优深度图聚类方法。
2024-12-10 cs.LG
CEP3: Community Event Prediction with Neural Point Process on Graph
Shanghai Jiao Tong University(上海交通大学);The University of Hong Kong(香港大学);University of Oxford(牛津大学);Amazon(亚马逊)
许多现实世界的应用可以被公式化为连续时间动态图(CTDG)上的事件预测,其中两个实体之间的定时事件的发生被表示为图中的边及其发生时间戳。或者将其公式化为给定事件时间的图上的链接预测任务,或者将其公式化为给定接下来将发生哪个事件的时间预测问题。在本文中,我们提出了一种新的模型相结合的图神经网络和标记时间点过程(MTPP),共同预测多个链接事件和他们的时间戳社区在CTDG。此外,为了将我们的模型扩展到大图,我们将联合事件预测问题分解为三个更容易的条件概率建模问题,为了评估我们的模型的有效性和这种分解背后的原理,我们为这个事件预测任务建立了一组基准和评估指标。我们的实验证明了我们的模型在模型精度和训练效率方面的优越性能。
2022-05-21 cs.AI cs.LG
Diffusion-Induced Spatial Attention Overlapping Community Detection
Aalto University School of Science(阿尔托大学理学院);Lockheed Martin(洛克希德·马丁公司)
针对现有图神经网络在重叠社区检测中因局部消息传递导致的边界模糊和长程依赖缺失问题,提出DISCO框架,融合扩散结构先验、稀疏注意力与非负社区学习,在基准上表现优异,并在网络安全异常检测中验证了实用性。
2026-09-23 cs.LG cs.SI
On the Impact of Communities on Semi-supervised Classification Using Graph Neural Networks
Know-Center GmbH(知识中心有限公司);Graz University of Technology(格拉茨技术大学)
图神经网络(GNN)在许多应用中是有效的。尽管如此,人们对通用图结构对GNN学习过程的影响的理解仍然有限。在这项工作中,我们系统地研究了社区结构对图上半监督节点分类中GNN性能的影响。在对六个数据集进行消融研究之后,我们测量了GNN在原始图上的性能,以及在存在和不存在社区结构的情况下性能的变化。我们的研究结果表明,社区通常对学习过程和分类性能产生重大影响。例如,在来自一个社区的大多数节点共享单个分类标签的情况下,打破社区结构会导致显著的性能下降。另一方面,对于标签与社区相关性较低的情况,我们发现图结构与学习过程无关,并且仅特征基线变得难以击败。通过我们的工作,我们对GNN的能力和局限性提供了更深入的见解,包括一套基于图结构的模型选择的一般指导方针。
2021-03-05 cs.LG
A clean-label graph backdoor attack method in node classification task
School of Cyberspace, Hangzhou Dianzi University(杭州电子科技大学网络空间学院);Army Engineering University of PLA Communication NCO Academy(中国人民解放军陆军工程大学通信士官学校)
本文提出一种名为CGBA的干净标签图后门攻击方法,通过不修改节点标签和图结构、精心挑选原始特征作为触发器来提高隐蔽性,在低中毒率下实现高攻击成功率。
2023-12-30 cs.CR cs.LG
Group-Node Attention for Community Evolution Prediction
George Mason University(乔治梅森大学)
社交网络中的社区随着人们进入和离开网络以及他们的活动行为的改变而随着时间而发展。预测群落结构随时间变化的任务被称为群落进化预测。这一领域的现有工作侧重于制定界定事件的框架,同时使用传统的分类方法进行实际预测。我们提出了一种新的图神经网络预测社区演化事件的结构和时间信息。该模型(GNAN)包括一个组节点关注组件,该组件支持可变大小的输入,并基于成员和邻居节点特征学习组的表示。与标准的基线方法进行比较评估,我们证明,我们的模型优于基线。此外,我们还展示了网络趋势对模型性能的影响。
2021-07-09 cs.LG cs.SI physics.soc-ph
GNNs Getting ComFy: Community and Feature Similarity Guided Rewiring
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出三种图重新连边策略 ComMa、FeaSt 和 ComFy,分别针对社区结构、特征相似性及其对齐关系,以替代谱间隙优化并提升 GNN 性能。
2025-02-07 cs.LG cs.SI stat.ML
Stochastic Blockmodels meet Graph Neural Networks
Duke University(杜克大学);IIT Kanpur(印度理工学院坎普尔分校)
随机块模型(SBM)及其变体$e.g.$,混合隶属度和重叠随机块模型,是基于潜在变量的图的生成模型。他们已经被证明是成功的各种任务,如发现社区结构和链接预测的图形结构的数据。最近,图神经网络,$e.g.$,图卷积网络,也已经出现作为一个有前途的方法来学习强大的表示(嵌入)的图中的节点,通过利用图形属性,如局部性和不变性。在这项工作中,我们统一了这两个方向,开发一个\emph{sparse}变分自编码器的图形,保留了SBM的可解释性,同时也享有良好的预测性能的图形神经网络。此外,我们的框架还伴随着一个快速识别模型,该模型可以快速推断节点嵌入(这对于SBM及其变体的推断具有独立的意义)。虽然我们开发了一个特定类型的SBM,即\emph{overlapping}随机块模型的框架,所提出的框架可以很容易地适应其他类型的SBM。多个基准测试的实验结果表明,在学习可用于社区发现的可解释潜在结构的同时,在链接预测方面取得了令人鼓舞的结果。
2019-05-14 cs.LG cs.SI stat.ML
MarkovGNN: Graph Neural Networks on Markov Diffusion
Indiana University Bloomington(印第安纳大学伯明顿分校)
大多数真实世界的网络都包含定义明确的社区结构,其中社区内部的节点紧密相连。为了从这些网络中学习,我们开发了MarkovGNN,它直接在不同的卷积层中捕获社区的形成和演变。与大多数图神经网络(GNN)在每一层都考虑静态图不同,MarkovGNN使用马尔可夫过程生成不同的随机矩阵,然后在不同的层中使用这些社区捕获矩阵。MarkovGNN是一种通用的方法,可以与大多数现有的GNN一起使用。我们的实验表明,MarkovGNN在聚类、节点分类和可视化任务方面优于其他GNN。MarkovGNN的源代码可在\url{https://github.com/HipGraph/MarkovGNN}上公开获得。
2022-04-29 cs.AI cs.LG
Community-Centric Graph Unlearning
Guangxi Normal University(广西师范大学);China University of Mining and Technology(中国矿业大学);University of South Australia(南澳大学)
针对现有图遗忘框架缺乏子图结构信息与冗余参数问题,提出社区中心图擦除器(CGE),通过将社区子图映射为节点实现节点级遗忘,指数级减少训练数据与参数,实验验证高效性能。
2024-12-14 cs.LG cs.SI
Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation
KTH Royal Institute of Technology(瑞典皇家理工学院)
提出SheafDEQ,一种具有自适应神经层丛传播的隐式图神经网络架构,通过次齐次深度平衡公式实现唯一平衡点,在分布式推理和社区检测任务上优于固定传播基线。
2026-10-05 cs.LG
META-CODE: Community Detection via Exploratory Learning in Topologically Unknown Networks
Yonsei University(延世大学);Posts and Telecommunications Institute of Technology(邮电技术学院)
在社交网络中发现社区结构作为各种网络分析任务的基本问题已经获得了相当大的关注。然而,由于隐私问题或访问限制,网络结构通常是未知的,从而使得建立的社区发现方法在没有昂贵的数据采集的情况下无效。为了应对这一挑战,我们提出了META-CODE,这是一种新型的端到端解决方案,用于通过易于收集的节点元数据辅助的探索性学习来检测具有未知拓扑的网络中的重叠社区。具体来说,META-CODE由三个步骤组成:1)初始网络推理,2)基于我们新的重建损失训练的图神经网络(GNN)的节点级社区联系嵌入,以及3)通过基于社区联系的节点查询进行网络探索,其中步骤2和3迭代执行。实验结果表明,META-CODE表现出(a)优于基准方法重叠社区发现,(b)我们的训练模型的有效性,(c)快速网络探索。
2022-08-23 cs.AI cs.IR cs.LG
Do We Need Anisotropic Graph Neural Networks?
University of Cambridge(剑桥大学);Invenia Labs(Invenia实验室);Samsung AI Center(三星人工智能中心)
图神经网络(GNN)社区的共同智慧表明,各向异性模型-其中节点之间发送的消息是源节点和目标节点的函数-需要实现最先进的性能。迄今为止的基准测试表明,这些模型的性能优于可比的各向同性模型-其中消息仅是源节点的函数。在这项工作中,我们提供了挑战这种叙述的经验证据:我们提出了一个各向同性的GNN,我们称之为高效图卷积(EGC),它始终优于可比的各向异性模型,包括流行的GAT或PNA架构,通过使用空间变化的自适应滤波器。除了为GNN社区提出重要问题外,我们的工作对效率具有重要的现实意义。EGC实现了更高的模型精度,更低的内存消耗和延迟,以及适合加速器实现的特性,同时是现有架构的直接替代品。作为各向同性模型,它需要与图中的顶点数($\mathcal{O}(V)$)成比例的内存;相反,各向异性模型需要与边数($\mathcal{O}(E)$)成比例的内存。我们证明了EGC在6个大型和多样化的基准数据集上优于现有方法,并通过讨论我们的工作为社区提出的问题得出结论。我们实验的代码和预训练模型在https://github.com/shyam196/egc上提供。
2022-05-09 cs.LG
Fine-Grained Population Mobility Data-Based Community-Level COVID-19 Prediction Model
Zhejiang University(浙江大学)
预测抗疫过程中的感染人数,对政府制定抗疫策略极为有利,尤其是在细粒度的地理单元中。以前的工作集中在低空间分辨率预测,例如,县一级,并将数据预处理到相同的地理级别,这会丢失一些有用的信息。在本文中,我们提出了一个基于细粒度人口流动数据的模型(FGC-COVID),利用两个地理级别的数据进行社区级COVID-19预测。我们使用人口普查块组(CBG),这是一个细粒度的地理水平比社区之间的人口流动数据,建立图形和捕获CBG之间的依赖关系,使用图神经网络(GNN)。为了挖掘尽可能细粒度的模式进行预测,空间加权聚合模块被引入到社区水平的基础上,他们的地理隶属关系和空间自相关的CBGs的嵌入聚合。对洛杉矶市300天COVID-19数据的广泛实验表明,我们的模型在社区层面的COVID-19预测方面优于现有的预测模型。
2022-07-15 cs.LG
A Unified Framework for Exploratory Learning-Aided Community Detection Under Topological Uncertainty
Yonsei University(延世大学);Zhejiang Institute of Optoelectronics(浙江光电研究所);Zhejiang Normal University(浙江师范大学)
本文提出统一框架 META-CODE,在网络拓扑未知或部分已知时,结合节点元数据、图神经网络嵌入、节点查询探索和孪生网络推断,迭代检测重叠社区,并在多个真实数据集上验证了其显著优于基准方法。
2025-05-06 cs.IR cs.LG cs.NE
Let's Grow an Unbiased Community: Guiding the Fairness of Graphs via New Links
Jilin University(吉林大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Pennsylvania State University(宾夕法尼亚州立大学)
提出 FairGuide 框架,通过引入新链接引导图结构向无偏社区发展,利用可微社区检测伪任务和元梯度优化结构公平性,显著提升下游图任务的公平性与泛化能力。
2025-11-02 cs.LG
Hierarchical Message-Passing Graph Neural Networks
University of Luxembourg(卢森堡大学);National Cheng Kung University(国立成功大学)
图神经网络(GNN)已经成为利用图进行机器学习的突出方法,并且已经越来越多地应用于众多领域。然而,由于大多数现有的GNN模型都是基于扁平的消息传递机制,因此需要解决两个限制:(i)它们在编码跨越图结构的长距离信息时成本很高;(ii)它们无法编码图中高阶邻域中的特征,因为它们只在原始图中观察到的边缘上执行信息聚合。为了解决这两个问题,我们提出了一个新的层次消息传递图神经网络框架。其核心思想是生成一个层次结构,将平面图中的所有节点重新组织成多级超级图,以及创新的层内和层间传播方式。派生的层次结构创建连接遥远的节点,使信息的远程交互可以有效地通过消息传递访问的快捷方式,并将中观和宏观层次的语义到学习的节点表示。我们提出了第一个模型来实现这个框架,称为分层社区感知图神经网络(HC-GNN),与一个分层的社区发现算法的援助。理论分析表明,HC-GNN的显着能力,在捕获长距离的信息,而不引入沉重的额外的计算复杂度。在9个数据集上进行的实验表明,HC-GNN在网络分析任务中的表现优于最先进的GNN模型,包括节点分类,链接预测和社区发现。此外,模型分析进一步证明了HC-GNN面对图稀疏性的鲁棒性和结合不同GNN编码器的灵活性。
2022-10-26 cs.LG stat.ML
Architectural Implications of Graph Neural Networks
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Microsoft Research(微软研究院)
图神经网络(GNN)代表了一种新兴的深度学习模型,它对图结构进行操作。它正变得越来越受欢迎,由于其在许多图形相关的任务中实现的高精度。然而,GNN在系统和架构社区中并不像多层感知器和卷积神经网络那样被很好地理解。这项工作试图将GNN介绍给我们的社区。与之前只呈现GCN特征的工作相比,我们的工作覆盖了基于通用GNN描述框架的GNN工作负载的很大一部分。通过在两个广泛使用的库上构建模型,我们在推理阶段描述了GNN计算的通用和专用架构,并希望我们的工作可以促进更多的GNN系统和架构研究。
2021-12-24 cs.AR cs.LG cs.PF
Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous Graph Diffusion Functionals
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of North Carolina at Greensboro(北卡罗来纳大学格林斯伯勒分校)
针对GNNs局部性假设导致难以捕捉长程依赖的问题,提出基于变分分析的连续图扩散泛函框架,引入全变差和选择性机制解决过平滑,并设计GAN预测传播流,在多个基准上达到SOTA性能。
2023-07-01 cs.GR cs.LG
Towards Deeper Graph Neural Networks with Differentiable Group Normalization
Texas A&M University(德克萨斯农工大学);The Hong Kong Polytechnic University(香港理工大学);Samsung Research America(三星美国研究院)
图神经网络(GNNs)通过聚合其邻居来学习节点的表示,已成为下游应用中的有效计算工具。随着层数的增加,过度平滑是限制GNN性能的关键问题之一。这是因为堆叠的聚合器会使节点表示收敛到不可区分的向量。已经进行了几次尝试,通过使链接的节点对接近和未链接的对不同来解决这个问题。然而,他们往往忽视了内在的社区结构,并会导致次优性能。同一社区/类内的节点的表示需要相似以便于分类,而不同的类期望在嵌入空间中分离。为了弥补这一差距,我们引入了两个过平滑度量和一种新的技术,即,可微群归一化(DGN)。它独立地规范化同一组内的节点以增加其平滑度,并分离不同组之间的节点分布以显著减轻过度平滑问题。在真实世界数据集上的实验表明,DGN使GNN模型对过度平滑更具鲁棒性,并在更深的GNN上实现更好的性能。
2020-06-12 cs.LG stat.ML
CommPOOL: An Interpretable Graph Pooling Framework for Hierarchical Graph Representation Learning
University of Pittsburgh(匹兹堡大学);Intel Labs(英特尔实验室);Lehigh University(里海大学)
近年来,层次图池神经网络(HGPNN)的出现和蓬勃发展,这是有效的图表示学习方法的图级任务,如图分类。然而,当前的HGPNN没有充分利用图的固有结构(例如,社区结构)。此外,现有HGPNN中的池化操作难以解释。在本文中,我们提出了一个新的可解释的图池框架- CommPOOL,它可以捕获和保存图的层次社区结构的图表示学习过程。具体而言,CommPOOL中提出的社区池机制利用无监督方法以可解释的方式捕获图的固有社区结构。CommPOOL是一个通用而灵活的分层图表示学习框架,可以进一步促进各种图级任务。在五个公共基准数据集和一个合成数据集上的评估表明,与最先进的基线方法相比,CommPOOL在图分类的图表示学习中具有优异的性能,并且在捕获和保存图的社区结构方面具有有效性。
2020-12-10 cs.AI cs.LG
Adversarial attacks hidden in plain sight
Bielefeld University(比勒费尔德大学);Honda Research Institute Europe GmbH(本田欧洲研究院有限公司)
近年来,卷积神经网络已被用于取得一系列成功,但其缺乏可解释性仍然是一个严重的问题。对抗性示例被设计成故意欺骗神经网络做出任何所需的错误分类,可能具有非常高的确定性。几种防御方法增加了对对抗攻击的鲁棒性,要求更大规模的攻击,这导致可见的伪影。通过考虑人类的视觉感知,我们组成了一个技术,允许隐藏这样的对抗攻击在高复杂性的区域,这样他们是察觉不到的,即使是一个精明的观察者。我们进行了一个用户研究分类adversarially修改的图像,以验证我们的方法的感知质量,并找到重要的证据,其隐藏与人类的视觉感知。
2020-04-26 cs.CV cs.LG stat.ML
Neural Stochastic Block Model & Scalable Community-Based Graph Learning
Amazon Alexa AI(亚马逊Alexa人工智能部门);Temple University(天普大学)
本文提出了一种新的可扩展的基于社区的图学习神经框架。该框架通过社区发现和链接预测的任务来学习图拓扑,通过我们提出的联合SBM损失函数进行优化,该函数来自经典随机块模型(SBM)的似然函数的非平凡适应。与SBM相比,我们的框架是灵活的,自然允许软标签和消化复杂的节点属性。主要目标是对复杂图形数据进行有效评估,因此我们的设计旨在适应大数据,并确保有一个有效评估的单一向前传递。对于大型图,如何有效地利用其底层结构进行各种图学习任务仍然是一个悬而未决的问题。以前可能是繁重的工作。通过我们基于社区的框架,这变得不那么困难,并允许任务模型基本上即插即用并执行联合训练。我们目前正在研究两个特定的应用程序,图对齐和异常相关检测,并讨论如何利用我们的框架来解决这两个问题。大量的实验证明了我们的方法的有效性。我们还贡献了经典技术的调整,我们发现这对性能和可扩展性很有帮助。例如,1)GAT+,GAT(图注意力网络)的改进设计,缩放余弦相似性,以及基于卷积/注意力和基于随机游走的神经图模型的统一实现。
2020-05-16 cs.LG cs.SI stat.ML
Understanding Community Structure in Layered Neural Networks
NTT Communication Science Laboratories(NTT通信科学实验室)
分层神经网络现在是预测高维实际数据集的最常见的选择之一,其中输入和输出数据之间的关系是复杂的,并且不能用简单的常规模型很好地表示。它的有效性在各种任务中得到了证明,然而,分层神经网络训练结果缺乏可解释性,限制了它的应用范围。在我们以前的研究中,我们提出了一种方法来提取一个简化的全局结构的训练分层神经网络的分类到社区的单位根据其连接模式与相邻层。这些方法为我们提供了知识的强度的社区之间的关系,从存在的捆绑连接,这是由阈值处理的社区对之间的连接比率。然而,很难通过观察模块结构来定量地了解每个社区的作用。我们只能通过追踪从社区到输入层和输出层的捆绑连接来知道每个社区主要连接到哪些输入和输出维度。另一个问题是,根据用于确定捆绑连接的阈值超参数的设置,最终获得的模块化结构会发生很大变化。在本文中,我们提出了一种新的方法来定量解释的作用,每个社区的推理,通过定义的影响,每个输入维度上的社区,和社区的影响,对每个输出维度。我们的实验表明,我们提出的方法可以揭示分层神经网络的每个部分的作用,通过将神经网络应用到三种类型的数据集,从训练的网络中提取社区,并将所提出的方法应用到社区结构。
2018-04-13 cs.LG stat.ML
Recurrent Neural Network Encoder with Attention for Community Question Answering
Massachusetts Institute of Technology(麻省理工学院)
我们将通用循环神经网络(RNN)编码器框架应用于社区问答(cQA)任务。我们的方法不依赖于任何语言处理,可以应用于不同的语言或领域。当我们用神经注意力机制扩展RNN编码器时,可以观察到进一步的改进,该机制鼓励对整个序列进行推理。为了解决数据稀疏和标签不平衡等实际问题,我们采用了各种技术,如迁移学习和多任务学习。我们在SemEval-2016 cQA任务上的实验显示,与基于信息检索的方法相比,MAP得分提高了10%,并且实现了与基于特征的强大手工方法相当的性能。
2016-03-23 cs.CL cs.LG cs.NE
An Agentic AI Scientific Community for Automated Neural Operator Discovery
Texas A&M University(德克萨斯农工大学)
该研究基于人工智能科学社区提出智能体方法用于自动神经算子发现,通过虚拟实验室中三个智能体协作,共享通用词汇表,在五个问题上评估,能发现高精度低参数架构,揭示语言模型智能体对保持多样性的作用及神经算子无免费午餐定理。
2026-07-15 cs.LG
Answer Sequence Learning with Neural Networks for Answer Selection in Community Question Answering
Harbin Institute of Technology, Shenzhen Graduate School(哈尔滨工业大学深圳研究生院)
将社区问答(CQA)中的答案选择问题视为一个答案序列标记任务,提出了一种基于递归结构的答案选择方法。该方法首先利用卷积神经网络(CNN)学习问题-答案对的联合表示,然后将联合表示作为长短期记忆(LSTM)的输入学习问题的答案序列,以标记每个答案的匹配质量。在SemEval 2015 CQA数据集上进行的实验表明了该方法的有效性。
2015-06-22 cs.CL cs.IR cs.LG
Hide and Seek: Outwitting Community Detection Algorithms
IIIT-Delhi(德里印度信息技术学院)
节点的社区归属在确定其在网络中的上下文位置方面起着重要作用,这可能会在敏感节点想要在网络中隐藏其身份时引起隐私问题。通常,目标社区寻求保护自己免受对手的攻击,以便其组成成员仍然隐藏在网络中。目前的研究重点是隐藏这样的敏感社区,使社区成员的目标节点可以被隐藏。这导致了社区欺骗的问题,该问题调查了网络中最小化重新布线节点的途径,使得给定的目标社区最大限度地隐藏于社区发现算法之外。我们正式的社区欺骗的问题,并介绍神经,一种新的方法,greetly优化以节点为中心的目标函数,以确定重新布线策略。理论设置对可用于优化目标函数的策略的数量进行了限制,这反过来又减少了从多个选项中选择最佳策略的开销。我们还表明,我们的目标函数是次模和单调。当在合成网络和7个真实网络上进行测试时,NEURAL能够欺骗6个广泛使用的社区发现算法。我们将其性能与4个评估指标上的4种最先进的方法进行基准测试。此外,我们对其他3个真实世界网络的定性分析表明,NEURAL非常引人注目地捕获了关于边的重要元信息,这些信息无法通过仅观察其拓扑结构来推断。
2021-02-22 cs.LG cs.SI physics.soc-ph
An Induced Multi-Relational Framework for Answer Selection in Community Question Answer Platforms
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文讨论了在社区问答(CQA)论坛上确定问题的最佳候选答案的问题。这个问题很重要,因为个人经常访问CQA论坛,寻求细微问题的答案。我们开发了一种新的诱导关系图卷积网络(IR-GCN)框架来解决这个问题。我们做了三个贡献。首先,我们介绍了一个模块化的框架,分离的标签选择机制的图的建设。我们使用等价关系来归纳出一个包含集团的图,并确定了两种标签分配机制-标签对比,标签共享。然后,我们展示了如何在GCN中编码这些分配机制。第二,我们表明,编码的对比度创造歧视放大-提高嵌入空间中的节点之间的分离。第三,我们展示了一个令人惊讶的结果--增强技术比熟悉的神经架构堆叠、融合或聚合方法更能改善学习。我们在50个StackExchange社区的广泛实验中,在最先进的神经基线上显示了强大的结果。
2019-11-16 cs.LG cs.SI
Exploring the Ideal Depth of Neural Network when Predicting Question Deletion on Community Question Answering
Rutgers University(罗格斯大学);Jadavpur University(贾达普大学)
近年来,社区问答(CQA)已经成为一个流行的知识管理和存档平台。问答的一个有趣的方面是,它结合了自然语言处理、信息检索和机器学习。在本文中,我们探讨了神经网络的深度如何影响问答论坛中删除问题的预测准确性。我们使用了不同的浅层和深层模型进行预测,并分析了隐藏层的数量,精度和计算时间之间的关系。结果表明,虽然深度网络在模拟复杂的非线性函数方面比浅层网络表现得更好,但增加深度并不总是能产生预期的结果。我们观察到,当存在大量隐藏层时,由于梯度消失,深度神经网络的性能受到显着影响。不断增加模型的深度最初会增加精度,之后精度会达到稳定状态,最后会下降。就训练模型所需的时间而言,添加每一层也是昂贵的。本研究属于神经信息检索领域,有助于建立一个关于深度神经网络如何有效和准确地用于预测问题删除的理论。我们使用2到10个隐藏层预测删除问题的准确率超过90%,对于较浅和较深的架构,结果不太准确。
2019-12-08 cs.IR cs.LG
A Comprehensive Survey on Community Detection with Deep Learning
Macquarie University(麦考瑞大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Wuhan University(武汉大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);Tianjin University(天津大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
社区揭示了其成员与网络中其他社区成员不同的特征和联系。社区发现在网络分析中具有重要意义。尽管有经典的谱聚类和统计推断方法,但近年来,我们注意到用于社区发现的深度学习技术在处理高维网络数据方面的优势得到了显着发展。因此,通过深度学习对社区发现的最新进展进行全面概述对于学术界和实践者来说是及时的。本调查设计并提出了一种新的分类法,涵盖了不同的最先进的方法,包括基于深度神经网络的深度学习模型,深度非负矩阵分解和深度稀疏滤波。主要类别,即,深度神经网络进一步分为卷积网络、图形注意力网络、生成对抗网络和自动编码器。该调查还总结了流行的基准数据集,评估指标和开源实现,以解决实验设置。然后,我们讨论了社区发现在各个领域的实际应用,并指出实施方案。最后,我们通过在这个快速发展的深度学习领域提出具有挑战性的主题来概述未来的发展方向。
2021-10-11 cs.AI cs.LG cs.SI
Calibrated Tree-Neural Fusion for Fine-Grained Vegetation Community Classification
School of Information Technology and Engineering, Sydney Metropolitan Institute of Technology (SydneyMet)(悉尼都会理工学院信息技术与工程学院);Department of Electrical & Electronic Engineering, Rajshahi University of Engineering & Technology(拉杰沙希工程技术大学电气与电子工程系);School of Computing, Mathematics and Engineering, Charles Sturt University(查尔斯·斯特尔特大学计算、数学与工程学院)
该研究针对植被群落分类问题,提出Calibrated EcoTreeFuseNet-Plus框架,结合多种方法进行融合,在小样本、细粒度生态分类中实现了可靠的判别校准权衡,取得较好准确率等指标且性能稳定。
2026-07-28 cs.LG
Deep Clustering via Gradual Community Detection
针对深度聚类监督信号不足的问题,本文提出渐进式社区检测聚类策略,结合簇网络分析视角提升伪标签纯度,基于主流主干实现的方法在基准图像集上有效提升了SOTA性能。
2025-11-17 cs.AI cs.LG cs.SI
Do Deep Neural Networks Contribute to Multivariate Time Series Anomaly Detection?
Orange(Orange公司);EURECOM(欧洲通信学院);Orange Labs(Orange实验室)
时间序列的异常检测是一个复杂的任务,已被广泛研究。近年来,无监督异常检测算法的能力受到了广泛关注。这种趋势导致研究人员在他们的文章中只比较基于学习的方法,放弃了一些更传统的方法。因此,该领域的社区被鼓励提出越来越复杂的基于学习的模型,主要基于深度神经网络。据我们所知,在传统的、基于机器学习的和深度神经网络方法用于检测多变量时间序列中的异常之间没有比较研究。在这项工作中,我们研究了16个传统的,基于机器学习和深度神经网络方法在五个真实世界的开放数据集上的异常检测性能。通过分析和比较的性能的16种方法,我们表明,没有家庭的方法优于其他。因此,我们鼓励社区将这三类方法重新纳入多变量时间序列基准的异常检测中。
2022-04-04 cs.LG
Mitigating Degree Biases in Message Passing Mechanism by Utilizing Community Structures
The Catholic University of Korea(韩国天主教大学)
本文提出社区感知图变换器(CGT),通过可学习增强和自监督学习利用社区结构,生成社区内边以缓解消息传递中的节点度偏差,在多个基准上超越现有方法。
2023-12-28 cs.AI cs.LG cs.SI
Machine Translation Evaluation Meets Community Question Answering
Qatar Computing Research Institute, HBKU(HBKU卡塔尔计算研究所)
我们探讨了机器翻译评估(MTE)方法对一个非常不同的问题的适用性:社区问答中的答案排名。特别是,我们采用了成对的神经网络(NN)架构,它结合了MTE功能,以及丰富的语法和语义嵌入,并有效地模拟复杂的非线性交互。评估结果显示了最先进的性能,MTE功能和成对NN架构都有相当大的贡献。
2019-12-06 cs.CL cs.IR cs.LG
CALYPSO: Forecasting and Analyzing MRSA Infection Patterns with Community and Healthcare Transmission Dynamics
CALYPSO提出一种融合神经网络与机制性集合种群模型的混合框架,利用保险索赔、通勤和医疗转诊数据学习MRSA传播参数,实现多尺度可解释预测,并较机器学习基线提升全州预测性能超过4.5%。
2025-08-19 cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心);U.S. Naval Research Laboratory(美国海军研究实验室)
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类:梯度掩蔽,鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分:(1)增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性,(2)边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题,我们提供了一个新的视角,可以深入了解能够训练更强大的网络的潜在因素,并有助于激发新的解决方案。此外,在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的,或者鲁棒性和准确性之间的权衡,但是,根据这个建议的分类法,我们假设这不是普遍的。我们在分类法的基础上,对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Learning Persistent Community Structures in Dynamic Networks via Topological Data Analysis
Tsinghua University(清华大学)
提出一种基于矩阵分解算法MFC和拓扑正则化TopoReg的深度图聚类框架,通过计算持久同调评估并保持社区间结构的拓扑相似性,有效增强了动态网络社区检测的时间一致性与聚类准确性。
2024-01-06 cs.AI cs.LG
GRADE: Graph Dynamic Embedding
University of Cambridge(剑桥大学);Teeside University(提赛德大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);HEC Montreal(蒙特利尔高等商学院)
静态图和最近动态演化图的表示学习已经引起了人们的注意。现有的方法建模图动力学广泛关注独立的中尺度社区结构的演变个别节点的演变。因此,目前的方法不提供有用的工具来研究,不能明确地捕捉时间的社区动态。为了解决这一挑战,我们提出了GRADE -一种概率模型,它通过在其轨迹上施加随机游走来学习生成不断发展的节点和社区表示。我们的模型还学习节点社区成员资格,该成员资格通过过渡矩阵在时间步长之间更新。在每个时间步,通过首先从社区上的分布分配节点成员资格,然后从分配的社区的节点上的分布采样邻居来执行链路生成。我们用神经网络参数化节点和社区分布,并通过变分推理学习它们的参数。实验结果表明,GRADE算法在动态链接预测方面优于基线算法,在动态社区发现方面表现出良好的性能,能够识别出一致的、可解释的进化社区。
2021-05-10 cs.LG stat.ML
Closing the Management Gap for Satellite-Integrated Community Networks: A Hierarchical Approach to Self-Maintenance
社区网络已成为在世界各地无服务和服务不足地区提供基本互联网连接的重要范例。然而,CN不可或缺的一部分是网络管理,其中非常需要响应和自主维护。随着电信网络技术的进步,传统的依赖卫星的CN被设想为卫星集成CN(SICN),其将在网络管理方面具有显著的自主性、智能性和可扩展性。本文讨论了基于机器学习(ML)的分层方法,使自主自我维护的SICNs。该方法分为异常识别和异常缓解阶段,其中提出了相关的ML方法,数据汇集手段,部署选项和缓解方案。通过案例研究,我们讨论了一个典型的情况下,使用卫星和固定连接作为回程选项,并显示了所提出的方法的有效性和性能改善与递归神经网络和集成方法
2022-02-16 cs.LG cs.NI
NICGSlowDown: Evaluating the Efficiency Robustness of Neural Image Caption Generation Models
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
神经图像字幕生成(NICG)模型由于其在视觉理解方面的优异表现而受到研究界的广泛关注。现有的工作主要集中在提高NICG模型的精度,而效率的探索较少。然而,许多实际应用需要实时反馈,这高度依赖于NICG模型的效率。最近的研究表明,NICG模型的效率可能因不同的投入而异。这一观察带来了NICG模型的新攻击面,即,攻击者可能会稍微改变输入,导致NICG模型消耗更多的计算资源。为了进一步了解这种效率导向的威胁,我们提出了一种新的攻击方法,NICGSlowDown,以评估NICG模型的效率鲁棒性。我们的实验结果表明,NICGSlowDown可以生成具有人类不可察觉的扰动的图像,这将使NICG模型延迟增加483.86%。我们希望这项研究可以提高社会各界对NICG模型的效率鲁棒性的关注。
2022-03-29 cs.AI cs.CV cs.LG