Active Learning for Graph Neural Networks via Node Feature Propagation
Carnegie Mellon University(卡内基梅隆大学)
用于节点分类或边预测等预测任务的图神经网络(GNN)在最近的图形结构数据机器学习中受到越来越多的关注。然而,大量的标记图是很难获得的,这大大限制了GNN的真正成功。虽然主动学习已经被广泛研究用于解决其他数据类型(如文本、图像等)的标签稀疏问题,如何使它在图上有效是一个有待研究的问题。在本文中,我们提出了一个调查的主动学习与GNNs的节点分类任务。具体来说,我们提出了一种新的方法,它使用节点的特征传播,然后在主动学习的实例选择的节点的K-Medoids聚类。理论界分析,我们证明我们的方法的设计选择。在四个基准数据集上的实验中,该方法的性能始终显著优于其他代表性的基线方法。
2021-11-19 cs.LG stat.ML
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Feature Interaction-aware Graph Neural Networks
Arizona State University(亚利桑那州立大学);University of Virginia(弗吉尼亚大学);Singapore Management University(新加坡管理大学)
受深度学习巨大成功的启发,图神经网络(GNN)被广泛用于学习强大的节点表示,并在不同的图学习任务中表现出良好的性能。然而,大多数真实世界的图通常具有高维和稀疏的节点特征,使得从现有GNN架构中学习的节点表示表达能力较低。在本文中,我们提出了\textit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)},即插即用的GNN框架学习节点表示编码的信息功能的相互作用。具体来说,所提出的框架是能够突出信息功能的交互,以个性化的方式,并进一步学习高度表达的节点表示特征稀疏图。在各种数据集上进行的大量实验证明了FI-GNN在图学习任务中的卓越能力。
2020-01-22 cs.LG stat.ML
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Joint Learning of Graph Representation and Node Features in Graph Convolutional Neural Networks
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
图卷积神经网络(GCNN)将经典的CNN扩展到图形数据域,如大脑网络,社交网络和3D点云。为后续的图形卷积识别适当的图形是至关重要的。现有方法手动构建或学习GCNN的所有层的一个固定图。为了适应不同层节点特征的底层结构,我们提出了GCNN中图和节点特征的动态学习。特别是,我们将图优化问题转换为距离度量学习,以捕获每层中特征的成对相似性。我们部署了Mahalanobis距离度量,并进一步将度量矩阵分解为低维矩阵,将图学习转换为低维矩阵的优化以实现高效。在点云数据和引文网络数据集上的实验表明,该方法在准确性和鲁棒性方面都具有优越性。
2019-09-11 cs.LG stat.ML
Simplifying approach to Node Classification in Graph Neural Networks
Tokyo Institute of Technology(东京工业大学);AIST(日本产业技术综合研究所)
图神经网络已经成为从图结构数据中学习的不可或缺的工具之一,并且它们的有用性已经在各种各样的任务中显示出来。近年来,架构设计有了巨大的改进,从而在各种预测任务上实现了更好的性能。一般来说,这些神经架构在同一层中使用可学习的权重矩阵将节点特征聚合和特征变换相结合。这使得分析从各种跳聚合的节点特征的重要性和神经网络层的表达能力变得具有挑战性。由于不同的图数据集在特征和类标签分布中表现出不同程度的同质性和异质性,因此在没有任何先验信息的情况下,了解哪些特征对预测任务很重要变得至关重要。在这项工作中,我们解耦的节点特征聚合步骤和深度的图神经网络,并实证分析不同的聚合功能发挥的作用,在预测性能。我们表明,并非所有通过聚合步骤生成的特征都是有用的,并且经常使用这些信息量较少的特征可能会对GNN模型的性能有害。通过我们的实验,我们表明,学习这些特征的某些子集可以在各种数据集上获得更好的性能。我们建议使用softmax作为从不同跳距的邻居聚合的特征的正则化器和“软选择器”;以及GNN层上的L2-Normalization。结合这些技术,我们提出了一个简单而浅层的模型,特征选择图神经网络(FSGNN),并实证表明,所提出的模型在9个基准数据集的节点分类任务中实现了与最先进的GNN模型相当甚至更高的准确性,显着提高了51.1%。
2021-11-12 cs.LG stat.ML
Position-aware Graph Neural Networks
Stanford University(斯坦福大学)
学习节点嵌入,捕获节点在更广泛的图结构中的位置,对于图上的许多预测任务至关重要。然而,现有的图神经网络(GNN)架构在捕获给定节点相对于图的所有其他节点的位置/定位方面具有有限的能力。在这里,我们提出了位置感知图神经网络(P-GNNs),这是一类新的用于计算位置感知节点嵌入的GNNs。P-GNN首先对锚节点集进行采样,计算给定目标节点到每个锚集的距离,然后在锚集上学习非线性距离加权聚合方案。通过这种方式,P-GNN可以捕获节点相对于锚节点的位置/定位。P-GNN有几个优点:它们是归纳的,可扩展的,并且可以包含节点特征信息。我们将P-GNN应用于多个预测任务,包括链接预测和社区发现。我们表明,P-GNN始终优于最先进的GNN,在ROC AUC评分方面提高了66%。
2019-06-13 cs.LG cs.SI stat.ML
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks
Texas A&M University(德州农工大学)
随着图数据在许多实际应用中的出现,研究图特征学习变得非常重要。几种图神经网络方法被提出用于节点特征学习,并且它们通常遵循邻近信息聚合方案来学习节点特征。虽然已经取得了很大的性能,不同的邻居节点的权重学习仍然很少探索。在这项工作中,我们提出了一种新的图网络层,称为Node2Seq,用于学习具有不同相邻节点的显式可训练权重的节点嵌入。对于目标节点,我们的方法通过注意力机制对其相邻节点进行排序,然后采用1D卷积神经网络(CNN)来实现信息聚合的显式权重。此外,我们建议将非本地信息的特征学习的自适应方式的基础上的注意力分数。实验结果表明,我们提出的Node2Seq层的有效性,并表明,所提出的自适应非局部信息学习可以提高特征学习的性能。
2021-01-06 cs.LG
Inductive Link Prediction for Nodes Having Only Attribute Information
University of New South Wales(新南威尔士大学);University of Science and Technology of China(中国科学技术大学);The Chinese University of Hong Kong(香港中文大学)
预测两个节点之间的链接是图数据分析的基本问题。在属性图中,结构和属性信息都可以用于链接预测。大多数现有的研究集中在两个节点都已经在图中的转导链接预测。然而,许多现实世界的应用需要归纳预测新的节点只有属性信息。这更具挑战性,因为新节点没有结构信息,并且在模型训练期间无法看到。为了解决这个问题,我们提出了一个称为DEAL的模型,它由三个组件组成:两个节点嵌入编码器和一个对齐机制。两个编码器分别输出面向属性的节点嵌入和面向结构的节点嵌入,对齐机制将两类嵌入对齐,建立属性和链接之间的连接。我们的模型DEAL是通用的,在这个意义上,它适用于感应和转导链接预测。在多个基准数据集上的大量实验表明,该模型的性能明显优于现有的归纳链接预测方法,也优于现有的归纳链接预测方法.
2020-07-16 cs.LG cs.SI stat.ML
NODE-SELECT: A Graph Neural Network Based On A Selective Propagation Technique
University of South Carolina(南卡罗来纳大学);Drexel University(德雷塞尔大学)
虽然存在用于节点分类的各种各样的图神经网络(GNN),但是其中只有少数采用在消息传递过程中有效地针对噪声传播的机制。此外,显著影响图神经网络的一个非常重要的挑战是可扩展性问题,这限制了它们在更大图中的应用。在本文中,我们提出了我们的方法命名为NODE-SELECT:一个有效的图神经网络,使用子集层,只允许最好的共享拟合节点来传播他们的信息。通过在每个层中并行堆叠选择机制,我们提出的方法NODE-SELECT能够减少传播的噪声量,并适应现实世界中观察到的限制性共享概念。我们的NODE-SELECT在噪声实验中显著优于现有的GNN框架,并在不同基准数据集上的无噪声实验中匹配最先进的结果。
2021-02-17 cs.LG
Graph Neural Networks with Precomputed Node Features
ETH Zurich(苏黎世联邦理工学院)
大多数图神经网络(GNN)无法区分某些图或图中的某些节点对。这使得无法解决某些分类任务。但是,向这些模型添加其他节点功能可以解决此问题。我们介绍了几个这样的增强,包括(i)位置节点嵌入,(ii)规范节点ID,和(iii)随机特征。这些扩展的动机是理论结果和合成子图检测任务的广泛测试证实。我们发现,位置嵌入显着优于其他扩展在这些任务。此外,位置嵌入具有更好的样本效率,在不同的图分布上表现良好,甚至优于使用地面真实节点位置的学习。最后,我们证明了不同的增强在已建立的GNN基准上具有竞争力,并建议何时使用它们。
2022-09-17 cs.LG
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University(佛罗里达州立大学IFM实验室);Florida State University(佛罗里达州立大学);IFM Lab(IFM实验室);Tallahassee(塔拉哈西(此处按要求不应提取,但原文本中Tallahassee为城市名,根据规则应忽略,仅保留明确机构部分))
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时,对于一些图学习场景,例如,具有文本/图像属性的节点或具有长距离节点相关性的图,深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络,即DIFNET(图扩散神经网络),用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模,并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验,比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性,特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
Node Masking: Making Graph Neural Networks Generalize and Scale Better
Facebook AI;Facebook
图神经网络(GNN)在最近一段时间受到了广泛的关注。从早期的光谱架构只能在无向图上操作的每一个转换学习范式到目前最先进的空间架构,可以归纳地应用于任意图,GNN已经看到了来自研究界的重大贡献。在本文中,我们利用一些理论工具来更好地可视化最先进的空间GNN执行的操作。我们分析了这些架构的内部工作原理,并引入了一个简单的概念,节点掩码,使它们能够更好地泛化和扩展。为了从经验上验证这一概念,我们在一些广泛使用的数据集上进行了几次实验,用于在转导和归纳设置中进行节点分类,从而为未来的研究奠定了强有力的基准。
2021-05-16 cs.AI cs.LG stat.ML
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University(杜克大学)
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法,如成对马尔可夫随机场(pMRF)和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而,现有的基于pMRF的方法不如图神经网络准确,这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中,我们的目标是解决现有的基于pMRF的方法的关键限制。特别是,我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明,我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调,以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
HighwayGraph: Modelling Long-distance Node Relations for Improving General Graph Neural Network
Peking University(北京大学);Tencent Inc(腾讯公司)
图神经网络是处理图结构数据的有效方法。建立长距离节点关系模型对于GNN的训练和应用至关重要。然而,由于有限层信息传播,传统的GNN在建模长距离节点关系时表现不佳。现有的研究主要集中在构建深度GNN架构上,这面临着过度平滑的问题,并且无法在特别长的距离上建模节点关系。为了解决这个问题,我们建议通过简单地依赖于浅GNN架构来建模长距离节点关系,有两种解决方案:(1)通过学习预测节点对关系来进行隐式建模(2)通过在可能具有相同标签的节点之间添加边来进行显式建模。为了结合我们的两种解决方案,我们提出了一个与模型无关的训练框架HighwayGraph,它通过从训练集中采样节点对并采用自训练方法来克服标记节点不足的挑战。大量的实验结果表明,我们的HighwayGraph在三个基准数据集上的四个代表性GNN上实现了一致和显着的改进。
2020-05-17 cs.CL cs.LG cs.SI
Node-Specific Space Selection via Localized Geometric Hyperbolicity in Graph Neural Networks
Nanyang Technological University(南洋理工大学)
已经开发了许多图神经网络来学习欧几里得或双曲空间中的图表示,其中所有节点的表示嵌入在单个空间中。然而,一个图可以在图的不同区域具有双曲和欧几里得几何。因此,将整个图无差别地嵌入单个空间是次优的。在本文中,我们探索和分析两个概念的局部双曲,描述了潜在的局部几何:几何(格罗莫夫)和基于模型,以确定每个节点的嵌入的首选空间。使用Wasserstein度量来对齐两个双曲性的分布,使得计算的几何双曲性指导学习的模型双曲性的选择。因此,我们的模型联合空间图神经网络(JSGNN)可以通过允许节点特定的几何空间选择,在学习过程中利用欧几里得和双曲空间。我们评估我们的模型上的节点分类和链接预测任务,并观察到有前途的性能相比,基线模型。
2023-03-03 cs.LG
Degree-based stratification of nodes in Graph Neural Networks
Eskisehir Osmangazi University(埃斯基谢希尔奥斯曼加齐大学)
针对图神经网络缺乏良好缩放特性的问题,提出基于节点度的分层方法,为高低度节点分别学习权重矩阵,在多数据集和GNN方法上提升性能,且验证了性能提升并非仅来自模型容量增加。
2023-12-16 cs.LG
On Calibration of Graph Neural Networks for Node Classification
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
图可以通过用节点和边来表示实体及其交互来模拟真实世界的复杂系统。为了更好地利用图结构,已经开发了图神经网络,其学习用于诸如节点分类和链接预测的任务的实体和边缘嵌入。这些模型在准确性方面实现了良好的性能,但与预测相关联的置信度得分可能没有被校准。这意味着分数可能无法反映预测事件的真实概率,这对于安全关键型应用程序尤为重要。尽管图神经网络被用于广泛的任务,但是其校准尚未被充分探索。研究了节点分类的图神经网络的标定问题,研究了现有后处理标定方法的效果,分析了模型容量、图密度和一种新的损失函数对标定的影响。此外,我们提出了一种拓扑感知的校准方法,考虑到相邻节点,并产生改进的校准相比,基线方法。
2022-06-03 cs.LG
Global-Local Graph Neural Networks for Node-Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of Cambridge(剑桥大学)
本文提出 Global-Local-GNN(GLGNN),通过联合学习标签与节点特征并结合全局、局部信息增强节点分类,在三种 GNN 主干上验证其可稳定提升基线性能。
2024-06-16 cs.LG
Improving Graph Neural Networks on Multi-node Tasks with the Labeling Trick
Institute for Artificial Intelligence Peking University(北京大学人工智能研究院);School of Electrical and Computer Engineering Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
本文提出标注技巧,通过在GNN前标注节点与目标节点集合的关系,解决多节点表示学习中无法捕捉节点间依赖的问题,并在链接预测、超边预测和子图预测等任务上验证其有效性。
2025-03-09 cs.LG
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford(牛津大学);RWTH Aachen University(亚琛工业大学)
图神经网络是关系数据表示学习的有效模型。然而,标准GNN的表达能力有限,因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍,GNN已经通过随机节点初始化(RNI)进行了增强,其中的想法是用随机初始节点特征训练和运行模型。在这项工作中,我们用RNI分析了GNNs的表达能力,并证明了这些模型是通用的,这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立,并且在预期中保持了GNN的不变性。然后,我们根据精心构建的数据集,实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
Edge Conditional Node Update Graph Neural Network for Multi-variate Time Series Anomaly Detection
Korea University(高丽大学)
针对多变量时间序列异常检测中图方法源节点表示缺乏边条件适应性的问题,提出 ECNU-GNN,通过边条件节点更新动态变换源节点表示,并在 SWaT、WADI、PSM 上显著提升 F1。
2024-01-25 cs.LG
NCGNN: Node-Level Capsule Graph Neural Network for Semisupervised Classification
Shanghai Jiao Tong University(上海交通大学)
消息传递已经发展成为设计图神经网络(GNN)的有效工具。然而,大多数现有的消息传递方法只是简单地求和或平均所有相邻的功能,以更新节点表示。它们受到两个问题的限制,即,(i)缺乏可解释性来识别对GNN的预测有重要意义的节点特征,以及(ii)特征过度混合,导致在捕获长范围依赖关系时的过度平滑问题,并且无法处理异质性或低同质性下的图。在本文中,我们提出了一个节点级胶囊图神经网络(NCGNN),以解决这些问题,改进的消息传递方案。具体来说,NCGNN将节点表示为节点级胶囊组,其中每个胶囊提取其对应节点的独特特征。对于每个节点级胶囊,一种新的动态路由过程的开发,以自适应地选择合适的胶囊聚合从所设计的图过滤器确定的子图。NCGNN只聚集有利的胶囊,并抑制不相关的消息,以避免过度混合功能的交互节点。因此,它可以缓解过度平滑的问题,并学习有效的节点表示的同胚或异质图。此外,我们提出的消息传递方案是固有的可解释性和免除复杂的事后解释,作为图过滤器和动态路由过程中确定的一个子集的节点功能,是最重要的模型预测从提取的子图。在合成图和真实图上的大量实验表明,NCGNN可以很好地解决过度平滑问题,并为半监督节点分类产生更好的节点表示。它在同质性和异质性下的表现都优于现有技术。
2022-06-16 cs.LG
Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
我们如何评估知识图谱(KG)中节点的重要性?KG是一种多关系图,已被证明对包括问答和语义搜索在内的许多任务都很有价值。在本文中,我们提出了GENI,一种方法来解决的问题,估计节点的重要性,在KG,它使几个下游的应用程序,如项目推荐和资源分配。虽然已经开发了许多方法来解决一般图的这个问题,但它们没有充分利用KG中可用的信息,或者缺乏对实体之间的复杂关系及其重要性进行建模所需的灵活性。为了解决这些限制,我们探索监督机器学习算法。特别是,建立在图神经网络(GNNs)的最新进展,我们开发了GENI,一种基于GNN的方法,旨在处理与预测KG中节点重要性相关的独特挑战。我们的方法通过谓词感知的注意力机制和灵活的中心性调整来执行重要性分数的聚合,而不是聚合节点嵌入。在我们对GENI和现有方法在具有不同特征的现实世界KG中预测节点重要性的评估中,GENI实现了比现有技术高5-17%的NDCG@100。
2019-06-16 cs.IR cs.LG stat.ML
Relational Graph Neural Network Design via Progressive Neural Architecture Search
The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);The Hong Kong Polytechnic University(香港理工大学)
针对图神经网络(GNNs)的表示学习中长期存在的一个难题,提出了一种新的解决方案:如何有效地捕获和表示嵌入在长距离节点中的有用信息,以提高低同质性节点的性能,而不会导致高同质性节点的性能下降。这种困境限制了现有GNN的泛化能力。直观地说,与远距离节点的交互比与近邻节点的交互引入更多的噪声。然而,在大多数现有的作品中,在节点之间传递的消息混合在一起,从通信的角度来看,这是低效的。我们的解决方案是基于一种新颖的,简单的,但有效的聚合方案,从而在一个梯形的GNN架构,即LADDER-GNN。具体来说,我们将来自不同跳点的消息分开,为它们分配不同的维度,然后将它们连接起来以获得节点表示。这种解开的表示有助于提高从不同跳传递的消息的信息噪声比。为了探索一个有效的跳-维关系,我们开发了一个条件渐进的神经结构搜索策略。基于搜索结果,我们进一步提出了一个有效的近似跳维关系函数,以促进建议的梯形GNN的快速配置。我们在七个不同的半监督节点分类数据集上验证了所提出的LADDER-GNN。实验结果表明,我们的解决方案实现了更好的性能比大多数现有的GNN。我们进一步分析了我们的聚合方案与两种常用的GNN架构,结果证实,我们的计划优于现有的计划在分类低同质性节点的大幅度。
2022-02-16 cs.LG
Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node Representation Learning
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Department of Computer Science, Purdue University(普渡大学计算机科学系);Facebook AI(Facebook 人工智能)
在本文中,我们提供了一种使用图神经网络(GNN)进行多节点表示学习的理论(我们感兴趣的是学习一组多个节点的表示,例如链接)。我们知道,GNN被设计为学习单节点表示。当我们想要学习涉及多个节点的节点集表示时,以前工作中的常见做法是直接将GNN获得的单节点表示聚合成联合节点集表示。在本文中,我们展示了这种方法的一个基本约束,即无法捕获节点集的节点之间的依赖关系,并认为直接聚合单个节点表示不会导致多个节点的有效联合表示。然后,我们注意到之前一些成功的多节点表示学习,包括SEAL,距离编码和ID-GNN,都使用了节点标记。这些方法首先根据图中的节点与目标节点集的关系标记节点,然后应用GNN。然后,在标记图中获得的节点表示被聚合成节点集合表示。通过研究它们的内在机制,我们将这些节点标记技术统一为一种最普遍的形式--标记技巧。我们证明了一个有足够表现力的GNN通过标签技巧学习最具表现力的节点集表示,从而在原则上解决了节点集上的任何联合学习任务。在一个重要的两节点表示学习任务链接预测上的实验验证了我们的理论。我们的工作解释了以前的基于节点标记的方法的优越性能,并建立了使用GNN多节点表示学习的理论基础。
2022-01-15 cs.LG
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of British Columbia(不列颠哥伦比亚大学)
图神经网络(GNN)在高效处理稀疏和非结构化数据方面表现突出。具体来说,GNN被证明对节点分类任务非常有效,其中标记的信息仅适用于一小部分节点。通常,通过目标函数,优化过程仅考虑标记的节点,而忽略其余节点。在本文中,我们提出了新的目标术语来训练用于节点分类的GNN,旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息,同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后,我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的,可以应用于各种GNN,不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN,如GCN,GAT和GCNII,在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Graph as a feature: improving node classification with non-neural graph-aware logistic regression
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院);i3, Télécom Paris(巴黎电信学院i3研究所)
本文提出非神经的图感知逻辑回归(GLR),将节点关系编码为额外特征向量并结合节点自身属性,在节点分类任务中超越最先进GNN模型,同时显著提升泛化能力和计算效率。
2024-11-19 cs.LG
Saliency-Aware Regularized Graph Neural Network
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Southern University of Science and Technology(南方科技大学);Shenzhen University(深圳大学);Peng Cheng Laboratory(鹏城实验室)
提出SAR-GNN模型,通过图神经记忆模块提炼紧凑图表示并估计全局节点显著性,以此正则化邻域聚合以优化消息传递,从而学习更有效的图表示并提升图分类性能。
2024-01-01 cs.LG
Structure Enhanced Graph Neural Networks for Link Prediction
Alibaba Group(阿里巴巴集团)
图神经网络(GNNs)在各种任务中表现出了良好的效果,其中链接预测是一个重要的任务。GNN模型通常遵循以节点为中心的消息传递过程,该过程递归地将邻域信息聚合到中心节点。在这种范式下,节点的特征通过边传递,而不关心节点位于何处以及它们扮演的角色。然而,被忽视的拓扑信息被证明是有价值的链接预测任务。在本文中,我们提出了结构增强图神经网络(SEG)的链接预测。SEG引入路径标记方法来获取目标节点周围的拓扑信息,然后将其结构融入到普通的GNN模型中。通过联合训练结构编码器和深度GNN模型,SEG融合拓扑结构和节点特征,充分利用图信息。在OGB链接预测数据集上的实验表明,SEG在所有三个公共数据集上都取得了最先进的结果。
2022-01-14 cs.LG
Node-wise Localization of Graph Neural Networks
Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院)
图神经网络(GNN)是图上一个强大的表示学习模型家族。为了得到节点表示,他们利用一个全局模型,递归地聚合来自相邻节点的信息。然而,不同的节点在不同的局部上下文中位于图的不同部分,使得它们的分布在整个图中有所不同。理想情况下,节点接收其邻域信息的方式应该是其本地上下文的函数,以偏离所有节点共享的全局GNN模型。为了在不过度拟合的情况下利用节点局部性,我们通过考虑图的全局和局部方面,提出了GNN的节点局部化。在全局上,图上的所有节点都依赖于一个底层全局GNN来编码整个图中的一般模式;在局部上,每个节点都被本地化到一个唯一的模型中,作为全局模型及其局部上下文的函数。最后,我们在四个基准图上进行了广泛的实验,并始终获得了超越最先进GNN的有前途的性能。
2021-10-27 cs.LG cs.SI
Target-Aware Interaction-Guided Reinforcement Learning for Black-Box Node Injection Attacks on Graph Neural Networks
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
研究针对图神经网络黑盒节点注入攻击问题,提出TIRBA方法,将攻击建模为马尔可夫决策过程,通过设计目标感知交互编码器、引入类中心引导机制和采用拓扑差异感知状态值评估来联合优化节点特征生成与边构建,性能优于现有方法。
2026-07-07 cs.LG
Introducing New Node Prediction in Graph Mining: Predicting All Links from Isolated Nodes with Graph Neural Networks
Universidad Politécnica de Madrid(马德里理工大学)
本文提出图挖掘中的新节点预测问题,即零样本图外全链接预测,并验证基于深度图神经网络的架构可在文献引用网络中预测孤立节点的全部链接。
2024-01-10 cs.AI cs.LG cs.SI
Edge2Node: Reducing Edge Prediction to Node Classification
Amirkabir University of Technology(阿米尔卡比尔理工大学)
针对图神经网络边预测任务依赖评分函数的局限,提出名为 Edge2Node 的方法,通过构建新图将边预测归约为节点分类任务,直接获取边嵌入,为该领域提供了新思路。
2023-11-22 cs.LG cs.SI
Optimizing Long-tailed Link Prediction in Graph Neural Networks through Structure Representation Enhancement
Ant Group(蚂蚁集团)
本文提出LTLP框架,通过为尾部节点对补充高质量边并强制同类别内头部和尾部节点对表示对齐,消除共同邻居长尾分布的负面影响,提升图神经网络链路预测性能。
2024-07-30 cs.LG
Graph Decipher: A transparent dual-attention graph neural network to understand the message-passing mechanism for the node classification
University of Colorado Denver(科罗拉多大学丹佛分校)
图神经网络可以有效地应用于为广泛不同领域的许多现实问题找到解决方案。图神经网络的成功与图上的消息传递机制有关,然而,大多数算法中的消息聚集行为仍然不完全清楚。为了改善功能,我们提出了一个新的透明网络,称为图形解密调查的消息传递机制,优先级在两个主要组成部分:图形结构和节点属性,在图形,功能和全局水平下的节点分类任务的图形。然而,计算负担现在成为最重要的问题,因为图的结构和节点属性的相关性计算上的图。为了解决这个问题,图特征过滤器只提取相关的代表性节点属性,允许以面向类别的方式执行计算。在7个数据集上的实验表明,Graph Decipher在节点分类任务下实现了最先进的性能,同时大大降低了计算负担。此外,由于我们的算法有能力探索的代表节点属性的类别,它是用来减轻不平衡的节点分类问题的多类图数据集。
2022-01-04 cs.AI cs.LG
On Generalized Degree Fairness in Graph Neural Networks
Singapore Management University(新加坡管理大学)
传统的图神经网络(GNN)经常面临公平性问题,这些问题可能源于其输入,包括节点属性和节点周围的邻居。虽然最近已经提出了几种方法来消除源于敏感属性的偏差,但它们忽略了GNN的其他关键输入,即节点的邻居,这可能会引入偏差,因为GNN依赖于邻域结构来生成节点表示。特别是,节点之间不同的邻域结构,表现在截然不同的节点度上,导致节点的不同行为和有偏见的结果。在本文中,我们首先定义和推广的度偏差使用一个广义的定义节点度的表现和量化不同的多跳结构周围不同的节点。为了解决节点分类中的偏差,我们提出了一种新的GNN框架,称为广义度公平中心图神经网络(Deg-FairGNN)。具体而言,在每个GNN层中,我们采用可学习的去偏置函数来生成去偏置上下文,该上下文调制逐层邻域聚合以消除源自节点之间不同程度的程度偏差。在三个基准数据集上的大量实验证明了我们的模型在准确性和公平性指标上的有效性。
2023-02-20 cs.LG cs.SI
Learning Graph Neural Networks with Positive and Unlabeled Nodes
Florida Atlantic University(佛罗里达大西洋大学);Monash University(莫纳什大学)
图神经网络(GNN)是用于诸如图中的节点分类的传导学习任务的重要工具,这是由于它们在捕捉节点之间的复杂相互依赖性方面的表达能力。为了使图神经网络能够学习,现有的工作通常假设提供来自两个或多个类的标记节点,使得可以从标记数据中学习有区别的分类器。实际上,这种假设对于应用程序来说可能限制太多,因为用户可能只为少数节点提供单个类中感兴趣的标签。此外,大多数GNN模型仅聚合来自短距离的信息(例如,1-跳变邻居),且不能在图中捕获长距离关系。在本文中,我们提出了一种新的图神经网络框架,长短距离聚合网络(LSDAN),以克服这些限制。通过在不同距离水平上生成多个图,基于邻接矩阵,我们开发了一个长短距离注意模型来建模这些图。通过短距离注意力机制捕获直接邻居,并且通过长距离注意力机制捕获具有长距离的邻居。两个新的风险估计器进一步采用聚合长短距离网络,PU学习和模型学习的损失是反向传播。在真实数据集上的实验结果证明了该算法的有效性。
2021-03-08 cs.LG
Virtual Nodes based Heterogeneous Graph Convolutional Neural Network for Efficient Long-Range Information Aggregation
School of Statistics and Mathematics, Guangdong University of Finance & Economics(广东金融学院统计与数学学院);School of Digital Economics, Guangdong University of Finance & Economics(广东金融学院数字经济学学院)
针对异质图神经网络长程依赖建模需堆叠多层、计算复杂且易过平滑的问题,提出VN-HGCN,利用连接特定类型全部节点的虚拟节点在4层内实现高效长程聚合,并可作为通用框架迁移到其他HGNN。
2025-09-28 cs.LG
On Positional and Structural Node Features for Graph Neural Networks on Non-attributed Graphs
Emory University(埃默里大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
图神经网络(GNN)已被广泛用于各种与图相关的问题,例如节点分类和图分类,其中主要在自然节点特征可用时建立优越的性能。然而,没有自然节点特征的GNN如何工作还没有很好的理解,特别是关于构建人工节点的各种方法。在本文中,我们指出了两种类型的人工节点特征,即,位置和结构节点特征,并提供关于为什么它们中的每一个更适合于某些任务的见解,即,位置节点分类、结构节点分类和图形分类。在10个基准数据集上进行的大量实验结果验证了我们的见解,从而为非属性图上GNN的不同人工节点特征之间的选择提供了实用指南。该代码可在https://github.com/zjzijielu/gnn-positional-structural-node-features上获得。
2022-09-09 cs.AI cs.LG cs.SI
On the Prediction Instability of Graph Neural Networks
University of Passau(帕绍大学)
训练模型的不稳定性,即,各个节点预测对随机因素的依赖性可能影响机器学习系统中的可再现性、可靠性和信任。在本文中,我们系统地评估了最先进的图神经网络(GNNs)的节点分类的预测不稳定性。通过我们的实验,我们确定了在具有相同模型超参数的相同数据上训练的流行GNN模型的多个实例化导致几乎相同的聚合性能,但在对单个节点的预测中显示出实质性的差异。我们发现,多达三分之一的错误分类的节点不同的算法运行。我们确定了超参数,节点属性和训练集大小与预测稳定性之间的相关性。一般来说,最大化模型性能隐式地也降低了模型的不稳定性。
2022-05-20 cs.LG
Research on the application of graph data structure and graph neural network in node classification/clustering tasks
本文研究图数据结构、经典图算法与GNN,在节点分类和聚类任务上比较评估,证明GNN准确率提升43%至70%,并提出二者融合策略。
2025-07-20 cs.LG
COMBINEX: A Unified Counterfactual Explainer for Graph Neural Networks via Node Feature and Structural Perturbations
Sapienza University of Rome(罗马第一大学)
本文提出 COMBINEX,通过联合优化边结构与节点特征扰动,为节点和图分类生成最小、有效且可解释的 GNN 反事实解释。
2025-02-14 cs.LG
Node Co-occurrence based Graph Neural Networks for Knowledge Graph Link Prediction
Oracle Labs, Australia(甲骨文实验室(澳大利亚));VinAI Research, Vietnam(VinAI 研究院(越南));Monash University, Australia(莫纳什大学(澳大利亚))
我们引入了一种新的嵌入模型,称为NoGE,其目的是将实体和关系之间的共现集成到图神经网络中,以提高知识图谱的完备性(即,链接预测)。给定一个知识图谱,NoGE将实体和关系视为单个节点来构建单个图。然后,NoGE基于实体和关系的共现来计算节点之间的边的权重。接下来,NoGE提出了双四元数图神经网络(DualQGNN),并利用DualQGNN更新实体和关系节点的矢量表示。然后,NoGE采用评分函数来产生三重评分。综合实验结果表明,NoGE获得了国家的最先进的结果在三个新的和困难的基准数据集CoDEx的知识图谱完成。
2021-12-26 cs.CL cs.LG
Scalable Graph Neural Network-based framework for identifying critical nodes and links in Complex Networks
Kansas State University(堪萨斯州立大学);Columbia University(哥伦比亚大学)
识别图中的关键节点和链接是一项至关重要的任务。这些节点/链路通常表示在系统性能中起关键作用的关键元件/通信链路。然而,文献中关于识别关键节点/链接的大多数方法都是基于迭代方法,该方法一次探索图中的每个节点/链接,对图中的所有节点/链接重复。这种方法具有高计算复杂性,并且所得到的分析也是网络特定的。为了克服这些挑战,本文提出了一个可扩展的和通用的图神经网络(GNN)为基础的框架,以确定在大型复杂网络中的关键节点/链路。该框架定义了一个基于GNN的模型,该模型学习节点/链路的一个小的代表性子集上的节点/链路关键度得分。可以采用适当训练的模型来预测大型图中看不见的节点/链接的得分,从而识别最关键的节点/链接。该框架的可扩展性通过预测大规模合成网络和真实网络中的节点/链接得分来证明。所提出的方法是相当准确的近似的临界分数,并提供了一个显着的计算优势,传统的方法。
2021-05-10 cs.LG cs.SI
Node Embedding from Neural Hamiltonian Orbits in Graph Neural Networks
Nanyang Technological University(南洋理工大学);C3 AI(C3人工智能公司)
本文将节点嵌入更新建模为哈密顿轨道,以在训练中自动学习图的底层流形,无需大量调参即可适应多样几何结构,并在节点分类和链接预测任务上优于现有GNN方法。
2023-05-30 cs.LG math.DS physics.class-ph
Node Embedding from Hamiltonian Information Propagation in Graph Neural Networks
C3 AI(C3人工智能公司);Nanyang Technological University(南洋理工大学)
图神经网络(GNN)在图结构数据的各种推理任务中取得了成功。然而,文献中许多GNN面临的共同挑战包括各种几何形状下的图节点嵌入问题和过平滑问题。为了解决这些问题,我们提出了一种新的图信息传播策略,称为Hamilton动态GNN(HDG),它使用Hamilton力学方法来学习图中的节点嵌入。HDG中的哈密顿能量函数是可学习的,并且可以适应任何给定图形数据集的底层几何。我们展示了HDG自动学习图形数据集的底层几何结构的能力,即使是那些具有复杂和混合几何结构的图形数据集,通过对各种下游任务的最先进基线进行全面评估。我们还验证了HDG对小扰动是稳定的,并且可以减轻堆叠许多层时的过度平滑问题。
2023-03-02 cs.LG
One Node Per User: Node-Level Federated Learning for Graph Neural Networks
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文针对图神经网络联邦学习中客户端仅持单节点特征向量的场景,提出解耦首层消息传递与特征变换的节点级联邦图学习框架,并引入图拉普拉斯正则项,在多个数据集上验证了优于基线方法的性能。
2024-09-29 cs.AI cs.LG
Prioritized Propagation in Graph Neural Networks
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院)
针对现有GNN节点级传播方法忽略节点优先级的问题,提出可集成多数GNN的PPro框架,通过互增强机制和交替优化学习带优先级的节点传播,在8个基准上优于11种SOTA方法。
2023-11-06 cs.LG
Towards Self-Explainable Graph Neural Network
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNNs)将深度神经网络推广到图结构数据,在图建模方面取得了巨大成功。然而,作为图的深度学习的扩展,GNN缺乏可解释性,这在很大程度上限制了它们在需要模型透明性的场景中的应用。虽然人们已经做出了很多努力来提高深度学习的可解释性,但它们主要集中在i.i.d数据上,这些数据不能直接用于解释GNN的预测,因为GNN利用节点特征和图拓扑来进行预测。关于GNN的可解释性的工作很少,他们专注于事后解释。由于事后解释不是直接从GNN中获得的,因此它们可能会有偏见并歪曲真实的解释。因此,在本文中,我们研究了一个新的问题,自我解释的GNNs,可以同时给出预测和解释。我们提出了一个新的框架,可以找到$K$ -最近的标记节点的每个未标记的节点,给出可解释的节点分类,其中最近的标记节点是由可解释的相似性模块的节点相似性和局部结构相似性。在真实世界和合成数据集上的大量实验证明了所提出的可解释节点分类框架的有效性。
2021-08-26 cs.LG
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University(范德堡大学);IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
近年来,图神经网络(GNNs)在学习有效的节点表示进行分类方面取得了显著的成功。然而,目前的GNN大多是在平衡的数据分割下构建的,这与许多现实世界的网络不一致,其中训练节点的数量在类之间可能非常不平衡。因此,直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示,并最终损害分类性能。因此,这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中,我们提出了一种新的距离明智的原型图神经网络(DPGNN),它提出了一个类原型驱动的训练,以平衡大多数和少数类之间的训练损失,然后利用距离度量学习来区分不同维度的表示的贡献,并充分编码每个节点到每个类原型的相对位置。此外,我们设计了一个新的不平衡标签传播机制,以获得额外的监督从未标记的节点,并采用自监督学习平滑表示相邻节点,同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析,所提出的DPGNN几乎总是显着优于所有其他基线,这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
NodeMixup: Tackling Under-Reaching for Graph Neural Networks
Xidian University(西安电子科技大学)
针对图神经网络中标记节点欠达导致性能下降的问题,提出架构无关的NodeMixup方法,通过标记-未标记混合、类内邻居融合和基于度与标签相似性的采样权重,提升GNN半监督节点分类性能。
2023-12-21 cs.AI cs.LG
Label Propagation across Graphs: Node Classification using Graph Neural Tangent Kernels
Rice University(莱斯大学)
图神经网络(GNN)在过去几年中在节点分类任务上取得了优异的性能。通常,这是在一个转导半监督学习设置中构建的,其中整个图,包括要标记的目标节点,可用于训练。部分受可扩展性的驱动,最近的工作集中在归纳的情况下,只有图的标记部分可用于训练。在这种情况下,我们目前的工作考虑了一个具有挑战性的归纳设置,其中一组标记的图可用于训练,而未标记的目标图是完全独立的,即,在标记的和未标记的节点之间没有连接。在测试图和训练图来自相似分布的隐含假设下,我们的目标是开发一个标记函数,该函数可以推广到未观察到的连接结构。为此,我们采用了一个图神经切线核(GNTK),它对应于无限宽的GNN,以基于拓扑结构和节点特征找到不同图中节点之间的对应关系。我们增强了GNTK与剩余连接的能力,并在标准基准测试中实证说明了其性能增益。
2021-10-07 cs.LG eess.SP
Label-Enhanced Graph Neural Network for Semi-supervised Node Classification
Beihang University(北京航空航天大学)
图神经网络在半监督节点分类中得到了广泛的应用,其关键在于如何充分利用有限但有价值的标签信息。大多数经典的GNN只使用已知的标签来计算输出的分类损失。近年来,已经设计了几种方法来额外地利用输入处的标签。一部分方法通过连接或添加标签的独热编码来增强节点特征,而其他方法通过假设相邻节点倾向于具有相同的标签来优化图结构。为了充分发挥标签的丰富信息,本文提出了一种用于GNN的标签增强学习框架,该框架首先将每个标签建模为类内节点的虚拟中心,然后联合学习节点和标签的表示。我们的方法不仅可以平滑属于同一类的节点的表示,而且还可以显式地将标签语义编码到GNN的学习过程中。此外,训练节点的选择技术,以消除潜在的标签泄漏问题,并保证模型的泛化能力。最后,提出了一种自适应的自训练策略,在模型训练过程中,通过迭代的方式增加训练集,增加更可靠的伪标签,并区分每个伪标签节点的重要性。在真实世界和合成数据集上的实验结果表明,我们的方法不仅可以始终优于最先进的技术,而且还可以有效地平滑类内节点的表示。
2022-12-23 cs.LG