GPT-GNN: Generative Pre-Training of Graph Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Microsoft Research(微软研究院)
图神经网络(GNN)已被证明是强大的建模图结构的数据。然而,训练GNN通常需要大量特定于任务的标记数据,而获得这些数据通常非常昂贵。减少标记工作的一种有效方法是在具有自我监督的未标记数据上预训练表达性GNN模型,然后将学习到的模型转移到只有几个标签的下游任务。在本文中,我们提出了GPT-GNN框架,通过生成预训练来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务来预训练GNN,以便它可以捕获图的结构和语义属性。我们将图生成的可能性分解为两个部分:1)属性生成和2)边生成。通过对这两个组件进行建模,GPT-GNN在生成过程中捕获了节点属性和图结构之间的固有依赖关系。在十亿规模的开放学术图谱和亚马逊推荐数据上进行的综合实验表明,GPT-GNN在各种下游任务中的性能明显优于没有预训练的最先进的GNN模型,最高可达9.1%。
2020-06-27 cs.LG cs.SI stat.ML
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Position-aware Graph Neural Networks
Stanford University(斯坦福大学)
学习节点嵌入,捕获节点在更广泛的图结构中的位置,对于图上的许多预测任务至关重要。然而,现有的图神经网络(GNN)架构在捕获给定节点相对于图的所有其他节点的位置/定位方面具有有限的能力。在这里,我们提出了位置感知图神经网络(P-GNNs),这是一类新的用于计算位置感知节点嵌入的GNNs。P-GNN首先对锚节点集进行采样,计算给定目标节点到每个锚集的距离,然后在锚集上学习非线性距离加权聚合方案。通过这种方式,P-GNN可以捕获节点相对于锚节点的位置/定位。P-GNN有几个优点:它们是归纳的,可扩展的,并且可以包含节点特征信息。我们将P-GNN应用于多个预测任务,包括链接预测和社区发现。我们表明,P-GNN始终优于最先进的GNN,在ROC AUC评分方面提高了66%。
2019-06-13 cs.LG cs.SI stat.ML
IGNNITION: Bridging the Gap Between Graph Neural Networks and Networking Systems
近年来,图神经网络(GNN)在数据被结构化为图的许多领域(例如,化学、推荐系统)。特别地,GNN在网络领域中变得越来越流行,因为图本质上存在于许多级别(例如,拓扑、路由)。GNN的主要新颖之处在于它们能够推广到训练过程中看不到的其他网络,这是开发实用的机器学习(ML)网络解决方案的基本功能。然而,实现功能性GNN原型目前是一项繁琐的任务,需要神经网络编程方面的强大技能。这对网络工程师来说是一个重要的障碍,他们通常不具备必要的ML专业知识。在本文中,我们介绍了IGNNITION,这是一个新颖的开源框架,可以为网络系统快速原型化GNN。IGNNITION基于直观的高级抽象,隐藏了GNN背后的复杂性,同时仍然为构建自定义GNN架构提供了极大的灵活性。为了展示这个框架的多功能性和性能,我们实现了两个应用于不同网络用例的最先进的GNN模型。我们的研究结果表明,IGNNITION生成的GNN模型在准确性和性能方面与TensorFlow中的原生实现相当。
2022-02-02 cs.AI cs.LG cs.NI
Auto-GNN: Neural Architecture Search of Graph Neural Networks
Texas A&M University(得克萨斯农工大学)
图神经网络(GNN)已成功地应用于对图结构数据的操作。给定一个特定的场景,通常需要丰富的人类专业知识和大量艰苦的试验来确定合适的GNN架构。这是因为GNN架构的性能受到图卷积组件(如聚合函数和隐藏维度)的选择的显着影响。神经架构搜索(NAS)在发现图像和语言建模学习任务的有效深度架构方面显示出了潜力。然而,现有的NAS算法不能直接应用于GNN搜索问题。首先,GNN的搜索空间不同于现有NAS工作中的搜索空间。第二,GNN架构的表示学习能力随着架构的轻微修改而发生明显的变化。它影响了传统搜索方法的搜索效率。第三,NAS中广泛使用的技术(如参数共享)可能在GNN中变得不稳定。为了弥补这一差距,我们提出了自动图神经网络(AGNN)框架,其目的是在预定义的搜索空间内找到一个最佳的GNN架构。设计了一种基于强化学习的控制器,通过小步骤对体系结构进行强化验证。AGNN具有一种新颖的参数共享策略,该策略基于精心设计的同质性定义,使同质架构能够共享参数。在真实世界基准数据集上的实验表明,与现有的手工模型和传统的搜索方法相比,AGNN识别的GNN结构具有最佳的性能。
2019-09-10 cs.LG stat.ML
GNNExplainer: Generating Explanations for Graph Neural Networks
Stanford University(斯坦福大学)
图神经网络(Graph Neural Network,GNNs)是一种用于图上机器学习的强大工具,它通过沿输入图的边递归传递神经消息,将节点特征信息与图的结构相结合。然而,结合图结构和特征信息会导致复杂的模型,并且解释GNN做出的预测仍然没有解决。在这里,我们提出了GNNExplainer,第一个通用的,模型不可知的方法,为任何基于图的机器学习任务上的任何基于GNN的模型的预测提供可解释的解释。给定一个实例,GNNExplainer识别出一个紧凑的子图结构和一小部分节点特征,这些特征在GNN的预测中起着至关重要的作用。此外,GNNEspainer可以为整个实例类生成一致且简洁的解释。我们制定GNNExplainer作为一个优化任务,最大限度地提高GNN的预测和可能的子图结构的分布之间的互信息。在合成图和真实图上的实验表明,我们的方法可以识别重要的图结构以及节点特征,并且平均比基线高出17.1%。GNNExplainer提供了各种各样的好处,从可视化语义相关结构的能力到可解释性,再到深入了解错误GNN的错误。
2019-11-13 cs.LG stat.ML
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
图神经网络(GNNs)是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功,GNN的理论局限性已被揭示最近。因此,已经提出了许多GNN模型来克服这些限制。在本调查中,我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
SHAKE-GNN: Scalable Hierarchical Kirchhoff-Forest Graph Neural Network
LIX, Ecole Polytechnique, IP Paris(LIX,巴黎高等理工学院,IP巴黎)
针对大规模图级GNN扩展难题,提出基于基尔霍夫森林分层结构的SHAKE-GNN框架,引入数据驱动的权衡参数选择策略,在多图分类基准上实现性能与可扩展性的平衡。
2026-09-01 cs.LG stat.ML
GNNGuard: Defending Graph Neural Networks against Adversarial Attacks
Harvard University(哈佛大学)
图的深度学习方法在各种领域都取得了卓越的性能。然而,最近的研究结果表明,即使是最强大和最流行的图神经网络(GNN),图结构的小而不明显的扰动也会灾难性地降低其性能。在这里,我们开发了GNNGuard,这是一种通用算法,可以抵御各种干扰离散图结构的训练时间攻击。GNNGuard可以直接并入任何GNN。它的核心原理是检测和量化图结构和节点特征之间的关系(如果存在),然后利用这种关系来减轻攻击的负面影响。GNNGuard学习如何最好地为连接相似节点的边分配更高的权重,同时修剪不相关节点之间的边。修改后的边缘允许在底层GNN中鲁棒地传播神经消息。GNNGuard引入了两个新的组件,邻居重要性估计和逐层图存储器,我们的经验表明,这两个组件是必要的一个成功的防御。在五个GNN、三种防御方法和五个数据集(包括一个具有挑战性的人类疾病图)上,实验表明GNNGuard的平均性能比现有的防御方法高出15.3%。值得注意的是,GNNGuard可以在面对各种对抗攻击(包括针对性和非针对性攻击)时,有效地恢复GNN的最先进性能,并可以防御对异质图的攻击。
2020-10-28 cs.LG stat.ML
Simplifying Architecture Search for Graph Neural Network
Paradigm Inc.(第四范式公司)
近年来,图神经网络(GNN)在各种场景中得到了广泛的应用。为了获得最佳的数据特定GNN架构,研究人员转向神经架构搜索(NAS)方法,该方法在发现卷积神经网络中的有效架构方面取得了令人印象深刻的进展。GraphNAS和Auto-GNN这两个前期工作首次尝试将NAS方法应用于GNN。尽管取得了令人鼓舞的结果,但由于设计的搜索空间,GraphNAS和Auto-GNN在表达能力和搜索效率方面存在一些缺点。为了克服这些缺点,我们提出了SNAG框架(简化的神经结构搜索图神经网络),由一个新的搜索空间和一个基于强化学习的搜索算法。在真实世界数据集上进行的大量实验证明了SNAG框架与人类设计的GNN和NAS方法(包括GraphNAS和Auto-GNN)相比的有效性。
2020-09-06 cs.LG stat.ML
GNNLens: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks
Hong Kong University of Science and Technology(香港科技大学);Singapore Management University(新加坡管理大学);Harvard University(哈佛大学);Bloomberg LP(彭博有限合伙企业);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
图神经网络(GNN)旨在将深度学习技术扩展到图数据,并在图分析任务(例如,分类)近年来。然而,与其他深度神经网络(如卷积神经网络(CNN)和递归神经网络(RNN))类似,GNN的行为就像一个黑盒子,其细节对模型开发人员和用户隐藏。因此,很难诊断GNN可能的错误。尽管有许多关于CNN和RNN的可视化分析研究,但很少有研究解决GNN的挑战。本文填补了研究空白的交互式可视化分析工具,GNNLens,以帮助模型开发人员和用户理解和分析GNNs。具体而言,并行集合视图和投影视图使用户能够快速识别和验证错误预测集合中的错误模式;图形视图和特征矩阵视图提供对单个节点的详细分析,以帮助用户形成关于错误模式的假设。由于GNN共同建模图形结构和节点特征,我们通过比较三种模型的预测来揭示两种类型信息的相对影响:GNN,多层感知器(MLP)和GNN不使用特征(GNNWUF)。两个案例研究和对领域专家的采访证明了GNNLens在促进对GNN模型及其错误的理解方面的有效性。
2022-04-07 cs.HC cs.LG cs.SI
GNN-FiLM: Graph Neural Networks with Feature-wise Linear Modulation
Microsoft Research(微软研究院)
本文提出了一种新的图神经网络(GNN)类型,使用特征线性调制(FiLM)。许多标准的GNN变体通过仅基于每条边的源的表示来计算“消息”来沿着图的边传播信息。在GNN-FiLM中,边缘的目标节点的表示还用于计算可应用于所有传入消息的变换,从而允许对传递的信息进行特征调制。实验结果比较不同的GNN架构上的三个任务,从文献中,重新实现的基线方法的基础上。使用广泛的搜索发现所有方法的超参数,产生了一些令人惊讶的结果:基线模型之间的差异小于文献中报道的差异。尽管如此,GNN-FiLM在分子图回归任务上的表现优于基线方法,并在其他任务上表现出竞争力。
2020-06-26 cs.LG stat.ML
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络(CNN)的推广,其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则,GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明,GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能,这些性能可以通过经验观察到。它还表明,如果图收敛到一个极限对象,一个graphon,GNNs收敛到相应的极限对象,一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Dept. of Electrical and Systems Eng.(电气与系统工程系);Philadelphia, PA 19143(费城,PA 19143)
图神经网络(GNN)依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的,并且不依赖于图,因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中,我们引入图子NN作为GNN的极限对象,并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的,则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
Generalization and Representational Limits of Graph Neural Networks
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
我们解决了关于图神经网络(GNNs)的两个基本问题。首先,我们证明了几个重要的图形属性不能由完全依赖于局部信息的GNN计算。这样的GNN包括标准的消息传递模型,以及利用局部图结构的更强大的空间变体(例如,经由消息的相对定向或本地端口排序)来区分每个节点的邻居。我们的治疗包括一个新的图论形式主义。其次,我们为消息传递GNN提供了第一个数据相关的泛化边界。这种分析明确地解释了GNN的局部置换不变性。我们的边界比现有的基于VC维的GNN保证要严格得多,并且与递归神经网络的Rademacher边界相当。
2020-02-14 cs.LG stat.ML
A Survey on Spectral Graph Neural Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore Management University(新加坡管理大学)
图神经网络(GNNs)已经引起了研究界的极大关注。众所周知,GNN通常大致分为空间方法和谱方法。尽管谱GNN在图信号处理和图表示学习中发挥了重要作用,但现有的研究都偏向于空间方法,迄今为止还没有对谱GNN进行全面的综述。本文综述了谱高斯神经网络的模型、理论和应用等方面的研究进展。具体来说,我们首先讨论了空间GNN和谱GNN之间的联系,这表明谱GNN可以捕获全局信息,并且具有更好的表达性和可解释性。接下来,我们根据它们使用的频谱信息,\ie,特征值或特征向量对现有的频谱GNN进行分类。此外,我们回顾了谱GNNs的主要理论结果和应用,然后通过定量实验对一些流行的谱GNNs进行基准测试。最后,我们总结了一些未来的发展方向。
2023-02-11 cs.AI cs.LG cs.SI
Identity-aware Graph Neural Networks
Stanford University(斯坦福大学)
消息传递图神经网络(GNN)为关系数据提供了一个强大的建模框架。然而,现有GNN的表达能力是由1-Weisfeiler-Lehman(1-WL)图同构测试的上限,这意味着GNN不能预测节点聚类系数和最短路径距离,并且不能区分不同的d-正则图。在这里,我们开发了一类消息传递GNN,命名为身份感知图神经网络(ID-GNN),具有比1-WL测试更强的表达能力。ID-GNN为现有GNN的局限性提供了一个最小但强大的解决方案。ID-GNN通过在消息传递过程中归纳考虑节点的身份来扩展现有的GNN架构。为了嵌入给定的节点,ID-GNN首先提取以该节点为中心的自我网络,然后进行多轮异构消息传递,其中将不同的参数集应用于中心节点而不是自我网络中的其他周围节点。我们进一步提出了一个简化但更快的ID-GNN版本,它将节点身份信息作为增强节点特征注入。总而言之,ID-GNN的两个版本代表了消息传递GNN的一般扩展,其中实验表明,将现有GNN转换为ID-GNN,在具有挑战性的节点,边缘和图形属性预测任务上平均提高了40%的准确性;在节点和图形分类基准上提高了3%的准确性;在现实世界的链接预测任务上提高了15%的ROC AUC。此外,ID-GNN表现出比其他特定任务的图网络更好或相当的性能。
2021-02-05 cs.AI cs.LG cs.SI
Random Features Strengthen Graph Neural Networks
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
图神经网络(GNN)是用于各种图学习任务的强大的机器学习模型。最近,各种GNN模型的表达能力的局限性已经被揭示出来。例如,GNN不能区分一些非同构图,并且它们不能学习有效的图算法。在本文中,我们证明了GNN仅仅通过向每个节点添加随机特征就变得强大。我们证明了随机特征使GNNs能够学习近似比方面的最小支配集问题和最大匹配问题的多项式时间近似算法。我们的方法的主要优点是,它可以与现成的GNN模型进行轻微的修改。通过实验,我们证明了随机特征的加入使GNNs能够解决普通GNNs(包括图卷积网络(GCN)和图同构网络(GIN))无法解决的各种问题。
2021-01-18 cs.LG stat.ML
Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学)
图神经网络(GNNs)由于其在基于图的任务上的优异性能而受到广泛关注。然而,现有的GNN研究集中在设计更有效的模型,而没有考虑输入数据的质量。在本文中,我们提出了自增强GNN(SEG),它使用现有GNN模型的输出来提高输入数据的质量,以获得更好的半监督节点分类性能。由于图数据由拓扑和节点标签组成,我们从这两个角度提高了输入数据质量。对于拓扑结构,我们观察到,当类间边缘(连接不同类的节点)的比率较低时,可以实现更高的分类精度,并提出拓扑结构更新以删除类间边缘并添加类内边缘。对于节点标签,我们提出了训练节点增强,它使用现有GNN模型预测的标签来扩大训练集。SEG是一个通用框架,可以很容易地与现有的GNN模型相结合。实验结果验证了SEG在不同数据集上一致地提高了GCN,GAT和SGC等知名GNN模型的性能。
2021-04-19 cs.LG stat.ML
AutoGraph: Automated Graph Neural Network
The Chinese University of Hong Kong(香港中文大学);Lenovo Machine Intelligence Center(联想机器智能中心)
图在许多应用中起着重要的作用。最近,图神经网络(GNNs)在图分析任务中取得了可喜的成果。已经提出了一些最先进的GNN模型,例如,图卷积网络(GCN)、图注意力网络(GAT)等。尽管取得了这些成功,但大多数GNN只有浅层结构。这导致了GNN的低表达能力。为了充分利用深度神经网络的能力,最近已经提出了一些深度GNN。然而,深度GNN的设计需要大量的架构工程。在这项工作中,我们提出了一种自动化深度GNNs设计的方法。在我们提出的方法中,我们向GNNs搜索空间添加了一种新型的跳过连接,以鼓励特征重用并缓解消失梯度问题。我们还允许我们的进化算法在进化过程中增加GNN的层数,以生成更深的网络。我们在图节点分类任务中评估我们的方法。实验结果表明,该方法生成的GNN在Cora、Citeseer、Pubmed和PPI数据集上都能获得最佳结果。
2020-11-23 cs.AI cs.LG cs.SI
Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks
TU Dortmund University(多特蒙德工业大学);RWTH Aachen University(亚琛工业大学);McGill University(麦吉尔大学);MILA(MILA(蒙特利尔学习算法研究所))
近年来,图神经网络(GNN)已经成为一种强大的神经架构,可以以有监督的端到端方式学习节点和图的向量表示。到目前为止,GNN只进行了经验评估-显示出有希望的结果。以下工作从理论的角度研究GNN,并将其与$1$维Weisfeiler-Leman图同构启发式($1$ -WL)联系起来。我们表明,GNNs具有相同的表现力的$1$ -WL在区分非同构(子)图。因此,这两种算法也具有相同的缺点。在此基础上,我们提出了一个广义的GNN,所谓的$k$维GNN($k$ -GNN),它可以考虑在多个尺度的高阶图结构。这些高阶结构在表征社交网络和分子图中起着至关重要的作用。我们的实验评估证实了我们的理论研究结果,以及确认,高阶信息是有用的图分类和回归的任务。
2021-11-30 cs.AI cs.CV cs.LG
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University(德克萨斯A&M大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个统一的框架,自适应连接采样的图神经网络(GNNs),概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势,而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键,不易于过平滑和过拟合,具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks
ELLIS Unit Linz(ELLIS林茨单元);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning(机器学习研究所);Johannes Kepler University(约翰内斯·开普勒大学);NXAI GmbH(NXAI有限公司)
该研究针对图神经网络表达能力依赖聚合与读出函数的问题,基于信号传播理论提出方差保持聚合策略VPA,在保持表达力的同时优化传播动力学,提升了主流GNN架构的预测性能,为无归一化/自归一化GNN发展提供了方向。
2024-03-07 cs.AI cs.LG stat.ML
Reducing Communication in Graph Neural Network Training
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
图神经网络(GNN)是一种强大而灵活的神经网络,它使用数据的自然稀疏连接信息。GNN将这种连接表示为稀疏矩阵,与密集矩阵相比,稀疏矩阵具有较低的算术强度,因此通信成本较高,这使得GNN比卷积或全连接神经网络更难扩展到高并发。我们介绍了一系列用于训练GNN的并行算法,并表明与以前的并行GNN训练方法相比,它们可以渐进地减少通信。我们实现了这些算法,这是基于1D,1.5D,2D和3D稀疏密集矩阵乘法,使用火炬。分布在配备GPU的集群。我们的算法优化了整个GNN训练管道的通信。我们在多个数据集上的100多个GPU上训练GNN,包括具有超过10亿条边的蛋白质网络。
2020-09-02 cs.DC cs.LG stat.ML
Graph Neural Network Causal Explanation via Neural Causal Models
Illinois Institute of Technology(伊利诺伊理工大学)
针对现有图神经网络解释器多基于关联易产生虚假相关的问题,提出基于神经因果模型的GNN因果解释器,通过构建定制化神经因果模型计算因果效应以识别因果子图,性能显著优于现有方法。
2024-07-12 cs.AI cs.LG stat.ML
DT+GNN: A Fully Explainable Graph Neural Network using Decision Trees
ETH Zurich(苏黎世联邦理工学院)
提出了完全可解释的决策树图神经网络(DT+GNN)结构。与现有的黑箱GNN和事后解释方法相比,DT+GNN的推理可以在每一步进行检查。为了实现这一点,我们首先构建了一个可微的GNN层,它使用节点和消息的分类状态空间。这允许我们将GNN中训练的MLP转换为决策树。这些树使用我们新提出的方法修剪,以确保它们很小,易于解释。我们也可以使用决策树来计算传统的解释。我们在真实世界的数据集和综合GNN可解释性基准上证明,这种架构与传统GNN一样有效。此外,我们利用DT+ GNN的可解释性来发现许多这些数据集的有趣见解,并获得了一些令人惊讶的结果。我们还提供了一个互动的网络工具来检查DT+GNN的决策。
2022-05-26 cs.LG
Adversarial Defense Framework for Graph Neural Network
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);NEC Laboratories America(美国NEC实验室)
图神经网络作为一种强大的图数据表示学习模型,受到了各学科的广泛关注。然而,最近的研究表明,GNN容易受到对抗攻击。如何使GNN更健壮?GNN中的关键漏洞是什么?如何解决GNN的漏洞并防御对抗攻击?在本文中,我们提出了DefNet,这是一个有效的GNN对抗防御框架。特别是,我们首先研究了GNN每一层中的潜在漏洞,并提出了相应的策略,包括双阶段聚合和瓶颈感知器。然后,为了应对训练数据的稀缺性,我们提出了一种对抗性对比学习方法,通过利用高级图表示以条件GAN方式训练GNN。在三个公共数据集上的大量实验证明了DefNet在提高流行的GNN变体(如图卷积网络和GraphSAGE)在各种类型的对抗攻击下的鲁棒性方面的有效性。
2019-05-10 cs.CR cs.LG stat.ML
Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering
Harbin Institute of Technology(哈尔滨工业大学)
图神经网络的消息传递机制至今仍是一个谜。除了卷积神经网络之外,没有提出GNN的理论起源。令我们惊讶的是,消息传递最好用幂迭代来理解。通过完全或部分去除GNN的激活函数和层权重,我们提出了子空间幂迭代聚类(SPIC)模型,该模型仅使用一个聚合器进行迭代学习。实验表明,我们的模型扩展了GNN,增强了它们处理随机特征网络的能力。此外,我们展示了一些最先进的GNN在设计中的冗余性,并通过消息传递的随机聚合器定义了模型评估的下限。我们的发现推动了对神经网络理论理解的边界。
2021-01-11 cs.LG stat.ML
Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth
Massachusetts Institute of Technology (MIT)(麻省理工学院);The University of Maryland(马里兰大学);Harvard University(哈佛大学)
图神经网络(GNNs)已经通过表达能力和泛化的镜头进行了研究。然而,他们的优化性能不太好理解。我们通过研究GNN的梯度动态来分析GNN训练的第一步。首先,我们分析了线性化的GNNs,并证明了尽管训练的非凸性,但在我们在现实世界的图上验证的温和假设下,可以保证以线性速率收敛到全局最小值。其次,我们研究了可能影响GNN训练速度的因素。我们的研究结果表明,GNN的训练通过跳过连接、更深和/或良好的标签分布来隐式加速。实验结果证实,我们对线性GNN的理论结果与非线性GNN的训练行为一致。我们的研究结果为具有跳过连接的GNN在优化方面的成功提供了第一个理论支持,并表明具有跳过连接的深度GNN在实践中很有前途。
2021-05-26 cs.CV cs.LG math.OC
Policy-GNN: Aggregation Optimization for Graph Neural Networks
Texas A&M University(德州农工大学)
图数据在许多现实世界的应用中是普遍存在的。近年来,图神经网络(graph neural networks,GNNs)越来越受到人们的关注。GNNs的目标是通过利用可堆叠的网络模块聚集来自邻居的信息来建模局部图结构并捕获层次模式。由于观察到不同的节点通常需要不同的聚合迭代才能完全捕获结构信息,因此在本文中,我们建议对不同节点的聚合迭代进行显式采样,以提高GNN的性能。这是一个具有挑战性的任务,制定一个有效的聚合策略,为每个节点,给定的复杂的图形和稀疏的功能。此外,由于我们需要将采样节点馈送到不同数量的网络层中,因此推导出有效的算法并不简单。为了解决上述挑战,我们提出了Policy-GNN,这是一个元策略框架,它将GNN的采样过程和消息传递建模为组合学习过程。具体来说,Policy-GNN使用元策略来自适应地确定每个节点的聚合数量。通过利用来自模型的反馈,使用深度强化学习(RL)来训练元策略。我们进一步引入参数共享和缓冲机制来提高训练效率。在三个真实世界基准数据集上的实验结果表明,Policy-GNN显著优于最先进的替代方案,显示了GNN聚合优化的前景。
2020-06-26 cs.LG stat.ML
On Self-Distilling Graph Neural Network
Tencent AI Lab(腾讯人工智能实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
最近,师生知识蒸馏框架在训练图神经网络(GNN)方面显示了其潜力。然而,由于训练过参数化GNN模型的困难,人们可能不容易获得令人满意的教师模型用于蒸馏。此外,师生知识蒸馏训练过程的低效也阻碍了其在GNN模型中的应用。在本文中,我们提出了第一个用于GNN的无教师知识蒸馏方法,称为GNN自蒸馏(GNN-SD),作为标准训练过程的直接替代。该方法是建立在建议的邻域差异率(NDR),量化的非光滑的嵌入式图形在一个有效的方式。基于这个度量,我们提出了自适应差异保持(ADR)正则化器,以增强知识的可转移性,从而在GNN层之间保持高邻域差异。我们还总结了一个通用的GNN-SD框架,可以用来诱导其他蒸馏策略。实验进一步证明了我们的方法的有效性和通用性,因为它带来了:1)最先进的GNN蒸馏性能与更少的训练成本,2)各种流行的骨干一致和显着的性能增强。
2021-04-30 cs.LG stat.ML
Two-stage Training of Graph Neural Networks for Graph Classification
KAIST(韩国科学技术院);Yonsei University(延世大学)
图神经网络(GNN)在图上的机器学习领域受到了广泛关注。受神经网络成功的启发,人们进行了一系列研究来训练GNN以处理各种任务,例如节点分类、图分类和链接预测。在这项工作中,我们感兴趣的任务是图分类。已经提出了几种GNN模型,并在这项任务中表现出很高的精度。然而,问题是通常的训练方法是否完全实现了GNN模型的能力。在这项工作中,我们提出了一个两阶段的训练框架的基础上三重损失。在第一阶段中,GNN被训练为将每个图映射到欧几里得空间向量,以便相同类的图很接近,而不同类的图映射得很远。一旦图基于标签被很好地分离,分类器就被训练来区分不同的类。这种方法是通用的,因为它与任何GNN模型兼容。通过调整五个GNN模型到我们的方法,我们证明了在12个数据集中,每个GNN的分配容量的准确性和利用率比每个模型的原始训练方法提高了5.4个点。
2022-04-08 cs.LG stat.ML
SGQuant: Squeezing the Last Bit on Graph Neural Networks with Specialized Quantization
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
随着基于图的学习方法的日益普及,图神经网络(GNNs)以其高精度的学习效果受到了研究和工业界的广泛关注。然而,现有的GNN遭受高存储器占用(例如,节点嵌入特征)。这种高内存占用阻碍了对内存受限设备的潜在应用,例如广泛部署的物联网设备。为此,我们提出了一种专门的GNN量化方案SGQuant,以系统地减少GNN的内存消耗。具体来说,我们首先提出了一个GNN定制的量化算法设计和GNN量化微调方案,以减少内存消耗,同时保持精度。然后,我们研究了在GNN计算的不同级别(组件,图形拓扑和层)操作的多粒度量化策略。此外,我们提供了一个自动比特选择(ABS),以查明最合适的量化比特以上的多粒度量化。密集的实验表明,与原始全精度GNN相比,SGQuant可以有效地将内存占用从4.25倍减少到31.9倍,同时将精度下降限制在平均0.4%。
2020-09-16 cs.LG stat.ML
Adversarially Robust Neural Architecture Search for Graph Neural Networks
Tsinghua University(清华大学);Ant Group(蚂蚁集团);Yale University(耶鲁大学)
提出G-RNA框架,通过设计包含图结构掩码操作的鲁棒搜索空间和鲁棒性指标,自动化搜索对抗鲁棒的GNN架构,在基准数据集上显著优于现有基线。
2023-04-09 cs.CR cs.LG cs.SI
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford(牛津大学);RWTH Aachen University(亚琛工业大学)
图神经网络是关系数据表示学习的有效模型。然而,标准GNN的表达能力有限,因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍,GNN已经通过随机节点初始化(RNI)进行了增强,其中的想法是用随机初始节点特征训练和运行模型。在这项工作中,我们用RNI分析了GNNs的表达能力,并证明了这些模型是通用的,这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立,并且在预期中保持了GNN的不变性。然后,我们根据精心构建的数据集,实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
Graph Neural Networks can Recover the Hidden Features Solely from the Graph Structure
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能项目)
本文从表达能力角度研究图神经网络,证明GNNs能仅从图结构中恢复隐藏节点特征并用于下游任务,实验验证了理论分析的有效性。
2024-03-23 cs.LG cs.SI
Graph Warp Module: an Auxiliary Module for Boosting the Power of Graph Neural Networks in Molecular Graph Analysis
Preferred Networks, Inc.(首选网络公司)
图神经网络(GNN)是一种流行的化学分子分析体系结构,在材料科学和医学领域有着广泛的应用。然而,目前为分子分析开发的GNN系列并不适合训练集,它们的性能也不能很好地与网络的复杂性相匹配。在本文中,我们提出了一个附加到GNN的辅助模块,可以在不妨碍原始GNN架构的情况下提高模型的表示能力。我们的辅助模块可以连接到各种各样的GNN上,包括那些在生化应用中常用的GNN。通过我们的辅助架构,实践中使用的许多GNN的性能得到了更一致的提高,在流行的分子图数据集上实现了最先进的性能。
2019-05-24 cs.LG stat.ML
Maximising Weather Forecasting Accuracy through the Utilisation of Graph Neural Networks and Dynamic GNNs
天气预报是应对全球气候变化的重要任务。天气预报需要分析异构气象传感器生成的多变量数据。这些传感器包括地面传感器、无线电探空仪和安装在卫星上的传感器等,为了分析这些传感器产生的数据,我们使用基于图神经网络(GNNs)的天气预报模型。GNN是基于图学习的模型,在许多机器学习方法中表现出强大的经验性能。在这项研究中,我们研究了使用GNNs和传统的基于机器学习的模型进行天气预报的性能。
2023-02-08 cs.LG
Approximation Ratios of Graph Neural Networks for Combinatorial Problems
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能中心)
在本文中,从理论的角度来看,我们研究如何强大的图神经网络(GNNs)可以学习组合问题的近似算法。为此,我们首先建立了一类新的GNN,它可以解决比现有GNN更广泛的问题。然后,我们弥合了GNN理论和分布式局部算法理论之间的差距。我们从理论上证明了最强大的GNN可以学习近似算法的最小支配集问题和最小顶点覆盖问题的一些近似比的分布式局部算法的理论的帮助。我们还表明,大多数现有的GNN,如GIN,GAT,GCN和GraphSAGE不能比这些比率更好地执行。本文是第一个阐明的GNNs的组合问题的逼近比。此外,我们证明了添加着色或弱着色到每个节点的功能,提高这些近似比。这表明预处理和特征工程理论上增强了模型的能力。
2019-11-08 cs.LG stat.ML
GNNavigator: Towards Adaptive Training of Graph Neural Networks via Automatic Guideline Exploration
Beihang University(北京航空航天大学);CUHK(香港中文大学)
针对图神经网络训练中成本、内存与精度难以平衡且现有方法适应性不足的问题,提出自适应训练配置优化框架GNNavigator,通过软硬件协同抽象等技术实现最高3.1倍加速与44.9%峰值内存降低,且精度持平最优水平。
2024-04-15 cs.AI cs.LG
Theory of Graph Neural Networks: Representation and Learning
MIT(麻省理工学院)
图神经网络(GNN)是一种用于学习图的表示的神经网络架构,它已经成为一种流行的学习模型,用于节点、图和点的配置的预测任务,在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果,重点是表示,泛化和外推。一路上,它总结了数学联系。
2022-04-16 cs.LG stat.ML
Uncertainty-Matching Graph Neural Networks to Defend Against Poisoning Attacks
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Labs(劳伦斯利弗莫尔国家实验室)
图神经网络(GNN)是神经网络对图结构数据的概括,通常使用图的实体之间的消息传递来实现。虽然GNN对于节点分类、链接预测和图分类是有效的,但它们容易受到对抗性攻击,即,对结构的小扰动可能导致非平凡的性能下降。在这项工作中,我们提出了不确定性匹配GNN(UM-GNN),旨在提高GNN模型的鲁棒性,特别是针对图结构的中毒攻击,通过利用消息传递框架中的认知不确定性。更具体地说,我们建议构建一个代理预测器,该预测器不直接访问图结构,而是通过一种新型的不确定性匹配策略从标准GNN中系统地提取可靠的知识。有趣的是,这种解耦使得UM-GNN通过设计对规避攻击免疫,并实现了对中毒攻击的显著提高的鲁棒性。使用标准基准和一套全球和目标攻击的实证研究,我们证明了UM-GNN与现有基线(包括最先进的强大GCN)相比的有效性。
2020-09-30 cs.CR cs.LG stat.ML
MHG-GNN: Combination of Molecular Hypergraph Grammar with Graph Neural Network
IBM Research - Tokyo(IBM研究院-东京);JSR Corporation(JSR公司)
本文提出融合 GNN 与分子超图语法的自动编码器 MHG-GNN,用于多种材料性质预测,为构建材料科学基础模型奠定初步基础。
2023-09-28 cs.LG
Different Statistical Perspectives for Understanding Generalisation in Graph Neural Networks
Technical University of Munich(慕尼黑技术大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);Adelaide University(阿德莱德大学)
本文从学习理论、无限参数/图渐近和随机图模型三个统计框架综述图神经网络泛化性的理论进展。
2026-05-25 cs.LG stat.ME stat.ML
Explainability in Graph Neural Networks: An Experimental Survey
University of New South Wales(新南威尔士大学)
图神经网络(GNNs)已经在各种应用领域中被广泛地开发用于图表示学习。然而,与所有其他神经网络模型类似,GNN也存在黑箱问题,因为人们无法理解其背后的机制。为了解决这个问题,已经提出了几种GNN可解释性方法来解释GNN做出的决策。在这次调查中,我们概述了最先进的GNN可解释性方法以及如何评估它们。此外,我们提出了一个新的评估指标,并进行了彻底的实验,比较GNN的可解释性方法在现实世界的数据集。我们还提出了GNN可解释性的未来方向。
2022-03-17 cs.AI cs.LG
From Continuous Dynamics to Graph Neural Networks: Neural Diffusion and Beyond
University of Sydney(悉尼大学);Western Sydney University(西悉尼大学)
本文首次系统综述了从连续动力学视角设计图神经网络的研究,提出一般框架并分类现有方法,以解决过度平滑和过度挤压等经典 GNN 局限。
2023-10-29 cs.AI cs.LG stat.ML
Ego-GNNs: Exploiting Ego Structures in Graph Neural Networks
McGill University(麦吉尔大学);Microsoft Research(微软研究院)
图神经网络(GNN)作为图结构数据的深度学习框架已经取得了显着的成功。然而,GNN从根本上受到其树结构归纳偏差的限制:WL子树内核公式限制了GNN的表示能力,并且多项式时间GNN可证明无法识别图中的三角形。在这项工作中,我们建议用自我图上定义的信息来增强GNN消息传递操作(即,围绕每个节点的导出子图)。我们将这些方法称为Ego-GNNs,并证明Ego-GNNs比标准的消息传递GNNs更强大。特别是,我们证明了Ego-GNNs能够识别闭合三角形,这对于现实世界图中传递性的突出性至关重要。我们还激励我们的方法从图形信号处理的角度来看,作为一种形式的复用图卷积。使用合成和真实数据的节点分类实验结果突出了使用这种方法可以实现的性能增益。
2021-07-22 cs.LG
Elastic Graph Neural Networks
Michigan State University(密歇根州立大学);Shandong University(山东大学)
虽然许多现有的图神经网络(GNN)已被证明可以执行基于$\ell_2$的图平滑,从而在全局上强制平滑,但在这项工作中,我们的目标是通过基于$\ell_1$的图平滑进一步增强GNN的局部平滑自适应性。因此,我们介绍了一个家庭的GNN(弹性GNN)的基础上$\ell_1$和$\ell_2$的图形平滑。特别是,我们提出了一个新的和一般的消息传递方案到GNNs。这种消息传递算法不仅对反向传播训练友好,而且在理论收敛保证的情况下实现了所需的平滑特性。在半监督学习任务上的实验表明,所提出的弹性GNN在基准数据集上具有更好的自适应性,并且对图对抗攻击具有显著的鲁棒性。弹性GNN的实现可在\url{https://github.com/lxiaorui/ElasticGNN}上获得。
2021-07-05 cs.AI cs.LG cs.NE
Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction
Korea University(高丽大学)
图神经网络(GNN)已经被广泛应用于各种领域,用于对图结构数据进行学习。它们在节点分类和图分类等各种任务上都比传统的探试法有了显着的改进。然而,由于GNN严重依赖于平滑的节点特征而不是图结构,因此它们在链接预测中通常表现出比简单的探试法差的性能,其中结构信息,例如,重叠的邻域、度和最短路径是至关重要的。为了解决这一限制,我们提出了邻域重叠感知图神经网络(Neo-GNNs),它从邻接矩阵中学习有用的结构特征,并估计用于链接预测的重叠邻域。我们的Neo-GNNs推广了基于邻域的探试法,并处理重叠的多跳邻域。我们在Open Graph Benchmark数据集(OGB)上进行的大量实验表明,Neo-GNN在链接预测中始终达到最先进的性能。我们的代码可在https://github.com/seongjunyun/Neo_GNNs上公开获取。
2022-06-09 cs.AI cs.LG
Enhancing Graph Neural Network-based Fraud Detectors against Camouflaged Fraudsters
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学)
近年来,图神经网络(GNNs)被广泛应用于欺诈检测问题,它通过不同的关系聚合节点的邻域信息来揭示节点的可疑性。然而,很少有以前的工作已经注意到欺诈者的伪装行为,这可能会妨碍基于GNN的欺诈检测器在聚合过程中的性能。在本文中,我们介绍了两种类型的抵押贷款的基础上,最近的实证研究,即,特征伪装和关系伪装。现有的GNN没有解决这两个问题,这导致它们在欺诈检测问题中的性能很差。或者,我们提出了一个新的模型,名为CAmouflage-Resistant GNN(CARE-GNN),以增强GNN聚合过程中的三个独特的模块,对重复。具体地说,我们首先设计了一个标签感知的相似性度量,以找到信息丰富的相邻节点。然后,我们利用强化学习(RL)来找到要选择的邻居的最佳数量。最后,跨不同关系的所选邻居被聚合在一起。在两个真实欺诈数据集上的综合实验证明了RL算法的有效性。所提出的CARE-GNN也优于最先进的GNN和基于GNN的欺诈检测器。我们将所有基于GNN的欺诈检测器集成为开源工具箱:https://github.com/safe-graph/DGFraud。CARE-GNN代码和数据集可在https://github.com/YingtongDou/CARE-GNN上获得。
2020-08-19 cs.CR cs.LG cs.SI
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study(高等研究院);Zhejiang University(浙江大学);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
虽然图核(GK)易于训练并享有可证明的理论保证,但它们的实际性能受到其表达能力的限制,因为核函数通常依赖于图的手工组合特征。与图核相比,图神经网络(GNN)通常具有更好的实际性能,因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而,由于大量的超参数和训练过程的非凸性质,GNN更难训练。GNN的理论保证也没有得到很好的理解。此外,GNN的表达能力与参数的数量成比例,因此当计算资源有限时,很难利用GNN的全部功能。本文提出了一类新的图核,图神经切线核(GNTKs),它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力,继承了GK的优点。从理论上讲,我们证明了GNTK可以在图上学习一类光滑函数。根据经验,我们在图分类数据集上测试了GNTK,并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
Design Space for Graph Neural Networks
Stanford University(斯坦福大学)
图神经网络(GNN)的快速发展导致了越来越多的新架构和新应用。然而,目前的研究重点是提出和评估GNN的具体架构设计,而不是研究GNN的更一般的设计空间,该设计空间由不同设计维度的笛卡尔积组成,例如层数或聚合函数的类型。此外,GNN设计通常专用于单个任务,但很少有人努力了解如何快速找到新任务或新数据集的最佳GNN设计。在这里,我们定义并系统地研究了GNN的架构设计空间,该空间由32个不同预测任务的315,000个不同设计组成。我们的方法具有三个关键创新:(1)通用GNN设计空间;(2)具有相似性度量的GNN任务空间,因此对于给定的新任务/数据集,我们可以快速识别/转移性能最佳的架构;(3)高效和有效的设计空间评估方法,可以从大量的模型-任务组合中提取见解。我们的主要成果包括:(1)设计性能良好的GNN的一套全面的指导方针;(2)虽然不同任务的最佳GNN设计差异很大,但GNN任务空间允许在不同任务之间转移最佳设计;(3)使用我们的设计空间发现的模型实现了最先进的性能。总的来说,我们的工作提供了一种原则性和可扩展的方法,从研究特定任务的单个GNN设计过渡到系统地研究GNN设计空间和任务空间。最后,我们发布了GraphGym,这是一个用于探索不同GNN设计和任务的强大平台。GraphGym具有模块化的GNN实现,标准化的GNN评估以及可重复和可扩展的实验管理。
2021-07-23 cs.AI cs.LG cs.SI
GNN-Ensemble: Towards Random Decision Graph Neural Networks
Fordham University(福特汉姆大学);IBM Research(IBM研究院)
图神经网络在图结构数据中有着广泛的应用。然而,现有的基于图的应用程序通常缺乏注释的数据。GNN需要从有限数量的训练数据中学习潜在模式,以对大量的测试数据执行推断。GNN复杂性的增加,以及模型参数初始化的单点,通常会导致过拟合和次优性能。此外,已知GNN易受对抗攻击的攻击。在本文中,我们在GNNs的集成学习上向前推进了一步,提高了准确性,泛化性和对抗鲁棒性。遵循随机建模的原则,我们提出了一种新的方法,称为GNN-Ensemble构建一个集成的随机决策图神经网络,其容量可以任意扩展,以提高性能。该方法的本质是在拓扑空间中随机选择的子结构和特征空间中的子特征中构建多个GNN,然后将它们组合起来进行最终决策。这些GNN在不同的子结构和子特征空间中以互补的方式概括了它们的分类。因此,它们的组合分类性能可以得到改善,并且可以有效地减少对训练数据的过拟合。与此同时,我们表明GNN-Entrance可以显着提高对GNN攻击的对抗鲁棒性。
2023-03-20 cs.AI cs.LG
Explicit Feature Interaction-aware Graph Neural Networks
Ziovision Company Ltd.(Ziovision有限公司);Seoul National University of Science and Technology(首尔科学技术大学);Kangwon National University(关东国立大学)
针对GNN忽视低阶特征交互的问题,本文提出线性多层EFI-GNN以显式建模图中任意阶特征交互,并通过多数据集验证其竞争力、联合训练增益与可解释性。
2024-06-13 cs.AI cs.LG