Adapting to Heterophilic Graph Data with Structure-Guided Neighbor Discovery
Department of Signal Theory and Communications, King Juan Carlos University(信号理论与通信系,国王胡安·卡洛斯大学);Department of Electrical and Computer Engineering, Rice University(电气与计算机工程系,里奇大学)
针对GNN在异配图上依赖同配假设的问题,本文构建基于结构属性的替代图并提出SG-GNN,多视图自适应融合原图与结构图,理论与实验均验证其性能优势。
2025-06-10 cs.LG eess.SP
Auto-GNN: Neural Architecture Search of Graph Neural Networks
Texas A&M University(得克萨斯农工大学)
图神经网络(GNN)已成功地应用于对图结构数据的操作。给定一个特定的场景,通常需要丰富的人类专业知识和大量艰苦的试验来确定合适的GNN架构。这是因为GNN架构的性能受到图卷积组件(如聚合函数和隐藏维度)的选择的显着影响。神经架构搜索(NAS)在发现图像和语言建模学习任务的有效深度架构方面显示出了潜力。然而,现有的NAS算法不能直接应用于GNN搜索问题。首先,GNN的搜索空间不同于现有NAS工作中的搜索空间。第二,GNN架构的表示学习能力随着架构的轻微修改而发生明显的变化。它影响了传统搜索方法的搜索效率。第三,NAS中广泛使用的技术(如参数共享)可能在GNN中变得不稳定。为了弥补这一差距,我们提出了自动图神经网络(AGNN)框架,其目的是在预定义的搜索空间内找到一个最佳的GNN架构。设计了一种基于强化学习的控制器,通过小步骤对体系结构进行强化验证。AGNN具有一种新颖的参数共享策略,该策略基于精心设计的同质性定义,使同质架构能够共享参数。在真实世界基准数据集上的实验表明,与现有的手工模型和传统的搜索方法相比,AGNN识别的GNN结构具有最佳的性能。
2019-09-10 cs.LG stat.ML
GNNExplainer: Generating Explanations for Graph Neural Networks
Stanford University(斯坦福大学)
图神经网络(Graph Neural Network,GNNs)是一种用于图上机器学习的强大工具,它通过沿输入图的边递归传递神经消息,将节点特征信息与图的结构相结合。然而,结合图结构和特征信息会导致复杂的模型,并且解释GNN做出的预测仍然没有解决。在这里,我们提出了GNNExplainer,第一个通用的,模型不可知的方法,为任何基于图的机器学习任务上的任何基于GNN的模型的预测提供可解释的解释。给定一个实例,GNNExplainer识别出一个紧凑的子图结构和一小部分节点特征,这些特征在GNN的预测中起着至关重要的作用。此外,GNNEspainer可以为整个实例类生成一致且简洁的解释。我们制定GNNExplainer作为一个优化任务,最大限度地提高GNN的预测和可能的子图结构的分布之间的互信息。在合成图和真实图上的实验表明,我们的方法可以识别重要的图结构以及节点特征,并且平均比基线高出17.1%。GNNExplainer提供了各种各样的好处,从可视化语义相关结构的能力到可解释性,再到深入了解错误GNN的错误。
2019-11-13 cs.LG stat.ML
Maximising Weather Forecasting Accuracy through the Utilisation of Graph Neural Networks and Dynamic GNNs
天气预报是应对全球气候变化的重要任务。天气预报需要分析异构气象传感器生成的多变量数据。这些传感器包括地面传感器、无线电探空仪和安装在卫星上的传感器等,为了分析这些传感器产生的数据,我们使用基于图神经网络(GNNs)的天气预报模型。GNN是基于图学习的模型,在许多机器学习方法中表现出强大的经验性能。在这项研究中,我们研究了使用GNNs和传统的基于机器学习的模型进行天气预报的性能。
2023-02-08 cs.LG
MHG-GNN: Combination of Molecular Hypergraph Grammar with Graph Neural Network
IBM Research - Tokyo(IBM研究院-东京);JSR Corporation(JSR公司)
本文提出融合 GNN 与分子超图语法的自动编码器 MHG-GNN,用于多种材料性质预测,为构建材料科学基础模型奠定初步基础。
2023-09-28 cs.LG
Ego-GNNs: Exploiting Ego Structures in Graph Neural Networks
McGill University(麦吉尔大学);Microsoft Research(微软研究院)
图神经网络(GNN)作为图结构数据的深度学习框架已经取得了显着的成功。然而,GNN从根本上受到其树结构归纳偏差的限制:WL子树内核公式限制了GNN的表示能力,并且多项式时间GNN可证明无法识别图中的三角形。在这项工作中,我们建议用自我图上定义的信息来增强GNN消息传递操作(即,围绕每个节点的导出子图)。我们将这些方法称为Ego-GNNs,并证明Ego-GNNs比标准的消息传递GNNs更强大。特别是,我们证明了Ego-GNNs能够识别闭合三角形,这对于现实世界图中传递性的突出性至关重要。我们还激励我们的方法从图形信号处理的角度来看,作为一种形式的复用图卷积。使用合成和真实数据的节点分类实验结果突出了使用这种方法可以实现的性能增益。
2021-07-22 cs.LG
GNNavigator: Towards Adaptive Training of Graph Neural Networks via Automatic Guideline Exploration
Beihang University(北京航空航天大学);CUHK(香港中文大学)
针对图神经网络训练中成本、内存与精度难以平衡且现有方法适应性不足的问题,提出自适应训练配置优化框架GNNavigator,通过软硬件协同抽象等技术实现最高3.1倍加速与44.9%峰值内存降低,且精度持平最优水平。
2024-04-15 cs.AI cs.LG
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
图神经网络(GNNs)是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功,GNN的理论局限性已被揭示最近。因此,已经提出了许多GNN模型来克服这些限制。在本调查中,我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
Explainability in Graph Neural Networks: An Experimental Survey
University of New South Wales(新南威尔士大学)
图神经网络(GNNs)已经在各种应用领域中被广泛地开发用于图表示学习。然而,与所有其他神经网络模型类似,GNN也存在黑箱问题,因为人们无法理解其背后的机制。为了解决这个问题,已经提出了几种GNN可解释性方法来解释GNN做出的决策。在这次调查中,我们概述了最先进的GNN可解释性方法以及如何评估它们。此外,我们提出了一个新的评估指标,并进行了彻底的实验,比较GNN的可解释性方法在现实世界的数据集。我们还提出了GNN可解释性的未来方向。
2022-03-17 cs.AI cs.LG
SHAKE-GNN: Scalable Hierarchical Kirchhoff-Forest Graph Neural Network
LIX, Ecole Polytechnique, IP Paris(LIX,巴黎高等理工学院,IP巴黎)
针对大规模图级GNN扩展难题,提出基于基尔霍夫森林分层结构的SHAKE-GNN框架,引入数据驱动的权衡参数选择策略,在多图分类基准上实现性能与可扩展性的平衡。
2026-09-01 cs.LG stat.ML
DiP-GNN: Discriminative Pre-Training of Graph Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
已经提出了图神经网络(GNN)预训练方法以增强GNN的功率。具体来说,GNN首先在大规模未标记图上进行预训练,然后在单独的小标记图上进行微调,以用于下游应用,例如节点分类。一种流行的预训练方法是屏蔽一定比例的边缘,然后训练GNN来恢复它们。然而,这样的生成方法遭受图形失配。也就是说,输入到GNN的掩码图偏离原始图。为了缓解这个问题,我们提出了DiP-GNN(图神经网络的判别预训练)。具体来说,我们训练一个生成器来恢复被掩蔽的边的身份,同时,我们训练一个搜索器来区分生成的边和原始图的边。在我们的框架中,由于生成器可以恢复一定比例的被掩蔽的边缘,因此,由搜索器看到的图更好地匹配原始图。在大规模同构和异构图上的大量实验证明了该框架的有效性。
2022-09-15 cs.LG
GNNLens: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks
Hong Kong University of Science and Technology(香港科技大学);Singapore Management University(新加坡管理大学);Harvard University(哈佛大学);Bloomberg LP(彭博有限合伙企业);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
图神经网络(GNN)旨在将深度学习技术扩展到图数据,并在图分析任务(例如,分类)近年来。然而,与其他深度神经网络(如卷积神经网络(CNN)和递归神经网络(RNN))类似,GNN的行为就像一个黑盒子,其细节对模型开发人员和用户隐藏。因此,很难诊断GNN可能的错误。尽管有许多关于CNN和RNN的可视化分析研究,但很少有研究解决GNN的挑战。本文填补了研究空白的交互式可视化分析工具,GNNLens,以帮助模型开发人员和用户理解和分析GNNs。具体而言,并行集合视图和投影视图使用户能够快速识别和验证错误预测集合中的错误模式;图形视图和特征矩阵视图提供对单个节点的详细分析,以帮助用户形成关于错误模式的假设。由于GNN共同建模图形结构和节点特征,我们通过比较三种模型的预测来揭示两种类型信息的相对影响:GNN,多层感知器(MLP)和GNN不使用特征(GNNWUF)。两个案例研究和对领域专家的采访证明了GNNLens在促进对GNN模型及其错误的理解方面的有效性。
2022-04-07 cs.HC cs.LG cs.SI
Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction
Korea University(高丽大学)
图神经网络(GNN)已经被广泛应用于各种领域,用于对图结构数据进行学习。它们在节点分类和图分类等各种任务上都比传统的探试法有了显着的改进。然而,由于GNN严重依赖于平滑的节点特征而不是图结构,因此它们在链接预测中通常表现出比简单的探试法差的性能,其中结构信息,例如,重叠的邻域、度和最短路径是至关重要的。为了解决这一限制,我们提出了邻域重叠感知图神经网络(Neo-GNNs),它从邻接矩阵中学习有用的结构特征,并估计用于链接预测的重叠邻域。我们的Neo-GNNs推广了基于邻域的探试法,并处理重叠的多跳邻域。我们在Open Graph Benchmark数据集(OGB)上进行的大量实验表明,Neo-GNN在链接预测中始终达到最先进的性能。我们的代码可在https://github.com/seongjunyun/Neo_GNNs上公开获取。
2022-06-09 cs.AI cs.LG
GNN-Ensemble: Towards Random Decision Graph Neural Networks
Fordham University(福特汉姆大学);IBM Research(IBM研究院)
图神经网络在图结构数据中有着广泛的应用。然而,现有的基于图的应用程序通常缺乏注释的数据。GNN需要从有限数量的训练数据中学习潜在模式,以对大量的测试数据执行推断。GNN复杂性的增加,以及模型参数初始化的单点,通常会导致过拟合和次优性能。此外,已知GNN易受对抗攻击的攻击。在本文中,我们在GNNs的集成学习上向前推进了一步,提高了准确性,泛化性和对抗鲁棒性。遵循随机建模的原则,我们提出了一种新的方法,称为GNN-Ensemble构建一个集成的随机决策图神经网络,其容量可以任意扩展,以提高性能。该方法的本质是在拓扑空间中随机选择的子结构和特征空间中的子特征中构建多个GNN,然后将它们组合起来进行最终决策。这些GNN在不同的子结构和子特征空间中以互补的方式概括了它们的分类。因此,它们的组合分类性能可以得到改善,并且可以有效地减少对训练数据的过拟合。与此同时,我们表明GNN-Entrance可以显着提高对GNN攻击的对抗鲁棒性。
2023-03-20 cs.AI cs.LG
Robust Graph Neural Networks using Weighted Graph Laplacian
Indian Institute of Technology, Delhi(德里印度理工学院);Samsung Research Bangalore(三星研究院班加罗尔);IIT Delhi(德里印度理工学院)
图神经网络(GNN)在许多应用领域都取得了显著的成绩。然而,GNN容易受到输入数据中的噪声和对抗攻击的影响。使GNN对噪声和对抗攻击具有鲁棒性是一个重要的问题。现有的GNN防御方法计算量大,并且不可扩展。在本文中,我们提出了一个通用的框架鲁棒GNN称为加权拉普拉斯GNN(RWL-GNN)。该方法将加权图拉普拉斯学习与GNN实现相结合。该方法利用拉普拉斯矩阵的半正定性、特征平滑性和潜在特征,通过建立统一的优化框架,确保丢弃敌对/噪声边缘,并对图中的连接进行适当加权。为了演示,实验是用图卷积神经网络(GCNN)架构进行的,然而,所提出的框架很容易适用于任何现有的GNN架构。基准数据集的仿真结果建立了所提出的方法的有效性,无论是在精度和计算效率。代码可以在https://github.com/Bharat-Runwal/RWL-GNN上访问。
2022-08-03 cs.LG
Explicit Feature Interaction-aware Graph Neural Networks
Ziovision Company Ltd.(Ziovision有限公司);Seoul National University of Science and Technology(首尔科学技术大学);Kangwon National University(关东国立大学)
针对GNN忽视低阶特征交互的问题,本文提出线性多层EFI-GNN以显式建模图中任意阶特征交互,并通过多数据集验证其竞争力、联合训练增益与可解释性。
2024-06-13 cs.AI cs.LG
Causal Inference, Biomarker Discovery, Graph Neural Network, Feature Selection
针对现有生物标志物发现方法忽略基因调控关系、跨数据集稳定性不足的问题,提出融合因果推断与GNN的Causal-GNN方法,可识别更稳定的生物标志物,预测精度更优,具备生物可解释性。
2025-11-17 cs.LG q-bio.QM
A Survey of Graph Neural Networks for Drug Discovery: Recent Developments and Challenges
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Toledo(托莱多大学)
本文综述了图神经网络在药物发现中的最新进展,涵盖分子性质预测、药物相互作用、药物重定位等关键任务,并展望了未来研究方向。
2025-09-09 cs.LG
GNNGuard: Defending Graph Neural Networks against Adversarial Attacks
Harvard University(哈佛大学)
图的深度学习方法在各种领域都取得了卓越的性能。然而,最近的研究结果表明,即使是最强大和最流行的图神经网络(GNN),图结构的小而不明显的扰动也会灾难性地降低其性能。在这里,我们开发了GNNGuard,这是一种通用算法,可以抵御各种干扰离散图结构的训练时间攻击。GNNGuard可以直接并入任何GNN。它的核心原理是检测和量化图结构和节点特征之间的关系(如果存在),然后利用这种关系来减轻攻击的负面影响。GNNGuard学习如何最好地为连接相似节点的边分配更高的权重,同时修剪不相关节点之间的边。修改后的边缘允许在底层GNN中鲁棒地传播神经消息。GNNGuard引入了两个新的组件,邻居重要性估计和逐层图存储器,我们的经验表明,这两个组件是必要的一个成功的防御。在五个GNN、三种防御方法和五个数据集(包括一个具有挑战性的人类疾病图)上,实验表明GNNGuard的平均性能比现有的防御方法高出15.3%。值得注意的是,GNNGuard可以在面对各种对抗攻击(包括针对性和非针对性攻击)时,有效地恢复GNN的最先进性能,并可以防御对异质图的攻击。
2020-10-28 cs.LG stat.ML
Simplifying Architecture Search for Graph Neural Network
Paradigm Inc.(第四范式公司)
近年来,图神经网络(GNN)在各种场景中得到了广泛的应用。为了获得最佳的数据特定GNN架构,研究人员转向神经架构搜索(NAS)方法,该方法在发现卷积神经网络中的有效架构方面取得了令人印象深刻的进展。GraphNAS和Auto-GNN这两个前期工作首次尝试将NAS方法应用于GNN。尽管取得了令人鼓舞的结果,但由于设计的搜索空间,GraphNAS和Auto-GNN在表达能力和搜索效率方面存在一些缺点。为了克服这些缺点,我们提出了SNAG框架(简化的神经结构搜索图神经网络),由一个新的搜索空间和一个基于强化学习的搜索算法。在真实世界数据集上进行的大量实验证明了SNAG框架与人类设计的GNN和NAS方法(包括GraphNAS和Auto-GNN)相比的有效性。
2020-09-06 cs.LG stat.ML
MAG-GNN: Reinforcement Learning Boosted Graph Neural Network
Washington University in St. Louis(圣路易斯华盛顿大学);JD Explore Academy(京东探索研究院);Peking University(北京大学)
本文提出 MAG-GNN,通过强化学习从候选子图集合中迭代搜索最优子集,以常数级复杂度替代完整子图枚举,在保持表达能力的同时显著提升子图 GNN 的效率与性能。
2023-10-29 cs.LG
GNN-FiLM: Graph Neural Networks with Feature-wise Linear Modulation
Microsoft Research(微软研究院)
本文提出了一种新的图神经网络(GNN)类型,使用特征线性调制(FiLM)。许多标准的GNN变体通过仅基于每条边的源的表示来计算“消息”来沿着图的边传播信息。在GNN-FiLM中,边缘的目标节点的表示还用于计算可应用于所有传入消息的变换,从而允许对传递的信息进行特征调制。实验结果比较不同的GNN架构上的三个任务,从文献中,重新实现的基线方法的基础上。使用广泛的搜索发现所有方法的超参数,产生了一些令人惊讶的结果:基线模型之间的差异小于文献中报道的差异。尽管如此,GNN-FiLM在分子图回归任务上的表现优于基线方法,并在其他任务上表现出竞争力。
2020-06-26 cs.LG stat.ML
Quantitative Evaluation of Explainable Graph Neural Networks for Molecular Property Prediction
Sun Yat-sen University(中山大学);Galixir
机器学习的进展已经导致用于药物发现的基于图神经网络的方法,在分子设计、化学合成规划和分子性质预测方面产生有希望的结果。然而,目前的图神经网络(GNN)仍然是有限的接受在药物发现是有限的,由于他们缺乏可解释性。虽然这一主要弱点已经通过可解释人工智能(XAI)技术的发展得到缓解,但大多数可解释任务中的“地面实况”分配最终取决于人类的主观判断,因此模型解释的质量很难量化评估。在这项工作中,我们首先建立了三个层次的基准数据集,以定量评估最先进的GNN模型的可解释性。然后,我们结合不同的GNN算法实施了最新的XAI方法,以强调药物发现的好处、局限性和未来机会。因此,GradInput和IG通常为GNN提供最佳的模型可解释性,特别是与GraphNet和CMPNN结合使用时。集成和开发的XAI软件包是完全开源的,可供从业人员用于训练其他药物发现任务的新模型。
2021-07-12 cs.LG q-bio.QM
Two-level Graph Neural Network
Xiamen University(厦门大学);University of York(约克大学)
图神经网络(GNN)是最近提出的用于处理图结构数据的神经网络结构。现有的GNN由于采用了邻居聚合策略,只注重获取节点级信息,而忽略了高层信息。因此,现有的GNN遭受由局部排列不变性(LPI)问题引起的代表性限制。为了克服这些限制并丰富GNN捕获的功能,我们提出了一种新的GNN框架,称为两级GNN(TL-GNN)。这将子图级信息与节点级信息合并。此外,我们提供了一个数学分析的LPI问题,这表明,子图级的信息是有益的,以克服与LPI相关的问题。提出了一种基于动态规划算法的子图计数方法,该方法的时间复杂度为O(n^3),n为图的节点数。实验表明,TL-GNN优于现有的GNN,并达到最先进的性能。
2022-01-03 cs.AI cs.LG
Should Graph Neural Networks Use Features, Edges, Or Both?
ETH Zurich(苏黎世联邦理工学院)
图神经网络(GNNs)是图数据学习算法的首选。GNN承诺在端到端学习算法中集成(i)节点特征以及(ii)边缘信息。这个承诺实际上是如何实现的?在本文中,我们研究了如何扩展GNNs来解决突出的图分类问题。我们发现,对于图分类,GNN不超过其部分的总和。我们还发现,与特征不同,仅边缘模型的预测并不总是转移到GNN。
2021-03-11 cs.LG
Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks
The Chinese University of Hong Kong(香港中文大学);International Digital Economy Academy(国际数字经济研究院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Carnegie Mellon University(卡内基梅隆大学)
针对现有图神经网络神经架构搜索计算成本高、未利用GNN无需训练即可有表达力的特性等问题,提出基于稀疏编码的神经架构编码方法,线性时间即可实现最优架构搜索,性能和效率均大幅优于基线。
2023-06-16 cs.AI cs.LG
A Survey on Spectral Graph Neural Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore Management University(新加坡管理大学)
图神经网络(GNNs)已经引起了研究界的极大关注。众所周知,GNN通常大致分为空间方法和谱方法。尽管谱GNN在图信号处理和图表示学习中发挥了重要作用,但现有的研究都偏向于空间方法,迄今为止还没有对谱GNN进行全面的综述。本文综述了谱高斯神经网络的模型、理论和应用等方面的研究进展。具体来说,我们首先讨论了空间GNN和谱GNN之间的联系,这表明谱GNN可以捕获全局信息,并且具有更好的表达性和可解释性。接下来,我们根据它们使用的频谱信息,\ie,特征值或特征向量对现有的频谱GNN进行分类。此外,我们回顾了谱GNNs的主要理论结果和应用,然后通过定量实验对一些流行的谱GNNs进行基准测试。最后,我们总结了一些未来的发展方向。
2023-02-11 cs.AI cs.LG cs.SI
GNNHLS: Evaluating Graph Neural Network Inference via High-Level Synthesis
提出开源框架GNNHLS,利用HLS在FPGA上评估GNN推理加速,并通过4个图数据集验证其相对CPU和GPU的显著速度与能效提升。
2023-09-27 cs.AR cs.LG cs.PF
MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Microsoft Research Asia(微软亚洲研究院)
图神经网络(GNN)通过聚合来自邻居的信息,在图表示学习上表现出了表达性能。最近,一些研究讨论了在图上建模邻域分布的重要性。然而,大多数现有的GNN通过单个统计来聚合邻居的特征(例如,mean,max,sum),这丢失了与邻居的特征分布相关的信息,因此降低了模型性能。本文受统计学中矩方法的启发,提出用多阶矩来描述邻域的特征分布。设计了一种新的GNN模型--混合矩图神经网络(MM-GNN),它包括多阶矩嵌入(MME)模块和基于元素注意力的矩适配器模块。MM-GNN首先计算每个节点的邻居的多阶矩作为签名,然后使用基于元素注意力的矩适配器为每个节点的重要矩分配更大的权重并更新节点表示。我们在15个真实世界的图(包括社交网络、引文网络和网页网络等)上进行了广泛的实验。评估我们的模型,结果表明MM-GNN优于现有的国家的最先进的模型。
2023-01-28 cs.LG
Identity-aware Graph Neural Networks
Stanford University(斯坦福大学)
消息传递图神经网络(GNN)为关系数据提供了一个强大的建模框架。然而,现有GNN的表达能力是由1-Weisfeiler-Lehman(1-WL)图同构测试的上限,这意味着GNN不能预测节点聚类系数和最短路径距离,并且不能区分不同的d-正则图。在这里,我们开发了一类消息传递GNN,命名为身份感知图神经网络(ID-GNN),具有比1-WL测试更强的表达能力。ID-GNN为现有GNN的局限性提供了一个最小但强大的解决方案。ID-GNN通过在消息传递过程中归纳考虑节点的身份来扩展现有的GNN架构。为了嵌入给定的节点,ID-GNN首先提取以该节点为中心的自我网络,然后进行多轮异构消息传递,其中将不同的参数集应用于中心节点而不是自我网络中的其他周围节点。我们进一步提出了一个简化但更快的ID-GNN版本,它将节点身份信息作为增强节点特征注入。总而言之,ID-GNN的两个版本代表了消息传递GNN的一般扩展,其中实验表明,将现有GNN转换为ID-GNN,在具有挑战性的节点,边缘和图形属性预测任务上平均提高了40%的准确性;在节点和图形分类基准上提高了3%的准确性;在现实世界的链接预测任务上提高了15%的ROC AUC。此外,ID-GNN表现出比其他特定任务的图网络更好或相当的性能。
2021-02-05 cs.AI cs.LG cs.SI
Dual GNNs: Graph Neural Network Learning with Limited Supervision
Carleton University(卡尔顿大学)
图神经网络(GNN)需要相对大量的标记节点和可靠/未损坏的图连接结构,以便在半监督节点分类任务上获得良好的性能。GNN的性能会随着标记节点数量的减少或图连接结构被对抗攻击破坏或由于数据测量/收集中的噪声而显著降低。因此,重要的是要开发GNN模型,当监督知识有限时,能够实现良好的性能-一些标记的节点和嘈杂的图结构。在本文中,我们提出了一种新的双GNN学习框架来解决这一挑战性任务。该框架有两个基于GNN的节点预测模块。主模块使用输入图结构来诱导具有常规GNN基线的常规节点嵌入和预测,而辅助模块通过细粒度谱聚类构建新的图结构并学习新的节点嵌入和预测。通过将这两个模块集成到双GNN学习框架中,我们以端到端的方式进行联合学习。这一总体框架可以应用于许多GNN基线模型。实验结果表明,当标记节点较少且图连通结构有噪声时,所提出的对偶GNN框架可以大大优于GNN基线方法。
2021-06-29 cs.AI cs.LG
GPT-GNN: Generative Pre-Training of Graph Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Microsoft Research(微软研究院)
图神经网络(GNN)已被证明是强大的建模图结构的数据。然而,训练GNN通常需要大量特定于任务的标记数据,而获得这些数据通常非常昂贵。减少标记工作的一种有效方法是在具有自我监督的未标记数据上预训练表达性GNN模型,然后将学习到的模型转移到只有几个标签的下游任务。在本文中,我们提出了GPT-GNN框架,通过生成预训练来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务来预训练GNN,以便它可以捕获图的结构和语义属性。我们将图生成的可能性分解为两个部分:1)属性生成和2)边生成。通过对这两个组件进行建模,GPT-GNN在生成过程中捕获了节点属性和图结构之间的固有依赖关系。在十亿规模的开放学术图谱和亚马逊推荐数据上进行的综合实验表明,GPT-GNN在各种下游任务中的性能明显优于没有预训练的最先进的GNN模型,最高可达9.1%。
2020-06-27 cs.LG cs.SI stat.ML
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络(CNN)的推广,其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则,GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明,GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能,这些性能可以通过经验观察到。它还表明,如果图收敛到一个极限对象,一个graphon,GNNs收敛到相应的极限对象,一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
Geodesic Graph Neural Network for Efficient Graph Representation Learning
Washington University in St. Louis(圣路易斯华盛顿大学);Peking University(北京大学)
图神经网络(GNN)最近已被应用于图学习任务,并取得了最先进的(SOTA)结果。然而,许多有竞争力的方法通过子图提取和自定义标记多次运行GNN,以捕获普通GNN难以学习的信息。这样的操作是耗时的,并且不能扩展到大型图。在本文中,我们提出了一个高效的GNN框架,称为Geodesic GNN(GDGNN),它只需要运行一次GNN,并将节点之间的条件关系注入到模型中,而无需标记。该策略有效地减少了子图方法的运行时间。具体来说,我们将两个节点之间的最短路径视为它们周围邻域的空间图上下文。最短路径上节点的GNN嵌入用于生成测地线表示。在测地线表示的条件下,GDGNN可以生成节点,链接和图形表示,这些表示比普通GNN携带更丰富的结构信息。我们从理论上证明了GDGNN比普通GNN更强大。我们目前的实验结果表明,GDGNN在各种图学习任务上与SOTA GNN模型相比具有很强的竞争力,同时花费的时间明显更少。
2023-02-12 cs.LG
Expressiveness and Approximation Properties of Graph Neural Networks
University of Antwerp(安特卫普大学);Pontificia Universidad Católica de Chile(智利天主教大学);IMFD(智利数学与计算机科学研究所)
表征图神经网络(GNN)的分离能力,可以理解它们在图学习任务中的局限性。然而,关于分离能力的结果通常针对特定的GNN架构,并且通常缺乏理解任意GNN架构的工具。我们提供了一种优雅的方法来轻松地获得GNN分离能力的界限,Weisfeiler-Leman(WL)测试已经成为衡量GNN分离能力的标尺。关键是将GNN视为描述GNN层中计算的过程张量语言的表达式。然后,通过简单的分析所获得的表达式,在索引的数量和嵌套深度的总和方面,在WL测试方面的分离能力的界限容易遵循。我们使用张量语言来定义高阶消息传递神经网络(或k-MPNN),这是MPNN的自然扩展。此外,张量语言的观点允许以自然的方式导出GNN类的普适性结果。我们的方法提供了一个工具箱,GNN架构设计人员可以使用它来分析他们的GNN的分离能力,而不需要知道WL测试的复杂性。我们还提供了提高GNN分离能力所需的见解。
2022-04-10 cs.LG
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Dept. of Electrical and Systems Eng.(电气与系统工程系);Philadelphia, PA 19143(费城,PA 19143)
图神经网络(GNN)依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的,并且不依赖于图,因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中,我们引入图子NN作为GNN的极限对象,并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的,则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
CF-GNNExplainer: Counterfactual Explanations for Graph Neural Networks
University of Amsterdam(阿姆斯特丹大学);Sapienza University of Rome(罗马萨皮恩扎大学)
鉴于图神经网络(GNN)在现实世界中的应用前景越来越好,已经开发了几种方法来解释它们的预测。用于解释GNN预测的现有方法主要集中在生成与特定预测特别相关的子图。然而,这种方法本质上并不是反事实的(CF):给定一个预测,我们想知道如何改变预测以实现另一种结果。在这项工作中,我们提出了一种为GNN生成CF解释的方法:对输入(图)数据的最小扰动,使得预测发生变化。仅使用边缘删除,我们发现我们的方法CF-GNNExplainer可以为GNN解释的三个广泛使用的数据集上的大多数实例生成CF解释,同时平均删除不到3条边缘,准确率至少为94%。这表明CF-GNNExplainer主要删除对原始预测至关重要的边缘,从而导致CF解释最少。
2022-02-22 cs.AI cs.LG
Generalization and Representational Limits of Graph Neural Networks
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
我们解决了关于图神经网络(GNNs)的两个基本问题。首先,我们证明了几个重要的图形属性不能由完全依赖于局部信息的GNN计算。这样的GNN包括标准的消息传递模型,以及利用局部图结构的更强大的空间变体(例如,经由消息的相对定向或本地端口排序)来区分每个节点的邻居。我们的治疗包括一个新的图论形式主义。其次,我们为消息传递GNN提供了第一个数据相关的泛化边界。这种分析明确地解释了GNN的局部置换不变性。我们的边界比现有的基于VC维的GNN保证要严格得多,并且与递归神经网络的Rademacher边界相当。
2020-02-14 cs.LG stat.ML
DF-GNN: Dynamic Fusion Framework for Attention Graph Neural Networks on GPUs
Shanghai Jiao Tong University(上海交通大学);Amazon Web Services(亚马逊网络服务)
针对注意力图神经网络在GPU上训练效率低的问题,本文提出动态内核融合框架DF-GNN,通过动态双层线程调度解决数据移动、启动开销和负载不均衡问题,实现最高7倍加速。
2024-11-25 cs.LG cs.PF
MAF-GNN: Multi-adaptive Spatiotemporal-flow Graph Neural Network for Traffic Speed Forecasting
交通量预测是智能交通监控系统的核心内容。基于图神经网络的方法已被广泛用于此任务,以有效地捕捉道路网络的空间和时间依赖性。然而,这些方法不能有效地定义复杂的网络拓扑结构。此外,它们的级联网络结构在时间和空间维度上都存在传输不同特征的局限性。本文提出了一种多自适应时空流图神经网络(MAF-GNN)的交通速度预测方法。MAF-GNN引入了一种有效的多自适应邻接矩阵机制来捕获交通节点之间的多个潜在空间依赖关系。此外,我们提出了时空流模块,旨在进一步提高在时间和空间维度的特征传播。MAF-GNN在METR-LA和PeMS-Bay两个真实的公交网络数据集上取得了比其他模型更好的性能,证明了该方法的有效性。
2022-03-09 cs.LG
Dirichlet Energy Constrained Learning for Deep Graph Neural Networks
Texas A&M University(德克萨斯农工大学);The Hong Kong Polytechnic University(香港理工大学);Samsung Research America(三星美国研究院);Samsung Electronics(三星电子)
图神经网络(GNNs)以有效的方式集成了深层架构和拓扑结构建模。然而,由于过度平滑问题,现有GNN的性能在堆叠许多层时会显着下降。当GNN保持递归地聚合邻居的表示时,节点嵌入倾向于收敛到相似的向量。为了实现深度GNN,最近已经探索了几种方法。但它们是从卷积神经网络中的技术或启发式策略发展而来的。没有可推广的理论原则来指导深度GNN的设计。为此,我们通过利用节点嵌入的Dirichlet能量来分析深度GNN的瓶颈,并提出一个可推广的原则来指导深度GNN的训练。在此基础上,设计了一种新的深度GNN框架-- EGNN。它可以在每一层的狄利克雷能量方面提供下限和上限约束,以避免过度平滑。实验结果表明,EGNN达到国家的最先进的性能,通过使用深层。
2021-07-06 cs.LG
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo(东京大学)
图神经网络(GNN)是将图数据作为输入的深度学习模型,并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而,由于GNN的复杂性,很难分析输入的哪些部分影响GNN模型的输出。在这项研究中,我们扩展了卷积神经网络(CNN)的可解释性方法,例如局部可解释模型不可知性解释(LIME),基于显着性的映射和基于显着性的加权类激活映射(Grad-CAM)到GNN,并预测输入图中的哪些边对GNN决策很重要。实验结果表明,基于LIME的方法是最有效的可解释性方法,在现实世界的情况下,多个任务,甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
Revisiting Embeddings for Graph Neural Networks
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
当前的图表示学习技术使用图神经网络(GNN)从数据集嵌入中提取特征。在这项工作中,我们检查了这些嵌入的质量,并评估了改变它们如何影响GNN的准确性。我们探索了图像和文本的不同嵌入提取技术;并发现不同GNN架构的性能取决于所使用的嵌入风格。我们在可用的图形数据集中看到了词袋(BoW)嵌入和文本分类任务的流行。考虑到嵌入对GNN性能的影响。这导致GNN针对BoW向量被优化的现象。
2022-11-29 cs.LG
GNN4EEG: A Benchmark and Toolkit for Electroencephalography Classification with Graph Neural Network
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学)
该研究发布GNN4EEG工具包,提供基于123名参与者、四项任务的EEG分类基准,集成DGCNN、RGNN等GNN模型及完整评估协议。
2023-09-27 cs.LG cs.MM
Random Features Strengthen Graph Neural Networks
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
图神经网络(GNN)是用于各种图学习任务的强大的机器学习模型。最近,各种GNN模型的表达能力的局限性已经被揭示出来。例如,GNN不能区分一些非同构图,并且它们不能学习有效的图算法。在本文中,我们证明了GNN仅仅通过向每个节点添加随机特征就变得强大。我们证明了随机特征使GNNs能够学习近似比方面的最小支配集问题和最大匹配问题的多项式时间近似算法。我们的方法的主要优点是,它可以与现成的GNN模型进行轻微的修改。通过实验,我们证明了随机特征的加入使GNNs能够解决普通GNNs(包括图卷积网络(GCN)和图同构网络(GIN))无法解决的各种问题。
2021-01-18 cs.LG stat.ML
Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective
Southeast University(东南大学);Chinese Academy of Sciences(中国科学院);Purple Mountain Laboratories(紫金山实验室)
近年来,为下游任务设计的基于图的模型极大地推进了对图神经网络(GNN)的研究。基于神经消息传递机制(如GCN和GAT)的GNN基线随着网络的深化而表现更差。因此,已经提出了许多GNN变体来解决这个性能下降问题,包括许多深度GNN。然而,仍然缺乏一个统一的框架来连接这些现有的模型,并在高层次上解释其有效性。在这项工作中,我们专注于深度GNN,并提出了一个新的观点来理解它们。我们建立了一个理论框架,通过推理的概率图模型。给定从马尔可夫随机场的变分推理导出的不动点方程(FPE),深度GNN(包括JKNet,GCNII,DGCN)和经典GNN(如GCN,GAT和APPNP)可以被视为FPE的不同近似。此外,在此框架下,FPE的更准确的近似,指导我们设计一个更强大的GNN:耦合图神经网络(CoGNet)。对引文网络和自然语言处理下游任务进行了广泛的实验。结果表明,CoGNet优于SOTA模型。
2023-01-25 cs.LG
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
AutoGraph: Automated Graph Neural Network
The Chinese University of Hong Kong(香港中文大学);Lenovo Machine Intelligence Center(联想机器智能中心)
图在许多应用中起着重要的作用。最近,图神经网络(GNNs)在图分析任务中取得了可喜的成果。已经提出了一些最先进的GNN模型,例如,图卷积网络(GCN)、图注意力网络(GAT)等。尽管取得了这些成功,但大多数GNN只有浅层结构。这导致了GNN的低表达能力。为了充分利用深度神经网络的能力,最近已经提出了一些深度GNN。然而,深度GNN的设计需要大量的架构工程。在这项工作中,我们提出了一种自动化深度GNNs设计的方法。在我们提出的方法中,我们向GNNs搜索空间添加了一种新型的跳过连接,以鼓励特征重用并缓解消失梯度问题。我们还允许我们的进化算法在进化过程中增加GNN的层数,以生成更深的网络。我们在图节点分类任务中评估我们的方法。实验结果表明,该方法生成的GNN在Cora、Citeseer、Pubmed和PPI数据集上都能获得最佳结果。
2020-11-23 cs.AI cs.LG cs.SI
Position-aware Graph Neural Networks
Stanford University(斯坦福大学)
学习节点嵌入,捕获节点在更广泛的图结构中的位置,对于图上的许多预测任务至关重要。然而,现有的图神经网络(GNN)架构在捕获给定节点相对于图的所有其他节点的位置/定位方面具有有限的能力。在这里,我们提出了位置感知图神经网络(P-GNNs),这是一类新的用于计算位置感知节点嵌入的GNNs。P-GNN首先对锚节点集进行采样,计算给定目标节点到每个锚集的距离,然后在锚集上学习非线性距离加权聚合方案。通过这种方式,P-GNN可以捕获节点相对于锚节点的位置/定位。P-GNN有几个优点:它们是归纳的,可扩展的,并且可以包含节点特征信息。我们将P-GNN应用于多个预测任务,包括链接预测和社区发现。我们表明,P-GNN始终优于最先进的GNN,在ROC AUC评分方面提高了66%。
2019-06-13 cs.LG cs.SI stat.ML
GNNear: Accelerating Full-Batch Training of Graph Neural Networks with Near-Memory Processing
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路高精尖创新中心)
最近,图神经网络(GNN)已经成为分析非欧几里德图数据的最先进的算法。然而,实现有效的GNN训练是具有挑战性的,特别是在大型图上。原因有很多:1)GNN训练会占用大量内存。在大型图上进行全批训练甚至需要数百到数千GB的内存。2)GNN训练涉及内存密集型和计算密集型操作,挑战当前的CPU/GPU平台。3)图形的不规则性会导致严重的资源利用不足和负载不平衡问题。本文提出了一个GNNear加速器来应对这些挑战。GNNear采用基于DIMM的存储系统,提供足够的存储容量。为了匹配GNN训练的异构性,我们将内存密集型Reduce操作卸载到DIMM内的Near-Memory-Engines(NME),充分利用高聚合本地带宽。我们采用了一个集中加速引擎(CAE)来处理计算密集型的更新操作。我们进一步提出了几种优化策略来处理输入图的不规则性,提高GNNear的性能。通过对16个GNN训练任务的综合评估,GNNear与Xeon E5-2698-v4 CPU和NVIDIA V100 GPU相比,实现了30.8 $\times$ /2.5 $\times$几何平均加速比和79.6 $\times$ /7.3 $\times$(几何平均)能效提升。
2022-08-16 cs.AR cs.LG
Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学)
图神经网络(GNNs)由于其在基于图的任务上的优异性能而受到广泛关注。然而,现有的GNN研究集中在设计更有效的模型,而没有考虑输入数据的质量。在本文中,我们提出了自增强GNN(SEG),它使用现有GNN模型的输出来提高输入数据的质量,以获得更好的半监督节点分类性能。由于图数据由拓扑和节点标签组成,我们从这两个角度提高了输入数据质量。对于拓扑结构,我们观察到,当类间边缘(连接不同类的节点)的比率较低时,可以实现更高的分类精度,并提出拓扑结构更新以删除类间边缘并添加类内边缘。对于节点标签,我们提出了训练节点增强,它使用现有GNN模型预测的标签来扩大训练集。SEG是一个通用框架,可以很容易地与现有的GNN模型相结合。实验结果验证了SEG在不同数据集上一致地提高了GCN,GAT和SGC等知名GNN模型的性能。
2021-04-19 cs.LG stat.ML
EDITS: Modeling and Mitigating Data Bias for Graph Neural Networks
University of Virginia(弗吉尼亚大学);University of Georgia(佐治亚大学);U.S. Army Research Laboratory(美国陆军研究实验室)
图神经网络(GNN)在分析各种基于Web的应用(如社交推荐和Web搜索)中的属性网络方面表现出卓越的性能。然而,在高风险决策场景中,例如在线欺诈检测,越来越多的社会关注GNN可能会对某些人口群体做出歧视性决定。尽管最近对公平的GNN进行了探索,但这些工作都是针对特定的GNN模型量身定制的。然而,已经针对不同的应用提出了无数的GNN变体,并且针对每个特定的GNN架构微调现有的去偏置算法是昂贵的。与现有的对GNN模型进行去偏置的工作不同,我们的目标是通过给GNN提供更少的偏置数据来对输入属性网络进行去偏置,以实现更公平的GNN。具体来说,我们提出了新的定义和度量来衡量属性网络中的偏差,这导致了优化目标,以减轻偏差。然后,我们开发了一个框架EDITS来减轻属性网络中的偏差,同时保持GNN在下游任务中的性能。EDITS以与模型无关的方式工作,即,它独立于任何特定GNN。实验证明了所提出的偏差度量的有效性和EDITS在偏差缓解和效用维护方面的优越性。开放源代码实施:https://github.com/yushundong/EDITS。
2022-02-19 cs.LG
IV-GNN : Interval Valued Data Handling Using Graph Neural Network
Indian Statistical Institute(印度统计研究所)
图神经网络(GNN)是在图上执行标准机器学习的强大工具。为了使非欧几里德图形数据中的每个节点都具有欧几里德表示,GNN沿着图形的边缘递归地进行邻域聚合和信息组合。尽管在文献中有许多GNN变体,但没有模型可以处理具有区间值特征的节点的图。本文提出了一种区间值图神经网络,一种新的GNN模型,其中,我们第一次放松了限制的特征空间是可数的。我们的模型比现有的模型更一般,因为任何可数集总是全集$R^{n}$的子集,这是不可数的。在这里,为了处理区间值特征向量,我们提出了一个新的区间聚合方案,并展示了其表达能力,以捕捉不同的区间结构。我们通过将其性能与几个基准网络和合成数据集上的最先进模型的性能进行比较,验证了我们关于图分类任务模型的理论研究结果。
2021-11-17 cs.AI cs.LG
Distributed Graph Neural Network Training: A Survey
Beijing University of Posts and Telecommunications(北京邮电大学);Carnegie Mellon University(卡内基梅隆大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);Peking University(北京大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本综述针对分布式图神经网络训练的三大挑战,提出优化技术新分类体系并梳理各类技术,总结了适配不同硬件的现有系统,指明了未来研究方向。
2023-08-25 cs.AI cs.DB cs.DC