Graph Neural Networks: Taxonomy, Advances and Trends
Taiyuan University of Technology（太原理工大学）；Shanxi Spatial Information Network Engineering Technology Research Center（山西省空间信息网络工程技术研究中心）；Shanxi Intelligent Perception Engineering Research Center（山西省智能感知工程研究中心）
图神经网络提供了一个强大的工具包，用于根据特定任务将真实世界的图嵌入到低维空间中。截至目前，已有多项关于该主题的调查。但是，它们往往侧重于不同的角度，使读者无法看到图神经网络的全貌。本文旨在克服这一局限性，对图神经网络进行全面的综述。首先，我们为图神经网络提供了一种新的分类方法，然后参考了多达400篇相关文献，展示了图神经网络的全貌。所有这些都被归入相应的类别。为了推动图神经网络进入一个新的阶段，我们总结了四个未来的研究方向，以克服所面临的挑战。希望越来越多的学者能够理解和利用图神经网络，并将其应用于研究领域。
2022-02-25 cs.LG
Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?
UCSB（加州大学圣巴巴拉分校）；Adobe（奥多比公司）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了求解图神经正切核（GNTK）是否等价于训练无限宽图神经网络，证明了图级回归的等价性，并首次提出并证明了节点级回归的GNTK公式与等价性。
2023-09-14 cs.LG
GraphPAS: Parallel Architecture Search for Graph Neural Networks
Central South University（中南大学）；State Grid Hunan Electric Power Company Limited（国网湖南省电力有限公司）；Alibaba Group（阿里巴巴集团）
近年来，随着图神经网络在非欧数据上的成功应用，图神经结构搜索受到了广泛关注。然而，在巨大的搜索空间中探索所有可能的GNN架构对于大图数据来说太耗时或不可能。在本文中，我们提出了一个并行图结构搜索（GraphPAS）框架的图神经网络。在GraphPAS中，我们通过设计一种基于共享的进化学习来并行探索搜索空间，这可以在不损失准确性的情况下提高搜索效率。此外，动态地采用结构信息熵作为变异选择概率，减少了空间探索。实验结果表明，GraphPAS在效率和准确性方面同时优于最先进的模型。
2021-12-07 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University（杜克大学）
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法，如成对马尔可夫随机场（pMRF）和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而，现有的基于pMRF的方法不如图神经网络准确，这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中，我们的目标是解决现有的基于pMRF的方法的关键限制。特别是，我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明，我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调，以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Neural Graph Matching for Pre-training Graph Neural Networks
Ant Group（蚂蚁集团）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）
近年来，图神经网络（GNNs）在结构化数据建模方面表现出强大的能力。然而，当适应下游任务时，它通常需要大量的特定于任务的标记数据，而这些数据在实践中可能非常稀缺。解决数据稀缺问题的一个有前途的解决方案是在大量未标记图或粗粒度标记图上预训练可转移和表达的GNN模型。然后，预训练的GNN在下游数据集上进行微调，并带有特定于任务的细粒度标签。在本文中，我们提出了一种新的基于图匹配的GNN预训练框架，称为GMPT。专注于一对图，我们建议通过神经图匹配来学习它们之间的结构对应关系，包括图内消息传递和图间消息传递。通过这种方式，当与不同的图配对时，我们可以学习给定图的自适应表示，并且在单个预训练任务中自然地考虑节点和图级别的特征。该方法可用于完全自监督预训练和粗粒度监督预训练。我们进一步提出了一个近似的对比训练策略，以显着减少时间/内存消耗。在多域、分布外的基准测试上的大量实验证明了我们方法的有效性。该代码可从以下网址获取：https://github.com/RUCAIBox/GMPT。
2022-03-03 cs.LG
Benchmarking Graph Neural Networks on Link Prediction
Auburn University（奥本大学）
在本文中，我们基准测试几个现有的图神经网络（GNN）模型在不同的数据集上的链接预测。特别地，图卷积网络（GCN）、GraphSAGE、图注意力网络（GAT）以及变分图自动编码器（VGAE）被实现为专用于链接预测任务，执行深入分析，并且复制来自几篇不同论文的结果，还提供了更公平和系统的比较。我们的实验表明，这些GNN架构执行类似的各种基准链接预测任务。
2021-02-24 cs.LG
Graph Sparsifications using Neural Network Assisted Monte Carlo Tree Search
University of California, Irvine（加州大学欧文分校）；University of Arizona（亚利桑那大学）
本文提出结合图神经网络与蒙特卡洛树搜索的图稀疏化方法，在多种图上优于标准近似算法，常能求得最优解。
2023-11-17 cs.LG
Graph Neural Networks and Time Series as Directed Graphs for Quality Recognition
University of Lancaster（兰卡斯特大学）；University of Bologna（博洛尼亚大学）
该研究将时间序列表示为编码时间依赖的有向图，并提出监督分类器与类自编码器两种几何深度学习模型，用于质量识别和信号重建。
2023-10-04 cs.LG
Graph-level Neural Networks: Current Progress and Future Directions
Macquarie University（麦考瑞大学）；University of Wollongong（伍伦贡大学）；Chinese Academy of Sciences（中国科学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Wuhan University（武汉大学）；Beihang University（北京航空航天大学）
由对象组成的图形结构数据（即，节点）和对象之间的关系（即，边缘）是普遍存在的。图级学习是研究一组图而不是单个图的问题。传统的图级学习方法曾经是主流。然而，随着图的规模和复杂性的增加，图级神经网络（GLNN，基于深度学习的图级学习方法）由于其在建模高维数据方面的优势而备受关注。因此，对GLNN的研究是必要的。为了构建这项调查，我们提出了一个系统的分类法，涵盖了深度神经网络，图神经网络和图池的GLNN。每个类别中的代表性和最先进的模型都集中在这次调查中。我们还研究了GLNN的再现性，基准和新的图形数据集。最后，我们总结了未来的发展方向，进一步推动GLNN。该调查的资料库可在https://github.com/GeZhangMQ/Awesome-Graph-level-Neural-Networks上查阅。
2022-05-31 cs.LG
Graph Coordinates and Conventional Neural Networks -- An Alternative for Graph Neural Networks
Colorado State University（科罗拉多州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出TCNN和DVCNN两种直接利用图拓扑的神经网络，作为消息传递GNN的高效替代，在OGBN基准上以更少参数达到相当或更优性能。
2023-12-03 cs.LG
Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks
该研究提出SIGIL框架，通过结构交互图和关系消息传递网络实现图特征的统一表示，可用于全归纳链接预测，还能统一多种图基础模型设计范式。
2026-08-14 cs.LG
Permutation Equivariant Neural Controlled Differential Equations for Dynamic Graph Representation Learning
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；City University of Hong Kong（香港城市大学）；IAR, Karlsruhe Institute of Technology（卡尔斯鲁厄技术大学IAR研究所）；Department of Psychiatry, Warneford Hospital（沃内福德医院精神病科）
本文提出置换等变神经图受控微分方程，通过将模型投影到置换等变空间减少参数，提升动态图表示学习的训练效率与泛化，在插值和外推任务中表现更优。
2025-10-27 cs.LG
Physics Inspired Neural Networks Enable Efficient Graph Coloring
Sapienza University of Rome（罗马萨皮恩扎大学）
本文提出一种受物理启发的神经框架，结合图神经网络和统计力学原理，高效解决大规模图着色问题，接近理论动态相变并实现接近最优的检测性能。
2026-10-21 cs.LG
Neural Priority Queues for Graph Neural Networks
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
针对图神经算法推理中外部存储增强研究不足的问题，提出可微的神经优先级队列模块，验证其符合存储设计准则，且在算法推理和长程图交互任务上表现有效。
2023-07-18 cs.LG
Asynchronous Neural Networks for Learning in Graphs
ETH Zurich（苏黎世联邦理工学院）
本文研究异步消息传递（AMP），这是一种将基于神经网络的学习应用于图的新范式。现有的图神经网络采用同步分布式计算模型，在每一轮中对相邻节点进行聚合，导致了过平滑等问题，限制了其表达能力。另一方面，AMP基于异步模型，其中节点单独对其邻居的消息做出反应。我们证明了（i）AMP可以模拟同步GNN，（ii）AMP可以在理论上区分任何一对图。我们实验验证AMP的表现力。此外，我们表明，AMP可能更适合于在图形中长距离传播消息，并在几个图形分类基准上表现良好。
2022-05-24 cs.LG
Review of blockchain application with Graph Neural Networks, Graph Convolutional Networks and Convolutional Neural Networks
本文综述了GNN、GCN和CNN在区块链中的应用，分析其如何提升效率、安全性与可扩展性，并展望未来研究方向。
2024-10-01 cs.LG
Bag Graph: Multiple Instance Learning using Bayesian Graph Neural Networks
McGill University（麦吉尔大学）
多实例学习（MIL）是一个弱监督学习问题，其目标是为实例集或实例包分配标签，而不是传统的监督学习，其中每个实例被假设为独立同分布（IID）并单独标记。最近的工作表明，在MIL设置的神经网络模型有前途的结果。这些模型不是专注于每个实例，而是以端到端的方式进行训练，通过适当地将置换不变池化技术与神经架构相结合来学习有效的袋级表示。在本文中，我们考虑使用图对袋子之间的交互进行建模，并采用图神经网络（GNNs）来促进端到端学习。由于很少有表示袋子之间依赖关系的有意义的图，我们建议使用贝叶斯GNN框架，该框架可以为图中存在不确定性或没有图可用的情况生成可能的图结构。实证结果表明，所提出的技术的有效性为几个MIL基准任务和分布回归任务。
2022-02-22 cs.LG
Differential equation and probability inspired graph neural networks for latent variable learning
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
针对从观测数据学习隐变量的问题，本文受概率理论与微分方程启发，提出基于变分推断与微分方程的图神经网络方案，用于解决子空间学习任务以获取高效表示。
2025-02-12 cs.LG
Should Graph Neural Networks Use Features, Edges, Or Both?
ETH Zurich（苏黎世联邦理工学院）
图神经网络（GNNs）是图数据学习算法的首选。GNN承诺在端到端学习算法中集成（i）节点特征以及（ii）边缘信息。这个承诺实际上是如何实现的？在本文中，我们研究了如何扩展GNNs来解决突出的图分类问题。我们发现，对于图分类，GNN不超过其部分的总和。我们还发现，与特征不同，仅边缘模型的预测并不总是转移到GNN。
2021-03-11 cs.LG
Research on the application of graph data structure and graph neural network in node classification/clustering tasks
本文研究图数据结构、经典图算法与GNN，在节点分类和聚类任务上比较评估，证明GNN准确率提升43%至70%，并提出二者融合策略。
2025-07-20 cs.LG
Hop-Hop Relation-aware Graph Neural Networks
University of Sheffield（谢菲尔德大学）
图神经网络广泛应用于图表示学习。然而，大多数GNN方法都是针对同构或异构图设计的。在本文中，我们提出了一个新的模型，Hop-Hop感知图神经网络（HHR-GNN），统一这两种类型的图的表示学习。HHR-GNN通过利用知识图谱嵌入来学习中心节点在不同跳处的表示之间的关系分数，从而为每个节点学习个性化的感受域。在邻域聚合中，我们的模型同时允许跳感知投影和聚合。该机制使中心节点能够学习可应用于同质和异构图的逐跳邻域混合。五个基准测试的实验结果显示，与最先进的GNN相比，我们的模型具有竞争力的性能，例如，在大型异构图上，每个训练时期的时间成本提高了13 K。
2020-12-21 cs.LG
On the Stability of Graph Convolutional Neural Networks under Edge Rewiring
University of Oxford（牛津大学）；Swiss Data Science Center（瑞士数据科学中心）
图神经网络在机器学习社区中受到了广泛的欢迎，因为它们能够适应非欧几里德域并注入归纳偏差。尽管如此，它们的稳定性，即，它们对输入中的小扰动的鲁棒性还没有很好地理解。虽然有一些结果表明图神经网络的稳定性，大多数采取的形式上界的变化幅度，由于在图的拓扑结构的扰动。然而，在现有的边界中捕获的图拓扑结构的变化往往不能用结构属性来表示，这限制了我们对模型鲁棒性的理解。在这项工作中，我们开发了一个可解释的上限阐明，图神经网络是稳定的高度节点之间的重新布线。这一界和对相似类型界的进一步研究为进一步理解图神经网络的稳定性提供了依据。
2021-02-18 cs.LG
Neural Approximation of Graph Topological Features
Wangxuan Institute of Computer Technology（王选计算机研究所）；Peking University（北京大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Halıcıoğlu Data Science Institute（哈利奇奥卢数据科学研究所）；University of California（加利福尼亚大学）；Stony Brook University（石溪大学）
基于持久同源性的拓扑特征捕捉了高阶结构信息，从而增强了图神经网络方法。然而，计算扩展的持久同源性摘要对于大而密集的图仍然很慢，并且可能是学习管道的严重瓶颈。受最近神经算法推理成功的启发，我们提出了一种新的图神经网络来有效地估计图上的扩展持久性图（EPD）。我们的模型建立在算法见解的基础上，并受益于更好的监督和与EPD计算算法更紧密的一致性。我们验证了我们的方法与令人信服的实证结果近似EPD和下游图表示学习任务。我们的方法也很高效;在大型密集图上，我们将计算速度加快了近100倍。
2022-11-15 cs.LG
IGNN-Solver: A Graph Neural Solver for Implicit Graph Neural Networks
School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Shanghai Jiao Tong University（上海交通大学）；Renmin University of China（中国人民大学）；Huawei（华为）；School of Science, Wuhan University of Technology（武汉理工大学理学院）
针对隐式图神经网络定点迭代成本高、难扩展的问题，提出由微型GNN参数化的IGNN-Solver，并结合稀疏化与存储压缩，在保持精度下实现1.5–8倍推理加速。
2025-02-18 cs.LG
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程（GNP），其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入，并输出目标点上的分布。我们展示了图神经过程中的边缘插补，并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Dept. of Electrical and Systems Eng.（电气与系统工程系）；Philadelphia, PA 19143（费城，PA 19143）
图神经网络（GNN）依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的，并且不依赖于图，因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中，我们引入图子NN作为GNN的极限对象，并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的，则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
Graphs Unveiled: Graph Neural Networks and Graph Generation
University of Miskolc（米什科尔茨大学）
本文是一篇关于图神经网络（GNNs）的全面综述，探讨了其在各领域的应用，并介绍了图生成这一前沿领域。
2024-03-18 cs.AI cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常，图神经网络（GNN）一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此，以前的研究表明，图神经网络的性能变得脆弱时，有异常节点的邻居，由于这种消息传递方法。在本文中，受神经结构搜索方法的启发，我们提出了一种算法，识别异常节点，并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明，我们提出的基于神经结构搜索的抗异常图神经网络（NASAR-GNN）实际上是有效的。
2021-12-19 cs.AI cs.LG
On Node Features for Graph Neural Networks
EPFL（洛桑联邦理工学院）；HUST（华中科技大学）；Google（谷歌公司）；Griffith University（格里菲斯大学）
图神经网络（GNN）是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而，这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明，如果节点特征和节点标签之间存在很强的相关性，GNN就能很好地工作。基于这些结果，我们提出了新的特征初始化方法，允许将图神经网络应用于非属性图。我们的实验结果表明，人工特征具有很强的竞争力，真正的功能。
2019-11-20 cs.LG stat.ML
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架，证明图态可作为参数化量子电路表征神经网络，也可作为底层结构在量子计算机上构建图神经网络，为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
Factor Graph Neural Network
National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
大多数成功的深度神经网络架构都是结构化的，通常由卷积神经网络和门控递归神经网络等元素组成。最近，图神经网络已经成功地应用于图结构化数据，例如点云和分子数据。这些网络通常只考虑成对依赖关系，因为它们是在图结构上操作的。我们推广的图神经网络到一个因素图神经网络（FGNN），以捕捉高阶依赖。我们表明，FGNN是能够代表最大产品的信念传播，概率图模型的近似推理算法，因此，它是能够做得很好，当最大产品做得很好。在合成数据集和真实数据集上的实验结果表明了该模型的有效性。
2019-06-03 cs.LG stat.ML
De Bruijn goes Neural: Causality-Aware Graph Neural Networks for Time Series Data on Dynamic Graphs
Julius-Maximilians-Universität Würzburg（维尔茨堡朱利叶斯-马克西米利安大学）；University of Zurich（苏黎世大学）
我们介绍了De Bruijn图神经网络（DBGNNs），一种新的时间感知图神经网络架构，用于动态图上的时间分辨数据。我们的方法占时间拓扑模式展开的因果拓扑的动态图，这是由因果散步，即时间上有序的链接序列，节点可以随着时间的推移相互影响。我们的架构建立在多层高阶De Bruijn图上，这是一种迭代线图构造，其中k阶De Bruijn图中的节点表示长度为k-1的行走，而边表示长度为k的行走。我们开发了一个图神经网络架构，利用德布鲁因图实现的消息传递计划，遵循非马尔可夫动力学，这使我们能够学习模式的因果拓扑结构的动态图。为了解决具有不同阶数k的De Bruijn图可以用于对同一数据集进行建模的问题，我们进一步应用统计模型选择来确定用于消息传递的最佳图拓扑。对合成和经验数据集的评估表明，DBGNN可以利用动态图中的时间模式，这大大提高了监督节点分类任务的性能。
2022-09-17 cs.AI cs.LG
Graph and graphon neural network stability
University of Pennsylvania（宾夕法尼亚大学）
图神经网络（GNN）是一种学习架构，它依赖于图结构的知识来生成大规模网络数据的有意义的表示。因此，GNN的稳定性很重要，因为在现实世界的场景中，通常存在与图形相关的不确定性。我们使用称为graphons的内核对象来分析GNN的稳定性。图子既是收敛图序列的极限，也是确定图和随机图的生成模型。基于图子信号处理理论，我们定义了图子神经网络，并分析了它们对图子扰动的稳定性。然后，我们通过将图子神经网络解释为从原始和扰动图子实例化的确定性和随机图上的GNN的生成模型来扩展这种分析。我们观察到，GNNs是稳定的graphon扰动的稳定性界，随着图的大小逐渐减少。这种渐进行为在电影推荐实验中得到进一步证明。
2021-04-26 cs.LG eess.SP
Graph Sequential Neural ODE Process for Link Prediction on Dynamic and Sparse Graphs
Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
动态图上的链接预测是图挖掘中的一个重要任务。基于动态图神经网络（DGNN）的现有方法通常需要大量的历史数据（随时间的交互），这在实践中并不总是可用的。随着时间的推移，丢失的链接是图形数据中的一种常见现象，它进一步加剧了这个问题，从而创建了极其稀疏和动态的图形。为了解决这个问题，我们提出了一种新的方法，基于神经过程，称为图顺序神经ODE过程（GSNOP）。具体来说，GSNOP结合了神经过程和神经常微分方程的优点，将动态图上的链接预测建模为动态变化的随机过程。通过定义函数上的分布，GSNOP将不确定性引入到预测中，使其推广到更多的情况，而不是过度拟合稀疏数据。GSNOP对于可以与任何DGNN集成以考虑用于链接预测的时间和几何信息的模型结构也是不可知的。在三个动态图数据集上的大量实验表明，GSNOP可以显着提高现有DGNN的性能，并优于其他神经过程变体。
2022-11-15 cs.LG cs.SI
Customized Graph Neural Networks
Michigan State University（密歇根州立大学）；Microsoft Research Asia（微软亚洲研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
最近，图神经网络（GNNs）大大推进了图分类的任务。通常，我们首先在给定的训练集中构建一个统一的GNN模型，然后使用这个统一的模型来预测测试集中所有未见过的图的标签。然而，同一数据集中的图通常具有显著不同的结构，这表明统一模型在给定单个图的情况下可能是次优的。因此，在本文中，我们的目标是开发定制的图神经网络的图形分类。具体来说，我们提出了一种新的定制图神经网络框架，即，自定义GNN。给定一个图样本，Customized-GNN可以基于其结构为该图生成一个特定于样本的模型。同时，该框架具有很强的通用性，可以应用于现有的众多图神经网络模型。各种图分类基准上的综合实验证明了所提出的框架的有效性。
2021-12-14 cs.LG stat.ML
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，深度学习彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而，有越来越多的应用程序，其中数据是从非欧几里德域生成的，并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。在本调查中，我们提供了数据采掘和机器学习领域的图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器，时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码，基准数据集和模型评估。最后，我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum（波鸿鲁尔大学）；University of Bonn（波恩大学）
能够处理多关系图的图神经网络（GNN）的许多流行变体可能遭受消失梯度。在这项工作中，我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力，以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明，该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
A Graph Neural Network with Negative Message Passing for Graph Coloring
Bielefeld University（比勒费尔德大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
图神经网络在过去的几年里受到了越来越多的关注，因为它们有希望处理图结构数据的能力，这可以在许多现实世界的问题中找到，例如推荐系统和药物合成。现有的研究大多集中在利用图神经网络来解决同构型问题，而对异构型问题的研究较少。针对图着色这类具有代表性的异质性问题，提出了一种图网络模型。与传统的图网络不同，我们引入负消息传递到建议的图神经网络更有效的信息交换处理图着色问题。此外，一个新的损失函数考虑到节点的自我信息，建议加快学习过程。实验研究进行了比较所提出的图模型与五个国家的最先进的算法对10个公开的图着色问题和一个现实世界的应用。数值结果验证了所提出的图神经网络的有效性。
2023-01-26 cs.LG cs.SI
Quantum Graph Neural Networks
X, The Moonshot Factory（X，登月工厂）；Google Research（谷歌研究院）
我们介绍了量子图神经网络（QGNN），一类新的量子神经网络ansatze是定制的，以表示具有图形结构的量子过程，特别适合于在量子网络上的分布式量子系统上执行。除了这类通用的ansatze，我们还介绍了进一步的专用架构，即量子图递归神经网络（QGRNN）和量子图卷积神经网络（QGCNN）。我们提供了QGNNs的四个示例应用：学习量子系统的哈密顿动力学，学习如何在量子网络中创建多体纠缠，谱聚类的无监督学习和图同构分类的监督学习。
2019-09-26 cs.LG quant-ph
Theory of Graph Neural Networks: Representation and Learning
MIT（麻省理工学院）
图神经网络（GNN）是一种用于学习图的表示的神经网络架构，它已经成为一种流行的学习模型，用于节点、图和点的配置的预测任务，在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果，重点是表示，泛化和外推。一路上，它总结了数学联系。
2022-04-16 cs.LG stat.ML
Graph-to-Sequence Learning using Gated Graph Neural Networks
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
许多NLP应用程序可以被构建为图到序列的学习问题。与基于语法的方法相比，以前提出这种设置的神经架构的工作获得了有希望的结果，但仍然依赖于线性化算法和/或标准递归网络来实现最佳性能。在这项工作中，我们提出了一个新的模型，编码的全部结构信息中包含的图形。我们的架构耦合最近提出的门控图神经网络与输入变换，允许节点和边缘有自己的隐藏表示，同时解决参数爆炸问题，目前在以前的工作。实验结果表明，我们的模型优于强基线生成AMR图和基于语法的神经机器翻译。
2018-06-26 cs.CL cs.LG
Graph Rewriting for Graph Neural Networks
University of Leicester（莱斯特大学）
本文提出图重写神经网络（GReNN），将图重写作为图神经网络的形式化语义基础与工程方法，并通过 Groove 实现的类消息传递案例验证其对动态更新的增量操作能力。
2023-05-29 cs.LG cs.NE
Graph Random Neural Features for Distance-Preserving Graph Representations
Universitá della Svizzera italiana（瑞士意大利语大学）；Politecnico di Milano（米兰理工大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）
提出了一种基于图神经网络的图随机神经特征（GRNF）嵌入方法。嵌入自然地处理图同构，并在概率上保持图域的度量结构。除了是一个显式的嵌入方法，它还允许我们高效和有效地近似图度量距离（以及完整的核函数）;还提供了一个标准来选择嵌入维数权衡近似精度与计算成本。GRNF可以在传统的处理方法中使用，也可以用作图神经网络的无训练输入层。伴随GRNF的理论保证确保所考虑的图距离是度量的，因此允许区分任何一对非同构图。
2020-06-02 cs.LG stat.ML
Introduction to Graph Neural Networks for Machine Learning Engineers
The MITRE Corporation（MITRE公司）；National Cancer Institute（国家癌症研究所）
本文通过编码器-解码器框架介绍图神经网络，并通过同质图上的理论和实验分析不同训练规模和复杂度下的行为，重点讨论过平滑和过挤压问题。
2026-06-01 cs.AI cs.LG
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Shanghai Jiao Tong University（上海交通大学）
我们提出了可解释的图神经网络的采样和恢复的图形信号，分别。为了进行信息测量，我们提出了一个新的图神经采样模块，其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号，我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比，所提出的方法能够灵活地学习各种图形信号模型的数据，通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比，所提出的方法是通过利用特定的图形属性设计的，并提供可解释性。我们进一步设计了一个新的多尺度图神经网络，它是一个可训练的多尺度图滤波器组，可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中，我们说明了所提出的图神经采样和恢复模块的效果，并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中，图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明，我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Chickenpox Cases in Hungary: a Benchmark Dataset for Spatiotemporal Signal Processing with Graph Neural Networks
The University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）；Central European University（中欧大学）；Obuda University（欧布达大学）；Corvinus University of Budapest（布达佩斯考文纽斯大学）
递归图卷积神经网络是用于时空信号处理的高效机器学习技术。新提出的图神经网络架构在标准任务（如交通或天气预报）上进行重复评估。在本文中，我们提出了匈牙利水痘病例数据集作为一个新的数据集比较图神经网络架构。我们的时间序列分析和预测实验表明，在匈牙利的水痘病例数据集是足够的比较新的经常性图神经网络架构的预测性能和预测能力。
2021-02-16 cs.AI cs.LG
Coupling Graph Neural Networks with Fractional Order Continuous Dynamics: A Robustness Study
Nanyang Technological University（南洋理工大学）；C3 AI
本文研究图神经分数阶微分方程模型在对抗扰动下的鲁棒性，通过理论界分析与实证评估证明其相较整数阶图神经 ODE 具有更强稳定性。
2024-03-04 cs.AI cs.LG
Streaming Graph Neural Networks
Michigan State University（密歇根州立大学）
图形是许多真实世界数据（如社交网络）的基本表示。近年来，人们越来越努力地将神经网络模型扩展到图结构数据。这些方法，通常被称为图神经网络，已被应用于推进许多图形相关的任务，如推理动力学的物理系统，图分类，和节点分类。现有的大多数图神经网络模型都是针对静态图设计的，而现实世界中的许多图本质上是动态的。例如，随着新用户的加入和新关系的创建，社交网络自然地发展。现有的图神经网络模型不能利用动态图中的动态信息。然而，动态信息已被证明可以增强许多图分析任务的性能，例如社区发现和链接预测。因此，有必要为动态图设计专用的图神经网络。本文提出了一种新的{ \bf D}类{ \bf G}类{\bf N}神经网络模型DGNN，它能够对图的演化过程中的动态信息进行建模。特别地，所提出的框架可以保持更新节点信息，通过捕获的边缘（交互），边缘之间的时间间隔和信息传播相干的顺序信息。在各种动态图上的实验结果证明了该框架的有效性。
2018-11-06 cs.LG stat.ML
On the Convergence and Size Transferability of Continuous-depth Graph Neural Networks
Department of Mathematics, University of California, Santa Barbara, CA（加州大学圣巴巴拉分校数学系）
本文研究了连续深度图神经网络的收敛性与规模可转移性，通过引入图on神经微分方程，分析了其在无限节点极限下的收敛性及转移性，提供了理论支持。
2026-04-18 cs.AI cs.LG
Nearly Optimal Steiner Trees using Graph Neural Network Assisted Monte Carlo Tree Search
University of Arizona（亚利桑那大学）
针对Steiner树求解问题，提出结合图神经网络与蒙特卡洛树搜索的方法，训练以部分解为输入的图神经网络指导搜索，在多类图上优于标准2-近似算法，常能求得最优解。
2023-04-30 cs.DS cs.LG
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs
University of Pennsylvania（宾夕法尼亚大学）
本研究通过神经正切核理论分析图神经网络中的对齐优化，证明最优图移位算子为输入输出数据的交叉协方差，实验验证其在多变量时间序列预测上优于仅用输入协方差的方法。
2023-10-16 cs.LG stat.ML
Graph Neural Networks Go Forward-Forward
University of Geneva（日内瓦大学）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
我们提出了图向前-向前（GFF）算法，向前-向前过程的扩展图，能够处理分布在图的节点的功能。这允许仅用正向传递来训练图神经网络，而不需要反向传播。我们的方法是不可知的消息传递方案，并提供了一个更生物学合理的学习计划比反向传播，同时还携带计算优势。使用GFF，图神经网络使用正样本和负样本逐层进行灰色训练。我们在11个标准图属性预测任务上进行了实验，展示了GFF如何为训练图神经网络提供了一种有效的反向传播替代方案。这特别表明，尽管将每层训练与GNN中处理的局部性相结合，但该过程非常有效。
2023-02-10 cs.AI cs.LG
Generalizable Machine Learning in Neuroscience using Graph Neural Networks
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Center for Engineered Natural Intelligence（工程化自然智能中心）
尽管许多研究已经在神经科学中探索了深度学习，但将这些算法应用于微观尺度上的神经系统，即与较低尺度的组织相关的参数，仍然相对新颖。受全脑成像技术进步的启发，我们使用线虫C的钙成像数据，研究了深度学习模型在微观神经动力学和由此产生的涌现行为上的表现。优雅我们发现，神经网络在神经元级动力学预测和行为状态分类方面都表现得非常好。此外，我们比较了结构不可知神经网络和图神经网络的性能，以研究图结构是否可以作为一个有利的归纳偏差。为了进行这个实验，我们设计了一个图神经网络，它从神经活动中显式地推断神经元之间的关系，并在计算过程中利用推断出的图结构。在我们的实验中，我们发现图神经网络通常优于结构不可知模型，并且在不可见生物体的泛化方面表现出色，这意味着神经科学中可推广的机器学习的潜在途径。
2020-10-16 cs.LG q-bio.NC
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息，学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外，图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型，即，小图与巨型网络，它们在大小，实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型，用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据，将介绍近年来推出的图神经网络。更具体地说，本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中，IsoNN，SDBN和LF&ER最初是针对小图提出的，其余的最初是针对巨网络提出的。读者在阅读本教程时，也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
