On Node Features for Graph Neural Networks
EPFL（洛桑联邦理工学院）；HUST（华中科技大学）；Google（谷歌公司）；Griffith University（格里菲斯大学）
图神经网络（GNN）是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而，这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明，如果节点特征和节点标签之间存在很强的相关性，GNN就能很好地工作。基于这些结果，我们提出了新的特征初始化方法，允许将图神经网络应用于非属性图。我们的实验结果表明，人工特征具有很强的竞争力，真正的功能。
2019-11-20 cs.LG stat.ML
Factor Graph Neural Network
National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
大多数成功的深度神经网络架构都是结构化的，通常由卷积神经网络和门控递归神经网络等元素组成。最近，图神经网络已经成功地应用于图结构化数据，例如点云和分子数据。这些网络通常只考虑成对依赖关系，因为它们是在图结构上操作的。我们推广的图神经网络到一个因素图神经网络（FGNN），以捕捉高阶依赖。我们表明，FGNN是能够代表最大产品的信念传播，概率图模型的近似推理算法，因此，它是能够做得很好，当最大产品做得很好。在合成数据集和真实数据集上的实验结果表明了该模型的有效性。
2019-06-03 cs.LG stat.ML
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Shanghai Jiao Tong University（上海交通大学）
我们提出了可解释的图神经网络的采样和恢复的图形信号，分别。为了进行信息测量，我们提出了一个新的图神经采样模块，其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号，我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比，所提出的方法能够灵活地学习各种图形信号模型的数据，通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比，所提出的方法是通过利用特定的图形属性设计的，并提供可解释性。我们进一步设计了一个新的多尺度图神经网络，它是一个可训练的多尺度图滤波器组，可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中，我们说明了所提出的图神经采样和恢复模块的效果，并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中，图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明，我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Graph Sequential Neural ODE Process for Link Prediction on Dynamic and Sparse Graphs
Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
动态图上的链接预测是图挖掘中的一个重要任务。基于动态图神经网络（DGNN）的现有方法通常需要大量的历史数据（随时间的交互），这在实践中并不总是可用的。随着时间的推移，丢失的链接是图形数据中的一种常见现象，它进一步加剧了这个问题，从而创建了极其稀疏和动态的图形。为了解决这个问题，我们提出了一种新的方法，基于神经过程，称为图顺序神经ODE过程（GSNOP）。具体来说，GSNOP结合了神经过程和神经常微分方程的优点，将动态图上的链接预测建模为动态变化的随机过程。通过定义函数上的分布，GSNOP将不确定性引入到预测中，使其推广到更多的情况，而不是过度拟合稀疏数据。GSNOP对于可以与任何DGNN集成以考虑用于链接预测的时间和几何信息的模型结构也是不可知的。在三个动态图数据集上的大量实验表明，GSNOP可以显着提高现有DGNN的性能，并优于其他神经过程变体。
2022-11-15 cs.LG cs.SI
Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion
Northeastern University（东北大学）；Google（谷歌）
本文提出基于图神经网络特征扩散矩阵最大奇异值的新泛化界，利用Hessian分析噪声稳定性，在真实图上数值更小且渐近匹配下界，并验证了优化噪声稳定性能提升微调预训练模型的测试性能。
2023-10-23 cs.LG cs.SI math.ST
Customized Graph Neural Networks
Michigan State University（密歇根州立大学）；Microsoft Research Asia（微软亚洲研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
最近，图神经网络（GNNs）大大推进了图分类的任务。通常，我们首先在给定的训练集中构建一个统一的GNN模型，然后使用这个统一的模型来预测测试集中所有未见过的图的标签。然而，同一数据集中的图通常具有显著不同的结构，这表明统一模型在给定单个图的情况下可能是次优的。因此，在本文中，我们的目标是开发定制的图神经网络的图形分类。具体来说，我们提出了一种新的定制图神经网络框架，即，自定义GNN。给定一个图样本，Customized-GNN可以基于其结构为该图生成一个特定于样本的模型。同时，该框架具有很强的通用性，可以应用于现有的众多图神经网络模型。各种图分类基准上的综合实验证明了所提出的框架的有效性。
2021-12-14 cs.LG stat.ML
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，深度学习彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而，有越来越多的应用程序，其中数据是从非欧几里德域生成的，并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。在本调查中，我们提供了数据采掘和机器学习领域的图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器，时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码，基准数据集和模型评估。最后，我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum（波鸿鲁尔大学）；University of Bonn（波恩大学）
能够处理多关系图的图神经网络（GNN）的许多流行变体可能遭受消失梯度。在这项工作中，我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力，以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明，该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
A Graph Neural Network with Negative Message Passing for Graph Coloring
Bielefeld University（比勒费尔德大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
图神经网络在过去的几年里受到了越来越多的关注，因为它们有希望处理图结构数据的能力，这可以在许多现实世界的问题中找到，例如推荐系统和药物合成。现有的研究大多集中在利用图神经网络来解决同构型问题，而对异构型问题的研究较少。针对图着色这类具有代表性的异质性问题，提出了一种图网络模型。与传统的图网络不同，我们引入负消息传递到建议的图神经网络更有效的信息交换处理图着色问题。此外，一个新的损失函数考虑到节点的自我信息，建议加快学习过程。实验研究进行了比较所提出的图模型与五个国家的最先进的算法对10个公开的图着色问题和一个现实世界的应用。数值结果验证了所提出的图神经网络的有效性。
2023-01-26 cs.LG cs.SI
Theory of Graph Neural Networks: Representation and Learning
MIT（麻省理工学院）
图神经网络（GNN）是一种用于学习图的表示的神经网络架构，它已经成为一种流行的学习模型，用于节点、图和点的配置的预测任务，在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果，重点是表示，泛化和外推。一路上，它总结了数学联系。
2022-04-16 cs.LG stat.ML
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息，学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外，图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型，即，小图与巨型网络，它们在大小，实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型，用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据，将介绍近年来推出的图神经网络。更具体地说，本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中，IsoNN，SDBN和LF&ER最初是针对小图提出的，其余的最初是针对巨网络提出的。读者在阅读本教程时，也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
Graph Random Neural Features for Distance-Preserving Graph Representations
Universitá della Svizzera italiana（瑞士意大利语大学）；Politecnico di Milano（米兰理工大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）
提出了一种基于图神经网络的图随机神经特征（GRNF）嵌入方法。嵌入自然地处理图同构，并在概率上保持图域的度量结构。除了是一个显式的嵌入方法，它还允许我们高效和有效地近似图度量距离（以及完整的核函数）;还提供了一个标准来选择嵌入维数权衡近似精度与计算成本。GRNF可以在传统的处理方法中使用，也可以用作图神经网络的无训练输入层。伴随GRNF的理论保证确保所考虑的图距离是度量的，因此允许区分任何一对非同构图。
2020-06-02 cs.LG stat.ML
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University（佛罗里达州立大学IFM实验室）；Florida State University（佛罗里达州立大学）；IFM Lab（IFM实验室）；Tallahassee（塔拉哈西（此处按要求不应提取，但原文本中Tallahassee为城市名，根据规则应忽略，仅保留明确机构部分））
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时，对于一些图学习场景，例如，具有文本/图像属性的节点或具有长距离节点相关性的图，深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络，即DIFNET（图扩散神经网络），用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模，并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验，比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性，特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
Streaming Graph Neural Networks
Michigan State University（密歇根州立大学）
图形是许多真实世界数据（如社交网络）的基本表示。近年来，人们越来越努力地将神经网络模型扩展到图结构数据。这些方法，通常被称为图神经网络，已被应用于推进许多图形相关的任务，如推理动力学的物理系统，图分类，和节点分类。现有的大多数图神经网络模型都是针对静态图设计的，而现实世界中的许多图本质上是动态的。例如，随着新用户的加入和新关系的创建，社交网络自然地发展。现有的图神经网络模型不能利用动态图中的动态信息。然而，动态信息已被证明可以增强许多图分析任务的性能，例如社区发现和链接预测。因此，有必要为动态图设计专用的图神经网络。本文提出了一种新的{ \bf D}类{ \bf G}类{\bf N}神经网络模型DGNN，它能够对图的演化过程中的动态信息进行建模。特别地，所提出的框架可以保持更新节点信息，通过捕获的边缘（交互），边缘之间的时间间隔和信息传播相干的顺序信息。在各种动态图上的实验结果证明了该框架的有效性。
2018-11-06 cs.LG stat.ML
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs
University of Pennsylvania（宾夕法尼亚大学）
本研究通过神经正切核理论分析图神经网络中的对齐优化，证明最优图移位算子为输入输出数据的交叉协方差，实验验证其在多变量时间序列预测上优于仅用输入协方差的方法。
2023-10-16 cs.LG stat.ML
Simplifying Architecture Search for Graph Neural Network
Paradigm Inc.（第四范式公司）
近年来，图神经网络（GNN）在各种场景中得到了广泛的应用。为了获得最佳的数据特定GNN架构，研究人员转向神经架构搜索（NAS）方法，该方法在发现卷积神经网络中的有效架构方面取得了令人印象深刻的进展。GraphNAS和Auto-GNN这两个前期工作首次尝试将NAS方法应用于GNN。尽管取得了令人鼓舞的结果，但由于设计的搜索空间，GraphNAS和Auto-GNN在表达能力和搜索效率方面存在一些缺点。为了克服这些缺点，我们提出了SNAG框架（简化的神经结构搜索图神经网络），由一个新的搜索空间和一个基于强化学习的搜索算法。在真实世界数据集上进行的大量实验证明了SNAG框架与人类设计的GNN和NAS方法（包括GraphNAS和Auto-GNN）相比的有效性。
2020-09-06 cs.LG stat.ML
Geometric instability of graph neural networks on large graphs
University of Cambridge（剑桥大学）；Neo4j
本文提出图原生且具有置换、正交、平移及求值顺序不变性的图格拉姆指数（GGI），用于分析大图上GNN嵌入在节点分类和链路预测中的几何不稳定性。
2023-11-28 cs.LG cs.SI
Graph Neural Networks with convolutional ARMA filters
Università della Svizzera Italiana（瑞士意大利语区大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）；Politecnico di Milano（米兰理工大学）
流行的图神经网络基于多项式谱滤波器在图上实现卷积运算。在本文中，我们提出了一种受自回归移动平均（ARMA）滤波器启发的新型图卷积层，与多项式滤波器相比，它提供了更灵活的频率响应，对噪声更具鲁棒性，并且更好地捕获全局图结构。我们提出了一个图神经网络实现的ARMA滤波器的递归和分布式配方，获得一个卷积层，是有效的训练，本地化的节点空间，并可以转移到新的图形在测试时。我们进行了频谱分析，研究建议的ARMA层的过滤效果和报告实验的四个下游任务：半监督节点分类，图形信号分类，图形分类，图形回归。结果表明，所提出的ARMA层带来了显着的改善，图神经网络的基础上多项式滤波器。
2021-01-24 cs.LG stat.ML
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
图神经网络（GNNs）是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功，GNN的理论局限性已被揭示最近。因此，已经提出了许多GNN模型来克服这些限制。在本调查中，我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
Training Graph Neural Networks by Graphon Estimation
University of Notre Dame（圣母大学）
在这项工作中，我们提出了训练一个图神经网络，通过从底层网络数据获得的图子估计restering。更具体地说，首先获得底层网络的图子或链路概率矩阵，从该图子或链路概率矩阵中将对新网络进行重新采样并在每层的训练过程中使用。由于由恢复引起的不确定性，它有助于减轻图神经网络（GNN）模型中众所周知的过度平滑问题。我们的框架是通用的，计算效率高，概念简单。我们的方法的另一个吸引人的特点是，它需要在训练过程中最小的额外调整。大量的数值结果表明，我们的方法是有竞争力的，在许多情况下优于其他过度平滑减少GNN训练方法。
2021-09-04 cs.LG cs.SI
Local-to-global Perspectives on Graph Neural Networks
University of California San Diego（加州大学圣地亚哥分校）
本论文从局部到全局视角研究图神经网络，分类了局部消息传递神经网络与全局图变换器，并探讨了收敛性、连接性及图粗化应用。
2023-06-18 cs.LG stat.ML
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania（宾夕法尼亚大学）
图神经网络（GNN）是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络（CNN）的推广，其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则，GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明，GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能，这些性能可以通过经验观察到。它还表明，如果图收敛到一个极限对象，一个graphon，GNNs收敛到相应的极限对象，一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
How Robust Are Graph Neural Networks to Structural Noise?
Georgia Institute of Technology（佐治亚理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
图神经网络（GNNs）是一种新兴的用于学习图嵌入和对图结构数据进行预测的模型。然而，图神经网络的鲁棒性还没有得到很好的理解。在这项工作中，我们专注于节点结构身份预测，其中代表性的GNN模型能够实现近乎完美的准确性。我们还通过一个受控的数据集和一组实验表明，相同的GNN模型对增加结构噪声不具有鲁棒性。最后，我们证明了在正确的条件下，图增强训练能够显着提高对结构噪声的鲁棒性。
2019-12-21 cs.LG stat.ML
How Neural Processes Improve Graph Link Prediction
The University of Sydney（悉尼大学）
链接预测是图数据分析中的一个基本问题。虽然大多数文献集中在需要所有图节点和大多数链接进行训练的转导链接预测上，但仅使用一部分节点及其链接进行训练的归纳链接预测在各种现实世界应用中是更具挑战性的问题。在本文中，我们提出了一个元学习方法与图神经网络的链接预测：神经过程图神经网络（NPGNN），它可以执行两个转导和归纳学习任务，并适应模式在一个大的新的图训练后，一个小的子图。在真实世界的图上进行实验来验证我们的模型，结果表明，与其他最先进的模型相比，所提出的方法具有更强的性能，同时在较小的子图上训练时具有很好的泛化能力。
2021-09-30 cs.LG stat.ML
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号，其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中，我们利用图信号处理来表征图神经网络（GNNs）的表示空间。我们讨论了图卷积滤波器在GNN中的作用，并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解，并有助于解释其可扩展性和可转移性，再加上其本地和分布式性质，使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器，并讨论其属性。最后，我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
Learning Graph Neural Networks with Noisy Labels
Tokyo Institute of Technology（东京工业大学）
我们研究了GNNs训练过程对对称标签噪声的鲁棒性。通过结合非线性神经消息传递模型（如图同构网络，GraphSAGE等），与损失校正方法，我们提出了一个噪声容忍的方法的图分类任务。实验结果表明，在对称噪声环境下，该方法可以提高测试精度.
2019-05-05 cs.LG stat.ML
Edge Contraction Pooling for Graph Neural Networks
fortiss GmbH（fortiss有限公司）；An-Institut Technische Universität München（慕尼黑工业大学附属研究所）
图神经网络（GNN）的研究集中在改进卷积层，很少关注开发图池层。然而，池化层可以使GNN能够在抽象的节点组而不是单个节点上进行推理。为了缩小这一差距，我们提出了一个依赖于边收缩概念的图池层：EdgePool学习了一个局部和稀疏的硬池化变换。我们表明，EdgePool优于其他池化方法，可以轻松集成到大多数GNN模型中，并提高节点和图分类的性能。
2019-05-27 cs.LG stat.ML
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University（安徽大学）
近年来，图神经网络（GNNs）在图数据学习任务中得到越来越多的关注。然而，在许多应用中，图可能以不完整的形式出现，其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的，不能直接处理属性不完全的图数据。为了解决这个问题，我们开发了一种新的基于部分聚集的GNNs，命名为部分图神经网络（PaGNNs），用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上，我们在不完全图上定义了两个新的部分聚集（重建）函数，并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
E(n) Equivariant Graph Neural Networks
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一种新的学习与旋转、平移、反射和置换等变的图神经网络的模型，称为E（n）-等变图神经网络（EGNNs）。与现有的方法相比，我们的工作不需要在中间层计算昂贵的高阶表示，同时它仍然实现了竞争力或更好的性能。此外，尽管现有的方法仅限于三维空间上的等方差，但我们的模型很容易扩展到高维空间。我们证明了我们的方法对动力学系统建模，图自动编码器中的表示学习和预测分子性质的有效性。
2022-02-16 cs.LG stat.ML
DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification
Arizona State University（亚利桑那州立大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）
图形数据广泛存在于许多高影响力的应用中。受网格结构数据深度学习成功的启发，人们提出了图神经网络模型来学习强大的节点级或图级表示。然而，现有的大多数图神经网络都存在以下局限性：（1）对图卷积的种子定向、度感知和无序等特性的分析有限;（2）图卷积中没有显式地表达节点的度特定图结构，以区分结构感知的节点邻域;（3）关于图级池方案的理论解释不清楚。为了解决这些问题，我们提出了一个通用的度特定的图神经网络命名为DEMO-Net动机Weisfeiler-Lehman图同构测试，递归地识别1跳邻域结构。为了明确地捕获与节点属性集成的图拓扑结构，我们认为图卷积应该具有三个属性：面向种子，度感知，顺序自由。为此，我们提出了多任务图卷积，其中每个任务表示具有特定度值的节点的节点表示学习，从而保持特定度的图结构。特别是，我们设计了两种多任务学习方法：度特定的权重和哈希函数图卷积。此外，我们提出了一种新的图级池化/读出方案，用于学习可证明位于特定度Hilbert核空间中的图表示。在几个节点和图分类基准数据集上的实验结果表明，我们提出的DEMO-Net在最先进的图神经网络模型上的有效性和效率。
2019-06-05 cs.LG stat.ML
Dual Convolutional Neural Network for Graph of Graphs Link Prediction
Kyoto University（京都大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；University of Tsukuba（筑波大学）；Hokkaido University（北海道大学）；RIKEN（理化学研究所）
图是通用的和强大的数据表示，可以模拟复杂的现实世界的现象，从化学化合物到社交网络;然而，有效的特征提取从图不是一个微不足道的任务，并在机器学习和数据采掘领域已经做了很多工作。图神经网络的最新进展使得从图中自动和灵活地提取特征提取成为可能，并且显著地提高了预测性能。在本文中，我们进一步研究这条线，并解决一个更一般的学习问题，由外部图和内部图组成的图的图（GoG），其中外部图中的每个节点都有一个内部图结构。我们提出了一种双卷积神经网络，它通过以端到端的方式组合外部和内部图结构来提取节点表示。在多个化学网络数据集上的链接预测实验表明了该方法的有效性。
2018-10-04 cs.LG stat.ML
Hyperbolic Graph Neural Networks
Facebook AI Research（脸书人工智能研究院）
从图结构数据中学习是机器学习和人工智能的一项重要任务，图神经网络（GNN）在这方面表现出了巨大的潜力。受几何表示学习的最新进展的启发，我们提出了一种新的GNN架构，用于学习具有可微指数和对数映射的黎曼流形上的表示。我们开发了一个可扩展的算法建模的图的结构特性，比较欧几里德和双曲几何。在我们的实验中，我们表明双曲GNN可以在各种基准数据集上带来实质性的改进。
2019-10-28 cs.LG stat.ML
Improving Expressivity of Graph Neural Networks
University of Innsbruck（因斯布鲁克大学）
我们提出了一个图神经网络，其表达能力比常用的GNN更强-不限于仅区分Weisfeiler-Lehman测试识别为非同构的图。我们使用一个具有扩展注意力窗口的图注意力网络，它以指数方式聚集来自遥远节点的信息。我们还使用了部分随机的初始嵌入，允许区分看起来相同的节点。这可能会导致传统的dropout机制出现问题，因此我们使用“head dropout”，随机忽略一些注意力头，而不是嵌入的一些维度。
2020-04-08 cs.LG stat.ML
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
Feature Interaction-aware Graph Neural Networks
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）；Singapore Management University（新加坡管理大学）
受深度学习巨大成功的启发，图神经网络（GNN）被广泛用于学习强大的节点表示，并在不同的图学习任务中表现出良好的性能。然而，大多数真实世界的图通常具有高维和稀疏的节点特征，使得从现有GNN架构中学习的节点表示表达能力较低。在本文中，我们提出了\textit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}，即插即用的GNN框架学习节点表示编码的信息功能的相互作用。具体来说，所提出的框架是能够突出信息功能的交互，以个性化的方式，并进一步学习高度表达的节点表示特征稀疏图。在各种数据集上进行的大量实验证明了FI-GNN在图学习任务中的卓越能力。
2020-01-22 cs.LG stat.ML
A Spectral Analysis of Graph Neural Networks on Dense and Sparse Graphs
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种随机图模型，分析了稀疏性对图谱及GNNs节点分类性能的影响，并证明GNNs在稀疏图上优于谱方法。
2023-09-13 cs.LG cs.SI eess.SP
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；American University of Beirut（贝鲁特美国大学）
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而，这种性能是基于静态图结构的假设，当数据随时间变化时，这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近，提出了各种时空图神经网络算法，并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题，包括算法，应用和开放挑战。
2023-02-11 cs.LG
Capsule Graph Neural Networks with EM Routing
Nanjing University of Science and Technology（南京理工大学）
为了有效地对图实例进行分类，图神经网络需要具有捕获图中存在的部分-整体关系的能力。胶囊是一组代表实体复杂性质的神经元，在传统的卷积神经网络中显示出了它的优势。本文提出了一种新的胶囊图神经网络，它使用EM路由机制（CapsGNNEM）来生成高质量的图嵌入。在一些真实世界的图数据集上的实验结果表明，所提出的CapsGNNEM在图分类任务中优于9个最先进的模型。
2021-10-18 cs.LG
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University（乔治梅森大学）
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点，边表示它们在地图中的相邻关系。我们实验的House-GAN数据集，包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明，图神经网络，特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率，超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
Graph Neural Networks for Learning Equivariant Representations of Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Samsung - SAIT AI Lab, Montreal（三星SAIT人工智能实验室（蒙特利尔））；Carnegie Mellon University（卡内基梅隆大学）；TNO（荷兰应用科学研究组织）
提出将神经网络表示为参数计算图，利用图神经网络和transformers保留置换对称性，使单一模型能编码多样架构，在多项任务上优于现有方法。
2024-07-23 cs.AI cs.LG stat.ML
Graphs Unveiled: Graph Neural Networks and Graph Generation
University of Miskolc（米什科尔茨大学）
本文是一篇关于图神经网络（GNNs）的全面综述，探讨了其在各领域的应用，并介绍了图生成这一前沿领域。
2024-03-18 cs.AI cs.LG
On the Robustness of Graph Neural Diffusion to Topology Perturbations
Nanyang Technological University（南洋理工大学）；C3 AI（C3 AI公司）
本研究探索图神经PDEs对拓扑扰动的鲁棒性，证明其天然更稳健，并提出通用框架以定义新型鲁棒GNNs，在基准数据集上性能与最先进水平相当。
2023-05-11 cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常，图神经网络（GNN）一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此，以前的研究表明，图神经网络的性能变得脆弱时，有异常节点的邻居，由于这种消息传递方法。在本文中，受神经结构搜索方法的启发，我们提出了一种算法，识别异常节点，并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明，我们提出的基于神经结构搜索的抗异常图神经网络（NASAR-GNN）实际上是有效的。
2021-12-19 cs.AI cs.LG
Fea2Fea: Exploring Structural Feature Correlations via Graph Neural Networks
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
结构特征是几何图形的重要特征。虽然有一些基于协方差的特征相关性分析，但还没有相关的研究与图神经网络的结构特征相关性分析。在低维空间中引入图特征到特征（Fea ~ 2Fea）预测流水线，探索基于图神经网络的结构特征相关性的一些初步结果.结果表明，某些结构特征之间存在高度相关性。在某些基于图的分类任务中，采用无冗余的初始节点特征组合，并经图神经网络过滤，提高了分类精度。我们比较了连接特征之间嵌入的串联方法之间的差异，并表明最简单的是最好的。我们推广了合成几何图，并证明了结构特征之间的预测难度的结果。
2021-09-09 cs.AI cs.LG cs.SI
Finsler Geometry, Graph Neural Networks, and You
Rice University（莱斯大学）
针对图拉普拉斯只能近似各向同性算子的局限，提出基于芬斯勒拉普拉斯的图神经网络层，证明其收敛性并恢复非线性扩散方程的几何结构。
2026-06-17 cs.LG eess.SP math.DG
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架，证明图态可作为参数化量子电路表征神经网络，也可作为底层结构在量子计算机上构建图神经网络，为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
Relation Matters in Sampling: A Scalable Multi-Relational Graph Neural Network for Drug-Drug Interaction Prediction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goldman Sachs（高盛）；OPKO Diagnostics（OPKO诊断公司）
采样是将图神经网络扩展到大型图的既定技术。然而，目前的方法假设图是同质的关系，忽略了关系类型，在生物医学图中至关重要。多关系图包含各种类型的关系，这些关系通常具有可变的频率，并且对于手头的问题具有不同的重要性。我们提出了一种在图神经网络中对邻域采样的关系类型的重要性进行建模的方法，并表明我们可以学习正确的平衡：反映频率和重要性的关系类型概率。我们对药物相互作用预测的实验表明，最先进的图神经网络在准确性和效率方面都受益于依赖关系的采样。
2021-05-28 cs.AI cs.LG stat.ML
Agent-based Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）；Huawei Zurich Research Center（华为苏黎世研究中心）
我们提出了一种新的图神经网络，我们称之为AgentNet，这是专为图级任务。AgentNet受到次线性算法的启发，具有独立于图大小的计算复杂性。AgentNet的体系结构与传统的图神经网络的体系结构有着根本的不同。在AgentNet中，一些经过训练的\textit{neural agents}智能地遍历图形，然后集体决定输出。我们提供了一个广泛的理论分析AgentNet：我们表明，代理可以学习系统地探索他们的邻居，AgentNet可以区分一些结构，甚至是2-WL无法区分。此外，AgentNet能够分离任何两个在子图方面充分不同的图。我们证实了这些理论结果与合成实验难以区分的图形和现实世界的图形分类任务。在这两种情况下，我们不仅可以与标准GNN进行比较，而且可以与计算成本更高的GNN扩展进行比较。
2023-02-27 cs.AI cs.LG stat.ML
Revisiting Graph Neural Networks: All We Have is Low-Pass Filters
Tokyo Institute of Technology（东京工业大学）；RIKEN（理化学研究所）
图神经网络已成为解决图结构数据上的机器学习问题的重要技术之一。最近关于顶点分类的工作提出了深度和分布式学习模型，以实现高性能和可扩展性。然而，我们发现基准数据集的特征向量已经为分类任务提供了相当多的信息，而图结构只提供了一种对数据进行降噪的方法。在本文中，我们开发了一个理论框架的基础上，图信号处理分析图神经网络。结果表明，图神经网络只对特征向量进行低通滤波，不具有非线性流形学习特性。我们进一步研究了它们对特征噪声的弹性，并对基于GCN的图神经网络设计提出了一些见解。
2019-05-26 cs.IT cs.LG math.IT
De Bruijn goes Neural: Causality-Aware Graph Neural Networks for Time Series Data on Dynamic Graphs
Julius-Maximilians-Universität Würzburg（维尔茨堡朱利叶斯-马克西米利安大学）；University of Zurich（苏黎世大学）
我们介绍了De Bruijn图神经网络（DBGNNs），一种新的时间感知图神经网络架构，用于动态图上的时间分辨数据。我们的方法占时间拓扑模式展开的因果拓扑的动态图，这是由因果散步，即时间上有序的链接序列，节点可以随着时间的推移相互影响。我们的架构建立在多层高阶De Bruijn图上，这是一种迭代线图构造，其中k阶De Bruijn图中的节点表示长度为k-1的行走，而边表示长度为k的行走。我们开发了一个图神经网络架构，利用德布鲁因图实现的消息传递计划，遵循非马尔可夫动力学，这使我们能够学习模式的因果拓扑结构的动态图。为了解决具有不同阶数k的De Bruijn图可以用于对同一数据集进行建模的问题，我们进一步应用统计模型选择来确定用于消息传递的最佳图拓扑。对合成和经验数据集的评估表明，DBGNN可以利用动态图中的时间模式，这大大提高了监督节点分类任务的性能。
2022-09-17 cs.AI cs.LG
Beltrami Flow and Neural Diffusion on Graphs
Twitter Inc.（Twitter公司）；University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
我们提出了一类新的图神经网络的基础上离散Beltrami流，非欧扩散PDE。在我们的模型中，节点功能补充位置编码来自图形拓扑结构和共同发展的Beltrami流，同时产生连续的特征学习和拓扑结构的演变。由此产生的模型概括了许多流行的图神经网络，并在几个基准测试中取得了最先进的结果。
2021-10-18 cs.AI cs.LG stat.ML
An Energy-Based View of Graph Neural Networks
New York University（纽约大学）
图神经网络是处理图结构数据的神经网络的流行变体。在这项工作中，我们考虑将图神经网络与Grathwohl et al.（2019）的基于能量的观点相结合，目的是获得更强大的分类器。我们成功地实现了这个框架，提出了一种新的方法来确保在特征和邻接矩阵上生成，并根据标准的图卷积网络（GCN）架构（Kipf & Welling（2016））评估我们的方法。我们的方法在提高鲁棒性的同时获得了相当的判别性能，为基于能量的图神经网络的未来研究开辟了有前途的新方向。
2021-10-04 cs.LG
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation（英特尔公司）
我们引入了一种新的编码器-解码器架构，将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码，以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程（CNP）模型。我们的架构采用了图神经网络的最新进展，以处理不规则采样的功能。因此，我们将我们的模型称为条件图神经过程（CGNP）。图神经网络可以有效地利用度量空间的“局部”结构，在度量空间上定义函数/过程。本文的贡献是双重的：（i）一种新的基于图的编码器-解码器架构的功能和过程嵌入，以及（ii）使用度量空间的结构，这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Graph and graphon neural network stability
University of Pennsylvania（宾夕法尼亚大学）
图神经网络（GNN）是一种学习架构，它依赖于图结构的知识来生成大规模网络数据的有意义的表示。因此，GNN的稳定性很重要，因为在现实世界的场景中，通常存在与图形相关的不确定性。我们使用称为graphons的内核对象来分析GNN的稳定性。图子既是收敛图序列的极限，也是确定图和随机图的生成模型。基于图子信号处理理论，我们定义了图子神经网络，并分析了它们对图子扰动的稳定性。然后，我们通过将图子神经网络解释为从原始和扰动图子实例化的确定性和随机图上的GNN的生成模型来扩展这种分析。我们观察到，GNNs是稳定的graphon扰动的稳定性界，随着图的大小逐渐减少。这种渐进行为在电影推荐实验中得到进一步证明。
2021-04-26 cs.LG eess.SP
