Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum（波鸿鲁尔大学）；University of Bonn（波恩大学）
能够处理多关系图的图神经网络（GNN）的许多流行变体可能遭受消失梯度。在这项工作中，我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力，以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明，该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
Graph Random Neural Features for Distance-Preserving Graph Representations
Universitá della Svizzera italiana（瑞士意大利语大学）；Politecnico di Milano（米兰理工大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）
提出了一种基于图神经网络的图随机神经特征（GRNF）嵌入方法。嵌入自然地处理图同构，并在概率上保持图域的度量结构。除了是一个显式的嵌入方法，它还允许我们高效和有效地近似图度量距离（以及完整的核函数）;还提供了一个标准来选择嵌入维数权衡近似精度与计算成本。GRNF可以在传统的处理方法中使用，也可以用作图神经网络的无训练输入层。伴随GRNF的理论保证确保所考虑的图距离是度量的，因此允许区分任何一对非同构图。
2020-06-02 cs.LG stat.ML
Streaming Graph Neural Networks
Michigan State University（密歇根州立大学）
图形是许多真实世界数据（如社交网络）的基本表示。近年来，人们越来越努力地将神经网络模型扩展到图结构数据。这些方法，通常被称为图神经网络，已被应用于推进许多图形相关的任务，如推理动力学的物理系统，图分类，和节点分类。现有的大多数图神经网络模型都是针对静态图设计的，而现实世界中的许多图本质上是动态的。例如，随着新用户的加入和新关系的创建，社交网络自然地发展。现有的图神经网络模型不能利用动态图中的动态信息。然而，动态信息已被证明可以增强许多图分析任务的性能，例如社区发现和链接预测。因此，有必要为动态图设计专用的图神经网络。本文提出了一种新的{ \bf D}类{ \bf G}类{\bf N}神经网络模型DGNN，它能够对图的演化过程中的动态信息进行建模。特别地，所提出的框架可以保持更新节点信息，通过捕获的边缘（交互），边缘之间的时间间隔和信息传播相干的顺序信息。在各种动态图上的实验结果证明了该框架的有效性。
2018-11-06 cs.LG stat.ML
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs
University of Pennsylvania（宾夕法尼亚大学）
本研究通过神经正切核理论分析图神经网络中的对齐优化，证明最优图移位算子为输入输出数据的交叉协方差，实验验证其在多变量时间序列预测上优于仅用输入协方差的方法。
2023-10-16 cs.LG stat.ML
Simplifying Architecture Search for Graph Neural Network
Paradigm Inc.（第四范式公司）
近年来，图神经网络（GNN）在各种场景中得到了广泛的应用。为了获得最佳的数据特定GNN架构，研究人员转向神经架构搜索（NAS）方法，该方法在发现卷积神经网络中的有效架构方面取得了令人印象深刻的进展。GraphNAS和Auto-GNN这两个前期工作首次尝试将NAS方法应用于GNN。尽管取得了令人鼓舞的结果，但由于设计的搜索空间，GraphNAS和Auto-GNN在表达能力和搜索效率方面存在一些缺点。为了克服这些缺点，我们提出了SNAG框架（简化的神经结构搜索图神经网络），由一个新的搜索空间和一个基于强化学习的搜索算法。在真实世界数据集上进行的大量实验证明了SNAG框架与人类设计的GNN和NAS方法（包括GraphNAS和Auto-GNN）相比的有效性。
2020-09-06 cs.LG stat.ML
Graph Neural Networks with convolutional ARMA filters
Università della Svizzera Italiana（瑞士意大利语区大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）；Politecnico di Milano（米兰理工大学）
流行的图神经网络基于多项式谱滤波器在图上实现卷积运算。在本文中，我们提出了一种受自回归移动平均（ARMA）滤波器启发的新型图卷积层，与多项式滤波器相比，它提供了更灵活的频率响应，对噪声更具鲁棒性，并且更好地捕获全局图结构。我们提出了一个图神经网络实现的ARMA滤波器的递归和分布式配方，获得一个卷积层，是有效的训练，本地化的节点空间，并可以转移到新的图形在测试时。我们进行了频谱分析，研究建议的ARMA层的过滤效果和报告实验的四个下游任务：半监督节点分类，图形信号分类，图形分类，图形回归。结果表明，所提出的ARMA层带来了显着的改善，图神经网络的基础上多项式滤波器。
2021-01-24 cs.LG stat.ML
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
图神经网络（GNNs）是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功，GNN的理论局限性已被揭示最近。因此，已经提出了许多GNN模型来克服这些限制。在本调查中，我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
Local-to-global Perspectives on Graph Neural Networks
University of California San Diego（加州大学圣地亚哥分校）
本论文从局部到全局视角研究图神经网络，分类了局部消息传递神经网络与全局图变换器，并探讨了收敛性、连接性及图粗化应用。
2023-06-18 cs.LG stat.ML
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania（宾夕法尼亚大学）
图神经网络（GNN）是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络（CNN）的推广，其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则，GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明，GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能，这些性能可以通过经验观察到。它还表明，如果图收敛到一个极限对象，一个graphon，GNNs收敛到相应的极限对象，一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
How Robust Are Graph Neural Networks to Structural Noise?
Georgia Institute of Technology（佐治亚理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
图神经网络（GNNs）是一种新兴的用于学习图嵌入和对图结构数据进行预测的模型。然而，图神经网络的鲁棒性还没有得到很好的理解。在这项工作中，我们专注于节点结构身份预测，其中代表性的GNN模型能够实现近乎完美的准确性。我们还通过一个受控的数据集和一组实验表明，相同的GNN模型对增加结构噪声不具有鲁棒性。最后，我们证明了在正确的条件下，图增强训练能够显着提高对结构噪声的鲁棒性。
2019-12-21 cs.LG stat.ML
How Neural Processes Improve Graph Link Prediction
The University of Sydney（悉尼大学）
链接预测是图数据分析中的一个基本问题。虽然大多数文献集中在需要所有图节点和大多数链接进行训练的转导链接预测上，但仅使用一部分节点及其链接进行训练的归纳链接预测在各种现实世界应用中是更具挑战性的问题。在本文中，我们提出了一个元学习方法与图神经网络的链接预测：神经过程图神经网络（NPGNN），它可以执行两个转导和归纳学习任务，并适应模式在一个大的新的图训练后，一个小的子图。在真实世界的图上进行实验来验证我们的模型，结果表明，与其他最先进的模型相比，所提出的方法具有更强的性能，同时在较小的子图上训练时具有很好的泛化能力。
2021-09-30 cs.LG stat.ML
Learning Graph Neural Networks with Noisy Labels
Tokyo Institute of Technology（东京工业大学）
我们研究了GNNs训练过程对对称标签噪声的鲁棒性。通过结合非线性神经消息传递模型（如图同构网络，GraphSAGE等），与损失校正方法，我们提出了一个噪声容忍的方法的图分类任务。实验结果表明，在对称噪声环境下，该方法可以提高测试精度.
2019-05-05 cs.LG stat.ML
Edge Contraction Pooling for Graph Neural Networks
fortiss GmbH（fortiss有限公司）；An-Institut Technische Universität München（慕尼黑工业大学附属研究所）
图神经网络（GNN）的研究集中在改进卷积层，很少关注开发图池层。然而，池化层可以使GNN能够在抽象的节点组而不是单个节点上进行推理。为了缩小这一差距，我们提出了一个依赖于边收缩概念的图池层：EdgePool学习了一个局部和稀疏的硬池化变换。我们表明，EdgePool优于其他池化方法，可以轻松集成到大多数GNN模型中，并提高节点和图分类的性能。
2019-05-27 cs.LG stat.ML
E(n) Equivariant Graph Neural Networks
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一种新的学习与旋转、平移、反射和置换等变的图神经网络的模型，称为E（n）-等变图神经网络（EGNNs）。与现有的方法相比，我们的工作不需要在中间层计算昂贵的高阶表示，同时它仍然实现了竞争力或更好的性能。此外，尽管现有的方法仅限于三维空间上的等方差，但我们的模型很容易扩展到高维空间。我们证明了我们的方法对动力学系统建模，图自动编码器中的表示学习和预测分子性质的有效性。
2022-02-16 cs.LG stat.ML
DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification
Arizona State University（亚利桑那州立大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）
图形数据广泛存在于许多高影响力的应用中。受网格结构数据深度学习成功的启发，人们提出了图神经网络模型来学习强大的节点级或图级表示。然而，现有的大多数图神经网络都存在以下局限性：（1）对图卷积的种子定向、度感知和无序等特性的分析有限;（2）图卷积中没有显式地表达节点的度特定图结构，以区分结构感知的节点邻域;（3）关于图级池方案的理论解释不清楚。为了解决这些问题，我们提出了一个通用的度特定的图神经网络命名为DEMO-Net动机Weisfeiler-Lehman图同构测试，递归地识别1跳邻域结构。为了明确地捕获与节点属性集成的图拓扑结构，我们认为图卷积应该具有三个属性：面向种子，度感知，顺序自由。为此，我们提出了多任务图卷积，其中每个任务表示具有特定度值的节点的节点表示学习，从而保持特定度的图结构。特别是，我们设计了两种多任务学习方法：度特定的权重和哈希函数图卷积。此外，我们提出了一种新的图级池化/读出方案，用于学习可证明位于特定度Hilbert核空间中的图表示。在几个节点和图分类基准数据集上的实验结果表明，我们提出的DEMO-Net在最先进的图神经网络模型上的有效性和效率。
2019-06-05 cs.LG stat.ML
Dual Convolutional Neural Network for Graph of Graphs Link Prediction
Kyoto University（京都大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；University of Tsukuba（筑波大学）；Hokkaido University（北海道大学）；RIKEN（理化学研究所）
图是通用的和强大的数据表示，可以模拟复杂的现实世界的现象，从化学化合物到社交网络;然而，有效的特征提取从图不是一个微不足道的任务，并在机器学习和数据采掘领域已经做了很多工作。图神经网络的最新进展使得从图中自动和灵活地提取特征提取成为可能，并且显著地提高了预测性能。在本文中，我们进一步研究这条线，并解决一个更一般的学习问题，由外部图和内部图组成的图的图（GoG），其中外部图中的每个节点都有一个内部图结构。我们提出了一种双卷积神经网络，它通过以端到端的方式组合外部和内部图结构来提取节点表示。在多个化学网络数据集上的链接预测实验表明了该方法的有效性。
2018-10-04 cs.LG stat.ML
Hyperbolic Graph Neural Networks
Facebook AI Research（脸书人工智能研究院）
从图结构数据中学习是机器学习和人工智能的一项重要任务，图神经网络（GNN）在这方面表现出了巨大的潜力。受几何表示学习的最新进展的启发，我们提出了一种新的GNN架构，用于学习具有可微指数和对数映射的黎曼流形上的表示。我们开发了一个可扩展的算法建模的图的结构特性，比较欧几里德和双曲几何。在我们的实验中，我们表明双曲GNN可以在各种基准数据集上带来实质性的改进。
2019-10-28 cs.LG stat.ML
Improving Expressivity of Graph Neural Networks
University of Innsbruck（因斯布鲁克大学）
我们提出了一个图神经网络，其表达能力比常用的GNN更强-不限于仅区分Weisfeiler-Lehman测试识别为非同构的图。我们使用一个具有扩展注意力窗口的图注意力网络，它以指数方式聚集来自遥远节点的信息。我们还使用了部分随机的初始嵌入，允许区分看起来相同的节点。这可能会导致传统的dropout机制出现问题，因此我们使用“head dropout”，随机忽略一些注意力头，而不是嵌入的一些维度。
2020-04-08 cs.LG stat.ML
Feature Interaction-aware Graph Neural Networks
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）；Singapore Management University（新加坡管理大学）
受深度学习巨大成功的启发，图神经网络（GNN）被广泛用于学习强大的节点表示，并在不同的图学习任务中表现出良好的性能。然而，大多数真实世界的图通常具有高维和稀疏的节点特征，使得从现有GNN架构中学习的节点表示表达能力较低。在本文中，我们提出了\textit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}，即插即用的GNN框架学习节点表示编码的信息功能的相互作用。具体来说，所提出的框架是能够突出信息功能的交互，以个性化的方式，并进一步学习高度表达的节点表示特征稀疏图。在各种数据集上进行的大量实验证明了FI-GNN在图学习任务中的卓越能力。
2020-01-22 cs.LG stat.ML
Learning Universal Graph Neural Network Embeddings With Aid Of Transfer Learning
University of Minnesota Twin Cities（明尼苏达大学双城分校）
学习强大的数据嵌入已经成为机器学习的核心，特别是在自然语言处理和计算机视觉领域。这些嵌入的关键在于，它们以无监督的方式在庞大的数据库上进行预训练，有时还辅以迁移学习。然而，目前在图学习领域，通过现有的图神经网络（GNN）学习的嵌入是任务相关的，因此不能在不同的数据集之间共享。在本文中，我们提出了第一个功能强大且理论上有保证的图神经网络，该网络旨在学习任务无关的图嵌入，此后称为深度通用图嵌入（DUGNN）。我们的DUGNN模型结合了一个新的图神经网络（作为通用图编码器），并利用丰富的图核（作为多任务图解码器）进行无监督学习和（特定于任务的）自适应监督学习。通过学习跨不同数据集的任务无关图嵌入，DUGNN还获得了迁移学习的好处。通过广泛的实验和消融研究，我们表明，所提出的DUGNN模型在图分类基准数据集上的准确率提高了3% - 8%，始终优于现有的最先进的GNN模型和图核。
2019-11-27 cs.LG stat.ML
Median activation functions for graph neural networks
University of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos University（胡安·卡洛斯国王大学）
图神经网络（GNN）已被证明在涉及图的许多问题中复制了卷积神经网络（CNN）的优越性能。通过用线性移位不变图滤波器（LSI-GF）代替常规卷积，GNN考虑了图的（不规则）结构，并提供了有意义的网络数据表示。然而，LSI-GF不能编码局部非线性图形信号行为，并且规则激活函数也是如此，其是非线性的但逐点的。为了解决这个问题，我们提出了中值激活函数与支持图邻域，而不是个别节点。GNN架构与可训练的多分辨率版本的激活函数，然后在合成和真实的数据集上进行测试，在那里我们表明，中位数激活函数可以提高GNN的能力，边际增加复杂性。
2019-02-11 cs.LG stat.ML
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息，学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外，图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型，即，小图与巨型网络，它们在大小，实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型，用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据，将介绍近年来推出的图神经网络。更具体地说，本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中，IsoNN，SDBN和LF&ER最初是针对小图提出的，其余的最初是针对巨网络提出的。读者在阅读本教程时，也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络（RGNN），解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性，我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中，我们证明了我们的模型类在三个基准测试中获得了最先进的结果：Pubmed，Reddit和PPI网络数据集。我们的深入分析还表明，结合递归单元是一种简单而有效的方法来防止图中的噪声信息，从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University（佛罗里达州立大学IFM实验室）；Florida State University（佛罗里达州立大学）；IFM Lab（IFM实验室）；Tallahassee（塔拉哈西（此处按要求不应提取，但原文本中Tallahassee为城市名，根据规则应忽略，仅保留明确机构部分））
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时，对于一些图学习场景，例如，具有文本/图像属性的节点或具有长距离节点相关性的图，深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络，即DIFNET（图扩散神经网络），用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模，并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验，比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性，特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University（安徽大学）
近年来，图神经网络（GNNs）在图数据学习任务中得到越来越多的关注。然而，在许多应用中，图可能以不完整的形式出现，其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的，不能直接处理属性不完全的图数据。为了解决这个问题，我们开发了一种新的基于部分聚集的GNNs，命名为部分图神经网络（PaGNNs），用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上，我们在不完全图上定义了两个新的部分聚集（重建）函数，并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；American University of Beirut（贝鲁特美国大学）
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而，这种性能是基于静态图结构的假设，当数据随时间变化时，这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近，提出了各种时空图神经网络算法，并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题，包括算法，应用和开放挑战。
2023-02-11 cs.LG
Exploiting Edge Features in Graph Neural Networks
University of Kentucky（肯塔基大学）
边特征包含有关图形的重要信息。然而，当前设计用于图学习的现有技术的神经网络模型，例如图卷积网络（GCN）和图注意力网络（GAT），充分利用边缘特征，特别是多维边缘特征。在本文中，我们建立了一个新的框架，一个家庭的新的图神经网络模型，可以更充分地利用边缘功能，包括那些无向或多维边缘。所提出的框架可以整合当前的图神经网络模型;例如，图卷积网络（GCN）和图注意力网络（GAT）。所提出的框架和新模型具有以下新颖性：首先，我们提出使用图边缘特征的双重随机归一化，而不是当前图神经网络中常用的行或对称归一化方法。其次，我们构造新的公式，在每个单独的层的操作，使他们能够处理多维的边缘功能。第三，对于所提出的新框架，边缘特征是跨网络层自适应的。因此，我们提出的新框架和新模型可以利用丰富的图形信息源。我们将我们的新模型应用于几个引文网络上的图节点分类、全图分类和几个分子数据集上的回归。与现有的GCN和GAT方法相比，该模型具有更好的性能，证明了利用边缘特征在图神经网络中的重要性.
2019-01-28 cs.LG cs.SI stat.ML
Graph Neural Networks for Learning Equivariant Representations of Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Samsung - SAIT AI Lab, Montreal（三星SAIT人工智能实验室（蒙特利尔））；Carnegie Mellon University（卡内基梅隆大学）；TNO（荷兰应用科学研究组织）
提出将神经网络表示为参数计算图，利用图神经网络和transformers保留置换对称性，使单一模型能编码多样架构，在多项任务上优于现有方法。
2024-07-23 cs.AI cs.LG stat.ML
Capsule Graph Neural Networks with EM Routing
Nanjing University of Science and Technology（南京理工大学）
为了有效地对图实例进行分类，图神经网络需要具有捕获图中存在的部分-整体关系的能力。胶囊是一组代表实体复杂性质的神经元，在传统的卷积神经网络中显示出了它的优势。本文提出了一种新的胶囊图神经网络，它使用EM路由机制（CapsGNNEM）来生成高质量的图嵌入。在一些真实世界的图数据集上的实验结果表明，所提出的CapsGNNEM在图分类任务中优于9个最先进的模型。
2021-10-18 cs.LG
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University（乔治梅森大学）
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点，边表示它们在地图中的相邻关系。我们实验的House-GAN数据集，包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明，图神经网络，特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率，超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号，其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中，我们利用图信号处理来表征图神经网络（GNNs）的表示空间。我们讨论了图卷积滤波器在GNN中的作用，并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解，并有助于解释其可扩展性和可转移性，再加上其本地和分布式性质，使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器，并讨论其属性。最后，我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
Relation Matters in Sampling: A Scalable Multi-Relational Graph Neural Network for Drug-Drug Interaction Prediction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goldman Sachs（高盛）；OPKO Diagnostics（OPKO诊断公司）
采样是将图神经网络扩展到大型图的既定技术。然而，目前的方法假设图是同质的关系，忽略了关系类型，在生物医学图中至关重要。多关系图包含各种类型的关系，这些关系通常具有可变的频率，并且对于手头的问题具有不同的重要性。我们提出了一种在图神经网络中对邻域采样的关系类型的重要性进行建模的方法，并表明我们可以学习正确的平衡：反映频率和重要性的关系类型概率。我们对药物相互作用预测的实验表明，最先进的图神经网络在准确性和效率方面都受益于依赖关系的采样。
2021-05-28 cs.AI cs.LG stat.ML
On the Robustness of Graph Neural Diffusion to Topology Perturbations
Nanyang Technological University（南洋理工大学）；C3 AI（C3 AI公司）
本研究探索图神经PDEs对拓扑扰动的鲁棒性，证明其天然更稳健，并提出通用框架以定义新型鲁棒GNNs，在基准数据集上性能与最先进水平相当。
2023-05-11 cs.LG
Agent-based Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）；Huawei Zurich Research Center（华为苏黎世研究中心）
我们提出了一种新的图神经网络，我们称之为AgentNet，这是专为图级任务。AgentNet受到次线性算法的启发，具有独立于图大小的计算复杂性。AgentNet的体系结构与传统的图神经网络的体系结构有着根本的不同。在AgentNet中，一些经过训练的\textit{neural agents}智能地遍历图形，然后集体决定输出。我们提供了一个广泛的理论分析AgentNet：我们表明，代理可以学习系统地探索他们的邻居，AgentNet可以区分一些结构，甚至是2-WL无法区分。此外，AgentNet能够分离任何两个在子图方面充分不同的图。我们证实了这些理论结果与合成实验难以区分的图形和现实世界的图形分类任务。在这两种情况下，我们不仅可以与标准GNN进行比较，而且可以与计算成本更高的GNN扩展进行比较。
2023-02-27 cs.AI cs.LG stat.ML
Graph Partitioning and Graph Neural Network based Hierarchical Graph Matching for Graph Similarity Computation
Chongqing University（重庆大学）；Zhejiang University（浙江大学）；Harbin Institute of Technology（哈尔滨工业大学）
图相似性计算旨在预测一对图之间的相似性得分，以促进下游应用，例如找到与查询化合物或Fewshot 3D动作识别相似的最相似的化合物。近年来，基于神经网络的图相似度计算模型被提出，这些模型或基于图级交互，或基于节点级比较。然而，当图中的节点数量增加时，不可避免地会带来表示能力的降低或计算成本的增加。受此观察的启发，我们提出了一种基于图划分和图神经网络的模型，称为PSimGNN，以有效地解决这个问题。具体地说，每个输入图被划分成一组子图，以直接提取局部结构特征。其次，设计了一种新的带有注意力机制的图神经网络，将每个子图映射为一个嵌入向量。这些子图对中的一些被自动选择用于节点级比较，以补充具有细粒度信息的子图级嵌入。最后，粗粒度的子图之间的相互作用信息和细粒度的比较信息之间的不同子图预测最终的相似性得分。在具有不同图大小的图数据集上的实验结果表明，PSimGNN在使用近似图编辑距离（GED）作为图相似性度量的图相似性计算任务中优于最先进的方法。
2021-01-05 cs.LG cs.SI stat.ML
Beltrami Flow and Neural Diffusion on Graphs
Twitter Inc.（Twitter公司）；University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
我们提出了一类新的图神经网络的基础上离散Beltrami流，非欧扩散PDE。在我们的模型中，节点功能补充位置编码来自图形拓扑结构和共同发展的Beltrami流，同时产生连续的特征学习和拓扑结构的演变。由此产生的模型概括了许多流行的图神经网络，并在几个基准测试中取得了最先进的结果。
2021-10-18 cs.AI cs.LG stat.ML
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation（英特尔公司）
我们引入了一种新的编码器-解码器架构，将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码，以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程（CNP）模型。我们的架构采用了图神经网络的最新进展，以处理不规则采样的功能。因此，我们将我们的模型称为条件图神经过程（CGNP）。图神经网络可以有效地利用度量空间的“局部”结构，在度量空间上定义函数/过程。本文的贡献是双重的：（i）一种新的基于图的编码器-解码器架构的功能和过程嵌入，以及（ii）使用度量空间的结构，这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
GMNN: Graph Markov Neural Networks
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；University of Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）；HEC Montréal（蒙特利尔高等商学院）
本文研究了关系数据中的半监督对象分类问题，这是关系数据建模中的一个基本问题。这个问题已经在统计关系学习（例如关系马尔可夫网络）和图神经网络（例如图卷积网络）的文献中得到了广泛的研究。统计关系学习方法可以通过条件随机场有效地对对象标签的依赖性进行建模，以进行集体分类，而图神经网络通过端到端训练来学习有效的对象表示以进行分类。在本文中，我们提出了图马尔可夫神经网络（GMNN），结合了这两个世界的优点。一个GMNN模型的对象标签的联合分布与条件随机场，它可以有效地训练与变分EM算法。在E步骤中，一个图神经网络学习有效的对象表示，用于近似对象标签的后验分布。在M-步骤中，另一个图神经网络被用来模拟本地标签依赖。在对象分类、链接分类和无监督节点表示学习上的实验表明，GMNN取得了最好的结果。
2020-07-23 cs.LG cs.SI stat.ML
An Energy-Based View of Graph Neural Networks
New York University（纽约大学）
图神经网络是处理图结构数据的神经网络的流行变体。在这项工作中，我们考虑将图神经网络与Grathwohl et al.（2019）的基于能量的观点相结合，目的是获得更强大的分类器。我们成功地实现了这个框架，提出了一种新的方法来确保在特征和邻接矩阵上生成，并根据标准的图卷积网络（GCN）架构（Kipf & Welling（2016））评估我们的方法。我们的方法在提高鲁棒性的同时获得了相当的判别性能，为基于能量的图神经网络的未来研究开辟了有前途的新方向。
2021-10-04 cs.LG
Graph Neural Network Causal Explanation via Neural Causal Models
Illinois Institute of Technology（伊利诺伊理工大学）
针对现有图神经网络解释器多基于关联易产生虚假相关的问题，提出基于神经因果模型的GNN因果解释器，通过构建定制化神经因果模型计算因果效应以识别因果子图，性能显著优于现有方法。
2024-07-12 cs.AI cs.LG stat.ML
Autobahn: Automorphism-based Graph Neural Nets
Flatiron Institute（弗莱顿研究所）；New York University（纽约大学）；University of Chicago（芝加哥大学）
我们介绍了基于自同构的图神经网络（Autobahn），一个新的家庭的图神经网络。在一个高速公路，我们分解成一个子图的集合图，并应用局部卷积是等变的每个子图的自同构群。局部邻域和子图的特定选择恢复了现有的架构，例如消息传递神经网络。我们的形式主义还包括新颖的架构：作为一个例子，我们引入了一个图神经网络，它将图分解为路径和循环。由此产生的卷积反映了部分图可以变换的自然方式，保留了卷积的直观含义，而不会牺牲全局置换等方差。我们验证了我们的方法，应用Autobahn分子图，在那里它实现了竞争的结果与国家的最先进的消息传递算法。
2022-02-03 cs.LG
Graph Neural Networks: Taxonomy, Advances and Trends
Taiyuan University of Technology（太原理工大学）；Shanxi Spatial Information Network Engineering Technology Research Center（山西省空间信息网络工程技术研究中心）；Shanxi Intelligent Perception Engineering Research Center（山西省智能感知工程研究中心）
图神经网络提供了一个强大的工具包，用于根据特定任务将真实世界的图嵌入到低维空间中。截至目前，已有多项关于该主题的调查。但是，它们往往侧重于不同的角度，使读者无法看到图神经网络的全貌。本文旨在克服这一局限性，对图神经网络进行全面的综述。首先，我们为图神经网络提供了一种新的分类方法，然后参考了多达400篇相关文献，展示了图神经网络的全貌。所有这些都被归入相应的类别。为了推动图神经网络进入一个新的阶段，我们总结了四个未来的研究方向，以克服所面临的挑战。希望越来越多的学者能够理解和利用图神经网络，并将其应用于研究领域。
2022-02-25 cs.LG
Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?
UCSB（加州大学圣巴巴拉分校）；Adobe（奥多比公司）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了求解图神经正切核（GNTK）是否等价于训练无限宽图神经网络，证明了图级回归的等价性，并首次提出并证明了节点级回归的GNTK公式与等价性。
2023-09-14 cs.LG
GraphPAS: Parallel Architecture Search for Graph Neural Networks
Central South University（中南大学）；State Grid Hunan Electric Power Company Limited（国网湖南省电力有限公司）；Alibaba Group（阿里巴巴集团）
近年来，随着图神经网络在非欧数据上的成功应用，图神经结构搜索受到了广泛关注。然而，在巨大的搜索空间中探索所有可能的GNN架构对于大图数据来说太耗时或不可能。在本文中，我们提出了一个并行图结构搜索（GraphPAS）框架的图神经网络。在GraphPAS中，我们通过设计一种基于共享的进化学习来并行探索搜索空间，这可以在不损失准确性的情况下提高搜索效率。此外，动态地采用结构信息熵作为变异选择概率，减少了空间探索。实验结果表明，GraphPAS在效率和准确性方面同时优于最先进的模型。
2021-12-07 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University（杜克大学）
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法，如成对马尔可夫随机场（pMRF）和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而，现有的基于pMRF的方法不如图神经网络准确，这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中，我们的目标是解决现有的基于pMRF的方法的关键限制。特别是，我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明，我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调，以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Neural Graph Matching for Pre-training Graph Neural Networks
Ant Group（蚂蚁集团）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）
近年来，图神经网络（GNNs）在结构化数据建模方面表现出强大的能力。然而，当适应下游任务时，它通常需要大量的特定于任务的标记数据，而这些数据在实践中可能非常稀缺。解决数据稀缺问题的一个有前途的解决方案是在大量未标记图或粗粒度标记图上预训练可转移和表达的GNN模型。然后，预训练的GNN在下游数据集上进行微调，并带有特定于任务的细粒度标签。在本文中，我们提出了一种新的基于图匹配的GNN预训练框架，称为GMPT。专注于一对图，我们建议通过神经图匹配来学习它们之间的结构对应关系，包括图内消息传递和图间消息传递。通过这种方式，当与不同的图配对时，我们可以学习给定图的自适应表示，并且在单个预训练任务中自然地考虑节点和图级别的特征。该方法可用于完全自监督预训练和粗粒度监督预训练。我们进一步提出了一个近似的对比训练策略，以显着减少时间/内存消耗。在多域、分布外的基准测试上的大量实验证明了我们方法的有效性。该代码可从以下网址获取：https://github.com/RUCAIBox/GMPT。
2022-03-03 cs.LG
Benchmarking Graph Neural Networks on Link Prediction
Auburn University（奥本大学）
在本文中，我们基准测试几个现有的图神经网络（GNN）模型在不同的数据集上的链接预测。特别地，图卷积网络（GCN）、GraphSAGE、图注意力网络（GAT）以及变分图自动编码器（VGAE）被实现为专用于链接预测任务，执行深入分析，并且复制来自几篇不同论文的结果，还提供了更公平和系统的比较。我们的实验表明，这些GNN架构执行类似的各种基准链接预测任务。
2021-02-24 cs.LG
Finsler Geometry, Graph Neural Networks, and You
Rice University（莱斯大学）
针对图拉普拉斯只能近似各向同性算子的局限，提出基于芬斯勒拉普拉斯的图神经网络层，证明其收敛性并恢复非线性扩散方程的几何结构。
2026-06-17 cs.LG eess.SP math.DG
Graphs Unveiled: Graph Neural Networks and Graph Generation
University of Miskolc（米什科尔茨大学）
本文是一篇关于图神经网络（GNNs）的全面综述，探讨了其在各领域的应用，并介绍了图生成这一前沿领域。
2024-03-18 cs.AI cs.LG
Graph Sparsifications using Neural Network Assisted Monte Carlo Tree Search
University of California, Irvine（加州大学欧文分校）；University of Arizona（亚利桑那大学）
本文提出结合图神经网络与蒙特卡洛树搜索的图稀疏化方法，在多种图上优于标准近似算法，常能求得最优解。
2023-11-17 cs.LG
Graph Neural Networks and Time Series as Directed Graphs for Quality Recognition
University of Lancaster（兰卡斯特大学）；University of Bologna（博洛尼亚大学）
该研究将时间序列表示为编码时间依赖的有向图，并提出监督分类器与类自编码器两种几何深度学习模型，用于质量识别和信号重建。
2023-10-04 cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常，图神经网络（GNN）一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此，以前的研究表明，图神经网络的性能变得脆弱时，有异常节点的邻居，由于这种消息传递方法。在本文中，受神经结构搜索方法的启发，我们提出了一种算法，识别异常节点，并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明，我们提出的基于神经结构搜索的抗异常图神经网络（NASAR-GNN）实际上是有效的。
2021-12-19 cs.AI cs.LG
Graph-level Neural Networks: Current Progress and Future Directions
Macquarie University（麦考瑞大学）；University of Wollongong（伍伦贡大学）；Chinese Academy of Sciences（中国科学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Wuhan University（武汉大学）；Beihang University（北京航空航天大学）
由对象组成的图形结构数据（即，节点）和对象之间的关系（即，边缘）是普遍存在的。图级学习是研究一组图而不是单个图的问题。传统的图级学习方法曾经是主流。然而，随着图的规模和复杂性的增加，图级神经网络（GLNN，基于深度学习的图级学习方法）由于其在建模高维数据方面的优势而备受关注。因此，对GLNN的研究是必要的。为了构建这项调查，我们提出了一个系统的分类法，涵盖了深度神经网络，图神经网络和图池的GLNN。每个类别中的代表性和最先进的模型都集中在这次调查中。我们还研究了GLNN的再现性，基准和新的图形数据集。最后，我们总结了未来的发展方向，进一步推动GLNN。该调查的资料库可在https://github.com/GeZhangMQ/Awesome-Graph-level-Neural-Networks上查阅。
2022-05-31 cs.LG
