On the Convergence and Size Transferability of Continuous-depth Graph Neural Networks
Department of Mathematics, University of California, Santa Barbara, CA（加州大学圣巴巴拉分校数学系）
本文研究了连续深度图神经网络的收敛性与规模可转移性，通过引入图on神经微分方程，分析了其在无限节点极限下的收敛性及转移性，提供了理论支持。
2026-04-18 cs.AI cs.LG
Graph Neural Networks Go Forward-Forward
University of Geneva（日内瓦大学）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
我们提出了图向前-向前（GFF）算法，向前-向前过程的扩展图，能够处理分布在图的节点的功能。这允许仅用正向传递来训练图神经网络，而不需要反向传播。我们的方法是不可知的消息传递方案，并提供了一个更生物学合理的学习计划比反向传播，同时还携带计算优势。使用GFF，图神经网络使用正样本和负样本逐层进行灰色训练。我们在11个标准图属性预测任务上进行了实验，展示了GFF如何为训练图神经网络提供了一种有效的反向传播替代方案。这特别表明，尽管将每层训练与GNN中处理的局部性相结合，但该过程非常有效。
2023-02-10 cs.AI cs.LG
Permutation-Invariant Graph Partitioning:How Graph Neural Networks Capture Structural Interactions?
Australian National University（澳大利亚国立大学）
本文提出置换不变图划分方法，建立其与图同构的理论联系，并设计了图划分神经网络（GPNNs），有效增强了GNNs在多种图基准任务中捕获结构交互的表达能力。
2025-03-02 cs.AI cs.LG
RHCO: A Relation-aware Heterogeneous Graph Neural Network with Contrastive Learning for Large-scale Graphs
Beihang University（北京航空航天大学）
异构图神经网络（HGNNs）在异构信息网络任务中得到了广泛的应用，但大多数HGNNs在应用于大规模异构图时存在可扩展性差或表示能力弱的问题。为了解决这些问题，我们提出了一种新的异构图神经网络与对比学习（RHCO）的大规模异构图表示学习。与传统的异构图神经网络不同，我们采用对比学习机制来处理大规模异构图的复杂异构性。我们首先学习网络模式视图下的关系感知节点嵌入。然后提出了一种新的正样本选择策略来选择有意义的正样本。在正样本图视图下学习节点嵌入之后，我们执行跨视图对比学习以获得最终的节点表示。此外，我们采用标签平滑技术，以提高性能的RHCO。在三个大规模学术异构图数据集上的大量实验表明，RHCO在最先进的模型中取得了最佳性能。
2022-11-20 cs.AI cs.LG
GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；University of Waterloo（滑铁卢大学）
神经架构可以自然地被视为计算图。出于这种观点，在本文中，我们通过学习随机图模型的镜头来研究神经架构搜索（NAS）。与现有的NAS方法相比，这些方法主要集中在搜索单个最佳架构，即点估计，我们提出了GraphPNAS一种深度图生成模型，可以学习性能良好的架构的分布。依靠图神经网络（GNNs），我们的GraphPNAS可以更好地捕捉良好神经架构的拓扑结构和其中运算符之间的关系。此外，我们的图生成器导致了一种可学习的概率搜索方法，比常用的RNN生成器和随机搜索方法更灵活，更有效。最后，我们通过一个有效的强化学习公式NAS学习我们的生成器。为了评估我们的GraphPNAS的有效性，我们在三个搜索空间上进行了广泛的实验，包括TinyImageNet上具有挑战性的RandWire，CIFAR 10上的ENAS和NAS-Bench-101/201。RandWire的复杂性明显大于文献中的其他搜索空间。我们表明，我们提出的图形生成器始终优于基于RNN的图形生成器，并且比最先进的NAS方法具有更好或相当的性能。
2022-11-28 cs.AI cs.LG
Graph Neural Diffusion Networks for Semi-supervised Learning
Tongji University（同济大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对GCN在稀疏标记图上的欠平滑与过平滑问题，提出融合神经网络与传统图扩散的GND-Nets，单层利用顶点局部全局邻域信息，实验验证其优于现有方法。
2025-02-21 cs.AI cs.LG
KerGNNs: Interpretable Graph Neural Networks with Graph Kernels
Yale University（耶鲁大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
图核历来是图分类任务中最广泛使用的技术。然而，这些方法遭受有限的性能，因为手工制作的图的组合功能。近年来，图神经网络（GNNs）由于其优越的性能，已成为下游图相关任务的最先进的方法。大多数GNN基于消息传递神经网络（MPNN）框架。然而，最近的研究表明，MPNN不能超过的权力的Weisfeiler-Lehman（WL）算法在图同构测试。为了解决现有的图形内核和GNN方法的局限性，在本文中，我们提出了一种新的GNN框架，称为\textit{Kernel Graph Neural Networks}（KerGNNs），它集成了图形内核到GNNs的消息传递过程。受卷积神经网络（CNN）中卷积滤波器的启发，KerGNNs采用可训练的隐藏图作为图滤波器，其与子图相结合以使用图核更新节点嵌入。此外，我们还证明了MPNN可以被视为Kerns的特殊情况。我们将KerGNN应用于多个与图相关的任务，并使用交叉验证与基准进行公平比较。我们表明，与现有的最先进的方法相比，我们的方法具有竞争力的性能，证明了提高GNN表示能力的潜力。我们还表明，KerGNNs中训练的图过滤器可以揭示数据集的局部图结构，与传统的GNN模型相比，这显着提高了模型的可解释性。
2022-02-25 cs.AI cs.LG
Spectral Theory for Edge Pruning in Asynchronous Recurrent Graph Neural Networks
Mathematical Institute, University of Oxford（牛津大学数学研究所）
针对异步循环图神经网络模型庞大、计算成本高的问题，本文提出基于图谱理论、利用拉普拉斯特征值虚部的动态边剪枝方法，以提升效率且不显著降低性能。
2025-02-23 cs.AI cs.LG
Directed Acyclic Graph Neural Networks
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
图结构数据在科学和工程中无处不在。图神经网络（GNN）旨在利用图中表现出的关系归纳偏差;在结构信息补充节点特征的情况下，它们已被证明优于其他形式的神经网络。最常见的GNN架构基于消息传递聚合来自邻域的信息。它的普遍性使它具有广泛的适用性。在本文中，我们专注于一个特殊的，但广泛使用的，类型的图-DAG-和注入一个更强的归纳偏见-偏序-到神经网络的设计。我们提出了\emph{directed acyclic graph neural network}，DAGNN，一个架构，处理信息的流程定义的偏序。DAGNN可以被认为是一个框架，它需要早期的工作作为特殊情况（例如，树的模型和模型更新节点表示循环），但我们确定了几个关键组件，以前的架构缺乏。我们在代表性的DAG数据集上进行了全面的实验，包括消融研究（即，源代码，神经架构和概率图形模型），并证明DAGNN优于简单的DAG架构以及一般的图形架构。
2021-02-02 cs.AI cs.LG
Path Integral Based Convolution and Pooling for Heterogeneous Graph Neural Networks
Stanford University（斯坦福大学）
图神经网络（GNN）将深度学习扩展到图结构数据集。与用于图像预测的卷积神经网络（CNN）类似，卷积和池化层是GNN在图预测任务上成功的基础。在最初的PAN论文中，它使用基于路径积分的图神经网络进行图预测。具体来说，它使用卷积运算，该运算涉及连接消息发送者和接收者的每条路径，这些路径具有取决于路径长度的可学习权重，这对应于最大熵随机游走。它进一步推广这种卷积运算到一个新的转移矩阵称为最大熵转移（MET）。由于MET矩阵的对角元素与子图中心性直接相关，因此它提供了一种基于中心性得分的池化试验机制。而最初的PAN论文只考虑节点特征。我们进一步扩展了它的能力，以处理复杂的异构图，包括节点和边缘功能。
2023-02-26 cs.AI cs.LG
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo（东京大学）
图神经网络（GNN）是将图数据作为输入的深度学习模型，并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而，由于GNN的复杂性，很难分析输入的哪些部分影响GNN模型的输出。在这项研究中，我们扩展了卷积神经网络（CNN）的可解释性方法，例如局部可解释模型不可知性解释（LIME），基于显着性的映射和基于显着性的加权类激活映射（Grad-CAM）到GNN，并预测输入图中的哪些边对GNN决策很重要。实验结果表明，基于LIME的方法是最有效的可解释性方法，在现实世界的情况下，多个任务，甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
Measuring and Improving the Use of Graph Information in Graph Neural Networks
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）
图神经网络（GNN）已被广泛用于对图数据的表示学习。然而，对于GNN实际上从图形数据中获得多少性能的理解有限。本文介绍了一个上下文周围的GNN框架，并提出了两个平滑度度量，以衡量从图数据中获得的信息的数量和质量。一个新的GNN模型，称为CS-GNN，然后设计，以提高使用的图信息的基础上的平滑度值。CS-GNN在不同类型的实数图中表现出比现有方法更好的性能。
2022-06-27 cs.AI cs.LG
Zorro: Valid, Sparse, and Stable Explanations in Graph Neural Networks
L3S Research Center（L3S研究中心）；Leibniz University Hanover（汉诺威莱布尼茨大学）；TU Delft（代尔夫特理工大学）
随着图神经网络的日益普及和应用，已经提出了一些建议来解释和理解图神经网络的决策。图神经网络的说明原则上不同于其他输入设置。重要的是将决策归因于输入特征和由图结构连接的其他相关实例。我们发现，以前的解释生成方法，最大限度地提高互信息之间的标签分布的模型和解释是有限制的。具体而言，现有的方法不强制解释是有效的，稀疏的，或鲁棒的输入扰动。在本文中，我们制定了一些基本原则，解释方法图神经网络应遵循的，并引入了一个度量RDT-保真度的解释的有效性的措施。我们提出了一种新的方法Zorro的基础上的原则，从率失真理论，使用一个简单的组合过程来优化RDT保真度。在真实数据集和合成数据集上的大量实验表明，Zorro比现有的图神经网络解释方法产生更稀疏、稳定和更忠实的解释。
2022-03-16 cs.AI cs.LG
STFL: A Temporal-Spatial Federated Learning Framework for Graph Neural Networks
Macquarie University（麦考瑞大学）；Ant Group（蚂蚁集团）
本文提出了一个时空联合的图神经网络学习框架STFL。该框架探索输入时空数据的潜在相关性，并将其转换为节点特征和邻接矩阵。框架中的联邦学习设置确保了数据隐私，同时实现了良好的模型泛化。在睡眠阶段数据集ISRUC_S3上的实验结果说明了STFL在图预测任务上的有效性。
2022-01-11 cs.AI cs.LG
Uplifting Message Passing Neural Network with Graph Original Information
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
消息传递神经网络（MPNN）基于图的原始信息（包括节点特征和图结构）学习图结构数据的表示，在节点分类任务中表现出惊人的改进。然而，MPNN的表达能力是上限的一阶Weisfeiler-Leman测试和其准确性仍然有改进的空间。本文从理论和实证两个方面研究了如何充分利用图的原始信息来提高MPNN的表达能力和泛化能力。它进一步提出了一种新的GNN模型，称为INGNN（信息增强的图神经网络），利用洞察力来提高节点分类性能。在合成数据集和真实数据集上进行的大量实验表明，与最先进的方法相比，我们的INGNN具有优越性（平均排名1.78）。
2023-01-26 cs.AI cs.LG
Graph Condensation for Graph Neural Networks
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）；UCLA（加州大学洛杉矶分校）；Snap Inc.（Snap公司）
考虑到大规模图在现实世界应用中的普遍性，训练神经模型的存储和时间已经引起了越来越多的关注。为了缓解这种担忧，我们提出并研究了图神经网络（GNNs）的图凝聚问题。具体来说，我们的目标是将大型原始图压缩成一个小型的、合成的、信息量高的图，这样在小型图和大型图上训练的GNN就具有相当的性能。我们通过优化梯度匹配损失来模仿原始图上的GNN训练轨迹来解决凝聚问题，并设计了一种同时凝聚节点期货和结构信息的策略。大量的实验已经证明了所提出的框架在将不同的图数据集压缩成信息量更小的图方面的有效性。特别是，我们能够在Reddit上将原始测试准确率近似为95.3%，在Flickr上为99.8%，在Citeseer上为99.0%，同时将它们的图大小减少了99.9%以上，并且浓缩图可以用于训练各种GNN架构。代码发布在https://github.com/ChandlerBang/GCond上。
2022-09-27 cs.AI cs.LG
Graph Neural Networks vs Convolutional Neural Networks for Graph Domination Number Prediction
Rice University（里士大学）
本文比较了图神经网络与卷积神经网络在预测图支配数中的性能，发现GNNs在准确率和速度上均优于CNNs，为图优化和数学发现提供了新的方法。
2025-11-22 cs.AI cs.LG math.CO
Survey of Image Based Graph Neural Networks
在这篇综述论文中，我们分析了基于图像的图神经网络，并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素，以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后，将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好，计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程（GNP），其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入，并输出目标点上的分布。我们展示了图神经过程中的边缘插补，并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；American University of Beirut（贝鲁特美国大学）
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而，这种性能是基于静态图结构的假设，当数据随时间变化时，这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近，提出了各种时空图神经网络算法，并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题，包括算法，应用和开放挑战。
2023-02-11 cs.LG
Graph Neural Networks for Learning Equivariant Representations of Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Samsung - SAIT AI Lab, Montreal（三星SAIT人工智能实验室（蒙特利尔））；Carnegie Mellon University（卡内基梅隆大学）；TNO（荷兰应用科学研究组织）
提出将神经网络表示为参数计算图，利用图神经网络和transformers保留置换对称性，使单一模型能编码多样架构，在多项任务上优于现有方法。
2024-07-23 cs.AI cs.LG stat.ML
Capsule Graph Neural Networks with EM Routing
Nanjing University of Science and Technology（南京理工大学）
为了有效地对图实例进行分类，图神经网络需要具有捕获图中存在的部分-整体关系的能力。胶囊是一组代表实体复杂性质的神经元，在传统的卷积神经网络中显示出了它的优势。本文提出了一种新的胶囊图神经网络，它使用EM路由机制（CapsGNNEM）来生成高质量的图嵌入。在一些真实世界的图数据集上的实验结果表明，所提出的CapsGNNEM在图分类任务中优于9个最先进的模型。
2021-10-18 cs.LG
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University（乔治梅森大学）
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点，边表示它们在地图中的相邻关系。我们实验的House-GAN数据集，包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明，图神经网络，特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率，超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱越来越多地用于各种下游任务，如问答和信息检索。然而，知识图谱往往是不完整的，从而导致性能不佳。因此，人们对知识库完成的任务很感兴趣。最近，图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息，并已被证明可以在各种数据集上实现SOTA性能。在这项调查中，我们了解所提出的方法的各种优点和缺点，并试图找到新的令人兴奋的研究问题，在这一领域，需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
The Logic of Graph Neural Networks
RWTH Aachen University（亚琛工业大学）
图神经网络（GNN）是用于图上的机器学习问题的深度学习架构。最近已经表明，GNN的表达能力可以通过组合Weisfeiler-Leman算法和有限变量计数逻辑来精确表征。这种对应关系甚至导致了新的高阶GNN，对应于更高维度的WL算法。本文的目的是解释GNN的这些描述性特征。
2022-01-09 cs.AI cs.LG cs.LO
Fea2Fea: Exploring Structural Feature Correlations via Graph Neural Networks
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
结构特征是几何图形的重要特征。虽然有一些基于协方差的特征相关性分析，但还没有相关的研究与图神经网络的结构特征相关性分析。在低维空间中引入图特征到特征（Fea ~ 2Fea）预测流水线，探索基于图神经网络的结构特征相关性的一些初步结果.结果表明，某些结构特征之间存在高度相关性。在某些基于图的分类任务中，采用无冗余的初始节点特征组合，并经图神经网络过滤，提高了分类精度。我们比较了连接特征之间嵌入的串联方法之间的差异，并表明最简单的是最好的。我们推广了合成几何图，并证明了结构特征之间的预测难度的结果。
2021-09-09 cs.AI cs.LG cs.SI
deepstruct -- linking deep learning and graph theory
University of Passau（帕绍大学）
deepstruct将深度学习模型和图论连接起来，使得可以将不同的图结构施加在神经网络上，或者可以从训练的神经网络模型中提取图结构。为此，deepstruct提供了具有不同限制的深度神经网络模型，这些模型可以基于初始图创建。此外，从训练模型中提取图形结构的工具也是可用的。即使对于只有几十万个参数的模型，提取图的这一步骤也可能在计算上是昂贵的，并且提出了一个具有挑战性的问题。deepstruct支持神经网络的剪枝、神经结构搜索、自动网络设计和结构分析等研究。
2021-12-05 cs.AI cs.LG cs.NE
Relation Matters in Sampling: A Scalable Multi-Relational Graph Neural Network for Drug-Drug Interaction Prediction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goldman Sachs（高盛）；OPKO Diagnostics（OPKO诊断公司）
采样是将图神经网络扩展到大型图的既定技术。然而，目前的方法假设图是同质的关系，忽略了关系类型，在生物医学图中至关重要。多关系图包含各种类型的关系，这些关系通常具有可变的频率，并且对于手头的问题具有不同的重要性。我们提出了一种在图神经网络中对邻域采样的关系类型的重要性进行建模的方法，并表明我们可以学习正确的平衡：反映频率和重要性的关系类型概率。我们对药物相互作用预测的实验表明，最先进的图神经网络在准确性和效率方面都受益于依赖关系的采样。
2021-05-28 cs.AI cs.LG stat.ML
On the Robustness of Graph Neural Diffusion to Topology Perturbations
Nanyang Technological University（南洋理工大学）；C3 AI（C3 AI公司）
本研究探索图神经PDEs对拓扑扰动的鲁棒性，证明其天然更稳健，并提出通用框架以定义新型鲁棒GNNs，在基准数据集上性能与最先进水平相当。
2023-05-11 cs.LG
Agent-based Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）；Huawei Zurich Research Center（华为苏黎世研究中心）
我们提出了一种新的图神经网络，我们称之为AgentNet，这是专为图级任务。AgentNet受到次线性算法的启发，具有独立于图大小的计算复杂性。AgentNet的体系结构与传统的图神经网络的体系结构有着根本的不同。在AgentNet中，一些经过训练的\textit{neural agents}智能地遍历图形，然后集体决定输出。我们提供了一个广泛的理论分析AgentNet：我们表明，代理可以学习系统地探索他们的邻居，AgentNet可以区分一些结构，甚至是2-WL无法区分。此外，AgentNet能够分离任何两个在子图方面充分不同的图。我们证实了这些理论结果与合成实验难以区分的图形和现实世界的图形分类任务。在这两种情况下，我们不仅可以与标准GNN进行比较，而且可以与计算成本更高的GNN扩展进行比较。
2023-02-27 cs.AI cs.LG stat.ML
Learning Convolutional Neural Networks for Graphs
NEC Labs Europe（NEC欧洲实验室）
许多重要的问题可以被定义为从图形数据中学习。我们提出了一个学习任意图的卷积神经网络的框架。这些图可以是无向的、有向的，并且具有离散和连续的节点和边属性。类似于对输入的局部连接区域进行操作的基于图像的卷积网络，我们提出了一种从图中提取局部连接区域的通用方法。使用已建立的基准数据集，我们证明了学习的特征表示与最先进的图形内核具有竞争力，并且它们的计算效率很高。
2016-06-08 cs.AI cs.LG stat.ML
Graph Neural Networks and Boolean Satisfiability
Stanford University（斯坦福大学）
在本文中，我们探讨了深度神经架构是否可以学习对布尔可满足性（SAT）进行分类。我们花了相当多的时间来讨论SAT的理论性质。然后，我们定义了一个图形表示的合取范式的布尔公式，和训练神经分类器在一般的图形结构称为图神经网络，或GNNs，识别满足性的功能。据我们所知，这是以前从未尝试过的。我们的初步发现可能意义深远。在弱监督环境中，即没有问题特定的特征工程，图神经网络可以学习满足性特征。
2017-02-12 cs.AI
Knowledge Enhanced Graph Neural Networks for Graph Completion
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔中心）；CNRS（法国国家科学研究中心）
提出知识增强图神经网络KeGNN，结合神经与符号方法，将先验知识融入图神经网络，用于图补全任务，并在节点分类基准上验证有效性。
2023-08-31 cs.AI cs.LG cs.LO
Beltrami Flow and Neural Diffusion on Graphs
Twitter Inc.（Twitter公司）；University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
我们提出了一类新的图神经网络的基础上离散Beltrami流，非欧扩散PDE。在我们的模型中，节点功能补充位置编码来自图形拓扑结构和共同发展的Beltrami流，同时产生连续的特征学习和拓扑结构的演变。由此产生的模型概括了许多流行的图神经网络，并在几个基准测试中取得了最先进的结果。
2021-10-18 cs.AI cs.LG stat.ML
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation（英特尔公司）
我们引入了一种新的编码器-解码器架构，将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码，以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程（CNP）模型。我们的架构采用了图神经网络的最新进展，以处理不规则采样的功能。因此，我们将我们的模型称为条件图神经过程（CGNP）。图神经网络可以有效地利用度量空间的“局部”结构，在度量空间上定义函数/过程。本文的贡献是双重的：（i）一种新的基于图的编码器-解码器架构的功能和过程嵌入，以及（ii）使用度量空间的结构，这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
An Energy-Based View of Graph Neural Networks
New York University（纽约大学）
图神经网络是处理图结构数据的神经网络的流行变体。在这项工作中，我们考虑将图神经网络与Grathwohl et al.（2019）的基于能量的观点相结合，目的是获得更强大的分类器。我们成功地实现了这个框架，提出了一种新的方法来确保在特征和邻接矩阵上生成，并根据标准的图卷积网络（GCN）架构（Kipf & Welling（2016））评估我们的方法。我们的方法在提高鲁棒性的同时获得了相当的判别性能，为基于能量的图神经网络的未来研究开辟了有前途的新方向。
2021-10-04 cs.LG
Graph Neural Network Causal Explanation via Neural Causal Models
Illinois Institute of Technology（伊利诺伊理工大学）
针对现有图神经网络解释器多基于关联易产生虚假相关的问题，提出基于神经因果模型的GNN因果解释器，通过构建定制化神经因果模型计算因果效应以识别因果子图，性能显著优于现有方法。
2024-07-12 cs.AI cs.LG stat.ML
Two-view Graph Neural Networks for Knowledge Graph Completion
University of Stuttgart（斯图加特大学）；Oracle Labs（甲骨文实验室）；Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
我们提出了一个有效的基于图神经网络（GNN）的知识图谱嵌入模型，我们命名为WGE，捕捉实体和关系为重点的图形结构。给定一个知识图谱，WGE构建一个无向的以实体为中心的图，将实体视为节点。WGE还从关注关系的约束中构造了另一个无向图，它将实体和关系视为节点。然后，WGE提出了一个基于GNN的架构，以更好地从这两个单一的实体和关系集中的图中学习实体和关系的向量表示。WGE将学习到的实体和关系表示馈送到加权得分函数中，以返回知识图谱完成的三重得分。实验结果表明，WGE优于强基线上的七个基准数据集的知识图谱完成。
2023-03-11 cs.AI cs.CL cs.LG
Autobahn: Automorphism-based Graph Neural Nets
Flatiron Institute（弗莱顿研究所）；New York University（纽约大学）；University of Chicago（芝加哥大学）
我们介绍了基于自同构的图神经网络（Autobahn），一个新的家庭的图神经网络。在一个高速公路，我们分解成一个子图的集合图，并应用局部卷积是等变的每个子图的自同构群。局部邻域和子图的特定选择恢复了现有的架构，例如消息传递神经网络。我们的形式主义还包括新颖的架构：作为一个例子，我们引入了一个图神经网络，它将图分解为路径和循环。由此产生的卷积反映了部分图可以变换的自然方式，保留了卷积的直观含义，而不会牺牲全局置换等方差。我们验证了我们的方法，应用Autobahn分子图，在那里它实现了竞争的结果与国家的最先进的消息传递算法。
2022-02-03 cs.LG
Graph Neural Networks: Taxonomy, Advances and Trends
Taiyuan University of Technology（太原理工大学）；Shanxi Spatial Information Network Engineering Technology Research Center（山西省空间信息网络工程技术研究中心）；Shanxi Intelligent Perception Engineering Research Center（山西省智能感知工程研究中心）
图神经网络提供了一个强大的工具包，用于根据特定任务将真实世界的图嵌入到低维空间中。截至目前，已有多项关于该主题的调查。但是，它们往往侧重于不同的角度，使读者无法看到图神经网络的全貌。本文旨在克服这一局限性，对图神经网络进行全面的综述。首先，我们为图神经网络提供了一种新的分类方法，然后参考了多达400篇相关文献，展示了图神经网络的全貌。所有这些都被归入相应的类别。为了推动图神经网络进入一个新的阶段，我们总结了四个未来的研究方向，以克服所面临的挑战。希望越来越多的学者能够理解和利用图神经网络，并将其应用于研究领域。
2022-02-25 cs.LG
Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?
UCSB（加州大学圣巴巴拉分校）；Adobe（奥多比公司）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了求解图神经正切核（GNTK）是否等价于训练无限宽图神经网络，证明了图级回归的等价性，并首次提出并证明了节点级回归的GNTK公式与等价性。
2023-09-14 cs.LG
GraphPAS: Parallel Architecture Search for Graph Neural Networks
Central South University（中南大学）；State Grid Hunan Electric Power Company Limited（国网湖南省电力有限公司）；Alibaba Group（阿里巴巴集团）
近年来，随着图神经网络在非欧数据上的成功应用，图神经结构搜索受到了广泛关注。然而，在巨大的搜索空间中探索所有可能的GNN架构对于大图数据来说太耗时或不可能。在本文中，我们提出了一个并行图结构搜索（GraphPAS）框架的图神经网络。在GraphPAS中，我们通过设计一种基于共享的进化学习来并行探索搜索空间，这可以在不损失准确性的情况下提高搜索效率。此外，动态地采用结构信息熵作为变异选择概率，减少了空间探索。实验结果表明，GraphPAS在效率和准确性方面同时优于最先进的模型。
2021-12-07 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University（杜克大学）
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法，如成对马尔可夫随机场（pMRF）和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而，现有的基于pMRF的方法不如图神经网络准确，这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中，我们的目标是解决现有的基于pMRF的方法的关键限制。特别是，我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明，我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调，以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Neural Graph Matching for Pre-training Graph Neural Networks
Ant Group（蚂蚁集团）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）
近年来，图神经网络（GNNs）在结构化数据建模方面表现出强大的能力。然而，当适应下游任务时，它通常需要大量的特定于任务的标记数据，而这些数据在实践中可能非常稀缺。解决数据稀缺问题的一个有前途的解决方案是在大量未标记图或粗粒度标记图上预训练可转移和表达的GNN模型。然后，预训练的GNN在下游数据集上进行微调，并带有特定于任务的细粒度标签。在本文中，我们提出了一种新的基于图匹配的GNN预训练框架，称为GMPT。专注于一对图，我们建议通过神经图匹配来学习它们之间的结构对应关系，包括图内消息传递和图间消息传递。通过这种方式，当与不同的图配对时，我们可以学习给定图的自适应表示，并且在单个预训练任务中自然地考虑节点和图级别的特征。该方法可用于完全自监督预训练和粗粒度监督预训练。我们进一步提出了一个近似的对比训练策略，以显着减少时间/内存消耗。在多域、分布外的基准测试上的大量实验证明了我们方法的有效性。该代码可从以下网址获取：https://github.com/RUCAIBox/GMPT。
2022-03-03 cs.LG
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Dept. of Electrical and Systems Eng.（电气与系统工程系）；Philadelphia, PA 19143（费城，PA 19143）
图神经网络（GNN）依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的，并且不依赖于图，因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中，我们引入图子NN作为GNN的极限对象，并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的，则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
Benchmarking Graph Neural Networks on Link Prediction
Auburn University（奥本大学）
在本文中，我们基准测试几个现有的图神经网络（GNN）模型在不同的数据集上的链接预测。特别地，图卷积网络（GCN）、GraphSAGE、图注意力网络（GAT）以及变分图自动编码器（VGAE）被实现为专用于链接预测任务，执行深入分析，并且复制来自几篇不同论文的结果，还提供了更公平和系统的比较。我们的实验表明，这些GNN架构执行类似的各种基准链接预测任务。
2021-02-24 cs.LG
Graph Sparsifications using Neural Network Assisted Monte Carlo Tree Search
University of California, Irvine（加州大学欧文分校）；University of Arizona（亚利桑那大学）
本文提出结合图神经网络与蒙特卡洛树搜索的图稀疏化方法，在多种图上优于标准近似算法，常能求得最优解。
2023-11-17 cs.LG
Graph Neural Networks and Time Series as Directed Graphs for Quality Recognition
University of Lancaster（兰卡斯特大学）；University of Bologna（博洛尼亚大学）
该研究将时间序列表示为编码时间依赖的有向图，并提出监督分类器与类自编码器两种几何深度学习模型，用于质量识别和信号重建。
2023-10-04 cs.LG
Graph-level Neural Networks: Current Progress and Future Directions
Macquarie University（麦考瑞大学）；University of Wollongong（伍伦贡大学）；Chinese Academy of Sciences（中国科学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Wuhan University（武汉大学）；Beihang University（北京航空航天大学）
由对象组成的图形结构数据（即，节点）和对象之间的关系（即，边缘）是普遍存在的。图级学习是研究一组图而不是单个图的问题。传统的图级学习方法曾经是主流。然而，随着图的规模和复杂性的增加，图级神经网络（GLNN，基于深度学习的图级学习方法）由于其在建模高维数据方面的优势而备受关注。因此，对GLNN的研究是必要的。为了构建这项调查，我们提出了一个系统的分类法，涵盖了深度神经网络，图神经网络和图池的GLNN。每个类别中的代表性和最先进的模型都集中在这次调查中。我们还研究了GLNN的再现性，基准和新的图形数据集。最后，我们总结了未来的发展方向，进一步推动GLNN。该调查的资料库可在https://github.com/GeZhangMQ/Awesome-Graph-level-Neural-Networks上查阅。
2022-05-31 cs.LG
Graph Neural Networks in Real-Time Fraud Detection with Lambda Architecture
Shanghai Jiaotong University（上海交通大学）
交易结账欺诈检测是电子商务市场的重要风险控制环节。为了利用图网络有效地降低欺诈率，并保证信息流只通过邻居从过去的结帐，我们首先提出了一种新的定向动态快照（DDS）的链接设计的图建设和一个lambda神经网络（LNN）架构的有效推理与图神经网络嵌入。实验表明，我们的LNN DDS图，优于基线模型显着，是实时的【形】欺诈检测的计算效率。
2021-10-09 cs.AI cs.DB cs.LG
Graph Coordinates and Conventional Neural Networks -- An Alternative for Graph Neural Networks
Colorado State University（科罗拉多州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出TCNN和DVCNN两种直接利用图拓扑的神经网络，作为消息传递GNN的高效替代，在OGBN基准上以更少参数达到相当或更优性能。
2023-12-03 cs.LG
On Node Features for Graph Neural Networks
EPFL（洛桑联邦理工学院）；HUST（华中科技大学）；Google（谷歌公司）；Griffith University（格里菲斯大学）
图神经网络（GNN）是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而，这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明，如果节点特征和节点标签之间存在很强的相关性，GNN就能很好地工作。基于这些结果，我们提出了新的特征初始化方法，允许将图神经网络应用于非属性图。我们的实验结果表明，人工特征具有很强的竞争力，真正的功能。
2019-11-20 cs.LG stat.ML
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架，证明图态可作为参数化量子电路表征神经网络，也可作为底层结构在量子计算机上构建图神经网络，为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
