Link Stealing Attacks Against Inductive Graph Neural Networks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）；Hong Kong University of Science and Technology（香港科技大学）；University of Birmingham（伯明翰大学）；University of Lausanne（洛桑大学）；Duke University（杜克大学）
本文从链接窃取攻击视角系统分析归纳式GNN隐私，提出仅后验与组合攻击，并在六个数据集上验证其有效性、鲁棒性及现有防御不足。
2024-05-09 cs.CR cs.LG
Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning
The University of Queensland（昆士兰大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
随着各种应用中无处不在的图结构数据，能够学习节点的紧凑但富有表现力的向量表示的模型变得非常可取。近年来，基于消息传递范式的图神经网络极大地提高了图上节点表示学习的性能。然而，大多数GNN仅针对同构图设计，导致对具有各种类型节点和边的信息量更大的异构图的适应性较差。此外，尽管有必要为全新的节点（例如，在流场景中），很少有异构GNN可以绕过其中所有节点必须在训练期间已知的转导学习方案。此外，大多数异构GNN的训练效率受到其用于提取与每个元路径或关系相关联的语义的复杂设计的阻碍。在本文中，我们提出了广泛和深度的消息传递网络（WIDEN），以应付上述问题的异构性，诱导性和效率，很少一起研究图表示学习。在WIDEN中，我们提出了一种新的归纳，元路径的消息传递方案，包装了异构节点的功能，其相关的边缘从低和高阶邻居节点。为了进一步提高训练效率，我们创新性地提出了一种主动下采样策略，丢弃不重要的邻居节点，以促进更快的信息传播。在三个真实世界的异构图上的实验进一步验证了WIDEN在传导和归纳节点表示学习上的有效性，以及对最先进基线的优越训练效率。
2021-04-11 cs.LG cs.SI
Inductive Knowledge Graph Completion with GNNs and Rules: An Analysis
Cardiff University（卡迪夫大学）
针对归纳式知识图谱补全中基于规则的方法表现不如GNN方法的问题，分析了不合理实体未排名和仅考虑单一路径两个原因，提出多种规则变体，在保留可解释性的同时达到或超越NBFNet性能。
2024-03-24 cs.AI cs.LG cs.SI
Energy Guided smoothness to improve Robustness in Graph Classification
Sapienza University of Rome, Rome, Italy（罗马萨皮恩扎大学）；CNRS, i3S, Inria（国家科学研究中心、i3S、法国国家信息与自动化技术研究所）；Institute of Information Science and Technologies "Alessandro Faedo" - ISTI-CNR, Pisa, Italy（信息科学与技术研究所"Alessandro Faedo" - ISTI-CNR，比萨，意大利）
本文提出通过能量引导的平滑性提升GNN在图分类任务中的鲁棒性，通过改进权重矩阵和引入损失惩罚来增强模型对噪声的抗性。
2026-02-05 cs.LG
AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting
University of California, Berkeley（加州大学伯克利分校）；LinkedIn（领英）
图神经网络（GNNs）作为深度学习的一个特殊领域，专注于提取网络的内在特征，在学术界和工业界都受到了前所未有的关注。大多数最先进的GNN模型都提供了富有表现力的，鲁棒的，可扩展的和归纳的解决方案，使社交网络推荐系统具有丰富的网络功能，这些功能在计算上难以利用基于图遍历的方法。最近的GNN遵循编码器-解码器范式，将子图中的高维异构信息编码到一个低维嵌入空间中。然而，一个单一的嵌入空间通常无法捕捉所有方面的图形信号。在这项工作中，我们提出了基于提升的GNN Meta学习器，它自动学习多个投影和相应的嵌入空间，捕获图形信号的不同方面。因此，子图之间的相似性通过在多个嵌入空间上嵌入接近度来量化。AdaGNN对于具有丰富多样的节点邻域信息的应用程序表现非常出色。此外，AdaGNN与任何归纳GNN兼容，用于节点级和边缘级任务。
2021-08-14 cs.LG cs.SI
A Collective Learning Framework to Boost GNN Expressiveness
Purdue University（普渡大学）
图神经网络（GNN）最近已被用于节点和图分类任务，并取得了巨大的成功，但GNN模型之间的依赖关系附近的相邻节点的属性，而不是观察到的节点标签之间的依赖关系。在这项工作中，我们考虑在监督和半监督环境中使用GNN进行归纳节点分类的任务，目标是纳入标签依赖性。因为当前的GNN不是通用的（即，最具表现力）的图形表示，我们提出了一种通用的集体学习方法来提高任何现有GNN的表示能力。我们的框架结合了集体分类与自监督学习的思想，并使用蒙特卡罗方法对图中的归纳学习进行采样嵌入。我们评估了五个真实网络数据集的性能，并证明了各种最先进的GNN在节点分类准确性方面的一致，显著的改进。
2020-09-28 cs.LG stat.ML
A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for Hyperparameter Optimisation of Graph Neural Networks
Heriot-Watt University（赫瑞-瓦特大学）；University of Aberdeen（阿伯丁大学）
结构化数据的图形表示可以促进立体特征的提取，并且在与深度学习系统（所谓的图神经网络（GNN））一起工作时，它已经表现出出色的能力。选择一个有前途的架构来构建GNN可以转移到一个超参数优化问题，这是一个非常具有挑战性的任务，因为底层搜索空间的大小和评估候选GNN的高计算成本。为了解决这个问题，本研究提出了一种新的遗传算法与分层评估策略（HESGA），它结合了全面评估的GNNs的快速评估方法。通过使用完全评估，GNN由一组超参数值表示，并在指定的数据集上进行训练，均方根误差（RMSE）将用于衡量由超参数值集表示的GNN的质量（对于回归问题）。虽然在所提出的快速评估过程中，训练将在早期阶段中断，但开始和中断时期之间的RMSE值的差异将被用作快速分数，这意味着GNN的潜力正在被考虑。为了协调这两种类型的评估，所提出的分层策略使用较低级别的快速评估来推荐候选人到更高级别，其中全面评估将作为最终评估者来维护一组精英个体。为了验证HESGA的有效性，我们将其应用于优化两种类型的深度图神经网络。在三个基准数据集上的实验结果表明，与贝叶斯超参数优化相比，该方法具有明显的优势.
2021-01-26 cs.LG cs.NE
Ego-GNNs: Exploiting Ego Structures in Graph Neural Networks
McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
图神经网络（GNN）作为图结构数据的深度学习框架已经取得了显着的成功。然而，GNN从根本上受到其树结构归纳偏差的限制：WL子树内核公式限制了GNN的表示能力，并且多项式时间GNN可证明无法识别图中的三角形。在这项工作中，我们建议用自我图上定义的信息来增强GNN消息传递操作（即，围绕每个节点的导出子图）。我们将这些方法称为Ego-GNNs，并证明Ego-GNNs比标准的消息传递GNNs更强大。特别是，我们证明了Ego-GNNs能够识别闭合三角形，这对于现实世界图中传递性的突出性至关重要。我们还激励我们的方法从图形信号处理的角度来看，作为一种形式的复用图卷积。使用合成和真实数据的节点分类实验结果突出了使用这种方法可以实现的性能增益。
2021-07-22 cs.LG
Graph neural network initialisation of quantum approximate optimisation
Indian Institute of Technology（印度理工学院）；University of Edinburgh（爱丁堡大学）；Sorbonne Université（索邦大学）
近似组合优化已经成为量子计算机最有前途的应用领域之一，特别是在短期内。在这项工作中，我们专注于量子近似优化算法（QAOA）解决最大切割问题。具体来说，我们解决两个问题的QAOA，如何初始化的算法，以及如何随后训练的参数，以找到一个最佳的解决方案。对于前者，我们提出图神经网络（GNNs）作为QAOA的热启动技术。我们证明了将GNN与QAOA合并可以单独优于这两种方法。此外，我们还演示了图神经网络如何不仅在图实例中实现热启动泛化，而且还增加了图的大小，这是其他热启动方法无法直接使用的功能。为了训练QAOA，我们测试了MaxCut问题的几个优化器，最多16个量子位，并对香草梯度下降进行了基准测试。这些包括量子感知/不可知论和基于机器学习/神经优化器。后者的例子包括强化和元学习。这些初始化和优化工具包的结合，我们演示了如何使用QAOA在端到端的微分管道的优化问题可以解决。
2022-11-15 cs.LG quant-ph
Inductive Subgraphs as Shortcuts: Causal Disentanglement for Heterophilic Graph Learning
The Hong Kong Polytechnic University（香港理工大学）；Curtin University（Curtin大学）；University of Macau（澳门大学）；The Education University of Hong Kong（香港教育大学）
本文提出因果解缠图神经网络CD-GNN，通过阻断非因果路径提升异质图节点分类的鲁棒性和准确性。
2026-04-21 cs.AI cs.LG
The Role of Fibration Symmetries in Geometric Deep Learning
The City College of New York（纽约城市学院）；Università degli Studi di Milano（米兰大学）；Levich Institute（莱维奇研究所）
本文提出将几何深度学习从全局对称性放宽至局部纤维化对称性，推导出GNN表达能力的更紧上界，并通过折叠对称节点提升深度神经网络的计算效率与泛化能力。
2024-08-28 cs.LG
ReFactor GNNs: Revisiting Factorisation-based Models from a Message-Passing Perspective
UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）；Meta AI；Amazon Web Services（亚马逊云科技）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出 ReFactor GNN，将因子分解模型的梯度下降重构为消息传递，从而兼顾节点特征与归纳泛化，并在 KGC 基准上以少一个数量级参数达到优异性能。
2025-01-16 cs.AI cs.CL cs.LG
Redesigning graph filter-based GNNs to relax the homophily assumption
King Juan Carlos University（胡安·卡洛斯国王大学）；Rice University（莱斯大学）
针对传统GNN隐含同质性假设、在异质性数据上性能下降的问题，提出重新诠释图滤波器作用的卷积GNN架构，兼具强归纳偏置与高表达能力，可适配同/异质性数据、缓解过平滑，且经理论证明具置换等变性，实验表现优于多个SOTA基线。
2024-09-13 cs.LG
Tackling the Imbalance for GNNs
National Center for Applied Mathematics, Tianjin University（天津大学应用数学中心）
与用于非图数据分类的深度神经网络不同，图神经网络（GNN）在表示节点时利用节点（或样本）之间的信息交换。在几乎所有现有的基准GNN数据集上，类别分布都显示出不平衡甚至高度倾斜的趋势。这种不均衡的分布会导致少数类中节点的误分类，甚至导致整个数据集的分类性能下降。首先，定义了一个节点级指标--标签差异指标（$LDI$），定量分析了不平衡性与误分类之间的关系。类中的样本越少，其平均值$LDI$越高;样本的$LDI$越高，样本被错误分类的可能性越大。我们定义了一个新的损失，并提出了四个新的方法的基础上$LDI$。实验结果表明，我们提出的四种新方法中的三种方法的分类精度更好，在转导和归纳设置。$LDI$可以应用于其他GNN。
2021-10-17 cs.LG
Integrating Transductive And Inductive Embeddings Improves Link Prediction Accuracy
IIT Bombay（印度理工学院孟买分校）
近年来，归纳图嵌入模型、\emph{viz.}、图神经网络（GNN）在在线社交网络中的链接预测（LP）方面变得越来越准确。这种网络的性能在很大程度上取决于输入节点的特征，这些特征在网络和应用中各不相同。选择适当的节点功能仍然依赖于应用程序，通常是一个悬而未决的问题。此外，由于隐私和道德问题，个性化节点特征的使用往往受到限制。事实上，来自在线社交网络的许多公开可用的数据不包含任何节点特征（例如，人口统计学）。在这项工作中，我们提供了一个全面的实验分析，表明利用转导技术（例如，Node2Vec）来获得初始节点表示，在此之后，归纳节点嵌入技术接管，导致链接预测准确性的实质性改进。我们证明，对于各种各样的GNN变体，从Node2Vec获得的节点表示向量作为GNN的高质量输入特征，从而提高LP性能。
2021-08-23 cs.AI cs.IR cs.LG
Geometrically Equivariant Graph Neural Networks: A Survey
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
许多科学问题需要以几何图形的形式处理数据。与一般图形数据不同，几何图形表现出平移、旋转和/或反射的对称性。研究人员利用这种归纳偏差，开发了几何等变图神经网络（GNNs），以更好地表征几何图的几何和拓扑结构。尽管取得了丰硕的成果，但仍然缺乏一个综述来描述同变GNN是如何发展的，这反过来又阻碍了同变GNN的进一步发展。为此，基于必要但简洁的数学描述，我们分析并将现有方法分为三组，分别关于GNN中的消息传递和聚合如何表示。我们还总结了基准以及相关的数据集，以方便以后的研究方法的发展和实验评估。并对今后的发展方向进行了展望。
2022-02-22 cs.LG
Neural Structured Prediction for Inductive Node Classification
Université de Montréal（蒙特利尔大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）
本文研究归纳环境下的节点分类，即，目的是在标记的训练图上学习一个模型，并将其推广到未标记的测试图上推断节点标签。这个问题已经通过学习有效的节点表示而用图神经网络（GNN）以及用于对节点标签的结构化输出进行建模的传统结构化预测方法（例如，条件随机场（CRF）。在本文中，我们提出了一种新的方法，称为结构化代理网络（SPN），它结合了这两个世界的优势。SPN定义了具有GNN的CRF的灵活潜在函数。然而，学习这样一个模型是不平凡的，因为它涉及到优化一个最大最小的游戏与高成本的推理。受马尔可夫网络定义的联合分布和边缘分布之间的潜在联系的启发，我们建议将优化问题的近似版本作为代理来解决，这会产生一个接近最优的解决方案，使学习更有效。在两个设置上的广泛实验表明，我们的方法优于许多竞争基线。
2022-04-15 cs.AI cs.LG
A Locality Radius Framework for Understanding Relational Inductive Bias in Database Learning
Vishwakarma Institute of Technology（维什瓦卡玛技术学院）
本文提出局部半径框架，用于分析数据库学习中关系归纳偏置的影响，通过实验揭示任务局部半径与架构聚合深度的对齐关系。
2026-02-19 cs.LG
Expressivity and Generalization: Fragment-Biases for Molecular GNNs
School of Computation, Information & Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Helmholtz Center for Computational Health（亥姆霍兹计算健康中心）
本文提出Fragment-WL测试以理论分析片段偏置GNNs，并基于此开发新架构与无限词表片段化方法，显著提升表达力，在多个分子数据集上超越现有GNNs，泛化能力优于基于transformer的架构。
2024-07-25 cs.LG
Node Masking: Making Graph Neural Networks Generalize and Scale Better
Facebook AI；Facebook
图神经网络（GNN）在最近一段时间受到了广泛的关注。从早期的光谱架构只能在无向图上操作的每一个转换学习范式到目前最先进的空间架构，可以归纳地应用于任意图，GNN已经看到了来自研究界的重大贡献。在本文中，我们利用一些理论工具来更好地可视化最先进的空间GNN执行的操作。我们分析了这些架构的内部工作原理，并引入了一个简单的概念，节点掩码，使它们能够更好地泛化和扩展。为了从经验上验证这一概念，我们在一些广泛使用的数据集上进行了几次实验，用于在转导和归纳设置中进行节点分类，从而为未来的研究奠定了强有力的基准。
2021-05-16 cs.AI cs.LG stat.ML
A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks for Molecular Property Prediction
Heriot-Watt University（赫瑞-瓦特大学）
图神经网络（GNN）已经被提出用于广泛的图相关学习任务。特别是近年来，越来越多的GNN系统被应用于预测分子性质。然而，一个直接的障碍是选择合适的超参数，以实现令人满意的性能，较低的计算成本。与此同时，在典型的深度学习应用中，许多分子数据集远远小于许多其他数据集。大多数超参数优化（HPO）方法尚未在分子域中的小数据集上探索其效率。在本文中，我们进行了理论分析的共同和特殊功能的两个国家的最先进的和流行的算法HPO：TPE和CMA-ES，我们比较了它们与随机搜索（RS），这是作为一个基线。在MoleculeNet平台上，从不同的角度对RS、TPE和CMA-ES对GNNs的HPO影响进行了实验研究，以预测GNNs的分子性质。在我们的实验中，我们得出结论，RS，TPE和CMA-ES在解决不同的特定分子问题时具有各自的优势。最后，我们相信我们的工作将激励GNN应用于化学和材料科学中的分子机器学习问题的进一步研究。
2021-04-22 cs.LG q-bio.BM
Inductive Link Prediction in Knowledge Graphs using Path-based Neural Networks
Sorenson Communications（索伦森通信公司）；Florida State University（佛罗里达州立大学）
针对知识图谱归纳式链接预测中现有模型需微调或泛化性不足的问题，提出仅依赖关系和路径嵌入的SiaILP模型，在多个基准数据集上取得新的最优性能。
2024-07-08 cs.LG
SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI实验室）
针对现有等变图神经网络物理归纳偏置不足的问题，提出二阶等变图神经常微分方程SEGNO，兼具二阶连续性与等变性，理论上轨迹误差有界，在多类物理系统任务上性能优于SOTA基线。
2024-03-12 cs.AI cs.LG
Locality-Aware Graph-Rewiring in GNNs
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
本文针对GNN中的过度挤压问题，提出一种局部性感知的图重连框架，在减少过度挤压的同时兼顾图局部性与稀疏性，并在多个基准上验证其优于现有方法。
2024-05-04 cs.LG
Program-to-Circuit: Exploiting GNNs for Program Representation and Circuit Translation
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Purdue University（普渡大学）；Georgia Institute of Technology（佐治亚理工学院）
电路设计是复杂的，需要广泛的特定领域的专业知识。硬件敏捷开发的一个主要障碍是精确的电路质量评估过程相当耗时。为了显著加快从行为语言到电路设计的转换过程中的电路评估，我们将其表述为程序到电路问题，旨在通过将C/C++程序表示为图来利用图神经网络（GNNs）的表示能力。这项工作的目标有四个方面。首先，我们构建了一个包含40 k个C/C++程序的标准基准，每个程序都被转换为具有实际硬件质量指标的电路设计，旨在促进针对这一高需求电路设计领域的有效GNN的开发。其次，14个国家的最先进的GNN模型进行了分析的程序到电路的问题。我们确定了这个问题的关键设计挑战，应该仔细处理，但尚未解决现有的GNN。我们的目标是提供特定领域的知识，用于设计具有适当归纳偏差的GNN。第三，我们讨论了三套真实世界的基准GNN泛化评估，并分析了标准程序和真实情况下的性能差距。目标是使迁移学习能够从有限的训练数据到现实世界的大规模电路设计问题。第四，Program-to-Circuit问题是Program-to-X框架中的一个代表，是一组具有各种下游任务的基于程序的分析问题。深入了解在Program-to-Circuit上应用GNN的优势和劣势，可以在很大程度上使整个Program-to-X家族受益。在这个方向上开拓，我们期待更多的GNN努力来彻底改变这个高需求的程序到电路问题，并丰富GNN在程序上的表现力。
2021-09-13 cs.LG
Graph Representation Learning via Aggregation Enhancement
Technion（以色列理工学院）；Habana Labs（Habana实验室）
图神经网络（GNN）已经成为处理图结构数据的强大工具，但在有效地聚合和传播层之间的信息方面仍然面临挑战，这限制了它们的性能。我们用核回归（KR）方法来解决这个问题，使用KR损失作为自监督设置中的主要损失或作为监督设置中的正则化项。与最先进的技术相比，我们在多个转导和归纳节点分类数据集的两种情况下都显示出了实质性的性能改进，特别是对于深度网络。与互信息（MI）相反，KR损失是凸的，并且在高维情况下易于估计，即使它间接地最大化其输入之间的MI。我们的工作突出了KR推进图表示学习领域和增强GNN性能的潜力。复制我们实验的代码可以在https://github.com/Anonymous1252022/KR_for_GNNs上找到。
2023-02-08 cs.LG
Investigating Transfer Learning in Graph Neural Networks
University of the Witwatersrand（金山大学）；University of Johannesburg（约翰内斯堡大学）
图神经网络（GNN）通过扩展深度学习模型以在图空间中使用来构建它们的成功。事实证明，迁移学习对于传统的深度学习问题非常成功：可以更快地进行训练并提高性能。尽管人们对GNN及其用例越来越感兴趣，但对其可移植性的研究却很少。这项研究表明，迁移学习是有效的GNN，并描述了源任务和GNN的选择如何影响学习概括性知识的能力。我们使用真实世界和合成数据的节点分类和图形分类的上下文中进行实验。为此，我们还提供了一个通用的方法迁移学习实验，并提出了一种新的算法生成合成图分类任务。我们比较了GCN，GraphSAGE和GIN在合成和真实世界数据集上的性能。我们的研究结果表明，经验与归纳操作的GNN产生统计显着改善传输。此外，我们表明，源和目标任务之间的社区结构的相似性，支持统计上显着的改进，在转移以上只使用节点属性。
2022-02-01 cs.LG
Algorithmic Concept-based Explainable Reasoning
University of Cambridge（剑桥大学）；DeepMind（深度思维）
最近的研究图神经网络（GNN）模型成功地应用GNNs的经典图算法和组合优化问题。这样做有很多好处，比如在不满足先决条件时允许应用算法，或者在没有足够的训练数据或无法生成时重用学习模型。不幸的是，这些方法的一个关键障碍是它们缺乏可解释性，因为GNN是无法直接解释的黑箱模型。在这项工作中，我们通过将现有的基于概念的解释应用于GNN模型来解决这一限制。我们引入了概念瓶颈GNN，它依赖于GNN读出机制的修改。使用三个案例研究，我们证明了：（i）我们提出的模型能够准确地学习概念，并根据每个目标类的学习概念提取命题公式;（ii）我们基于概念的GNN模型与最先进的模型实现了比较性能;（iii）我们可以导出全局图概念，而无需显式地提供对图级概念的任何监督。
2021-07-15 cs.LG
Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods
Amazon（亚马逊）
图神经网络（GNN）在节点分类、回归和推荐任务中已经实现了最先进的性能。GNN在丰富和高质量的连接可用时工作良好。然而，他们的有效性往往是危及许多现实世界中的节点度有幂律分布的图。这种情况的极端情况，即节点可能没有邻居，称为严格冷启动（SCS）。SCS强制预测完全依赖于节点自身的特征。我们提出了Cold Brew，这是一种师生蒸馏方法，用于解决GNN的SCS和噪声邻居挑战。我们还引入了特征贡献率（FCR），这是一个量化归纳GNN解决SCS的行为的度量。我们的实验表明，FCR解开不同的图形数据组件的贡献，并帮助选择最佳的体系结构SCS推广。我们进一步证明了Cold Brew在几个公共基准和专有电子商务数据集上的卓越性能，其中许多节点的连接很少或有噪声。我们的源代码可在https://github.com/amazon-research/gnn-tail-generalization上获得。
2022-03-13 cs.LG
Hierarchical Protein Function Prediction with Tail-GNNs
University of Belgrade（贝尔格莱德大学）；DeepMind
蛋白质功能预测可以被构建为预测描述蛋白质功能层次结构的有向非循环图的子图（具有某些封闭性质）。图神经网络（GNN）具有内置的关系数据归纳偏差，因此自然适合这项任务。然而，与大多数GNN应用程序相比，图与输入无关，而是与标签空间相关。因此，我们提出了Tail-GNNs，即自然与任何神经网络的输出空间组合以进行多任务预测的神经网络，以提供关系增强标签。对于蛋白质功能预测，我们将Tail-GNN与学习蛋白质序列表示的扩张卷积网络相结合，使F_1得分显着提高，并展示了Tail-GNN学习有用的标签表示并将其用于现实世界问题解决的能力。
2020-07-24 cs.LG q-bio.BM stat.ML
Knowledge-Preserving Incremental Social Event Detection via Heterogeneous GNNs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）
社会事件提供了对群体社会行为和公众关注的有价值的见解，因此在产品推荐和危机管理等领域有许多应用。社交消息的复杂性和流性质使得在增量学习环境中解决社交事件检测变得很有吸引力，其中获取，保存和扩展知识是主要关注点。大多数现有的方法，包括那些基于增量聚类和社区发现，学习有限的知识量，因为他们忽略了丰富的语义和结构信息中包含的社会数据。此外，他们无法记住以前获得的知识。在本文中，我们提出了一种新的知识保持增量异构图神经网络（KPGNN）的增量社会事件检测。为了获得更多的知识，KPGNN将复杂的社交消息建模为统一的社交图，以促进数据利用，并探索GNN用于知识提取的表达能力。为了不断适应传入的数据，KPGNN采用了对比损失项，以应对不断变化的事件类数量。它还利用GNN的归纳学习能力来有效地检测事件，并从以前看不见的数据中扩展其知识。为了处理大型社交流，KPGNN采用小批量子图采样策略进行可扩展训练，并定期删除过时数据以保持动态嵌入空间。KPGNN不需要特征工程，并且几乎没有超参数需要调整。大量的实验结果证明了KPGNN在各种基线上的优越性。
2021-02-13 cs.LG
The Split Matters: Flat Minima Methods for Improving the Performance of GNNs
Universität Ulm（乌尔姆大学）
本研究探讨平坦最小值方法对图神经网络性能的影响，发现随机分割下可提升超过2个百分点，并推荐使用权重平均技术如EWA以提升泛化与公平评估。
2023-06-15 cs.LG
Unravelling the Performance of Physics-informed Graph Neural Networks for Dynamical Systems
Indian Institute of Technology Delhi（德里印度理工学院）
最近，图神经网络已经获得了大量的关注，以模拟动态系统，由于其归纳性质，导致zero-shot泛化。类似地，深度学习框架中的物理信息归纳偏差已被证明在学习物理系统的动态方面具有优异的性能。有越来越多的文献试图将这两种方法结合起来。在这里，我们评估了13个不同的图神经网络的性能，即，哈密顿和拉格朗日图神经网络，图神经ODE，以及它们的变种明确的约束和不同的架构。我们简要地解释了突出的相似性和差异，这些系统的归纳偏见和图形架构的理论制定。我们评估这些模型的弹簧，钟摆，重力和3D可变形固体系统比较性能的推出误差，守恒量，如能量和动量，以及不可见的系统尺寸的推广。我们的研究表明，具有额外归纳偏差的GNN，例如明确的约束和动能和势能的解耦，表现出显着增强的性能。此外，所有的物理知识GNN表现出zero-shot的泛化能力，系统大小比训练系统大一个数量级，从而提供了一个有前途的路线来模拟大规模的现实系统。
2023-02-02 cs.LG physics.comp-ph
Inductive Graph Representation Learning with Quantum Graph Neural Networks
Pasqal NL
本文提出了一种基于量子图神经网络的归纳图表示学习框架，通过灵活的量子卷积和池化层实现高效分子表示学习，展示了在复杂分子建模中的竞争力和扩展性。
2026-09-22 cs.LG quant-ph
Learnt Sparsification for Interpretable Graph Neural Networks
L3S Research Center（L3S研究中心）
图神经网络（GNN）在需要关系建模的各种任务和领域取得了巨大成功。GNN使用图结构聚合节点特征作为归纳偏差，从而产生灵活而强大的模型。然而，GNN仍然很难解释，因为节点特征和图结构之间的相互作用只是隐式学习的。在本文中，我们提出了一种新的方法，称为Kedge显式稀疏的基础图，通过删除不必要的邻居。我们的主要思想是基于一种易于处理的稀疏化方法，使用Hard Kumaraswamy分布，可以与任何GNN模型结合使用。Kedge以模块化的方式学习边缘掩码，使用任何GNN进行训练，允许以端到端的方式进行基于梯度的优化。我们通过大量的实验证明，我们的模型Kedge可以修剪很大比例的边缘，只有一个很小的影响测试精度。具体来说，在PubMed数据集中，Kedge学习丢弃超过80%的边，准确率仅下降2%，这表明与节点特征相比，图结构的贡献很小。最后，我们还表明，Kedge通过随着GNN层的增加而保持良好的任务性能，有效地对抗了深度GNN中的过度平滑现象。
2021-06-23 cs.LG
Leveraging Classical Algorithms for Graph Neural Networks
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本研究通过在经典算法上预训练图神经网络，为分子性质预测任务注入算法先验，实验表明该方法在ogbg-molhiv和ogbg-molclintox上分别提升6%和3%的绝对性能，验证了其有效性。
2025-10-24 cs.LG
When Do We Need Graph Neural Networks for Node Classification?
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind
本研究针对图神经网络（GNNs）在部分节点分类任务中性能提升有限甚至不如无图神经网络的问题，基于图信号处理与统计假设检验提出两项度量指标，可通过阈值预测感知图模型相对无图模型的潜在性能优势。
2023-11-03 cs.LG
Empowering Counterfactual Reasoning over Graph Neural Networks through Inductivity
Indian Institute of Technology, Delhi（德里印度理工学院）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
针对现有GNN反事实解释仅支持删边且依赖转导建模的问题，提出归纳算法INDUCE，支持边添加并可直接预测扰动，从而提升反事实效果、计算速度与可扩展性。
2023-06-07 cs.AI cs.LG cs.SI
Position-aware Graph Neural Networks
Stanford University（斯坦福大学）
学习节点嵌入，捕获节点在更广泛的图结构中的位置，对于图上的许多预测任务至关重要。然而，现有的图神经网络（GNN）架构在捕获给定节点相对于图的所有其他节点的位置/定位方面具有有限的能力。在这里，我们提出了位置感知图神经网络（P-GNNs），这是一类新的用于计算位置感知节点嵌入的GNNs。P-GNN首先对锚节点集进行采样，计算给定目标节点到每个锚集的距离，然后在锚集上学习非线性距离加权聚合方案。通过这种方式，P-GNN可以捕获节点相对于锚节点的位置/定位。P-GNN有几个优点：它们是归纳的，可扩展的，并且可以包含节点特征信息。我们将P-GNN应用于多个预测任务，包括链接预测和社区发现。我们表明，P-GNN始终优于最先进的GNN，在ROC AUC评分方面提高了66%。
2019-06-13 cs.LG cs.SI stat.ML
Inductive Correlation Clustering with Graph Neural Networks
Sapienza University of Rome（罗马大学）；Intesa Sanpaolo AI Research（裕信银行人工智能研究院）；Bowling Green State University（鲍灵格林州立大学）
本研究针对关联聚类算法的直推式缺陷，提出基于图神经网络的归纳式关联聚类框架，可高效推广至新图，在归纳设置下推理时间大幅降低，还可作为图分类的高效池化层。
2026-08-28 cs.DS cs.LG
Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
高斯过程（GP）是一类有吸引力的机器学习模型，因为它们的简单性和灵活性作为更复杂的贝叶斯模型的构建块。与此同时，图神经网络（GNNs）最近出现作为一类有前途的模型，图结构的数据在半监督学习和超越。他们的竞争力的表现往往是由于一个正确的捕捉图归纳偏差。在这项工作中，我们将这种归纳偏差引入GP，以提高其对图结构数据的预测性能。我们证明了GNNs的一个突出例子，图卷积网络，当它的层是无限宽时，等价于一些GP;我们深入分析了核的普适性和极限行为。我们进一步提出了一个可编程的程序来组成协方差内核的启发，这种等价性，并获得相应的几个有趣的成员的GNN家庭的示例内核。我们还提出了一个计算效率的近似的协方差矩阵可扩展的后验推理与大规模的数据。我们证明了这些基于图的内核与相应的GNN相比，具有竞争力的分类和回归性能，以及计算时间上的优势。
2023-02-12 cs.LG stat.ML
Discovering the Representation Bottleneck of Graph Neural Networks
Computer Science Department, Stanford University（斯坦福大学计算机科学系）；School of Engineering, Westlake University（西湖大学工程学院）
本文发现GNNs在不同复杂性背景下无法捕捉最有效的交互风格，提出基于交互模式的图重排方法以缓解表示瓶颈并提升性能。
2026-01-07 cs.AI cs.LG
Inductive Logical Query Answering in Knowledge Graphs
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）；HEC Montréal（蒙特利尔高等商学院）
制定和回答逻辑查询是知识图谱（KG）的标准通信接口。神经方法通过学习实体、关系和查询的表示，减轻了现实世界KG的不完整性，在链接预测和复杂查询回答任务中取得了令人印象深刻的结果。尽管如此，大多数现有的查询应答方法依赖于转换实体嵌入，并且在不重新训练实体嵌入的情况下不能推广到包含新实体的KG。在这项工作中，我们研究了归纳查询应答任务，其中推理是在一个包含新实体的图上进行的，查询既可以看到，也可以看到实体。为此，我们设计了两种机制，利用由图神经网络（GNNs）驱动的归纳节点和关系结构表示。实验表明，归纳模型能够在推理时对看不见的节点进行逻辑推理，并将其推广到比训练图大500%的图。探索效率-有效性权衡，我们发现归纳关系结构表示方法通常具有更高的性能，而归纳节点表示方法能够在仅推理的情况下回答复杂的查询，而无需对查询进行任何训练，并且可以扩展到数百万节点的图形。代码可在https://github.com/DeepGraphLearning/InductiveQE上获得。
2022-11-08 cs.AI cs.LG
Variational Graph Auto-Encoder Based Inductive Learning Method for Semi-Supervised Classification
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；State Grid Zhejiang Electric Power Co. Ltd.（国网浙江省电力有限公司）
针对图神经网络在归纳学习中依赖标注数据的问题，提出自标签增强VGAE模型及SLAM方法，通过标签重构与伪标签增强提升半监督节点分类性能。
2024-03-26 cs.LG
Parameterized Explainer for Graph Neural Network
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Labs America（NEC美国实验室）
尽管最近在图神经网络（GNNs）方面取得了进展，但解释GNNs做出的预测仍然是一个具有挑战性的开放问题。引导方法独立地解决局部解释（即，重要的子图结构和节点特征）来解释为什么GNN模型对单个实例（例如节点或图）进行预测。因此，生成的解释是为每个实例精心定制的。独立解释每个实例的独特解释不足以提供对学习的GNN模型的全局理解，导致缺乏可推广性并阻碍其在归纳环境中使用。此外，由于它是为解释单个实例而设计的，因此自然地解释一组实例是具有挑战性的（例如，给定类的图形）。在这项研究中，我们解决了这些关键挑战，并提出了PGExplainer，一个用于GNN的参数化解释器。PGExplainer采用深度神经网络来参数化解释的生成过程，这使得PGExplainer能够自然地集体解释多个实例。与现有的工作相比，PGExplainer具有更好的泛化能力，可以很容易地在归纳设置中使用。在合成数据集和真实数据集上的实验显示出高度竞争性的性能，在解释图分类方面，AUC相对于领先基线的相对改善高达24.7%。
2020-11-09 cs.AI cs.LG
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University（普渡大学）；Ludwig-Maximilians-Universitat München（慕尼黑大学）
这项工作提供了关于图消息传递神经网络（gMPNN）-如图神经网络（GNN）-执行归纳分布外（OOD）链接预测任务的能力的第一个理论研究，其中部署（测试）图的大小大于训练图。我们首先证明了非渐近界，表明基于置换等变（结构）节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后，我们提出了一个理论上合理的gMPNN输出结构成对（2节点）嵌入，并证明非渐近界显示，随着测试图的增长，这些嵌入收敛到一个连续函数的嵌入，保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA
Inclusion of Domain-Knowledge into GNNs using Mode-Directed Inverse Entailment
BITS Pilani（皮拉尼博拉理工学院）
我们提出了一个通用的技术，用于构建图神经网络（GNNs）能够使用多关系领域的知识。该技术基于归纳逻辑程序设计（ILP）中发展的模式定向逆蕴涵（MDIE）。给定一个数据实例$e$和背景知识$B$，MDIE识别一个最具体的逻辑公式$\bot_B(e)$，该公式包含$B$中与$e$相关的所有关系信息。我们用一个“底图”来表示$\bot_B(e)$，这个底图可以转换成适合GNN实现的形式。这种转换允许将通用背景知识纳入GNN的原则性方式：我们使用术语“BotGNN”来表示这种形式的图神经网络。对于几种GNN变体，使用具有大量背景知识的真实数据集，我们表明BotGNN的表现明显优于没有背景知识的GNN和最近提出的将领域知识纳入GNN的简化技术。我们还提供了实验证据比较BotGNNs有利的多层感知器（MLP），使用的功能表示“命题化”形式的背景知识; BotGNNs的标准ILP的基础上使用最具体的条款。总之，这些结果表明BotGNNs能够将GNNs的计算效率与ILP的代表性多功能性相结合。
2021-08-14 cs.AI cs.LG cs.NE
Probabilistic Dual Network Architecture Search on Graphs
University of Cambridge（剑桥大学）；Shenzhen Institue of Advanced Technology（深圳先进技术研究院）
提出了图神经网络的第一种可微网络结构搜索算法。GNN在广泛的任务上表现出良好的性能，但需要大量的架构工程。首先，图本质上是一种非欧几里得的复杂数据结构，导致GNN架构在不同数据集上的适应性较差。其次，一个典型的图块包含许多不同的组件，如聚合和注意力，产生一个大的组合搜索空间。为了解决这些问题，我们提出了一个概率双网络架构搜索（PDNAS）框架的GNN。PDNAS不仅优化了单个图形块（微架构）内的操作，而且还考虑了这些块应该如何相互连接（宏架构）。双架构（微架构和宏架构）优化允许PDNAS在不同的数据集上找到更深入的GNN，与其他图NAS方法相比具有更好的性能。此外，我们使用完全基于梯度的搜索方法来更新架构参数，使其成为第一个可微图NAS方法。PDNAS优于现有的手工设计的GNN和NAS结果，例如，在PPI数据集上，PDNAS在F1得分上击败了最好的竞争对手1.67和0.17。
2020-03-21 cs.LG stat.ML
Large-scale graph representation learning with very deep GNNs and self-supervision
DeepMind（深度思维）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
有效和高效地大规模部署图神经网络（GNN）仍然是图表示学习最具挑战性的方面之一。许多强大的解决方案只在相对较小的数据集上进行过验证，通常会产生违反直觉的结果-这一障碍已被开放图基准大规模挑战赛（OGB-LSC）打破。我们使用两个大规模GNN进入OGB-LSC：一个由自举驱动的深度转导节点分类器，以及一个由去噪目标正则化的非常深（高达50层）的归纳图回归器。我们的模型在MAG 240 M和PCQM 4 M基准测试中均获得了获奖级别（前3名）的性能。在这样做的过程中，我们展示了可扩展的自监督图表示学习的证据，以及非常深的GNN的实用性-这两个都是非常重要的开放问题。我们的代码可在https://github.com/deepmind/deepmind-research/tree/master/ogb_lsc上公开获取。
2021-07-20 cs.AI cs.LG cs.SI
How Can Graph Neural Networks Help Document Retrieval: A Case Study on CORD19 with Concept Map Generation
Emory University（埃默里大学）
图神经网络作为一组对不规则数据进行表示学习的强大工具，在各种下游任务中表现出了优越性。通过将非结构化文本表示为概念图，GNN可以用于文档检索等任务。出于对GNN如何帮助文档检索的兴趣，我们对大规模多学科数据集CORD-19进行了实证研究。结果表明，我们提出的面向语义的图函数，而不是复杂的面向结构的GNN，如GIN和GAT，实现了更好，更稳定的性能的基础上BM 25检索的候选人。我们在这个案例研究中的见解可以作为未来工作的指导方针，为文档检索和分类等文本推理任务开发具有适当的面向语义的归纳偏见的有效GNN。这个案例研究的所有代码都可以在https://github.com/HennyJie/GNN-DocRetrieval上找到。
2022-01-12 cs.CL cs.IR cs.LG
Weisfeiler and Lehman Go Paths: Learning Topological Features via Path Complexes
Thayer School of Engineering, Dartmouth College（达特茅斯学院塞耶工程学院）
本文提出基于路径复形的拓扑图神经网络，通过聚焦简单路径突破 1-WL 表达力限制，无需子结构假设即可在多个基准上取得最优性能。
2024-03-31 cs.LG
DiffWire: Inductive Graph Rewiring via the Lovász Bound
ELLIS Alicante（ELLIS阿利坎特研究所）；University of Alicante（阿利坎特大学）
图神经网络（GNN）已被证明在处理与图相关的任务方面取得了有竞争力的结果，例如节点和图分类、链接预测以及各种领域中的节点和图聚类。大多数GNN使用消息传递框架，因此被称为MPNN。尽管MPNN的结果很有希望，但据报道，MPNN存在过度平滑、过度挤压和覆盖不足的问题。图重新布线和图池化已经在文献中被提出作为解决这些限制的解决方案。然而，大多数最先进的图重布线方法不能保持图的全局拓扑结构，既不是可微的也不是归纳的，并且需要调整超参数。在本文中，我们提出了DiffWire，一种新的框架，用于MPNN中的图重新布线，该框架是原则性的，完全可微的，并且通过利用Lovász界来实现无参数。所提出的方法通过在MPNN中提出两个新的互补层来为图重新布线提供统一的理论：CT层，一个学习通勤时间并将其用作边缘重新加权的相关函数的层;和GAP层，一个根据网络的性质和手头的任务来优化频谱间隙的层。我们分别用图分类的基准数据集来实证验证这些层中每一层的价值。我们还对使用CT层进行同性和异性节点分类任务进行了初步研究。DiffWire将通勤时间的可学习性与曲率的相关定义结合在一起，为创建更具表现力的MPNN打开了大门。
2022-11-30 cs.AI cs.LG
ITEM: Improving Training and Evaluation of Message-Passing based GNNs for top-k recommendation
Conservatoire national des arts et métiers（法国国立工艺学院）；Sorbonne Université（索邦大学）
本研究针对top-k推荐中基于消息传递的GNN训练与评估问题，提出排序损失平滑优化方法与个性化PageRank负采样策略，还拓展了归纳式用户中心评估协议，在多数据集和架构上实现性能与训练速度的双重提升。
2024-07-03 cs.IR cs.LG
Identity-aware Graph Neural Networks
Stanford University（斯坦福大学）
消息传递图神经网络（GNN）为关系数据提供了一个强大的建模框架。然而，现有GNN的表达能力是由1-Weisfeiler-Lehman（1-WL）图同构测试的上限，这意味着GNN不能预测节点聚类系数和最短路径距离，并且不能区分不同的d-正则图。在这里，我们开发了一类消息传递GNN，命名为身份感知图神经网络（ID-GNN），具有比1-WL测试更强的表达能力。ID-GNN为现有GNN的局限性提供了一个最小但强大的解决方案。ID-GNN通过在消息传递过程中归纳考虑节点的身份来扩展现有的GNN架构。为了嵌入给定的节点，ID-GNN首先提取以该节点为中心的自我网络，然后进行多轮异构消息传递，其中将不同的参数集应用于中心节点而不是自我网络中的其他周围节点。我们进一步提出了一个简化但更快的ID-GNN版本，它将节点身份信息作为增强节点特征注入。总而言之，ID-GNN的两个版本代表了消息传递GNN的一般扩展，其中实验表明，将现有GNN转换为ID-GNN，在具有挑战性的节点，边缘和图形属性预测任务上平均提高了40%的准确性;在节点和图形分类基准上提高了3%的准确性;在现实世界的链接预测任务上提高了15%的ROC AUC。此外，ID-GNN表现出比其他特定任务的图网络更好或相当的性能。
2021-02-05 cs.AI cs.LG cs.SI
