Boost then Convolve: Gradient Boosting Meets Graph Neural Networks
Criteo AI Lab（Criteo AI实验室）；Yandex；HSE University（高等经济大学）；MIPT（莫斯科物理技术学院）
图神经网络（GNN）是在各种图表示学习任务中已经成功的强大模型。而梯度提升决策树（GBDT）在面对异构表格数据时往往优于其他机器学习方法。但是对于具有表格节点特征的图，应该使用什么方法呢？以前的GNN模型主要集中在具有同质稀疏特征的网络上，正如我们所展示的那样，在异构环境中是次优的。在这项工作中，我们提出了一种新的架构，训练GBDT和GNN联合获得最好的两个世界：GBDT模型处理异构功能，而GNN占图结构。我们的模型受益于端到端的优化，允许新的树适应GNN的梯度更新。通过与领先的GBDT和GNN模型进行广泛的实验比较，我们在具有表格特征的各种图形上展示了性能的显着提高。代码可在https://github.com/nd7141/bgnn上找到。
2021-03-31 cs.AI cs.LG cs.SI
Restructuring Graph for Higher Homophily via Adaptive Spectral Clustering
School of Computing, Australian National University（澳大利亚国立大学计算学院）；CSE & GSAI, POSTECH（浦项科技大学计算机科学与工程系及人工智能研究生院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
提出一种可集成于任意GNN的图重构方法，通过自适应谱聚类、密度感知同质性度量及邻接矩阵重构，显著提升经典GNN在低同质性图上的性能。
2024-04-29 cs.LG cs.SI
Jointly Attacking Graph Neural Network and its Explanations
The Hong Kong Polytechnic University（香港理工大学）；Michigan State University（密歇根州立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；City University of Hong Kong（香港城市大学）；IBM T.J. Watson（IBM托马斯·J·沃森研究中心）
图神经网络（GNN）已经提高了许多与图相关的任务的性能。尽管取得了巨大的成功，但最近的研究表明，GNN极易受到对抗攻击的攻击，对手可以通过修改图来误导GNN的预测。另一方面，GNN的解释（GNNExplainer）通过生成一个小的子图和对其预测最有影响力的特征来更好地理解经过训练的GNN模型。在本文中，我们首先进行实证研究，以验证GNNExplainer可以作为一个检查工具，并有可能检测到图的对抗性扰动。这一发现促使我们进一步启动一个新的问题调查：是否一个图神经网络和它的解释可以通过修改图与恶意的愿望联合攻击？回答这个问题很有挑战性，因为对抗攻击和绕过GNNExplainer的目标本质上是相互矛盾的。在这项工作中，我们通过提出一个新的攻击框架（GEAttack）来对这个问题给出一个肯定的答案，该框架可以通过同时利用GNN模型及其解释的漏洞来攻击它们。在两个解释器（GNNExplainer和PGExplainer）上进行的大量实验表明了该方法的有效性。
2022-11-22 cs.AI cs.CR cs.LG
Hardware Acceleration of Sampling Algorithms in Sample and Aggregate Graph Neural Networks
University of Science and Technology of China（中国科学技术大学）
采样是许多GNN结构中的重要过程，以便以较小的计算复杂性训练较大的数据集。然而，与GNN中的其他过程（如聚合，反向传播）相比，采样过程仍然花费大量时间，这限制了训练的速度。为了减少采样时间，硬件加速是理想的选择。然而，最先进的GNN加速提案没有指定如何加速采样过程。另外，直接对传统的采样算法进行加速会使加速器的结构变得非常复杂。在这项工作中，我们做出了两个贡献：（1）提出了一种新的邻居采样器：CONCAT Sampler，可以在硬件层面轻松加速，同时保证测试准确性。(2)设计了一种基于FPGA的CONCAT采样加速器，使用该加速器，相邻采样过程的速度比不使用加速器时提高了300-1000倍。
2022-09-07 cs.AR cs.LG
On Strengthening and Defending Graph Reconstruction Attack with Markov Chain Approximation
Hong Kong Baptist University（香港浸会大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
本研究首次全面探究图重构攻击的隐私风险，将GNN视为马尔可夫链并通过链近似分析其原理，提出信息论指导的自适应攻击与低精度损失防御方法，在多数据集和GNN上取得SOTA效果。
2023-06-15 cs.CR cs.LG
Predicting Groundwater Arsenic Concentrations Using Graph Neural Networks
研究针对美国地下水砷污染问题，将其预测设为回归任务，构建整合数据集，运用k-NN、GIS等技术连接测量点。评估多种机器学习模型，发现图神经网络能考虑空间依赖性，超越梯度提升树，为地下水风险测绘和监测提供基础。
2026-07-23 cs.LG
Unleashing the potential of GNNs via Bi-directional Knowledge Transfer
Beijing Jiaotong University（北京交通大学）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京先进信息科学与网络技术重点实验室）；Qiyuan Lab（启元实验室）；Beihang University（北京航空航天大学）
本文提出即插即用的双向知识迁移方法 BiKT，在不修改原始架构的前提下，利用与 GNN 共享参数的派生模型进行拓扑无关知识反馈与相互增强，在多个数据集和典型 GNN 上实现最高 0.5%–4% 的性能提升，并改善泛化界。
2023-10-26 cs.AI cs.LG cs.NE
Generalizing Aggregation Functions in GNNs:High-Capacity GNNs via Nonlinear Neighborhood Aggregators
Anhui University（安徽大学）
图神经网络（GNNs）在许多图学习任务中取得了巨大的成功。为现有GNN提供动力的主要方面是多层网络架构，以学习特定学习任务的非线性图表示。GNN中的核心操作是消息传播，其中每个节点通过聚合其邻居的表示来更新其表示。现有的GNN在消息传播中主要采用线性邻域聚合（均值，和）或最大聚合器。(1)对于线性聚合器，由于更深的GNN通常遭受过平滑问题，GNN的整体非线性和网络容量通常是有限的。(2)对于最大聚集器，它通常不能知道的细节信息的节点表示的邻域内。为了克服这些问题，我们重新思考GNN中的消息传播机制，并旨在开发用于GNN中邻域信息聚合的通用非线性聚合器。我们提出的非线性聚合器的一个主要方面是，它们提供了最大和平均/总和聚合之间的最佳平衡聚合器。因此，我们的聚合器可以继承（i）增加网络容量的高非线性和（ii）在GNN的消息传播中保留表示的详细信息的细节敏感性。在多个数据集上的实验表明了所提出的非线性聚集器的有效性。
2022-02-18 cs.CV cs.LG
Online Cross-Layer Knowledge Distillation on Graph Neural Networks with Deep Supervision
College of Software, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
图神经网络（GNNs）因其在处理不规则图数据方面的强大能力而成为学术界和工业界最热门的研究课题之一。然而，大规模数据集对在资源有限的边缘设备中部署GNN提出了巨大的挑战，模型压缩技术引起了相当大的研究关注。现有的模型压缩技术，如知识蒸馏（KD），主要集中在卷积神经网络（CNN）。最近只有有限的尝试以离线方式从GNN中提取知识。由于教师模型的性能不一定会随着GNN中层数的增加而提高，因此选择合适的教师模型将需要大量的努力。为了应对这些挑战，我们提出了一种新的在线知识蒸馏框架称为Alignahead++在本文中。Alignahead++在交替训练过程中将学生层中的结构和特征信息传输到另一个同时训练的学生模型的前一层。同时，为了避免GNNs中的过度平滑问题，Alignahead++通过在每个中间层添加辅助分类器来防止节点特征嵌入的崩溃，从而在Alignahead++中采用深度监督。在PPI、Cora、PubMed和CiteSeer四个数据集上的实验结果表明，在没有预先训练好的教师模型的监督下，我们的协同训练框架可以持续提高学生的成绩，并且其有效性通常可以通过增加学生的数量来提高。
2022-10-25 cs.AI cs.LG
Graph Trend Filtering Networks for Recommendations
The Hong Kong Polytechnic University（香港理工大学）；Michigan State University（密歇根州立大学）；City University of Hong Kong（香港城市大学）
推荐系统旨在为用户提供个性化服务，在我们的日常生活中发挥着越来越重要的作用。推荐系统的关键是根据用户的历史在线行为来预测用户与项目交互的可能性，例如，点击、添加到购物车、购买等。为了利用这些用户与物品的交互，人们越来越多地将用户与物品的交互视为用户与物品的二分图，然后通过图神经网络（GNN）在图中执行信息传播。鉴于GNNs在图表示学习中的强大功能，这些基于GNNs的推荐方法显着提高了推荐性能。尽管它们取得了成功，但大多数现有的基于GNNs的推荐系统忽略了由不可靠行为（例如，随机/诱饵点击）并统一处理所有交互，这可能导致次优和不稳定的性能。在本文中，我们研究了缺点（例如，非自适应传播和非鲁棒性）。为了解决这些缺点，我们引入了一个原则性的图趋势协同过滤方法，并提出了图趋势过滤网络的建议（GTN），可以捕获自适应的相互作用的可靠性。全面的实验和烧蚀研究，以验证和理解所提出的框架的有效性。我们基于PyTorch的实现可以在https://github.com/wenqifan03/GTN-SIGIR2022上找到。
2022-04-23 cs.AI cs.IR cs.LG
Learning Topology-Specific Experts for Molecular Property Prediction
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
近年来，图神经网络（GNNs）被成功地应用于分子性质预测，这是一个经典的化学信息学任务，具有广泛的应用前景。尽管它们是有效的，但我们根据经验观察到，为具有不同结构模式的不同分子训练单个GNN模型会限制其预测性能。在本文中，出于这一观察，我们提出TopExpert利用拓扑特定的预测模型（简称为专家），其中每个负责每个分子组共享相似的拓扑语义。也就是说，每个专家学习拓扑特定的判别特征，同时用其相应的拓扑组进行训练。为了解决通过拓扑模式对分子进行分组的关键挑战，我们引入了一个基于聚类的门控模块，该模块将输入分子分配到其中一个聚类中，并使用两种不同类型的自监督进一步优化门控模块：分别由GNN和分子支架诱导的拓扑语义。大量的实验表明，TopExpert提高了分子性质预测的性能，并且对于具有未知支架的新分子比基线具有更好的泛化能力。该代码可在https://github.com/kimsu55/ToxExpert上获得。
2023-03-12 cs.LG q-bio.QM
Self-Supervised Graph Structure Refinement for Graph Neural Networks
University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）；Université de Montréal（蒙特利尔大学）
图结构学习（GSL），其目的是学习图神经网络（GNNs）的邻接矩阵，在提高GNNs的性能方面显示出巨大的潜力。大多数现有的GSL作品应用联合学习框架，其中估计的邻接矩阵和GNN参数针对下游任务进行优化。然而，由于GSL本质上是链接预测任务，其目标可能与下游任务的目标有很大不同。这两个目标的不一致性限制了GSL方法学习潜在的最优图结构。此外，在邻接矩阵的估计和优化过程中，联合学习框架在时间和空间方面存在可扩展性问题。为了缓解这些问题，我们提出了一个具有预训练-微调管道的图结构细化（GSR）框架。具体而言，预训练阶段旨在通过具有视图内和视图间链接预测任务的多视图对比学习框架来全面估计底层图结构。然后，通过根据由预训练模型估计的边缘概率添加和移除边缘来细化图结构。最后，微调GNN由预训练的模型初始化，并针对下游任务进行优化。由于改进后的图结构在微调空间中保持静态，GSR避免了在微调阶段估计和优化图结构，具有很好的可扩展性和效率。此外，通过迁移知识和细化图来促进GNN的微调。进行了大量的实验，以评估所提出的模型的有效性（在六个基准数据集上的最佳性能），效率和可扩展性（与Cora上的最佳GSL基线相比，使用32.8%GPU内存时快13.8倍）。
2023-03-01 cs.AI cs.LG
Should Graph Neural Networks Use Features, Edges, Or Both?
ETH Zurich（苏黎世联邦理工学院）
图神经网络（GNNs）是图数据学习算法的首选。GNN承诺在端到端学习算法中集成（i）节点特征以及（ii）边缘信息。这个承诺实际上是如何实现的？在本文中，我们研究了如何扩展GNNs来解决突出的图分类问题。我们发现，对于图分类，GNN不超过其部分的总和。我们还发现，与特征不同，仅边缘模型的预测并不总是转移到GNN。
2021-03-11 cs.LG
G-CoS: GNN-Accelerator Co-Search Towards Both Better Accuracy and Efficiency
Rice University（莱斯大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
图神经网络（GNNs）已经成为基于图的学习任务的最先进（SOTA）方法。然而，在大型图数据集上推断GNN仍然具有极大的挑战性，限制了它们在大规模现实任务中的应用。虽然端到端联合优化GNN及其加速器在提高GNN的推理效率和加快设计过程方面很有希望，但由于GNN及其加速器的巨大而独特的设计空间，它仍然没有得到充分的探索。在这项工作中，我们提出了G-CoS，一个GNN和加速器共同搜索框架，可以自动搜索匹配的GNN结构和加速器，以最大限度地提高任务的准确性和加速效率。具体而言，GCoS集成了两个主要的使能组件：（1）适用于各种GNN结构的通用GNN加速器搜索空间，以及（2）一次性GNN和加速器共同搜索算法，该算法能够同时有效地搜索最佳GNN结构及其匹配的加速器。据我们所知，G-CoS是GNN及其加速器的第一个共同搜索框架。广泛的实验和消融研究表明，G-CoS生成的GNN和加速器在任务准确性和硬件效率方面始终优于SOTA GNN和GNN加速器，而端到端生成最佳匹配的GNN及其加速器只需要几个小时。
2021-09-18 cs.AI cs.AR cs.LG
Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs
Tsinghua University（清华大学）；Simon Fraser University（西蒙弗雷泽大学）
图神经网络（GNN）是一种新兴的基于图的机器学习模型。虽然理论上已经证明足够深的GNN能够完全保留图结构，但实际上大多数现有的GNN模型都是浅的，基本上是以特征为中心的。我们的经验和分析表明，现有的浅GNN不能很好地保持图形结构。为了克服这一根本挑战，我们提出了Eigen-GNN，这是一个简单而有效的通用插件模块，可以提高GNN保留图结构的能力。具体来说，我们通过将GNNs视为一种降维并扩展初始降维基，将图结构的特征空间与GNNs集成在一起。在不需要增加深度的情况下，Eigen-GNN在处理特征驱动和结构驱动的任务时具有更大的灵活性，因为初始基包含节点特征和图结构。我们提出了广泛的实验结果，以证明本征GNN的任务，包括节点分类，链接预测，图同构测试的有效性。
2020-06-08 cs.LG stat.ML
A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Future Network of Intelligence Institute, CUHK-Shenzhen（香港中文大学（深圳）未来智联网络研究院）；ShanghaiTech University（上海科技大学）
该综述从面向任务的视角出发，按输入模态将计算机视觉中GNNs和图Transformer的应用分为五大类并细分任务，梳理了任务定义、挑战、代表性方法及未来方向。
2024-08-14 cs.AI cs.CV cs.LG
BiFeat: Supercharge GNN Training via Graph Feature Quantization
University of Science and Technology of China（中国科学技术大学）；University of Nevada（内华达大学）；Microsoft（微软）；University of Houston（休斯顿大学）
图神经网络（GNNs）是一种很有前途的非欧数据应用方法。然而，在具有数亿个节点的大规模图上训练GNN既耗费资源又耗时。与DNN不同，GNN通常具有更大的内存占用，因此GPU内存容量和PCIe带宽是GNN训练中的主要资源瓶颈。为了解决这个问题，我们提出了BiFeat：一种图形特征量化方法，通过显着减少内存占用和PCIe带宽要求来加速GNN训练，以便GNN可以充分利用GPU计算能力。我们的关键见解是，与DNN不同，GNN不太容易因量化而导致输入特征的信息丢失。我们确定了图特征量化中的主要精度影响因素，并从理论上证明了BiFeat训练收敛到一个网络，其中损失在未压缩网络的最佳损失的$ε$范围内。我们使用几种流行的GNN模型和数据集对BiFeat进行了广泛的评估，包括最大的公共图形数据集MAG 240 M上的GraphSAGE。结果表明，BiFeat实现了超过30的压缩比，并将GNN训练速度提高了200%-320%，而精度损失较小。特别是，BiFeat仅使用四个GPU就在一小时内在MAG 240 M上训练GraphSAGE。
2023-02-17 cs.LG
Distance-Restricted Folklore Weisfeiler-Leman GNNs with Provable Cycle Counting Power
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出距离受限的d-DRFWL(2) GNN，通过限制消息传递的节点对距离避免子图提取开销，并证明其在d=2时即可计数3至6环，成为目前最高效的环计数GNN模型。
2024-01-11 cs.LG
Inclusion of Domain-Knowledge into GNNs using Mode-Directed Inverse Entailment
BITS Pilani（皮拉尼博拉理工学院）
我们提出了一个通用的技术，用于构建图神经网络（GNNs）能够使用多关系领域的知识。该技术基于归纳逻辑程序设计（ILP）中发展的模式定向逆蕴涵（MDIE）。给定一个数据实例$e$和背景知识$B$，MDIE识别一个最具体的逻辑公式$\bot_B(e)$，该公式包含$B$中与$e$相关的所有关系信息。我们用一个“底图”来表示$\bot_B(e)$，这个底图可以转换成适合GNN实现的形式。这种转换允许将通用背景知识纳入GNN的原则性方式：我们使用术语“BotGNN”来表示这种形式的图神经网络。对于几种GNN变体，使用具有大量背景知识的真实数据集，我们表明BotGNN的表现明显优于没有背景知识的GNN和最近提出的将领域知识纳入GNN的简化技术。我们还提供了实验证据比较BotGNNs有利的多层感知器（MLP），使用的功能表示“命题化”形式的背景知识; BotGNNs的标准ILP的基础上使用最具体的条款。总之，这些结果表明BotGNNs能够将GNNs的计算效率与ILP的代表性多功能性相结合。
2021-08-14 cs.AI cs.LG cs.NE
Subgraphormer: Unifying Subgraph GNNs and Graph Transformers via Graph Products
Technion - Israel Institute of Technology（以色列理工学院）；Purdue University（普渡大学）；NVIDIA Research（英伟达研究院）
本文提出Subgraphormer架构，通过揭示子图GNN与乘积图的联系，将其与图Transformer的注意力及位置编码统一，在多个数据集上显著提升性能。
2024-05-28 cs.LG
DT+GNN: A Fully Explainable Graph Neural Network using Decision Trees
ETH Zurich（苏黎世联邦理工学院）
提出了完全可解释的决策树图神经网络（DT+GNN）结构。与现有的黑箱GNN和事后解释方法相比，DT+GNN的推理可以在每一步进行检查。为了实现这一点，我们首先构建了一个可微的GNN层，它使用节点和消息的分类状态空间。这允许我们将GNN中训练的MLP转换为决策树。这些树使用我们新提出的方法修剪，以确保它们很小，易于解释。我们也可以使用决策树来计算传统的解释。我们在真实世界的数据集和综合GNN可解释性基准上证明，这种架构与传统GNN一样有效。此外，我们利用DT+ GNN的可解释性来发现许多这些数据集的有趣见解，并获得了一些令人惊讶的结果。我们还提供了一个互动的网络工具来检查DT+GNN的决策。
2022-05-26 cs.LG
GBK-GNN: Gated Bi-Kernel Graph Neural Networks for Modeling Both Homophily and Heterophily
Microsoft Research Asia（微软亚洲研究院）；Beijing University of Technology（北京工业大学）；Peking University（北京大学）；Northeastern University（东北大学）
图神经网络（GNN）广泛用于各种基于图的机器学习任务。对于节点级任务，GNN具有强大的能力来建模图的同质性（即，连接的节点更相似），而它们捕获异质特性的能力常常是可疑的。这部分是由于设计的特征转换具有相同的内核的节点在同一跳和随之而来的聚合运算符。一个内核不能对相似性和相异性进行建模（即，节点特征之间的正相关和负相关），即使我们使用像图注意力网络（GAT）这样的注意力机制，因为由注意力计算的权重总是正值。在本文中，我们提出了一种新的GNN模型的基础上的双核特征变换和选择门。两个核分别捕获同质和异质信息，并引入门来选择我们应该使用给定的节点对的核。我们进行了广泛的实验，各种数据集具有不同的同质性，异质性。实验结果表明，对国家的最先进的GNN方法的一致和显着的改进。
2022-04-24 cs.LG
On the Bottleneck of Graph Neural Networks and its Practical Implications
Technion（以色列理工学院）
自从Gori et al.（2005）和Scarselli et al.（2008）提出图神经网络（GNN）以来，训练GNN的主要问题之一是它们难以在图中遥远的节点之间传播信息。我们对这个问题提出了一个新的解释：GNN在聚合长路径上的消息时容易受到瓶颈的影响。这个瓶颈会导致指数增长的信息过度压缩到固定大小的向量中。因此，GNN无法传播来自远程节点的消息，并且在预测任务依赖于远程交互时表现不佳。在本文中，我们强调了GNN中的过度挤压的固有问题：我们证明了瓶颈阻碍了流行的GNN拟合训练数据中的长距离信号;我们进一步表明，平均吸收传入边缘的GNN，如GCN和GIN，比GAT和GGNN更容易受到过度挤压的影响;最后，我们表明，以前的工作，广泛调整GNN模型的长期问题，遭受过度挤压，打破瓶颈，提高了他们的国家的最先进的结果，没有任何调整或额外的权重。我们的代码可在https://github.com/tech-srl/bottleneck/上获得。
2021-03-09 cs.LG stat.ML
Alignahead: Online Cross-Layer Knowledge Extraction on Graph Neural Networks
Zhejiang University（浙江大学）；ZJU-Bangsun Joint Research Center（浙大邦生联合研究中心）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）
现有的图神经网络（GNN）上的知识蒸馏方法几乎是离线的，其中学生模型从强大的教师模型中提取知识以提高其性能。然而，一个预先训练的教师模型并不总是访问由于培训成本，隐私等，在本文中，我们提出了一种新的在线知识蒸馏框架来解决这个问题。具体来说，每个学生GNN模型在交替训练过程中从另一个同时训练的对应物中学习提取的局部结构。我们进一步开发了一种跨层蒸馏策略，通过将一个学生层与另一个学生模型的不同深度的层对齐，理论上使结构信息分散在所有层上。在PPI、Coauthor-CS/Physics和Amazon-Computer/Photo等五个数据集上的实验结果表明，在没有预先训练的教师模型的监督下，学生的成绩在我们的协作训练框架中得到了持续的提高。此外，我们还发现，我们的alignahead技术可以加快模型的收敛速度，其有效性可以通过增加训练中的学生人数普遍提高。代码可用：https://github.com/GuoJY-eatsTG/Alignahead
2022-05-05 cs.AI cs.LG
Incorporating Retrieval-based Causal Learning with Information Bottlenecks for Interpretable Graph Neural Networks
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Shanghai Jiao Tong University（上海交通大学）；Key Laboratory of Machine Intelligence and Advanced Computing, Sun Yat-sen University（中山大学机器智能与先进计算重点实验室）
本研究提出一种结合检索式因果学习与图信息瓶颈的可解释因果GNN框架，能半参数化检索关键子图并压缩解释，在提升解释精度的同时增强GNN预测性能。
2024-02-07 cs.LG
Equipping Federated Graph Neural Networks with Structure-aware Group Fairness
Stevens Institute of Technology（史蒂文斯理工学院）
针对联邦图神经网络中本地偏差易传播至全局模型的公平性问题，提出融合公平感知本地更新与公平加权全局聚合的F²GNN框架，从数据与算法双维度缓解偏差，在公平性和准确率上均优于基线方法。
2024-05-13 cs.LG
Twin Weisfeiler-Lehman: High Expressive GNNs for Graph Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
通过Weisfeiler-Lehman（WL）测试，消息传递GNN的表达能力有上限。为了实现WL测试之外的高表达GNN，我们提出了一种新的图同构测试方法，即Twin-WL，它同时传递节点标签和节点身份，而不是只传递节点标签作为WL。身份传递机制编码了有根子图的完整结构信息，因此Twin-WL可以在区分图结构方面提供比WL更大的能力。在Twin-WL的基础上，通过定义有根子图上的读出函数，实现了两个Twin-GNN用于图分类：一个简单地读出有根子图的大小，另一个按照GNN的风格读出子图的丰富结构信息。我们证明了这两个Twin-GNN都比传统的消息传递GNN具有更高的表达能力。实验还表明，Twin-GNN在图分类任务中的表现明显优于最先进的方法。
2022-03-22 cs.LG
Integrating Physics Inspired Features with Graph Convolution
Institute of Physics, Bhubaneswar（布巴内斯瓦尔物理研究所）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
本文提出将胶囊层集成到图神经网络中，替换标准解码块，形成CapsLorentzNet架构，在夸克-胶子标记任务上比LorentzNet性能提升20%。
2025-01-24 cs.LG hep-ex hep-ph
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology（马尼帕尔理工学院）；IBM Research（IBM研究院）
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比，图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务，即实体匹配，我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
Redesigning graph filter-based GNNs to relax the homophily assumption
King Juan Carlos University（胡安·卡洛斯国王大学）；Rice University（莱斯大学）
针对传统GNN隐含同质性假设、在异质性数据上性能下降的问题，提出重新诠释图滤波器作用的卷积GNN架构，兼具强归纳偏置与高表达能力，可适配同/异质性数据、缓解过平滑，且经理论证明具置换等变性，实验表现优于多个SOTA基线。
2024-09-13 cs.LG
CoRe-GNN: Multilevel Message passing on Coarsened graphs
CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；INRIA（法国国家信息与自动化研究所）
CoRe-GNN是一种基于粗化图的多级消息传递图神经网络，并行执行粗化聚类间与局部聚类内传播，在多种节点分类基准上优于图粗化和Cluster-GCN，兼具长程任务竞争力与内存效率。
2026-08-04 cs.LG
Discovering the Representation Bottleneck of Graph Neural Networks
Computer Science Department, Stanford University（斯坦福大学计算机科学系）；School of Engineering, Westlake University（西湖大学工程学院）
本文发现GNNs在不同复杂性背景下无法捕捉最有效的交互风格，提出基于交互模式的图重排方法以缓解表示瓶颈并提升性能。
2026-01-07 cs.AI cs.LG
Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training Data
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
最近，人们对为半监督学习任务设计图神经网络（GNN）的兴趣激增。不幸的是，这项工作假设标记用于训练的节点是随机均匀选择的（即是IID样本）。然而，在许多现实世界的场景中，为图节点收集标签既昂贵又固有地有偏见-因此无法满足此假设。当这种情况发生时，GNN可能会受到不良的泛化影响，这是由于对训练数据中存在的多余数据进行过拟合。在这项工作中，我们提出了一种方法，移位鲁棒GNN（SR-GNN），旨在占有偏见的训练数据和图的真实推理分布之间的分布差异。SR-GNN调整GNN模型，以适应具有用于训练的标签的节点与数据集的其余部分之间存在的分布变化。我们在半监督学习的常见GNN基准数据集上使用有偏训练数据集进行的各种实验中说明了SR-GNN的有效性，其中我们看到SR-GNN在准确性方面优于其他GNN基线，消除了至少（~40%）由有偏训练数据引入的负面影响。在我们考虑的最大数据集ogb-arxiv上，我们观察到比基线有2%的绝对改善，并减少了30%的负面影响。
2021-10-26 cs.LG
Revealing Combinatorial Reasoning of GNNs via Graph Concept Bottleneck Layer
Tongji University, Shanghai, China（同济大学）；City University of Macau, Macau, China（澳门城市大学）
本文提出图概念瓶颈层，通过将概念视为图词并利用语言模型学习嵌入，提升GNNs的组合推理可解释性与性能。
2026-03-02 cs.AI cs.LG
Breaking Symmetry Bottlenecks in GNN Readouts
Department of Computing, Imperial College London, UK（伦敦帝国学院计算机系）；Department of Mathematics, Imperial College London, UK（伦敦帝国学院数学系）；London School of Geometry（几何与数论研究所）
本文提出基于投影器的不变读出方法，解决 GNN 读出阶段的对称性瓶颈问题，通过保留非平凡对称性信息提升模型表达能力。
2026-02-05 cs.LG
An Efficient Subgraph GNN with Provable Substructure Counting Power
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本文提出一种高效子图 GNN，通过预计算封装到根节点距离信息的结构嵌入，在保持可证明子结构计数能力的同时显著降低计算开销。
2024-06-13 cs.LG
Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs
The Chinese University of Hong Kong（香港中文大学）；Southern University of Science and Technology（南方科技大学）
图神经网络（GNNs）由于其在基于图的任务上的优异性能而受到广泛关注。然而，现有的GNN研究集中在设计更有效的模型，而没有考虑输入数据的质量。在本文中，我们提出了自增强GNN（SEG），它使用现有GNN模型的输出来提高输入数据的质量，以获得更好的半监督节点分类性能。由于图数据由拓扑和节点标签组成，我们从这两个角度提高了输入数据质量。对于拓扑结构，我们观察到，当类间边缘（连接不同类的节点）的比率较低时，可以实现更高的分类精度，并提出拓扑结构更新以删除类间边缘并添加类内边缘。对于节点标签，我们提出了训练节点增强，它使用现有GNN模型预测的标签来扩大训练集。SEG是一个通用框架，可以很容易地与现有的GNN模型相结合。实验结果验证了SEG在不同数据集上一致地提高了GCN，GAT和SGC等知名GNN模型的性能。
2021-04-19 cs.LG stat.ML
ES-GNN: Generalizing Graph Neural Networks Beyond Homophily with Edge Splitting
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；Southeast University（东南大学）
针对图神经网络依赖同配性偏置、在异配图上泛化性差且鲁棒性不足的问题，提出ES-GNN框架通过自适应边拆分动态构建互补子图并交替传播与拆分，解耦任务相关与无关特征，在多个数据集上实现优异性能与鲁棒性，缓解过平滑问题。
2024-09-17 cs.LG
AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting
University of California, Berkeley（加州大学伯克利分校）；LinkedIn（领英）
图神经网络（GNNs）作为深度学习的一个特殊领域，专注于提取网络的内在特征，在学术界和工业界都受到了前所未有的关注。大多数最先进的GNN模型都提供了富有表现力的，鲁棒的，可扩展的和归纳的解决方案，使社交网络推荐系统具有丰富的网络功能，这些功能在计算上难以利用基于图遍历的方法。最近的GNN遵循编码器-解码器范式，将子图中的高维异构信息编码到一个低维嵌入空间中。然而，一个单一的嵌入空间通常无法捕捉所有方面的图形信号。在这项工作中，我们提出了基于提升的GNN Meta学习器，它自动学习多个投影和相应的嵌入空间，捕获图形信号的不同方面。因此，子图之间的相似性通过在多个嵌入空间上嵌入接近度来量化。AdaGNN对于具有丰富多样的节点邻域信息的应用程序表现非常出色。此外，AdaGNN与任何归纳GNN兼容，用于节点级和边缘级任务。
2021-08-14 cs.LG cs.SI
GNNExplainer: Generating Explanations for Graph Neural Networks
Stanford University（斯坦福大学）
图神经网络（Graph Neural Network，GNNs）是一种用于图上机器学习的强大工具，它通过沿输入图的边递归传递神经消息，将节点特征信息与图的结构相结合。然而，结合图结构和特征信息会导致复杂的模型，并且解释GNN做出的预测仍然没有解决。在这里，我们提出了GNNExplainer，第一个通用的，模型不可知的方法，为任何基于图的机器学习任务上的任何基于GNN的模型的预测提供可解释的解释。给定一个实例，GNNExplainer识别出一个紧凑的子图结构和一小部分节点特征，这些特征在GNN的预测中起着至关重要的作用。此外，GNNEspainer可以为整个实例类生成一致且简洁的解释。我们制定GNNExplainer作为一个优化任务，最大限度地提高GNN的预测和可能的子图结构的分布之间的互信息。在合成图和真实图上的实验表明，我们的方法可以识别重要的图结构以及节点特征，并且平均比基线高出17.1%。GNNExplainer提供了各种各样的好处，从可视化语义相关结构的能力到可解释性，再到深入了解错误GNN的错误。
2019-11-13 cs.LG stat.ML
PROXI: Challenging the GNNs for Link Prediction
Astrit Tola（独立研究者）；Jack Myrick（独立研究者）；Baris Coskunuzer（独立研究者）
PROXI通过利用节点对在图和属性空间中的接近性信息，在链接预测任务中超越了传统GNN模型。
2024-10-02 cs.CG cs.LG
Bi-Level Attention Graph Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）
针对异构图中节点级与关系级注意力难以联合建模且关系依赖被忽视的问题，提出BA-GNN，利用局部邻域上下文分层建模两类交互，并在七个真实数据集上验证其优越性能与注意力可迁移性。
2023-04-23 cs.IR cs.LG
edGNN: a Simple and Powerful GNN for Directed Labeled Graphs
IBM Research（IBM研究院）；EPFL（洛桑联邦理工学院）；ETH（苏黎世联邦理工学院）
图神经网络（GNN）利用图拓扑和图标签的能力是构建有区别的节点和图嵌入的基础。在以前工作的基础上，我们从理论上证明了edGNN，我们的有向标记图的模型，与图同构的Weisfeiler-Lehman算法一样强大。我们的实验支持我们的理论研究结果，确认图神经网络可以有效地用于有向图的节点和边标签的推理问题。代码可在https://github.com/guillaumejaume/edGNN获得。
2019-12-04 cs.LG stat.ML
Characterizing and Understanding Distributed GNN Training on GPUs
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）
图神经网络（GNN）由于其在图上学习的有效性而在许多领域被证明是一种强大的模型。为了将GNN训练扩展到大型图，一种广泛采用的方法是分布式训练，它使用多个计算节点来加速训练。最大化性能是必不可少的，但分布式GNN训练的执行仍然是初步了解的。在这项工作中，我们对GPU上的分布式GNN训练进行了深入分析，揭示了几个重要的观察结果，并为软件优化和硬件优化提供了有用的指导。
2022-04-18 cs.DC cs.LG
GSR-GNN: Training Acceleration and Memory-Saving Framework of Deep GNNs on Circuit Graph
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；New York University（纽约大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文提出GSR-GNN框架，通过可逆残差模块和分组稀疏非线性操作，实现深度GNN在大规模电路图上的高效训练，达到87.2%的内存节省和30倍以上的加速，同时保持相关质量指标的稳定。
2026-03-28 cs.AI cs.LG
DF-GNN: Dynamic Fusion Framework for Attention Graph Neural Networks on GPUs
Shanghai Jiao Tong University（上海交通大学）；Amazon Web Services（亚马逊网络服务）
针对注意力图神经网络在GPU上训练效率低的问题，本文提出动态内核融合框架DF-GNN，通过动态双层线程调度解决数据移动、启动开销和负载不均衡问题，实现最高7倍加速。
2024-11-25 cs.LG cs.PF
PLMGH: What Matters in PLM-GNN Hybrids for Code Classification and Vulnerability Detection
Polytechnique Montréal（蒙特利尔理工学院）；Quantstamp
本文通过系统配对三种代码专用PLM与三种基础GNN架构，研究PLM-GNN混合在代码分类和漏洞检测中的性能，发现混合模型优于GNN-only基线，且PLM选择比GNN架构影响更大。
2026-04-28 cs.LG cs.SE
GNNGuard: Defending Graph Neural Networks against Adversarial Attacks
Harvard University（哈佛大学）
图的深度学习方法在各种领域都取得了卓越的性能。然而，最近的研究结果表明，即使是最强大和最流行的图神经网络（GNN），图结构的小而不明显的扰动也会灾难性地降低其性能。在这里，我们开发了GNNGuard，这是一种通用算法，可以抵御各种干扰离散图结构的训练时间攻击。GNNGuard可以直接并入任何GNN。它的核心原理是检测和量化图结构和节点特征之间的关系（如果存在），然后利用这种关系来减轻攻击的负面影响。GNNGuard学习如何最好地为连接相似节点的边分配更高的权重，同时修剪不相关节点之间的边。修改后的边缘允许在底层GNN中鲁棒地传播神经消息。GNNGuard引入了两个新的组件，邻居重要性估计和逐层图存储器，我们的经验表明，这两个组件是必要的一个成功的防御。在五个GNN、三种防御方法和五个数据集（包括一个具有挑战性的人类疾病图）上，实验表明GNNGuard的平均性能比现有的防御方法高出15.3%。值得注意的是，GNNGuard可以在面对各种对抗攻击（包括针对性和非针对性攻击）时，有效地恢复GNN的最先进性能，并可以防御对异质图的攻击。
2020-10-28 cs.LG stat.ML
KrawtchoukNet: A Unified GNN Solution for Heterophily and Over-smoothing with Adaptive Bounded Polynomials
Akdeniz Üniversitesi（阿克deniz大学）
针对谱GNN的异配图性能崩溃与高多项式阶数下过平滑问题，提出基于离散Krawtchouk多项式的KrawtchoukNet，通过有界递推系数与可学习形状参数实现自适应滤波，在相关基准上取得SOTA结果。
2025-11-19 cs.LG eess.SP
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；ByteDance（字节跳动）；Cornell University（康奈尔大学）
图神经网络（GNN）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，在节点分类和图属性预测等各种任务上实现了突破性的性能。尽管如此，现有的系统对于用GPU训练具有数十亿个节点和边的大型图是低效的。主要的瓶颈是为GPU准备数据的过程-子图采样和特征检索。本文提出了BGL，一个分布式GNN训练系统，旨在通过一些关键思想解决瓶颈。首先，我们提出了一个动态缓存引擎，以尽量减少功能检索流量。通过对缓存策略和采样顺序的协同设计，我们找到了一个低开销和高缓存命中率的最佳点。其次，我们改进了图划分算法，以减少子图采样过程中的跨分区通信。最后，仔细的资源隔离减少了不同数据预处理阶段之间的争用。在各种GNN模型和大型图数据集上进行的大量实验表明，BGL的平均性能明显优于现有的GNN训练系统20.68倍。
2021-12-16 cs.DC cs.LG
Watermarking Graph Neural Networks based on Backdoor Attacks
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
图神经网络（GNN）在各种现实世界的应用中取得了令人鼓舞的性能。构建一个强大的GNN模型并不是一项简单的任务，因为它需要大量的训练数据、强大的计算资源和微调模型的专业知识。此外，随着对抗攻击的发展，模型窃取攻击，GNN对模型认证提出了挑战。为了避免侵犯GNN的版权，需要验证GNN模型的所有权。本文提出了一种用于图和节点分类任务的GNN水印框架。我们设计了两种策略来生成用于图分类任务的水印数据和一种用于节点分类任务的水印数据; 2）通过训练将水印嵌入到宿主模型中以获得带水印的GNN模型; 3）在黑盒设置中验证可疑模型的所有权。实验表明，我们的框架可以验证GNN模型的所有权，具有非常高的概率（高达$99\%$）的两个任务。最后，我们的实验表明，我们的水印方法是强大的对国家的最先进的模型提取技术和四个国家的最先进的防御后门攻击。
2022-11-13 cs.CR cs.LG
GNNear: Accelerating Full-Batch Training of Graph Neural Networks with Near-Memory Processing
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）
最近，图神经网络（GNN）已经成为分析非欧几里德图数据的最先进的算法。然而，实现有效的GNN训练是具有挑战性的，特别是在大型图上。原因有很多：1）GNN训练会占用大量内存。在大型图上进行全批训练甚至需要数百到数千GB的内存。2)GNN训练涉及内存密集型和计算密集型操作，挑战当前的CPU/GPU平台。3)图形的不规则性会导致严重的资源利用不足和负载不平衡问题。本文提出了一个GNNear加速器来应对这些挑战。GNNear采用基于DIMM的存储系统，提供足够的存储容量。为了匹配GNN训练的异构性，我们将内存密集型Reduce操作卸载到DIMM内的Near-Memory-Engines（NME），充分利用高聚合本地带宽。我们采用了一个集中加速引擎（CAE）来处理计算密集型的更新操作。我们进一步提出了几种优化策略来处理输入图的不规则性，提高GNNear的性能。通过对16个GNN训练任务的综合评估，GNNear与Xeon E5-2698-v4 CPU和NVIDIA V100 GPU相比，实现了30.8 $\times$ /2.5 $\times$几何平均加速比和79.6 $\times$ /7.3 $\times$（几何平均）能效提升。
2022-08-16 cs.AR cs.LG
Graph Neural Network-State Predictive Information Bottleneck (GNN-SPIB) approach for learning molecular thermodynamics and kinetics
University of Maryland（马里兰大学）；Institute for Physical Science and Technology（物理科学与技术学院）；University of Maryland Institute for Health Computing（马里兰大学健康计算学院）
本文提出GNN-SPIB框架，结合图神经网络与状态预测信息瓶颈，直接从原子坐标学习低维表示，在三个基准系统上预测慢过程的结构、热力学和动力学信息，实现无需预定义反应坐标的增强采样。
2024-09-18 cond-mat.soft cond-mat.stat-mech cs.LG
Learning multi-phase flow and transport in fractured porous media with auto-regressive and recurrent graph neural networks
Khalifa University of Science and Technology（哈利法科技大学）；Delft University of Technology（代尔夫特理工大学）；Qingdao University of Technology（青岛理工大学）
本文提出用图神经网络学习裂隙多孔介质多相流，采用两阶段训练（自回归+微调），循环GNN在长时预测中表现更优。
2025-02-22 cs.LG physics.flu-dyn
