FracAug: Fractional Augmentation boost Graph-level Anomaly Detection under Limited Supervision
The Chinese University of Hong Kong（香港中文大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出FracAug，一种即插即用的分数增强框架，通过生成语义一致的图变体和相互验证的伪标注，在有限监督下提升图级异常检测性能，实验显示在多种GNNs和数据集上显著提升AUROC、AUPRC和F1分数。
2025-09-25 cs.AI cs.LG
SimMLP: Training MLPs on Graphs without Supervision
本文提出自监督框架 SimMLP，通过对齐 GNN 与无邻域依赖 MLP 的表示，将图结构信息注入 MLP，并从理论与 20 个数据集上验证其等价性及优势。
2024-12-06 cs.AI cs.LG cs.SI
CRoC: Context Refactoring Contrast for Graph Anomaly Detection with Limited Supervision
The Chinese University of Hong Kong（香港中文大学）
针对图异常检测中标注数据稀缺且异常易伪装的问题，提出CRoC框架，通过重构节点上下文、编码异构关系并结合对比学习，在有限标签下显著提升了GNN的检测性能。
2025-09-14 cs.AI cs.LG
Node Embedding using Mutual Information and Self-Supervision based Bi-level Aggregation
Independent University Bangladesh（孟加拉国独立大学）
图神经网络（GNN）通过聚集来自图中的邻域的信息来学习节点的低维表示。然而，传统的GNN由于其本地（$l$ -跳邻域）聚合方案而遭受两个基本缺点。第一，并非邻域中的所有节点都携带目标节点的相关信息。由于GNN不排除其邻域中的噪声节点，因此不相关的信息被聚合，这降低了表示的质量。其次，传统GNN也无法捕获节点之间的远程非本地依赖关系。为了解决这些限制，我们利用互信息（MI）来定义两种类型的邻居，1）\textit{Local Neighborhood}，其中节点在社区内密集连接，每个节点将与其邻居共享更高的MI，以及2）\textit{Non-Local Neighborhood}，其中引入基于MI的节点聚类来组装信息丰富但图形上遥远的节点在同一个集群。为了生成节点表示，我们结合了由两级聚合生成的嵌入-局部聚合以聚合来自局部邻域的特征以避免噪声信息和非局部聚合以聚合来自非局部邻域的特征。此外，我们利用自我监督学习来估计MI与少量的标记数据。最后，我们表明，我们的模型显着优于国家的最先进的方法，在广泛的双折射和双折射图。
2021-04-27 cs.LG
Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision?
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI
提出多模态提示学习范式，通过同时学习图提示和文本提示将图嵌入大型语言模型空间，在极弱文本监督下实现GNN的少样本、跨域适应及零样本分类。
2025-06-01 cs.AI cs.LG cs.SI
Robust Training of Graph Neural Networks via Noise Governance
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Baidu Research（百度研究院）；University of Notre Dame（圣母大学）
图神经网络（GNNs）已经成为半监督学习的广泛使用的模型。然而，在存在标签噪声的情况下，GNN的鲁棒性仍然是一个很大程度上未被探索的问题。在本文中，我们考虑了一个重要的，但具有挑战性的情况下，标签的图的节点不仅是嘈杂的，而且稀缺。在这种情况下，由于标签噪声传播和学习不足，GNN的性能容易下降。为了解决这些问题，我们提出了一种新的RTGNN（通过噪声治理的图神经网络的鲁棒训练）框架，通过学习显式地治理标签噪声来实现更好的鲁棒性。更具体地说，我们引入自增强和一致性正则化作为补充监督。自我强化监督的灵感来自于深度神经网络的记忆效应，旨在纠正嘈杂的标签。此外，一致性正则化防止GNN通过视图间和视图内视角中的模仿损失而过拟合到噪声标签。为了利用这种监督，我们将标签分为干净和嘈杂的类型，纠正不准确的标签，并进一步在未标记的节点上生成伪标签。然后自适应地选择具有不同类型标签的节点的监督。这使得能够从干净的标签中进行充分的学习，同时限制嘈杂标签的影响。我们进行了大量的实验来评估我们的RTGNN框架的有效性，结果验证了它在两种类型的标签噪声和各种噪声率下的性能优于最先进的方法。
2023-02-26 cs.AI cs.LG
Causal-Based Supervision of Attention in Graph Neural Network: A Better and Simpler Choice towards Powerful Attention
Southern University of Science and Technology（南方科技大学）；Microsoft Research Asia（微软亚洲研究院）
针对基于注意力的图神经网络因缺乏直接监督在含噪图上鲁棒性差的问题，提出利用因果效应监督注意力学习的即插即用框架，可加速收敛、提升性能。
2023-07-18 cs.AI cs.CY cs.LG
GraFN: Semi-Supervised Node Classification on Graph with Few Labels via Non-Parametric Distribution Assignment
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
尽管图神经网络（GNN）在各种应用上取得了成功，但当监督信号的量（即，标记节点的数量是有限的，这是预期的，因为GNN仅基于从标记节点获得的监督来训练。另一方面，最近的自监督学习范式旨在通过解决不需要任何标记节点的借口任务来训练GNN，并且已经证明它甚至优于用很少标记节点训练的GNN。然而，自监督方法的一个主要缺点是，由于在训练期间没有利用标记信息，因此它们无法学习类判别节点表示。为此，我们提出了一种新的图的半监督方法GraFN，它利用很少的标记节点来确保属于同一类的节点被分组在一起，从而实现半监督和自监督方法的最佳效果。具体来说，GraFN从整个图中的标记节点和锚节点中随机抽取支持节点。然后，它最小化两个预测类分布之间的差异，这是非参数化分配的锚支持相似性从两个不同的增强图。我们的实验表明，GraFN超越了半监督和自我监督的方法在现实世界的图中的节点分类。GraFN的源代码可在https://github.com/Junseok0207/GraFN上获得。
2022-04-27 cs.AI cs.LG
SLAPS: Self-Supervision Improves Structure Learning for Graph Neural Networks
University of British Columbia（不列颠哥伦比亚大学）；Borealis AI；Google Research（Google研究院）
当提供图结构时，图神经网络（GNN）工作良好。然而，这种结构在实际应用中可能并不总是可用的。这个问题的一个解决方案是推断特定于任务的潜在结构，然后将GNN应用于推断的图。不幸的是，可能的图结构的空间随着节点的数量超指数增长，因此特定于任务的监督可能不足以学习结构和GNN参数。在这项工作中，我们提出了具有自我监督的邻接和GNN参数的同时学习，或SLAPS，这是一种通过自我监督为推断图结构提供更多监督的方法。一项全面的实验研究表明，SLAPS可扩展到具有数十万个节点的大型图形，并且在已建立的基准上学习特定于任务的图形结构的几种模型中表现出色。
2021-10-31 cs.AI cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University（宾夕法尼亚州立大学）；Michigan State University（密歇根州立大学）
图神经网络（GNNs）在图结构数据建模方面显示出了强大的能力。然而，现实世界的图通常包含结构噪声，并具有有限的标记节点。在这种图上训练时，GNN的性能会显著下降，这阻碍了GNN在许多应用中的采用。因此，重要的是开发具有有限标记节点的抗噪声GNN。然而，这方面的工作相当有限。因此，我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明，噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题，我们提出了一种新的框架，该框架采用噪声边缘作为监督来学习去噪和密集图，该框架可以降低权重或消除噪声边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测，以更好地训练GNN。在真实数据集上的实验结果表明，该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
Pseudo Contrastive Learning for Graph-based Semi-supervised Learning
Xidian University（西安电子科技大学）；Northwest University（西北大学）；Xi’an University of Posts and Telecommunications（西安邮电大学）；The University of Sydney（悉尼大学）
针对半监督图神经网络中伪标签质量不佳的问题，提出伪对比学习框架，将生成伪标签转化为识别可靠负样本对，结合拓扑加权对比损失，在五个真实图数据集上提升了多种GNN的性能。
2023-12-19 cs.AI cs.LG
GDM: Dual Mixup for Graph Classification with Limited Supervision
Carleton University（卡尔顿大学）；Amii（阿尔伯塔机器智能研究所）
本文提出图双重混合方法GDM，通过同时混合图的结构嵌入和节点特征生成新的带标签图样本，并设计均衡图采样策略，在标签稀缺时显著提升图分类性能。
2023-09-18 cs.AI cs.LG
GPT-GNN: Generative Pre-Training of Graph Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Microsoft Research（微软研究院）
图神经网络（GNN）已被证明是强大的建模图结构的数据。然而，训练GNN通常需要大量特定于任务的标记数据，而获得这些数据通常非常昂贵。减少标记工作的一种有效方法是在具有自我监督的未标记数据上预训练表达性GNN模型，然后将学习到的模型转移到只有几个标签的下游任务。在本文中，我们提出了GPT-GNN框架，通过生成预训练来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务来预训练GNN，以便它可以捕获图的结构和语义属性。我们将图生成的可能性分解为两个部分：1）属性生成和2）边生成。通过对这两个组件进行建模，GPT-GNN在生成过程中捕获了节点属性和图结构之间的固有依赖关系。在十亿规模的开放学术图谱和亚马逊推荐数据上进行的综合实验表明，GPT-GNN在各种下游任务中的性能明显优于没有预训练的最先进的GNN模型，最高可达9.1%。
2020-06-27 cs.LG cs.SI stat.ML
Normalize Then Propagate: Efficient Homophilous Regularization for Few-shot Semi-Supervised Node Classification
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出NormProp算法，通过解耦节点表示的方向与欧几里得范数并引入同质性正则化，在少样本半监督节点分类的低标签率场景下以低计算复杂度实现了最先进的性能。
2025-01-15 cs.LG
A Variational Edge Partition Model for Supervised Graph Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Nanyang Technological University（南洋理工大学）；Xidian University（西安电子科技大学）
图神经网络（GNNs）通过边传播节点特征并学习如何在标签监督下转换聚合特征，在节点级和图级分类任务的监督特征提取方面取得了巨大成功。然而，GNN通常将图结构视为给定的，而忽略边是如何形成的。本文介绍了一种图形生成过程来模拟如何通过聚合一组重叠节点社区上的节点交互来生成观察到的边缘，每个社区都通过逻辑OR机制对边缘做出贡献。基于这种生成模型，我们将每个边划分为多个社区特定的加权边的总和，并使用它们来定义社区特定的GNN。提出了一种变分推断框架，用于联合学习基于GNN的推理网络，该推理网络将边缘划分为不同的社区，这些社区特定的GNN，以及基于GNN的预测器，该预测器将社区特定的GNN组合用于最终分类任务。对真实世界图数据集的广泛评估已经验证了所提出的方法在学习节点级和图级分类任务的区分表示方面的有效性。
2022-10-31 cs.LG stat.CO stat.ME
ERAlign: Energy-based Representation Alignment of GNNs and LLMs on Text-attributed Graphs
University of Science and Technology of China（中国科学技术大学）
提出ERAlign框架，利用能量模型对齐GNN和LLM的表示，通过能量差异优化实现分布一致性，在8个数据集上取得最优性能。
2026-06-09 cs.AI cs.CL cs.LG
Graph neural induction of value iteration
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；University of Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）
许多强化学习任务可以受益于基于环境内部模型的明确规划。以前，这样的规划组件已经通过神经网络被合并，该神经网络部分地与价值迭代的计算图对齐。这样的网络到目前为止都集中在限制性的环境（如网格世界），并模拟规划程序只是间接的。我们放松这些限制，提出了一个图神经网络（GNN），执行值迭代（VI）算法，在任意的环境模型，直接监督VI的中间步骤。结果表明，GNN能够准确地对价值迭代进行建模，在各种分布外测试中恢复有利的指标和策略。这表明具有强监督的GNN执行器是深度强化学习系统中的可行组件。
2020-09-26 cs.AI cs.LG stat.ML
Task-Agnostic Graph Neural Network Evaluation via Adversarial Collaboration
Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Valence Discovery（Valence Discovery公司）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Cambridge（剑桥大学）
越来越需要开发可靠的方法来评估用于分子表示学习的图神经网络（GNN）研究进展。现有的用于分子表示学习的GNN基准测试方法专注于比较GNN在某些数据集上的某些节点/图分类/回归任务上的性能。然而，缺乏一种原则性的、与任务无关的方法来直接比较两个GNN。此外，大多数现有的自监督学习作品将手工增强的数据，这有几个严重的困难，以应用于图，由于其独特的特点。为了解决上述问题，我们提出了GraphAC（Graph Adversarial Collaboration）--一个概念新颖、原则性强、任务不可知且稳定的框架，用于通过对比自我监督来评估GNN。我们引入了一个新颖的目标函数：竞争巴洛双胞胎，它允许两个GNN在相互直接竞争的情况下联合更新自己。GraphAC成功地区分了各个方面的不同表现力的GNN，并已被证明是一种原则性和可靠的GNN评估方法，无需任何增强。
2023-03-27 cs.LG
ROD: Reception-aware Online Distillation for Sparse Graphs
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
图神经网络（GNN）已被广泛用于许多基于图的任务，例如节点分类、链接预测和节点聚类。然而，GNN主要通过执行特征传播和平滑图的边缘来获得其性能优势，因此需要足够的连接性和标签信息来进行有效传播。不幸的是，许多现实世界的网络在边缘和标签方面都是稀疏的，导致GNN的性能次优。最近对这个稀疏问题的兴趣集中在自训练方法上，该方法用伪标签扩展监督信号。然而，由于伪标签的质量和数量不令人满意，自训练方法本质上无法实现在稀疏图上改进学习性能的全部潜力。在本文中，我们提出了ROD，一种新的接收感知的在线知识蒸馏稀疏图学习方法。我们为ROD设计了三个监督信号：多尺度接收感知图知识、基于任务的监督和丰富的提炼知识，允许以同伴教学的方式进行在线知识转移。为了提取隐藏在多尺度接收场中的知识，ROD明确要求单个学生模型保留不同级别的局部信息。对于一个给定的任务，每个学生将预测基于其接收规模的知识，而同时建立一个强大的教师在飞行中结合多尺度的知识。我们的方法已经在9个数据集和各种基于图的任务上进行了广泛的评估，包括节点分类，链接预测和节点聚类。结果表明，ROD实现了最先进的性能，更强大的图稀疏。
2021-07-25 cs.AI cs.LG
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University（范德堡大学）；IBM T.J. Watson Research Center（IBM T.J. 华生研究中心）
近年来，图神经网络（GNNs）在学习有效的节点表示进行分类方面取得了显著的成功。然而，目前的GNN大多是在平衡的数据分割下构建的，这与许多现实世界的网络不一致，其中训练节点的数量在类之间可能非常不平衡。因此，直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示，并最终损害分类性能。因此，这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中，我们提出了一种新的距离明智的原型图神经网络（DPGNN），它提出了一个类原型驱动的训练，以平衡大多数和少数类之间的训练损失，然后利用距离度量学习来区分不同维度的表示的贡献，并充分编码每个节点到每个类原型的相对位置。此外，我们设计了一个新的不平衡标签传播机制，以获得额外的监督从未标记的节点，并采用自监督学习平滑表示相邻节点，同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析，所提出的DPGNN几乎总是显着优于所有其他基线，这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
Graph Neural Networks with Coarse- and Fine-Grained Division for Mitigating Label Sparsity and Noise
针对图半监督学习中标签稀疏和噪声问题，提出GNN-CFGD，通过粗粒度划分识别干净/噪声标签、面向干净标签的连接缓解稀疏性，并基于置信度细粒度划分提供精细监督，实验验证其有效性和鲁棒性。
2024-11-06 cs.LG
Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing
Beihang University（北京航空航天大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
拓扑不平衡是由标记节点的拓扑位置不均匀引起的特定于图的不平衡问题，它严重损害了GNN的性能。拓扑不平衡意味着什么以及如何衡量其对图学习的影响仍然没有得到充分的探索。在本文中，我们提供了一个新的理解的拓扑不平衡从全局来看的监管信息分布的不足和过度挤压，这促使两个定量指标作为测量。基于我们的分析，我们提出了一种新的位置感知图结构学习框架PASTEL，它直接优化了信息传播路径，从本质上解决了拓扑不平衡问题。我们的关键见解是提高同一类内节点的连通性，以获得更多的监督信息，从而缓解不足和过度挤压现象。具体来说，我们设计了一个基于锚点的位置编码机制，它更好地结合了相对拓扑位置，并通过最大化标签影响来增强类内归纳偏差。我们进一步提出了一个类的冲突措施作为边的权重，这有利于不同的节点类的分离。大量的实验证明了PASTEL在增强GNN在不同数据标注场景中的能力方面的优越潜力和适应性。
2022-08-17 cs.AI cs.LG
Same Graph Cross-Task Transfer in GNNs: Protocols and Predictors
该研究针对GNN同图跨任务迁移的评估缺陷，提出无泄漏协议，发现迁移方向性规律，引入CTS指标，表明数据集同质性可指导机制选择以避免负迁移。
2026-07-31 cs.LG cs.SI
Imbalanced Graph Classification via Graph-of-Graph Neural Networks
Vanderbilt University（范德堡大学）；Snap Research（Snap研究院）
图神经网络（GNN）在识别图的分类标签方面取得了前所未有的成功。然而，大多数现有的GNN图分类问题都遵循平衡数据分割的协议，这与许多现实场景不一致，其中一些类的标签比其他类少得多。在这种不平衡的情况下直接训练GNN可能会导致少数类别中的图的无信息表示，并损害整体分类性能，这表明开发有效的GNN对处理不平衡图分类的重要性。现有的方法要么是针对非图结构化数据量身定制的，要么是专门为不平衡节点分类而设计的，而很少关注不平衡图分类。为此，我们引入了一个新的框架，图的图神经网络（G $^2$ GNN），它通过从相邻图中全局导出额外的监督和从图的随机扩充中局部导出额外的监督来解决图的不平衡问题。在全球范围内，我们构建了一个图形的图形（GoG）的基础上内核相似性和执行GoG传播聚合相邻的图形表示。在局部，我们采用拓扑增强通过掩蔽节点功能或下降的边缘与自洽正则化生成每个图的随机增强，提高模型的泛化能力。在七个基准数据集上进行的广泛的图分类实验表明，我们提出的G $^2$ GNN在F1宏观和F1微观分数上都优于许多基线约5%。G $^2$ GNN的实现可在https：//github.com/YuWVandy/G2GNN}{https：//github.com/YuWVandy/G2GNN
2022-09-28 cs.LG cs.SI
Shape-aware Graph Spectral Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；Florida International University（佛罗里达国际大学）
针对谱GNNs忽视图频率与同质性关系的问题，提出基于牛顿插值的形状感知正则化，实现任意多项式谱滤波并融入同质性先验，实验证明在两类数据集上性能优越。
2024-05-22 cs.AI cs.LG
Algorithmic Concept-based Explainable Reasoning
University of Cambridge（剑桥大学）；DeepMind（深度思维）
最近的研究图神经网络（GNN）模型成功地应用GNNs的经典图算法和组合优化问题。这样做有很多好处，比如在不满足先决条件时允许应用算法，或者在没有足够的训练数据或无法生成时重用学习模型。不幸的是，这些方法的一个关键障碍是它们缺乏可解释性，因为GNN是无法直接解释的黑箱模型。在这项工作中，我们通过将现有的基于概念的解释应用于GNN模型来解决这一限制。我们引入了概念瓶颈GNN，它依赖于GNN读出机制的修改。使用三个案例研究，我们证明了：（i）我们提出的模型能够准确地学习概念，并根据每个目标类的学习概念提取命题公式;（ii）我们基于概念的GNN模型与最先进的模型实现了比较性能;（iii）我们可以导出全局图概念，而无需显式地提供对图级概念的任何监督。
2021-07-15 cs.LG
Identifying and Correcting Label Noise for Robust GNNs via Influence Contradiction
University of Science and Technology of China（中国科学技术大学）
提出ICGNN方法，利用图扩散矩阵计算影响矛盾分数（ICS）检测噪声标签，并通过邻居预测软策略纠正噪声标签，结合伪标签提升鲁棒性。
2026-06-03 cs.LG
Graph Auto-Encoder Via Neighborhood Wasserstein Reconstruction
University of Virginia（弗吉尼亚大学）；Emory University（埃默里大学）；Purdue University（普渡大学）
图神经网络（GNNs）近年来引起了广泛的研究关注，主要是在半监督学习的背景下。当首选任务不可知表示或监督不可用时，自动编码器框架可以方便地使用自然图重建目标进行无监督GNN训练。然而，现有的图自动编码器被设计为重建直接链接，因此以这种方式训练的GNN仅针对面向邻近的图挖掘任务进行优化，并且在拓扑结构重要时会出现不足。在这项工作中，我们重新审视了GNNs的图形编码过程，该过程基本上是学习将每个节点的邻域信息编码到嵌入向量中，并提出了一种新的图形解码器，通过邻域Wasserstein重建（NWR）来重建关于邻近度和结构的整个邻域信息。具体来说，从每个节点的GNN嵌入，NWR联合预测其节点度和邻居特征分布，其中分布预测采用基于Wasserstein距离的最优传输损失。在合成和真实网络数据集上的大量实验表明，使用NWR学习的无监督节点表示在面向结构的图挖掘任务中具有更大的优势，同时在面向邻近度的任务中也具有竞争力的性能。
2022-02-18 cs.LG cs.SI
NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily Labeled Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）；IBM（国际商业机器公司）
图神经网络（GNN）在图上的半监督学习任务（如节点分类）方面取得了可喜的成果。尽管GNN取得了巨大的成功，但许多真实世界的图通常是稀疏和嘈杂的标记，这可能会显着降低GNN的性能，因为嘈杂的信息可以通过图结构传播到未标记的节点。因此，重要的是开发一个标签抗噪声GNN的半监督节点分类。虽然已经进行了广泛的研究来学习带有噪声标签的神经网络，但它们大多集中在独立和同分布的数据上，并假设有大量的噪声标签可用，这并不直接适用于GNN。因此，我们研究了一个新的问题，学习一个强大的GNN与噪声和有限的标签。为了减轻标签噪声的负面影响，我们建议将未标记的节点与具有高特征相似性的标记节点连接起来，以带来更多干净的标签信息。此外，通过该策略可以获得准确的伪标签，以提供更多的监督，并进一步减少标签噪声的影响。我们的理论和实证分析验证了这两种策略在温和条件下的有效性。在真实数据集上的大量实验证明了该方法在学习具有噪声和有限标签的鲁棒GNN方面的有效性。
2021-06-08 cs.LG
$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）
随着图数据大小的增加，推理过程中的巨大延迟和内存消耗对图神经网络（GNN）的实际部署构成了重大挑战。虽然量化是降低GNN复杂性的一种有效方法，但大多数以前关于GNN量化的工作都未能利用GNN的独特特性，从而导致精度严重下降。通过深入分析GNN的拓扑结构，我们观察到图的拓扑结构导致节点之间存在显著差异，图中的大多数节点似乎具有较小的聚合值。受此启发，在本文中，我们提出了GNN的聚合感知混合精度量化（$\rm A^2Q$），其中自动学习并分配给图中的每个节点适当的位宽。为了减轻节点之间稀疏连接引起的梯度消失问题，我们提出了一种局部梯度方法，以节点特征的量化误差作为训练过程中的监督。我们还开发了一个最近邻策略来处理未见过图的推广。在八个公共节点级和图级数据集上的实验证明了该方法的通用性和鲁棒性。与FP 32模型相比，我们的方法可以实现高达18.6倍（即，1.70bit）压缩比，精度下降可忽略不计。同时，与现有的量化方法相比，该方法在节点级和图级任务上的精度分别提高了11.4%和9.5%，在专用硬件加速器上的加速比提高了2倍.
2023-02-01 cs.LG
Oversmoothing: A Nightmare for Graph Contrastive Learning?
Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）
本文发现图对比学习（GCL）在深层和浅层均存在过度平滑问题，提出简单分块训练框架BlockGCL，在多个图基准上提升现有GCL方法的鲁棒性与稳定性。
2024-02-23 cs.AI cs.LG
Bridging Domain Adaptation and Graph Neural Networks: A Tensor-Based Framework for Effective Label Propagation
Dartmouth College（达特茅斯学院）；New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）
针对GNN在单域监督训练下标签需求高、表示迁移性差的问题，提出LP-TGNN框架，以张量架构提取图拓扑信息并通过标签传播减少域差异，兼容通用GNN和域适应技术，在真实基准上显著优于基线。
2025-02-15 cs.LG
Navigating Complexity: Toward Lossless Graph Condensation via Expanding Window Matching
National University of Singapore（新加坡国立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Emory University（埃默里大学）
针对现有图浓缩方法监督信号有偏受限、难以实现无损浓缩的问题，本文提出结合课程学习训练专家轨迹、用扩展窗口匹配迁移信息并设计专用损失函数的方法，经理论与实验验证其在多数据集上性能更优。
2024-06-18 cs.LG
Do graph neural network states contain graph properties?
Vrije Universiteit Amsterdam（荷兰阿姆斯特丹自由大学）
本文提出了一种适用于图神经网络的模型无关可解释性流程，通过诊断分类器研究图论属性在GNN表示中的出现。
2026-01-29 cs.AI cs.LG
Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning
Purdue University（普渡大学）；Stanford University（斯坦福大学）
学习图中节点集的表示对于从节点角色发现到链接预测和分子分类的应用是至关重要的。图神经网络在图表示学习方面取得了巨大的成功。然而，GNN的表达能力受到1-Weisfeiler-Lehman（WL）测试的限制，因此GNN为实际上可能非常不同的图子结构生成相同的表示。最近通过模仿高阶WL测试提出的更强大的GNN只专注于表示整个图，并且它们在计算上效率低下，因为它们不能利用底层图的稀疏性。在这里，我们提出并数学分析了一般类的结构相关的功能，称为距离编码（DE）。DE帮助GNN表示任何节点集，同时提供比1-WL测试更严格的表达能力。DE捕获要学习其表示的节点集与图中每个节点之间的距离。为了捕获距离，DE可以应用各种图距离度量，例如最短路径距离或广义PageRank分数。我们提出了两种方式让GNN使用DE（1）作为额外的节点特征，以及（2）作为GNN中消息聚合的控制器。这两种方法都可以利用底层图的稀疏结构，从而提高计算效率和可扩展性。我们还证明了DE可以区分嵌入在几乎所有常规图中的节点集，而传统的GNN总是失败。我们评估DE在六个真实网络上的三个任务：结构角色预测，链接预测和三角预测。结果表明，我们的模型在准确性和AUROC方面优于没有DE的GNN高达15%。此外，我们的模型也明显优于其他专门为上述任务设计的最先进的方法。
2020-10-29 cs.LG stat.ML
Unified Robust Training for Graph NeuralNetworks against Label Noise
Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）；Discipline of Business Analytics, The University of Sydney（悉尼大学商业分析学科）
图神经网络（GNN）已经实现了图上节点分类的最新性能。绝大多数现有的作品假设，真正的节点标签总是提供训练。然而，关于如何在存在标签噪声的情况下提高GNN的鲁棒性的研究很少。标签噪声学习主要是在图像分类的背景下研究的，但这些技术不能直接应用于图结构的数据，由于两个主要的挑战-标签稀疏性和标签依赖性-在图上学习所面临的。在本文中，我们提出了一个新的框架，UnionNET，用于在半监督设置下使用图上的噪声标签进行学习。我们的方法提供了一个统一的解决方案，用于鲁棒训练GNN并同时执行标签校正。其核心思想是执行标签聚合来估计节点级别的类概率分布，用于指导样本重新加权和标签校正。与现有的作品相比，UnionNET有两个吸引人的优点。首先，它不需要额外的干净的监督，或显式估计的噪声转移矩阵。其次，提出了一个统一的学习框架，以端到端的方式鲁棒地训练GNN。实验结果表明，我们提出的方法：（1）是有效的，提高模型的鲁棒性对不同类型和水平的标签噪声;（2）产生显着的改善，比最先进的基线。
2021-03-05 cs.LG
Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
Australian National University（澳大利亚国立大学）；Data61, CSIRO（Data61，澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
针对GNN到MLP蒸馏中忽略图几何导致谱欠拟合与过拟合的问题，提出基于Ollivier-Ricci曲率引导的G^2MLP框架，在训练时对齐预测与表示，提升无图推理性能。
2026-11-10 cs.LG
Graph-MLP: Node Classification without Message Passing in Graph
Megvii Inc.（旷视科技）；Columbia University（哥伦比亚大学）；Tsinghua University（清华大学）
图神经网络（GNN）在处理非欧结构数据方面已被证明是有效的。基于空间和基于频谱的GNN都依赖于邻接矩阵来指导特征聚合期间邻居之间的消息传递。最近的工作主要集中在强大的消息传递模块，然而，在本文中，我们表明，没有一个消息传递模块是必要的。相反，我们提出了一个纯粹的基于多层感知器的框架，图MLP与监督信号利用图结构，这是足够的学习判别节点表示。在模型级，Graph-MLP只包括多层感知器、激活函数和层归一化。在损失层，我们设计了一个相邻对比（NContrast）损失，通过隐式地利用邻接信息来弥合GNN和MLP之间的差距。这种设计使我们的模型在面对大规模图数据和损坏的邻接信息时更轻便，更健壮。大量的实验证明，即使在测试阶段没有邻接信息，我们的框架仍然可以达到与最先进的模型在图节点分类任务相当，甚至更优越的性能。
2021-06-08 cs.AI cs.CV cs.LG
Towards Self-Explainable Graph Neural Network
The Pennsylvania State University（宾夕法尼亚州立大学）
图神经网络（GNNs）将深度神经网络推广到图结构数据，在图建模方面取得了巨大成功。然而，作为图的深度学习的扩展，GNN缺乏可解释性，这在很大程度上限制了它们在需要模型透明性的场景中的应用。虽然人们已经做出了很多努力来提高深度学习的可解释性，但它们主要集中在i.i.d数据上，这些数据不能直接用于解释GNN的预测，因为GNN利用节点特征和图拓扑来进行预测。关于GNN的可解释性的工作很少，他们专注于事后解释。由于事后解释不是直接从GNN中获得的，因此它们可能会有偏见并歪曲真实的解释。因此，在本文中，我们研究了一个新的问题，自我解释的GNNs，可以同时给出预测和解释。我们提出了一个新的框架，可以找到$K$ -最近的标记节点的每个未标记的节点，给出可解释的节点分类，其中最近的标记节点是由可解释的相似性模块的节点相似性和局部结构相似性。在真实世界和合成数据集上的大量实验证明了所提出的可解释节点分类框架的有效性。
2021-08-26 cs.LG
Synthetic Over-sampling for Imbalanced Node Classification with Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）
近年来，图神经网络（GNN）已经实现了节点分类的最新性能。然而，大多数现有的GNN都会受到图不平衡问题的困扰。在许多现实场景中，节点类是不平衡的，一些多数类构成了图的大部分。GNN中的消息传播机制将进一步放大这些多数类的优势，导致分类性能次优。在这项工作中，我们试图通过生成少数类的伪实例来平衡训练数据，扩展以前的基于过采样的技术来解决这个问题。这个任务是不平凡的，因为这些技术是在假设实例是独立的情况下设计的。忽视关系信息会使这种过采样过程变得复杂。此外，节点分类任务通常采用仅具有少数标记节点的半监督设置，从而为少数实例的生成提供不足的监督。生成的低质量的新节点会损害训练好的分类器。在这项工作中，我们解决这些困难，通过合成新的节点在一个构建的嵌入空间，编码节点属性和拓扑信息。此外，边生成器同时被训练来对图结构进行建模并为新样本提供关系。为了进一步提高数据效率，我们还探索合成混合的“中间”节点，以利用在这个过采样过程中的大多数类的节点。在真实数据集上的实验验证了该框架的有效性。
2022-06-10 cs.LG cs.SI
Structack: Structure-based Adversarial Attacks on Graph Neural Networks
Graz University of Technology（格拉茨工业大学）；Know Center GmbH（知识中心有限公司）；RWTH Aachen（亚琛工业大学）；GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）
最近的研究表明，图神经网络（GNN）容易受到图数据上的对抗攻击。常见的攻击方法通常是通知的，即它们可以访问关于节点属性的信息，例如标签和特征向量。在这项工作中，我们研究了不知情的对抗攻击，其中攻击者只能访问图结构，但没有关于节点属性的信息。在这里，攻击者的目标是利用GNN模型对图数据所做的结构知识和假设。特别是，文献表明，结构节点中心性和相似性对GNN的学习有很大的影响。因此，我们研究了中心性和相似性对GNN上的对抗攻击的影响。我们证明，攻击者可以利用这些信息来降低GNN的性能，方法是专注于在低相似性的节点之间注入链接，令人惊讶的是，低中心性。我们表明，基于结构的不知情的攻击可以接近知情攻击的性能，同时计算效率更高。在我们的论文中，我们提出了一种新的GNN攻击策略，我们称之为Structack。Structack可以在严格的计算约束下成功地利用非常有限的信息操纵GNN的性能。我们的工作有助于在图上构建更强大的机器学习方法。
2021-07-28 cs.LG cs.SI
Graph Distillation with Eigenbasis Matching
Beijing University of Posts and Telecommunication（北京邮电大学）
针对现有图蒸馏方法存在谱偏差、跨架构泛化性差的问题，提出基于特征基匹配的图蒸馏方法GDEM，通过对齐特征基与节点特征、复制真实图谱并加入判别约束，实现了更优的蒸馏性能与跨架构泛化能力。
2024-05-14 cs.LG
Graph Policy Network for Transferable Active Learning on Graphs
Tsinghua University（清华大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Microsoft Research（微软研究院）；HEC Montreal（蒙特利尔高等商学院）；Université de Montréal（蒙特利尔大学）
图神经网络（GNN）由于其在各种领域中的简单性和有效性而越来越受欢迎。然而，通常需要大量的标记数据来训练这些网络，这在某些领域中可能是非常昂贵的。在本文中，我们研究了GNN的主动学习，即，如何有效地标记图上的节点，以减少训练GNN的注释成本。我们制定的问题作为一个顺序的决策过程图和训练一个基于GNN的政策网络与强化学习学习最佳的查询策略。通过在多个具有完整标签的源图上进行联合训练，我们学习了一种可转移的主动学习策略，该策略可以直接推广到未标记的目标图。在不同领域的多个数据集上的实验结果证明了该学习策略在同一领域和不同领域的图之间传输的情况下都能有效地提高主动学习性能。
2020-10-23 cs.AI cs.LG stat.ML
DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for Alleviating Over-squashing
North China Electric Power University（华北电力大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北京航空航天大学）；Kunming University of Science and Technology（昆明理工大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出自监督黎曼模型DeepRicci，通过异构曲率空间、陀螺向量特征映射、几何对比学习与反向Ricci流协同精炼特征和结构，以缓解GNN过度挤压。
2024-01-23 cs.LG
Training Graph Neural Networks on Growing Stochastic Graphs
University of Pennsylvania（宾夕法尼亚大学）；Simons-Berkeley Institute（西蒙斯-伯克利研究所）
图神经网络（GNN）依赖于图卷积来利用网络数据中有意义的模式。基于矩阵乘法，卷积产生高计算成本，导致实践中的可扩展性限制。为了克服这些限制，所提出的方法依赖于在较少数量的节点中训练GNN，然后将GNN转移到更大的图中。尽管这些方法能够限制具有不同节点数量的GNN的输出之间的差异，但它们不能保证在非常大的图上获得最佳GNN。在本文中，我们建议通过利用一系列增长图的极限对象graphon来学习非常大的图上的GNN。我们建议在训练时增加图的大小，并且我们表明我们所提出的方法--通过迁移学习--收敛到图子数据上的一阶稳定点的邻域。数值实验验证了我们提出的方法。
2022-10-27 cs.LG
Rethinking Message Passing as Retrieval for Text-Attributed Graph Learning
Xiamen University（厦门大学）；Fudan University（复旦大学）；Central South University（中南大学）
该研究针对文本属性图学习提出了检索增强的RTA框架，以标签感知的检索与传播替代传统结构消息传递，经多基准测试，其性能匹配或优于强基线且效率、鲁棒性更优。
2026-08-28 cs.AI cs.LG
Semi-Supervised Learning on Graphs using Graph Neural Networks
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）；Department of Statistics, University of Chicago（芝加哥大学统计系）；ESSEC Business School（ESSEC商学院）；Department of Applied Mathematics, University of Twente（特文特大学应用数学系）
本文提出了一种基于图神经网络的聚合-读出模型，通过理论分析和实验验证，揭示了GNN在半监督学习中性能与标签比例及图依赖性的关系。
2026-02-19 cs.LG stat.ML
Reachability is not enough: Diagnosing long-range behavior in GNNs
UiT The Arctic University of Norway（挪威北极大学）；NORCE Norwegian Research Centre（NORCE挪威研究中心）
本文提出诊断框架，揭示GNN长程能力不仅依赖架构可达性，更取决于学习并保持对远距离信息的有效利用。
2026-09-29 cs.LG
LSP : Acceleration and Regularization of Graph Neural Networks via Locality Sensitive Pruning of Graphs
Bosch Center for Artificial Intelligence（博世人工智能中心）
图神经网络（GNN）已经成为图形相关任务的非常成功的工具。然而，现实世界的问题涉及非常大的图，并且使GNN适应这些问题所需的计算资源迅速增长。此外，真实世界图的噪声性质和大小会导致GNN过度拟合，如果没有正确正则化的话。令人惊讶的是，最近的工作表明，大型图往往涉及许多冗余的组件，可以删除，而不会影响性能太多。这包括在通过GNNs层进行推理期间或作为稀疏化输入图的预处理步骤的节点或边移除。这一有趣的现象使得能够开发出既高效又准确的最先进的GNN。在本文中，我们采取了进一步的措施，揭开这一现象的神秘面纱，并提出了一个系统的方法，称为局部敏感剪枝（LSP）的局部敏感哈希的基础上图修剪。我们的目标是稀疏化一个图，使原始图的相似局部环境在所得到的稀疏图中产生相似的环境，这是图相关任务的一个基本特征。为了证明基于局部图属性的剪枝应用的合理性，我们在各种情况下证明了基于局部性属性的剪枝应用相对于其他剪枝策略的优势。在合成数据集和真实数据集上进行的大量实验证明了LSP的优越性，它可以在不影响性能的情况下从大型图中删除大量边缘，并伴有相当大的加速。
2021-11-10 cs.AI cs.LG
Hyperdimensional Representation Learning for Node Classification and Link Prediction
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出超维图学习器（HDGL），利用超维空间表示和注入性属性，单次遍历实现节点分类与链接预测，以低计算成本达到与先进GNN竞争的性能。
2025-02-27 cs.AI cs.LG cs.SI
Repetition Makes Perfect: Recurrent Graph Neural Networks Match Message-Passing Limit
本文研究了可计算递归图神经网络的表达能力，证明其能计算符合颜色细化算法自然消息传递不变性的任意图算法，且通过随机初始化可表达所有图算法。
2025-12-08 cs.CC cs.LG
CEGA: A Cost-Effective Approach for Graph-Based Model Extraction and Acquisition
Florida State University（佛罗里达州立大学）；Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
本研究针对批量查询受限、初始节点有限的场景，提出迭代式节点查询策略CEGA，既验证了已部署图神经网络易受模型提取攻击的特性，也为低资源研究场景提供了高效合规的GNN获取方法，性能优于同类基线。
2025-06-21 cs.CR cs.LG stat.ML
Refined Edge Usage of Graph Neural Networks for Edge Prediction
针对边预测中边兼具拓扑与监督作用且预测对象为节点对的特点，本文提出 EMPIRE 框架，通过边划分、目标感知消息传递、加权消息及难负例采样提升预测性能。
2024-01-23 cs.AI cs.IR cs.LG
Generative Causal Explanations for Graph Neural Networks
The Hong Kong Polytechnic University（香港理工大学）；University of Toronto（多伦多大学）
本文介绍了Gem，这是一种与模型无关的方法，用于为各种图学习任务上的任何GNN提供可解释的解释。具体来说，我们将为GNNs的决策提供解释的问题制定为因果学习任务。然后，我们训练一个因果解释模型，配备了一个基于格兰杰因果关系的损失函数。与现有的GNN解释器不同，Gem从因果关系的角度解释了图结构数据上的GNN。它具有更好的泛化能力，因为它对GNN的内部结构或图学习任务的先验知识没有要求。此外，Gem一旦经过训练，就可以用来非常快速地解释目标GNN。我们的理论分析表明，最近的几个解释者属于一个统一的框架添加剂特征归因方法。在合成数据集和真实数据集上的实验结果表明，Gem的解释精度相对提高了$30\%$，解释速度提高了$110\times$.
2021-06-06 cs.LG
