Unifying Label-inputted Graph Neural Networks with Deep Equilibrium Models
University of Electronic Science and Technology of China(电子科技大学)
本文通过将标签输入GNN归约为隐式GNN形式统一两个子领域,提出结合二者优势的LI-GNN,实现远距离自适应标签传播并提升节点分类性能。
2023-05-31 cs.AI cs.LG
Graph Neural Network leveraging Higher-order Class Label Connectivity for Heterophilous Graphs
The University of Osaka(大阪大学)
针对异配图中节点分类性能受限问题,提出标签上下文分类器(LCC),通过四种游走生成标签上下文嵌入捕获高阶类标签连通性,并可与任意GNN自适应集成,实验表明优于现有方法。
2026-06-05 cs.AI cs.LG
E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification
The Hong Kong Polytechnic University(香港理工大学);Rice University(莱斯大学);New York University Shanghai(上海纽约大学)
本文提出E2GNN,通过训练MLP模仿多个GNN在带标签与无标签节点上的预测,并利用强化判别器过滤错误预测节点,以可学习方式高效集成GNN,解决半监督分类中集成推理效率低和基模型性能受限的问题。
2024-05-06 cs.AI cs.LG
GraFN: Semi-Supervised Node Classification on Graph with Few Labels via Non-Parametric Distribution Assignment
KAIST(韩国科学技术院);POSTECH(浦项科技大学)
尽管图神经网络(GNN)在各种应用上取得了成功,但当监督信号的量(即,标记节点的数量是有限的,这是预期的,因为GNN仅基于从标记节点获得的监督来训练。另一方面,最近的自监督学习范式旨在通过解决不需要任何标记节点的借口任务来训练GNN,并且已经证明它甚至优于用很少标记节点训练的GNN。然而,自监督方法的一个主要缺点是,由于在训练期间没有利用标记信息,因此它们无法学习类判别节点表示。为此,我们提出了一种新的图的半监督方法GraFN,它利用很少的标记节点来确保属于同一类的节点被分组在一起,从而实现半监督和自监督方法的最佳效果。具体来说,GraFN从整个图中的标记节点和锚节点中随机抽取支持节点。然后,它最小化两个预测类分布之间的差异,这是非参数化分配的锚支持相似性从两个不同的增强图。我们的实验表明,GraFN超越了半监督和自我监督的方法在现实世界的图中的节点分类。GraFN的源代码可在https://github.com/Junseok0207/GraFN上获得。
2022-04-27 cs.AI cs.LG
Debiased Graph Neural Networks with Agnostic Label Selection Bias
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室);Zhejiang University(浙江大学)
大多数现有的图神经网络(GNN)都是在没有考虑数据中的选择偏差的情况下提出的,即,训练集和测试集之间的不一致分布。实际上,在训练过程中甚至无法获得测试数据,这使得选择偏差不可知。带有偏置选择节点的GNN训练会导致显著的参数估计偏置,并极大地影响测试节点的泛化能力。在本文中,我们首先提出了一个实验研究,这清楚地表明,选择偏差极大地阻碍了GNN的泛化能力,并从理论上证明了选择偏差会导致GNN参数的有偏估计。然后,为了消除GNN估计中的偏差,我们提出了一种新的去偏图神经网络(DGNN)与微分去相关正则化。差分去相关正则化器估计每个标记节点的样本权重,从而可以消除学习嵌入的伪相关性。我们从因果关系的角度分析正则化子,它激励我们根据变量对混杂偏差的贡献来区分变量的权重。然后,这些样本权重被用来重新加权GNNs,以消除估计偏差,从而有助于提高预测的稳定性对未知的测试节点。在具有两种标签选择偏差的几个具有挑战性的图数据集上进行了综合实验。结果很好地验证了我们提出的模型优于最先进的方法,DGNN是一个灵活的框架,以增强现有的GNN。
2022-01-25 cs.AI cs.LG
Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发智能感知与认知国家重点实验室,中国科学技术大学);Alibaba Group(阿里巴巴集团)
针对大规模属性图上分别训练节点编码器与图神经网络导致的学习偏差问题,本文提出标签反卷积(LD)技术,通过可扩展的GNN逆映射近似实现与联合训练等价的目标函数,并在OGB数据集上显著超越现有方法。
2025-06-03 cs.AI cs.LG
Combining Sub-Symbolic and Symbolic Methods for Explainability
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑工业大学)
与其他连接主义模型类似,图神经网络(GNN)在决策过程中缺乏透明度。已经开发了一些子符号方法来提供对GNN决策过程的见解。这些是实现可解释性的第一个重要步骤,但生成的解释对于非人工智能专家的用户来说通常很难理解。为了克服这个问题,我们引入了一个概念的方法结合子符号和符号的方法,以人为中心的解释,结合领域知识和因果关系。此外,我们引入了保真度的概念,作为评估解释与GNN的内部决策过程有多接近的度量。化学数据集和本体的评价表明,我们的方法的解释价值和可靠性。
2021-12-03 cs.AI cs.LG cs.SC
Robust Training of Graph Neural Networks via Noise Governance
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Baidu Research(百度研究院);University of Notre Dame(圣母大学)
图神经网络(GNNs)已经成为半监督学习的广泛使用的模型。然而,在存在标签噪声的情况下,GNN的鲁棒性仍然是一个很大程度上未被探索的问题。在本文中,我们考虑了一个重要的,但具有挑战性的情况下,标签的图的节点不仅是嘈杂的,而且稀缺。在这种情况下,由于标签噪声传播和学习不足,GNN的性能容易下降。为了解决这些问题,我们提出了一种新的RTGNN(通过噪声治理的图神经网络的鲁棒训练)框架,通过学习显式地治理标签噪声来实现更好的鲁棒性。更具体地说,我们引入自增强和一致性正则化作为补充监督。自我强化监督的灵感来自于深度神经网络的记忆效应,旨在纠正嘈杂的标签。此外,一致性正则化防止GNN通过视图间和视图内视角中的模仿损失而过拟合到噪声标签。为了利用这种监督,我们将标签分为干净和嘈杂的类型,纠正不准确的标签,并进一步在未标记的节点上生成伪标签。然后自适应地选择具有不同类型标签的节点的监督。这使得能够从干净的标签中进行充分的学习,同时限制嘈杂标签的影响。我们进行了大量的实验来评估我们的RTGNN框架的有效性,结果验证了它在两种类型的标签噪声和各种噪声率下的性能优于最先进的方法。
2023-02-26 cs.AI cs.LG
IGB: Addressing The Gaps In Labeling, Features, Heterogeneity, and Size of Public Graph Datasets for Deep Learning Research
UIUC(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);IBM Research(IBM研究院);AWS AI(亚马逊云科技人工智能)
针对现有公共图数据集规模小、标注少、缺乏灵活性的问题,提出伊利诺伊图基准(IGB),提供大规模同质和异质学术图,标注节点超40%,标注数据量超现有最大数据集162倍,支持DGL和PyG,以提升GNN模型训练与评估的准确性。
2023-06-21 cs.AI cs.DC cs.IR
Mind the Label Shift of Augmentation-based Graph OOD Generalization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学)
分布外泛化是图神经网络的一个重要问题。最近的工作采用不同的图形版本来生成增强环境,并学习一个不变的GNN进行泛化。然而,由于图的结构化编辑不可避免地要改变图的标号,所以在扩充过程中经常会发生标签偏移。这带来了增强环境之间的不一致的预测关系,这是有害的泛化。为了解决这个问题,我们提出了\textbf{LiSA},它产生标签不变的扩增,以促进图OOD推广。LiSA利用训练图的\textbf{L} abel- \textbf{i} nvariant \textbf{S}子图来构造\textbf{A}增强环境,而不是诉诸图版本。具体来说,LiSA首先设计了变分子图生成器,以有效地提取局部预测模式并构造多个标签不变子图。然后,收集由不同生成器产生的子图,以构建不同的增强环境。为了促进增强环境之间的多样性,LiSA进一步引入了一种易于处理的基于能量的正则化,以扩大环境分布之间的成对距离。通过这种方式,LiSA生成具有一致预测关系的各种增强环境,并有助于学习不变的GNN。在节点级和图级OOD基准测试上的大量实验表明,LiSA在不同的GNN主干上实现了令人印象深刻的泛化性能。代码可在\url{https://github.com/Samyu0304/LiSA}上获得。
2023-03-27 cs.AI cs.LG
Overcoming Class Imbalance: Unified GNN Learning with Structural and Semantic Connectivity Representations
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出统一图神经网络学习框架Uni-GNN,通过融合结构与语义连接表示并利用平衡伪标签机制扩充少数类标注节点,有效缓解图节点分类中的类别不平衡问题,并在多个基准数据集上取得优于现有方法的性能。
2024-12-30 cs.AI cs.LG
Poisoning the Inner Prediction Logic of Graph Neural Networks for Clean-Label Backdoor Attacks
AI Thrust, INFO Hub(人工智能 thrust,信息枢纽)
本文研究了在训练标签不可修改的情况下,通过污染图神经网络内部预测逻辑实现有效的干净标签后门攻击,提出BA-Logic方法以提高攻击成功率。
2026-04-14 cs.AI cs.LG
NodeMixup: Tackling Under-Reaching for Graph Neural Networks
Xidian University(西安电子科技大学)
针对图神经网络中标记节点欠达导致性能下降的问题,提出架构无关的NodeMixup方法,通过标记-未标记混合、类内邻居融合和基于度与标签相似性的采样权重,提升GNN半监督节点分类性能。
2023-12-21 cs.AI cs.LG
Informative Pseudo-Labeling for Graph Neural Networks with Few Labels
University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学)
图神经网络(GNN)已经在图上的半监督节点分类方面取得了最先进的成果。然而,如何有效地学习具有很少标签的GNN的挑战仍然没有得到充分的探索。伪标记作为一种流行的半监督方法,已经被提出来显式地解决标签稀缺问题。它的目的是用具有高置信度的伪标记未标记节点来增强训练集,以便在自训练周期中重新训练监督模型。然而,现有的伪标记方法通常遭受两个主要缺点。首先,他们倾向于保守地扩展标签集,只选择高置信度的未标记节点,而不评估它们的信息量。不幸的是,这些高置信度节点通常会传递与给定标签重叠的信息,从而导致模型重新训练的微小改进。其次,这些方法将伪标签与真正的标签合并到相同的损失函数,忽略了它们对分类任务的不同贡献。在本文中,我们提出了一个新的信息伪标签框架,称为InfoGNN,以促进学习GNN与极少数标签。我们的核心思想是通过互信息最大化来伪标记最能代表局部邻域的信息量最大的节点。为了减轻潜在的标签噪声和伪标签引起的类不平衡问题,我们还仔细设计了一个广义交叉熵损失与类平衡正则化,以将生成的伪标签纳入模型重新训练。在六个真实世界的图数据集上进行的广泛实验表明,我们提出的方法显着优于最先进的基线和强大的自监督方法。
2022-01-20 cs.AI cs.LG
Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models
Pennsylvania State University(宾夕法尼亚州立大学);Wright State University(莱特州立大学)
本文提出一种结合大型语言模型零样本推理能力与图神经网络的Graph-LLM主动学习范式,在标注数据极少时显著提升节点分类性能并超越现有基线。
2024-09-04 cs.AI cs.LG
Search to Fine-tune Pre-trained Graph Neural Networks for Graph-level Tasks
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出S2PGNN,通过为预训练GNN搜索数据自适应的图级任务微调框架,在10个预训练模型上持续优于现有微调策略。
2024-03-01 cs.AI cs.LG
$β$-GNN: A Robust Ensemble Approach Against Graph Structure Perturbation
Technische Universität Berlin(柏林工业大学)
提出$β$-GNN,通过加权集成GNN与多层感知器,利用动态权重$β$调节贡献并指示扰动水平,在不牺牲干净数据性能下提升对抗鲁棒性。
2025-03-26 cs.AI cs.LG
LinkThief: Combining Generalized Structure Knowledge with Node Similarity for Link Stealing Attack against GNN
East China Normal University(华东师范大学);TongJi University(同济大学)
针对现有GNN链路窃取攻击依赖节点后验相似假设、无法覆盖不满足该假设的链路的问题,提出结合广义结构知识与节点相似性的LinkThief攻击方法,通过构建影子-目标桥接图提取结构特征,实验验证其在无额外假设下仍有效。
2024-10-01 cs.AI cs.CR cs.LG
From Phase Transition to Systemic Failure: A Decoupled Analytics Framework for GNN Robustness
本文构建同质图回归合成基准,解耦标签噪声与特征分布偏移,通过41种配置410次实验发现GNN对中等标签扰动容忍度高,但极端分布偏移导致性能大幅退化,为部署监控提供基线。
2026-09-29 cs.AI cs.IR cs.LG
CRoC: Context Refactoring Contrast for Graph Anomaly Detection with Limited Supervision
The Chinese University of Hong Kong(香港中文大学)
针对图异常检测中标注数据稀缺且异常易伪装的问题,提出CRoC框架,通过重构节点上下文、编码异构关系并结合对比学习,在有限标签下显著提升了GNN的检测性能。
2025-09-14 cs.AI cs.LG
IntraMix: Intra-Class Mixup Generation for Accurate Labels and Neighbors
Harbin Institute of Technology(哈尔滨工业大学)
针对图神经网络面临的精准标签不足和节点邻域有限两大问题,提出即插即用的类内Mixup方法IntraMix,生成高质量标注数据并丰富邻域,在多种GNN和数据集上验证了有效性。
2024-11-01 cs.AI cs.LG cs.SI
A Unified Framework of Graph Information Bottleneck for Robustness and Membership Privacy
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊)
针对图神经网络易受对抗攻击、训练数据易遭成员推理泄露且现有方法难以同时兼顾鲁棒性与隐私的问题,提出融合邻居瓶颈与伪标签优化的图信息瓶颈框架,实现鲁棒预测与成员隐私保护的双重目标。
2023-06-14 cs.AI cs.CR cs.LG
Rethinking Independent Cross-Entropy Loss For Graph-Structured Data
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Institute for Medical Engineering Science, Massachusetts Institute of Technology(麻省理工学院医学工程科学研究所);School of Computing, University of Georgia(佐治亚大学计算学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
针对图节点标签独立建模限制GNN泛化与抗攻击的问题,提出联合簇监督学习框架,建模节点与簇的联合分布,以局部簇参考信号增强判别,实验证明提升分类精度并增强对抗鲁棒性。
2024-05-27 cs.AI cs.LG
Enhancing the Resilience of Graph Neural Networks to Topological Perturbations in Sparse Graphs
China University of Geosciences (Wuhan)(中国地质大学(武汉));Indiana University-Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校)
针对GNNs在稀疏图中易受拓扑扰动影响的问题,提出TraTopo标签推断框架,结合拓扑驱动标签传播、贝叶斯标签转移和随机游走链接分析,并采用最短路径策略优化链接预测,显著提升了节点分类准确率。
2024-06-05 cs.AI cs.LG
Training-free Graph Neural Networks and the Power of Labels as Features
National Institute of Informatics(情报学研究所)
该研究提出免训练图神经网络TFGNNs用于直推式节点分类,提出标签作为特征(LaF)技术并证明其可增强GNN表达能力,实验显示TFGNNs免训练性能优于现有GNNs且训练收敛更快。
2024-08-15 cs.AI cs.LG stat.ML
FracAug: Fractional Augmentation boost Graph-level Anomaly Detection under Limited Supervision
The Chinese University of Hong Kong(香港中文大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出FracAug,一种即插即用的分数增强框架,通过生成语义一致的图变体和相互验证的伪标注,在有限监督下提升图级异常检测性能,实验显示在多种GNNs和数据集上显著提升AUROC、AUPRC和F1分数。
2025-09-25 cs.AI cs.LG
Adversarial Graph Augmentation to Improve Graph Contrastive Learning
Purdue University(普渡大学);Georgia Tech(佐治亚理工学院);Microsoft Research(微软研究院)
由于现实世界的图/网络数据中普遍存在的标签稀缺问题,图神经网络(GNN)的自监督学习非常需要。图对比学习(GCL)通过训练GNN以最大化相同图的不同增强形式的表示之间的对应关系,即使不使用标签,也可以产生鲁棒和可转移的GNN。然而,由传统GCL训练的GNN通常有捕获冗余图特征的风险,因此可能很脆弱,并在下游任务中提供低于标准的性能。在这里,我们提出了一种新的原则,称为adversarial-GCL(AD-GCL),它使GNN能够通过优化GCL中使用的对抗图增强策略来避免在训练过程中捕获冗余信息。我们将AD-GCL与理论解释配对,并设计了一个基于可训练边丢弃图增强的实用实例。我们通过与最先进的GCL方法进行比较来实验验证AD-GCL,并在无监督的情况下实现了高达$14\%$的性能增益,在传输中实现了$6\%$,在半监督学习设置中实现了$3\%$的性能增益,其中18个不同的基准数据集用于分子属性回归和分类以及社会网络分类。
2021-11-03 cs.AI cs.LG
Graph Policy Network for Transferable Active Learning on Graphs
Tsinghua University(清华大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Microsoft Research(微软研究院);HEC Montreal(蒙特利尔高等商学院);Université de Montréal(蒙特利尔大学)
图神经网络(GNN)由于其在各种领域中的简单性和有效性而越来越受欢迎。然而,通常需要大量的标记数据来训练这些网络,这在某些领域中可能是非常昂贵的。在本文中,我们研究了GNN的主动学习,即,如何有效地标记图上的节点,以减少训练GNN的注释成本。我们制定的问题作为一个顺序的决策过程图和训练一个基于GNN的政策网络与强化学习学习最佳的查询策略。通过在多个具有完整标签的源图上进行联合训练,我们学习了一种可转移的主动学习策略,该策略可以直接推广到未标记的目标图。在不同领域的多个数据集上的实验结果证明了该学习策略在同一领域和不同领域的图之间传输的情况下都能有效地提高主动学习性能。
2020-10-23 cs.AI cs.LG stat.ML
Recurrent Graph Neural Networks and Arithmetic Circuits
Institut für Theoretische Informatik, Leibniz Universität Hannover, Germany(汉诺威莱布尼茨大学理论计算机研究所);School of Computing Science, University of Glasgow, UK(格拉斯哥大学计算机科学学院)
本文提出递归算术电路模型,通过建立递归GNN与算术电路之间的精确对应关系,揭示了递归GNN在处理标记图时的计算能力。
2026-03-05 cs.AI cs.CC cs.LG
Pseudo Contrastive Learning for Graph-based Semi-supervised Learning
Xidian University(西安电子科技大学);Northwest University(西北大学);Xi’an University of Posts and Telecommunications(西安邮电大学);The University of Sydney(悉尼大学)
针对半监督图神经网络中伪标签质量不佳的问题,提出伪对比学习框架,将生成伪标签转化为识别可靠负样本对,结合拓扑加权对比损失,在五个真实图数据集上提升了多种GNN的性能。
2023-12-19 cs.AI cs.LG
GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
GNNPipe 首次将层级流水线模型并行用于全图深度 GNN 训练,通过层划分、依赖分块和历史嵌入等技术大幅降低通信量,并结合图并行实现高效可扩展训练。
2023-09-24 cs.AI cs.DC
VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs
Peking University(北京大学);Stanford University(斯坦福大学);Ant Group(蚂蚁集团)
针对现有GNN到MLP蒸馏中类别空间表达不足的问题,提出VQGraph框架,通过VQ-VAE变体学习结构感知离散码本,以软码分配为蒸馏目标迁移结构知识,实现性能与推理效率的双重提升。
2024-03-06 cs.AI cs.CV cs.LG
EqGNN: Equalized Node Opportunity in Graphs
Technion, Israel Institute of Technology(以色列理工学院)
图神经网络(GNNs),已被广泛用于图中的监督学习任务,达到最先进的结果。然而,很少有工作致力于创建无偏见的GNN,即,其中分类与诸如种族或性别的敏感属性无关。有些人忽略了敏感的属性,或者为了公平而优化统计对等的标准。然而,已经表明,这两种方法都不能确保公平性,而是削弱了预测任务的效用。在这项工作中,我们提出了一个GNN框架,允许优化均衡赔率公平标准的概念表示。该架构由三个组件组成:(1)GNN分类器预测效用类,(2)采样器学习给定标签的节点的敏感属性的分布。它生成的样本被送入一个(3)鉴别器,该鉴别器使用一种新的“置换损失”函数来区分真实的和采样的敏感属性。使用这些组件,我们训练一个模型来忽略关于敏感属性的信息,只考虑它的标签。据我们所知,我们是第一个为均衡赔率标准优化GNN的人。我们在几个图数据集和敏感属性上评估了我们的分类器,并显示我们的算法达到了最先进的结果。
2021-08-19 cs.AI cs.LG
Graph Decoupling Attention Markov Networks for Semi-supervised Graph Node Classification
Fudan University(复旦大学);University of Sydney(悉尼大学)
图神经网络(GNN)在图节点分类任务中已经普遍存在。大多数GNN方法通过聚集其邻居的信息来迭代地更新节点嵌入。然而,他们经常遭受负面的干扰,由于边缘连接节点与不同的标签。减轻这种负面干扰的一种方法是使用注意力来学习聚合的权重,但目前基于注意力的GNN只考虑特征相似性,并且缺乏监督。在本文中,我们考虑了图节点的标签依赖,并提出了一个解耦的注意力机制学习硬和软的注意力。通过对具有较少类间边的精细图结构的标签学习硬注意力,从而减少聚集的负干扰。软注意力的目的是学习基于特征的聚合权重,以增强消息传递过程中的信息增益。特别是,我们制定我们的模型下EM框架,学习的注意是用来指导标签传播的M-步骤和特征传播的E-步骤,分别。在六个著名的基准图数据集上进行了大量的实验,以验证所提出的方法的有效性。
2022-02-01 cs.AI cs.LG
GraphCrop: Subgraph Cropping for Graph Classification
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Nanyang Technological University(南洋理工大学)
提出了一种新的正则化图神经网络(GNNs)的方法,以提高图分类的泛化能力。观察到子结构的省略不一定改变整个图的类标签,我们开发了\textbf{GraphCrop}(子图裁剪)数据增强方法来模拟子结构省略的真实世界的噪音。原则上,GraphCrop利用以节点为中心的策略从原始图中裁剪连续的子图,同时保持其连通性。通过为图分类保留有效的结构上下文,我们鼓励GNN从全局意义上理解图结构的内容,而不是依赖于可能并不总是存在的几个关键节点或边。GraphCrop是参数学习免费的,易于在现有的基于GNN的图分类器中实现。GraphCrop通过生成新的和信息丰富的增强图来扩展现有的训练集,这些图在大多数情况下保留了原始的图标签。通过量化,GraphCrop在多个标准数据集上产生了显著且一致的收益,从而增强了流行的GNN,使其优于基线方法。
2020-09-22 cs.AI cs.SI
ST-TGExplainer: Disentangling Stability and Transition Patterns for Temporal GNN Interpretability
Hangzhou Dianzi University(杭州电子科技大学);RMIT University(皇家墨尔本理工大学);Tianjin University(天津大学);Griffith University(格里菲斯大学)
本文提出ST-TGExplainer,一种能够解构时序图中稳定性与转换模式的自解释时序GNN,以提升模型的可解释性。
2026-05-19 cs.AI cs.LG
Guarding Graph Neural Networks for Unsupervised Graph Anomaly Detection
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems(浙江可感知感知与智能系统重点实验室);Department of Computer Science, Rensselaer Polytechnic Institute(罗切斯特理工学院计算机科学系)
针对无监督图异常检测中GNNs受异常干扰的问题,提出G3AD框架,通过辅助网络与相关性约束及自适应缓存模块守护GNNs,在合成和真实数据集上超越二十种最先进方法。
2025-05-24 cs.AI cs.LG
GNNDelete: A General Strategy for Unlearning in Graph Neural Networks
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Adobe(奥多比);Harvard University(哈佛大学)
图去学习涉及从训练的图神经网络(GNN)模型中删除节点、节点标签和关系等图形元素,对于数据元素可能变得不相关、不准确或隐私敏感的现实应用至关重要。然而,现有的方法图unlearning要么恶化模型的权重共享所有节点或未能有效地删除边缘,由于他们的强烈依赖于局部图邻域。为了解决这些限制,我们引入了GNNDelete,这是一种新的模型不可知的逐层操作符,它优化了两个关键属性,即边缘一致性和邻域影响,用于图形学习。边缘一致性确保从模型权重和相邻表示中删除删除元素的影响,而邻域影响确保删除后保留剩余的模型知识。GNNDelete更新表示以从模型中删除节点和边,同时保留其余的学习知识。我们在七个真实世界的图上进行了实验,结果表明GNNDelete在边缘、节点和节点特征删除任务上的性能比现有方法高出38.8%(AUC),在区分删除的边缘和未删除的边缘上的性能比现有方法高出32.2%。此外,GNNDelete是高效的,比在WordNet18上从头开始重新训练GNN节省了12.3倍的时间和9.3倍的空间。
2023-02-26 cs.AI cs.LG
Beyond Fixed Depth: Adaptive Graph Neural Networks for Node Classification Under Varying Homophily
本文针对固定聚合深度在同配与异配图上泛化不足的问题,提出基于理论度量的自适应深度GNN架构,动态选择节点级聚合深度,并在统一模型中一致提升标准GNN骨干网络在多个基准上的节点分类性能。
2025-11-10 cs.AI cs.LG
SCL-GNN: Towards Generalizable Graph Neural Networks via Spurious Correlation Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
SCL-GNN通过学习并缓解虚假相关性提升图神经网络在不同分布下的泛化能力。
2026-03-09 cs.AI cs.LG
Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Beijing University of Posts and Telecommunications(北京邮电大学)
尽管图神经网络(GNN)已经取得了显著的准确性,但其结果是否值得信赖仍然是未知的。以前的研究表明,许多现代神经网络对预测过于自信,然而,令人惊讶的是,我们发现GNN主要是在相反的方向,即,GNN信心不足。因此,非常需要GNN的置信度校准。在本文中,我们提出了一种新的可信GNN模型,通过设计一个拓扑感知的事后校准功能。具体来说,我们首先验证了图中的置信分布具有同质性,这一发现启发我们设计了一个校准GNN模型(CaGCN)来学习校准函数。CaGCN能够获得从GNN的logits到每个节点的校准置信度的唯一转换,同时,这种转换能够保持类之间的顺序,满足精度保持属性。此外,我们将校准GNN应用于自训练框架,表明可以使用校准的置信度获得更值得信赖的伪标签,并进一步提高性能。大量的实验证明了我们提出的模型在校准和精度方面的有效性。
2022-01-04 cs.AI cs.LG
Inclusion of Domain-Knowledge into GNNs using Mode-Directed Inverse Entailment
BITS Pilani(皮拉尼博拉理工学院)
我们提出了一个通用的技术,用于构建图神经网络(GNNs)能够使用多关系领域的知识。该技术基于归纳逻辑程序设计(ILP)中发展的模式定向逆蕴涵(MDIE)。给定一个数据实例$e$和背景知识$B$,MDIE识别一个最具体的逻辑公式$\bot_B(e)$,该公式包含$B$中与$e$相关的所有关系信息。我们用一个“底图”来表示$\bot_B(e)$,这个底图可以转换成适合GNN实现的形式。这种转换允许将通用背景知识纳入GNN的原则性方式:我们使用术语“BotGNN”来表示这种形式的图神经网络。对于几种GNN变体,使用具有大量背景知识的真实数据集,我们表明BotGNN的表现明显优于没有背景知识的GNN和最近提出的将领域知识纳入GNN的简化技术。我们还提供了实验证据比较BotGNNs有利的多层感知器(MLP),使用的功能表示“命题化”形式的背景知识; BotGNNs的标准ILP的基础上使用最具体的条款。总之,这些结果表明BotGNNs能够将GNNs的计算效率与ILP的代表性多功能性相结合。
2021-08-14 cs.AI cs.LG cs.NE
LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings
Beihang University(北京航空航天大学)
提出TEA-GLM框架,通过预训练GNN使其表示与LLM的token embeddings对齐,并训练线性投影器生成图token embeddings,结合统一指令实现跨数据集和跨任务的零样本图机器学习。
2024-12-19 cs.AI cs.CL cs.LG
Explain Graph Neural Networks to Understand Weighted Graph Features in Node Classification
Yale University(耶鲁大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
从不同的应用程序,具有额外的拓扑结构和连接信息收集的真实数据是服从表示为加权图。图神经网络(GNNs)是研究节点标注问题的一种强有力的工具,它可以模拟专家对节点标注的决策。GNN通过使用神经网络来嵌入节点信息并通过图中的边将其传递,从而将节点特征、连接模式和图结构相结合。我们希望识别GNN模型使用的输入数据中的模式,以做出决策,并检查模型是否按我们的期望工作。然而,由于复杂的数据表示和非线性变换,解释GNN做出的决策是具有挑战性的。在这项工作中,我们提出了新的图形特征的解释方法,以确定信息组件和重要的节点特征。此外,我们提出了一个管道,以确定用于节点分类的关键因素。我们使用四个数据集(两个合成和两个真实)来验证我们的方法。我们的研究结果表明,我们的解释方法可以模仿用于节点分类的数据模式,通过人类的解释和解开图中的不同功能。此外,我们的解释方法可用于理解数据,调试GNN模型,并检查模型决策。
2020-02-02 cs.AI cs.LG cs.SI
Federated Learning with Limited Node Labels
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对现有子图联邦学习忽略跨子图边、需大量标注数据的问题,提出FedMpa及改进版FedMpae框架,通过少量数据训练MLP传播联邦特征、池化重构图结构,在六个数据集的节点分类任务中表现优异。
2024-06-18 cs.AI cs.DC cs.LG
PPT-GNN: A Practical Pre-Trained Spatio-Temporal Graph Neural Network for Network Security
Universitat Politécnica de Catalunya(加泰罗尼亚理工大学)
针对现有图神经网络入侵检测模型延迟高、跨网络泛化差的问题,提出采用自监督预训练的实用时空图模型PPTGNN,实现近实时检测,在三个公开数据集上准确率较SOTA平均提升10.38%,且少量标注即可微调适配新网络。
2024-06-19 cs.AI cs.CR cs.LG
KGNN: Harnessing Kernel-based Networks for Semi-supervised Graph Classification
Peking University(北京大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
半监督图分类是社会网络分析和生物信息学中的一个重要问题,本文对它进行了研究。这个问题通常通过使用图神经网络(GNN)来解决,GNN仍然依赖于大量的标记图进行训练,并且无法利用未标记的图。我们通过提出基于核的图神经网络(KGNN)来解决这些局限性。KGNN由一个基于GNN的网络和一个由内存网络参数化的基于内核的网络组成。基于GNN的网络通过学习图表示来执行分类,以隐式地捕获查询图和标记图之间的相似性,而基于核的网络使用图核来显式地将每个查询图与存储在存储器中的所有标记图进行比较以进行预测。这两个网络是从互补的角度出发的,因此将它们结合起来可以使KGNN更有效地使用标记图。我们联合训练这两个网络,通过后验正则化最大化它们在未标记图上的一致性,使未标记图作为桥梁,让两个网络相互增强。在一系列知名基准数据集上的实验表明,KGNN在竞争基线上取得了令人印象深刻的性能。
2022-05-21 cs.AI cs.IR cs.LG
Beyond Soft Masks: Hard-Perturbation Mixup Explainer for Robust GNN Explainability
Xi’an Jiaotong University(西安交通大学);PayPal;bellevue USA(贝尔维尤美国)
提出基于广义图信息瓶颈的硬扰动混合解释框架HPME,通过图池化提取离散解释子图并采用结构级替换的混合策略,解决软掩码方法中标签无关信息泄漏和分布偏移问题,提升解释保真度。
2026-06-04 cs.AI cs.IT cs.LG
Label-free Node Classification on Graphs with Large Language Models (LLMS)
Michigan State University(密歇根州立大学);Emory University(埃默里大学)
本文提出 LLM-GNN 流程,通过主动选择少量节点由大语言模型标注并训练图神经网络,以不到 1 美元成本在 products 数据集上实现 74.9% 的无标签节点分类准确率。
2024-02-24 cs.AI cs.CL cs.LG
Delving into Instance-Dependent Label Noise in Graph Data: A Comprehensive Study and Benchmark
Pohang University of Science(光州科学技术大学);Korea University(韩国大学)
针对现有图标签噪声研究忽略实例依赖噪声的问题,研究者推出BeGIN基准,含多类真实感噪声图数据集与模拟方法,实验揭示该噪声挑战及节点参数化的作用,为鲁棒GNN研究提供支撑。
2025-06-17 cs.AI cs.LG stat.ML
Leveraging Large Language Models for Effective Label-free Node Classification in Text-Attributed Graphs
ShanghaiTech University(上海科技大学);Hong Kong Baptist University(香港 Baptist 大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对图神经网络依赖大量标注数据、现有大语言模型辅助节点分类方法查询成本高或标签噪声大的问题,提出主动自训练框架Locle,通过关键样本选择与标签修正,以极低查询成本实现了文本属性图无标签节点分类的性能提升。
2025-05-16 cs.AI cs.LG
MemReward: Graph-Based Experience Memory for LLM Reward Prediction with Limited Labels
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
提出MemReward框架,利用图神经网络在少量标签下将奖励从标注样本传播到未标注样本,实现混合奖励获取策略,在数学、问答和代码生成任务上接近Oracle性能。
2026-11-05 cs.AI cs.LG