Structural Explanations for Graph Neural Networks using HSIC
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心);OIST(冲绳科学技术大学院大学)
图神经网络(GNN)是一种以端到端方式处理图形任务的神经模型。最近,GNN在机器学习和数据挖掘社区中受到越来越多的关注,因为它们在各种任务中实现了更高的性能,包括图分类,链接预测和推荐。然而,GNN的复杂动力学使得很难理解图特征的哪些部分对预测的贡献更大。为了处理可解释性问题,最近,已经提出了各种GNN解释方法。在这项研究中,一个灵活的模型不可知的解释方法,提出了使用希尔伯特-施密特独立性准则(HSIC),捕捉两个变量之间的非线性依赖通过内核检测图中的重要结构。更具体地说,我们扩展了GraphLIME方法的节点解释与组套索和融合套索为基础的节点解释方法。使用GraphLIME的群和融合正则化可以在子结构单元中解释GNN。然后,我们表明,所提出的方法可以用于顺序图分类任务的解释。通过实验,证明了我们的方法可以在各种设置中识别目标图中的关键结构。
2023-02-04 cs.LG stat.ML
RAW-Explainer: Post-hoc Explanations of Path Reasoning Graph Neural Networks for Knowledge Graph Completion
New York University Abu Dhabi(纽约大学阿布扎比分校)
针对知识图谱链接预测的GNN解释方法有限的问题,提出RAW-Explainer框架,通过随机游走和神经网络参数化生成可解释子图,搭配鲁棒评估器解决分布偏移问题,兼顾解释质量与效率。
2026-10-19 cs.LG stat.ML
GraphLIME: Local Interpretable Model Explanations for Graph Neural Networks
Jilin University(吉林大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
图结构化数据在诸如物理、化学、生物、计算机视觉和社交网络等各种领域中具有广泛的适用性。最近,图神经网络(GNN)被证明是成功的,有效地表示图结构的数据,因为它们的良好的性能和泛化能力。GNN是一种基于深度学习的方法,它通过将特定节点与图的结构/拓扑信息相结合来学习节点表示。然而,与其他深度模型一样,解释GNN模型的有效性是一项具有挑战性的任务,因为在迭代过程中进行了复杂的非线性变换。在本文中,我们提出了GraphLIME,一个本地可解释的模型解释图使用希尔伯特-施密特独立准则(HSIC)拉索,这是一种非线性特征选择方法。GraphLIME是一个通用的GNN模型解释框架,它在被解释节点的子图中局部学习非线性可解释模型。更具体地说,为了解释一个节点,我们从它的$N$ -hop邻域生成一个非线性可解释模型,然后使用HSIC Lasso计算K个最具代表性的特征作为其预测的解释。通过在两个真实数据集上的实验,发现GraphLIME的解释程度非常高,与现有的解释方法相比更具描述性。
2020-09-27 cs.LG stat.ML
GNNExplainer: Generating Explanations for Graph Neural Networks
Stanford University(斯坦福大学)
图神经网络(Graph Neural Network,GNNs)是一种用于图上机器学习的强大工具,它通过沿输入图的边递归传递神经消息,将节点特征信息与图的结构相结合。然而,结合图结构和特征信息会导致复杂的模型,并且解释GNN做出的预测仍然没有解决。在这里,我们提出了GNNExplainer,第一个通用的,模型不可知的方法,为任何基于图的机器学习任务上的任何基于GNN的模型的预测提供可解释的解释。给定一个实例,GNNExplainer识别出一个紧凑的子图结构和一小部分节点特征,这些特征在GNN的预测中起着至关重要的作用。此外,GNNEspainer可以为整个实例类生成一致且简洁的解释。我们制定GNNExplainer作为一个优化任务,最大限度地提高GNN的预测和可能的子图结构的分布之间的互信息。在合成图和真实图上的实验表明,我们的方法可以识别重要的图结构以及节点特征,并且平均比基线高出17.1%。GNNExplainer提供了各种各样的好处,从可视化语义相关结构的能力到可解释性,再到深入了解错误GNN的错误。
2019-11-13 cs.LG stat.ML
On Completeness-aware Concept-Based Explanations in Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑);Google Cloud AI(谷歌云人工智能)
人类对高层决策的解释通常用决策所基于的关键概念来表达,本文研究了深度神经网络(DNN)基于概念的可解释性。首先,我们定义了完整性的概念,它量化了一组特定的概念在解释模型的预测行为时的充分程度,假设完整的概念分数是模型预测的充分统计。接下来,我们提出了一个概念发现方法,旨在推断出一套完整的概念,另外鼓励被解释,这解决了现有的方法对概念解释的局限性。为了定义每个发现的概念的重要性得分,我们适应博弈论的概念,聚集在集,并提出ConceptSHAP。通过建议的指标和用户研究,在具有先验已知概念解释的合成数据集上,以及在现实世界的图像和语言数据集上,我们验证了我们的方法在找到解释决策和可解释的概念方面的有效性。(The代码发布于https://github.com/chihkuanyeh/concept_exp)
2022-02-07 cs.LG stat.ML
Distilling neural networks into skipgram-level decision lists
Computational Linguistics and Psycholinguistics Research Center (CLiPS)(计算语言学与心理语言学研究中心(CLiPS));University of Antwerp(安特卫普大学);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
以往关于递归神经网络解释的研究主要集中在寻找网络最重要输入段作为解释的方法上。在这种情况下,这些输入片段相互结合以形成解释性模式的方式仍然未知。为了克服这一点,以前的一些工作试图在数据中找到解释神经输出的模式(称为规则)。然而,它们的解释往往对模型参数不敏感,这限制了文本解释的可扩展性。为了克服这些限制,我们提出了一个管道,通过skipgram上的决策列表(也称为规则)来解释RNN。为了评估解释,我们创建了一个合成的脓毒症识别数据集,并将我们的技术应用于其他临床和情感分析数据集。我们发现,我们的技术持续实现高解释保真度和定性可解释的规则。
2020-05-18 cs.CL cs.LG stat.ML
Contrastive Graph Neural Network Explanation
ETH Zurich(苏黎世联邦理工学院)
图神经网络在结构化数据问题上取得了显着的成果,但作为黑箱预测器。转移现有的解释技术,如遮挡,失败,因为即使删除一个节点或边也会导致图中的剧烈变化。生成的图形可能与所有训练样本不同,导致模型混淆和错误解释。因此,我们认为,显式必须使用符合训练数据的分布的图形。我们创造了这个属性DistributionCompliant Explanation(VCE),并遵循这个范式提出了一种新颖的对比GNN解释(CoGE)技术。一项实验研究支持CoGE的有效性。
2020-10-26 cs.LG
Ignoring Directionality Leads to Compromised Graph Neural Network Explanations
National University of Singapore(新加坡国立大学);City University of Hong Kong(香港城市大学)
本文指出图对称化丢弃方向信息会损害GNN解释保真度,并通过理论与实验证明保留方向语义能显著提升解释质量,强调安全关键应用中需要方向感知的GNN可解释性。
2025-06-05 cs.LG
Towards a Unified Evaluation of Explanation Methods without Ground Truth
Shanghai Jiao Tong University(上海交通大学)
本文提出了一套评价神经网络解释方法客观性的标准,这对可解释人工智能的发展至关重要,但也提出了重大挑战。核心挑战是人们通常无法获得神经网络的真实解释。为此,我们设计了四个指标来评估解释结果,而无需地面实况解释。我们的度量可以广泛地应用于解释神经网络的九种基准方法,这为解释方法提供了新的见解。
2019-11-20 cs.AI cs.CV cs.LG
Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks
KU Leuven(鲁汶大学)
深度模型的解释和解释对于依赖它们的系统的广泛采用至关重要。在本文中,我们提出了一种新的解释和解释方案,其中,给定一个预训练模型,我们自动识别与模型所考虑的类集相关的内部特征,而不依赖于额外的注释。我们通过对这组减少的特征的平均可视化来解释模型。然后,在测试时,我们通过将预测的类标签与从识别的特征中获得的支持可视化一起解释网络预测。此外,我们提出了一种方法来解决跨操作在deconvNet为基础的可视化引入的文物。在MNIST、ILSVRC 12、Fashion144k和an8Flower数据集上的实验表明,本文提出的方法能够得到详细的解释,并能很好地覆盖感兴趣类的相关特征
2019-03-08 cs.CV cs.LG stat.ML
Higher-Order Explanations of Graph Neural Networks via Relevant Walks
Berlin Institute of Technology (TU Berlin)(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);RIKEN(理化学研究所);Google Research(谷歌研究院);Korea University(高丽大学);Max Planck Institut für Informatik(马克斯·普朗克信息学研究所)
图神经网络(GNN)是用于预测图结构化数据的流行方法。由于GNN将输入图紧密地缠绕到神经网络结构中,因此常见的可解释AI方法不适用。到目前为止,在很大程度上,GNN对用户来说仍然是黑匣子。在本文中,我们证明了GNN实际上可以使用高阶展开自然地解释,即通过识别共同有助于预测的边缘组。实际上,我们发现,这样的解释可以使用嵌套的归属方案,其中现有的技术,如逐层相关传播(LRP)可以应用在每一步提取。输出是与预测相关的进入输入图的遍历的集合。我们的新解释方法,我们表示为GNN-LRP,适用于广泛的图神经网络,并让我们提取文本数据的情感分析,量子化学中的结构-属性关系和图像分类的实际相关见解。
2020-11-27 cs.AI cs.LG stat.ML
Graph Neural Network Causal Explanation via Neural Causal Models
Illinois Institute of Technology(伊利诺伊理工大学)
针对现有图神经网络解释器多基于关联易产生虚假相关的问题,提出基于神经因果模型的GNN因果解释器,通过构建定制化神经因果模型计算因果效应以识别因果子图,性能显著优于现有方法。
2024-07-12 cs.AI cs.LG stat.ML
Reliable Graph Neural Network Explanations Through Adversarial Training
Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室)
图神经网络(GNN)的解释在很大程度上是通过事后自省来促进的。虽然这被认为是成功的,但许多事后解释方法已被证明无法捕获模型的学习表示。由于这个问题,值得考虑如何训练模型,使其更适合事后分析。鉴于对抗训练在计算机视觉领域的成功,训练模型具有更可靠的表示,我们提出了一个类似的GNN训练范式,并分析了各自对模型解释的影响。在没有地面真值标签的情况下,我们还确定了解释方法如何通过新的度量标准利用模型的学习表示,并证明对抗性训练可以帮助更好地提取化学领域相关的见解。
2021-06-25 cs.LG
Demystifying Graph Neural Network Explanations
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑工业大学)
图神经网络(GNN)正在迅速成为跨多个领域学习图结构数据的标准方法,但它们在决策过程中缺乏透明度。已经开发了几种基于扰动的方法来深入了解GNN的决策过程。由于这是一个早期的研究领域,用于评估生成的解释的方法和数据缺乏成熟度。我们探讨了这些现有的方法,并确定了三个主要领域的常见陷阱:(1)合成数据生成过程,(2)评估指标,(3)解释的最终呈现。为此,我们进行了一项实证研究,探讨这些陷阱及其意想不到的后果,并提出补救措施,以减轻其影响。
2021-11-25 cs.LG
Zorro: Valid, Sparse, and Stable Explanations in Graph Neural Networks
L3S Research Center(L3S研究中心);Leibniz University Hanover(汉诺威莱布尼茨大学);TU Delft(代尔夫特理工大学)
随着图神经网络的日益普及和应用,已经提出了一些建议来解释和理解图神经网络的决策。图神经网络的说明原则上不同于其他输入设置。重要的是将决策归因于输入特征和由图结构连接的其他相关实例。我们发现,以前的解释生成方法,最大限度地提高互信息之间的标签分布的模型和解释是有限制的。具体而言,现有的方法不强制解释是有效的,稀疏的,或鲁棒的输入扰动。在本文中,我们制定了一些基本原则,解释方法图神经网络应遵循的,并引入了一个度量RDT-保真度的解释的有效性的措施。我们提出了一种新的方法Zorro的基础上的原则,从率失真理论,使用一个简单的组合过程来优化RDT保真度。在真实数据集和合成数据集上的大量实验表明,Zorro比现有的图神经网络解释方法产生更稀疏、稳定和更忠实的解释。
2022-03-16 cs.AI cs.LG
GIN-Graph: A Generative Interpretation Network for Model-Level Explanation of Graph Neural Networks
本文提出GIN-Graph生成式解释网络,利用免似然生成对抗网络和动态损失权重方案生成可靠且高质量的图神经网络模型级解释图,解决了现有方法生成无效解释图及缺乏可靠性的问题。
2025-09-18 cs.LG
Generative Explanations for Graph Neural Network: Methods and Evaluations
Yale University(耶鲁大学);ETH Zurich(苏黎世联邦理工学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文从图生成角度综述图神经网络解释方法,提出统一优化目标(归因与信息约束),揭示现有方法共性与差异,并通过实证评估其性能、效率与泛化性。
2023-11-09 cs.LG
SEEN: Sharpening Explanations for Graph Neural Networks using Explanations from Neighborhoods
Samsung SDS(三星SDS);Mobilint(莫比林特)
本文提出后置方法 SEEN,通过聚合重要邻接节点的辅助解释提升 GNN 节点分类解释质量,无需改图且兼容多种解释技术,实验显示准确率最高提升 12.71%。
2021-06-16 cs.LG
Towards Automated Evaluation of Explanations in Graph Neural Networks
IIT Madras(印度理工学院马德拉斯分校);IBM Research(IBM研究院);IBM(国际商业机器公司);IBM Data and AI(IBM数据与人工智能部门)
以易于理解的术语向AI应用程序的最终用户解释图神经网络预测仍然是一个未解决的问题。特别是,我们没有很好的自动评估解释的方法,更接近用户如何消费这些解释。基于最近的应用趋势和我们自己的经验,在现实世界中的问题,我们提出了自动评估方法的GNN解释。
2021-06-22 cs.AI cs.LG
GraphSVX: Shapley Value Explanations for Graph Neural Networks
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所)
图神经网络(GNN)由于将图结构结合到节点表示的学习中,从而在几何数据的各种学习任务中实现了显着的性能,这使得它们的理解具有挑战性。在本文中,我们首先提出了一个统一的框架,满足大多数现有的GNN解释器。然后,我们介绍了GraphSVX,这是一种专门为GNN设计的事后局部模型不可知解释方法。GraphSVX是一种分解技术,通过在扰动数据集上构建代理模型,捕获每个特征和节点对解释预测的“公平”贡献。它扩展到图形,并最终提供了解释的Shapley值从博弈论。在真实世界和合成数据集上的实验表明,与基线模型相比,GraphSVX实现了最先进的性能,同时呈现了核心理论和以人为中心的属性。
2021-07-13 cs.LG
INGREX: An Interactive Explanation Framework for Graph Neural Networks
Seoul National University(首尔国立大学)
图神经网络(GNN)广泛应用于许多现代应用中,需要对其决策进行解释。然而,GNN的复杂性使得很难解释预测。尽管最近提出了几种方法,但它们只能提供简单和静态的解释,在许多场景下用户很难理解。因此,我们引入了INGREX,这是一个用于GNN的交互式解释框架,旨在帮助用户理解模型预测。我们的框架是基于多种解释算法和高级库实现的。我们展示了我们的框架在三个场景中,涵盖了GNN解释的共同需求,以展示其有效性和有用性。
2022-11-03 cs.AI cs.LG
GCExplainer: Human-in-the-Loop Concept-based Explanations for Graph Neural Networks
University of Cambridge(剑桥大学)
虽然图神经网络(GNN)已被证明在各种领域的基于图的数据上表现良好,但它们缺乏透明度和问责制,这阻碍了信任,从而阻碍了在高风险和安全关键场景中部署此类模型。尽管最近的研究已经研究了解释GNN的方法,但这些方法仅限于单实例解释,也称为局部解释。出于提供全局解释的目的,我们采用了众所周知的基于概念的自动解释方法(Ghorbani等人,2019)到GNN节点和图分类,并提出GCExplainer。GCExplainer是一种无监督的方法,用于事后发现和提取GNN的全局基于概念的解释,它将人类置于循环中。我们在五个节点分类数据集和两个图分类数据集上展示了我们的技术的成功,表明我们能够通过将人类置于循环中来发现和提取高质量的概念表示。我们在整个数据集上实现了最大完整性得分1和平均完整性得分0.753。最后,我们表明,与GNNExplainer产生的最先进的解释相比,基于概念的解释提供了对数据集和GNN模型的更好的见解(Ying等人,2019年)。
2021-07-25 cs.LG
PGM-Explainer: Probabilistic Graphical Model Explanations for Graph Neural Networks
University of Florida(佛罗里达大学)
在图神经网络(GNNs)中,图结构被并入节点表示的学习中。这种复杂的结构使得解释GNN的预测变得更具挑战性。在本文中,我们提出了PGM-Explainer,这是一个用于GNN的概率图模型(PGM)模型不可知解释器。给定一个要解释的预测,PGM-Explainer识别关键的图形组件,并以近似该预测的PGM形式生成解释。与现有的GNN解释器不同,其中解释是从一组被解释特征的线性函数中提取的,PGM-Explainer能够以条件概率的形式展示被解释特征的依赖性。我们的理论分析表明,PGM-Explamer生成的PGM包括目标预测的马尔科夫覆盖层,即包括其所有统计信息。我们还表明,由PGM-Explainer返回的解释包含在完美的地图相同的独立语句集。我们在合成数据集和真实数据集上的实验表明,PGM-Explainer在许多基准测试任务中取得了比现有解释器更好的性能。
2020-10-12 cs.LG
Quantifying the Intrinsic Usefulness of Attributional Explanations for Graph Neural Networks with Artificial Simulatability Studies
Institute of Theoretical Informatics (ITI)(理论信息学研究所);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文将人工可模拟性研究扩展至图神经网络领域,通过解释可监督模型量化归因解释的内在有用性,发现相关解释能显著提升模型样本效率,为解释质量评估提供了正交于忠实性的新维度。
2023-05-25 cs.AI cs.LG
Generative Causal Explanations for Graph Neural Networks
The Hong Kong Polytechnic University(香港理工大学);University of Toronto(多伦多大学)
本文介绍了Gem,这是一种与模型无关的方法,用于为各种图学习任务上的任何GNN提供可解释的解释。具体来说,我们将为GNNs的决策提供解释的问题制定为因果学习任务。然后,我们训练一个因果解释模型,配备了一个基于格兰杰因果关系的损失函数。与现有的GNN解释器不同,Gem从因果关系的角度解释了图结构数据上的GNN。它具有更好的泛化能力,因为它对GNN的内部结构或图学习任务的先验知识没有要求。此外,Gem一旦经过训练,就可以用来非常快速地解释目标GNN。我们的理论分析表明,最近的几个解释者属于一个统一的框架添加剂特征归因方法。在合成数据集和真实数据集上的实验结果表明,Gem的解释精度相对提高了$30\%$,解释速度提高了$110\times$.
2021-06-06 cs.LG
Is Your Explanation Reliable: Confidence-Aware Explanation on Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Arizona State University(亚利桑那州立大学);Florida International University(佛罗里达国际大学)
本文提出ConfExplainer框架,通过广义图信息瓶颈与置信度约束量化GNN解释的可靠性,实验证明其能提升解释的可信度与鲁棒性。
2025-05-31 cs.AI cs.LG
Design Requirements for Human-Centered Graph Neural Network Explanations
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对图神经网络(GNNs)预测缺乏人类可理解解释、影响信任与跨领域协作的问题,本文梳理相关研究,提出以人为中心的GNN解释设计要求,并通过原型示例展示部分要求。
2024-05-11 cs.HC cs.LG
GraphNarrator: Generating Textual Explanations for Graph Neural Networks
Emory University(埃默里大学)
本文提出GraphNarrator,首个为图神经网络生成自然语言解释的方法,通过生成式语言模型映射输入输出对,并利用基于显著性解释的伪标签和Expert Iteration训练端到端解释生成器,实验证明其生成的解释忠实、简洁且符合人类偏好。
2025-05-28 cs.CL cs.LG
Evaluating Link Prediction Explanations for Graph Neural Networks
CENTAI Institute(CENTAI研究所)
本文针对图神经网络链路预测模型解释验证不足的问题,提出有/无真值情况下的定量评估指标,评估最先进可解释性方法,并探讨链路预测特定假设与技术细节对解释质量的影响。
2023-08-03 cs.AI cs.LG
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo(东京大学)
图神经网络(GNN)是将图数据作为输入的深度学习模型,并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而,由于GNN的复杂性,很难分析输入的哪些部分影响GNN模型的输出。在这项研究中,我们扩展了卷积神经网络(CNN)的可解释性方法,例如局部可解释模型不可知性解释(LIME),基于显着性的映射和基于显着性的加权类激活映射(Grad-CAM)到GNN,并预测输入图中的哪些边对GNN决策很重要。实验结果表明,基于LIME的方法是最有效的可解释性方法,在现实世界的情况下,多个任务,甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
Iterative Graph Neural Network Enhancement via Frequent Subgraph Mining of Explanations
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);HUN-REN-SZTE Research Group on AI(HUN-REN-塞格德大学人工智能研究组)
本研究提出迭代自改进算法EEGL,通过挖掘GNN解释子图的频繁模式生成特征以增强模型,解决了1-WL算法子图扩展的相关公开问题,在合成与真实数据上预测性能更优、节点区分能力更强。
2024-03-12 cs.LG
Deconfounding to Explanation Evaluation in Graph Neural Networks
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Rice University(莱斯大学)
图神经网络(GNNs)的可解释性旨在回答“为什么GNN做出了某种预测?“,这对解释模型预测至关重要。特征属性框架将GNN的预测分布到其输入特征(例如,边),识别有影响力的子图作为解释。当评估解释时(即,子图重要性),标准方法是仅基于子图来审核模型预测。然而,我们认为,一个分布偏移存在于全图和子图之间,导致分布外的问题。此外,通过深入的因果分析,我们发现OOD效应作为混杂因素,它带来了子图重要性和模型预测之间的虚假关联,使评估不太可靠。在这项工作中,我们提出了Deconfounded子图评估(DSE),它评估了解释子图对模型预测的因果影响。虽然分布偏移一般是棘手的,我们采用前门调整,并引入一个代理变量的子图。具体来说,我们设计了一个生成模型来生成符合数据分布的合理代理,从而接近子图重要性的无偏估计。实证结果证明了DSE在解释保真度方面的有效性。
2022-02-01 cs.LG
Robust Counterfactual Explanations on Graph Neural Networks
Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司);McMaster University(麦克马斯特大学);The University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙弗雷泽大学)
图神经网络(GNN)在高风险应用中的大规模部署产生了对对噪声鲁棒性和与人类直觉保持一致的解释的强烈需求。大多数现有方法通过识别与预测具有强相关性的输入图的子图来生成解释。这些解释对噪声不鲁棒,因为独立地优化单个输入的相关性可以容易地过拟合噪声。此外,它们与人类的直觉并不一致,因为从输入图中删除已识别的子图并不一定会改变预测结果。在本文中,我们提出了一种新的方法,通过在类似的输入图上显式地对GNN的公共决策逻辑进行建模,来生成对GNN的鲁棒反事实解释。我们的解释自然对噪声具有鲁棒性,因为它们是从GNN的公共决策边界产生的,这些边界控制着许多类似输入图的预测。这些解释也与人类的直觉很好地吻合,因为从输入图中删除解释所识别的边缘集会显著改变预测。在许多公共数据集上的详尽实验证明了我们的方法的优越性能。
2022-07-12 cs.AI cs.LG
GANExplainer: GAN-based Graph Neural Networks Explainer
University of Technology Sydney(悉尼科技大学)
随着基于图神经网络(GNN)的技术在诸如链接预测、节点分类和图分类等广泛应用中的快速部署,GNN的可解释性已成为预测性和可信决策的不可或缺的组成部分。因此,关键是要解释为什么图神经网络(GNN)作出特定的预测,他们相信在许多应用。最近提出了一些GNN解释器。然而,他们缺乏准确和真实的解释。为了减轻这些限制,我们提出了GANExplainer,基于生成对抗网络(GAN)架构。GANExplainer由一个生成器和一个解释器组成,生成器用于创建解释,解释器用于协助生成器的开发。我们通过比较GANExplainer与其他最先进方法的性能来研究我们模型的解释准确性。我们在合成数据集上的实证结果表明,GANExplainer与其替代品相比,解释准确率提高了35%。
2022-12-30 cs.LG
CF-GNNExplainer: Counterfactual Explanations for Graph Neural Networks
University of Amsterdam(阿姆斯特丹大学);Sapienza University of Rome(罗马萨皮恩扎大学)
鉴于图神经网络(GNN)在现实世界中的应用前景越来越好,已经开发了几种方法来解释它们的预测。用于解释GNN预测的现有方法主要集中在生成与特定预测特别相关的子图。然而,这种方法本质上并不是反事实的(CF):给定一个预测,我们想知道如何改变预测以实现另一种结果。在这项工作中,我们提出了一种为GNN生成CF解释的方法:对输入(图)数据的最小扰动,使得预测发生变化。仅使用边缘删除,我们发现我们的方法CF-GNNExplainer可以为GNN解释的三个广泛使用的数据集上的大多数实例生成CF解释,同时平均删除不到3条边缘,准确率至少为94%。这表明CF-GNNExplainer主要删除对原始预测至关重要的边缘,从而导致CF解释最少。
2022-02-22 cs.AI cs.LG
Can Subgraph Explanations Be Weaponized to Steal Graph Neural Networks?
University of Southern California(南加州大学);Florida State University(佛罗里达州立大学)
本文提出首个针对图分类的黑盒模型提取攻击,利用模型解释输出引导蒙特卡洛边敏感性估计,并利用解释子图缩小边界搜索空间,实验表明该方法优于现有基线。
2026-08-31 cs.LG
PaGE-Link: Path-based Graph Neural Network Explanation for Heterogeneous Link Prediction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学)
PaGE-Link提出基于路径的GNN解释方法,用于异质链接预测,生成连接节点对的路径解释,提升AUC 9-35%,并在人工评估中获得78.79%偏好。
2023-05-08 cs.LG cs.SI
Evaluating Explainability for Graph Neural Networks
Adobe(奥多比公司);University of Tennessee(田纳西大学);Harvard Business School(哈佛商学院);Harvard University(哈佛大学);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学博德研究所);Harvard Data Science Initiative(哈佛数据科学研究院)
随着事后解释越来越多地用于理解图神经网络(GNN)的行为,评估GNN解释的质量和可靠性变得至关重要。然而,评估GNN解释的质量是具有挑战性的,因为现有的图形数据集对于给定的任务没有或不可靠的地面实况解释。在这里,我们介绍一个合成图数据生成器,ShapeGGen,它可以生成各种基准数据集(例如,变化的图大小、度分布、同亲图与异亲图),并伴有地面实况解释。此外,生成各种合成数据集和相应的地面实况解释的灵活性使我们能够模拟各种真实世界应用程序生成的数据。我们将ShapeGGen和几个真实世界的图形数据集纳入开源图形解释库GraphXAI。除了具有地面实况解释的合成和真实世界图形数据集外,GraphXAI还提供数据加载器,数据处理功能,可视化工具,GNN模型实现和评估指标,以基准测试GNN可解释性方法的性能。
2023-01-16 cs.AI cs.LG
Towards the Explanation of Graph Neural Networks in Digital Pathology with Information Flows
Tencent AI Lab(腾讯人工智能实验室)
随着图神经网络(GNN)在数字病理学中被广泛采用,人们越来越关注开发GNN的解释模型(解释器)以提高临床决策的透明度。现有的解释器发现一个解释子图相关的预测。然而,这样的子图不足以揭示用于预测的所有关键生物子结构,因为在移除该子图之后预测将保持不变。因此,一个解释性的子图不仅应该是预测所必需的,而且应该足以揭示解释的最具预测性的区域。这种解释需要测量从不同输入子图到预测输出的信息,我们将其定义为信息流。在这项工作中,我们解决了这些关键挑战,并提出了IFEXPLAINER,它为GNN产生了必要和充分的解释。为了评估GNN预测中的信息流,我们首先提出了一种新的预测性概念,称为$f$ -信息,它是有方向的,并结合了GNN模型的现实能力。在此基础上,IFEXPLAINER生成具有最大信息流的解释子图。同时,在删除解释后,它最大限度地减少了从输入到预测结果的信息流。因此,所产生的解释对于预测必然是重要的,并且足以揭示最关键的子结构。我们评估IFEXPLAINER来解释GNN对乳腺癌亚型的预测。在BRACS数据集上的实验结果表明了该方法的优越性能。
2021-12-18 cs.AI cs.LG
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology(马尼帕尔理工学院);IBM Research(IBM研究院)
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比,图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务,即实体匹配,我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
ATEX-CF: Attack-Informed Counterfactual Explanations for Graph Neural Networks
Aalborg University(奥尔堡大学);Bowling Green State University(伯灵顿州立大学);University of Central Florida(佛罗里达中央大学)
ATEX-CF通过整合对抗攻击与反事实解释,为图神经网络生成忠实且合理的实例级解释,提升模型可解释性。
2026-02-05 cs.AI cs.LG
View-based Explanations for Graph Neural Networks
Zhejiang University(浙江大学);Aalborg University(奥尔堡大学);Case Western Reserve University(凯斯西储大学)
提出GVEX范式,通过双层解释视图结构和两种优化算法(解释与摘要策略及增量维护策略)为GNN生成可查询的最优解释,并验证其有效性与可扩展性。
2024-01-08 cs.DB cs.LG
CIExplainer++: Generating Causal and Interpretable Explanations for Graph Neural Networks
NOVA LINCS;NOVA School of Science and Technology(NOVA科技学院)
提出CIExplainer方法,基于潜在结果框架识别对GNN预测因果影响最大的子图,并进一步提出G2TeXplainer将因果子图转化为自然语言解释。
2026-06-23 cs.LG stat.OT
Learning and Evaluating Graph Neural Network Explanations based on Counterfactual and Factual Reasoning
Rutgers University(罗格斯大学)
结构化数据广泛存在于Web应用中,例如社会媒体中的社交网络、学术网站中的引文网络以及在线论坛中的线程数据。由于复杂的拓扑结构,很难处理和利用这些数据中的丰富信息。图神经网络(GNNs)在学习结构化数据表示方面显示出巨大的优势。然而,深度学习模型的非透明性使得解释和解释GNN做出的预测变得非常重要。同时,评估GNN解释也是一个很大的挑战,因为在许多情况下,地面实况解释是不可用的。在本文中,我们从因果推理理论中获得了反事实和事实(CF^2)推理的见解,以解决可解释GNN中的学习和评估问题。对于生成的解释,我们提出了一个模型不可知的框架,制定一个优化问题的基础上,两个休闲的角度。这将CF^2与以前只考虑其中一个的可解释GNN区分开来。这项工作的另一个贡献是对GNN解释的评估。为了在不需要地面事实的情况下对生成的解释进行定量评估,我们设计了基于反事实和事实推理的度量标准来评估解释的必要性和充分性。实验表明,无论地面真相解释是否可用,CF^2都能在真实世界数据集上生成比以前最先进的方法更好的解释。此外,统计分析证明地面实况评估的性能和我们提出的指标之间的相关性。源代码可在https://github.com/chrisjtan/gnn_cff上获得。
2022-05-10 cs.IR cs.LG
Graph Neural Network Explanations are Fragile
Nanchang University(南昌大学);Illinois Institute of Technology(伊利诺伊理工大学);Milwaukee School of Engineering(密尔沃基工程学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文首次研究对抗攻击下的图神经网络解释器,发现轻微扰动图结构可使模型预测正确但解释截然不同,设计两种攻击方法并验证现有解释器的脆弱性。
2024-06-05 cs.CR cs.LG
BAGEL: A Benchmark for Assessing Graph Neural Network Explanations
L3S Research Center(L3S研究中心);Delft University of Technology (TU Delft)(代尔夫特理工大学(TU Delft))
解释机器学习的决策问题是一个研究得很好的重要问题。我们感兴趣的是一种特定类型的机器学习模型,它处理称为图神经网络的图形数据。由于缺乏普遍接受的基准,评估图神经网络(GNN)的可解释性方法是具有挑战性的。给定GNN模型,存在几种可解释性方法来解释具有不同(有时相互冲突)评估方法的GNN模型。在本文中,我们提出了一个用于评估GNN可解释性方法的基准,称为Bagel。在Bagel中,我们首先提出了四种不同的GNN解释评价机制- 1)忠实性,2)稀疏性,3)正确性。(4)兼容性。我们调和现有文献中的多个评价指标,并涵盖不同的概念进行整体评价。我们的图形数据集范围从引文网络、文档图形到分子和蛋白质的图形。我们对四个GNN模型和九个节点和图分类任务的事后解释方法进行了广泛的实证研究。我们开放基准测试和参考实现,并在https://github.com/Mandeep-Rathee/Bagel-benchmark上提供它们。
2022-06-28 cs.AI cs.LG
Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance
VU Amsterdam(阿姆斯特丹自由大学);University of Trento(特伦托大学);UiT The Arctic University of Norway(挪威北极大学)
该研究针对GNN易利用非因果捷径导致分布外任务可靠性低的问题,提出架构无关的人在回路策略XIGL,结合主动学习优先选择含捷径的解释以降低反馈成本,经多种GNN架构验证其有效性。
2026-08-17 cs.AI cs.LG
Towards Faithful and Consistent Explanations for Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Florida International University(佛罗里达国际大学)
揭示图神经网络(GNNs)预测背后的原理近年来受到越来越多的关注。实例级GNN解释旨在发现关键输入元素,如目标GNN依赖于进行预测的节点或边。虽然有各种各样的算法被提出来,但大多数算法都是通过搜索能保持原始预测的最小子图来形式化这个任务。然而,归纳偏差是根深蒂固的,在这个框架中:几个子图可以导致相同或相似的输出作为原始图。因此,它们有提供虚假解释的危险,不能提供一致的解释。应用它们来解释表现不佳的GNN将进一步放大这些问题。为了解决这个问题,我们从因果关系的角度从理论上研究了GNN的预测。两个典型的原因虚假的解释被确定:混淆的影响,潜在的变量,如分布偏移,和因果因素不同于原始输入。观察到混淆效应和不同的因果关系都编码在内部表征中,我们提出了一个简单而有效的对策,通过对齐嵌入。具体而言,针对高维空间中的潜在位移,设计了一种基于锚点的分布感知对齐算法。这个新的目标是很容易计算,并可以纳入现有的技术,没有或很少的努力。理论分析表明,它实际上是优化了一个更忠实的解释目标的设计,这进一步证明了所提出的方法。
2022-12-16 cs.LG cs.SI
Explainable Graph Neural Networks Under Fire
Leiden University(莱顿大学);Technical University of Munich(慕尼黑工业大学)
本文揭示事后GNN解释方法易受对抗扰动影响,并提出首个基于优化的白盒攻击方法GXAttack,呼吁对GNN解释器进行对抗性鲁棒性评估。
2024-10-18 cs.AI cs.LG
Digital Histopathology with Graph Neural Networks: Concepts and Explanations for Clinicians
本研究结合GCExplainer与逻辑解释网络,为图神经网络提供全局解释,通过乳腺癌H&E切片上的全景分割和癌症预测流程,展示了可解释且可信赖的AI工具。
2023-12-28 cs.CV cs.LG eess.IV
Identifying Backdoored Graphs in Graph Neural Network Training: An Explanation-Based Approach with Novel Metrics
Illinois Institute of Technology(伊利诺伊理工学院)
本文提出基于图级解释的新方法,通过提取和转换GNN解释机制的二次输出,开发了七种创新指标以有效检测图神经网络的后门攻击,并通过多个基准数据集验证了方法的有效性。
2026-05-10 cs.AI cs.LG
PhenoLinker: Phenotype-Gene Link Prediction and Explanation using Heterogeneous Graph Neural Networks
Departamento de Ingeniería de la Información y las Comunicaciones, Universidad de Murcia(信息与通信工程系,穆尔西亚大学);Genetics and Genomic Medicine, Great Ormond Street Institute of Child Health, University College London(遗传学与基因组医学,儿童健康大奥蒙街研究所,伦敦大学学院);Department of Neurodegenerative Diseases, UCL Institute of Neurology(神经退行性疾病部门,伦敦大学学院神经学研究所);NIMGenetics, Genómica y Medicina, SL, Madrid, Spain(NIMGenetics,基因组学与医学,SL,马德里,西班牙)
针对人类表型与遗传变异关联的挑战,提出PhenoLinker系统,利用异构信息网络和基于卷积神经网络的图模型预测并解释表型-基因关系,助力发现新关联及理解遗传变异后果。
2024-02-02 cs.LG q-bio.GN
On Structural Explanation of Bias in Graph Neural Networks
University of Virginia(弗吉尼亚大学);Vanderbilt University(范德堡大学)
图神经网络(GNNs)在各种图分析问题中表现出令人满意的性能。因此,它们已成为各种决策场景中的\emph{de facto}解决方案。然而,GNN可能会对某些人口统计学亚组产生有偏见的结果。最近的一些工作经验表明,输入网络的偏置结构是GNN偏置的重要来源。然而,没有研究系统地仔细检查输入网络结构的哪一部分导致对任何给定节点的有偏预测。输入网络的结构如何影响GNN结果中的偏差的低透明度在很大程度上限制了GNN在各种决策关键场景中的安全采用。在本文中,我们研究了一个新的研究问题的结构解释的偏差在GNNs。具体来说,我们提出了一种新的事后解释框架,以确定两个边缘集,可以最大限度地考虑所表现出的偏见,并最大限度地有助于任何给定节点的GNN预测的公平性水平,分别。这些解释不仅可以全面理解GNN预测的偏差/公平性,而且对构建有效而公平的GNN模型具有实际意义。在真实世界数据集上进行的大量实验验证了所提出的框架对GNN偏差提供有效结构解释的有效性。开源代码可以在https://github.com/yushundong/REFEREE上找到。
2022-06-24 cs.CY cs.LG
GRExplainer: A Universal Explanation Method for Temporal Graph Neural Networks
Xidian University(西电大学)
GRExplainer提出了一种通用、高效且用户友好的TGNN解释方法,通过统一特征表示和生成模型提升解释的透明性和实用性。
2025-12-28 cs.AI cs.LG