A Survey on Deep Learning and Explainability for Automatic Report Generation from Medical Images
Pontificia Universidad Católica de Chile（智利天主教大学）
每年，医生都面临着越来越多的患者对基于图像的诊断的需求，这是一个可以通过最近的人工智能方法来解决的问题。在此背景下，我们调查了从医学图像自动生成报告领域的工作，重点是使用深度神经网络的方法，涉及：（1）数据集，（2）架构设计，（3）可解释性和（4）评估模型。我们的调查确定了有趣的发展，但也存在挑战。其中，目前对生成报告的评估尤其薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，无法准确捕捉医疗正确性。
2022-01-08 cs.AI cs.CL cs.CV
Evaluating Explainability for Graph Neural Networks
Adobe（奥多比公司）；University of Tennessee（田纳西大学）；Harvard Business School（哈佛商学院）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science Initiative（哈佛数据科学研究院）
随着事后解释越来越多地用于理解图神经网络（GNN）的行为，评估GNN解释的质量和可靠性变得至关重要。然而，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对于给定的任务没有或不可靠的地面实况解释。在这里，我们介绍一个合成图数据生成器，ShapeGGen，它可以生成各种基准数据集（例如，变化的图大小、度分布、同亲图与异亲图），并伴有地面实况解释。此外，生成各种合成数据集和相应的地面实况解释的灵活性使我们能够模拟各种真实世界应用程序生成的数据。我们将ShapeGGen和几个真实世界的图形数据集纳入开源图形解释库GraphXAI。除了具有地面实况解释的合成和真实世界图形数据集外，GraphXAI还提供数据加载器，数据处理功能，可视化工具，GNN模型实现和评估指标，以基准测试GNN可解释性方法的性能。
2023-01-16 cs.AI cs.LG
GraphFramEx: Towards Systematic Evaluation of Explainability Methods for Graph Neural Networks
ETH Zürich（苏黎世联邦理工学院）；Yale University（耶鲁大学）；eBay China（eBay中国）
本文提出首个系统评估GNN可解释性方法的框架GraphFramEx，结合充分性与必要性度量，比较多种方法，发现浅层方法在简单基准上最优，而梯度方法在复杂图上最佳，并应用于eBay欺诈解释案例。
2024-05-22 cs.AI cs.LG
Robust Explainability: A Tutorial on Gradient-Based Attribution Methods for Deep Neural Networks
Rowan University（罗文大学）；The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校）
随着深度神经网络的兴起，人们越来越认识到解释这些网络预测的挑战。虽然存在许多解释深度神经网络决策的方法，但目前还没有就如何评估它们达成共识。另一方面，鲁棒性是深度学习研究的一个热门话题;然而，直到最近，它才被解释。在本教程中，我们首先介绍基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决策负担。稍后，我们将讨论如何评估基于梯度的方法的鲁棒性，以及对抗鲁棒性在有意义的解释中所起的作用。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择可解释性方法之前应该检查的最佳实践和属性。我们的结论与未来的研究方向在该地区的鲁棒性和可解释性的收敛。
2022-01-13 cs.AI cs.CV cs.LG
Exploring Explainability Methods for Graph Neural Networks
IIT Gandhinagar（印度理工学院甘地纳加尔分校）
随着深度学习方法，特别是编码复杂互联信息的图神经网络在各种实际任务中的使用越来越多，在这种情况下需要解释性。在本文中，我们证明了流行的可解释性方法的适用性图注意力网络（GAT）的基于图形的超像素图像分类任务。我们评估了这些技术在三个不同数据集上的定性和定量性能，并描述了我们的研究结果。这些结果为GNN，特别是GAT中的可解释性概念提供了新的视角。
2022-11-03 cs.CV cs.LG
SES: Bridging the Gap Between Explainability and Prediction of Graph Neural Networks
School of Internet（互联网学院）；Anhui University（安徽大学）；Amazon Research（亚马逊研究院）；University of California Irvine（加州大学欧文分校）
提出自解释且自监督的图神经网络SES，通过可解释训练和增强预测学习两个过程，利用全局掩码生成器生成结构与特征掩码，并基于掩码构建正负样本对进行对比学习，从而弥合可解释性与预测性能之间的差距。
2024-07-25 cs.AI cs.LG
On Explainability of Graph Neural Networks via Subgraph Explorations
Texas A&M University（德克萨斯农工大学）；University of Science and Technology of China（中国科学技术大学）；West China Hospital（华西医院）
我们考虑解释图神经网络（GNNs）的预测问题，否则被认为是黑箱。现有的方法总是集中在解释图的节点或边的重要性，而忽略了图的子结构，这是更直观和人类理解。在这项工作中，我们提出了一种新的方法，称为SubgraphX，通过识别重要的子图来解释GNN。给定一个训练好的GNN模型和一个输入图，我们的SubgraphX通过使用蒙特卡罗树搜索有效地探索不同的子图来解释它的预测。为了使树搜索更有效，我们建议使用Shapley值作为子图重要性的度量，它也可以捕获不同子图之间的相互作用。为了加快计算，我们提出了有效的近似方案来计算图形数据的Shapley值。我们的工作代表了第一次尝试通过明确和直接地识别子图来解释GNN。实验结果表明，我们的SubgraphX实现了显着改善的解释，同时保持计算在一个合理的水平。
2021-05-31 cs.AI cs.LG
Comparing Neural Network Encodings for Logic-based Explainability
Instituto Federal do Ceará (IFCE)（巴西塞阿拉联邦大学）
本研究比较了两种将人工神经网络编码为逻辑约束的方法，用于基于逻辑的可解释性，发现调整后的编码在构建约束和总体时间上分别提升高达18%和16%，同时保持相似的解释计算时间。
2025-05-26 cs.AI cs.LG cs.LO
TempME: Towards the Explainability of Temporal Graph Neural Networks via Motif Discovery
Yale University（耶鲁大学）
本文提出TempME方法，基于信息瓶颈原理发现引导时序图神经网络预测的最关键时序模体，在多个真实数据集上显著提升解释准确率和预测平均精度。
2023-10-30 cs.AI cs.LG
Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation
LIRIS - UMR 5205 CNRS（法国国家科学研究中心LIRIS联合研究单位5205）；Ecole Centrale de Lyon（里昂中央理工学院）；LVMH Recherche - Parfums et cosmetiques（路威酩轩香水化妆品研究中心）
神经网络缺乏透明度仍然是其使用的主要突破口。分层相关性传播技术构建热图，表示模型决策中每个输入的相关性。相关性从深层神经网络的最后一层向后传播到第一层。分层相关传播不管理规范化层，在这项工作中，我们提出了一种方法，包括规范化层。具体来说，我们构建了一个等效的网络，融合了归一化层和卷积层或全连接层。用我们的方法在MNIST和CIFAR 10数据集上获得的热图对于卷积层来说更准确。我们的研究还防止了在包括连接层和归一化层的组合的网络中使用分层相关传播。
2020-02-24 cs.AI cs.LG stat.ML
Recent Advances in Malware Detection: Graph Learning and Explainability
University of New Brunswick（新不伦瑞克大学）
本文综述了基于图学习与可解释性技术的恶意软件检测最新进展，涵盖分析技术、数据集、特征工程、图嵌入及可解释性应用，旨在构建稳健、可解释且可扩展的检测系统。
2025-07-22 cs.CR cs.LG
Towards Fine-Grained Explainability for Heterogeneous Graph Neural Network
Shanghai Jiao Tong University（上海交通大学）；Huawei Research Hong Kong（华为香港研究所）
本文提出 xPath 框架，为异构图表征网络提供细粒度解释，通过区分影响路径并采用图重连与贪心搜索算法，高效生成忠实解释，优于现有方法。
2023-12-23 cs.AI cs.LG
Towards Faithful Class-level Self-explainability in Graph Neural Networks by Subgraph Dependencies
School of Computing, Macquarie University（麦考瑞大学计算机学院）；CSIRO’s Data61（CSIRO数据61）
本文提出自解释GNN框架GraphOracle，通过联合学习分类器与判别性稀疏子图，并利用熵正则化子图选择和随机游走提取，实现忠实、可扩展的类级解释，弥补了ProtGNN和PGIB等先前方法在类级解释上的不足。
2025-08-15 cs.AI cs.LG
From Text to Graph: Leveraging Graph Neural Networks for Enhanced Explainability in NLP
Lancaster University（兰卡斯特大学）
本研究提出一种新方法，通过自动将句子转换为图并利用图神经网络保持语义，以增强NLP任务的可解释性，实验证明其能有效识别文本结构中的关键组件。
2025-04-02 cs.AI cs.CL cs.LG
Explainability of Point Cloud Neural Networks Using SMILE: Statistical Model-Agnostic Interpretability with Local Explanations
University of Hull（赫尔大学）；Dock Robotics Ltd（多克机器人有限公司）
本文研究将基于ECDF统计距离的可解释性方法SMILE应用于点云神经网络，在保真度、R2分数和鲁棒性上表现优越，并通过Jaccard指数建立点云模型稳定性基准，同时揭示数据集偏差问题。
2024-10-20 cs.AI cs.CV cs.LG
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology（马尼帕尔理工学院）；IBM Research（IBM研究院）
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比，图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务，即实体匹配，我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
Explainability in subgraphs-enhanced Graph Neural Networks
UiT the Arctic University of Norway（挪威北极大学）；Sapienza University of Rome（罗马第一大学）；NORCE Norwegian Research Centre（挪威NORCE研究中心）
近年来，为了提高图神经网络（GNNs）的表达能力，引入了子图增强的图神经网络（SGNNs）。新范式建议使用从输入图中提取的子图来提高模型的表达能力，但额外的复杂性加剧了GNN中已经具有挑战性的问题：解释它们的预测。在这项工作中，我们将PGExplainer（GNN的最新解释器之一）改编为SGNN。所提出的解释器考虑了所有不同子图的贡献，并且可以产生人类可以解释的有意义的解释。我们在真实和合成数据集上进行的实验表明，我们的框架成功地解释了SGNN在图分类任务上的决策过程。
2023-01-19 cs.LG
Explainability-based Backdoor Attacks Against Graph Neural Networks
Delft University of Technology（代尔夫特理工大学）；The University of Adelaide（阿德莱德大学）
后门攻击对神经网络模型构成了严重的威胁。后门模型会将攻击者嵌入的输入错误分类为攻击者选择的目标标签，而对其他良性输入则正常执行。已经有许多关于神经网络后门攻击的研究，但只有少数研究考虑了图神经网络（GNN）。因此，没有深入的研究来解释触发器注入位置对GNN上的后门攻击性能的影响。为了弥补这一差距，我们对GNN上的后门攻击的性能进行了实验研究。我们采用两种强大的GNN解释性方法来选择最佳的触发注入位置，以实现两个攻击目标-高攻击成功率和低清洁精度下降。我们在基准数据集和最先进的神经网络模型上的实验结果表明，该方法在选择触发器注入位置对GNN的后门攻击的有效性。例如，在节点分类任务中，使用GraphLIME选择的触发器注入位置的后门攻击达到了超过$84 \%$攻击的成功率，并且准确率下降小于$2.5 \%$
2021-07-13 cs.CR cs.LG
Human-like visual computing advances explainability and few-shot learning in deep neural networks for complex physiological data
School of Computing Newcastle University（新castle大学计算机学院）；School of Computing University of Leeds（莱斯特大学计算机学院）
本文提出类人视觉计算方法，通过伪彩色技术提升深度神经网络在复杂生理数据中的可解释性和少样本学习能力。
2025-12-26 cs.AI cs.CV cs.HC
Explainability of Recurrent Neural Networks for Enhancing P300-based Brain-Computer Interfaces
Grupo de Neurocomputación Biológica, Departamento de Ingeniería Informática, Escuela Politécnica Superior, Universidad Autónoma de Madrid（生物神经计算组，信息工程系，理工大学高级学院，马德里自治大学）；Grupo de Investigación en Electrónica y Telemática, Universidad Politécnica Salesiana（电子与电信研究组，萨利纳斯理工大学）
本文提出Post-Recurrent Module，通过改进RNN架构提升P300信号分类性能与透明度，结合全局和局部可解释性技术分析时空信号，实现脑区和时间区间识别及模型决策解释，实验显示性能提升9%，并适用于多种EEG任务。
2026-05-11 cs.AI cs.HC cs.LG
Integrating Intrinsic and Extrinsic Explainability: The Relevance of Understanding Neural Networks for Human-Robot Interaction
University of Hamburg（汉堡大学）
可解释的人工智能（XAI）可以帮助培养对智能和自主系统的信任和接受。此外，理解智能体行为的动机会导致机器人和人类之间更好、更成功的合作。然而，不仅人类可以从机器人的解释中受益，机器人本身也可以从向他提供的解释中受益。目前，大多数注意力都集中在解释深度神经网络和黑盒模型上。然而，这些方法中的许多不适用于人形机器人。因此，在这份立场文件中，目前的问题，适应XAI方法来解释neurorobotics的描述。此外，NICO，一个开源的人形机器人平台，介绍了如何由机器人本身的内在解释和外部的解释提供的环境，使有效的机器人行为的互动。
2020-10-09 cs.AI cs.RO
Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks
School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算与信息科学学院）；NEC Laboratories America（美国NEC实验室）；School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
本文针对图神经网络可解释性评估，指出现有保真度指标因分布偏移而失效，提出基于信息论的稳健保真度度量，并在合成与真实数据上验证其与黄金标准更一致。
2024-03-17 cs.LG
Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity
Bayer AG（拜耳公司）
确定分子的哪些部分驱动分子图卷积神经网络（GCNN）的预测可能是困难的。为了提供帮助，我们提出了两种简单的正则化技术，用于GCNN的训练：批量表示正交归一化（BRO）和Gini正则化。BRO受分子轨道理论的启发，鼓励图形卷积运算生成正交节点嵌入。Gini正则化应用于输出层的权重，并限制模型可以用于进行预测的维度数量。我们证明了Gini和BRO正则化可以提高人工基准数据集上最先进的GCNN属性方法的准确性。在现实世界中，我们证明了药物化学家更喜欢从正则化模型中提取的解释。虽然我们只在GCNN的上下文中研究这些正则化器，但两者都可以应用于其他类型的神经网络
2021-08-31 cs.LG stat.ML
FlowX: Towards Explainable Graph Neural Networks via Message Flows
Texas A&M University（德克萨斯A&M大学）；University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；West China Hospital（四川大学华西医院）
FlowX通过识别重要消息流并利用Shapley值近似与信息控制学习，提升图神经网络的可解释性，实验验证其有效性。
2023-12-29 cs.AI cs.LG
Feature Attribution-Based Explainability Analysis of Deep Learning Models in Predictive Process Monitoring
SKEMA Business School（SKEMA商学院）；KU Leuven（鲁汶大学）
研究预测过程监控中深度学习模型黑箱问题，提出基于控制流感知分割算法的局部事后可解释性方法，能计算段级SHAP解释，在合成及真实数据集上评估验证，提升模型可解释性。
2026-07-21 cs.AI cs.LG
A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy, Robustness, Fairness, and Explainability
The Pennsylvania State University（宾夕法尼亚州立大学）；Michigan State University（密歇根州立大学）
本文系统综述了可信图神经网络在隐私、鲁棒性、公平性和可解释性四个方面的研究进展，提出方法分类与通用框架，并展望未来方向及其关联。
2023-09-27 cs.CR cs.LG
Quantifying Explainability of Saliency Methods in Deep Neural Networks with a Synthetic Dataset
Alibaba HealthTech（阿里健康科技）；Nanyang Technological University（南洋理工大学）
事后分析是可解释人工智能（XAI）研究中的一个热点。特别是，生成热图的方法已被用于解释深度神经网络（DNN），一种黑箱模型。热图可能很有吸引力，因为理解它们的直观和可视化方式，但评估它们的质量可能并不简单。不同的方法来评估热图的质量有自己的优点和缺点。本文介绍了一种合成数据集，可以与地面实况热图一起临时生成，以进行更客观的定量评估。每个样本数据都是一个细胞的图像，具有容易识别的特征，这些特征与定位地面真实掩模相区别，因此有助于对不同的XAI方法进行更透明的评估。比较和建议，澄清了不足之处，以及未来的研究方向，以处理更精细的细节选择事后分析方法的建议。此外，mabCAM被引入作为与我们的地面实况热图兼容的热图生成方法。该框架易于推广，并且仅使用标准的深度学习组件。
2022-12-10 cs.AI cs.CV
Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）
针对现有实例级可解释性方法需人工分析、效率低且易有偏差的问题，本研究探索二阶可解释人工智能SOXAI的应用，通过其数据集层面的解释获取可执行洞见，首次证实基于该洞见消除训练集无关概念可提升模型性能。
2023-06-14 cs.AI cs.CV cs.LG
Scalable Partial Explainability in Neural Networks via Flexible Activation Functions
Cranfield University（克兰菲尔德大学）；University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）
在黑盒深度学习算法中实现透明度仍然是一个公开的挑战。深度神经网络（NN）给出的高维特征和决策需要新的算法和方法来揭示其机制。当前最先进的NN解释方法（例如，显着性图，DeepLIFT，LIME等）更多地关注NN输出和输入之间的直接关系，而不是NN结构和操作本身。在当前的深度NN操作中，具有固定激活函数的神经元所扮演的确切角色存在不确定性。在本文中，我们实现了部分可解释的学习模型，通过象征性地解释激活函数（AF）的作用下的可扩展的拓扑结构。这是通过将AF建模为自适应高斯过程（GP）来进行的，该过程基于Kolmogorov-Arnold叠加定理（KST），位于一个新的可扩展NN拓扑结构内。在这种可扩展的NN架构中，AF是由控制点之间的GP插值生成的，因此可以在反向传播过程中通过梯度下降进行调谐。控制点充当AF的局部和全局可调节性的核心使能器，其中GP插值约束内在自相关以避免过拟合。我们发现，在线性KST拓扑缩放下，NN的表达能力和解释复杂性之间存在权衡。为了证明这一点，我们进行了一个案例研究的二元分类数据集的钞票认证。通过定量和定性地研究输入和输出之间的映射关系，我们的可解释模型可以提供对每个一维属性的解释。这些早期的结果表明，我们的模型有潜力作为深度神经网络的最终解释层。
2020-06-10 cs.AI cs.LG stat.ML
Combining Sub-Symbolic and Symbolic Methods for Explainability
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
与其他连接主义模型类似，图神经网络（GNN）在决策过程中缺乏透明度。已经开发了一些子符号方法来提供对GNN决策过程的见解。这些是实现可解释性的第一个重要步骤，但生成的解释对于非人工智能专家的用户来说通常很难理解。为了克服这个问题，我们引入了一个概念的方法结合子符号和符号的方法，以人为中心的解释，结合领域知识和因果关系。此外，我们引入了保真度的概念，作为评估解释与GNN的内部决策过程有多接近的度量。化学数据集和本体的评价表明，我们的方法的解释价值和可靠性。
2021-12-03 cs.AI cs.LG cs.SC
Eclectic Rule Extraction for Explainability of Deep Neural Network based Intrusion Detection Systems
Mississippi State University（密西西比州立大学）；U.S Army Engineer Research and Development Center（美国陆军工程兵研究与发展中心）
本文提出一种混合X-IDS架构，利用折衷规则提取作为黑盒深度神经网络的白盒代理解释器，在UNSW-NB15和CIC-IDS-2017数据集上以99.9%准确率生成可解释且可信的规则集，平衡了可扩展性与可信度。
2024-01-18 cs.AI cs.CR cs.LG
Enhancing Explainability of Graph Neural Networks Through Conceptual and Structural Analyses and Their Extensions
Seoul National University College of Engineering（首尔大学工学院）
本研究提出一种新的XAI框架，通过概念性和结构性分析提升图神经网络的可解释性，以更高效地解释模型决策过程。
2025-12-09 cs.AI cs.IT cs.LG
Towards Self-Explainable Graph Neural Network
The Pennsylvania State University（宾夕法尼亚州立大学）
图神经网络（GNNs）将深度神经网络推广到图结构数据，在图建模方面取得了巨大成功。然而，作为图的深度学习的扩展，GNN缺乏可解释性，这在很大程度上限制了它们在需要模型透明性的场景中的应用。虽然人们已经做出了很多努力来提高深度学习的可解释性，但它们主要集中在i.i.d数据上，这些数据不能直接用于解释GNN的预测，因为GNN利用节点特征和图拓扑来进行预测。关于GNN的可解释性的工作很少，他们专注于事后解释。由于事后解释不是直接从GNN中获得的，因此它们可能会有偏见并歪曲真实的解释。因此，在本文中，我们研究了一个新的问题，自我解释的GNNs，可以同时给出预测和解释。我们提出了一个新的框架，可以找到$K$ -最近的标记节点的每个未标记的节点，给出可解释的节点分类，其中最近的标记节点是由可解释的相似性模块的节点相似性和局部结构相似性。在真实世界和合成数据集上的大量实验证明了所提出的可解释节点分类框架的有效性。
2021-08-26 cs.LG
Beyond the Graph: An Adaptive Meta-Learner Fuses Explainability, Weather, and Dynamics for Robust Bus ETA Prediction
针对公交ETA预测中非线性动态与天气干扰问题，提出自适应混合框架HYB(nm)，融合五种模型并经元学习器动态加权，在加尔各答超4000次行程数据上实现高鲁棒性与先进准确性，并提供可扩展的HYB(k)架构。
2026-09-29 cs.LG
Advancing Attribution-Based Neural Network Explainability through Relative Absolute Magnitude Layer-Wise Relevance Propagation and Multi-Component Evaluation
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算机学院）
针对现有分层相关性传播（LRP）方法及归因评估指标的不足，提出相对绝对幅度LRP新方法与融合多特性的评估指标，在ImageNet、PascalVOC数据集上验证了其在Vision Transformer上的归因解释优势。
2024-12-12 cs.AI cs.CV
May I Ask a Follow-up Question? Understanding the Benefits of Conversations in Neural Network Explainability
Nanyang Technological University（南洋理工大学）；University of Michigan（密歇根大学）
本文研究自由形式对话对XAI静态解释的增强作用，实验表明对话能显著提升用户对模型解释的理解、接受、信任及人机协作效果。
2024-08-12 cs.AI cs.HC
C-SWAP: Explainability-Aware Structured Pruning for Efficient Neural Networks Compression
Thales cortAIx Lab Montreal, QC, Canada（泰雷兹 cortAIx 实验室，加拿大魁北克省蒙特利尔）
针对现有一次性结构化剪枝易导致性能大幅下降的问题，提出基于可解释深度学习的C-SWAP因果感知剪枝框架，在无需微调的情况下实现了模型体积大幅缩减与性能的最优权衡。
2025-10-21 cs.AI cs.CV cs.LG
ExpertLens: Visualizing Embedding Spaces for Post-Hoc Explainability in MoE Enhanced Retrievers
University of Milano-Bicocca（米兰比可卡大学）；Bielefeld University（比勒费尔德大学）
ExpertLens提出一种针对MoE增强密集检索器的事后可解释框架，通过嵌入空间可视化和概念激活向量，揭示专家路由对检索效果的影响，实验验证其能改善嵌入空间结构。
2026-09-09 cs.AI cs.IR
Native Explainability for Bayesian Confidence Propagation Neural Networks: A Framework for Trusted Brain-Like AI
CC BY-NC-SA 4.0
本文提出一种针对贝叶斯置信传播神经网络的可解释性框架，通过定义新的XAI分类法和解释原语，提升模型透明度和边缘设备部署可行性，同时探讨其在工业物联网中的应用前景。
2026-05-12 cs.AI
Hierarchical Pooling and Explainability in Graph Neural Networks for Tumor and Tissue-of-Origin Classification Using RNA-seq Data
Institute of Informatics（信息学院）；Universidade Federal do Rio Grande do Sul（鲁汶联邦大学）；Bioinformatics Core（生物信息学核心）；Hospital de Clínicas de Porto Alegre（波多利亚临床医院）
本文提出了一种基于图神经网络的层次池化方法，用于通过RNA-seq数据分类肿瘤和组织来源，通过可解释性分析揭示了癌症相关基因和生物学过程。
2026-01-10 cs.LG q-bio.GN
Explainable Graph Neural Networks via Structural Externalities
SCSE, University of Electronic Science and Technology of China（电子科学与技术大学信息与通信工程学院）
针对图神经网络黑箱可解释性难题，本文提出基于合作博弈与社会外部性的 GraphEXT 框架，通过联盟划分和外部性 Shapley 值衡量节点结构交互贡献，实验证明其保真度优于基线。
2025-07-19 cs.AI cs.GT cs.LG
DT+GNN: A Fully Explainable Graph Neural Network using Decision Trees
ETH Zurich（苏黎世联邦理工学院）
提出了完全可解释的决策树图神经网络（DT+GNN）结构。与现有的黑箱GNN和事后解释方法相比，DT+GNN的推理可以在每一步进行检查。为了实现这一点，我们首先构建了一个可微的GNN层，它使用节点和消息的分类状态空间。这允许我们将GNN中训练的MLP转换为决策树。这些树使用我们新提出的方法修剪，以确保它们很小，易于解释。我们也可以使用决策树来计算传统的解释。我们在真实世界的数据集和综合GNN可解释性基准上证明，这种架构与传统GNN一样有效。此外，我们利用DT+ GNN的可解释性来发现许多这些数据集的有趣见解，并获得了一些令人惊讶的结果。我们还提供了一个互动的网络工具来检查DT+GNN的决策。
2022-05-26 cs.LG
GISExplainer: On Explainability of Graph Neural Networks via Game-theoretic Interaction Subgraphs
School of Cyber Security and Information Law, Chongqing University of Posts and Telecommunications（重庆邮电大学网络空间安全与信息法学院）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；Chengdu University of Technology（成都理工大学）；School of Software Engineering, Chengdu University of Information Technology（成都信息工程大学软件工程学院）；School of Computer and Information Science, Chongqing Normal University（重庆师范大学计算机与信息科学学院）
本文提出GISExplainer，通过博弈论交互建模多粒度联盟的因果效应，以顺序决策方式生成连通解释子图，从而提升图神经网络节点分类解释的保真度与稀疏性。
2024-12-30 cs.LG cs.SI
A Meta-Learning Approach for Training Explainable Graph Neural Networks
Sapienza University of Rome（罗马大学）
本文研究了图神经网络的可解释性程度。现有的解释器通过寻找全局/局部子图来解释预测，但是它们是在GNN已经被训练之后应用的。在这里，我们提出了一个元学习框架，用于直接在训练时提高GNN的可解释性水平，通过将优化过程转向我们所谓的“可解释的极小值”。我们的框架（称为MATE，MetA-Train to Explain）联合训练模型来解决原始任务，例如，节点分类，并为下游算法提供易于处理的输出，以人性化的方式解释模型的决策。特别是，我们对模型的参数进行元训练，以快速最小化在随机采样节点上动态训练的实例级GNNExplainer的误差。最终的内部表示依赖于一组可以通过解释算法“更好”理解的特征，例如，另一个GNNExplainer实例。我们的模型无关方法可以改进为不同GNN架构生成的解释，并使用任何基于实例的解释器来驱动此过程。在用于节点和图分类的合成和真实世界数据集上进行的实验表明，我们可以生成更容易通过不同算法解释的模型。此外，这种可解释性的增加并没有牺牲模型的准确性。
2022-12-20 cs.LG stat.ML
Model Explainability in Physiological and Healthcare-based Neural Networks
University of Kentucky（肯塔基大学）；Tencent（腾讯）
针对传统接触式SpO2测量的局限与智能手机非接触测量的难点，提出含ROI提取、空间平均生成RGB时序、输入光生理学启发CNN的三步法，实现消费级手机视频高效准确测SpO2，适用于远程医疗等场景。
2023-04-03 cs.AI cs.CV cs.CY
Explainable Graph Neural Networks for Observation Impact Analysis in Atmospheric State Estimation
Korea Institute of Atmospheric Prediction Systems（韩国大气预测系统研究所）；The Catholic University of Korea（韩国天主教大学）
本文提出结合图神经网络和基于梯度的可解释性方法，通过构建气象图并提取$k$-跳子图来估计大气状态，量化不同观测的重要性，从而优化天气预报中的观测数据。
2024-03-26 cs.AI cs.CY
Content Bias in Deep Learning Image Age Approximation: A new Approach Towards better Explainability
University of Salzburg（萨尔茨堡大学）
本文提出一种评估图像内容偏差的新方法，用合成图像验证并揭示深度学习年龄分类模型高度依赖内容，进而评估隐写分析模型和预处理技术作为对策。
2024-05-02 cs.AI cs.CV
On Explainability in AI-Solutions: A Cross-Domain Survey
comlet Verteilte Systeme GmbH（comlet分布式系统有限公司）；DFKI（德国人工智能研究中心）
人工智能（AI）越来越显示出其超越谓词逻辑算法和人类控制的潜力。在自动导出系统模型时，人工智能算法学习人类无法检测到的数据中的关系。然而，这种强大的力量也使人工智能方法的使用变得可疑。模型越复杂，人类就越难理解决策的推理。目前，全自动AI算法是稀疏的，每个算法都必须为人类操作员提供推理。对于数据工程师来说，准确性和敏感性等指标就足够了。然而，如果模型与非专家交互，解释必须是可以理解的。这项工作提供了一个广泛的调查，这一主题的文献，其中，在很大程度上，包括其他调查。这些发现被映射到解释决策的方式和解释决策的原因。这表明，原因和方法的异质性和可解释性导致个人的解释框架。
2022-10-11 cs.AI cs.LG
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
A Survey of Trustworthy Graph Learning: Reliability, Explainability, and Privacy Protection
Tencent AI Lab（腾讯人工智能实验室）；Sun Yat-sen University（中山大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Zhejiang University（浙江大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking University（北京大学）；Tsinghua University（清华大学）；Zhejiang Lab（之江实验室）
深度图学习在商业和科学领域都取得了显着的进展，从金融和电子商务到药物和先进材料发现。尽管取得了这些进展，但如何确保各种深度图学习算法以对社会负责的方式行事并满足监管合规要求成为一个新出现的问题，特别是在风险敏感的领域。可信图学习（TwGL）旨在从技术角度解决上述问题。与主要关心模型性能的传统图学习研究相比，TwGL考虑了图学习框架的各种可靠性和安全性，包括但不限于鲁棒性，可解释性和隐私性。在本次调查中，我们从可靠性、可解释性和隐私保护三个维度对TwGL领域的最新领先方法进行了全面回顾。我们对现有的工作进行了一般分类，并回顾了每个类别的典型工作。为了给TwGL研究提供进一步的见解，我们提供了一个统一的视图来检查以前的作品，并建立它们之间的联系。最后指出了TwGL在未来发展中尚待解决的一些重要问题。
2022-05-23 cs.AI cs.LG
Neural Activation Patterns (NAPs): Visual Explainability of Learned Concepts
Ulm University（乌尔姆大学）；Linköping University（林雪平大学）
破译神经网络内部工作原理的关键是理解模型学习了什么。用于发现学习特征的有前景的方法基于分析激活值，由此当前技术集中于分析高激活值以揭示神经元水平上的感兴趣的特征。然而，分析高激活值限制了层级概念发现。我们提出了一种方法，而是考虑到整个激活分布。通过在神经网络层的高维激活空间中提取相似的激活配置文件，我们找到了被相似处理的输入组。这些输入组表示神经激活模式（NAP），可用于可视化和解释学习的层概念。我们发布了一个框架，可以从预训练的模型中提取NAP，并提供一个可用于分析NAP的可视化内省工具。我们用各种网络测试了我们的方法，并展示了它如何补充现有的分析神经网络激活值的方法。
2022-06-20 cs.AI cs.LG
Neuro-Symbolic AI: Explainability, Challenges, and Future Trends
Texas Tech University（德克萨斯理工大学）
针对神经网络可解释性不足的问题，本文基于191项神经符号AI研究提出五类可解释性分类法，分析三大挑战，并为未来研究提出建议。
2024-11-07 cs.AI cs.LG
A Survey on the Explainability of Supervised Machine Learning
Fraunhofer Institute for Optronics, System Technologies, and Image Exploitation IOSB（弗劳恩霍夫光电、系统技术与图像利用研究所IOSB）；University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）
通过以下方式获得的预测，例如，人工神经网络具有高精度，但是人类通常将模型视为黑盒。对人类来说，关于决策的见解大多是不透明的。特别是了解医疗保健或金融等高度敏感领域的决策至关重要。黑盒子背后的决策过程要求它更加透明、负责和易于理解。这篇调查论文提供了基本的定义，概述了可解释的监督机器学习（SML）的不同原理和方法。我们进行了一个国家的最先进的调查，回顾过去和最近的可解释的SML方法，并根据介绍的定义进行分类。最后，我们通过一个解释性的案例研究来说明原则，并讨论未来的重要方向。
2020-11-16 cs.AI cs.LG stat.ML
VeriX: Towards Verified Explainability of Deep Neural Networks
Stanford University（斯坦福大学）
本文提出 VeriX 系统，结合约束求解与特征敏感性排序启发式方法，为深度神经网络生成最优鲁棒解释和决策边界反事实，并在图像基准与自主飞机滑行场景中验证。
2023-09-26 cs.LG
