Explainability in Neural Networks for Natural Language Processing Tasks
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；University of Gondar（贡德尔大学）；SOS HGS
本文使用 LIME 解释文本分类 MLP 的单个特征贡献，评估其局部解释价值，并指出其在全局模式与特征交互捕捉上的局限。
2025-01-08 cs.AI cs.CL
An Unsupervised Approach to Achieve Supervised-Level Explainability in Healthcare Records
University of Copenhagen（哥本哈根大学）；LUT University（拉普兰塔理工大学）；Corti（科尔蒂公司）
本文提出一种无监督方法，通过对抗鲁棒性训练和新解释方法AttInGrad，在自动医疗编码任务上实现与监督方法相当或更优的解释质量。
2024-09-28 cs.LG
Counterfactual Explanations and Algorithmic Recourses for Machine Learning: A Review
University of Washington（华盛顿大学）；Arthur AI（亚瑟人工智能公司）
机器学习在许多已部署的决策系统中发挥作用，通常以人类利益相关者难以或不可能理解的方式发挥作用。以人类可理解的方式解释机器学习模型的输入和输出之间的关系对于开发基于可信机器学习的系统至关重要。一个新兴的研究主体试图定义机器学习中可解释性的目标和方法。在本文中，我们试图对反事实解释的研究进行回顾和分类，反事实解释是一种特定的解释，它提供了一种联系，如果模型的输入以特定的方式改变，可能会发生什么。机器学习中的反事实可解释性的现代方法与许多国家的既定法律原则相联系，使它们对金融和医疗保健等高影响领域的现场系统具有吸引力。因此，我们设计了一个具有理想特性的反事实解释算法的量规，并对该量规全面评估了目前提出的所有算法。我们的标题提供了不同方法的优点和缺点的简单比较和理解，并作为该领域主要研究主题的介绍。我们还确定了差距，并讨论了有前途的研究方向，在空间的反事实的可解释性。
2022-11-15 cs.AI cs.LG stat.ML
Impact of Adversarial Attacks on Deep Learning Model Explainability
Iowa State University（爱荷华州立大学）
本文研究对抗攻击对深度学习模型可解释性的影响，发现FGSM和BIM攻击虽大幅降低模型准确率（从89.94%降至58.73%和45.50%），但IoU和RMSE等解释性指标变化极小，表明这些指标对对抗扰动不敏感。
2024-12-15 cs.AI cs.CV cs.LG
Explainability in Practice: Estimating Electrification Rates from Mobile Phone Data in Senegal
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学院）；Orange Innovation（Orange创新公司）
本文提出一个XAI用例，通过塞内加尔移动电话数据训练ML模型估算电气化率，发现模型在人口密度上存在偏差，并指出数据处理限制与领域知识重要性两大挑战。
2023-06-29 cs.CY cs.LG
Explanation Beyond Intuition: A Testable Criterion for Inherent Explainability
School of Computer Science, University of Auckland（计算机科学学院，奥克兰大学）
本文提出一个可检验的内在可解释性标准，利用图论分解模型并重新组合以生成全局解释，证明PREDICT模型具有内在可解释性。
2025-12-19 cs.AI cs.LG
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
EvalxNLP: A Framework for Benchmarking Post-Hoc Explainability Methods on NLP Models
Technical University of Munich, School of Computation, Information and Technology, Department of Computer Science（慕尼黑技术大学，计算信息学院，计算机科学系）
本文提出EvalxNLP框架，集成八种可解释性技术，支持对基于Transformer的NLP模型生成和评估解释，并提供基于LLM的交互式文本解释，用户满意度高。
2025-05-02 cs.AI cs.CL cs.LG
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo（东京大学）
图神经网络（GNN）是将图数据作为输入的深度学习模型，并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而，由于GNN的复杂性，很难分析输入的哪些部分影响GNN模型的输出。在这项研究中，我们扩展了卷积神经网络（CNN）的可解释性方法，例如局部可解释模型不可知性解释（LIME），基于显着性的映射和基于显着性的加权类激活映射（Grad-CAM）到GNN，并预测输入图中的哪些边对GNN决策很重要。实验结果表明，基于LIME的方法是最有效的可解释性方法，在现实世界的情况下，多个任务，甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
ALMANACS: A Simulatability Benchmark for Language Model Explainability
Berkeley AI Research（伯克利人工智能研究院）
本文提出了ALMANACS，一个自动化语言模型可解释性基准，通过可模拟性评估解释方法对新输入行为预测的改善程度，发现现有方法均未优于无解释对照组，表明开发有效辅助可模拟性的解释方法仍是开放挑战。
2025-02-02 cs.AI cs.CL cs.LG
Evaluating Explainability for Graph Neural Networks
Adobe（奥多比公司）；University of Tennessee（田纳西大学）；Harvard Business School（哈佛商学院）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science Initiative（哈佛数据科学研究院）
随着事后解释越来越多地用于理解图神经网络（GNN）的行为，评估GNN解释的质量和可靠性变得至关重要。然而，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对于给定的任务没有或不可靠的地面实况解释。在这里，我们介绍一个合成图数据生成器，ShapeGGen，它可以生成各种基准数据集（例如，变化的图大小、度分布、同亲图与异亲图），并伴有地面实况解释。此外，生成各种合成数据集和相应的地面实况解释的灵活性使我们能够模拟各种真实世界应用程序生成的数据。我们将ShapeGGen和几个真实世界的图形数据集纳入开源图形解释库GraphXAI。除了具有地面实况解释的合成和真实世界图形数据集外，GraphXAI还提供数据加载器，数据处理功能，可视化工具，GNN模型实现和评估指标，以基准测试GNN可解释性方法的性能。
2023-01-16 cs.AI cs.LG
The Effect of Model Size on LLM Post-hoc Explainability via LIME
University College London（伦敦大学学院）
本文通过 LIME 分析四种规模 DeBERTaV3 在 NLI 与零样本分类上的事后解释，发现规模提升改善性能却不提升解释合理性，并揭示忠实度指标局限。
2024-05-08 cs.AI cs.CL cs.LG
The Road to Explainability is Paved with Bias: Measuring the Fairness of Explanations
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Unity Health Toronto（多伦多团结健康医院）
医疗保健等安全关键环境中的机器学习模型通常是黑盒：它们包含大量对用户不透明的参数。事后可解释性方法，其中一个简单的，人类可解释的模型模仿这些黑盒模型的行为，经常被提出来帮助用户信任模型预测。在这项工作中，我们审计质量的不同的保护亚组使用真实的数据，从四个设置在金融，医疗保健，大学招生和美国司法系统的解释。在两种不同的黑盒模型架构和四种流行的可解释性方法中，我们发现解释模型的近似质量（也称为保真度）在子组之间存在显着差异。我们还证明，配对的可解释性方法与强大的机器学习的最新进展，可以提高解释的公平性，在某些设置。然而，我们强调了向用户传达非零保真度差距细节的重要性，因为单个解决方案可能不存在于所有设置中。最后，我们讨论了不公平的解释模型作为一个具有挑战性的和欠研究的问题所面临的机器学习社区的影响。
2022-06-02 cs.AI cs.CY cs.LG
Gender Bias in Explainability: Investigating Performance Disparity in Post-hoc Methods
Technical University of Munich（慕尼黑技术大学）；School of Computation, Information and Technology（计算、信息与技术学院）；Department of Computer Science（计算机科学系）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文发现广泛使用的事后特征归因方法在三项任务和五个语言模型上表现出显著的性别差异，即使使用无偏见数据集训练依然存在，强调了在可解释性方法中解决解释公平性的重要性。
2025-05-02 cs.AI cs.CL cs.LG
Explainability for Large Language Models: A Survey
New Jersey Institute of Technology（新泽西理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Wake Forest University（维克森林大学）；University of Georgia（佐治亚大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Baidu Inc.（百度公司）；Rice University（莱斯大学）
本文综述了大型语言模型的可解释性技术，按微调与提示两种训练范式分类梳理局部和全局解释方法，并讨论了评估指标、模型调试应用及LLM时代的新挑战与机遇。
2023-11-28 cs.AI cs.CL cs.LG
A Psychological Theory of Explainability
Rutgers University–Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（普林斯顿高等研究院）
可解释的人工智能（XAI）的目标是生成人类可解释的解释，但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行，在个案的基础上，这阻碍了XAI的系统理论建设。我们提出了一个心理学理论，人类如何从显着图中得出结论，显着图是XAI解释的最常见形式，它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设，在没有解释的情况下，人类期望人工智能做出与自己类似的决定，并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的，通过谢泼德的普遍规律的推广相似空间，一个经典的理论，从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明，我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne（墨尔本大学）；University of California, Irvine（加州大学欧文分校）
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定（例如拒绝贷款申请），那么它既需要解释为什么做出这个决定，也需要解释个人如何获得他们想要的结果（如果可能的话）。目前，这通常是使用反事实的解释，但这种解释一般不告诉个人如何行动。我们断言，反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先，我们提出了一个在线研究的结果，调查人们的看法的指示性解释。其次，我们提出了一个概念模型来产生这样的解释。我们的在线研究显示，人们对指令性解释（$p<0.001$）有明显的偏好。然而，受试者偏好的解释类型受到多种因素的影响，如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Rethinking Explainability in the Era of Multimodal AI
University of Virginia（弗吉尼亚大学）
该研究指出单模态解释无法捕捉多模态AI模型的跨模态决策影响，提出三大多模态解释核心原则，以提升模型可靠性与高风险场景安全性。
2025-06-16 cs.AI cs.LG
Towards LLM-guided Causal Explainability for Black-box Text Classifiers
Arizona State University（亚利桑那州立大学）
针对NLP黑盒文本分类器因果可解释性实现难的问题，本研究提出利用LLM的指令遵循与文本理解能力，通过三步流水线生成反事实解释，实验验证了该方法的可行性与前景。
2024-01-29 cs.AI cs.CL cs.LG
Rethinking Attention-Model Explainability through Faithfulness Violation Test
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）
注意力机制决定着深层模型的可解释性。它们在输入上产生概率分布，这被广泛认为是特征重要性指标。然而，在本文中，我们发现一个关键的限制，注意力的解释：在识别功能的极性影响的弱点。这在某种程度上会产生误导--具有较高注意力权重的特征可能不会忠实地对模型预测做出贡献;相反，它们会施加抑制效应。有了这一发现，我们反映了目前的注意力为基础的技术，如注意力$\odot$梯度和LRP为基础的注意力解释的可解释性。首先，我们提出了一个可行的诊断方法（以下简称忠实违反测试）来衡量解释权重和影响极性之间的一致性。通过大量的实验，我们发现，大多数测试的解释方法出乎意料地阻碍了忠实违反问题，特别是原始的注意。对违规问题影响因素的实证分析进一步为注意模型中采用解释方法提供了有益的观察。
2022-07-05 cs.CL cs.CV cs.LG
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology（马尼帕尔理工学院）；IBM Research（IBM研究院）
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比，图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务，即实体匹配，我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
STEP-EZ: Syntax Tree guided semantic ExPlanation for Explainable Zero-shot modeling of clinical depression symptoms from text
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所）
我们专注于探索零射击学习（Zero-Shot Learning，简称ZRL）的各种方法，以及它们对一个具有挑战性但又重要的监督学习任务的可解释性，该任务因训练数据稀缺而臭名昭著，即从文本中进行抑郁症状检测（Depression Symptoms Detection，简称DSD）。我们首先全面综合了我们的EML建模的不同组成部分，并在执业临床医生的帮助下分析了我们的地面真实样本和抑郁症状线索的治疗过程。接下来，我们将分析各种最先进的ARML模型的准确性及其对我们任务的潜在增强。此外，我们勾勒出一个框架，使用的层次化的基于文本的解释机制，我们称之为，语义树引导的语义解释（STEP）。最后，我们总结了实验，从中我们得出结论，我们可以使用CNOL模型，并实现合理的准确性和可解释性，衡量一个建议的可解释性指数（EI）。这项工作是，据我们所知，第一次工作，详尽地探讨的有效性，DSDtask，无论是在准确性和可解释性方面的CNOL模型。
2021-06-23 cs.AI cs.CL cs.IR
Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models
Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））；KU Leuven（鲁汶大学）
本文在流程结果预测中通过可解释性和忠实度定义可解释性，在13个真实事件日志上对7个分类器进行基准测试，并提出X-MOP指南以帮助基于事件日志规范选择合适的模型。
2023-07-30 cs.AI cs.LG cs.SE
Towards a Rigorous Evaluation of Explainability for Multivariate Time Series
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Umeå University（于默奥大学）
基于机器学习的系统正在迅速普及，与此相一致的是，在可解释性领域出现了巨大的研究热潮，以确保机器学习模型是可靠的，公平的，并且可以对其决策过程负责。可解释的人工智能（XAI）方法通常用于调试黑盒机器学习模型，但与表格、文本和图像数据相比，时间序列的可解释性仍然相对未被探索。本研究的目的是在时间序列预测问题中实现和评估模型不可知的可解释性。这项工作的重点是为一家数字咨询公司提供解决方案，该公司旨在找到一种数据驱动的方法，以了解其销售相关活动对销售交易的影响。该解决方案涉及框架的问题作为一个时间序列预测问题来预测的销售交易和可解释性实现了使用两种新的模型不可知的可解释性技术，本地可解释的模型不可知的解释（LIME）和Shapley添加剂的解释（SHAP），这是使用人类评价的可解释性。结果清楚地表明，LIME和SHAP产生的解释极大地帮助了普通人理解机器学习模型的预测。所提出的工作可以很容易地扩展到任何时间
2021-04-06 cs.AI cs.LG
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain（索尼人工智能，巴塞罗那，西班牙）
针对知识图谱补全缺乏统一事后解释框架的问题，提出基于多目标优化的分类法，统一现有算法，改进评估协议，强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
Generative Example-Based Explanations: Bridging the Gap between Generative Modeling and Explainability
Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；Technical University of Applied Sciences Würzburg-Schweinfurt（应用科学大学魏玛-施维林分校）；Bielefeld University（比勒菲尔德大学）
本文提出一个概率框架，正式定义基于示例的解释，弥合深度生成建模与可解释性文献的鸿沟，以促进沟通、严谨性和研究进展。
2025-09-10 cs.CY cs.LG stat.ML
Weakly Supervised Multi-task Learning for Concept-based Explainability
Feedzai
在ML辅助决策任务中，例如欺诈检测或医疗诊断，通常是没有技术ML知识的领域专家，更喜欢基于概念的高级解释，而不是基于模型特征的低级解释。为了获得忠实的基于概念的解释，我们利用多任务学习来训练一个神经网络，该神经网络联合学习以基于先前可解释性任务的预测来预测决策任务（即，多标签概念）。有两个主要的挑战需要克服：概念标签稀缺和联合学习。为了解决这两个问题，我们建议：i）使用专家规则来生成一个大型的噪声概念标签数据集，ii）应用两种不同的多任务学习策略，结合噪声和黄金标签。我们将这些策略与现实世界中的欺诈检测应用程序中的完全监督方法进行比较，其中很少有可用于可解释性任务的黄金标签。在可解释性和决策任务分别提高了9.26%和417.8%，我们的研究结果表明，通过结合异质质量的标签，可以提高这两项任务的性能。
2021-04-26 cs.AI cs.LG
A Formal Approach to Explainability
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
我们把解释看作是输入样本和模型输出的混合，并提供了一些定义，这些定义捕捉了生成这些解释的函数的各种所需属性。我们研究了这些属性之间的联系，以及学习模型的解释生成函数和中间表示之间的联系，并且能够证明，例如，如果给定层的激活与解释一致，那么所有其他后续层也是如此。此外，我们还研究了解释的交集和并集，作为构建新解释的一种方式。
2020-01-15 cs.LG stat.ML
Explanation Ontology: A Model of Explanations for User-Centered AI
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
可解释性一直是人工智能（AI）系统的目标，因为它们的概念，随着更复杂的AI模型越来越多地用于关键的，高风险的设置，如医疗保健，对可解释性的需求越来越大。解释通常以非原则性的、事后的方式添加到人工智能系统中。随着这些系统的广泛采用和对以用户为中心的可解释性的强调，需要一种结构化的表示，将可解释性作为主要考虑因素，将最终用户需求映射到特定的解释类型和系统的AI功能。我们设计了一个解释本体模型的解释，占系统和用户属性的过程中的作用，以及不同的文献衍生的解释类型的范围。我们指出本体如何可以支持用户的需求，在医疗保健领域的解释。我们评估我们的本体与一组面向系统设计师谁可能使用我们的本体来决定哪些解释类型，包括一组能力问题，给出了用户的需求和系统的能力相结合，无论是在系统设计设置和实时操作。通过使用这种本体，系统设计人员将能够做出明智的选择，人工智能系统可以并且应该提供哪些解释。
2020-10-04 cs.AI cs.HC cs.LG
Logic-Based Explainability in Machine Learning
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
在过去的十年里，机器学习（ML）取得了越来越多的成功。这些成功提供了明确的证据，表明ML必将在广泛的实际应用中变得普遍，包括许多直接影响人类的应用。不幸的是，人类决策者无法理解最成功的ML模型的操作。因此，ML模型的使用，特别是在高风险和安全关键环境中的使用并非没有问题。近年来，人们一直在努力设计解释ML模型的方法。这些努力大多集中在所谓的模型无关的方法。然而，所有与模型无关的和相关的方法都不能保证严格性，因此被称为非正式的。例如，这种非正式的解释可以与不同的预测相一致，这使得它们在实践中毫无用处。本文概述了正在进行的关于计算ML模型的严格的基于模型的解释的研究工作;这些被称为形式化解释。这些努力涵盖了各种主题，包括解释的实际定义，计算解释的复杂性的表征，当前用于推理不同ML模型的最佳逻辑编码，以及如何使解释可供人类决策者解释等。
2023-01-29 cs.AI cs.LG
Rethinking Explainability as a Dialogue: A Practitioner's Perspective
Harvard University（哈佛大学）；UC Irvine（加州大学欧文分校）；University of Chicago（芝加哥大学）；AI2（艾伦人工智能研究所）
随着从业者越来越多地在医疗保健、金融和政策等关键领域部署机器学习模型，确保领域专家与这些模型一起有效运作变得至关重要。可解释性是弥合人类决策者和机器学习模型之间差距的一种方法。然而，大多数关于可解释性的现有工作都集中在一次性的静态解释上，如特征重要性或规则列表。对于许多需要利益相关者动态、持续发现的用例来说，这些解释可能还不够。在文献中，很少有著作询问决策者现有解释的效用以及他们希望在未来的解释中看到的其他必要条件。在这项工作中，我们解决了这一差距，并进行了一项研究，我们采访了医生，医疗保健专业人员和政策制定者，了解他们对解释的需求和愿望。我们的研究表明，决策者强烈倾向于互动的解释形式的自然语言对话。领域专家希望将机器学习模型视为“另一个同事”，即，一个可以通过询问他们为什么通过表达和可访问的自然语言交互做出特定决定来追究责任的人。考虑到这些需求，我们概述了一组五个原则，研究人员应该遵循时，设计交互式解释作为未来工作的起点。此外，我们展示了为什么自然语言对话满足这些原则，是一个理想的方式来建立互动的解释。接下来，我们提供了一个设计的对话系统的可解释性和讨论的风险，权衡，并建立这些系统的研究机会。总的来说，我们希望我们的工作可以作为研究人员和工程师设计交互式可解释性系统的起点。
2022-02-03 cs.LG
Explanations Go Linear: Post-hoc Explainability for Tabular Data with Interpretable Meta-Encoding
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会ISTI研究所）；Scuola Normale Superiore - Pisa, Italy（比萨大学正常学院 - 意大利）
本文提出ILLUME框架，结合全局训练的替代模型与实例特定的线性变换，生成准确且高效的局部和全局解释，解决传统替代方法的局限性。
2026-03-18 cs.LG
A Quantitative Evaluation Framework for Temporal Explainability in Echocardiographic Video Segmentation
University of Toronto（多伦多大学）
本文提出一个定量评估框架，用四个指标衡量超声心动图视频分割中Grad-CAM时间可解释性，发现中间层解释不稳定，时间瓶颈更稳定，并推动时间感知XAI方法。
2026-09-09 cs.CV cs.LG
Topological Representations of Local Explanations
New York University（纽约大学）；Microsoft Research（微软研究院）；University of São Paulo（圣保罗大学）；Capital One（第一资本）
局部可解释性方法--那些试图为每个预测产生解释的方法--正变得越来越普遍，因为从业者需要合理化他们的模型输出。然而，比较局部可解释性方法是困难的，因为它们各自产生不同尺度和维度的输出。此外，由于一些可解释性方法的随机性，一种方法的不同运行可能会对给定的观察结果产生矛盾的解释。在本文中，我们提出了一个基于拓扑的框架，从一组本地的解释提取一个简化的表示。我们首先将解释空间和模型预测之间的关系建模为标量函数。然后，我们计算这个函数的拓扑骨架。这种拓扑骨架作为这样的功能，我们使用比较不同的解释方法的签名。我们证明了我们的框架不仅可以可靠地识别可解释性技术之间的差异，而且还提供了稳定的表示。然后，我们将展示如何使用我们的框架来确定适当的参数，局部可解释性方法。我们的框架是简单的，不需要复杂的优化，并可以广泛应用于大多数本地解释方法。我们相信，我们的方法的实用性和多功能性将有助于促进基于拓扑的方法作为一种工具，理解和比较解释方法。
2022-01-06 cs.LG
Comparing Neural Network Encodings for Logic-based Explainability
Instituto Federal do Ceará (IFCE)（巴西塞阿拉联邦大学）
本研究比较了两种将人工神经网络编码为逻辑约束的方法，用于基于逻辑的可解释性，发现调整后的编码在构建约束和总体时间上分别提升高达18%和16%，同时保持相似的解释计算时间。
2025-05-26 cs.AI cs.LG cs.LO
Combining Sub-Symbolic and Symbolic Methods for Explainability
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
与其他连接主义模型类似，图神经网络（GNN）在决策过程中缺乏透明度。已经开发了一些子符号方法来提供对GNN决策过程的见解。这些是实现可解释性的第一个重要步骤，但生成的解释对于非人工智能专家的用户来说通常很难理解。为了克服这个问题，我们引入了一个概念的方法结合子符号和符号的方法，以人为中心的解释，结合领域知识和因果关系。此外，我们引入了保真度的概念，作为评估解释与GNN的内部决策过程有多接近的度量。化学数据集和本体的评价表明，我们的方法的解释价值和可靠性。
2021-12-03 cs.AI cs.LG cs.SC
LAVA: Explainability for Unsupervised Latent Embeddings
Delft University of Technology, The Netherlands（代尔夫特理工大学，荷兰）
LAVA是一种无监督嵌入可解释性方法，通过输入数据特征共变揭示局部嵌入结构，发现领域相关模式。
2026-01-30 cs.AI cs.LG
SES: Bridging the Gap Between Explainability and Prediction of Graph Neural Networks
School of Internet（互联网学院）；Anhui University（安徽大学）；Amazon Research（亚马逊研究院）；University of California Irvine（加州大学欧文分校）
提出自解释且自监督的图神经网络SES，通过可解释训练和增强预测学习两个过程，利用全局掩码生成器生成结构与特征掩码，并基于掩码构建正负样本对进行对比学习，从而弥合可解释性与预测性能之间的差距。
2024-07-25 cs.AI cs.LG
Does Explainability Survive Data Drift?
本文研究数据漂移下解释保真度是否衰减，发现协变量漂移存在但概念漂移不显著，旧解释不如新解释忠实，需单独监控解释保真度。
2026-10-06 cs.AI cs.LG
Explainability for Machine Learning Models: From Data Adaptability to User Perception
l’Université de Rennes（雷恩大学）；IRISA（IRISA研究所）；Univ. Sorbonne（索邦大学）；LIP6（LIP6实验室）；Trento University（特伦托大学）；Univ. Artois（阿图瓦大学）；KU Leuven（鲁汶大学）；Aalborg University（奥尔堡大学）；Institut Agro（法国农艺学院）；INRIA（法国国家信息与自动化研究所）
本论文研究为已部署机器学习模型生成局部解释的方法，通过增强规则解释、评估线性解释及比较反事实解释，并结合用户实验，提升了AI系统的透明度、可信度与可用性。
2024-02-16 cs.AI cs.HC cs.LG
VeriX: Towards Verified Explainability of Deep Neural Networks
Stanford University（斯坦福大学）
本文提出 VeriX 系统，结合约束求解与特征敏感性排序启发式方法，为深度神经网络生成最优鲁棒解释和决策边界反事实，并在图像基准与自主飞机滑行场景中验证。
2023-09-26 cs.LG
Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data
GECAD, ISEP, Polytechnic of Porto（GECAD、ISEP、波尔图理工大学）
研究局部可解释性技术在复杂表格分类任务中的可信度，通过基准测试LIME、Kernel SHAP和特征消融技术，发现解释质量主要受数据集复杂性和特征分布影响，而非模型预测性能。
2026-06-16 cs.LG
Task and Explanation Network
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
提出Task and Explanation Network（TENet）框架，将任务完成与解释整合，强调AI领域应重视可解释性。
2024-01-03 cs.AI cs.LG cs.NE
Shapley explainability on the data manifold
Faculty
人工智能的可解释性对于模型开发、遵守法规以及为预测提供操作上的细微差别至关重要。Shapley可解释性框架以数学原则和模型不可知的方式将模型的预测归因于其输入特征。然而，Shapley可解释性的一般实现做出了一个站不住脚的假设：模型的特征是不相关的。在这项工作中，我们证明了这一假设的明确的缺点，并制定了两个解决方案，尊重数据流形的Shapley解释。一种解决方案基于生成式建模，提供了对数据估算的灵活访问;另一种直接学习Shapley值函数，以牺牲灵活性为代价提供性能和稳定性。虽然“非流形”Shapley值可能（i）导致不正确的解释，（ii）隐藏对敏感属性的隐式模型依赖，以及（iii）导致高维数据中的难以理解的解释，但流形上的可解释性克服了这些问题。
2021-12-20 cs.AI cs.LG stat.ML
The Inadequacy of Shapley Values for Explainability
University of Toulouse（图卢兹大学）；IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
本文提出了一个严格的论点，说明为什么在可解释人工智能（XAI）中使用Shapley值必然会产生关于特征对预测的相对重要性的可证明的误导性信息。具体地说，本文证明了存在分类器和相关的预测，其中由Shapley值确定的特征的相对重要性将错误地将更多的重要性分配给可证明与预测无关的特征，而将较少的重要性分配给可证明与预测相关的特征。本文还认为，鉴于最近的复杂性结果，存在有效的算法计算严格的功能属性值的情况下，一些限制类的分类器应被视为最好的不太可能。
2023-02-16 cs.AI cs.LG
Explainability is NOT a Game
IRIT（IRIT（图卢兹计算机科学、集成与建模研究所））；CNRS（法国国家科学研究中心）；University of Toulouse（图卢兹大学）
本文论证Shapley值在可解释AI中可能误导特征重要性度量，挑战其在高风险领域的应用。
2024-02-09 cs.AI cs.LG
A Theoretical Framework for AI Models Explainability with Application in Biomedicine
Ca’ Foscari University（威尼斯大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of British Columbia（不列颠哥伦比亚大学）
针对可解释人工智能缺乏统一术语与严谨结构框架的问题，本研究综合文献提出新的解释定义，明确解释由模型证据与人类解读组成，并基于忠实性、合理性属性构建理论框架，简化属性落地并为常见解释方法带来新启发。
2023-06-14 cs.AI cs.CV cs.LG
Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease
本文提出多级框架提升AD诊断预后模型SHAP解释的稳健性和一致性，通过整合相干性、稳定性与跨任务一致性验证解释的可靠性。
2026-03-06 cs.AI cs.LG
Stabilising Explainability Fragility in Cybersecurity AI: The Impact and Mitigation of Multicollinearity in Public Benchmark Datasets
Netrity Ltd（Netrity有限公司）；University of Glasgow（格拉斯哥大学）
本文研究了在入侵检测（IDS）中使用AI可解释性时的一个未被探索但重要的漏洞：多重共线性导致的不稳定性。尽管广泛依赖于事后可解释性工具如SHAP或LIME，但相关特征对解释鲁棒性的影响未被评估。我们引入了一个正式定理，表明多重共线性会放大归因方差。这证明了在多重共线性下，解释和特征重要性是非可识别的。在代表性的基准数据集UNSW-NB15上，通过一系列全面的实验验证了该定理。评估了四种广泛使用的模型家族，包括线性、基于树的、核和神经网络模型，在基于VIF和相关性阈值的完整和剪枝特征集上。我们提出了新的指标Explanability Fragility Score，并提出了两种新的缓解方法，具有变量整合复杂度。CAA-Filtering专注于通过分组训练模型的归因来稳定解释。SHARP是一种新的训练时间正则化框架，通过惩罚归因不稳定性，使可解释性稳定性可控且单调提高。研究结果支持稳定的预测性能，使用Kendall's τ量化在重采样解释中的不稳定性。这项工作对XAI在安全关键领域中的可信度和可重复性有直接影响，并促使将多重共线性缓解措施纳入IDS流程，为从业者提供了一套指南。
2026-05-21 cs.AI cs.LG
A Completion-Aware Framework for Impactful Counterfactual Explainability in Graph Neural Networks
Institute of Computer Science, Foundation for Research and Technology - Hellas (FORTH)（计算机科学研究所，研究与技术基金会 - 希腊（FORTH））；Computer Science Department, University of Crete（克里特大学计算机科学系）
提出一种通用的、模型无关的局部反事实解释框架，通过结合事实可解释性与缺失边预测模型，提升图神经网络解释的质量、鲁棒性和直观性。
2026-06-23 cs.AI cs.LG
A Human-Centered Validation of the Explainability-Performance Coefficient
Universidad Autónoma de Madrid（马德里自治大学）
本研究提出模型无关的EPC分数，量化解释质量，经多模态实证及人类解释验证，可揭示网络激活等依赖关系，与人类判断高度一致。
2026-08-03 cs.AI cs.CV cs.LG
AIMing for Standardised Explainability Evaluation in GNNs: A Framework and Case Study on Graph Kernel Networks
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出AIM框架，用于评估图神经网络的解释性，通过实例级和模型级解释提升解释性评估的全面性，并以图核网络为例展示改进模型xGKN的开发。
2026-05-15 cs.LG
TsSHAP: Robust model agnostic feature-based explainability for time series forecasting
IBM Research（IBM研究院）
一个值得信赖的机器学习模型应该是准确的和可解释的。理解模型为什么做出某个决定定义了可解释性的概念。虽然在分类和回归等监督学习范式中已经充分研究了各种各样的可解释性，但关于时间序列预测的可解释性的文献相对较少。在本文中，我们提出了一个基于特征的可解释性算法，TsSHAP，可以解释任何黑箱预测模型的预测。该方法是不可知的预测模型，并可以提供解释的预测由用户定义的可解释的功能之前。这些解释是根据通过在代理模型上应用TreeSHAP算法获得的SHAP值进行的，该代理模型学习可解释的特征空间与黑盒模型的预测之间的映射。此外，我们形式化的概念，本地，半本地和全球的时间序列预测的背景下，这可能是有用的几种情况下的解释。我们通过在多个数据集上的广泛实验验证了TsSHAP的有效性和鲁棒性。
2023-03-22 cs.LG
Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic
Chiba Institute of Technology（千叶工业大学）；ZOZO Research（ZOZO研究院）
本文提出一种方法，通过任务算术框架将自解释模型的视觉解释能力转移到仅预测模型中，无需额外训练，从而提升目标域的解释质量。
2026-11-10 cs.AI cs.CV cs.LG
