Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne（墨尔本大学）；University of California, Irvine（加州大学欧文分校）
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定（例如拒绝贷款申请），那么它既需要解释为什么做出这个决定，也需要解释个人如何获得他们想要的结果（如果可能的话）。目前，这通常是使用反事实的解释，但这种解释一般不告诉个人如何行动。我们断言，反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先，我们提出了一个在线研究的结果，调查人们的看法的指示性解释。其次，我们提出了一个概念模型来产生这样的解释。我们的在线研究显示，人们对指令性解释（$p<0.001$）有明显的偏好。然而，受试者偏好的解释类型受到多种因素的影响，如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Rethinking Explainability in the Era of Multimodal AI
University of Virginia（弗吉尼亚大学）
该研究指出单模态解释无法捕捉多模态AI模型的跨模态决策影响，提出三大多模态解释核心原则，以提升模型可靠性与高风险场景安全性。
2025-06-16 cs.AI cs.LG
ALMANACS: A Simulatability Benchmark for Language Model Explainability
Berkeley AI Research（伯克利人工智能研究院）
本文提出了ALMANACS，一个自动化语言模型可解释性基准，通过可模拟性评估解释方法对新输入行为预测的改善程度，发现现有方法均未优于无解释对照组，表明开发有效辅助可模拟性的解释方法仍是开放挑战。
2025-02-02 cs.AI cs.CL cs.LG
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology（马尼帕尔理工学院）；IBM Research（IBM研究院）
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比，图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务，即实体匹配，我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models
Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））；KU Leuven（鲁汶大学）
本文在流程结果预测中通过可解释性和忠实度定义可解释性，在13个真实事件日志上对7个分类器进行基准测试，并提出X-MOP指南以帮助基于事件日志规范选择合适的模型。
2023-07-30 cs.AI cs.LG cs.SE
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
Towards a Rigorous Evaluation of Explainability for Multivariate Time Series
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Umeå University（于默奥大学）
基于机器学习的系统正在迅速普及，与此相一致的是，在可解释性领域出现了巨大的研究热潮，以确保机器学习模型是可靠的，公平的，并且可以对其决策过程负责。可解释的人工智能（XAI）方法通常用于调试黑盒机器学习模型，但与表格、文本和图像数据相比，时间序列的可解释性仍然相对未被探索。本研究的目的是在时间序列预测问题中实现和评估模型不可知的可解释性。这项工作的重点是为一家数字咨询公司提供解决方案，该公司旨在找到一种数据驱动的方法，以了解其销售相关活动对销售交易的影响。该解决方案涉及框架的问题作为一个时间序列预测问题来预测的销售交易和可解释性实现了使用两种新的模型不可知的可解释性技术，本地可解释的模型不可知的解释（LIME）和Shapley添加剂的解释（SHAP），这是使用人类评价的可解释性。结果清楚地表明，LIME和SHAP产生的解释极大地帮助了普通人理解机器学习模型的预测。所提出的工作可以很容易地扩展到任何时间
2021-04-06 cs.AI cs.LG
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain（索尼人工智能，巴塞罗那，西班牙）
针对知识图谱补全缺乏统一事后解释框架的问题，提出基于多目标优化的分类法，统一现有算法，改进评估协议，强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
Generative Example-Based Explanations: Bridging the Gap between Generative Modeling and Explainability
Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；Technical University of Applied Sciences Würzburg-Schweinfurt（应用科学大学魏玛-施维林分校）；Bielefeld University（比勒菲尔德大学）
本文提出一个概率框架，正式定义基于示例的解释，弥合深度生成建模与可解释性文献的鸿沟，以促进沟通、严谨性和研究进展。
2025-09-10 cs.CY cs.LG stat.ML
EvalxNLP: A Framework for Benchmarking Post-Hoc Explainability Methods on NLP Models
Technical University of Munich, School of Computation, Information and Technology, Department of Computer Science（慕尼黑技术大学，计算信息学院，计算机科学系）
本文提出EvalxNLP框架，集成八种可解释性技术，支持对基于Transformer的NLP模型生成和评估解释，并提供基于LLM的交互式文本解释，用户满意度高。
2025-05-02 cs.AI cs.CL cs.LG
Weakly Supervised Multi-task Learning for Concept-based Explainability
Feedzai
在ML辅助决策任务中，例如欺诈检测或医疗诊断，通常是没有技术ML知识的领域专家，更喜欢基于概念的高级解释，而不是基于模型特征的低级解释。为了获得忠实的基于概念的解释，我们利用多任务学习来训练一个神经网络，该神经网络联合学习以基于先前可解释性任务的预测来预测决策任务（即，多标签概念）。有两个主要的挑战需要克服：概念标签稀缺和联合学习。为了解决这两个问题，我们建议：i）使用专家规则来生成一个大型的噪声概念标签数据集，ii）应用两种不同的多任务学习策略，结合噪声和黄金标签。我们将这些策略与现实世界中的欺诈检测应用程序中的完全监督方法进行比较，其中很少有可用于可解释性任务的黄金标签。在可解释性和决策任务分别提高了9.26%和417.8%，我们的研究结果表明，通过结合异质质量的标签，可以提高这两项任务的性能。
2021-04-26 cs.AI cs.LG
A Formal Approach to Explainability
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
我们把解释看作是输入样本和模型输出的混合，并提供了一些定义，这些定义捕捉了生成这些解释的函数的各种所需属性。我们研究了这些属性之间的联系，以及学习模型的解释生成函数和中间表示之间的联系，并且能够证明，例如，如果给定层的激活与解释一致，那么所有其他后续层也是如此。此外，我们还研究了解释的交集和并集，作为构建新解释的一种方式。
2020-01-15 cs.LG stat.ML
Explanation Ontology: A Model of Explanations for User-Centered AI
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
可解释性一直是人工智能（AI）系统的目标，因为它们的概念，随着更复杂的AI模型越来越多地用于关键的，高风险的设置，如医疗保健，对可解释性的需求越来越大。解释通常以非原则性的、事后的方式添加到人工智能系统中。随着这些系统的广泛采用和对以用户为中心的可解释性的强调，需要一种结构化的表示，将可解释性作为主要考虑因素，将最终用户需求映射到特定的解释类型和系统的AI功能。我们设计了一个解释本体模型的解释，占系统和用户属性的过程中的作用，以及不同的文献衍生的解释类型的范围。我们指出本体如何可以支持用户的需求，在医疗保健领域的解释。我们评估我们的本体与一组面向系统设计师谁可能使用我们的本体来决定哪些解释类型，包括一组能力问题，给出了用户的需求和系统的能力相结合，无论是在系统设计设置和实时操作。通过使用这种本体，系统设计人员将能够做出明智的选择，人工智能系统可以并且应该提供哪些解释。
2020-10-04 cs.AI cs.HC cs.LG
Logic-Based Explainability in Machine Learning
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
在过去的十年里，机器学习（ML）取得了越来越多的成功。这些成功提供了明确的证据，表明ML必将在广泛的实际应用中变得普遍，包括许多直接影响人类的应用。不幸的是，人类决策者无法理解最成功的ML模型的操作。因此，ML模型的使用，特别是在高风险和安全关键环境中的使用并非没有问题。近年来，人们一直在努力设计解释ML模型的方法。这些努力大多集中在所谓的模型无关的方法。然而，所有与模型无关的和相关的方法都不能保证严格性，因此被称为非正式的。例如，这种非正式的解释可以与不同的预测相一致，这使得它们在实践中毫无用处。本文概述了正在进行的关于计算ML模型的严格的基于模型的解释的研究工作;这些被称为形式化解释。这些努力涵盖了各种主题，包括解释的实际定义，计算解释的复杂性的表征，当前用于推理不同ML模型的最佳逻辑编码，以及如何使解释可供人类决策者解释等。
2023-01-29 cs.AI cs.LG
Rethinking Explainability as a Dialogue: A Practitioner's Perspective
Harvard University（哈佛大学）；UC Irvine（加州大学欧文分校）；University of Chicago（芝加哥大学）；AI2（艾伦人工智能研究所）
随着从业者越来越多地在医疗保健、金融和政策等关键领域部署机器学习模型，确保领域专家与这些模型一起有效运作变得至关重要。可解释性是弥合人类决策者和机器学习模型之间差距的一种方法。然而，大多数关于可解释性的现有工作都集中在一次性的静态解释上，如特征重要性或规则列表。对于许多需要利益相关者动态、持续发现的用例来说，这些解释可能还不够。在文献中，很少有著作询问决策者现有解释的效用以及他们希望在未来的解释中看到的其他必要条件。在这项工作中，我们解决了这一差距，并进行了一项研究，我们采访了医生，医疗保健专业人员和政策制定者，了解他们对解释的需求和愿望。我们的研究表明，决策者强烈倾向于互动的解释形式的自然语言对话。领域专家希望将机器学习模型视为“另一个同事”，即，一个可以通过询问他们为什么通过表达和可访问的自然语言交互做出特定决定来追究责任的人。考虑到这些需求，我们概述了一组五个原则，研究人员应该遵循时，设计交互式解释作为未来工作的起点。此外，我们展示了为什么自然语言对话满足这些原则，是一个理想的方式来建立互动的解释。接下来，我们提供了一个设计的对话系统的可解释性和讨论的风险，权衡，并建立这些系统的研究机会。总的来说，我们希望我们的工作可以作为研究人员和工程师设计交互式可解释性系统的起点。
2022-02-03 cs.LG
Explanations Go Linear: Post-hoc Explainability for Tabular Data with Interpretable Meta-Encoding
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会ISTI研究所）；Scuola Normale Superiore - Pisa, Italy（比萨大学正常学院 - 意大利）
本文提出ILLUME框架，结合全局训练的替代模型与实例特定的线性变换，生成准确且高效的局部和全局解释，解决传统替代方法的局限性。
2026-03-18 cs.LG
A Quantitative Evaluation Framework for Temporal Explainability in Echocardiographic Video Segmentation
University of Toronto（多伦多大学）
本文提出一个定量评估框架，用四个指标衡量超声心动图视频分割中Grad-CAM时间可解释性，发现中间层解释不稳定，时间瓶颈更稳定，并推动时间感知XAI方法。
2026-09-09 cs.CV cs.LG
Topological Representations of Local Explanations
New York University（纽约大学）；Microsoft Research（微软研究院）；University of São Paulo（圣保罗大学）；Capital One（第一资本）
局部可解释性方法--那些试图为每个预测产生解释的方法--正变得越来越普遍，因为从业者需要合理化他们的模型输出。然而，比较局部可解释性方法是困难的，因为它们各自产生不同尺度和维度的输出。此外，由于一些可解释性方法的随机性，一种方法的不同运行可能会对给定的观察结果产生矛盾的解释。在本文中，我们提出了一个基于拓扑的框架，从一组本地的解释提取一个简化的表示。我们首先将解释空间和模型预测之间的关系建模为标量函数。然后，我们计算这个函数的拓扑骨架。这种拓扑骨架作为这样的功能，我们使用比较不同的解释方法的签名。我们证明了我们的框架不仅可以可靠地识别可解释性技术之间的差异，而且还提供了稳定的表示。然后，我们将展示如何使用我们的框架来确定适当的参数，局部可解释性方法。我们的框架是简单的，不需要复杂的优化，并可以广泛应用于大多数本地解释方法。我们相信，我们的方法的实用性和多功能性将有助于促进基于拓扑的方法作为一种工具，理解和比较解释方法。
2022-01-06 cs.LG
Comparing Neural Network Encodings for Logic-based Explainability
Instituto Federal do Ceará (IFCE)（巴西塞阿拉联邦大学）
本研究比较了两种将人工神经网络编码为逻辑约束的方法，用于基于逻辑的可解释性，发现调整后的编码在构建约束和总体时间上分别提升高达18%和16%，同时保持相似的解释计算时间。
2025-05-26 cs.AI cs.LG cs.LO
Combining Sub-Symbolic and Symbolic Methods for Explainability
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
与其他连接主义模型类似，图神经网络（GNN）在决策过程中缺乏透明度。已经开发了一些子符号方法来提供对GNN决策过程的见解。这些是实现可解释性的第一个重要步骤，但生成的解释对于非人工智能专家的用户来说通常很难理解。为了克服这个问题，我们引入了一个概念的方法结合子符号和符号的方法，以人为中心的解释，结合领域知识和因果关系。此外，我们引入了保真度的概念，作为评估解释与GNN的内部决策过程有多接近的度量。化学数据集和本体的评价表明，我们的方法的解释价值和可靠性。
2021-12-03 cs.AI cs.LG cs.SC
LAVA: Explainability for Unsupervised Latent Embeddings
Delft University of Technology, The Netherlands（代尔夫特理工大学，荷兰）
LAVA是一种无监督嵌入可解释性方法，通过输入数据特征共变揭示局部嵌入结构，发现领域相关模式。
2026-01-30 cs.AI cs.LG
SES: Bridging the Gap Between Explainability and Prediction of Graph Neural Networks
School of Internet（互联网学院）；Anhui University（安徽大学）；Amazon Research（亚马逊研究院）；University of California Irvine（加州大学欧文分校）
提出自解释且自监督的图神经网络SES，通过可解释训练和增强预测学习两个过程，利用全局掩码生成器生成结构与特征掩码，并基于掩码构建正负样本对进行对比学习，从而弥合可解释性与预测性能之间的差距。
2024-07-25 cs.AI cs.LG
Does Explainability Survive Data Drift?
本文研究数据漂移下解释保真度是否衰减，发现协变量漂移存在但概念漂移不显著，旧解释不如新解释忠实，需单独监控解释保真度。
2026-10-06 cs.AI cs.LG
Explainability for Machine Learning Models: From Data Adaptability to User Perception
l’Université de Rennes（雷恩大学）；IRISA（IRISA研究所）；Univ. Sorbonne（索邦大学）；LIP6（LIP6实验室）；Trento University（特伦托大学）；Univ. Artois（阿图瓦大学）；KU Leuven（鲁汶大学）；Aalborg University（奥尔堡大学）；Institut Agro（法国农艺学院）；INRIA（法国国家信息与自动化研究所）
本论文研究为已部署机器学习模型生成局部解释的方法，通过增强规则解释、评估线性解释及比较反事实解释，并结合用户实验，提升了AI系统的透明度、可信度与可用性。
2024-02-16 cs.AI cs.HC cs.LG
VeriX: Towards Verified Explainability of Deep Neural Networks
Stanford University（斯坦福大学）
本文提出 VeriX 系统，结合约束求解与特征敏感性排序启发式方法，为深度神经网络生成最优鲁棒解释和决策边界反事实，并在图像基准与自主飞机滑行场景中验证。
2023-09-26 cs.LG
Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data
GECAD, ISEP, Polytechnic of Porto（GECAD、ISEP、波尔图理工大学）
研究局部可解释性技术在复杂表格分类任务中的可信度，通过基准测试LIME、Kernel SHAP和特征消融技术，发现解释质量主要受数据集复杂性和特征分布影响，而非模型预测性能。
2026-06-16 cs.LG
Fairness and Explainability: Bridging the Gap Towards Fair Model Explanations
Vanderbilt University（范德堡大学）
虽然机器学习模型在现实世界的应用中取得了前所未有的成功，但它们可能会对特定的人口群体做出有偏见/不公平的决定，从而导致歧视性的结果。虽然研究工作一直致力于测量和减轻偏见，他们主要是从结果导向的角度来研究偏见，而忽略了编码在决策过程中的偏见。这导致他们无法捕获面向程序的偏倚，因此限制了完全去偏倚方法的能力。幸运的是，随着可解释的机器学习的快速发展，现在可以通过对预测的解释来深入了解该过程。在这项工作中，我们提出了一个新的视角，面向程序的公平性的基础上的解释，弥合公平性和可解释性之间的差距。我们通过基于比率和基于价值的解释公平性测量不同群体之间的解释质量差距来识别基于程序的偏见。新的指标进一步促使我们设计一个优化目标，以减轻基于程序的偏差，我们观察到它也将减轻预测的偏差。基于我们设计的优化目标，我们提出了一个综合公平算法（CFA），它同时满足多个目标-提高传统的公平性，满足解释公平性，并保持效用性能。对真实世界数据集的广泛实验证明了我们提出的CFA的有效性，并强调了从可解释性角度考虑公平性的重要性。我们的代码可在https://github.com/YuyingZhao/FairExplanations-CFA上公开获取。
2022-12-07 cs.CY cs.LG
The Effect of Model Size on LLM Post-hoc Explainability via LIME
University College London（伦敦大学学院）
本文通过 LIME 分析四种规模 DeBERTaV3 在 NLI 与零样本分类上的事后解释，发现规模提升改善性能却不提升解释合理性，并揭示忠实度指标局限。
2024-05-08 cs.AI cs.CL cs.LG
Do Explanations Reflect Decisions? A Machine-centric Strategy to Quantify the Performance of Explainability Algorithms
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
最近，人们对可解释人工智能（XAI）的概念产生了极大的兴趣，其目标是为机器学习算法做出的决策提供解释。特别令人感兴趣的是如何深入神经网络作出决定的解释，鉴于这种网络的复杂性和“黑匣子”的性质。鉴于该领域的起步阶段，对可解释性方法的性能评估的探索非常有限，大多数评估都集中在对所产生的解释的主观视觉解释上。在这项研究中，我们探索了一种更加以机器为中心的策略，通过决策影响分析的概念来量化深度神经网络上可解释性方法的性能。我们引入了两个定量性能指标：i）影响分数，评估具有强烈信心降低影响或决策改变影响的关键因素的百分比，以及ii）影响覆盖率，评估输入中不利影响因素的覆盖率。使用这种方法对ResNet-50深度卷积神经网络上的几种最先进的可解释性方法（LIME，SHAP，Expected Quantients，GS Inquire）进行了全面分析，使用ImageNet的子集进行图像分类任务。实验结果表明，在测试图像中由LIME识别的关键区域对网络决策过程的影响最小（约38%），对SHAP（约44%），Expectedconstraints（约51%）和GSInquire（约76%）的决策影响逐渐增加。虽然绝不是完美的，但希望提出的以机器为中心的策略有助于推动对话朝着更好的指标发展，以评估可解释性方法，并提高对深度神经网络的信任。
2019-10-29 cs.LG cs.NE
Rethinking Attention-Model Explainability through Faithfulness Violation Test
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）
注意力机制决定着深层模型的可解释性。它们在输入上产生概率分布，这被广泛认为是特征重要性指标。然而，在本文中，我们发现一个关键的限制，注意力的解释：在识别功能的极性影响的弱点。这在某种程度上会产生误导--具有较高注意力权重的特征可能不会忠实地对模型预测做出贡献;相反，它们会施加抑制效应。有了这一发现，我们反映了目前的注意力为基础的技术，如注意力$\odot$梯度和LRP为基础的注意力解释的可解释性。首先，我们提出了一个可行的诊断方法（以下简称忠实违反测试）来衡量解释权重和影响极性之间的一致性。通过大量的实验，我们发现，大多数测试的解释方法出乎意料地阻碍了忠实违反问题，特别是原始的注意。对违规问题影响因素的实证分析进一步为注意模型中采用解释方法提供了有益的观察。
2022-07-05 cs.CL cs.CV cs.LG
A Theoretical Framework for AI Models Explainability with Application in Biomedicine
Ca’ Foscari University（威尼斯大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of British Columbia（不列颠哥伦比亚大学）
针对可解释人工智能缺乏统一术语与严谨结构框架的问题，本研究综合文献提出新的解释定义，明确解释由模型证据与人类解读组成，并基于忠实性、合理性属性构建理论框架，简化属性落地并为常见解释方法带来新启发。
2023-06-14 cs.AI cs.CV cs.LG
Gender Bias in Explainability: Investigating Performance Disparity in Post-hoc Methods
Technical University of Munich（慕尼黑技术大学）；School of Computation, Information and Technology（计算、信息与技术学院）；Department of Computer Science（计算机科学系）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文发现广泛使用的事后特征归因方法在三项任务和五个语言模型上表现出显著的性别差异，即使使用无偏见数据集训练依然存在，强调了在可解释性方法中解决解释公平性的重要性。
2025-05-02 cs.AI cs.CL cs.LG
Explainability for Large Language Models: A Survey
New Jersey Institute of Technology（新泽西理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Wake Forest University（维克森林大学）；University of Georgia（佐治亚大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Baidu Inc.（百度公司）；Rice University（莱斯大学）
本文综述了大型语言模型的可解释性技术，按微调与提示两种训练范式分类梳理局部和全局解释方法，并讨论了评估指标、模型调试应用及LLM时代的新挑战与机遇。
2023-11-28 cs.AI cs.CL cs.LG
Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease
本文提出多级框架提升AD诊断预后模型SHAP解释的稳健性和一致性，通过整合相干性、稳定性与跨任务一致性验证解释的可靠性。
2026-03-06 cs.AI cs.LG
Stabilising Explainability Fragility in Cybersecurity AI: The Impact and Mitigation of Multicollinearity in Public Benchmark Datasets
Netrity Ltd（Netrity有限公司）；University of Glasgow（格拉斯哥大学）
本文研究了在入侵检测（IDS）中使用AI可解释性时的一个未被探索但重要的漏洞：多重共线性导致的不稳定性。尽管广泛依赖于事后可解释性工具如SHAP或LIME，但相关特征对解释鲁棒性的影响未被评估。我们引入了一个正式定理，表明多重共线性会放大归因方差。这证明了在多重共线性下，解释和特征重要性是非可识别的。在代表性的基准数据集UNSW-NB15上，通过一系列全面的实验验证了该定理。评估了四种广泛使用的模型家族，包括线性、基于树的、核和神经网络模型，在基于VIF和相关性阈值的完整和剪枝特征集上。我们提出了新的指标Explanability Fragility Score，并提出了两种新的缓解方法，具有变量整合复杂度。CAA-Filtering专注于通过分组训练模型的归因来稳定解释。SHARP是一种新的训练时间正则化框架，通过惩罚归因不稳定性，使可解释性稳定性可控且单调提高。研究结果支持稳定的预测性能，使用Kendall's τ量化在重采样解释中的不稳定性。这项工作对XAI在安全关键领域中的可信度和可重复性有直接影响，并促使将多重共线性缓解措施纳入IDS流程，为从业者提供了一套指南。
2026-05-21 cs.AI cs.LG
A Completion-Aware Framework for Impactful Counterfactual Explainability in Graph Neural Networks
Institute of Computer Science, Foundation for Research and Technology - Hellas (FORTH)（计算机科学研究所，研究与技术基金会 - 希腊（FORTH））；Computer Science Department, University of Crete（克里特大学计算机科学系）
提出一种通用的、模型无关的局部反事实解释框架，通过结合事实可解释性与缺失边预测模型，提升图神经网络解释的质量、鲁棒性和直观性。
2026-06-23 cs.AI cs.LG
A Human-Centered Validation of the Explainability-Performance Coefficient
Universidad Autónoma de Madrid（马德里自治大学）
本研究提出模型无关的EPC分数，量化解释质量，经多模态实证及人类解释验证，可揭示网络激活等依赖关系，与人类判断高度一致。
2026-08-03 cs.AI cs.CV cs.LG
AIMing for Standardised Explainability Evaluation in GNNs: A Framework and Case Study on Graph Kernel Networks
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出AIM框架，用于评估图神经网络的解释性，通过实例级和模型级解释提升解释性评估的全面性，并以图核网络为例展示改进模型xGKN的开发。
2026-05-15 cs.LG
STEP-EZ: Syntax Tree guided semantic ExPlanation for Explainable Zero-shot modeling of clinical depression symptoms from text
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所）
我们专注于探索零射击学习（Zero-Shot Learning，简称ZRL）的各种方法，以及它们对一个具有挑战性但又重要的监督学习任务的可解释性，该任务因训练数据稀缺而臭名昭著，即从文本中进行抑郁症状检测（Depression Symptoms Detection，简称DSD）。我们首先全面综合了我们的EML建模的不同组成部分，并在执业临床医生的帮助下分析了我们的地面真实样本和抑郁症状线索的治疗过程。接下来，我们将分析各种最先进的ARML模型的准确性及其对我们任务的潜在增强。此外，我们勾勒出一个框架，使用的层次化的基于文本的解释机制，我们称之为，语义树引导的语义解释（STEP）。最后，我们总结了实验，从中我们得出结论，我们可以使用CNOL模型，并实现合理的准确性和可解释性，衡量一个建议的可解释性指数（EI）。这项工作是，据我们所知，第一次工作，详尽地探讨的有效性，DSDtask，无论是在准确性和可解释性方面的CNOL模型。
2021-06-23 cs.AI cs.CL cs.IR
TsSHAP: Robust model agnostic feature-based explainability for time series forecasting
IBM Research（IBM研究院）
一个值得信赖的机器学习模型应该是准确的和可解释的。理解模型为什么做出某个决定定义了可解释性的概念。虽然在分类和回归等监督学习范式中已经充分研究了各种各样的可解释性，但关于时间序列预测的可解释性的文献相对较少。在本文中，我们提出了一个基于特征的可解释性算法，TsSHAP，可以解释任何黑箱预测模型的预测。该方法是不可知的预测模型，并可以提供解释的预测由用户定义的可解释的功能之前。这些解释是根据通过在代理模型上应用TreeSHAP算法获得的SHAP值进行的，该代理模型学习可解释的特征空间与黑盒模型的预测之间的映射。此外，我们形式化的概念，本地，半本地和全球的时间序列预测的背景下，这可能是有用的几种情况下的解释。我们通过在多个数据集上的广泛实验验证了TsSHAP的有效性和鲁棒性。
2023-03-22 cs.LG
A Learning Theoretic Perspective on Local Explainability
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Determined AI（Determined人工智能公司）
在本文中，我们通过局部近似解释的视角来探索可解释的机器学习和学习理论之间的联系。首先，我们解决了传统的性能泛化问题，并使用局部可解释性的概念来约束模型的测试时准确性。其次，我们探讨了新的问题的解释推广，这是一个重要的关注一类不断增长的有限样本为基础的局部近似解释。最后，我们验证了我们的理论结果的经验，并表明它们反映了什么可以在实践中看到。
2020-11-02 cs.LG stat.ML
The Out-of-Distribution Problem in Explainability and Search Methods for Feature Importance Explanations
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
特征重要性（FI）估计是一种流行的解释形式，通常通过计算在测试时删除某些输入特征引起的模型置信度变化来创建和评估。例如，在标准的Sufficiency度量中，仅保留前k个最重要的令牌。在本文中，我们研究了几个不足的FI解释的维度，这种形式的解释提供概念和实证的改进。首先，我们提出了一个新的论点，为什么在创建或评估解释时从输入中删除特征会有问题：这些反事实输入对模型来说是分布外的（OOD），这意味着由此产生的解释在社会上是不一致的。问题的关键在于模型先验和随机权重初始化以意想不到的方式影响解释（和解释度量）。为了解决这个问题，我们提出了一个简单的修改模型训练过程，这将导致更多的社会一致的解释和指标。其次，我们比较了从模型输入中去除特征的五种方法。我们发现，一些方法比其他方法产生更多的OOD反事实，我们提出建议，选择一个功能替换功能。最后，我们介绍了四种基于搜索的方法，用于识别FI解释，并将它们与强基线进行比较，包括LIME，Covereors和Integrated Covereents。通过六个不同的文本分类数据集的实验，我们发现，唯一的方法，始终优于随机搜索是一个并行本地搜索（PLS），我们介绍。与第二好的方法相比，充分性提高了5.4分，全面性提高了17分。本文中所有支持实验的代码都可以在https://github.com/peterbhase/ExplanationSearch…
2021-10-27 cs.AI cs.CL cs.LG
Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic
Chiba Institute of Technology（千叶工业大学）；ZOZO Research（ZOZO研究院）
本文提出一种方法，通过任务算术框架将自解释模型的视觉解释能力转移到仅预测模型中，无需额外训练，从而提升目标域的解释质量。
2026-11-10 cs.AI cs.CV cs.LG
The Bouncer Problem: Challenges to Remote Explainability
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Irisa（IRISA研究所）；LAAS/CNRS（LAAS-CNRS实验室）
可解释性的概念是为了满足社会对机器学习决策透明度的要求。这个概念很简单：像人类一样，算法应该解释其决策背后的基本原理，以便评估其公平性。虽然这种方法在本地环境中很有前途（例如，在训练时的调试过程中解释模型），但我们认为这种推理不能简单地在远程环境中转换，其中服务提供商的训练模型只能通过其API访问。这是有问题的，因为它恰恰构成了从社会角度来看需要透明度的目标用例。通过与俱乐部保镖（这可能会提供不真实的解释后，客户拒绝）的类比，我们表明，提供解释不能阻止远程服务说谎的真正原因，导致其决定。更确切地说，我们证明了远程解释单个解释的不可能性，通过构建一个攻击的解释，隐藏歧视性的功能，查询用户。我们提供了这种攻击的示例实现。然后，我们表明，一个观察员发现的攻击，试图找到不连贯的几种解释的概率是低的实际设置。这破坏了一般意义上的远程可解释性的概念。
2020-03-23 cs.CR cs.LG stat.ML
ShaTS: A Shapley-based Explainability Method for Time Series Artificial Intelligence Models applied to Anomaly Detection in Industrial Internet of Things
Departamento de Ingeniería y Tecnología de Computadores, University of Murcia（计算机工程与技术部门，穆尔西亚大学）
本文提出与模型无关的时序模型可解释性方法ShaTS，通过先验特征分组保留时序依赖，在SWaT数据集上比SHAP更准确地定位异常关键时间点、传感器和执行器，并满足工业实时性要求。
2025-06-02 cs.AI cs.LG
Scalable Explainability-as-a-Service (XaaS) for Edge AI Systems
提出可解释性即服务（XaaS）分布式架构，通过解耦推理与解释生成、语义缓存、轻量验证和自适应引擎，在边缘设备上实现低延迟、高保真的可解释性，并在三个实际用例中降低38%延迟。
2026-07-27 cs.AI cs.DC cs.LG
Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction
Cooperative Institute for Severe and High-Impact Weather Research and Operations, University of Oklahoma（俄克拉荷马大学强天气与高影响天气合作研究所）；University of Oklahoma（俄克拉荷马大学）；NOAA/OAR/National Severe Storms Laboratory（美国国家海洋和大气管理局/海洋与大气研究办公室/国家强风暴实验室）；Verisk Analytics Incorporated（Verisk分析公司）；NSF AI Institute for Research on Trustworthy AI in Weather, Climate, and Coastal Oceanography（美国国家科学基金会天气、气候与沿海海洋学可信人工智能研究人工智能研究所）
机器学习（ML）模型在大气科学界越来越常见，具有广泛的应用。为了使用户能够理解ML模型已经学到了什么，ML可解释性已经成为一个活跃的研究领域。在这个两部分研究的第一部分中，我们描述了几种可解释性方法，并证明了不同方法的特征排名可能彼此不一致。然而，目前还不清楚这种分歧是否由于某些方法在分配重要性方面不那么忠实而被夸大了。在本文中，“忠实性”或“保真度”是指所分配的特征重要性与特征对模型性能的贡献之间的对应关系。在本研究中，我们使用多种方法来评估特征排序方法的可信度。考虑到解释方法对特征相关性的敏感性，我们还量化了相关特征受限后可解释性忠诚度的提高程度。在降维之前，特征相关性方法[例如，SHAP、LIME、ALE方差和逻辑回归（LR）系数]通常比排列重要性方法更忠实，这是由于相关特征的负面影响。当相关特征减少后，传统的排列重要性方法成为最可靠的方法。此外，排名不确定性（即，通过不同的排序方法分配给特征的排序的扩展）被减小了2-10倍，并且排除较不忠实的特征排序方法进一步减小了它。这项研究是第一个量化的改善，可解释性从限制相关的功能和了解不同的可解释性方法的相对保真度。
2022-11-18 cs.AI cs.LG physics.ao-ph
DiConStruct: Causal Concept-based Explanations through Black-Box Distillation
Feedzai；Instituto de Telecomunicações, ELLIS Unit Lisbon, Instituto Superior Técnico, ULisboa, Portugal（葡萄牙里斯本大学高等技术学院，里斯本ELLIS单元，电信研究所）
针对现有局部概念可解释性方法无法生成因果解释、需权衡可解释性与预测性能的问题，提出基于黑盒蒸馏的因果概念解释方法DiConStruct，可在高效生成含概念因果关系的解释的同时，以更高保真度逼近黑盒模型预测。
2024-01-26 cs.AI cs.HC cs.LG
Parallelizing Node-Level Explainability in Graph Neural Networks
Ericsson Cognitive Labs（爱立信认知实验室）；Institute for Research in Technology (IIT), ICAI School of Engineering, Comillas Pontifical University（技术研究所（IIT）、ICAI工程学院、科利马大学）
本文提出通过图划分并行化GNN中节点级可解释性，以提升计算效率和可扩展性，同时在内存受限时提供可控的权衡方案。
2026-01-08 cs.AI cs.LG
From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对现有可解释强化学习方法仅能提供局部洞察、无法全局理解模型的问题，研究提出基于Shapley值的模型无关方法，可适配异策略与同策略算法，在保留原模型性能的同时生成更稳定的可理解策略。
2025-01-16 cs.AI cs.LG cs.SY
Global Explainability of GNNs via Logic Combination of Learned Concepts
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Cambridge（剑桥大学）
本文提出GLGExplainer，首次将局部解释聚类为图形概念并组合成任意布尔逻辑公式，为GNN提供准确、可解释且忠实于模型预测的全局解释，并可用于诊断模型学到的错误规则。
2023-04-11 cs.AI cs.LG cs.LO
The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies
Erasmus University Medical Center（伊拉斯姆斯大学医学中心）
人工智能（AI）在改善人类健康和福祉方面具有巨大潜力，但在临床实践中的应用仍然有限。缺乏透明度被认为是实施的主要障碍之一，因为临床医生应该相信人工智能系统是可信的。可解释的人工智能有可能克服这个问题，并且可以成为迈向可信人工智能的一步。在本文中，我们回顾了最近的文献，为研究人员和从业者提供指导，为医疗保健领域设计可解释的AI系统，并有助于可解释的AI领域的形式化。我们认为，要求可解释性的原因决定了应该解释什么，因为这决定了可解释性属性（即可解释性和保真度）的相对重要性。在此基础上，我们提出了一个框架来指导可解释的人工智能方法（可解释的建模与事后解释;基于模型，基于属性或基于示例的解释;全局和局部解释）之间的选择。此外，我们发现，定量评价指标，这是重要的客观标准化评价，仍然缺乏一些属性（如清晰度）和类型的解释（例如，基于实例的方法）。我们的结论是，可解释的建模可以有助于可信的人工智能，但可解释性的好处仍然需要在实践中得到证明，并且可能需要采取补充措施来创建医疗保健中值得信赖的人工智能（例如报告数据质量，执行广泛的（外部）验证和监管）。
2021-01-05 cs.AI cs.LG stat.ML
Towards Faithful Class-level Self-explainability in Graph Neural Networks by Subgraph Dependencies
School of Computing, Macquarie University（麦考瑞大学计算机学院）；CSIRO’s Data61（CSIRO数据61）
本文提出自解释GNN框架GraphOracle，通过联合学习分类器与判别性稀疏子图，并利用熵正则化子图选择和随机游走提取，实现忠实、可扩展的类级解释，弥补了ProtGNN和PGIB等先前方法在类级解释上的不足。
2025-08-15 cs.AI cs.LG
Unifying Model Explainability and Robustness via Machine-Checkable Concepts
MPI-SWS（马克斯·普朗克软件系统研究所）；University of Maryland（马里兰大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
随着深度神经网络（DNN）被越来越多的应用所采用，可解释性已经成为这些模型的关键需求。在许多现实世界的任务中，要求可解释性的主要原因之一是反过来评估预测鲁棒性，其中预测（即，类别标签）不符合它们各自的解释（例如，输入中概念的存在或不存在）被视为不可靠。然而，大多数（如果不是全部的话）用于检查澄清一致性的现有方法（例如，LIME、TCAV、显着图）需要大量的人工干预，这阻碍了它们的大规模部署。在本文中，我们提出了一个健壮性评估框架，其核心是使用机器可检查的概念的想法。我们的框架定义了大量的概念，DNN解释可以基于这些概念，并在测试时执行解释一致性检查，以评估预测的鲁棒性。这两个步骤都是以自动化的方式执行的，不需要任何人为干预，并且很容易扩展到具有大量类的数据集。在真实世界数据集和人类调查上的实验表明，我们的框架能够显着提高预测的鲁棒性：我们的框架标记为鲁棒的预测具有显着更高的准确性，并且对对抗性扰动更具鲁棒性。
2020-07-02 cs.AI cs.CY cs.LG
