Towards a Rigorous Evaluation of Explainability for Multivariate Time Series
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Umeå University（于默奥大学）
基于机器学习的系统正在迅速普及，与此相一致的是，在可解释性领域出现了巨大的研究热潮，以确保机器学习模型是可靠的，公平的，并且可以对其决策过程负责。可解释的人工智能（XAI）方法通常用于调试黑盒机器学习模型，但与表格、文本和图像数据相比，时间序列的可解释性仍然相对未被探索。本研究的目的是在时间序列预测问题中实现和评估模型不可知的可解释性。这项工作的重点是为一家数字咨询公司提供解决方案，该公司旨在找到一种数据驱动的方法，以了解其销售相关活动对销售交易的影响。该解决方案涉及框架的问题作为一个时间序列预测问题来预测的销售交易和可解释性实现了使用两种新的模型不可知的可解释性技术，本地可解释的模型不可知的解释（LIME）和Shapley添加剂的解释（SHAP），这是使用人类评价的可解释性。结果清楚地表明，LIME和SHAP产生的解释极大地帮助了普通人理解机器学习模型的预测。所提出的工作可以很容易地扩展到任何时间
2021-04-06 cs.AI cs.LG
Counterfactual Explanations and Algorithmic Recourses for Machine Learning: A Review
University of Washington（华盛顿大学）；Arthur AI（亚瑟人工智能公司）
机器学习在许多已部署的决策系统中发挥作用，通常以人类利益相关者难以或不可能理解的方式发挥作用。以人类可理解的方式解释机器学习模型的输入和输出之间的关系对于开发基于可信机器学习的系统至关重要。一个新兴的研究主体试图定义机器学习中可解释性的目标和方法。在本文中，我们试图对反事实解释的研究进行回顾和分类，反事实解释是一种特定的解释，它提供了一种联系，如果模型的输入以特定的方式改变，可能会发生什么。机器学习中的反事实可解释性的现代方法与许多国家的既定法律原则相联系，使它们对金融和医疗保健等高影响领域的现场系统具有吸引力。因此，我们设计了一个具有理想特性的反事实解释算法的量规，并对该量规全面评估了目前提出的所有算法。我们的标题提供了不同方法的优点和缺点的简单比较和理解，并作为该领域主要研究主题的介绍。我们还确定了差距，并讨论了有前途的研究方向，在空间的反事实的可解释性。
2022-11-15 cs.AI cs.LG stat.ML
Evaluating Explainability: A Framework for Systematic Assessment and Reporting of Explainable AI Features
U.S. Food and Drug Administration（美国食品药品监督管理局）
针对可解释AI特征缺乏质量评估方法的问题，提出含一致性、合理性、保真度、有用性四项标准的评估框架及配套记分卡，并以乳腺病变检测为例验证，为AI医疗设备的可解释性评估提供系统方案。
2025-06-16 cs.AI
Towards Quantification of Explainability in Explainable Artificial Intelligence Methods
Tennessee Technological University（田纳西理工大学）
人工智能（AI）已成为安全、金融、医疗、医学和刑事司法等领域不可或缺的一部分。用人类的语言解释人工智能系统的决策是一个关键的挑战--由于模型的高度复杂性，以及对人类利益、权利和生活的潜在影响。虽然可解释性人工智能是一个新兴的研究领域，但对于可解释性的定义、量化和形式化还没有达成共识。事实上，可解释性的量化是一个公开的挑战。在我们以前的工作中，我们结合了领域知识，以获得更好的可解释性，但是，我们无法量化可解释性的程度。在这项工作中，我们（1）简要分析了可解释性的定义，从不同学科的角度（例如，心理学、社会科学）、解释的性质、解释方法和人性化的解释;（2）提出并制定一种量化可解释性程度的方法。我们的实验结果提供了一种合理的、与模型无关的可解释性量化方法
2019-11-22 cs.AI q-fin.RM
Fairness and Explainability: Bridging the Gap Towards Fair Model Explanations
Vanderbilt University（范德堡大学）
虽然机器学习模型在现实世界的应用中取得了前所未有的成功，但它们可能会对特定的人口群体做出有偏见/不公平的决定，从而导致歧视性的结果。虽然研究工作一直致力于测量和减轻偏见，他们主要是从结果导向的角度来研究偏见，而忽略了编码在决策过程中的偏见。这导致他们无法捕获面向程序的偏倚，因此限制了完全去偏倚方法的能力。幸运的是，随着可解释的机器学习的快速发展，现在可以通过对预测的解释来深入了解该过程。在这项工作中，我们提出了一个新的视角，面向程序的公平性的基础上的解释，弥合公平性和可解释性之间的差距。我们通过基于比率和基于价值的解释公平性测量不同群体之间的解释质量差距来识别基于程序的偏见。新的指标进一步促使我们设计一个优化目标，以减轻基于程序的偏差，我们观察到它也将减轻预测的偏差。基于我们设计的优化目标，我们提出了一个综合公平算法（CFA），它同时满足多个目标-提高传统的公平性，满足解释公平性，并保持效用性能。对真实世界数据集的广泛实验证明了我们提出的CFA的有效性，并强调了从可解释性角度考虑公平性的重要性。我们的代码可在https://github.com/YuyingZhao/FairExplanations-CFA上公开获取。
2022-12-07 cs.CY cs.LG
A Theoretical Framework for AI Models Explainability with Application in Biomedicine
Ca’ Foscari University（威尼斯大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of British Columbia（不列颠哥伦比亚大学）
针对可解释人工智能缺乏统一术语与严谨结构框架的问题，本研究综合文献提出新的解释定义，明确解释由模型证据与人类解读组成，并基于忠实性、合理性属性构建理论框架，简化属性落地并为常见解释方法带来新启发。
2023-06-14 cs.AI cs.CV cs.LG
On the interplay of Explainability, Privacy and Predictive Performance with Explanation-assisted Model Extraction
Università della Svizzera italiana（瑞士大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南方应用科学与艺术大学）；Lebanese University（黎巴嫩大学）
本文研究MLaaS中反事实解释辅助模型窃取带来的隐私风险，评估训练阶段与解释器生成阶段两种差分隐私策略对预测性能、隐私和可解释性权衡的影响。
2025-05-13 cs.AI cs.CR
The Out-of-Distribution Problem in Explainability and Search Methods for Feature Importance Explanations
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
特征重要性（FI）估计是一种流行的解释形式，通常通过计算在测试时删除某些输入特征引起的模型置信度变化来创建和评估。例如，在标准的Sufficiency度量中，仅保留前k个最重要的令牌。在本文中，我们研究了几个不足的FI解释的维度，这种形式的解释提供概念和实证的改进。首先，我们提出了一个新的论点，为什么在创建或评估解释时从输入中删除特征会有问题：这些反事实输入对模型来说是分布外的（OOD），这意味着由此产生的解释在社会上是不一致的。问题的关键在于模型先验和随机权重初始化以意想不到的方式影响解释（和解释度量）。为了解决这个问题，我们提出了一个简单的修改模型训练过程，这将导致更多的社会一致的解释和指标。其次，我们比较了从模型输入中去除特征的五种方法。我们发现，一些方法比其他方法产生更多的OOD反事实，我们提出建议，选择一个功能替换功能。最后，我们介绍了四种基于搜索的方法，用于识别FI解释，并将它们与强基线进行比较，包括LIME，Covereors和Integrated Covereents。通过六个不同的文本分类数据集的实验，我们发现，唯一的方法，始终优于随机搜索是一个并行本地搜索（PLS），我们介绍。与第二好的方法相比，充分性提高了5.4分，全面性提高了17分。本文中所有支持实验的代码都可以在https://github.com/peterbhase/ExplanationSearch…
2021-10-27 cs.AI cs.CL cs.LG
Scalable Explainability-as-a-Service (XaaS) for Edge AI Systems
提出可解释性即服务（XaaS）分布式架构，通过解耦推理与解释生成、语义缓存、轻量验证和自适应引擎，在边缘设备上实现低延迟、高保真的可解释性，并在三个实际用例中降低38%延迟。
2026-07-27 cs.AI cs.DC cs.LG
Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks
本文通过三个NLP任务上的定量比较，实证发现忠实性与合理性并不必然冲突，传统扰动方法Shapley value和LIME可同时实现较高忠实性与合理性，建议以双重目标优化可解释性算法。
2024-03-29 cs.AI cs.LG
LangXAI: Integrating Large Vision Models for Generating Textual Explanations to Enhance Explainability in Visual Perception Tasks
University of New Brunswick（新不伦瑞克大学）；Quy Nhon AI, FPT Software（FPT软件公司归仁人工智能部门）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Software AG（软件AG公司）
LangXAI 框架将 XAI 与先进视觉模型结合，为分类、检测和分割任务生成文本解释，以高 BERTScore 验证其合理性，从而提升终端用户对视觉 AI 的理解与信任。
2024-02-19 cs.AI cs.CV
Even-if Explanations: Formal Foundations, Priorities and Complexity
University of Calabria（卡拉布里亚大学）
本文研究半事实“即使”解释的形式基础与计算复杂性，证明线性与树模型比神经网络更可解释，并提出基于偏好的个性化解释框架及多项式算法。
2024-05-22 cs.AI cs.LG
Explainability in AI Policies: A Critical Review of Communications, Reports, Regulations, and Standards in the EU, US, and UK
Minsait by Indra Sistemas SA（英德拉系统公司旗下Minsait）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Delft University of Technology（代尔夫特理工大学）；Dragonfly
本文首次对欧盟、美国和英国AI可解释性政策与标准进行主题和差距分析，指出其概念粗略等问题，并提出涵盖定义、可行性、可用性与问责的监管建议。
2023-04-20 cs.AI cs.CY
Aggregating Local Saliency Maps for Semi-Global Explainable Image Classification
本文提出 Segment Attribution Tables（SATs）方法，通过聚合局部显著性图生成半全局解释，揭示模型依赖的图像分割片段及虚假相关性，为分析和调试图像分类器提供实用工具。
2025-06-29 cs.AI cs.CV cs.LG
Explainability Pitfalls: Beyond Dark Patterns in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）
为了使可解释人工智能（XAI）系统值得信赖，了解有害影响与产生精心设计的解释同样重要。在本文中，我们解决了一个重要的，但未明确的类型的负面影响XAI。我们引入了可解释性陷阱（EP），这是人工智能解释的意想不到的负面下游效应，即使没有意图操纵用户。EP与黑暗模式不同，但与之相关，黑暗模式是故意欺骗的做法。我们阐明了EP的概念，将其与暗模式区分开来，并强调了陷阱周围的不确定性所带来的挑战。我们使用一个案例研究来解释和操作这个概念，这个案例研究展示了尽管有最好的意图，但毫无疑问的负面影响，例如对数字解释的不必要的信任。我们提出了积极主动和预防性的战略，以解决EP在三个相互关联的层面：研究，设计和组织。
2021-09-26 cs.AI cs.HC
Federated Explainable Artificial Intelligence: Roles, Architectures, Evaluation, and Open Challenges
Department of Information Engineering, University of Pisa（比萨大学信息工程系）
本文综述联邦可解释人工智能（FedXAI）范式，介绍其分类法，回顾多种方法及评估实践，讨论不足，识别如非IID数据下可解释性等关键挑战，为设计可信、透明且隐私保护的联邦人工智能系统提供参考。
2026-07-16 cs.AI cs.LG
AudioGenX: Explainability on Text-to-Audio Generative Models
针对文本到音频生成模型缺乏透明度的问题，提出可解释AI方法AudioGenX，通过事实与反事实目标优化解释器，在音频标记级提供忠实解释，增强模型可信度。
2025-02-04 cs.AI cs.LG cs.SD
An Unsupervised Approach to Achieve Supervised-Level Explainability in Healthcare Records
University of Copenhagen（哥本哈根大学）；LUT University（拉普兰塔理工大学）；Corti（科尔蒂公司）
本文提出一种无监督方法，通过对抗鲁棒性训练和新解释方法AttInGrad，在自动医疗编码任务上实现与监督方法相当或更优的解释质量。
2024-09-28 cs.LG
"Help Me Help the AI": Understanding How Explainability Can Support Human-AI Interaction
Princeton University（普林斯顿大学）；Intel Labs（英特尔实验室）
尽管可解释的AI（XAI）方法激增，但对最终用户的可解释性需求和围绕XAI解释的行为知之甚少。为了解决这一差距，并有助于理解可解释性如何支持人类与人工智能的交互，我们对现实世界人工智能应用程序Merlin鸟类识别应用程序的20名最终用户进行了混合方法研究，并询问了他们对XAI的需求，使用和感知。我们发现，参与者希望获得实际有用的信息，以改善他们与人工智能的协作，而不是技术系统的细节。相关地，参与者打算将XAI解释用于各种目的，而不仅仅是理解AI的输出：校准信任，提高他们的任务技能，改变他们的行为以向AI提供更好的输入，并向开发人员提供建设性的反馈。最后，在现有的XAI方法中，参与者更喜欢类似于人类推理和解释的基于部分的解释。我们讨论了我们的研究结果的影响，并为未来的XAI设计提供建议。
2023-02-16 cs.AI cs.CV cs.CY
Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI
Insight SFI Centre for Data Analytics, School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院Insight SFI数据分析中心）；VistaMilk SFI Research Centre, School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院VistaMilk SFI研究中心）；School of Psychology and Institute of Neuroscience, Trinity College Dublin, University of Dublin（都柏林圣三一学院心理学院和神经科学研究所）
该研究通过127人的对照实验发现，反事实解释在提升用户预测AI决策准确性上与因果解释相当但主观满意度更高，且用户对类别特征解释的理解优于连续特征。
2022-04-21 cs.AI cs.HC
Impact of Adversarial Attacks on Deep Learning Model Explainability
Iowa State University（爱荷华州立大学）
本文研究对抗攻击对深度学习模型可解释性的影响，发现FGSM和BIM攻击虽大幅降低模型准确率（从89.94%降至58.73%和45.50%），但IoU和RMSE等解释性指标变化极小，表明这些指标对对抗扰动不敏感。
2024-12-15 cs.AI cs.CV cs.LG
Enhancing Vision Transformer Explainability Using Artificial Astrocytes
University of Miami（迈阿密大学）；University of A Coruña（阿罗乌纳大学）
提出受神经科学启发的免训练框架ViTA，通过人工星形胶质细胞增强预训练ViT的推理，生成更符合人类感知的解释，在ClickMe数据集上各项XAI指标均获显著提升。
2025-05-20 cs.AI cs.CV cs.LG
An Information-Theoretic Framework for Comparing Voice and Text Explainability
本文提出了一种信息论框架，用于比较语音和文本在AI系统可解释性中的效果，发现类比基于的交付在理解效率与信任校准之间取得最佳平衡。
2026-02-06 cs.AI cs.CL cs.CY
Preliminary Quantitative Study on Explainability and Trust in AI Systems
University of Maryland, College Park（马里兰大学学院公园分校）
本研究通过交互式贷款审批模拟实验，定量探究AI系统可解释性与用户信任的关系，发现交互性增强参与度和信心，解释清晰度与相关性是信任关键决定因素。
2025-10-17 cs.AI cs.HC
Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
最近的工作表明，可解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键因素。然而，以前的工作通常解决两个方面之一：i）如何提取准确的合理解释，同时有利于预测; ii）如何使预测模型对不同类型的对抗攻击具有鲁棒性。直觉上，一个能产生有用解释的模型应该对对抗攻击更具鲁棒性，因为我们不能相信输出解释但在小扰动下改变其预测的模型。为此，我们提出了一个联合分类和合理性提取模型命名为AT-BMC。它包括两个关键机制：混合对抗训练（AT）旨在使用离散和嵌入空间中的各种扰动来提高模型的鲁棒性，边界匹配约束（BMC）有助于在边界信息的指导下更精确地定位合理性。在基准数据集上的性能表明，所提出的AT-BMC在分类和基本原理提取方面都大大优于基线。鲁棒性分析表明，AT-BMC有效降低了攻击成功率，最高可达69%。实证结果表明，稳健的模型和更好的解释之间存在联系。
2021-12-20 cs.AI cs.CL
Persistent and Conversational Multi-Method Explainability for Trustworthy Financial AI
University of Piraeus, Greece（希腊比雷埃克斯大学）；ExpertAI-Lux S.à r.l（ExpertAI-Lux公司）
本文提出一种用于金融情感分析的以人为中心的可解释AI架构，结合持久化存储、多方法解释三角验证和自动化评估，提升金融AI的可信度和可解释性。
2026-05-12 cs.AI
Explainability Through Human-Centric Design for XAI in Lung Cancer Detection
University of Edinburgh（爱丁堡大学）；NHS Lothian（NHS洛锡安）
本文提出XpertXAI模型，通过人类中心设计在肺癌检测中实现可解释性，优于现有方法，提供更符合专家推理的概念解释。
2026-04-15 cs.AI
What Sketch Explainability Really Means for Downstream Tasks
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出一种轻量级可移植的草图可解释性插件，通过笔触级归因图（SLA和P-SLA）解释模型行为，并应用于检索、生成、辅助绘画和对抗攻击等下游任务。
2024-03-14 cs.AI cs.CV
Too Much to Trust? Measuring the Security and Cognitive Impacts of Explainability in AI-Driven SOCs
Rochester Institute of Technology（罗切斯特技术学院）；Independent Researcher（独立研究者）
本文通过混合方法研究SOC分析师对XAI解释的认知，发现角色感知且上下文丰富的可解释性设计能提升理解、分诊效率与响应信心，即便预测准确率较低也能被接受。
2025-07-20 cs.AI cs.CR cs.IR
Explainability in Practice: Estimating Electrification Rates from Mobile Phone Data in Senegal
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学院）；Orange Innovation（Orange创新公司）
本文提出一个XAI用例，通过塞内加尔移动电话数据训练ML模型估算电气化率，发现模型在人口密度上存在偏差，并指出数据处理限制与领域知识重要性两大挑战。
2023-06-29 cs.CY cs.LG
Evaluating and Aggregating Feature-based Model Explanations
University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）；The Alan Turing Institute（艾伦·图灵研究所）
基于特征的模型解释表示每个输入特征对给定数据点的模型输出的贡献程度。随着建议的解释功能的数量增加，我们缺乏定量的评估标准，以帮助从业者知道什么时候使用哪个解释功能。本文提出了基于特征的解释的定量评价标准：低敏感度，高忠实度，低复杂度。我们设计了一个框架聚合解释功能。我们开发了一个程序，学习一个聚合的解释函数具有较低的复杂性，然后推导出一个新的聚合Shapley值解释函数，最大限度地减少敏感性。
2020-05-01 cs.AI cs.CY cs.LG
ALMANACS: A Simulatability Benchmark for Language Model Explainability
Berkeley AI Research（伯克利人工智能研究院）
本文提出了ALMANACS，一个自动化语言模型可解释性基准，通过可模拟性评估解释方法对新输入行为预测的改善程度，发现现有方法均未优于无解释对照组，表明开发有效辅助可模拟性的解释方法仍是开放挑战。
2025-02-02 cs.AI cs.CL cs.LG
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo（东京大学）
图神经网络（GNN）是将图数据作为输入的深度学习模型，并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而，由于GNN的复杂性，很难分析输入的哪些部分影响GNN模型的输出。在这项研究中，我们扩展了卷积神经网络（CNN）的可解释性方法，例如局部可解释模型不可知性解释（LIME），基于显着性的映射和基于显着性的加权类激活映射（Grad-CAM）到GNN，并预测输入图中的哪些边对GNN决策很重要。实验结果表明，基于LIME的方法是最有效的可解释性方法，在现实世界的情况下，多个任务，甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
Evaluating Explainability for Graph Neural Networks
Adobe（奥多比公司）；University of Tennessee（田纳西大学）；Harvard Business School（哈佛商学院）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science Initiative（哈佛数据科学研究院）
随着事后解释越来越多地用于理解图神经网络（GNN）的行为，评估GNN解释的质量和可靠性变得至关重要。然而，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对于给定的任务没有或不可靠的地面实况解释。在这里，我们介绍一个合成图数据生成器，ShapeGGen，它可以生成各种基准数据集（例如，变化的图大小、度分布、同亲图与异亲图），并伴有地面实况解释。此外，生成各种合成数据集和相应的地面实况解释的灵活性使我们能够模拟各种真实世界应用程序生成的数据。我们将ShapeGGen和几个真实世界的图形数据集纳入开源图形解释库GraphXAI。除了具有地面实况解释的合成和真实世界图形数据集外，GraphXAI还提供数据加载器，数据处理功能，可视化工具，GNN模型实现和评估指标，以基准测试GNN可解释性方法的性能。
2023-01-16 cs.AI cs.LG
A Formal Approach to Explainability
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
我们把解释看作是输入样本和模型输出的混合，并提供了一些定义，这些定义捕捉了生成这些解释的函数的各种所需属性。我们研究了这些属性之间的联系，以及学习模型的解释生成函数和中间表示之间的联系，并且能够证明，例如，如果给定层的激活与解释一致，那么所有其他后续层也是如此。此外，我们还研究了解释的交集和并集，作为构建新解释的一种方式。
2020-01-15 cs.LG stat.ML
The Road to Explainability is Paved with Bias: Measuring the Fairness of Explanations
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Unity Health Toronto（多伦多团结健康医院）
医疗保健等安全关键环境中的机器学习模型通常是黑盒：它们包含大量对用户不透明的参数。事后可解释性方法，其中一个简单的，人类可解释的模型模仿这些黑盒模型的行为，经常被提出来帮助用户信任模型预测。在这项工作中，我们审计质量的不同的保护亚组使用真实的数据，从四个设置在金融，医疗保健，大学招生和美国司法系统的解释。在两种不同的黑盒模型架构和四种流行的可解释性方法中，我们发现解释模型的近似质量（也称为保真度）在子组之间存在显着差异。我们还证明，配对的可解释性方法与强大的机器学习的最新进展，可以提高解释的公平性，在某些设置。然而，我们强调了向用户传达非零保真度差距细节的重要性，因为单个解决方案可能不存在于所有设置中。最后，我们讨论了不公平的解释模型作为一个具有挑战性的和欠研究的问题所面临的机器学习社区的影响。
2022-06-02 cs.AI cs.CY cs.LG
Generative Example-Based Explanations: Bridging the Gap between Generative Modeling and Explainability
Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；Technical University of Applied Sciences Würzburg-Schweinfurt（应用科学大学魏玛-施维林分校）；Bielefeld University（比勒菲尔德大学）
本文提出一个概率框架，正式定义基于示例的解释，弥合深度生成建模与可解释性文献的鸿沟，以促进沟通、严谨性和研究进展。
2025-09-10 cs.CY cs.LG stat.ML
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne（墨尔本大学）；University of California, Irvine（加州大学欧文分校）
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定（例如拒绝贷款申请），那么它既需要解释为什么做出这个决定，也需要解释个人如何获得他们想要的结果（如果可能的话）。目前，这通常是使用反事实的解释，但这种解释一般不告诉个人如何行动。我们断言，反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先，我们提出了一个在线研究的结果，调查人们的看法的指示性解释。其次，我们提出了一个概念模型来产生这样的解释。我们的在线研究显示，人们对指令性解释（$p<0.001$）有明显的偏好。然而，受试者偏好的解释类型受到多种因素的影响，如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Rethinking Explainability in the Era of Multimodal AI
University of Virginia（弗吉尼亚大学）
该研究指出单模态解释无法捕捉多模态AI模型的跨模态决策影响，提出三大多模态解释核心原则，以提升模型可靠性与高风险场景安全性。
2025-06-16 cs.AI cs.LG
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology（马尼帕尔理工学院）；IBM Research（IBM研究院）
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比，图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务，即实体匹配，我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction
Cooperative Institute for Severe and High-Impact Weather Research and Operations, University of Oklahoma（俄克拉荷马大学强天气与高影响天气合作研究所）；University of Oklahoma（俄克拉荷马大学）；NOAA/OAR/National Severe Storms Laboratory（美国国家海洋和大气管理局/海洋与大气研究办公室/国家强风暴实验室）；Verisk Analytics Incorporated（Verisk分析公司）；NSF AI Institute for Research on Trustworthy AI in Weather, Climate, and Coastal Oceanography（美国国家科学基金会天气、气候与沿海海洋学可信人工智能研究人工智能研究所）
机器学习（ML）模型在大气科学界越来越常见，具有广泛的应用。为了使用户能够理解ML模型已经学到了什么，ML可解释性已经成为一个活跃的研究领域。在这个两部分研究的第一部分中，我们描述了几种可解释性方法，并证明了不同方法的特征排名可能彼此不一致。然而，目前还不清楚这种分歧是否由于某些方法在分配重要性方面不那么忠实而被夸大了。在本文中，“忠实性”或“保真度”是指所分配的特征重要性与特征对模型性能的贡献之间的对应关系。在本研究中，我们使用多种方法来评估特征排序方法的可信度。考虑到解释方法对特征相关性的敏感性，我们还量化了相关特征受限后可解释性忠诚度的提高程度。在降维之前，特征相关性方法[例如，SHAP、LIME、ALE方差和逻辑回归（LR）系数]通常比排列重要性方法更忠实，这是由于相关特征的负面影响。当相关特征减少后，传统的排列重要性方法成为最可靠的方法。此外，排名不确定性（即，通过不同的排序方法分配给特征的排序的扩展）被减小了2-10倍，并且排除较不忠实的特征排序方法进一步减小了它。这项研究是第一个量化的改善，可解释性从限制相关的功能和了解不同的可解释性方法的相对保真度。
2022-11-18 cs.AI cs.LG physics.ao-ph
Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models
Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））；KU Leuven（鲁汶大学）
本文在流程结果预测中通过可解释性和忠实度定义可解释性，在13个真实事件日志上对7个分类器进行基准测试，并提出X-MOP指南以帮助基于事件日志规范选择合适的模型。
2023-07-30 cs.AI cs.LG cs.SE
Reliable Post hoc Explanations: Modeling Uncertainty in Explainability
UC Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
随着黑箱解释越来越多地被用于在高风险环境中建立模型可信度，确保这些解释准确可靠非常重要。然而，先前的工作表明，最先进的技术产生的解释是不一致的，不稳定的，并提供很少的洞察其正确性和可靠性。此外，这些方法在计算上也是低效的，并且需要显著的超参数调整。在本文中，我们通过开发一种新的贝叶斯框架来解决上述挑战，该框架用于生成本地解释及其相关的不确定性。我们实例化这个框架，以获得贝叶斯版本的LIME和KernelSHAP输出可信区间的功能的重要性，捕捉相关的不确定性。由此产生的解释不仅使我们能够对它们的质量做出具体的推断（例如，有95%的机会特征重要性位于给定范围内），但也是高度一致和稳定的。我们进行了详细的理论分析，利用上述不确定性来估计要采样多少扰动，以及如何采样以加快收敛。这项工作首次尝试用流行的解释方法一次性解决几个关键问题，从而以计算效率高的方式产生一致，稳定和可靠的解释。多个真实世界的数据集和用户研究的实验评估表明，所提出的框架的有效性。
2021-11-06 cs.LG stat.ML
Model Agnostic Multilevel Explanations
IBM Research（IBM研究院）
近年来，黑箱模型的事后局部实例级和全局数据集级可解释性受到了广泛关注。在中间或集团层面获得见解的关注要少得多，这是最近研究实现《通用数据保护条例》（GDPR）中指导方针的挑战的工作中概述的需求。在本文中，我们提出了一个元方法，给定一个典型的局部可解释性方法，可以建立一个多级解释树。该树的叶子对应于局部解释，根对应于全局解释，中间层对应于它自动聚类的数据点组的解释。该方法还可以利用边信息，其中用户可以指定他们可能希望解释相似的点。我们认为，这样的多级结构也可以是一种有效的沟通形式，在这里，人们可以通过考虑我们的解释树中的适当级别来获得表征整个数据集的解释。通过将新测试点与最接近的训练点相关联，可以成本有效地获得新测试点的解释。当局部可解释性技术是广义可加性（即LIME，GAMs）时，我们提出了一种快速近似算法来建立多级树，并研究了其收敛行为。我们验证了所提出的技术的有效性的基础上两个人类的研究-一个与专家和其他非专家用户-在现实世界的数据集，并表明，我们产生高保真稀疏解释其他几个公共数据集。
2020-03-12 cs.AI cs.LG stat.ML
RELAX: Representation Learning Explainability
UiT The Arctic University of Norway（挪威北极大学）
尽管通过自我监督的表征学习在从未标记的数据中学习时带来了显着的改进，但没有方法可以解释是什么影响了学习的表征。我们通过我们提出的方法，RELAX，这是第一种基于属性的解释表示的方法来解决这个问题。我们的方法还可以模拟其解释中的不确定性，这对于产生可信的解释至关重要。RELAX通过测量输入和其屏蔽版本之间的表示空间中的相似性来解释表示，提供直观的解释并显着优于基于梯度的基线。我们提供了RELAX的理论解释，并对使用监督和无监督学习训练的特征提取器进行了新的分析，从而深入了解了不同的学习策略。最后，我们说明了RELAX在多视图聚类中的可用性，并强调，将不确定性可以提供低复杂度的解释是必不可少的，向解释表示迈出了关键的一步。
2022-02-21 cs.LG stat.ML
The Bouncer Problem: Challenges to Remote Explainability
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Irisa（IRISA研究所）；LAAS/CNRS（LAAS-CNRS实验室）
可解释性的概念是为了满足社会对机器学习决策透明度的要求。这个概念很简单：像人类一样，算法应该解释其决策背后的基本原理，以便评估其公平性。虽然这种方法在本地环境中很有前途（例如，在训练时的调试过程中解释模型），但我们认为这种推理不能简单地在远程环境中转换，其中服务提供商的训练模型只能通过其API访问。这是有问题的，因为它恰恰构成了从社会角度来看需要透明度的目标用例。通过与俱乐部保镖（这可能会提供不真实的解释后，客户拒绝）的类比，我们表明，提供解释不能阻止远程服务说谎的真正原因，导致其决定。更确切地说，我们证明了远程解释单个解释的不可能性，通过构建一个攻击的解释，隐藏歧视性的功能，查询用户。我们提供了这种攻击的示例实现。然后，我们表明，一个观察员发现的攻击，试图找到不连贯的几种解释的概率是低的实际设置。这破坏了一般意义上的远程可解释性的概念。
2020-03-23 cs.CR cs.LG stat.ML
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain（索尼人工智能，巴塞罗那，西班牙）
针对知识图谱补全缺乏统一事后解释框架的问题，提出基于多目标优化的分类法，统一现有算法，改进评估协议，强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
EvalxNLP: A Framework for Benchmarking Post-Hoc Explainability Methods on NLP Models
Technical University of Munich, School of Computation, Information and Technology, Department of Computer Science（慕尼黑技术大学，计算信息学院，计算机科学系）
本文提出EvalxNLP框架，集成八种可解释性技术，支持对基于Transformer的NLP模型生成和评估解释，并提供基于LLM的交互式文本解释，用户满意度高。
2025-05-02 cs.AI cs.CL cs.LG
Weakly Supervised Multi-task Learning for Concept-based Explainability
Feedzai
在ML辅助决策任务中，例如欺诈检测或医疗诊断，通常是没有技术ML知识的领域专家，更喜欢基于概念的高级解释，而不是基于模型特征的低级解释。为了获得忠实的基于概念的解释，我们利用多任务学习来训练一个神经网络，该神经网络联合学习以基于先前可解释性任务的预测来预测决策任务（即，多标签概念）。有两个主要的挑战需要克服：概念标签稀缺和联合学习。为了解决这两个问题，我们建议：i）使用专家规则来生成一个大型的噪声概念标签数据集，ii）应用两种不同的多任务学习策略，结合噪声和黄金标签。我们将这些策略与现实世界中的欺诈检测应用程序中的完全监督方法进行比较，其中很少有可用于可解释性任务的黄金标签。在可解释性和决策任务分别提高了9.26%和417.8%，我们的研究结果表明，通过结合异质质量的标签，可以提高这两项任务的性能。
2021-04-26 cs.AI cs.LG
Logic-Based Explainability in Machine Learning
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
在过去的十年里，机器学习（ML）取得了越来越多的成功。这些成功提供了明确的证据，表明ML必将在广泛的实际应用中变得普遍，包括许多直接影响人类的应用。不幸的是，人类决策者无法理解最成功的ML模型的操作。因此，ML模型的使用，特别是在高风险和安全关键环境中的使用并非没有问题。近年来，人们一直在努力设计解释ML模型的方法。这些努力大多集中在所谓的模型无关的方法。然而，所有与模型无关的和相关的方法都不能保证严格性，因此被称为非正式的。例如，这种非正式的解释可以与不同的预测相一致，这使得它们在实践中毫无用处。本文概述了正在进行的关于计算ML模型的严格的基于模型的解释的研究工作;这些被称为形式化解释。这些努力涵盖了各种主题，包括解释的实际定义，计算解释的复杂性的表征，当前用于推理不同ML模型的最佳逻辑编码，以及如何使解释可供人类决策者解释等。
2023-01-29 cs.AI cs.LG
Explanation Ontology: A Model of Explanations for User-Centered AI
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
可解释性一直是人工智能（AI）系统的目标，因为它们的概念，随着更复杂的AI模型越来越多地用于关键的，高风险的设置，如医疗保健，对可解释性的需求越来越大。解释通常以非原则性的、事后的方式添加到人工智能系统中。随着这些系统的广泛采用和对以用户为中心的可解释性的强调，需要一种结构化的表示，将可解释性作为主要考虑因素，将最终用户需求映射到特定的解释类型和系统的AI功能。我们设计了一个解释本体模型的解释，占系统和用户属性的过程中的作用，以及不同的文献衍生的解释类型的范围。我们指出本体如何可以支持用户的需求，在医疗保健领域的解释。我们评估我们的本体与一组面向系统设计师谁可能使用我们的本体来决定哪些解释类型，包括一组能力问题，给出了用户的需求和系统的能力相结合，无论是在系统设计设置和实时操作。通过使用这种本体，系统设计人员将能够做出明智的选择，人工智能系统可以并且应该提供哪些解释。
2020-10-04 cs.AI cs.HC cs.LG
Rethinking Explainability as a Dialogue: A Practitioner's Perspective
Harvard University（哈佛大学）；UC Irvine（加州大学欧文分校）；University of Chicago（芝加哥大学）；AI2（艾伦人工智能研究所）
随着从业者越来越多地在医疗保健、金融和政策等关键领域部署机器学习模型，确保领域专家与这些模型一起有效运作变得至关重要。可解释性是弥合人类决策者和机器学习模型之间差距的一种方法。然而，大多数关于可解释性的现有工作都集中在一次性的静态解释上，如特征重要性或规则列表。对于许多需要利益相关者动态、持续发现的用例来说，这些解释可能还不够。在文献中，很少有著作询问决策者现有解释的效用以及他们希望在未来的解释中看到的其他必要条件。在这项工作中，我们解决了这一差距，并进行了一项研究，我们采访了医生，医疗保健专业人员和政策制定者，了解他们对解释的需求和愿望。我们的研究表明，决策者强烈倾向于互动的解释形式的自然语言对话。领域专家希望将机器学习模型视为“另一个同事”，即，一个可以通过询问他们为什么通过表达和可访问的自然语言交互做出特定决定来追究责任的人。考虑到这些需求，我们概述了一组五个原则，研究人员应该遵循时，设计交互式解释作为未来工作的起点。此外，我们展示了为什么自然语言对话满足这些原则，是一个理想的方式来建立互动的解释。接下来，我们提供了一个设计的对话系统的可解释性和讨论的风险，权衡，并建立这些系统的研究机会。总的来说，我们希望我们的工作可以作为研究人员和工程师设计交互式可解释性系统的起点。
2022-02-03 cs.LG
Explanations Go Linear: Post-hoc Explainability for Tabular Data with Interpretable Meta-Encoding
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会ISTI研究所）；Scuola Normale Superiore - Pisa, Italy（比萨大学正常学院 - 意大利）
本文提出ILLUME框架，结合全局训练的替代模型与实例特定的线性变换，生成准确且高效的局部和全局解释，解决传统替代方法的局限性。
2026-03-18 cs.LG
A Quantitative Evaluation Framework for Temporal Explainability in Echocardiographic Video Segmentation
University of Toronto（多伦多大学）
本文提出一个定量评估框架，用四个指标衡量超声心动图视频分割中Grad-CAM时间可解释性，发现中间层解释不稳定，时间瓶颈更稳定，并推动时间感知XAI方法。
2026-09-09 cs.CV cs.LG
