To trust or not to trust an explanation: using LEAF to evaluate local linear XAI methods
University of Turin（都灵大学）；ISI Foundation（ISI基金会）
可解释人工智能（XAI）的主要目标是为黑盒分类器提供有效的解释。现有的文献列出了许多有用的解释所需的属性，但在实践中如何定量评估解释并没有达成共识。此外，解释通常只用于检查黑盒模型，而解释作为决策支持的主动使用通常被忽视。在XAI的许多方法中，广泛采用的范例是局部线性简化-LIME和SHAP作为最先进的方法出现。我们发现，这些方法是困扰着许多缺陷，包括不稳定的解释，从承诺的理论性质的实际实现的分歧，和错误的标签的解释。这突出了需要有标准和公正的评价程序，局部线性偏差在XAI领域。在本文中，我们解决的问题，确定一个明确的和明确的一组指标的评价局部线性方程。这一组包括专门为这类解释定义的现有指标和新指标。所有指标都包含在一个名为LEAF的开放Python框架中。LEAF的目的是为最终用户提供一个参考，以标准化和公正的方式评估解释，并指导研究人员开发改进的可解释技术。
2021-06-01 cs.AI cs.CY cs.LG
On the Hardness of Computing Counterfactual and Semifactual Explanations in XAI
Faculty of Technology（技术学院）；Bielefeld University（比勒菲尔德大学）；Department of Business Development and Technology（商业发展与技术系）；Aarhus University（哥本哈根大学）；Department of Business Decisions and Analytics（商业决策与分析系）；University of Vienna（维也纳大学）
本文研究了在XAI中生成反事实和半事实解释的计算难度，发现其在许多情况下具有计算复杂性，并提出了近似性结果以支持这一结论。
2026-01-14 cs.AI cs.LG
Introducing δ-XAI: a novel sensitivity-based method for local AI explanations
University of Pavia（帕维亚大学）；University of Ottawa（渥太华大学）
本文提出了一种基于全局敏感性分析扩展的 delta-XAI 方法，用于提供机器学习模型预测的局部解释，实验表明其在检测主导特征和处理极端特征值上优于 Shapley 值。
2024-07-29 cs.AI cs.LG
How can we trust opaque systems? Criteria for robust explanations in XAI
Institute for Philosophy and Political Science（哲学与政治科学研究所）；TU Dortmund（多特蒙德技术大学）
本文提出XAI中解释稳健性和方法稳健性的准则，以提高深度学习算法的可信度和可解释性。
2025-08-18 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) from a user perspective- A synthesis of prior literature and problematizing avenues for future research
LUT University（拉彭兰塔-拉赫蒂工业大学）；Norwegian University of Science and Technology（挪威科技大学）；SINTEF Digital（挪威科技工业研究院数字研究所）
系统性文献综述（SLR）的最终检索查询于2022年7月15日进行。最初，我们从Scopus和Web of Science数据库中提取了1707篇期刊和会议文章。然后应用纳入和排除标准，选择58篇文章进行SLR。研究结果显示了塑造AI解释的四个维度，即格式（解释表示格式），完整性（解释应包含所有必要的信息，包括补充信息），准确性（关于解释准确性的信息）和货币（解释应包含最近的信息）。此外，随着解释的自动表示，用户可以在需要时请求附加信息。我们还发现了XAI效应的五个维度：信任、透明度、可理解性、可用性和公平性。此外，我们调查了当前的知识，从选定的文章问题化未来的研究议程，随着可能的研究路径的研究问题。因此，XAI及其对用户行为可能产生的影响的综合框架已经开发出来。
2022-11-24 cs.AI cs.LG
Black Box Model Explanations and the Human Interpretability Expectations -- An Analysis in the Context of Homicide Prediction
Federal University of Pará (UFPA)（帕拉联邦大学）；Federal Institute of Education, Science and Technology of Pará (IFPA)（帕拉联邦教育、科学和技术学院）；Vale Institute of Technology (ITV DS)（淡水河谷技术研究院）
本文在凶杀案预测情境下复现黑盒模型，比较6种XAI方法生成的解释与6位人类专家的期望，发现约75%的专家期望被满足、约48%的结果一致，从而系统评估XAI解释与人类可解释性期望的匹配程度。
2024-07-04 cs.AI cs.LG
Towards Symbolic XAI -- Explanation Through Human Understandable Logical Relationships Between Features
Berlin Institute for the Foundations of Learning（柏林学习与数据基础研究所）；Machine Learning Group, Technical University of Berlin（柏林技术大学机器学习组）；Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Department of Mathematics and Computer Science, Free University of Berlin（柏林自由大学数学与计算机科学系）
本文提出符号化XAI框架，通过人类可理解的逻辑关系解释模型决策，提升AI透明度和可解释性。
2024-10-01 cs.AI cs.LG
How Reliable and Stable are Explanations of XAI Methods?
Federal Institute of Pará - IFPA（帕拉联邦学院（IFPA））；Federal University of Pará - UFPA（帕拉联邦大学（UFPA））；Vale Institute of Technology - ITV（淡水河谷技术研究院（ITV））
本文通过糖尿病数据集和四种模型上的扰动实验，评估Dalex、Eli5、eXirt、Lofo和Shap等XAI方法的可靠性与稳定性，发现eXirt能识别最可靠模型，且除一种方法外，现有XAI方法普遍对扰动敏感。
2024-07-03 cs.AI cs.LG
Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI)
University of Urbino ‘Carlo Bo’（乌尔比诺大学“卡洛·博”）；Daraz–Alibaba Group（Daraz-阿里巴巴集团）
本文提出基于Bloom分类法的实验框架，利用反事实解释与用户反馈评估不同认知水平的理解，并相应改进解释生成方法。
2022-10-31 cs.AI cs.HC
"Explanation" is Not a Technical Term: The Problem of Ambiguity in XAI
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Northwestern University（西北大学）
人们普遍认为，人工智能（AI）系统，特别是那些使用机器学习（ML）的系统，应该能够"解释"它们的行为。不幸的是，对于什么是"解释"，几乎没有一致意见。"这导致了系统为可解释人工智能（XAI）服务而产生的解释与用户和其他受众实际需要的解释之间的脱节，这些解释应该由功能角色、受众和解释能力的全方位来定义。在本文中，我们将探讨解释的特点，以及如何使用这些特点来评估其效用。我们专注于解释定义的功能角色的要求，谁是试图理解他们的用户的知识状态，以及生成它们所需的信息的可用性。此外，我们还讨论了XAI在不建立可信度的情况下实现系统信任的风险，并为XAI领域定义了关键的下一步，即建立指标来指导和支持系统生成的解释的实用性。
2022-06-27 cs.AI cs.HC
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin（都柏林大学学院）；Accenture Labs（埃森哲实验室）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
反事实解释是一种越来越受欢迎的事后解释形式，这是由于它们（i）跨问题领域的适用性，（ii）建议的法律合规性（例如，与GDPR），以及（iii）依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例，但我们探索了一种新的用例，其中使用“组反事实”（例如，以突出显示一组患者中的疾病的重复模式）。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的，组反事实算法，以产生高覆盖率的解释，是忠实于被解释的模型。该解释策略也在一项大型对照用户研究（N=207）中进行了评估，使用客观（即，准确性）和主观性（即，信心、解释满意度和信任）心理测量。结果表明，群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Explainable AI needs formalization
Technische Universität Berlin（柏林工业大学）；Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）
本文指出当前可解释AI缺乏明确问题定义和评估标准，需通过形式化定义问题并设计方法来提升解释正确性和性能。
2026-04-08 cs.AI cs.LG stat.ML
Incremental XAI: Memorable Understanding of AI with Incremental Explanations
University of Toronto（多伦多大学）；National University of Singapore（新加坡国立大学）
针对现有XAI解释要么全局不准确要么局部差异大的问题，提出Incremental XAI框架，以基础+增量因子划分通用与非典型实例解释，经用户研究验证其在保真度、可记忆性和可理解性上更优，助力用户更好理解AI。
2024-04-10 cs.AI cs.HC
Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
如今，深度神经网络广泛应用于医疗保健、自动驾驶汽车和军事等对人类生活有直接影响的关键任务系统。然而，深度神经网络的黑箱性质对其在关键任务应用中的使用提出了挑战，引发了道德和司法问题，导致缺乏信任。可解释人工智能（XAI）是人工智能（AI）的一个领域，它促进了一套工具，技术和算法，可以生成高质量的可解释，直观，人类可理解的AI决策解释。除了提供当前XAI在深度学习领域的整体观点外，本文还提供了开创性工作的数学总结。我们首先提出了一个分类法，并根据解释范围、算法背后的方法以及解释级别或用法对XAI技术进行分类，这有助于构建可信、可解释和自我解释的深度学习模型。然后，我们描述了XAI研究中使用的主要原则，并提出了2007年至2020年XAI里程碑式研究的历史时间轴。在详细解释了每一类算法和方法之后，我们评估了八种XAI算法在图像数据上生成的解释图，讨论了这种方法的局限性，并提供了改进XAI评估的潜在未来方向。
2020-06-23 cs.AI cs.CV cs.LG
A Psychological Theory of Explainability
Rutgers University–Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（普林斯顿高等研究院）
可解释的人工智能（XAI）的目标是生成人类可解释的解释，但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行，在个案的基础上，这阻碍了XAI的系统理论建设。我们提出了一个心理学理论，人类如何从显着图中得出结论，显着图是XAI解释的最常见形式，它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设，在没有解释的情况下，人类期望人工智能做出与自己类似的决定，并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的，通过谢泼德的普遍规律的推广相似空间，一个经典的理论，从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明，我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
Causal Explanations and XAI
University of Tübingen（蒂宾根大学）
虽然标准的机器学习模型是针对对观察结果进行预测而优化的，但它们越来越多地用于对行动结果进行预测。可解释人工智能（XAI）的一个重要目标是通过提供关于ML模型的预测的解释来补偿这种不匹配，从而确保它们是可靠的行动指导。由于行动指导解释是因果解释，关于这一主题的文献开始接受因果模型文献的见解。在这里，我在这条道路上更进一步，正式定义了充分解释和反事实解释的因果概念。我展示了这些概念如何与现有的工作相关（并改进现有的工作），并通过说明不同的解释如何在不同的情况下指导行动来激励它们的充分性。此外，这项工作是第一次提供一个正式的定义，实际的因果关系，完全建立在行动指导的解释。虽然这些定义是出于对XAI的关注，但因果解释和实际因果关系的分析通常适用。我还通过展示如何使用实际因果关系来改进特定于路径的反事实公平性的想法，来探讨这项工作对人工智能公平性的意义。
2022-02-14 cs.AI
Beyond Technocratic XAI: The Who, What & How in Explanation Design
本文提出XAI解释设计的三部分框架（谁、什么、如何），强调将解释视为情境化社会技术过程，以支持有效沟通并开发符合伦理责任的解释。
2025-08-12 cs.AI cs.CY cs.HC
INTERACTION: A Generative XAI Framework for Natural Language Inference Explanations
Durham University（杜伦大学）
带有自然语言处理的XAI旨在产生人类可读的解释，作为AI决策的证据，这解决了可解释性和透明度问题。然而，从人机交互的角度来看，目前的方法只集中在提供一个单一的解释，这不能解释人类的思想和经验的多样性的语言。因此，本文通过提出生成式XAI框架INTERACTION（用上下文条件变分自动编码器解释和预测查询）来解决这个差距。我们的新框架提出了两个步骤的解释：（第一步）解释和标签预测;（第二步）多样化的证据生成。我们进行密集的实验与Transformer架构的基准数据集，e-SNLI。我们的方法在第一步中的解释生成（BLEU中高达4.7%的增益）和预测（准确度高达4.4%的增益）方面与最先进的基线模型相比具有竞争力或更好的性能;它还可以在第二步中生成多种不同的解释。
2022-09-02 cs.AI cs.CL
Assessing Fidelity in XAI post-hoc techniques: A Comparative Study with Ground Truth Explanations Datasets
University of the Balearic Islands（巴利阿里群岛大学）
本文构建三个带解释真值的图像数据集，公平比较多种 XAI 事后方法，发现输出到输入的反向传播法更准确可靠，但显著性图噪声更多。
2023-11-03 cs.AI cs.CV
XAI-P-T: A Brief Review of Explainable Artificial Intelligence from Practice to Theory
Umeå University（于默奥大学）；Aalto University（阿尔托大学）
在这项工作中，我们报告了一些基本文献中确定的可解释AI（XAI）的实践和理论方面。虽然有大量的工作来代表XAI的背景，但大多数语料库都指出了一个离散的思想方向。在实践和理论上同时提供对文学的见解仍然是该领域的一个空白。这一点很重要，因为这种联系有利于早期XAI研究人员的学习过程，并为经验丰富的XAI学者提供了一个光明的立场。分别介绍了黑箱解释的分类，并给出了一个实例。稍后，我们将讨论理论解释如何在多学科领域的身体中扎根。最后，对今后的研究方向进行了展望。
2020-12-17 cs.AI cs.LG
xai-cola: A Python library for sparsifying counterfactual explanations
Technical University of Denmark（丹麦技术大学）
xai-cola是一个开源Python库，用于稀疏化反事实解释，通过端到端流程减少冗余特征变化，提升解释效率。
2026-02-25 cs.AI cs.CY cs.LG
xai_evals : A Framework for Evaluating Post-Hoc Local Explanation Methods
xai_evals 是一个开源 Python 框架，用于在表格和图像数据上系统生成、基准测试和评估 SHAP、LIME、Grad-CAM 等事后局部解释方法，以提升模型可解释性与 AI 系统可信度。
2025-02-05 cs.AI cs.ET cs.LG
Argumentative XAI: A Survey
Ericsson Research（爱立信研究院）；Imperial College London（帝国理工学院）；Università degli Studi di Brescia（布雷西亚大学）
可解释人工智能（XAI）已经研究了几十年，近年来与人工智能本身一起见证了前所未有的增长。在XAI的各种方法中，论证模型在AI和社会科学文献中都得到了提倡，因为它们的辩证性质似乎与解释活动的一些基本理想特征相匹配。在本调查中，我们概述了XAI方法，这些方法使用计算论证领域的方法构建，利用其广泛的推理抽象和解释交付方法。我们概述了文献集中在不同类型的解释（内在的和事后的），不同的模型，基于论证的解释部署，不同形式的交付，以及他们使用的不同的论证框架。我们还为未来的工作制定了路线图。
2021-05-24 cs.AI
Informative Semi-Factuals for XAI: The Elaborated Explanations that People Prefer
School of Computer Science, University College Dublin, Dublin, Ireland（都柏林大学计算机科学学院）；Insight Research Ireland Centre for Data Analytics, Dublin, Ireland（爱尔兰洞察研究数据分析中心）
本文提出一种新的算法，生成更详细的半事实性解释，补充半事实性解释关于影响自动决策的隐藏特征信息，实验表明其解释信息丰富且质量高，用户更偏好此类解释。
2026-03-18 cs.AI cs.LG
Uncertainty Propagation in XAI: A Comparison of Analytical and Empirical Estimators
Berliner Hochschule für Technik（柏林应用技术大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）
本文提出统一框架量化XAI中的不确定性传播，通过解析与经验估计器比较，识别出无法可靠捕获和传播不确定性的XAI方法，为高风险应用中的不确定性感知解释提供新见解。
2025-04-01 cs.AI cs.CV cs.LG
Explainable but Vulnerable: Adversarial Attacks on XAI Explanation in Cybersecurity Applications
Department of Computer Science（计算机科学系）；Tennessee Tech University（田纳西科技大学）
该研究针对网络安全场景下的XAI解释易受对抗攻击的问题，分析三类攻击策略及六种针对SHAP、LIME、IG等事后解释方法的攻击流程，验证了攻击有效性，呼吁提升XAI方法鲁棒性。
2025-10-04 cs.AI cs.CR
Explanations as Bias Detectors: A Critical Study of Local Post-hoc XAI Methods for Fairness Exploration
University of Ioannina（伊奥安纳大学）；Archimedes / Athena RC Greece（阿基米德/亚特兰蒂斯研究所以及希腊）；Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（联邦国防军大学慕尼黑）
本文提出了一种集成局部事后解释方法的流水线来检测和解释AI系统中的不公平性，并批判性地分析了将解释作为偏见检测器时需考虑的关键问题与挑战。
2025-05-01 cs.AI cs.LG
EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Technische Universität Berlin（柏林工业大学）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）
针对可解释人工智能（XAI）缺乏标准化实证验证的问题，研究者搭建了整合带真值解释的基准数据集与新型量化指标的EXACT平台，用于评估事后XAI方法质量，发现主流方法常弱于随机基线且同性能架构解释存在差异，为XAI方法验证提供标准化基础。
2024-05-20 cs.AI cs.LG
Dear XAI Community, We Need to Talk! Fundamental Misconceptions in Current XAI Research
Tübingen University（图宾根大学）；LMU Munich（慕尼黑大学）
本文批判当前 XAI 研究在目的、评估、伦理动机及概念假设上的根本误区，并提出使其更扎实的改进方向。
2023-06-07 cs.AI stat.ML
Axe the X in XAI: A Plea for Understandable AI
Universidad de los Andes（安第斯大学）
本文批评将科学哲学解释模型直接用于深度神经网络的观点，主张以“可理解 AI”取代 XAI，并提出基于使用与推论成功的实用主义理解观。
2024-03-01 cs.AI cs.LG
What Do You See? Evaluation of Explainable Artificial Intelligence (XAI) Interpretability through Neural Backdoors
Purdue University（普渡大学）
可解释人工智能（XAI）方法已经被提出来解释深度神经网络如何通过模型显着性解释来预测输入，这些解释突出了被认为对在特定目标上做出决策很重要的输入部分。然而，它仍然具有挑战性，以量化其可解释性的正确性，因为目前的评估方法要么需要从人类的主观输入或自动评估招致高计算成本。在本文中，我们提出了后门触发模式-隐藏的恶意功能，导致错误分类-自动评估显着性的解释。我们的主要观察是，触发器为输入提供了基础事实，以评估XAI方法识别的区域是否与其输出真正相关。由于后门触发器是导致故意错误分类的最重要特征，因此强大的XAI方法应该在推理时显示它们的存在。我们介绍了三个补充指标，用于系统评估XAI方法生成和评估七个最先进的无模型和模型特定的posthoc方法的解释，通过36个模型特洛伊木马专门制作的触发器使用颜色，形状，纹理，位置和大小。我们发现六种使用局部解释和特征相关性的方法都不能完全突出触发区域，只有无模型方法才能揭示整个触发区域。
2020-09-22 cs.AI cs.CV cs.LG
IMPACTX: improving model performance by appropriately constraining the training with teacher explanations
Department of Electrical Engineering and Information Technology, University of Naples Federico II（那不勒斯费德里科二世大学电气工程与信息科技系）
IMPACTX利用XAI作为自动注意力机制，提升模型性能，无需外部知识或人工反馈，在多个数据集上均有效。
2026-04-16 cs.AI cs.LG
Tell me more: Intent Fulfilment Framework for Enhancing User Experiences in Conversational XAI
School of Computing, Robert Gordon University（罗伯特戈登大学计算机学院）
本研究针对对话式XAI中多样化用户解释需求的满足问题，提出整合解释追问功能的意图满足框架及对话模型，经用户研究验证可提升用户参与度、系统实用性与整体体验。
2024-05-16 cs.AI cs.HC
Benchmarking XAI Explanations with Human-Aligned Evaluations
本文提出PASTA框架及数据集，用于以人类判断为基准评估计算机视觉中的XAI解释方法，并实现自动化评分以预测人类偏好，支持跨模态比较，助力构建更可解释的模型。
2025-08-26 cs.AI cs.CV cs.HC
How Case Based Reasoning Explained Neural Networks: An XAI Survey of Post-Hoc Explanation-by-Example in ANN-CBR Twins
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics（数据分析洞察中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
本文调查的XAI问题的方法，使用事后解释的例子，这取决于成对的人工神经网络（ANN）与基于案例的推理（CBR）系统，所谓的ANN-CBR双胞胎。对1100多篇论文进行了系统的调查，以确定关于这个主题的零散文献，并将其影响追溯到涉及深度神经网络（DNN）的最新工作。本文认为，这种双系统的方法，特别是使用ANN-CBR双胞胎，提出了一个可能的连贯的，通用的解决方案，XAI问题（和，事实上，XCBR问题）。最后，本文为XAI解决方案的未来方向绘制了路线图，涉及（i）进一步测试特征加权技术，（iii）探索如何最好地部署解释性案例（例如，在反事实，接近的情况下，一个fortori的情况下），和（iii）提出了不受欢迎的，被忽视的，人类用户评估的问题。
2019-05-17 cs.AI
Beyond the Black Box: Do More Complex Deep Learning Models Provide Superior XAI Explanations?
University of Warsaw（华沙大学）；University of Antwerp（安特卫普大学）
本研究针对医疗领域AI模型可解释性问题，用四种ResNet架构在新冠肺部X光数据集上实验，发现模型复杂度升高反而分类性能下降，且多数情况下XAI解释相关性无显著差异，证明复杂度提升不必然带来性能与解释质量的提升。
2024-10-05 cs.AI cs.CV cs.LG
What Do End-Users Really Want? Investigation of Human-Centered XAI for Mobile Health Apps
University of Augsburg（奥格斯堡大学）
在医疗保健领域，人工智能系统在诊断、治疗和监测方面为临床医生和患者提供支持，但许多系统的可解释性差仍然是实际应用的挑战。克服这一障碍是可解释AI（XAI）的目标。然而，一种解释可能会被不同的人所理解，因此，并不能为每个人解决黑箱问题。以人为中心的AI领域通过使AI适应用户来解决这个问题。我们提出了一个以用户为中心的人物角色的概念来评估XAI，并使用它来调查终端用户的偏好，在移动健康压力监测应用程序的各种解释风格和内容。我们的在线调查结果显示，用户的人口统计数据和个性，以及解释类型，影响解释偏好，表明这些是XAI设计的基本特征。我们将结果归纳为三种典型的用户角色：权力型用户、休闲型用户和隐私型用户。我们的见解使交互式、以人为本的XAI更接近实际应用。
2022-10-07 cs.AI cs.HC
Explaining Classifications to Non Experts: An XAI User Study of Post Hoc Explanations for a Classifier When People Lack Expertise
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics, UCD（UCD洞察数据分析中心）；ML Labs, SFI CRT（SFI CRT机器学习实验室）
很少有可解释的人工智能（XAI）研究考虑用户对解释的理解可能会根据他们对要解释的领域的了解程度（即，他们的专业知识是否不同）。然而，专业知识是大多数高风险人类决策的关键方面（例如，了解实习医生与有经验的顾问的不同之处）。因此，本文报告了一项新的用户研究（N=96），通过深度学习黑盒分类器的例子，研究人们在某个领域的专业知识如何影响他们对事后解释的理解。结果表明，人们对正确和不正确分类的解释的理解在几个维度上发生了巨大变化（例如，响应时间，对正确性和有用性的感知），当所考虑的基于图像的域是熟悉的（即，MNIST），而不是不熟悉的（即，Kannada MNIST）。更广泛的影响，这些新的发现XAI战略进行了讨论。
2022-12-19 cs.AI cs.HC
Mind the XAI Gap: A Human-Centered LLM Framework for Democratizing Explainable AI
Aristotle University of Thessaloniki, School of Informatics（塞萨洛尼基亚里士多德大学信息学院）；Technical University of Denmark（丹麦技术大学）；Telefonica Scientific Research（电信科学研究院）
针对现有可解释AI方案仅面向专家、非专业人士难以理解的问题，提出一种基于大语言模型的通用人本框架，可同时输出适配两类人群的解释，经基准测试与用户研究验证效果优异，弥合了XAI的受众鸿沟。
2025-06-13 cs.AI cs.LG
Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals
Simon Fraser University（西蒙弗雷泽大学）
非技术终端用户是最先进的可解释人工智能（XAI）技术的沉默和无形的用户。他们对AI可解释性的需求和要求并没有被纳入XAI技术的设计和评估中，XAI技术的开发是为了向最终用户解释AI决策的基本原理，并帮助他们做出关键决策。这使得XAI技术在高风险应用中无效甚至有害，例如医疗保健，刑事司法，金融和自动驾驶系统。为了系统地了解最终用户的需求，以支持XAI的技术开发，我们在四个AI辅助的关键任务中与32名非专业参与者进行了EUCA用户研究。该研究确定了基于特征、示例和规则的XAI技术的全面用户需求（表现为最终用户友好的解释形式）和XAI评估目标（表现为解释目标），这些都有助于直接激发新XAI算法和评估指标的建议。EUCA研究结果、技术规范的确定解释表格和目标以及EUCA研究数据集支持以最终用户为中心的XAI技术的设计和评估，以实现可访问、安全和可问责的AI。
2023-02-15 cs.AI cs.HC
Towards a Rigorous Evaluation of XAI Methods on Time Series
University of Konstanz（康斯坦茨大学）；Siemens CT（西门子中央研究院）；TU Munich（慕尼黑工业大学）
可解释的人工智能（XAI）方法通常用于解释和调试黑盒机器学习模型。然而，大多数提出的XAI方法本身就是黑盒，并且是为图像设计的。因此，他们依靠视觉可解释性来评估和证明解释。在这项工作中，我们将以前在图像和文本域中使用的XAI方法应用于时间序列。我们提出了一种方法来测试和评估各种XAI方法的时间序列，通过引入新的验证技术，将时间维度。我们进一步进行了初步实验，以评估所选XAI方法解释的质量，并在一系列数据集上使用各种验证方法并检查其质量指标。我们证明，在我们的初步实验中，SHAP对所有模型都是鲁棒的，但其他模型，如DeepLIFT，LRP和显着性图，在特定的架构下工作得更好。
2019-09-17 cs.AI cs.LG
Learning Quantifiable Visual Explanations Without Ground-Truth
Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心）；Autonomous University of Barcelona, Spain（巴塞罗那自治大学）
本文提出了一种基于连续输入扰动的可量化指标，用于评估XAI方法的质量，并提出了一种新的XAI方法，通过可微近似指标对模型进行微调，生成因果解释而不影响模型性能。
2026-05-18 cs.AI cs.LG
Transferable XAI: Relating Understanding Across Domains with Explanation Transfer
National University of Singapore（新加坡国立大学）；Department of Computer Science（计算机科学系）
本文提出可迁移XAI框架，通过解释迁移在不同领域间建立理解，提升AI决策的可解释性和可重用性。
2026-02-14 cs.AI cs.HC
Going Beyond XAI: A Systematic Survey for Explanation-Guided Learning
Emory University（埃默里大学）；George Mason University（乔治梅森大学）
随着深度神经网络（DNN）的社会影响力不断增长，推进DNN的目标变得更加复杂和多样化，从提高传统模型的准确性指标到注入先进的人类美德，如公平，问责制，透明度（FaccT）和无偏见。最近，可解释人工智能（XAI）的技术引起了相当大的关注，并极大地帮助了机器学习（ML）工程师理解AI模型。然而，与此同时，我们开始看到AI社区对XAI之外的新兴需求;基于从XAI学到的见解，我们如何更好地授权ML工程师指导他们的DNN，以便模型的合理性和性能可以按照预期得到改善？这篇文章提供了一个及时和广泛的文献综述领域的解释引导学习（EGL），一个技术领域，引导DNN的推理过程，通过添加正则化，监督或干预模型解释。在这样做的时候，我们首先提供了一个正式的定义EGL和它的一般学习范式。其次，概述了EGL评估的关键因素，以及现有的EGL评估程序和指标的总结和分类。最后，当前和潜在的未来应用领域和方向的EGL进行了讨论，并提出了广泛的实验研究，旨在提供全面的比较研究现有EGL模型在各种流行的应用领域，如计算机视觉（CV）和自然语言处理（NLP）领域。
2022-12-07 cs.AI cs.CV cs.HC
Not All Explanations are Created Equal: Investigating the Pitfalls of Current XAI Evaluation
本文指出当前XAI评估中“任何解释都比没有解释更能提高用户满意度”的陷阱，并通过国际象棋教学智能体助手实验证明应重视可操作解释，呼吁建立更全面的解释质量评估方法。
2025-09-27 cs.AI cs.HC
Even if Explanations: Prior Work, Desiderata & Benchmarks for Semi-Factual XAI
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics（数据分析洞察中心）
本文综述半事实XAI的先前工作，定义关键期望属性，并报告历史算法及新朴素方法的基准测试，为未来算法发展奠定基础。
2023-05-08 cs.AI
SIDEs: Separating Idealization from Deceptive Explanations in xAI
Utrecht University（乌得勒支大学）
本文提出 SIDEs 框架，借鉴自然科学中的理想化概念，评估 xAI 方法的解释扭曲是成功的理想化还是欺骗性解释，发现领先的特征重要性方法与反事实解释存在理想化失败并提出补救措施。
2024-04-25 cs.AI cs.CY
Should XAI Nudge Human Decisions with Explanation Biasing?
Tokyo Metropolitan University（东京都立大学）；National Institute of Informatics（信息学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学院大学（SOKENDAI））
本文回顾 Nudge-XAI 通过向 XAI 解释注入自动偏置来非强制性引导决策，并经聚类分析发现用户反应多样但存在反向不信任行为，需个性化调节助推强度。
2024-06-11 cs.AI cs.HC
On Computing Relevant Features for Explaining NBCs
University of Toulouse（图卢兹大学）；IRIT, CNRS（法国国家科学研究中心图卢兹计算机科学研究所）
尽管模型不可知的可解释AI（XAI）取得了进展，但模型不可知的XAI可能会产生不正确的解释。一种替代方法是所谓的XAI正式方法，包括PI解释。不幸的是，PI解释也表现出重要的缺点，其中最明显的可以说是它们的大小。相关特征的计算用于权衡解释中特征数量的概率精度。然而，即使对于非常简单的分类器，计算相关特征集的复杂性也是令人望而却步的。本文研究了朴素贝叶斯分类器（NBCs）的相关集的计算，并表明，在实践中，这些是很容易计算的。此外，实验证实，简洁的相关功能集可以得到与NBCs。
2022-07-11 cs.AI cs.LG
Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study
University of Würzburg（维尔茨堡大学）
本文通过271名准医生的COVID-19用例实证研究，发现不同XAI解释类型显著影响终端用户的认知负荷、任务表现和时间，并基于心理效率指标推荐局部解释类型为最佳。
2023-04-18 cs.AI cs.HC
Measure Utility, Gain Trust: Practical Advice for XAI Researcher
School of Engineering and Applied Sciences Washington State University（华盛顿州立大学工程与应用科学学院）；Data Sciences and Analytics Group Pacific Northwest National Laboratory（太平洋西北国家实验室数据科学与分析组）；Cognitive Engineering Center Georgia Institute of Technology（佐治亚理工学院认知工程中心）；Visual Analytics Group Pacific Northwest National Laboratory（太平洋西北国家实验室可视化分析组）
研究机器学习模型的解释，即，可解释人工智能（XAI）在过去十年中与深度人工神经网络一起出现了相应的指数增长。由于历史原因，解释和信任一直交织在一起。然而，对信任的关注过于狭隘，并导致研究界偏离了可靠的实证方法，这些方法产生了更多关于人和解释的科学知识。为了解决这个问题，我们为XAI领域的研究人员提供了一条切实可行的道路。我们建议研究人员关注机器学习解释的效用，而不是信任。我们概述了五个广泛的用例，其中解释是有用的，对于每个用例，我们描述了依赖于客观经验测量和可证伪假设的伪实验。我们相信，这种实验的严谨性是必要的，有助于科学知识在XAI领域。
2020-09-27 cs.AI cs.HC
Guidelines and Evaluation of Clinical Explainable AI in Medical Image Analysis
Simon Fraser University（西蒙弗雷泽大学）；The University of British Columbia（不列颠哥伦比亚大学）
可解释的人工智能（XAI）对于使临床用户能够从AI获得明智的决策支持并遵守循证医学实践至关重要。在临床环境中应用XAI需要适当的评估标准，以确保解释技术在技术上合理且临床上有用，但缺乏具体的支持来实现这一目标。为了弥合研究差距，我们提出了临床XAI指南，其中包括临床XAI需要优化的五个标准。指南建议根据指南1（G1）可理解性和G2临床相关性选择解释表。对于所选择的解释形式，其特定的XAI技术应针对G3真实性、G4信息可解释性和G5计算效率进行优化。在此基础上，对一个具有两个临床任务的多模态医学图像解释问题进行了系统的评价，并提出了相应的评价指标。对16种常用的热图XAI技术进行了评估，发现由于它们在G3和G4中失败，因此不足以用于临床使用。我们的评价证明了临床XAI指南的使用，以支持临床可行的XAI的设计和评价。
2022-12-08 cs.AI cs.CV cs.LG
Forms of Understanding for XAI-Explanations
Bielefeld University（比勒菲尔德大学）；Paderborn University（帕德博恩大学）；University for Continuing Education Krems（继续教育大学克雷姆斯）
本文提出XAI解释的理解形式模型，探讨理解的两种类型及在解释过程中的动态变化，强调理解与能力提升的相互依赖关系。
2025-10-02 cs.AI
Comparables XAI: Faithful Example-based AI Explanations with Counterfactual Trace Adjustments
National University of Singapore（新加坡国立大学）
本文提出可比性XAI，通过反事实追踪调整提升基于实例的AI解释的忠实性和精度，为提高用户对AI决策的理解提供新方法。
2026-09-07 cs.AI cs.HC
