Transferable XAI: Relating Understanding Across Domains with Explanation Transfer
National University of Singapore（新加坡国立大学）；Department of Computer Science（计算机科学系）
本文提出可迁移XAI框架，通过解释迁移在不同领域间建立理解，提升AI决策的可解释性和可重用性。
2026-02-14 cs.AI cs.HC
Explainable AI: A Combined XAI Framework for Explaining Brain Tumour Detection Models
Atlantic Technology University（大西洋理工大学）；Ulster University（阿尔斯特大学）
本文提出一种结合GRAD-CAM、LRP和SHAP的XAI框架，用于提升脑肿瘤检测模型的可解释性与可靠性。
2026-02-05 cs.AI
I-CEE: Tailoring Explanations of Image Classification Models to User Expertise
本文提出I-CEE框架，依据用户专业水平选择示例图像、局部解释与模型决策，以定制图像分类解释；模拟及100人实验表明其显著提升用户对模型决策的可模拟性。
2025-07-24 cs.AI cs.CV cs.HC
The Impact of Imperfect XAI on Human-AI Decision-Making
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Bayreuth（拜罗伊特大学）
本文通过 136 人的混合方法用户研究，考察错误解释及其自信程度、用户专业水平对鸟类识别任务中 AI 依赖和团队绩效的影响，并提出设计指南。
2024-05-08 cs.AI cs.HC
Explaining AI Decisions: Towards Achieving Human-Centered Explainability in Smart Home Environments
Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所）；University of Siegen（锡根大学）；Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）
本文指出传统XAI方法对普通用户在智能家居中难以理解，通过实验证明其局限性，倡导采用人机交互方法构建以人为本的解释以提升用户理解和系统采用率。
2024-04-23 cs.AI cs.HC
Explaining deep neural network models for electricity price forecasting with XAI
University College London（伦敦大学学院）
本文提出使用深度神经网络预测电价，并结合SHAP、Gradient和热图等可解释AI方法分析五个电力市场的价格驱动因素，同时引入SSHAP值和SSHAP线新概念以增强高维表格模型的表示。
2025-06-24 cs.AI cs.LG stat.ML
On Computing Relevant Features for Explaining NBCs
University of Toulouse（图卢兹大学）；IRIT, CNRS（法国国家科学研究中心图卢兹计算机科学研究所）
尽管模型不可知的可解释AI（XAI）取得了进展，但模型不可知的XAI可能会产生不正确的解释。一种替代方法是所谓的XAI正式方法，包括PI解释。不幸的是，PI解释也表现出重要的缺点，其中最明显的可以说是它们的大小。相关特征的计算用于权衡解释中特征数量的概率精度。然而，即使对于非常简单的分类器，计算相关特征集的复杂性也是令人望而却步的。本文研究了朴素贝叶斯分类器（NBCs）的相关集的计算，并表明，在实践中，这些是很容易计算的。此外，实验证实，简洁的相关功能集可以得到与NBCs。
2022-07-11 cs.AI cs.LG
Interaction as Explanation: A User Interaction-based Method for Explaining Image Classification Models
Companoid Labs
针对传统可解释AI方法仅适用于专家的问题，提出基于用户交互的图像分类模型解释方法，通过网页原型让用户修改图像观察分类变化以理解模型逻辑，实验验证了其揭示特征重要性的潜力，为xAI提供了面向终端用户的新视角。
2024-08-14 cs.AI cs.CV cs.HC
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin（都柏林大学学院）；Accenture Labs（埃森哲实验室）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
反事实解释是一种越来越受欢迎的事后解释形式，这是由于它们（i）跨问题领域的适用性，（ii）建议的法律合规性（例如，与GDPR），以及（iii）依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例，但我们探索了一种新的用例，其中使用“组反事实”（例如，以突出显示一组患者中的疾病的重复模式）。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的，组反事实算法，以产生高覆盖率的解释，是忠实于被解释的模型。该解释策略也在一项大型对照用户研究（N=207）中进行了评估，使用客观（即，准确性）和主观性（即，信心、解释满意度和信任）心理测量。结果表明，群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Explaining Humour Style Classifications: An XAI Approach to Understanding Computational Humour Analysis
Imperial College London（伦敦帝国理工学院）；California Polytechnic State University（加州州立理工大学）
本文提出一个可解释人工智能框架，利用ALI+XGBoost模型分析语言、情感和语义特征如何影响幽默风格分类，揭示了不同风格的误分类模式及情感歧义等关键因素，为心理健康和内容审核提供可解释洞察。
2025-02-28 cs.AI cs.CL
Explaining the Unexplainable: A Systematic Review of Explainable AI in Finance
Collins College of Business, University of Tulsa（塔尔萨大学柯林斯商学院）；Faculty of Biological Sciences, University of Dhaka（达卡大学生物科学学院）
本文针对金融领域XAI应用展开系统性综述，通过文献计量与内容分析揭示主题集群、常用策略等，发现事后可解释技术占主导，强调多学科方法的必要性并指出当前系统缺陷。
2025-11-11 cs.AI q-fin.GN
Comparables XAI: Faithful Example-based AI Explanations with Counterfactual Trace Adjustments
National University of Singapore（新加坡国立大学）
本文提出可比性XAI，通过反事实追踪调整提升基于实例的AI解释的忠实性和精度，为提高用户对AI决策的理解提供新方法。
2026-09-07 cs.AI cs.HC
Agentic Explainability at Scale: Between Corporate Fears and XAI Needs
Credo AI
本文探讨企业规模化部署代理AI时面临的风险与治理挑战，提出设计时和运行时的可解释性技术，并展示一个初步原型以缓解企业部署大规模代理的担忧。
2026-04-16 cs.AI cs.HC
Explaining AI as an Exploratory Process: The Peircean Abduction Model
Institute for Human and Machine Cognition（人机认知研究所）；Michigan Technological University（密歇根理工大学）
目前关于“可解释的人工智能”（XAI）的讨论并没有太多地考虑溯因在解释性推理中的作用（参见Mueller等人，2018年）。这可能是值得追求的，开发智能系统，允许观察和分析溯因推理和评估溯因推理作为一种可学习的技能。溯因推理有多种定义。例如，它被定义为实现洞察力。大多数情况下，溯因被看作是一个单一的、间断的三段论推理行为，就像从给定的前提进行演绎或归纳推理一样。与此相反，绑架概念的创始人-美国科学家/哲学家查尔斯·桑德斯·皮尔士-将绑架视为一种探索活动。在这方面，皮尔士关于推理的见解与现代心理学研究的结论一致。由于溯因推理通常被定义为“推断最佳解释”，因此实施溯因推理的挑战和自动化解释过程的挑战是密切相关的。我们在本报告中探讨这些联系。这种分析为理解XAI研究人员已经在做什么提供了一个理论框架，它解释了为什么一些XAI项目正在成功（或可能成功），并导致设计建议。
2020-10-01 cs.AI
Survey for Categorising Explainable AI Studies Using Data Analysis Task Frameworks
Department of Design, Architecture, and Media technology（设计、建筑与媒体技术系）
本文借鉴多领域知识，提出在“什么、为什么、谁”三维度下分类比较XAI研究的方法，指出当前任务描述与用户测试不足等问题，并制定研究指南以帮助研究者识别相关研究与设计矛盾。
2025-07-14 cs.AI cs.HC
Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文针对情感分类中“problems”等非直观特征与标签的关联，提出自动检测与解释方法，并通过众包实验验证其有效性，填补了XAI在此方向的研究空白。
2024-06-05 cs.AI cs.HC cs.LG
People Attribute Purpose to Autonomous Vehicles When Explaining Their Behavior: Insights from Cognitive Science for Explainable AI
University of Edinburgh（爱丁堡大学）
本文基于认知科学提出解释模式框架，通过自动驾驶场景实验构建HEADD数据集，发现目的论解释质量显著优于反事实解释，为XAI设计提供了实证依据。
2025-02-03 cs.AI cs.HC cs.RO
Explaining RhythmFormer: A Systematic XAI Analysis of Periodic Sparse Attention for Remote Photoplethysmography
Department of Mechanical Engineering, National Cheng Kung University（国立成功大学机械工程学系）
针对rPPG Transformer可解释性缺乏定量评估的问题，提出四种归因方法并引入皮肤覆盖率和忠诚度系数，量化稀疏注意力中的多跳泄漏效应，Beyond Intuition方法在UBFC-rPPG上取得最优性能。
2026-06-15 cs.AI cs.CV eess.IV
Expanding Explainability: Towards Social Transparency in AI systems
Georgia Institute of Technology（佐治亚理工学院）；IBM Research AI（IBM研究院人工智能部门）
随着人工智能驱动的系统越来越多地介导重要的决策，它们的可解释性对于最终用户采取明智和负责任的行动至关重要。人与人之间的互动是社会性的。人工智能系统通常是社会组织嵌入式的。然而，可解释人工智能（XAI）方法主要是以算法为中心的。我们通过引入和探索社会透明度（ST），向社会定位的XAI迈出了发展的一步，这是一种社会技术信息化的视角，将社会组织背景纳入解释人工智能介导的决策。为了从概念上探索ST，我们对29位人工智能用户和从业者进行了访谈，这些用户和从业者都是基于推测性设计场景。我们提出了ST的构成设计要素，并开发了一个概念框架，以解开ST在技术，决策和组织层面的影响和影响。该框架展示了ST如何潜在地校准对AI的信任，改善决策，促进组织集体行动，并培养整体可解释性。我们的工作通过扩展XAI的设计空间，为以人为本的XAI的话语做出了贡献。
2021-01-12 cs.AI cs.HC
Explaining Explanations to Society
解释性人工智能（XAI）方法与社会（政策制定者、政府官员等）有用和需要的解释类型之间存在脱节。人工智能（AI）专家向不透明系统提出的问题提供了内部解释，重点是调试、可靠性和验证。这些与社会要求这些系统建立对其决定的信任和信心的要求不同。虽然解释性人工智能系统可以回答专家想要的许多问题，但它们通常不会以精确（对模型真实）和人类可以理解的方式解释为什么他们做出决策。这些外部解释可用于建立信任，遵守监管和政策变化，并作为外部验证。在本文中，我们专注于深度神经网络（DNN）的XAI方法，因为DNN用于决策和固有的不透明性。我们探讨了解释性DNN系统可以回答的问题类型，并讨论了构建解释性系统的挑战，这些解释性系统为社会需求和利益提供了外部解释。
2019-01-19 cs.AI
Making Things Explainable vs Explaining: Requirements and Challenges under the GDPR
DISI, University of Bologna（博洛尼亚大学信息科学与工程系）；CIRSFID-AI, University of Bologna（博洛尼亚大学CIRSFID-AI）
欧盟（EU）通过人工智能高级专家组（AI-HLEG）和通用数据保护条例（GDPR）最近对可解释人工智能（XAI）社区提出了一个有趣的挑战，要求以用户为中心的方法来解释自动决策系统（ADM）。从相关文献来看，XAI目前专注于生产可解释的软件和解释，这些软件和解释通常遵循我们可以称之为“一刀切”的方法，无法满足以用户需求为中心的要求。造成这种限制的原因之一是，人们相信，仅仅让事物变得可解释就足以得到务实的解释。因此，坚持在可解释性（可以解释的东西）和解释之间进行明确的分离，我们指出人工智能（YAI）是赢得AI-HLEG挑战的替代和更强大的方法。YAI建立在XAI之上，目标是收集和组织可解释的信息，将其表达成我们所谓的以用户为中心的解释性话语。通过使用解释性话语/叙述，我们代表的问题，自动决策系统（ADM）的生成解释到一个适当的路径的解释空间的识别，允许解释者交互式地探索它，并产生最适合他们的需求的解释。
2021-10-02 cs.AI cs.CY
Human Attention-Guided Explainable Artificial Intelligence for Computer Vision Models
University of Hong Kong（香港大学）；Huawei Research Hong Kong（华为香港研究院）；City University of Hong Kong（香港城市大学）
该研究针对计算机视觉模型的显著性可解释AI方法，提出人类注意力引导的HAG-XAI框架，通过可训练函数与平滑核对齐人类注意力，在目标检测任务上同时提升解释的合理性与忠实度。
2023-05-05 cs.AI cs.CV
An Information Bottleneck Characterization of the Understanding-Workload Tradeoff
MIT（麻省理工学院）
本研究利用信息瓶颈方法，通过人类实验建立工作负载与复杂度、理解与信息量之间的经验联系，为XAI中的理解-工作负载权衡提供数学表征，支持用户定制设计。
2023-10-11 cs.AI cs.HC
Explaining Decisions in ML Models: a Parameterized Complexity Analysis (Part I)
本文从参数化复杂性角度系统研究决策树、决策集、布尔电路等透明机器学习模型中溯因与对比解释问题的计算复杂性，为可解释人工智能奠定理论基础。
2025-11-05 cs.AI
Regulating eXplainable Artificial Intelligence (XAI) May Harm Consumers
Carnegie Mellon University, Tepper School of Business（卡内基梅隆大学泰珀商学院）；University of Southern California, Marshall School of Business（南加州大学马歇尔商学院）
本文通过博弈论模型论证强制要求完全透明的XAI监管可能多余，甚至损害企业与消费者福利，并引入可能无法保证的XAI公平性概念。
2024-03-29 cs.AI
Entropy-Centric Explainable AI for Remote Sensing Image Segmentation
Faculty of Engineering, Lebanese University（黎巴嫩大学工程学院）；University of Paris-Est Créteil (UPEC)（巴黎东部克雷泰伊大学）；EFREI（EFREI学院）；National Center for Remote Sensing - CNRS（国家遥感中心 - 法国国家科学研究中心）
针对遥感图像分割的黑箱模型透明度问题，提出以熵为核心的可解释人工智能方法及新评估方法，实验验证其优于现有适配的语义分割XAI方法。
2026-08-12 cs.AI cs.CV
More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文通过网络安全源代码分类案例研究，评估XAI在分析师工作流中的可用性，指出SHAP、LIME等事后局部解释难以被非专家理解，并探讨LLMs提供高层解释的潜力。
2024-08-08 cs.AI cs.HC
DeltaSHAP: Explaining Prediction Evolutions in Online Patient Monitoring with Shapley Values
KAIST（韩国科学技术院）
DeltaSHAP 是一种新型可解释 AI 算法，通过适应时间序列的 Shapley 值，实时解释在线患者监测中连续预测的演变，满足临床需求，并在 MIMIC-III 基准上显著提升了解释质量和计算效率。
2025-07-12 cs.AI cs.LG
Doctor XAvIer: Explainable Diagnosis on Physician-Patient Dialogues and XAI Evaluation
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Unity Health Toronto（多伦多统一健康）
我们介绍XAvIer医生，一个基于BERT的诊断系统，从转录的患者-医生对话中提取相关的临床数据，并使用特征归因方法解释预测。本文提出了一种新的特征归因方法的性能图和评价指标：特征归因下降（FAD）曲线及其归一化曲线下面积（N-AUC）。FAD曲线分析表明，积分梯度在解释诊断分类方面优于Shapley值。XAvIer医生在命名实体识别和症状相关性分类中的F1得分为0.97，在诊断分类中的F1得分为0.91，优于基线。
2022-04-25 cs.AI cs.CL
Explaining AI Without Code: A User Study on Explainable AI
Department of Computer Science, University of Chile（智利大学计算机科学系）；CENIA – National Center for Artificial Intelligence（人工智能国家研究中心）；Universidad Técnica Federico Santa María（弗朗西斯科·桑塔玛利亚技术大学）；IMFD - Millennium Institute for Foundational Research on Data（数据基础研究千年研究所）
本文提出DashAI平台中的可解释AI模块，通过整合PDP、PFI和KernelSHAP技术，提升无代码ML中解释的可访问性和详细性。
2025-12-28 cs.AI cs.HC cs.LG
The Effect of Explainable AI-based Decision Support on Human Task Performance: A Meta-Analysis
University of Bamberg（班贝格大学）
本文通过元分析探究可解释AI决策支持对分类任务中人类绩效的影响，发现其能提升绩效，但解释本身非关键驱动因素，偏倚风险起调节作用。
2025-03-22 cs.AI cs.HC
X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust
我们提出了一个新的可解释AI（XAI）框架，旨在通过解释来增加人类对AI机器的合理信任和依赖。我们提出解释作为一个迭代的通信过程，即对话，机器和人类用户之间。更具体地说，机器在对话中生成解释序列，该解释序列在每个对话回合考虑三个重要方面：（a）人类的意图（或好奇心）;（b）人类对机器的理解;以及（c）机器对人类用户的理解。为了做到这一点，我们使用心理理论（ToM），它可以帮助我们明确地建模人类的意图，由人类推断的机器思维以及由机器推断的人类思维。换句话说，这些心理理论中的外显心理表征被纳入学习的最佳解释政策，考虑到人类的感知和信念。此外，我们还表明，ToM有利于定量测量合理的人类信任的机器通过比较所有三个心理表征。我们将我们的框架应用于三个视觉识别任务，即图像分类，动作识别和人体姿态估计。我们认为，我们的理论为基础的解释是实用的，更自然的专家和非专家用户了解复杂的机器学习模型的内部工作。据我们所知，这是第一个使用ToM进行解释的工作。广泛的人类研究实验验证了我们的假设，表明所提出的解释在所有标准的定量和定性XAI评估指标（包括人类信任，依赖和解释满意度）方面显着优于最先进的XAI方法。
2019-09-15 cs.AI cs.CV cs.HC
Rules or Weights? Comparing User Understanding of Explainable AI Techniques with the Cognitive XAI-Adaptive Model
National University of Singapore（新加坡国立大学）；Department of Computer Science（计算机科学系）
本文提出CoXAM模型，通过认知框架比较规则与权重两种XAI技术的可解释性，并验证其在决策任务中的有效性。
2026-02-23 cs.AI
Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, San Diego（加州大学圣迭戈分校）
最近，人们对可解释人工智能（XAI）的兴趣重新抬头，XAI旨在减少基于AI的决策系统的不透明性，使人类能够仔细检查并信任它们。在这种情况下，以前的工作集中在算法的决策，其输入的责任，其中的责任通常是作为一个纯粹的联想概念接近的属性。在本文中，我们提出了一个原则性的基于能力的方法来解释黑盒决策系统，解决现有的方法在XAI的局限性。我们框架的核心是概率对比反事实，这个概念可以追溯到人类如何产生和选择解释的理论的哲学，认知和社会基础。我们展示了这样的反事实可以量化的直接和间接的影响，一个变量的算法所作出的决定，并提供可操作的追索权的算法的决定产生负面影响的个人。与以前的工作不同，我们的系统，LEWIS：（1）可以计算可证明有效的解释和追索权在本地，全球和上下文水平（2）的设计与用户的基础因果模型的不同水平的背景知识和（3）除了其输入-输出数据的可用性算法系统的内部不作任何假设。我们在三个真实世界的数据集上对LEWIS进行了经验评估，并表明它生成了人类可以理解的解释，这些解释改进了XAI中最先进的方法，包括流行的LIME和SHAP。在合成数据上的实验进一步证明了LEWIS解释的正确性和补偿算法的可扩展性。
2021-06-23 cs.AI cs.DB cs.LG
Explaining Explanations: An Overview of Interpretability of Machine Learning
Massachusetts Institute of Technology（麻省理工学院）
最近，解释性人工智能（XAI）的工作激增。该研究领域解决了复杂机器和算法通常无法提供对其行为和思维过程的见解的重要问题。XAI允许用户和内部系统的部分更加透明，以某种程度的细节解释他们的决定。这些解释对于确保算法公平性、识别训练数据中的潜在偏差/问题以及确保算法按预期执行是重要的。然而，这些系统产生的解释既没有标准化，也没有系统地评估。为了创建最佳实践并确定开放的挑战，我们提供了可解释性的定义，并展示了如何使用它来对现有文献进行分类。我们讨论了为什么目前的解释方法，特别是深度神经网络的方法是不够的。最后，基于我们的调查，我们得出结论，解释性人工智能的未来研究方向的建议。
2019-02-03 cs.AI cs.LG stat.ML
Explaining Decisions in ML Models: a Parameterized Complexity Analysis
University of Leeds（利兹大学）；Sapienza University of Rome（罗马第一大学）；TU Wien（维也纳技术大学）
本文对多种透明机器学习模型中的溯因和对比解释问题进行了参数化复杂度分析，填补了可解释AI领域的基础理论空白，为后续研究提供关键见解。
2024-07-22 cs.AI cs.CC
The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
EPFL（洛桑联邦理工学院）
针对事后解释器不一致的问题，本文提出转向可解释的神经网络架构，并给出五种需求与两种方案，主张XAI的未来在于内在可解释性。
2024-05-28 cs.AI cs.CY cs.HC
Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
如今，深度神经网络广泛应用于医疗保健、自动驾驶汽车和军事等对人类生活有直接影响的关键任务系统。然而，深度神经网络的黑箱性质对其在关键任务应用中的使用提出了挑战，引发了道德和司法问题，导致缺乏信任。可解释人工智能（XAI）是人工智能（AI）的一个领域，它促进了一套工具，技术和算法，可以生成高质量的可解释，直观，人类可理解的AI决策解释。除了提供当前XAI在深度学习领域的整体观点外，本文还提供了开创性工作的数学总结。我们首先提出了一个分类法，并根据解释范围、算法背后的方法以及解释级别或用法对XAI技术进行分类，这有助于构建可信、可解释和自我解释的深度学习模型。然后，我们描述了XAI研究中使用的主要原则，并提出了2007年至2020年XAI里程碑式研究的历史时间轴。在详细解释了每一类算法和方法之后，我们评估了八种XAI算法在图像数据上生成的解释图，讨论了这种方法的局限性，并提供了改进XAI评估的潜在未来方向。
2020-06-23 cs.AI cs.CV cs.LG
Interaction Design for Explainable AI: Workshop Proceedings
随着人工智能（AI）系统变得越来越复杂和无处不在，这些系统将负责做出直接影响个人和整个社会的决策。由于道德问题和信任，这些决定需要合理化，但由于许多人工智能模型采用的“黑匣子”性质，实现这一点变得困难。可解释人工智能（XAI）可以通过向用户解释其操作，决策和系统行为来解决这个问题。然而，XAI的许多研究都是在真空中完成的，只使用研究人员对什么构成“好”解释的直觉，而忽略了互动和人的方面。本次研讨会邀请HCI社区和相关领域的研究人员讨论以人为本的XAI方法，这些方法植根于交互，并阐明和激发XAI中交互设计挑战的讨论。
2018-12-13 cs.AI
Explaining the Road Not Taken
The Pennsylvania State University（宾夕法尼亚州立大学）
目前尚不清楚现有的深度神经网络模型的解释是否有效地响应了用户的需求。本文总结了最近200多篇关于自然语言处理（NLP）的论文中使用的常见解释形式（如特征属性、决策规则或探测），并将其与XAI问题库中收集的用户问题进行了比较。我们发现，尽管用户对解释未采取的道路感兴趣-即为什么模型选择一个结果而不是一个定义良好，相似的合法对应物-大多数模型解释无法回答这些问题。
2021-03-30 cs.AI cs.CL cs.HC
Do We Need Another Explainable AI Method? Toward Unifying Post-hoc XAI Evaluation Methods into an Interactive and Multi-dimensional Benchmark
IDIADA Fahrzeugtechnik GmbH（伊迪亚达汽车技术有限公司）；University of Munich (LMU)（慕尼黑大学）；Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；ZBW - Leibniz Centre for Economics（莱布尼茨经济信息中心）；Kiel University（基尔大学）
近年来，可解释人工智能（xAI）引起了人们的广泛关注，因为各国将解释变成了一种合法权利。xAI允许通过例如，调试学习到的模式并揭开人工智能行为的神秘面纱。xAI的广泛使用带来了新的挑战。一方面，已发布的xAI算法数量激增，从业者很难选择正确的工具。另一方面，一些实验确实突出了数据科学家滥用xAI算法并误解其结果的容易程度。为了解决比较和正确使用特征重要性xAI算法的问题，我们提出了Compare-xAI，这是一个基准测试，它统一了应用于xAI算法的所有专用功能测试方法。我们提出了一个选择协议，从文献中筛选非冗余功能测试，即，每一个都针对特定的最终用户需求来解释模型。该基准将评估xAI方法的复杂性封装到三个级别的分层评分中，即针对三个最终用户组：研究人员，从业人员和xAI的外行。最详细的级别为每个测试提供一个分数。第二个层次将测试重新分组为五个类别（保真度，脆弱性，稳定性，简单性和压力测试）。最后一个级别是聚合的可理解性分数，它将正确解释算法输出的容易程度封装在一个易于比较的值中。Compare-xAI的交互式用户界面通过快速列出每个ML任务的推荐xAI解决方案及其当前限制，帮助减少解释xAI结果时的错误。该基准可在https://karim-53.github.io/cxai/上获得
2022-10-04 cs.AI cs.SE
Painting the black box white: experimental findings from applying XAI to an ECG reading setting
University of Milano-Bicocca（米兰比可卡大学）；University of Siena（锡耶纳大学）
从符号AI系统到黑盒、子符号和统计AI系统的转变促使人们对可解释AI（XAI）的兴趣迅速增加，即使黑盒AI系统可解释给人类决策者的方法，目的是使这些系统更容易接受，更有用的工具和支持。然而，我们提出的观点是，而不是总是使黑盒透明，这些方法是在\emph{painting the black boxes white}的风险，从而无法提供一个透明的水平，将增加系统的可用性和可理解性，或者，甚至在产生新的错误，在我们所谓的\emph{white-box paradox}的风险。为了解决这些可用性相关的问题，在这项工作中，我们专注于用户的认知层面的解释和XAI系统。为此，我们设计并进行了一项基于心电图的实验，其中44名心脏病住院医生和专家参与了一项人工智能支持的心电图阅读任务。在此过程中，我们调查了不同的研究问题，涉及用户特征（例如专业知识）与他们对AI和XAI系统的感知之间的关系，包括他们的信任，感知解释的质量和他们将决策过程推迟到自动化（即技术主导）的倾向，以及这些不同维度之间的相互关系。我们的研究结果提供了一个贡献的评估基于人工智能的支持系统从人与人工智能互动为导向的角度，并奠定了基础，为进一步调查XAI及其对决策和用户体验的影响。
2022-10-27 cs.AI
Explainable AI as a Double-Edged Sword in Dermatology: The Impact on Clinicians versus The Public
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）；MIT（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northeast Dermatology Associates（东北皮肤科协会）；Stanford University（斯坦福大学）；University of Utah（犹他大学）；OSF Healthcare（OSF医疗保健）；Columbia University Vagelos College of Physicians and Surgeons（哥伦比亚大学瓦格洛斯内科与外科医学院）；Centaur Labs；MedShr；King’s College Hospital, London（伦敦国王学院医院）；Pathway；X=Primary Care；Northwestern（西北大学）；Medical University of Vienna（维也纳医科大学）
研究探讨了可解释AI在皮肤科诊断中的影响，发现不同专业背景的人对XAI的反应不同，LLM在医疗AI中具有双刃剑效应。
2025-12-14 cs.AI cs.HC
Explainability Assistant: A Conversational XAI Interface for Interpreting Energy Consumption Models
Nupp Software；Apintech Ltd（Apintech有限公司）；POLIS-21 Group（POLIS-21集团）；Hellenic Mediterranean University（希腊地中海大学）
针对能耗预测模型难以解读的问题，提出基于大语言模型函数调用的可对话XAI系统，实现94%意图解析准确率，专家评估显示其优于传统仪表板。
2026-09-11 cs.AI cs.LG
Peeking Inside the Schufa Blackbox: Explaining the German Housing Scoring System
University of Siegen（锡根大学）；Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用科学大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）
本研究关注德国Schufa住房评分系统，采用推测性设计方法调查不同角色用户对解释的需求，发现普遍需求与角色冲突需求并存，为以人为中心的XAI研究提出未来方向。
2023-11-22 cs.AI cs.HC
Towards Reconciling Usability and Usefulness of Explainable AI Methodologies
Georgia Institute of Technology（佐治亚理工学院）
交互式人工智能（AI）代理在社会中变得越来越普遍。然而，在不理解这些系统的情况下应用它们可能是有问题的。黑盒人工智能系统在做出错误决定时可能会导致责任和问责问题。可解释AI（XAI）旨在通过提供对AI算法如何运作的见解来弥合开发人员和最终用户之间的知识差距。许多现代算法专注于使AI模型“透明”，即以更简单的格式揭示代理的固有功能。然而，这些方法并不迎合这些系统的最终用户，因为用户可能不具备在合理的时间内理解这些解释所需的知识。因此，为了能够开发合适的XAI方法，我们需要了解影响主观感知和客观可用性的因素。在本文中，我们提出了一种新的用户研究，研究了四种不同的XAI模式通常采用在以前的工作解释AI的行为，即决策树，文本，程序。我们在解释自动驾驶汽车在高速公路上的行为的背景下研究这些XAI模式，因为驾驶是一项容易理解的现实任务，而自动驾驶汽车是人工智能社区中的一个热门领域。我们的研究结果突出了内部一致性问题，其中参与者认为语言解释是更有用的，但参与者能够更好地客观地了解决策过程中的汽车通过决策树的解释。我们的工作还提供了进一步的证据，将用户特定的和情境的标准集成到XAI系统的设计的重要性。我们的研究结果表明，诸如计算机科学经验和观看汽车成功或失败等因素会影响解释的感知和有用性。
2023-01-13 cs.AI cs.CY
CoProNN: Concept-based Prototypical Nearest Neighbors for Explaining Vision Models
Berliner Hochschule für Technik（柏林工程应用技术大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）
本文提出CoProNN，一种通过文本到图像方法生成视觉概念原型并利用k近邻例程解释计算机视觉模型预测的模块化方法，在人机协作和细粒度任务中表现出色。
2024-04-23 cs.AI cs.CV
On the Design and Evaluation of Human-centered Explainable AI Systems: A Systematic Review and Taxonomy
Dresden University of Technology（德累斯顿技术大学）；Charité Berlin（柏林夏里特医学院）；Department Speculative Transformation（推测转化部门）；Chair of Engineering Psychology and Applied Cognitive Research（工程心理学与应用认知研究教授职位）
本文对65项评估XAI系统的用户研究进行综述，为开发者提供以用户为中心的系统属性及评估指标概述，提出设计目标并针对不同水平用户调整，扩展现有框架，分析系统特征，区分评估指标，评估用户及行为并给出不同用户的设计目标。
2026-07-29 cs.AI
A Mechanistic Explanatory Strategy for XAI
Institute of Philosophy and Sociology, Polish Academy of Sciences（哲学与社会学院，波兰科学院）；Institute for Philosophy, Leiden University（哲学研究所，莱顿大学）
本文提出了一种基于机制的解释性策略，旨在通过分解、定位和重组来揭示深度学习系统功能组织的机制，从而改进可解释人工智能的理论基础和实践应用。
2026-05-20 cs.AI cs.LG
Bridging the Transparency Gap: What Can Explainable AI Learn From the AI Act?
University of Edinburgh（爱丁堡大学）
本文揭示可解释AI与欧盟《人工智能法案》在透明度理解上的根本差异，提出“透明度鸿沟”概念，并从四个实践维度探讨弥合该鸿沟的路径。
2023-07-29 cs.AI cs.CY
The role of causality in explainable artificial intelligence
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI) - National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文综述了因果性与可解释人工智能之间的关系，识别出三种主要视角，并提供了相关软件工具，旨在为两个领域提供统一视角并揭示潜在联系与局限。
2023-09-18 cs.AI
Few-class Fidelity: Evaluating Explanations of Real-conditions CNN classifiers with Optimized Perturbations
LaTIM, INSERM, UMR 1101, Univ Brest（LaTIM、INSERM、UMR 1101、布列塔尼大学）；LMBA, CNRS, UMR 6205, Univ Brest（LMBA、CNRS、UMR 6205、布列塔尼大学）
针对真实应用中类别数少的情况，提出基于保真度的XAI评估变体，通过生成分布内不确定性扰动来准确衡量解释方法的忠实度，并应用于医学和自然图像领域。
2026-09-22 cs.AI cs.CV
Evolutionary approaches to explainable machine learning
Queen's University（女王大学）
本文综述进化计算在可解释机器学习中的应用，旨在通过进化技术提升模型透明度和可信度，并展望未来研究方向。
2023-06-23 cs.AI cs.LG cs.NE
Rational Shapley Values
University College London（伦敦大学学院）
解释不透明的机器学习算法的预测是一项重要且具有挑战性的任务，特别是随着复杂模型越来越多地用于帮助高风险决策，例如医疗保健和金融领域的决策。用于事后可解释人工智能（XAI）的大多数流行工具要么对上下文不敏感（例如，特征属性）或难以总结（例如，反事实）。在本文中，我介绍了$\textit{rational Shapley values}$，一种新的XAI方法，综合和扩展这些看似不兼容的方法在一个严格的，灵活的方式。我利用决策理论和因果建模的工具来形式化和实现一种实用的方法，解决了XAI中的一些已知挑战。通过配对的随机变量的分布与适当的参考类为一个给定的解释任务，我说明通过理论和实验如何用户的目标和知识可以通知和约束的解决方案集在一个迭代的方式。该方法在一系列定量和定性比较中与最先进的XAI工具相媲美。
2022-05-16 cs.AI cs.LG
