Unlocking the Black Box: Analysing the EU Artificial Intelligence Act's Framework for Explainability in AI
NUP Cyprus（塞浦路斯NUP大学）
本文针对AI可解释性不足的问题，梳理XAI发展方法与落地挑战，分析欧盟《AI法案》的可解释性框架及XAI入法的标准、监督与执法问题。
2025-01-24 cs.AI cs.CY
It is not "accuracy vs. explainability" -- we need both for trustworthy AI systems
San Francisco State University（旧金山州立大学）
我们正在见证人工智能经济和社会的出现，人工智能技术正在越来越多地影响医疗保健，商业，交通和日常生活的许多方面。据报道，人工智能系统的准确性甚至超过了人类专家。然而，人工智能系统可能会产生错误，可能会表现出偏见，可能对数据中的噪音敏感，并且往往缺乏技术和司法透明度，导致信任度降低，并在采用过程中遇到挑战。这些最近的缺点和担忧已经在科学和一般媒体中记录在案，例如自动驾驶汽车的事故，医疗保健的偏见，有色人种的招聘和面部识别系统，后来发现由于错误的原因做出的看似正确的医疗决定等。某种形式的可解释性、人为控制和监督、消除偏见、司法透明度和安全。交付值得信赖的AI系统的挑战激发了对可解释AI系统（XAI）的深入研究。XAI的目标是提供人工智能系统如何做出决策的人类可理解的信息。在本文中，我们首先简要总结了当前XAI的工作，然后挑战了最近关于准确性与可解释性的争论，因为它们是相互排斥的，并且只关注深度学习。然后，我们提出了在高风险可信AI系统交付的整个生命周期中使用XAI的建议，例如开发，验证和认证，以及可信的生产和维护。
2022-12-23 cs.AI cs.CY cs.LG
Towards a Unified Multidimensional Explainability Metric: Evaluating Trustworthiness in AI Models
本文提出全面框架评估多种XAI方法在多数据集和模型上的可解释性，侧重保真度、简单性和稳定性，利用基准实验构建知识库以估计未见数据集和模型的可解释性分数，为评估比较XAI方法提供工具，助力可信AI系统发展。
2026-07-17 cs.AI cs.LG
Fewer Than 1% of Explainable AI Papers Validate Explainability with Humans
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
该研究通过大规模分析18254篇可解释人工智能文献，发现仅0.7%的论文提供了人类可解释性的实证证据，指出XAI研究存在验证缺口并呼吁加强人类评估。
2025-03-13 cs.AI cs.HC
"Help Me Help the AI": Understanding How Explainability Can Support Human-AI Interaction
Princeton University（普林斯顿大学）；Intel Labs（英特尔实验室）
尽管可解释的AI（XAI）方法激增，但对最终用户的可解释性需求和围绕XAI解释的行为知之甚少。为了解决这一差距，并有助于理解可解释性如何支持人类与人工智能的交互，我们对现实世界人工智能应用程序Merlin鸟类识别应用程序的20名最终用户进行了混合方法研究，并询问了他们对XAI的需求，使用和感知。我们发现，参与者希望获得实际有用的信息，以改善他们与人工智能的协作，而不是技术系统的细节。相关地，参与者打算将XAI解释用于各种目的，而不仅仅是理解AI的输出：校准信任，提高他们的任务技能，改变他们的行为以向AI提供更好的输入，并向开发人员提供建设性的反馈。最后，在现有的XAI方法中，参与者更喜欢类似于人类推理和解释的基于部分的解释。我们讨论了我们的研究结果的影响，并为未来的XAI设计提供建议。
2023-02-16 cs.AI cs.CV cs.CY
Bridging the Gap in XAI-Why Reliable Metrics Matter for Explainability and Compliance
Lexsi Labs（Lexsi实验室）
本文提出以度量治理的范式，通过标准化指标提升AI系统的可解释性和合规性，防止对齐造假，构建持续的AI保证流程。
2025-11-20 cs.AI cs.CE cs.ET
Towards Feminist Intersectional XAI: From Explainability to Response-Ability
该研究响应计算领域批判性方法的呼吁，探索HCXAI中女性主义交叉视角的形态，提出此类视角下的AI可解释性应培养响应对AI系统的批判性评估与回应能力，并以边缘化视角为核心。
2023-05-05 cs.AI cs.HC
A Psychological Theory of Explainability
Rutgers University–Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（普林斯顿高等研究院）
可解释的人工智能（XAI）的目标是生成人类可解释的解释，但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行，在个案的基础上，这阻碍了XAI的系统理论建设。我们提出了一个心理学理论，人类如何从显着图中得出结论，显着图是XAI解释的最常见形式，它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设，在没有解释的情况下，人类期望人工智能做出与自己类似的决定，并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的，通过谢泼德的普遍规律的推广相似空间，一个经典的理论，从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明，我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
XAI-Units: Benchmarking Explainability Methods with Unit Tests
Department of Computing（计算系）
本文提出开源基准 XAI-Units，通过已知内部机制的成对数据集与模型及内置指标，以单元测试方式系统评估特征归因方法在不同模型行为上的表现，推动客观可靠的比较。
2025-06-01 cs.AI cs.LG
Enhancing Vision Transformer Explainability Using Artificial Astrocytes
University of Miami（迈阿密大学）；University of A Coruña（阿罗乌纳大学）
提出受神经科学启发的免训练框架ViTA，通过人工星形胶质细胞增强预训练ViT的推理，生成更符合人类感知的解释，在ClickMe数据集上各项XAI指标均获显著提升。
2025-05-20 cs.AI cs.CV cs.LG
Revisiting the Performance-Explainability Trade-Off in Explainable Artificial Intelligence (XAI)
University of Bayreuth（拜罗伊特大学）；Technical University Dortmund（多特蒙德工业大学）；Saarland University（萨尔大学）
本文批判性地审视了可解释人工智能中可解释性与性能之间所谓的权衡问题，提出应结合资源可用性、领域特征和风险考量来细致处理该权衡，为需求工程领域的未来研究和最佳实践奠定基础。
2023-07-26 cs.AI cs.SE
TrustyAI Explainability Toolkit
人工智能（AI）正变得越来越受欢迎，可以在世界各地的工作场所和家庭中找到。这种“黑箱”系统所做的决定通常是不透明的;也就是说，非常复杂，以至于在功能上无法理解。我们如何确保这些系统按预期运行？TrustyAI是一项研究可解释人工智能（XAI）解决方案的计划，旨在解决AI模型和决策服务背景下的可解释性问题。本文介绍了TrustyAI Explainability Toolkit，这是一个Java和Python库，为企业和数据科学用例提供决策服务和预测模型的XAI解释。我们描述了TrustyAI实现和LIME、SHAP和反事实等技术的扩展，这些技术在各种实验中以现有实现为基准。
2022-05-26 cs.AI cs.LG
Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy
Dept. of Informatics（信息学院）；King's College London（伦敦国王学院）
提出用谱熵量化可解释性技术引入的信号噪声，并在心电图心律失常分类中验证其有效性。
2026-06-25 cs.AI cs.LG
Evaluating Explainability in Safety-Critical ATR Systems: Limitations of Post-Hoc Methods and Paths Toward Robust XAI
Fraunhofer Institute of Optronics, System Technologies（弗劳恩霍夫光学与系统技术研究所）
本文评估安全关键ATR系统中可解释性方法的局限性，指出事后方法的不足，并探讨更稳健的XAI方向，强调需超越视觉合理解释以支持可靠决策。
2026-05-07 cs.AI
Human-Centered Explainable AI (XAI): From Algorithms to User Experiences
Microsoft Research（微软研究院）；IBM Research（IBM研究院）
近年来，可解释人工智能（XAI）领域已经产生了大量的算法，为研究人员和从业者构建XAI应用程序提供了有用的工具箱。随着丰富的应用机会，可解释性被认为已经超越了数据科学家或研究人员理解他们开发的模型的需求，成为人们信任和采用在众多领域部署的人工智能的基本要求。然而，可解释性本质上是以人为中心的属性，该领域开始接受以人为中心的方法。这一领域的人机交互（HCI）研究和用户体验（UX）设计正变得越来越重要。在本章中，我们从XAI算法的技术前景的高层次概述开始，然后有选择地调查我们自己和其他最近的HCI作品，这些作品采用以人为本的方法来设计，评估，并为XAI提供概念和方法工具。我们提出的问题是“以人为本的方法为XAI做什么”，并强调他们在塑造XAI技术中发挥的三个作用，帮助导航，评估和扩展XAI工具箱：通过用户的可解释性需求来驱动技术选择，发现现有XAI方法的陷阱并告知新方法，并为人类兼容的XAI提供概念框架。
2022-04-19 cs.AI cs.HC
Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI
TECNALIA；ENSTA, Institute Polytechnique Paris（巴黎综合理工学院ENSTA）；INRIA（法国国家信息与自动化研究所）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））；Segula Technologies（Segula科技公司）；Sorbonne Universitè（索邦大学）；DaSCI Andalusian Institute of Data Science and Computational Intelligence, University of Granada（格拉纳达大学DaSCI安达卢西亚数据科学与计算智能研究所）；Telefonica（西班牙电信公司）
在过去的几年里，人工智能（AI）已经取得了显着的势头，可能会在整个领域的许多应用领域提供最好的期望。为了实现这一点，整个社区都面临着可解释性的障碍，这是人工智能技术的一个固有问题，由子符号主义（例如合奏或深度神经网络）带来，而这些问题在人工智能的最后一次炒作中并不存在。这个问题的基础范式属于所谓的可解释AI（XAI）领域，这被认为是AI模型实际部署的关键特征。本概述探讨了现有的文献领域的XAI，包括对什么是尚未达到的前景。我们总结了以前的努力，定义在机器学习的可解释性，建立一个新的定义，涵盖了以前的概念命题，主要集中在观众的可解释性寻求。然后，我们提出并讨论了与不同机器学习模型的可解释性相关的最新贡献的分类，包括针对深度学习方法的分类。这些文献分析为XAI面临的一系列挑战提供了背景，例如数据融合和可解释性之间的十字路口。我们的前景导致了负责任人工智能的概念，即在真实组织中大规模实施人工智能方法的方法论，其核心是公平性，模型可解释性和问责制。我们的最终目标是为新加入XAI的人提供参考资料，以促进未来的研究进展，同时也鼓励其他学科的专家和专业人士在其活动领域接受人工智能的好处，而不因其缺乏可解释性而存在任何偏见。
2019-12-26 cs.AI cs.LG cs.NE
Expanding Explainability: Towards Social Transparency in AI systems
Georgia Institute of Technology（佐治亚理工学院）；IBM Research AI（IBM研究院人工智能部门）
随着人工智能驱动的系统越来越多地介导重要的决策，它们的可解释性对于最终用户采取明智和负责任的行动至关重要。人与人之间的互动是社会性的。人工智能系统通常是社会组织嵌入式的。然而，可解释人工智能（XAI）方法主要是以算法为中心的。我们通过引入和探索社会透明度（ST），向社会定位的XAI迈出了发展的一步，这是一种社会技术信息化的视角，将社会组织背景纳入解释人工智能介导的决策。为了从概念上探索ST，我们对29位人工智能用户和从业者进行了访谈，这些用户和从业者都是基于推测性设计场景。我们提出了ST的构成设计要素，并开发了一个概念框架，以解开ST在技术，决策和组织层面的影响和影响。该框架展示了ST如何潜在地校准对AI的信任，改善决策，促进组织集体行动，并培养整体可解释性。我们的工作通过扩展XAI的设计空间，为以人为本的XAI的话语做出了贡献。
2021-01-12 cs.AI cs.HC
Logic-Based Explainability: Past, Present & Future
ICREA（加泰罗尼亚研究与高级研究所）；University of Lleida（莱里达大学）
针对现有可解释人工智能（XAI）方法缺乏严谨性、难以支撑高风险领域可信AI构建的问题，本文对作为严谨替代方案的基于逻辑的XAI进行技术综述，梳理其发展脉络与研究方向，并指出非严谨XAI方法的常见误区。
2024-06-04 cs.AI
Investigating Explainability of Generative AI for Code through Scenario-based Design
University of Southern California（南加利福尼亚大学）；Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）
生成式人工智能模型是可解释的，这意味着什么？可解释人工智能（XAI）的新兴学科在帮助人们理解判别模型方面取得了长足的进步。较少关注生成模型，生成工件，而不是决策，作为输出。同时，生成式人工智能（GenAI）技术正在成熟并被应用于诸如软件工程的应用领域。使用基于XML的设计和问题驱动的XAI设计方法，我们在三个软件工程用例中探索了用户对GenAI的可解释性需求：自然语言到代码，代码翻译和代码自动完成。我们与43名软件工程师进行了9次研讨会，其中使用了最先进的生成式人工智能模型的真实示例来引出用户的可解释性需求。借鉴之前的工作，我们还为GenAI的代码提出了4种类型的XAI功能，并从参与者那里收集了更多的设计想法。我们的工作探索了GenAI对代码的可解释性需求，并展示了以人为本的方法如何推动XAI在新领域的技术发展。
2022-02-10 cs.AI cs.HC cs.SE
Beyond XAI:Obstacles Towards Responsible AI
Centre for Interdisciplinary Methodologies（跨学科方法中心）；University of Warwick（华威大学）
本文探讨了可解释人工智能（XAI）在现实场景中的方法与评估局限，指出负责任AI的范围超越单纯的可解释性，并分析了这些局限在隐私、公平性和可争议性等更广泛背景下的影响。
2023-09-07 cs.AI
Can Requirements Engineering Support Explainable Artificial Intelligence? Towards a User-Centric Approach for Explainability Requirements
Institute of Software Engineering University of Stuttgart Stuttgart, Germany Email；Institute of Software Engineering University of Stuttgart Stuttgart, Germany
该立场论文探讨需求工程与可解释人工智能的协同作用，指出XAI领域挑战，提出借助RE实践缓解挑战的框架与研究方向，以回应AI系统可解释性需求。
2022-06-03 cs.AI cs.LG cs.SE
Agentic Explainability at Scale: Between Corporate Fears and XAI Needs
Credo AI
本文探讨企业规模化部署代理AI时面临的风险与治理挑战，提出设计时和运行时的可解释性技术，并展示一个初步原型以缓解企业部署大规模代理的担忧。
2026-04-16 cs.AI cs.HC
Investigating the Role of Explainability and AI Literacy in User Compliance
University of Bayreuth（拜罗伊特大学）；Ruhr University Bochum（波鸿鲁尔大学）；IBM Germany（IBM德国公司）；McMaster University（麦克马斯特大学）
该研究通过562名参与者的实验，探究了可解释人工智能（XAI）、AI素养与用户依从性的关系，发现XAI可提升依从性且该关系受AI心智模型介导，为相关AI系统设计提供启示。
2024-06-18 cs.AI
Social Construction of XAI: Do We Need One Definition to Rule Them All?
Georgia Institute of Technology（佐治亚理工学院）
可解释AI（XAI）的研究人员和开发人员越来越感到沮丧，因为他们对“可解释性”的含义缺乏共识。我们是否需要一个可解释性的定义来统治它们？在本文中，我们认为，为什么一个单一的定义XAI是既不可行，也不可取的XAI的发展在这个阶段。我们通过技术的社会建构（SCOT）的镜头来看待XAI，以解释不同的利益相关者（相关社会团体）如何有不同的解释（解释灵活性）来塑造XAI的含义。过早地强制对多元解释进行标准化（封闭）可能会扼杀创新并导致过早的结论。我们分享如何利用多元化在XAI中取得进展，而不必等待定义共识。
2022-11-11 cs.AI cs.HC
Decoding the Multimodal Maze: A Systematic Review on the Adoption of Explainability in Multimodal Attention-based Models
University of Science and Technology of China（中国科学技术大学）
本文系统综述了2020年至2024年初多模态模型可解释性研究，发现多数工作集中于视觉-语言和纯语言模型，注意力机制是主要解释方法，但评估缺乏系统性和鲁棒性，并提出了改进建议。
2026-06-12 cs.AI cs.LG
Position: Explainability Research Must Prioritize Foundations over Ad-hoc Methods
该论文指出可解释人工智能技术虽多但未有效影响实际工作流程，原因是存在基础缺陷。主张机器学习社区从临时方法转向解决基础和结构挑战，通过分析论文和调查从业者揭示问题，最后给出清单推动XAI走向以人为本、行动导向范式。
2026-07-17 cs.AI cs.LG
An Experimental Investigation into the Evaluation of Explainability Methods
University of Mons（蒙斯大学）；UCLouvain（鲁汶大学）；Cliniques Universitaires Saint-Luc（圣卢克大学诊所）；IREC（IREC研究所）；University of Namur（那慕尔大学）；Interuniversity Institute for Bioinformatics in Brussels（布鲁塞尔跨大学生物信息学研究所）；Université Libre de Bruxelles（布鲁塞尔自由大学）；Multitel（Multitel研究中心）
本文通过比较14种评估指标在九种先进XAI方法和三种虚拟方法上的表现，揭示指标间冗余、基线超参数影响及排名可靠性局限，为XAI方法评估提供实验依据。
2023-05-25 cs.AI cs.CV cs.LG
Systematic Literature Review: Explainable AI Definitions and Challenges in Education
University of Technology Sydney（悉尼科技大学）；Islamic University of Madinah（麦地那伊斯兰大学）
本文采用PRISMA方法系统综述了教育领域可解释AI（XAI）的定义与挑战，发现15种定义和62项挑战并将其归纳为七类，指出XAI缺乏标准化定义导致概念混淆。
2025-04-03 cs.AI cs.CY
The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
EPFL（洛桑联邦理工学院）
针对事后解释器不一致的问题，本文提出转向可解释的神经网络架构，并给出五种需求与两种方案，主张XAI的未来在于内在可解释性。
2024-05-28 cs.AI cs.CY cs.HC
Natural Example-Based Explainability: a Survey
IRT Saint Exupéry（圣埃克苏佩里技术研究院）；IRT SystemX（SystemX技术研究院）
本文综述了自然基于示例的XAI方法，涵盖相似示例、反事实与半事实、有影响实例、原型和概念等，比较其语义定义、认知影响与附加价值，以促进未来研究。
2023-09-05 cs.AI cs.LG
Explainability is NOT a Game
IRIT（IRIT（图卢兹计算机科学、集成与建模研究所））；CNRS（法国国家科学研究中心）；University of Toulouse（图卢兹大学）
本文论证Shapley值在可解释AI中可能误导特征重要性度量，挑战其在高风险领域的应用。
2024-02-09 cs.AI cs.LG
Dissecting Model Failures in Abdominal Aortic Aneurysm Segmentation through Explainability-Driven Analysis
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Drexel University（德雷塞尔大学）；Northwestern University（西北大学）
本文通过可解释性驱动分析，提出一种基于XAI的编码器塑造框架，优化编码器焦点以提升复杂场景下的分割性能。
2026-03-25 cs.AI cs.CV cs.LG
Explainability Through Human-Centric Design for XAI in Lung Cancer Detection
University of Edinburgh（爱丁堡大学）；NHS Lothian（NHS洛锡安）
本文提出XpertXAI模型，通过人类中心设计在肺癌检测中实现可解释性，优于现有方法，提供更符合专家推理的概念解释。
2026-04-15 cs.AI
BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence
Capital One（第一资本）
可解释的人工智能（XAI）方法缺乏基本事实。取而代之的是，方法开发人员依赖于公理来确定解释行为的理想属性。对于需要可解释性的机器学习的高风险使用，依赖公理是不够的，因为实现或其使用可能无法达到理想。因此，存在验证XAI方法性能的积极研究。在依赖XAI的领域中，验证的需求尤其突出。消融研究是一种经常用于评估其效用以及在某种程度上评估其保真度的程序。通过扰动输入变量的重要性排序，目标是评估模型的性能的敏感性。扰动重要的变量应该与较大的模型能力的措施相比，扰动不太重要的功能下降。虽然意图是明确的，但尚未对表格数据的实际实施细节进行严格研究。使用5个数据集、3种XAI方法、4种基线和3种扰动，我们旨在说明1）不同的扰动和添加简单的护栏如何有助于避免潜在的有缺陷的结论，2）分类变量的处理如何成为事后可解释性和消融研究的重要考虑因素，以及3）如何识别XAI方法的有用基线和消融研究的可行扰动。
2022-09-01 cs.AI cs.LG
A New Perspective on Evaluation Methods for Explainable Artificial Intelligence (XAI)
University of Bayreuth（拜罗伊特大学）；Saarland University（萨尔大学）；Philipps-University of Marburg（马尔堡菲利普斯大学）
本文批判性审视可解释性与性能之间的权衡，提出结合资源可用性、领域特征和风险考量的细致处理方式，为AI需求工程领域的研究和最佳实践提供基础。
2023-07-26 cs.AI cs.SE
XAI for time-series classification leveraging image highlight methods
University of Piraeus（比雷埃夫斯大学）；Innov-Acts Ltd（Innov-Acts有限公司）；Netcompany-Intrasoft S.A（Netcompany-Intrasoft股份公司）
本文提出一种教师-学生蒸馏深度神经网络，通过将时间序列转为二维图像并应用LIME和GradCam等图像高亮方法实现可解释分类，在提升精度的同时增加训练时间。
2023-11-28 cs.AI cs.LG
Explainable AI: current status and future directions
Centre for Forensic Science, University of Technology Sydney（悉尼科技大学法医科学中心）
可解释人工智能（XAI）是人工智能（AI）领域的一个新兴研究领域。XAI可以解释AI如何获得特定的解决方案（例如，分类或目标检测），并且还可以回答其它“WH”问题。这种可解释性在传统AI中是不可能的。可解释性对于国防、医疗保健、法律和秩序以及自动驾驶汽车等关键应用至关重要，这些应用需要专有技术来实现信任和透明度。到目前为止，许多XAI技术已经被用于这样的应用。本文从多媒体（即，文本、图像、音频和视频）观点。这些技术的优点和缺点进行了讨论，并指出了一些未来的发展方向。
2021-07-12 cs.AI cs.LG
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Research（IBM研究院）
对可解释人工智能（XAI）的兴趣激增，导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性，但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者，我们试图找出当前XAI算法工作与实践之间的差距，以创建可解释的人工智能产品。要做到这一点，我们开发了一个算法知情的XAI问题库，其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题，并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域，为支持该领域的设计实践提供信息，并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库，并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Transcending XAI Algorithm Boundaries through End-User-Inspired Design
Simon Fraser University（西蒙弗雷泽大学）；The University of British Columbia（不列颠哥伦比亚大学）
现有的可解释人工智能（XAI）算法的边界被限制在技术用户对可解释性的需求基础上的问题。这种研究范式不成比例地忽视了更大的非技术最终用户群体，这些用户在不同的解释目标中对人工智能解释的需求要高得多，例如做出更安全、更好的决策，以及改善用户的预测结果。缺乏对最终用户的可解释性功能支持可能会阻碍人工智能在高风险领域的安全和负责任的使用，例如医疗保健，刑事司法，金融和自动驾驶系统。基于对最终用户对XAI需求的人为因素分析，我们确定并建模了四个新的XAI技术问题，涵盖了从设计到评估XAI算法的全方位，包括基于边缘案例的推理，可定制的反事实解释，可折叠的决策树，以及评估XAI实用程序的可验证性度量。基于这些新发现的研究问题，我们还讨论了以用户为中心的XAI技术发展中的开放问题，以启发未来的研究。我们的工作将以人为本的XAI与技术XAI社区联系起来，并呼吁在以用户为中心的XAI的技术开发方面建立一种新的研究范式，以便在关键任务中负责任地使用AI。
2023-01-23 cs.AI cs.HC
Aligning XAI with EU Regulations for Smart Biomedical Devices: A Methodology for Compliance Analysis
University of Zurich（苏黎世大学）；University of Namur（那慕尔大学）
本文提出一种方法论，通过按控制机制对智能医疗设备分类、分析欧盟法规解释要求并对XAI方法按解释目标分类，从而为不同神经植入物匹配合规的XAI算法，填补生物电子学中XAI与欧盟法规对齐的空白。
2024-08-27 cs.AI cs.CY
Impact of Feature Encoding on Malware Classification Explainability
Laval University（拉瓦尔大学）
该研究基于恶意软件分类任务训练XGBoost模型，比较LE与OHE对XAI可解释性的影响，发现OHE虽轻微降低性能，却能提供更细粒度解释、减小文件并缩短分析时间。
2023-07-10 cs.AI cs.LG
Rule Extraction in Unsupervised Anomaly Detection for Model Explainability: Application to OneClass SVM
Telefónica（西班牙电信）；Universidad Politécnica de Madrid（马德里理工大学）
单类支持向量机是一种流行的无监督异常检测方法。与许多其他方法一样，它也存在黑箱问题：很难以直观和简单的方式证明为什么决策前沿将数据点识别为异常或非异常。这种类型的问题在监督模型中得到了广泛的解决。然而，它仍然是一个未知领域的无监督学习。在本文中，我们评估了OneClass SVM模型的几种规则提取技术，以及其中一些算法的替代设计。与此同时，我们提出了计算与可解释人工智能（XAI）相关的指标的算法，这些指标涉及提取规则的“可理解性”、“代表性”、“稳定性”和“多样性”。我们使用不同的数据集来评估我们的提案，包括来自行业的真实数据。有了这个，我们的建议有助于扩展XAI技术的无监督机器学习模型。
2021-04-01 cs.AI cs.LG
The Need for Standardized Explainability
Dathena Science Pte. Ltd.
可解释人工智能（XAI）在工业级人工智能中至关重要;然而，现有的方法无法解决这一必要性，部分原因是缺乏可解释性方法的标准化。本文的目的是提供一个视角的可解释性领域的现状，并提供新的定义的可解释性和可解释性开始标准化这一领域的研究。要做到这一点，我们提供了一个关于可解释性的文献综述，以及已经实施的现有方法。最后，我们对不同的可解释性方法进行了尝试性的分类，为未来的研究打开了大门。
2020-10-23 cs.AI cs.LG
A Context-Sensitive Approach to XAI in Music Performance
Iceland University of the Arts（冰岛艺术大学）
针对音乐表演中AI可解释性问题，提出解释实用主义（EP）框架，强调根据上下文和受众需求定制并持续完善解释，以提升AI系统在艺术领域的透明度与可解释性。
2023-09-05 cs.AI cs.HC
Explainable Artificial Intelligence Approaches: A Survey
University of Hartford（哈特福德大学）；Tennessee Tech University（田纳西理工大学）；Edith Cowan University（伊迪丝·考恩大学）
尽管基于人工智能（AI）的“黑盒”系统/模型在许多现实世界的应用中具有优越性，但其决策缺乏可解释性是在不同领域或行业的许多高风险应用中采用AI的关键绊脚石。虽然有许多流行的可解释人工智能（XAI）方法或方法可以促进对决策的人性化解释，但每种方法都有自己的优点和缺点，并存在大量的开放挑战。我们用一个相互的案例研究/任务（即，信用违约预测），从多个角度分析竞争优势（例如，本地，全球），提供量化可解释性的有意义的见解，并推荐使用XAI作为媒介的负责任或以人为本的AI的路径。从业者可以使用这项工作作为一个目录，以了解，比较和相关的流行XAI方法的竞争优势。此外，这项调查还指出了未来的研究方向，即负责任的或以人为中心的人工智能系统，这对于在高风险应用中采用人工智能至关重要。
2021-01-23 cs.AI cs.LG
Focus! Rating XAI Methods and Finding Biases
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
AI可解释性提高了模型的透明度，使其更值得信赖。这些目标是由深度学习模型的出现所推动的，这些模型本质上是模糊的;即使在图像领域，深度学习取得了最大的成功，可解释性仍然评估得很差。在图像识别领域，已经提出了许多特征属性方法，其目的是使用视觉线索来解释模型的行为。然而，到目前为止，还没有建立衡量标准来客观地评估和选择这些方法。在本文中，我们提出了一个一致的评价分数的特征归因方法-焦点-旨在量化其一致性的任务。虽然大多数以前的工作增加了分布噪声的样本，我们介绍了一种方法来增加噪声从分布内。这是通过来自不同类的实例的镶嵌以及这些实例生成的解释来完成的。在这些基础上，我们计算视觉伪精度度量Focus。首先，我们通过一组随机化实验证明了该方法的鲁棒性。然后，我们使用Focus比较了几种CNN架构和分类数据集的六种流行的可解释性技术。我们的研究结果发现，一些方法是一贯可靠的（LRP，GradCAM），而其他产生类不可知论的解释（SmoothGrad，IG）。最后，我们介绍了焦点的另一个应用，使用它来识别和描述模型中发现的偏差。这为偏差管理工具提供了支持，这是迈向值得信赖的AI的又一小步。
2022-02-28 cs.AI cs.LG
Crowdsourcing Evaluation of Saliency-based XAI Methods
Kyoto University（京都大学）；Fujitsu Research, Fujitsu Ltd.（富士通研究所，富士通株式会社）
理解深度神经网络预测背后的原因对于在许多重要应用中获得人类信任至关重要，这反映在近年来对AI（XAI）可解释性的需求不断增加。基于显著性的特征归属方法，其突出图像中有助于分类器决策的重要部分，通常用作XAI方法，特别是在计算机视觉领域。为了定量地比较各种基于显著性的XAI方法，已经提出了用于自动评估方案的几种方法;然而，不能保证这种自动评估指标正确地评估可解释性，并且自动评估方案的高评级不一定意味着对人类的高可解释性。在这项研究中，而不是自动化的评估，我们提出了一个新的基于人的评估方案，使用众包来评估XAI方法。我们的方法受到人类计算游戏“Peek-a-boom”的启发，可以通过利用人群的力量来有效地比较不同的XAI方法。我们使用自动化和基于人群的评估方案在两个数据集上评估了各种XAI方法的显着性图。我们的实验表明，我们的基于人群的评价方案的结果是不同的自动评价方案。此外，我们把基于人群的评价结果作为地面真理，并提供了一个定量的性能指标来比较不同的自动化评价方案。我们还讨论了人群工作者对结果的影响，并表明人群工作者的不同能力不会显着影响结果。
2021-08-30 cs.AI cs.CV cs.HC
False Sense of Security in Explainable Artificial Intelligence (XAI)
Institute of Informatics, University of Warsaw（华沙大学信息学研究所）；School of Law, Seoul National University（首尔国立大学法学院）；Dongin Law Group（东仁法律集团）；Wesang Co., Ltd.（Wesang有限公司）；Informatism LLC（Informatism有限责任公司）
本文从解释权视角审视美欧AI法规，指出XAI技术并不可靠，若立法忽视技术现实，合规将沦为形式化打勾并造成虚假安全。
2024-06-13 cs.AI cs.CY cs.HC
Explainable artificial intelligence approaches for brain-computer interfaces: a review and design space
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
本文系统综述了脑机接口中的可解释人工智能，提出六个研究问题，采用PRISMA方法分析84项研究，并首次提出XAI4BCI设计空间，以指导未来标准制定。
2023-12-20 cs.AI cs.HC cs.LG
xAI-Drop: Don't Use What You Cannot Explain
University of Trento（特伦托大学）；University of Cambridge（剑桥大学）
本文提出xAI-Drop，一种利用可解释性识别并排除噪声节点的拓扑级丢弃正则化器，提升GNN泛化能力与解释质量，在真实数据集上超越现有方法。
2024-11-08 cs.AI cs.LG
Explainability of CNN Based Classification Models for Acoustic Signal
Department of Computer Science, Missouri State University（计算机科学系，密苏里州立大学）；Department of Biology, Missouri State University（生物学系，密苏里州立大学）；Biodiversity Research Institute（生物多样性研究学院）
本研究针对生物声学中CNN分类模型的可解释性问题，以北美鸟类发声识别为例，结合LIME、SHAP、DeepLIFT和Grad-CAM多种XAI技术，在94.8%准确率模型上提供互补解释，提升决策透明度与信任度。
2025-09-10 cs.AI cs.LG cs.SD
Towards Rigorous Explainability by Feature Attribution
IRIT, University of Toulouse France Nanyang Technological University, Singapore ICREA \& Univ.\ Lleida, Spain
本文综述了使用严格的符号化可解释人工智能方法替代非严格的非符号化方法（如SHAP）来分配相对特征重要性的研究进展。
2026-05-27 cs.AI
A New Technique for AI Explainability using Feature Association Map
DBS Bank（DBS银行）；Institute of Engineering & Management（工程与管理学院）；University of Calcutta（加尔各答大学）
本文提出FAMeX算法，通过特征关联图方法提升AI系统决策可解释性，实验表明其在分类任务中优于PFI和SHAP等传统方法。
2026-05-14 cs.AI cs.LG
Explainability Pitfalls: Beyond Dark Patterns in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）
为了使可解释人工智能（XAI）系统值得信赖，了解有害影响与产生精心设计的解释同样重要。在本文中，我们解决了一个重要的，但未明确的类型的负面影响XAI。我们引入了可解释性陷阱（EP），这是人工智能解释的意想不到的负面下游效应，即使没有意图操纵用户。EP与黑暗模式不同，但与之相关，黑暗模式是故意欺骗的做法。我们阐明了EP的概念，将其与暗模式区分开来，并强调了陷阱周围的不确定性所带来的挑战。我们使用一个案例研究来解释和操作这个概念，这个案例研究展示了尽管有最好的意图，但毫无疑问的负面影响，例如对数字解释的不必要的信任。我们提出了积极主动和预防性的战略，以解决EP在三个相互关联的层面：研究，设计和组织。
2021-09-26 cs.AI cs.HC
