What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks
ETH Zurich（苏黎世联邦理工学院）
本文提出一种细粒度、模块化的可解释人工智能验证框架，区分技术构建模块、用户解释与社会沟通协议，主张算法验证与用户研究互补，以系统性评估XAI系统属性及下游影响。
2024-03-19 cs.AI cs.HC
Question-Driven Design Process for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Design（IBM设计）；IBM Research（IBM研究院）
人工智能系统的一个普遍设计问题是它们的可解释性-如何提供适当的信息来帮助用户理解人工智能。可解释人工智能（XAI）技术领域已经产生了丰富的技术工具箱。设计师现在面临的挑战是如何选择最合适的XAI技术并将其转化为UX解决方案。根据我们之前研究XAI UX设计挑战的工作，这项工作提出了一个设计过程来应对这些挑战。我们回顾了我们和相关的先前工作，以确定该过程应该满足的要求，并相应地提出了一个基于用户需求，XAI技术选择，设计和XAI UX评估的XAI UX设计过程。我们提供了一个原型用户问题和XAI技术范例之间的映射指南，以重新构建XAI的技术空间，同时也作为边界对象来支持设计师和AI工程师之间的协作。我们通过设计XAI用于医疗保健不良事件预测的用例来演示它，并讨论了应对AI系统设计挑战的经验教训。
2021-09-03 cs.AI cs.HC
Explainable Generative AI (GenXAI): A Survey, Conceptualization, and Research Agenda
University of Liechtenstein（列支敦士登大学）
该综述阐述了生成式AI（GenAI）兴起下可解释性（XAI）的重要性与挑战，梳理现有研究、提出分类体系与实现路径，并给出十余项未来研究方向，兼顾技术与非技术读者。
2024-04-15 cs.AI
Human-Centered Explainable AI (XAI): From Algorithms to User Experiences
Microsoft Research（微软研究院）；IBM Research（IBM研究院）
近年来，可解释人工智能（XAI）领域已经产生了大量的算法，为研究人员和从业者构建XAI应用程序提供了有用的工具箱。随着丰富的应用机会，可解释性被认为已经超越了数据科学家或研究人员理解他们开发的模型的需求，成为人们信任和采用在众多领域部署的人工智能的基本要求。然而，可解释性本质上是以人为中心的属性，该领域开始接受以人为中心的方法。这一领域的人机交互（HCI）研究和用户体验（UX）设计正变得越来越重要。在本章中，我们从XAI算法的技术前景的高层次概述开始，然后有选择地调查我们自己和其他最近的HCI作品，这些作品采用以人为本的方法来设计，评估，并为XAI提供概念和方法工具。我们提出的问题是“以人为本的方法为XAI做什么”，并强调他们在塑造XAI技术中发挥的三个作用，帮助导航，评估和扩展XAI工具箱：通过用户的可解释性需求来驱动技术选择，发现现有XAI方法的陷阱并告知新方法，并为人类兼容的XAI提供概念框架。
2022-04-19 cs.AI cs.HC
SIDU: Similarity Difference and Uniqueness Method for Explainable AI
Aalborg University（奥尔堡大学）
一个新品牌的技术人工智能（可解释的人工智能）研究集中在试图打开“黑匣子”，并提供一些可解释性。本文提出了一种新的深度学习网络的视觉解释方法，其形式为显着图，可以有效地定位整个对象区域。与目前最先进的方法相比，所提出的方法显示出非常有前途的视觉解释，可以获得人类专家的更大信任。对一般和临床数据集进行定量和定性评价，以确认所提出的方法的有效性。
2020-06-04 cs.AI cs.CV cs.LG
Notion of Explainable Artificial Intelligence -- An Empirical Investigation from A Users Perspective
LUT University（拉普兰塔理工大学）；Norwegian University of Science and Technology（挪威科技大学）
本研究以推荐系统为场景，通过焦点小组访谈探究用户视角的可解释AI需求，发现用户需要非技术、定制化且可靠的解释及数据使用说明，进而提出让用户参与开发流程的整合框架。
2023-11-01 cs.AI
Is Task-Agnostic Explainable AI a Myth?
Stanford University（斯坦福大学）
本文通过梳理图像、文本和图数据上的显著性、注意力及图解释器研究，指出任务无关XAI普遍存在方法自身黑箱化及与任务不兼容的根本局限。
2023-07-13 cs.AI cs.LG
A Mobile Application Front-End for Presenting Explainable AI Results in Diabetes Risk Estimation
School of Electrical Engineering（电气工程学院）；Informatics（信息学）；Bandung Institute of Technology（万隆技术学院）；Bandung, Indonesia（印度尼西亚万隆）
本研究开发了一款移动应用前端，通过可视化和文本叙述提升用户对糖尿病风险估算中XAI结果的理解与行动能力。
2026-01-23 cs.AI cs.HC
Transparent Adaptive Learning via Data-Centric Multimodal Explainable AI
Newcastle University（纽卡斯尔大学）
针对自适应学习系统透明度不足、现有XAI技术忽略用户需求的问题，提出融合传统XAI、生成式AI与用户个性化的混合框架，重新定义可解释性为动态沟通过程，以提升教育AI透明度并优化用户体验。
2025-08-01 cs.AI cs.HC cs.LG
Exploring Explainable AI in the Financial Sector: Perspectives of Banks and Supervisory Authorities
HU University of Applied Sciences Utrecht（乌得勒支应用科学大学）；De Nederlandsche Bank（荷兰中央银行）
可解释的人工智能（xAI）被视为使AI系统不那么黑箱的解决方案。必须确保透明度、公平性和问责制，这在金融部门尤为重要。本研究的目的是对监管机构和受监管实体关于xAI在金融业应用的观点进行初步调查。三个用例（消费者信贷，信用风险和反洗钱）在荷兰的三家银行和两家监管机构进行了半结构化访谈。我们发现，对于调查的用例，监管机构和银行之间在人工智能系统的可解释性的期望范围方面存在差异。我们认为，金融部门可以从技术AI（模型）解释性要求和更广泛的AI系统与适用法律法规相关的解释性要求之间的明确区分中受益。
2021-11-03 cs.AI
How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey
IT University of Copenhagen（哥本哈根信息技术大学）；Royal Danish Academy（丹麦皇家艺术学院）
本文系统性综述了53篇文献，指出可解释界面（EIs）聚焦XAI的用户界面与体验设计，以提升系统可用性与实际可解释性，并揭示了人机交互趋势及未来设计与开发方向。
2024-03-21 cs.AI cs.HC
Mathematical decisions and non-causal elements of explainable AI
University of Toronto（多伦多大学）；Australian National University（澳大利亚国立大学）
算法决策在敏感环境中的社会影响在多个利益相关者之间产生了激烈的辩论，如道德和政治哲学家，计算机科学家和公众。然而，缺乏一种共同的语言和一个概念框架来适当地弥合辩论的道德、技术和政治方面，这阻碍了讨论尽可能有效。社会科学家和心理学家通过收集大量的经验数据为这场辩论做出了贡献，但对算法决策的社会影响的哲学分析仍然相对贫乏。在试图解决这一空白，本文认为，不同类型的层次结构的解释为什么和如何实现的算法决策的结果可以建立相关的道德和技术方面的算法决策之间的联系。特别是，我为算法决策的解释和解释提供了一个多方面的概念框架，我声称这个框架可以为多个利益相关者之间关于算法决策的社会影响以及更普遍的人工智能治理和道德的集中讨论奠定基础。
2019-12-12 cs.AI cs.CY cs.HC
Advancing Explainable AI Toward Human-Like Intelligence: Forging the Path to Artificial Brain
Lancaster University（兰卡斯特大学）
本文探讨了可解释AI（XAI）方法的演进及其在医疗、金融等领域的应用与挑战，并进一步研究了XAI与认知科学融合的潜力及情感智能AI的发展，展望了AI迈向类人智能与通用人工智能（AGI）的多学科探索之路。
2024-02-07 cs.AI
Proposed Guidelines for the Responsible Use of Explainable Machine Learning
H2O.ai（H2O.ai公司）；BLDS, LLC（BLDS有限责任公司）
可解释的机器学习（ML）使人类能够从ML中学习，人类对自动化模型决策的吸引力，法规遵从性和ML模型的安全审计。可解释的ML（即可解释的人工智能或XAI）已在许多开源和商业软件包中实现，可解释的ML也是金融服务等行业商业预测建模的重要，强制或嵌入方面。然而，像许多技术一样，可解释的ML可能会被滥用，特别是作为有害黑盒的错误保护措施，例如公平洗涤或脚手架，以及其他恶意目的，如窃取模型和敏感的训练数据。为了促进对这种已经在飞行中的技术的最佳实践的讨论，这篇短文在介绍拟议的准则之前介绍了内部定义和一些例子。本文以一个看似自然的论点结束，即在生命或任务关键型ML系统中使用可解释模型和解释性，调试和不同的影响测试方法。
2019-11-29 cs.AI cs.LG stat.ML
XAI-P-T: A Brief Review of Explainable Artificial Intelligence from Practice to Theory
Umeå University（于默奥大学）；Aalto University（阿尔托大学）
在这项工作中，我们报告了一些基本文献中确定的可解释AI（XAI）的实践和理论方面。虽然有大量的工作来代表XAI的背景，但大多数语料库都指出了一个离散的思想方向。在实践和理论上同时提供对文学的见解仍然是该领域的一个空白。这一点很重要，因为这种联系有利于早期XAI研究人员的学习过程，并为经验丰富的XAI学者提供了一个光明的立场。分别介绍了黑箱解释的分类，并给出了一个实例。稍后，我们将讨论理论解释如何在多学科领域的身体中扎根。最后，对今后的研究方向进行了展望。
2020-12-17 cs.AI cs.LG
Interaction Design for Explainable AI: Workshop Proceedings
随着人工智能（AI）系统变得越来越复杂和无处不在，这些系统将负责做出直接影响个人和整个社会的决策。由于道德问题和信任，这些决定需要合理化，但由于许多人工智能模型采用的“黑匣子”性质，实现这一点变得困难。可解释人工智能（XAI）可以通过向用户解释其操作，决策和系统行为来解决这个问题。然而，XAI的许多研究都是在真空中完成的，只使用研究人员对什么构成“好”解释的直觉，而忽略了互动和人的方面。本次研讨会邀请HCI社区和相关领域的研究人员讨论以人为本的XAI方法，这些方法植根于交互，并阐明和激发XAI中交互设计挑战的讨论。
2018-12-13 cs.AI
Charting the Sociotechnical Gap in Explainable AI: A Framework to Address the Gap in XAI
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
可解释人工智能（XAI）系统本质上是社会技术的;因此，它们受到社会技术差距的影响-技术可供性和社会需求之间的鸿沟。然而，绘制这一差距是具有挑战性的。在XAI的背景下，我们认为，绘制差距可以提高我们对问题的理解，这可以反射性地提供可操作的见解，以提高可解释性。利用不同领域的两个案例研究，我们从经验上推导出一个框架，通过在XAI的背景下连接AI指南并阐明如何使用它们来解决差距，从而促进系统地绘制社会技术差距。我们将该框架应用于一个新领域的第三种情况，展示其启示。最后，我们讨论了框架的概念含义，分享其操作化的实际考虑，并提供指导，将其转移到新的背景下。通过对XAI中社会技术差距的理解做出概念性和实践性的贡献，该框架扩展了XAI的设计空间。
2023-02-01 cs.AI cs.HC
Good Counterfactuals and Where to Find Them: A Case-Based Technique for Generating Counterfactuals for Explainable AI (XAI)
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics（Insight数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
最近，大量研究已经确定使用反事实解释作为可解释AI（XAI）问题的潜在重要解决方案。有人认为，（a）在技术上，这些反事实的情况下，可以通过排列问题的特点，直到发现一个类的变化，（b）心理上，他们更因果信息比事实的解释，（c）法律上，他们是GDPR兼容。然而，使用当前技术（例如稀疏性和可扩展性）寻找良好的反事实存在问题。我们发现，许多常用的数据集似乎很少有很好的反事实解释的目的。因此，我们提出了一种新的基于案例的方法，用于生成反事实使用新的想法的反事实的潜力和解释性的案例库的覆盖范围。这种新技术重复使用案例库中的良好反事实模式，以生成可以解释新问题及其解决方案的类似反事实。几个实验表明，这种技术可以提高反事实的潜力和解释覆盖率的情况下，基地，以前发现想要的。
2020-05-26 cs.AI
Explainable AI for tailored electricity consumption feedback -- an experimental evaluation of visualizations
University of Bamberg（班贝格大学）
机器学习（ML）方法可以有效地分析数据，识别其中的模式，并做出高质量的预测。好的预测通常伴随着“黑盒”模型，这些模型无法以人类可读的方式呈现检测到的模式。最近的技术发展导致了可解释的人工智能（XAI）技术，其目的是打开这样的黑匣子，使人类能够从检测到的模式中获得新的见解。我们调查了XAI在特定见解可能对消费者行为产生重大影响的领域的应用，即电力使用。了解到个人用电量的具体反馈会触发资源节约，我们使用ML和XAI方法从用电量时间序列中创建了五个可视化，以获得高度个性化的反馈，并考虑到现有的特定领域设计知识。我们对152名参与者的实验评估表明，人类可以吸收XAI可视化显示的模式，但这种可视化应该遵循已知的可视化模式，以便用户能够很好地理解。
2022-08-24 cs.AI cs.CY cs.HC
Towards Unified Attribution in Explainable AI, Data-Centric AI, and Mechanistic Interpretability
Harvard University（哈佛大学）
本文提出统一视角，指出可解释AI、以数据为中心的AI和机制可解释性中的特征、数据与组件归因方法在技术上具有根本相似性，该视角能增强现有方法理解并开辟模型编辑等新研究方向。
2025-05-29 cs.AI cs.LG
Towards a Grounded Dialog Model for Explainable Artificial Intelligence
University of Melbourne（墨尔本大学）
为了与用户产生信任，可解释人工智能（XAI）系统需要包括一个解释模型，可以将内部决策，行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中，我们专注于解释者和被解释者之间的有意义的互动的挑战，并调查解释的结构方面，以提出一个人类的解释对话模型。我们遵循自下而上的方法，通过分析398种不同的解释对话类型的成绩单来推导模型。我们使用扎根理论来编码和识别解释对话框组成的关键组件。我们进行进一步的分析，以确定组件和序列之间的关系，并在对话中发生的循环。我们提出了通过分析获得的广义状态模型，并将其与现有的解释概念对话模型进行比较。
2018-06-21 cs.AI
Towards a Praxis for Intercultural Ethics in Explainable AI
Cornell University（康奈尔大学）
本文针对 XAI 收益主要限于专业用户且忽视全球南方多元文化需求的问题，提出跨文化伦理方法，以改善技术解释、用户理解与实际使用。
2023-04-25 cs.AI cs.HC
Emergent, not Immanent: A Baradian Reading of Explainable AI
Sony AI（索尼人工智能研究所）
本文通过巴达德的代理现实主义，提出XAI中解释是人类与AI模型之间的处境性纠缠中涌现的，挑战传统技术视角，强调伦理设计方向。
2026-01-23 cs.AI cs.HC
The Conflict Between Explainable and Accountable Decision-Making Algorithms
KAIST（韩国科学技术院）；IBS（基础科学研究院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体物品研究所）；Kangwon National University（江原国立大学）
决策算法正在用于重要的决策，例如谁应该参加医疗保健计划和被雇用。尽管这些系统目前部署在高风险场景中，但其中许多系统无法解释其决策。这种限制促使了可解释人工智能（XAI）计划，该计划旨在使算法可解释以遵守法律要求，促进信任并保持问责制。本文质疑可解释性是否以及在多大程度上可以帮助解决自主AI系统带来的责任问题。我们认为，提供事后解释的XAI系统可能被视为应受责备的代理人，模糊了开发人员在决策过程中的责任。此外，我们认为，XAI可能会导致对弱势利益相关者的责任归属不正确，例如那些受到算法决策影响的人（即，患者），由于他们对可解释的算法具有控制权的误导性感知。如果设计师选择将算法和患者作为道德和法律的替罪羊，那么可解释性和问责制之间的冲突可能会加剧。最后，我们提出了一系列建议，以解决算法决策的社会技术过程中的这种紧张局势，并为硬监管辩护，以防止设计师逃避责任。
2022-05-11 cs.AI cs.CY
Towards a Comprehensive Human-Centred Evaluation Framework for Explainable AI
KU Leuven（鲁汶大学）
针对可解释人工智能（XAI）缺乏标准化以人为中心评估流程、现有评估未整体性考量解释对人的复杂影响的问题，研究调整推荐系统的用户中心评估框架，整合解释维度、梳理属性及关系并分类评估指标，助力XAI评估的以人为中心标准化。
2023-07-31 cs.AI cs.HC
OmniXAI: A Library for Explainable AI
Salesforce Research（赛富时研究院）；Salesforce Search（赛富时搜索部门）
我们介绍OmniXAI（Omni eXplainable AI的缩写），这是eXplainable AI（XAI）的开源Python库，它提供了全方位的可解释AI功能和各种可解释的机器学习技术，以解决理解和解释机器学习（ML）在实践中做出的决策的痛点。OmniXAI旨在成为一站式综合库，为数据科学家，ML研究人员和从业者提供可解释的AI，他们需要在ML过程的不同阶段（数据探索，特征工程，模型开发，评估和决策等）解释各种类型的数据，模型和解释方法。特别是，我们的库包括一个丰富的家庭的解释方法集成在一个统一的接口，它支持多种数据类型（表格数据、图像、文本、时间序列），多种类型的ML模型（Scikit-learn中的传统ML和PyTorch/TensorFlow中的深度学习模型），以及一系列不同的解释方法，包括“模型特定”和“模型不可知”的解释方法（如特征归因解释、反事实解释、基于梯度的解释等）。对于从业者来说，该库提供了一个易于使用的统一界面，只需编写几行代码即可为其应用程序生成解释，还提供了一个GUI仪表板，用于可视化不同的解释，以获得更多关于决策的见解。在本技术报告中，我们介绍了OmniXAI的设计原理、系统架构和主要功能，并展示了不同类型数据、任务和模型的几个示例用例。
2022-12-12 cs.AI cs.CV cs.LG
On the Importance of Domain-specific Explanations in AI-based Cybersecurity Systems (Technical Report)
Arizona State University（亚利桑那州立大学）；Institute for Computer Science and Engineering (ICIC UNS–CONICET)（计算机科学与工程研究所（ICIC UNS–CONICET））；Institute for Computer Science Research (ICC UBA–CONICET)（计算机科学研究所（ICC UBA–CONICET））；Universidad Nacional del Sur（南方国立大学）；Universidad Nacional de Entre Ríos（恩特雷里奥斯国立大学）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
随着大数据集的可用性和不断提高的计算能力，数据驱动的人工智能系统的使用越来越多，并在不同领域显示出成功应用的潜力。然而，其中许多系统无法向用户提供关于其决定背后的理由的信息。缺乏对此类决定的理解可能是一个主要缺点，特别是在关键领域，如与网络安全有关的领域。针对这一问题，本文提出了三个贡献：（i）提出并讨论了解释基于人工智能的网络安全系统产生的输出的必要条件;（ii）在我们的必要条件和通常用于检查XAI方法的进一步维度的镜头下，对可解释人工智能（XAI）文献中的方法进行了比较分析;以及（iii）一个通用架构，可以作为指导研究工作的路线图，用于开发可解释的基于人工智能的网络安全系统-在其核心，该路线图以一种新颖的方式提出了几条研究路线的组合，以应对在此背景下出现的独特挑战。
2021-08-02 cs.AI cs.CR cs.CY
Explainable AI for the EU Right to Explanation: A Systematic Review of the Law-XAI Translation Gap
本文针对欧盟解释权开展XAI系统综述，发现法律与技术视角整合不足，提出收件人/目的框架与四阶段操作蓝图，指出需解决相关研究问题以保障解释权落地。
2026-08-05 cs.AI cs.CY cs.LG
Mind the XAI Gap: A Human-Centered LLM Framework for Democratizing Explainable AI
Aristotle University of Thessaloniki, School of Informatics（塞萨洛尼基亚里士多德大学信息学院）；Technical University of Denmark（丹麦技术大学）；Telefonica Scientific Research（电信科学研究院）
针对现有可解释AI方案仅面向专家、非专业人士难以理解的问题，提出一种基于大语言模型的通用人本框架，可同时输出适配两类人群的解释，经基准测试与用户研究验证效果优异，弥合了XAI的受众鸿沟。
2025-06-13 cs.AI cs.LG
A Comparative Study of Explainable AI Methods: Model-Agnostic vs. Model-Specific Approaches
本文比较了LIME、SHAP等模型无关方法与Grad-CAM、引导反向传播等模型特定方法在解释ResNet50图像分类时的差异，发现二者各有优势，提出结合多种XAI方法可更全面地理解复杂模型，并为不同应用场景提供选择指导。
2025-04-05 cs.AI
False Sense of Security in Explainable Artificial Intelligence (XAI)
Institute of Informatics, University of Warsaw（华沙大学信息学研究所）；School of Law, Seoul National University（首尔国立大学法学院）；Dongin Law Group（东仁法律集团）；Wesang Co., Ltd.（Wesang有限公司）；Informatism LLC（Informatism有限责任公司）
本文从解释权视角审视美欧AI法规，指出XAI技术并不可靠，若立法忽视技术现实，合规将沦为形式化打勾并造成虚假安全。
2024-06-13 cs.AI cs.CY cs.HC
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University（纽卡斯尔大学）
针对社交媒体AI推荐解释通用、未对齐用户需求的问题，提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统，将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文通过网络安全源代码分类案例研究，评估XAI在分析师工作流中的可用性，指出SHAP、LIME等事后局部解释难以被非专家理解，并探讨LLMs提供高层解释的潜力。
2024-08-08 cs.AI cs.HC
A Grounded Interaction Protocol for Explainable Artificial Intelligence
University of Melbourne（墨尔本大学）
可解释的人工智能（XAI）系统需要包括一个解释模型，以将内部决策、行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中，我们重点关注解释者和被解释者之间有意义的交互的挑战，并研究交互解释的结构方面，以提出交互协议。我们遵循自下而上的方法，通过分析不同的解释对话类型与398解释对话的成绩单，得出模型。我们使用扎根理论来编码和识别解释对话的关键组成部分。我们使用代理对话框架（ADF）作为一种新的对话类型，然后评估它在人与代理的交互研究与101个对话，从14个参与者。我们的研究结果表明，该模型可以密切跟踪人类智能体对话的解释对话。
2019-03-05 cs.AI cs.LG
Categorical Foundations of Explainable AI: A Unifying Theory
University of Cambridge（剑桥大学）；INRA（法国国家农业食品与环境研究院）；Tallinn University of Technology（塔林理工大学）
本文利用范畴论首次为可解释人工智能的关键概念（尤其是“解释”）建立数学严格定义，并统一建模学习架构、分类体系与解释方法分析，为XAI奠定可靠理论基础。
2023-09-17 cs.AI cs.LG stat.ML
Ethics and Technical Aspects of Generative AI Models in Digital Content Creation
University of Basel（巴塞尔大学）
本文探讨了GPT-4o和DALL-E 3等生成式AI模型在数字内容创作中的技术表现与伦理风险，通过实验分析其在创造力、准确性和计算效率等方面的能力及偏见、真实性和滥用问题，提出伦理指南以促进创新与伦理诚信的平衡。
2024-12-20 cs.AI cs.CY cs.HC
Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI
IBM Research（IBM研究院）
近年来，人们对可解释人工智能（XAI）领域的兴趣激增，文献中提出了大量算法。然而，对如何评估XAI缺乏共识阻碍了该领域的发展。我们强调，XAI不是一个单一的技术集-研究人员和从业者已经开始利用XAI算法来构建服务于不同使用环境的XAI系统，例如模型调试和决策支持。然而，XAI的生物学研究通常没有考虑到这些不同的下游使用环境，导致实际用户的有效性有限，甚至是意想不到的后果，以及从业者难以做出技术选择。我们认为，缩小差距的一种方法是开发评估方法，在这些使用环境中考虑不同的用户需求。为了实现这一目标，我们引入了一个角度的上下文XAI评估考虑的相对重要性的XAI评估标准的原型使用情况下的XAI。为了探索XAI评估标准的上下文依赖性，我们进行了两项调查研究，一项是XAI专题专家，另一项是人群工作者。我们的研究结果敦促负责任的AI研究与使用知情的评估实践，并提供了一个细致入微的理解用户的需求XAI在不同的使用环境。
2022-09-20 cs.AI cs.HC
A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI
Nanyang Technological University（南洋理工大学）；Alibaba Group Holding Limited（阿里巴巴集团控股有限公司）
最近，人工智能和机器学习在从图像处理到自然语言处理的许多任务中表现出了卓越的性能，特别是随着深度学习的出现。随着研究的不断深入，它们已经渗透到许多不同的领域和学科。其中一些部门需要高度的问责制，因此需要透明度，例如医疗部门。因此，需要对机器决策和预测进行解释，以证明其可靠性。这需要更好的可解释性，这通常意味着我们需要理解算法背后的机制。不幸的是，深度学习的黑盒性质仍然没有得到解决，许多机器决策仍然知之甚少。本文对不同研究成果提出的可解释性进行了综述和分类。从提供“明显”可解释信息的方法到复杂模式的研究，不同的类别在可解释性研究中表现出不同的维度。通过将相同的分类应用于医学研究中的可解释性，我们希望（1）临床医生和从业者随后可以谨慎地使用这些方法，（2）对可解释性的见解将与医学实践的更多考虑一起诞生，（3）鼓励推动基于数据的，数学和技术基础的医学教育的倡议。
2020-08-11 cs.AI cs.LG
Explainable-AI powered stock price prediction using time series transformers: A Case Study on BIST100
本文面向 BIST100 银行股，结合 Time Series Transformer 等模型与 SHAP、LIME 可解释方法，提升股价预测准确性及特征影响透明度。
2025-06-01 cs.AI cs.LG q-fin.ST
Explainable AI Systems Must Be Contestable: Here's How to Make It Happen
Data Science Institute UTS Australia（UTS澳大利亚数据科学研究院）；IT:U Austria（奥地利IT:U学院）
本文首次给出可解释人工智能中可争议性的严格正式定义，提出涵盖设计时与事后机制的模块化框架及基于二十余项定量准则的可争议性评估量表，并通过多领域案例研究验证其推动系统改进的实用价值。
2025-06-02 cs.AI cs.CY cs.LG
Bridging the Transparency Gap: What Can Explainable AI Learn From the AI Act?
University of Edinburgh（爱丁堡大学）
本文揭示可解释AI与欧盟《人工智能法案》在透明度理解上的根本差异，提出“透明度鸿沟”概念，并从四个实践维度探讨弥合该鸿沟的路径。
2023-07-29 cs.AI cs.CY
Guidelines and Evaluation of Clinical Explainable AI in Medical Image Analysis
Simon Fraser University（西蒙弗雷泽大学）；The University of British Columbia（不列颠哥伦比亚大学）
可解释的人工智能（XAI）对于使临床用户能够从AI获得明智的决策支持并遵守循证医学实践至关重要。在临床环境中应用XAI需要适当的评估标准，以确保解释技术在技术上合理且临床上有用，但缺乏具体的支持来实现这一目标。为了弥合研究差距，我们提出了临床XAI指南，其中包括临床XAI需要优化的五个标准。指南建议根据指南1（G1）可理解性和G2临床相关性选择解释表。对于所选择的解释形式，其特定的XAI技术应针对G3真实性、G4信息可解释性和G5计算效率进行优化。在此基础上，对一个具有两个临床任务的多模态医学图像解释问题进行了系统的评价，并提出了相应的评价指标。对16种常用的热图XAI技术进行了评估，发现由于它们在G3和G4中失败，因此不足以用于临床使用。我们的评价证明了临床XAI指南的使用，以支持临床可行的XAI的设计和评价。
2022-12-08 cs.AI cs.CV cs.LG
A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction
University of Genoa（热那亚大学）；Italian Institute of Technology（意大利理工学院）
最先进的人工智能（AI）技术已经达到了令人印象深刻的复杂性。因此，研究人员正在发现越来越多的方法在现实世界中使用它们。然而，这种系统的复杂性需要引入使这些系统对人类用户透明的方法。人工智能社区正试图通过引入可解释人工智能（XAI）领域来克服这个问题，这是为了让人工智能算法不那么不透明。然而，近年来，人们越来越清楚地认识到，XAI不仅仅是一个计算机科学问题：因为它是关于通信的，XAI也是一个人机交互问题。此外，人工智能从实验室出来，用于现实生活。这意味着需要为非专家用户量身定制的XAI解决方案。因此，我们提出了一个以用户为中心的框架XAI，专注于其社会互动方面的灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式XAI解决方案的结构。
2021-11-05 cs.AI cs.HC cs.RO
A Scoresheet for Explainable AI
Victoria University of Wellington（惠灵顿维多利亚大学）；RMIT University（皇家墨尔本理工大学）
针对现有透明度标准过于高层、可解释性要求不明确的问题，本文提出一种兼顾多方利益相关者的可解释性评分表，可用于需求规范与应用评估，并通过多场景应用验证其通用性和实用性。
2025-02-14 cs.AI cs.MA cs.SE
Explainable Incipient Fault Detection Systems for Photovoltaic Panels
Kalasalingam Academy for Research and Education（卡萨斯林甘研究与教育学院）；GE Corporate Research Center（通用电气企业研究中心）；SINTEF；Norwegian University of Science and Technology（挪威科技大学）；SUNY Polytechnic Institute（纽约州立大学理工学院）
本文介绍了一种可解释的光伏板早期故障检测与诊断系统（XFDDS）。XFDDS是一种结合了基于模型和数据驱动框架的混合方法。基于模型的FDD的光伏板缺乏高保真度的模型，在低辐照度条件下检测早期故障。为了克服这个问题，提出了一种新的基于辐照度的三二极管模型（IB 3DM）。这是一个九参数模型，即使在低辐照度条件下也能提供更高的精度，这是从噪声中检测早期故障的一个重要方面。为了利用PV数据，使用极端梯度提升（XGBoost），这是由于其检测早期故障的能力。缺乏可解释性、样本实例的特征可变性和错误警报是数据驱动FDD方法的挑战。这些缺点通过XGBoost和IB 3DM的混合以及使用可解释的人工智能（XAI）技术来克服。结合XGBoost和IB 3DM，提出了一种故障特征度量，有助于减少误报，并触发对检测早期故障的解释。为了提供可解释性，开发了可解释的人工智能（XAI）应用。它使用本地可解释模型不可知解释（LIME）框架，并为数据实例的分类器输出提供解释。这些说明有助于现场工程师/技术人员执行故障排除和维护操作。建议XFDDS说明使用不同的光伏技术的实验，我们的结果表明，感知的好处。
2020-11-19 cs.AI cs.LG eess.SP
Technical Aspects of Cyber Kill Chain
最近有针对性的网络攻击的趋势增加了对网络安全领域研究的兴趣。这种攻击对组织、企业和政府产生了巨大的破坏性影响。网络杀伤链是一种描述网络攻击的模型，以发展事件响应和分析能力。网络杀伤链简单来说就是一个攻击链，即入侵者经过一段时间渗透信息系统，对目标实施攻击的路径。本文对网络攻击所涉及的方法、技术和工具进行了广泛的分类。本文旨在帮助网络安全研究人员在网络攻击的每个阶段实现攻击者可用的选项。
2016-06-10 cs.CR cs.NI
