A Multidisciplinary Survey and Framework for Design and Evaluation of Explainable AI Systems
随着日常生活中使用的人工智能应用的普及，对可解释和可问责的智能系统的需求也在增长。可解释的智能系统旨在自我解释系统决策和预测背后的推理，来自不同学科的研究人员共同定义，设计和评估可解释的系统。然而，来自不同学科的学者专注于可解释机器学习研究的不同目标和相当独立的主题，这对确定适当的设计和评估方法以及整合知识提出了挑战。为此，本文提出了一个调查和框架，旨在分享知识和经验的XAI设计和评估方法跨多个学科。为了支持XAI研究中的不同设计目标和评估方法，在对机器学习、可视化和人机交互领域的XAI相关论文进行全面回顾后，我们提出了一种可解释的机器学习设计目标和评估方法的分类，以显示不同XAI用户组的设计目标与评估方法之间的映射。根据我们的研究结果，我们开发了一个框架，其中包含分步设计指南和评估方法，以关闭多学科XAI团队的迭代设计和评估周期。此外，我们还提供了XAI研究中不同目标的评估方法和建议的汇总即用表。
2020-08-05 cs.HC
The benefits and costs of explainable artificial intelligence in visual quality control: Evidence from fault detection performance and eye movements
该研究通过巧克力工厂视觉质检模拟实验及眼动分析，探究可解释人工智能（XAI）的收益与成本，发现XAI虽能提速，但对错误率的影响依赖其准确性，且可能降低人们自主信息分析的投入意愿。
2023-11-13 cs.HC
What Do We Want From Explainable Artificial Intelligence (XAI)? -- A Stakeholder Perspective on XAI and a Conceptual Model Guiding Interdisciplinary XAI Research
Saarland University（萨尔大学）；Technical University Dortmund（多特蒙德工业大学）；Institute of Intelligent Software（智能软件研究所）
可解释性人工智能（XAI）的先前研究表明，可解释性方法的主要目的是在各种背景下满足关于人工系统的特定兴趣、目标、期望、需求和要求（我们称这些利益相关者的需求）。然而，关于XAI的文献是巨大的，分布在多个基本上不相关的学科中，并且通常仍然不清楚可解释性方法应该如何实现满足利益相关者需求的目标。本文讨论了利益相关者的人工系统的可解释性要求的主要类别，并审查其desiderata。我们提供了一个模型，明确阐述了主要的概念和关系，需要考虑和调查时，评估，调整，选择和发展的可解释性的方法，旨在满足利益相关者的desiderata。该模型可以为来自XAI所涉及的各种不同学科的研究人员提供服务，作为共同点。它强调在评价和可解释性方法的发展中存在跨学科潜力的地方。
2021-02-15 cs.AI cs.HC
Explainable Interfaces for Rapid Gaze-Based Interactions in Mixed Reality
本研究构建了用于混合现实中基于注视交互的实时可解释AI界面，实验表明该界面将选择准确率（F1分数）提升10.8%，并帮助用户随时间优化注视行为，从而促进更有效的人机协作。
2024-04-21 cs.HC
Human-Centered Explainable AI (XAI): From Algorithms to User Experiences
Microsoft Research（微软研究院）；IBM Research（IBM研究院）
近年来，可解释人工智能（XAI）领域已经产生了大量的算法，为研究人员和从业者构建XAI应用程序提供了有用的工具箱。随着丰富的应用机会，可解释性被认为已经超越了数据科学家或研究人员理解他们开发的模型的需求，成为人们信任和采用在众多领域部署的人工智能的基本要求。然而，可解释性本质上是以人为中心的属性，该领域开始接受以人为中心的方法。这一领域的人机交互（HCI）研究和用户体验（UX）设计正变得越来越重要。在本章中，我们从XAI算法的技术前景的高层次概述开始，然后有选择地调查我们自己和其他最近的HCI作品，这些作品采用以人为本的方法来设计，评估，并为XAI提供概念和方法工具。我们提出的问题是“以人为本的方法为XAI做什么”，并强调他们在塑造XAI技术中发挥的三个作用，帮助导航，评估和扩展XAI工具箱：通过用户的可解释性需求来驱动技术选择，发现现有XAI方法的陷阱并告知新方法，并为人类兼容的XAI提供概念框架。
2022-04-19 cs.AI cs.HC
Charting the Sociotechnical Gap in Explainable AI: A Framework to Address the Gap in XAI
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
可解释人工智能（XAI）系统本质上是社会技术的;因此，它们受到社会技术差距的影响-技术可供性和社会需求之间的鸿沟。然而，绘制这一差距是具有挑战性的。在XAI的背景下，我们认为，绘制差距可以提高我们对问题的理解，这可以反射性地提供可操作的见解，以提高可解释性。利用不同领域的两个案例研究，我们从经验上推导出一个框架，通过在XAI的背景下连接AI指南并阐明如何使用它们来解决差距，从而促进系统地绘制社会技术差距。我们将该框架应用于一个新领域的第三种情况，展示其启示。最后，我们讨论了框架的概念含义，分享其操作化的实际考虑，并提供指导，将其转移到新的背景下。通过对XAI中社会技术差距的理解做出概念性和实践性的贡献，该框架扩展了XAI的设计空间。
2023-02-01 cs.AI cs.HC
Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI
IBM Research（IBM研究院）
近年来，人们对可解释人工智能（XAI）领域的兴趣激增，文献中提出了大量算法。然而，对如何评估XAI缺乏共识阻碍了该领域的发展。我们强调，XAI不是一个单一的技术集-研究人员和从业者已经开始利用XAI算法来构建服务于不同使用环境的XAI系统，例如模型调试和决策支持。然而，XAI的生物学研究通常没有考虑到这些不同的下游使用环境，导致实际用户的有效性有限，甚至是意想不到的后果，以及从业者难以做出技术选择。我们认为，缩小差距的一种方法是开发评估方法，在这些使用环境中考虑不同的用户需求。为了实现这一目标，我们引入了一个角度的上下文XAI评估考虑的相对重要性的XAI评估标准的原型使用情况下的XAI。为了探索XAI评估标准的上下文依赖性，我们进行了两项调查研究，一项是XAI专题专家，另一项是人群工作者。我们的研究结果敦促负责任的AI研究与使用知情的评估实践，并提供了一个细致入微的理解用户的需求XAI在不同的使用环境。
2022-09-20 cs.AI cs.HC
Explainable AI Reloaded: Challenging the XAI Status Quo in the Era of Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
本研究质疑大语言模型时代XAI“打开黑箱”的传统假设，指出算法中心视角的认知盲区，提出以人为中心的方向，从三个维度整合XAI研究，为该领域提供反思性指导。
2024-08-13 cs.AI cs.HC
Proceedings of The first international workshop on eXplainable AI for the Arts (XAIxArts)
University of the Arts London（伦敦艺术大学）；Queen Mary University of London（伦敦玛丽女王大学）；University of Nottingham（诺丁汉大学）；Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）；NYU Shanghai（上海纽约大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
该研讨会汇集多领域研究者，探讨可解释人工智能在艺术中的作用，于C&C 2023会议上举行。
2023-10-10 cs.AI cs.HC cs.SD
Toward Affective XAI: Facial Affect Analysis for Understanding Explainable Human-AI Interactions
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）
随着机器学习方法越来越多地用于增强人类决策，可解释人工智能（XAI）研究已经探索了将系统行为传达给人类的方法。然而，这些方法往往无法解释人类在与解释互动时的情绪反应。面部情感分析，检查人类面部表情的情绪，是了解用户如何参与解释的一个有前途的镜头。因此，在这项工作中，我们的目标是（1）确定当人们与XAI界面交互时，哪些面部情感特征是明显的，以及（2）开发一种多任务特征嵌入，用于将面部情感信号与参与者使用解释联系起来。我们的分析和结果表明，面部AU 1和AU 4的发生和价值，以及唤醒被试未能有效地使用解释时，提高。这表明，面部情感分析应纳入XAI个性化解释个人的互动风格，并根据执行任务的难度调整解释。
2021-10-15 cs.CV cs.HC
Question-Driven Design Process for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Design（IBM设计）；IBM Research（IBM研究院）
人工智能系统的一个普遍设计问题是它们的可解释性-如何提供适当的信息来帮助用户理解人工智能。可解释人工智能（XAI）技术领域已经产生了丰富的技术工具箱。设计师现在面临的挑战是如何选择最合适的XAI技术并将其转化为UX解决方案。根据我们之前研究XAI UX设计挑战的工作，这项工作提出了一个设计过程来应对这些挑战。我们回顾了我们和相关的先前工作，以确定该过程应该满足的要求，并相应地提出了一个基于用户需求，XAI技术选择，设计和XAI UX评估的XAI UX设计过程。我们提供了一个原型用户问题和XAI技术范例之间的映射指南，以重新构建XAI的技术空间，同时也作为边界对象来支持设计师和AI工程师之间的协作。我们通过设计XAI用于医疗保健不良事件预测的用例来演示它，并讨论了应对AI系统设计挑战的经验教训。
2021-09-03 cs.AI cs.HC
How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey
IT University of Copenhagen（哥本哈根信息技术大学）；Royal Danish Academy（丹麦皇家艺术学院）
本文系统性综述了53篇文献，指出可解释界面（EIs）聚焦XAI的用户界面与体验设计，以提升系统可用性与实际可解释性，并揭示了人机交互趋势及未来设计与开发方向。
2024-03-21 cs.AI cs.HC
XAIR: A Framework of Explainable AI in Augmented Reality
Meta Reality Labs（Meta现实实验室）；Purdue（普渡大学）；Aarhus Univ（奥胡斯大学）；Dartmouth（达特茅斯学院）；Cambridge（剑桥大学）
可解释人工智能（XAI）已经成为人工智能驱动的交互式系统的重要组成部分。随着增强现实（AR）越来越多地融入日常生活，XAI在AR中的作用也变得至关重要，因为最终用户将经常与智能服务进行交互。然而，目前还不清楚如何为AR设计有效的XAI体验。我们提出了XAIR，一个设计框架，解决了“何时”，“什么”和“如何”在AR中提供AI输出的解释。该框架基于对XAI和HCI研究的多学科文献综述，一项大规模调查，探讨了500多名最终用户对基于AR的解释的偏好，以及三个研讨会，其中12名专家收集了他们对AR中XAI设计的见解。XAIR的实用性和有效性通过与10名设计师和12名最终用户的研究进行了验证。XAIR可以为设计师提供指导，激励他们识别新的设计机会，并在AR中实现有效的XAI设计。
2023-03-28 cs.AI cs.HC cs.LG
Proceedings of The third international workshop on eXplainable AI for the Arts (XAIxArts)
University of the Arts London（伦敦艺术大学）；Queen Mary University of London（伦敦玛丽女王大学）；Concordia University（Concordia大学）；Towson University（Towson大学）；Tsinghua University（清华大学）；University of Utah（乌得勒支大学）；Kingston University（Kingston大学）；University of Edinburgh（爱丁堡大学）；University of Nottingham（特兰特大学）
本文介绍第三届XAIxArts国际研讨会，该会议线上依托C&C 2025举办，汇聚多领域研究者共同探索可解释人工智能在艺术领域的作用。
2025-11-13 cs.AI cs.HC cs.MM
Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study
University of Würzburg（维尔茨堡大学）
本文通过271名准医生的COVID-19用例实证研究，发现不同XAI解释类型显著影响终端用户的认知负荷、任务表现和时间，并基于心理效率指标推荐局部解释类型为最佳。
2023-04-18 cs.AI cs.HC
An XAI View on Explainable ASP: Methods, Systems, and Perspectives
Institute of Logic and Computation, TU Wien, Austria（逻辑与计算研究所，维也纳技术大学，奥地利）
本文从XAI视角综述回答集编程（ASP）的解释方法，分类解释类型并评估现有理论与工具的覆盖范围，指出研究空白与未来方向。
2026-06-11 cs.AI cs.HC cs.LO
XAI for All: Can Large Language Models Simplify Explainable AI?
University of Piraeus（比雷埃夫斯大学）
本文提出基于 ChatGPT Builder 构建的定制 LLM“x-[plAIn]”，可按受众知识与兴趣生成易懂的 XAI 解释，提升复杂 AI 技术的可及性。
2024-01-23 cs.AI cs.HC
Cultural Bias in Explainable AI Research: A Systematic Analysis
Utrecht University（乌得勒支大学）；University of the Witwatersrand（威特沃特斯兰德大学）
该研究通过分析心理学成果、200余项XAI用户研究及30余篇相关综述，发现XAI研究存在偏向西方人群的文化偏差，指出需填补多元文化用户对XAI系统反应的研究空白。
2024-02-28 cs.AI cs.CY cs.HC
Fewer Than 1% of Explainable AI Papers Validate Explainability with Humans
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
该研究通过大规模分析18254篇可解释人工智能文献，发现仅0.7%的论文提供了人类可解释性的实证证据，指出XAI研究存在验证缺口并呼吁加强人类评估。
2025-03-13 cs.AI cs.HC
Proceedings of The second international workshop on eXplainable AI for the Arts (XAIxArts)
University of the Arts London（伦敦艺术大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）；University of Nottingham（诺丁汉大学）；Kingston University（金斯顿大学）；University of Edinburgh（爱丁堡大学）；Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Towson University（陶森大学）；University of Utah（犹他大学）；Concordia University（康考迪亚大学）
本文介绍第二届XAIxArts研讨会，该研讨会汇聚HCI、交互设计、AI、XAI与数字艺术研究者，在ACM C&C 2024上探讨可解释人工智能在艺术中的作用。
2024-10-21 cs.AI cs.HC cs.MM
XAIxArts Manifesto: Explainable AI for the Arts
University of the Arts London（伦敦艺术大学）；Queen Mary University of London（伦敦玛丽女王大学）；New York University（纽约大学）；Kingston University London（伦敦金斯顿大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Concordia University（康考迪亚大学）；University of Utah（犹他大学）
本文提出面向艺术的可解释人工智能（XAIxArts）宣言，通过结合世界咖啡馆讨论与活宣言形式，探讨赋权、艺术实践、黑客与开放性等主题，以推动超越技术中心主义的AI可解释性思考。
2025-02-28 cs.AI cs.HC
Unjustified Sample Sizes and Generalizations in Explainable AI Research: Principles for More Inclusive User Studies
Center for Science and Thought, University of Bonn（波恩大学科学与思想中心）
本研究分析2012-2022年220项XAI用户研究，发现多数样本量缺乏论证且结论过度概括，据此提出更包容的用户研究原则。
2023-10-14 cs.AI cs.HC
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Research（IBM研究院）
对可解释人工智能（XAI）的兴趣激增，导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性，但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者，我们试图找出当前XAI算法工作与实践之间的差距，以创建可解释的人工智能产品。要做到这一点，我们开发了一个算法知情的XAI问题库，其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题，并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域，为支持该领域的设计实践提供信息，并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库，并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Addressing the Selection Problem in Explainable AI
Carnegie Mellon University（卡内基梅隆大学）
针对可解释人工智能（XAI）中用户难以选择合适技术的问题，研究提出多智能体大语言模型（LLM）编排工具，将用户查询转化为对应XAI解释技术，以解决选择问题。
2026-08-25 cs.AI cs.HC
Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals
Simon Fraser University（西蒙弗雷泽大学）
非技术终端用户是最先进的可解释人工智能（XAI）技术的沉默和无形的用户。他们对AI可解释性的需求和要求并没有被纳入XAI技术的设计和评估中，XAI技术的开发是为了向最终用户解释AI决策的基本原理，并帮助他们做出关键决策。这使得XAI技术在高风险应用中无效甚至有害，例如医疗保健，刑事司法，金融和自动驾驶系统。为了系统地了解最终用户的需求，以支持XAI的技术开发，我们在四个AI辅助的关键任务中与32名非专业参与者进行了EUCA用户研究。该研究确定了基于特征、示例和规则的XAI技术的全面用户需求（表现为最终用户友好的解释形式）和XAI评估目标（表现为解释目标），这些都有助于直接激发新XAI算法和评估指标的建议。EUCA研究结果、技术规范的确定解释表格和目标以及EUCA研究数据集支持以最终用户为中心的XAI技术的设计和评估，以实现可访问、安全和可问责的AI。
2023-02-15 cs.AI cs.HC
The Utility of Explainable AI in Ad Hoc Human-Machine Teaming
Georgia Institute of Technology（佐治亚理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
机器学习的最新进展导致人们对可解释人工智能（xAI）的兴趣越来越大，以使人类能够深入了解机器学习模型的决策。尽管最近有这种兴趣，但xAI技术的实用性尚未在人机合作中得到表征。重要的是，xAI提供了增强团队态势感知（SA）和共享心理模型开发的承诺，这是有效人机团队的关键特征。快速开发这样的心智模型在特别的人机合作中尤其重要，因为智能体对其他人的决策策略没有先验知识。在本文中，我们提出了两个新的人类受试者实验，量化了在人机合作场景中部署xAI技术的好处。首先，我们证明了xAI技术可以支持SA（$p<0.05)$ .其次，我们研究了通过协作AI策略抽象诱导的不同SA级别如何影响特定的人机协作性能。重要的是，我们发现xAI的好处并不普遍，因为它强烈依赖于人机团队的组成。新手受益于xAI提供增加的SA（$p<0.05$），但易受认知开销（$p<0.05$）的影响。另一方面，专家的性能随着基于xAI的支持（$p<0.05$）的增加而下降，这表明关注xAI的成本超过了从提供额外信息以增强SA中获得的好处。我们的研究结果表明，研究人员必须通过仔细考虑人机团队组成以及xAI方法如何增强SA，在正确的场景中故意设计和部署正确的xAI技术。
2022-09-08 cs.AI cs.HC
Qualitative Investigation in Explainable Artificial Intelligence: A Bit More Insight from Social Science
College of Computing and Informatics, Drexel University（德雷塞尔大学计算与信息学院）
我们提出了一个有重点的分析用户的研究，在可解释的人工智能（XAI）需要定性调查。我们借鉴社会科学语料库，以提高XAI研究人员使用观察，访谈，焦点小组和/或问卷调查来捕获定性数据的研究的严谨性。我们根据定性研究文献中描述的严谨性组成部分，对分析中包含的XAI论文进行了情境化：1）基本理论或框架，2）方法学方法，3）数据汇集方法，4）数据分析过程。我们的分析结果支持了XAI社区中其他人的呼吁，他们主张与社会学科的专家合作，以加强用户研究的严谨性和有效性。
2020-12-18 cs.AI cs.HC
Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations
Technical University of Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）；Rice University（莱斯大学）
本文系统回顾了过去五年97篇XAI用户研究核心论文，按信任、理解、可用性和人机协作性能分类，发现用户评估稀少且缺乏认知科学见解，并提出了实用指南和未来研究方向。
2024-10-16 cs.AI cs.HC
Explainable AI-Based Interface System for Weather Forecasting Model
Korea Advanced Institute of Science and Technology(KAIST)（韩国科学技术院(KAIST)）；SI-Analytics；National Institute of Meteorological Sciences(NIMS)（气象厅气象研究所(NIMS)）；INEEJI
本研究针对气象决策中黑盒模型解释的缺失，定义了三项用户需求并映射相应XAI方法，设计并测试了XAI界面系统，发现直观解释能提升决策效用与用户信任。
2025-04-01 cs.AI cs.HC
Seamful XAI: Operationalizing Seamful Design in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）；Microsoft（微软公司）；University of Maryland（马里兰大学）
针对AI错误不可避免但黑盒设计致使用户无力缓解的问题，本研究提出Seamful XAI概念与对应设计流程，经43名从业者和用户验证，可帮助预判AI危害、提升可解释性与用户自主权，助力负责任AI落地。
2024-03-05 cs.AI cs.HC
Are explainable AI (XAI) evaluation strategies aligned? Comparing subjective, objective, and mathematical evaluation measures using saliency maps
Saarland University（萨尔兰大学）；University of Bayreuth（拜鲁赫大学）；University of Freiburg（弗赖堡大学）
本研究通过预注册实验（N=166）比较主观、客观和数学三类XAI评估度量，发现它们结论不一致，强调多维度评估的重要性。
2026-09-15 cs.AI cs.HC
A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction
University of Genoa（热那亚大学）；Italian Institute of Technology（意大利理工学院）
最先进的人工智能（AI）技术已经达到了令人印象深刻的复杂性。因此，研究人员正在发现越来越多的方法在现实世界中使用它们。然而，这种系统的复杂性需要引入使这些系统对人类用户透明的方法。人工智能社区正试图通过引入可解释人工智能（XAI）领域来克服这个问题，这是为了让人工智能算法不那么不透明。然而，近年来，人们越来越清楚地认识到，XAI不仅仅是一个计算机科学问题：因为它是关于通信的，XAI也是一个人机交互问题。此外，人工智能从实验室出来，用于现实生活。这意味着需要为非专家用户量身定制的XAI解决方案。因此，我们提出了一个以用户为中心的框架XAI，专注于其社会互动方面的灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式XAI解决方案的结构。
2021-11-05 cs.AI cs.HC cs.RO
A Survey of Explainable AI and Proposal for a Discipline of Explanation Engineering
Carnegie Mellon University（卡内基梅隆大学）
本文综述XAI的概念、方法分类与四大领域应用，并提出“解释工程”学科，以系统化方式将可解释性嵌入AI系统设计。
2023-05-20 cs.AI cs.HC
Survey for Categorising Explainable AI Studies Using Data Analysis Task Frameworks
Department of Design, Architecture, and Media technology（设计、建筑与媒体技术系）
本文借鉴多领域知识，提出在“什么、为什么、谁”三维度下分类比较XAI研究的方法，指出当前任务描述与用户测试不足等问题，并制定研究指南以帮助研究者识别相关研究与设计矛盾。
2025-07-14 cs.AI cs.HC
Characterizing Human Explanation Strategies to Inform the Design of Explainable AI for Building Damage Assessment
Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
可解释人工智能（XAI）是一种支持人类与人工智能协作执行高风险视觉检测任务的有前途的方法，例如来自卫星图像的损坏检测任务，因为全自动方法不太可能完全安全可靠。然而，大多数现有的XAI技术并不了解人类对解释的特定任务需求。因此，我们朝着了解人类在损伤检测任务中需要什么形式的XAI迈出了第一步。我们进行了一项在线众包研究，以了解人们在根据卫星图像评估建筑物损坏的严重程度时如何解释自己的评估。通过对60名群众工作者的研究，我们发现了人类用来解释他们的视觉损害评估的六种主要策略。我们目前的影响，我们的研究结果的设计XAI方法，这样的视觉检测环境，并讨论未来的研究机会。
2021-11-04 cs.AI cs.HC
Explainable AI And Visual Reasoning: Insights From Radiology
UC San Diego（加州大学圣迭戈分校）
本文探讨放射学中XAI解释为何无法获得信任，提出镜像人类推理与证据论证过程的解释设计原则，以提升其实用性与可信度。
2023-04-06 cs.AI cs.HC
A System's Approach Taxonomy for User-Centred XAI: A Survey
Australian National University（澳大利亚国立大学）
人工智能的最新进展与研究界越来越多的努力相吻合，研究，分类和评估旨在使人工智能模型可解释的各种方法。然而，大多数现有的尝试提出了一种以方法为中心的可解释AI（XAI）视图，这通常只对领域专家有意义。显然缺乏一个强有力的定性和定量业绩框架，以评估解释对不同类型用户的适用性。我们调查相关的努力，然后，提出了一个统一的，包容性和以用户为中心的XAI分类的基础上，一般系统的理论，这为我们提供了一个基础，为所有用户类型，包括开发人员和最终用户的XAI方法的适当性进行评估。
2023-03-06 cs.AI cs.HC
Emergent, not Immanent: A Baradian Reading of Explainable AI
Sony AI（索尼人工智能研究所）
本文通过巴达德的代理现实主义，提出XAI中解释是人类与AI模型之间的处境性纠缠中涌现的，挑战传统技术视角，强调伦理设计方向。
2026-01-23 cs.AI cs.HC
Explainable AI over the Internet of Things (IoT): Overview, State-of-the-Art and Future Directions
Mepco Schlenk Engineering College（梅普科施伦克工程学院）；Pusan National University（釜山国立大学）；Shenzhen University（深圳大学）；Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Southeast University（东南大学）
可解释人工智能（XAI）通过增强终端用户对机器的信任，正在改变人工智能（AI）领域。随着连接设备的数量不断增长，物联网（IoT）市场需要对最终用户来说是值得信赖的。然而，现有的文献仍然缺乏对XAI用于物联网的系统和全面的调查工作。为了弥补这一不足，在本文中，我们讨论了XAI框架，重点是它们的特性和对物联网的支持。我们展示了物联网应用中广泛使用的XAI服务，例如安全增强、医疗物联网（IoMT）、工业物联网（IIoT）和城市物联网（IoCT）。我们还建议在这些应用中选择XAI模型而不是物联网系统，并提供适当的示例，并总结了未来工作的关键推论。此外，我们还介绍了XAI结构的前沿发展以及对物联网应用的第六代（6G）通信服务的支持，以及关键推论。简而言之，本文构成了针对未来物联网用例需求量身定制的基于XAI的框架开发的第一个整体汇编。
2022-11-07 cs.AI cs.HC cs.LG
The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
EPFL（洛桑联邦理工学院）
针对事后解释器不一致的问题，本文提出转向可解释的神经网络架构，并给出五种需求与两种方案，主张XAI的未来在于内在可解释性。
2024-05-28 cs.AI cs.CY cs.HC
Agentic Explainable Artificial Intelligence (Agentic XAI) Approach To Explore Better Explanation: A Case Study in Decision Support for Rice Cultivation in Japan
本文提出一种结合SHAP解释性和多模态LLM迭代细化的代理XAI框架，通过农业推荐系统验证，发现早期停止可提升推荐质量，但过度细化导致性能下降，揭示了偏差-方差权衡。
2026-09-22 cs.AI cs.HC
A Meta-Analysis of the Utility of Explainable Artificial Intelligence in Human-AI Decision-Making
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
人工智能（AI）辅助决策的研究正在经历巨大的增长，越来越多的研究评估了AI与可解释AI（XAI）领域的技术对人类决策性能的影响。然而，由于任务和实验设置因不同的目标而异，一些研究报告通过XAI提高了用户决策性能，而另一些研究报告的效果可以忽略不计。因此，在这篇文章中，我们提出了一个初步的综合现有的研究XAI研究使用统计荟萃分析，以获得跨现有研究的影响。我们观察到XAI对用户性能的统计积极影响。此外，第一批结果表明，人工智能决策往往会在文本数据上产生更好的任务性能。然而，与单独的AI预测相比，我们发现解释对用户的表现没有影响。我们最初的综合研究引发了未来的研究，调查潜在的原因，并有助于进一步开发算法，通过提供有意义的解释，有效地使人类决策者受益。
2022-06-01 cs.AI cs.HC
What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks
ETH Zurich（苏黎世联邦理工学院）
本文提出一种细粒度、模块化的可解释人工智能验证框架，区分技术构建模块、用户解释与社会沟通协议，主张算法验证与用户研究互补，以系统性评估XAI系统属性及下游影响。
2024-03-19 cs.AI cs.HC
Study on the Helpfulness of Explainable Artificial Intelligence
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）
本文研究XAI对人类决策的有用性，提出通过用户执行代理任务的能力评估XAI方法，并经用户研究证明不同方法在建立信任、怀疑及判断AI决策正确性上存在差异。
2024-10-14 cs.AI cs.HC
Explainable AI does not provide the explanations end-users are asking for
Arca Blanca Ltd.（阿尔卡布兰卡有限公司）
可解释的人工智能（XAI）技术经常被许多AI系统中的用户所需要，其目标是理解复杂模型及其相关预测并获得信任。虽然适用于开发过程中的某些特定任务，但组织采用它们来增强对机器学习系统的信任会产生意想不到的后果。在本文中，我们讨论了XAI在部署方面的局限性，并得出结论，透明度和严格的验证更适合在AI系统中获得信任。
2023-03-21 cs.AI cs.HC cs.LG
Augmented cross-selling through explainable AI -- a case from energy retailing
University of Bamberg（班贝格大学）；ETH Zurich（苏黎世联邦理工学院）
机器学习（ML）的发展引起了人们对该技术支持决策的浓厚兴趣。虽然复杂的机器学习模型提供的预测通常比传统工具更准确，但这些模型通常会向用户隐藏预测背后的推理，这可能导致采用率较低和缺乏洞察力。受这种紧张局势的推动，研究人员提出了可解释的人工智能（XAI）技术，揭示了ML发现的模式。尽管ML和XAI都被寄予厚望，但几乎没有经验证据表明其对传统企业的好处。为此，我们分析了一家能源零售商的220，185名客户的数据，预测交叉购买的正确率高达86%（AUC），并表明XAI方法SHAP提供了适用于实际买家的解释。我们进一步概述了在信息系统，XAI和关系营销的研究的影响。
2022-08-24 cs.AI cs.CY cs.HC
Transparent Adaptive Learning via Data-Centric Multimodal Explainable AI
Newcastle University（纽卡斯尔大学）
针对自适应学习系统透明度不足、现有XAI技术忽略用户需求的问题，提出融合传统XAI、生成式AI与用户个性化的混合框架，重新定义可解释性为动态沟通过程，以提升教育AI透明度并优化用户体验。
2025-08-01 cs.AI cs.HC cs.LG
Explainable AI for tailored electricity consumption feedback -- an experimental evaluation of visualizations
University of Bamberg（班贝格大学）
机器学习（ML）方法可以有效地分析数据，识别其中的模式，并做出高质量的预测。好的预测通常伴随着“黑盒”模型，这些模型无法以人类可读的方式呈现检测到的模式。最近的技术发展导致了可解释的人工智能（XAI）技术，其目的是打开这样的黑匣子，使人类能够从检测到的模式中获得新的见解。我们调查了XAI在特定见解可能对消费者行为产生重大影响的领域的应用，即电力使用。了解到个人用电量的具体反馈会触发资源节约，我们使用ML和XAI方法从用电量时间序列中创建了五个可视化，以获得高度个性化的反馈，并考虑到现有的特定领域设计知识。我们对152名参与者的实验评估表明，人类可以吸收XAI可视化显示的模式，但这种可视化应该遵循已知的可视化模式，以便用户能够很好地理解。
2022-08-24 cs.AI cs.CY cs.HC
XAI Handbook: Towards a Unified Framework for Explainable AI
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心 (DFKI GmbH)）；TU Kaiserslautern（凯泽斯劳滕工业大学）
可解释人工智能（XAI）领域已经迅速成为一个繁荣和多产的社区。然而，在这一领域，一个沉默的、反复出现的和公认的问题是对其术语缺乏共识。特别是，每一个新的贡献似乎都依赖于它自己的（通常是直观的）术语版本，如“解释”和“解释”。这种混乱使该领域的进步朝着满足科学和监管需求的方向得到巩固，当比较方法或确定其对偏差和公平性约束的遵守时。我们提出了一个理论框架，不仅为这些术语提供了具体的定义，而且还概述了产生解释和解释所需的所有步骤。该框架还允许将现有的贡献重新纳入背景，以便能够衡量其范围，从而使其与其他方法具有可比性。我们表明，这个框架是符合desiderata的解释，可解释性和评价指标。我们提出了一个用例，展示了如何使用该框架来比较LIME，SHAP和MDNet，建立它们的优点和缺点。最后，我们讨论了XAI的相关趋势以及对未来工作的建议，所有这些都是从我们框架的角度出发的。
2021-05-14 cs.AI cs.CV cs.HC
False Sense of Security in Explainable Artificial Intelligence (XAI)
Institute of Informatics, University of Warsaw（华沙大学信息学研究所）；School of Law, Seoul National University（首尔国立大学法学院）；Dongin Law Group（东仁法律集团）；Wesang Co., Ltd.（Wesang有限公司）；Informatism LLC（Informatism有限责任公司）
本文从解释权视角审视美欧AI法规，指出XAI技术并不可靠，若立法忽视技术现实，合规将沦为形式化打勾并造成虚假安全。
2024-06-13 cs.AI cs.CY cs.HC
The Pragmatic Turn in Explainable Artificial Intelligence (XAI)
Universidad de los Andes（安第斯大学）
在本文中，我认为，在人工智能中寻找可解释的模型和可解释的决策必须重新制定更广泛的项目，提供一个务实和自然主义的解释人工智能。直观地说，提供模型或决策解释的目的是使其利益相关者能够理解。但是，如果没有事先掌握一个智能体理解一个模型或一个决策意味着什么，解释性策略将缺乏一个明确的目标。除了为XAI提供更清晰的目标外，专注于理解还可以让我们放松解释的事实性条件，这在许多机器学习模型中是不可能实现的，而不是把重点放在确定模型与理解模型的方法和设备之间最佳匹配的实用条件上。在对哲学和哲学中讨论的不同类型的理解进行检查之后，心理学文献中，我的结论是解释或近似模型不仅提供了最好的方式来实现客观理解的机器学习模型，但也是一个必要条件，以实现事后解释。这一结论部分是基于纯粹的功能主义方法的缺点，事后的可解释性，似乎是占主导地位的最新文献。
2020-02-22 cs.AI cs.CY cs.HC
