How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey
IT University of Copenhagen（哥本哈根信息技术大学）；Royal Danish Academy（丹麦皇家艺术学院）
本文系统性综述了53篇文献，指出可解释界面（EIs）聚焦XAI的用户界面与体验设计，以提升系统可用性与实际可解释性，并揭示了人机交互趋势及未来设计与开发方向。
2024-03-21 cs.AI cs.HC
Human-Centered Explainable AI (XAI): From Algorithms to User Experiences
Microsoft Research（微软研究院）；IBM Research（IBM研究院）
近年来，可解释人工智能（XAI）领域已经产生了大量的算法，为研究人员和从业者构建XAI应用程序提供了有用的工具箱。随着丰富的应用机会，可解释性被认为已经超越了数据科学家或研究人员理解他们开发的模型的需求，成为人们信任和采用在众多领域部署的人工智能的基本要求。然而，可解释性本质上是以人为中心的属性，该领域开始接受以人为中心的方法。这一领域的人机交互（HCI）研究和用户体验（UX）设计正变得越来越重要。在本章中，我们从XAI算法的技术前景的高层次概述开始，然后有选择地调查我们自己和其他最近的HCI作品，这些作品采用以人为本的方法来设计，评估，并为XAI提供概念和方法工具。我们提出的问题是“以人为本的方法为XAI做什么”，并强调他们在塑造XAI技术中发挥的三个作用，帮助导航，评估和扩展XAI工具箱：通过用户的可解释性需求来驱动技术选择，发现现有XAI方法的陷阱并告知新方法，并为人类兼容的XAI提供概念框架。
2022-04-19 cs.AI cs.HC
Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations
Technical University of Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）；Rice University（莱斯大学）
本文系统回顾了过去五年97篇XAI用户研究核心论文，按信任、理解、可用性和人机协作性能分类，发现用户评估稀少且缺乏认知科学见解，并提出了实用指南和未来研究方向。
2024-10-16 cs.AI cs.HC
Human-centered Explainable AI: Towards a Reflective Sociotechnical Approach
Georgia Institute of Technology（佐治亚理工学院）
解释-一种事后可解释性的形式-在使系统可访问方面发挥着重要作用，因为人工智能继续扩散复杂和敏感的社会技术系统。在本文中，我们介绍了以人为中心的可解释人工智能（HCXAI）作为一种将人类置于技术设计中心的方法。它通过考虑价值观、人际动态和人工智能系统的社会地位的相互作用，发展了对人类“谁”的全面理解。特别是，我们提倡一种反思性的社会技术方法。我们通过一个针对非技术最终用户的解释系统的案例研究来说明HCXAI，该案例研究展示了技术进步和对人为因素的理解如何共同发展。在案例研究的基础上，我们提出了开放性研究问题，这些问题涉及进一步完善我们对人类“谁”的理解，并超越1对1的人机交互。最后，我们提出，一个反思HCXAI范式介导的关键技术实践的角度，并辅之以策略从HCI，如价值敏感的设计和参与式设计-不仅有助于我们了解我们的知识盲点，但它也可以打开新的设计和研究空间。
2020-02-05 cs.AI cs.HC
From Sea to System: Exploring User-Centered Explainable AI for Maritime Decision Support
University of Antwerp（安特卫普大学）；Antwerp Maritime Academy (AMA)（安特卫普海事学院）
本文探讨海事决策支持中可解释人工智能的重要性，并提出面向海事专业人员的领域调查，以推动以用户为中心的XAI系统设计。
2025-09-18 cs.AI cs.CY cs.HC
A Survey on Human-Centered Evaluation of Explainable AI Methods in Clinical Decision Support Systems
Nova School of Science and Technology, Universidade NOVA de Lisboa（诺瓦科学与技术学院，诺瓦里斯本大学）；Nova School of Business and Economics, Universidade NOVA de Lisboa（诺瓦商学院与经济学院，诺瓦里斯本大学）；Carnegie Mellon University（卡内基梅隆大学）
本文综述了XAI在临床决策支持系统中的人本评估，指出多数研究采用事后方法，提出以利益相关者为中心的评估框架以提升XAI的临床可信度。
2026-01-23 cs.HC cs.LG
Human-Centered Explainable AI for TinyML Edge Devices: A Pareto-Based Selection Framework with LLM-Guided Design
School of Digital and Physical Sciences, University of Hull（赫尔大学数字与物理科学学院）
本研究提出一种整合LLM引导设计与帕累托优化的以人为中心XAI选择框架，用于TinyML边缘设备部署，经皮肤病变分类任务验证可识别帕累托有效权衡。
2026-08-10 cs.AI cs.HC
Human-Centered Development of an Explainable AI Framework for Real-Time Surgical Risk Surveillance
本研究报告了AI临床决策支持工具MySurgeryRisk的初步共同设计，用于预测九种术后并发症风险，通过外科医生和麻醉学家的共同设计会议，分析了五个主题，发现其成功实施取决于模型输出的可操作性和可解释性、系统集成以及用户信任校准。
2025-04-03 cs.HC
OpenHEXAI: An Open-Source Framework for Human-Centered Evaluation of Explainable Machine Learning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Visa Research（Visa研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；Harvard University（哈佛大学）
针对可解释AI方法以人为中心评估存在的实施复杂、可复现性差等难题，本文提出开源框架OpenHEXAI，提供数据集、工具、指标等全套支撑，并基于其完成四种主流事后解释方法的系统性基准测试。
2024-02-20 cs.AI cs.HC
Towards User-Focused Research in Training Data Attribution for Human-Centered Explainable AI
Tübingen AI Center, University of Tübingen Germany（图宾根人工智能中心、图宾根大学德国）；Fraunhofer Heinrich Hertz Institute Germany（弗劳恩霍夫海因里希·赫兹研究所德国）；Information and Interaction Design, Yonsei University South Korea（信息与交互设计，延世大学韩国）
本研究针对可解释AI训练数据归因（TDA）领域忽视用户需求的问题，通过访谈和交互式用户研究直接与开发者合作，提出以用户为中心的设计思维方法，揭示了对开发者有用的以数据为中心的解释新任务，增强研究的实用性和人类影响。
2025-10-31 cs.AI cs.HC cs.LG
Situated Case Studies for a Human-Centered Design of Explanation User Interfaces
研究人员和实践者在设计基于机器学习的应用程序时越来越多地考虑以人为本的观点，特别是在可解释人工智能（XAI）的背景下。然而，在这方面仍然缺乏明确的方法指导，因为每一种新的情况似乎都需要一种新的设置，这也造成了不同的方法挑战。XAI中现有的案例研究集合启发了我们;因此，我们提出了一个类似的以人为本的XAI案例研究集合，可以为其他人提供方法论指导或灵感。我们希望通过描述我们研究中的三个案例来展示我们的想法。选择这些案例研究是为了强调明显的小差异如何需要一套不同的方法和考虑。通过这次研讨会的贡献，我们希望参与讨论这样一组案例研究如何能够提供方法指导和批判性反思。
2021-03-29 cs.HC
Trust in Transparency: How Explainable AI Shapes User Perceptions
本研究针对传统AI贷款决策系统缺社会经济语境的问题，通过定性研究明确缺口，提出融入情境化解释的方案，以提升用户信任、优化决策，推动以人为本的AI设计。
2025-10-06 cs.HC
Explainable Medical Imaging AI Needs Human-Centered Design: Guidelines and Evidence from a Systematic Review
Johns Hopkins University（约翰斯·霍普金斯大学）
机器学习（ML）中的透明性，试图揭示复杂模型的工作机制。透明机器学习承诺在目标用户中推进以人为本的人工智能的人因工程目标。从以人为中心的设计角度来看，透明度不是ML模型的属性，而是一种启示，即算法和用户之间的关系;因此，迭代原型设计和用户评估对于获得足够的解决方案至关重要。然而，由于终端用户的可用性和访问受限，在医疗保健和医学图像分析中遵循以人为本的设计原则是具有挑战性的。为了研究透明ML在医学图像分析中的状态，我们对文献进行了系统的回顾。我们的评论揭示了在医学图像分析应用中透明ML的设计和验证中存在的多个严重缺点。我们发现，迄今为止，大多数研究方法的透明度作为一个属性的模型本身，类似于任务的性能，没有考虑最终用户在开发或评估。此外，缺乏用户研究，以及对透明性声明的零星验证，使当代对用于医学图像分析的透明ML的研究面临用户无法理解的风险，因此与临床无关。为了缓解即将到来的研究中的这些缺点，同时认识到以人为本的设计在医疗保健中的挑战，我们引入了INTRPRT指南，这是一个针对医学图像分析中透明ML系统的系统设计指令。INTRPRT指南建议将形成性用户研究作为透明模型设计的第一步，以了解用户需求和领域需求。遵循这个过程会产生支持设计选择的证据，并最终增加算法提供透明度的可能性。
2022-09-29 cs.CV cs.HC cs.LG
Explainable AI Reloaded: Challenging the XAI Status Quo in the Era of Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
本研究质疑大语言模型时代XAI“打开黑箱”的传统假设，指出算法中心视角的认知盲区，提出以人为中心的方向，从三个维度整合XAI研究，为该领域提供反思性指导。
2024-08-13 cs.AI cs.HC
Self-Evolving Human-Centered Framework for Explainable Depression Symptom Annotation
针对抑郁症标注质量瓶颈，提出结合大语言模型辅助与专家验证的自我进化标注框架，分三阶段运行，采用双记忆架构，能提高标注一致性和可解释性，减少人工修订，还输出多种信息实现可审计性。
2026-07-17 cs.AI cs.HC cs.MA
Explainable AI in Usable Privacy and Security: Challenges and Opportunities
本文针对LLMs在隐私安全高风险场景中解释质量、一致性等问题，以PRISMe工具为研究对象，基于用户研究提出结构化评估标准等缓解策略，强调需定制自适应解释策略，展现该领域对HCXAI的应用潜力。
2025-04-17 cs.HC
Explainable AI-Based Interface System for Weather Forecasting Model
Korea Advanced Institute of Science and Technology(KAIST)（韩国科学技术院(KAIST)）；SI-Analytics；National Institute of Meteorological Sciences(NIMS)（气象厅气象研究所(NIMS)）；INEEJI
本研究针对气象决策中黑盒模型解释的缺失，定义了三项用户需求并映射相应XAI方法，设计并测试了XAI界面系统，发现直观解释能提升决策效用与用户信任。
2025-04-01 cs.AI cs.HC
From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction
本综述回顾以人为中心的人工智能文献，超越可解释与可争议AI，聚焦交互式AI，倡导赋予用户更大自主权以参与AI的设计与演进。
2024-05-23 cs.HC
Explainable Goal Recognition: A Framework Based on Weight of Evidence
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；King Khalid University（哈利德国王大学）
我们介绍和评估eXplainable目标识别（XGR）模型，该模型使用证据权重（WoE）框架来解释目标识别问题。我们的模型提供了以人为本的解释，回答了为什么？为什么不呢问题.我们计算评估我们的系统在八个不同领域的性能。使用人类行为研究来从人类注释者那里获得基本事实，我们进一步表明XGR模型可以成功地生成类似人类的解释。然后，我们报告了一项研究，60名参与者观察代理人玩推箱子游戏，然后接收目标识别输出的解释。通过任务预测、解释满意度和信任度来考察被试对解释的理解。
2023-03-09 cs.AI cs.HC
A Multi-Layered Research Framework for Human-Centered AI: Defining the Path to Explainability and Trust
本文提出一个连接HCAI与XAI的三层框架，通过基础模型可解释性、以人为本的解释层和动态反馈循环，在多高风险领域提升AI决策透明度与信任。
2025-04-26 cs.AI cs.HC
Towards Fair and Explainable AI using a Human-Centered AI Approach
Stony Brook University（石溪大学）
针对机器学习中公平、可解释性等以人为中心的指标难以通过全自动方法优化的问题，本研究采用以人为中心的AI思路，提出5个涵盖分类系统、词嵌入等场景的项目，通过可视化工具、人在回路等方式增强AI的公平性与可解释性。
2023-06-12 cs.CY cs.HC cs.LG
AXAI-CDSS : An Affective Explainable AI-Driven Clinical Decision Support System for Cannabis Use
本文提出AXAI-CDSS系统，通过整合多种XAI方法、因果推断与大语言模型，并结合文本情感分析和实时面部情绪识别，为临床决策支持系统提供可解释、情境自适应且以用户为中心的个性化反馈，以提升AI模型在医疗应用中的信任度与可用性。
2025-03-09 cs.HC
The Data Hospital: A Workflow-Based Concept for Explainable Research Data Quality Assistance
University of Bremen（不来梅大学）；Fraunhofer IFAM（弗劳恩霍夫应用研究促进协会IFAM）
本文提出数据医院，一种基于医院隐喻的人机协同工作流模型，通过十阶段流程实现可解释的研究数据质量辅助，贡献在于使可评估性、不确定性和过程可复现性可见。
2026-09-18 cs.HC
Outlining the Design Space of Explainable Intelligent Systems for Medical Diagnosis
智能系统的采用为医疗工作带来了机遇和挑战。从积极的方面来看，智能系统有可能计算来自患者的复杂数据，并为医生生成自动诊断建议。然而，医疗专业人员通常将这种系统视为黑盒，因此，对依赖系统生成的结果来做出决策感到担忧。在本文中，我们有助于正在进行的讨论可解释的人工智能（XAI）从以人为中心的角度探索解释的概念。我们假设，如果系统被设计成像医生一样思考和行动，医疗专业人员会认为系统是可解释的。我们报告了一项初步的访谈研究，收集了六名医疗专业人员对他们如何与诊断和治疗目的的数据进行互动的反映。我们的数据揭示了医生何时以及如何在各种类型的数据中进行优先排序，作为其诊断过程的核心部分。基于这些发现，我们概述了未来的方向，在医疗方面的XAI系统的设计。
2019-02-16 cs.CY cs.HC
Creative Uses of AI Systems and their Explanations: A Case Study from Insurance
最近的工作已经认识到，在设计和评估人类与人工智能的交互和可解释的人工智能方法时，需要以人为本的观点。然而，目前的方法在拦截和管理由于与AI系统的交互以及不同用户持有者群体的可解释性方法而导致的意外用户行为方面存在不足。在这项工作中，我们探索了在保险领域使用人工智能和可解释性方法。在一项定性案例研究中，参与者具有不同的角色和专业背景，我们表明，人工智能和可解释性方法在日常工作流程中以创造性的方式使用，导致其预期用途和实际用途之间存在分歧。最后，我们讨论了一些关于人机交互设计的建议，以及可解释的人工智能方法，以管理风险并利用意外用户行为的潜力。
2022-05-03 cs.HC
What Do End-Users Really Want? Investigation of Human-Centered XAI for Mobile Health Apps
University of Augsburg（奥格斯堡大学）
在医疗保健领域，人工智能系统在诊断、治疗和监测方面为临床医生和患者提供支持，但许多系统的可解释性差仍然是实际应用的挑战。克服这一障碍是可解释AI（XAI）的目标。然而，一种解释可能会被不同的人所理解，因此，并不能为每个人解决黑箱问题。以人为中心的AI领域通过使AI适应用户来解决这个问题。我们提出了一个以用户为中心的人物角色的概念来评估XAI，并使用它来调查终端用户的偏好，在移动健康压力监测应用程序的各种解释风格和内容。我们的在线调查结果显示，用户的人口统计数据和个性，以及解释类型，影响解释偏好，表明这些是XAI设计的基本特征。我们将结果归纳为三种典型的用户角色：权力型用户、休闲型用户和隐私型用户。我们的见解使交互式、以人为本的XAI更接近实际应用。
2022-10-07 cs.AI cs.HC
Using Learning Theories to Evolve Human-Centered XAI: Future Perspectives and Challenges
本文探讨如何将学习理论融入XAI生命周期，分析以学习者为中心的AI解释方法的机会与挑战，旨在提升人类自主性并缓解XAI风险。
2026-04-01 cs.AI cs.HC
Explainable AI And Visual Reasoning: Insights From Radiology
UC San Diego（加州大学圣迭戈分校）
本文探讨放射学中XAI解释为何无法获得信任，提出镜像人类推理与证据论证过程的解释设计原则，以提升其实用性与可信度。
2023-04-06 cs.AI cs.HC
Human-Centered Editable Speech-to-Sign-Language Generation via Streaming Conformer-Transformer and Resampling Hook
针对现有手语动画系统自然度低且缺乏用户控制的问题，提出基于流式 Conformer-Transformer 的实时语音到手语框架，结合可编辑 JSON 表示与人在环优化，实现低延迟高表现力动画，显著提升用户体验与信任度。
2025-06-24 cs.AI cs.HC
Stop ordering machine learning algorithms by their explainability! A user-centered investigation of performance and explainability
TU Dortmund University（多特蒙德工业大学）
机器学习算法使现代智能系统中的高级决策成为可能。研究表明，它们的模型性能和可解释性之间存在权衡。具有更高性能的机器学习模型通常基于更复杂的算法，因此缺乏可解释性，反之亦然。然而，从最终用户的角度来看，几乎没有经验证据表明这种权衡。我们的目标是通过进行两个用户实验提供经验证据。使用两个不同的数据集，我们首先测量五种常见的机器学习算法的权衡。第二，我们解决的问题，最终用户的看法，可解释的人工智能增强，旨在提高高性能复杂模型的决策逻辑的理解。我们的研究结果偏离了广泛的折衷曲线的假设，并表明模型性能和可解释性之间的权衡在最终用户的感知中是渐进的。这与假设的固有模型可解释性形成鲜明对比。此外，我们发现权衡是情境性的，例如由于数据复杂性。我们的第二个实验的结果表明，虽然可解释的人工智能增强可以用来增加可解释性，解释的类型在最终用户的感知中起着至关重要的作用。
2022-06-20 cs.AI cs.HC cs.LG
Interactive Explanation with Varying Level of Details in an Explainable Scientific Literature Recommender System
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文针对可解释推荐系统中解释静态且一刀切的问题，提出一种以用户为中心的交互式解释模型，在RIMA系统中实现基础、中级和高级三个细节层级的解释。定性用户研究（N=14）表明，赋予用户控制权能满足不同需求，有效提升系统的透明度、信任、满意度和用户体验。
2023-10-18 cs.AI cs.CY cs.HC
Human-Centered Explainable AI for Security Enhancement: A Deep Intrusion Detection Framework
Department of Computer Science and Engineering, United International University (UIU), Dhaka 1212, Bangladesh（计算机科学与工程系，国际联合大学（UIU），达卡1212，孟加拉国）；Department of Electrical and Electronic Engineering, Islamic University of Technology, Gazipur 1704, Bangladesh（电气与电子工程系，伊斯兰科技大学，加兹ipur 1704，孟加拉国）；Department of Computer Science and Engineering (CSE), University of Asia Pacific (UAP), Dhaka 1207, Bangladesh（计算机科学与工程系（CSE），亚洲太平洋大学（UAP），达卡1207，孟加拉国）；Department of Information Systems, University of Maryland, Baltimore, 21250, Maryland, USA（信息系统系，马里兰大学，巴尔的摩，21250，美国）；College Of Information Sciences and Technology, Pennsylvania State University, University Park, PA 16802, USA（信息科学与技术学院，宾夕法尼亚州立大学，大学公园，PA 16802，美国）；Department of Information Technology, Washington University of Science and Technology, Alexandria, VA（信息技术系，科学与技术华盛顿大学，亚历山大，VA）；College of Engineering and Information Technology, University of Maryland, College Park, 20742, Maryland, USA（工程与信息技术学院，马里兰大学，学院公园，20742，美国）
本文提出一种结合可解释AI的深度入侵检测框架，利用CNN和LSTM捕捉流量序列的时间依赖性，通过SHAP实现模型可解释性，提升安全分析的透明度与可靠性。
2026-02-04 cs.AI cs.HC cs.LG
Communicating Uncertainty in AI-Supported Nurse Scheduling: Expert Co-Design and Evaluation of an Explainable AI Prototype
XITASO GmbH（XITASO有限公司）；Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学）；University College Cork（科克大学学院）；University of Bayreuth（拜罗伊特大学）；Augsburg University Hospital（奥格斯堡大学医院）
本研究针对AI辅助护士排班，通过专家协同设计开发可解释AI原型，经混合方法用户研究发现，AI预测的不确定性易被误解且降低决策信心，解释获积极评价但未显著影响决策信心，最终提出8项设计启示。
2026-10-13 cs.HC
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Research（IBM研究院）
对可解释人工智能（XAI）的兴趣激增，导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性，但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者，我们试图找出当前XAI算法工作与实践之间的差距，以创建可解释的人工智能产品。要做到这一点，我们开发了一个算法知情的XAI问题库，其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题，并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域，为支持该领域的设计实践提供信息，并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库，并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Emotion-sensitive Explanation Model
针对情绪因素会影响用户对XAI解释的理解这一问题，提出情绪敏感解释的三阶段模型，为开发适配用户情绪的动态解释XAI系统提供概念基础，助力更有效的以用户为中心的决策。
2025-05-21 cs.HC
Study on the Helpfulness of Explainable Artificial Intelligence
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）
本文研究XAI对人类决策的有用性，提出通过用户执行代理任务的能力评估XAI方法，并经用户研究证明不同方法在建立信任、怀疑及判断AI决策正确性上存在差异。
2024-10-14 cs.AI cs.HC
Not All Explanations Are Sought: Information-Seeking Psychology for Human-Centered XAI
CNR-ISTI（意大利国家研究委员会信息科学与技术研究所）
该立场论文提出HCXAI应结合信息寻求心理学，分析其三类预期效用及相关认知偏差的两种失效模式，针对智能体AI系统的挑战，倡导设计让解释被用户主动寻求的HCXAI系统。
2026-08-31 cs.AI cs.HC
Explainable Artificial Intelligence for Human Decision-Support System in Medical Domain
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
在本文中，我们提出了潜在的可解释的人工智能方法的决策支持在医学图像分析方案。通过将三种类型的可解释方法应用于相同的医学图像数据集，我们的目标是提高卷积神经网络（CNN）提供的决策的可理解性。视觉解释是在从视频胶囊内窥镜（VCE）获得的体内胃图像上提供的，目的是增加卫生专业人员对黑箱预测的信任。我们实现了两个事后可解释的机器学习方法LIME和SHAP以及以上下文价值和效用（CIU）为中心的替代解释方法CIU。所产生的解释使用人类评价进行评价。根据LIME、SHAP和CIU提供的解释，我们进行了三项用户研究。来自不同非医学背景的用户在基于网络的调查设置中进行了一系列测试，并陈述了他们的经验和对给定解释的理解。三个用户组（n=20，20，20）与三种不同形式的解释进行了定量分析。我们发现，正如假设的那样，CIU可解释方法在增加对人类决策的支持以及更透明，从而为用户所理解方面比LIME和SHAP方法表现得更好。此外，CIU通过更快地生成解释而优于LIME和SHAP。我们的研究结果表明，有显着的差异，在人类决策之间的各种解释支持设置。根据这一点，我们提出了三种潜在的可解释的方法，这些方法可以在未来的改进中推广到不同的医疗数据集上，并可以为医学专家提供很大的决策支持。
2021-05-05 cs.AI cs.CV cs.HC
People Attribute Purpose to Autonomous Vehicles When Explaining Their Behavior: Insights from Cognitive Science for Explainable AI
University of Edinburgh（爱丁堡大学）
本文基于认知科学提出解释模式框架，通过自动驾驶场景实验构建HEADD数据集，发现目的论解释质量显著优于反事实解释，为XAI设计提供了实证依据。
2025-02-03 cs.AI cs.HC cs.RO
Outlining the design space of eXplainable swarm (xSwarm): experts perspective
Bournemouth University（伯恩茅斯大学）；University of Southampton（南安普顿大学）
本研究通过调查26位专家，概述了可解释群体（xSwarm）的设计空间，旨在明确群体机器人中可解释性的需求与挑战，为建立该新研究领域奠定基础。
2023-09-03 cs.CY cs.HC cs.RO
Fiper: a Visual-based Explanation Combining Rules and Feature Importance
Università di Pisa（比萨大学）；Università degli Studi di Bari Aldo Moro（巴里阿尔多·莫罗大学）；ISTI - CNR（意大利国家研究委员会信息科学与技术研究所）
本文提出Fiper，一种结合规则与特征重要性的可视化解释方法，通过15人用户研究验证了其在提升黑盒算法可解释性方面优于原始输出和文本表示。
2024-04-25 cs.AI cs.HC
Transcending XAI Algorithm Boundaries through End-User-Inspired Design
Simon Fraser University（西蒙弗雷泽大学）；The University of British Columbia（不列颠哥伦比亚大学）
现有的可解释人工智能（XAI）算法的边界被限制在技术用户对可解释性的需求基础上的问题。这种研究范式不成比例地忽视了更大的非技术最终用户群体，这些用户在不同的解释目标中对人工智能解释的需求要高得多，例如做出更安全、更好的决策，以及改善用户的预测结果。缺乏对最终用户的可解释性功能支持可能会阻碍人工智能在高风险领域的安全和负责任的使用，例如医疗保健，刑事司法，金融和自动驾驶系统。基于对最终用户对XAI需求的人为因素分析，我们确定并建模了四个新的XAI技术问题，涵盖了从设计到评估XAI算法的全方位，包括基于边缘案例的推理，可定制的反事实解释，可折叠的决策树，以及评估XAI实用程序的可验证性度量。基于这些新发现的研究问题，我们还讨论了以用户为中心的XAI技术发展中的开放问题，以启发未来的研究。我们的工作将以人为本的XAI与技术XAI社区联系起来，并呼吁在以用户为中心的XAI的技术开发方面建立一种新的研究范式，以便在关键任务中负责任地使用AI。
2023-01-23 cs.AI cs.HC
From Plots to Words: Model-Aware Multimodal Explanations as a Foundation for Accessible, Non-Visual Interaction
Institute of Theoretical and Applied Informatics, PAS（波兰科学院理论与应用信息研究所）
该研究提出多智能体框架，将时间序列预测的视觉输出转为模型感知文本解释，可提升非视觉交互的可访问性，其可解释配置使解释质量最高提升32%。
2026-08-27 cs.AI cs.HC
Explaining AI Decisions: Towards Achieving Human-Centered Explainability in Smart Home Environments
Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所）；University of Siegen（锡根大学）；Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）
本文指出传统XAI方法对普通用户在智能家居中难以理解，通过实验证明其局限性，倡导采用人机交互方法构建以人为本的解释以提升用户理解和系统采用率。
2024-04-23 cs.AI cs.HC
MiMICRI: Towards Domain-centered Counterfactual Explanations of Cardiovascular Image Classification Models
Georgia Institute of Technology（佐治亚理工学院）；Cleveland Clinic（克利夫兰诊所）；IBM Research（IBM研究院）
提出框架与Python库MiMICRI，通过交互式替换医学图像形态学结构生成反事实解释，帮助专家评估模型预测影响并验证医学事实，提升了心血管图像分类模型在医疗领域的可解释性与可信度。
2024-04-24 cs.CV cs.HC cs.LG
On the Influence of Cognitive Styles on Users' Understanding of Explanations
人工智能（AI）变得越来越复杂，使得用户很难理解AI是如何得出其预测的。使用可解释AI（XAI）方法，研究人员旨在向用户解释AI决策。迄今为止，基于XAI的解释追求的是一种以技术为中心的方法，忽视了用户的认知能力和信息处理差异对解释理解的影响。因此，本研究采取以人为本的视角，并结合认知心理学的见解。特别是，我们借鉴了认知风格的心理结构，描述了人类处理信息的特征模式。应用受试者间实验设计，我们研究了用户的理性和直觉的认知风格如何影响他们对AI提供的不同类型解释的客观和主观理解。初步结果表明，用户的理解取决于他们的认知风格的实质性差异。我们希望能对人为因素和XAI设计的相互关系有一个更细致入微的看法。
2022-10-05 cs.HC
Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings
University of Porto, Feedzai（波尔图大学，Feedzai）；University of Porto（波尔图大学）
本文通过统一框架评估八种Shapley变体，在低延迟约束下揭示其语义差异，发现传统量化指标与人类感知的清晰度和决策效用不一致，且解释增加决策信心，提示高风险场景下的自动化偏差风险。
2026-04-24 cs.AI cs.HC cs.LG
From Attribution to Action: A Human-Centered Application of Activation Steering
Fraunhofer Heinrich-Hertz-Institut（弗劳恩霍夫 Heinrich-Hertz 研究所）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
提出结合SAE归因与激活导向的交互式工作流，通过专家访谈验证其能促进从检查到干预的转变，并揭示组件抑制等调试策略及潜在风险。
2026-05-26 cs.AI cs.HC cs.LG
Expanding Explainability: Towards Social Transparency in AI systems
Georgia Institute of Technology（佐治亚理工学院）；IBM Research AI（IBM研究院人工智能部门）
随着人工智能驱动的系统越来越多地介导重要的决策，它们的可解释性对于最终用户采取明智和负责任的行动至关重要。人与人之间的互动是社会性的。人工智能系统通常是社会组织嵌入式的。然而，可解释人工智能（XAI）方法主要是以算法为中心的。我们通过引入和探索社会透明度（ST），向社会定位的XAI迈出了发展的一步，这是一种社会技术信息化的视角，将社会组织背景纳入解释人工智能介导的决策。为了从概念上探索ST，我们对29位人工智能用户和从业者进行了访谈，这些用户和从业者都是基于推测性设计场景。我们提出了ST的构成设计要素，并开发了一个概念框架，以解开ST在技术，决策和组织层面的影响和影响。该框架展示了ST如何潜在地校准对AI的信任，改善决策，促进组织集体行动，并培养整体可解释性。我们的工作通过扩展XAI的设计空间，为以人为本的XAI的话语做出了贡献。
2021-01-12 cs.AI cs.HC
Explaining AI Without Code: A User Study on Explainable AI
Department of Computer Science, University of Chile（智利大学计算机科学系）；CENIA – National Center for Artificial Intelligence（人工智能国家研究中心）；Universidad Técnica Federico Santa María（弗朗西斯科·桑塔玛利亚技术大学）；IMFD - Millennium Institute for Foundational Research on Data（数据基础研究千年研究所）
本文提出DashAI平台中的可解释AI模块，通过整合PDP、PFI和KernelSHAP技术，提升无代码ML中解释的可访问性和详细性。
2025-12-28 cs.AI cs.HC cs.LG
V-SHiNE: A Virtual Smart Home Framework for Explainability Evaluation
University of Cologne（科隆大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
V-SHiNE是一个用于评估可解释智能系统可解释性的虚拟智能家庭框架，通过模拟环境和用户交互日志，提供轻量级且可重复的评估平台。
2026-02-12 cs.HC cs.SE
How to Answer Why -- Evaluating the Explanations of AI Through Mental Model Analysis
Institute for Multimedia and Interactive Systems（多媒体与交互系统研究所）；University of Lübeck（吕贝克大学）
为了在用户-人工智能交互的背景下实现最佳的人-系统集成，重要的是用户开发人工智能如何工作的有效表示。在大多数与技术系统的日常交互中，用户构建心理模型（即，系统用来执行给定任务的预期机制的抽象）。如果系统（例如，自我解释AI）或其他来源（例如，教师）没有提供明确的解释，则心理模型通常基于经验（即，用户在交互期间的观察）形成。这种心理模型和实际系统功能的一致性是至关重要的，因为它用于假设，预测，从而用于有关系统使用的决策。因此，以人为中心的人工智能研究的一个关键问题是如何有效地调查用户的心理模型。本研究的目的是确定合适的启发方法的心理模型分析。我们评估了心理模型是否适合作为一种实证研究方法。此外，认知辅导的方法是集成的。我们提出了一个示例性的方法来评估可解释的人工智能方法以人为中心的方式。
2020-01-11 cs.AI cs.HC
Investigating Explainability of Generative AI for Code through Scenario-based Design
University of Southern California（南加利福尼亚大学）；Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）
生成式人工智能模型是可解释的，这意味着什么？可解释人工智能（XAI）的新兴学科在帮助人们理解判别模型方面取得了长足的进步。较少关注生成模型，生成工件，而不是决策，作为输出。同时，生成式人工智能（GenAI）技术正在成熟并被应用于诸如软件工程的应用领域。使用基于XML的设计和问题驱动的XAI设计方法，我们在三个软件工程用例中探索了用户对GenAI的可解释性需求：自然语言到代码，代码翻译和代码自动完成。我们与43名软件工程师进行了9次研讨会，其中使用了最先进的生成式人工智能模型的真实示例来引出用户的可解释性需求。借鉴之前的工作，我们还为GenAI的代码提出了4种类型的XAI功能，并从参与者那里收集了更多的设计想法。我们的工作探索了GenAI对代码的可解释性需求，并展示了以人为本的方法如何推动XAI在新领域的技术发展。
2022-02-10 cs.AI cs.HC cs.SE
Explanation User Interfaces: A Systematic Literature Review
University of Pisa（比萨大学）；University of Bari Aldo Moro（巴里阿尔多·莫罗大学）
本文通过系统文献综述探讨了解释用户界面(XUIs)的设计与指南，提出HERMES平台以提升XUI的设计与评估效果。
2026-03-17 cs.AI cs.HC
