A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction
University of Genoa（热那亚大学）；Italian Institute of Technology（意大利理工学院）
最先进的人工智能（AI）技术已经达到了令人印象深刻的复杂性。因此，研究人员正在发现越来越多的方法在现实世界中使用它们。然而，这种系统的复杂性需要引入使这些系统对人类用户透明的方法。人工智能社区正试图通过引入可解释人工智能（XAI）领域来克服这个问题，这是为了让人工智能算法不那么不透明。然而，近年来，人们越来越清楚地认识到，XAI不仅仅是一个计算机科学问题：因为它是关于通信的，XAI也是一个人机交互问题。此外，人工智能从实验室出来，用于现实生活。这意味着需要为非专家用户量身定制的XAI解决方案。因此，我们提出了一个以用户为中心的框架XAI，专注于其社会互动方面的灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式XAI解决方案的结构。
2021-11-05 cs.AI cs.HC cs.RO
An Actionability Assessment Tool for Explainable AI
针对可解释AI中可操作性概念模糊、相关论断缺乏依据的问题，研究人员构建了含7个问题的可操作性评估工具，经两项用户研究验证其可区分不同解释的可操作性且符合人类判断，为该领域提供了首个以人为本的可操作性评估定义与工具。
2024-06-19 cs.HC
Usability Testing of an Explainable AI-enhanced Tool for Clinical Decision Support: Insights from the Reflexive Thematic Analysis
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
通过20名美国临床医生的可用性测试和反思性主题分析，提出了可解释性的具体框架和操作定义，以指导AI工具定制化开发，提升临床接受度。
2026-06-29 cs.HC
A System's Approach Taxonomy for User-Centred XAI: A Survey
Australian National University（澳大利亚国立大学）
人工智能的最新进展与研究界越来越多的努力相吻合，研究，分类和评估旨在使人工智能模型可解释的各种方法。然而，大多数现有的尝试提出了一种以方法为中心的可解释AI（XAI）视图，这通常只对领域专家有意义。显然缺乏一个强有力的定性和定量业绩框架，以评估解释对不同类型用户的适用性。我们调查相关的努力，然后，提出了一个统一的，包容性和以用户为中心的XAI分类的基础上，一般系统的理论，这为我们提供了一个基础，为所有用户类型，包括开发人员和最终用户的XAI方法的适当性进行评估。
2023-03-06 cs.AI cs.HC
Seeing through the Eyes of AI: Situated Explainability in Augmented Reality
Adelaide University（阿德莱德大学）；Graz University of Technology（格拉茨工业大学）；Aarhus University（奥胡斯大学）；University of Stuttgart（斯图加特大学）
本文提出利用增强现实在用户工作空间中实时呈现空间可解释性信息，以解决传统2D解释与物理环境脱节的问题，并展示已知可解释性方法在AR中的应用及用户见解。
2026-10-05 cs.HC
What Do We Want From Explainable Artificial Intelligence (XAI)? -- A Stakeholder Perspective on XAI and a Conceptual Model Guiding Interdisciplinary XAI Research
Saarland University（萨尔大学）；Technical University Dortmund（多特蒙德工业大学）；Institute of Intelligent Software（智能软件研究所）
可解释性人工智能（XAI）的先前研究表明，可解释性方法的主要目的是在各种背景下满足关于人工系统的特定兴趣、目标、期望、需求和要求（我们称这些利益相关者的需求）。然而，关于XAI的文献是巨大的，分布在多个基本上不相关的学科中，并且通常仍然不清楚可解释性方法应该如何实现满足利益相关者需求的目标。本文讨论了利益相关者的人工系统的可解释性要求的主要类别，并审查其desiderata。我们提供了一个模型，明确阐述了主要的概念和关系，需要考虑和调查时，评估，调整，选择和发展的可解释性的方法，旨在满足利益相关者的desiderata。该模型可以为来自XAI所涉及的各种不同学科的研究人员提供服务，作为共同点。它强调在评价和可解释性方法的发展中存在跨学科潜力的地方。
2021-02-15 cs.AI cs.HC
A Systematic Review of User-Centred Evaluation of Explainable AI in Healthcare
Pontificia Universidad Católica de Chile（智利天主教大学）；KU Leuven（鲁汶大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
该研究针对医疗XAI用户评估缺乏指南的问题，通过系统综述82项相关用户研究，构建了刻画XAI用户体验的原子属性框架并提出适配场景的可落地评估指南，为跨学科团队设计医疗XAI评估提供支撑。
2025-06-16 cs.AI cs.HC cs.LG
Explainable Machine Learning in Deployment
Carnegie Mellon University（卡内基梅隆大学）；Partnership on AI（人工智能合作组织）；University of Cambridge（剑桥大学）；Leverhulme CFI（Leverhulme智能未来中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Alan Turing Institute（艾伦图灵研究所）；Fiddler Labs；Baidu（百度）；CognitiveScale；IBM Research（IBM研究院）
可解释的机器学习通过使用各种方法（如特征重要性分数、反事实解释或有影响力的训练数据），为利益相关者提供了对模型行为的洞察。然而，人们对组织如何在实践中使用这些方法知之甚少。本研究探讨了组织如何看待和使用利益相关者消费的可解释性。我们发现，目前，大多数部署不是针对受模型影响的最终用户，而是针对机器学习工程师，他们使用可解释性来调试模型本身。因此，在实践中的可解释性与透明度目标之间存在差距，因为解释主要是为内部利益攸关方服务，而不是为外部利益攸关方服务。我们的研究综合了当前可解释性技术的局限性，这些局限性阻碍了最终用户的使用。为了促进最终用户的互动，我们开发了一个框架，建立明确的目标，可解释性。最后，我们讨论了关于可解释性的问题。
2020-07-10 cs.AI cs.CY cs.HC
Personalised novel and explainable matrix factorisation
Free University of Bolzano（博尔扎诺自由大学）
推荐系统向个人提供个性化建议，以帮助他们进行决策和探索任务。在理想的情况下，这些建议，除了是准确的，还应该是新颖的和可解释的。然而，到目前为止，大多数平台都无法提供这两种新颖的建议，这些建议可以促进用户的探索，同时提供解释，使他们的推理对他们更加透明。例如，一个众所周知的推荐算法，如矩阵分解（MF），只优化准确性标准，而忽略其他质量标准，如可解释性或新颖性，推荐项目。在本文中，据我们所知，我们提出了一个新的模型，表示为NEMF，允许权衡MF性能的标准的新颖性和可解释性，而只有最低限度地损害准确性。此外，我们建议一个新的可解释性指标的基础上nDCG，区分一个更可解释的项目从一个不太可解释的项目。最初的用户研究表明，用户如何感知这些“用户”风格的解释和我们广泛的实验结果表明，我们达到了高精度推荐也新颖和可解释的项目的不同属性。
2019-07-25 cs.HC cs.IR cs.LG
Explainable AI Reloaded: Challenging the XAI Status Quo in the Era of Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
本研究质疑大语言模型时代XAI“打开黑箱”的传统假设，指出算法中心视角的认知盲区，提出以人为中心的方向，从三个维度整合XAI研究，为该领域提供反思性指导。
2024-08-13 cs.AI cs.HC
Helping results assessment by adding explainable elements to the deep relevance matching model
在本文中，我们解决的可解释性网络搜索引擎。我们提出了两个可解释的元素上的搜索引擎结果页面：一个可视化的查询词权重和可视化的通道相关性。这个想法是，搜索引擎向用户表明为什么检索结果是由用户的价值更高，并获得用户的信任。我们从深度相关匹配模型（DRMM）中的术语门控网络推导出查询术语权重，并将其可视化为甜甜圈图。此外，我们用DRMM训练了一个高级排名器，它从每个文档中选择最相关的段落，并在结果页面上显示为片段。在片段旁边，我们显示了一个文档缩略图，突出显示了这段文字。我们评估建议的接口在一个在线用户研究，要求用户判断的可解释性和可评估性的接口。我们发现，用户判断我们提出的界面明显更易于解释和更容易评估比常规的搜索引擎结果页面。然而，他们在从前5名中选择相关文件方面并没有明显的优势。这表明搜索引擎结果页面的可解释性导致更好的用户体验。因此，我们得出结论，建议的可解释元素是有前途的可视化搜索引擎用户。
2021-06-09 cs.HC cs.IR
Embedding Explainable AI in NHS Clinical Safety: The Explainability-Enabled Clinical Safety Framework (ECSF)
针对NHS现有临床安全标准难以适配AI概率性特性的问题，提出可解释性赋能临床安全框架ECSF，将可解释性融入现有合规全流程，为AI临床应用提供结构化安全证据支撑。
2025-11-18 cs.AI cs.CY cs.HC
Explainable Agents Through Social Cues: A Review
Uppsala University（乌普萨拉大学）；INESC-ID（INESC-ID（葡萄牙系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）；Institute for Intelligent Systems and Robotics, CNRS UMR 7222（法国国家科学研究中心UMR 7222智能系统与机器人研究所）；Sorbonne Université（索邦大学）
在过去的三年里，如何使具体的代理人可解释的问题已经经历了兴趣的激增，并且有许多术语指的是这个概念，例如，透明度或易读性。术语差异如此之大的一个原因是，与非实体代理访问的社交线索相比，实体代理可以访问的社交线索的独特阵列。另一个原因是不同的作者以不同的方式使用这些术语。因此，我们回顾了现有的可解释性文献，并通过以下方式组织：（1）提供现有定义的概述，（2）显示可解释性是如何实现的，以及它如何利用不同的社会线索，（3）显示可解释性的影响是如何衡量的。此外，我们提出了一系列悬而未决的问题和挑战，突出了需要社区进一步调查的领域。这为感兴趣的读者提供了当前最新技术的概述。
2021-02-18 cs.HC cs.LG cs.RO
Human-Centered Explainable AI (XAI): From Algorithms to User Experiences
Microsoft Research（微软研究院）；IBM Research（IBM研究院）
近年来，可解释人工智能（XAI）领域已经产生了大量的算法，为研究人员和从业者构建XAI应用程序提供了有用的工具箱。随着丰富的应用机会，可解释性被认为已经超越了数据科学家或研究人员理解他们开发的模型的需求，成为人们信任和采用在众多领域部署的人工智能的基本要求。然而，可解释性本质上是以人为中心的属性，该领域开始接受以人为中心的方法。这一领域的人机交互（HCI）研究和用户体验（UX）设计正变得越来越重要。在本章中，我们从XAI算法的技术前景的高层次概述开始，然后有选择地调查我们自己和其他最近的HCI作品，这些作品采用以人为本的方法来设计，评估，并为XAI提供概念和方法工具。我们提出的问题是“以人为本的方法为XAI做什么”，并强调他们在塑造XAI技术中发挥的三个作用，帮助导航，评估和扩展XAI工具箱：通过用户的可解释性需求来驱动技术选择，发现现有XAI方法的陷阱并告知新方法，并为人类兼容的XAI提供概念框架。
2022-04-19 cs.AI cs.HC
OKRA: an Explainable, Heterogeneous, Multi-Stakeholder Job Recommender System
Maastricht University（马斯特里赫特大学）
本文提出基于图神经网络的可解释多利益相关方职位推荐系统OKRA，在准确率、可解释性与公平性之间取得平衡，并在两个数据集上显著优于六个基线模型。
2025-03-17 cs.AI cs.HC cs.IR
Towards a Human-Centred Cognitive Model of Visuospatial Complexity in Everyday Driving
University of Bremen（不来梅大学）
我们开发了一个以人为中心的，在日常自然驾驶条件下的视觉空间复杂性的认知模型。以视觉感知为重点，该模型采用了定量，结构和动态属性，在所选的上下文中可识别;以人为中心的基础上，该模型在于其行为评价与人类受试者的心理物理措施有关的体现视听注意。我们报告的初步步骤，应用开发的认知模型的视觉空间的复杂性，人为因素指导的数据集创建和基准测试，并将其作为一个语义模板（可解释的）计算分析的视觉空间的复杂性。
2020-06-02 cs.AI cs.CV cs.HC
Stop ordering machine learning algorithms by their explainability! A user-centered investigation of performance and explainability
TU Dortmund University（多特蒙德工业大学）
机器学习算法使现代智能系统中的高级决策成为可能。研究表明，它们的模型性能和可解释性之间存在权衡。具有更高性能的机器学习模型通常基于更复杂的算法，因此缺乏可解释性，反之亦然。然而，从最终用户的角度来看，几乎没有经验证据表明这种权衡。我们的目标是通过进行两个用户实验提供经验证据。使用两个不同的数据集，我们首先测量五种常见的机器学习算法的权衡。第二，我们解决的问题，最终用户的看法，可解释的人工智能增强，旨在提高高性能复杂模型的决策逻辑的理解。我们的研究结果偏离了广泛的折衷曲线的假设，并表明模型性能和可解释性之间的权衡在最终用户的感知中是渐进的。这与假设的固有模型可解释性形成鲜明对比。此外，我们发现权衡是情境性的，例如由于数据复杂性。我们的第二个实验的结果表明，虽然可解释的人工智能增强可以用来增加可解释性，解释的类型在最终用户的感知中起着至关重要的作用。
2022-06-20 cs.AI cs.HC cs.LG
Outlining the design space of eXplainable swarm (xSwarm): experts perspective
Bournemouth University（伯恩茅斯大学）；University of Southampton（南安普顿大学）
本研究通过调查26位专家，概述了可解释群体（xSwarm）的设计空间，旨在明确群体机器人中可解释性的需求与挑战，为建立该新研究领域奠定基础。
2023-09-03 cs.CY cs.HC cs.RO
Investigating Explainability of Generative AI for Code through Scenario-based Design
University of Southern California（南加利福尼亚大学）；Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）
生成式人工智能模型是可解释的，这意味着什么？可解释人工智能（XAI）的新兴学科在帮助人们理解判别模型方面取得了长足的进步。较少关注生成模型，生成工件，而不是决策，作为输出。同时，生成式人工智能（GenAI）技术正在成熟并被应用于诸如软件工程的应用领域。使用基于XML的设计和问题驱动的XAI设计方法，我们在三个软件工程用例中探索了用户对GenAI的可解释性需求：自然语言到代码，代码翻译和代码自动完成。我们与43名软件工程师进行了9次研讨会，其中使用了最先进的生成式人工智能模型的真实示例来引出用户的可解释性需求。借鉴之前的工作，我们还为GenAI的代码提出了4种类型的XAI功能，并从参与者那里收集了更多的设计想法。我们的工作探索了GenAI对代码的可解释性需求，并展示了以人为本的方法如何推动XAI在新领域的技术发展。
2022-02-10 cs.AI cs.HC cs.SE
Composers' Evaluations of an AI Music Tool: Insights for Human-Centred Design
Centre for Digital Music（数字音乐中心）；Queen Mary University of London（伦敦大学玛丽皇后学院）
本研究通过访谈专业作曲家，探讨以用户为中心的设计在GenAI音乐工具开发中的作用，发现信任、透明度和伦理设计关切，并形成反馈循环以改进模型的可追溯性、透明度和可解释性，同时揭示可控性等创新方向。
2024-12-14 cs.AI cs.HC cs.LG
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Research（IBM研究院）
对可解释人工智能（XAI）的兴趣激增，导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性，但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者，我们试图找出当前XAI算法工作与实践之间的差距，以创建可解释的人工智能产品。要做到这一点，我们开发了一个算法知情的XAI问题库，其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题，并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域，为支持该领域的设计实践提供信息，并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库，并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Adoption of Explainable Natural Language Processing: Perspectives from Industry and Academia on Practices and Challenges
Mahdi Dhaini（独立研究者）；Tobias Müller（独立研究者）；Roksoliana Rabets（独立研究者）；Gjergji Kasneci（独立研究者）
本文通过访谈工业界从业者和学术研究者，调查了可解释自然语言处理在实际应用中的采用动机、技术、满意度及挑战，发现当前方法存在概念差距、低满意度和评估难题，强调需要明确定义和以用户为中心的框架以促进其实践应用。
2025-08-13 cs.AI cs.CL cs.HC
A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation
Italian Institute of Technology（意大利技术研究院）
本文提出一种多方对话中基于注意力机制的可解释听话人估计模型，并将其集成于iCub机器人的认知架构中，通过实时人机交互验证与在线用户研究，提升了机器人的透明度、交互性能及人类信任度。
2025-01-31 cs.AI cs.CL cs.HC
Explainable Deep Learning for Video Recognition Tasks: A Framework & Recommendations
Crime and Security Research Institute（犯罪与安全研究所）；Cardiff University（卡迪夫大学）；School of Engineering（工程学院）
深度学习在现实世界中的应用越来越受欢迎。随着高性能硬件的推出，应用程序不再局限于图像识别。随着越来越复杂的问题的出现，越来越复杂的解决方案也随之而来，对可解释的人工智能的需求也越来越大。用于视频任务的深度神经网络是最复杂的模型之一，其参数至少是图像对应模型的两倍。然而，这些模型的解释往往不适合视频域。目前在视频模型的可解释性方面的工作仍然被图像技术所掩盖，而视频深度学习本身正在快速获得静止图像的方法。本文旨在强调使用视频深度学习模型设计的可解释性方法的必要性，并考虑到关联时空输入，首先说明视频深度学习的前沿，然后注意到这些方法的解释研究的缺乏。
2019-09-07 cs.CV cs.HC cs.LG
