Do ATCOs Need Explanations, and Why? Towards ATCO-Centered Explainable AI for Conflict Resolution Advisories
本文以空中交通管制员为中心，探讨其在冲突解决建议中是否需要AI解释及原因，通过综合ATM、人机交互与社会科学视角评估11项运行目标，发现记录决策和生成报告时最需要解释，为设计以管制员为中心的XAI系统奠定基础。
2025-06-03 cs.HC
Trust in Transparency: How Explainable AI Shapes User Perceptions
本研究针对传统AI贷款决策系统缺社会经济语境的问题，通过定性研究明确缺口，提出融入情境化解释的方案，以提升用户信任、优化决策，推动以人为本的AI设计。
2025-10-06 cs.HC
Cases for Explainable Software Systems:Characteristics and Examples
随着机器学习或自适应等复杂技术的兴起，系统向用户解释行为的需求变得更加明显。一般来说，当系统的行为与用户的期望不匹配时，就需要解释。然而，不匹配可能有几个原因，包括错误、目标冲突或多代理干扰。考虑到各种情况，我们需要精确和一致的解释需求描述以及基准，以调整可解释系统的研究。在本文中，我们提出了一个分类，结构需要根据不同的原因进行解释。我们专注于解释，以改善用户与系统的交互。对于分类法中的每个叶节点，我们提供了一个场景来描述软件系统应该提供解释的具体情况。这些情景被称为解释案例，说明了对解释的不同需求。我们的分类法可以指导交互式智能系统的解释能力的需求启发和我们的解释案例建立一个共同的基准的基础。我们相信，分类和解释的情况下，帮助社区调整未来的研究可解释的系统。
2021-08-12 cs.HC cs.SE
Evaluating Actionability in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种评估可解释AI系统中可操作性的方法，通过用户访谈构建信息与行动的目录，帮助AI创建者验证其解释如何引导用户行动。
2026-01-27 cs.HC
A Survey of Explainable AI and Proposal for a Discipline of Explanation Engineering
Carnegie Mellon University（卡内基梅隆大学）
本文综述XAI的概念、方法分类与四大领域应用，并提出“解释工程”学科，以系统化方式将可解释性嵌入AI系统设计。
2023-05-20 cs.AI cs.HC
Who is this Explanation for? Human Intelligence and Knowledge Graphs for eXplainable AI
Cefriel（切夫里尔）；Politecnico di Milano（米兰理工大学）
可解释的AI专注于为AI算法的输出向用户（通常是决策者）生成解释。这样的用户需要解释人工智能系统，以决定是否信任机器的结果。因此，在应对这一挑战时，应适当注意提供目标用户群体可以理解的解释。在本章中，我们主张需要更好地研究什么构成了人类的解释，即人类决策者可以解释和行动的机器行为的正当性。特别是，我们专注于人类智能可以为可解释的AI带来的贡献，特别是与知识图谱的开发相结合。事实上，我们呼吁知识表示与推理、社会科学、人类计算和人机合作研究之间更好地相互作用--正如其他人工智能分支已经探索的那样--以便通过采用人在回路方法来支持可解释人工智能的目标。
2020-05-27 cs.AI cs.HC
Towards Relatable Explainable AI with the Perceptual Process
National University of Singapore（新加坡国立大学）
机器学习模型需要提供对比解释，因为人们经常试图理解为什么会出现令人困惑的预测，而不是一些预期的结果。目前的对比解释是例子或原始特征之间的基本比较，由于它们缺乏语义意义，因此仍然难以解释。我们认为，解释必须更相关的其他概念，假设和协会。受认知心理学感知过程的启发，我们提出了XAI感知处理框架和RexNet模型，用于具有对比显着性，反事实合成和对比线索解释的相关可解释AI。我们研究了语音情感识别的应用，并实现了一个模块化的多任务深度神经网络来预测和解释语音中的情感。从有声思维和对照研究中，我们发现反事实解释是有用的，并进一步加强了语义线索，但不显着性解释。这项工作为感知应用提供了提供和评估相关对比可解释AI的见解。
2022-03-29 cs.AI cs.HC
Explainable Goal Recognition: A Framework Based on Weight of Evidence
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；King Khalid University（哈利德国王大学）
我们介绍和评估eXplainable目标识别（XGR）模型，该模型使用证据权重（WoE）框架来解释目标识别问题。我们的模型提供了以人为本的解释，回答了为什么？为什么不呢问题.我们计算评估我们的系统在八个不同领域的性能。使用人类行为研究来从人类注释者那里获得基本事实，我们进一步表明XGR模型可以成功地生成类似人类的解释。然后，我们报告了一项研究，60名参与者观察代理人玩推箱子游戏，然后接收目标识别输出的解释。通过任务预测、解释满意度和信任度来考察被试对解释的理解。
2023-03-09 cs.AI cs.HC
Explainable AI does not provide the explanations end-users are asking for
Arca Blanca Ltd.（阿尔卡布兰卡有限公司）
可解释的人工智能（XAI）技术经常被许多AI系统中的用户所需要，其目标是理解复杂模型及其相关预测并获得信任。虽然适用于开发过程中的某些特定任务，但组织采用它们来增强对机器学习系统的信任会产生意想不到的后果。在本文中，我们讨论了XAI在部署方面的局限性，并得出结论，透明度和严格的验证更适合在AI系统中获得信任。
2023-03-21 cs.AI cs.HC cs.LG
Explainable AI Components for Narrative Map Extraction
Universidad Católica del Norte（北方天主教大学）；Virginia Tech（弗吉尼亚理工大学）；U.S. Government（美国政府）
本文针对叙事提取系统的用户信任问题，提出一套整合多抽象层级解释的叙事地图提取XAI系统，经用户研究验证可有效提升用户信任，为人机协作的叙事提取系统开发提供参考。
2025-03-19 cs.CL cs.HC
Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition
University of Florida（佛罗里达大学）；University of Texas in Dallas（德克萨斯大学达拉斯分校）
可解释的机器学习和人工智能模型已被用于证明模型的决策过程。这种增加的透明度旨在帮助提高用户性能和对底层模型的理解。然而，在实践中，可解释系统面临着许多开放的问题和挑战。具体来说，设计师可能会降低深度学习模型的复杂性，以提供可解释性。然而，这些简化模型产生的解释可能无法准确地证明模型的合理性和真实性。这可能会进一步增加用户的困惑，因为他们可能会发现解释对模型预测没有意义。了解这些解释如何影响用户行为是一个持续的挑战。在本文中，我们探讨如何解释准确性影响用户的性能和协议的智能系统。通过一个受控的用户研究与可解释的活动识别系统，我们比较了解释的准确性的变化，视频审查和查询任务。结果表明，与准确的解释和没有解释的系统相比，低准确性的解释显着降低用户的性能和协议。这些发现表明了准确和可理解的解释的重要性，并警告说，就其对用户性能和对人工智能系统的依赖性的影响而言，糟糕的解释有时可能比没有解释更糟糕。
2020-05-05 cs.AI cs.HC cs.LG
Levels of explainable artificial intelligence for human-aligned conversational explanations
Deakin University（迪肯大学）；Federation University（联邦大学）
在过去的几年里，可解释人工智能（XAI）和紧密结合的可解释机器学习（IML）的研究迅速增长。这一增长的驱动力包括最近的立法变化和行业和政府增加投资，以及公众日益关注。人们每天都受到自主决策的影响，公众需要了解决策过程才能接受结果。然而，绝大多数的应用程序的XAI/IML集中在提供低层次的“狭隘”的解释，个人的决定是如何达成的基础上，一个特定的数据。虽然重要，但这些解释很少提供对代理的见解：信念和动机;其他（人类，动物或AI）代理意图的假设;外部文化期望的解释;或者用于生成自己的解释的过程。然而，我们认为，所有这些因素对于提供人们接受和信任人工智能决策所需的解释深度至关重要。本文旨在定义解释的层次，并描述如何将它们整合起来，以创建一个人性化的会话解释系统。在这样做的时候，本文将调查目前的方法，并讨论不同的技术，以实现这些水平与广泛的可解释人工智能（Broad-XAI）的整合，从而走向高层次的“强”的解释。
2021-07-07 cs.AI cs.HC
Identifying the Most Explainable Classifier
我们引入逐点覆盖的概念来衡量机器学习分类器的可解释性。对预测的解释是特征空间中与预测共享相同标签的可定义的简单区域，解释的覆盖率衡量其大小或可推广性。有了这个解释的概念，我们研究最可解释的分类器是否存在自然的特征。根据我们的直觉，我们证明了二元线性分类器是唯一的最可解释的分类器可忽略的集。
2019-10-22 cs.HC cs.LG stat.ML
User Decision Guidance with Selective Explanation Presentation from Explainable-AI
Faculty of Systems Design, Tokyo Metropolitan University（东京都立大学系统设计学院）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））
本文提出X-Selector方法，通过选择性呈现XAI解释并预测其影响，引导用户采纳AI建议，实验显示在高AI准确率下能提升决策一致性及任务表现。
2024-05-27 cs.AI cs.HC
Toward Affective XAI: Facial Affect Analysis for Understanding Explainable Human-AI Interactions
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）
随着机器学习方法越来越多地用于增强人类决策，可解释人工智能（XAI）研究已经探索了将系统行为传达给人类的方法。然而，这些方法往往无法解释人类在与解释互动时的情绪反应。面部情感分析，检查人类面部表情的情绪，是了解用户如何参与解释的一个有前途的镜头。因此，在这项工作中，我们的目标是（1）确定当人们与XAI界面交互时，哪些面部情感特征是明显的，以及（2）开发一种多任务特征嵌入，用于将面部情感信号与参与者使用解释联系起来。我们的分析和结果表明，面部AU 1和AU 4的发生和价值，以及唤醒被试未能有效地使用解释时，提高。这表明，面部情感分析应纳入XAI个性化解释个人的互动风格，并根据执行任务的难度调整解释。
2021-10-15 cs.CV cs.HC
Towards an Explanation Space to Align Humans and Explainable-AI Teamwork
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Montreal University (Polytechnic)（蒙特利尔大学（理工学院））
为最终用户提供有意义和可操作的解释是在现实世界中实现可解释智能系统的基本前提。可解释性是用户和AI系统之间的一种情境交互，而不是静态的设计原则。解释的内容是依赖于上下文的，必须由关于用户及其上下文的证据来定义。本文旨在通过提出一个形成性的架构，从用户的角度定义的解释空间，这一概念的可操作性。该体系结构包括五个相互交织的组件，以概述任务的解释要求：（1）最终用户的心理模型，（2）最终用户的认知过程，（3）用户界面，（4）人类解释者代理，和（5）代理过程。我们首先定义架构的每个组件。然后，我们提出了抽象的解释空间，一个建模工具，聚合架构的组件，以支持设计师系统地调整解释与最终用户的工作实践，需求和目标。它指导了需要解释的内容（内容-最终用户的心理模型）的规范，为什么这种解释是必要的（上下文-最终用户的认知过程），以界定如何解释它（格式-人类解释器代理和用户界面），以及何时应该给出解释。然后，我们将该工具的使用在一个正在进行的案例研究，在飞机维修领域。最后，我们讨论了该工具可能的贡献，已知的局限性/改进领域，以及未来要做的工作。
2021-06-02 cs.AI cs.HC
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中，我们介绍和评估的远端解释模型的无模型强化学习代理，可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链，其形式为“A促成B，B促成C”。使用的见解，从分析240个解释中产生的人类代理实验，我们定义了一个远端解释模型，可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链，并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中，我们发现，与两种基线解释模型相比，我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
Characterizing Human Explanation Strategies to Inform the Design of Explainable AI for Building Damage Assessment
Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
可解释人工智能（XAI）是一种支持人类与人工智能协作执行高风险视觉检测任务的有前途的方法，例如来自卫星图像的损坏检测任务，因为全自动方法不太可能完全安全可靠。然而，大多数现有的XAI技术并不了解人类对解释的特定任务需求。因此，我们朝着了解人类在损伤检测任务中需要什么形式的XAI迈出了第一步。我们进行了一项在线众包研究，以了解人们在根据卫星图像评估建筑物损坏的严重程度时如何解释自己的评估。通过对60名群众工作者的研究，我们发现了人类用来解释他们的视觉损害评估的六种主要策略。我们目前的影响，我们的研究结果的设计XAI方法，这样的视觉检测环境，并讨论未来的研究机会。
2021-11-04 cs.AI cs.HC
Explainable AI And Visual Reasoning: Insights From Radiology
UC San Diego（加州大学圣迭戈分校）
本文探讨放射学中XAI解释为何无法获得信任，提出镜像人类推理与证据论证过程的解释设计原则，以提升其实用性与可信度。
2023-04-06 cs.AI cs.HC
Towards a Comprehensive Human-Centred Evaluation Framework for Explainable AI
KU Leuven（鲁汶大学）
针对可解释人工智能（XAI）缺乏标准化以人为中心评估流程、现有评估未整体性考量解释对人的复杂影响的问题，研究调整推荐系统的用户中心评估框架，整合解释维度、梳理属性及关系并分类评估指标，助力XAI评估的以人为中心标准化。
2023-07-31 cs.AI cs.HC
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University（纽卡斯尔大学）
针对社交媒体AI推荐解释通用、未对齐用户需求的问题，提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统，将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study
University of Würzburg（维尔茨堡大学）
本文通过271名准医生的COVID-19用例实证研究，发现不同XAI解释类型显著影响终端用户的认知负荷、任务表现和时间，并基于心理效率指标推荐局部解释类型为最佳。
2023-04-18 cs.AI cs.HC
An XAI View on Explainable ASP: Methods, Systems, and Perspectives
Institute of Logic and Computation, TU Wien, Austria（逻辑与计算研究所，维也纳技术大学，奥地利）
本文从XAI视角综述回答集编程（ASP）的解释方法，分类解释类型并评估现有理论与工具的覆盖范围，指出研究空白与未来方向。
2026-06-11 cs.AI cs.HC cs.LO
Interactive Explanation with Varying Level of Details in an Explainable Scientific Literature Recommender System
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文针对可解释推荐系统中解释静态且一刀切的问题，提出一种以用户为中心的交互式解释模型，在RIMA系统中实现基础、中级和高级三个细节层级的解释。定性用户研究（N=14）表明，赋予用户控制权能满足不同需求，有效提升系统的透明度、信任、满意度和用户体验。
2023-10-18 cs.AI cs.CY cs.HC
Towards a Signal Detection Based Measure for Assessing Information Quality of Explainable Recommender Systems
本文提出一种基于信号检测理论的客观度量Veracity，通过Fidelity和Attunement两个维度评估可解释推荐系统解释内容的信息质量，并通过四组不同质量水平的案例验证了该度量的有效性。
2025-07-01 cs.HC cs.IR
Explainability Pitfalls: Beyond Dark Patterns in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）
为了使可解释人工智能（XAI）系统值得信赖，了解有害影响与产生精心设计的解释同样重要。在本文中，我们解决了一个重要的，但未明确的类型的负面影响XAI。我们引入了可解释性陷阱（EP），这是人工智能解释的意想不到的负面下游效应，即使没有意图操纵用户。EP与黑暗模式不同，但与之相关，黑暗模式是故意欺骗的做法。我们阐明了EP的概念，将其与暗模式区分开来，并强调了陷阱周围的不确定性所带来的挑战。我们使用一个案例研究来解释和操作这个概念，这个案例研究展示了尽管有最好的意图，但毫无疑问的负面影响，例如对数字解释的不必要的信任。我们提出了积极主动和预防性的战略，以解决EP在三个相互关联的层面：研究，设计和组织。
2021-09-26 cs.AI cs.HC
Is explainable AI a race against model complexity?
Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）
随着模型的规模和复杂性的增长，解释智能系统的行为将变得越来越具有挑战性，也许是难以解决的挑战。我们可能无法期望大脑规模模型做出的每一个预测都得到解释，我们也不能期望解释保持客观或非政治性。我们对这些模型的功能主义理解并不像我们想象的那么有利。模型先于解释，即使在模型和解释都不正确的情况下也是有用的。可解释性可能永远不会赢得与复杂性的竞争，但这并不像它看起来那么成问题。
2022-05-17 cs.AI cs.HC cs.LG
Explainable Artificial Intelligence for Human Decision-Support System in Medical Domain
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
在本文中，我们提出了潜在的可解释的人工智能方法的决策支持在医学图像分析方案。通过将三种类型的可解释方法应用于相同的医学图像数据集，我们的目标是提高卷积神经网络（CNN）提供的决策的可理解性。视觉解释是在从视频胶囊内窥镜（VCE）获得的体内胃图像上提供的，目的是增加卫生专业人员对黑箱预测的信任。我们实现了两个事后可解释的机器学习方法LIME和SHAP以及以上下文价值和效用（CIU）为中心的替代解释方法CIU。所产生的解释使用人类评价进行评价。根据LIME、SHAP和CIU提供的解释，我们进行了三项用户研究。来自不同非医学背景的用户在基于网络的调查设置中进行了一系列测试，并陈述了他们的经验和对给定解释的理解。三个用户组（n=20，20，20）与三种不同形式的解释进行了定量分析。我们发现，正如假设的那样，CIU可解释方法在增加对人类决策的支持以及更透明，从而为用户所理解方面比LIME和SHAP方法表现得更好。此外，CIU通过更快地生成解释而优于LIME和SHAP。我们的研究结果表明，有显着的差异，在人类决策之间的各种解释支持设置。根据这一点，我们提出了三种潜在的可解释的方法，这些方法可以在未来的改进中推广到不同的医疗数据集上，并可以为医学专家提供很大的决策支持。
2021-05-05 cs.AI cs.CV cs.HC
Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals
Simon Fraser University（西蒙弗雷泽大学）
非技术终端用户是最先进的可解释人工智能（XAI）技术的沉默和无形的用户。他们对AI可解释性的需求和要求并没有被纳入XAI技术的设计和评估中，XAI技术的开发是为了向最终用户解释AI决策的基本原理，并帮助他们做出关键决策。这使得XAI技术在高风险应用中无效甚至有害，例如医疗保健，刑事司法，金融和自动驾驶系统。为了系统地了解最终用户的需求，以支持XAI的技术开发，我们在四个AI辅助的关键任务中与32名非专业参与者进行了EUCA用户研究。该研究确定了基于特征、示例和规则的XAI技术的全面用户需求（表现为最终用户友好的解释形式）和XAI评估目标（表现为解释目标），这些都有助于直接激发新XAI算法和评估指标的建议。EUCA研究结果、技术规范的确定解释表格和目标以及EUCA研究数据集支持以最终用户为中心的XAI技术的设计和评估，以实现可访问、安全和可问责的AI。
2023-02-15 cs.AI cs.HC
Conversational Explanations: Discussing Explainable AI with Non-AI Experts
Nanyang Technological University（南洋理工大学）；University of Michigan（密歇根大学）
针对可解释AI静态解释难以适配用户需求、对话式解释训练数据稀缺且合成数据存多样性不足与幻觉问题，该研究提出带重复惩罚与幻觉过滤的少样本多轮对话解释系统EMCEE，在自动与人工评估中均表现更优，为首款可承接静态解释回应用户自由提问的对话式解释方法。
2025-02-16 cs.AI cs.HC
The Effect of Explainable AI-based Decision Support on Human Task Performance: A Meta-Analysis
University of Bamberg（班贝格大学）
本文通过元分析探究可解释AI决策支持对分类任务中人类绩效的影响，发现其能提升绩效，但解释本身非关键驱动因素，偏倚风险起调节作用。
2025-03-22 cs.AI cs.HC
Explainable Control Framework (XCF) based on Fuzzy Model-Agnostic Explanation and LLM Agent-Supported Interface
Department of Engineering, Faculty of Natural, Mathematical & Engineering Sciences, King’s College London（工程系，自然、数学与工程科学学院，伦敦国王学院）
提出可解释控制框架XCF，通过分层模糊模型无关解释方法HFMAE-C和LLM智能体接口，为闭环控制器提供模型无关的解释，并在倒立摆和Turtlebot避障案例中验证有效性。
2026-06-25 cs.AI cs.HC cs.SY
PEAK: Explainable Privacy Assistant through Automated Knowledge Extraction
Bogazici University（海峡大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Utrecht University（乌得勒支大学）
本文提出PEAK隐私助手，通过潜在主题发现、解释类别识别和自动化解释生成，为隐私决策提供可理解解释，用户研究表明其解释有用易理解，并能提升隐私助手自身决策能力。
2023-05-31 cs.AI cs.CR cs.HC
Explainable Activity Recognition for Smart Home Systems
Georgia Institute of Technology（佐治亚理工学院）；KDDI Research（KDDI研究所）
本文针对智能家居活动识别缺乏可解释性的问题，提出基于XAI方法的可解释活动识别框架，通过SHAP等方法生成自然语言解释，实验表明SHAP解释成功率达92%，且83%的用户偏好自然语言解释而非简单活动标签，为智能家居自动化中XAI方法选择提供了建议。
2023-05-26 cs.HC cs.LG
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）
自然语言推理（NLI）需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要，该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统，在这里，我们调查它是否也可以提高他们的解释能力。为此，我们调查了不同的外部知识来源，并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响，例如，存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后，我们进行了迄今为止规模最大，粒度最细的可解释的NLI众包研究。它表明，即使是在自动性能分数的巨大差异并不反映在标签，解释，常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
Whom do Explanations Serve? A Systematic Literature Survey of User Characteristics in Explainable Recommender Systems Evaluation
University of Zurich（苏黎世大学）；Dublin City University（都柏林城市大学）
本文调查了124篇在用户研究中评估推荐系统解释的论文，发现当前研究主要涵盖特定用户，缺乏代表性，且数据报告存在不一致性，建议采取行动迈向更具包容性和可重复性的评估。
2025-02-03 cs.AI cs.HC cs.IR
Culture-Based Explainable Human-Agent Deconfliction
University of Cambridge（剑桥大学）
几个世纪以来，法律法规帮助组织社会，随着人工智能系统获得更多的自主权，我们质疑人类智能体系统如何在相同的规范下作为对等体运行，特别是在资源竞争时。我们认为，代理人必须是负责任的，并通过引用哪些规则来解释他们的决定。对解释的需求与用户的接受和信任有关。本文的贡献是双重的：i）我们提出了一个基于争论的人类代理架构，将人类的规则映射到具有可解释行为的人工代理的文化中。我们的架构依靠的概念，争论的对话，并产生解释，从历史上这样的对话;和ii）我们验证我们的架构与用户研究的背景下，人类代理路径deconfliction。我们的研究结果表明，当系统更复杂时，解释提供了显着更高的改善人类的表现。因此，我们认为，定义解释的需要的标准也应该考虑系统的复杂性。定性的研究结果表明，当规则更复杂，解释显着降低人类的挑战感。
2019-11-22 cs.HC cs.LO cs.MA
Explainable Reinforcement Learning Through a Causal Lens
The University of Melbourne（墨尔本大学）
认知科学中流行的理论认为，人类通过因果关系来理解和表征世界的知识。在理解世界的过程中，我们在头脑中建立因果模型来编码事件的因果关系，并使用这些模型来解释新事件发生的原因。在本文中，我们使用因果模型推导出强化学习代理的行为的因果解释。我们提出了一种方法，在强化学习过程中学习结构因果模型，并对感兴趣的变量之间的因果关系进行编码。然后，该模型用于基于因果模型的反事实分析来产生行为解释。我们报告了一项研究，120名参与者观察代理人玩实时战略游戏（星际争霸II），然后接受代理人行为的解释。研究内容包括：（1）被试通过任务预测解释获得的理解;（2）解释满意度;（3）信任度。我们的研究结果表明，因果模型的解释表现更好，这些措施相比，其他两个基线解释模型。
2019-11-20 cs.AI cs.HC cs.LG
Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience
Stony Brook University（石溪大学）；IBM Research AI（IBM研究院人工智能部门）
机器学习技术的广泛采用为能够训练ML模型的人创造了快速增长的需求。一些人主张使用“机器教师”一词来指代将领域知识注入ML模型的人。一个有前途的学习范例是主动学习（AL），通过它，模型智能地选择实例来向机器教师查询标签。然而，在当前的人工智能设置中，人类-人工智能界面仍然是最小的和不透明的。我们开始考虑将人工智能解释作为教学机器的人机界面的核心元素。当一个人类学生学习时，提出自己的推理并征求老师的反馈是一种常见的模式。当ML模型学习并仍然犯错误时，人类教师应该能够理解错误背后的推理。当模型成熟时，机器教师应该能够认识到它的进步，以便信任并对他们的教学结果充满信心。为了实现这一愿景，我们提出了一种新的可解释主动学习（XAL）范式，通过将最近兴起的可解释AI（XAI）领域的技术引入AL设置。我们进行了一项实证研究，比较模型的学习成果，反馈内容和经验与XAL，传统的AL和协同学习（提供模型的预测，没有解释）。我们的研究显示了人工智能解释作为机器教学接口的好处-支持信任校准并实现丰富形式的教学反馈，以及潜在的缺点-与模型判断和认知工作量的锚定效应。我们的研究还揭示了调解机器教师对AI解释的接受的重要个人因素，包括任务知识，AI经验和认知需求。通过反思的结果，我们建议未来的方向和设计的XAL的影响。
2020-09-30 cs.AI cs.HC cs.LG
Objective Metrics for Human-Subjects Evaluation in Explainable Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Southampton（南安普顿大学）
本文指出可解释强化学习评估应从主观指标转向基于可观察行为的客观人类指标，提出了几种用于调试智能体行为和人机协作的客观评估方法，并呼吁未来研究采用标准化基准以增强可比性。
2025-01-31 cs.AI cs.HC cs.RO
Designing Explainable AI for Healthcare Reviews: Guidance on Adoption and Trust
Newcastle University（纽卡斯尔大学）；Taif University（塔伊夫大学）
本文提出了一种用于医疗评论的可解释AI系统，通过混合方法研究探讨了其在提升用户信任和采用方面的设计指导。
2026-02-11 cs.AI cs.CL cs.CY
Explainable AI and Adoption of Financial Algorithmic Advisors: an Experimental Study
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Intuit Inc.（财捷集团）
我们研究了从人类或算法顾问那里获得的建议，以及五种类型的本地和全球解释标签，是否会影响采用的准备程度，支付意愿和对金融AI顾问的信任。我们使用一个独特的实验框架，在不同的关键情况下，随着时间的推移比较的差异，参与者玩一个基于网络的游戏，真正的货币后果。我们观察到，在初始阶段对模型进行基于准确性的解释会导致更高的采用率。当模型的表现完美无瑕时，采用何种解释就不那么重要了。使用更详细的基于特征或基于准确性的解释有助于大大减少模型失败时的采用率下降。此外，使用自动驾驶仪可以显著提高采用率。被分配到带有解释的AI标记建议的参与者愿意为建议支付更多的费用，而不是带有无解释替代方案的AI标记建议。这些结果增加了关于XAI对算法采用和信任的重要性的文献。
2021-06-09 cs.AI cs.CY cs.HC
Selective Explanations: Leveraging Human Input to Align Explainable AI
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Chicago（芝加哥大学）；Microsoft Research（微软研究院）
本文提出选择性解释框架，通过利用人类输入从模型理由中选择与接收者偏好相符的子集，实验表明其能减少对AI的过度依赖并改善决策结果与主观感知。
2023-08-07 cs.AI cs.CL cs.HC
Advancing Explainable Autonomous Vehicle Systems: A Comprehensive Review and Research Roadmap
Scania CV（斯堪尼亚汽车公司）；University of Oxford（牛津大学）
本文综述了自动驾驶汽车可解释性方法，将现有文献归纳为解释任务、解释信息和解释信息传达三类，并提出以了解对话者、及时解释、人性化沟通和持续学习为核心的研究路线图，以推动更安全可信的可解释自动驾驶系统发展。
2024-03-19 cs.AI cs.HC cs.LG
