A Human-Grounded Evaluation Benchmark for Local Explanations of Machine Learning
Texas A&M University（德克萨斯农工大学）；University of Florida（佛罗里达大学）
可解释机器学习的研究提出了不同的计算和人类主体方法来评估模型显着性解释。这些方法测量不同质量的解释，以实现设计可解释的机器学习系统的不同目标。在本文中，我们提出了一个人类注意力基准的图像和文本域使用多层人类注意力面具聚合从多个人类注释。然后，我们提出了一个评估研究，以评估模型的显着性解释使用梯度凸轮和石灰技术。我们证明了我们的基准的效用模型解释的定量评估，通过比较它与人类的主观评级和地面实况单层分割掩模评估。我们的研究结果表明，我们的阈值不可知的评估方法与人类的注意力基线是更有效的比单层对象分割面具地面真相。我们的实验还揭示了用户在模型显着性解释的主观评级中的偏见。
2020-06-28 cs.AI cs.HC
Adapting Robot's Explanation for Failures Based on Observed Human Behavior in Human-Robot Collaboration
KTH Royal Institute of Technology（皇家理工学院）；Lancaster University（兰卡斯特大学）
本研究通过解读人机协作中人类行为预测用户困惑，构建数据驱动预测器预测困惑，并提出基于该预测器调整机器人故障解释详细程度的机制，以提升协作自然性与效率。
2025-04-13 cs.AI cs.HC cs.RO
A Systematic Comparison between Extractive Self-Explanations and Human Rationales in Text Classification
Center for Social Data Science（社会科学数据科学中心）；University of Copenhagen（哥本哈根大学）；Machine Learning Group（机器学习小组）；Technische Universität Berlin（柏林技术大学）
本文比较了抽取式自我解释与人类推理在文本分类任务中的有效性，通过分析不同任务和语言的解释质量，发现自我解释在文本长度和任务复杂度上与人类推理存在显著差异。
2026-05-20 cs.AI cs.CL
Challenges in Explanation Quality Evaluation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）；AWS AI Labs（AWS人工智能实验室）
虽然许多研究集中在产生解释，但仍然不清楚如何以有意义的方式评估产生的解释的质量。今天的主要方法是使用代理分数来量化解释，将解释与（人类注释的）黄金解释进行比较。这种方法假设，达到较高代理分数的解释也将为人类用户提供更大的好处。在本文中，我们提出了这种方法的问题。具体而言，我们（一）制定所需的解释质量的特点，（二）描述目前的评估实践违反他们，（iii）支持我们的论证与初步证据，从众包的案例研究，我们调查的解释质量的国家的最先进的可解释的问答系统。我们发现，代理分数与人的质量评级相关性很差，此外，变得表达越少，他们经常使用（即遵循古德哈特定律）。最后，我们提出了指导方针，使一个有意义的评价的解释，以推动系统的发展，为人类用户提供切实的好处。
2023-03-09 cs.AI cs.CL cs.HC
ConvXAI: Delivering Heterogeneous AI Explanations via Conversations to Support Human-AI Scientific Writing
University of Michigan（密歇根大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出对话式XAI原型ConvXAI，基于四项设计原则通过对话为科学写作提供异构AI解释，并在用户研究中验证其优于GUI基线。
2023-10-27 cs.AI cs.CL cs.HC
Why Did the Robot Cross the Road? A User Study of Explanation in Human-Robot Interaction
Georgia Institute of Technology（佐治亚理工学院）；H2O.ai
这项工作记录了一项试点用户研究，评估了对比，因果和示例解释在支持人类理解人工智能在一个假设的普通人类机器人交互HRI场景的有效性。在这样做的过程中，这项工作将可解释的AI XAI置于社会科学的背景下，并建议在社会科学的指导下改进HRI解释。
2020-11-30 cs.AI cs.HC cs.RO
Utilizing Human Behavior Modeling to Manipulate Explanations in AI-Assisted Decision Making: The Good, the Bad, and the Scary
Purdue University（普渡大学）
本文定量建模人类如何整合AI建议与解释，并利用该模型操纵AI解释以引导个体决策，实验表明人类行为易受此操纵且难以察觉异常。
2024-11-02 cs.AI cs.HC
How do Humans Understand Explanations from Machine Learning Systems? An Evaluation of the Human-Interpretability of Explanation
Harvard University（哈佛大学）；Google Brain（谷歌大脑）
近年来，人们对机器学习系统的兴趣激增，这些系统可以为其预测或决策提供人类可理解的理由。然而，究竟什么样的解释是真正的人类解释仍然知之甚少。这项工作推进了我们对是什么使解释在特定的验证背景下可解释的理解。假设我们有一个预测X的机器学习系统，我们为这个预测X提供了基本原理。给定一个输入、一个解释和一个输出，输出是否与输入和假设的基本原理一致？通过一系列的用户研究，我们确定了什么样的复杂性增加对人类验证原理所需的时间影响最大，哪些似乎相对不敏感。
2018-02-02 cs.AI
Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making
University of Chicago（芝加哥大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
尽管人工智能有望改善人类在社会关键领域的决策，但人类-人工智能团队如何在具有挑战性的预测任务（也称为互补性能）中可靠地超越人工智能和人类仍然是一个悬而未决的问题。我们探索两个方向，以了解在实现互补性能的差距。首先，我们认为典型的实验设置限制了人类-AI团队的潜力。为了解释由于分布偏移而导致的分布外AI性能低于分布内AI性能，我们设计了具有不同分布类型的实验，并研究了分布内和分布外示例的人类性能。其次，我们开发了新的界面来支持交互式解释，以便人类可以积极参与人工智能的帮助。使用虚拟试点研究和三个任务的大规模随机实验，我们证明了分布内和分布外之间的明显差异，并观察到交互式解释的混合结果：虽然交互式解释提高了人类对人工智能辅助有用性的感知，但它们可能会加强人类的偏见并导致有限的性能改善。总的来说，我们的工作指出了在人工智能辅助下提高人类绩效的关键挑战和未来方向。
2021-10-05 cs.AI cs.CY cs.HC
Human-grounded Evaluations of Explanation Methods for Text Classification
Imperial College London（帝国理工学院）
由于深度学习模型的黑盒性质，解释模型结果的方法对于获得人类的信任和支持人工智能与人类之间的合作至关重要。在本文中，我们考虑了用于文本分类的CNN的几种模型不可知和模型特定的解释方法，并进行了三种基于人类的评估，重点是解释的不同目的：（1）揭示模型行为，（2）证明模型预测，（3）帮助人类调查不确定的预测。结果突出了不同的质量，我们考虑的各种解释方法，并显示在何种程度上，这些方法可以服务于每一个目的。
2019-08-29 cs.AI cs.CL cs.LG
Explanation-Based Human Debugging of NLP Models: A Survey
Imperial College London（伦敦帝国学院）
机器学习模型是困难的，因为错误通常涉及训练数据和学习过程。对于一个不透明的深度学习模型来说，如果我们不知道模型实际上是如何工作的，这就变得更加困难了。在本调查中，我们回顾了利用解释使人类能够提供反馈和调试NLP模型的论文。我们把这个问题称为基于解释的人工调试（EBHD）。特别是，我们分类和讨论现有的工作沿EBHD的三个方面（错误的背景下，工作流程和实验设置），编译EBHD组件如何影响反馈提供者的调查结果，并突出开放的问题，可能是未来的研究方向。
2021-12-10 cs.AI cs.CL cs.HC
Human-centred explanation of rule-based decision-making systems in the legal domain
Dutch Tax and Customs Administration（荷兰税务与海关管理局）；Utrecht University（乌得勒支大学）
本文提出一种面向法律领域基于规则的自动决策系统的人本化解释方法，构建了包含内部组件与外部依赖的概念框架，并利用图数据库实现问题驱动、多媒体展示及用户定制化解释，在荷兰税务海关管理局的真实场景中验证了其有效性。
2023-10-25 cs.AI cs.HC
Evaluating computational models of explanation using human judgments
University of California at Berkeley（加州大学伯克利分校）
我们评估四个计算模型的解释贝叶斯网络模型预测比较，人类的判断。在两个实验中，我们向人类参与者提供因果结构，模型对此做出不同的预测，要么为观察到的事件寻求最佳解释（实验1），要么让参与者为观察到的事件提供解释（实验2）。在两个版本的两个因果结构和两个实验中，我们发现因果解释树和最相关的解释模型比最可能的解释或解释树模型更适合人类数据。我们确定这些模型的优点和缺点，以及它们可以揭示人类的解释。最后，我们提出并行进行计算和心理学解释研究的价值。
2013-09-26 cs.AI
Selective Explanations: Leveraging Human Input to Align Explainable AI
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Chicago（芝加哥大学）；Microsoft Research（微软研究院）
本文提出选择性解释框架，通过利用人类输入从模型理由中选择与接收者偏好相符的子集，实验表明其能减少对AI的过度依赖并改善决策结果与主观感知。
2023-08-07 cs.AI cs.CL cs.HC
On Human Predictions with Explanations and Predictions of Machine Learning Models: A Case Study on Deception Detection
University of Colorado Boulder（科罗拉多大学博尔德分校）
人类是涉及道德和法律问题的关键任务的最终决策者，从累犯预测到医疗诊断，再到打击假新闻。虽然机器学习模型有时可以在这些任务中实现令人印象深刻的性能，但这些任务不适合完全自动化。为了实现机器学习改善人类决策的潜力，重要的是要了解机器学习模型的帮助如何影响人类的表现和人类的代理。在本文中，我们使用欺骗检测作为测试平台，并研究如何利用机器学习模型的解释和预测来提高人类的表现，同时保留人类的代理。我们提出了一个全人类代理和全自动化之间的频谱，并沿着频谱开发不同级别的机器辅助，逐渐增加机器预测的影响。我们发现，在没有显示预测标签的情况下，仅解释就可以稍微提高人类在最终任务中的表现。相比之下，通过显示预测的标签（>20%的相对改善），人类的表现得到了极大的改善，并且可以通过明确地暗示强大的机器性能来进一步改善。有趣的是，当显示预测的标签时，机器预测的解释会导致类似的准确性水平，因为机器性能很强。我们的研究结果证明了人类表现和人类代理之间的权衡，并表明机器预测的解释可以缓和这种权衡。
2019-01-08 cs.AI cs.CL cs.CY
Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
许多研究人员激励可解释的人工智能，研究表明，当人工智能解释其建议时，人类-人工智能团队在决策任务上的表现会有所改善。然而，之前的研究发现，只有当人工智能单独表现优于人类和最佳团队时，才能从解释中观察到改进。解释是否有助于实现互补的性能，即团队的准确性高于人类或人工智能单独工作？我们在三个数据集上进行混合方法的用户研究，其中具有与人类相当准确性的AI帮助参与者解决任务（在某些条件下解释自己）。虽然我们观察到人工智能增强的补充改进，但它们并没有通过解释而增加。相反，解释增加了人类接受AI建议的机会，无论其正确性如何。我们的研究结果为以人为中心的人工智能提出了新的挑战：我们能否开发出鼓励对人工智能适当信任的解释性方法，从而帮助产生（或提高）互补性能？
2021-01-12 cs.AI cs.CL cs.HC
Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models
University of Waterloo（滑铁卢大学）
本研究对比人类与机器生成的大语言模型解释，发现人类显著性图更具帮助性，但支持错误AI预测的有用解释会降低任务表现，揭示了AI错误的解释困境。
2024-04-11 cs.AI cs.HC
Explanations, Fairness, and Appropriate Reliance in Human-AI Decision-Making
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Bayreuth（拜罗伊特大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）
本研究探究基于特征的解释如何影响AI辅助决策的分配公平性，发现解释影响公平感知和依赖，但无法帮助辨别建议正确性，且可能强化或削弱刻板印象错误，表明其非可靠公平机制。
2024-03-18 cs.AI cs.HC
Understanding the Role of Human Intuition on Reliance in Human-AI Decision-Making with Explanations
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
本研究通过混合方法实验探究人类直觉对带解释的人机决策中AI依赖程度的影响，识别出三类直觉与三条推翻AI预测的路径，解释了两种解释方式的效果差异，为人机决策系统及解释方法的发展指明方向。
2023-06-14 cs.AI cs.HC
Don't be Fooled: The Misinformation Effect of Explanations in Human-AI Collaboration
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Bayreuth（拜罗伊特大学）
本文通过 n=160 的 AI 辅助决策实验发现，正确建议搭配错误解释会诱发错误信息效应，损害协作绩效及协作后的推理与程序性知识。
2025-01-08 cs.AI cs.HC
Do Explanations make VQA Models more Predictable to a Human?
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（脸书人工智能研究院）
一系列丰富的研究试图通过生成人类可解释的决策过程“解释”来使深度神经网络更加透明，特别是对于视觉问答（VQA）等交互式任务。在这项工作中，我们分析了现有的解释是否确实使VQA模型-它的响应以及失败-对人类更可预测。令人惊讶的是，我们发现他们没有。另一方面，我们发现将模型视为黑盒的人在回路方法确实如此。
2018-10-29 cs.AI cs.CL cs.CV
Who is this Explanation for? Human Intelligence and Knowledge Graphs for eXplainable AI
Cefriel（切夫里尔）；Politecnico di Milano（米兰理工大学）
可解释的AI专注于为AI算法的输出向用户（通常是决策者）生成解释。这样的用户需要解释人工智能系统，以决定是否信任机器的结果。因此，在应对这一挑战时，应适当注意提供目标用户群体可以理解的解释。在本章中，我们主张需要更好地研究什么构成了人类的解释，即人类决策者可以解释和行动的机器行为的正当性。特别是，我们专注于人类智能可以为可解释的AI带来的贡献，特别是与知识图谱的开发相结合。事实上，我们呼吁知识表示与推理、社会科学、人类计算和人机合作研究之间更好地相互作用--正如其他人工智能分支已经探索的那样--以便通过采用人在回路方法来支持可解释人工智能的目标。
2020-05-27 cs.AI cs.HC
Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language?
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
自然语言（NL）理解任务的数据汇集越来越多地包括人类的解释和数据点，允许过去的作品引入既执行任务又为其输出生成NL解释的模型。迄今为止，模型生成的解释已经根据与人类解释的表面相似性进行了评估，无论是通过BLEU等自动度量还是人工评估。我们认为，这些评价是不够的，因为它们不能表明解释是否支持实际的模型行为（忠实性），而不是简单地匹配人类会说什么（可解释性）。在这项工作中，我们解决的问题，从模型的可模拟性的角度来评估解释。我们的贡献如下：（1）我们引入了一个泄漏调整的可模拟性（LAS）指标来评估NL解释，该指标衡量解释如何帮助观察者预测模型的输出，同时控制解释如何直接泄漏输出。我们使用一个模型作为人类观察者的代理，并通过两个人类受试者实验来验证这一选择。(2)使用CoS-E和e-SNLI数据集，我们评估了两种现有的生成图形模型和两种新方法;我们引入的一种合理化方法大致达到了人类水平的LAS分数。(3)最后，我们将解释生成框架为多智能体游戏，并优化解释的可模拟性，同时惩罚标签泄漏，这可以提高LAS分数。我们在https://github.com/peterbhase/LAS-NL-Explanations上提供了本文中实验的代码
2020-10-08 cs.AI cs.CL cs.LG
Integrating Feature Understandability into Feature Selection for Human-Centred Tabular Explanations
School of Computer Science and Information Technology, University College Cork（科克大学计算机科学与信息技术学院）；Centre for Research Training in Artificial Intelligence, University College Cork（科克大学人工智能研究培训中心）；Department of Methodology and Statistics, Tilburg University（蒂尔堡大学方法论与统计系）；Insight Centre for Data Analytics, University College Cork（科克大学Insight数据分析中心）
本研究将特征可理解性整合到特征选择中，提出感知可理解性的特征选择算法，训练随机森林并结合SHAP评估，发现该方法可生成更易理解的解释且对分类性能影响极小。
2026-10-14 cs.AI cs.CY cs.HC
On Evaluating Explanation Utility for Human-AI Decision Making in NLP
Kahlert School of Computing（卡尔勒特计算机学院）；University of Utah（犹他大学）
本研究评估 NLP 中解释对人机决策的效用，发现多数数据集不适用，且提供 AI 预测（含解释）不提升决策速度，建议改进自动委托机制。
2024-11-05 cs.AI cs.CL cs.HC
The Impact of Explanations on Fairness in Human-AI Decision-Making: Protected vs Proxy Features
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
研究人类-AI决策中解释、偏见披露与代理相关性披露对公平感知和人口统计均等的影响，发现解释利于识别直接偏见却会增强对偏见的认同，披露可缓解间接偏见问题。
2024-03-14 cs.AI cs.HC
Widening the Pipeline in Human-Guided Reinforcement Learning with Explanation and Context-Aware Data Augmentation
Arizona State University（亚利桑那州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
人类解释（例如，在特征重要性方面）最近被用于扩展交互式机器学习中人与代理之间的通信信道。在这种情况下，人类训练师不仅提供基本事实，还提供某种形式的解释。然而，这种人类指导只在监督学习任务中进行了研究，目前还不清楚如何将这种类型的人类知识最好地融入深度强化学习。在本文中，我们提出了第一个研究使用人类视觉解释的人在回路强化学习（HRL）。我们专注于从反馈中学习的任务，其中人类训练员不仅为查询的状态-动作对提供二进制评价性“好”或“坏”反馈，而且还通过注释图像中的相关特征提供视觉解释。我们提出了EXPAND（解释增强反馈），以鼓励模型编码任务相关的功能，通过上下文感知的数据增强，只扰动人类显着信息中的不相关的功能。我们选择了五个任务，即Pixel-Taxi和四个Atari游戏，来评估这种方法的性能和样本效率。我们表明，我们的方法显着优于利用人类解释的方法，这些方法适用于监督学习，以及仅利用评估反馈的人在回路RL基线。
2021-10-26 cs.AI
Human Decision-Making with Persuasive and Narrative LLM Explanations
DEVCOM Army Research Laboratory（美国陆军研发实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）
通过大规模行为实验，研究LLM生成的叙事解释的说服力程度对人类决策准确性的影响，发现叙事解释未显著提升决策准确性，但增加了对AI的依赖，且高说服力叙事可能损害决策反应时间和辨别能力。
2026-05-22 cs.AI cs.HC
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin（都柏林大学）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk科学基金会爱尔兰研究中心）
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能（XAI）问题的流行解决方案，因为它们具有心理有效性，跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法，声称可以产生类似于人们偏好的合理解释，但实际上很少有用户进行过测试（$\sim7\%$）。因此，这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决，该方法（i）在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释，然后（ii）将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明，人类不“最低限度地编辑”图像时，产生反事实的解释。相反，它们会进行更大的、“有意义的”编辑，以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
A Turing Test for Transparency
Beuth University of Applied Sciences（柏林应用科学大学（Beuth））；Einstein Center Digital Future（爱因斯坦数字未来中心）
可解释人工智能（XAI）的核心目标是改善人与AI交互中的信任关系。透明人工智能系统研究的一个假设是，解释有助于更好地评估机器学习（ML）模型的预测，例如使人类能够更有效地识别错误的预测。然而，最近的经验证据表明，解释可能会产生相反的效果：当对ML预测进行解释时，人类往往倾向于相信ML预测，即使这些预测是错误的。实验证据表明，这种效应可以归因于人工智能或解释的直观性或人性化程度。这种效应挑战了XAI的目标，并意味着透明AI方法的负责任使用必须考虑人类区分机器生成和人类解释的能力。在这里，我们提出了一个定量度量XAI方法的基础上图灵的模仿游戏，图灵测试的透明度。一个人的大脑被要求判断一个解释是由人还是由XAI方法生成的。在这个二进制分类任务中，不能被人类检测到的XAI方法的解释通过了测试。检测这些解释是评估和校准人与AI交互中信任关系的必要条件。我们展示了一个众包文本分类任务的实验结果，表明即使对于基本的ML模型和XAI方法，大多数参与者也无法区分人类和机器生成的解释。我们讨论了我们的研究结果对透明ML应用的伦理和实际影响。
2021-06-21 cs.AI cs.HC
Towards an Explanation Space to Align Humans and Explainable-AI Teamwork
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Montreal University (Polytechnic)（蒙特利尔大学（理工学院））
为最终用户提供有意义和可操作的解释是在现实世界中实现可解释智能系统的基本前提。可解释性是用户和AI系统之间的一种情境交互，而不是静态的设计原则。解释的内容是依赖于上下文的，必须由关于用户及其上下文的证据来定义。本文旨在通过提出一个形成性的架构，从用户的角度定义的解释空间，这一概念的可操作性。该体系结构包括五个相互交织的组件，以概述任务的解释要求：（1）最终用户的心理模型，（2）最终用户的认知过程，（3）用户界面，（4）人类解释者代理，和（5）代理过程。我们首先定义架构的每个组件。然后，我们提出了抽象的解释空间，一个建模工具，聚合架构的组件，以支持设计师系统地调整解释与最终用户的工作实践，需求和目标。它指导了需要解释的内容（内容-最终用户的心理模型）的规范，为什么这种解释是必要的（上下文-最终用户的认知过程），以界定如何解释它（格式-人类解释器代理和用户界面），以及何时应该给出解释。然后，我们将该工具的使用在一个正在进行的案例研究，在飞机维修领域。最后，我们讨论了该工具可能的贡献，已知的局限性/改进领域，以及未来要做的工作。
2021-06-02 cs.AI cs.HC
Benchmarking XAI Explanations with Human-Aligned Evaluations
本文提出PASTA框架及数据集，用于以人类判断为基准评估计算机视觉中的XAI解释方法，并实现自动化评分以预测人类偏好，支持跨模态比较，助力构建更可解释的模型。
2025-08-26 cs.AI cs.CV cs.HC
Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning
School of Computing, Informatics and Decision Systems Engineering, Arizona State University（亚利桑那州立大学计算、信息与决策系统工程学院）
在人机合作框架中，提供解释被认为是人工智能智能体的必要能力。正确的解释提供了人工智能智能体决策背后的基本原理。然而，为了维持人类队友的认知需求以理解所提供的解释，先前的工作集中于以特定顺序提供解释或将解释生成与计划执行交织。此外，这些方法没有考虑在整个提供的解释中需要共享的细节程度。在这项工作中，我们认为，代理生成的解释，特别是复杂的，应抽象到与人类队友的愿望，以保持收件人的认知负荷的细节水平保持一致。因此，学习层次解释模型是一项具有挑战性的任务。此外，智能体需要遵循一致的高级策略，将学习到的队友偏好转移到新的场景中，而较低级别的详细计划则不同。我们的评估证实了理解解释的过程，特别是复杂和详细的解释，是分层的。反映这一点的人类偏好与创造和使用抽象来吸收隐藏在我们认知过程更深处的知识完全一致。我们发现，分层解释实现了更好的任务性能和行为的可解释性，同时减少认知负荷。这些结果揭示了利用强化学习和跨各个领域的规划来设计可解释的代理。
2021-02-26 cs.AI
Tell me why: Training preferences-based RL with human preferences and step-level explanations
Ulm University（乌尔姆大学）；Institute of Artificial Intelligence（人工智能研究所）
针对PbRL反馈表达不足的问题，提出结合轨迹偏好与步骤级事实解释的偏好强化学习方法，并通过模拟人类预言机验证其可加快学习。
2024-08-05 cs.AI cs.HC cs.LG
Towards Unifying Evaluation of Counterfactual Explanations: Leveraging Large Language Models for Human-Centric Assessments
AAAI-25
本研究通过收集人类评分并微调大语言模型，实现了对反事实解释的以人为中心的统一评估，显著提高了评估的准确性和可扩展性。
2025-04-22 cs.AI cs.CL
Progressive Explanation Generation for Human-robot Teaming
Computer Science and Engineering Department at Arizona State University（亚利桑那州立大学计算机科学与工程系）
生成解释来解释其行为是机器人队友的基本能力。沟通帮助人类伙伴更好地了解情况，并保持对队友的信任。机器人生成解释的先前工作集中在提供其决策背后的推理。然而，这些方法没有注意到理解解释的认知要求。换句话说，虽然它们从解释者的角度提供了正确的解释，但方程式的被解释者部分被忽略了。在这项工作中，我们沿着这个方向解决一个重要方面，有助于更好地理解给定的解释，我们称之为解释的渐进性。渐进式解释通过限制每一步解释所需的认知努力来提高理解。因此，这种解释预计会更流畅，因此更容易理解。提出了渐进解释的一般公式。算法的基础上提供了几种替代量化的认知努力的解释，这是在一个标准的规划竞争域进行评估。
2019-02-02 cs.AI
Ultra Strong Machine Learning: LLM-Generated Explanations Do Not Yet Suffice for Teaching Humans Active Learning Strategy
Department of Computing, Imperial College London（帝国理工学院计算系）
本研究提出LENS框架，通过神经符号方法生成逻辑程序解释，发现LLM生成的解释在人类学习中效果有限，需结合人类认知约束实现超强机器学习。
2026-09-23 cs.AI cs.LG
Understanding the Effect of Counterfactual Explanations on Trust and Reliance on AI for Human-AI Collaborative Clinical Decision Making
Singapore Management University（新加坡管理大学）
本文通过实验研究反事实解释如何帮助临床决策中的治疗师和非专业人士减少对错误AI输出的过度依赖，并提升对AI模型准确性的判断能力。
2023-08-08 cs.AI cs.HC cs.LG
Levels of explainable artificial intelligence for human-aligned conversational explanations
Deakin University（迪肯大学）；Federation University（联邦大学）
在过去的几年里，可解释人工智能（XAI）和紧密结合的可解释机器学习（IML）的研究迅速增长。这一增长的驱动力包括最近的立法变化和行业和政府增加投资，以及公众日益关注。人们每天都受到自主决策的影响，公众需要了解决策过程才能接受结果。然而，绝大多数的应用程序的XAI/IML集中在提供低层次的“狭隘”的解释，个人的决定是如何达成的基础上，一个特定的数据。虽然重要，但这些解释很少提供对代理的见解：信念和动机;其他（人类，动物或AI）代理意图的假设;外部文化期望的解释;或者用于生成自己的解释的过程。然而，我们认为，所有这些因素对于提供人们接受和信任人工智能决策所需的解释深度至关重要。本文旨在定义解释的层次，并描述如何将它们整合起来，以创建一个人性化的会话解释系统。在这样做的时候，本文将调查目前的方法，并讨论不同的技术，以实现这些水平与广泛的可解释人工智能（Broad-XAI）的整合，从而走向高层次的“强”的解释。
2021-07-07 cs.AI cs.HC
Weight of Evidence as a Basis for Human-Oriented Explanations
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
可解释性是现代机器学习方法的一个难以捉摸但非常受欢迎的特性。最近的工作集中在通过$\textit{explanations}$的可解释性，证明个别模型的预测。在这项工作中，我们从哲学、认知科学和社会科学的解释研究中汲取灵感，朝着协调机器解释与人类产生和偏好的解释迈出了一步。我们确定的关键方面，这些人类的解释不同于当前的机器解释，提炼成一个列表的desiderata，并通过信息论的概念，$\textit{weight of evidence}$，将它们形式化成一个框架。最后，我们实例化这个框架在两个简单的应用程序，并显示它产生直观和可理解的解释。
2019-10-29 cs.AI cs.LG stat.ML
Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction
MIT Media Lab（麻省理工学院媒体实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一个随机对照试验的模型在循环回归任务，其目标是测量在何种程度上（1）模型预测的良好解释增加人类的准确性，（2）错误的解释降低人类对模型的信任。我们研究了基于图像的年龄预测任务中基于视觉显着性的解释，人类和学习模型各自都有能力，但不是非常熟练，而且经常不同意。我们的实验设计将模型质量与解释质量分开，并可以比较涉及不同质量水平的各种解释的治疗。我们发现，呈现模型预测可以提高人类的准确性。然而，各种视觉解释无法显著改变人类的准确性或对模型的信任-无论解释是否表征准确的模型，不准确的模型，还是随机生成并独立于输入图像。这些研究结果表明，需要更多的下游决策任务的解释，更好的设计为基础的工具，为用户提供解释，更好的方法来产生解释的评价。
2020-07-23 cs.AI cs.CV cs.HC
Prompting Contrastive Explanations for Commonsense Reasoning Tasks
University of Washington（华盛顿大学）；Allen Institute of Artificial Intelligence（艾伦人工智能研究所）；Facebook AI（脸书人工智能）
许多常识推理NLP任务涉及基于通常隐含的知识在问题或提示的一个或多个可能答案之间进行选择。大型预训练语言模型（PLM）可以在这些任务上实现接近人类的性能，同时提供很少的人类可解释的证据来证明它们使用的基本推理。在这项工作中，我们展示了如何使用这些相同的模型来生成这样的证据：受人类解释的对比性质的启发，我们使用PLM来完成解释提示，根据证明正确答案所需的关键属性（例如，花生通常是咸的，而葡萄干是甜的）来对比替代品。与以前的非对比替代方案相比，这些解释的条件模型决策提高了两个常识推理基准的性能。这些解释也被人类判断为与解决任务更相关，并促进了一种新的方法来评估解释的可信度。
2021-06-12 cs.AI cs.CL
Finding Uncommon Ground: A Human-Centered Model for Extrospective Explanations
Digital Media Lab, TZI, University of Bremen（不莱梅大学数字媒体实验室，TZI，不莱梅大学）；Linguistics Department, Univserity of Bremen（不莱梅大学语言学系）
针对现有AI解释聚焦内部机制不适合非专业人士的问题，提出基于智能体世界观与用户交互动态记忆的个性化解释方法，可定制适配用户的相关信息，推动人本中心AI解释发展。
2025-07-29 cs.AI cs.HC
Order Matters: Generating Progressive Explanations for Planning Tasks in Human-Robot Teaming
Arizona State University（亚利桑那州立大学）
以前在规划和决策背景下生成解释的工作集中在提供AI代理决策背后的理由。虽然这些方法从解释者的角度提供了正确的解释，但它们没有注意到从被解释者（人类）的角度理解解释的认知要求。在这项工作中，我们着手解决这个问题，首先考虑的信息顺序的影响，在一个解释，或解释的渐进性。直觉上，渐进式将后来的概念建立在以前的概念上，并且有助于更好地学习。在这项工作中，我们的目标是调查解释生成过程中类似的效果时，解释被分解成多个部分，按顺序进行通信。这里的挑战在于对人类在接受这种解释以帮助理解时对信息顺序的偏好进行建模。鉴于这一顺序的过程中，制定基于目标的MDP生成渐进的解释。该MDP的奖励函数是基于通过人类受试者研究检索的解释通过逆强化学习学习的。我们首先评估了我们的方法在清道夫狩猎领域，以证明其有效地捕捉人类的喜好。在分析结果后，它揭示了一些更根本的：偏好强烈地产生于领域依赖和独立的功能。与域独立特征的相关性促使我们在密室域中进一步验证这一结果。结果证实了我们的假设，即理解解释的过程是一个动态的过程。反映这一点的人类偏好与隐藏在我们认知过程更深处的知识同化进程正好对应。
2020-10-17 cs.AI
From Human Explanation to Model Interpretability: A Framework Based on Weight of Evidence
Microsoft Research（微软研究院）；University of Michigan（密歇根大学）；University of Maryland（马里兰大学）
我们从人类解释的研究中获得灵感，为机器学习中可解释性方法的设计和评估提供信息。首先，我们调查了哲学，认知科学和社会科学中关于人类解释的文献，并提出了一系列对人类有意义的机器生成解释的设计原则。利用信息论中证据权重的概念，我们开发了一种方法来生成符合这些原则的解释。我们表明，这种方法可以适应于处理高维，多类设置，产生一个灵活的框架生成的解释。我们证明，这些解释可以准确地估计从有限的样本，是强大的输入的小扰动。我们还通过与机器学习从业者的定性用户研究来评估我们的方法，在那里我们观察到，尽管一些参与者在努力解决先验类概率等背景概念，但所得到的解释是可用的。最后，我们得出结论，表面~设计~一般的可解释性工具的影响。
2021-09-20 cs.AI cs.LG
Counterfactually Evaluating Explanations in Recommender Systems
ByteDance（字节跳动）
现代推荐系统面临着越来越多的需要解释他们的建议。尽管在这一领域取得了相当大的进展，但评估解释的质量仍然是研究人员和从业人员面临的重大挑战。以往的研究主要是通过人工研究来评价解释的质量，这通常是昂贵的，耗时的，并且容易受到人为的偏见。在本文中，我们提出了一种离线评估方法，可以计算没有人的参与。为了评估一个解释，我们的方法量化了它对推荐的反事实影响。为了验证我们的方法的有效性，我们进行了在线用户研究。我们表明，与传统的方法相比，我们的方法可以产生更相关的评价分数与真实的人类的判断，因此可以作为一个更好的代理人的评价。此外，我们表明，具有高评价分数的解释被人类认为是更好的。我们的研究结果强调了使用反事实方法作为评估推荐解释的一种可能方式的有希望的方向。
2022-11-17 cs.AI
CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations
National University of Singapore（新加坡国立大学）
本文通过认知建模分析不同XAI方法在结构化数据推理中的策略，发现模型能更准确拟合人类决策，为改进AI解释的可理解性提供新思路。
2026-04-30 cs.AI
Human Interpretation of Saliency-based Explanation Over Text
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）；Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然可解释人工智能的许多研究都集中在产生有效的解释上，但很少有人致力于人们如何理解和解释解释的问题。在这项工作中，我们专注于这个问题，通过研究的显着性为基础的解释文本数据。文本模型的属性解释旨在传达输入文本的哪些部分比其他部分对模型决策更有影响力。许多当前的解释方法，例如基于梯度或基于Shapley值的方法，提供了数学上很好理解的重要性度量。一个人怎样才能明白自己的道理呢？他们的理解是否与解释试图传达的内容相匹配？我们实证调查的各种因素的输入，特征归因的解释，可视化程序，外行的解释解释的效果。我们询问众包工作者对英语和德语任务的解释，并考虑兴趣因素，将GAMM模型拟合到他们的回答。我们发现，人们经常误解的解释：表面和无关的因素，如字长，影响被解释者的重要性分配，尽管解释直接传达的重要性。然后，我们表明，这种失真可以被削弱：我们提出了一种方法来调整显着性的基础上的模型估计的过度和不足的感知，并探索条形图作为替代热图显着性可视化。我们发现，这两种方法可以削弱特定因素的扭曲效应，从而更好地校准的解释的理解。
2022-06-17 cs.AI cs.CL cs.HC
Do Metrics for Counterfactual Explanations Align with User Perception?
Bielefeld University（比勒菲尔德大学）
研究通过对比算法度量与人类评价，发现两者相关性弱且依赖数据集，表明现有度量标准无法有效反映用户对解释质量的感知。
2026-03-16 cs.AI cs.HC
Characterizing Human Explanation Strategies to Inform the Design of Explainable AI for Building Damage Assessment
Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
可解释人工智能（XAI）是一种支持人类与人工智能协作执行高风险视觉检测任务的有前途的方法，例如来自卫星图像的损坏检测任务，因为全自动方法不太可能完全安全可靠。然而，大多数现有的XAI技术并不了解人类对解释的特定任务需求。因此，我们朝着了解人类在损伤检测任务中需要什么形式的XAI迈出了第一步。我们进行了一项在线众包研究，以了解人们在根据卫星图像评估建筑物损坏的严重程度时如何解释自己的评估。通过对60名群众工作者的研究，我们发现了人类用来解释他们的视觉损害评估的六种主要策略。我们目前的影响，我们的研究结果的设计XAI方法，这样的视觉检测环境，并讨论未来的研究机会。
2021-11-04 cs.AI cs.HC
ACE, Action and Control via Explanations: A Proposal for LLMs to Provide Human-Centered Explainability for Multimodal AI Assistants
Intel Labs（英特尔实验室）
针对制造领域多模态AI绩效支持系统的参与式设计与训练挑战，提出ACE范式，用大语言模型生成人类可理解的语义框架式解释，促成人机协作以优化模型，提升任务支持效果。
2025-02-27 cs.AI cs.HC
Joint Mind Modeling for Explanation Generation in Complex Human-Robot Collaborative Tasks
Center for Vision, Cognition, Learning, and Autonomy, UCLA（加州大学洛杉矶分校视觉、认知、学习与自主中心）；Massachusetts Institute of Technology（麻省理工学院）
人类合作者可以通过推断彼此的精神状态（例如，目标、信念和愿望）。这种意识沟通最大限度地减少了合作者的心理状态之间的差异，是人类ad-hoc团队成功的关键。我们认为，与人类用户合作的机器人应该表现出类似的教学行为。因此，在本文中，我们提出了一种新的可解释的AI（XAI）框架，用于在人机协作中实现类似人类的通信，其中机器人构建了人类用户的分层思维模型，并基于其对用户精神状态的在线贝叶斯推断来生成对自己思维的解释。为了评估我们的框架，我们进行了一个实时的人机烹饪任务的用户研究。实验结果表明，我们的方法生成的解释显着提高了机器人的协作性能和用户感知。代码和视频演示可以在我们的项目网站上找到：https://xfgao.github.io/xCookingWeb/。
2020-07-24 cs.AI cs.HC cs.RO
X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust
我们提出了一个新的可解释AI（XAI）框架，旨在通过解释来增加人类对AI机器的合理信任和依赖。我们提出解释作为一个迭代的通信过程，即对话，机器和人类用户之间。更具体地说，机器在对话中生成解释序列，该解释序列在每个对话回合考虑三个重要方面：（a）人类的意图（或好奇心）;（b）人类对机器的理解;以及（c）机器对人类用户的理解。为了做到这一点，我们使用心理理论（ToM），它可以帮助我们明确地建模人类的意图，由人类推断的机器思维以及由机器推断的人类思维。换句话说，这些心理理论中的外显心理表征被纳入学习的最佳解释政策，考虑到人类的感知和信念。此外，我们还表明，ToM有利于定量测量合理的人类信任的机器通过比较所有三个心理表征。我们将我们的框架应用于三个视觉识别任务，即图像分类，动作识别和人体姿态估计。我们认为，我们的理论为基础的解释是实用的，更自然的专家和非专家用户了解复杂的机器学习模型的内部工作。据我们所知，这是第一个使用ToM进行解释的工作。广泛的人类研究实验验证了我们的假设，表明所提出的解释在所有标准的定量和定性XAI评估指标（包括人类信任，依赖和解释满意度）方面显着优于最先进的XAI方法。
2019-09-15 cs.AI cs.CV cs.HC
On the Relationship Between Explanations, Fairness Perceptions, and Decisions
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
众所周知，基于AI的系统的建议可能是不正确或不公平的。因此，人们常常认为人类是最终的决策者。先前的工作认为，解释是帮助人类决策者提高决策质量和减轻偏见的重要途径，即，促进人类与AI的互补性。为了实现这些好处，解释应该使人类能够适当地依赖AI建议，并在必要时推翻算法建议，以提高决策的分配公平性。然而，文献并没有提供确凿的经验证据，说明解释是否在实践中能够实现这种互补性。在这项工作中，我们（a）提供了一个概念框架，阐明解释，公平的看法，依赖和分配的公平之间的关系，（b）应用它来理解（看似）矛盾的研究结果在解释和公平的交叉点，（c）得出凝聚力的影响，制定研究问题和实验设计。
2022-05-06 cs.AI cs.HC
