Information That Matters: Exploring Information Needs of People Affected by Algorithmic Decisions
University of Vienna（维也纳大学）；Faculty of Computer Science（计算机科学学院）
本文通过就业预测与健康监测用例的任务式访谈，构建XAI Novice Question Bank，揭示AI新手的信息需求、理解挑战及风险感知影响，并提出五项解释设计启示。
2024-10-28 cs.AI cs.HC
Informative Semi-Factuals for XAI: The Elaborated Explanations that People Prefer
School of Computer Science, University College Dublin, Dublin, Ireland（都柏林大学计算机科学学院）；Insight Research Ireland Centre for Data Analytics, Dublin, Ireland（爱尔兰洞察研究数据分析中心）
本文提出一种新的算法，生成更详细的半事实性解释，补充半事实性解释关于影响自动决策的隐藏特征信息，实验表明其解释信息丰富且质量高，用户更偏好此类解释。
2026-03-18 cs.AI cs.LG
In defence of post-hoc explanations in medical AI
Center for the Philosophy of AI（哲学人工智能中心）；University of Copenhagen（哥本哈根大学）；Department of Philosophy and History of Ideas（哲学与思想史系）；Aarhus University（奥胡斯大学）
本文为医疗AI中的事后解释辩护，指出其虽无法完全复制黑盒推理过程，但能提升用户理解、提高临床团队准确性并辅助医生决策。
2025-04-29 cs.AI cs.CY cs.HC
Semantic-Based Explainable AI: Leveraging Semantic Scene Graphs and Pairwise Ranking to Explain Robot Failures
Georgia Institute of Technology（佐治亚理工学院）
在非结构化的人类环境中进行交互时，偶尔的机器人故障是不可避免的。当这种故障发生时，普通人，而不是训练有素的技术人员，将首先做出反应。现有的自然语言解释手动注释来自环境的上下文信息，以帮助日常人们理解机器人故障。然而，这种方法缺乏普遍性和可扩展性。在我们的工作中，我们引入了一个更普遍的语义解释框架。我们的框架自动捕捉场景中的语义信息，为日常用户提供语义描述性解释。为了生成语义上接地的以失败为中心的解释，我们利用语义场景图从环境中提取空间关系和对象属性，以及成对排名。我们的研究结果表明，这些语义描述性的解释显着提高日常用户的能力，既确定故障，并提供援助的恢复比现有的国家的最先进的基于上下文的解释。
2021-08-08 cs.AI cs.RO
Where and When: Space-Time Attention for Audio-Visual Explanations
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
解释多模态决策者的决策需要确定来自两种模态的证据。XAI的最新进展为在静态图像上训练的模型提供了解释。然而，当涉及到在动态世界中对多种感觉模态进行建模时，如何揭开复杂多模态模型的神秘动力学仍然有待探索。在这项工作中，我们向前迈出了关键的一步，探索了视听识别的可学习解释。具体来说，我们提出了一种新的时空注意力网络，揭示了在空间和时间上的音频和视频数据的协同动态。我们的模型能够预测视听视频事件，同时通过定位相关视觉线索出现的位置以及预测的声音何时出现在视频中来证明其决策的合理性。我们在三个视听视频事件数据集上对我们的模型进行了基准测试，并与多个最近的多模态表示学习器和内在解释模型进行了广泛的比较。实验结果表明，我们的模型明显优于现有的方法对视听视频事件识别的性能。此外，我们进行了深入的研究，分析我们的模型的可解释性的基础上，通过扰动测试和指向游戏使用人类注释的鲁棒性分析。
2021-05-04 cs.AI cs.CV cs.LG
Human Interpretation of Saliency-based Explanation Over Text
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）；Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然可解释人工智能的许多研究都集中在产生有效的解释上，但很少有人致力于人们如何理解和解释解释的问题。在这项工作中，我们专注于这个问题，通过研究的显着性为基础的解释文本数据。文本模型的属性解释旨在传达输入文本的哪些部分比其他部分对模型决策更有影响力。许多当前的解释方法，例如基于梯度或基于Shapley值的方法，提供了数学上很好理解的重要性度量。一个人怎样才能明白自己的道理呢？他们的理解是否与解释试图传达的内容相匹配？我们实证调查的各种因素的输入，特征归因的解释，可视化程序，外行的解释解释的效果。我们询问众包工作者对英语和德语任务的解释，并考虑兴趣因素，将GAMM模型拟合到他们的回答。我们发现，人们经常误解的解释：表面和无关的因素，如字长，影响被解释者的重要性分配，尽管解释直接传达的重要性。然后，我们表明，这种失真可以被削弱：我们提出了一种方法来调整显着性的基础上的模型估计的过度和不足的感知，并探索条形图作为替代热图显着性可视化。我们发现，这两种方法可以削弱特定因素的扭曲效应，从而更好地校准的解释的理解。
2022-06-17 cs.AI cs.CL cs.HC
Towards Relatable Explainable AI with the Perceptual Process
National University of Singapore（新加坡国立大学）
机器学习模型需要提供对比解释，因为人们经常试图理解为什么会出现令人困惑的预测，而不是一些预期的结果。目前的对比解释是例子或原始特征之间的基本比较，由于它们缺乏语义意义，因此仍然难以解释。我们认为，解释必须更相关的其他概念，假设和协会。受认知心理学感知过程的启发，我们提出了XAI感知处理框架和RexNet模型，用于具有对比显着性，反事实合成和对比线索解释的相关可解释AI。我们研究了语音情感识别的应用，并实现了一个模块化的多任务深度神经网络来预测和解释语音中的情感。从有声思维和对照研究中，我们发现反事实解释是有用的，并进一步加强了语义线索，但不显着性解释。这项工作为感知应用提供了提供和评估相关对比可解释AI的见解。
2022-03-29 cs.AI cs.HC
Towards a Unified Evaluation of Explanation Methods without Ground Truth
Shanghai Jiao Tong University（上海交通大学）
本文提出了一套评价神经网络解释方法客观性的标准，这对可解释人工智能的发展至关重要，但也提出了重大挑战。核心挑战是人们通常无法获得神经网络的真实解释。为此，我们设计了四个指标来评估解释结果，而无需地面实况解释。我们的度量可以广泛地应用于解释神经网络的九种基准方法，这为解释方法提供了新的见解。
2019-11-20 cs.AI cs.CV cs.LG
Characterizing Human Explanation Strategies to Inform the Design of Explainable AI for Building Damage Assessment
Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
可解释人工智能（XAI）是一种支持人类与人工智能协作执行高风险视觉检测任务的有前途的方法，例如来自卫星图像的损坏检测任务，因为全自动方法不太可能完全安全可靠。然而，大多数现有的XAI技术并不了解人类对解释的特定任务需求。因此，我们朝着了解人类在损伤检测任务中需要什么形式的XAI迈出了第一步。我们进行了一项在线众包研究，以了解人们在根据卫星图像评估建筑物损坏的严重程度时如何解释自己的评估。通过对60名群众工作者的研究，我们发现了人类用来解释他们的视觉损害评估的六种主要策略。我们目前的影响，我们的研究结果的设计XAI方法，这样的视觉检测环境，并讨论未来的研究机会。
2021-11-04 cs.AI cs.HC
Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience
Stony Brook University（石溪大学）；IBM Research AI（IBM研究院人工智能部门）
机器学习技术的广泛采用为能够训练ML模型的人创造了快速增长的需求。一些人主张使用“机器教师”一词来指代将领域知识注入ML模型的人。一个有前途的学习范例是主动学习（AL），通过它，模型智能地选择实例来向机器教师查询标签。然而，在当前的人工智能设置中，人类-人工智能界面仍然是最小的和不透明的。我们开始考虑将人工智能解释作为教学机器的人机界面的核心元素。当一个人类学生学习时，提出自己的推理并征求老师的反馈是一种常见的模式。当ML模型学习并仍然犯错误时，人类教师应该能够理解错误背后的推理。当模型成熟时，机器教师应该能够认识到它的进步，以便信任并对他们的教学结果充满信心。为了实现这一愿景，我们提出了一种新的可解释主动学习（XAL）范式，通过将最近兴起的可解释AI（XAI）领域的技术引入AL设置。我们进行了一项实证研究，比较模型的学习成果，反馈内容和经验与XAL，传统的AL和协同学习（提供模型的预测，没有解释）。我们的研究显示了人工智能解释作为机器教学接口的好处-支持信任校准并实现丰富形式的教学反馈，以及潜在的缺点-与模型判断和认知工作量的锚定效应。我们的研究还揭示了调解机器教师对AI解释的接受的重要个人因素，包括任务知识，AI经验和认知需求。通过反思的结果，我们建议未来的方向和设计的XAL的影响。
2020-09-30 cs.AI cs.HC cs.LG
Mediating Community-AI Interaction through Situated Explanation: The Case of AI-Led Moderation
Pennsylvania State University（宾夕法尼亚州立大学）；College of Information Sciences and Technology（信息科学与技术学院）
人工智能（AI）已经在我们的日常技术中变得普遍，并影响着个人和社区。可解释人工智能（XAI）奖学金探索了解释和技术解释的哲学本质，这些解释通常由实验室环境中的专家驱动，对于外行人来说可能很难理解。此外，现有的XAI研究往往侧重于个人层面。人们如何理解和解释社区背景下人工智能主导的决策，目前还知之甚少。从XAI和活动理论，一个基础的HCI理论，我们的理论解释是如何位于一个社区的共同价值观，规范，知识和实践，以及如何位于解释调解社区人工智能的互动。然后，我们提出了一个人工智能主导的适度的案例研究，社区成员共同开发人工智能主导的决策的解释，其中大部分是自动化的惩罚。最后，我们讨论了这个框架在CSCW，HCI和XAI的交叉点的影响。
2020-08-19 cs.AI cs.CY cs.HC
Measure Utility, Gain Trust: Practical Advice for XAI Researcher
School of Engineering and Applied Sciences Washington State University（华盛顿州立大学工程与应用科学学院）；Data Sciences and Analytics Group Pacific Northwest National Laboratory（太平洋西北国家实验室数据科学与分析组）；Cognitive Engineering Center Georgia Institute of Technology（佐治亚理工学院认知工程中心）；Visual Analytics Group Pacific Northwest National Laboratory（太平洋西北国家实验室可视化分析组）
研究机器学习模型的解释，即，可解释人工智能（XAI）在过去十年中与深度人工神经网络一起出现了相应的指数增长。由于历史原因，解释和信任一直交织在一起。然而，对信任的关注过于狭隘，并导致研究界偏离了可靠的实证方法，这些方法产生了更多关于人和解释的科学知识。为了解决这个问题，我们为XAI领域的研究人员提供了一条切实可行的道路。我们建议研究人员关注机器学习解释的效用，而不是信任。我们概述了五个广泛的用例，其中解释是有用的，对于每个用例，我们描述了依赖于客观经验测量和可证伪假设的伪实验。我们相信，这种实验的严谨性是必要的，有助于科学知识在XAI领域。
2020-09-27 cs.AI cs.HC
ExAID: A Multimodal Explanation Framework for Computer-Aided Diagnosis of Skin Lesions
German Research Center for Artificial Intelligence (DFKI) GmbH（德国人工智能研究中心）；Technical University Kaiserslautern（凯泽斯劳滕工业大学）；University Hospital Münster（明斯特大学医院）；University Hospital of Düsseldorf（杜塞尔多夫大学医院）；School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST)（国立科技大学电气工程与计算机科学学院）；Deep Learning Laboratory, National Center of Artificial Intelligence（国家人工智能中心深度学习实验室）
在临床工作流程中成功部署基于人工智能的计算机辅助诊断（CAD）系统的一个主要障碍是缺乏透明的决策。虽然常用的可解释的人工智能方法提供了一些对不透明算法的见解，但这种解释通常是令人费解的，除非是训练有素的专家，否则不容易理解。皮肤镜图像对皮肤病变恶性程度的判断需要特别清晰的解释，因为潜在的医学问题定义本身就不明确。这项工作提出了ExAID（皮肤病学可解释人工智能），这是一种用于生物医学图像分析的新框架，提供了多模态的基于概念的解释，包括易于理解的文本解释，并辅以视觉地图来证明预测的合理性。ExAID依赖于概念激活向量将人类概念映射到潜在空间中的任意深度学习模型所学习的概念，并依赖于概念定位图来突出输入空间中的概念。相关概念的识别，然后用来构建细粒度的文本解释，辅以概念明智的位置信息，以提供全面和连贯的多模态解释。所有信息都在诊断界面中全面呈现，供临床常规使用。一种教育模式为数据和模型探索提供了数据库级别的解释统计和工具，以帮助医学研究和教育。通过严格的定量和定性评估ExAID，我们显示了多模态解释CAD辅助的情况下，即使在错误的预测的效用。我们相信ExAID将为皮肤科医生提供一个他们都理解和信任的有效筛查工具。此外，它将是在其他生物医学成像领域的类似应用的基础。
2022-01-04 cs.AI cs.LG eess.IV
Not All Explanations Are Sought: Information-Seeking Psychology for Human-Centered XAI
CNR-ISTI（意大利国家研究委员会信息科学与技术研究所）
该立场论文提出HCXAI应结合信息寻求心理学，分析其三类预期效用及相关认知偏差的两种失效模式，针对智能体AI系统的挑战，倡导设计让解释被用户主动寻求的HCXAI系统。
2026-08-31 cs.AI cs.HC
The Influence of Explainable Artificial Intelligence: Nudging Behaviour or Boosting Capability?
University College London（伦敦大学学院）
本文旨在为分析可解释人工智能（XAI）如何影响人们的行为和认知提供一个理论解释和相应的范式。它利用了行为改变研究的见解。思考行为改变技术的两个值得注意的框架是推动-旨在影响行为-和促进-旨在培养能力。它提出，本地和概念为基础的解释更接近推动，而全球和反事实的解释更接近助推。它概述了一种衡量XAI影响力的方法，并论证了理解XAI的好处，以实现最佳、安全和道德的人类-AI合作。
2022-10-05 cs.AI cs.HC
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin（都柏林大学）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk科学基金会爱尔兰研究中心）
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能（XAI）问题的流行解决方案，因为它们具有心理有效性，跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法，声称可以产生类似于人们偏好的合理解释，但实际上很少有用户进行过测试（$\sim7\%$）。因此，这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决，该方法（i）在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释，然后（ii）将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明，人类不“最低限度地编辑”图像时，产生反事实的解释。相反，它们会进行更大的、“有意义的”编辑，以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
"There Is Not Enough Information": On the Effects of Explanations on Perceptions of Informational Fairness and Trustworthiness in Automated Decision-Making
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
自动决策系统（ADS）越来越多地用于后续决策。这些系统通常依赖于复杂但不透明的机器学习模型，这些模型不允许理解给定决策是如何得出的。在这项工作中，我们进行了一项人类受试者研究，以评估人们对信息公平性的看法（即，人们是否认为他们被给予了关于过程及其结果的足够的信息和解释）以及当被提供关于系统的不同类型的信息时基础ADS的可信度。更具体地说，我们在自动贷款审批领域实例化ADS，并生成文献中常用的不同解释。我们通过向特定人群提供与其他人相同的解释以及额外的解释，随机分配了研究参与者看到的信息量。从我们的定量分析中，我们观察到不同数量的信息以及人们的（自我评估）AI素养显着影响感知的信息公平性，这反过来又与ADS的感知可信度呈正相关。定性反馈的综合分析揭示了人们对解释的渴望，其中包括（i）一致性（与人们的期望和不同的解释），（ii）特征和结果之间的单调关系的披露，以及（iii）建议的可操作性。
2022-05-11 cs.AI cs.HC
The Who in XAI: How AI Background Shapes Perceptions of AI Explanations
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软公司）；Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）
本研究通过混合方法对比有/无AI背景人群对不同AI解释的感知，发现两类群体均无根据地信任数字且各在非设计预期的解释中发现价值，揭示AI解释的潜在负面后果并提出设计干预方案。
2024-03-05 cs.AI cs.CY cs.HC
Explaining Explaining
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Miller School of Medicine（米勒医学院）；University of Miami（迈阿密大学）
针对机器学习黑箱无法提供真实解释的问题，本文提出一种以知识基础设施为主、机器学习为辅的混合认知智能体方法，并通过模拟机器人协作搜索任务展示其解释能力。
2024-09-27 cs.AI cs.MA cs.RO
Appropriate Fairness Perceptions? On the Effectiveness of Explanations in Enabling People to Assess the Fairness of Automated Decision Systems
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
人们经常认为，解释自动决策系统（ADS）的一个目标是促进积极的看法（例如，公平性或可信度）。然而，这种观点隐含了一个假设，即给定的ADS是公平和值得信赖的。如果ADS发布了不公平的结果，那么人们可能会期望对该系统的运作的解释将揭示其缺点，从而导致公平感的下降。因此，我们建议，更有意义的是根据解释的有效性来评估它们，使人们能够适当地评估质量（例如，一个关联的ADS。我们认为，一个有效的解释，公平的看法应该增加，当且仅当基础ADS是公平的。在这项正在进行的工作中，我们介绍了适当的公平感的必要条件，提出了一种新的研究设计，以评估它，并概述了下一步的综合实验。
2021-08-14 cs.AI cs.HC
Reasons People Want Explanations After Unrecoverable Pre-Handover Failures
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
大多数关于人-机器人切换的研究都集中在舒适和高效的HRI的开发上，很少有人研究切换失败。如果在交互开始时发生故障，则会阻止整个切换过程并破坏信任。在这里，我们分析的根本原因，为什么人们希望在一个机器人不能拥有的对象移交的情况下的解释。结果表明，参与者对他们的请求设定了期望，机器人应该在失败后提供解释而不是非语言提示。参与者还希望他们的移交请求可以由机器人完成，如果不能，希望能够根据所提供的解释修复机器人或更改请求。
2021-11-29 cs.AI cs.HC cs.RO
Evidence-based explanation to promote fairness in AI systems
IBM Research（IBM研究院）
随着人工智能（AI）技术与每个系统的联系越来越紧密，人们正在使用AI来对日常活动做出决策。在简单的情况下，如Netflix的建议，或在更复杂的情况下，如司法场景，人工智能是人们决策的一部分。人们做出决定，通常，他们需要向他人或在某些事情上解释他们的决定。在人的专门知识对决策至关重要的情况下，这一点尤其重要。为了在人工智能的支持下解释他们的决策，人们需要了解人工智能是如何成为决策的一部分的。在考虑公平性方面时，人工智能在决策过程中的作用变得更加敏感，因为它影响到最终决策者的公平性和责任。我们一直在探索一种基于证据的解释设计方法，以“讲述决策的故事”。在这份立场文件中，我们讨论了我们在文献中使用公平敏感案例的AI系统方法。
2020-03-03 cs.AI cs.HC
Perceptions of Fairness and Trustworthiness Based on Explanations in Human vs. Automated Decision-Making
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
自动决策系统（ADS）在许多高风险领域已经变得无处不在。这些系统通常涉及复杂但不透明的人工智能（AI）技术，这些技术很少允许完全理解其内部工作原理，特别是对于受影响的个人。因此，ADS容易出现监督和校准不足，这可能导致不期望的（例如，不公平的结果。在这项工作中，我们与200名参与者进行了一项在线研究，以检查人们对ADS的公平性和可信赖性的看法，并与人类而不是ADS做出高风险决策的情况进行比较-我们提供了关于两种情况下决策的完全相同的解释。令人惊讶的是，我们发现人们认为ADS比人类决策者更公平。我们的分析还表明，人们的人工智能素养会影响他们的看法，这表明人工智能素养较高的人更倾向于ADS而不是人类决策者，而人工智能素养较低的人在他们的看法上没有显着差异。
2021-09-13 cs.AI cs.HC
Local Interpretable Model Agnostic Shap Explanations for machine learning models
ABB Ability Innovation Center, Asea Brown Boveri Company（ABB集团ABB能力创新中心）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
随着基于人工智能（AI）的解决方案和分析计算引擎技术的进步，机器学习（ML）模型变得越来越复杂。这些模型中的大多数通常被用作黑箱，没有用户可解释性。如此复杂的机器学习模型使人们更难理解或信任他们的预测。有各种各样的框架使用可解释的AI（XAI）方法来证明ML模型的可解释性和可解释性，以使其预测更加可信。在这篇手稿中，我们提出了一种方法，我们定义为本地可解释模型不可知的形状解释（LIMASE）。所提出的ML解释技术使用LIME范式下的Shapley值来实现以下（a）通过使用局部忠实和可解释的决策树模型来解释任何模型的预测，其中树解释器用于计算Shapley值并给出视觉上可解释的解释。(b)通过绘制几个数据点的局部解释，提供视觉上可解释的全局解释。(c)演示子模块优化问题的解决方案。(d)还带来了对区域解释的洞察e）与使用内核解释器相比更快的计算。
2022-10-10 cs.AI cs.LG
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin（都柏林大学学院）；Accenture Labs（埃森哲实验室）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
反事实解释是一种越来越受欢迎的事后解释形式，这是由于它们（i）跨问题领域的适用性，（ii）建议的法律合规性（例如，与GDPR），以及（iii）依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例，但我们探索了一种新的用例，其中使用“组反事实”（例如，以突出显示一组患者中的疾病的重复模式）。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的，组反事实算法，以产生高覆盖率的解释，是忠实于被解释的模型。该解释策略也在一项大型对照用户研究（N=207）中进行了评估，使用客观（即，准确性）和主观性（即，信心、解释满意度和信任）心理测量。结果表明，群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Towards a Shapley Value Graph Framework for Medical peer-influence
Swansea University（斯旺西大学）；University of Plymouth（普利茅斯大学）；Nanyang Technological University（南洋理工大学）
可解释人工智能（XAI）是人工智能（AI）的一个子领域，处于AI研究的前沿。在XAI中，特征归因方法以特征重要性的形式产生解释。人们经常使用特征重要性作为干预的指导。然而，现有的特征归因方法的局限性在于缺乏对干预后果的解释。换句话说，虽然特征归因方法突出了对某种预测的贡献，但没有研究特征与干预后果之间的关系。本文的目的是引入一个新的框架，称为对等影响框架，以更深入地研究使用图形表示的特征间交互的解释，以提高黑箱机器学习模型的可解释性并通知干预。
2022-02-08 cs.AI
Do People Engage Cognitively with AI? Impact of AI Assistance on Incidental Learning
Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）；Columbia University（哥伦比亚大学）
当人们在做出困难决定时接受建议时，他们往往会在那一刻做出更好的决定，并在这个过程中增加他们的知识。然而，这种附带学习只有在人们认知地参与他们收到的信息并深思熟虑地处理这些信息时才能发生。人们如何处理他们从人工智能那里得到的信息和建议，他们是否深入地参与其中以实现学习？为了回答这些问题，我们进行了三项实验，要求个人做出营养决策，并收到模拟的人工智能建议和解释。在第一个实验中，我们发现，当人们在做出选择之前同时得到建议和解释时，他们做出的决定比没有得到这样的帮助时更好，但他们没有学习。在第二个实验中，参与者首先做出了自己的选择，然后才看到人工智能的建议和解释;这种情况也导致了决策的改善，但没有学习。然而，在我们的第三个实验中，参与者只得到了人工智能的解释，但没有建议，他们必须自己做出决定。这种情况导致了更准确的决策和学习收益。我们假设，在这种情况下，学习的收获是由于更深入地参与了做出决定所需的解释。这项工作提供了一些迄今为止最直接的证据，表明将解释与人工智能生成的建议一起提供可能不足以确保人们仔细地使用人工智能提供的信息。这项工作还提出了一种技术，可以实现附带学习，并可以帮助人们更仔细地处理人工智能的建议和解释。
2022-02-11 cs.AI cs.HC cs.LG
Racial/Ethnic Categories in AI and Algorithmic Fairness: Why They Matter and What They Represent
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对AI公平研究中种族类别缺乏论证与情境化的问题，分析其导致的数据代表性和模型性能伤害，并提出CIRCSheets框架以记录类别选择与种族化假设、提升透明度。
2024-04-10 cs.AI cs.CY
The Utility of "Even if..." Semifactual Explanation to Optimise Positive Outcomes
Massachusetts Institute of Technology（麻省理工学院）；Tencent Security Big Data Lab（腾讯安全大数据实验室）
本文提出用“即使……”半事实解释来优化积极结果，引入增益概念和因果形式化，并通过实验与用户研究证明其优于传统反事实解释。
2023-10-29 cs.AI cs.LG
Good-looking but Lacking Faithfulness: Understanding Local Explanation Methods through Trend-based Testing
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文针对局部解释方法忠实性测试中的随机主导问题，提出三种基于趋势的忠实性测试方法，并在图像、自然语言和安全任务上验证了其优于传统测试，首次成功评估复杂数据上的解释方法并显著提升下游模型调试效果。
2023-09-09 cs.AI cs.CR cs.LG
Towards Smart Fake News Detection Through Explainable AI
National Institute of Technology Calicut（国家理工学院卡利卡特分校）
由于社交媒体网站的受欢迎程度，人们现在将其视为唯一的信息来源。大多数人通过社交媒体获取新闻。与此同时，近年来假新闻在社交媒体平台上呈指数级增长。几种基于人工智能的检测假新闻的解决方案已经显示出令人鼓舞的结果。另一方面，这些检测系统缺乏解释能力，即，解释他们为什么做出预测的能力。本文重点介绍了可解释的假新闻检测的最新技术水平。我们讨论了当前基于人工智能的可解释假新闻检测模型的缺陷，并介绍了我们正在进行的多模态可解释假新闻检测模型的研究。
2022-07-23 cs.AI cs.IR cs.SI
Explaining Models: An Empirical Study of How Explanations Impact Fairness Judgment
确保机器学习系统的公平性是一个人在回路的过程。它依赖于开发人员、用户和公众来识别公平性问题并进行改进。为了促进这一过程，我们需要有效、公正和用户友好的解释，让人们可以自信地依赖。为此，我们进行了一项实证研究，其中包括四种编程生成的解释，以了解它们如何影响人们对ML系统的公平性判断。通过一项涉及160多名土耳其机器人工人的实验，我们发现：1）某些解释被认为是天生不公平的，而其他解释可以增强人们对算法公平性的信心; 2）不同的公平性问题-例如模型范围内的公平性问题与特定情况下的公平性差异-可以通过不同风格的解释更有效地暴露出来; 3）个体差异，包括先前的立场和算法公平性的判断标准，影响人们对不同风格解释的反应。最后，我们讨论了如何提供个性化和自适应的解释来支持ML系统的公平性判断。
2019-01-23 cs.CY cs.HC
Contrastive Explanations That Anticipate Human Misconceptions Can Improve Human Decision-Making Skills
Harvard University（哈佛大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对AI决策支持下人类决策能力难提升甚至退化的问题，提出生成以人为中心的对比性解释的框架，实验证明其可在不降低决策准确率的同时提升人类独立决策技能，为缓解技能退化、促进人机协同中人类能力发展提供新思路。
2025-03-19 cs.AI cs.HC
Levels of explainable artificial intelligence for human-aligned conversational explanations
Deakin University（迪肯大学）；Federation University（联邦大学）
在过去的几年里，可解释人工智能（XAI）和紧密结合的可解释机器学习（IML）的研究迅速增长。这一增长的驱动力包括最近的立法变化和行业和政府增加投资，以及公众日益关注。人们每天都受到自主决策的影响，公众需要了解决策过程才能接受结果。然而，绝大多数的应用程序的XAI/IML集中在提供低层次的“狭隘”的解释，个人的决定是如何达成的基础上，一个特定的数据。虽然重要，但这些解释很少提供对代理的见解：信念和动机;其他（人类，动物或AI）代理意图的假设;外部文化期望的解释;或者用于生成自己的解释的过程。然而，我们认为，所有这些因素对于提供人们接受和信任人工智能决策所需的解释深度至关重要。本文旨在定义解释的层次，并描述如何将它们整合起来，以创建一个人性化的会话解释系统。在这样做的时候，本文将调查目前的方法，并讨论不同的技术，以实现这些水平与广泛的可解释人工智能（Broad-XAI）的整合，从而走向高层次的“强”的解释。
2021-07-07 cs.AI cs.HC
Play MNIST For Me! User Studies on the Effects of Post-Hoc, Example-Based Explanations & Error Rates on Debugging a Deep Learning, Black-Box Classifier
School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院）；Insight Centre for Data Analytics（数据分析洞察中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
本文报道了两个实验（N=349）的影响事后解释的例子和出错率对人们的看法的黑箱分类器。这两个实验都表明，当人们得到的情况下，从实施ANN CBR双系统的解释，他们认为错过分类更正确。他们还表明，当出错率增加到4%以上时，人们对分类器的信任度降低，认为它不太正确、不太合理、不太可信。讨论了这些结果对XAI的影响。
2020-09-10 cs.HC cs.LG
Can LLM Code Explanations Adapt to Diverse Problem-Solvers' Needs?
IBM Research（IBM研究）；Alinia AI（Alinia人工智能）；Oregon State University（俄勒冈州立大学）
研究LLM代码解释能否适应不同问题解决者需求，基于包容性设计方法开发提示，用自然语言处理技术从六个LLM生成代码解释，发现13种语言适应分类法，贡献两种问题解决适应方法。
2026-07-21 cs.HC cs.SE
What Do People Want to Know About Artificial Intelligence (AI)? The Importance of Answering End-User Questions to Explain Autonomous Vehicle (AV) Decisions
University of Michigan（密歇根大学）
本文通过两项用户研究识别潜在乘客关于自动驾驶AI的疑问，并证明交互式文本解释比单纯观察更能提升其对AV决策的理解。
2025-05-09 cs.AI cs.HC
Explanations Can Reduce Overreliance on AI Systems During Decision-Making
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
之前的工作已经发现了一种威胁人类AI决策团队性能的弹性现象：过度依赖，当人们同意AI时，即使它是不正确的。令人惊讶的是，与只提供预测相比，当人工智能为其预测提供解释时，过度依赖并没有减少。有些人认为过度依赖是认知偏差或未校准的信任的结果，将过度依赖归因于人类认知的必然性。相比之下，我们的论文认为，人们会从战略上选择是否参与人工智能的解释，这从经验上证明，在某些情况下，人工智能的解释会减少过度依赖。为了实现这一目标，我们在成本效益框架中正式确定了这一战略选择，在这个框架中，参与任务的成本和收益与依赖人工智能的成本和收益进行了权衡。我们在迷宫任务中操纵成本和收益，参与者与模拟AI合作找到迷宫的出口。通过5个研究（N = 731），我们发现，成本，如任务难度（研究1），解释难度（研究2，3），和利益，如金钱补偿（研究4）影响过度依赖。最后，研究5采用认知努力折扣范式来量化不同解释的效用，为我们的框架提供进一步的支持。我们的研究结果表明，文献中发现的一些零效应可能部分是由于解释不足以降低验证AI预测的成本。
2023-01-26 cs.AI cs.HC
"You do understand that people don't trust technology?": Explaining Trusted Execution Environments to Non-Experts
Colorado State University（科罗拉多州立大学）；Carnegie Mellon University（卡内基梅隆大学）；IST University of Lisbon, INESC-ID（里斯本理工大学，INESC-ID）
研究通过文本解释向非专家介绍可信执行环境（TEE），发现非技术性解释（突出TEE可防范的具体威胁）最能提升理解，但对使用意愿影响甚微。
2026-05-25 cs.CR cs.HC
"Cold, Calculated, and Condescending": How AI Identifies and Explains Ableism Compared to Disabled People
Cornell University（康奈尔大学）
本研究通过200条针对残障人士的评论数据集，对比AI模型与190名残障参与者的评分，发现AI低估毒性且对健全中心主义评估零散，其解释缺乏细微差别且带有评判性，倡导在AI审核中纳入交叉性残障视角。
2025-05-31 cs.AI cs.HC
Legally-Informed Explainable AI
本文针对高风险领域AI解释需具备可行动性和可抗辩性的需求，提出法律知情的可解释人工智能，描述三类利益相关者需求并提供整合法律考量的可解释AI系统设计实用建议。
2025-04-14 cs.HC
Explainable agency: human preferences for simple or complex explanations
本研究提出一种抽象因果推理链的解释模型，通过在线实验发现，人们对解释的满意度取决于因果关系的连贯性，而非简单或复杂的偏好，关键在于情境中相关的因果信息类型。
2024-03-18 cs.HC
Let people fail! Exploring the influence of explainable virtual and robotic agents in learning-by-doing tasks
Italian Institute of Technology（意大利技术研究院）；University of Genoa（热那亚大学）；Paderborn University（帕德博恩大学）
本研究比较了经典解释与伙伴感知解释在动手学习任务中对人类行为的影响，发现独立完成任务的参与者比由可解释AI辅助的参与者获得更优的知识获取能力。
2024-11-15 cs.AI cs.HC cs.RO
LEx: A Framework for Operationalising Layers of Machine Learning Explanations
The University of Melbourne（墨尔本大学）；Georgia Institute of Technology（佐治亚理工学院）
有几个社会因素会影响人们对人工智能解释的反应，这些解释用于证明影响他们个人的人工智能决策。在这份立场文件中，我们定义了一个称为\textit{layers of explanation}（LEx）的框架，通过这个框架，我们可以评估不同类型解释的适当性。该框架使用的概念\textit{sensitivity}（情绪反应）的功能和\textit{stakes}（决策的后果）在一个域中，以确定是否不同类型的解释是\textit{appropriate}在给定的上下文中。我们展示了如何使用该框架来评估不同领域中不同类型解释的适当性。
2021-04-15 cs.AI cs.HC cs.LG
"If it didn't happen, why would I change my decision?": How Judges Respond to Counterfactual Explanations for the Public Safety Assessment
许多研究人员和政策制定者对算法解释能够实现更公平和负责任的决策表示兴奋。然而，最近的实验研究发现，解释并不总是改善人类对算法建议的使用。在这项研究中，我们阐明了人们如何解释和回应反事实解释（CFE）-解释表明模型的输出将如何随着其输入的边际变化而变化-在审前风险评估工具（PRAIs）的背景下。我们与八位现任美国州法院法官进行了有声思维试验，为他们提供了包括CFE在内的PRAI的建议。我们发现，CFE并没有改变法官的决定。起初，法官将反事实误解为被告的真实变化，而不是假设变化。一旦法官理解了反事实的含义，他们就会忽略它们，并表示他们的角色只是对有关的实际被告做出决定。法官们还表达了无视或遵循PRAI建议而不采取CFEs的各种原因。这些结果补充了文献，详细说明了人们对算法和解释的反应方式。他们还强调了与通过解释改善人类算法协作相关的新挑战。
2022-08-28 cs.HC
Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking
University of Copenhagen（哥本哈根大学）；Linköping University（林雪平大学）
本研究探讨了证据和自然语言解释在AI事实核查中的作用，发现证据对验证AI声明至关重要，且自然语言解释在某些情况下会降低证据的使用频率。
2026-01-16 cs.HC
Tradeoff-Focused Contrastive Explanation for MDP Planning
Carnegie Mellon University（卡内基梅隆大学）
随着自动化决策和规划越来越多地用于人们生活的许多方面，最终用户对自动化代理的信任非常重要。在实际的规划应用中，往往涉及多个优化目标。因此，规划代理的决策可能涉及竞争目标之间的复杂权衡。最终用户可能很难理解为什么代理根据其目标值决定特定的规划解决方案。其结果是，用户可能不知道代理是否作出正确的决定，并可能缺乏信任it.In这项工作中，我们贡献了一种方法，基于对比解释，使多目标MDP规划代理解释其决策的方式，沟通其权衡的理由，在域级别的概念。我们进行了人类受试者的实验，以评估我们的解释方法在移动机器人导航域的有效性。结果表明，我们的方法显着提高了用户的理解，并在他们的理解，规划代理的权衡理由的信心。
2020-08-02 cs.AI cs.HC
The Impact of Explanations on Fairness in Human-AI Decision-Making: Protected vs Proxy Features
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
研究人类-AI决策中解释、偏见披露与代理相关性披露对公平感知和人口统计均等的影响，发现解释利于识别直接偏见却会增强对偏见的认同，披露可缓解间接偏见问题。
2024-03-14 cs.AI cs.HC
On Evaluating Explanation Utility for Human-AI Decision Making in NLP
Kahlert School of Computing（卡尔勒特计算机学院）；University of Utah（犹他大学）
本研究评估 NLP 中解释对人机决策的效用，发现多数数据集不适用，且提供 AI 预测（含解释）不提升决策速度，建议改进自动委托机制。
2024-11-05 cs.AI cs.CL cs.HC
What Large Language Models Know and What People Think They Know
University of California, Irvine（加利福尼亚大学欧文分校）
本文针对LLMs融入决策过程中的信任问题，探究校准差距和辨别差距，发现用户易因默认/更长解释高估模型准确性，调整解释以反映模型内部置信度可缩小差距，提升用户对LLM准确性的感知。
2025-02-13 cs.AI cs.CL cs.HC
An Empirical Evaluation of Predicted Outcomes as Explanations in Human-AI Decision-Making
在这项工作中，我们在基于预测结果的解释存在的情况下，实证研究人类人工智能决策。这种类型的解释在推理时为人类决策者提供了每个决策备选方案的预期结果-其中预测结果通常以特定问题的单位（例如，以美元计的利润）。我们进行了一项试点研究，在点对点贷款的背景下，以评估提供预测的结果作为解释，以奠定研究参与者的影响。我们的初步研究结果表明，与没有提供解释或基于特征的解释的情况相比，人们对人工智能建议的依赖增加了，特别是当人工智能建议不正确时。这导致区分正确和不正确的AI建议的能力受到阻碍，最终可能会以负面的方式影响决策质量。
2022-08-30 cs.HC
The What, the Why, and the How of Artificial Explanations in Automated Decision-Making
City, University of London（伦敦大学城市学院）
越来越多的人工智能以自动化系统的形式融入决策过程，不仅突出了决策理论对自动化系统的重要性，而且还强调了这些决策过程对参与其中的人的解释的必要性。传统实在论对解释的解释是一种关系，这种关系在一个人和一个人之间永远保持（或不保持），不足以解释人为决策程序所需要的解释概念。我们提供了一个替代帐户的解释，用于自动决策的背景下，使解释的认知现象，是依赖于上下文。对解释的这种解释更好地说明了我们谈论和使用解释和衍生概念（如“解释力”）的方式，也使我们能够区分不需要具有认识方面的原因或原因与具有认识方面的解释。在此理论背景下，我们然后审查现有的方法来解释人工智能和机器学习，并建议desiderata真正可解释的决策系统应该履行。
2018-08-21 cs.AI cs.CY cs.HC
Human Decision-Making with Persuasive and Narrative LLM Explanations
DEVCOM Army Research Laboratory（美国陆军研发实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）
通过大规模行为实验，研究LLM生成的叙事解释的说服力程度对人类决策准确性的影响，发现叙事解释未显著提升决策准确性，但增加了对AI的依赖，且高说服力叙事可能损害决策反应时间和辨别能力。
2026-05-22 cs.AI cs.HC
The Drawback of Insight: Detailed Explanations Can Reduce Agreement with XAI
本文通过实验发现高神经质、低技术舒适度的用户更认同无解释的AI建议，主张XAI设计应根据用户人格特质决定是否提供解释，以提升人机协作效果。
2024-04-30 cs.HC
