A Meta-Analysis of the Utility of Explainable Artificial Intelligence in Human-AI Decision-Making
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人工智能(AI)辅助决策的研究正在经历巨大的增长,越来越多的研究评估了AI与可解释AI(XAI)领域的技术对人类决策性能的影响。然而,由于任务和实验设置因不同的目标而异,一些研究报告通过XAI提高了用户决策性能,而另一些研究报告的效果可以忽略不计。因此,在这篇文章中,我们提出了一个初步的综合现有的研究XAI研究使用统计荟萃分析,以获得跨现有研究的影响。我们观察到XAI对用户性能的统计积极影响。此外,第一批结果表明,人工智能决策往往会在文本数据上产生更好的任务性能。然而,与单独的AI预测相比,我们发现解释对用户的表现没有影响。我们最初的综合研究引发了未来的研究,调查潜在的原因,并有助于进一步开发算法,通过提供有意义的解释,有效地使人类决策者受益。
2022-06-01 cs.AI cs.HC
The Utility of "Even if..." Semifactual Explanation to Optimise Positive Outcomes
Massachusetts Institute of Technology(麻省理工学院);Tencent Security Big Data Lab(腾讯安全大数据实验室)
本文提出用“即使……”半事实解释来优化积极结果,引入增益概念和因果形式化,并通过实验与用户研究证明其优于传统反事实解释。
2023-10-29 cs.AI cs.LG
Towards Dys-XAI: Influence-Based Explanations for Dysarthria Severity Assessment
University of Southampton(南安普顿大学);Imperial College London(帝国理工学院);University of Edinburgh(爱丁堡大学);King's College London(伦敦国王学院)
提出基于影响的实例级可解释性框架,通过支持性和竞争性训练样本解释构音障碍严重程度评估的深度学习模型决策,并通过删除实验验证解释有效性。
2026-06-23 cs.AI
The Influence of Explainable Artificial Intelligence: Nudging Behaviour or Boosting Capability?
University College London(伦敦大学学院)
本文旨在为分析可解释人工智能(XAI)如何影响人们的行为和认知提供一个理论解释和相应的范式。它利用了行为改变研究的见解。思考行为改变技术的两个值得注意的框架是推动-旨在影响行为-和促进-旨在培养能力。它提出,本地和概念为基础的解释更接近推动,而全球和反事实的解释更接近助推。它概述了一种衡量XAI影响力的方法,并论证了理解XAI的好处,以实现最佳、安全和道德的人类-AI合作。
2022-10-05 cs.AI cs.HC
How model accuracy and explanation fidelity influence user trust
GESIS - Leibniz Institute of the Social Sciences(GESIS——莱布尼茨社会科学研究所);University of Twente(特文特大学)
机器学习系统已经在诸如营销、金融或数据采掘的领域中变得流行。虽然它们非常准确,但复杂的机器学习系统给工程师和用户带来了挑战。它们固有的复杂性使得不可能容易地判断它们的公平性以及变量和类之间统计学关系的正确性。可解释的人工智能旨在通过对解释和分类器进行建模来解决这一挑战,从而可能提高用户的信任度和接受度。然而,用户不应该被有说服力的,但不真实的解释所愚弄。因此,我们进行了一项用户研究,我们调查模型的准确性和解释保真度的影响,即如何真实的解释代表的基础模型,对用户的信任。我们的研究结果表明,准确性比可解释性更重要的用户信任。为分类结果添加解释可能会损害信任,例如添加无意义的解释时。我们还发现,用户不会被高保真的解释欺骗,从而信任一个糟糕的分类器。此外,我们发现观察(隐式)和自我报告(显式)的信任之间的不匹配。
2019-07-26 cs.AI cs.CY cs.LG
Tell me more: Intent Fulfilment Framework for Enhancing User Experiences in Conversational XAI
School of Computing, Robert Gordon University(罗伯特戈登大学计算机学院)
本研究针对对话式XAI中多样化用户解释需求的满足问题,提出整合解释追问功能的意图满足框架及对话模型,经用户研究验证可提升用户参与度、系统实用性与整体体验。
2024-05-16 cs.AI cs.HC
Towards Understanding the Influence of Training Samples on Explanations
University of Cyprus(塞浦路斯大学)
本研究将数据估值应用于模型评估,提出识别影响模型内部推理(而非仅预测性能)的训练样本的新问题,并针对计算补救成本提出算法,通过两个案例研究验证其有效性。
2025-03-25 cs.AI cs.LG
Towards a Shapley Value Graph Framework for Medical peer-influence
Swansea University(斯旺西大学);University of Plymouth(普利茅斯大学);Nanyang Technological University(南洋理工大学)
可解释人工智能(XAI)是人工智能(AI)的一个子领域,处于AI研究的前沿。在XAI中,特征归因方法以特征重要性的形式产生解释。人们经常使用特征重要性作为干预的指导。然而,现有的特征归因方法的局限性在于缺乏对干预后果的解释。换句话说,虽然特征归因方法突出了对某种预测的贡献,但没有研究特征与干预后果之间的关系。本文的目的是引入一个新的框架,称为对等影响框架,以更深入地研究使用图形表示的特征间交互的解释,以提高黑箱机器学习模型的可解释性并通知干预。
2022-02-08 cs.AI
Contextual Importance and Utility in Python: New Functionality and Insights with the py-ciu Package
Umeå University(于默奥大学);Aalto University(阿尔托大学)
该研究推出了模型无关的事后可解释AI方法Contextual Importance and Utility (CIU)的Python实现包py-ciu,展示了其超越现有前沿水平的能力,为XAI研究者和从业者提供了易用可靠的工具。
2024-08-19 cs.AI
Explainable AI without Interpretable Model
Umeå University(于默奥大学);Department of Computing Science(计算机科学系)
只要AI存在,可解释性就一直是AI的挑战。随着最近人工智能在社会中的使用越来越多,人工智能系统能够在被招聘过程淘汰或银行贷款申请被人工智能系统拒绝等情况下向最终用户解释其结果背后的原因变得比以往任何时候都更加重要。特别是如果人工智能系统是使用机器学习训练的,它往往包含太多的参数,无法分析和理解,这导致它们被称为“黑箱”系统。大多数可解释AI(XAI)方法都是基于提取可用于产生解释的可解释模型。然而,可解释的模型不一定精确地映射到原始的黑盒模型。此外,可解释的模型对于最终用户的可理解性仍然值得怀疑。本文提出的上下文重要性和效用(CIU)的概念,使人们有可能直接产生类似人类的解释黑箱结果,而无需创建一个可解释的模型。因此,CIU解释准确地映射到黑盒模型本身。CIU完全与模型无关,可以与任何黑盒系统一起使用。除了特征重要性之外,决策理论中众所周知的效用概念与大多数现有的XAI方法相比,为解释提供了一个新的维度。最后,CIU可以在任何抽象层次上使用不同的词汇和其他交互手段进行解释,这使得有可能根据上下文和目标用户调整解释和交互。
2020-09-29 cs.AI
Cognitive Perspectives on Context-based Decisions and Explanations
Umeå University(于默奥大学)
当人类认知在哲学和认知科学中被建模时,有一种普遍的想法,即人类使用心理表征来导航世界并预测未来行动的结果。通过理解这些表征结构是如何工作的,我们不仅对人类认知有了更多的了解,而且对人类如何合理化和解释决策有了更好的理解。这对可解释的人工智能产生了影响,其目标是为人类观众提供计算机决策的解释。我们发现,XAI的上下文重要性和效用方法与当前新一波面向行动的预测表征结构有重叠,这使得CIU成为一种可靠的工具,用于创建人类可以联系和信任的解释。
2021-01-25 cs.AI
Effects of Explanation Specificity on Passengers in Autonomous Driving
University of Oxford(牛津大学)
本文通过扩展基于树的解释器算法生成不同具体性级别的听觉自然语言解释,研究其对自动驾驶乘客的影响,发现具体解释会影响乘客接管驾驶控制的意愿,而抽象解释不会。
2023-07-02 cs.AI cs.CY cs.HC
Towards integration of Privacy Enhancing Technologies in Explainable Artificial Intelligence
University of Guelph(圭尔夫大学)
本文提出通过整合隐私增强技术(PETs)来防御可解释人工智能(XAI)中的隐私攻击,实验表明在保持模型效用和解释质量的同时,可将攻击风险降低49.47%。
2025-07-06 cs.AI
Towards Benchmarking the Utility of Explanations for Model Debugging
L3S Research Center(L3S研究中心);Leibniz University of Hannover(莱布尼茨汉诺威大学);Delft University of Technology(代尔夫特理工大学)
事后解释方法是一类重要的方法,有助于理解训练模型决策的基本原理。但是,对于最终用户来说,它们对完成给定任务有多大用处呢?在这篇愿景论文中,我们认为需要一个基准,以促进事后解释方法的效用评估。作为第一步,为此,我们列举了理想的属性,这样的基准应该具备的任务调试文本分类器。此外,我们强调,这样的基准不仅有利于评估解释的有效性,而且还有助于评估其效率。
2021-05-10 cs.AI cs.HC cs.LG
Unifying Perspectives: Plausible Counterfactual Explanations on Global, Group-wise, and Local Levels
wrocław University of Science and Technology(沃里克大学科学与技术学院);Poznań University of Technology(波兹南技术大学);Tooploox Sp. z o.o.(Tooploox公司)
本文提出一种基于梯度的优化方法,统一生成局部、全球和组级反事实解释,通过整合实例分组与反事实生成提升组级解释的有效性,并引入合理性准则确保解释的可信度。
2026-05-11 cs.AI cs.LG stat.ME
ELI-Why: Evaluating the Pedagogical Utility of Language Model Explanations
University of Southern California(南加州大学);Stanford University(斯坦福大学)
该研究提出包含1.34万个“为什么”问题的ELI-Why基准,通过两项人类研究和自动化评估发现,语言模型生成的教育解释在年级适配度、用户信息需求匹配度上均显著低于人类策划内容,教学效用有限。
2025-06-17 cs.CL cs.HC
Eliciting User Preferences for Personalized Explanations for Video Summaries
视频摘要或亮点是探索和情境化前所未有的大量视频材料的一个引人注目的替代方案。然而,摘要过程通常是自动的、不透明的,并且可能偏向原始视频中描述的特定方面。因此,我们的目标是帮助档案管理员或收藏管理员等用户快速了解哪些摘要最能代表原始视频。在本文中,我们提出了不同类型的视觉解释的效用,以实现透明度的最终用户的视频摘要的代表性,相对于原始视频的实证结果。我们考虑了四种类型的视频摘要解释,它们以不同的方式使用从原始视频字幕和视频流中提取的概念,以及它们的突出性。解释的生成,以满足目标用户的喜好,并表示不同的层面的透明度:概念的突出性,语义覆盖,距离和覆盖量。在两个用户研究中,我们评估了视觉解释对最终用户实现透明度的实用性。我们的研究结果表明,代表所有维度的解释具有最高的透明度效用,因此,对于理解视频摘要的代表性。
2020-05-01 cs.HC
On Evaluating Explanation Utility for Human-AI Decision Making in NLP
Kahlert School of Computing(卡尔勒特计算机学院);University of Utah(犹他大学)
本研究评估 NLP 中解释对人机决策的效用,发现多数数据集不适用,且提供 AI 预测(含解释)不提升决策速度,建议改进自动委托机制。
2024-11-05 cs.AI cs.CL cs.HC
Assessing the communication gap between AI models and healthcare professionals: explainability, utility and trust in AI-driven clinical decision-making
The University of Manchester(曼彻斯特大学);CRUK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
本文贡献了一个实用的评价框架,可解释的机器学习(ML)模型的临床决策支持。该研究揭示了ML解释模型的一个更微妙的作用,当这些模型被实用地嵌入临床环境中时。尽管医疗保健专业人员(HCP)对解释作为一种安全和信任机制的普遍积极态度,但对于一组重要的参与者来说,存在与确认偏差相关的负面影响,加剧了模型的过度依赖,并增加了与模型互动的努力。此外,与其主要预期功能之一相矛盾的是,标准的解释性模型显示出有限的能力来支持对模型局限性的批判性理解。然而,我们发现了新的显著的积极影响,重新定位了临床背景下解释的作用:这些包括减少自动化偏倚,解决模糊的临床病例(HCP不确定其决策的病例)以及支持经验不足的HCP获取新的领域知识。
2022-10-27 cs.AI cs.HC cs.LG
Evaluating the Influences of Explanation Style on Human-AI Reliance
通过274人参与的两部分实验,比较基于特征、基于示例及二者结合的XAI解释风格,揭示其超越可解释性的差异如何影响人类-AI依赖。
2024-10-26 cs.HC
On the Influence of Cognitive Styles on Users' Understanding of Explanations
人工智能(AI)变得越来越复杂,使得用户很难理解AI是如何得出其预测的。使用可解释AI(XAI)方法,研究人员旨在向用户解释AI决策。迄今为止,基于XAI的解释追求的是一种以技术为中心的方法,忽视了用户的认知能力和信息处理差异对解释理解的影响。因此,本研究采取以人为本的视角,并结合认知心理学的见解。特别是,我们借鉴了认知风格的心理结构,描述了人类处理信息的特征模式。应用受试者间实验设计,我们研究了用户的理性和直觉的认知风格如何影响他们对AI提供的不同类型解释的客观和主观理解。初步结果表明,用户的理解取决于他们的认知风格的实质性差异。我们希望能对人为因素和XAI设计的相互关系有一个更细致入微的看法。
2022-10-05 cs.HC
Influence of prior and task generated emotions on XAI explanation retention and understanding
本研究探究先验情绪与任务相关唤醒对XAI解释记忆保持及理解的影响,通过诱发情绪、监测生理与情绪反应开展实验,发现先验情绪存在确认偏差式影响、特定态度相关特征会引发唤醒并影响理解。
2025-05-21 cs.HC
The Influence of Human-like Appearance on Expected Robot Explanations
VRAIN, Universitat Politècnica de València(瓦伦西亚理工大学VRAIN);Universitat Politècnica de València(瓦伦西亚理工大学);Institute for Human Sciences (IWM)(人文科学研究所)
研究探讨了机器人的人形外观对预期解释的影响,发现拟人化程度与外观相关,并揭示了非拟人化解释的趋势。
2025-12-12 cs.HC cs.RO
"The explanation makes sense": An Empirical Study on LLM Performance in News Classification and its Influence on Judgment in Human-AI Collaborative Annotation
University of Delaware(特拉华大学)
本文研究了LLM在新闻分类中的表现及其对人机协作标注的影响,发现详细解释能显著提高用户信心并影响决策。
2026-02-23 cs.HC
Touching or Chatting: The Utility of LLMs and Tactile Charts for Learning about Complex Chart Types by BLV Individuals
University of Utah(犹他大学);Global Disability Innovation Hub(全球残疾创新中心);Graz University of Technology(格拉茨工业大学)
研究探讨大语言模型对视力障碍者图表类型学习的影响及触觉学习的作用,通过扩展触觉图表学习工具并比较两种学习形式,发现触觉模板有助于形成心理模型,利于后续数据探索,无触觉支持的文本加LLM解释在空间推理任务中有弱点。
2026-08-11 cs.HC
Experiential Explanations for Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学)
针对强化学习系统难以解释的问题,提出“经验解释”技术,通过训练影响预测器生成反事实解释,恢复策略反映环境的信息,两项人类评估显示其在行为预测准确性及解释质量上均优于其他方法。
2025-04-14 cs.AI cs.HC
Effects of interactivity and presentation on review-based explanations for recommendations
用户评论已经成为推荐和解释产品或服务的重要来源。特别地,基于用户评论提供解释可以改善用户对推荐系统(RS)的感知。然而,很少有人知道如何审查为基础的解释,可以有效地和高效地呈现给用户的RS。我们调查的潜力,互动的解释在评论为基础的RS领域的酒店,并提出了一个解释方案的启发对话模型和正式的论点结构。此外,我们还解决了交互性和不同的演示风格(即只使用文本,条形图或表格)的综合效果,以及不同的用户特征可能对用户的感知系统及其解释的影响。为此,我们使用矩阵分解解释方法实现了基于评论的RS,并进行了用户研究。我们的研究结果表明,提供更多的交互式解释在基于评论的RS有一个显着的积极影响的解释质量,有效性和信任的感知系统的用户,用户的特征,如理性的决策风格和社会意识也有显着的影响,这种看法。
2021-09-03 cs.HC
Designing Effective AI Explanations for Misinformation Detection: A Comparative Study of Content, Social, and Combined Explanations
针对现有XAI多聚焦内容解释的局限,研究对比内容、社交及组合解释对错误信息检测的作用,通过两个领域的众包实验发现解释一致性、呈现顺序及领域差异均会影响检测效果,为AI解释设计提供参考。
2025-09-03 cs.HC cs.MM
Do Expressions Change Decisions? Exploring the Impact of AI's Explanation Tone on Decision-Making
本研究通过用户实验探究AI解释语气(正式或幽默)对决策的影响,发现语气在第二意见场景中显著影响决策,且年长用户更易受影响,为解释表达设计提供关键见解。
2025-02-27 cs.HC
Decisions, Counterfactual Explanations and Strategic Behavior
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
随着数据驱动的预测模型越来越多地用于为决策提供信息,人们认为决策者应该提供解释,帮助个人理解为了使这些决策成为有益的决策,必须改变什么。然而,很少有人讨论个人可能会使用上述反事实解释来战略性地投入努力,并最大限度地提高他们获得有利决策的机会。在本文中,我们的目标是找到政策和反事实的解释,是最佳的效用在这样的战略设置。我们首先表明,给定预定义的政策,找到最佳反事实解释集的问题是NP难的。然后,我们证明了相应的目标是非减的,并满足子模块性,这使得一个标准的贪心算法享受近似保证。此外,我们进一步表明,共同寻找最优策略和一组反事实解释的问题归结为最大化一个非单调子模函数。因此,我们可以使用最近的随机算法来解决这个问题,这也提供了近似保证。最后,我们证明,通过将拟阵约束到问题的制定,我们可以增加的多样性的最佳集的反事实的解释和激励个人在整个频谱的人口自我提高。合成和真实的贷款和信用卡数据上的实验说明了我们的理论研究结果,并表明我们的算法发现的反事实解释和决策策略比几个有竞争力的基线实现了更高的效用。
2020-10-14 cs.CY cs.GT cs.HC
Let people fail! Exploring the influence of explainable virtual and robotic agents in learning-by-doing tasks
Italian Institute of Technology(意大利技术研究院);University of Genoa(热那亚大学);Paderborn University(帕德博恩大学)
本研究比较了经典解释与伙伴感知解释在动手学习任务中对人类行为的影响,发现独立完成任务的参与者比由可解释AI辅助的参与者获得更优的知识获取能力。
2024-11-15 cs.AI cs.HC cs.RO
VERA: Generating Visual Explanations of Two-Dimensional Embeddings via Region Annotation
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学系);Baylor College of Medicine(贝勒医学院)
VERA通过自动生成静态区域注释,为二维嵌入提供可视化解释,减少手动探索时间,支持探索性数据分析。
2026-04-30 cs.HC cs.LG
A Human-Grounded Evaluation of SHAP for Alert Processing
Eindhoven University of Technology(埃因霍温理工大学);Rabobank(荷兰合作银行)
在过去的几年中,许多新的解释方法已经被提出来实现机器学习预测的可解释性。然而,这些方法在实际应用中的效用还没有得到广泛的研究。在本文中,我们提出了一个以人为本的SHAP,解释方法,已在XAI和相关社区广受好评的评价结果。特别是,我们研究这种局部模型不可知的解释方法是否可以用于真正的人类领域专家来评估积极预测的正确性,即由分类器生成的警报。我们对三组不同的参与者(共159人)进行了实验,他们都具有可解释的机器学习的基本知识。我们进行了定性分析记录的反射实验参与者执行警报处理和不SHAP信息。结果表明,SHAP解释确实影响决策过程,尽管该模型的置信度得分仍然是主要的证据来源。我们统计测试是否有一个显着的差异,任务之间的任务效用指标的解释是可用的,任务中,它没有提供。与常见的直觉相反,我们没有发现当SHAP解释可用时与不可用时警报处理性能的显着差异。
2019-07-07 cs.HC cs.LG stat.ML
Show Me How: Benefits and Challenges of Agent-Augmented Counterfactual Explanations for Non-Expert Users
针对反事实解释对非专家用户存在的模糊性和实用性问题,本研究开发了医疗保健领域的智能体增强反事实解释系统,经34名参与者评估证明其有效性,并提出通用指南以提升解释的可行性和情境相关性。
2025-04-06 cs.HC
Enhancing the Interpretability of SHAP Values Using Large Language Models
本文利用大语言模型提升SHAP值的可解释性,使非技术用户更易理解模型预测。
2026-03-03 cs.HC
Believing without Seeing: Quality Scores for Contextualizing Vision-Language Model Explanations
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出通过两种质量评分函数评估视觉语言模型解释的视觉忠实度和对比性,以减少对模型预测的过度依赖,实验显示质量评分能显著提升用户判断准确性。
2026-04-21 cs.CL cs.HC