Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI
IBM Research（IBM研究院）
近年来，人们对可解释人工智能（XAI）领域的兴趣激增，文献中提出了大量算法。然而，对如何评估XAI缺乏共识阻碍了该领域的发展。我们强调，XAI不是一个单一的技术集-研究人员和从业者已经开始利用XAI算法来构建服务于不同使用环境的XAI系统，例如模型调试和决策支持。然而，XAI的生物学研究通常没有考虑到这些不同的下游使用环境，导致实际用户的有效性有限，甚至是意想不到的后果，以及从业者难以做出技术选择。我们认为，缩小差距的一种方法是开发评估方法，在这些使用环境中考虑不同的用户需求。为了实现这一目标，我们引入了一个角度的上下文XAI评估考虑的相对重要性的XAI评估标准的原型使用情况下的XAI。为了探索XAI评估标准的上下文依赖性，我们进行了两项调查研究，一项是XAI专题专家，另一项是人群工作者。我们的研究结果敦促负责任的AI研究与使用知情的评估实践，并提供了一个细致入微的理解用户的需求XAI在不同的使用环境。
2022-09-20 cs.AI cs.HC
Proxy Tasks and Subjective Measures Can Be Misleading in Evaluating Explainable AI Systems
Harvard University（哈佛大学）
可解释的人工智能（XAI）系统是社会技术系统的一部分，例如，人类+AI团队负责决策。然而，目前的XAI系统很少通过衡量人类+AI团队在实际决策任务中的表现来进行评估。我们进行了两项在线实验和一项面对面的有声思维研究，以评估目前用于评估XAI系统的两种常用技术：（1）使用代理，人工任务，例如人类如何根据给定的解释预测AI的决策，以及（2）使用信任和偏好的主观测量作为实际表现的预测因子。我们的实验结果表明，评估与代理任务没有预测的结果与实际的决策任务的评估。此外，对实际决策任务的评价的主观测量并不能预测这些相同任务的客观表现。我们的研究结果表明，通过使用误导性的评估方法，我们的领域可能会在无意中减缓开发人类+人工智能团队的进展，这些团队可以可靠地表现得比人类或人工智能更好。
2020-01-22 cs.AI cs.HC
Evaluating the Correctness of Explainable AI Algorithms for Classification
Swansea University（斯旺西大学）
近年来，可解释的人工智能吸引了大量的研究关注，特征属性算法（在预测中计算“特征重要性”）变得越来越流行。然而，这些算法的有效性分析很少，因为在现有的数据集中没有“地面实况”来验证它们的正确性。在这项工作中，我们开发了一种方法来定量评估XAI算法的正确性，通过创建数据集与已知的解释地面真相。为此，我们专注于二进制分类问题。字符串数据集是使用从语法派生的形式语言构造的。一个字符串是正的，当且仅当满足某个属性。在一个肯定的字符串中作为解释基础真值的符号是解释的一部分，当且仅当它们有助于实现该属性。实验中使用了两种流行的特征属性解释器--局部可解释模型不可知解释（LIME）和SHapley加性解释（SHAP），结果表明：（1）分类准确率与解释准确率呈正相关;（2）SHAP比LIME提供更准确的解释;（3）解释准确率与数据集复杂度呈负相关。
2021-05-20 cs.AI
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Research（IBM研究院）
对可解释人工智能（XAI）的兴趣激增，导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性，但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者，我们试图找出当前XAI算法工作与实践之间的差距，以创建可解释的人工智能产品。要做到这一点，我们开发了一个算法知情的XAI问题库，其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题，并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域，为支持该领域的设计实践提供信息，并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库，并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Evaluating the Explainable AI Method Grad-CAM for Breath Classification on Newborn Time Series Data
RWTH Aachen University（亚琛工业大学）；RWTH Aachen University Hospital（亚琛工业大学医院）
针对医学机器学习可解释性不足的问题，本文通过用户研究评估了可解释AI方法Grad-CAM在新生儿通气时间序列呼吸分类神经网络中的应用，揭示了实现透明度的难点及用户对更深入解释的需求。
2024-05-13 cs.AI cs.CY cs.LG
A general-purpose method for applying Explainable AI for Anomaly Detection
Google（谷歌）；The George Washington University（乔治华盛顿大学）
可解释人工智能（XAI）的需求已经得到了很好的确立，但在监督学习范式之外发表的相对较少。本文重点介绍了一个原则性的方法，将可解释性和可解释性的任务，无监督的异常检测。我们认为，可解释性主要是一个算法的任务和可解释性主要是一个认知任务，并借鉴认知科学的见解，提出一个通用的方法，用于实际诊断使用解释异常。我们定义了归因错误，并证明，使用真实世界的标记数据集，我们的方法的基础上集成的一致性（IG）产生显着降低归因错误比其他方法。
2022-07-23 cs.AI cs.LG
Explainable Artificial Intelligence Model for Evaluating Shear Strength Parameters of Municipal Solid Waste Across Diverse Compositional Profiles
The Joint Graduate School of Energy and Environment, King Mongkut's University of Technology Thonburi（泰国国王科技大学吞武里校区能源与环境联合研究生院）；AI Research Group, Department of Civil Engineering, Faculty of Engineering, King Mongkut's University of Technology Thonburi（泰国国王科技大学吞武里校区工程学院土木工程系人工智能研究组）；Center of Excellence on Energy Technology and Environment (CEE), PERDO, Ministry of Higher Education, Science, Research and Innovation (MHESI)（高等教育、科学、研究与创新部PERDO能源技术与环境卓越中心）；Department of Environmental Engineering, Faculty of Engineering, Kasetsart University（农业大学工程学院环境工程系）
本文提出一种结合多层感知器与SHAP分析的可解释AI框架，用于预测不同组成下城市固体废弃物的黏聚力和内摩擦角，较传统方法精度更高，并揭示纤维材料和颗粒级配为主要影响因素。
2025-02-26 cs.AI cs.LG
Evaluating Explainable AI Attribution Methods in Neural Machine Translation via Attention-Guided Knowledge Distillation
Department of Computer Science, University of Luxembourg（卢森堡大学计算机科学系）
本文通过注意力引导的知识蒸馏评估神经机器翻译中的可解释AI归因方法，发现注意力、值零化和层梯度×激活方法在BLEU指标上表现最佳，而其他梯度方法效果较弱。
2026-03-11 cs.AI cs.CL
Mapping the Potential of Explainable AI for Fairness Along the AI Lifecycle
University of Bayreuth（拜罗伊特大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提炼了八个公平性期望目标，将其映射至AI生命周期，并探讨了可解释AI（XAI）如何帮助解决每个目标，为实际应用提供指导并激发相关XAI研究。
2024-06-27 cs.AI cs.CY cs.LG
VitrAI -- Applying Explainable AI in the Real World
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Industrial Engineering IAO（弗劳恩霍夫工业工程研究所）
随着可解释人工智能（XAI）领域的最新进展以及在实践中的使用增加，出现了对不同XAI方法及其在实际使用场景中的解释质量进行评估的需要。为此，我们提出了VitrAI，这是一个基于Web的服务，其目标是在三个现实生活场景的背景下统一展示四种不同的XAI算法，并评估其性能和人类的可理解性。这项工作揭示了采用XAI方法时的实际障碍，并对不同方法在上述情况下的表现进行了定性估计。
2021-02-12 cs.AI cs.LG
Evaluating Explainable AI Methods in Deep Learning Models for Early Detection of Cerebral Palsy
Norwegian University of Science and Technology（挪威科技大学）
本文通过婴儿运动骨骼数据上的扰动实验，定量评估CAM和Grad-CAM在脑瘫早期预测中的忠实性与稳定性，发现两者均能有效识别关键身体点且对扰动鲁棒，但在不同稳定性指标上各有优劣，集成方法可综合各模型表现。
2024-08-14 cs.AI cs.CV cs.LG
What Does Explainable AI Really Mean? A New Conceptualization of Perspectives
Wright State University（莱特州立大学）；University of Stuttgart（斯图加特大学）；City, University of London（伦敦大学城市学院）
我们描述了三个跨越研究领域的可解释人工智能概念：不透明系统，无法洞察其算法机制;可解释系统，用户可以解析地分析其算法机制;可理解系统，发出符号，使用户能够驱动如何得出结论的解释。本文的动机是对NIPS，ACL，COGSCI和ICCV/ECCV论文标题的语料库分析，这些论文显示了可解释人工智能在各个领域的定位差异。最后，我们引入第四个概念：真正可解释的系统，其中自动推理是输出精心制作的解释的核心，而不需要人类后期处理作为生成过程的最后一步。
2017-10-02 cs.AI
BEExAI: Benchmark to Evaluate Explainable AI
Groupe Square Management（Square Management集团）；Square Research Center（Square研究中心）；CentraleSupélec（中央高等电力学院）
针对黑盒模型事后归因解释缺乏统一评估方法的问题，提出基准工具BEExAI，利用选定评估指标实现不同事后XAI方法的大规模比较。
2024-07-29 cs.AI cs.CL cs.LG
From Anecdotal Evidence to Quantitative Evaluation Methods: A Systematic Review on Evaluating Explainable AI
University of Twente（特文特大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
可解释的人工智能（XAI）越来越受欢迎，以理解高性能的黑盒，提出了如何评估机器学习（ML）模型的解释的问题。虽然可解释性和可解释性通常被认为是主观验证的二元属性，但我们认为它是一个多方面的概念。我们确定了12个概念属性，如紧凑性和正确性，应该进行评估，全面评估质量的解释。我们所谓的Co-12属性作为分类方案，用于系统地审查过去7年在引入XAI方法的主要AI和ML会议上发表的300多篇论文的评估实践。我们发现，1/3的论文仅使用轶事证据进行评估，1/5的论文使用用户进行评估。该调查还通过对定量XAI评估方法的广泛概述，促进了对客观、可量化评估方法的呼吁。我们系统收集的评估方法为研究人员和从业人员提供了具体的工具，以彻底验证，基准测试和比较新的和现有的XAI方法。Co-12分类方案和我们确定的评估方法为在模型训练期间将定量指标作为优化标准提供了机会，以便同时优化准确性和可解释性。
2023-02-24 cs.AI
The Conflict Between Explainable and Accountable Decision-Making Algorithms
KAIST（韩国科学技术院）；IBS（基础科学研究院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体物品研究所）；Kangwon National University（江原国立大学）
决策算法正在用于重要的决策，例如谁应该参加医疗保健计划和被雇用。尽管这些系统目前部署在高风险场景中，但其中许多系统无法解释其决策。这种限制促使了可解释人工智能（XAI）计划，该计划旨在使算法可解释以遵守法律要求，促进信任并保持问责制。本文质疑可解释性是否以及在多大程度上可以帮助解决自主AI系统带来的责任问题。我们认为，提供事后解释的XAI系统可能被视为应受责备的代理人，模糊了开发人员在决策过程中的责任。此外，我们认为，XAI可能会导致对弱势利益相关者的责任归属不正确，例如那些受到算法决策影响的人（即，患者），由于他们对可解释的算法具有控制权的误导性感知。如果设计师选择将算法和患者作为道德和法律的替罪羊，那么可解释性和问责制之间的冲突可能会加剧。最后，我们提出了一系列建议，以解决算法决策的社会技术过程中的这种紧张局势，并为硬监管辩护，以防止设计师逃避责任。
2022-05-11 cs.AI cs.CY
Evaluating RE Practices for Explainability: Synthesizing Insights from Daimler Truck into an Explainable RE Framework Proposal
TUM School of CIT, Technical University of Munich（慕尼黑技术大学 CIT 学院）；Institute of Software Engineering, University of Stuttgart（斯图加特大学软件工程研究所）；Department of Computer Science, Vrije Universiteit Amsterdam（阿姆斯特丹自由大学计算机科学系）
研究现有需求工程实践对可解释性要求的支持，通过对戴姆勒卡车公司从业者的多阶段定性研究，揭示各步骤挑战，表明当前实践支持有限，为开发可解释人工智能的需求工程框架提供实证见解与研究愿景。
2026-07-14 cs.AI cs.SE
EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust and Non-Robust Models
Rowan University（罗文大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文提出新的可解释性忠实度指标 EvalAttAI，以解决现有归因图评估指标的局限，并发现结合 Vanilla Gradient 的贝叶斯深度神经网络更具可解释性，而鲁棒模型未必更具可解释性。
2023-03-15 cs.AI cs.CV cs.LG
An Objective Metric for Explainable AI: How and Why to Estimate the Degree of Explainability
University of Bologna（博洛尼亚大学）
本文基于 Achinstein 解释理论提出模型无关的可解释程度客观指标，并通过知识图谱、信息检索及190余人的医疗与金融系统用户研究验证其稳健性。
2023-01-31 cs.AI cs.CL
Evaluating Explainability: A Framework for Systematic Assessment and Reporting of Explainable AI Features
U.S. Food and Drug Administration（美国食品药品监督管理局）
针对可解释AI特征缺乏质量评估方法的问题，提出含一致性、合理性、保真度、有用性四项标准的评估框架及配套记分卡，并以乳腺病变检测为例验证，为AI医疗设备的可解释性评估提供系统方案。
2025-06-16 cs.AI
Evaluating Single and Multi-Omics Based Explainable Artificial Intelligence (MOXAI) for Molecular Subclass Classification of Adult-Type Diffuse Gliomas
St. Jude Children’s Research Hospital（圣裘德儿童研究医院）
本文提出MOXAI框架，整合DNA甲基化和拷贝数数据，利用深度学习模型分类成人型弥漫性胶质瘤分子亚型，实现高准确率并具备可解释性。
2026-09-29 cs.AI cs.CV
Desiderata for Explainable AI in statistical production systems of the European Central Bank
University of Southampton（南安普顿大学）；European Central Bank（欧洲中央银行）
可解释的人工智能是建立公平性和解决算法决策偏见的基本步骤。尽管在这个主题上有大量的工作，但解决方案的好处主要是从概念或理论的角度来评估的，对现实世界用例的有用性仍然不确定。在这项工作中，我们的目标是明确以用户为中心的可解释人工智能的必要条件，反映欧洲中央银行统计生产系统中常见的可解释性需求。我们链接的desiderata原型用户角色，并给出的技术和方法，可用于解决用户的需求的例子。为此，我们提供了来自中央银行统计数据生产领域的两个具体用例：中央证券数据库中异常值的检测和监管银行数据系统数据质量检查的数据驱动识别。
2022-02-12 cs.AI cs.CY cs.LG
CaBRNet, an open-source library for developing and evaluating Case-Based Reasoning Models
Université Paris-Saclay（巴黎-萨克雷大学）；CEA（法国原子能和替代能源委员会）
针对可解释AI中自解释模型研究存在的缺乏可重复性、无法比较和标准分歧等问题，本文提出了用于基于案例推理网络的开源、模块化、向后兼容框架CaBRNet。
2024-09-25 cs.AI
Evaluating Explainable AI on a Multi-Modal Medical Imaging Task: Can Existing Algorithms Fulfill Clinical Requirements?
School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）；The University of British Columbia（不列颠哥伦比亚大学）
针对多模态医学影像中可解释AI的临床需求，提出模态特定特征重要性（MSFI）指标，并通过计算评估和临床用户研究发现现有16种热力图算法均不满足要求，为XAI算法设计提供指导。
2023-10-16 cs.AI cs.CV
ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI
University of Hull（赫尔大学）；Newcastle University（纽卡斯尔大学）
研究基于概念的可解释人工智能中概念级输出的可信度问题，提出ConceptSMILE审计框架，通过扰动输入区域等方法评估可靠性，在视网膜眼底图像上评估发现不同概念和路径可靠性有差异，为评估此类人工智能可信度提供独立审计层。
2026-07-13 cs.AI
A Unified Framework for Evaluating and Enhancing the Transparency of Explainable AI Methods via Perturbation-Gradient Consensus Attribution
Department of Computer Science, American International University-Bangladesh（美国国际大学-孟加拉国计算机科学系）；Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院托马斯·洛德计算机科学系）；Department of Computer Science and Engineering, Techno International New Town（Techno International New Town计算机科学与工程系）
本文提出多标准评估框架和PGCA方法，通过整合领域优先级动态评分方案，提升XAI在保真度、可解释性、鲁棒性、公平性和完整性方面的性能，实验显示在五个领域均取得显著优势。
2026-04-08 cs.AI
Explainable Human Activity Recognition: A Unified Review of Concepts and Mechanisms
University of South Florida（南佛罗里达大学）；California Polytechnic State University（加州州立理工大学）
本文综述了可解释人体活动识别方法，从概念和机制角度分析其复杂性，总结了主要挑战和未来方向。
2026-04-10 cs.AI cs.LG
Are we still able to recognize pearls? Machine-driven peer review and the risk to creativity: An explainable RAG-XAI detection framework with markers extraction
Bucharest University of Economic Studies（布加勒斯特经济研究大学）
本文提出RAG-XAI框架，通过标记提取检测自动化评审，以保留科学的透明度和创造力，实验显示其在检测性能上显著优于传统方法。
2026-04-09 cs.AI cs.LG
Quantitative Analysis of Primary Attribution Explainable Artificial Intelligence Methods for Remote Sensing Image Classification
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, TX, USA
本文面向多模态遥感图像分类，结合最先进机器学习模型，对主要归因XAI方法开展定性与定量评估，并给出方法选择建议。
2023-12-04 cs.AI cs.CV cs.LG
Challenges in Evaluating Explanation Methods for Static and Evolving Data
Poznan University of Technology（波兹南工业大学）
本文针对可解释人工智能的评估不足，以DetoxAI系统为例展开研究，探索了演化数据流的解释适配方法，最后关联了数据、模型与解释协同演化的跟踪挑战。
2026-08-07 cs.AI
Towards Explainable Artificial Intelligence (XAI): A Data Mining Perspective
本文从数据挖掘视角系统梳理可解释人工智能，将现有方法归纳为深度模型解释、训练数据影响和领域知识洞察三类，并提出以数据为中心的分析框架。
2024-01-13 cs.AI cs.LG
A Synthetic Ground-Truth Framework for the Evaluation of Explainable AI Methods
Universitat de les Illes Balears（巴利阿里群岛大学）；Uiniversity of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
本文提出一种基于合成地面真值的框架，通过受控干预生成数据集，以评估九种XAI方法，揭示当前技术局限并强调干预式基准的重要性。
2026-09-28 cs.AI
Towards Relatable Explainable AI with the Perceptual Process
National University of Singapore（新加坡国立大学）
机器学习模型需要提供对比解释，因为人们经常试图理解为什么会出现令人困惑的预测，而不是一些预期的结果。目前的对比解释是例子或原始特征之间的基本比较，由于它们缺乏语义意义，因此仍然难以解释。我们认为，解释必须更相关的其他概念，假设和协会。受认知心理学感知过程的启发，我们提出了XAI感知处理框架和RexNet模型，用于具有对比显着性，反事实合成和对比线索解释的相关可解释AI。我们研究了语音情感识别的应用，并实现了一个模块化的多任务深度神经网络来预测和解释语音中的情感。从有声思维和对照研究中，我们发现反事实解释是有用的，并进一步加强了语义线索，但不显着性解释。这项工作为感知应用提供了提供和评估相关对比可解释AI的见解。
2022-03-29 cs.AI cs.HC
Systematic Literature Review: Explainable AI Definitions and Challenges in Education
University of Technology Sydney（悉尼科技大学）；Islamic University of Madinah（麦地那伊斯兰大学）
本文采用PRISMA方法系统综述了教育领域可解释AI（XAI）的定义与挑战，发现15种定义和62项挑战并将其归纳为七类，指出XAI缺乏标准化定义导致概念混淆。
2025-04-03 cs.AI cs.CY
What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks
ETH Zurich（苏黎世联邦理工学院）
本文提出一种细粒度、模块化的可解释人工智能验证框架，区分技术构建模块、用户解释与社会沟通协议，主张算法验证与用户研究互补，以系统性评估XAI系统属性及下游影响。
2024-03-19 cs.AI cs.HC
Evaluating the Impact of Explainable AI on Trust in AI-Assisted Code Review
Technical University of Munich（慕尼黑工业大学）；University of Hohenheim（霍恩海姆大学）
研究可解释人工智能（XAI）对开发人员在人工智能辅助代码审查中信任的影响，通过对34名参与者的受试者内用户研究，比较不同XAI支持水平的系统，发现解释水平显著影响信任和认同，结果为可信代码审查系统设计等研究提供信息。
2026-07-28 cs.AI cs.HC cs.SE
Metrics for Explainable AI: Challenges and Prospects
Institute for Human and Machine Cognition（人机认知研究所）；Michigan Technological University（密歇根理工大学）；Macrocognition, LLC（宏认知有限责任公司）
在本文中解决的问题是：如果我们向用户介绍一个AI系统，解释它是如何工作的，我们如何知道是否解释工程和用户已经实现了务实的理解人工智能？换句话说，我们怎么知道一个可扩展的AI系统（XAI）是好的？我们的重点是测量的关键概念。我们讨论了评估的具体方法：（1）解释的好坏，（2）用户是否对解释感到满意，（3）用户对人工智能系统的理解程度，（4）好奇心如何激发对解释的搜索，（5）用户对人工智能的信任和依赖是否适当，最后，（6）人类XAI工作系统的表现如何。我们提出的建议来自于我们广泛的研究文献和我们自己的心理测量评估的整合。
2019-02-01 cs.AI
Characterizing Human Explanation Strategies to Inform the Design of Explainable AI for Building Damage Assessment
Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
可解释人工智能（XAI）是一种支持人类与人工智能协作执行高风险视觉检测任务的有前途的方法，例如来自卫星图像的损坏检测任务，因为全自动方法不太可能完全安全可靠。然而，大多数现有的XAI技术并不了解人类对解释的特定任务需求。因此，我们朝着了解人类在损伤检测任务中需要什么形式的XAI迈出了第一步。我们进行了一项在线众包研究，以了解人们在根据卫星图像评估建筑物损坏的严重程度时如何解释自己的评估。通过对60名群众工作者的研究，我们发现了人类用来解释他们的视觉损害评估的六种主要策略。我们目前的影响，我们的研究结果的设计XAI方法，这样的视觉检测环境，并讨论未来的研究机会。
2021-11-04 cs.AI cs.HC
A Critical Survey on Fairness Benefits of Explainable AI
University of Bayreuth（拜罗伊特大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文通过系统综述175篇论文，归纳XAI促进公平的七类主张并指出其模糊、缺规范基础及脱离实际能力等问题，主张将XAI视为算法公平的工具之一而非万能药。
2024-05-07 cs.AI
Machine Learning Explanations to Prevent Overtrust in Fake News Detection
Texas A&M University（德克萨斯A&M大学）；University of Florida（佛罗里达大学）
打击假新闻和错误信息传播是后真相时代的一项具有挑战性的任务。新闻提要和搜索算法可能会导致虚假和捏造信息的无意大规模传播，用户会接触到算法选择的虚假内容。我们的研究调查了嵌入新闻评论平台的可解释人工智能助手对打击假新闻传播的影响。我们设计了一个新闻评论和分享界面，创建了一个新闻故事数据集，并训练了四种可解释的假新闻检测算法，以研究算法透明度对最终用户的影响。我们目前的评估结果和分析，从多个控制的众包研究。为了更深入地了解可解释的人工智能系统，我们讨论了用户参与度，心理模型，信任和解释过程中的性能指标之间的相互作用。研究结果表明，解释有助于被试在不同条件下建立适当的智能助手心理模型，并根据模型的局限性调整他们的信任。
2020-07-27 cs.AI cs.IR cs.SI
A Meta-Analysis of the Utility of Explainable Artificial Intelligence in Human-AI Decision-Making
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
人工智能（AI）辅助决策的研究正在经历巨大的增长，越来越多的研究评估了AI与可解释AI（XAI）领域的技术对人类决策性能的影响。然而，由于任务和实验设置因不同的目标而异，一些研究报告通过XAI提高了用户决策性能，而另一些研究报告的效果可以忽略不计。因此，在这篇文章中，我们提出了一个初步的综合现有的研究XAI研究使用统计荟萃分析，以获得跨现有研究的影响。我们观察到XAI对用户性能的统计积极影响。此外，第一批结果表明，人工智能决策往往会在文本数据上产生更好的任务性能。然而，与单独的AI预测相比，我们发现解释对用户的表现没有影响。我们最初的综合研究引发了未来的研究，调查潜在的原因，并有助于进一步开发算法，通过提供有意义的解释，有效地使人类决策者受益。
2022-06-01 cs.AI cs.HC
Making Transparency Advocates: An Educational Approach Towards Better Algorithmic Transparency in Practice
New York University（纽约大学）
针对算法透明度研究未转化为实际实施的问题，提出通过开源教育研讨会培养组织内部的透明度倡导者，以自下而上的方式推动算法透明度实践并验证了其有效性。
2024-12-19 cs.AI cs.CY cs.HC
Fewer Than 1% of Explainable AI Papers Validate Explainability with Humans
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
该研究通过大规模分析18254篇可解释人工智能文献，发现仅0.7%的论文提供了人类可解释性的实证证据，指出XAI研究存在验证缺口并呼吁加强人类评估。
2025-03-13 cs.AI cs.HC
An Autoethnographic Exploration of XAI in Algorithmic Composition
Queen Mary University of London（伦敦玛丽女王大学）
本文通过自我民族志方法研究MeasureVAE生成式音乐XAI模型在爱尔兰民间音乐创作实践中的应用，发现创作工作流更突出训练数据特征而非模型特征，并揭示XAI模型在迭代创作中具有超出原始设计目标的潜力。
2023-08-11 cs.AI cs.HC cs.SD
Bridging the Transparency Gap: What Can Explainable AI Learn From the AI Act?
University of Edinburgh（爱丁堡大学）
本文揭示可解释AI与欧盟《人工智能法案》在透明度理解上的根本差异，提出“透明度鸿沟”概念，并从四个实践维度探讨弥合该鸿沟的路径。
2023-07-29 cs.AI cs.CY
Explanatory Pluralism in Explainable AI
Washington University in St. Louis（圣路易斯华盛顿大学）
人工智能模型的日益广泛的应用激发了各种利益相关者对解释的需求增加。然而，这一要求是模糊的，因为有许多类型的“解释”与不同的评价标准。本着多元主义的精神，我绘制了一个分类的解释类型和相关的XAI方法，可以解决这些问题。当我们试图揭示人工智能模型的内部机制时，我们开发了诊断解释。当我们试图使模型输出变得可理解时，我们产生了显式解释。当我们希望形成我们的模型的稳定概括时，我们产生期望解释。最后，当我们想要证明模型的使用时，我们会产生角色解释，在其社会背景中解释模型。这种多元观点的动机源于将原因视为可操纵的关系，以及将不同类型的解释视为识别人工智能系统中的相关点，我们可以干预这些点以影响我们想要的变化。本文减少了在XAI领域中使用“解释”一词的歧义，为从业者和利益相关者提供了一个有用的模板，以避免歧义，并评估XAI方法和假定的解释。
2021-06-26 cs.AI
What Do We Want From Explainable Artificial Intelligence (XAI)? -- A Stakeholder Perspective on XAI and a Conceptual Model Guiding Interdisciplinary XAI Research
Saarland University（萨尔大学）；Technical University Dortmund（多特蒙德工业大学）；Institute of Intelligent Software（智能软件研究所）
可解释性人工智能（XAI）的先前研究表明，可解释性方法的主要目的是在各种背景下满足关于人工系统的特定兴趣、目标、期望、需求和要求（我们称这些利益相关者的需求）。然而，关于XAI的文献是巨大的，分布在多个基本上不相关的学科中，并且通常仍然不清楚可解释性方法应该如何实现满足利益相关者需求的目标。本文讨论了利益相关者的人工系统的可解释性要求的主要类别，并审查其desiderata。我们提供了一个模型，明确阐述了主要的概念和关系，需要考虑和调查时，评估，调整，选择和发展的可解释性的方法，旨在满足利益相关者的desiderata。该模型可以为来自XAI所涉及的各种不同学科的研究人员提供服务，作为共同点。它强调在评价和可解释性方法的发展中存在跨学科潜力的地方。
2021-02-15 cs.AI cs.HC
A three-Level Framework for LLM-Enhanced eXplainable AI: From technical explanations to natural language
Andalusian Research Institute in Data Science and Computational Intelligence（数据科学与计算智能安达卢西亚研究机构）；Universidad de Granada（格拉纳达大学）；Department of Computer Science（计算机科学系）；Artificial Intelligence Lab（人工智能实验室）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出一个三层框架，利用大型语言模型提升AI解释的可解释性，通过动态对话解释增强社会透明度和用户信任。
2026-01-03 cs.AI
Does Explainable AI Have Moral Value?
Institut Polytechnique de Paris（巴黎理工学院）；Télécom Paris（巴黎电信学院）；Minsait by Indra Sistemas SA（英德拉系统公司旗下Minsait公司）；Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术卓越研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文提出基于道德义务和互惠概念的统一伦理框架，论证XAI是维持AI决策中人类能动性和对称性的道德义务，并揭示了各XAI社区在实现该理想时的实践差距。
2023-11-05 cs.AI cs.CY
TRIVEA: Transparent Ranking Interpretation using Visual Explanation of Black-Box Algorithmic Rankers
New Jersey Institute of Technology（新泽西理工学院）
针对黑盒排序机制不透明导致利益相关方难以理解排序差异的问题，提出可视化分析系统TRIVEA，结合可学习的算法排序器与XAI可视化解释，支持非数据科学用户透明推理排序逻辑并验证了其有效性。
2023-08-28 cs.AI cs.HC cs.IR
VIEScore: Towards Explainable Metrics for Conditional Image Synthesis Evaluation
University of Waterloo（滑铁卢大学）；IN.AI Research（IN.AI研究院）
本文提出VIEScore，一种基于多模态大语言模型且无需训练的视觉指令引导可解释评估指标，用于条件图像生成任务，发现其与人类评估相关性较高，在生成任务中表现接近人类水平，但在编辑任务中仍有局限。
2024-06-03 cs.AI cs.CL cs.CV
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在NLP社区中，关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中，我们（i）在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性，以及（ii）将这种分析扩展到也包括基于transformer的模型。我们发现，基于注意力的解释并不强烈相关的任何最近的特征归因方法，无论模型或任务。此外，我们发现，没有一个测试的解释强烈相关，彼此为transformer为基础的模型，导致我们质疑的基本假设，我们应该衡量基于注意力的解释的有效性的基础上，以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后，我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法，并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval
University of Edinburgh（爱丁堡大学）
本文提出AlgoREval基准，评估LLM在经典算法代码检索中的能力，发现准确率因语言和输入表示而异，提示增强和微调可提升性能，并警示需验证AI生成代码。
2026-10-05 cs.AI cs.CL cs.LG
ExPerT: Effective and Explainable Evaluation of Personalized Long-Form Text Generation
Center for Intelligent Information Retrieval（智能信息检索中心）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出可解释的个性化文本生成评估框架ExPerT，通过LLM提取并匹配原子方面，从内容与写作风格评估生成文本与参考文本的一致性，并生成细粒度解释，在人类判断一致性上相对提升7.2%。
2025-05-31 cs.AI cs.CL cs.IR
Evaluating LLM Usage for Efficient and Explainable Numerical and Classified Implicit Sentiment Analysis of Product Desirability
Creighton University（克雷顿大学）；The Beacom College of Computer & Cyber Sciences, Dakota State University（达科他州立大学比肯计算机与网络科学学院）
提出基于LLM的可扩展框架，从定性反馈中量化产品期望，零样本数值评分和分类情感分析分别达到0.97皮尔逊相关和94%准确率，GPT-4o-mini以94%更低成本实现可比性能，并集成置信度与可解释性。
2026-06-24 cs.AI cs.CL cs.HC
