Revisiting the Performance-Explainability Trade-Off in Explainable Artificial Intelligence (XAI)
University of Bayreuth（拜罗伊特大学）；Technical University Dortmund（多特蒙德工业大学）；Saarland University（萨尔大学）
本文批判性地审视了可解释人工智能中可解释性与性能之间所谓的权衡问题，提出应结合资源可用性、领域特征和风险考量来细致处理该权衡，为需求工程领域的未来研究和最佳实践奠定基础。
2023-07-26 cs.AI cs.SE
Exploring the Plausibility of Hate and Counter Speech Detectors with Explainable AI
Institute of Creative Media Technologies（创意媒体技术学院）
本文研究了Transformer模型在仇恨言论和反制言论检测中的可解释性，比较了四种方法并发现基于扰动的方法表现最佳，可解释性显著帮助用户理解模型预测。
2024-07-25 cs.AI cs.CL cs.LG
Embedding Explainable AI in NHS Clinical Safety: The Explainability-Enabled Clinical Safety Framework (ECSF)
针对NHS现有临床安全标准难以适配AI概率性特性的问题，提出可解释性赋能临床安全框架ECSF，将可解释性融入现有合规全流程，为AI临床应用提供结构化安全证据支撑。
2025-11-18 cs.AI cs.CY cs.HC
Evaluating Explainability: A Framework for Systematic Assessment and Reporting of Explainable AI Features
U.S. Food and Drug Administration（美国食品药品监督管理局）
针对可解释AI特征缺乏质量评估方法的问题，提出含一致性、合理性、保真度、有用性四项标准的评估框架及配套记分卡，并以乳腺病变检测为例验证，为AI医疗设备的可解释性评估提供系统方案。
2025-06-16 cs.AI
An Objective Metric for Explainable AI: How and Why to Estimate the Degree of Explainability
University of Bologna（博洛尼亚大学）
本文基于 Achinstein 解释理论提出模型无关的可解释程度客观指标，并通过知识图谱、信息检索及190余人的医疗与金融系统用户研究验证其稳健性。
2023-01-31 cs.AI cs.CL
Evaluating RE Practices for Explainability: Synthesizing Insights from Daimler Truck into an Explainable RE Framework Proposal
TUM School of CIT, Technical University of Munich（慕尼黑技术大学 CIT 学院）；Institute of Software Engineering, University of Stuttgart（斯图加特大学软件工程研究所）；Department of Computer Science, Vrije Universiteit Amsterdam（阿姆斯特丹自由大学计算机科学系）
研究现有需求工程实践对可解释性要求的支持，通过对戴姆勒卡车公司从业者的多阶段定性研究，揭示各步骤挑战，表明当前实践支持有限，为开发可解释人工智能的需求工程框架提供实证见解与研究愿景。
2026-07-14 cs.AI cs.SE
Explanation Beyond Intuition: A Testable Criterion for Inherent Explainability
School of Computer Science, University of Auckland（计算机科学学院，奥克兰大学）
本文提出一个可检验的内在可解释性标准，利用图论分解模型并重新组合以生成全局解释，证明PREDICT模型具有内在可解释性。
2025-12-19 cs.AI cs.LG
The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies
Erasmus University Medical Center（伊拉斯姆斯大学医学中心）
人工智能（AI）在改善人类健康和福祉方面具有巨大潜力，但在临床实践中的应用仍然有限。缺乏透明度被认为是实施的主要障碍之一，因为临床医生应该相信人工智能系统是可信的。可解释的人工智能有可能克服这个问题，并且可以成为迈向可信人工智能的一步。在本文中，我们回顾了最近的文献，为研究人员和从业者提供指导，为医疗保健领域设计可解释的AI系统，并有助于可解释的AI领域的形式化。我们认为，要求可解释性的原因决定了应该解释什么，因为这决定了可解释性属性（即可解释性和保真度）的相对重要性。在此基础上，我们提出了一个框架来指导可解释的人工智能方法（可解释的建模与事后解释;基于模型，基于属性或基于示例的解释;全局和局部解释）之间的选择。此外，我们发现，定量评价指标，这是重要的客观标准化评价，仍然缺乏一些属性（如清晰度）和类型的解释（例如，基于实例的方法）。我们的结论是，可解释的建模可以有助于可信的人工智能，但可解释性的好处仍然需要在实践中得到证明，并且可能需要采取补充措施来创建医疗保健中值得信赖的人工智能（例如报告数据质量，执行广泛的（外部）验证和监管）。
2021-01-05 cs.AI cs.LG stat.ML
Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy
Dept. of Informatics（信息学院）；King's College London（伦敦国王学院）
提出用谱熵量化可解释性技术引入的信号噪声，并在心电图心律失常分类中验证其有效性。
2026-06-25 cs.AI cs.LG
Investigating Explainability of Generative AI for Code through Scenario-based Design
University of Southern California（南加利福尼亚大学）；Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）
生成式人工智能模型是可解释的，这意味着什么？可解释人工智能（XAI）的新兴学科在帮助人们理解判别模型方面取得了长足的进步。较少关注生成模型，生成工件，而不是决策，作为输出。同时，生成式人工智能（GenAI）技术正在成熟并被应用于诸如软件工程的应用领域。使用基于XML的设计和问题驱动的XAI设计方法，我们在三个软件工程用例中探索了用户对GenAI的可解释性需求：自然语言到代码，代码翻译和代码自动完成。我们与43名软件工程师进行了9次研讨会，其中使用了最先进的生成式人工智能模型的真实示例来引出用户的可解释性需求。借鉴之前的工作，我们还为GenAI的代码提出了4种类型的XAI功能，并从参与者那里收集了更多的设计想法。我们的工作探索了GenAI对代码的可解释性需求，并展示了以人为本的方法如何推动XAI在新领域的技术发展。
2022-02-10 cs.AI cs.HC cs.SE
Federated Explainable Artificial Intelligence: Roles, Architectures, Evaluation, and Open Challenges
Department of Information Engineering, University of Pisa（比萨大学信息工程系）
本文综述联邦可解释人工智能（FedXAI）范式，介绍其分类法，回顾多种方法及评估实践，讨论不足，识别如非IID数据下可解释性等关键挑战，为设计可信、透明且隐私保护的联邦人工智能系统提供参考。
2026-07-16 cs.AI cs.LG
A New Perspective on Evaluation Methods for Explainable Artificial Intelligence (XAI)
University of Bayreuth（拜罗伊特大学）；Saarland University（萨尔大学）；Philipps-University of Marburg（马尔堡菲利普斯大学）
本文批判性审视可解释性与性能之间的权衡，提出结合资源可用性、领域特征和风险考量的细致处理方式，为AI需求工程领域的研究和最佳实践提供基础。
2023-07-26 cs.AI cs.SE
A Scoresheet for Explainable AI
Victoria University of Wellington（惠灵顿维多利亚大学）；RMIT University（皇家墨尔本理工大学）
针对现有透明度标准过于高层、可解释性要求不明确的问题，本文提出一种兼顾多方利益相关者的可解释性评分表，可用于需求规范与应用评估，并通过多场景应用验证其通用性和实用性。
2025-02-14 cs.AI cs.MA cs.SE
A general-purpose method for applying Explainable AI for Anomaly Detection
Google（谷歌）；The George Washington University（乔治华盛顿大学）
可解释人工智能（XAI）的需求已经得到了很好的确立，但在监督学习范式之外发表的相对较少。本文重点介绍了一个原则性的方法，将可解释性和可解释性的任务，无监督的异常检测。我们认为，可解释性主要是一个算法的任务和可解释性主要是一个认知任务，并借鉴认知科学的见解，提出一个通用的方法，用于实际诊断使用解释异常。我们定义了归因错误，并证明，使用真实世界的标记数据集，我们的方法的基础上集成的一致性（IG）产生显着降低归因错误比其他方法。
2022-07-23 cs.AI cs.LG
Explainable AI is Responsible AI: How Explainability Creates Trustworthy and Socially Responsible Artificial Intelligence
James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）
本文通过梳理负责任AI与可解释AI的最新文献，论证XAI不仅是提升透明度的工具，更是保障公平性、鲁棒性、隐私和安全等RAI各支柱的必要基础。
2023-12-04 cs.AI cs.CY cs.LG
X-SHIELD: Regularization for eXplainable Artificial Intelligence
Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（数据科学与计算智能安达卢西亚研究机构（DaSCI））；University of Granada（格拉纳达大学）
针对现有XAI研究多聚焦解释生成与评估、缺乏借助解释直接优化模型的问题，提出可无缝融入目标函数的X-SHIELD正则化方法，通过解释选隐藏特征提升模型泛化性，实验验证其可同时改善性能与可解释性，为可靠AI正则化提供新路径。
2025-03-11 cs.AI
Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks
本文通过三个NLP任务上的定量比较，实证发现忠实性与合理性并不必然冲突，传统扰动方法Shapley value和LIME可同时实现较高忠实性与合理性，建议以双重目标优化可解释性算法。
2024-03-29 cs.AI cs.LG
Explainable AI for clinical risk prediction: a survey of concepts, methods, and modalities
University of Oxford（牛津大学）
本文综述面向临床风险预测的可解释AI，梳理可解释性、公平性、偏见、信任与透明度等概念，讨论多模态模型的评估验证、外部验证、方法融合及开放复现实践。
2023-08-16 cs.AI cs.CY cs.LG
Explainable AI: current status and future directions
Centre for Forensic Science, University of Technology Sydney（悉尼科技大学法医科学中心）
可解释人工智能（XAI）是人工智能（AI）领域的一个新兴研究领域。XAI可以解释AI如何获得特定的解决方案（例如，分类或目标检测），并且还可以回答其它“WH”问题。这种可解释性在传统AI中是不可能的。可解释性对于国防、医疗保健、法律和秩序以及自动驾驶汽车等关键应用至关重要，这些应用需要专有技术来实现信任和透明度。到目前为止，许多XAI技术已经被用于这样的应用。本文从多媒体（即，文本、图像、音频和视频）观点。这些技术的优点和缺点进行了讨论，并指出了一些未来的发展方向。
2021-07-12 cs.AI cs.LG
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Research（IBM研究院）
对可解释人工智能（XAI）的兴趣激增，导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性，但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者，我们试图找出当前XAI算法工作与实践之间的差距，以创建可解释的人工智能产品。要做到这一点，我们开发了一个算法知情的XAI问题库，其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题，并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域，为支持该领域的设计实践提供信息，并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库，并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Exploring Explainable AI in the Financial Sector: Perspectives of Banks and Supervisory Authorities
HU University of Applied Sciences Utrecht（乌得勒支应用科学大学）；De Nederlandsche Bank（荷兰中央银行）
可解释的人工智能（xAI）被视为使AI系统不那么黑箱的解决方案。必须确保透明度、公平性和问责制，这在金融部门尤为重要。本研究的目的是对监管机构和受监管实体关于xAI在金融业应用的观点进行初步调查。三个用例（消费者信贷，信用风险和反洗钱）在荷兰的三家银行和两家监管机构进行了半结构化访谈。我们发现，对于调查的用例，监管机构和银行之间在人工智能系统的可解释性的期望范围方面存在差异。我们认为，金融部门可以从技术AI（模型）解释性要求和更广泛的AI系统与适用法律法规相关的解释性要求之间的明确区分中受益。
2021-11-03 cs.AI
Towards a Rigorous Evaluation of Explainability for Multivariate Time Series
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Umeå University（于默奥大学）
基于机器学习的系统正在迅速普及，与此相一致的是，在可解释性领域出现了巨大的研究热潮，以确保机器学习模型是可靠的，公平的，并且可以对其决策过程负责。可解释的人工智能（XAI）方法通常用于调试黑盒机器学习模型，但与表格、文本和图像数据相比，时间序列的可解释性仍然相对未被探索。本研究的目的是在时间序列预测问题中实现和评估模型不可知的可解释性。这项工作的重点是为一家数字咨询公司提供解决方案，该公司旨在找到一种数据驱动的方法，以了解其销售相关活动对销售交易的影响。该解决方案涉及框架的问题作为一个时间序列预测问题来预测的销售交易和可解释性实现了使用两种新的模型不可知的可解释性技术，本地可解释的模型不可知的解释（LIME）和Shapley添加剂的解释（SHAP），这是使用人类评价的可解释性。结果清楚地表明，LIME和SHAP产生的解释极大地帮助了普通人理解机器学习模型的预测。所提出的工作可以很容易地扩展到任何时间
2021-04-06 cs.AI cs.LG
Comparing Post-Hoc Explainable AI Methods for Interpreting Black-Box EEG Models in Depression Detection
University of Zagreb Faculty of Electrical Engineering and Computing（Zagreb大学电子工程与计算学院）
本研究通过多种事后可解释性方法（如DeepSHAP、集成梯度、GradCAM、遮挡和置换特征重要性）分析InceptionTime架构在脑电图抑郁症检测中的决策过程，发现不同方法在额叶、颞叶和后部脑区（尤其是右半球）的归因模式部分收敛，但方法间存在差异，强调了事后可解释性的有用性和局限性。
2026-05-27 cs.AI cs.LG
Explaining the Unexplainable: A Systematic Review of Explainable AI in Finance
Collins College of Business, University of Tulsa（塔尔萨大学柯林斯商学院）；Faculty of Biological Sciences, University of Dhaka（达卡大学生物科学学院）
本文针对金融领域XAI应用展开系统性综述，通过文献计量与内容分析揭示主题集群、常用策略等，发现事后可解释技术占主导，强调多学科方法的必要性并指出当前系统缺陷。
2025-11-11 cs.AI q-fin.GN
A Comprehensive Review on Financial Explainable AI
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Asian Institute of Digital Finance at NUS（新加坡国立大学亚洲数字金融研究所）；Imperial College London（帝国理工学院）
本文系统综述了金融领域深度学习模型的可解释人工智能方法，按特征进行分类，并分析了应用挑战与未来方向。
2023-09-21 cs.AI cs.CE q-fin.CP
The Need for Standardized Explainability
Dathena Science Pte. Ltd.
可解释人工智能（XAI）在工业级人工智能中至关重要;然而，现有的方法无法解决这一必要性，部分原因是缺乏可解释性方法的标准化。本文的目的是提供一个视角的可解释性领域的现状，并提供新的定义的可解释性和可解释性开始标准化这一领域的研究。要做到这一点，我们提供了一个关于可解释性的文献综述，以及已经实施的现有方法。最后，我们对不同的可解释性方法进行了尝试性的分类，为未来的研究打开了大门。
2020-10-23 cs.AI cs.LG
Towards Smart Fake News Detection Through Explainable AI
National Institute of Technology Calicut（国家理工学院卡利卡特分校）
由于社交媒体网站的受欢迎程度，人们现在将其视为唯一的信息来源。大多数人通过社交媒体获取新闻。与此同时，近年来假新闻在社交媒体平台上呈指数级增长。几种基于人工智能的检测假新闻的解决方案已经显示出令人鼓舞的结果。另一方面，这些检测系统缺乏解释能力，即，解释他们为什么做出预测的能力。本文重点介绍了可解释的假新闻检测的最新技术水平。我们讨论了当前基于人工智能的可解释假新闻检测模型的缺陷，并介绍了我们正在进行的多模态可解释假新闻检测模型的研究。
2022-07-23 cs.AI cs.IR cs.SI
Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI
TECNALIA；ENSTA, Institute Polytechnique Paris（巴黎综合理工学院ENSTA）；INRIA（法国国家信息与自动化研究所）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））；Segula Technologies（Segula科技公司）；Sorbonne Universitè（索邦大学）；DaSCI Andalusian Institute of Data Science and Computational Intelligence, University of Granada（格拉纳达大学DaSCI安达卢西亚数据科学与计算智能研究所）；Telefonica（西班牙电信公司）
在过去的几年里，人工智能（AI）已经取得了显着的势头，可能会在整个领域的许多应用领域提供最好的期望。为了实现这一点，整个社区都面临着可解释性的障碍，这是人工智能技术的一个固有问题，由子符号主义（例如合奏或深度神经网络）带来，而这些问题在人工智能的最后一次炒作中并不存在。这个问题的基础范式属于所谓的可解释AI（XAI）领域，这被认为是AI模型实际部署的关键特征。本概述探讨了现有的文献领域的XAI，包括对什么是尚未达到的前景。我们总结了以前的努力，定义在机器学习的可解释性，建立一个新的定义，涵盖了以前的概念命题，主要集中在观众的可解释性寻求。然后，我们提出并讨论了与不同机器学习模型的可解释性相关的最新贡献的分类，包括针对深度学习方法的分类。这些文献分析为XAI面临的一系列挑战提供了背景，例如数据融合和可解释性之间的十字路口。我们的前景导致了负责任人工智能的概念，即在真实组织中大规模实施人工智能方法的方法论，其核心是公平性，模型可解释性和问责制。我们的最终目标是为新加入XAI的人提供参考资料，以促进未来的研究进展，同时也鼓励其他学科的专家和专业人士在其活动领域接受人工智能的好处，而不因其缺乏可解释性而存在任何偏见。
2019-12-26 cs.AI cs.LG cs.NE
Explainable Artificial Intelligence Approaches: A Survey
University of Hartford（哈特福德大学）；Tennessee Tech University（田纳西理工大学）；Edith Cowan University（伊迪丝·考恩大学）
尽管基于人工智能（AI）的“黑盒”系统/模型在许多现实世界的应用中具有优越性，但其决策缺乏可解释性是在不同领域或行业的许多高风险应用中采用AI的关键绊脚石。虽然有许多流行的可解释人工智能（XAI）方法或方法可以促进对决策的人性化解释，但每种方法都有自己的优点和缺点，并存在大量的开放挑战。我们用一个相互的案例研究/任务（即，信用违约预测），从多个角度分析竞争优势（例如，本地，全球），提供量化可解释性的有意义的见解，并推荐使用XAI作为媒介的负责任或以人为本的AI的路径。从业者可以使用这项工作作为一个目录，以了解，比较和相关的流行XAI方法的竞争优势。此外，这项调查还指出了未来的研究方向，即负责任的或以人为中心的人工智能系统，这对于在高风险应用中采用人工智能至关重要。
2021-01-23 cs.AI cs.LG
BEExAI: Benchmark to Evaluate Explainable AI
Groupe Square Management（Square Management集团）；Square Research Center（Square研究中心）；CentraleSupélec（中央高等电力学院）
针对黑盒模型事后归因解释缺乏统一评估方法的问题，提出基准工具BEExAI，利用选定评估指标实现不同事后XAI方法的大规模比较。
2024-07-29 cs.AI cs.CL cs.LG
Beyond the Black Box: A Cognitive Architecture for Explainable and Aligned AI
Tongji University（同济大学）
本文提出'权重计算主义'认知架构，通过分解认知为逻辑原子和基本操作，实现可解释、普遍和可追溯的价值对齐，为通用人工智能的发展提供理论和实践基础。
2025-12-08 cs.AI cs.LO
Systematic Literature Review: Explainable AI Definitions and Challenges in Education
University of Technology Sydney（悉尼科技大学）；Islamic University of Madinah（麦地那伊斯兰大学）
本文采用PRISMA方法系统综述了教育领域可解释AI（XAI）的定义与挑战，发现15种定义和62项挑战并将其归纳为七类，指出XAI缺乏标准化定义导致概念混淆。
2025-04-03 cs.AI cs.CY
The Scenic Route to Deception: Dark Patterns and Explainability Pitfalls in Conversational Navigation
研究探讨了生成式AI在行人导航中的应用，揭示了对话接口可能带来的操纵风险，并提出神经符号架构作为提升可信任度的方法。
2026-03-15 cs.AI cs.CY cs.HC
Ceci n'est pas une explication: Evaluating Explanation Failures as Explainability Pitfalls in Language Learning Systems
Oxford University Press（牛津大学出版社）；Oxford Internet Institute（牛津互联网研究所）；University of Oxford（牛津大学）
本文通过L2-Bench基准评估AI语言学习工具在六个关键维度上的反馈质量，指出表面有用但本质有缺陷的解释会导致可解释性陷阱，并分析语言学习环境如何放大这些风险。
2026-05-22 cs.AI cs.HC
Combining Human-centred Explainability and Explainable AI
本文探讨以人为中心的可解释性与可解释AI的差异与结合机遇，提出代数机器学习方法作为初步示例，并呼吁社区共同讨论设计方向。
2025-07-09 cs.HC
Explainable AI Reloaded: Challenging the XAI Status Quo in the Era of Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
本研究质疑大语言模型时代XAI“打开黑箱”的传统假设，指出算法中心视角的认知盲区，提出以人为中心的方向，从三个维度整合XAI研究，为该领域提供反思性指导。
2024-08-13 cs.AI cs.HC
Explainable Machine Learning in Deployment
Carnegie Mellon University（卡内基梅隆大学）；Partnership on AI（人工智能合作组织）；University of Cambridge（剑桥大学）；Leverhulme CFI（Leverhulme智能未来中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Alan Turing Institute（艾伦图灵研究所）；Fiddler Labs；Baidu（百度）；CognitiveScale；IBM Research（IBM研究院）
可解释的机器学习通过使用各种方法（如特征重要性分数、反事实解释或有影响力的训练数据），为利益相关者提供了对模型行为的洞察。然而，人们对组织如何在实践中使用这些方法知之甚少。本研究探讨了组织如何看待和使用利益相关者消费的可解释性。我们发现，目前，大多数部署不是针对受模型影响的最终用户，而是针对机器学习工程师，他们使用可解释性来调试模型本身。因此，在实践中的可解释性与透明度目标之间存在差距，因为解释主要是为内部利益攸关方服务，而不是为外部利益攸关方服务。我们的研究综合了当前可解释性技术的局限性，这些局限性阻碍了最终用户的使用。为了促进最终用户的互动，我们开发了一个框架，建立明确的目标，可解释性。最后，我们讨论了关于可解释性的问题。
2020-07-10 cs.AI cs.CY cs.HC
OKRA: an Explainable, Heterogeneous, Multi-Stakeholder Job Recommender System
Maastricht University（马斯特里赫特大学）
本文提出基于图神经网络的可解释多利益相关方职位推荐系统OKRA，在准确率、可解释性与公平性之间取得平衡，并在两个数据集上显著优于六个基线模型。
2025-03-17 cs.AI cs.HC cs.IR
Usability Testing of an Explainable AI-enhanced Tool for Clinical Decision Support: Insights from the Reflexive Thematic Analysis
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
通过20名美国临床医生的可用性测试和反思性主题分析，提出了可解释性的具体框架和操作定义，以指导AI工具定制化开发，提升临床接受度。
2026-06-29 cs.HC
Personalised novel and explainable matrix factorisation
Free University of Bolzano（博尔扎诺自由大学）
推荐系统向个人提供个性化建议，以帮助他们进行决策和探索任务。在理想的情况下，这些建议，除了是准确的，还应该是新颖的和可解释的。然而，到目前为止，大多数平台都无法提供这两种新颖的建议，这些建议可以促进用户的探索，同时提供解释，使他们的推理对他们更加透明。例如，一个众所周知的推荐算法，如矩阵分解（MF），只优化准确性标准，而忽略其他质量标准，如可解释性或新颖性，推荐项目。在本文中，据我们所知，我们提出了一个新的模型，表示为NEMF，允许权衡MF性能的标准的新颖性和可解释性，而只有最低限度地损害准确性。此外，我们建议一个新的可解释性指标的基础上nDCG，区分一个更可解释的项目从一个不太可解释的项目。最初的用户研究表明，用户如何感知这些“用户”风格的解释和我们广泛的实验结果表明，我们达到了高精度推荐也新颖和可解释的项目的不同属性。
2019-07-25 cs.HC cs.IR cs.LG
Adoption of Explainable Natural Language Processing: Perspectives from Industry and Academia on Practices and Challenges
Mahdi Dhaini（独立研究者）；Tobias Müller（独立研究者）；Roksoliana Rabets（独立研究者）；Gjergji Kasneci（独立研究者）
本文通过访谈工业界从业者和学术研究者，调查了可解释自然语言处理在实际应用中的采用动机、技术、满意度及挑战，发现当前方法存在概念差距、低满意度和评估难题，强调需要明确定义和以用户为中心的框架以促进其实践应用。
2025-08-13 cs.AI cs.CL cs.HC
Seeing through the Eyes of AI: Situated Explainability in Augmented Reality
Adelaide University（阿德莱德大学）；Graz University of Technology（格拉茨工业大学）；Aarhus University（奥胡斯大学）；University of Stuttgart（斯图加特大学）
本文提出利用增强现实在用户工作空间中实时呈现空间可解释性信息，以解决传统2D解释与物理环境脱节的问题，并展示已知可解释性方法在AR中的应用及用户见解。
2026-10-05 cs.HC
Helping results assessment by adding explainable elements to the deep relevance matching model
在本文中，我们解决的可解释性网络搜索引擎。我们提出了两个可解释的元素上的搜索引擎结果页面：一个可视化的查询词权重和可视化的通道相关性。这个想法是，搜索引擎向用户表明为什么检索结果是由用户的价值更高，并获得用户的信任。我们从深度相关匹配模型（DRMM）中的术语门控网络推导出查询术语权重，并将其可视化为甜甜圈图。此外，我们用DRMM训练了一个高级排名器，它从每个文档中选择最相关的段落，并在结果页面上显示为片段。在片段旁边，我们显示了一个文档缩略图，突出显示了这段文字。我们评估建议的接口在一个在线用户研究，要求用户判断的可解释性和可评估性的接口。我们发现，用户判断我们提出的界面明显更易于解释和更容易评估比常规的搜索引擎结果页面。然而，他们在从前5名中选择相关文件方面并没有明显的优势。这表明搜索引擎结果页面的可解释性导致更好的用户体验。因此，我们得出结论，建议的可解释元素是有前途的可视化搜索引擎用户。
2021-06-09 cs.HC cs.IR
Explainable Agents Through Social Cues: A Review
Uppsala University（乌普萨拉大学）；INESC-ID（INESC-ID（葡萄牙系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）；Institute for Intelligent Systems and Robotics, CNRS UMR 7222（法国国家科学研究中心UMR 7222智能系统与机器人研究所）；Sorbonne Université（索邦大学）
在过去的三年里，如何使具体的代理人可解释的问题已经经历了兴趣的激增，并且有许多术语指的是这个概念，例如，透明度或易读性。术语差异如此之大的一个原因是，与非实体代理访问的社交线索相比，实体代理可以访问的社交线索的独特阵列。另一个原因是不同的作者以不同的方式使用这些术语。因此，我们回顾了现有的可解释性文献，并通过以下方式组织：（1）提供现有定义的概述，（2）显示可解释性是如何实现的，以及它如何利用不同的社会线索，（3）显示可解释性的影响是如何衡量的。此外，我们提出了一系列悬而未决的问题和挑战，突出了需要社区进一步调查的领域。这为感兴趣的读者提供了当前最新技术的概述。
2021-02-18 cs.HC cs.LG cs.RO
Explainable Human-in-the-loop Dynamic Data-Driven Digital Twins
Southern University of Science and Technology (SUSTech)（南方科技大学）；University of Birmingham（伯明翰大学）；University of Thessaly（色萨利大学）；Research Institute for Trustworthy Autonomous Systems（可信自主系统研究院）
针对人在环动态数据驱动数字孪生中决策可解释性不足影响模型精度的问题，提出一种结合可解释机器学习与目标建模、考虑效用权衡的可解释性方法，并通过智能仓储示例验证。
2022-11-22 cs.AI cs.HC cs.SY
xSRL: Safety-Aware Explainable Reinforcement Learning -- Safety as a Product of Explainability
Wake Forest University（维克森林大学）；Indiana University（印第安纳大学）
针对安全强化学习可解释性不足的问题，提出xSRL框架，通过整合局部与全局解释并利用对抗攻击识别策略漏洞，提升RL系统在现实部署中的安全性与可信度。
2024-12-26 cs.AI cs.HC cs.LG
A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation
Italian Institute of Technology（意大利技术研究院）
本文提出一种多方对话中基于注意力机制的可解释听话人估计模型，并将其集成于iCub机器人的认知架构中，通过实时人机交互验证与在线用户研究，提升了机器人的透明度、交互性能及人类信任度。
2025-01-31 cs.AI cs.CL cs.HC
Outlining the design space of eXplainable swarm (xSwarm): experts perspective
Bournemouth University（伯恩茅斯大学）；University of Southampton（南安普顿大学）
本研究通过调查26位专家，概述了可解释群体（xSwarm）的设计空间，旨在明确群体机器人中可解释性的需求与挑战，为建立该新研究领域奠定基础。
2023-09-03 cs.CY cs.HC cs.RO
Identifying the Most Explainable Classifier
我们引入逐点覆盖的概念来衡量机器学习分类器的可解释性。对预测的解释是特征空间中与预测共享相同标签的可定义的简单区域，解释的覆盖率衡量其大小或可推广性。有了这个解释的概念，我们研究最可解释的分类器是否存在自然的特征。根据我们的直觉，我们证明了二元线性分类器是唯一的最可解释的分类器可忽略的集。
2019-10-22 cs.HC cs.LG stat.ML
MolExplain: An Interactive Tool for Explainable Molecular Property Prediction
Brandeis University（布兰迪斯大学）
MolExplain是一个交互式工具，结合摩根指纹、XGBoost和SHAP归因，在网页界面中实现分子性质预测与子结构级可视化解释，并在环肽膜通透性中验证了其可解释性。
2026-09-23 cs.HC physics.chem-ph
Explainable Deep Learning for Video Recognition Tasks: A Framework & Recommendations
Crime and Security Research Institute（犯罪与安全研究所）；Cardiff University（卡迪夫大学）；School of Engineering（工程学院）
深度学习在现实世界中的应用越来越受欢迎。随着高性能硬件的推出，应用程序不再局限于图像识别。随着越来越复杂的问题的出现，越来越复杂的解决方案也随之而来，对可解释的人工智能的需求也越来越大。用于视频任务的深度神经网络是最复杂的模型之一，其参数至少是图像对应模型的两倍。然而，这些模型的解释往往不适合视频域。目前在视频模型的可解释性方面的工作仍然被图像技术所掩盖，而视频深度学习本身正在快速获得静止图像的方法。本文旨在强调使用视频深度学习模型设计的可解释性方法的必要性，并考虑到关联时空输入，首先说明视频深度学习的前沿，然后注意到这些方法的解释研究的缺乏。
2019-09-07 cs.CV cs.HC cs.LG
