A Taxonomy of Explainable Bayesian Networks
University of Pretoria（比勒陀利亚大学）；Center for Artificial Intelligence Research（人工智能研究中心）
人工智能（AI），特别是其可解释性，在过去几年中获得了惊人的关注。虽然我们通常不会质疑这些系统在只有结果感兴趣的情况下的决策过程，但当这些系统应用于决策直接影响人类生活的领域时，我们会密切关注。特别是在接近决策边界的地方进行噪声和不确定的观测，会导致无法解释的预测，这可能会助长最终用户之间的不信任。这引起了人们对AI方法的注意，这些方法的结果可以解释。贝叶斯网络是一种概率图模型，可以用作管理不确定性的工具。贝叶斯网络的概率框架允许在模型、推理和证据中进行解释。这些方法的使用大多是临时的，不如更广泛的人工智能研究领域中的可解释性方法组织得那么好。因此，我们介绍了贝叶斯网络的可解释性分类。我们扩展了现有的分类模型，推理或证据，包括解释的决定。通过一个简单的医疗诊断场景说明了从可解释性方法获得的解释。本文介绍的分类法不仅有可能鼓励最终用户有效地沟通所获得的结果，而且还支持他们理解如何以及更重要的是，为什么做出某些预测。
2021-01-28 cs.AI
The Road to Explainability is Paved with Bias: Measuring the Fairness of Explanations
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Unity Health Toronto（多伦多团结健康医院）
医疗保健等安全关键环境中的机器学习模型通常是黑盒：它们包含大量对用户不透明的参数。事后可解释性方法，其中一个简单的，人类可解释的模型模仿这些黑盒模型的行为，经常被提出来帮助用户信任模型预测。在这项工作中，我们审计质量的不同的保护亚组使用真实的数据，从四个设置在金融，医疗保健，大学招生和美国司法系统的解释。在两种不同的黑盒模型架构和四种流行的可解释性方法中，我们发现解释模型的近似质量（也称为保真度）在子组之间存在显着差异。我们还证明，配对的可解释性方法与强大的机器学习的最新进展，可以提高解释的公平性，在某些设置。然而，我们强调了向用户传达非零保真度差距细节的重要性，因为单个解决方案可能不存在于所有设置中。最后，我们讨论了不公平的解释模型作为一个具有挑战性的和欠研究的问题所面临的机器学习社区的影响。
2022-06-02 cs.AI cs.CY cs.LG
Explainability in AI Policies: A Critical Review of Communications, Reports, Regulations, and Standards in the EU, US, and UK
Minsait by Indra Sistemas SA（英德拉系统公司旗下Minsait）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Delft University of Technology（代尔夫特理工大学）；Dragonfly
本文首次对欧盟、美国和英国AI可解释性政策与标准进行主题和差距分析，指出其概念粗略等问题，并提出涵盖定义、可行性、可用性与问责的监管建议。
2023-04-20 cs.AI cs.CY
Explanation Beyond Intuition: A Testable Criterion for Inherent Explainability
School of Computer Science, University of Auckland（计算机科学学院，奥克兰大学）
本文提出一个可检验的内在可解释性标准，利用图论分解模型并重新组合以生成全局解释，证明PREDICT模型具有内在可解释性。
2025-12-19 cs.AI cs.LG
Explainability Fact Sheets: A Framework for Systematic Assessment of Explainable Approaches
University of Bristol（布里斯托尔大学）
机器学习中的解释有多种形式，但关于其所需属性的共识尚未出现。在本文中，我们介绍了一个分类法和一组描述符，可用于识别和系统地评估可解释的系统沿五个关键方面：功能，操作，可用性，安全性和验证。为了设计一个全面的和有代表性的分类法和相关的描述符，我们调查了可解释的人工智能文献，提取其他作者在他们的研究中提出或隐含使用的标准和必要条件。该调查包括介绍新的可解释性算法的论文，以了解用于指导其开发的标准以及如何评估这些算法，以及从计算机科学和社会科学角度提出此类标准的论文。这个新的框架允许系统地比较和对比可解释性方法，不仅可以更好地了解它们的能力，而且可以识别它们的理论质量和实现特性之间的差异。我们开发了一个可操作的框架的可解释性事实表的形式，使研究人员和从业者都能够快速掌握特定的可解释的方法的能力和局限性。当用作工作表时，我们的分类法可以通过帮助沿着五个建议的维度进行批判性评估来指导新的可解释性方法的开发。
2019-12-11 cs.AI cs.LG stat.ML
Policy-Driven AI in Dataspaces: Taxonomy, Explainability, and Pathways for Compliant Innovation
Department of CST Tsinghua University Beijing, China（计算机科学与技术系 清华大学 北京中国）；Department of CSE Chandigarh University Mohali, India（计算机科学与工程系 印度昌迪加尔大学 摩哈利）
本文针对AI驱动数据空间的隐私、性能与合规挑战，综述相关隐私保护与政策感知AI技术，提出基于多维度的技术分类体系，指出研究空白并给出未来发展方向，为构建可信合规的数据空间AI系统奠定基础。
2025-07-30 cs.AI cs.CR
Towards the Linear Algebra Based Taxonomy of XAI Explanations
本文提出了一种替代方法的基本分类的解释所产生的可解释的人工智能技术。可解释人工智能（XAI）的方法被开发出来，以回答为什么做出某种预测或估计的问题，最好是用人类代理容易理解的术语。文献中提出的XAI分类法主要集中在区分涉及人类代理的解释上，这使得提供更多的数学方法来区分和比较不同的解释变得复杂。本文缩小其注意力的情况下，感兴趣的数据集属于$\mathbb{R} ^n$，并提出了一个简单的线性代数为基础的分类局部解释。
2023-01-30 cs.AI cs.LG
Aggregating explanation methods for stable and robust explainability
DTU Compute, Technical University Denmark（丹麦技术大学计算学院）
尽管关于解释神经网络的文献越来越多，但在如何解释神经网络决策或如何评估解释方面尚未达成共识。我们在本文中的贡献是双重的。首先，我们调查的计划，结合解释方法，减少模型的不确定性，以获得一个单一的聚合解释。我们提供的证据表明，聚合是更好地确定重要的功能，比单独的方法。对解释的对抗攻击是最近一个活跃的研究课题。作为我们的第二个贡献，我们提出的证据表明，总的解释是更强大的攻击比个人的解释方法。
2020-03-20 cs.AI cs.LG stat.ML
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo（东京大学）
图神经网络（GNN）是将图数据作为输入的深度学习模型，并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而，由于GNN的复杂性，很难分析输入的哪些部分影响GNN模型的输出。在这项研究中，我们扩展了卷积神经网络（CNN）的可解释性方法，例如局部可解释模型不可知性解释（LIME），基于显着性的映射和基于显着性的加权类激活映射（Grad-CAM）到GNN，并预测输入图中的哪些边对GNN决策很重要。实验结果表明，基于LIME的方法是最有效的可解释性方法，在现实世界的情况下，多个任务，甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
Evaluating Explainability: A Framework for Systematic Assessment and Reporting of Explainable AI Features
U.S. Food and Drug Administration（美国食品药品监督管理局）
针对可解释AI特征缺乏质量评估方法的问题，提出含一致性、合理性、保真度、有用性四项标准的评估框架及配套记分卡，并以乳腺病变检测为例验证，为AI医疗设备的可解释性评估提供系统方案。
2025-06-16 cs.AI
A Methodology and Software Architecture to Support Explainability-by-Design
本文提出“设计即解释”方法论中的解释技术设计阶段，通过可复用软件架构和日志溯源工作流，使决策系统能够高效生成满足需求的个性化解释，并在两个场景中验证了其开发成本的可承受性。
2023-05-25 cs.AI cs.CY cs.SE
From Robustness to Explainability and Back Again
University of Toulouse（图卢兹大学）；IRIT（信息学、机器人学与微电子学研究所）
本文针对形式化可解释性在深度神经网络等分类器上可扩展性不足的问题，提出通过至多线性数量的鲁棒性查询计算形式化解释的高效算法，并推广解释定义以兼容不同距离范数和目标鲁棒程度。
2024-12-03 cs.AI
Evaluating Explainability for Graph Neural Networks
Adobe（奥多比公司）；University of Tennessee（田纳西大学）；Harvard Business School（哈佛商学院）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science Initiative（哈佛数据科学研究院）
随着事后解释越来越多地用于理解图神经网络（GNN）的行为，评估GNN解释的质量和可靠性变得至关重要。然而，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对于给定的任务没有或不可靠的地面实况解释。在这里，我们介绍一个合成图数据生成器，ShapeGGen，它可以生成各种基准数据集（例如，变化的图大小、度分布、同亲图与异亲图），并伴有地面实况解释。此外，生成各种合成数据集和相应的地面实况解释的灵活性使我们能够模拟各种真实世界应用程序生成的数据。我们将ShapeGGen和几个真实世界的图形数据集纳入开源图形解释库GraphXAI。除了具有地面实况解释的合成和真实世界图形数据集外，GraphXAI还提供数据加载器，数据处理功能，可视化工具，GNN模型实现和评估指标，以基准测试GNN可解释性方法的性能。
2023-01-16 cs.AI cs.LG
On Logic-Based Explainability with Partially Specified Inputs
Univ. Lleida（莱里达大学）；IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
本文研究部分指定输入下基于逻辑解释的计算，证明现有算法可推广且复杂度不变，并通过公共数据集验证新用例。
2023-06-27 cs.AI
Towards Quantification of Explainability in Explainable Artificial Intelligence Methods
Tennessee Technological University（田纳西理工大学）
人工智能（AI）已成为安全、金融、医疗、医学和刑事司法等领域不可或缺的一部分。用人类的语言解释人工智能系统的决策是一个关键的挑战--由于模型的高度复杂性，以及对人类利益、权利和生活的潜在影响。虽然可解释性人工智能是一个新兴的研究领域，但对于可解释性的定义、量化和形式化还没有达成共识。事实上，可解释性的量化是一个公开的挑战。在我们以前的工作中，我们结合了领域知识，以获得更好的可解释性，但是，我们无法量化可解释性的程度。在这项工作中，我们（1）简要分析了可解释性的定义，从不同学科的角度（例如，心理学、社会科学）、解释的性质、解释方法和人性化的解释;（2）提出并制定一种量化可解释性程度的方法。我们的实验结果提供了一种合理的、与模型无关的可解释性量化方法
2019-11-22 cs.AI q-fin.RM
"Help Me Help the AI": Understanding How Explainability Can Support Human-AI Interaction
Princeton University（普林斯顿大学）；Intel Labs（英特尔实验室）
尽管可解释的AI（XAI）方法激增，但对最终用户的可解释性需求和围绕XAI解释的行为知之甚少。为了解决这一差距，并有助于理解可解释性如何支持人类与人工智能的交互，我们对现实世界人工智能应用程序Merlin鸟类识别应用程序的20名最终用户进行了混合方法研究，并询问了他们对XAI的需求，使用和感知。我们发现，参与者希望获得实际有用的信息，以改善他们与人工智能的协作，而不是技术系统的细节。相关地，参与者打算将XAI解释用于各种目的，而不仅仅是理解AI的输出：校准信任，提高他们的任务技能，改变他们的行为以向AI提供更好的输入，并向开发人员提供建设性的反馈。最后，在现有的XAI方法中，参与者更喜欢类似于人类推理和解释的基于部分的解释。我们讨论了我们的研究结果的影响，并为未来的XAI设计提供建议。
2023-02-16 cs.AI cs.CV cs.CY
Unifying Model Explainability and Robustness via Machine-Checkable Concepts
MPI-SWS（马克斯·普朗克软件系统研究所）；University of Maryland（马里兰大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
随着深度神经网络（DNN）被越来越多的应用所采用，可解释性已经成为这些模型的关键需求。在许多现实世界的任务中，要求可解释性的主要原因之一是反过来评估预测鲁棒性，其中预测（即，类别标签）不符合它们各自的解释（例如，输入中概念的存在或不存在）被视为不可靠。然而，大多数（如果不是全部的话）用于检查澄清一致性的现有方法（例如，LIME、TCAV、显着图）需要大量的人工干预，这阻碍了它们的大规模部署。在本文中，我们提出了一个健壮性评估框架，其核心是使用机器可检查的概念的想法。我们的框架定义了大量的概念，DNN解释可以基于这些概念，并在测试时执行解释一致性检查，以评估预测的鲁棒性。这两个步骤都是以自动化的方式执行的，不需要任何人为干预，并且很容易扩展到具有大量类的数据集。在真实世界数据集和人类调查上的实验表明，我们的框架能够显着提高预测的鲁棒性：我们的框架标记为鲁棒的预测具有显着更高的准确性，并且对对抗性扰动更具鲁棒性。
2020-07-02 cs.AI cs.CY cs.LG
Bridging Fairness and Explainability: Can Input-Based Explanations Promote Fairness in Hate Speech Detection?
Saarland University（萨尔兰州大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本研究探讨了基于输入的解释在仇恨言论检测中促进公平性的有效性，发现其在检测偏见和训练中减少偏见方面有效，但在选择公平模型方面不可靠。
2026-02-11 cs.AI cs.CL
Impact of Legal Requirements on Explainability in Machine Learning
University of Namur（那慕尔大学）
欧洲法律对可解释性的要求及其对机器学习（ML）模型的影响并不总是明确的。从这个角度来看，我们的研究分析了私人和公共决策的解释义务，以及如何通过机器学习技术来实现这些义务。
2020-07-10 cs.AI cs.CY cs.LG
ALMANACS: A Simulatability Benchmark for Language Model Explainability
Berkeley AI Research（伯克利人工智能研究院）
本文提出了ALMANACS，一个自动化语言模型可解释性基准，通过可模拟性评估解释方法对新输入行为预测的改善程度，发现现有方法均未优于无解释对照组，表明开发有效辅助可模拟性的解释方法仍是开放挑战。
2025-02-02 cs.AI cs.CL cs.LG
The Case Against Explainability
Tel-Aviv University（特拉维夫大学）
本文分析了“理由提供”在法律中的目的，指出终端用户可解释性无法履行做出公正决策、促进正当程序和认证人类主体性等法律功能，且在增强决策者权威方面存在操纵风险，呼吁监管者重新审视AI系统的解释权。
2023-05-20 cs.AI
On the interplay of Explainability, Privacy and Predictive Performance with Explanation-assisted Model Extraction
Università della Svizzera italiana（瑞士大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南方应用科学与艺术大学）；Lebanese University（黎巴嫩大学）
本文研究MLaaS中反事实解释辅助模型窃取带来的隐私风险，评估训练阶段与解释器生成阶段两种差分隐私策略对预测性能、隐私和可解释性权衡的影响。
2025-05-13 cs.AI cs.CR
A Psychological Theory of Explainability
Rutgers University–Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（普林斯顿高等研究院）
可解释的人工智能（XAI）的目标是生成人类可解释的解释，但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行，在个案的基础上，这阻碍了XAI的系统理论建设。我们提出了一个心理学理论，人类如何从显着图中得出结论，显着图是XAI解释的最常见形式，它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设，在没有解释的情况下，人类期望人工智能做出与自己类似的决定，并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的，通过谢泼德的普遍规律的推广相似空间，一个经典的理论，从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明，我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
A systematic review and taxonomy of explanations in decision support and recommender systems
Universidade Federal do Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学）；TU Dortmund（多特蒙德工业大学）
随着人工智能领域的最新进展，越来越多的决策任务被委托给软件系统。成功和采用此类系统的关键要求是用户必须信任系统选择，甚至完全自动化的决策。为了实现这一点，解释设施已被广泛调查，作为一种手段，建立信任这些系统，因为早期的专家系统。随着当今日益复杂的机器学习算法，在解释、问责制和对此类系统的信任方面的新挑战不断出现。在这项工作中，我们系统地回顾了文献中的建议给出系统的解释。这是一个包括推荐系统的系统家族，推荐系统是实践中最成功的一类建议软件。我们调查解释的目的，以及它们是如何产生的，呈现给用户，并评估。因此，我们得出一个新的全面分类的方面时，要考虑到当前和未来的决策支持系统设计的解释设施。分类法包括各种不同的方面，如解释目标，响应性，内容和呈现。此外，我们确定了一些迄今为止尚未解决的挑战，例如与解释的呈现以及如何评估解释设施相关的细粒度问题。
2020-06-15 cs.AI cs.IR
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne（墨尔本大学）；University of California, Irvine（加州大学欧文分校）
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定（例如拒绝贷款申请），那么它既需要解释为什么做出这个决定，也需要解释个人如何获得他们想要的结果（如果可能的话）。目前，这通常是使用反事实的解释，但这种解释一般不告诉个人如何行动。我们断言，反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先，我们提出了一个在线研究的结果，调查人们的看法的指示性解释。其次，我们提出了一个概念模型来产生这样的解释。我们的在线研究显示，人们对指令性解释（$p<0.001$）有明显的偏好。然而，受试者偏好的解释类型受到多种因素的影响，如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Rethinking Explainability in the Era of Multimodal AI
University of Virginia（弗吉尼亚大学）
该研究指出单模态解释无法捕捉多模态AI模型的跨模态决策影响，提出三大多模态解释核心原则，以提升模型可靠性与高风险场景安全性。
2025-06-16 cs.AI cs.LG
Human-Centered Explainability in AI-Enhanced UI Security Interfaces: Designing Trustworthy Copilots for Cybersecurity Analysts
Palo Alto Networks（帕洛阿尔托网络公司）
本文提出了一种面向AI增强用户界面安全性的以人为本的可解释性方法，通过设计可信的copilot，提升网络安全分析师对AI输出的信任和决策准确性。
2026-01-30 cs.AI cs.CR cs.HC
Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models
Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））；KU Leuven（鲁汶大学）
本文在流程结果预测中通过可解释性和忠实度定义可解释性，在13个真实事件日志上对7个分类器进行基准测试，并提出X-MOP指南以帮助基于事件日志规范选择合适的模型。
2023-07-30 cs.AI cs.LG cs.SE
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
LangXAI: Integrating Large Vision Models for Generating Textual Explanations to Enhance Explainability in Visual Perception Tasks
University of New Brunswick（新不伦瑞克大学）；Quy Nhon AI, FPT Software（FPT软件公司归仁人工智能部门）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Software AG（软件AG公司）
LangXAI 框架将 XAI 与先进视觉模型结合，为分类、检测和分割任务生成文本解释，以高 BERTScore 验证其合理性，从而提升终端用户对视觉 AI 的理解与信任。
2024-02-19 cs.AI cs.CV
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology（马尼帕尔理工学院）；IBM Research（IBM研究院）
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比，图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务，即实体匹配，我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
Real-Time Incremental Explanations for Object Detectors in Autonomous Driving
King’s College London（伦敦国王学院）
针对自动驾驶中目标检测器实时黑盒可解释性工具缺失的问题，提出IncX算法与工具，基于显著性图线性变换生成解释，在四个数据集上实现与SOTA相当的质量且计算速度快两个数量级，满足实时需求。
2025-03-07 cs.AI cs.CV
Towards Feasible Counterfactual Explanations: A Taxonomy Guided Template-based NLG Method
Robert Gordon University（罗伯特·戈登大学）
针对现有反事实解释方法忽略变化可行性的问题，提出分类法引导的基于模板的自然语言生成方法，经用户研究验证在多维度表现更优。
2023-10-03 cs.AI
Explainability Pitfalls: Beyond Dark Patterns in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）
为了使可解释人工智能（XAI）系统值得信赖，了解有害影响与产生精心设计的解释同样重要。在本文中，我们解决了一个重要的，但未明确的类型的负面影响XAI。我们引入了可解释性陷阱（EP），这是人工智能解释的意想不到的负面下游效应，即使没有意图操纵用户。EP与黑暗模式不同，但与之相关，黑暗模式是故意欺骗的做法。我们阐明了EP的概念，将其与暗模式区分开来，并强调了陷阱周围的不确定性所带来的挑战。我们使用一个案例研究来解释和操作这个概念，这个案例研究展示了尽管有最好的意图，但毫无疑问的负面影响，例如对数字解释的不必要的信任。我们提出了积极主动和预防性的战略，以解决EP在三个相互关联的层面：研究，设计和组织。
2021-09-26 cs.AI cs.HC
EvalxNLP: A Framework for Benchmarking Post-Hoc Explainability Methods on NLP Models
Technical University of Munich, School of Computation, Information and Technology, Department of Computer Science（慕尼黑技术大学，计算信息学院，计算机科学系）
本文提出EvalxNLP框架，集成八种可解释性技术，支持对基于Transformer的NLP模型生成和评估解释，并提供基于LLM的交互式文本解释，用户满意度高。
2025-05-02 cs.AI cs.CL cs.LG
A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption
UCLouvain（鲁汶大学）
本文提出统计框架刻画大型语言模型解释对训练随机性的敏感性，发现简单特征模型的词级解释比Transformer模型信号更强、噪声更小，并探讨改进与合理性权衡。
2024-03-15 cs.AI cs.CL
Unifying Causal Reinforcement Learning: Survey, Taxonomy, Algorithms and Applications
Department of Computer Science and Software Engineering, University of Western Australia（计算机科学与软件工程系，西澳大利亚大学）
本文综述了因果强化学习的分类、算法和应用，探讨了其在解决经典强化学习局限性方面的潜力及未来研究方向。
2025-12-19 cs.AI
Integrating Intrinsic and Extrinsic Explainability: The Relevance of Understanding Neural Networks for Human-Robot Interaction
University of Hamburg（汉堡大学）
可解释的人工智能（XAI）可以帮助培养对智能和自主系统的信任和接受。此外，理解智能体行为的动机会导致机器人和人类之间更好、更成功的合作。然而，不仅人类可以从机器人的解释中受益，机器人本身也可以从向他提供的解释中受益。目前，大多数注意力都集中在解释深度神经网络和黑盒模型上。然而，这些方法中的许多不适用于人形机器人。因此，在这份立场文件中，目前的问题，适应XAI方法来解释neurorobotics的描述。此外，NICO，一个开源的人形机器人平台，介绍了如何由机器人本身的内在解释和外部的解释提供的环境，使有效的机器人行为的互动。
2020-10-09 cs.AI cs.RO
A Definition of Good Explanations and the Challenges Explaining LLM Outputs
本文提出一种基于反事实解释且考虑对话者先验信念的好解释定义，并探讨该定义对AI可解释性的影响，特别是为何LLM输出难以产生好解释。
2026-06-16 cs.AI
Towards a Rigorous Evaluation of Explainability for Multivariate Time Series
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Umeå University（于默奥大学）
基于机器学习的系统正在迅速普及，与此相一致的是，在可解释性领域出现了巨大的研究热潮，以确保机器学习模型是可靠的，公平的，并且可以对其决策过程负责。可解释的人工智能（XAI）方法通常用于调试黑盒机器学习模型，但与表格、文本和图像数据相比，时间序列的可解释性仍然相对未被探索。本研究的目的是在时间序列预测问题中实现和评估模型不可知的可解释性。这项工作的重点是为一家数字咨询公司提供解决方案，该公司旨在找到一种数据驱动的方法，以了解其销售相关活动对销售交易的影响。该解决方案涉及框架的问题作为一个时间序列预测问题来预测的销售交易和可解释性实现了使用两种新的模型不可知的可解释性技术，本地可解释的模型不可知的解释（LIME）和Shapley添加剂的解释（SHAP），这是使用人类评价的可解释性。结果清楚地表明，LIME和SHAP产生的解释极大地帮助了普通人理解机器学习模型的预测。所提出的工作可以很容易地扩展到任何时间
2021-04-06 cs.AI cs.LG
A Taxonomy for Design and Evaluation of Prompt-Based Natural Language Explanations
National Research Council Canada（加拿大国家研究理事会）
本文借鉴可解释AI文献，针对基于提示的自然语言解释（NLEs）提出了一种涵盖上下文、生成与呈现及评估三个维度的分类法，为研究人员、审计人员和政策制定者设计、表征和增强透明AI系统的NLEs提供了框架。
2025-07-11 cs.AI cs.CL
May I Ask a Follow-up Question? Understanding the Benefits of Conversations in Neural Network Explainability
Nanyang Technological University（南洋理工大学）；University of Michigan（密歇根大学）
本文研究自由形式对话对XAI静态解释的增强作用，实验表明对话能显著提升用户对模型解释的理解、接受、信任及人机协作效果。
2024-08-12 cs.AI cs.HC
An Ontology-Enabled Approach For User-Centered and Knowledge-Enabled Explanations of AI Systems
IBM Research（IBM研究院）；Center for Computational Health (CCH)（计算健康中心）
本论文提出解释本体与知识增强问答流水线，在临床场景中实现以用户为中心的知识增强解释，并探索组合多AI方法与多模态解释，以弥合模型可解释性与用户中心可解释性之间的差距。
2024-10-23 cs.AI
Ceci n'est pas une explication: Evaluating Explanation Failures as Explainability Pitfalls in Language Learning Systems
Oxford University Press（牛津大学出版社）；Oxford Internet Institute（牛津互联网研究所）；University of Oxford（牛津大学）
本文通过L2-Bench基准评估AI语言学习工具在六个关键维度上的反馈质量，指出表面有用但本质有缺陷的解释会导致可解释性陷阱，并分析语言学习环境如何放大这些风险。
2026-05-22 cs.AI cs.HC
Comparing Neural Network Encodings for Logic-based Explainability
Instituto Federal do Ceará (IFCE)（巴西塞阿拉联邦大学）
本研究比较了两种将人工神经网络编码为逻辑约束的方法，用于基于逻辑的可解释性，发现调整后的编码在构建约束和总体时间上分别提升高达18%和16%，同时保持相似的解释计算时间。
2025-05-26 cs.AI cs.LG cs.LO
Global Counterfactual Explanations: Investigations, Implementations and Improvements
J.P. Morgan AI Research（摩根大通人工智能研究院）
反事实解释在可解释性方面得到了广泛的研究，在公平性、追索权和模型理解方面出现了一系列依赖于应用的方法。然而，与这些方法相关的主要缺点是它们无法提供超出局部或实例级别的解释。虽然有些作品触及了全局解释的概念，通常建议聚合大量的局部解释，希望确定全局属性，但很少有人提供可靠或计算上易于处理的框架。与此同时，从业者要求更有效和互动的解释工具。我们借此机会调查现有的全球方法，重点是实施和改进可诉追索摘要（AReS），这是唯一已知的全球追索反事实解释框架。
2022-04-14 cs.AI cs.CY cs.LG
Weakly Supervised Multi-task Learning for Concept-based Explainability
Feedzai
在ML辅助决策任务中，例如欺诈检测或医疗诊断，通常是没有技术ML知识的领域专家，更喜欢基于概念的高级解释，而不是基于模型特征的低级解释。为了获得忠实的基于概念的解释，我们利用多任务学习来训练一个神经网络，该神经网络联合学习以基于先前可解释性任务的预测来预测决策任务（即，多标签概念）。有两个主要的挑战需要克服：概念标签稀缺和联合学习。为了解决这两个问题，我们建议：i）使用专家规则来生成一个大型的噪声概念标签数据集，ii）应用两种不同的多任务学习策略，结合噪声和黄金标签。我们将这些策略与现实世界中的欺诈检测应用程序中的完全监督方法进行比较，其中很少有可用于可解释性任务的黄金标签。在可解释性和决策任务分别提高了9.26%和417.8%，我们的研究结果表明，通过结合异质质量的标签，可以提高这两项任务的性能。
2021-04-26 cs.AI cs.LG
Addressing Explainability of Generative AI using SMILE (Statistical Model-agnostic Interpretability with Local Explanations)
School of Computer Science（计算机科学学院）；University of Hull（赫尔大学）
gSMILE通过受控扰动、Wasserstein距离和加权替代模型，提升生成AI的可解释性，实现细粒度归因和直观热图生成。
2026-02-01 cs.AI
Combining Sub-Symbolic and Symbolic Methods for Explainability
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
与其他连接主义模型类似，图神经网络（GNN）在决策过程中缺乏透明度。已经开发了一些子符号方法来提供对GNN决策过程的见解。这些是实现可解释性的第一个重要步骤，但生成的解释对于非人工智能专家的用户来说通常很难理解。为了克服这个问题，我们引入了一个概念的方法结合子符号和符号的方法，以人为中心的解释，结合领域知识和因果关系。此外，我们引入了保真度的概念，作为评估解释与GNN的内部决策过程有多接近的度量。化学数据集和本体的评价表明，我们的方法的解释价值和可靠性。
2021-12-03 cs.AI cs.LG cs.SC
The Generalizability of Explanations
TU Dortmund（多特蒙德大学）；AI Group（人工智能集团）
本文提出从泛化性角度评估可解释性方法，利用自编码器学习解释分布并验证其可学习性，发现SmoothGrad平滑能显著提升解释的泛化能力。
2023-02-23 cs.AI
Explainability-Driven Quality Assessment for Rule-Based Systems
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Ottawa（渥太华大学）
本文提出一种基于可解释性的框架，通过生成四种互补解释并利用人工解读对现有规则进行数据驱动优化，以提升知识推理系统的规则质量、公平性与透明度。
2025-02-03 cs.AI cs.LO
Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI
Insight SFI Centre for Data Analytics, School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院Insight SFI数据分析中心）；VistaMilk SFI Research Centre, School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院VistaMilk SFI研究中心）；School of Psychology and Institute of Neuroscience, Trinity College Dublin, University of Dublin（都柏林圣三一学院心理学院和神经科学研究所）
该研究通过127人的对照实验发现，反事实解释在提升用户预测AI决策准确性上与因果解释相当但主观满意度更高，且用户对类别特征解释的理解优于连续特征。
2022-04-21 cs.AI cs.HC
An Information-Theoretic Framework for Comparing Voice and Text Explainability
本文提出了一种信息论框架，用于比较语音和文本在AI系统可解释性中的效果，发现类比基于的交付在理解效率与信任校准之间取得最佳平衡。
2026-02-06 cs.AI cs.CL cs.CY
Explainability for Machine Learning Models: From Data Adaptability to User Perception
l’Université de Rennes（雷恩大学）；IRISA（IRISA研究所）；Univ. Sorbonne（索邦大学）；LIP6（LIP6实验室）；Trento University（特伦托大学）；Univ. Artois（阿图瓦大学）；KU Leuven（鲁汶大学）；Aalborg University（奥尔堡大学）；Institut Agro（法国农艺学院）；INRIA（法国国家信息与自动化研究所）
本论文研究为已部署机器学习模型生成局部解释的方法，通过增强规则解释、评估线性解释及比较反事实解释，并结合用户实验，提升了AI系统的透明度、可信度与可用性。
2024-02-16 cs.AI cs.HC cs.LG
