Aggregating explanation methods for stable and robust explainability
DTU Compute, Technical University Denmark（丹麦技术大学计算学院）
尽管关于解释神经网络的文献越来越多，但在如何解释神经网络决策或如何评估解释方面尚未达成共识。我们在本文中的贡献是双重的。首先，我们调查的计划，结合解释方法，减少模型的不确定性，以获得一个单一的聚合解释。我们提供的证据表明，聚合是更好地确定重要的功能，比单独的方法。对解释的对抗攻击是最近一个活跃的研究课题。作为我们的第二个贡献，我们提出的证据表明，总的解释是更强大的攻击比个人的解释方法。
2020-03-20 cs.AI cs.LG stat.ML
Evaluating Explainability for Graph Neural Networks
Adobe（奥多比公司）；University of Tennessee（田纳西大学）；Harvard Business School（哈佛商学院）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science Initiative（哈佛数据科学研究院）
随着事后解释越来越多地用于理解图神经网络（GNN）的行为，评估GNN解释的质量和可靠性变得至关重要。然而，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对于给定的任务没有或不可靠的地面实况解释。在这里，我们介绍一个合成图数据生成器，ShapeGGen，它可以生成各种基准数据集（例如，变化的图大小、度分布、同亲图与异亲图），并伴有地面实况解释。此外，生成各种合成数据集和相应的地面实况解释的灵活性使我们能够模拟各种真实世界应用程序生成的数据。我们将ShapeGGen和几个真实世界的图形数据集纳入开源图形解释库GraphXAI。除了具有地面实况解释的合成和真实世界图形数据集外，GraphXAI还提供数据加载器，数据处理功能，可视化工具，GNN模型实现和评估指标，以基准测试GNN可解释性方法的性能。
2023-01-16 cs.AI cs.LG
A Definition of Good Explanations and the Challenges Explaining LLM Outputs
本文提出一种基于反事实解释且考虑对话者先验信念的好解释定义，并探讨该定义对AI可解释性的影响，特别是为何LLM输出难以产生好解释。
2026-06-16 cs.AI
A taxonomy of explanations to support Explainability-by-Design
Vrije Universiteit Brussel（布鲁塞尔自由大学）；King’s College London（伦敦国王学院）；University of Sussex（萨塞克斯大学）
本文提出一种包含九个维度的解释分类体系，作为项目PLEAD“可解释性设计”方法的一部分，旨在将解释作为检测控制以辅助自动合规策略，并提供了轻量本体格式和示例。
2024-11-14 cs.AI cs.CY
Towards Quantification of Explainability in Explainable Artificial Intelligence Methods
Tennessee Technological University（田纳西理工大学）
人工智能（AI）已成为安全、金融、医疗、医学和刑事司法等领域不可或缺的一部分。用人类的语言解释人工智能系统的决策是一个关键的挑战--由于模型的高度复杂性，以及对人类利益、权利和生活的潜在影响。虽然可解释性人工智能是一个新兴的研究领域，但对于可解释性的定义、量化和形式化还没有达成共识。事实上，可解释性的量化是一个公开的挑战。在我们以前的工作中，我们结合了领域知识，以获得更好的可解释性，但是，我们无法量化可解释性的程度。在这项工作中，我们（1）简要分析了可解释性的定义，从不同学科的角度（例如，心理学、社会科学）、解释的性质、解释方法和人性化的解释;（2）提出并制定一种量化可解释性程度的方法。我们的实验结果提供了一种合理的、与模型无关的可解释性量化方法
2019-11-22 cs.AI q-fin.RM
The Road to Explainability is Paved with Bias: Measuring the Fairness of Explanations
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Unity Health Toronto（多伦多团结健康医院）
医疗保健等安全关键环境中的机器学习模型通常是黑盒：它们包含大量对用户不透明的参数。事后可解释性方法，其中一个简单的，人类可解释的模型模仿这些黑盒模型的行为，经常被提出来帮助用户信任模型预测。在这项工作中，我们审计质量的不同的保护亚组使用真实的数据，从四个设置在金融，医疗保健，大学招生和美国司法系统的解释。在两种不同的黑盒模型架构和四种流行的可解释性方法中，我们发现解释模型的近似质量（也称为保真度）在子组之间存在显着差异。我们还证明，配对的可解释性方法与强大的机器学习的最新进展，可以提高解释的公平性，在某些设置。然而，我们强调了向用户传达非零保真度差距细节的重要性，因为单个解决方案可能不存在于所有设置中。最后，我们讨论了不公平的解释模型作为一个具有挑战性的和欠研究的问题所面临的机器学习社区的影响。
2022-06-02 cs.AI cs.CY cs.LG
An Ontology-Enabled Approach For User-Centered and Knowledge-Enabled Explanations of AI Systems
IBM Research（IBM研究院）；Center for Computational Health (CCH)（计算健康中心）
本论文提出解释本体与知识增强问答流水线，在临床场景中实现以用户为中心的知识增强解释，并探索组合多AI方法与多模态解释，以弥合模型可解释性与用户中心可解释性之间的差距。
2024-10-23 cs.AI
Addressing Explainability of Generative AI using SMILE (Statistical Model-agnostic Interpretability with Local Explanations)
School of Computer Science（计算机科学学院）；University of Hull（赫尔大学）
gSMILE通过受控扰动、Wasserstein距离和加权替代模型，提升生成AI的可解释性，实现细粒度归因和直观热图生成。
2026-02-01 cs.AI
One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques
IBM Research（IBM研究院）
随着人工智能和机器学习算法进一步进入社会，多个利益相关者越来越多地要求这些算法解释其输出。与此同时，这些利益相关者，无论是受影响的公民、政府监管机构、领域专家还是系统开发人员，都对解释提出了不同的要求。为了满足这些需求，我们引入了AI Explainability 360（http：//aix360.mybluemix.net/），这是一个开源软件工具包，具有八种不同的最先进的解释方法和两个评估指标。同样重要的是，我们提供了一个分类法，以帮助需要解释的实体导航的解释方法的空间，不仅在工具包中，而且在更广泛的文献解释。对于数据科学家和工具包的其他用户，我们已经实现了一个可扩展的软件架构，该架构根据方法在AI建模管道中的位置来组织方法。我们还讨论了增强功能，以使研究创新更接近解释的消费者，从简化的，更容易访问的算法版本，到教程和交互式Web演示，以向不同的受众和应用领域介绍人工智能的可解释性。总之，我们的工具包和分类法可以帮助识别需要更多可解释性方法的差距，并提供一个平台来整合它们。
2019-09-14 cs.AI cs.CV cs.HC
Bridging Fairness and Explainability: Can Input-Based Explanations Promote Fairness in Hate Speech Detection?
Saarland University（萨尔兰州大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本研究探讨了基于输入的解释在仇恨言论检测中促进公平性的有效性，发现其在检测偏见和训练中减少偏见方面有效，但在选择公平模型方面不可靠。
2026-02-11 cs.AI cs.CL
On the interplay of Explainability, Privacy and Predictive Performance with Explanation-assisted Model Extraction
Università della Svizzera italiana（瑞士大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南方应用科学与艺术大学）；Lebanese University（黎巴嫩大学）
本文研究MLaaS中反事实解释辅助模型窃取带来的隐私风险，评估训练阶段与解释器生成阶段两种差分隐私策略对预测性能、隐私和可解释性权衡的影响。
2025-05-13 cs.AI cs.CR
A Psychological Theory of Explainability
Rutgers University–Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（普林斯顿高等研究院）
可解释的人工智能（XAI）的目标是生成人类可解释的解释，但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行，在个案的基础上，这阻碍了XAI的系统理论建设。我们提出了一个心理学理论，人类如何从显着图中得出结论，显着图是XAI解释的最常见形式，它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设，在没有解释的情况下，人类期望人工智能做出与自己类似的决定，并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的，通过谢泼德的普遍规律的推广相似空间，一个经典的理论，从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明，我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
Persistent and Conversational Multi-Method Explainability for Trustworthy Financial AI
University of Piraeus, Greece（希腊比雷埃克斯大学）；ExpertAI-Lux S.à r.l（ExpertAI-Lux公司）
本文提出一种用于金融情感分析的以人为中心的可解释AI架构，结合持久化存储、多方法解释三角验证和自动化评估，提升金融AI的可信度和可解释性。
2026-05-12 cs.AI
Rewarding Explainability in Drug Repurposing with Knowledge Graphs
LASIGE, Faculty of Sciences, University of Lisbon（里斯本大学科学学院LASIGE）；Sony AI（索尼人工智能）；University of Trento（特伦托大学）；Bruno Kessler Institute（布鲁诺·凯塞林研究所）
本文提出REx方法，利用知识图谱链接预测生成科学解释，通过奖励机制和领域本体学提升药物再利用的预测性能和解释质量。
2025-09-02 cs.AI
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne（墨尔本大学）；University of California, Irvine（加州大学欧文分校）
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定（例如拒绝贷款申请），那么它既需要解释为什么做出这个决定，也需要解释个人如何获得他们想要的结果（如果可能的话）。目前，这通常是使用反事实的解释，但这种解释一般不告诉个人如何行动。我们断言，反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先，我们提出了一个在线研究的结果，调查人们的看法的指示性解释。其次，我们提出了一个概念模型来产生这样的解释。我们的在线研究显示，人们对指令性解释（$p<0.001$）有明显的偏好。然而，受试者偏好的解释类型受到多种因素的影响，如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Rethinking Explainability in the Era of Multimodal AI
University of Virginia（弗吉尼亚大学）
该研究指出单模态解释无法捕捉多模态AI模型的跨模态决策影响，提出三大多模态解释核心原则，以提升模型可靠性与高风险场景安全性。
2025-06-16 cs.AI cs.LG
Explainability Through Human-Centric Design for XAI in Lung Cancer Detection
University of Edinburgh（爱丁堡大学）；NHS Lothian（NHS洛锡安）
本文提出XpertXAI模型，通过人类中心设计在肺癌检测中实现可解释性，优于现有方法，提供更符合专家推理的概念解释。
2026-04-15 cs.AI
LangXAI: Integrating Large Vision Models for Generating Textual Explanations to Enhance Explainability in Visual Perception Tasks
University of New Brunswick（新不伦瑞克大学）；Quy Nhon AI, FPT Software（FPT软件公司归仁人工智能部门）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Software AG（软件AG公司）
LangXAI 框架将 XAI 与先进视觉模型结合，为分类、检测和分割任务生成文本解释，以高 BERTScore 验证其合理性，从而提升终端用户对视觉 AI 的理解与信任。
2024-02-19 cs.AI cs.CV
ALMANACS: A Simulatability Benchmark for Language Model Explainability
Berkeley AI Research（伯克利人工智能研究院）
本文提出了ALMANACS，一个自动化语言模型可解释性基准，通过可模拟性评估解释方法对新输入行为预测的改善程度，发现现有方法均未优于无解释对照组，表明开发有效辅助可模拟性的解释方法仍是开放挑战。
2025-02-02 cs.AI cs.CL cs.LG
The Limits of AI Explainability: An Algorithmic Information Theory Approach
Shrisha Rao
本文基于算法信息论建立AI可解释性的理论基础，通过Kolmogorov复杂度量化近似误差与解释复杂度，证明复杂度差距定理、局部与全局可解释性差距及监管不可能定理，揭示可解释AI系统设计、评估与监督的关键考量。
2025-11-03 cs.AI cs.CY cs.IT
Reimagining GNN Explanations with ideas from Tabular Data
Manipal Institute of Technology（马尼帕尔理工学院）；IBM Research（IBM研究院）
与对在表格数据上训练的基于神经和决策决策树的模型的解释相比，图神经网络的可解释性技术还有很长的路要走。使用跨越图形和表格数据的任务，即实体匹配，我们评论GNN模型解释中缺少的可解释性的关键方面。
2021-06-23 cs.AI cs.LG
Real-Time Incremental Explanations for Object Detectors in Autonomous Driving
King’s College London（伦敦国王学院）
针对自动驾驶中目标检测器实时黑盒可解释性工具缺失的问题，提出IncX算法与工具，基于显著性图线性变换生成解释，在四个数据集上实现与SOTA相当的质量且计算速度快两个数量级，满足实时需求。
2025-03-07 cs.AI cs.CV
Explainability in AI Policies: A Critical Review of Communications, Reports, Regulations, and Standards in the EU, US, and UK
Minsait by Indra Sistemas SA（英德拉系统公司旗下Minsait）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Delft University of Technology（代尔夫特理工大学）；Dragonfly
本文首次对欧盟、美国和英国AI可解释性政策与标准进行主题和差距分析，指出其概念粗略等问题，并提出涵盖定义、可行性、可用性与问责的监管建议。
2023-04-20 cs.AI cs.CY
Human-Centered Explainability in AI-Enhanced UI Security Interfaces: Designing Trustworthy Copilots for Cybersecurity Analysts
Palo Alto Networks（帕洛阿尔托网络公司）
本文提出了一种面向AI增强用户界面安全性的以人为本的可解释性方法，通过设计可信的copilot，提升网络安全分析师对AI输出的信任和决策准确性。
2026-01-30 cs.AI cs.CR cs.HC
Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models
Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））；KU Leuven（鲁汶大学）
本文在流程结果预测中通过可解释性和忠实度定义可解释性，在13个真实事件日志上对7个分类器进行基准测试，并提出X-MOP指南以帮助基于事件日志规范选择合适的模型。
2023-07-30 cs.AI cs.LG cs.SE
Explainability Pitfalls: Beyond Dark Patterns in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）
为了使可解释人工智能（XAI）系统值得信赖，了解有害影响与产生精心设计的解释同样重要。在本文中，我们解决了一个重要的，但未明确的类型的负面影响XAI。我们引入了可解释性陷阱（EP），这是人工智能解释的意想不到的负面下游效应，即使没有意图操纵用户。EP与黑暗模式不同，但与之相关，黑暗模式是故意欺骗的做法。我们阐明了EP的概念，将其与暗模式区分开来，并强调了陷阱周围的不确定性所带来的挑战。我们使用一个案例研究来解释和操作这个概念，这个案例研究展示了尽管有最好的意图，但毫无疑问的负面影响，例如对数字解释的不必要的信任。我们提出了积极主动和预防性的战略，以解决EP在三个相互关联的层面：研究，设计和组织。
2021-09-26 cs.AI cs.HC
A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption
UCLouvain（鲁汶大学）
本文提出统计框架刻画大型语言模型解释对训练随机性的敏感性，发现简单特征模型的词级解释比Transformer模型信号更强、噪声更小，并探讨改进与合理性权衡。
2024-03-15 cs.AI cs.CL
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
Integrating Intrinsic and Extrinsic Explainability: The Relevance of Understanding Neural Networks for Human-Robot Interaction
University of Hamburg（汉堡大学）
可解释的人工智能（XAI）可以帮助培养对智能和自主系统的信任和接受。此外，理解智能体行为的动机会导致机器人和人类之间更好、更成功的合作。然而，不仅人类可以从机器人的解释中受益，机器人本身也可以从向他提供的解释中受益。目前，大多数注意力都集中在解释深度神经网络和黑盒模型上。然而，这些方法中的许多不适用于人形机器人。因此，在这份立场文件中，目前的问题，适应XAI方法来解释neurorobotics的描述。此外，NICO，一个开源的人形机器人平台，介绍了如何由机器人本身的内在解释和外部的解释提供的环境，使有效的机器人行为的互动。
2020-10-09 cs.AI cs.RO
Towards a Rigorous Evaluation of Explainability for Multivariate Time Series
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Umeå University（于默奥大学）
基于机器学习的系统正在迅速普及，与此相一致的是，在可解释性领域出现了巨大的研究热潮，以确保机器学习模型是可靠的，公平的，并且可以对其决策过程负责。可解释的人工智能（XAI）方法通常用于调试黑盒机器学习模型，但与表格、文本和图像数据相比，时间序列的可解释性仍然相对未被探索。本研究的目的是在时间序列预测问题中实现和评估模型不可知的可解释性。这项工作的重点是为一家数字咨询公司提供解决方案，该公司旨在找到一种数据驱动的方法，以了解其销售相关活动对销售交易的影响。该解决方案涉及框架的问题作为一个时间序列预测问题来预测的销售交易和可解释性实现了使用两种新的模型不可知的可解释性技术，本地可解释的模型不可知的解释（LIME）和Shapley添加剂的解释（SHAP），这是使用人类评价的可解释性。结果清楚地表明，LIME和SHAP产生的解释极大地帮助了普通人理解机器学习模型的预测。所提出的工作可以很容易地扩展到任何时间
2021-04-06 cs.AI cs.LG
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain（索尼人工智能，巴塞罗那，西班牙）
针对知识图谱补全缺乏统一事后解释框架的问题，提出基于多目标优化的分类法，统一现有算法，改进评估协议，强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
May I Ask a Follow-up Question? Understanding the Benefits of Conversations in Neural Network Explainability
Nanyang Technological University（南洋理工大学）；University of Michigan（密歇根大学）
本文研究自由形式对话对XAI静态解释的增强作用，实验表明对话能显著提升用户对模型解释的理解、接受、信任及人机协作效果。
2024-08-12 cs.AI cs.HC
EvalxNLP: A Framework for Benchmarking Post-Hoc Explainability Methods on NLP Models
Technical University of Munich, School of Computation, Information and Technology, Department of Computer Science（慕尼黑技术大学，计算信息学院，计算机科学系）
本文提出EvalxNLP框架，集成八种可解释性技术，支持对基于Transformer的NLP模型生成和评估解释，并提供基于LLM的交互式文本解释，用户满意度高。
2025-05-02 cs.AI cs.CL cs.LG
Ceci n'est pas une explication: Evaluating Explanation Failures as Explainability Pitfalls in Language Learning Systems
Oxford University Press（牛津大学出版社）；Oxford Internet Institute（牛津互联网研究所）；University of Oxford（牛津大学）
本文通过L2-Bench基准评估AI语言学习工具在六个关键维度上的反馈质量，指出表面有用但本质有缺陷的解释会导致可解释性陷阱，并分析语言学习环境如何放大这些风险。
2026-05-22 cs.AI cs.HC
Weakly Supervised Multi-task Learning for Concept-based Explainability
Feedzai
在ML辅助决策任务中，例如欺诈检测或医疗诊断，通常是没有技术ML知识的领域专家，更喜欢基于概念的高级解释，而不是基于模型特征的低级解释。为了获得忠实的基于概念的解释，我们利用多任务学习来训练一个神经网络，该神经网络联合学习以基于先前可解释性任务的预测来预测决策任务（即，多标签概念）。有两个主要的挑战需要克服：概念标签稀缺和联合学习。为了解决这两个问题，我们建议：i）使用专家规则来生成一个大型的噪声概念标签数据集，ii）应用两种不同的多任务学习策略，结合噪声和黄金标签。我们将这些策略与现实世界中的欺诈检测应用程序中的完全监督方法进行比较，其中很少有可用于可解释性任务的黄金标签。在可解释性和决策任务分别提高了9.26%和417.8%，我们的研究结果表明，通过结合异质质量的标签，可以提高这两项任务的性能。
2021-04-26 cs.AI cs.LG
Explainability-Driven Quality Assessment for Rule-Based Systems
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Ottawa（渥太华大学）
本文提出一种基于可解释性的框架，通过生成四种互补解释并利用人工解读对现有规则进行数据驱动优化，以提升知识推理系统的规则质量、公平性与透明度。
2025-02-03 cs.AI cs.LO
Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI
Insight SFI Centre for Data Analytics, School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院Insight SFI数据分析中心）；VistaMilk SFI Research Centre, School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院VistaMilk SFI研究中心）；School of Psychology and Institute of Neuroscience, Trinity College Dublin, University of Dublin（都柏林圣三一学院心理学院和神经科学研究所）
该研究通过127人的对照实验发现，反事实解释在提升用户预测AI决策准确性上与因果解释相当但主观满意度更高，且用户对类别特征解释的理解优于连续特征。
2022-04-21 cs.AI cs.HC
Explanation Ontology: A Model of Explanations for User-Centered AI
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
可解释性一直是人工智能（AI）系统的目标，因为它们的概念，随着更复杂的AI模型越来越多地用于关键的，高风险的设置，如医疗保健，对可解释性的需求越来越大。解释通常以非原则性的、事后的方式添加到人工智能系统中。随着这些系统的广泛采用和对以用户为中心的可解释性的强调，需要一种结构化的表示，将可解释性作为主要考虑因素，将最终用户需求映射到特定的解释类型和系统的AI功能。我们设计了一个解释本体模型的解释，占系统和用户属性的过程中的作用，以及不同的文献衍生的解释类型的范围。我们指出本体如何可以支持用户的需求，在医疗保健领域的解释。我们评估我们的本体与一组面向系统设计师谁可能使用我们的本体来决定哪些解释类型，包括一组能力问题，给出了用户的需求和系统的能力相结合，无论是在系统设计设置和实时操作。通过使用这种本体，系统设计人员将能够做出明智的选择，人工智能系统可以并且应该提供哪些解释。
2020-10-04 cs.AI cs.HC cs.LG
Logic-Based Explainability in Machine Learning
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
在过去的十年里，机器学习（ML）取得了越来越多的成功。这些成功提供了明确的证据，表明ML必将在广泛的实际应用中变得普遍，包括许多直接影响人类的应用。不幸的是，人类决策者无法理解最成功的ML模型的操作。因此，ML模型的使用，特别是在高风险和安全关键环境中的使用并非没有问题。近年来，人们一直在努力设计解释ML模型的方法。这些努力大多集中在所谓的模型无关的方法。然而，所有与模型无关的和相关的方法都不能保证严格性，因此被称为非正式的。例如，这种非正式的解释可以与不同的预测相一致，这使得它们在实践中毫无用处。本文概述了正在进行的关于计算ML模型的严格的基于模型的解释的研究工作;这些被称为形式化解释。这些努力涵盖了各种主题，包括解释的实际定义，计算解释的复杂性的表征，当前用于推理不同ML模型的最佳逻辑编码，以及如何使解释可供人类决策者解释等。
2023-01-29 cs.AI cs.LG
Comparing Neural Network Encodings for Logic-based Explainability
Instituto Federal do Ceará (IFCE)（巴西塞阿拉联邦大学）
本研究比较了两种将人工神经网络编码为逻辑约束的方法，用于基于逻辑的可解释性，发现调整后的编码在构建约束和总体时间上分别提升高达18%和16%，同时保持相似的解释计算时间。
2025-05-26 cs.AI cs.LG cs.LO
Explainability Framework for Policy-Aware Autonomous Agents
Miami University（迈阿密大学）
针对策略感知自主智能体，借鉴社会科学见解，用回答集编程语言结合Python实现可解释性框架，利用违反策略的惩罚创建对比性解释，并通过调查评估框架。
2026-07-24 cs.AI cs.LO
A Methodology and Software Architecture to Support Explainability-by-Design
本文提出“设计即解释”方法论中的解释技术设计阶段，通过可复用软件架构和日志溯源工作流，使决策系统能够高效生成满足需求的个性化解释，并在两个场景中验证了其开发成本的可承受性。
2023-05-25 cs.AI cs.CY cs.SE
Aligning Characteristic Descriptors with Images for Human-Expert-like Explainability
University at Buffalo（布法罗大学）
提出利用特征描述符与图像对齐的概念瓶颈方法，生成类人类专家的可解释性，在人脸识别和胸部X射线诊断中优于显著性图方法。
2024-11-06 cs.AI cs.CV
Quantifying Explanation Consistency: The C-Score Metric for CAM-Based Explainability in Medical Image Classification
本文提出C-Score指标，用于评估基于CAM的医学图像分类解释一致性，通过强度强调的成对软IoU量化同一类内解释的可重复性，并在不同CNN架构上评估六种CAM技术的性能。
2026-04-09 cs.AI cs.CV
Combining Sub-Symbolic and Symbolic Methods for Explainability
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
与其他连接主义模型类似，图神经网络（GNN）在决策过程中缺乏透明度。已经开发了一些子符号方法来提供对GNN决策过程的见解。这些是实现可解释性的第一个重要步骤，但生成的解释对于非人工智能专家的用户来说通常很难理解。为了克服这个问题，我们引入了一个概念的方法结合子符号和符号的方法，以人为中心的解释，结合领域知识和因果关系。此外，我们引入了保真度的概念，作为评估解释与GNN的内部决策过程有多接近的度量。化学数据集和本体的评价表明，我们的方法的解释价值和可靠性。
2021-12-03 cs.AI cs.LG cs.SC
LAVA: Explainability for Unsupervised Latent Embeddings
Delft University of Technology, The Netherlands（代尔夫特理工大学，荷兰）
LAVA是一种无监督嵌入可解释性方法，通过输入数据特征共变揭示局部嵌入结构，发现领域相关模式。
2026-01-30 cs.AI cs.LG
SES: Bridging the Gap Between Explainability and Prediction of Graph Neural Networks
School of Internet（互联网学院）；Anhui University（安徽大学）；Amazon Research（亚马逊研究院）；University of California Irvine（加州大学欧文分校）
提出自解释且自监督的图神经网络SES，通过可解释训练和增强预测学习两个过程，利用全局掩码生成器生成结构与特征掩码，并基于掩码构建正负样本对进行对比学习，从而弥合可解释性与预测性能之间的差距。
2024-07-25 cs.AI cs.LG
Does Explainability Survive Data Drift?
本文研究数据漂移下解释保真度是否衰减，发现协变量漂移存在但概念漂移不显著，旧解释不如新解释忠实，需单独监控解释保真度。
2026-10-06 cs.AI cs.LG
Explainability for Machine Learning Models: From Data Adaptability to User Perception
l’Université de Rennes（雷恩大学）；IRISA（IRISA研究所）；Univ. Sorbonne（索邦大学）；LIP6（LIP6实验室）；Trento University（特伦托大学）；Univ. Artois（阿图瓦大学）；KU Leuven（鲁汶大学）；Aalborg University（奥尔堡大学）；Institut Agro（法国农艺学院）；INRIA（法国国家信息与自动化研究所）
本论文研究为已部署机器学习模型生成局部解释的方法，通过增强规则解释、评估线性解释及比较反事实解释，并结合用户实验，提升了AI系统的透明度、可信度与可用性。
2024-02-16 cs.AI cs.HC cs.LG
ACE, Action and Control via Explanations: A Proposal for LLMs to Provide Human-Centered Explainability for Multimodal AI Assistants
Intel Labs（英特尔实验室）
针对制造领域多模态AI绩效支持系统的参与式设计与训练挑战，提出ACE范式，用大语言模型生成人类可理解的语义框架式解释，促成人机协作以优化模型，提升任务支持效果。
2025-02-27 cs.AI cs.HC
(EC)2: Event-Centric Explainability for Cybersecurity Through Multi-Agent LLM Investigations
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Fujitsu（富士通）
该研究提出多智能体框架(EC)2，为中小型企业网络的网络安全警报提供基于可验证证据的以事件为中心的可解释性，可提升检测后分析效果与事件分类准确率。
2026-07-30 cs.AI cs.CR
The Effect of Model Size on LLM Post-hoc Explainability via LIME
University College London（伦敦大学学院）
本文通过 LIME 分析四种规模 DeBERTaV3 在 NLI 与零样本分类上的事后解释，发现规模提升改善性能却不提升解释合理性，并揭示忠实度指标局限。
2024-05-08 cs.AI cs.CL cs.LG
SyntaxShap: Syntax-aware Explainability Method for Text Generation
ETH Zurich（苏黎世联邦理工学院）
本文提出 SyntaxShap，一种结合句法依赖树与 Shapley 值的文本生成局部可解释性方法，实验证明其能为自回归模型生成更忠实连贯的解释，并强调了可解释 AI 评估策略的必要性。
2024-06-03 cs.AI cs.CL
Task and Explanation Network
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
提出Task and Explanation Network（TENet）框架，将任务完成与解释整合，强调AI领域应重视可解释性。
2024-01-03 cs.AI cs.LG cs.NE
