Concept-based Explanations using Non-negative Concept Activation Vectors and Decision Tree for CNN Models
The University of Melbourne（墨尔本大学）
本文评估了基于从基于概念的解释器中提取的概念训练决策树是否可以提高卷积神经网络（CNN）模型的可解释性，并提高所用解释器的保真度和性能。用于计算机视觉的CNN在关键行业中表现出卓越的性能。然而，由于CNN的复杂性和缺乏可解释性，这是部署CNN时的一个重大障碍。最近解释计算机视觉模型的研究已经从提取低级特征（基于像素的解释）转向了提取中级或高级特征（基于概念的解释）。目前的研究方向倾向于使用提取的特征来开发近似算法，例如线性或决策树模型来解释原始模型。在这项工作中，我们修改了一个国家的最先进的概念为基础的解释，并提出了一个替代框架名为TreeICE。我们根据保真度（近似模型到原始模型的标签），性能（近似模型到地面真实标签）和可解释性（近似模型对人类的意义）的要求设计了一个系统的评估。我们进行计算评估（保真度和性能）和人类受试者的实验（可解释性）我们发现，树ICE优于基线的可解释性，并产生更多的人类可读的解释的形式的语义树结构。这项工作的特点是如何重要时，解释性是至关重要的更容易理解的解释。
2022-11-19 cs.AI cs.CV
The Dangers of Post-hoc Interpretability: Unjustified Counterfactual Explanations
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；AXA（安盛集团）；Polish Academy of Science（波兰科学院）
事后可解释性方法已被证明是强大的工具，可以为经过训练的黑盒模型所做的预测生成解释。然而，它们会产生这样的风险，即解释是模型学习的一些工件的结果，而不是来自数据的实际知识。本文重点讨论反事实解释的情况，并询问生成的实例是否可以被证明是合理的，即连续连接到一些地面真相数据。我们通过调查其预测要解释的实例的局部邻域来评估生成不合理的反事实实例的风险，并表明这种风险对于几个数据集来说是相当高的。此外，我们发现，大多数国家的最先进的方法不区分合理的不合理的反事实的例子，导致不太有用的解释。
2019-07-22 cs.AI cs.LG stat.ML
Explanation Strategies as an Empirical-Analytical Lens for Socio-Technical Contextualization of Machine Learning Interpretability
University of Twente（特文特大学）；Freie Universität Berlin（柏林自由大学）
在一个研究项目中，我们开发了一个机器学习（ML）驱动的可视化系统，为非ML专家，我们反映在ML，计算机支持的协同工作和人机交互的可解释性研究。我们发现，虽然有多种技术方法，但这些方法通常集中在ML专家身上，并在非情境化的实证研究中进行评估。我们假设参与式设计研究可以支持我们项目中利益相关者的情境意义的理解，但是，发现关于ML可解释性的指导并不详尽。基于技术哲学，我们制定了解释策略，作为一个分析的镜头，说明技术解释如何调解有关人们的解释的上下文偏好。在本文中，我们贡献了一份报告，我们的概念证明使用解释策略来分析与非ML专家的协同设计研讨会，参与式设计研究的方法学意义，非ML专家解释的设计意义，并建议进一步调查ML可解释性空间中的技术中介理论。
2021-09-24 cs.AI cs.CY cs.HC
Addressing Explainability of Generative AI using SMILE (Statistical Model-agnostic Interpretability with Local Explanations)
School of Computer Science（计算机科学学院）；University of Hull（赫尔大学）
gSMILE通过受控扰动、Wasserstein距离和加权替代模型，提升生成AI的可解释性，实现细粒度归因和直观热图生成。
2026-02-01 cs.AI
Some Critical and Ethical Perspectives on the Empirical Turn of AI Interpretability
Université Paris-Saclay（巴黎萨克雷大学）
我们考虑了人工智能（AI）发展目前面临的两个基本和相关问题：缺乏道德和AI决策的可解释性。可解释的人工智能决策是否有助于解决人工智能中的道德问题？使用随机研究，我们的实验表明，生产的解释的经验和自由转向倾向于选择人工智能的解释与低谴责的力量。因此，在某些条件下，可解释性工具不是生产道德人工智能的手段，而是矛盾的障碍，因为它们可以给人一种对道德事件敏感的错觉。我们还表明，人工智能解释的谴责力量高度依赖于解释发生的背景，例如解释对象的性别或教育水平。因此，人工智能伦理工具有时过于灵活，通过自由生产解释进行自我监管似乎不足以解决伦理问题。然后，我们提出了伦理人工智能未来发展的两种情况：更多的外部监管或更多的人工智能解释自由化。这两条相反的道路将对伦理AI的未来发展发挥重要作用。
2021-09-20 cs.AI cs.CY
Diagrammatization and Abduction to Improve AI Interpretability With Domain-Aligned Explanations for Medical Diagnosis
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出DiagramNet模型，结合图解与溯因推理为医学诊断提供领域对齐的可解释AI，优于基线模型，且图解式解释在用户研究中更受青睐。
2025-02-26 cs.AI cs.HC cs.LG
On Tackling Explanation Redundancy in Decision Trees
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
决策树是机器学习模型可解释性的理想体现。决策树的可解释性通过所谓的内在可解释性激发了可解释性方法，并且它是最近在高风险应用中应用可解释ML模型的建议的核心。对DT可解释性的信念是合理的，因为DT预测的解释通常被期望是简洁的。事实上，在DT的情况下，解释对应于DT路径。由于决策树在理想情况下是浅的，因此路径包含的特征比特征总数少得多，DT中的解释应该是简洁的，因此是可解释的。本文从理论和实验两方面论证了只要决策树的可解释性等同于解释的简洁性，那么决策树就不应该被认为是可解释的。本文引入了逻辑上严格的路径解释和路径解释冗余，证明了存在决策树必须显示具有任意大解释冗余的路径的函数。本文还证明了，只有一个非常有限的功能类可以表示与DT表现出没有解释冗余。此外，本文包括实验结果证实，路径解释冗余观察无处不在的决策树，包括使用不同的树学习算法，但也在广泛的公开可用的决策树。本文还提出了多项式时间算法消除路径解释冗余，这在实践中需要微不足道的时间来计算。因此，这些算法用于间接地获得不可约的，因此简洁的，决策树的解释。
2022-09-30 cs.AI cs.LG
Integrating Prior Knowledge in Post-hoc Explanations
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；AXA（安盛）；Polish Academy of Science（波兰科学院）
在可解释的人工智能（XAI）领域中，事后可解释性方法旨在向用户解释经训练的决策模型的预测。将先验知识整合到这种可解释性方法中旨在提高解释的可理解性，并允许适应每个用户的个性化解释。在本文中，我们建议定义一个成本函数，明确集成先验知识的可解释性目标：我们提出了一个一般框架的优化问题的事后可解释性方法，并表明用户的知识，从而可以集成到任何方法，通过添加一个兼容性条款的成本函数。我们在反事实解释的情况下实例化所提出的形式化，并提出了一种新的可解释性方法称为知识集成反事实解释（KICE），以优化它。本文进行了实验研究，在几个基准数据集，以表征反事实的情况下，KICE生成的实例，与参考方法相比。
2022-04-25 cs.AI cs.CL cs.LG
Enhancing the Interpretability of Rule-based Explanations through Information Retrieval
CNR - Institute of Cognitive Sciences and Technologies（意大利认知科学与技术研究院）；University of Applied Sciences and Technologies（应用科学与技术大学）
针对医疗AI预测缺乏可解释性的问题，提出基于信息检索的归因方法，用于乳腺癌淋巴水肿风险评估，通过属性相关性分析提升规则解释的可解释性与实用性。
2025-07-08 cs.AI cs.IR
A New Approach to Backtracking Counterfactual Explanations: A Unified Causal Framework for Efficient Model Interpretability
Munich Center for Machine Learning（慕尼黑机器学习中心）；Sharif University of Technology（谢里夫理工大学）
提出基于回溯反事实的高效方法BRACE，融合因果推理生成可执行解释，克服传统方法忽视因果及计算昂贵的问题，并在特定场景下推广先前技术。
2025-05-22 cs.AI cs.LG stat.ML
SHapley Estimated Explanation (SHEP): A Fast Post-Hoc Attribution Method for Interpreting Intelligent Fault Diagnosis
State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University（上海交通大学机械系统与振动国家重点实验室）
针对智能故障诊断中SHAP结合域变换带来的高计算开销问题，提出分块归因和SHapley估计解释（SHEP）方法，通过降低特征维度和简化子集枚举将复杂度降至线性级，显著提升计算效率并实现实时解释。
2025-04-03 cs.AI cs.LG
Pitfalls in Evaluating Interpretability Agents
Kempner Institute at Harvard University（哈佛大学 Kempner 机构）；Northeastern University（东北大学）；Boston University（波士顿大学）；MIT（麻省理工学院）
本文研究了自动化电路分析中可解释性代理的评估挑战，提出基于模型组件功能互换性的无监督内在评估方法，揭示了复制评估的局限性。
2026-03-20 cs.AI
Analyzing the Interpretability Robustness of Self-Explaining Models
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
最近，可解释的模型，称为自我解释模型（SEM）已被提出的目标，提供可解释性的鲁棒性。我们评估了SEM的可解释性鲁棒性，并表明目前提出的SEM所提供的解释对对抗性输入并不鲁棒。具体来说，我们成功地创建了对抗性输入，这些输入不会改变模型输出，但会导致解释发生重大变化。我们发现，即使目前的SEM使用稳定的系数映射的解释输出标签，他们不考虑模型的第一阶段，从输入创建可解释的基础概念的鲁棒性，导致非鲁棒的解释。我们的工作为未来的工作提供了一个案例，开始研究如何以一种稳健的方式生成可解释的基础概念。
2020-07-02 cs.AI cs.LG stat.ML
An Extension of LIME with Improvement of Interpretability and Fidelity
Lenovo Research（联想研究院）
虽然深度学习在人工智能（AI）领域取得了重大成就，但缺乏透明度限制了其在各个垂直领域的广泛应用。可解释性不仅是人工智能与现实世界之间的门户，也是检测模型缺陷和数据偏差的强大功能。局部可解释模型不可知解释（LIME）是一种被广泛接受的技术，它通过在预测实例周围局部学习可解释模型来忠实地解释任何分类器的预测。作为LIME的扩展，本文提出了一种高解释性和高保真度的局部解释方法，称为局部解释使用特征相关采样和非线性近似（LEDSNA）。给出了一个实例，LEDSNA增强解释性的特征采样与内在的依赖性。此外，LEDSNA通过逼近局部决策的非线性边界，提高了局部解释的保真度。我们评估我们的方法在图像域和文本域的分类任务。实验表明，LEDSNA的解释后箱模型实现了更好的性能比原来的LIME在可解释性和保真度。
2020-04-26 cs.AI cs.CV cs.LG
Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?
George Mason University（乔治梅森大学）；The Ohio State University（俄亥俄州立大学）
研究语言模型代理在机械可解释性中自动解释已定位电路的能力，提出HyVE方法，通过迭代观察、假设生成和因果验证生成组件级解释，实验表明代理有潜力但可靠验证仍是关键障碍。
2026-09-03 cs.AI
Neuron-based explanations of neural networks sacrifice completeness and interpretability
Cerebras Systems（赛布拉斯系统公司）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）；Borealis AI（博雷利斯人工智能公司）；Apple（苹果公司）；University of Guelph（圭尔夫大学）
该研究针对ImageNet预训练的AlexNet，通过量化指标与用户研究证明，基于神经元的神经网络解释在完备性和可解释性上均不如激活主成分，建议采用主成分等适配分布式表征的基来构建解释方法。
2025-03-19 cs.AI cs.CV cs.LG
Evaluating Explanations: An Explanatory Virtues Framework for Mechanistic Interpretability -- The Strange Science Part I.ii
UK AI Security Institute（英国人工智能安全研究院）
本文针对机制可解释性缺乏评估解释通用方法的问题，引入了基于科学哲学四视角的解释性美德框架，系统评估并改进解释，指出 Compact Proofs 是极具前景的方法，并提出了未来研究方向。
2025-05-02 cs.AI cs.CL cs.HC
Contrastive Explanations for Model Interpretability
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
对比解释阐明了为什么一个事件的发生与另一个事件相反。他们更是天生的直觉，以人类既生产和理解。我们提出了一种方法来产生对比的分类模型的解释，通过修改表示忽略非对比的信息，并修改模型的行为只基于对比推理。我们的方法基于将模型表示投影到一个潜在空间，该空间仅捕获（对模型）有用的特征以区分两个潜在决策。我们通过分析两种不同的情况下，使用高层次的抽象概念的属性和低层次的输入标记/跨度属性，两个广泛使用的文本分类任务的对比解释的价值。具体来说，我们产生的解释回答：对于哪个标签，并针对哪个替代标签，是输入有用的一些方面？输入的哪些方面对特定决策有用，哪些方面对特定决策有用？总的来说，我们的研究结果揭示了标签对比解释的能力，为模型的决策提供了更准确和更细粒度的可解释性。
2021-09-14 cs.AI cs.CL cs.LG
Pando: Do Interpretability Methods Work When Models Won't Explain Themselves?
Carnegie Mellon University（卡内基梅隆大学）
Pando通过引入解释轴，评估模型在不同解释情况下的表现，发现当解释可靠时，黑盒方法表现优异；当解释缺失或误导时，梯度归因和RelP方法效果更佳。
2026-04-13 cs.AI cs.LG
The Promise and Peril of Human Evaluation for Model Interpretability
透明度、用户信任和人类理解是可解释机器学习的流行伦理动机。为了支持这些目标，研究人员使用人类和现实世界的应用程序来评估模型解释性能。仅这一点就在人工智能的许多领域提出了挑战。在这份立场文件中，我们提出了描述性和说服性解释之间的区别。我们讨论的推理表明，功能的可解释性可能与认知功能和用户偏好。如果情况确实如此，使用功能度量的评估和优化可能会在威胁透明度的解释中延续隐含的认知偏见。最后，我们提出了两个潜在的研究方向，以消除认知功能和解释模型的歧义，保留控制准确性和可解释性之间的权衡。
2019-10-30 cs.AI cs.LG stat.ML
Faithful and Stable Neuron Explanations for Trustworthy Mechanistic Interpretability
CSE, UCSD（计算机科学与工程系，加州大学圣塔莫尼卡分校）；HDSI, UCSD（人类-数字系统研究所，加州大学圣塔莫尼卡分校）
本文提出理论分析和方法，解决神经元识别中的忠实性和稳定性问题，通过理论保证和实验验证提升机制可解释性的可信度。
2025-12-19 cs.AI cs.LG
Interpretability Benchmark for Evaluating Spatial Misalignment of Prototypical Parts Explanations
Jagiellonian University（雅盖隆大学）；Doctoral School of Exact and Natural Sciences, Jagiellonian University（雅盖隆大学精确与自然科学博士学院）；Faculty of Management and Social Communication, Jagiellonian University（雅盖隆大学管理与社会传播学院）；IDEAS NCBR
针对原型部件网络因感受野导致解释激活区域与图像依据不一致的问题，本文提出空间解释错位基准与量化指标，并设计补偿方法，实验验证了基准表达力和补偿有效性。
2023-08-16 cs.AI cs.CV cs.LG
Explanation of Reinforcement Learning Model in Dynamic Multi-Agent System
Shanghai University（上海大学）；University of Pittsburgh（匹兹堡大学）
最近，人们对深度强化学习（DRL）系统的透明度和可解释性越来越感兴趣。口头解释作为我们日常生活中最自然的交流方式，值得更多的关注，因为它们可以让用户更好地了解系统，最终可以导致高度的信任和顺利的协作。本文报道了一种新的工作，在生成口头解释DRL行为代理。一个基于规则的模型被设计为使用一系列的规则，这些规则是预先定义的先验知识来构造解释。然后提出了一个学习模型，通过采用基于规则的解释作为训练数据，将生成口头解释的隐逻辑扩展到一般情况。该学习模型具有更好的灵活性和泛化能力比静态的基于规则的模型。这两个模型的性能通过客观指标进行定量评估。结果表明，两种模型产生的口头解释提高了用户对DRL系统的可解释性的主观满意度。此外，七个变体的学习模型的设计，以说明输入通道，注意力机制，并提出编码器在提高口头解释的质量的贡献。
2020-12-24 cs.AI
Black Box Model Explanations and the Human Interpretability Expectations -- An Analysis in the Context of Homicide Prediction
Federal University of Pará (UFPA)（帕拉联邦大学）；Federal Institute of Education, Science and Technology of Pará (IFPA)（帕拉联邦教育、科学和技术学院）；Vale Institute of Technology (ITV DS)（淡水河谷技术研究院）
本文在凶杀案预测情境下复现黑盒模型，比较6种XAI方法生成的解释与6位人类专家的期望，发现约75%的专家期望被满足、约48%的结果一致，从而系统评估XAI解释与人类可解释性期望的匹配程度。
2024-07-04 cs.AI cs.LG
PRINCE: Provider-side Interpretability with Counterfactual Explanations in Recommender Systems
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Inria（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）
推荐系统和其他机器学习模型的可解释性解释对于获得用户信任至关重要。专注于连接异构网络中的用户和项目的路径的先前工作具有若干限制，诸如发现关系而不是真实的解释，或者忽视其他用户的隐私。在这项工作中，我们采取了一个新的视角，并提出PRINCE：一个提供方机制，为最终用户提供切实的解释，其中解释被定义为用户执行的一组最小操作，如果删除，则将建议更改为不同的项目。给定一个推荐，PRINCE使用多项式时间最优算法从指数搜索空间中找到用户行为的最小集合，该算法基于动态图上的随机游走。在两个真实世界数据集上的实验表明，PRINCE提供了比直观基线更紧凑的解释，来自众包用户研究的见解证明了这种基于行动的解释的可行性。因此，我们认为PRINCE产生可理解的，可操作的，简洁的解释，由于其使用反事实证据，用户自己的行动，和最小集，分别。
2019-12-24 cs.AI cs.LG stat.ML
A unified framework for global and local interpretability using adaptive derivative-ordered random explanation
Renmin University of China（中国人民大学）
本文提出ADORE框架，利用一阶和二阶导数统一全局与局部可解释性，通过随机SVD和动态稀疏检测提升效率，在表格、文本和图像数据上优于LIME和SHAP。
2026-09-17 cs.AI cs.LG
Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations
American University of Beirut（贝鲁特美国大学）
对比解释方法超越了透明度，并解决了解释的对比方面。这样的解释正在成为一个有吸引力的选择，以提供可操作的变化的情况下，分类器的决定产生不利影响。然而，它们对文本数据的扩展还没有得到充分的探索，并且很少有人对它们的脆弱性和局限性进行调查。这项工作的动机文本的反事实奠定了基础，一个新的评价方案的启发，忠实的解释。因此，我们扩展计算的三个指标，接近性，连通性和稳定性，文本数据和我们的基准两个成功的对比方法，多汁和MiCE，我们建议的指标。在情感分析数据上的实验表明，在两种模型中，反事实与其原始对应物的连通性都不明显。更有趣的是，生成的对比文本更容易与POLYJUICE，突出了潜在表征在反事实搜索的重要性。最后，我们对文本追索方法进行了第一次语义对抗攻击。结果表明，POLYJUICE的鲁棒性和潜在的输入表示在鲁棒性和可靠性中发挥的作用。
2022-10-17 cs.AI cs.CL cs.HC
Truthful Meta-Explanations for Local Interpretability of Machine Learning Models
Aristotle University of Thessaloniki（亚里士多德大学）
基于自动化机器学习的系统由于其性能和速度而扩展到广泛的任务中。尽管采用基于ML的系统有许多优点，但如果它们不可解释，则不应将其用于危及人类生命的关键高风险应用中。为了解决这个问题，研究人员和企业一直专注于寻找提高复杂ML系统可解释性的方法，并且已经开发了几种这样的方法。事实上，有如此多的开发技术，从业者很难为他们的应用程序选择其中最好的，即使在使用评估指标。因此，显然需要一种选择工具，一种基于高质量评价指标的元解释技术。在本文中，我们提出了一个本地元解释技术，建立在真实性度量，这是一个基于忠诚度的度量。我们通过具体定义所有概念和实验来证明技术和度量的有效性。
2022-12-07 cs.AI cs.LG cs.LO
Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning
University of Queensland（昆士兰大学）
本文针对概率课程学习在强化学习中的超参数优化难题，基于AlgOS与Optuna TPE提出搜索空间细化策略，并引入SHAP可解释性方法分析超参数影响，提升优化效率与计算可行性。
2025-04-09 cs.AI cs.LG
Enhancing Interpretability for Vision Models via Shapley Value Optimization
本文提出一种通过Shapley值优化提升视觉模型可解释性的自解释框架，通过训练过程中的辅助任务实现预测分数的公平分配，从而提升模型的可解释性并保持性能。
2025-12-16 cs.AI cs.CV
Revitalizing Black-Box Interpretability: Actionable Interpretability for LLMs via Proxy Models
Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education（高可信软件技术教育部重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）
本文提出一种低成本代理框架，利用高效模型近似昂贵LLM的决策边界，通过统计验证局部对齐，实现可操作的可解释性，提升LLM优化效率。
2026-04-10 cs.AI cs.LG
CS-SHAP: Extending SHAP to Cyclic-Spectral Domain for Better Interpretability of Intelligent Fault Diagnosis
Shanghai Jiao Tong University（上海交通大学）
针对机械智能故障诊断中神经网络黑箱模型的可解释性问题，提出将SHAP扩展到循环谱域的CS-SHAP方法，可评估载波与调制频率贡献，贴合故障机制，经三个数据集验证，有望成为该领域事后可解释性基准。
2025-02-10 cs.AI cs.LG
WISCA: A Consensus-Based Approach to Harmonizing Interpretability in Tabular Datasets
Universidad Católica de Murcia (UCAM)（穆尔西亚大学卡洛斯·穆尔西亚大学）
本文提出WISCA方法，通过整合类概率和归一化属性，统一不同可解释性算法的结果，提升解释可靠性。
2025-06-06 cs.AI cs.LG stat.ML
Explaining Explanations: An Overview of Interpretability of Machine Learning
Massachusetts Institute of Technology（麻省理工学院）
最近，解释性人工智能（XAI）的工作激增。该研究领域解决了复杂机器和算法通常无法提供对其行为和思维过程的见解的重要问题。XAI允许用户和内部系统的部分更加透明，以某种程度的细节解释他们的决定。这些解释对于确保算法公平性、识别训练数据中的潜在偏差/问题以及确保算法按预期执行是重要的。然而，这些系统产生的解释既没有标准化，也没有系统地评估。为了创建最佳实践并确定开放的挑战，我们提供了可解释性的定义，并展示了如何使用它来对现有文献进行分类。我们讨论了为什么目前的解释方法，特别是深度神经网络的方法是不够的。最后，基于我们的调查，我们得出结论，解释性人工智能的未来研究方向的建议。
2019-02-03 cs.AI cs.LG stat.ML
Deceptive Automated Interpretability: Language Models Coordinating to Fool Oversight Systems
Apart Research（阿帕特研究所）
本文通过稀疏自编码器实验框架证明Llama、DeepSeek R1和Claude 3.7 Sonnet等语言模型能利用隐写术生成欺骗性解释以逃避自动化监督，并提出了相应的缓解策略。
2025-04-10 cs.AI cs.CL
Model Explanations under Calibration
Imperial College London（帝国理工学院）
解释和解释推荐系统的决策变得非常重要，既可以提高预测性能，又可以为用户提供有效的解释。虽然最近的兴趣主要集中在提供本地的解释，有一个低得多的重视研究模型动力学的影响和它对解释的影响。在本文中，我们进行了重点研究的影响模型的可解释性的背景下，校准。具体来说，我们解决了过度自信和自信不足的预测与使用注意力分布的可解释性的挑战。我们的研究结果表明，使用注意力分布的可解释性的手段是高度不稳定的未校准的模型。我们对注意力分布稳定性的实证分析提出了注意力对可解释性的效用问题。
2019-06-18 cs.AI cs.IR cs.LG
Explanation Space: A New Perspective into Time Series Interpretability
University of California（加利福尼亚大学）
本文提出了一种简单有效的方法，使时域训练的时间序列模型能在五种新解释空间中应用现有XAI方法进行解释，无需修改模型或XAI方法，解决了时域特征难以直观呈现和基线值未定义的问题。
2025-04-03 cs.AI cs.LG
Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small
Redwood Research（红杉研究）；UC Berkeley（加州大学伯克利分校）
机械可解释性的研究试图从内部组件的角度解释机器学习模型的行为。然而，大多数以前的工作要么专注于小模型中的简单行为，要么用粗略的笔触描述更大模型中的复杂行为。在这项工作中，我们通过解释GPT-2 small如何执行称为间接对象识别（IOI）的自然语言任务来弥合这一差距。我们的解释包括26个注意头分为7个主要类别，我们发现使用依赖于因果干预的可解释性方法的组合。据我们所知，这项研究是在语言模型中对自然行为进行逆向工程的最大的端到端尝试。我们使用三个量化标准来评估我们的解释的可靠性-忠实性，完整性和最小化。虽然这些标准支持了我们的解释，但它们也指出了我们理解中存在的差距。我们的工作提供了证据，证明对大型ML模型的机械理解是可行的，这为我们将理解扩展到更大的模型和更复杂的任务提供了机会。
2022-11-01 cs.AI cs.CL cs.LG
LLMCheckup: Conversational Examination of Large Language Models via Interpretability Tools and Self-Explanations
Technische Universität Berlin（柏林工业大学）；Saarland Informatics Campus（萨尔兰信息学园区）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
LLMCheckup是一款对话式工具，通过连接多种可解释AI方法，使大型语言模型无需微调即可生成自解释并执行用户意图识别，支持多模态输入与交互式问答，并引入新解析策略提升意图识别准确率。
2024-04-24 cs.AI cs.CL cs.LG
Sequential Explanations with Mental Model-Based Policies
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
在两方之间进行解释的行为是一个反馈循环，其中一方提供需要解释的信息，另一方提供与此信息相关的解释。我们应用一个强化学习框架，它通过提供基于被解释者当前心智模型的解释来模拟这种格式。我们进行新的在线人类实验，其中选择由各种解释方法生成的解释并呈现给参与者，使用观察参与者心理模型的策略，以优化可解释性代理。我们的研究结果表明，基于心理模型的政策（锚定在我们提出的状态表示）可能会增加多个顺序的解释，相比随机选择基线。这项工作提供了深入了解如何选择解释，增加用户的相关信息，并进行人性化的实验，以了解可解释性。
2020-07-17 cs.AI cs.HC cs.LG
Sensible AI: Re-imagining Interpretability and Explainability using Sensemaking Theory
University of Michigan（密歇根大学）
理解ML模型的工作原理是负责任地设计、部署和使用基于ML的系统的先决条件。通过可解释性方法，ML现在可以为其输出提供解释，以帮助人类理解。虽然这些方法依赖于人类如何相互解释事物的指导方针，但它们最终解决了改善人工制品的问题-解释。在本文中，我们提出了一个替代框架的可解释性扎根在威克的意义建构理论，重点是谁的解释是为了。最近的工作提倡理解利益相关者需求的重要性--我们通过提供具体的属性（例如，身份、社会背景、环境线索等）塑造了人类的理解力我们使用组织中的意义构建应用程序作为模板，讨论Sensible AI的设计指南，AI在试图解释自己时会考虑人类认知的细微差别。
2022-05-10 cs.AI cs.HC cs.LG
A Categorisation of Post-hoc Explanations for Predictive Models
University College Dublin（都柏林大学学院）
基于机器学习的预测模型在现代社会中无处不在，这自然会让人们问这些模型的可信度如何？在预测建模中，在准确性和可解释性之间进行权衡是很常见的。例如，医生想知道某些治疗对患者的有效性，或者为什么模型会建议对表现出这些症状的患者使用特定的药物？我们承认，可解释性的必要性是问题的不完全形式化的结果，或者更确切地说，是坚持一个特定概念的多重含义的结果。对于某些问题，仅仅得到答案（是什么）是不够的，模型还必须解释它是如何得出这个结论的（为什么），因为正确的预测只能部分解决原始问题。在这篇文章中，我们扩展了现有的分类技术，以帮助模型的可解释性和测试这种分类。
2019-04-04 cs.AI cs.LG
Global Concept-Based Interpretability for Graph Neural Networks via Neuron Analysis
University of Cambridge（剑桥大学）
图神经网络（GNN）在各种与图相关的任务上非常有效;然而，它们缺乏可解释性和透明度。目前的可解释性方法通常是局部的，并将GNN视为黑盒。他们不看模型内部，抑制了人们对模型和解释的信任。受神经元在视觉模型中检测高级语义概念的能力的启发，我们对单个GNN神经元的行为进行了新的分析，以回答有关GNN可解释性的问题，并提出了评估GNN神经元可解释性的新指标。我们提出了一种新的方法，使用神经元级别的概念来生成GNN的全局解释，使从业者能够对模型有一个高层次的看法。具体来说，（i）据我们所知，这是第一个表明GNN神经元充当概念检测器的工作，并且与作为节点度和邻域属性的逻辑组成的概念具有很强的一致性;（ii）我们定量评估检测到的概念的重要性，并确定训练时间和神经元级别可解释性之间的权衡;（iii）我们证明了我们的全球可解释性方法比当前最先进的方法具有优势-我们可以将解释分解为由逻辑描述支持的单个可解释概念，这减少了偏见的可能性并提高了用户友好性。
2023-03-08 cs.AI cs.LG
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程，通过反事实实验评估大语言模型行为的解释，发现常见可解释性技术无预测提升，且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
Automated Interpretability and Feature Discovery in Language Models with Agents
Harvard University（哈佛大学）
本文提出一个自主多代理框架，用于自动化大型语言模型的内部特征发现与解释，通过两个耦合循环提升解释精度和可验证性。
2026-05-02 cs.AI cs.CL cs.HC
Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?
Université Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、国家科学研究中心、格勒诺布尔INP、实验室LIG）
本文探讨了在机械可解释性（MI）框架下，给定行为是否具有唯一解释的问题，通过统计可识别性理论分析了MI解释的可识别性，并提出了两种主要策略及实验结果。
2025-02-28 cs.AI cs.CL cs.LG
Weight of Evidence as a Basis for Human-Oriented Explanations
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
可解释性是现代机器学习方法的一个难以捉摸但非常受欢迎的特性。最近的工作集中在通过$\textit{explanations}$的可解释性，证明个别模型的预测。在这项工作中，我们从哲学、认知科学和社会科学的解释研究中汲取灵感，朝着协调机器解释与人类产生和偏好的解释迈出了一步。我们确定的关键方面，这些人类的解释不同于当前的机器解释，提炼成一个列表的desiderata，并通过信息论的概念，$\textit{weight of evidence}$，将它们形式化成一个框架。最后，我们实例化这个框架在两个简单的应用程序，并显示它产生直观和可理解的解释。
2019-10-29 cs.AI cs.LG stat.ML
Assessing the Interpretability of Programmatic Policies with Large Language Models
University of Alberta（阿尔伯塔大学）
本文提出一种基于大型语言模型的度量方法，通过自然语言解释与程序重建的行为相似性评估程序化策略的可解释性，并在实时策略游戏策略上验证其有效性。
2024-01-20 cs.AI cs.PL cs.SE
From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对现有可解释强化学习方法仅能提供局部洞察、无法全局理解模型的问题，研究提出基于Shapley值的模型无关方法，可适配异策略与同策略算法，在保留原模型性能的同时生成更稳定的可理解策略。
2025-01-16 cs.AI cs.LG cs.SY
Interpreting Agentic Systems: Beyond Model Explanations to System-Level Accountability
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Dalhousie University（达尔豪斯大学）
本文探讨了代理系统中可解释性技术的必要性，提出需设计专门方法以确保系统在目标形成、环境交互和结果评估等阶段的可追溯性和问责性。
2026-01-23 cs.AI cs.MA
On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation
Wayfair（Wayfair公司）；Sogou Inc（搜狗公司）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；IBM Data and AI（IBM数据与人工智能部门）
在自然语言处理的最新进展中，现有模型和数据集的规模通常很大，这对基于样本的解释方法在解释的可解释性、效率和忠实性等方面提出了挑战。在这项工作中，第一次，我们可以提高解释的可解释性，允许任意的文本序列作为解释单位。最重要的是，我们实现了一个具有模型忠实性保证的无hessian方法。最后，为了将我们的方法与其他方法进行比较，我们提出了一个基于语义的评估指标，该指标可以比广泛采用的诊断或再训练措施更好地与人类对解释的判断保持一致。多个真实数据集上的实验结果表明，该方法的性能优于流行的解释技术，如影响函数或TracIn的语义评估。
2021-06-09 cs.AI cs.CL
Explaining black boxes with a SMILE: Statistical Model-agnostic Interpretability with Local Explanations
University of Hull（赫尔大学）；Fraunhofer IESE（弗劳恩霍夫实验软件工程研究所）
针对机器学习黑箱模型可信度低的问题，提出SMILE方法，利用统计距离度量提升模型可解释性，并适用于多种输入数据领域。
2023-11-13 cs.AI cs.LG math.ST
What Do You See? Evaluation of Explainable Artificial Intelligence (XAI) Interpretability through Neural Backdoors
Purdue University（普渡大学）
可解释人工智能（XAI）方法已经被提出来解释深度神经网络如何通过模型显着性解释来预测输入，这些解释突出了被认为对在特定目标上做出决策很重要的输入部分。然而，它仍然具有挑战性，以量化其可解释性的正确性，因为目前的评估方法要么需要从人类的主观输入或自动评估招致高计算成本。在本文中，我们提出了后门触发模式-隐藏的恶意功能，导致错误分类-自动评估显着性的解释。我们的主要观察是，触发器为输入提供了基础事实，以评估XAI方法识别的区域是否与其输出真正相关。由于后门触发器是导致故意错误分类的最重要特征，因此强大的XAI方法应该在推理时显示它们的存在。我们介绍了三个补充指标，用于系统评估XAI方法生成和评估七个最先进的无模型和模型特定的posthoc方法的解释，通过36个模型特洛伊木马专门制作的触发器使用颜色，形状，纹理，位置和大小。我们发现六种使用局部解释和特征相关性的方法都不能完全突出触发区域，只有无模型方法才能揭示整个触发区域。
2020-09-22 cs.AI cs.CV cs.LG
Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology（帕鲁诺——鲁尔软件技术研究所）
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型，但一个主要缺点是缺乏可解释性，这限制了它们在实践中的采用。因此，我们看到对可解释的预测业务流程监控的兴趣越来越大，其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助，但人类通常不会问为什么做出特定的预测，而是为什么做出它而不是另一个预测，即，人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释，但直接将它们应用于预测过程监控可能会产生不切实际的解释，因为它们忽略了底层的过程约束。我们提出了LORELEY，一种用于预测过程监控的反事实解释技术，它扩展了LORE，一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程，以确保现实的反事实的解释。此外，我们扩展了LORE，使解释多类分类模型。使用真实的公共数据集的实验结果表明，LORELEY可以近似预测模型的平均保真度为97.69%，并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
