Reinforcement Learning in an Adaptable Chess Environment for Detecting Human-understandable Concepts
Norwegian University of Science and Technology（挪威科技大学）
使用机器学习开发的自我训练的自主智能体在各种控制设置中显示出巨大的前景，也许在涉及自动驾驶汽车的应用中最为显着。与深度神经网络形式的自学代理相关的主要挑战是它们的黑盒性质：人类不可能解释深度神经网络。因此，人类无法直接解释基于深度神经网络的代理的动作，或者预见它们在不同场景中的鲁棒性。在这项工作中，我们展示了一种方法，用于探索自我学习代理在培训过程中内化的概念。为了演示，我们使用一个国际象棋代理在一个快速，轻便的环境中专门开发，适合研究小组，而无需访问巨大的计算资源或机器学习模型。
2022-11-10 cs.AI cs.LG
Human-centric Transfer Learning Explanation via Knowledge Graph [Extended Abstract]
Zhejiang University（浙江大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Oslo（奥斯陆大学）
迁移学习旨在利用从一个问题（源域）中学到的知识来解决另一个不同但相关的问题（目标域），引起了广泛的研究关注。然而，目前的迁移学习方法大多是不可解释的，特别是对于没有机器学习专业知识的人来说。在这个扩展的摘要中，我们简要介绍了两个基于知识图谱（KG）的人类可理解的迁移学习解释框架。第一个解释了卷积神经网络（CNN）通过预训练和微调从一个域到另一个域学习的特征的可转移性，而第二个证明了零样本学习（ZNL）中多个源域模型预测的目标域模型的合理性。这两种方法都利用KG及其推理能力，为传输过程提供丰富且人类可理解的解释。
2019-01-20 cs.AI cs.LG stat.ML
Failing Conceptually: Concept-Based Explanations of Dataset Shift
University of Cambridge（剑桥大学）
尽管机器学习技术在各种视觉任务上表现出色，但它们往往屈服于数据分布偏移。因此，最近的一系列工作探索了检测这些变化的技术。不幸的是，目前的技术没有解释是什么触发了变化的检测，从而限制了它们提供可操作的见解的效用。在这项工作中，我们提出了概念瓶颈移位检测（CBSD）：一种新的可解释的移位检测方法。CBSD通过识别和排名高级人类可理解的概念受变化影响的程度来提供解释。使用两个案例研究（dSprites和3dshapes），我们演示了CBSD如何准确地检测受移位影响的基本概念，并实现更高的检测精度相比，国家的最先进的移位检测方法。
2021-05-01 cs.LG
CoLiDR: Concept Learning using Aggregated Disentangled Representations
University of Virginia（弗吉尼亚大学）
本文提出新方法 CoLiDR，通过解耦表示学习获取独立生成因子，并利用聚合/分解模块将其转化为人类可理解的概念，在四个数据集上验证了其优于传统概念模型且具备高度灵活性。
2024-07-27 cs.AI cs.LG
Beyond Attribution: Unified Concept-Level Explanations
School of Computer Science, Peking University, Beijing 100871, China（北京大学计算机科学学院）；Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education（高可信软件技术重点实验室（北京大学））
UNCLE框架通过扩展局部模型无关方法，提供统一的概念层面解释，提升解释的忠实度和多样性。
2026-02-26 cs.LG
CONFEX: Uncertainty-Aware Counterfactual Explanations with Conformal Guarantees
Department of Informatics, King’s College London（伦敦国王学院信息学院）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）
CONFEX提出一种结合保形预测与混合整数线性规划的方法，生成具有局部覆盖保证的不确定性感知反事实解释，在预测不确定性和最优性上提供严格保证，并验证其稳健性与合理性。
2025-10-23 cs.LG
Meaningfully Debugging Model Mistakes using Conceptual Counterfactual Explanations
Stanford University（斯坦福大学）
理解和解释训练模型所犯的错误对于许多机器学习目标至关重要，例如提高鲁棒性，解决概念漂移和减轻偏见。然而，这通常是一个特别的过程，涉及手动查看模型在许多测试样本上的错误，并猜测这些错误预测的根本原因。在本文中，我们提出了一种系统的方法，概念反事实解释（CCE），解释了为什么分类器在人类可理解的概念方面对特定的测试样本犯了错误（例如，由于模糊的条纹，这匹斑马被误分类为狗）。我们基于两个先前的想法：反事实解释和概念激活向量，并验证了我们的方法对众所周知的预训练模型，表明它解释了模型的错误有意义。此外，对于在具有虚假相关性的数据上训练的新模型，CCE准确地将虚假相关性识别为来自单个错误分类的测试样本的模型错误的原因。在两个具有挑战性的医疗应用中，CCE产生了有用的见解，并得到了临床医生的证实，这些见解涉及模型在现实世界中所犯的偏见和错误。
2022-06-14 cs.LG
Model Based Explanations of Concept Drift
Bielefeld University（比勒费尔德大学）
概念漂移的概念是指产生观测数据的分布随时间变化的现象。如果存在漂移，机器学习模型可能会变得不准确，需要调整。虽然确实存在检测概念漂移或在存在观察到的漂移的情况下调整模型的方法，但解释漂移的问题，即，以人类可理解的方式描述分布的潜在复杂和高维变化，迄今为止几乎没有被考虑。这个问题是重要的，因为它能够检查的最突出的特点，如何和在漂移表现自己。因此，它使人类能够理解这种变化，并增加对终身学习模式的接受。在本文中，我们提出了一种新的技术来表征概念漂移的空间特征的特性变化的基础上，各种解释技术。为此，我们提出了一种方法来减少概念漂移的解释，以适当的方式提取有关漂移的相关信息训练的模型的解释。这样就有了各种各样的解释方案。这样，就可以为当前的漂移解释问题选择一种合适的方法。我们概述了这种方法的潜力，并在几个例子中证明了它的实用性。
2023-03-16 cs.LG
Interpretability for Multimodal Emotion Recognition using Concept Activation Vectors
PES University（PES大学）
本文针对多模态情感识别模型决策不透明的问题，提出利用CAVs定义可理解概念并映射至IEMOCAP，在BC-LSTM多层评估其影响并通过假设检验验证显著性。
2022-02-02 cs.LG
An Axiomatic Approach to Model-Agnostic Concept Explanations
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出一种满足线性性、递归性和相似性三条公理的模型无关概念解释方法，并展示了其在模型选择、优化器选择及零样本视觉语言模型改进中的效用。
2024-01-12 cs.LG
Logic Explained Networks
Università di Firenze（佛罗伦萨大学）；Università di Siena（锡耶纳大学）；University of Cambridge（剑桥大学）
提出Logic Explained Networks (LENs)，一种可解释深度学习模型族，通过一阶逻辑公式提供人类可理解的解释，在监督和无监督学习中均优于传统白盒模型且解释更紧凑。
2021-08-11 cs.AI cs.LG cs.LO
Towards Automatic Concept-based Explanations
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
随着越来越多的机器学习（ML）模型被部署并广泛用于做出重要决策，可解释性已成为一个重要的研究课题。目前的大多数解释方法通过特征重要性分数来提供解释，该分数识别对每个输入重要的特征。然而，如何系统地总结和解释这样的每样本特征重要性分数本身是具有挑战性的。在这项工作中，我们提出了原则和必要的\emph{concept}为基础的解释，它超越了每个样本的功能，以确定更高层次的人类可理解的概念，适用于整个数据集。我们开发了一个新的算法，ACE，自动提取视觉概念。我们的系统实验表明，\alg发现的概念是人类有意义的，连贯的和重要的神经网络的预测。
2019-10-08 cs.CV cs.LG stat.ML
Understanding Inter-Concept Relationships in Concept-Based Models
Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）
本文分析基于概念模型中的概念间关系，发现现有模型表示不稳定且未能捕获关系，并提出利用概念间关系的新算法以提高概念干预准确性。
2024-05-28 cs.LG
GLEAMS: Bridging the Gap Between Local and Global Explanations
Bologna University（博洛尼亚大学）
本文提出 GLEAMS，通过划分输入空间并在各子区域学习可解释模型，同时生成忠实的局部与全局解释。
2024-08-09 cs.AI cs.LG
LAP: An Attention-Based Module for Concept Based Self-Interpretation and Knowledge Injection in Convolutional Neural Networks
Sharif University of Technology（谢里夫理工大学）
提出可插入已训练卷积神经网络的注意力池化模块LAP，通过弱监督方案学习决策区分特征，在不损失性能下实现基于概念的自解释和知识注入，提供比白盒方法更有效的解释。
2023-10-24 cs.CV cs.LG
MEME: Generating RNN Model Explanations via Model Extraction
University of Cambridge（剑桥大学）
递归神经网络（RNN）在一系列任务上取得了卓越的性能。进一步增强基于RNN的方法的关键一步是提高其可解释性和可解释性。在这项工作中，我们提出了MEME：一种模型提取方法，能够用人类可理解的概念及其相互作用表示的可解释模型来近似RNN。我们演示了如何MEME可以应用到两个多变量，连续数据的案例研究：房间占用预测，并在医院死亡率预测。使用这些案例研究，我们展示了我们提取的模型如何通过可解释的概念交互来近似RNN决策，从而在局部和全局上解释RNN。
2020-12-13 cs.AI cs.LG
Learn to explain yourself, when you can: Equipping Concept Bottleneck Models with the ability to abstain on their concept predictions
J.P. Morgan AI Research（摩根大通人工智能研究院）
Koh等人[2020]的概念瓶颈模型（CBM）提供了一种方法，以确保基于神经网络的分类器仅基于人类可理解的概念进行预测。概念标签，或者我们所说的基本原理，是由CBM的概念标签组件学习的。另一个组件学习从这些预测的概念标签中预测目标分类标签。不幸的是，这些模型严重依赖于人类为每个数据点提供的概念标签。为了使建立信任措施的表现稳健时，这些标签是不容易获得的，我们展示了如何装备他们的能力，放弃预测概念时，概念标签组件是不确定的。换句话说，我们的模型学会为其预测提供理论依据，但只有在它确定理论依据正确的情况下。
2022-12-18 cs.LG
GCExplainer: Human-in-the-Loop Concept-based Explanations for Graph Neural Networks
University of Cambridge（剑桥大学）
虽然图神经网络（GNN）已被证明在各种领域的基于图的数据上表现良好，但它们缺乏透明度和问责制，这阻碍了信任，从而阻碍了在高风险和安全关键场景中部署此类模型。尽管最近的研究已经研究了解释GNN的方法，但这些方法仅限于单实例解释，也称为局部解释。出于提供全局解释的目的，我们采用了众所周知的基于概念的自动解释方法（Ghorbani等人，2019）到GNN节点和图分类，并提出GCExplainer。GCExplainer是一种无监督的方法，用于事后发现和提取GNN的全局基于概念的解释，它将人类置于循环中。我们在五个节点分类数据集和两个图分类数据集上展示了我们的技术的成功，表明我们能够通过将人类置于循环中来发现和提取高质量的概念表示。我们在整个数据集上实现了最大完整性得分1和平均完整性得分0.753。最后，我们表明，与GNNExplainer产生的最先进的解释相比，基于概念的解释提供了对数据集和GNN模型的更好的见解（Ying等人，2019年）。
2021-07-25 cs.LG
Integrating Feature Understandability into Feature Selection for Human-Centred Tabular Explanations
School of Computer Science and Information Technology, University College Cork（科克大学计算机科学与信息技术学院）；Centre for Research Training in Artificial Intelligence, University College Cork（科克大学人工智能研究培训中心）；Department of Methodology and Statistics, Tilburg University（蒂尔堡大学方法论与统计系）；Insight Centre for Data Analytics, University College Cork（科克大学Insight数据分析中心）
本研究将特征可理解性整合到特征选择中，提出感知可理解性的特征选择算法，训练随机森林并结合SHAP评估，发现该方法可生成更易理解的解释且对分类性能影响极小。
2026-10-14 cs.AI cs.CY cs.HC
From Mechanistic to Compositional Interpretability
UK AI Security Institute（英国人工智能安全研究所）
本文提出组合可解释性框架，通过范畴论原理解决机制可解释性无法客观验证的问题，将解释质量分解为忠实度和复杂度，引入压缩细化方法实现模型简化，理论证明简洁性准则保障人类对齐的解释。
2026-06-18 cs.LG
Causal Learning and Explanation of Deep Neural Networks via Autoencoded Activations
Charles River Analytics（查尔斯河分析公司）
深度神经网络复杂且不透明。当它们进入各种重要和安全关键领域的应用时，用户寻求解释其输出预测的方法。我们开发了一种通过在CNN中包含的突出概念上构建因果模型来解释深度神经网络的方法。我们开发了通过使用经过训练的自动编码器来提取目标网络中的突出概念的方法，以提取人类可理解的网络激活表示。然后，我们建立了一个基本的因果关系模型，使用这些提取的概念作为变量，以解释图像分类。最后，我们使用这个因果模型来识别和可视化对最终分类有显著因果影响的特征。
2018-02-02 cs.AI cs.LG stat.ML
Causal Explanation of Concept Drift -- A Truly Actionable Approach
Machine Learning Group, Bielefeld University（机器学习组，比勒菲尔德大学）
本研究提出一种概念漂移的因果解释框架，通过分离受漂移影响的因果相关特征，提高了模型解释的可操作性，支持针对性干预以避免模型故障。
2025-10-13 cs.LG
Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
University of Tsukuba（筑波大学）；Riken AIP（日本理化学研究所革新智能综合研究中心）
我们的目的是解释一个黑盒分类器的形式：“数据X被归类为类Y，因为X \textit{has} A，B和\textit{does not have} C”，其中A，B和C是高级概念。挑战在于，我们必须以无监督的方式发现一组概念，即，A、B和C，这对解释分类器很有用。我们首先介绍了一个结构生成模型，适合表达和发现这样的概念。然后，我们提出了一个学习过程，同时学习的数据分布，并鼓励某些概念有一个很大的因果关系的分类器输出的影响。我们的方法还允许用户的先验知识，以诱导高的概念的可解释性容易集成。使用多个数据集，我们证明了我们的方法可以发现有用的二进制概念进行解释。
2021-09-09 cs.LG
Interpreting Robustness Proofs of Deep Neural Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMware Research（威睿研究院）
近年来，已经开发了许多方法来正式验证深度神经网络（DNN）的鲁棒性。虽然所提出的技术在提供DNN行为的数学保证方面是有效的，但尚不清楚这些方法生成的证明是否是人类可解释的。在本文中，我们通过开发新的概念，算法和表示来弥合这一差距，以生成人类可理解的解释证明。利用所提出的方法，我们表明，标准DNN的鲁棒性证明依赖于虚假的输入特征，而训练为可证明鲁棒的DNN的证明甚至过滤掉了语义上有意义的特征。结合对抗性和可证明鲁棒性训练的DNN的证明在选择性过滤虚假特征以及依赖人类可理解的输入特征方面是最有效的。
2023-01-31 cs.LG
An Evaluation of the Human-Interpretability of Explanation
Harvard University（哈佛大学）；Google Brain（谷歌大脑）
近年来，人们对机器学习系统的兴趣激增，这些系统可以为其预测或决策提供人类可理解的理由。然而，究竟什么样的解释是真正的人类解释仍然知之甚少。这项工作推进了我们对用户可以使用机器学习系统执行的三个特定任务下解释的理解：响应的模拟，建议响应的验证，以及确定建议响应的正确性是否在输入的变化下发生变化。通过精心控制的人类受试者实验，我们确定了可用于优化机器学习系统可解释性的正则化器。我们的研究结果表明，复杂性的类型很重要：认知组块（新定义的概念）影响性能比变量重复，这些趋势是一致的跨任务和域。这表明解释系统可能存在一些共同的设计原则。
2019-08-28 cs.LG stat.ML
Detection Accuracy for Evaluating Compositional Explanations of Units
Sapienza University of Rome（罗马大学）；Sony AI（索尼人工智能）
最近深度学习模型在解决复杂问题和不同领域的成功增加了人们对理解它们所学到的东西的兴趣。因此，不同的方法被用来解释这些模型，其中之一是使用人类可理解的概念作为解释。使用这种方法的两个例子是网络剖析和组合解释。前者使用原子概念解释单位，而后者使解释更具表现力，用逻辑形式取代原子概念。虽然直观上，逻辑形式比原子概念更能提供信息，但如何量化这种改进并不清楚，并且它们的评估通常基于在搜索过程中优化的相同度量以及待调优的超参数的使用。在本文中，我们建议使用检测准确度作为评估指标，它衡量单元对其指定解释的检测一致性。我们表明，该度量（1）有效地评估不同长度的解释，（2）可以用作组合解释搜索的停止标准，消除解释长度超参数，（3）暴露新的专门化单元，其长度为1的解释是其较长解释的感知抽象。
2021-10-28 cs.CV cs.LG
CIExplainer++: Generating Causal and Interpretable Explanations for Graph Neural Networks
NOVA LINCS；NOVA School of Science and Technology（NOVA科技学院）
提出CIExplainer方法，基于潜在结果框架识别对GNN预测因果影响最大的子图，并进一步提出G2TeXplainer将因果子图转化为自然语言解释。
2026-06-23 cs.LG stat.OT
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University（奥尔堡大学）；Yodaway
近年来，可解释人工智能（XAI）已成为一个非常适合的框架，以生成人类可理解的解释“黑盒”模型。在本文中，一种新的XAI视觉解释算法被称为相似性差异和uniform（SIDU）的方法，可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析，通过各种计算和人体实验。特别是，SIDU算法使用三种不同类型的评估（应用程序，人类和功能接地）进行评估，以证明其优越的性能。为了更好地理解SIDU算法的性能，进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
CoSy: Evaluating Textual Explanations of Neurons
TU Berlin（柏林工业大学）；BIFOLD（柏林大数据中心）；ATB Potsdam（波茨坦农业与生物研究中心）；Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；University of Potsdam（波茨坦大学）
针对缺乏统一定量方法评估神经元文本解释质量的问题，本文提出架构无关的CoSy框架，通过生成模型创建解释对应的数据点，比较神经元对生成数据与控制数据的响应评估质量，并在计算机视觉任务中验证了框架有效性。
2024-12-05 cs.AI cs.CL cs.LG
Self-explaining AI as an alternative to interpretable AI
Imaging Biomarkers and Computer-Aided Diagnosis Laboratory, Radiology and Imaging Sciences, National Institutes of Health Clinical Center（美国国立卫生研究院临床中心放射与成像科学部成像生物标志物与计算机辅助诊断实验室）；National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）
解释人工智能系统所做决策的能力受到高度追捧，特别是在人类生命受到威胁的领域，如医学或自动驾驶汽车。虽然通常可以用一些人类可理解的规则来近似深度神经网络的输入输出关系，但双下降现象的发现表明，这种近似不能准确地捕捉深度神经网络的工作机制。双下降表示深度神经网络通常通过在数据点之间平滑插值而不是通过提取一些高级规则来操作。因此，在复杂的现实世界数据上训练的神经网络本质上很难解释，并且如果被要求外推，则容易失败。为了展示我们如何能够在存在这些问题的情况下信任AI，我们引入了自我解释AI的概念。自我解释AI能够为每个决策提供人类可理解的解释，以及决策和解释的置信水平。为了使这种方法发挥作用，重要的是解释实际上与决策相关，理想情况下，捕获用于得出解释的机制。最后，我们认为，重要的是，基于深度学习的系统应包括基于适用性域分析技术的“警示灯”，以便在模型被要求在其训练分布之外进行外推时警告用户。有关此演讲的视频演示，请参见https://www.youtube.com/watch? v=Py7PVdcu7WY& .
2020-07-02 cs.AI cs.CY cs.LG
Generating Contrastive Explanations for Inductive Logic Programming Based on a Near Miss Approach
University of Bamberg（班贝格大学）
在最近的研究中，人类可以理解的机器学习模型解释受到了广泛关注。解释通常以模型简化或可视化的形式给出。然而，正如认知科学和早期人工智能研究所显示的那样，概念理解也可以通过将概念的给定实例与类似的反例对齐来提高。将一个给定的实例与一个结构相似但不属于该概念的实例进行对比，突出了概念成员资格所必需的特征。温斯顿（Winston，1970）提出了这种近乎失败的学习方法，作为关系领域学习的有效指导。我们介绍了一个解释生成算法的关系概念与归纳逻辑程序设计（\textsc{GeNME}）。该算法从给定的一组实例中识别出近距离错过的实例，并根据这些实例与特定正实例的接近程度对这些实例进行排名。一个修改后的规则，它涵盖了近距离错过，但不是原来的情况下，作为一个解释。我们说明\textsc{GeNME}与著名的家庭域组成的亲属关系，视觉关系温斯顿拱门域和现实世界的域处理文件管理。我们还提出了一个心理实验，比较人类的偏好，基于规则的，基于例子的，和近错过的解释在家庭和拱门域。
2021-06-15 cs.AI cs.LG
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California（南加州大学）
为了更深入地了解卷积神经网络（CNN）如何对人类可理解的概念进行推理，我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息，以及提供对概念如何彼此交互的理解。实验表明，所提取的决策树能够准确地表示原始CNN的分类在低树深度，从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
Human-Centered Concept Explanations for Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
理解复杂的机器学习模型，如深度神经网络和解释，在各种应用中至关重要。许多解释都源于模型的视角，并且可能不一定有效地传达为什么模型在正确的抽象级别上进行预测。例如，为图像中的各个像素提供重要性权重只能表示该特定图像的哪些部分对模型重要，但人类可能更喜欢通过基于概念的思维来解释预测的解释。在这项工作中，我们审查的新兴领域的概念为基础的解释。我们首先介绍概念的解释，包括类的概念激活向量（CAV）的特征概念，在适当的空间中的神经激活，并讨论不同的属性有用的概念，和方法来衡量概念向量的有用性。然后，我们讨论自动提取概念的方法，以及解决它们的一些警告的方法。最后，我们讨论了一些案例研究，展示了这种基于概念的解释在合成环境和现实世界中的应用。
2022-02-25 cs.AI cs.LG
Finding Interpretable Concept Spaces in Node Embeddings using Knowledge Bases
L3S Research Center（L3S研究中心）
在本文中，我们提出并研究了通过在已经训练的无监督节点表示嵌入中找到嵌入式人类可解释的子空间来解释节点嵌入的新问题。我们使用一个外部知识库，该知识库被组织为人类可理解的概念的分类实体作为指导，以确定从维基百科派生的实体图中学习到的节点嵌入中的子空间。我们提出了一种方法，给定一个概念，找到一个线性变换的子空间的结构的概念被保留。我们的初步实验表明，我们在寻找细粒度的概念获得低错误。
2019-10-11 cs.LG stat.ML
SurroCBM: Concept Bottleneck Surrogate Models for Generative Post-hoc Explanation
Emory University（埃默里大学）
本文提出SurroCBM框架，利用自动发现的概念通过代理模型对黑盒进行事后解释，并采用自生成数据训练策略提升解释质量，实验验证其有效性。
2023-10-11 cs.AI cs.LG
ConceptDistil: Model-Agnostic Distillation of Concept Explanations
Feedzai
基于概念的解释旨在填补非技术人员的模型可解释性缺口。以前的工作集中在为特定模型（例如，神经网络）或数据类型（例如，图像）提供概念，并尝试从已经训练的网络中提取概念或通过多任务学习训练可自我解释的模型。在这项工作中，我们提出了ConceptDistil，一种使用知识蒸馏将概念解释带到任何黑盒分类器的方法。ConceptDistil被分解为两个组件：（1）预测给定实例中存在哪些领域概念的概念模型，以及（2）尝试使用概念模型预测来模仿黑盒模型的预测的蒸馏模型。我们在真实世界的用例中验证了ConceptDistil，表明它能够优化这两项任务，为任何黑盒模型带来概念解释能力。
2022-05-07 cs.AI cs.LG
Concept-Based Abductive and Contrastive Explanations for Behaviors of Vision Models
Colorado State University（科罗拉多州立大学）；KBR Inc.（KBR公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于概念的归纳与对比解释方法，用于解释视觉模型的行为，通过概念擦除过程建立因果关系，实现对单张图像和图像集合的预测理解。
2026-05-07 cs.AI cs.LG
Concept Activation Regions: A Generalized Framework For Concept-Based Explanations
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）；UCLA（加州大学洛杉矶分校）
基于概念的解释允许通过用户指定的概念的镜头来理解深度神经网络（DNN）的预测。现有的方法假设说明概念的示例被映射在DNN的潜在空间的固定方向上。当这成立时，概念可以由指向该方向的概念激活向量（CAV）表示。在这项工作中，我们建议通过允许概念示例分散在DNN潜在空间中的不同集群来放松这一假设。然后，每个概念由DNN的潜在空间的一个区域表示，该区域包括这些聚类，我们称之为概念激活区域（CAR）。为了形式化这个想法，我们引入了一个扩展的CAV形式主义，是基于核技巧和支持向量分类器。该CAR形式主义产生基于全局概念的解释和基于局部概念的特征重要性。我们证明了用径向核建立的CAR解释在潜在空间等距下是不变的。通过这种方式，CAR将相同的解释分配给具有相同几何形状的潜在空间。我们进一步实证证明，CAR提供（1）更准确地描述概念如何分散在DNN的潜在空间中;（2）更接近人类概念注释的全局解释和（3）基于概念的特征重要性，使概念相互之间有意义地联系起来。最后，我们使用CAR来证明DNN可以自主地重新发现已知的科学概念，例如前列腺癌分级系统。
2022-09-29 cs.AI cs.LG
Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
深度学习中的大多数解释方法都将模型预测的重要性估计映射回原始输入空间。这些“视觉”解释往往是不够的，因为模型的实际概念仍然难以捉摸。此外，如果不深入了解模型的语义概念，就很难（如果不是不可能的话）通过解释来干预模型的行为，这称为解释性交互学习。因此，我们建议干预神经符号场景表示，这允许人们在语义层面上修改模型，例如“永远不要专注于颜色来做出决定”。我们编制了一个新的混杂视觉场景数据集，CLEVR-Hans数据集，捕捉不同对象的复杂组成。我们对CLEVR-Hans的实验结果表明，我们的语义解释，即在每个对象水平上的成分解释，可以识别仅使用“视觉”解释无法识别的混淆因素。更重要的是，在这个语义层面上的反馈使得有可能从关注这些因素的角度来修改模型。
2021-06-21 cs.AI cs.LG
Estimation of Concept Explanations Should be Uncertainty Aware
University of Cambridge（剑桥大学）；Alan Turing Institute（阿兰·图灵研究所）
本文针对概念解释的噪声问题，提出一种不确定性感知的贝叶斯估计方法，通过理论分析和实验证明该方法对训练选择鲁棒、标签高效，并能在数千概念中恢复相关概念，从而提升模型解释的可靠性。
2024-04-05 cs.AI cs.CL cs.LG
On Completeness-aware Concept-Based Explanations in Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）
人类对高层决策的解释通常用决策所基于的关键概念来表达，本文研究了深度神经网络（DNN）基于概念的可解释性。首先，我们定义了完整性的概念，它量化了一组特定的概念在解释模型的预测行为时的充分程度，假设完整的概念分数是模型预测的充分统计。接下来，我们提出了一个概念发现方法，旨在推断出一套完整的概念，另外鼓励被解释，这解决了现有的方法对概念解释的局限性。为了定义每个发现的概念的重要性得分，我们适应博弈论的概念，聚集在集，并提出ConceptSHAP。通过建议的指标和用户研究，在具有先验已知概念解释的合成数据集上，以及在现实世界的图像和语言数据集上，我们验证了我们的方法在找到解释决策和可解释的概念方面的有效性。(The代码发布于https：//github.com/chihkuanyeh/concept_exp）
2022-02-07 cs.LG stat.ML
Post-hoc Interpretability for Neural NLP: A Survey
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文综述了神经自然语言处理中的事后可解释性方法，系统分类其解释方式、深入分析各类方法并讨论验证问题，以促进模型的安全、伦理与问责。
2023-11-28 cs.CL cs.LG cs.NE
Leveraging Conditional Generative Models in a General Explanation Framework of Classifier Decisions
Incepto Medical（Incepto医疗）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
为分类器的决策提供一个人类可以理解的解释，对于在日常任务中使用它们产生信任已经变得至关重要。虽然许多作品已经通过生成视觉解释图来解决这个问题，但它们通常提供嘈杂和不准确的结果，迫使使用与所讨论的分类器无关的启发式正则化。在本文中，我们提出了一个克服这些局限性的视觉解释问题的新的总体视角。我们表明，视觉解释可以产生通过两个特定的条件生成模型获得的两个生成的图像之间的差异。两个生成模型都是使用分类器来解释和数据库来训练的，以强制执行以下属性：（i）由第一生成器生成的所有图像被分类为与输入图像类似，而第二生成器的输出被相反地分类。(ii)生成的图像属于真实图像的分布。(iii)输入图像和相应的生成图像之间的距离是最小的，使得生成的元素之间的差异仅揭示了所研究的分类器的相关信息。使用对称和循环约束，我们提出了两种不同的近似和实现的一般配方。在实验中，我们展示了三个不同的公共数据集上的显着改进。特别地，影响分类器的区域的定位与人类注释一致。
2021-06-21 cs.CV cs.LG
Debiasing Concept-based Explanations with Causal Analysis
Amazon（亚马逊）
基于概念的解释方法是一种流行的模型解释工具，因为它表达了模型的预测方面的概念，是有意义的领域专家的原因。在这项工作中，我们研究的问题的概念与混淆信息的功能。我们提出了一个新的因果先验图建模未观察到的变量的影响和方法，以消除干扰信息和噪声的影响，使用两阶段回归技术借用工具变量文献。我们还模型的概念集的完整性，并表明，我们的去偏置方法的工作原理时，概念不完整。我们的合成和真实世界的实验证明了我们的方法在消除偏见和提高概念的排名方面的成功，因为它们对解释预测的贡献。
2021-05-22 cs.LG stat.ML
Unsupervised Interpretable Basis Extraction for Concept-Based Visual Explanations
Information Technologies Institute, Centre for Research and Technology HELLAS（信息科技研究所，希腊研究中心与技术HELLOS）；Department of Advanced Computing Sciences, University of Maastricht（高级计算科学系，马斯特里赫特大学）
本文提出一种自下而上的无监督方法，通过优化稀疏性性质从 CNN 特征空间中集体提取可解释基，无需概念标签监督，并验证其能提升中间层表示的可解释性。
2025-09-22 cs.AI cs.CV cs.LG
Concept-based model explanations for Electronic Health Records
Google Research（谷歌研究院）；Google Health（谷歌健康）；DeepMind（深度思维）
递归神经网络（RNN）通常用于电子健康记录（EHR）中不良结果的顺序建模，因为它们能够对过去的临床状态进行编码。与其他建模方法相比，这些深度的循环架构在许多任务中表现出更高的性能，从而激发了在临床环境中部署深度模型的兴趣。确保安全的模型部署和建立用户信任的关键要素之一是模型的可解释性。使用概念激活向量（TCAV）的测试最近被引入作为一种通过将高级概念与网络的梯度进行比较来提供人类可理解的解释的方式。虽然该技术在现实世界的成像应用中已经显示出有前途的结果，但它还没有被应用于结构化的时间输入。为了使应用程序的TCAV顺序预测的EHR，我们提出了一个扩展的方法，时间序列数据。我们评估所提出的方法上的一个开放的EHR基准从重症监护病房，以及合成数据，我们能够更好地隔离个人的影响。
2021-03-08 cs.CY cs.LG
LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations
针对机器学习模型黑箱缺乏透明度的问题，提出基于马尔可夫毯的LaPLACE模型无关解释器，可自动生成最优特征子集的概率因果解释，性能优于LIME和SHAP，在多场景具备实用价值。
2023-10-01 cs.AI cs.LG
Using Causal Analysis for Conceptual Deep Learning Explanation
University of Pittsburgh（匹兹堡大学）；University of Pittsburgh School of Medicine（匹兹堡大学医学院）
模型的可解释性对于在医疗保健领域创建可信的机器学习模型至关重要。理想的解释类似于领域专家的决策过程，并使用对临床医生有意义的概念或术语来表达。为了提供这样的解释，我们首先将分类器的隐藏单元与临床相关概念相关联。我们利用伴随胸部X光图像的放射学报告来定义概念。我们使用线性稀疏逻辑回归发现概念和隐藏单元之间的稀疏关联。为了确保所确定的单元真正影响分类器的结果，我们采用因果推理文献中的工具，更具体地说，通过反事实干预进行调解分析。最后，我们构建了一个低深度的决策树，将所有发现的概念转化为一个简单的决策规则，表达给放射科医生。我们在一个大型胸部X射线数据集上评估了我们的方法，我们的模型产生了与临床知识一致的全局解释。
2021-07-10 cs.CV cs.LG
Multi-Depth Concept Extraction for Post-Hoc Vision Encoder Explanation
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Linköping University（利乌波堡大学）
提出NAVE方法，通过聚类编码器多深度特征激活生成可解释分割图，无需微调或架构修改，定量证明其概念与输入语义对齐并可用于下游任务。
2026-06-23 cs.CV cs.LG
Process Knowledge-infused Learning for Suicidality Assessment on Social Media
University of South Carolina（南卡罗来纳大学）；Artificial Intelligence Institute（人工智能研究所）
提高深度学习算法的性能和自然语言解释是人类在现实世界中采用的优先事项。在医疗保健等多个领域，这种技术具有巨大的潜力，可以通过大规模提供高质量的帮助来减轻人类的负担。然而，目前的方法依赖于从数据中预测标签的传统管道，因此完全忽略了用于获得标签的过程和指南。此外，使用可解释AI（XAI）模型对数据进行事后解释以标记预测，虽然计算机科学家对此感到满意，但由于缺乏对人类可理解概念的过程的解释，最终用户仍有很多需要改进的地方。我们提出了\textit{introduce}、\textit{formalize}和\textit{develop}一种新的人工智能（A）范式--过程知识注入学习（PK-iL）。PK-iL利用结构化的过程知识，明确解释了对最终用户有意义的潜在预测过程。定性人类评价通过0.72的注释者一致性证实，人类理解预测的解释。PK-iL的性能也与最先进的（SOTA）基线具有竞争力。
2022-04-26 cs.AI cs.LG
ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks
ConceptFlow通过概念注意力和概念通路追踪CNN中概念跨层传播与演化，模拟模型内部思维路径，从而提供更忠实且人类可对齐的层级化细粒度解释。
2025-09-16 cs.AI cs.LG
Mapping Knowledge Representations to Concepts: A Review and New Perspectives
神经网络的成功在很大程度上建立在它们从现实世界的高维数据（如图像、声音或文本）创建内部知识表示的能力上。提取和呈现这些表征的方法，以解释神经网络的决策，是一个活跃和多方面的研究领域。为了更深入地了解这一领域的一个核心方面，我们进行了有针对性的审查，重点是旨在将内部表征与人类可理解的概念联系起来的研究。在这样做的时候，我们通过使用主要是演绎的法则解释作为建议的分类法，增加了对现有研究的视角。我们发现这种因果关系的分类和理论，有助于理解从神经网络解释中可以预期和不能预期的东西。该分析还揭示了与模型可解释性目标相关的文献中的模糊性;它是理解ML模型还是在部署领域中有用的可操作解释？
2022-12-31 cs.AI cs.LG
Concept-Based Explanations for Tabular Data
机器学习模型的可解释性一直是安全部署机器学习系统的重要研究领域。一种特殊的方法是将模型决策归因于人类可以理解的高级概念。然而，深度神经网络（DNN）的这种基于概念的可解释性主要是在图像域上研究的。在本文中，我们扩展TCAV，概念属性的方法，表格学习，提供了一个想法，如何定义概念的表格数据。在一个具有地面真理概念解释的合成数据集和一个真实世界的数据集上，我们展示了我们的方法在生成与人类直觉相匹配的可解释性结果方面的有效性。最重要的是，我们提出了一个基于TCAV的公平性概念，它量化了DNN的哪一层已经学习了导致模型预测偏差的表示。此外，我们实证证明TCAV为基础的公平性的一组公平的概念，人口均等的关系。
2022-09-13 cs.CV cs.LG
LIMREF: Local Interpretable Model Agnostic Rule-based Explanations for Forecasting, with an Application to Electricity Smart Meter Data
Monash University（莫纳什大学）
准确的电力需求预测在可持续电力系统中起着至关重要的作用。为了更好地做出决策，特别是针对最终用户的需求灵活性，不仅需要提供准确的预测，还需要提供可理解和可操作的预测。为了提供准确的预测，跨时间序列训练的全局预测模型（GFM）最近在许多需求预测竞赛和实际应用中显示出优于单变量预测方法的结果。我们的目标是填补全球预测方法的准确性和可解释性之间的差距。为了解释全球模型预测，我们提出了本地可解释模型不可知的基于规则的预测解释（LIMREF），一个本地解释器框架，为特定的预测产生k-最优的影响规则，考虑全球预测模型作为一个黑盒模型，在模型不可知的方式。它提供了不同类型的规则来解释全局模型的预测和反事实规则，这些规则为潜在的变化提供了可操作的见解，以获得给定实例的不同输出。我们使用大规模的电力需求数据集进行实验，这些数据集具有温度和日历效应等外生特征。在这里，我们评估质量的解释所产生的LIMREF框架在定性和定量方面，如准确性，保真度和可理解性和基准对其他本地解释者。
2022-02-15 cs.AI cs.LG
