MCCE: Missingness-aware Causal Concept Explainer
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对现有因果概念解释方法因数据缺失导致估计偏差的问题，提出MCCE框架，通过学习残余偏差并利用线性预测器建模概念与黑盒模型输出的关系，实现局部和全局解释，在真实数据集上表现优异。
2024-11-14 cs.LG
DExT: Detector Explanation Toolkit
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；University of Bremen（不来梅大学）；University of Groningen（格罗宁根大学）
本文提出开源 DExT 工具包，利用基于梯度的方法和多目标可视化统一解释目标检测器的边界框与分类决策，并通过定量及人类评估验证其可信性。
2023-06-04 cs.CV cs.LG
Black-box Explanation of Object Detectors via Saliency Maps
Boston University（波士顿大学）；Adobe Research（Adobe研究院）；Adobe Document Cloud（Adobe文档云）；University of Virginia（弗吉尼亚大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们提出了D-RISE，一种用于生成对象探测器预测的视觉解释的方法。利用所提出的相似性度量，占本地化和分类方面的目标检测允许我们的方法产生显着图，显示图像区域，最影响预测。在软件测试的意义上，D-RISE可以被认为是"黑盒"，因为它只需要访问对象检测器的输入和输出。与基于梯度的方法相比，D-RISE更通用，对被测试的特定类型的对象检测器更不可知，并且不需要了解模型的内部工作原理。我们表明，D-RISE可以很容易地应用于不同的对象检测器，包括一级检测器，如YOLOv3和两级检测器，如Faster-RCNN。我们对生成的视觉解释进行了详细的分析，以突出对象检测器对上下文和可能的偏见的利用。
2021-06-10 cs.AI cs.CV cs.LG
Concept-Based Explanations for Tabular Data
机器学习模型的可解释性一直是安全部署机器学习系统的重要研究领域。一种特殊的方法是将模型决策归因于人类可以理解的高级概念。然而，深度神经网络（DNN）的这种基于概念的可解释性主要是在图像域上研究的。在本文中，我们扩展TCAV，概念属性的方法，表格学习，提供了一个想法，如何定义概念的表格数据。在一个具有地面真理概念解释的合成数据集和一个真实世界的数据集上，我们展示了我们的方法在生成与人类直觉相匹配的可解释性结果方面的有效性。最重要的是，我们提出了一个基于TCAV的公平性概念，它量化了DNN的哪一层已经学习了导致模型预测偏差的表示。此外，我们实证证明TCAV为基础的公平性的一组公平的概念，人口均等的关系。
2022-09-13 cs.CV cs.LG
A Framework for Learning Ante-hoc Explainable Models via Concepts
IIT Hyderabad（印度理工学院海得拉巴分校）；IBM Research（IBM研究院）
自解释深度模型被设计为在训练期间隐式地学习基于潜在概念的解释，这消除了对任何事后解释生成技术的需求。在这项工作中，我们提出了一个这样的模型，它在任何基本网络的顶部附加一个解释生成模块，并联合训练整个模块，显示出高预测性能，并生成有意义的概念解释。我们的训练策略适用于无监督概念学习，与基线方法相比，参数空间要求要少得多。我们提出的模型还提供了利用概念的自我监督来提取更好的解释。然而，与最近提出的基于概念的可解释模型相比，通过完整的概念监督，我们实现了最佳的预测性能。我们报告的定性和定量结果与我们的方法，这表明更好的性能比最近提出的基于概念的可解释性方法。我们报告了两个数据集的详尽结果，没有地面实况概念，即，CIFAR 10，ImageNet和两个具有地面真实概念的数据集，即，AwA 2，CUB-200，以显示我们的方法对这两种情况的有效性。据我们所知，我们是第一个用大规模数据集（如ImageNet）显示结果的事前解释生成方法。
2021-11-30 cs.CV cs.LG
OPTIMUS-Prime: Minimal and Sufficient Concept Explanations for Deep Vision Models
Université de Lorraine（洛林大学）；CentraleSupélec Loria（中央超导Loria）；CNRS（国家科学研究中心）；Metz, France（法国梅斯）；Université de technologie de Compiègne UMR CNRS 7253 Heudiasyc（图卢兹技术大学UMR CNRS 7253 Heudiasyc）；France（法国）
提出OPTIMUS框架，基于主蕴含项理论生成视觉热图解释，满足充分性和最小性，提供形式化保证。
2026-06-05 cs.CV cs.LG
Towards Automatic Concept-based Explanations
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
随着越来越多的机器学习（ML）模型被部署并广泛用于做出重要决策，可解释性已成为一个重要的研究课题。目前的大多数解释方法通过特征重要性分数来提供解释，该分数识别对每个输入重要的特征。然而，如何系统地总结和解释这样的每样本特征重要性分数本身是具有挑战性的。在这项工作中，我们提出了原则和必要的\emph{concept}为基础的解释，它超越了每个样本的功能，以确定更高层次的人类可理解的概念，适用于整个数据集。我们开发了一个新的算法，ACE，自动提取视觉概念。我们的系统实验表明，\alg发现的概念是人类有意义的，连贯的和重要的神经网络的预测。
2019-10-08 cs.CV cs.LG stat.ML
Detection Accuracy for Evaluating Compositional Explanations of Units
Sapienza University of Rome（罗马大学）；Sony AI（索尼人工智能）
最近深度学习模型在解决复杂问题和不同领域的成功增加了人们对理解它们所学到的东西的兴趣。因此，不同的方法被用来解释这些模型，其中之一是使用人类可理解的概念作为解释。使用这种方法的两个例子是网络剖析和组合解释。前者使用原子概念解释单位，而后者使解释更具表现力，用逻辑形式取代原子概念。虽然直观上，逻辑形式比原子概念更能提供信息，但如何量化这种改进并不清楚，并且它们的评估通常基于在搜索过程中优化的相同度量以及待调优的超参数的使用。在本文中，我们建议使用检测准确度作为评估指标，它衡量单元对其指定解释的检测一致性。我们表明，该度量（1）有效地评估不同长度的解释，（2）可以用作组合解释搜索的停止标准，消除解释长度超参数，（3）暴露新的专门化单元，其长度为1的解释是其较长解释的感知抽象。
2021-10-28 cs.CV cs.LG
Explanation Bottleneck Models
NTT（日本电报电话公司）
针对概念瓶颈模型依赖预定义概念的局限，本文提出 XBMs，利用预训练视觉-语言模型生成自然语言解释并据此预测，通过任务损失与解码器蒸馏正则化兼顾性能与解释质量。
2025-02-18 cs.AI cs.CV cs.LG
DEAL: Disentangle and Localize Concept-level Explanations for VLMs
University of Delaware（特拉华大学）
针对VLM细粒度概念解释纠缠和定位错误的问题，提出DEAL方法，通过鼓励概念级解释区分并与类别级解释一致，无需人工标注即可提升解释质量，并减少虚假相关性依赖以提高预测精度。
2024-07-19 cs.AI cs.CV cs.LG
Invertible Concept-based Explanations for CNN Models with Non-negative Concept Activation Vectors
The University of Melbourne（墨尔本大学）
用于计算机视觉的卷积神经网络（CNN）模型功能强大，但缺乏最基本形式的可解释性。在重要领域应用CNN时，这种缺陷仍然是一个关键挑战。通过近似线性模型的特征重要性的解释最近的工作已经从输入级特征（像素或片段）转移到概念激活向量（CAV）形式的中间层特征图的特征。CAV包含概念级信息，可以通过聚类学习。在这项工作中，我们重新考虑了Ghorbani等人的ACE算法，提出了一个可替代的可逆的基于概念的解释（ICE）框架，以克服其缺点。基于保真度（近似模型到目标模型）和可解释性（对人们有意义）的要求，我们设计了测量方法，并使用我们的框架评估了一系列矩阵分解方法。我们发现，从非负矩阵分解的非负概念激活向量（NCAV）的计算和人类受试者的实验的基础上，在可解释性和保真度提供卓越的性能。我们的框架为预训练的CNN模型提供了局部和全局概念级的解释。
2021-06-17 cs.AI cs.CV cs.LG
Beyond Attribution: Unified Concept-Level Explanations
School of Computer Science, Peking University, Beijing 100871, China（北京大学计算机科学学院）；Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education（高可信软件技术重点实验室（北京大学））
UNCLE框架通过扩展局部模型无关方法，提供统一的概念层面解释，提升解释的忠实度和多样性。
2026-02-26 cs.LG
An Axiomatic Approach to Model-Agnostic Concept Explanations
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出一种满足线性性、递归性和相似性三条公理的模型无关概念解释方法，并展示了其在模型选择、优化器选择及零样本视觉语言模型改进中的效用。
2024-01-12 cs.LG
Beyond Explanation: Debugging Medical Imaging Models via Concept Intervention
Iowa State University（爱荷华州立大学）；Mayo Clinic（梅奥诊所）
提出即插即用的概念干预框架，通过构建概念瓶颈模型实现医学影像模型的可解释调试与细化，在超声和X射线数据集上验证了其诊断可靠性并保持或提升性能。
2026-10-08 cs.CV cs.LG
Expressive Explanations of DNNs by Combining Concept Analysis with ILP
University of Bamberg（班贝格大学）；Continental AG（大陆集团）
可解释的人工智能已经成为对可靠性或透明度有很高要求的领域中黑盒机器学习方法的关键组成部分。例如，医疗辅助系统和与欧盟一般数据保护条例有关的应用程序，其特点是透明度作为基石。这样的需求需要能够审核分类器决策背后的基本原理。虽然可视化是解释的事实标准，但它们在许多方面缺乏表现力：它们无法区分视觉特征的不同属性表现（例如眼睛睁开与闭上），并且它们无法准确描述缺乏的影响以及特征之间的关系。另一种方法是更有表现力的符号代理模型。然而，这些需要符号输入，这在大多数计算机视觉任务中并不容易获得。在本文中，我们研究如何克服这一点：我们使用网络学习的固有特征来构建前馈卷积深度神经网络（DNN）的基本原理的全局，表达性，口头解释。特征的语义由一组人类可理解的视觉概念训练的概念分析方法来挖掘。该解释是由一个归纳逻辑程序设计（ILP）的方法，并提出了一阶规则。我们表明，我们的解释是忠实于原来的黑盒模型。我们的实验代码可以在https://github.com/mc-lovin-mlem/concept-embeddings-and-ilp/tree/ki2020上找到。
2021-05-16 cs.CV cs.LG
Regression Concept Vectors for Bidirectional Explanations in Histopathology
University of Geneva (UNIGE)（日内瓦大学）；University of Applied Sciences Western Switzerland (HES-SO)（瑞士西部应用科学大学）
根据领域相关概念对深度神经网络预测的解释在医学应用中可能是有价值的，其中理由对于决策制定的信心是重要的。在这项工作中，我们提出了一种方法来利用连续的概念措施作为回归概念向量（RCV）在激活空间的一层。决策函数沿RCV的方向导数表示网络对给定概念度量的增加值的敏感性。当应用于乳腺癌分级时，核纹理作为检测乳腺淋巴结样本中的肿瘤组织的相关概念出现。我们通过统计分析来评估评分的稳健性和一致性。
2019-04-09 cs.CV cs.LG stat.ML
Explanations as Bias Detectors: A Critical Study of Local Post-hoc XAI Methods for Fairness Exploration
University of Ioannina（伊奥安纳大学）；Archimedes / Athena RC Greece（阿基米德/亚特兰蒂斯研究所以及希腊）；Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（联邦国防军大学慕尼黑）
本文提出了一种集成局部事后解释方法的流水线来检测和解释AI系统中的不公平性，并批判性地分析了将解释作为偏见检测器时需考虑的关键问题与挑战。
2025-05-01 cs.AI cs.LG
Human-Centered Concept Explanations for Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
理解复杂的机器学习模型，如深度神经网络和解释，在各种应用中至关重要。许多解释都源于模型的视角，并且可能不一定有效地传达为什么模型在正确的抽象级别上进行预测。例如，为图像中的各个像素提供重要性权重只能表示该特定图像的哪些部分对模型重要，但人类可能更喜欢通过基于概念的思维来解释预测的解释。在这项工作中，我们审查的新兴领域的概念为基础的解释。我们首先介绍概念的解释，包括类的概念激活向量（CAV）的特征概念，在适当的空间中的神经激活，并讨论不同的属性有用的概念，和方法来衡量概念向量的有用性。然后，我们讨论自动提取概念的方法，以及解决它们的一些警告的方法。最后，我们讨论了一些案例研究，展示了这种基于概念的解释在合成环境和现实世界中的应用。
2022-02-25 cs.AI cs.LG
Multi-Depth Concept Extraction for Post-Hoc Vision Encoder Explanation
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Linköping University（利乌波堡大学）
提出NAVE方法，通过聚类编码器多深度特征激活生成可解释分割图，无需微调或架构修改，定量证明其概念与输入语义对齐并可用于下游任务。
2026-06-23 cs.CV cs.LG
Concept-Centric Transformers: Enhancing Model Interpretability through Object-Centric Concept Learning within a Shared Global Workspace
Arizona State University（亚利桑那州立大学）
该研究受共享全局工作空间理论启发，提出以概念为中心的Transformer，通过对象中心内存模块、交叉注意力及分类与解释损失，在多数据集分类任务上实现了优于基线的准确率与更一致的概念解释。
2023-11-07 cs.CV cs.LG
SurroCBM: Concept Bottleneck Surrogate Models for Generative Post-hoc Explanation
Emory University（埃默里大学）
本文提出SurroCBM框架，利用自动发现的概念通过代理模型对黑盒进行事后解释，并采用自生成数据训练策略提升解释质量，实验验证其有效性。
2023-10-11 cs.AI cs.LG
ConceptDistil: Model-Agnostic Distillation of Concept Explanations
Feedzai
基于概念的解释旨在填补非技术人员的模型可解释性缺口。以前的工作集中在为特定模型（例如，神经网络）或数据类型（例如，图像）提供概念，并尝试从已经训练的网络中提取概念或通过多任务学习训练可自我解释的模型。在这项工作中，我们提出了ConceptDistil，一种使用知识蒸馏将概念解释带到任何黑盒分类器的方法。ConceptDistil被分解为两个组件：（1）预测给定实例中存在哪些领域概念的概念模型，以及（2）尝试使用概念模型预测来模仿黑盒模型的预测的蒸馏模型。我们在真实世界的用例中验证了ConceptDistil，表明它能够优化这两项任务，为任何黑盒模型带来概念解释能力。
2022-05-07 cs.AI cs.LG
GCExplainer: Human-in-the-Loop Concept-based Explanations for Graph Neural Networks
University of Cambridge（剑桥大学）
虽然图神经网络（GNN）已被证明在各种领域的基于图的数据上表现良好，但它们缺乏透明度和问责制，这阻碍了信任，从而阻碍了在高风险和安全关键场景中部署此类模型。尽管最近的研究已经研究了解释GNN的方法，但这些方法仅限于单实例解释，也称为局部解释。出于提供全局解释的目的，我们采用了众所周知的基于概念的自动解释方法（Ghorbani等人，2019）到GNN节点和图分类，并提出GCExplainer。GCExplainer是一种无监督的方法，用于事后发现和提取GNN的全局基于概念的解释，它将人类置于循环中。我们在五个节点分类数据集和两个图分类数据集上展示了我们的技术的成功，表明我们能够通过将人类置于循环中来发现和提取高质量的概念表示。我们在整个数据集上实现了最大完整性得分1和平均完整性得分0.753。最后，我们表明，与GNNExplainer产生的最先进的解释相比，基于概念的解释提供了对数据集和GNN模型的更好的见解（Ying等人，2019年）。
2021-07-25 cs.LG
Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models
Rutgers University（罗格斯大学）
针对视觉Transformer事后可信解释方法不足的问题，提出含五项评判标准的变分贝叶斯解释框架PACE，通过建模图像块嵌入分布提供多层级概念解释，实验表明其性能优于现有最优方法。
2024-10-31 cs.AI cs.CV cs.LG
Revealing Hidden Context Bias in Segmentation and Object Detection through Concept-specific Explanations
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
将传统的事后归因方法应用于分割或目标检测预测器仅提供有限的见解，因为在输入级获得的特征归因图通常类似于模型的预测分割掩模或限界框。在这项工作中，我们解决了需要更多的信息解释这些预测提出的事后eXplainable人工智能方法L-CRP生成的解释，自动识别和可视化相关的概念学习，识别和使用的模型在推理过程中，以及精确地定位它们在输入空间。因此，我们的方法超越了奇异输入级属性图，并且作为基于最近发布的概念相关传播技术的方法，有效地适用于分割和目标检测中最先进的黑盒架构，例如DeepLabV 3+和YOLOv 6等。我们通过定量比较不同的概念属性方法来验证我们提出的技术的可信度，并讨论了对CityScapes，Pascal VOC和MS COCO 2017等流行数据集的解释复杂度的影响。精确定位和传达概念的能力用于揭示和验证背景特征的使用，从而突出模型可能的偏差。
2022-11-21 cs.AI cs.CV cs.LG
Concept Activation Regions: A Generalized Framework For Concept-Based Explanations
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）；UCLA（加州大学洛杉矶分校）
基于概念的解释允许通过用户指定的概念的镜头来理解深度神经网络（DNN）的预测。现有的方法假设说明概念的示例被映射在DNN的潜在空间的固定方向上。当这成立时，概念可以由指向该方向的概念激活向量（CAV）表示。在这项工作中，我们建议通过允许概念示例分散在DNN潜在空间中的不同集群来放松这一假设。然后，每个概念由DNN的潜在空间的一个区域表示，该区域包括这些聚类，我们称之为概念激活区域（CAR）。为了形式化这个想法，我们引入了一个扩展的CAV形式主义，是基于核技巧和支持向量分类器。该CAR形式主义产生基于全局概念的解释和基于局部概念的特征重要性。我们证明了用径向核建立的CAR解释在潜在空间等距下是不变的。通过这种方式，CAR将相同的解释分配给具有相同几何形状的潜在空间。我们进一步实证证明，CAR提供（1）更准确地描述概念如何分散在DNN的潜在空间中;（2）更接近人类概念注释的全局解释和（3）基于概念的特征重要性，使概念相互之间有意义地联系起来。最后，我们使用CAR来证明DNN可以自主地重新发现已知的科学概念，例如前列腺癌分级系统。
2022-09-29 cs.AI cs.LG
Statistically Significant Concept-based Explanation of Image Classifiers via Model Knockoffs
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）；Tokyo Institute of Technology（东京工业大学）
针对图像分类器概念解释中的假阳性问题，提出用深度学习学习概念并借助 Knockoff 样本在 FDR 控制下筛选统计显著概念，实验验证其可提升模型可信度。
2023-05-31 cs.AI cs.CV cs.LG
An Evaluation of Explanation Methods for Black-Box Detectors of Machine-Generated Text
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学系）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院）；Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学文学与文化研究系）
本文评估了三种解释方法在机器生成文本检测器中的表现，发现SHAP在忠实度和稳定性方面最佳，而LIME在用户表现上最差。
2026-01-20 cs.CL cs.LG
Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
深度学习中的大多数解释方法都将模型预测的重要性估计映射回原始输入空间。这些“视觉”解释往往是不够的，因为模型的实际概念仍然难以捉摸。此外，如果不深入了解模型的语义概念，就很难（如果不是不可能的话）通过解释来干预模型的行为，这称为解释性交互学习。因此，我们建议干预神经符号场景表示，这允许人们在语义层面上修改模型，例如“永远不要专注于颜色来做出决定”。我们编制了一个新的混杂视觉场景数据集，CLEVR-Hans数据集，捕捉不同对象的复杂组成。我们对CLEVR-Hans的实验结果表明，我们的语义解释，即在每个对象水平上的成分解释，可以识别仅使用“视觉”解释无法识别的混淆因素。更重要的是，在这个语义层面上的反馈使得有可能从关注这些因素的角度来修改模型。
2021-06-21 cs.AI cs.LG
Personalized explanation in machine learning: A conceptualization
University of Liechtenstein（列支敦士登大学）
在机器学习和相关领域（如人工智能）中的解释旨在使机器学习模型及其决策为人类所理解。现有的工作表明，个性化的解释可能有助于提高可理解性。在这项工作中，我们得到了一个概念化的个性化解释的定义和结构的问题的基础上，以前的工作机器学习解释，个性化（在机器学习）和概念和技术，如隐私和知识的启发。我们对个性化过程中使用的解释数据进行分类，并描述收集这些数据的方法。我们还确定了三个关键的解释属性，是与个性化：复杂性，决策信息和演示。我们还通过引入额外的必要条件和措施来量化个性化解释的质量，从而加强现有的解释工作。
2019-04-26 cs.LG stat.ML
Model Based Explanations of Concept Drift
Bielefeld University（比勒费尔德大学）
概念漂移的概念是指产生观测数据的分布随时间变化的现象。如果存在漂移，机器学习模型可能会变得不准确，需要调整。虽然确实存在检测概念漂移或在存在观察到的漂移的情况下调整模型的方法，但解释漂移的问题，即，以人类可理解的方式描述分布的潜在复杂和高维变化，迄今为止几乎没有被考虑。这个问题是重要的，因为它能够检查的最突出的特点，如何和在漂移表现自己。因此，它使人类能够理解这种变化，并增加对终身学习模式的接受。在本文中，我们提出了一种新的技术来表征概念漂移的空间特征的特性变化的基础上，各种解释技术。为此，我们提出了一种方法来减少概念漂移的解释，以适当的方式提取有关漂移的相关信息训练的模型的解释。这样就有了各种各样的解释方案。这样，就可以为当前的漂移解释问题选择一种合适的方法。我们概述了这种方法的潜力，并在几个例子中证明了它的实用性。
2023-03-16 cs.LG
Sanity Checks for Saliency Methods Explaining Object Detectors
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；University of Bremen（不来梅大学）；University of Groningen（格罗宁根大学）
本文将显著性方法的模型与数据随机化健全性检查扩展到目标检测器，发现可解释性主要取决于检测器本身，且 EfficientDet-D0 表现最佳。
2023-06-04 cs.CV cs.LG
When are Post-hoc Conceptual Explanations Identifiable?
University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）
本文研究无人工标签时事后概念解释的可辨识性，联系 PCA/ICA 并提出两种利用图像生成函数组合性的相关概念发现方法，在数百个模型上实现最高 29% 的真实值对齐提升。
2023-06-06 cs.AI cs.CV cs.LG
VAE-CE: Visual Contrastive Explanation using Disentangled VAEs
Eindhoven University of Technology（埃因霍温理工大学）
分类模型的目标是为数据分配正确的标签。在大多数情况下，这些数据并没有被给定的标签集完全描述。领域中通常存在一组丰富的有意义的概念，可以更精确地描述每个数据点。这些概念对于解释模型的分类也非常有用。在本文中，我们提出了一个模型，表示为变分自编码器为基础的对比解释（VAE-CE），表示数据与高层次的概念，并使用这种表示的分类和生成的解释。解释以对比的方式产生，传达为什么数据点被分配给一个类而不是另一个类。解释被指定为输入数据点的一组转换，每一步都描述了一个概念向对比类的变化。我们使用一个解开的VAE，扩展与一个新的监督方法解开个别尺寸的模型。对合成数据和MNIST的分析表明，解纠缠和解释的方法提供了优于其他方法的优点。
2021-08-20 cs.AI cs.CV cs.LG
Best of both worlds: local and global explanations with human-understandable concepts
Google Research（谷歌研究院）；Google Health（谷歌健康）；DeepMind（深度思维）
可解释性技术旨在提供模型决策背后的基本原理，通常通过解释个体预测（局部解释，例如“为什么这个患者被诊断患有这种疾病”）或一类预测（全局解释，例如“为什么这组患者通常被诊断患有这种疾病”）。虽然有许多方法专注于其中之一，但很少有框架能够以一致的方式提供局部和全局解释。在这项工作中，我们结合了两个强大的现有技术，一个本地（集成代理，IG）和一个全球（测试与概念激活矢量），提供本地和全球的概念为基础的解释。我们首先使用两个具有已知基础事实的合成数据集来检查我们的想法，并进一步使用基准自然图像数据集进行演示。我们使用各种概念，目标类，模型架构和IG参数（例如基线）来测试我们的方法。我们表明，我们的方法提高了全球的解释香草TCAV相比，地面真理，并提供了有用的本地见解。最后，用户研究表明，该方法的有用性相比，没有或全球的解释。我们希望我们的工作为在许多现有的本地和全球方法之间建立桥梁提供了一个步骤，以获得两个世界的最佳效果。
2022-01-31 cs.LG
Concept-Based Abductive and Contrastive Explanations for Behaviors of Vision Models
Colorado State University（科罗拉多州立大学）；KBR Inc.（KBR公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于概念的归纳与对比解释方法，用于解释视觉模型的行为，通过概念擦除过程建立因果关系，实现对单张图像和图像集合的预测理解。
2026-05-07 cs.AI cs.LG
Causal Explanation of Concept Drift -- A Truly Actionable Approach
Machine Learning Group, Bielefeld University（机器学习组，比勒菲尔德大学）
本研究提出一种概念漂移的因果解释框架，通过分离受漂移影响的因果相关特征，提高了模型解释的可操作性，支持针对性干预以避免模型故障。
2025-10-13 cs.LG
Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
University of Tsukuba（筑波大学）；Riken AIP（日本理化学研究所革新智能综合研究中心）
我们的目的是解释一个黑盒分类器的形式：“数据X被归类为类Y，因为X \textit{has} A，B和\textit{does not have} C”，其中A，B和C是高级概念。挑战在于，我们必须以无监督的方式发现一组概念，即，A、B和C，这对解释分类器很有用。我们首先介绍了一个结构生成模型，适合表达和发现这样的概念。然后，我们提出了一个学习过程，同时学习的数据分布，并鼓励某些概念有一个很大的因果关系的分类器输出的影响。我们的方法还允许用户的先验知识，以诱导高的概念的可解释性容易集成。使用多个数据集，我们证明了我们的方法可以发现有用的二进制概念进行解释。
2021-09-09 cs.LG
On Completeness-aware Concept-Based Explanations in Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）
人类对高层决策的解释通常用决策所基于的关键概念来表达，本文研究了深度神经网络（DNN）基于概念的可解释性。首先，我们定义了完整性的概念，它量化了一组特定的概念在解释模型的预测行为时的充分程度，假设完整的概念分数是模型预测的充分统计。接下来，我们提出了一个概念发现方法，旨在推断出一套完整的概念，另外鼓励被解释，这解决了现有的方法对概念解释的局限性。为了定义每个发现的概念的重要性得分，我们适应博弈论的概念，聚集在集，并提出ConceptSHAP。通过建议的指标和用户研究，在具有先验已知概念解释的合成数据集上，以及在现实世界的图像和语言数据集上，我们验证了我们的方法在找到解释决策和可解释的概念方面的有效性。(The代码发布于https：//github.com/chihkuanyeh/concept_exp）
2022-02-07 cs.LG stat.ML
Debiasing Concept-based Explanations with Causal Analysis
Amazon（亚马逊）
基于概念的解释方法是一种流行的模型解释工具，因为它表达了模型的预测方面的概念，是有意义的领域专家的原因。在这项工作中，我们研究的问题的概念与混淆信息的功能。我们提出了一个新的因果先验图建模未观察到的变量的影响和方法，以消除干扰信息和噪声的影响，使用两阶段回归技术借用工具变量文献。我们还模型的概念集的完整性，并表明，我们的去偏置方法的工作原理时，概念不完整。我们的合成和真实世界的实验证明了我们的方法在消除偏见和提高概念的排名方面的成功，因为它们对解释预测的贡献。
2021-05-22 cs.LG stat.ML
Measuring the (Un)Faithfulness of Concept-Based Explanations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了基于概念的解释方法的忠实性，提出Surrogate Faithfulness方法以评估其忠实度，发现许多视觉上吸引人的U-CBEMs并不忠实。
2026-03-27 cs.AI cs.CV cs.LG
Digital Histopathology with Graph Neural Networks: Concepts and Explanations for Clinicians
本研究结合GCExplainer与逻辑解释网络，为图神经网络提供全局解释，通过乳腺癌H&E切片上的全景分割和癌症预测流程，展示了可解释且可信赖的AI工具。
2023-12-28 cs.CV cs.LG eess.IV
Meaningfully Debugging Model Mistakes using Conceptual Counterfactual Explanations
Stanford University（斯坦福大学）
理解和解释训练模型所犯的错误对于许多机器学习目标至关重要，例如提高鲁棒性，解决概念漂移和减轻偏见。然而，这通常是一个特别的过程，涉及手动查看模型在许多测试样本上的错误，并猜测这些错误预测的根本原因。在本文中，我们提出了一种系统的方法，概念反事实解释（CCE），解释了为什么分类器在人类可理解的概念方面对特定的测试样本犯了错误（例如，由于模糊的条纹，这匹斑马被误分类为狗）。我们基于两个先前的想法：反事实解释和概念激活向量，并验证了我们的方法对众所周知的预训练模型，表明它解释了模型的错误有意义。此外，对于在具有虚假相关性的数据上训练的新模型，CCE准确地将虚假相关性识别为来自单个错误分类的测试样本的模型错误的原因。在两个具有挑战性的医疗应用中，CCE产生了有用的见解，并得到了临床医生的证实，这些见解涉及模型在现实世界中所犯的偏见和错误。
2022-06-14 cs.LG
Open Vocabulary Compositional Explanations for Neuron Alignment
Department of Computer Science and Engineering University of California, Santa Cruz（计算机科学与工程系加州大学圣克ruz分校）
本文提出了一种开放词汇组合解释框架，通过语义分割生成掩码来实现神经元对齐，提升解释的灵活性和适用性。
2025-11-25 cs.AI cs.CV cs.LG
Explaining Hypergraph Neural Networks: From Local Explanations to Global Concepts
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）
本文提出首个模型无关的事后解释器SHypX，通过局部输入归因与全局无监督概念提取，为超图神经网络同时提供局部和全局解释，在保真度上平均比基线提升25个百分点。
2024-10-10 cs.LG
Estimation of Concept Explanations Should be Uncertainty Aware
University of Cambridge（剑桥大学）；Alan Turing Institute（阿兰·图灵研究所）
本文针对概念解释的噪声问题，提出一种不确定性感知的贝叶斯估计方法，通过理论分析和实验证明该方法对训练选择鲁棒、标签高效，并能在数千概念中恢复相关概念，从而提升模型解释的可靠性。
2024-04-05 cs.AI cs.CL cs.LG
DiConStruct: Causal Concept-based Explanations through Black-Box Distillation
Feedzai；Instituto de Telecomunicações, ELLIS Unit Lisbon, Instituto Superior Técnico, ULisboa, Portugal（葡萄牙里斯本大学高等技术学院，里斯本ELLIS单元，电信研究所）
针对现有局部概念可解释性方法无法生成因果解释、需权衡可解释性与预测性能的问题，提出基于黑盒蒸馏的因果概念解释方法DiConStruct，可在高效生成含概念因果关系的解释的同时，以更高保真度逼近黑盒模型预测。
2024-01-26 cs.AI cs.HC cs.LG
Enriching Visual with Verbal Explanations for Relational Concepts -- Combining LIME with Aleph
University of Bamberg（班贝格大学）
随着深度学习应用越来越多，对解释的需求也越来越大。视觉解释提供了关于图像的哪些部分与分类器的决策相关的信息。然而，突出显示图像部分（例如，眼睛）不能捕获类的特定特征值的相关性（例如，眼睛睁得大大的）。此外，突出显示不能传达分类是仅仅取决于部分的存在还是取决于它们之间的特定空间关系。因此，我们提出了一种方法，能够解释一个分类器的决策方面的逻辑规则获得的归纳逻辑程序设计系统Aleph。Aleph所需的示例和背景知识基于解释生成方法LIME。我们展示了我们的方法与图像的blocksworld域。首先，我们表明，我们的方法是能够确定一个单一的关系作为重要的解释性结构。之后，我们提出了更复杂的塔的关系概念。最后，我们展示了如何生成的关系规则可以显式地与输入图像相关，从而产生更丰富的解释。
2019-10-04 cs.AI cs.CV cs.LG
ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks
ConceptFlow通过概念注意力和概念通路追踪CNN中概念跨层传播与演化，模拟模型内部思维路径，从而提供更忠实且人类可对齐的层级化细粒度解释。
2025-09-16 cs.AI cs.LG
When Are Concept Bottleneck Model Explanations Faithful and Compact?
University of Trento（特伦托大学）；University of Copenhagen（哥本哈根大学）；University of Edinburgh（爱丁堡大学）
本文针对概念瓶颈模型，论证忠实解释需包含全部概念，损害紧凑性，并提出概率建模与组套索稀疏化策略，以促进紧凑且忠实的解释，警示天真的可解释性主张。
2026-10-06 cs.AI cs.LG stat.ML
Cause and Effect: Hierarchical Concept-based Explanation of Neural Networks
在许多情况下，人类决策是基于一些高级概念来解释的。在这项工作中，我们采取了一个步骤，在神经网络的可解释性，通过检查他们的内部表示或神经元的激活对概念。一个概念的特征在于一组具有共同特定特征的样本。我们提出了一个框架来检查存在的因果关系的概念（或其否定）和任务类。虽然以前的方法集中在一个概念的重要性，一个任务类，我们更进一步，并引入四个措施，定量确定因果关系的顺序。此外，我们提出了一种方法，用于构建一个层次的概念的形式，基于概念的决策树，它可以揭示如何在一个神经网络内的各种概念相互作用，预测输出类。通过实验，我们证明了所提出的方法在解释概念和神经网络的预测行为之间的因果关系，以及通过构建概念层次来确定不同概念之间的相互作用的有效性。
2021-11-06 cs.LG
State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
本文提出State2Explanation框架，通过联合嵌入状态-动作对与概念解释，在训练时指导奖励塑形以加速智能体学习，在部署时提供可理解解释以提升用户任务表现，并在Connect 4和Lunar Lander中验证了双重益处。
2023-11-10 cs.AI cs.LG
Counterfactual Explanations Under Concept Drift
Wrocław University of Science and Technology（沃拉什大学科学与技术学院）；Poznań University of Technology（波兹南技术大学）
本文研究了在数据不断变化的环境中，如何维护反事实解释的有效性，提出了一种轻量级的更新方案以修复现有解释，保持其与原始实例的接近性。
2026-05-17 cs.LG
Hide and Seek: HIDE Concepts to SEEK explanations for black box models
Arizona State University（亚利桑那州立大学）
该研究针对黑箱视觉模型的解释问题，提出无需模型权重或概念标注数据集的HnS方法，在CelebA等数据集上验证其归因准确性，可应用于图像字幕等现有方法无法适用的任务。
2026-10-15 cs.AI cs.CV cs.LG
