Token Transformation Matters: Towards Faithful Post-hoc Explanation for Vision Transformer
Illinois Institute of Technology（伊利诺伊理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对现有 Vision Transformer 解释方法忽略 token 转换信息的问题，提出事后解释方法 TokenTM，通过量化 token 转换效果并结合注意力权重，在分割和扰动测试中展现出优越性。
2024-03-21 cs.CV
Comparison of attention models and post-hoc explanation methods for embryo stage identification: a case study
Nantes Université（南特大学）；Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Nantes University Hospital（南特大学医院）；Inserm（法国国家健康与医学研究院）
开发基于人工智能的体外受精（IVF）解决方案的一个重要限制是大多数最先进模型的黑盒性质，这是由于深度学习架构的复杂性，这会引起潜在的偏见和公平性问题。对可解释的人工智能的需求不仅在试管婴儿领域，而且在一般的深度学习社区都有所增加。这已经开始在文献中的趋势，作者专注于设计客观的指标，以评估通用的解释方法。在本文中，我们研究的行为，最近提出的客观忠诚度度量应用于胚胎阶段识别的问题。我们使用度量标准对注意力模型和事后方法进行了基准测试，并进一步实证表明：（1）度量标准对模型排名的总体一致性较低;（2）根据度量方法，事后方法或注意力模型都受到青睐。最后，我们对定义忠诚的困难和理解其与所青睐的方法类型的关系的必要性进行了一般性的评论。
2022-05-13 cs.CV
How to Probe: Simple Yet Effective Techniques for Improving Post-hoc Explanations
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Institute of Science and Technology Austria（奥地利科学技术研究所）；Kyutai
该研究挑战了事后解释独立于模型训练的假设，发现预训练模型分类层的训练细节对解释质量影响巨大，并提出简单有效的分类层调整方法以显著提升解释质量。
2025-03-01 cs.CV
EPIC: Explanation of Pretrained Image Classification Networks via Prototype
Jagiellonian University（雅盖隆大学）；University of Information Technology and Management in Rzeszów（里兹诺信息科技与管理大学）
本研究提出事后可解释方法EPIC，无需修改预训练图像分类模型架构即可提供基于原型的直观解释，是首个复现固有可解释模型核心解释能力的同类方法，在多类基准数据集上验证了其生成高质量解释的有效性。
2025-05-19 cs.CV
PiPS: Post-Hoc Prototypical Explanations for Interpretable Semantic Segmentation
Jagiellonian University（雅盖隆大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；IDEAS Research Institute（IDEAS 研究所）
PiPS提出首个完全事后原型解释方法，无需修改或微调即可为任意预训练语义分割模型生成直观、空间局部化的解释，并保留100%原始预测性能。
2026-09-16 cs.CV
Post-hoc Self-explanation of CNNs
本文提出通过k-means聚类改进CNN的自解释能力，利用B4层和中间特征激活生成概念解释图，验证了浅层特征在语义保真与预测性能间的权衡。
2026-03-30 cs.CV stat.ML
A Framework for Learning Ante-hoc Explainable Models via Concepts
IIT Hyderabad（印度理工学院海得拉巴分校）；IBM Research（IBM研究院）
自解释深度模型被设计为在训练期间隐式地学习基于潜在概念的解释，这消除了对任何事后解释生成技术的需求。在这项工作中，我们提出了一个这样的模型，它在任何基本网络的顶部附加一个解释生成模块，并联合训练整个模块，显示出高预测性能，并生成有意义的概念解释。我们的训练策略适用于无监督概念学习，与基线方法相比，参数空间要求要少得多。我们提出的模型还提供了利用概念的自我监督来提取更好的解释。然而，与最近提出的基于概念的可解释模型相比，通过完整的概念监督，我们实现了最佳的预测性能。我们报告的定性和定量结果与我们的方法，这表明更好的性能比最近提出的基于概念的可解释性方法。我们报告了两个数据集的详尽结果，没有地面实况概念，即，CIFAR 10，ImageNet和两个具有地面真实概念的数据集，即，AwA 2，CUB-200，以显示我们的方法对这两种情况的有效性。据我们所知，我们是第一个用大规模数据集（如ImageNet）显示结果的事前解释生成方法。
2021-11-30 cs.CV cs.LG
Multi-Depth Concept Extraction for Post-Hoc Vision Encoder Explanation
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Linköping University（利乌波堡大学）
提出NAVE方法，通过聚类编码器多深度特征激活生成可解释分割图，无需微调或架构修改，定量证明其概念与输入语义对齐并可用于下游任务。
2026-06-23 cs.CV cs.LG
Discriminative Feature Attributions: Bridging Post Hoc Explainability and Inherent Interpretability
Harvard University（哈佛大学）
针对黑盒模型事后特征归因因对干扰特征擦除缺乏鲁棒性而不忠实的问题，提出DiET方法使模型对干扰特征擦除具有鲁棒性，结合了事后解释的易用性与内在可解释模型的忠实度。
2024-02-15 cs.CV cs.LG
Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification
Politecnico di Milano（米兰理工大学）
提出一种事后可解释性方法，通过逐层特征显著性图、泛化Grad-CAM权重及Sentence-BERT处理的众包文本标签，完整解释CNN特征提取过程并支持全局解释。
2024-05-06 cs.CV cs.LG
Segmentation and Smoothing Affect Explanation Quality More Than the Choice of Perturbation-based XAI Method for Image Explanations
Dept. of Computing Science Umeå University, Sweden（计算机科学系乌梅学院，瑞典）
本研究以RISE为基准，评估扰动型XAI方法的参数组合，发现分割和逐像素归因对解释质量影响显著，归因计算影响甚微，为优化图像解释方法提供了方向。
2025-11-17 cs.CV
VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；University of Rochester（罗切斯特大学）
现有的视觉问答（VQA）研究大多致力于提高预测答案的准确性，而忽略了对答案的解释。我们认为，答案的解释是相同的，甚至更重要的答案本身相比，因为它使问答过程更容易理解和可追溯。为此，我们提出了一个新的任务VQA-E（VQA与解释），其中的计算模型需要产生一个解释与预测的答案。我们首先构建一个新的数据集，然后在多任务学习架构中构建VQA-E问题。我们的VQA-E数据集是通过智能地利用可用的字幕自动从VQA v2数据集派生出来的。我们已经进行了用户研究，以验证我们的方法合成的解释的质量。我们定量地表明，额外的监督，从解释不仅可以产生有见地的文本句子，以证明答案，但也提高了答案预测的性能。我们的模型在VQA v2数据集上明显优于最先进的方法。
2018-08-25 cs.CV
When are Post-hoc Conceptual Explanations Identifiable?
University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）
本文研究无人工标签时事后概念解释的可辨识性，联系 PCA/ICA 并提出两种利用图像生成函数组合性的相关概念发现方法，在数百个模型上实现最高 29% 的真实值对齐提升。
2023-06-06 cs.AI cs.CV cs.LG
Contrastive Pretraining for Visual Concept Explanations of Socioeconomic Outcomes
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）
本文研究任务特定对比预训练对卫星图像社会经济预测模型概念可解释性的影响，证明其可形成按社会经济结果连续排序的潜在空间，并为城市研究提供新洞见。
2024-06-13 cs.CV
Post-hoc and manifold explanations analysis of facial expression data based on deep learning
Nankai University（南开大学）
本文利用 VGG16 模型研究神经网络对面部表情数据的处理与存储，从非欧几里得空间建立流形可视化解释，揭示深度学习在理解人类情绪和认知过程中的潜力，为增强 AI 可解释性提供新见解。
2024-04-29 cs.AI cs.CV
Do Vision & Language Decoders use Images and Text equally? How Self-consistent are their Explanations?
Computational Linguistics Department（计算语言学系）；Heidelberg University（海德堡大学）
研究VLM解码器在生成答案与解释时对图文模态的依赖差异及自洽性，发现文本贡献更重要但图像对解释生成作用更大，并提供了其在VALSE基准上的最新评测。
2025-05-01 cs.AI cs.CL cs.CV
Rad4XCNN: a new agnostic method for post-hoc global explanation of CNN-derived features by means of radiomics
University of Palermo（巴勒莫大学）；National Research Council（国家研究委员会）
本文提出 Rad4XCNN，通过放射组学为 CNN 特征赋予可理解含义，在乳腺癌超声分类中实现不牺牲精度的全局事后解释。
2025-01-08 cs.AI cs.CV cs.LG
CoRGI: Verified Chain-of-Thought Reasoning with Post-hoc Visual Grounding
CoRGI通过事后将链式思维逐步锚定到视觉证据并过滤无支撑声明，减少VLM幻觉，在五个基准上提升准确性与解释忠实度。
2025-10-14 cs.AI cs.CV
EDDA: Explanation-driven Data Augmentation to Improve Explanation Faithfulness
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
近年来，已经看到了一系列的方法，用于事后解释的图像分类器的预测。然而，这些事后解释可能并不总是忠实于分类器预测，这在尝试基于这些解释调试模型时构成了重大挑战。为此，我们寻求一种方法，可以提高模型预测的解释方法，不需要地面实况解释的忠实性。我们通过一种新的解释驱动的数据增强（EDDA）技术来实现这一点，该技术使用从模型解释中推断出的遮挡来增强训练数据;这是基于一个简单的激励原则，即解释器\emph{if}忠实于模型\emph{then}遮挡模型预测的显著区域应降低模型预测的置信度，而遮挡非显著区域不应改变预测。为了验证所提出的增强方法有可能提高忠诚度，我们使用各种数据集和分类模型来评估EDDA。我们的经验表明，我们的方法导致显着增加的忠诚度，这可以促进更好的调试和成功部署的图像分类模型在现实世界中的应用。
2021-09-24 cs.AI cs.CV cs.LG
Robustness of Visual Explanations to Common Data Augmentation
Technical University of Denmark（丹麦技术大学）
研究事后视觉解释对常见数据增强变换的鲁棒性，发现不同可解释性方法的稳定性存在显著差异，且解释的鲁棒性通常低于分类性能。
2023-04-18 cs.CV cs.LG
Enhancing Counterfactual Image Generation Using Mahalanobis Distance with Distribution Preferences in Feature Space
Jilin University（吉林大学）
本文提出一种基于马氏距离与分布偏好的新方法，通过信息融合技术在黑盒模型特征空间计算特征重要性并生成图像反事实解释，实验证明其在像素和特征空间相似度上优于基线。
2024-05-31 cs.CV cs.LG
When Superpixels Fail on Documents: A Study of Segmentation for LIME Explanations
L3i, University of La Rochelle（拉罗谢尔大学L3i研究所）；Itesoft（Itesoft公司）
本研究针对文档图像分类中的LIME解释，发现标准超像素分割与文档结构不匹配，提出文档感知分割（基于OCR边界框和网格）能产生更稳定、更忠实的解释，并暴露识别码捷径偏差，强调分割应作为解释方法的一部分。
2026-09-09 cs.AI cs.CV
Causality for Inherently Explainable Transformers: CAT-XPLAIN
University of Kentucky（肯塔基大学）；University of Missouri（密苏里大学）
已经开发了几种事后解释方法来解释预先训练的黑盒神经网络。然而，在设计内在可解释的神经网络的研究工作中仍然存在差距。在本文中，我们利用最近提出的实例明智的事后因果解释方法，使现有的Transformer架构内在的可解释性。一旦经过训练，我们的模型就以给定实例的输入空间中的顶部$k$区域的形式提供解释，从而有助于其决策。我们使用三个图像数据集：MNIST，FMNIST和CIFAR的二进制分类任务评估我们的方法。我们的研究结果表明，与基于cavity的事后解释模型相比，我们固有的可解释模型实现了更好的可解释性结果，同时消除了训练单独的解释模型的需要。我们的代码可在https://github.com/mvrl/CAT-XPLAIN上获得。
2022-06-29 cs.AI cs.CV cs.LG
Enhancing Adversarial Example Detection Through Model Explanation
College of Information Sciences and Technology（信息科学与技术学院）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文复现并分析基于模型解释检测对抗样本的 AmI 方法，指出其性能受超参数、操作系统和深度学习框架影响，实际适用性受限，并呼吁更鲁棒的防御与全面评估框架。
2025-03-12 cs.CR cs.CV cs.LG
Post-Hoc Explainability of BI-RADS Descriptors in a Multi-task Framework for Breast Cancer Detection and Segmentation
University of Idaho（爱达荷大学）
针对乳腺CAD系统可解释性不足的问题，提出MT-BI-RADS多任务可解释深度学习方法，通过输出BI-RADS分类、同步肿瘤分割、基于Shapley Values的描述符量化贡献三层解释，提升乳腺超声肿瘤良恶性预测的可信度。
2023-08-27 cs.CV eess.IV
Beyond Pixels: Enhancing LIME with Hierarchical Features and Segmentation Foundation Models
Clausthal University of Technology（Clausthal 技术大学）；University of Mannheim（曼海姆大学）
本文提出DSEG-LIME框架，通过数据驱动分割和用户可控的层次化粒度改进LIME解释质量，在ImageNet模型上提升多项XAI指标及与人类概念的一致性。
2025-09-19 cs.AI cs.CV
eXIAA: eXplainable Injections for Adversarial Attack
Department of Mechanical Engineering National University of Singapore（机械工程系国立新加坡大学）
针对事后可解释人工智能（XAI）提出新型黑盒模型无关对抗攻击eXIAA，无需访问模型或权重，单步修改解释且保持预测类别不变，暴露XAI可靠性漏洞，在ResNet-18、ViT-B16上验证有效。
2025-11-13 cs.AI cs.CV cs.LG
Revealing Hidden Context Bias in Segmentation and Object Detection through Concept-specific Explanations
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
将传统的事后归因方法应用于分割或目标检测预测器仅提供有限的见解，因为在输入级获得的特征归因图通常类似于模型的预测分割掩模或限界框。在这项工作中，我们解决了需要更多的信息解释这些预测提出的事后eXplainable人工智能方法L-CRP生成的解释，自动识别和可视化相关的概念学习，识别和使用的模型在推理过程中，以及精确地定位它们在输入空间。因此，我们的方法超越了奇异输入级属性图，并且作为基于最近发布的概念相关传播技术的方法，有效地适用于分割和目标检测中最先进的黑盒架构，例如DeepLabV 3+和YOLOv 6等。我们通过定量比较不同的概念属性方法来验证我们提出的技术的可信度，并讨论了对CityScapes，Pascal VOC和MS COCO 2017等流行数据集的解释复杂度的影响。精确定位和传达概念的能力用于揭示和验证背景特征的使用，从而突出模型可能的偏差。
2022-11-21 cs.AI cs.CV cs.LG
Right for the Wrong Reason: Can Interpretable ML Techniques Detect Spurious Correlations?
University of Tübingen（图宾根大学）
本文提出严格评估策略，比较多种可解释机器学习方法在胸部X光诊断任务中检测虚假相关性的能力，发现SHAP和Attri-Net表现最佳，可可靠识别错误模型行为。
2023-08-08 cs.AI cs.CV cs.LG
Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification
Politecnico di Milano（米兰理工大学）
提出Visual-TCAV框架，结合概念激活向量和积分梯度，生成类无关显著性图并估计概念归因，在受控实验中比TCAV更忠实于真实解释。
2026-06-09 cs.AI cs.CV cs.LG
