TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释，以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时，设计有效和人性化的技术至关重要。反事实符合人类的思维方式，并提供人性化的解释，其相应的解释算法是指对给定数据点进行策略性的交替，使其模型输出“反事实”，即预测被还原。在本文中，我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法，可以给出一个反事实的解释，通过显示组成的反事实的特征图，使用自顶向下的层搜索算法（TDLS）。我们已经证明，我们的TDLS算法可以提供更灵活的反事实的视觉解释，在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后，我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
EDCT-Bench: Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing
Mercedes-Benz Research & Development North America（梅赛德斯-奔驰北美研发中心）
提出EDCT协议与EDCT-Bench基准，通过反事实测试揭示VLM解释与视觉证据的忠实性差距，并证明其生成数据对微调有高价值。
2026-09-17 cs.AI cs.CV
LangXAI: Integrating Large Vision Models for Generating Textual Explanations to Enhance Explainability in Visual Perception Tasks
University of New Brunswick（新不伦瑞克大学）；Quy Nhon AI, FPT Software（FPT软件公司归仁人工智能部门）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Software AG（软件AG公司）
LangXAI 框架将 XAI 与先进视觉模型结合，为分类、检测和分割任务生成文本解释，以高 BERTScore 验证其合理性，从而提升终端用户对视觉 AI 的理解与信任。
2024-02-19 cs.AI cs.CV
MorphoSHAP: Rethinking the Unit of Attribution in Explanation for Deep Visual Models
AMIAD, Pôle Recherche, Palaiseau（AMIAD，研究部，帕莱索）
MorphoSHAP利用形态学形状作为Shapley归因单元，提供空间、文本和全局类级解释，在多个基准上优于现有方法，并通过用户研究验证其易用性。
2026-09-23 cs.AI cs.CV
ST-ABN: Visual Explanation Taking into Account Spatio-temporal Information for Video Recognition
Chubu University（中部大学）
在深度神经网络的推理过程中，人们很难对决策进行解释。视觉解释是解释深度学习决策的一种方法。它通过可视化突出区分区域的注意力地图来分析2D CNN的决策。在视频识别中，视觉解释用于解释决策过程是更加困难的，因为它不仅需要考虑空间信息，而且还需要考虑时间信息，这与静止图像的情况不同。在本文中，我们提出了一种视觉解释方法称为时空注意分支网络（ST-ABN）的视频识别。它使空间和时间信息的视觉解释。ST-ABN在网络推理过程中获得空间和时间信息的重要性，并将其应用于识别处理，以提高识别性能和视觉可解释性。使用Something-Something数据集V1 \& V2的实验结果表明，ST-ABN能够同时考虑空间和时间信息并提高识别性能的视觉解释。
2021-10-29 cs.CV
LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models
AI and Business Analytics, Ewha Womans University（人工智能与商业分析，成均馆大学）
提出基于LLM的视觉解释评估框架，通过渐进式提示工程评估Grad-CAM在面部皮肤病诊断模型中的解释质量，聚焦病变定位和可信度。
2026-07-27 cs.CV
GazeXplain: Learning to Predict Natural Language Explanations of Visual Scanpaths
University of Minnesota（明尼苏达大学）
本文提出 GazeXplain，通过自然语言注视标注、注意-语言解码、语义对齐与跨数据集协同训练，联合预测视觉扫描路径并生成解释。
2024-08-05 cs.CV
Graphical Perception of Saliency-based Model Explanations
Vanderbilt University（范德堡大学）
本文通过对齐评估实验考察可视化设计、对齐类型和显著性图质量如何影响人类对视觉识别模型显著性解释的感知。
2024-06-11 cs.CV
An Integrated Framework for Multi-Granular Explanation of Video Summarization
Information Technologies Institute (ITI), Centre for Research and Technology, Hellas (CERTH)（希腊研究与技术中心信息技术研究所）；Thessaloniki, Greece（希腊塞萨洛尼基）
该研究提出视频摘要多粒度解释集成框架，结合片段级与对象级解释方法，经实验验证可有效识别影响摘要的关键片段和对象并提供全面视觉解释。
2024-05-16 cs.AI cs.CV
Explainable Visual Anomaly Detection via Concept Bottleneck Models
本文提出通过扩展概念瓶颈模型来解决视觉异常检测中解释不足的问题，引入概念框架、评估不同监督方式并提出双分支架构，提升解释性和系统可信度。
2026-10-14 cs.AI cs.CV
Visual Explanations from Hadamard Product in Multimodal Deep Networks
Seoul National University（首尔大学）
对模型学习表征的直观解释有助于理解学习的基本原理。以前的作品中的注意力模型用于在图像或文本上使用它们的学习权重来可视化关注区域，以确认它们的预期机制。Kim et al.（2016）表明，多模态深度网络中的Hadamard产品，以视觉问答任务的联合功能而闻名，隐含地执行视觉输入的注意机制。在这项工作中，我们扩展了他们的工作，以表明多模态深度网络中的Hadamard乘积不仅适用于视觉输入，而且还适用于文本输入，同时使用所提出的基于梯度的可视化技术。阿达玛产品的注意力效果可视化视觉和文本输入通过分析两个输入和输出的阿达玛产品与所提出的方法，并与学习的视觉问答模型的注意力权重进行比较。
2017-12-18 cs.AI cs.CV cs.LG
Where and When: Space-Time Attention for Audio-Visual Explanations
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
解释多模态决策者的决策需要确定来自两种模态的证据。XAI的最新进展为在静态图像上训练的模型提供了解释。然而，当涉及到在动态世界中对多种感觉模态进行建模时，如何揭开复杂多模态模型的神秘动力学仍然有待探索。在这项工作中，我们向前迈出了关键的一步，探索了视听识别的可学习解释。具体来说，我们提出了一种新的时空注意力网络，揭示了在空间和时间上的音频和视频数据的协同动态。我们的模型能够预测视听视频事件，同时通过定位相关视觉线索出现的位置以及预测的声音何时出现在视频中来证明其决策的合理性。我们在三个视听视频事件数据集上对我们的模型进行了基准测试，并与多个最近的多模态表示学习器和内在解释模型进行了广泛的比较。实验结果表明，我们的模型明显优于现有的方法对视听视频事件识别的性能。此外，我们进行了深入的研究，分析我们的模型的可解释性的基础上，通过扰动测试和指向游戏使用人类注释的鲁棒性分析。
2021-05-04 cs.AI cs.CV cs.LG
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University（中部大学）
视觉解释使人们能够理解深度卷积神经网络（CNN）的决策，但它不足以促进性能的提高。在本文中，我们专注于视觉解释的注意图，它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制，显着提高了CNN的性能。在这项工作中，我们提出了注意力分支网络（ABN），它扩展了自上而下的视觉解释模型，通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支，可以适用于多种图像识别任务，并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务，如图像分类，细粒度识别，多个面部属性识别。实验结果表明，ABN在这些图像识别任务上的准确性优于基线模型，同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
Robust Explanations for Visual Question Answering
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在本文中，我们提出了一种方法来获得强大的解释视觉问答（VQA）的答案相关性很好。我们的模型通过提供视觉和文本解释来解释通过VQA模型获得的答案。我们解决的主要挑战是：i）通过当前方法获得的答案和文本解释没有很好的相关性; ii）当前的视觉解释方法没有关注解释答案的正确位置。我们通过使用协作相关模块来解决这两个挑战，该模块确保即使我们不针对基于噪声的攻击进行训练，增强的相关性也确保可以生成正确的解释和答案。我们进一步表明，这也有助于改善生成的视觉和文本解释。相关模块的使用可以被认为是一种验证答案和解释是否一致的鲁棒方法。我们使用VQA-X数据集评估该模型。我们观察到，所提出的方法产生更好的文本和视觉的理由，支持的决定。我们展示了该模型对基于噪声的扰动攻击的鲁棒性，使用相应的视觉和文本解释。详细的实证分析显示。这里我们提供了模型\url{https://github.com/DelTA-Lab-IITK/CCM-WACV}的源代码链接。
2020-01-23 cs.AI cs.CL cs.CV
Saliency-Bench: A Comprehensive Benchmark for Evaluating Visual Explanations
Emory University（埃默里大学）；Stanford University（斯坦福大学）；University of Michigan（密歇根大学）
Saliency-Bench是一个全面的视觉解释评估基准测试，通过多个数据集和标准流程评估显著性方法的解释质量。
2025-03-03 cs.CV
From Visual Explanations to Counterfactual Explanations with Latent Diffusion
Faculty of Information Technology, University of Science, VNU-HCM（越南胡志明市国家大学科学学院信息技术学院）；Vietnam National University, Ho Chi Minh City（越南胡志明市国家大学）
针对视觉反事实解释的特征识别与非鲁棒分类器解释两大挑战，提出结合视觉解释算法与潜在扩散模型的方法，在ImageNet等数据集上性能优于现有方法，可适配任意分类器并生成语义合理的反事实图像。
2025-04-12 cs.CV
DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations
Tübingen AI Center – University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
该研究提出DiG-IN扩散引导框架，通过生成优化分类器目标的图像，开展视觉反事实解释、分类器差异分析与神经元可视化，验证已有结论并发现新失效模式，且VCEs性能更优、通用性更强。
2024-07-12 cs.AI cs.CV cs.LG
Counterfactual Visual Explanations
Georgia Institute of Technology（佐治亚理工学院）；Siemens Corporation（西门子公司）
在这项工作中，我们开发了一种技术来产生反事实的视觉解释。给定视觉系统预测类$c$的“查询”图像$I$，反事实视觉解释标识$I$如何改变，使得系统将输出不同的指定类$c'$。为此，我们选择系统预测为类$c'$的“干扰项”图像$I'$，并识别$I$和$I'$中的空间区域，使得用$I'$中的识别区域替换$I$中的识别区域将推动系统将$I$分类为$c'$。我们将我们的方法应用于多个图像分类数据集，生成定性结果，展示我们的反事实解释的可解释性和判别力。为了探索我们的解释在教人类的有效性，我们提出了细粒度的鸟类分类任务的机器教学实验。我们发现，用户训练区分鸟类票价更好时，除了训练样本获得反事实的解释。
2019-06-11 cs.AI cs.CV cs.LG
Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction
MIT Media Lab（麻省理工学院媒体实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一个随机对照试验的模型在循环回归任务，其目标是测量在何种程度上（1）模型预测的良好解释增加人类的准确性，（2）错误的解释降低人类对模型的信任。我们研究了基于图像的年龄预测任务中基于视觉显着性的解释，人类和学习模型各自都有能力，但不是非常熟练，而且经常不同意。我们的实验设计将模型质量与解释质量分开，并可以比较涉及不同质量水平的各种解释的治疗。我们发现，呈现模型预测可以提高人类的准确性。然而，各种视觉解释无法显著改变人类的准确性或对模型的信任-无论解释是否表征准确的模型，不准确的模型，还是随机生成并独立于输入图像。这些研究结果表明，需要更多的下游决策任务的解释，更好的设计为基础的工具，为用户提供解释，更好的方法来产生解释的评价。
2020-07-23 cs.AI cs.CV cs.HC
Multimodal Explanations: Justifying Decisions and Pointing to the Evidence
UC Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（脸书人工智能研究院）
在许多情况下，既有效又可解释的深度模型是可取的;以前的可解释模型是单峰的，提供基于图像的注意力权重可视化或基于文本的事后理由生成。我们提出了一个多模态的解释方法，并认为这两种模式提供互补的解释优势。我们收集了两个新的数据集来定义和评估这个任务，并提出了一个新的模型，可以提供联合文本的理由生成和注意力可视化。我们的数据集定义了活动识别任务（ACT-X）和视觉问答任务（VQA-X）的分类决策的视觉和文本理由。我们定量地表明，使用文本解释进行训练不仅可以产生更好的文本证明模型，而且可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更有洞察力的情况，反之亦然，支持我们的论点，即多模态解释模型提供了显着的好处比单峰方法。
2018-02-15 cs.AI cs.CL cs.CV
Survey of explainable machine learning with visual and granular methods beyond quasi-explanations
Central Washington University（中央华盛顿大学）；University of Washington Tacoma（华盛顿大学塔科马分校）；Kensci Inc.（Kensci公司）
本文综述了机器学习（ML）可解释性的视觉方法，重点是从ML中占主导地位的准解释转向由颗粒视觉支持的特定领域解释。ML解释基本上是一种人类活动，视觉方法更容易解释。虽然存在高维数据的有效视觉表示，但可解释信息的丢失、遮挡和混乱仍然是一个挑战，这导致了准解释。我们从动机和可解释性的不同定义开始。本文重点讨论了准解释和领域特定解释之间的明确区别，以及可解释和实际解释的ML模型之间的区别，这些对于可解释性领域至关重要。我们讨论了可解释性的基础，概述了视觉可解释性，并提出了几种类型的方法来可视化ML模型。接下来，我们将基于最近引入的通用线坐标（GLC）概念，介绍ML模型的可视化发现方法，重点是可解释的模型。这些方法采取的关键步骤，创造视觉解释，不仅是准解释，但也是特定领域的视觉解释，而这些方法本身是领域不可知的。该文件包括理论上的限制，以保持n-D距离在较低的维度，基于约翰逊-林登施特劳斯引理，点到点和点到图的GLC方法，和现实世界的案例研究的结果。本文还涵盖了理解ML模型的传统视觉方法，包括深度学习和时间序列模型。我们发现，许多这些方法是准解释，需要进一步增强，成为特定领域的解释。最后，我们概述了开放的问题和当前的研究前沿。
2020-09-21 cs.CV cs.LG
Interpreting Vision and Language Generative Models with Semantic Visual Priors
Institute of Linguistics and Language Technology, University of Malta（马耳他大学语言与语言技术研究所）；Orange Innovation（Orange创新公司）；Utrecht University（乌得勒支大学）
针对图像到文本模型逐 token 解释成本高且不全面的问题，本文提出基于 SHAP 并利用视觉骨干语义先验的框架，以更低成本生成更具语义表达力的整体解释。
2023-05-04 cs.AI cs.CL cs.CV
Improving VQA and its Explanations \\ by Comparing Competing Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
最新的最先进的视觉问答（VQA）系统是不透明的黑盒，其仅被训练以适应给定问题和视觉内容的答案分布。因此，这些系统经常走捷径，专注于简单的视觉概念或问题先验。随着问题变得复杂，需要更多的推理和常识知识，这种现象变得更加成问题。为了解决这个问题，我们提出了一个新的框架，使用竞争的答案，以帮助VQA系统选择正确的答案的解释。通过对人类文本解释进行训练，我们的框架为问题和视觉内容构建了更好的表示，然后使用从训练集中生成或检索的解释重新加权答案候选者的置信度。我们在VQA-X数据集上评估了我们的框架，该数据集具有更困难的问题，需要人工解释，在VQA及其解释方面都取得了新的最先进的结果。
2020-06-28 cs.CV
Contrastive Explanations in Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
视觉解释是基于视觉特征的逻辑论证，这些视觉特征证明了神经网络所做的预测是正确的。当前的视觉解释模式回答了$`Why \text{ } P?'$形式的问题。这些$Why$问题在广泛的背景下操作，从而在某些情况下提供不相关的答案。我们建议约束这些$Why$问题的基础上，一些上下文$Q$，使我们的解释回答对比问题的形式$`Why \text{ } P, \text{} rather \text{ } than \text{ } Q?'$。在本文中，我们形式化结构的对比视觉解释的神经网络。我们定义对比度的基础上神经网络，并提出了一种方法来提取定义的对比度。然后，我们将提取的对比度作为现有$`Why \text{ } P?'$技术（特别是Grad-CAM）之上的插件。我们展示了它们在分析大规模识别、细粒度识别、地下地震分析和图像质量评估应用中的网络和数据方面的价值。
2020-08-01 cs.AI cs.CV cs.LG
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
Visual explanations for polyp detection: How medical doctors assess intrinsic versus extrinsic explanations
SimulaMet（西穆拉大都会研究所）；UIT The Artic University of Norway（挪威UIT北极大学）；Sahlgrenska University Hospital-Mölndal（萨尔格伦斯卡大学医院-默恩达尔）；Swedish Medical Group（瑞典医疗集团）；Oslo Metropolitan University（奥斯陆城市大学）；Norwegian University of Science and Technology（挪威科技大学）
近年来，深度学习在计算机视觉的各个领域都取得了巨大的成功，并有可能帮助医生分析疾病和其他异常的视觉内容。然而，深度学习的现状在很大程度上是一个黑匣子，这使得医学专业人士对将这些方法融入临床实践持高度怀疑态度。已经提出了几种方法，以照亮这些黑匣子，但没有共识的意见，医生将消费这些解释。本文介绍了一项研究，询问医生对当前最先进的可解释人工智能方法应用于胃肠道疾病检测用例时的看法。我们比较了两种不同类别的解释方法，内在的和外在的，并衡量他们的意见，这些解释的当前价值。结果表明，内在的解释是首选和解释。
2022-03-23 cs.AI cs.CV cs.LG
Grounding Visual Explanations (Extended Abstract)
EECS, University of California Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Amsterdam Machine Learning Lab, University of Amsterdam（阿姆斯特丹大学机器学习实验室）
生成文本解释的现有模型通过判别项损失函数来执行任务相关性，但是这样的机制仅弱地约束所提到的对象部分实际上存在于图像中。在本文中，提出了一种新的模型，用于生成解释，利用本地化接地的组成短语在生成的解释，以确保图像的相关性。具体来说，我们引入了一个短语评论模型来细化（重新评分/重新排名）生成的候选解释，并采用相对属性启发的排名损失使用“翻转”短语作为负面的例子进行训练。在测试时，我们的短语评论模型将图像和候选解释作为输入，并输出一个分数，表明候选解释在图像中的基础有多好。
2017-11-17 cs.CV
Visual Understanding and Narration: A Deeper Understanding and Explanation of Visual Scenes
U.S. Army Research Laboratory（美国陆军研究实验室）
我们描述了视觉理解和叙述的任务，其中机器人（或代理）生成文本的图像，它收集导航时，它的环境，通过回答开放式的问题，如“发生了什么，或可能发生了什么，在这里？'
2019-09-23 cs.CL cs.CV
e-SNLI-VE: Corrected Visual-Textual Entailment with Natural Language Explanations
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Tuebingen（图宾根大学）
最近提出的SNLI-VE语料库识别视觉文本蕴涵是一个大的，真实世界的数据集细粒度的多模态推理。然而，SNLI-VE已经组装的自动方式（通过组合两个相关数据集的部分）在该语料库的标签中产生了大量的错误。在本文中，我们首先提出了一个数据汇集的努力，以纠正类的最高出错率在SNLI-VE。其次，我们重新评估现有的模型，我们称之为SNLI-VE-2.0的校正语料库，并提供了一个定量的比较，其性能的非校正语料库。第三，我们引入了e-SNLI-VE，它在SNLI-VE-2.0中增加了人类书写的自然语言解释。最后，我们在训练时训练从这些解释中学习的模型，并在测试时输出这些解释。
2021-08-19 cs.AI cs.CL cs.CV
Grounding Visual Explanations
UC Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）
现有的视觉解释生成代理学习流利地证明类预测。然而，他们可能会提到反映强烈类别先验的视觉属性，尽管证据可能实际上并不存在于图像中。这是特别令人担忧的，因为最终这些代理无法与人类用户建立信任。为了克服这一限制，我们提出了一个短语评论模型来改进生成的候选解释，这些解释用翻转的短语来增强，我们在训练时将其用作负面示例。在推理时，我们的短语评论模型将图像和候选解释作为输入，并输出一个分数，指示候选解释在图像中的基础。我们可解释的人工智能智能体能够为另一种预测提供反论据，即反事实，以及证明正确分类决策的解释。我们的模型通过提及图像中的短语来提高CUB数据集上细粒度分类决策的文本解释质量。此外，在FOIL任务中，我们的智能体检测句子中的错误，为不正确的短语提供理由，并比其他模型更好地纠正它。
2018-08-02 cs.CV
A First Look: Towards Explainable TextVQA Models via Visual and Textual Explanations
PARS；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
可解释的深度学习模型在许多情况下是有利的。以前的工作大多提供单峰解释，通过事后的方法，而不是原来的系统设计的一部分。解释机制也会忽略图像中存在的有用文本信息。在本文中，我们提出了MTXNet，这是一种端到端的可训练多模态架构，用于生成多模态解释，其重点是图像中的文本。我们策划了一个新的数据集TextVQA-X，包含地面实况视觉和多参考文本解释，可以在训练和评估过程中利用。然后，我们定量地表明，多模态解释的训练补充了模型性能，并在CIDER评分中超过单峰基线高达7%，在IoU中超过2%。更重要的是，我们证明了多模态解释与人类的解释是一致的，有助于证明模型的决定，并提供有用的见解，以帮助诊断不正确的预测。最后，我们描述了一个现实世界的电子商务应用程序使用所生成的多模态解释。
2021-04-29 cs.AI cs.CL cs.CV
VAE-CE: Visual Contrastive Explanation using Disentangled VAEs
Eindhoven University of Technology（埃因霍温理工大学）
分类模型的目标是为数据分配正确的标签。在大多数情况下，这些数据并没有被给定的标签集完全描述。领域中通常存在一组丰富的有意义的概念，可以更精确地描述每个数据点。这些概念对于解释模型的分类也非常有用。在本文中，我们提出了一个模型，表示为变分自编码器为基础的对比解释（VAE-CE），表示数据与高层次的概念，并使用这种表示的分类和生成的解释。解释以对比的方式产生，传达为什么数据点被分配给一个类而不是另一个类。解释被指定为输入数据点的一组转换，每一步都描述了一个概念向对比类的变化。我们使用一个解开的VAE，扩展与一个新的监督方法解开个别尺寸的模型。对合成数据和MNIST的分析表明，解纠缠和解释的方法提供了优于其他方法的优点。
2021-08-20 cs.AI cs.CV cs.LG
Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks
KU Leuven（鲁汶大学）
深度模型的解释和解释对于依赖它们的系统的广泛采用至关重要。在本文中，我们提出了一种新的解释和解释方案，其中，给定一个预训练模型，我们自动识别与模型所考虑的类集相关的内部特征，而不依赖于额外的注释。我们通过对这组减少的特征的平均可视化来解释模型。然后，在测试时，我们通过将预测的类标签与从识别的特征中获得的支持可视化一起解释网络预测。此外，我们提出了一种方法来解决跨操作在deconvNet为基础的可视化引入的文物。在MNIST、ILSVRC 12、Fashion144k和an8Flower数据集上的实验表明，本文提出的方法能够得到详细的解释，并能很好地覆盖感兴趣类的相关特征
2019-03-08 cs.CV cs.LG stat.ML
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University（阳明大学）
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性，并引入外部知识缓解方法提升模型鲁棒性，在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
ODAM: Gradient-based instance-specific visual explanations for object detection
City University of Hong Kong（香港城市大学）
本文提出 ODAM 方法，通过梯度加权生成实例级目标检测可视化解释，并结合 Odam-Train 训练方案和 Odam-NMS 策略，提升检测器解释质量与重复检测区分能力。
2023-04-13 cs.CV
Visual Evaluative AI: A Hypothesis-Driven Tool with Concept-Based Explanations and Weight of Evidence
School of Computing and Information Systems, The University of Melbourne, Australia（计算与信息系统学院，墨尔本大学，澳大利亚）；School of Electrical Engineering and Computer Science, The University of Queensland, Australia（电气工程与计算机科学学院，昆士兰大学，澳大利亚）
本文提出视觉评估AI这一假设驱动决策辅助工具，通过提取图像中的高级人类概念并生成证据权重（WoE）为假设提供正负证据，在皮肤癌领域构建了相关网络应用并验证了其在不同基于概念的解释方法上的有效性。
2025-08-25 cs.AI cs.CV cs.HC
Counterfactual Visual Explanation via Causally-Guided Adversarial Steering
Case Western Reserve University（凯斯西储大学）；New Jersey Institute of Technology（新泽西理工学院）
针对反事实视觉解释忽视因果关系而易产生非预期图像改变的问题，提出 CECAS 框架，用因果引导的对抗性方法避免扰动虚假因素，并在多个基准上取得更优且均衡的解释效果。
2025-09-26 cs.CV
RES: A Robust Framework for Guiding Visual Explanation
Emory University（埃默里大学）；George Mason University（乔治梅森大学）
尽管现代深度神经网络（DNN）中的解释技术进展迅速，其中主要焦点是处理"如何生成解释"，但检查解释本身质量的高级研究问题（例如，"解释是否准确"）并提高解释质量（例如，"当解释不准确时，如何调整模型以生成更准确的解释"）仍然相对未被探索。为了引导模型更好地解释，解释监督技术-在模型解释上添加监督信号-已经开始显示出对提高深度神经网络的泛化能力和内在可解释性的有希望的效果。然而，对监督解释的研究，特别是在通过显着图表示的基于视觉的应用中，由于几个固有的挑战而处于早期阶段：1）人类解释注释边界的不准确性，2）人类解释注释区域的不完整性，以及3）人类注释和模型解释图之间的数据分布的不一致性。为了应对这些挑战，我们提出了一个通用的RES框架，通过开发一个新的目标，处理不准确的边界，不完整的区域，和不一致的人类注释分布，指导视觉解释，与模型泛化的理论依据。在两个真实世界图像数据集上的大量实验证明了所提出的框架在增强骨干DNN模型的解释合理性和性能方面的有效性。
2022-06-27 cs.CV
Regional Multi-scale Approach for Visually Pleasing Explanations of Deep Neural Networks
Chonbuk National University（全北国立大学）
最近，已经提出了许多解释和可视化深度神经网络预测的方法，并取得了重大进展。然而，需要一个更具类别区分性和视觉上令人愉悦的解释。因此，本文提出了一种基于区域的方法，估计特征的重要性方面适当分割的区域。通过融合多尺度分割产生的显著性图，获得了更具类别区分力和视觉效果的显著性图。我们将这个区域多尺度的概念到一个预测差异的方法，是模型不可知的。使用超像素方法将输入图像分割成多个尺度，并通过对使用边界先验构造的正态分布进行采样来模拟区域的排除。实验结果表明，区域多尺度方法产生的显着图具有更好的类别区分性和视觉效果。
2018-08-01 cs.CV
Clarity: an improved gradient method for producing quality visual counterfactual explanations
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
视觉反事实解释识别对图像的修改，这些修改将改变分类器的预测。我们提出了一套基于生成模型（VAE）和分类器集成直接训练的潜在空间，这一切在一起，提高计算视觉反事实所需的梯度的质量的技术。这些改进导致了一种新的分类模型Clarity，它可以对所有图像产生逼真的反事实解释。我们还提出了几个实验，让我们深入了解为什么这些技术导致更好的质量比文献中的结果。所产生的解释与最先进的竞争力，并强调选择一个有意义的输入空间进行培训的重要性。
2022-11-22 cs.CV cs.LG
Faithful Multimodal Explanation for Visual Question Answering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
人工智能系统解释其推理的能力对其实用性和可信度至关重要。深度神经网络在许多具有挑战性的问题上取得了重大进展，例如视觉问答（VQA）。然而，其中大多数是不透明的黑匣子，解释能力有限。本文提出了一种新的方法来开发一个高性能的VQA系统，可以阐明它的答案与集成的文本和视觉解释，忠实地反映其基本推理的重要方面，同时捕捉可理解的人类解释的风格。广泛的实验评估表明，这种方法的优势相比，竞争的方法与自动评估指标和人类的评估指标。
2019-06-03 cs.CL cs.CV
Faithful Counterfactual Visual Explanations (FCVE)
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）；The City School Ravi Campus（拉维校区城市学校）；Middlesex University London（伦敦密德萨斯大学）
针对现有计算机视觉可解释方法难以为非专家提供可信解释、无法准确反映模型内在决策过程的问题，提出一种兼顾合理性与忠实性的反事实解释模型，通过识别模型内部概念与滤波器生成忠实于模型决策逻辑的易懂视觉解释。
2025-01-12 cs.CV
Generating Visual Explanations
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
向最终用户清楚解释分类决定的理由可能与决定本身同样重要。现有的深度视觉识别方法通常是不透明的，不输出任何理由文本;当代的视觉语言模型可以描述图像内容，但未能考虑到证明视觉预测的类判别图像方面。我们提出了一个新的模型，专注于可见对象的鉴别属性，共同预测类标签，并解释了为什么预测的标签是适合的图像。我们提出了一种新的损失函数的基础上采样和强化学习，学习生成句子，实现了全球的句子属性，如类特异性。我们在细粒度鸟类物种分类数据集上的结果表明，我们的模型能够生成不仅与图像一致，而且比现有字幕方法产生的描述更具鉴别力的解释。
2016-03-28 cs.AI cs.CL cs.CV
DRIVE: Deep Reinforced Accident Anticipation with Visual Explanation
Rochester Institute of Technology（罗切斯特理工学院）
交通事故预测旨在从行车记录仪视频中准确、及时地预测未来事故的发生，这对于有安全保障的自动驾驶系统至关重要。为了鼓励早期和准确的决策，现有的方法通常侧重于在未来事故发生之前捕获空间和时间背景的线索。然而，他们的决策缺乏视觉解释，忽视了与环境的动态互动。在本文中，我们提出了深度强化的事故预测与视觉解释，命名为驱动器。该方法模拟自下而上和自上而下的视觉注意力机制在dashcam观察环境，使建议的随机多任务代理的决定可以直观地解释由关注区域。此外，提出的密集预期奖励和稀疏固定奖励是有效的训练驱动模型与我们的改进强化学习算法。实验结果表明，DRIVE模型在多个真实世界的交通事故数据集上达到了最先进的性能。代码和预训练模型可在\url{https://www.rit.edu/actionlab/drive}上获得。
2021-09-06 cs.CV
Visual Explanation via Similar Feature Activation for Metric Learning
Griffith University（格里菲斯大学）；Shaanxi University of Science and Technology（陕西科技大学）
本文提出了一种名为SFAM的可视化解释方法，用于度量学习模型中通过相似特征激活来提供可解释性视觉解释。
2025-12-29 cs.CV
FFAM: Feature Factorization Activation Map for Explanation of 3D Detectors
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
针对LiDAR 3D检测器缺乏可解释性的问题，提出FFAM，通过非负矩阵分解、特征梯度细化和体素上采样生成高质量全局及目标级视觉解释。
2024-05-21 cs.CV
On the stability, correctness and plausibility of visual explanation methods based on feature importance
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；University of Bordeaux（波尔多大学）；LaBRI（计算机科学研究实验室）
本文研究了图像分类器基于特征重要性的解释的稳定性、正确性与合理性，发现现有评估指标存在不一致性，并针对稳定性和正确性提出了考虑模型局部行为的新指标。
2023-10-25 cs.AI cs.CV cs.LG
CLEVR-X: A Visual Reasoning Dataset for Natural Language Explanations
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
在视觉问答（VQA）的背景下提供解释是机器学习中的一个基本问题。为了详细了解为VQA生成自然语言解释的过程，我们引入了大规模CLEVR-X数据集，该数据集扩展了CLEVR数据集，并提供了自然语言解释。对于CLEVR数据集中的每个图像-问题对，CLEVR-X包含多个结构化的文本解释，这些解释来自原始场景图。通过构造，CLEVR-X解释是正确的，并描述了回答给定问题所需的推理和视觉信息。我们进行了一项用户研究，以确认我们提出的数据集中的地面实况解释确实是完整和相关的。我们目前的基准结果生成自然语言解释的背景下，VQA使用两个国家的最先进的框架上的CLEVR-X数据集。此外，我们提供了一个详细的分析不同的问题和答案类型的解释生成质量。此外，我们研究了使用不同数量的地面实况解释对自然语言生成（NLG）度量收敛的影响。CLEVR-X数据集可在\url{https://explainableml.github.io/CLEVR-X/}上公开获取。
2022-04-05 cs.CL cs.CV
Evidential Concept Embedding Models: Towards Reliable Concept Explanations for Skin Disease Diagnosis
Fudan University（复旦大学）
提出证据概念嵌入模型，通过证据学习建模概念不确定性并纠正概念错位，提升皮肤病诊断中概念解释的可靠性，支持有效的测试时干预。
2024-06-27 cs.CV
Making Heads or Tails: Towards Semantically Consistent Visual Counterfactuals
Meta AI
视觉反事实解释用来自干扰物图像的区域替换查询图像中的图像区域，使得系统对变换后的图像的决定改变为干扰物类。在这项工作中，我们提出了一个新的框架计算视觉反事实的解释的基础上两个关键的想法。首先，我们强制执行的替换和替换区域包含相同的语义部分，从而在语义上更一致的解释。第二，我们使用多个干扰图像在计算效率的方式，并获得更多的歧视性的解释与更少的区域替换。我们的方法在语义上的一致性提高了27%，并且比三个细粒度图像识别数据集上的竞争方法快了一个数量级。我们强调我们的反事实的效用，通过机器教学实验，我们教人类对不同的鸟类物种进行分类现有的作品。我们还用对系统决策贡献最大的部件和属性的词汇来补充我们的解释。在这项任务中，我们获得了最先进的结果时，使用我们的反事实解释相对于现有的作品，加强语义一致的解释的重要性。源代码可在https://github.com/facebookresearch/visual-counterfactuals上获得。
2022-07-16 cs.CV
Attention Lattice Adapter: Visual Explanation Generation for Visual Foundation Model
Keio University（庆应大学）
本文提出注意力格适配器（ALA）和隔轮架构器（AEA）两种机制，通过部分更新参数生成视觉基础模型的可视化解释，在CUB-200-2011和ImageNet-S上显著超越基线方法。
2025-09-18 cs.CV
Attentive Explanations: Justifying Decisions and Pointing to the Evidence (Extended Abstract)
EECS, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（Facebook人工智能研究院）
深度模型是视觉决策问题的事实标准，因为它们在各种视觉任务上的表现令人印象深刻。另一方面，它们的不透明性导致了对可解释系统的兴趣激增。在这项工作中，我们强调模型解释的重要性，在各种形式，如视觉指向和文本的理由。缺乏具有调整注释的数据是生成多模态解释的瓶颈之一。因此，我们提出了两个带有注释的大规模数据集，可以从视觉和文本上证明各种活动（即ACT-X）和问答（即VQA-X）的分类决策的合理性。我们还介绍了一种多模态方法，用于同时生成视觉和文本解释。我们定量地表明，使用文本解释进行训练不仅会产生更好的文本合理性模型，而且还会产生更好地本地化支持其决策的证据的模型。
2017-11-17 cs.CV
MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations
Technical University of Denmark（丹麦技术大学）
本文提出MaskDiME，一种高效的扩散框架，通过局部采样实现语义一致性和空间精度，提升视觉反事实解释的效率和准确性。
2026-03-30 cs.CV
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University（奥尔堡大学）；Yodaway
近年来，可解释人工智能（XAI）已成为一个非常适合的框架，以生成人类可理解的解释“黑盒”模型。在本文中，一种新的XAI视觉解释算法被称为相似性差异和uniform（SIDU）的方法，可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析，通过各种计算和人体实验。特别是，SIDU算法使用三种不同类型的评估（应用程序，人类和功能接地）进行评估，以证明其优越的性能。为了更好地理解SIDU算法的性能，进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
