Measuring and improving the quality of visual explanations
解释神经网络决策的能力与其安全部署密切相关。已经提出了几种方法来突出对给定网络决策重要的特征。然而，对于如何衡量这些方法的有效性，没有达成共识。我们提出了一个新的评价解释的程序。我们用它来研究从神经网络中的一系列可能的来源中提取的视觉解释。我们量化的好处，结合这些来源和挑战最近呼吁考虑偏置参数。我们通过对ImageNet分类器中偏差参数影响的一般评估来支持我们的结论
2020-03-20 cs.CV cs.LG stat.ML
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University（奥尔堡大学）；Yodaway
近年来，可解释人工智能（XAI）已成为一个非常适合的框架，以生成人类可理解的解释“黑盒”模型。在本文中，一种新的XAI视觉解释算法被称为相似性差异和uniform（SIDU）的方法，可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析，通过各种计算和人体实验。特别是，SIDU算法使用三种不同类型的评估（应用程序，人类和功能接地）进行评估，以证明其优越的性能。为了更好地理解SIDU算法的性能，进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
Robust Explanations for Visual Question Answering
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在本文中，我们提出了一种方法来获得强大的解释视觉问答（VQA）的答案相关性很好。我们的模型通过提供视觉和文本解释来解释通过VQA模型获得的答案。我们解决的主要挑战是：i）通过当前方法获得的答案和文本解释没有很好的相关性; ii）当前的视觉解释方法没有关注解释答案的正确位置。我们通过使用协作相关模块来解决这两个挑战，该模块确保即使我们不针对基于噪声的攻击进行训练，增强的相关性也确保可以生成正确的解释和答案。我们进一步表明，这也有助于改善生成的视觉和文本解释。相关模块的使用可以被认为是一种验证答案和解释是否一致的鲁棒方法。我们使用VQA-X数据集评估该模型。我们观察到，所提出的方法产生更好的文本和视觉的理由，支持的决定。我们展示了该模型对基于噪声的扰动攻击的鲁棒性，使用相应的视觉和文本解释。详细的实证分析显示。这里我们提供了模型\url{https://github.com/DelTA-Lab-IITK/CCM-WACV}的源代码链接。
2020-01-23 cs.AI cs.CL cs.CV
Enriching Visual with Verbal Explanations for Relational Concepts -- Combining LIME with Aleph
University of Bamberg（班贝格大学）
随着深度学习应用越来越多，对解释的需求也越来越大。视觉解释提供了关于图像的哪些部分与分类器的决策相关的信息。然而，突出显示图像部分（例如，眼睛）不能捕获类的特定特征值的相关性（例如，眼睛睁得大大的）。此外，突出显示不能传达分类是仅仅取决于部分的存在还是取决于它们之间的特定空间关系。因此，我们提出了一种方法，能够解释一个分类器的决策方面的逻辑规则获得的归纳逻辑程序设计系统Aleph。Aleph所需的示例和背景知识基于解释生成方法LIME。我们展示了我们的方法与图像的blocksworld域。首先，我们表明，我们的方法是能够确定一个单一的关系作为重要的解释性结构。之后，我们提出了更复杂的塔的关系概念。最后，我们展示了如何生成的关系规则可以显式地与输入图像相关，从而产生更丰富的解释。
2019-10-04 cs.AI cs.CV cs.LG
Survey of explainable machine learning with visual and granular methods beyond quasi-explanations
Central Washington University（中央华盛顿大学）；University of Washington Tacoma（华盛顿大学塔科马分校）；Kensci Inc.（Kensci公司）
本文综述了机器学习（ML）可解释性的视觉方法，重点是从ML中占主导地位的准解释转向由颗粒视觉支持的特定领域解释。ML解释基本上是一种人类活动，视觉方法更容易解释。虽然存在高维数据的有效视觉表示，但可解释信息的丢失、遮挡和混乱仍然是一个挑战，这导致了准解释。我们从动机和可解释性的不同定义开始。本文重点讨论了准解释和领域特定解释之间的明确区别，以及可解释和实际解释的ML模型之间的区别，这些对于可解释性领域至关重要。我们讨论了可解释性的基础，概述了视觉可解释性，并提出了几种类型的方法来可视化ML模型。接下来，我们将基于最近引入的通用线坐标（GLC）概念，介绍ML模型的可视化发现方法，重点是可解释的模型。这些方法采取的关键步骤，创造视觉解释，不仅是准解释，但也是特定领域的视觉解释，而这些方法本身是领域不可知的。该文件包括理论上的限制，以保持n-D距离在较低的维度，基于约翰逊-林登施特劳斯引理，点到点和点到图的GLC方法，和现实世界的案例研究的结果。本文还涵盖了理解ML模型的传统视觉方法，包括深度学习和时间序列模型。我们发现，许多这些方法是准解释，需要进一步增强，成为特定领域的解释。最后，我们概述了开放的问题和当前的研究前沿。
2020-09-21 cs.CV cs.LG
Visual Explanations from Hadamard Product in Multimodal Deep Networks
Seoul National University（首尔大学）
对模型学习表征的直观解释有助于理解学习的基本原理。以前的作品中的注意力模型用于在图像或文本上使用它们的学习权重来可视化关注区域，以确认它们的预期机制。Kim et al.（2016）表明，多模态深度网络中的Hadamard产品，以视觉问答任务的联合功能而闻名，隐含地执行视觉输入的注意机制。在这项工作中，我们扩展了他们的工作，以表明多模态深度网络中的Hadamard乘积不仅适用于视觉输入，而且还适用于文本输入，同时使用所提出的基于梯度的可视化技术。阿达玛产品的注意力效果可视化视觉和文本输入通过分析两个输入和输出的阿达玛产品与所提出的方法，并与学习的视觉问答模型的注意力权重进行比较。
2017-12-18 cs.AI cs.CV cs.LG
Interpretations are useful: penalizing explanations to align neural networks with prior knowledge
Technical University Denmark（丹麦技术大学）；UC Berkeley（加州大学伯克利分校）
为了有效地解释深度学习模型，它必须提供对模型的洞察，并建议相应的操作以实现某些目标。很多时候，一系列提出的可解释的深度学习方法停留在第一步，为从业者提供了对模型的洞察，但没有办法对其采取行动。在本文中，我们提出了上下文分解解释惩罚（CDEP），一种使从业者能够利用现有解释方法来提高深度学习模型的预测准确性的方法。特别是，当模型对某些特征的重要性分配不正确时，CDEP使从业者能够通过直接正则化所提供的解释来纠正这些错误。使用上下文分解（CD）提供的解释（Murdoch等人，2018），我们展示了我们的方法在一系列玩具和真实数据集上提高性能的能力。
2020-10-08 cs.CV cs.LG stat.ML
AdViCE: Aggregated Visual Counterfactual Explanations for Machine Learning Model Validation
机器学习模型性能的快速改进将它们推向了数据驱动决策的前沿。与此同时，这些模型越来越多地集成到各种应用领域，进一步突出了提高可解释性和透明度的必要性。为了识别偏差、过度拟合和不正确的相关性等问题，数据科学家需要工具来解释这些模型决策的机制。在本文中，我们介绍了AdViCE，一个可视化的分析工具，旨在指导用户在黑盒模型调试和验证。该解决方案依赖于两个主要的视觉用户界面创新：（1）交互式可视化设计，可以对用户定义的数据子集进行决策比较;（2）算法和视觉设计，可以计算和可视化反事实解释-当数据特征从其原始值扰动时，描述模型结果的解释。我们提供了一个演示的工具，通过一个用例，展示了所提出的方法的能力和潜在的局限性。
2021-09-12 cs.AI cs.HC cs.LG
Where and When: Space-Time Attention for Audio-Visual Explanations
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
解释多模态决策者的决策需要确定来自两种模态的证据。XAI的最新进展为在静态图像上训练的模型提供了解释。然而，当涉及到在动态世界中对多种感觉模态进行建模时，如何揭开复杂多模态模型的神秘动力学仍然有待探索。在这项工作中，我们向前迈出了关键的一步，探索了视听识别的可学习解释。具体来说，我们提出了一种新的时空注意力网络，揭示了在空间和时间上的音频和视频数据的协同动态。我们的模型能够预测视听视频事件，同时通过定位相关视觉线索出现的位置以及预测的声音何时出现在视频中来证明其决策的合理性。我们在三个视听视频事件数据集上对我们的模型进行了基准测试，并与多个最近的多模态表示学习器和内在解释模型进行了广泛的比较。实验结果表明，我们的模型明显优于现有的方法对视听视频事件识别的性能。此外，我们进行了深入的研究，分析我们的模型的可解释性的基础上，通过扰动测试和指向游戏使用人类注释的鲁棒性分析。
2021-05-04 cs.AI cs.CV cs.LG
Quantifying the Intrinsic Usefulness of Attributional Explanations for Graph Neural Networks with Artificial Simulatability Studies
Institute of Theoretical Informatics (ITI)（理论信息学研究所）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文将人工可模拟性研究扩展至图神经网络领域，通过解释可监督模型量化归因解释的内在有用性，发现相关解释能显著提升模型样本效率，为解释质量评估提供了正交于忠实性的新维度。
2023-05-25 cs.AI cs.LG
Visual correspondence-based explanations improve AI robustness and human-AI team accuracy
Auburn University（奥本大学）；University of Alberta（阿尔伯塔大学）
提出两种自解释图像分类器，利用视觉对应关系先解释后预测，提升OOD鲁棒性，并在人类研究中证明其解释有助于人机互补准确率。
2023-08-31 cs.AI cs.CV cs.HC
Visual explanations for polyp detection: How medical doctors assess intrinsic versus extrinsic explanations
SimulaMet（西穆拉大都会研究所）；UIT The Artic University of Norway（挪威UIT北极大学）；Sahlgrenska University Hospital-Mölndal（萨尔格伦斯卡大学医院-默恩达尔）；Swedish Medical Group（瑞典医疗集团）；Oslo Metropolitan University（奥斯陆城市大学）；Norwegian University of Science and Technology（挪威科技大学）
近年来，深度学习在计算机视觉的各个领域都取得了巨大的成功，并有可能帮助医生分析疾病和其他异常的视觉内容。然而，深度学习的现状在很大程度上是一个黑匣子，这使得医学专业人士对将这些方法融入临床实践持高度怀疑态度。已经提出了几种方法，以照亮这些黑匣子，但没有共识的意见，医生将消费这些解释。本文介绍了一项研究，询问医生对当前最先进的可解释人工智能方法应用于胃肠道疾病检测用例时的看法。我们比较了两种不同类别的解释方法，内在的和外在的，并衡量他们的意见，这些解释的当前价值。结果表明，内在的解释是首选和解释。
2022-03-23 cs.AI cs.CV cs.LG
DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations
Tübingen AI Center – University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
该研究提出DiG-IN扩散引导框架，通过生成优化分类器目标的图像，开展视觉反事实解释、分类器差异分析与神经元可视化，验证已有结论并发现新失效模式，且VCEs性能更优、通用性更强。
2024-07-12 cs.AI cs.CV cs.LG
Teaching Categories to Human Learners with Visual Explanations
California Institute of Technology（加州理工学院）
我们研究的问题，计算机辅助教学与解释。用于机器教导的常规方法通常仅在实例级提供反馈，实例的类别或标签。然而，从一个知识渊博的老师那里得到的清晰的解释可以显着提高学生学习新概念的能力，这是很直观的。为了解决这些现有的局限性，我们提出了一个教学框架，提供可解释的解释作为反馈和模型，学习者如何将这些额外的信息。在图像的情况下，我们表明，我们可以自动生成解释，突出的图像的部分，负责类标签。对人类学习者的实验表明，平均而言，与现有方法相比，使用我们的可解释方法进行教学时，参与者在具有挑战性的分类任务上取得了更好的测试集性能。
2018-02-20 cs.CV cs.LG stat.ML
Clarity: an improved gradient method for producing quality visual counterfactual explanations
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
视觉反事实解释识别对图像的修改，这些修改将改变分类器的预测。我们提出了一套基于生成模型（VAE）和分类器集成直接训练的潜在空间，这一切在一起，提高计算视觉反事实所需的梯度的质量的技术。这些改进导致了一种新的分类模型Clarity，它可以对所有图像产生逼真的反事实解释。我们还提出了几个实验，让我们深入了解为什么这些技术导致更好的质量比文献中的结果。所产生的解释与最先进的竞争力，并强调选择一个有意义的输入空间进行培训的重要性。
2022-11-22 cs.CV cs.LG
ViCE: Visual Counterfactual Explanations for Machine Learning Models
New York University Abu Dhabi（纽约大学阿布扎比分校）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
机器学习模型的预测准确性的持续改进使得它们能够广泛地实际应用。然而，许多看似准确的模型做出的决策仍然需要领域专家的验证。此外，模型的最终用户还希望了解具体决策背后的原因。因此，对可解释性的需求越来越重要。在本文中，我们提出了一个交互式的可视化分析工具，ViCE，生成反事实的解释，上下文和评估模型的决策。评估每个样本，以确定翻转模型输出所需的最小更改集。这些解释旨在为最终用户提供个性化的可操作见解，以便理解，并可能质疑或改进自动化决策。结果有效地显示在一个可视化界面中，其中突出显示了反事实的解释，并为用户提供了交互式方法来探索数据和模型。该工具的功能证明了其应用程序的房屋净值信贷额度数据集。
2020-03-05 cs.AI cs.HC cs.LG
A First Look: Towards Explainable TextVQA Models via Visual and Textual Explanations
PARS；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
可解释的深度学习模型在许多情况下是有利的。以前的工作大多提供单峰解释，通过事后的方法，而不是原来的系统设计的一部分。解释机制也会忽略图像中存在的有用文本信息。在本文中，我们提出了MTXNet，这是一种端到端的可训练多模态架构，用于生成多模态解释，其重点是图像中的文本。我们策划了一个新的数据集TextVQA-X，包含地面实况视觉和多参考文本解释，可以在训练和评估过程中利用。然后，我们定量地表明，多模态解释的训练补充了模型性能，并在CIDER评分中超过单峰基线高达7%，在IoU中超过2%。更重要的是，我们证明了多模态解释与人类的解释是一致的，有助于证明模型的决定，并提供有用的见解，以帮助诊断不正确的预测。最后，我们描述了一个现实世界的电子商务应用程序使用所生成的多模态解释。
2021-04-29 cs.AI cs.CL cs.CV
Contrastive Explanations in Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
视觉解释是基于视觉特征的逻辑论证，这些视觉特征证明了神经网络所做的预测是正确的。当前的视觉解释模式回答了$`Why \text{ } P?'$形式的问题。这些$Why$问题在广泛的背景下操作，从而在某些情况下提供不相关的答案。我们建议约束这些$Why$问题的基础上，一些上下文$Q$，使我们的解释回答对比问题的形式$`Why \text{ } P, \text{} rather \text{ } than \text{ } Q?'$。在本文中，我们形式化结构的对比视觉解释的神经网络。我们定义对比度的基础上神经网络，并提出了一种方法来提取定义的对比度。然后，我们将提取的对比度作为现有$`Why \text{ } P?'$技术（特别是Grad-CAM）之上的插件。我们展示了它们在分析大规模识别、细粒度识别、地下地震分析和图像质量评估应用中的网络和数据方面的价值。
2020-08-01 cs.AI cs.CV cs.LG
VAE-CE: Visual Contrastive Explanation using Disentangled VAEs
Eindhoven University of Technology（埃因霍温理工大学）
分类模型的目标是为数据分配正确的标签。在大多数情况下，这些数据并没有被给定的标签集完全描述。领域中通常存在一组丰富的有意义的概念，可以更精确地描述每个数据点。这些概念对于解释模型的分类也非常有用。在本文中，我们提出了一个模型，表示为变分自编码器为基础的对比解释（VAE-CE），表示数据与高层次的概念，并使用这种表示的分类和生成的解释。解释以对比的方式产生，传达为什么数据点被分配给一个类而不是另一个类。解释被指定为输入数据点的一组转换，每一步都描述了一个概念向对比类的变化。我们使用一个解开的VAE，扩展与一个新的监督方法解开个别尺寸的模型。对合成数据和MNIST的分析表明，解纠缠和解释的方法提供了优于其他方法的优点。
2021-08-20 cs.AI cs.CV cs.LG
Assessing the Reliability of Visual Explanations of Deep Models with Adversarial Perturbations
UFMG（米纳斯吉拉斯联邦大学）；Wildlife Studios；Kunumi；University of Cambridge（剑桥大学）
对用于计算机视觉应用的复杂深度神经网络的兴趣正在增加。这导致需要提高这些模型的可解释能力。最近的解释方法呈现来自输入图像的像素的相关性的可视化，从而使得能够直接解释导致特定输出的输入的属性。这些方法产生像素重要性的图，通常通过目视检查进行评估。这意味着解释方法的有效性是基于人的期望而不是实际特征重要性来评估的。因此，在这项工作中，我们提出了一个客观的措施来评估的可靠性解释的深层模型。具体来说，我们的方法是基于网络结果的变化，这些变化是由输入图像以对抗方式的扰动引起的。我们提出了一个广泛已知的解释方法之间的比较，使用我们提出的方法。最后，我们还提出了一个简单的应用程序，我们的方法来清理相关性地图，创建更多的可解释的地图，而不会损失任何基本的解释（根据我们提出的措施）。
2020-04-22 cs.LG stat.ML
Debiased-CAM to mitigate image perturbations with faithful visual explanations of machine learning
National University of Singapore（新加坡国立大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
显着性图等模型解释可以通过突出显示预测的重要特征来提高用户对人工智能的信任。然而，当解释受到扰动和腐败的系统误差（偏差）的图像预测时，这些变得扭曲和误导。此外，尽管模型对受不同因素（模糊、色温、白天/夜晚）影响的图像进行了微调，但失真仍然存在。我们提出Debiased-CAM通过训练多输入，多任务模型，辅助任务的解释和偏见水平预测，以恢复各种偏见类型和水平的解释忠诚度。在模拟研究中，该方法不仅提高了预测精度，而且还生成了关于这些预测的高度可信的解释，就好像图像是无偏的一样。在用户研究中，去偏见的解释提高了用户的任务绩效，感知真实性和感知有用性。去偏训练可以为具有数据偏差的广泛应用提供一个多功能平台，以实现强大的性能和解释忠实性。
2022-03-29 cs.CV cs.CY cs.HC
On the stability, correctness and plausibility of visual explanation methods based on feature importance
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；University of Bordeaux（波尔多大学）；LaBRI（计算机科学研究实验室）
本文研究了图像分类器基于特征重要性的解释的稳定性、正确性与合理性，发现现有评估指标存在不一致性，并针对稳定性和正确性提出了考虑模型局部行为的新指标。
2023-10-25 cs.AI cs.CV cs.LG
VALE: A Multimodal Visual and Language Explanation Framework for Image Classifiers using eXplainable AI and Language Models
SRM Institute of Science and Technology（SRM科学技术学院）
针对深度神经网络黑盒特性导致的可解释性不足问题，提出多模态框架VALE，结合可解释AI、零样本分割模型SAM与视觉语言模型生成视觉与文本解释，在ImageNet和水下SONAR数据集上验证了其有效性。
2024-08-23 cs.AI cs.CL cs.CV
Interpretable and Fine-Grained Visual Explanations for Convolutional Neural Networks
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）；University of Bonn（波恩大学）
为了验证和验证网络，必须深入了解它们的决策、局限性以及训练数据的可能缺陷。在这项工作中，我们提出了一个事后，基于优化的视觉解释方法，它突出了输入图像中的证据，用于特定的预测。我们的方法是基于一种新的技术，通过在优化过程中过滤梯度来防御对抗性证据（即由于人为因素造成的错误证据）。防御不依赖于人为调整的参数。它可以实现既细粒度又保留图像特征（如边缘和颜色）的解释。这些解释是可解释的，适合于可视化详细的证据，并且可以进行测试，因为它们是有效的模型输入。我们在大量模型和数据集上定性和定量地评估我们的方法。
2019-08-07 cs.CV cs.LG
Combining Similarity and Adversarial Learning to Generate Visual Explanation: Application to Medical Image Classification
Incepto Medical；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
解释黑盒分类器的决策在敏感领域（如医学成像）至关重要，因为临床医生的信心是必要的。已经提出了各种解释方法，其中基于微扰的方法是非常有前途的。在这类方法中，我们利用学习框架来产生我们的视觉解释方法。从一个给定的分类器，我们训练两个生成器从输入图像产生所谓的相似和对抗图像。相似图像应被分类为输入图像，而对抗图像不应被分类。视觉解释是建立在这两个生成的图像之间的差异。使用文献中的指标，我们的方法优于最先进的方法。所提出的方法是模型不可知的，在预测时具有低的计算负担。因此，它适用于实时系统。最后，我们表明，随机几何增强应用于原始图像发挥正则化的作用，改善了以前提出的几种解释方法。我们验证了我们的方法在一个大型的胸部X射线数据库。
2020-12-14 cs.CV cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg（奥格斯堡大学）；Oregon State University（俄勒冈州立大学）
反事实解释是解释人工智能模型的常用工具。对于强化学习（RL）代理，他们回答“为什么不呢？或者“如果？“的问题，通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性，因为它们的状态空间很大，而且它们的决策是总体政策的一部分，其中包括长期决策。然而，专注于反事实解释的研究，特别是对于具有视觉输入的RL代理，是稀缺的，并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务，如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法，通过将问题描述为域转移问题来生成RL代理的反事实解释，该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的，我们证明，它优于只有以前的方法在几个计算指标。此外，我们在用户研究中表明，我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
DocVXQA: Context-Aware Visual Explanations for Document Question Answering
Inria（法国国家信息与自动化研究所）
本文提出 DocVXQA 框架，通过显式可解释性学习目标生成上下文充分且表征高效的视觉热图，在保证文档问答性能的同时提升决策可解释性。
2025-05-12 cs.CV cs.LG
Crown-CAM: Interpretable Visual Explanations for Tree Crown Detection in Aerial Images
University of Alberta（阿尔伯塔大学）；Canadian Forest Service（加拿大林务局）；Natural Resources Canada（加拿大自然资源部）
本文提出 Crown-CAM，通过无监督激活图选择、局部得分图和背景抑制实现航空图像树冠检测的细粒度可解释定位，并引入 IoU 指标验证其优于多种 CAM 方法。
2023-04-27 cs.AI cs.CV cs.LG
All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models
Scheller College of Business, Georgia Tech（舍勒商学院，佐治亚理工学院）
研究指出机器学习模型解释存在准确性与可解释性权衡非根本性的观点，引入罗生门解释范式，提出RashomonLLM工作流程，经实验验证其在多任务中显著优于基线，提升业务性能并奠定消费者信任基础。
2026-07-13 cs.AI cs.IR cs.LG
Diffusion Visual Counterfactual Explanations
University of Tübingen（图宾根大学）
视觉反事实推理（VCE）是理解图像分类器决策的重要工具。它们是改变分类器决策的图像的“小”但“现实”的语义变化。当前的VCE生成方法局限于对抗性强的模型，并且通常包含不真实的伪影，或者局限于具有很少类别的图像分类问题。在本文中，我们通过扩散过程为任意ImageNet分类器生成扩散视觉反事实推理（DVCE）来克服这一点。对扩散过程的两个修改对于我们的DVCE来说是关键的：首先，自适应参数化，其超参数在图像和模型之间泛化，再加上距离正则化和扩散过程的延迟开始，使我们能够生成对原始图像具有最小语义变化但不同分类的图像。其次，我们通过对抗性鲁棒模型进行的锥正则化确保了扩散过程不会收敛到微不足道的非语义变化，而是产生目标类的真实图像，这些图像通过分类器实现了高置信度。
2022-10-21 cs.CV cs.LG
Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic
Chiba Institute of Technology（千叶工业大学）；ZOZO Research（ZOZO研究院）
本文提出一种方法，通过任务算术框架将自解释模型的视觉解释能力转移到仅预测模型中，无需额外训练，从而提升目标域的解释质量。
2026-11-10 cs.AI cs.CV cs.LG
Visual-Conversational Interface for Evidence-Based Explanation of Diabetes Risk Prediction
University of Maribor（马拉堡大学）
本文提出一个结合交互式可视化与对话代理的糖尿病风险预测解释系统，通过混合提示处理、科学证据支撑和特征范围分析，帮助30名医疗专业人员理解模型评估并校准信任。
2025-06-25 cs.AI cs.HC cs.LG
LFI-CAM: Learning Feature Importance for Better Visual Explanation
Seoul National University（首尔大学）
类激活映射（CAM）是一种用于理解计算机视觉中卷积神经网络（CNN）决策的强大技术。最近，已经尝试不仅生成更好的视觉解释，而且还使用视觉解释来提高分类性能。然而，以前的作品仍然有自己的缺点。在本文中，我们提出了一种新的架构，LFI-CAM，这是可训练的图像分类和视觉解释的端到端的方式。LFI-CAM在前向传播过程中产生一个用于视觉解释的注意力图，同时通过注意力机制利用注意力图来提高分类性能。我们的特征重要性网络（FIN）专注于学习特征重要性，而不是直接学习注意力地图，以获得更可靠和一致的注意力地图。我们证实LFI-CAM模型不仅通过学习特征重要性来优化，而且通过增强骨干特征表示来更加关注输入图像的重要特征。实验结果表明，LFI-CAM优于基线模型的分类任务的准确性，以及显着提高了以前的作品在不同的超参数的注意力地图的质量和稳定性。
2021-05-03 cs.LG
VERA: Generating Visual Explanations of Two-Dimensional Embeddings via Region Annotation
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学系）；Baylor College of Medicine（贝勒医学院）
VERA通过自动生成静态区域注释，为二维嵌入提供可视化解释，减少手动探索时间，支持探索性数据分析。
2026-04-30 cs.HC cs.LG
LIMEcraft: Handcrafted superpixel selection and inspection for Visual eXplanations
Warsaw University of Technology（华沙理工大学）
人们对深度学习应用的兴趣日益增加，以及它们难以检测的偏差，导致需要验证和解释复杂的模型。然而，目前的解释方法是有限的，就解释的推理过程和预测结果而言。它们通常只显示图像中对模型预测很重要的位置。由于缺乏与解释互动的可能性，因此很难验证和理解模型是如何工作的。这在使用模型时会产生很大的风险。这种风险由于解释不考虑所解释对象的语义而变得更加复杂。为了摆脱静态和无意义的解释的陷阱，我们提出了一个工具和一个过程，称为石灰工艺。LIMEcraft通过允许用户交互地选择语义一致的区域并在许多图像特征的情况下彻底检查图像实例的预测来增强解释过程。在几个模型上的实验表明，我们的工具通过检查可能表明模型偏差的图像片段的模型公平性来提高模型安全性。该代码可从以下网址获得：http://github.com/MI2DataLab/LIMEcraft
2022-04-30 cs.CV cs.LG
Information Bottleneck Attribution for Visual Explanations of Diagnosis and Prognosis
Northwestern University（西北大学）；Ege University（爱琴海大学）；Tokat State Hospital（托卡特国立医院）；NVIDIA（英伟达）；University of Catania（卡塔尼亚大学）；Columbia University Medical Center（哥伦比亚大学医学中心）；National Cancer Institute, National Institutes of Health（美国国立卫生研究院国家癌症研究所）
视觉解释方法在注释数据有限或不可用的患者的预后中具有重要作用。已经有几次尝试使用基于梯度的归因方法来定位来自医学扫描的病理，而不使用分割标签。这一研究方向一直受到缺乏鲁棒性和可靠性的阻碍。这些方法对网络参数高度敏感。在这项研究中，我们引入了一个强大的视觉解释方法来解决这个问题的医疗应用。我们提供了一种用于通用目的的创新视觉解释算法，作为示例应用，我们证明了其在不使用密集分割标签的情况下以高准确性和鲁棒性量化由Covid-19引起的肺部病变的有效性。这种方法克服了常用的Grad-CAM及其扩展版本的缺点。我们提出的策略背后的前提是，在确保分类器预测保持相似的同时，信息流被最小化。我们的研究结果表明，瓶颈条件提供了一个更稳定的严重性估计比类似的归因方法。
2021-06-23 cs.CV cs.LG eess.IV
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
U-CAM: Visual Explanation using Uncertainty based Class Activation Maps
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是获得改进的确定性估计和深度学习模型解释的秘诀。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2019-10-17 cs.CL cs.CV cs.LG
Robustness of Visual Explanations to Common Data Augmentation
Technical University of Denmark（丹麦技术大学）
研究事后视觉解释对常见数据增强变换的鲁棒性，发现不同可解释性方法的稳定性存在显著差异，且解释的鲁棒性通常低于分类性能。
2023-04-18 cs.CV cs.LG
Diffusion Explainer: Visual Explanation for Text-to-image Stable Diffusion
Georgia Tech（佐治亚理工学院）
本文提出首个解释 Stable Diffusion 文本到图像生成过程的交互式可视化工具 Diffusion Explainer，通过结构概览与运算解释帮助非专家理解扩散模型，并经用户研究验证其学习效果。
2024-08-31 cs.AI cs.CL cs.HC
DeepOpht: Medical Report Generation for Retinal Images via Deep Models and Visual Explanation
Georgia Institute of Technology（佐治亚理工学院）；University of Cambridge（剑桥大学）；Bern University Hospital（伯尔尼大学医院）；National Taiwan University（台湾大学）；University of California, Berkeley（加州大学伯克利分校）；Tri-Service General Hospital（三军总医院）；Beijing Friendship Hospital（北京友谊医院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出了一种基于人工智能的方法，旨在改善传统的视网膜疾病治疗程序，并帮助眼科医生提高诊断效率和准确性。所提出的方法由基于深度神经网络（DNN）的模块组成，包括视网膜疾病识别器和临床描述生成器，以及DNN视觉解释模块。为了训练和验证我们基于DNN的模块的有效性，我们提出了一个大规模的视网膜疾病图像数据集。此外，作为基础事实，我们提供了一个由眼科医生手动标记的视网膜图像数据集，以定性地表明，所提出的基于AI的方法是有效的。实验结果表明，该方法在定量和定性上都是有效的。我们的方法能够创建有意义的视网膜图像描述和视觉解释，是临床相关的。
2020-11-01 cs.AI cs.CL cs.CV
SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning
University of Southern California（南加州大学）；IIT Delhi（印度理工学院德里分校）
用知识图谱（KG）增强预训练的语言模型在各种常识推理任务上取得了成功。然而，对于给定的任务实例，KG或KG的某些部分可能不是有用的。虽然KG增强模型经常使用注意力来关注特定的KG组件，但KG仍然总是被使用，并且注意力机制从未被明确教导应该使用哪些KG组件。同时，显著性方法可以测量KG特征（例如，图形、节点、路径）影响模型做出正确的预测，从而解释哪些KG特征有用。本文探讨了如何显着性解释可以用来提高KG增强模型的性能。首先，我们建议创建粗糙（KG有用吗？）和精细（KG中的哪些节点/路径有用？）显着性解释。其次，为了激励基于显着性的监督，我们分析了直接使用显着性解释作为额外输入来引导他们的注意力的甲骨文KG增强模型。第三，我们提出了SalKG，KG增强模型的框架，从粗糙和/或精细的显着性解释中学习。给定从任务训练集创建的显着性解释，SalKG联合训练模型来预测解释，然后通过关注预测解释突出的KG特征来解决任务。在三个常识性的QA基准测试（CSQA，OBQA，CODAH）和一系列KG增强模型上，我们表明SalKG可以产生相当大的性能增益-CSQA的绝对改善高达2.76%。
2022-03-20 cs.AI cs.CL cs.LG
Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning
MIT（麻省理工学院）；Microsoft（微软）；Google（谷歌）
视觉搜索、推荐和对比相似性学习技术影响着全球数十亿用户。现代模型架构可能很复杂，很难解释，并且有几种相互竞争的技术可以用来解释搜索引擎的行为。我们表明，公平的信用分配理论提供了一个$\textit{unique}$公理化的解决方案，概括了现有的几个建议和度量的可解释性技术在文献中。使用这种形式主义，我们表明，当现有的方法违反“公平”，并得出回避这些缺点，自然处理反事实的信息的方法。更具体地说，我们现有的方法隐式近似二阶Shapley-Taylor指数和扩展CAM，GradCAM，LIME，SHAP，SBSM和其他方法的搜索引擎。这些扩展可以从训练的$\textit{opaque-box}$模型中提取图像之间的成对对应关系。我们还介绍了一个快速的基于内核的方法来估计Shapley-Taylor指数，需要数量级更少的函数评估收敛。最后，我们表明，这些博弈论的措施产生更一致的解释图像相似性架构。
2022-03-16 cs.CV cs.HC cs.IR
A Visual Tool for Interactive Model Explanation using Sensitivity Analysis
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Saarland University（萨尔兰州立大学）
本文介绍SAInT，一个基于Python的可视化工具，通过全局和局部敏感性分析帮助用户无需编程即可交互式探索、训练和解释机器学习模型，并在泰坦尼克号数据集上验证其指导特征选择的能力。
2025-08-06 cs.AI cs.LG
VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
许多过去的作品旨在通过监督特征重要性（由模型解释技术估计）与人类注释（如重要图像区域的突出显示）来改善模型中的视觉推理。然而，最近的工作表明，从视觉问答（VQA）任务的特征重要性（FI）监督的性能增益持续甚至与随机监督，这表明这些方法没有有意义地对齐模型FI与人类FI。在本文中，我们证明了模型FI监督可以通过优化四个关键模型目标来有意义地提高VQA模型的准确性以及几个正确原因（RRR）指标的性能：（1）在有限但足够的信息下准确预测（充分性）;（2）没有重要信息的最大熵预测（不确定性）;（3）预测对不重要特征变化的不变性（不变性）;以及（4）模型FI解释和人类FI解释之间的一致性（合理性）。我们表现最好的方法，视觉特征重要性监督（VisFIS），在分布内和分布外准确性方面优于基准VQA数据集的强基线。虽然过去的工作表明，提高准确性的机制是通过提高解释的可解释性，我们表明，这种关系取决于解释的忠实性（解释是否真正代表模型的内部推理）。当解释可信且可信时，预测会更准确，而当解释可信但不可信时，预测就不会更准确。最后，我们发现，令人惊讶的是，RRR指标是不预测的分布模型的准确性时，控制模型的分布精度，这就要求质疑这些指标的价值评估模型推理。所有支持代码可在https://github.com/zfying/visfis上获得
2022-10-25 cs.AI cs.CL cs.CV
Towards Self-Explainable Document Visual Question Answering with Chain-of-Explanation Predictions
Department of Informatics, University of Oslo（奥斯陆大学信息学院）；Integreat – Norwegian Centre for Knowledge-driven Machine Learning（挪威知识驱动机器学习中心）；TRUST – The Norwegian Centre for Trustworthy AI（挪威可信人工智能中心）
本文提出CoExVQA框架，通过解释链设计实现文档视觉问答的自解释，通过证据识别、答案定位和基于证据解码三步流程提升可解释性，实验显示在PFL-DocVQA上取得SotA性能，ANLS提升12%。
2026-05-07 cs.CV cs.LG
Multivariate Data Explanation by Jumping Emerging Patterns Visualization
Federal Institute of São Paulo（圣保罗联邦学院）；University of São Paulo（圣保罗大学）；Eindhoven University of Technology（埃因霍温理工大学）
可视化分析（VA）工具和技术在支持用户构建更好的分类模型、解释模型的整体逻辑和审计结果方面发挥了重要作用。在另一个方向，VA最近被应用于将分类模型转换为描述性机制而不是预测性机制。我们的想法是使用这样的模型作为数据模式的代理，可视化模型以理解数据所代表的现象。虽然非常有用和鼓舞人心的，少数提出的方法选择使用低复杂度的分类模型，以促进简单的解释，提出了限制捕捉复杂的数据模式。在本文中，我们提出了VAX（multiVariate dAta eXplanation），一种新的VA方法，以支持识别和视觉解释的模式在多元数据集。与现有的类似方法不同，VAX使用跳跃新兴模式的概念来识别和聚合多个多样化的模式，通过数据变量的逻辑组合产生解释。VAX解释复杂多元数据集的潜力通过使用两个涵盖不同场景的真实世界数据集的用例来证明。
2022-11-18 cs.LG
VOICE: Variance of Induced Contrastive Explanations to quantify Uncertainty in Neural Network Interpretability
Georgia Institute of Technology（佐治亚理工学院）
本文提出VOICE方法，通过量化基于梯度的视觉解释技术中的预测不确定性，揭示错误预测下解释技术对归因特征的不确定性，并发现其客观指标与认知不确定性表现相似。
2024-06-01 cs.CV cs.LG
Improved Visual Grounding through Self-Consistent Explanations
Rice University（莱斯大学）；University of California, Irvine（加州大学欧文分校）
本文提出用大型语言模型生成释义，并通过 SelfEQ 弱监督训练让短语与释义的视觉解释图保持一致，从而显著提升视觉-语言模型的视觉定位性能。
2023-12-07 cs.CL cs.CV cs.LG
Contrastive Explanations for Model Interpretability
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
对比解释阐明了为什么一个事件的发生与另一个事件相反。他们更是天生的直觉，以人类既生产和理解。我们提出了一种方法来产生对比的分类模型的解释，通过修改表示忽略非对比的信息，并修改模型的行为只基于对比推理。我们的方法基于将模型表示投影到一个潜在空间，该空间仅捕获（对模型）有用的特征以区分两个潜在决策。我们通过分析两种不同的情况下，使用高层次的抽象概念的属性和低层次的输入标记/跨度属性，两个广泛使用的文本分类任务的对比解释的价值。具体来说，我们产生的解释回答：对于哪个标签，并针对哪个替代标签，是输入有用的一些方面？输入的哪些方面对特定决策有用，哪些方面对特定决策有用？总的来说，我们的研究结果揭示了标签对比解释的能力，为模型的决策提供了更准确和更细粒度的可解释性。
2021-09-14 cs.AI cs.CL cs.LG
Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
深度学习中的大多数解释方法都将模型预测的重要性估计映射回原始输入空间。这些“视觉”解释往往是不够的，因为模型的实际概念仍然难以捉摸。此外，如果不深入了解模型的语义概念，就很难（如果不是不可能的话）通过解释来干预模型的行为，这称为解释性交互学习。因此，我们建议干预神经符号场景表示，这允许人们在语义层面上修改模型，例如“永远不要专注于颜色来做出决定”。我们编制了一个新的混杂视觉场景数据集，CLEVR-Hans数据集，捕捉不同对象的复杂组成。我们对CLEVR-Hans的实验结果表明，我们的语义解释，即在每个对象水平上的成分解释，可以识别仅使用“视觉”解释无法识别的混淆因素。更重要的是，在这个语义层面上的反馈使得有可能从关注这些因素的角度来修改模型。
2021-06-21 cs.AI cs.LG
ADVISE: ADaptive Feature Relevance and VISual Explanations for Convolutional Neural Networks
Universitat Oberta de Catalunya（开放加泰罗尼亚大学）
本文提出ADVISE方法，通过自适应带宽核密度估计量化CNN特征图单元的相关性，以提供更优的视觉解释，并在多个预训练模型上验证其优于现有方法且满足可解释性公理。
2022-03-02 cs.CV cs.LG
OPTIMUS-Prime: Minimal and Sufficient Concept Explanations for Deep Vision Models
Université de Lorraine（洛林大学）；CentraleSupélec Loria（中央超导Loria）；CNRS（国家科学研究中心）；Metz, France（法国梅斯）；Université de technologie de Compiègne UMR CNRS 7253 Heudiasyc（图卢兹技术大学UMR CNRS 7253 Heudiasyc）；France（法国）
提出OPTIMUS框架，基于主蕴含项理论生成视觉热图解释，满足充分性和最小性，提供形式化保证。
2026-06-05 cs.CV cs.LG
Pyreal: A Framework for Interpretable ML Explanations
MIT（麻省理工学院）；University of California, Davis（加州大学戴维斯分校）；IRD（法国发展研究院）
Pyreal是一个高度可扩展的Python框架，通过在不同特征空间间转换数据和解释，以低代码方式生成多种可解释的ML解释，在易用性和效率上优于现有系统。
2023-12-20 cs.HC cs.LG cs.SE
