From Visual Explanations to Counterfactual Explanations with Latent Diffusion
Faculty of Information Technology, University of Science, VNU-HCM（越南胡志明市国家大学科学学院信息技术学院）；Vietnam National University, Ho Chi Minh City（越南胡志明市国家大学）
针对视觉反事实解释的特征识别与非鲁棒分类器解释两大挑战，提出结合视觉解释算法与潜在扩散模型的方法，在ImageNet等数据集上性能优于现有方法，可适配任意分类器并生成语义合理的反事实图像。
2025-04-12 cs.CV
Improving VQA and its Explanations \\ by Comparing Competing Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
最新的最先进的视觉问答（VQA）系统是不透明的黑盒，其仅被训练以适应给定问题和视觉内容的答案分布。因此，这些系统经常走捷径，专注于简单的视觉概念或问题先验。随着问题变得复杂，需要更多的推理和常识知识，这种现象变得更加成问题。为了解决这个问题，我们提出了一个新的框架，使用竞争的答案，以帮助VQA系统选择正确的答案的解释。通过对人类文本解释进行训练，我们的框架为问题和视觉内容构建了更好的表示，然后使用从训练集中生成或检索的解释重新加权答案候选者的置信度。我们在VQA-X数据集上评估了我们的框架，该数据集具有更困难的问题，需要人工解释，在VQA及其解释方面都取得了新的最先进的结果。
2020-06-28 cs.CV
Grounding Visual Explanations (Extended Abstract)
EECS, University of California Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Amsterdam Machine Learning Lab, University of Amsterdam（阿姆斯特丹大学机器学习实验室）
生成文本解释的现有模型通过判别项损失函数来执行任务相关性，但是这样的机制仅弱地约束所提到的对象部分实际上存在于图像中。在本文中，提出了一种新的模型，用于生成解释，利用本地化接地的组成短语在生成的解释，以确保图像的相关性。具体来说，我们引入了一个短语评论模型来细化（重新评分/重新排名）生成的候选解释，并采用相对属性启发的排名损失使用“翻转”短语作为负面的例子进行训练。在测试时，我们的短语评论模型将图像和候选解释作为输入，并输出一个分数，表明候选解释在图像中的基础有多好。
2017-11-17 cs.CV
Grounding Visual Explanations
UC Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）
现有的视觉解释生成代理学习流利地证明类预测。然而，他们可能会提到反映强烈类别先验的视觉属性，尽管证据可能实际上并不存在于图像中。这是特别令人担忧的，因为最终这些代理无法与人类用户建立信任。为了克服这一限制，我们提出了一个短语评论模型来改进生成的候选解释，这些解释用翻转的短语来增强，我们在训练时将其用作负面示例。在推理时，我们的短语评论模型将图像和候选解释作为输入，并输出一个分数，指示候选解释在图像中的基础。我们可解释的人工智能智能体能够为另一种预测提供反论据，即反事实，以及证明正确分类决策的解释。我们的模型通过提及图像中的短语来提高CUB数据集上细粒度分类决策的文本解释质量。此外，在FOIL任务中，我们的智能体检测句子中的错误，为不正确的短语提供理由，并比其他模型更好地纠正它。
2018-08-02 cs.CV
ODAM: Gradient-based instance-specific visual explanations for object detection
City University of Hong Kong（香港城市大学）
本文提出 ODAM 方法，通过梯度加权生成实例级目标检测可视化解释，并结合 Odam-Train 训练方案和 Odam-NMS 策略，提升检测器解释质量与重复检测区分能力。
2023-04-13 cs.CV
Counterfactual Visual Explanation via Causally-Guided Adversarial Steering
Case Western Reserve University（凯斯西储大学）；New Jersey Institute of Technology（新泽西理工学院）
针对反事实视觉解释忽视因果关系而易产生非预期图像改变的问题，提出 CECAS 框架，用因果引导的对抗性方法避免扰动虚假因素，并在多个基准上取得更优且均衡的解释效果。
2025-09-26 cs.CV
RES: A Robust Framework for Guiding Visual Explanation
Emory University（埃默里大学）；George Mason University（乔治梅森大学）
尽管现代深度神经网络（DNN）中的解释技术进展迅速，其中主要焦点是处理"如何生成解释"，但检查解释本身质量的高级研究问题（例如，"解释是否准确"）并提高解释质量（例如，"当解释不准确时，如何调整模型以生成更准确的解释"）仍然相对未被探索。为了引导模型更好地解释，解释监督技术-在模型解释上添加监督信号-已经开始显示出对提高深度神经网络的泛化能力和内在可解释性的有希望的效果。然而，对监督解释的研究，特别是在通过显着图表示的基于视觉的应用中，由于几个固有的挑战而处于早期阶段：1）人类解释注释边界的不准确性，2）人类解释注释区域的不完整性，以及3）人类注释和模型解释图之间的数据分布的不一致性。为了应对这些挑战，我们提出了一个通用的RES框架，通过开发一个新的目标，处理不准确的边界，不完整的区域，和不一致的人类注释分布，指导视觉解释，与模型泛化的理论依据。在两个真实世界图像数据集上的大量实验证明了所提出的框架在增强骨干DNN模型的解释合理性和性能方面的有效性。
2022-06-27 cs.CV
Regional Multi-scale Approach for Visually Pleasing Explanations of Deep Neural Networks
Chonbuk National University（全北国立大学）
最近，已经提出了许多解释和可视化深度神经网络预测的方法，并取得了重大进展。然而，需要一个更具类别区分性和视觉上令人愉悦的解释。因此，本文提出了一种基于区域的方法，估计特征的重要性方面适当分割的区域。通过融合多尺度分割产生的显著性图，获得了更具类别区分力和视觉效果的显著性图。我们将这个区域多尺度的概念到一个预测差异的方法，是模型不可知的。使用超像素方法将输入图像分割成多个尺度，并通过对使用边界先验构造的正态分布进行采样来模拟区域的排除。实验结果表明，区域多尺度方法产生的显着图具有更好的类别区分性和视觉效果。
2018-08-01 cs.CV
Faithful Counterfactual Visual Explanations (FCVE)
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）；The City School Ravi Campus（拉维校区城市学校）；Middlesex University London（伦敦密德萨斯大学）
针对现有计算机视觉可解释方法难以为非专家提供可信解释、无法准确反映模型内在决策过程的问题，提出一种兼顾合理性与忠实性的反事实解释模型，通过识别模型内部概念与滤波器生成忠实于模型决策逻辑的易懂视觉解释。
2025-01-12 cs.CV
DRIVE: Deep Reinforced Accident Anticipation with Visual Explanation
Rochester Institute of Technology（罗切斯特理工学院）
交通事故预测旨在从行车记录仪视频中准确、及时地预测未来事故的发生，这对于有安全保障的自动驾驶系统至关重要。为了鼓励早期和准确的决策，现有的方法通常侧重于在未来事故发生之前捕获空间和时间背景的线索。然而，他们的决策缺乏视觉解释，忽视了与环境的动态互动。在本文中，我们提出了深度强化的事故预测与视觉解释，命名为驱动器。该方法模拟自下而上和自上而下的视觉注意力机制在dashcam观察环境，使建议的随机多任务代理的决定可以直观地解释由关注区域。此外，提出的密集预期奖励和稀疏固定奖励是有效的训练驱动模型与我们的改进强化学习算法。实验结果表明，DRIVE模型在多个真实世界的交通事故数据集上达到了最先进的性能。代码和预训练模型可在\url{https://www.rit.edu/actionlab/drive}上获得。
2021-09-06 cs.CV
Visual Explanation via Similar Feature Activation for Metric Learning
Griffith University（格里菲斯大学）；Shaanxi University of Science and Technology（陕西科技大学）
本文提出了一种名为SFAM的可视化解释方法，用于度量学习模型中通过相似特征激活来提供可解释性视觉解释。
2025-12-29 cs.CV
FFAM: Feature Factorization Activation Map for Explanation of 3D Detectors
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
针对LiDAR 3D检测器缺乏可解释性的问题，提出FFAM，通过非负矩阵分解、特征梯度细化和体素上采样生成高质量全局及目标级视觉解释。
2024-05-21 cs.CV
Making Heads or Tails: Towards Semantically Consistent Visual Counterfactuals
Meta AI
视觉反事实解释用来自干扰物图像的区域替换查询图像中的图像区域，使得系统对变换后的图像的决定改变为干扰物类。在这项工作中，我们提出了一个新的框架计算视觉反事实的解释的基础上两个关键的想法。首先，我们强制执行的替换和替换区域包含相同的语义部分，从而在语义上更一致的解释。第二，我们使用多个干扰图像在计算效率的方式，并获得更多的歧视性的解释与更少的区域替换。我们的方法在语义上的一致性提高了27%，并且比三个细粒度图像识别数据集上的竞争方法快了一个数量级。我们强调我们的反事实的效用，通过机器教学实验，我们教人类对不同的鸟类物种进行分类现有的作品。我们还用对系统决策贡献最大的部件和属性的词汇来补充我们的解释。在这项任务中，我们获得了最先进的结果时，使用我们的反事实解释相对于现有的作品，加强语义一致的解释的重要性。源代码可在https://github.com/facebookresearch/visual-counterfactuals上获得。
2022-07-16 cs.CV
Attention Lattice Adapter: Visual Explanation Generation for Visual Foundation Model
Keio University（庆应大学）
本文提出注意力格适配器（ALA）和隔轮架构器（AEA）两种机制，通过部分更新参数生成视觉基础模型的可视化解释，在CUB-200-2011和ImageNet-S上显著超越基线方法。
2025-09-18 cs.CV
Attentive Explanations: Justifying Decisions and Pointing to the Evidence (Extended Abstract)
EECS, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（Facebook人工智能研究院）
深度模型是视觉决策问题的事实标准，因为它们在各种视觉任务上的表现令人印象深刻。另一方面，它们的不透明性导致了对可解释系统的兴趣激增。在这项工作中，我们强调模型解释的重要性，在各种形式，如视觉指向和文本的理由。缺乏具有调整注释的数据是生成多模态解释的瓶颈之一。因此，我们提出了两个带有注释的大规模数据集，可以从视觉和文本上证明各种活动（即ACT-X）和问答（即VQA-X）的分类决策的合理性。我们还介绍了一种多模态方法，用于同时生成视觉和文本解释。我们定量地表明，使用文本解释进行训练不仅会产生更好的文本合理性模型，而且还会产生更好地本地化支持其决策的证据的模型。
2017-11-17 cs.CV
MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations
Technical University of Denmark（丹麦技术大学）
本文提出MaskDiME，一种高效的扩散框架，通过局部采样实现语义一致性和空间精度，提升视觉反事实解释的效率和准确性。
2026-03-30 cs.CV
Sparse Visual Counterfactual Explanations in Image Space
University of Tübingen（图宾根大学）
图像空间中的视觉反事实解释（VCE）是理解图像分类器决策的重要工具，因为它们显示了在图像的哪些变化下分类器的决策会改变。它们在图像空间中的生成具有挑战性，并且由于对抗性示例的问题而需要鲁棒的模型。在图像空间中生成VCE的现有技术遭受背景中的虚假变化。我们的新的扰动模型的VCE连同其有效的优化，通过我们的新的自动弗兰克-沃尔夫计划产生稀疏的VCE，导致特定的目标类的细微变化。此外，我们还证明了VCE可以用于检测ImageNet分类器由于ImageNet数据集中的虚假特征而产生的不期望行为。
2022-09-29 cs.CV
Sampling Matters in Explanations: Towards Trustworthy Attribution Analysis Building Block in Visual Models through Maximizing Explanation Certainty
University of Galway（加拉维大学）
针对梯度积分归因分析中样本分布错位导致解释确定性低的问题，提出通过抑制输入特征的半最优采样方法，在ImageNet上验证其有效性及优越性。
2025-06-25 cs.CV
HIVE: Evaluating the Human Interpretability of Visual Explanations
Princeton University（普林斯顿大学）
随着人工智能技术越来越多地应用于高影响、高风险领域，出现了许多新方法，旨在使人工智能模型更具人类可解释性。尽管最近的可解释性工作的增长，有一个缺乏系统的评估建议的技术。在这项工作中，我们介绍了HIVE（视觉解释的人类可解释性），这是一种新型的人类评估框架，用于评估人工智能辅助决策场景中人类用户的解释效用，并实现可证伪的假设检验，跨方法比较和以人为中心的视觉可解释性方法评估。据我们所知，这是同类作品中的第一件。使用HIVE，我们进行了IRB批准的人体研究，有近1000名参与者，并评估了四种代表计算机视觉可解释性作品多样性的方法：GradCAM，BagNet，ProtoPNet和ProtoTree。我们的研究结果表明，即使是不正确的预测，解释也会产生人类的信任，但对于用户来说，这些解释并不足以区分正确和不正确的预测。我们开源HIVE，以支持未来的研究，并鼓励更多以人为本的方法来进行可解释性研究。
2022-07-21 cs.CV
ChartQA-X: Generating Explanations for Visual Chart Reasoning
Arizona State University（亚利桑那州立大学）
ChartQA-X通过生成图表解释提升视觉推理，其数据集包含30,799个图表样本，模型在解释质量和问答准确率上表现优异。
2025-12-04 cs.CV
IROF: a low resource evaluation metric for explanation methods
DTU Compute（丹麦技术大学计算学院）；Technical University Denmark（丹麦技术大学）
在医疗保健中采用机器学习取决于所用算法的透明度，因此需要解释方法。然而，尽管越来越多的文献解释神经网络，没有达成共识，如何评估这些解释方法。我们提出了IROF，一种新的方法来评估解释方法，避免了人工评估的需要。与其他最近的工作相比，我们的方法需要几个数量级的计算资源，没有人力投入，使其能够访问较低的资源组和强大的人类偏见。
2020-03-09 cs.CV
Adversarial Counterfactual Visual Explanations
University of Caen Normandie（卡昂诺曼底大学）；ENSICAEN（法国国立卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
反事实解释和对抗攻击有一个相关的目标：以最小的扰动翻转输出标签，而不管它们的特性如何。然而，对抗攻击不能直接用于反事实解释的角度，因为这种扰动被视为噪声，而不是可操作和可理解的图像修改。在鲁棒学习文献的基础上，本文提出了一种优雅的方法，将对抗攻击转化为语义上有意义的扰动，而无需修改分类器来解释。所提出的方法假设，去噪扩散概率模型是优秀的正则化，以避免高频和分布外的扰动时，产生对抗攻击。本文的核心思想是通过一个扩散模型对攻击进行优化。这允许研究目标模型，而不管其鲁棒化水平如何。大量的实验表明，我们的反事实解释方法的优势，目前国家的最先进的多个测试平台。
2023-03-17 cs.CV
medXGAN: Visual Explanations for Medical Classifiers through a Generative Latent Space
Northwestern University（西北大学）；Google（谷歌）
尽管深度学习在过去十年中激增，但由于其黑盒性质，一些用户对在实践中部署这些模型持怀疑态度。具体来说，在存在严重潜在影响的医疗领域，我们需要开发方法来获得对模型决策的信心。为此，我们提出了一种新的医学成像生成对抗框架，medX GAN（医学解释GAN），以直观地解释医学分类器在其二进制预测中的重点。通过对医学图像的领域知识进行编码，我们能够解开解剖结构和病理，通过潜在插值实现细粒度可视化。此外，我们优化了潜在空间，使得插值解释了特征如何对分类器的输出做出贡献。我们的方法优于基线，如协同加权类激活映射（梯度CAM）和集成协同在本地化和解释能力。此外，将medXGAN与集成子模型相结合可以产生对噪声更鲁棒的解释。该代码可从以下网址获取：https://avdravid.github.io/medXGAN_page/。
2022-04-17 cs.CV
Visualizing Global Explanations of Point Cloud DNNs
TU Dortmund（多特蒙德工业大学）
在自动驾驶和机器人领域，点云作为来自大多数主流3D传感器的原始数据显示出其出色的实时性能。因此，点云神经网络成为近年来的一个热门研究方向。然而，到目前为止，关于深度神经网络对点云的可解释性的讨论还很少。在本文中，我们提出了一个点云适用的可解释性方法的基础上，本地代理模型为基础的方法，以显示哪些组件有助于分类。此外，我们提出了定量的保真度验证生成的解释，提高说服力的解释性和比较现有的不同点云适用的解释性方法的可行性。我们新的可解释性方法为点云分类任务提供了一个相当准确，语义上更连贯和广泛适用的解释。我们的代码可在https://github.com/Explain3D/LIME-3D上获得
2022-03-28 cs.CV
Grounding and Explaining Visual Evidence for AI-Generated Image Detection in Human-Centric Scenes
针对以人为中心场景AI生成图像检测的证据定位与解释局限，提出HAVE数据集及PAVE框架，实现真伪预测、证据定位与解释生成，实验表现优异。
2026-09-01 cs.CV
Explanation-based Weakly-supervised Learning of Visual Relations with Graph Networks
KTH - Royal Institute of Technology（瑞典皇家理工学院）
视觉关系检测是整体图像理解的基础。然而，定位和分类（主语，谓语，宾语）三元组仍然具有挑战性的任务，由于可能的关系，其长尾分布在自然图像中的组合爆炸，和昂贵的注释过程。本文介绍了一种新的弱监督的视觉关系检测方法，依赖于最小的图像级谓词标签。训练图神经网络以从检测到的对象的图表示对图像中的谓词进行分类，隐式地对成对关系的归纳偏差进行编码。然后，我们框架的关系检测作为这样的谓词分类器的解释，即我们通过恢复预测谓词的主语和宾语来获得完整的关系。我们目前的结果与最近的完全和弱监督的方法在三个不同的和具有挑战性的数据集：HICO-DET的人与对象的交互，视觉关系检测的通用对象到对象的关系，和UnRel的不寻常的三胞胎;展示鲁棒性非全面的注释和良好的Few-Shot泛化。
2020-07-17 cs.CV
Visual Explanations from Spiking Neural Networks using Interspike Intervals
Yale University（耶鲁大学）
脉冲神经网络（SNN）计算并与异步二进制时间事件通信，这可以导致神经形态硬件的显著节能。最近在训练SNN方面的算法努力已经在各种分类任务上显示出具有竞争力的性能。然而，用于分析和解释这种时间深SNN的内部尖峰行为的可视化工具尚未被探索。在本文中，我们提出了一个新的概念，生物合理的可视化SNN，称为尖峰激活地图（SAM）。建议的SAM规避了不可微的特点，尖峰神经元，消除了需要计算梯度，以获得视觉解释。相反，SAM通过在不同的时间步长上向前传播输入尖峰来计算时间可视化图。SAM通过突出显示具有短尖峰间期活动的神经元来产生与输入数据的每个时间步相对应的注意力图。有趣的是，在没有反向传播过程和类标签的情况下，SAM突出显示图像的区分区域，同时捕获细粒度细节。通过SAM，我们首次全面分析了内部尖峰在各种SNN训练配置中的工作方式，具体取决于优化类型、泄漏行为以及面对对抗性示例时的情况。
2021-03-26 cs.CV
Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Texas A&M University（得克萨斯农工大学）；Wuhan University（武汉大学）
最近，人们越来越关注卷积神经网络的内部机制，以及网络做出特定决策的原因。在本文中，我们开发了一种新的事后视觉解释方法称为分数CAM类激活映射的基础上。与以往基于类激活映射的方法不同，Score-CAM通过激活映射在目标类上的前向传递得分来获得激活映射的权重，从而摆脱了对梯度的依赖，最终结果由权重和激活映射的线性组合获得。我们证明了分数CAM实现了更好的视觉性能和公平性解释的决策过程。我们的方法在识别和本地化任务上都优于以前的方法，它还通过了健全性检查。我们还指出它的应用程序作为调试工具。官方代码已经发布。
2020-04-13 cs.CV
Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Cisco Systems（思科系统公司）
在过去的十年中，卷积神经网络（CNN）模型在解决复杂的视觉问题方面取得了巨大的成功。然而，考虑到缺乏对其内部功能的理解，这些深层模型被视为“黑箱”方法。最近，人们对开发可解释的深度学习模型产生了浓厚的兴趣，本文就是朝着这个方向努力的。在最近提出的称为Grad-CAM的方法的基础上，我们提出了一种称为Grad-CAM++的通用方法，该方法可以提供对CNN模型预测的更好的视觉解释，与现有技术相比，该方法可以更好地定位对象，并解释单个图像中多个对象实例的出现。其使用最后卷积层特征映射相对于特定类别分数的正偏导数的加权组合作为权重来生成对应类别标签的视觉解释。我们在标准数据集上进行了大量的主观和客观实验和评估，结果表明，Grad-CAM++为给定的CNN架构提供了有前途的人类可解释的视觉解释，包括分类，图像标题生成和3D动作识别;以及新的设置，如知识蒸馏。
2018-11-09 cs.CV
Survey of explainable machine learning with visual and granular methods beyond quasi-explanations
Central Washington University（中央华盛顿大学）；University of Washington Tacoma（华盛顿大学塔科马分校）；Kensci Inc.（Kensci公司）
本文综述了机器学习（ML）可解释性的视觉方法，重点是从ML中占主导地位的准解释转向由颗粒视觉支持的特定领域解释。ML解释基本上是一种人类活动，视觉方法更容易解释。虽然存在高维数据的有效视觉表示，但可解释信息的丢失、遮挡和混乱仍然是一个挑战，这导致了准解释。我们从动机和可解释性的不同定义开始。本文重点讨论了准解释和领域特定解释之间的明确区别，以及可解释和实际解释的ML模型之间的区别，这些对于可解释性领域至关重要。我们讨论了可解释性的基础，概述了视觉可解释性，并提出了几种类型的方法来可视化ML模型。接下来，我们将基于最近引入的通用线坐标（GLC）概念，介绍ML模型的可视化发现方法，重点是可解释的模型。这些方法采取的关键步骤，创造视觉解释，不仅是准解释，但也是特定领域的视觉解释，而这些方法本身是领域不可知的。该文件包括理论上的限制，以保持n-D距离在较低的维度，基于约翰逊-林登施特劳斯引理，点到点和点到图的GLC方法，和现实世界的案例研究的结果。本文还涵盖了理解ML模型的传统视觉方法，包括深度学习和时间序列模型。我们发现，许多这些方法是准解释，需要进一步增强，成为特定领域的解释。最后，我们概述了开放的问题和当前的研究前沿。
2020-09-21 cs.CV cs.LG
FD-CAM: Improving Faithfulness and Discriminability of Visual Explanation for CNNs
Jilin University（吉林大学）
类激活图（CAM）是直观地解释卷积神经网络内部工作机制的重要工具。现有基于CAM的方法的关键是计算有效权重以组合目标卷积层中的激活图。现有的梯度和分数为基础的加权方案已显示出优越性，在确保无论是歧视性或忠诚的CAM，但他们通常不能在这两个属性。在本文中，我们提出了一种新的CAM加权方案，命名为FD-CAM，以提高基于CAM的CNN视觉解释的忠实性和可分辨性。首先，我们通过执行分组信道切换操作来提高基于分数的权重的忠实性和可辨别性。具体来说，对于每个通道，我们计算其相似性组，并同时打开或关闭通道组，以计算类预测得分的变化作为权重。然后，我们将改进的基于分数的权重与传统的基于梯度的权重相结合，使最终CAM的可辨别性可以进一步提高。我们进行了广泛的比较与国家的最先进的CAM算法。定量和定性的结果表明，我们的FD-CAM可以产生更忠实，更有区别的CNN的视觉解释。我们也进行了实验，以验证所提出的分组信道切换和权重组合方案对改善结果的有效性。我们的代码可在https://github.com/crishhh1998/FD-CAM上获得。
2022-06-17 cs.CV
Towards Human-Understandable Visual Explanations:Imperceptible High-frequency Cues Can Better Be Removed
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；imec-IDLab
可解释人工智能（XAI）方法专注于解释神经网络学到了什么-换句话说，识别对预测影响最大的特征。在本文中，我们称之为“区别特征”。然而，人类是否能够理解生成的解释还取决于这些特征对人类的感知能力。为了确保解释是人类可以理解的，我们认为，人类的能力，受人类视觉系统（HVS）和心理物理学，需要考虑。我们提出了XAI的{ \em人类可感知性原则}，指出为了生成人类可理解的解释，神经网络应该在训练过程中专注于人类可理解的线索。我们进行了一个关于真实与虚假人脸图像分类的案例研究，其中许多由标准神经网络提取的区别特征对人类来说是不可感知的。通过应用所提出的原则，一个神经网络与人类可理解的解释训练，在用户研究中，被证明是更好地符合人类的直觉。这可能会使人工智能更值得信赖，并为人类向机器学习打开大门。在案例研究中，我们具体研究和分析了神经网络和XAI方法中人类无法感知的高空间频率特征的行为。
2021-04-16 cs.CV
ICCV23 Visual-Dialog Emotion Explanation Challenge: SEU_309 Team Technical Report
Columbia University（哥伦比亚大学）；Southeast University（东南大学）
本研究针对ICCV23视觉对话情感解释挑战赛任务，结合LM与LVLM等前沿多模态模型生成艺术讨论中的情感解释，性能超越现有基准并夺冠，推进了对艺术情感影响的研究。
2024-07-13 cs.AI cs.CV
Visual Understanding and Narration: A Deeper Understanding and Explanation of Visual Scenes
U.S. Army Research Laboratory（美国陆军研究实验室）
我们描述了视觉理解和叙述的任务，其中机器人（或代理）生成文本的图像，它收集导航时，它的环境，通过回答开放式的问题，如“发生了什么，或可能发生了什么，在这里？'
2019-09-23 cs.CL cs.CV
Explaining with Counter Visual Attributes and Examples
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们的目的是解释决策的神经网络利用多模态信息。这就是当引入扰动样本时出现的反直观属性和反视觉示例。不同于以往的工作解释决策使用显着性图，文本，或视觉补丁，我们建议使用属性和反属性，和例子和反例的视觉解释的一部分。当人类解释视觉决策时，他们倾向于通过提供属性和示例来这样做。因此，受人类解释方式的启发，本文提供了基于属性和基于实例的解释。此外，人类也倾向于通过添加相反的属性和反例来解释他们的视觉决定，以解释没有看到的东西。我们引入定向扰动的例子，观察哪些属性值的变化时，分类到计数器类的例子。这提供了直观的反属性和反例。我们对粗粒度和细粒度数据集的实验表明，属性提供了区分和人类可理解的直观和反直观的解释。
2020-01-27 cs.CV
VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering
Faculty Of Information Technology, VNU University of Engineering and Technology（信息科技学院，越南工程与技术大学）；IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology（IT-BT融合技术部，越南-韩国科学技术院）；TADI Global Lab, TADI Global Company Limited（TADI全球实验室，TADI全球公司）；Faculty of Finance, Banking Academy of Vietnam（金融学院，越南银行学院）
针对当代VQA系统在越南文化特定内容上的限制，本文提出VietMEAgent多模态可解释框架，通过集成文化对象检测、结构化程序生成层及双模态解释模块，结合越南文化实体知识库，提升文化理解能力并提供透明解释。
2025-11-12 cs.CV
Multimodal Explanations by Predicting Counterfactuality in Videos
Preferred Networks；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本研究旨在利用多模态信息生成反事实解释。我们的目标不仅是将视频分类到特定类别，而且还提供解释为什么它没有被分类到具有视觉语言信息组合的特定类别。预期输出应满足的要求在本文中被称为反事实性：（1）视觉语言解释的兼容性，以及（2）特定的肯定/否定类的肯定/否定性。利用一个时空区域（管）和一个属性作为视觉和语言的解释分别，解释模型的训练预测的反事实的可能组合的多模态信息在事后的方式。通过引入一个新的神经网络层，即最大子路径层，可以有效地解决训练/推理过程中出现的优化问题。我们证明了这种方法的有效性与基线的动作识别数据集扩展这项任务的比较。此外，我们提供了信息理论的见解所提出的方法。
2019-05-20 cs.CV
FiRe: Fixed-Noise Refinement for Visual Counterfactual Explanations
Technical University of Denmark（丹麦技术大学）
FiRe是一种用于视觉反事实解释的固定噪声细化框架，通过映射到固定噪声水平迭代细化、适配Pixel Mean Flow及三项专属控制机制，实现了更快推理、更低运算量与优质反事实质量。
2026-08-11 cs.CV
MEGL: Multimodal Explanation-Guided Learning
Emory University（埃默里大学）；University of Michigan（密歇根大学）
本文提出多模态解释引导学习框架MEGL，通过融合视觉与文本解释并引入显著性驱动文本定位、文本监督和分布一致性损失，在Object-ME和Action-ME数据集上同时提升图像分类准确性与解释质量。
2024-11-20 cs.AI cs.CV cs.LG
Information-Theoretic Visual Explanation for Black-Box Classifiers
Seoul National University（首尔国立大学）；ASRI（自动化与系统研究院（注：ASRI为首尔国立大学下属自动化与系统研究院，此处保留缩写并直译））；INMC（跨学科微电子研究中心（注：INMC为首尔国立大学下属跨学科微电子研究中心，此处保留缩写并直译））；ISRC（智能系统研究中心（注：ISRC为首尔国立大学下属智能系统研究中心，此处保留缩写并直译））；Institute of Engineering Research, Seoul National University（首尔国立大学工程研究院）
在这项工作中，我们试图从信息论的角度来解释任何黑盒分类器的预测。对于每个输入特征，我们使用两个信息理论度量来比较具有和不具有该特征的分类器输出。相应地，我们得到两个属性图-信息增益（IG）图和逐点互信息（PMI）图。IG地图提供了一个独立于类别的答案“每个像素的信息量有多大？PMI图提供了一个类特定的解释，“每个像素支持特定类的程度是多少？”“与现有方法相比，我们的方法在定量指标方面提高了属性图的正确性。我们还提供了使用所提出的方法对ImageNet分类器的详细分析，代码可以在线获得。
2021-07-16 cs.CV
Clarity: an improved gradient method for producing quality visual counterfactual explanations
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
视觉反事实解释识别对图像的修改，这些修改将改变分类器的预测。我们提出了一套基于生成模型（VAE）和分类器集成直接训练的潜在空间，这一切在一起，提高计算视觉反事实所需的梯度的质量的技术。这些改进导致了一种新的分类模型Clarity，它可以对所有图像产生逼真的反事实解释。我们还提出了几个实验，让我们深入了解为什么这些技术导致更好的质量比文献中的结果。所产生的解释与最先进的竞争力，并强调选择一个有意义的输入空间进行培训的重要性。
2022-11-22 cs.CV cs.LG
Semantic Prioritization in Visual Counterfactual Explanations with Weighted Segmentation and Auto-Adaptive Region Selection
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）
针对非生成式视觉反事实解释忽略替换区域语义相关性的问题，本文提出WSAE-Net，通过加权语义图与自适应编辑序列提升计算效率与语义相关性，实验验证其性能更优。
2025-11-17 cs.CV
Faithful Multimodal Explanation for Visual Question Answering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
人工智能系统解释其推理的能力对其实用性和可信度至关重要。深度神经网络在许多具有挑战性的问题上取得了重大进展，例如视觉问答（VQA）。然而，其中大多数是不透明的黑匣子，解释能力有限。本文提出了一种新的方法来开发一个高性能的VQA系统，可以阐明它的答案与集成的文本和视觉解释，忠实地反映其基本推理的重要方面，同时捕捉可理解的人类解释的风格。广泛的实验评估表明，这种方法的优势相比，竞争的方法与自动评估指标和人类的评估指标。
2019-06-03 cs.CL cs.CV
VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；University of Rochester（罗切斯特大学）
现有的视觉问答（VQA）研究大多致力于提高预测答案的准确性，而忽略了对答案的解释。我们认为，答案的解释是相同的，甚至更重要的答案本身相比，因为它使问答过程更容易理解和可追溯。为此，我们提出了一个新的任务VQA-E（VQA与解释），其中的计算模型需要产生一个解释与预测的答案。我们首先构建一个新的数据集，然后在多任务学习架构中构建VQA-E问题。我们的VQA-E数据集是通过智能地利用可用的字幕自动从VQA v2数据集派生出来的。我们已经进行了用户研究，以验证我们的方法合成的解释的质量。我们定量地表明，额外的监督，从解释不仅可以产生有见地的文本句子，以证明答案，但也提高了答案预测的性能。我们的模型在VQA v2数据集上明显优于最先进的方法。
2018-08-25 cs.CV
Towards Visually Explaining Video Understanding Networks with Perturbation
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；ETH Zürich（苏黎世联邦理工学院）
“让黑盒模型变得可解释”是伴随着深度学习网络发展的一个重要问题。对于以视觉信息作为输入的网络，一个基本但具有挑战性的解释方法是识别和可视化主导网络预测的输入像素/区域。然而，大多数现有的作品集中在解释网络采取单一的图像作为输入，并没有考虑存在于视频的时间关系。提供一种易于使用的视觉解释方法，适用于视频理解网络的多样化结构仍然是一个开放的挑战。在本文中，我们研究了一个通用的扰动为基础的方法，直观地解释视频理解网络。此外，我们提出了一种新的损失函数，以提高其结果在空间和时间维度上的平滑性的限制的方法。该方法使得不同网络结构之间的解释结果的比较成为可能，并且还可以避免对视频输入产生病态的对抗性解释。实验对比结果验证了该方法的有效性。
2020-11-09 cs.CV
Language Model as Visual Explainer
National University of Singapore（新加坡国立大学）
本研究提出无需训练的视觉模型解释方法LVX，通过LLM与视觉模型协同构建层级视觉嵌入树生成可解释树状结果，还可用于模型校准重训练，经新基准验证具备合理性、忠实性与稳定性。
2024-12-08 cs.CV
CLEVR-X: A Visual Reasoning Dataset for Natural Language Explanations
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
在视觉问答（VQA）的背景下提供解释是机器学习中的一个基本问题。为了详细了解为VQA生成自然语言解释的过程，我们引入了大规模CLEVR-X数据集，该数据集扩展了CLEVR数据集，并提供了自然语言解释。对于CLEVR数据集中的每个图像-问题对，CLEVR-X包含多个结构化的文本解释，这些解释来自原始场景图。通过构造，CLEVR-X解释是正确的，并描述了回答给定问题所需的推理和视觉信息。我们进行了一项用户研究，以确认我们提出的数据集中的地面实况解释确实是完整和相关的。我们目前的基准结果生成自然语言解释的背景下，VQA使用两个国家的最先进的框架上的CLEVR-X数据集。此外，我们提供了一个详细的分析不同的问题和答案类型的解释生成质量。此外，我们研究了使用不同数量的地面实况解释对自然语言生成（NLG）度量收敛的影响。CLEVR-X数据集可在\url{https://explainableml.github.io/CLEVR-X/}上公开获取。
2022-04-05 cs.CL cs.CV
Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks
KU Leuven（鲁汶大学）
深度模型的解释和解释对于依赖它们的系统的广泛采用至关重要。在本文中，我们提出了一种新的解释和解释方案，其中，给定一个预训练模型，我们自动识别与模型所考虑的类集相关的内部特征，而不依赖于额外的注释。我们通过对这组减少的特征的平均可视化来解释模型。然后，在测试时，我们通过将预测的类标签与从识别的特征中获得的支持可视化一起解释网络预测。此外，我们提出了一种方法来解决跨操作在deconvNet为基础的可视化引入的文物。在MNIST、ILSVRC 12、Fashion144k和an8Flower数据集上的实验表明，本文提出的方法能够得到详细的解释，并能很好地覆盖感兴趣类的相关特征
2019-03-08 cs.CV cs.LG stat.ML
Visual Explanations via Iterated Integrated Attributions
Tel Aviv University（特拉维夫大学）；The Open University（开放大学）
本文提出迭代积分归因方法，通过在输入图像、内部表示及梯度间迭代积分生成精确解释图，并在多任务、多数据集和多架构上验证其优于现有技术。
2023-10-28 cs.AI cs.CV
Embedding Deep Networks into Visual Explanations
Oregon State University（俄勒冈州立大学）；Tencent（腾讯）
在本文中，我们提出了一种新的解释神经网络（XNN）来解释深度网络所做的预测。XNN通过学习将深度网络层的高维激活向量非线性嵌入到低维解释空间中来工作，同时保持忠实性，即，原始的深度学习预测可以从我们的解释网络提取的几个概念中构建。然后，我们将这些概念可视化，让人类了解深层网络用于决策的高级概念。我们提出了一个算法称为稀疏重建自动编码器（SRAE）学习嵌入的解释空间。SRAE的目标是重建原始特征空间的一部分，同时保持忠实性。在SRAE中引入拉离项，使解释空间的基更加正交。一个可视化系统，然后介绍了人类的理解的解释空间中的功能。所提出的方法被应用于解释图像分类任务中的CNN模型。我们进行了一项人体研究，结果表明，该方法优于单一显着性图基线，并提高了人类在困难的分类任务上的表现。此外，几个新的指标被引入到定量评估的解释性能没有人的参与。
2020-12-11 cs.AI cs.CV
TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释，以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时，设计有效和人性化的技术至关重要。反事实符合人类的思维方式，并提供人性化的解释，其相应的解释算法是指对给定数据点进行策略性的交替，使其模型输出“反事实”，即预测被还原。在本文中，我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法，可以给出一个反事实的解释，通过显示组成的反事实的特征图，使用自顶向下的层搜索算法（TDLS）。我们已经证明，我们的TDLS算法可以提供更灵活的反事实的视觉解释，在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后，我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
Towards Visual Saliency Explanations of Face Verification
EPFL（洛桑联邦理工学院）
本文针对深度人脸识别缺乏可解释性的问题，提出了一种新的模型无关的人脸验证解释框架，包含基于显著性的解释定义、名为CorrRISE的显著性图生成方法及相应的评估方法，并在视觉与定量实验中取得了优于现有方法的效果。
2023-10-24 cs.CV eess.IV
Interpretable and Fine-Grained Visual Explanations for Convolutional Neural Networks
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）；University of Bonn（波恩大学）
为了验证和验证网络，必须深入了解它们的决策、局限性以及训练数据的可能缺陷。在这项工作中，我们提出了一个事后，基于优化的视觉解释方法，它突出了输入图像中的证据，用于特定的预测。我们的方法是基于一种新的技术，通过在优化过程中过滤梯度来防御对抗性证据（即由于人为因素造成的错误证据）。防御不依赖于人为调整的参数。它可以实现既细粒度又保留图像特征（如边缘和颜色）的解释。这些解释是可解释的，适合于可视化详细的证据，并且可以进行测试，因为它们是有效的模型输入。我们在大量模型和数据集上定性和定量地评估我们的方法。
2019-08-07 cs.CV cs.LG
Robust Explanations for Visual Question Answering
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在本文中，我们提出了一种方法来获得强大的解释视觉问答（VQA）的答案相关性很好。我们的模型通过提供视觉和文本解释来解释通过VQA模型获得的答案。我们解决的主要挑战是：i）通过当前方法获得的答案和文本解释没有很好的相关性; ii）当前的视觉解释方法没有关注解释答案的正确位置。我们通过使用协作相关模块来解决这两个挑战，该模块确保即使我们不针对基于噪声的攻击进行训练，增强的相关性也确保可以生成正确的解释和答案。我们进一步表明，这也有助于改善生成的视觉和文本解释。相关模块的使用可以被认为是一种验证答案和解释是否一致的鲁棒方法。我们使用VQA-X数据集评估该模型。我们观察到，所提出的方法产生更好的文本和视觉的理由，支持的决定。我们展示了该模型对基于噪声的扰动攻击的鲁棒性，使用相应的视觉和文本解释。详细的实证分析显示。这里我们提供了模型\url{https://github.com/DelTA-Lab-IITK/CCM-WACV}的源代码链接。
2020-01-23 cs.AI cs.CL cs.CV
