Latent Diffusion Counterfactual Explanations
University of Freiburg（弗赖堡大学）
针对反事实生成中噪声梯度问题，提出基于潜在扩散模型的LDCE方法，利用共识引导机制过滤对抗性梯度，提升生成质量并洞察模型错误。
2023-10-10 cs.CV cs.LG
V-CECE: Visual Counterfactual Explanations via Conceptual Edits
National Technical University of Athens（国家技术大学雅典）
V-CECE通过概念编辑生成反事实解释，无需训练即可产生人类水平的可解释性结果。
2025-12-05 cs.AI cs.CV
GANterfactual - Counterfactual Explanations for Medical Non-Experts using Generative Adversarial Learning
Augsburg University（奥格斯堡大学）
随着机器学习的不断兴起，对解释由人工智能系统做出的决策的方法的需求正在成为一个越来越重要的话题。特别是对于图像分类任务，解释这种分类器的许多现有技术工具依赖于输入数据的重要区域的视觉突出显示。相反，反事实解释系统试图通过以分类器会做出不同预测的方式修改输入图像来实现反事实推理。通过这样做，反事实解释系统的用户配备了一种完全不同的解释信息。然而，为图像分类器生成逼真的反事实解释的方法仍然很少。特别是在医疗环境中，相关信息通常由纹理和结构信息组成，高质量的反事实图像有可能为决策过程提供有意义的见解。在这项工作中，我们提出了GANterfactual，一种基于对抗性图像到图像翻译技术生成这种反事实图像解释的方法。此外，我们还进行了一项用户研究，以评估我们在示例性医疗用例中的方法。我们的研究结果表明，在所选的医疗用例中，反事实解释在心理模型、解释满意度、信任、情绪和自我效能方面的结果明显优于两个使用显着性图的最先进系统，即LIME和LRP。
2021-08-05 cs.AI cs.CV cs.HC
Counterfactual Explanation of Brain Activity Classifiers using Image-to-Image Transfer by Generative Adversarial Network
Okayama University（冈山大学）；Japan Science and Technology Agency（日本科学技术振兴机构）；Rikkyo University（立教大学）；National Institute for Physiological Sciences（生理学研究所）；Araya Inc.（Araya 公司）；Keio University（庆应义塾大学）
深度神经网络（DNN）可以从大脑激活中准确解码与任务相关的信息。然而，由于DNN的非线性，DNN做出的决策很难解释。解释这种黑箱系统的一个有希望的方法是反事实解释。在这个框架中，一个黑盒系统的行为是通过比较真实的数据和现实的合成数据，特别是生成，使得黑盒系统输出一个不真实的结果来解释。在这里，我们介绍了一种新的生成DNN（反事实激活生成器，CAG），可以为基于DNN的大脑激活分类器提供反事实解释。重要的是，CAG可以同时处理与不同行为任务相关的多个类之间的图像转换。使用CAG，我们展示了基于DNN的分类器的反事实解释，这些分类器学会了区分七个行为任务的大脑激活。此外，通过CAG的迭代应用，我们能够增强和提取影响分类器决策的细微空间大脑活动模式。总之，这些结果表明，基于图像到图像变换的反事实解释将是一种很有前途的方法来理解和扩展DNN在fMRI分析中的当前应用。
2021-10-28 cs.CV cs.LG q-bio.NC
STEEX: Steering Counterfactual Explanations with Semantics
Sorbonne University（索邦大学）
随着深度学习模型越来越多地用于安全关键型应用，可解释性和可信度成为主要问题。对于简单的图像，例如低分辨率的人脸肖像，最近提出了合成视觉反事实解释的方法来揭示训练分类模型的决策机制。在这项工作中，我们解决了高质量的图像和复杂的场景产生反事实的解释的问题。利用最近的语义到图像模型，我们提出了一个新的生成反事实的解释框架，产生合理的和稀疏的修改，保持整体场景结构。此外，我们引入了“区域为目标的反事实解释”的概念，和相应的框架，用户可以通过指定一组语义区域的查询图像的解释必须是关于指导反事实的生成。在具有挑战性的数据集上进行了广泛的实验，包括高质量的肖像（CelebAMask-HQ）和驾驶场景（BDD 100 k）。代码可在https://github.com/valeoai/STEEX上获得
2022-07-18 cs.CV
Generating Counterfactual Explanations with Natural Language
University of California, Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）
深度神经网络决策的自然语言解释为人工智能智能体阐明推理过程提供了一种直观的方式。当前的文本解释学习讨论图像中的类别区分特征。然而，理解哪些属性如果存在于图像中则可能改变分类决策也是有帮助的（例如，“这不是猩红唐纳雀，因为它没有黑色的翅膀。我们称这种文本解释为反事实解释，并提出了一种直观的方法来生成反事实解释，通过检查输入中缺少哪些证据，但如果存在于图像中，则可能有助于不同的分类决策。为了证明我们的方法，我们考虑一个细粒度的图像分类的任务，我们作为输入的图像和一个反事实类和输出文本，解释了为什么图像不属于反事实类。然后，我们分析我们生成的反事实的解释定性和定量使用建议的自动度量。
2018-06-26 cs.CV
SCOUT: Self-aware Discriminant Counterfactual Explanations
University of California, San Diego（加州大学圣地亚哥分校）
反事实的视觉解释的问题被认为是。引入了一个新的判别式解释族。这些产生的热图将高分归因于提供分类器预测信息但不提供计数器类信息的图像区域。他们将基于单一热图的属性解释与反事实解释联系起来，后者既解释了预测类，又解释了反类。后者被证明是可计算的组合的两个判别式的解释，与反向类对。有人认为，自我意识，即产生分类置信度分数的能力，是很重要的判别式解释的计算，寻求识别区域，它是很容易区分预测和计数器类。这表明通过三个属性图的组合来计算判别解释。由此产生的反事实解释是无优化的，因此比以前的方法快得多。为了解决他们的评价困难，代理任务和一套定量指标也提出了。该协议下的实验表明，所提出的反事实解释优于现有技术，同时实现更高的速度，为流行的网络。在人类学习机器教学实验中，它们还将学生的平均准确率从偶然水平提高到95%。
2020-04-16 cs.CV
MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations
Technical University of Denmark（丹麦技术大学）
本文提出MaskDiME，一种高效的扩散框架，通过局部采样实现语义一致性和空间精度，提升视觉反事实解释的效率和准确性。
2026-03-30 cs.CV
Making Heads or Tails: Towards Semantically Consistent Visual Counterfactuals
Meta AI
视觉反事实解释用来自干扰物图像的区域替换查询图像中的图像区域，使得系统对变换后的图像的决定改变为干扰物类。在这项工作中，我们提出了一个新的框架计算视觉反事实的解释的基础上两个关键的想法。首先，我们强制执行的替换和替换区域包含相同的语义部分，从而在语义上更一致的解释。第二，我们使用多个干扰图像在计算效率的方式，并获得更多的歧视性的解释与更少的区域替换。我们的方法在语义上的一致性提高了27%，并且比三个细粒度图像识别数据集上的竞争方法快了一个数量级。我们强调我们的反事实的效用，通过机器教学实验，我们教人类对不同的鸟类物种进行分类现有的作品。我们还用对系统决策贡献最大的部件和属性的词汇来补充我们的解释。在这项任务中，我们获得了最先进的结果时，使用我们的反事实解释相对于现有的作品，加强语义一致的解释的重要性。源代码可在https://github.com/facebookresearch/visual-counterfactuals上获得。
2022-07-16 cs.CV
COGENT: Counterfactual Gaussian Explanations for Volumetric Medical Images
COGENT是基于MedGS和Sybil模型的框架，通过高斯体积表示的反事实优化，为肺部CT扫描提供具有临床意义的稀疏可解释性，优于现有方法。
2026-08-13 cs.CV
Faithful Counterfactual Visual Explanations (FCVE)
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）；The City School Ravi Campus（拉维校区城市学校）；Middlesex University London（伦敦密德萨斯大学）
针对现有计算机视觉可解释方法难以为非专家提供可信解释、无法准确反映模型内在决策过程的问题，提出一种兼顾合理性与忠实性的反事实解释模型，通过识别模型内部概念与滤波器生成忠实于模型决策逻辑的易懂视觉解释。
2025-01-12 cs.CV
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin（都柏林大学）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk科学基金会爱尔兰研究中心）
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能（XAI）问题的流行解决方案，因为它们具有心理有效性，跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法，声称可以产生类似于人们偏好的合理解释，但实际上很少有用户进行过测试（$\sim7\%$）。因此，这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决，该方法（i）在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释，然后（ii）将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明，人类不“最低限度地编辑”图像时，产生反事实的解释。相反，它们会进行更大的、“有意义的”编辑，以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
Clarity: an improved gradient method for producing quality visual counterfactual explanations
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
视觉反事实解释识别对图像的修改，这些修改将改变分类器的预测。我们提出了一套基于生成模型（VAE）和分类器集成直接训练的潜在空间，这一切在一起，提高计算视觉反事实所需的梯度的质量的技术。这些改进导致了一种新的分类模型Clarity，它可以对所有图像产生逼真的反事实解释。我们还提出了几个实验，让我们深入了解为什么这些技术导致更好的质量比文献中的结果。所产生的解释与最先进的竞争力，并强调选择一个有意义的输入空间进行培训的重要性。
2022-11-22 cs.CV cs.LG
TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释，以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时，设计有效和人性化的技术至关重要。反事实符合人类的思维方式，并提供人性化的解释，其相应的解释算法是指对给定数据点进行策略性的交替，使其模型输出“反事实”，即预测被还原。在本文中，我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法，可以给出一个反事实的解释，通过显示组成的反事实的特征图，使用自顶向下的层搜索算法（TDLS）。我们已经证明，我们的TDLS算法可以提供更灵活的反事实的视觉解释，在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后，我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations
Element AI；MILA（蒙特利尔学习算法研究所）；UdeM（蒙特利尔大学）；McGill University（麦吉尔大学）；HEC Montreal（蒙特利尔高等商学院）
考虑到部署更可靠的机器学习系统的重要性，机器学习模型的可解释性在研究界得到了相当大的关注。在计算机视觉应用中，生成反事实方法指示如何扰动模型的输入以改变其预测，提供有关模型决策的细节。目前的方法往往会产生关于模型决策的琐碎反事实，因为它们经常建议夸大或删除被分类属性的存在。对于机器学习从业者来说，这些类型的反事实几乎没有价值，因为它们没有提供关于不期望的模型或数据偏差的新信息。在这项工作中，我们确定了平凡的反事实生成的问题，我们提出了潜水来减轻它。潜水学习扰动的解纠缠的潜在空间，使用多样性强制损失的约束，以揭示多个有价值的解释模型的预测。此外，我们引入了一种机制，以防止模型产生琐碎的解释。在CelebA和Syndrome上的实验表明，与以前最先进的方法相比，我们的模型提高了产生高质量有价值解释的成功率。代码可在https://github.com/ElementAI/beyond-trivial-explanations上获得。
2021-11-11 cs.CV cs.LG
Explanation-Driven Counterfactual Testing for Faithfulness in Vision-Language Model Explanations
Mercedes-Benz Research & Development North America（梅赛德斯-奔驰研究与开发北美）
针对视觉-语言模型自然语言解释合理性与忠实性不匹配的问题，提出全自动化的解释驱动反事实测试方法，通过解析解释、生成反事实编辑、计算反事实一致性得分，验证解释的因果忠实性并提供合规审计依据。
2025-09-27 cs.AI cs.CV
OCTET: Object-aware Counterfactual Explanations
Sorbonne Université（索邦大学）
如今，深度视觉模型被广泛部署在安全关键应用中，例如，自动驾驶，以及这种模型的可解释性正在成为一个紧迫的问题。在解释方法中，反事实解释的目的是找到对输入图像的最小和可解释的变化，这些变化也会改变要解释的模型的输出。这些解释为最终用户指出了影响模型决策的主要因素。然而，以前的方法很难解释在具有许多对象的图像上训练的决策模型，例如，城市场景，这是更难的工作，但也可以说更关键的解释。在这项工作中，我们建议解决这个问题，以对象为中心的框架，反事实的解释生成。我们的方法，最近的生成建模作品的启发，编码查询图像到一个潜在的空间，结构化的方式，以减轻对象级的操作。这样做，它为最终用户提供了对哪些搜索方向（例如，对象的空间位移、样式修改等）都将在反事实的世代中被探索我们对驾驶场景的反事实解释基准进行了一系列实验，我们表明我们的方法可以超越分类，例如，来解释语义分割模型。为了完成我们的分析，我们设计并运行了一个用户研究，该研究测量了反事实解释在理解决策模型方面的有用性。代码可在https://github.com/valeoai/OCTET上获得。
2023-03-24 cs.AI cs.CV
DeDUCE: Generating Counterfactual Explanations Efficiently
University of Oxford（牛津大学）
当图像分类器输出错误的类别标签时，查看图像中的哪些变化会导致正确的分类可能会有所帮助。这就是算法生成反事实解释的目的。然而，没有容易扩展的方法来生成这样的反事实。我们开发了一种新的算法，提供反事实的解释，以低计算成本的光谱归一化训练的大型图像分类器。我们根据经验将该算法与文献中的基线进行比较;我们的新算法始终发现更接近原始输入的反事实。与此同时，这些反事实的现实性与基线相当。所有实验的代码可在https://github.com/benedikthoeltgen/DeDUCE获得。
2021-11-29 cs.CV cs.LG stat.ML
Deep Learning for Medical Imaging From Diagnosis Prediction to its Counterfactual Explanation
University of Utah（犹他大学）
深度神经网络（DNN）在计算机视觉任务中取得了前所未有的性能，在商业、技术和科学领域几乎无处不在。虽然在设计高度精确的架构并提供可用的模型解释方面做出了大量努力，但大多数最先进的方法首先是为自然视觉设计的，然后再转化为医学领域。本文试图通过提出新的架构来解决这一差距，该架构将医学成像的特定领域约束集成到DNN模型和解释设计中。
2022-09-07 cs.CV eess.IV
EDCT-Bench: Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing
Mercedes-Benz Research & Development North America（梅赛德斯-奔驰北美研发中心）
提出EDCT协议与EDCT-Bench基准，通过反事实测试揭示VLM解释与视觉证据的忠实性差距，并证明其生成数据对微调有高价值。
2026-09-17 cs.AI cs.CV
Explaining the Black-box Smoothly- A Counterfactual Approach
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh Medical School（匹兹堡大学医学院）
我们提出了一个黑盒反事实解释器，旨在解释医学应用的图像分类模型。传统方法（例如，显著性图）不能解释重要解剖区域中的成像特征“如何”与分类决策相关。我们的框架解释了一个目标类的决定，逐步“夸大”类的语义效果在查询图像。我们采用了一个生成对抗网络（GAN）来生成一个渐进的扰动集的查询图像，这样的分类决策从原来的类改变到它的否定。我们使用框架中的反事实解释来审核在具有多个标签的胸部X射线数据集上训练的分类器。我们提出了临床相关的定量指标，如心胸比率和健康的肋膈隐窝评分，以评估我们的解释。我们与诊断放射科住院医师进行了一项基于人类的实验，通过评估解释的不同方面来比较不同风格的解释（无解释，显着性图，cycleGAN解释和我们的反事实解释）：（1）可理解性，（2）分类器的决策理由，（3）视觉质量，（d）身份保留，以及（5）解释对用户的整体帮助。我们的研究结果表明，我们的反事实的解释是唯一的解释方法，显着提高了用户的理解分类器的决定相比，无解释基线。我们的指标建立了一个基准，用于评估模型解释方法在医学图像。我们的解释表明，分类器依赖于临床相关的放射学特征进行诊断决策，从而使其决策过程对最终用户更加透明。
2022-11-18 cs.CV eess.IV
Counterfactual Visual Explanations
Georgia Institute of Technology（佐治亚理工学院）；Siemens Corporation（西门子公司）
在这项工作中，我们开发了一种技术来产生反事实的视觉解释。给定视觉系统预测类$c$的“查询”图像$I$，反事实视觉解释标识$I$如何改变，使得系统将输出不同的指定类$c'$。为此，我们选择系统预测为类$c'$的“干扰项”图像$I'$，并识别$I$和$I'$中的空间区域，使得用$I'$中的识别区域替换$I$中的识别区域将推动系统将$I$分类为$c'$。我们将我们的方法应用于多个图像分类数据集，生成定性结果，展示我们的反事实解释的可解释性和判别力。为了探索我们的解释在教人类的有效性，我们提出了细粒度的鸟类分类任务的机器教学实验。我们发现，用户训练区分鸟类票价更好时，除了训练样本获得反事实的解释。
2019-06-11 cs.AI cs.CV cs.LG
CheXplaining in Style: Counterfactual Explanations for Chest X-rays using StyleGAN
Technical University of Munich（慕尼黑工业大学）；Klinikum rechts der Isar（伊萨尔河畔临床教学中心）
用于医学图像分析的深度学习模型由于其黑箱性质而容易引起可靠性问题。为了阐明这些黑盒模型，以前的工作主要集中在识别输入特征对诊断的贡献，即，特征属性在这项工作中，我们探索反事实的解释，以确定模型依赖于什么样的模式进行诊断。具体来说，我们研究了胸部X射线内的变化特征对分类器输出的影响，以了解其决策机制。我们利用基于StyleGAN的方法（StyleEx）通过操纵潜在空间中的特定潜在方向来为胸部X射线创建反事实解释。此外，我们提出了EigenFind显着减少生成的解释的计算时间。我们在放射科医生的帮助下，从临床上评估我们的反事实解释的相关性。我们的代码是公开的。
2022-07-15 cs.CV cs.LG eess.IV
On the Connection between Game-Theoretic Feature Attributions and Counterfactual Explanations
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文建立博弈论特征归因（以 SHAP 为代表）与反事实解释的理论等价关系，扩展至更多博弈论解概念，并通过三数据集实验验证相关条件与局限。
2023-07-13 cs.AI cs.CV cs.GT
