Explaining in Diffusion: Explaining a Classifier Through Hierarchical Semantics with Text-to-Image Diffusion Models
Virginia Tech(弗吉尼亚理工大学)
提出 DiffEx 方法,利用文本到图像 diffusion 模型和视觉-语言模型生成层次化语义列表,支持单概念及多概念复杂场景分类器的决策解释,覆盖语义范围更广且更细粒度。
2024-12-24 cs.CV
Evaluating and Mitigating Bias in Image Classifiers: A Causal Perspective Using Counterfactuals
Microsoft Research(微软研究院);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
输入的反事实示例-改变特定特征但不改变其他特征的扰动-已被证明可用于评估机器学习模型的偏差,例如,针对特定人口群体。然而,由于图像的各种特征的潜在因果结构,为图像生成反事实示例是不平凡的。为了有意义,生成的扰动需要满足因果模型隐含的约束。我们提出了一种方法,通过将结构因果模型(SCM)的逆向学习推理(ALI),生成反事实,根据图像的属性之间的因果关系的改进的变体生成反事实。基于生成的反事实,我们展示了如何解释预训练的机器学习分类器,评估其偏差,并使用反事实正则化器减轻偏差。在Morpho-MNIST数据集上,我们的方法生成的反事实在质量上与之前基于SCM的反事实(DeepSCM)的工作相当,而在更复杂的CelebA数据集上,我们的方法在生成高质量的有效反事实方面优于DeepSCM。此外,生成的反事实与人类评估实验中的重建图像无法区分,我们随后使用它们来评估在CelebA数据上训练的标准分类器的公平性。我们表明,分类器是有偏见的w.r.t.皮肤和头发的颜色,以及反事实正则化如何消除这些偏见。
2022-01-06 cs.CV cs.LG
Sparse Visual Counterfactual Explanations in Image Space
University of Tübingen(图宾根大学)
图像空间中的视觉反事实解释(VCE)是理解图像分类器决策的重要工具,因为它们显示了在图像的哪些变化下分类器的决策会改变。它们在图像空间中的生成具有挑战性,并且由于对抗性示例的问题而需要鲁棒的模型。在图像空间中生成VCE的现有技术遭受背景中的虚假变化。我们的新的扰动模型的VCE连同其有效的优化,通过我们的新的自动弗兰克-沃尔夫计划产生稀疏的VCE,导致特定的目标类的细微变化。此外,我们还证明了VCE可以用于检测ImageNet分类器由于ImageNet数据集中的虚假特征而产生的不期望行为。
2022-09-29 cs.CV
FiRe: Fixed-Noise Refinement for Visual Counterfactual Explanations
Technical University of Denmark(丹麦技术大学)
FiRe是一种用于视觉反事实解释的固定噪声细化框架,通过映射到固定噪声水平迭代细化、适配Pixel Mean Flow及三项专属控制机制,实现了更快推理、更低运算量与优质反事实质量。
2026-08-11 cs.CV
Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification
National Institute of Technology Durgapur(杜尔加布尔国立技术学院);IIT Kanpur(坎普尔印度理工学院)
研究针对视网膜疾病分类中深度学习框架可解释性瓶颈问题,提出CounterFundus框架,结合CycleGAN实现疾病到正常眼底图像转换以提供反事实解释,引入CCAS量化一致性,提升了分类性能,成为可解释的视网膜疾病检测XAI框架。
2026-07-24 cs.CV cs.LG
Looking in the mirror: A faithful counterfactual explanation method for interpreting deep image classification models
Australian Institute for Machine Learning, University of Adelaide, Australia(澳大利亚机器学习研究所,阿德莱德大学,澳大利亚);Deakin University, Australia(德肯大学,澳大利亚);Flinders University, Australia(弗林德斯大学,澳大利亚)
本文提出Mirror-CFE方法,直接在分类器特征空间中将决策边界视为镜子生成反事实解释,在保持输入相似性的同时提升有效性,并实现决策过程的可解释可视化。
2025-09-20 cs.CV
Explaining Low Perception Model Competency with High-Competency Counterfactuals
University of California, Berkeley(加州大学伯克利分校)
本文提出五种生成高能力反事实图像的方法,用于解释模型预测不确定性的原因,并通过实验验证了其在生成语言解释中的有效性。
2025-04-07 cs.AI cs.CV cs.LG
Explaining the Black-box Smoothly- A Counterfactual Approach
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh Medical School(匹兹堡大学医学院)
我们提出了一个黑盒反事实解释器,旨在解释医学应用的图像分类模型。传统方法(例如,显著性图)不能解释重要解剖区域中的成像特征“如何”与分类决策相关。我们的框架解释了一个目标类的决定,逐步“夸大”类的语义效果在查询图像。我们采用了一个生成对抗网络(GAN)来生成一个渐进的扰动集的查询图像,这样的分类决策从原来的类改变到它的否定。我们使用框架中的反事实解释来审核在具有多个标签的胸部X射线数据集上训练的分类器。我们提出了临床相关的定量指标,如心胸比率和健康的肋膈隐窝评分,以评估我们的解释。我们与诊断放射科住院医师进行了一项基于人类的实验,通过评估解释的不同方面来比较不同风格的解释(无解释,显着性图,cycleGAN解释和我们的反事实解释):(1)可理解性,(2)分类器的决策理由,(3)视觉质量,(d)身份保留,以及(5)解释对用户的整体帮助。我们的研究结果表明,我们的反事实的解释是唯一的解释方法,显着提高了用户的理解分类器的决定相比,无解释基线。我们的指标建立了一个基准,用于评估模型解释方法在医学图像。我们的解释表明,分类器依赖于临床相关的放射学特征进行诊断决策,从而使其决策过程对最终用户更加透明。
2022-11-18 cs.CV eess.IV
Factored Classifier-Free Guidance
Department of Computing, Imperial College London, UK(伦敦帝国理工学院计算系)
本文提出因子分类器无关引导方法,通过因果图实现属性级控制,提升反事实推理的严谨性和可逆性。
2026-05-07 cs.AI cs.CV
Augmentation by Counterfactual Explanation -- Fixing an Overconfident Classifier
University of Pittsburgh(匹兹堡大学);Meta AI;University of Crete(克里特大学)
高度准确但过于自信的模型不适合部署在医疗保健和自动驾驶等关键应用中。分类结果应反映接近决策边界的模糊分布内样本的高度不确定性。模型还应该避免对远离其训练分布、远离分布(far-OOD)的样本或来自靠近其训练分布(near-OOD)的新类别的未见过样本做出过度自信的决策。本文提出了反事实解释在确定一个过于自信的分类器中的应用。具体来说,我们建议使用反事实解释器(ACE)的增强来微调给定的预训练分类器,以修复其不确定性特征,同时保留其预测性能。我们进行了大量的实验,检测远OOD,近OOD,和模糊的样本。我们的实证结果表明,修正后的模型有改进的不确定性措施,其性能是有竞争力的国家的最先进的方法。
2022-10-21 cs.CV cs.LG
Explaining Image Classifiers with Multiscale Directional Image Representation
Ludwig-Maximilians-Universität München(慕尼黑大学);University of Tromsø(特罗姆瑟大学);Technion-Israel Institute of Technology(以色列理工学院)
针对现有掩码解释方法因平滑约束难以区分相关细细节与干扰模式的问题,提出基于剪切波稀疏约束的ShearletX方法,配套新评估指标,验证其更优性能并可解释此前无法解释的现象。
2023-04-28 cs.CV
MedDiME: Efficient Latent Diffusion with Adaptive Masking for Medical Counterfactual Generation
Technical University of Denmark(丹麦技术大学)
针对医学反事实生成中扩散方法速度慢、内存高及掩码不兼容问题,提出MedDiME潜在扩散框架,采用梯度驱动自适应掩码,实现40倍加速和13倍内存降低。
2026-09-15 cs.CV
Counterfactual Contrastive Analysis
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
本文提出基于对比分析(CA)的无分类器视觉反事实生成方法,利用StyleGAN2和特征空间F,在三个医学成像数据集上实现了更优的反事实生成质量。
2026-09-04 cs.AI cs.CV
Counterfactual Explanation of Brain Activity Classifiers using Image-to-Image Transfer by Generative Adversarial Network
Okayama University(冈山大学);Japan Science and Technology Agency(日本科学技术振兴机构);Rikkyo University(立教大学);National Institute for Physiological Sciences(生理学研究所);Araya Inc.(Araya 公司);Keio University(庆应义塾大学)
深度神经网络(DNN)可以从大脑激活中准确解码与任务相关的信息。然而,由于DNN的非线性,DNN做出的决策很难解释。解释这种黑箱系统的一个有希望的方法是反事实解释。在这个框架中,一个黑盒系统的行为是通过比较真实的数据和现实的合成数据,特别是生成,使得黑盒系统输出一个不真实的结果来解释。在这里,我们介绍了一种新的生成DNN(反事实激活生成器,CAG),可以为基于DNN的大脑激活分类器提供反事实解释。重要的是,CAG可以同时处理与不同行为任务相关的多个类之间的图像转换。使用CAG,我们展示了基于DNN的分类器的反事实解释,这些分类器学会了区分七个行为任务的大脑激活。此外,通过CAG的迭代应用,我们能够增强和提取影响分类器决策的细微空间大脑活动模式。总之,这些结果表明,基于图像到图像变换的反事实解释将是一种很有前途的方法来理解和扩展DNN在fMRI分析中的当前应用。
2021-10-28 cs.CV cs.LG q-bio.NC
Born Identity Network: Multi-way Counterfactual Map Generation to Explain a Classifier's Decision
Korea University(高丽大学)
深度学习模型的性能和可解释性之间存在明显的负相关。为了减少这种负相关性,我们提出了一个天生的身份网络(BIN),这是一个事后的方法来产生多路反事实地图。反事实映射将输入样本转换为条件并分类为目标标签,这类似于人类如何通过反事实思维处理知识。例如,反事实映射可以从正常的大脑图像中定位假设的异常,这可能导致它被诊断患有疾病。具体来说,我们提出的BIN由两个核心组件组成:反事实地图生成器和目标归因网络。反事实地图生成器是条件GAN的一个变体,它可以合成一个以任意目标标签为条件的反事实地图。目标属性网络通过将目标标签调节到反事实地图生成器中来为生成合成地图提供足够的帮助。我们已经验证了我们提出的BIN在定性和定量分析MNIST,3D EQUIPMENT,和ADNI数据集,并显示了我们的方法从各种消融研究的可理解性和保真度。
2021-04-08 cs.AI cs.CV cs.LG
Explaining Classifiers using Adversarial Perturbations on the Perceptual Ball
Uni. of Glasgow/Turing Institute(格拉斯哥大学/图灵研究所);UCL/Turing Institute(伦敦大学学院/图灵研究所);Amazon Tübingen(亚马逊图宾根)
我们提出了一个简单的正则化的对抗扰动的感知损失的基础上。虽然所产生的扰动对人眼来说仍然是不可感知的,但它们与现有的对抗性扰动的不同之处在于它们是半稀疏的改变,突出显示感兴趣的对象和区域,同时保持背景不变。作为一种语义上有意义的逆扰动,它在意象空间的反事实解释和逆扰动之间架起了一座桥梁。我们评估我们的方法在几个标准的可解释性基准,即,弱本地化,插入删除,和指向游戏证明,感知正则化的反事实是一个有效的解释基于图像的分类。
2021-03-30 cs.CV cs.LG
Diffusion Visual Counterfactual Explanations
University of Tübingen(图宾根大学)
视觉反事实推理(VCE)是理解图像分类器决策的重要工具。它们是改变分类器决策的图像的“小”但“现实”的语义变化。当前的VCE生成方法局限于对抗性强的模型,并且通常包含不真实的伪影,或者局限于具有很少类别的图像分类问题。在本文中,我们通过扩散过程为任意ImageNet分类器生成扩散视觉反事实推理(DVCE)来克服这一点。对扩散过程的两个修改对于我们的DVCE来说是关键的:首先,自适应参数化,其超参数在图像和模型之间泛化,再加上距离正则化和扩散过程的延迟开始,使我们能够生成对原始图像具有最小语义变化但不同分类的图像。其次,我们通过对抗性鲁棒模型进行的锥正则化确保了扩散过程不会收敛到微不足道的非语义变化,而是产生目标类的真实图像,这些图像通过分类器实现了高置信度。
2022-10-21 cs.CV cs.LG
Identifying Spurious Correlations using Counterfactual Alignment
Stanford University(斯坦福大学)
该研究提出反事实对齐方法,用于检测量化黑盒分类器的虚假相关性,经多场景验证有效,还可用于评估鲁棒优化方法的效果。
2025-01-15 cs.AI cs.CV cs.LG
Towards Fast and Disentangled Counterfactuals for Visual Foundation Models
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data (BIFOLD)(柏林学习与数据基础研究所(BIFOLD))
提出解耦扩散自编码器(DiDAE),通过闭式编辑解耦字典方向生成反事实,无需梯度,速度提升2000倍,能修复下游分类器并识别虚假相关性。
2026-10-02 cs.CV cs.LG
Diffusion Models for Counterfactual Explanations
Normandy University(诺曼底大学);ENSICAEN(卡昂国立高等工程师学院);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);GREYC(格雷克实验室)
反事实解释已经显示出有希望的结果作为一个事后框架,使图像分类器更可解释。在本文中,我们提出了DiME,允许使用最近的扩散模型的反事实图像的生成方法。通过利用引导生成扩散过程,我们提出的方法展示了如何使用目标分类器的梯度来生成输入实例的反事实解释。此外,我们分析了目前的方法来评估虚假的相关性,并提出了一个新的度量:相关性差异扩展的评估测量。我们的实验验证表明,该算法超越了以前的国家的最先进的结果5出6指标CelebA。
2022-03-29 cs.CV cs.LG
DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations
Tübingen AI Center – University of Tübingen(蒂宾根大学蒂宾根人工智能中心)
该研究提出DiG-IN扩散引导框架,通过生成优化分类器目标的图像,开展视觉反事实解释、分类器差异分析与神经元可视化,验证已有结论并发现新失效模式,且VCEs性能更优、通用性更强。
2024-07-12 cs.AI cs.CV cs.LG
Clarity: an improved gradient method for producing quality visual counterfactual explanations
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);CentraleSupélec(巴黎中央理工-高等电力学院)
视觉反事实解释识别对图像的修改,这些修改将改变分类器的预测。我们提出了一套基于生成模型(VAE)和分类器集成直接训练的潜在空间,这一切在一起,提高计算视觉反事实所需的梯度的质量的技术。这些改进导致了一种新的分类模型Clarity,它可以对所有图像产生逼真的反事实解释。我们还提出了几个实验,让我们深入了解为什么这些技术导致更好的质量比文献中的结果。所产生的解释与最先进的竞争力,并强调选择一个有意义的输入空间进行培训的重要性。
2022-11-22 cs.CV cs.LG
Explaining an image classifier with a generative model conditioned by uncertainty
IRT SystemX;ONERA;Université Paris Saclay(巴黎-萨克雷大学)
本文提出用分类器不确定性条件化生成模型,以分析和解释分类器行为,并在合成数据和损坏MNIST上初步验证。
2024-11-05 cs.AI cs.CV eess.IV
ECINN: Efficient Counterfactuals from Invertible Neural Networks
Aarhus University(奥胡斯大学)
反事实的例子识别如何改变输入以改变分类器的预测类,从而打开黑盒性质,例如,深度神经网络。我们提出了一种方法,ECINN,利用可逆神经网络的生成能力的图像分类有效地产生反事实的例子。与有时需要对分类器进行一千次或更多评估的竞争方法相比,ECINN具有封闭形式的表达式,并且仅在两次评估的时间内生成反事实。可以说,生成反事实例子的主要挑战是只改变影响预测结果的输入特征,即,类相关特征。我们的实验演示了ECINN如何改变类相关的图像区域,以改变感知和预测类的反事实。此外,我们还扩展了ECINN,以生成热图(ECINNh),以便轻松检查,例如,生成的反事实示例中的成对类相关变化。在实验中,我们发现ECINNh优于生成基于热图的解释的既定方法。
2021-04-05 cs.CV cs.LG
DeDUCE: Generating Counterfactual Explanations Efficiently
University of Oxford(牛津大学)
当图像分类器输出错误的类别标签时,查看图像中的哪些变化会导致正确的分类可能会有所帮助。这就是算法生成反事实解释的目的。然而,没有容易扩展的方法来生成这样的反事实。我们开发了一种新的算法,提供反事实的解释,以低计算成本的光谱归一化训练的大型图像分类器。我们根据经验将该算法与文献中的基线进行比较;我们的新算法始终发现更接近原始输入的反事实。与此同时,这些反事实的现实性与基线相当。所有实验的代码可在https://github.com/benedikthoeltgen/DeDUCE获得。
2021-11-29 cs.CV cs.LG stat.ML
Image Counterfactual Sensitivity Analysis for Detecting Unintended Bias
Google(谷歌公司)
本文提出图像反事实敏感性分析框架,通过生成对抗网络操纵面部特征,度量微笑分类器预测变化,以检测和细粒度分析无意偏见,促进公平性。
2020-10-03 cs.CV cs.LG stat.ML
Towards explainable classifiers using the counterfactual approach -- global explanations for discovering bias in data
Gdansk University of Technology(格但斯克工业大学)
本文提出了总结归因为基础的事后解释的检测和识别数据中的偏见。提出了一个全球性的解释,并介绍了一个逐步的框架,如何检测和测试偏见。由于消除不必要的偏见通常是一项复杂而艰巨的任务,因此它会自动插入。然后,偏见与建议的反事实的方法进行评估。所获得的结果进行了验证的样本皮肤病变数据集。使用所提出的方法,一些可能的偏见造成的文物成功地识别和确认皮肤镜图像。特别是,证实了黑色帧对卷积神经网络的预测有很大的影响:其中22%的预测从良性变为恶性。
2020-10-23 cs.AI cs.CV cs.LG
V-CECE: Visual Counterfactual Explanations via Conceptual Edits
National Technical University of Athens(国家技术大学雅典)
V-CECE通过概念编辑生成反事实解释,无需训练即可产生人类水平的可解释性结果。
2025-12-05 cs.AI cs.CV
Counterfactual Image Generation for adversarially robust and interpretable Classifiers
IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院)
针对神经图像分类器可解释性差与易受对抗攻击的问题,提出基于图像翻译GAN的统一框架,生成兼具可解释性与对抗增强作用的反事实样本,在分割与鲁棒性任务上均取得良好效果,还可利用判别器输出衡量预测不确定性。
2023-10-01 cs.CV cs.LG eess.IV
Exposing Image Classifier Shortcuts with Counterfactual Frequency (CoF) Tables
University of Antwerp(安特卫普大学)
针对图像分类器依赖“捷径”且现有检测方法劳动密集的问题,提出反事实频率(CoF)表方法,通过聚合实例级解释为全局见解并标记图像片段,有效揭示多个数据集中的模型捷径。
2025-01-29 cs.AI cs.CV
Concept-based Visual Counterfactual Explanations with Diffusion Models
Università della Svizzera italiana(瑞士意大利语区大学)
研究视觉反事实解释问题,提出C-VCE框架,通过概念瓶颈层将分类器融入生成模型,由概念引导反事实解释,在采样时可切换概念,添加正则化器和掩码控制编辑,在基准测试中表现良好,是实用工具且为模型理解和使用提供新思路。
2026-07-28 cs.AI cs.CV
Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);ASRI/INMC/IPAI/AIIS, Seoul National University(首尔国立大学ASRI/INMC/IPAI/AIIS)
研究图像分类中反事实公平与群体公平的关系,构建新数据集评估二者,发现CF不意味着GF,原因是潜在属性G,提出CKD基线,实验表明减少对G的依赖可使实现CF的模型满足GF。
2026-07-09 cs.AI cs.CV
Towards Counterfactual and Contrastive Explainability and Transparency of DCNN Image Classifiers
COMSATS University Islamabad(COMSATS大学伊斯兰堡校区);University of Lincoln(林肯大学)
本研究提出一种模型侵入式方法,通过探查DCNN内部重要滤波器与对应概念,生成图像分类的对比及反事实解释,提升模型透明度,在CUB 2011数据集上验证了方法有效性。
2025-01-12 cs.AI cs.CV
Interpreting Medical Image Classifiers by Optimization Based Counterfactual Impact Analysis
VRVis;AGFA HealthCare(爱克发医疗)
自动决策支持系统的临床适用性取决于一个强大的,良好理解的分类解释。人工神经网络虽然取得了领先的成绩,但在这方面却做不到。因此,已经提出了将图像的显著区域映射到诊断分类的许多方法。利用启发式方法,如模糊和噪声,它们往往会产生分散的,有时是误导性的结果,阻碍了它们的普遍采用。在这项工作中,我们克服了这些问题,提出了一个模型不可知的显着映射框架量身定制的医学成像。我们取代启发式技术与强大的邻域条件修复方法,避免解剖学上难以置信的文物。我们制定显着性归因为地图质量优化任务,强制约束和集中的属性。在公开的乳腺摄影数据上的实验表明,与现有的最先进的方法相比,该方法在定量和定性上都更精确地定位和更清晰的传达结果。
2020-04-03 cs.CV cs.LG eess.IV
Explaining image classifiers by removing input features using generative models
Auburn University(奥本大学)
基于扰动的解释方法通常通过经由例如模糊、添加噪声或变灰(其通常产生不切实际的样本外)来消除输入特征来测量输入特征对图像分类器的输出的贡献。相反,我们建议将生成inpainter集成到三个有代表性的归因方法中,以删除输入功能。我们提出的变化改进了所有三种方法:(1)在真实数据分布下生成更合理的反事实样本;(2)根据三个指标更准确:对象定位,删除和显着性指标;(3)对超参数变化更具鲁棒性。我们的研究结果在ImageNet和Places 365数据集以及两对不同的分类器和inpainter中是一致的。
2020-10-06 cs.CV cs.LG stat.ML
GANterfactual - Counterfactual Explanations for Medical Non-Experts using Generative Adversarial Learning
Augsburg University(奥格斯堡大学)
随着机器学习的不断兴起,对解释由人工智能系统做出的决策的方法的需求正在成为一个越来越重要的话题。特别是对于图像分类任务,解释这种分类器的许多现有技术工具依赖于输入数据的重要区域的视觉突出显示。相反,反事实解释系统试图通过以分类器会做出不同预测的方式修改输入图像来实现反事实推理。通过这样做,反事实解释系统的用户配备了一种完全不同的解释信息。然而,为图像分类器生成逼真的反事实解释的方法仍然很少。特别是在医疗环境中,相关信息通常由纹理和结构信息组成,高质量的反事实图像有可能为决策过程提供有意义的见解。在这项工作中,我们提出了GANterfactual,一种基于对抗性图像到图像翻译技术生成这种反事实图像解释的方法。此外,我们还进行了一项用户研究,以评估我们在示例性医疗用例中的方法。我们的研究结果表明,在所选的医疗用例中,反事实解释在心理模型、解释满意度、信任、情绪和自我效能方面的结果明显优于两个使用显着性图的最先进系统,即LIME和LRP。
2021-08-05 cs.AI cs.CV cs.HC
Designing Counterfactual Generators using Deep Model Inversion
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Arizona State University(亚利桑那州立大学);IBM Research AI(IBM研究院人工智能部门);Stanford University(斯坦福大学)
解释技术将小的、可解释的变化合成到给定的图像,同时在模型预测中产生所需的变化,这种解释技术已经成为内省黑盒模型的流行方法。通常被称为反事实,合成的解释需要包含可辨别的变化(为了易于解释),同时也是现实的(与数据流形的一致性)。在本文中,我们关注的情况是,我们只能访问经过训练的深度分类器,而不能访问实际的训练数据。虽然已经探索了从训练分布中反演深度模型以合成图像的问题,但我们的目标是开发一种深度反演方法来为给定的查询图像生成反事实解释。尽管它们在条件图像合成中是有效的,但我们表明现有的深度反演方法不足以产生有意义的反事实。我们提出了DISC(Deep Inversion for Synthesizing Counterfactuals),它通过利用(a)更强的图像先验,(b)结合新的流形一致性目标和(c)采用渐进式优化策略来改进深度反演。我们发现,除了产生视觉上有意义的解释外,来自DISC的反事实在学习分类器决策边界方面也很有效,并且对未知的测试时损坏具有鲁棒性。
2021-10-05 cs.CV cs.LG
Rethinking Visual Counterfactual Explanations Through Region Constraint
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学);Harvard Medical School(哈佛医学院)
本文提出区域约束视觉反事实解释(RVCE)及区域约束反事实薛定谔桥(RCSB)方法,通过限制图像修改区域实现精确反事实推理,大幅超越现有方法并支持用户交互。
2024-10-16 cs.AI cs.CV
Generating Realistic Counterfactuals for Retinal Fundus and OCT Images using Diffusion Models
Hertie Institute for AI in Brain Health, University of Tübingen(图宾根大学赫蒂大脑健康人工智能研究所);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Center for Ophthalmology, University of Tübingen(图宾根大学眼科中心);Institute of Ophthalmology, University College London(伦敦大学学院眼科研究所);University College London(伦敦大学学院)
本文提出结合扩散模型与对抗鲁棒分类器生成视网膜眼底图像和OCT图像的高度真实反事实图像,实验表明其真实感显著优于先前方法,甚至与真实图像难以区分。
2023-12-04 cs.CV cs.LG
Explaining Image Classification with Visual Debates
Imperial College London(帝国理工学院)
提出一种基于多人序贯零和博弈的视觉辩论框架,通过从分类器离散化潜在空间中提取支持与反对特征,解释连续图像分类器的内部推理,并在 SHAPE、MNIST 和 AFHQ 数据集上验证了其有效性与评估指标。
2023-05-23 cs.CV cs.LG
Contextual Prediction Difference Analysis for Explaining Individual Image Classifications
University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
近年来,人们一直致力于理解深度神经网络的决策。许多模型感知的显着性方法被提出来解释个人的分类决策,通过创建显着性图。然而,当基础模型的参数和梯度不可用时,它们不适用。最近,模型不可知的方法也受到关注。作为其中之一,提出了概率声方法\textit{Prediction Difference Analysis}(PDA)。在这项工作中,我们首先表明,PDA可以遭受饱和分类器。在现有的基于神经网络的分类器中,普遍存在分类器饱和现象.为了更好地解释饱和分类器的决策,我们进一步提出了上下文PDA,它的运行速度比PDA快数百倍。实验表明,我们的方法的优越性,通过解释国家的最先进的深卷积神经网络的图像分类。
2020-06-06 cs.CV cs.LG stat.ML
DiffEx: Explaining a Classifier with Diffusion Models to Identify Microscopic Cellular Variations
ENS(法国高等师范学院)
针对生物图像分类模型的黑箱问题,提出DiffEx方法,利用扩散模型生成视觉可解释属性,解释分类器决策并识别微观细胞变异,在生物与自然图像任务中验证有效,助力疾病研究与药物发现。
2025-02-12 cs.AI cs.CV cs.LG
Counterfactual Generative Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
神经网络倾向于学习捷径--它们通常对简单的相关性进行建模,忽略更复杂的可能更好地概括的相关性。先前关于图像分类的工作表明,深度分类器倾向于利用与低级纹理或背景的虚假相关性来解决分类任务,而不是学习与对象形状的连接。在这项工作中,我们朝着更强大和可解释的分类器迈出了一步,这些分类器明确地揭示了任务的因果结构。基于当前深度生成建模的进展,我们建议将图像生成过程分解为独立的因果机制,我们在没有直接监督的情况下进行训练。通过利用适当的归纳偏差,这些机制解开对象形状,对象纹理和背景;因此,它们允许生成反事实图像。我们展示了我们的模型在MNIST和ImageNet上生成此类图像的能力。此外,我们表明,反事实图像可以提高分布外的鲁棒性,在原始分类任务的性能略有下降,尽管是合成的。最后,我们的生成模型可以在单个GPU上有效地训练,利用常见的预训练模型作为归纳偏差。
2021-01-15 cs.CV cs.LG
Explaining Classifiers by Constructing Familiar Concepts
University of Liechtenstein(列支敦士登大学);University of Lausanne(洛桑大学)
在深度学习中解释大量的神经元是困难的。我们提出的“CLAsifier-DECoder”架构(ClaDec)有助于理解任意神经元层或其子集的输出。它使用一个解码器,将给定神经元的不可理解的表示转换为与人类熟悉的领域更相似的表示。在图像识别问题中,可以通过将ClaDec的重构图像与用作参考的常规自动编码器(AE)的重构图像进行对比来识别层保持什么信息(或概念)。Cladec的扩展允许交易的可理解性和保真度。我们使用卷积神经网络评估我们的图像分类方法。我们表明,重建的可视化使用编码从一个分类器捕获更多的相关分类信息比传统的AE。尽管AE包含关于原始输入的更多信息,但这仍然成立。我们的用户研究强调,即使是非专家也可以识别图像中包含的与分类器相关(或不相关)的各种概念。我们还比较了基于显着性的方法,专注于像素的相关性,而不是概念。我们表明,CLADec往往突出更相关的输入领域的分类,虽然结果取决于分类器架构。代码位于\url{https://github.com/JohnTailor/ClaDec}
2022-03-07 cs.CV cs.LG
Domain aware medical image classifier interpretation by counterfactual impact analysis
VRVis Zentrum für Virtual Reality und Visualisierung Forschungs-GmbH(VRVis虚拟现实与可视化研究有限公司)
计算机视觉任务的机器学习方法的成功推动了医学和生物学计算机辅助预测的激增。基于输入图像和病理分类之间的数据驱动关系,这些预测器提供了前所未有的准确性。然而,试图解释这种学习关系的因果关系的许多方法都有不足之处:时间限制,粗糙,分散,有时误导性的结果,由高斯噪声和模糊等启发式技术的使用引起,阻碍了它们的临床应用。在这项工作中,我们讨论和克服这些障碍,引入一个基于神经网络的归因方法,适用于任何训练的预测。我们的解决方案通过测量局部图像扰动对预测器分数的影响,在单个前向传递中识别输入图像的显著区域。我们用一个强邻域条件修复方法取代启发式技术,避免解剖学上不可信的,因此对抗性的文物。我们对公开的乳腺X线摄影数据进行了评估,并与现有的最先进的方法进行了比较。此外,我们通过展示胸部X光片的结果来验证该方法的普遍性。我们的解决方案表明,无论是定量和定性,显着减少定位模糊和更清晰的传达结果,而不牺牲时间效率。
2020-10-01 cs.CV cs.LG
Explaining Classifiers with Causal Concept Effect (CaCE)
Georgia Tech(佐治亚理工学院);Technion(以色列理工学院);Google Brain(谷歌大脑)
我们如何理解深度神经网络做出的分类决策?许多现有的可解释性方法仅仅依赖于相关性,而没有考虑混杂因素,这可能导致潜在的误导性解释。为了克服这个问题,我们将因果概念效应(CaCE)定义为人类可解释的概念(存在或不存在)对深度神经网络预测的因果效应。我们表明,CaCE措施可以避免混淆所产生的错误。在我们不能容易地模拟do运算符的情况下,估计CaCE是困难的。为了缓解这个问题,我们使用生成模型,特别是变分自编码器(VAE),来测量VAE-CaCE。在广泛的实验分析中,我们表明,VAE-CaCE能够估计真实的概念因果效应,与包括高维图像在内的许多数据集的基线相比。
2020-02-28 cs.CV cs.LG stat.ML
Align-Deform-Subtract: An Interventional Framework for Explaining Object Differences
University of Edinburgh(爱丁堡大学)
给定两个对象图像,我们如何解释它们在潜在对象属性方面的差异?为了解决这个问题,我们提出了对齐-变形-减法(ADS)-一个解释对象差异的干预框架。通过利用图像空间中的语义对齐作为对底层对象属性的反事实干预,ADS迭代地量化并消除对象属性中的差异。其结果是一组“解开”的错误措施,解释对象的差异方面的基本属性。在真实数据和合成数据上的实验表明了该框架的有效性。
2022-07-20 cs.AI cs.CV cs.LG
Gender Slopes: Counterfactual Fairness for Computer Vision Models by Attribute Manipulation
UCLA(加州大学洛杉矶分校)
自动化计算机视觉系统已应用于许多领域,包括安全、执法和个人设备,但最近的报告表明,这些系统可能会产生有偏见的结果,歧视某些人口群体。然而,诊断和理解模型偏差的潜在真正原因是一项具有挑战性的任务,因为现代计算机视觉系统依赖于复杂的黑箱模型,其行为难以解码。我们建议使用一个编码器-解码器网络开发的图像属性操作,以合成不同的性别和种族的尺寸,同时保持其他信号完好无损的面部图像。我们使用这些合成图像来测量商业计算机视觉分类器的反事实公平性,方法是检查这些分类器受图像中控制的性别和种族线索影响的程度,例如,女性面孔可能会导致护士概念的得分较高,而STEM相关概念的得分较低。我们还报告了在线搜索服务中与专业相关的关键词的性别代表性,这可能解释了模型中编码的偏见的起源。
2020-05-21 cs.AI cs.CV cs.LG
Which Style Makes Me Attractive? Interpretable Control Discovery and Counterfactual Explanation on StyleGAN
JD Technology(京东科技);Tsinghua University(清华大学)
GAN中语义上分离的潜在子空间为图像生成提供了丰富的可解释控制。本文包括使用StyleGAN2的人脸生成场景中的语义潜在子空间分析的两个贡献。首先,我们提出了一种新的方法来解开潜在子空间语义利用现有的人脸分析模型,例如,面部解析器和面部界标检测器。这些模型提供了构建具有非常具体和可解释的语义含义的各种标准的灵活性(例如,改变面部形状或改变肤色)以限制潜在子空间解纠缠。利用所构造的准则可以发现以前未知的丰富的潜空间控制。其次,我们提出了一个新的视角来解释CNN分类器的行为,通过在我们发现的可解释的潜在子空间中生成反事实。这种解释有助于揭示分类器是否按预期学习语义。在不同解纠缠准则下的实验结果表明了该方法的有效性。我们相信这种方法有助于CNN的图像处理和反事实解释。代码可在\url{https://github.com/prclibo/ice}上获得。
2022-01-24 cs.AI cs.CV cs.LG
Generative Counterfactual Introspection for Explainable Deep Learning
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
在这项工作中,我们提出了一种用于深度神经网络的内省技术,该技术依赖于生成模型来煽动对输入图像进行显着编辑以进行模型解释。这种修改提供了基本的干预操作,使我们能够获得反事实调查的答案,即,可以对输入图像进行什么有意义的改变以改变预测。我们演示了如何通过利用MNIST和CelebA数据集上提出的内省方法来揭示给定分类器的有趣特性。
2019-07-06 cs.AI cs.CV cs.LG
Explaining in Style: Training a GAN to explain a classifier in StyleSpace
Hebrew University(希伯来大学);Google Research(谷歌研究院);MIT(麻省理工学院);Tel Aviv University(特拉维夫大学);Weizmann Institute of Science(魏茨曼科学研究所)
图像分类模型可以依赖于图像的多个不同语义属性。分类器决策的解释需要发现和可视化这些属性。在这里,我们提出了一种方法StylEx,通过训练生成模型来专门解释分类器决策的多个属性。这些属性的一个自然来源是StyleGAN的StyleSpace,它可以在图像中生成语义上有意义的维度。然而,由于标准GAN训练不依赖于分类器,因此它可能无法表示这些对分类器决策很重要的属性,并且StyleSpace的维度可能表示不相关的属性。为了克服这一点,我们提出了一个StyleGAN的训练过程,它包含了分类器模型,以学习特定于分类器的StyleSpace。然后从该空间中选择解释属性。这些可用于可视化更改每个图像的多个属性的效果,从而提供特定于图像的解释。我们将StylEx应用于多个领域,包括动物,树叶,人脸和视网膜图像。对于这些,我们展示了如何以不同的方式修改图像以改变其分类器输出。我们的研究结果表明,该方法发现的属性,以及与语义一致,生成有意义的图像特定的解释,并在用户研究中测量的人类可解释的。
2021-09-01 cs.CV cs.LG cs.NE