Automated Cleanup of the ImageNet Dataset by Model Consensus, Explainability and Confident Learning
Tampere University(坦佩雷大学)
在ILSVRC 12 ImageNet上训练的卷积神经网络(CNN)是各种应用的骨干,作为通用分类器,特征提取器或迁移学习的基础模型。本文描述了基于模型一致性,可解释性和自信学习的自动分类,以纠正标记错误并从该数据集中删除模糊图像。在对训练集和验证集进行这些更改后,ImageNet-Clean将SqueezeNet和EfficientNet-B 0模型的模型性能提高了2- 2.4%。结果支持较大的图像语料库和半监督学习的重要性,但原始数据集必须固定,以避免将其错误和偏见传递给学生学习者。进一步的贡献描述了在纵向和横向方向的屏幕输入分辨率的训练影响。经过训练的模型和脚本发布在Github上(https://github.com/kecsap/imagenet-clean),用于清理ImageNet和ImageNet V2数据集,以进行可重复的研究。
2021-03-30 cs.CV cs.LG
ALEX: Active Learning based Enhancement of a Model's Explainability
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);IBM Research Europe(IBM欧洲研究院)
主动学习(AL)算法寻求以自举方式用最少数量的标记样本构造有效的分类器。虽然标准的人工智能算法,例如选择那些分类模型产生最不可信预测的注释点,但还没有实证研究来确定这些算法是否会导致更易于人类解释的模型。在数据驱动的学习时代,这是一个重要的研究方向。本文介绍了我们的工作正在进行中的发展AL选择功能,除了模型的有效性,还试图提高模型的可解释性,在引导步骤。具体地说,我们提出的选择函数除了训练分类器模型外,还训练了一个“解释器”模型,并且倾向于使用数据的不同部分来解释预测类的实例。最初的实验显示出令人鼓舞的趋势,表明这种启发式可以导致开发更有效,更可解释的端到端数据驱动的分类器。
2020-09-02 cs.AI cs.CV
Explaining Classifiers using Adversarial Perturbations on the Perceptual Ball
Uni. of Glasgow/Turing Institute(格拉斯哥大学/图灵研究所);UCL/Turing Institute(伦敦大学学院/图灵研究所);Amazon Tübingen(亚马逊图宾根)
我们提出了一个简单的正则化的对抗扰动的感知损失的基础上。虽然所产生的扰动对人眼来说仍然是不可感知的,但它们与现有的对抗性扰动的不同之处在于它们是半稀疏的改变,突出显示感兴趣的对象和区域,同时保持背景不变。作为一种语义上有意义的逆扰动,它在意象空间的反事实解释和逆扰动之间架起了一座桥梁。我们评估我们的方法在几个标准的可解释性基准,即,弱本地化,插入删除,和指向游戏证明,感知正则化的反事实是一个有效的解释基于图像的分类。
2021-03-30 cs.CV cs.LG
Towards Counterfactual and Contrastive Explainability and Transparency of DCNN Image Classifiers
COMSATS University Islamabad(COMSATS大学伊斯兰堡校区);University of Lincoln(林肯大学)
本研究提出一种模型侵入式方法,通过探查DCNN内部重要滤波器与对应概念,生成图像分类的对比及反事实解释,提升模型透明度,在CUB 2011数据集上验证了方法有效性。
2025-01-12 cs.AI cs.CV
An Explainable Fast Deep Neural Network for Emotion Recognition
University of Rome “La Sapienza”(罗马大学)
本文提出利用改进的 Integrated Gradients 可解释性方法优化面部关键点输入特征,在提升二元深度情感分类模型准确率的同时降低计算成本。
2024-07-20 cs.CV cs.LG
Img2Tab: Automatic Class Relevant Concept Discovery from StyleGAN Features for Explainable Image Classification
Sungkyunkwan University(成均馆大学)
本文提出Img2Tab,通过StyleGAN反演将图像编码为表格特征,并利用Wasserstein-1度量自动发现类别相关概念,在保持与CNN相当准确率的同时实现概念级可解释和可调试的图像分类。
2023-04-18 cs.CV
Counterfactual Image Generation for adversarially robust and interpretable Classifiers
IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院)
针对神经图像分类器可解释性差与易受对抗攻击的问题,提出基于图像翻译GAN的统一框架,生成兼具可解释性与对抗增强作用的反事实样本,在分割与鲁棒性任务上均取得良好效果,还可利用判别器输出衡量预测不确定性。
2023-10-01 cs.CV cs.LG eess.IV
Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification
Politecnico di Milano(米兰理工大学)
提出一种事后可解释性方法,通过逐层特征显著性图、泛化Grad-CAM权重及Sentence-BERT处理的众包文本标签,完整解释CNN特征提取过程并支持全局解释。
2024-05-06 cs.CV cs.LG
ReMoDEx: A Local-to-Global Relevance-Based Model Decision Explainability Framework for large-Scale Image Datasets
Department of Computer Science, Institute of Science, Banaras Hindu University(计算机科学系,科学学院,班加罗尔 Hindu 大学);University of Petroleum and Energy Studies(石油与能源研究大学)
针对深度学习图像分类器决策不透明问题,提出ReMoDEx框架,结合局部方法与全局模块,对VGG16分类器进行评估,揭示了传统指标未发现的捷径学习,提供了可扩展的基于相关性的决策评估框架。
2026-07-09 cs.AI cs.CV
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université(索邦大学)
本调查回顾了基于视觉的自动驾驶系统的解释方法,该系统经过行为克隆训练。可解释性的概念有几个方面,对可解释性的需求在驾驶中很强,这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献,即计算机视觉、深度学习、自动驾驶、可解释人工智能(X-AI),解决了几个问题。首先,它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机,以及该应用所特有的挑战。其次,全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三,详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后,剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司)
针对现有实例级可解释性方法需人工分析、效率低且易有偏差的问题,本研究探索二阶可解释人工智能SOXAI的应用,通过其数据集层面的解释获取可执行洞见,首次证实基于该洞见消除训练集无关概念可提升模型性能。
2023-06-14 cs.AI cs.CV cs.LG
ADVISE: ADaptive Feature Relevance and VISual Explanations for Convolutional Neural Networks
Universitat Oberta de Catalunya(开放加泰罗尼亚大学)
本文提出ADVISE方法,通过自适应带宽核密度估计量化CNN特征图单元的相关性,以提供更优的视觉解释,并在多个预训练模型上验证其优于现有方法且满足可解释性公理。
2022-03-02 cs.CV cs.LG
Bounded logit attention: Learning to explain image classifiers
St. Pölten University of Applied Sciences(圣帕尔滕应用科学大学)
可解释的人工智能是试图通过被称为“解释”的适当的辅助信息来阐明太复杂而不能被人类认知直接访问的系统的工作。我们为卷积图像分类器提出了一个可训练的解释模块,我们称之为有界logit注意力(BLA)。BLA模块学习为每个输入实例选择卷积特征映射的子集,然后将其用作分类器预测的解释。BLA克服了Chen等人(2018)引入的实例特征选择方法“学习解释”(L2X)的几个限制:1)BLA扩展到现实世界大小的图像分类问题,2)BLA提供了一种学习可变大小解释的规范方法。由于其模块化,BLA适合于迁移学习设置,也可以用作训练分类器的事后添加。除了可解释性之外,BLA可以作为子集选择的可微近似的通用方法。在一项用户研究中,我们发现,BLA的解释是首选的流行(梯度)CAM方法产生的解释。
2021-05-31 cs.AI cs.CV cs.LG
Explanatory Paradigms in Neural Networks
在这篇文章中,我们提出了一个跨越式的扩展,在神经网络的可解释性的研究,考虑解释作为答案的抽象推理为基础的问题。使用$P$作为来自神经网络的预测,这些问题是“为什么是P?”,“如果不是P呢?“为什么是P,而不是Q?”对于给定的对比度预测$Q$。这些问题的答案分别是观察到的相关性、观察到的反事实和观察到的对比解释。这些解释一起构成了溯因推理方案。我们把这三种解释模式称为观察到的解释范式。观察到的术语是指事后可解释性的特定情况,即在经过训练的神经网络做出决策$P$之后,解释性技术解释了决策$P$。通过基于溯因推理的问题来看待解释的主要优点是,解释可以在决策时用作理由。可解释性的事后领域,以前只证明决策是合理的,通过参与决策过程并提供有限的,但相关的和上下文的干预而变得活跃。这篇文章的贡献是:($i$)将解释实现为推理范式,($ii$)提供观察到的解释的概率定义及其完整性,($iii$)创建用于评价解释的分类,以及($iv$)定位跨多个应用和数据模态的基于梯度的完全可重复性的可复制性和可再现性,($v$)代码库,可在www.example.com公开获得https://github.com/olivesgatech/Explanatory-Paradigms。
2022-02-24 cs.CV cs.LG
Explaining Classifiers with Causal Concept Effect (CaCE)
Georgia Tech(佐治亚理工学院);Technion(以色列理工学院);Google Brain(谷歌大脑)
我们如何理解深度神经网络做出的分类决策?许多现有的可解释性方法仅仅依赖于相关性,而没有考虑混杂因素,这可能导致潜在的误导性解释。为了克服这个问题,我们将因果概念效应(CaCE)定义为人类可解释的概念(存在或不存在)对深度神经网络预测的因果效应。我们表明,CaCE措施可以避免混淆所产生的错误。在我们不能容易地模拟do运算符的情况下,估计CaCE是困难的。为了缓解这个问题,我们使用生成模型,特别是变分自编码器(VAE),来测量VAE-CaCE。在广泛的实验分析中,我们表明,VAE-CaCE能够估计真实的概念因果效应,与包括高维图像在内的许多数据集的基线相比。
2020-02-28 cs.CV cs.LG stat.ML
Fine-grain Inference on Out-of-Distribution Data with Hierarchical Classification
Duke University(杜克大学);Air Force Research Laboratory(美国空军研究实验室)
必须信任机器学习方法,以便在现实环境中做出适当的决策,即使面对分发外(OOD)样本也是如此。许多当前的方法只是旨在检测OOD示例,并在给出未识别的输入时提醒用户。然而,当OOD样本与训练数据显著重叠时,二进制异常检测是不可解释的或不可解释的,并且向用户提供很少的信息。我们提出了一种新的OOD检测模型,该模型在不同的粒度级别上进行预测,因为输入变得更加模糊,模型预测变得更粗糙,更保守。考虑一个动物分类器,它遇到了一个未知的鸟类和一辆汽车。这两种情况都是OOD,但是如果分类器认识到它对特定物种的不确定性太大,并且预测鸟类而不是将其检测为OOD,则用户可以获得更多的信息。此外,我们诊断分类器的性能在每个层次结构的层次结构,提高模型预测的可解释性和可解释性。我们证明了分层分类器的细粒度和粗粒度的OOD任务的有效性。
2022-09-09 cs.CV cs.LG
DeCoDEx: Confounder Detector Guidance for Improved Diffusion-based Counterfactual Explanations
Center for Intelligent Machines, McGill University(麦吉尔大学智能机器中心);MILA (Quebec AI institute)(米拉(魁北克人工智能研究所));Google Research(谷歌研究院)
针对深度学习分类器依赖混杂因素导致偏差的问题,提出DeCoDEx框架,用预训练二分类伪影检测器引导扩散反事实图像生成,在CheXpert数据集验证有效,可提升分类器在分布外弱势群的表现。
2024-05-15 cs.CV
Reachable Sets of Classifiers and Regression Models: (Non-)Robustness Analysis and Robust Training
Technical University of Munich(慕尼黑工业大学)
神经网络在分类和回归任务中实现了出色的准确性。然而,理解它们的行为仍然是一个开放的挑战,需要解决预测的鲁棒性,可解释性和可靠性问题。我们通过计算神经网络的可达集来回答这些问题,即由连续输入集产生的输出集。我们提供了两种有效的方法,导致过和下近似的可达集。正如我们所展示的,这个原则是高度通用的。首先,我们使用它来分析和增强分类器和回归模型的鲁棒性。这与现有的主要侧重于分类的工作形成对比。具体来说,我们验证(非)鲁棒性,提出了一个强大的训练过程,并表明我们的方法优于对抗攻击以及最先进的方法验证分类器的非范数界扰动。其次,我们提供了区分未标记输入的可靠和不可靠预测的技术,以量化每个特征对预测的影响,并计算特征排名。
2021-05-12 cs.CV cs.LG stat.ML
DiffEx: Explaining a Classifier with Diffusion Models to Identify Microscopic Cellular Variations
ENS(法国高等师范学院)
针对生物图像分类模型的黑箱问题,提出DiffEx方法,利用扩散模型生成视觉可解释属性,解释分类器决策并识别微观细胞变异,在生物与自然图像任务中验证有效,助力疾病研究与药物发现。
2025-02-12 cs.AI cs.CV cs.LG
Using Multi-modal Data for Improving Generalizability and Explainability of Disease Classification in Radiology
University of Toronto(多伦多大学);The Hospital for Sick Children (SickKids)(病童医院(SickKids));Vector Institute(向量研究所)
用于放射诊断的传统数据集倾向于仅提供放射学图像以及放射学报告。然而,由放射科医师执行的放射学读取是复杂的过程,并且诸如放射科医师在读取过程中的眼睛注视的信息具有成为学习的无价数据源的潜力。然而,收集这些数据既昂贵又耗时。本文利用最近发布的Eye-Gaze数据集,针对不同级别的输入特征(即:放射学图像、放射学报告文本和放射科医生的眼睛注视数据)对深度学习(DL)分类的性能和可解释性的影响进行了详尽的研究。我们发现,最好的分类性能的X射线图像的放射学报告的自由文本和放射学图像的组合实现,与眼睛凝视数据提供没有性能提升。尽管如此,与类标签一起作为次要基础事实的眼睛注视数据导致高度可解释的模型,与训练用于在没有眼睛注视数据的情况下进行分类和注意力地图生成的模型相比,这些模型生成更好的注意力地图。
2022-07-29 cs.CV cs.LG q-bio.QM
Explaining in Diffusion: Explaining a Classifier Through Hierarchical Semantics with Text-to-Image Diffusion Models
Virginia Tech(弗吉尼亚理工大学)
提出 DiffEx 方法,利用文本到图像 diffusion 模型和视觉-语言模型生成层次化语义列表,支持单概念及多概念复杂场景分类器的决策解释,覆盖语义范围更广且更细粒度。
2024-12-24 cs.CV
An explainability framework for cortical surface-based deep learning
University of Queensland(昆士兰大学);Queensland Brain Institute(昆士兰脑研究所)
可解释性方法的出现使得人们能够更好地理解神经网络如何通过最终用户容易理解和实现的概念来操作。虽然大多数可解释性方法都是为传统的深度学习设计的,但有些方法已经被进一步开发用于几何深度学习,其中数据主要表示为图形。这些表示通常来自医学成像数据,特别是在神经成像领域,其中图形用于表示大脑结构和功能布线模式(大脑连接体),并且皮质表面模型用于表示大脑的解剖结构。虽然已经开发了可解释性技术来识别重要的顶点(大脑区域)和图形分类的特征,但这些方法仍然缺乏更复杂的任务,例如基于表面的模态转移(或顶点回归)。在这里,我们通过开发基于皮层表面的深度学习框架来解决基于表面的可解释性方法的需求,为模态转移任务提供透明的系统。首先,我们采用了基于扰动的方法与表面数据。然后,我们应用我们基于扰动的方法来研究几何深度学习模型所使用的关键特征和顶点,该模型用于直接在皮层表面模型上从解剖结构预测大脑功能。我们表明,我们的可解释性框架不仅能够识别重要特征及其空间位置,而且它也是可靠和有效的。
2022-03-15 cs.CV q-bio.NC q-bio.QM
GLANCE: Global to Local Architecture-Neutral Concept-based Explanations
Imperial College London(帝国理工学院)
目前的可解释性技术大多集中在捕捉输入空间中特征的重要性。然而,鉴于模型和数据生成过程的复杂性,由此产生的解释远不“完整”,因为它们缺乏特征相互作用的指示和其“效果”的可视化。在这项工作中,我们提出了一种新的双代理可解释性框架来解释任何基于CNN的图像分类器(无论架构如何)所做的决定。为此,我们首先将潜在特征从分类器中分离出来,然后将这些特征与观察到的/人类定义的“上下文”特征对齐。这些对齐的功能形成语义上有意义的概念,用于提取一个因果图描绘的“感知”数据生成过程,描述未观察到的潜在功能和观察到的“上下文”功能之间的功能间和功能内的相互作用。这个因果图作为一个全局模型,可以从中提取不同形式的局部解释。具体来说,我们提供了一个发电机可视化的“效果”的潜在空间中的功能之间的相互作用,并提请功能的重要性,作为当地的解释。我们的框架利用对抗知识蒸馏忠实地学习表示从分类器的潜在空间,并使用它提取视觉解释。我们使用带有额外正则化项的styleGAN-v2架构来强制解纠缠和对齐。我们展示和评估我们的框架上获得的解释Morpho-MNIST和FFHQ人脸数据集。我们的框架可以在\url{https://github.com/koriavinash1/GLANCE-Explanations}上找到。
2022-07-05 cs.AI cs.CV
ViConEx-Med: Visual Concept Explainability via Multi-Concept Token Transformer for Medical Image Analysis
Universidade da Beira Interior(贝拉内尔维尔大学);NOVA LINCS;Faculdade de Engenharia da Universidade do Porto(葡萄牙波尔图大学工程学院);INESC TEC
本文提出ViConEx-Med框架,通过引入多概念可学习Token联合预测与定位视觉概念,在保持高预测精度的同时生成概念级定位图,为医学图像分析构建了内在可解释模型。
2025-10-11 cs.CV
KANEx: Translating Kolmogorov-Arnold Networks' Interpretability to Medical Explainability
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Vanderbilt University School of Medicine(范德堡大学医学院)
研究针对医学应用中视觉模型黑箱问题,提出KANEx框架,利用柯尔莫哥洛夫-阿诺德网络的符号透明度为VLM推理奠基,设计KAN-Map热图生成方法,经实验验证该方法能提升语义相似度、视觉定位及推理质量,为可信医学人工智能发展助力。
2026-07-28 cs.AI cs.CV
Generating Medical Image Counterfactuals using Causal Explanations
University College London(伦敦大学学院)
本研究针对医学图像诊断深度学习模型可解释性不足的问题,提出无需生成模型的反事实生成框架,可更透明地改变分类器预测且更接近原图。
2026-09-03 cs.CV
From Pixels to Explanations: Interpretable Diabetic Retinopathy Grading with CNN-Transformer Ensembles, Visual Explainability and Vision-Language Models
Department of Informatics, University of Salerno(萨勒诺大学信息学院);Department of Information Security and Communication Technology (IIK), Norwegian University of Science and Technology(挪威科技大学信息安全部)
本文提出结合强判别模型与多模态解释的方法,利用APTOS 2019基准评估六种CNN和Transformer模型,通过集成策略提升分级一致性,并利用视觉语言模型生成可解释的视网膜病变分级结果。
2026-04-25 cs.AI cs.CV
KPCA-CAM: Visual Explainability of Deep Computer Vision Models using Kernel PCA
University of Waterloo(滑铁卢大学)
本文提出KPCA-CAM方法,利用核主成分分析捕捉CNN激活中的非线性关系以生成更精确的类激活图,在ILSVRC数据集上验证其优于现有CAM算法,提升CNN决策可解释性。
2024-09-30 cs.AI cs.CV
Quantifying Explanation Consistency: The C-Score Metric for CAM-Based Explainability in Medical Image Classification
本文提出C-Score指标,用于评估基于CAM的医学图像分类解释一致性,通过强度强调的成对软IoU量化同一类内解释的可重复性,并在不同CNN架构上评估六种CAM技术的性能。
2026-04-09 cs.AI cs.CV
Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces
UC San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
尽管现代复杂图像分类器具有很高的准确性,但由于其未知的决策过程和潜在的偏见,它们不能被信任用于敏感任务。反事实解释在为这些黑箱算法提供透明度方面非常有效。然而,生成可以对分类器输出产生一致影响但又暴露可解释的特征变化的反事实是一项非常具有挑战性的任务。我们介绍了一种新的方法,使用预训练的生成模型为图像分类器生成因果关系和可解释的反事实解释,而无需任何重新训练或调节。这种技术中的生成模型不一定要在与目标分类器相同的数据上进行训练。我们使用这个框架来获得对比和因果的充分性和必要性分数作为黑盒分类器的全球性解释。在人脸属性分类的任务中,我们展示了不同的属性如何通过提供因果和对比特征属性以及相应的反事实图像来影响分类器的输出。
2022-06-10 cs.AI cs.CV
R-Cut: Enhancing Explainability in Vision Transformers with Relationship Weighted Out and Cut
Nagoya University(名古屋大学)
针对Transformer图像分类模型的可解释性问题,本文提出包含关系加权输出与裁剪模块的R-Cut方法,生成类别专属可视化图,在ImageNet和LRN数据集上表现优于现有方法,且各模块有效性经消融实验验证。
2023-07-18 cs.AI cs.CV
P-TAME: Explain Any Image Classifier with Trained Perturbations
Information Technologies Institute / CERTH(信息科技研究所 / CERTH);Queen Mary University of London(伦敦女王学院)
P-TAME 提出一种与模型无关、基于可训练扰动的图像分类器解释方法,通过辅助分类器提取特征并在单次前向传播中生成高分辨率解释,在 VGG-16、ResNet-50 和 ViT-B-16 上达到或优于现有可解释性方法。
2025-06-03 cs.AI cs.CV
Aligning Characteristic Descriptors with Images for Human-Expert-like Explainability
University at Buffalo(布法罗大学)
提出利用特征描述符与图像对齐的概念瓶颈方法,生成类人类专家的可解释性,在人脸识别和胸部X射线诊断中优于显著性图方法。
2024-11-06 cs.AI cs.CV