arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2302.08508cs.CVcs.AIcs.LG
收藏

基于原型的图像分类中补丁可视化的健全性检查与改进

Sanity checks and improvements for patch visualisation in prototype-based image classification

Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)

Romain Xu-Darme, Georges Quénot, Zakaria Chihani, Marie-Christine Rousset

AI总结:

针对基于原型的图像分类模型(ProtoPNet和ProtoTree)的可视化方法,本文通过细粒度数据集实验和删除度量,证明现有方法不准确,提出基于分割的新相关性度量,并建议采用更忠实的显著性方法以减轻虚假偏差。

摘要:

在本工作中,我们对两种流行的基于原型的视觉分类自解释模型——ProtoPNet和ProtoTree——中实现的可视化方法进行了深入分析。使用两个细粒度数据集(CUB-200-2011和Stanford Cars),我们首先表明这些方法不能正确识别图像中的感兴趣区域,因此不能反映模型行为。其次,使用删除度量,我们定量证明诸如Smoothgrads或PRP等显著性方法提供了更忠实的图像补丁。我们还提出了一种基于某些数据集(例如CUB-200-2011)中提供的对象分割的新相关性度量,并表明ProtoPNet和ProtoTree生成的不精确补丁可视化可能造成虚假的偏差感,而使用更忠实的方法可以减轻这种偏差。最后,我们讨论了我们的发现对共享相同可视化方法的其他基于原型的模型的影响。

英文摘要:

In this work, we perform an in-depth analysis of the visualisation methods implemented in two popular self-explaining models for visual classification based on prototypes - ProtoPNet and ProtoTree. Using two fine-grained datasets (CUB-200-2011 and Stanford Cars), we first show that such methods do not correctly identify the regions of interest inside of the images, and therefore do not reflect the model behaviour. Secondly, using a deletion metric, we demonstrate quantitatively that saliency methods such as Smoothgrads or PRP provide more faithful image patches. We also propose a new relevance metric based on the segmentation of the object provided in some datasets (e.g. CUB-200-2011) and show that the imprecise patch visualisations generated by ProtoPNet and ProtoTree can create a false sense of bias that can be mitigated by the use of more faithful methods. Finally, we discuss the implications of our findings for other prototype-based models sharing the same visualisation method.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑