Towards Better Explanations of Class Activation Mapping
Samsung SDS（三星 SDS）
对理解卷积神经网络（CNN）内部行为的需求日益增加，导致解释方法的显着改进。特别是，已经提出了几种基于类激活映射（CAM）的方法，这些方法通过CNN的激活映射的线性组合来生成视觉解释映射。然而，大多数方法缺乏明确的理论基础，他们如何分配的线性组合的系数。在本文中，我们重新审视CAM的内在线性激活地图，我们构建了一个解释模型的CNN作为一个线性函数的二进制变量，表示存在相应的激活地图。利用这种方法，可以通过加性特征属性方法以分析的方式确定解释模型。然后，我们证明了足够的SHAP值，这是一个独特的解决方案的解释模型与一组理想的属性，作为CAM的系数。由于无法获得精确的SHAP值，因此我们引入了一种基于DeepLIFT的高效近似方法LIFT-CAM。我们提出的LIFT-CAM可以快速准确地估计激活图的SHAP值。此外，它大大优于其他以前的CAM为基础的方法在定性和定量方面。
2021-09-27 cs.CV
CF-CAM: Cluster Filter Class Activation Mapping for Reliable Gradient-Based Interpretability
School of Physics, Mathematics, and Computing（物理、数学与计算学院）；University of Western Australia（西澳大学）；Hefei University of Technology（合肥工业大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Stevens Institute of Technology（史蒂文斯理工学院）
针对现有CAM方法在梯度噪声敏感性与计算开销间的权衡，提出CF-CAM框架，结合分层加权、DBSCAN聚类和高斯滤波，实现高效且鲁棒的可解释性，优于现有方法。
2025-04-23 cs.AI cs.CV cs.LG
Attention-based Class Activation Diffusion for Weakly-Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Singapore Management University（新加坡管理大学）
提取类激活图是弱监督语义分割的关键步骤。卷积神经网络的CAM无法捕获对图像的长距离特征依赖性，并且导致仅覆盖前景对象部分，即，很多假阴性。一个直观的解决方案是将CAM与视觉Transformers（ViT）的远程注意力矩阵“耦合”。我们发现，直接"耦合“，例如，注意力和激活的逐像素倍增实现了更全局的覆盖（在前景上），但不幸的是伴随着假阳性的大量增加，即，错误地包括背景像素。本文旨在解决这一问题。提出了一种将CAM和注意力矩阵以概率扩散方式耦合的新方法，称之为AD-CAM。直觉上，它以保守和令人信服的方式整合了ViT注意力和CAM激活。保守性是通过基于一对像素对共同邻居的相应关注度来细化它们之间的关注度来实现的，其中直觉是具有非常不同的邻域的两个像素很少依赖，即，他们的注意力应该减少。说服是通过扩散一个像素的激活到它的邻居（在CAM上）成比例的相应的关注（在AM上）。在实验中，我们在两个具有挑战性的WSSS基准PASCAL VOC和MS~COCO上的结果表明，AD-CAM作为伪标签可以产生比CAM的最新变体更强的WSSS模型。
2022-11-20 cs.CV
UM-CAM: Uncertainty-weighted Multi-resolution Class Activation Maps for Weakly-supervised Fetal Brain Segmentation
University of Electronic Science and Technology of China（电子科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出UM-CAM方法，利用不确定性加权多分辨率类激活图和测地距离种子扩展，解决弱监督胎儿脑部分割中激活区域不完整和边界模糊问题，实验证明其优于现有方法。
2023-06-20 cs.CV
CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency
The University of Western Australia（西澳大学）
反向传播图像显着性旨在通过估计输入中单个像素的模型中心重要性来解释模型预测。然而，网络中较早层的类不敏感性仅允许使用较深层的低分辨率激活图进行显着性计算，从而导致图像显着性受损。对此进行补救可能会导致健全性故障。我们提出了CAMERAS，一种计算高保真反向传播显着图的技术，而不需要任何外部先验，并保持地图的健全。我们的方法系统地执行激活图和反向传播梯度的多尺度累积和融合，以计算精确的显着图。从准确的图像显着性到不同模型输入特征的相对重要性的清晰度，以及视觉相似对象的模型感知之间的精确区分，我们的高分辨率映射为黑盒深度视觉模型提供了多种新的见解。我们还展示了显着性图在对抗设置中的效用，通过将它们集中在我们的地图识别的精确区域上来大幅降低攻击信号的范数。我们的方法也启发了新的评估指标和健全检查这个发展中的研究方向。代码可在这里https://github.com/VisMIL/CAMERAS
2021-06-20 cs.AI cs.CV cs.LG
Assessing the Noise Robustness of Class Activation Maps: A Framework for Reliable Model Interpretability
National Institute of Technology Calicut（卡利卡特国家理工学院）；NTNU Gjøvik（格乔维克挪威理工学院）
本研究针对类激活映射（CAMs）的噪声鲁棒性展开评估，提出包含一致性和响应性的鲁棒性指标，通过跨模型、数据集和噪声扰动的实证分析，揭示不同CAM方法的噪声敏感性差异，为可靠模型可解释性提供框架。
2025-08-25 cs.AI cs.CV cs.LG
Paying Attention to Activation Maps in Camera Pose Regression
Bar-Ilan University（巴伊兰大学）
相机姿态回归方法将单个前向传递应用于查询图像以估计相机姿态。因此，他们提供了一个快速和轻量级的替代传统的定位方案的基础上图像检索。姿势回归方法同时学习两个回归任务，旨在使用卷积骨干计算的单个嵌入向量联合估计相机位置和方向。我们提出了一种基于注意力的姿态回归方法，其中卷积激活图被用作顺序输入。应用Transformers将顺序激活图编码为潜在向量，用于相机姿态回归。这使我们能够关注空间变化的深度特征。使用两个Transformer头，我们分别专注于相机位置和方向的功能，根据它们对每个任务的信息量。我们提出的方法被证明是比较有利的当代姿态回归计划，并实现了国家的最先进的精度在多个室外和室内基准。特别是，据我们所知，我们的方法是在户外场景中获得亚米级平均精度的唯一方法。我们让我们的代码从这里公开。
2021-04-11 cs.AI cs.CV
Class Activation Map Generation by Representative Class Selection and Multi-Layer Feature Fusion
School of Information and Communication Engineering（信息与通信工程学院）；University of Electronic Science and Technology of China（电子科技大学）
现有方法通过一组固定类（即，使用所有类），而不考虑类对之间的区别性线索。注意，通过考虑不同类别对的激活图是互补的，因此可以提供更多的区分性线索，以克服现有CAM生成的缺点，即由于缺乏对象线索，突出显示的区域通常是局部区域而不是全局对象区域。在本文中，我们生成CAM通过使用几个代表性的类，目的是提取更多的区别性线索，考虑每个类对，以获得CAM更全局。好处是双重的。首先，代表类能够获得彼此互补的激活区域，因此导致更准确地生成激活图。其次，我们只需要考虑少量的代表类，使CAM生成适合于小型网络。我们提出了一种基于聚类的方法来选择代表类。使用多个二元分类模型而不是多类分类模型来生成CAM。此外，我们提出了一种多层融合的CAM生成方法，同时结合高层语义特征和低层细节特征。我们在PASCAL VOC和COCO数据库上验证了所提出的方法的分割基础。各种网络，如经典网络（Resnet-50，Resent-101和Resnet-152）和小型网络（VGG-19，Resnet-18和Mobilenet）。实验结果表明，该方法明显提高了CAM生成效率.
2019-01-23 cs.CV
Fusion-CAM: Integrating Gradient and Region-Based Class Activation Maps for Robust Visual Explanations
IRIT, UMR5505 CNRS Université de Toulouse（IRIT，CNRS，Université de Toulouse）；INRAE, Centre Occitanie-Toulouse Unité Expérimentale APC（INRAE，Centre Occitanie-Toulouse，Unité Expérimentale APC）
Fusion-CAM通过整合梯度和基于区域的类别激活图，提供更稳健和判别的视觉解释，优于现有方法。
2026-03-05 cs.CV
Dense Regression Activation Maps For Lesion Segmentation in CT scans of COVID-19 patients
Radboudumc（拉德堡德大学医学中心）；Thirona
胸部CT上的自动病变分割可以快速定量分析COVID-19感染的肺部受累情况。然而，获得大量的体素级注释用于训练分割网络是非常昂贵的。因此，我们提出了一种基于密集回归激活图（dRAM）的弱监督分割方法。大多数弱监督分割方法利用类激活图（CAM）来定位对象。然而，由于CAM是为了分类而训练的，因此它们不能与对象分割精确对齐。相反，我们使用来自分割网络的密集特征生成高分辨率激活图，该分割网络经过训练以估计每叶病变百分比。以这种方式，网络可以利用关于所需病变体积的知识。此外，我们还提出了一个注意力神经网络模块来优化dRAM，并与主回归任务一起优化。我们评估了我们的算法对90名受试者。结果表明，我们的方法实现了70.2%的Dice系数，大大优于基于CAM的基线48.6%。
2021-11-18 cs.CV cs.LG eess.IV
Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Texas A&M University（得克萨斯农工大学）；Wuhan University（武汉大学）
最近，人们越来越关注卷积神经网络的内部机制，以及网络做出特定决策的原因。在本文中，我们开发了一种新的事后视觉解释方法称为分数CAM类激活映射的基础上。与以往基于类激活映射的方法不同，Score-CAM通过激活映射在目标类上的前向传递得分来获得激活映射的权重，从而摆脱了对梯度的依赖，最终结果由权重和激活映射的线性组合获得。我们证明了分数CAM实现了更好的视觉性能和公平性解释的决策过程。我们的方法在识别和本地化任务上都优于以前的方法，它还通过了健全性检查。我们还指出它的应用程序作为调试工具。官方代码已经发布。
2020-04-13 cs.CV
TextCAM: Explaining Class Activation Map with Text
Carnegie Mellon University（卡内基梅隆大学）
针对类激活映射（CAM）缺乏语义洞察的问题，提出结合CAM空间定位与视觉语言模型语义对齐的TextCAM框架，可生成带文本的细粒度解释，实验验证其能提升可解释性并保持模型保真度。
2025-10-01 cs.AI cs.CV cs.LG
CoLo-CAM: Class Activation Mapping for Object Co-Localization in Weakly-Labeled Unconstrained Videos
ÉTS（ÉTS（蒙特利尔工程学院））；McGill University（麦吉尔大学）
本文提出CoLo-CAM，一种用于弱监督视频目标定位的新型类激活映射方法，通过在训练中利用时空信息并基于颜色线索实现共定位，解决了长期依赖导致的定位性能下降问题，在YouTube-Objects数据集上取得了最先进性能。
2025-01-25 cs.CV
A Novel Confidence Induced Class Activation Mapping for MRI Brain Tumor Segmentation
National Tsing Hua University（国立清华大学）；University of Notre Dame（圣母大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出置信度诱导类激活映射Cfd-CAM，利用目标类别置信度计算特征图权重，以改进弱监督脑肿瘤分割，并在两个数据集上超越现有方法。
2023-10-30 cs.CV
Recipro-CAM: Fast gradient-free visual explanations for convolutional neural networks
Intel Corp.（英特尔公司）
卷积神经网络（CNN）是一种广泛用于计算机视觉的深度学习架构。然而，它的黑箱性质使得很难解释模型的行为。为了缓解这个问题，人工智能从业者已经探索了可解释的人工智能方法，如类激活图（CAM）和Grad-CAM。虽然这些方法已经显示出前景，但它们受到架构约束或梯度计算负担的限制。为了克服这个问题，Score-CAM和Ablation-CAM已经被提出作为无梯度方法，但是与基于CAM或Grad-CAM的方法相比，它们具有更长的执行时间，使得它们不适合现实世界的解决方案，尽管它们解决了梯度相关的问题并启用了推理模式XAI。为了解决这个问题，我们提出了一种快速的无梯度倒数CAM（Recipro-CAM）方法。我们的方法涉及在空间上掩蔽提取的特征图，以利用激活图和目标类的网络预测之间的相关性。我们提出的方法已经产生了有希望的结果，在平均丢弃相干复杂度（ADCC）度量方面优于当前最先进的方法，从$1.78 \%$到$3.72 \%$，不包括VGG-16骨干。此外，Recipro-CAM以与Grad-CAM相似的速率生成显著性图，并且比Score-CAM快大约$148$倍。Recipro-CAM的源代码可以在我们的数据分析框架中找到。
2023-03-13 cs.CV cs.LG
Class Re-Activation Maps for Weakly-Supervised Semantic Segmentation
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）
提取类激活图（CAM）可以说是为弱监督语义分割（WSSS）生成伪掩码的最标准步骤。然而，我们发现，不令人满意的伪掩模的关键是二进制交叉熵损失（BCE）广泛使用的CAM。具体地，由于BCE的类上求和池化性质，CAM中的每个像素可以响应于在同一感受野中共同出现的多个类。因此，给定一个类，其热CAM像素可能错误地侵入属于其他类的区域，或者非热CAM像素可能实际上是该类的一部分。为此，我们引入了一个非常简单但非常有效的方法：通过使用softmax交叉熵损失（SCE）重新激活收敛的CAM，称为\textbf{ReCAM}。给定一幅图像，我们使用CAM提取每个类的特征像素，并使用它们与类标签一起使用SCE学习另一个全连接层（骨干之后）。一旦收敛，我们以与CAM中相同的方式提取ReCAM。由于SCE的对比性质，像素响应被分解为不同的类别，因此预期较少的掩模模糊性。对PASCAL VOC和MS~COCO的评估表明，ReCAM不仅可以生成高质量的掩码，而且可以在任何CAM变体中以很小的开销支持即插即用。
2022-03-02 cs.CV
TCAM: Temporal Class Activation Maps for Object Localization in Weakly-Labeled Unconstrained Videos
ÉTS（蒙特利尔高等工程技术学院）
弱监督视频对象定位（WSVOL）允许仅使用全局视频标记（如对象类）定位视频中的对象。最先进的方法依赖于多个独立的阶段，其中使用视觉和运动线索生成初始时空建议，然后识别和细化突出对象。定位是通过解决一个或多个视频的优化问题来完成的，视频标签通常用于视频聚类。这需要每个视频或每个类别的模型，以进行昂贵的推理。此外，局部区域不一定是判别性的，因为无监督的运动方法，如光流，或因为视频标签从优化中被丢弃。在本文中，我们利用成功的类激活映射（CAM）的方法，设计用于基于静止图像的WSOL。介绍了一种新的时间CAM（TCAM）方法，用于训练判别式深度学习（DL）模型，以在连续CAM上使用称为CAM-时间最大池化（CAM-TMP）的聚合机制来利用视频中的时空信息。特别地，从由预训练的CNN分类器产生的CAM收集感兴趣区域（ROI）的激活，以构建用于训练DL模型的逐像素伪标签。此外，全局无监督的大小约束，和局部约束，如CRF被用来产生更准确的CAM。对单个独立帧的推断允许帧剪辑的并行处理和实时定位。在两个具有挑战性的YouTube-Objects数据集上进行的无约束视频的广泛实验表明，CAM方法（在独立帧上训练）可以产生不错的定位精度。我们提出的TCAM方法在WSVOL精度方面达到了新的最先进水平，视觉结果表明它可以适用于后续任务，如视觉对象跟踪和检测。代码是公开的。
2022-10-22 cs.CV
Class Activation Map generation by Multiple Level Class Grouping and Orthogonal Constraint
University of Electronic Science and Technology of China（电子科技大学）
类激活图（CAM）基于分类网络突出类的区域，广泛用于弱监督任务。然而，它面临的问题，类激活区域通常是小的和局部的。虽然几个努力支付给第二步（CAM生成步骤）部分提高了生成，我们相信这样的问题也是由第一步（训练步骤），因为单一的分类模型训练的整个类包含有限的歧视信息，限制了对象区域提取。为此，本文采用多分类模型解决CAM生成问题。为了形成多个分类网络，携带不同的歧视性信息，我们试图捕捉类之间的语义关系，形成不同的语义层次的分类模型。具体而言，基于类关系的层次聚类用于形成层次聚类结果，其中聚类级别被视为语义级别以形成分类模型。此外，提出了一种新的正交模和基于两分支的CAM生成方法，以生成正交互补的类区域。我们使用PASCAL VOC 2012数据集来验证所提出的方法。实验结果表明，我们的方法提高了CAM生成。
2019-09-21 cs.CV
Feature Activation Map: Visual Explanation of Deep Learning Models for Image Classification
Griffith University（格里菲斯大学）
针对无全连接层的图像分类模型，本文提出事后可视化解释方法FAM，利用图像嵌入相似度计算通道权重并生成解释图，实验验证其有效性。
2023-07-11 cs.AI cs.CV cs.LG
Decom--CAM: Tell Me What You See, In Details! Feature-Level Interpretation via Decomposition Class Activation Map
本文提出Decom-CAM，通过奇异值分解将激活图分解为正交特征，生成更精确的显著性图，并引入基于分类准确率的评估协议，显著优于现有方法，推动深度模型特征级解释。
2024-05-29 cs.AI cs.CV
CAMANet: Class Activation Map Guided Attention Network for Radiology Report Generation
University of Warwick（华威大学）；NVIDIA AI Tech Center（英伟达人工智能技术中心）；Alan Turing Institute（阿兰·图灵研究所）
提出 CAMANet，利用聚合类激活图监督跨模态注意力并增强判别信息，在两个 RRG 基准上超越已有 SOTA 方法。
2024-03-03 cs.CV
Extracting Class Activation Maps from Non-Discriminative Features as well
Singapore Management University（新加坡管理大学）
从分类模型中提取类别激活图（CAM）通常导致对前景对象的不良覆盖，即，仅区分区域（例如，“绵羊”的“头”）被识别并且其余的（例如，“羊”的“腿”）错误地作为背景。背后的关键是分类器的权重（用于计算CAM）仅捕获对象的区分特征。我们通过引入一种新的CAM计算方法来解决这个问题，该方法也可以显式地捕获非歧视性特征，从而扩展CAM以覆盖整个对象。具体来说，我们省略了分类模型的最后一个池化层，并对对象类的所有局部特征进行聚类，其中“局部”意味着“在空间像素位置”。我们将得到的K个聚类中心称为局部原型-表示局部语义，如“绵羊”的“头”、“腿”和“身体”。给定类的新图像，我们将其未合并的特征与每个原型进行比较，导出K个相似性矩阵，然后将它们聚合成热图（即，我们的CAM）。因此，我们的CAM捕捉类的所有本地功能没有歧视。我们在弱监督语义分割（WSSS）的挑战性任务中对其进行了评估，并将其插入到多个最先进的WSSS方法中，如MCTformer和AMN，只需将其原始CAM替换为我们的CAM。我们在标准WSSS基准测试（PASCAL VOC和MS COCO）上进行的大量实验表明了我们方法的优越性：一致的改进和较小的计算开销。
2023-03-18 cs.CV
TTE-CAM: Self-Explainable Class Activation Maps for Pretrained Black-Box CNNs
Hertie Institute for AI in Brain Health, University of Tübingen, Germany（图宾根大学脑健康人工智能研究所）
提出TTE-CAM框架，通过卷积替换分类头将预训练黑盒CNN转化为自解释模型，在保持预测性能的同时提供忠实解释。
2026-05-29 cs.CV
Poly-CAM: High resolution class activation map for convolutional neural networks
UCLouvain（鲁汶天主教大学）；Cliniques Universitaires Saint-Luc（圣吕克大学附属医院）；Institut de Recherche Expérimentale et Clinique (IREC)（实验与临床研究所）
随着深度学习的发展，对可解释人工智能的需求正在增加。从卷积神经网络导出的显著图通常不能准确地定位证明网络预测的图像特征。这是因为这些图或者是低分辨率的，如CAM [Zhou等人，2016]，或者对于基于扰动的方法[Zeiler和Fergus，2014]是平滑的，或者对于基于梯度的方法[Sundararajan等人，2017年，Smilkov等人，2017年]。相比之下，我们的工作建议将来自早期网络层的信息与来自后期层的信息相结合，以产生高分辨率的类激活图，该图在插入-删除忠实性度量方面与现有技术具有竞争力，同时在类特定特征定位的精度方面优于现有技术。
2022-05-05 cs.AI cs.CV
Shape and Margin-Aware Lung Nodule Classification in Low-dose CT Images via Soft Activation Mapping
Fudan University（复旦大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
许多关于肺结节分类的研究缺乏对卷积神经网络（CNN）提取的特征的临床/生物学解释。类激活映射（CAM）和基于梯度的CAM（Grad-CAM）等方法是为解释本地化和分类任务而定制的，但它们忽略了细粒度的特征。因此，CAM和Grad-CAM不能为低剂量CT图像中的肺结节分类任务提供最佳解释，因为细粒度的病理线索（如结节的离散和不规则形状和边缘）能够增强关于CNN的结节分类的灵敏度和特异性。在本文中，我们首先开发了一个软激活映射（SAM），使细粒度的肺结节形状\&边缘（LNSM）的特征分析与CNN，使它可以访问丰富的离散功能。其次，通过将高级卷积特征与SAM相结合，我们进一步提出了一种高级特征增强方案（HESAM）来定位LNSM特征。在LIDC-IDRI数据集上的实验表明，1）SAM比现有方法捕获了更多细粒度和离散的注意区域，2）HESAM更准确地定位LNSM特征，并获得了最先进的预测性能，降低了假阳性率，和3）我们设计并进行了一个视觉匹配实验，该实验结合了放射科医生的研究，以增加将我们的方法应用于临床的置信度。诊断.
2019-12-17 cs.CV
CAManim: Animating end-to-end network activation maps
Children’s Hospital of Eastern Ontario Research Institute（东安大略儿童医院研究所）；Ottawa Hospital Research Institute（渥太华医院研究所）；University of Ottawa（渥太华大学）；ICES（ICES研究所）；Prenatal Screening Ontario, Better Outcomes Registry & Network（安大略省产前筛查（更佳结局登记与网络））；Children’s Hospital of Eastern Ontario（东安大略儿童医院）；The Ottawa Hospital（渥太华医院）
针对深度神经网络黑盒难以解释的问题，提出新型XAI可视化方法CAManim，通过动画化各层CAM激活图端到端展示CNN预测过程，适配多种方法与架构，并提出ybROAD定量评估指标，提升模型可解释性与用户信任。
2023-12-19 cs.CV
CAMEO: A Class-Activation-Mapped Equitable Overlay Framework for Fair and Robust Deep Learning-based Skin Condition Diagnosis
Department of Electrical and Computer Engineering, University of New Brunswick, Fredericton, NB, Canada（加拿大新不伦瑞克省弗雷德里克顿市新不伦瑞克大学电气与计算机工程系）
本研究提出CAMEO框架，利用可解释AI的稳定解释分离病变与背景并替换为合成皮肤，在保持准确率的同时将背景驱动错误减少近四倍，提升皮肤病变分类的稳健性与公平性。
2026-09-30 cs.CV cs.LG eess.IV
U-CAM: Visual Explanation using Uncertainty based Class Activation Maps
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是获得改进的确定性估计和深度学习模型解释的秘诀。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2019-10-17 cs.CL cs.CV cs.LG
Analysis of Information Theory for Explainable AI
Rajiv Gandhi Institute of Petroleum Technology（拉贾夫·甘地石油技术研究所）
提出基于互信息的激活映射方法MI CAM，通过特征图与输入图像的互信息加权生成显著性可视化，实现模型推理的因果解释，性能优于现有方法。
2026-06-08 cs.CV cs.LG
BroadCAM: Outcome-agnostic Class Activation Mapping for Small-scale Weakly Supervised Applications
South China University of Technology（华南理工大学）；Guangdong Provincial People’s Hospital (Guangdong Academy of Medical Sciences)（广东省人民医院（广东省医学科学院））；Southern Medical University（南方医科大学）；The Chinese University of Hong Kong（香港中文大学）
提出结果无关的类激活映射方法BroadCAM，利用宽学习系统避免小规模数据下不可靠模型结果对权重的影响，在小规模弱监督任务中优于现有方法并在大规模数据下达到SOTA。
2023-09-07 cs.CV
LaFAM: Unsupervised Feature Attribution with Label-free Activation Maps
Technische Universität Berlin（柏林工业大学）；GT-ARC gGmbH（GT-ARC有限责任公司）
本文提出无标签激活图（LaFAM）方法，通过直接利用原始激活图实现不依赖标签的特征归因，为传统CAM方法提供高效替代，在自监督和监督学习中均有效。
2024-07-09 cs.CV
Inferring the Class Conditional Response Map for Weakly Supervised Semantic Segmentation
Australian National University（澳大利亚国立大学）
图像级弱监督语义分割（WSSS）依赖于类激活图（CAM）的伪标签生成。由于CAM仅突出对象的最有区别的区域，因此生成的伪标签通常不能令人满意地直接用作监督。为了解决这个问题，大多数现有的方法遵循多训练流水线来细化CAM以获得更好的伪标签，其包括：1）重新训练分类模型以生成CAM; 2）后处理CAM以获得伪标签;以及3）用所获得的伪标签训练语义分割模型。然而，这种多训练管道需要复杂的调整和额外的时间。为了解决这个问题，我们提出了一个类条件推理策略和激活感知掩码细化损失函数，以生成更好的伪标签，而无需重新训练分类器。提出了类条件推理时间方法，以单独和迭代地揭示分类网络的隐藏对象激活，以生成更完整的响应图。此外，我们的激活感知掩模细化损失函数引入了一种新的方法，在分割训练期间利用显著性图，并在不抑制背景对象的情况下细化前景对象掩模。我们的方法实现了优越的WSSS结果，而不需要重新训练的分类器。
2021-10-27 cs.CV
Localized Region Guidance for Class Activation Mapping in WSSS
University of Wyoming（怀俄明大学）
IG-CAM通过实例引导和多尺度边界增强，实现更精确的弱监督语义分割，mIoU达86.6%
2025-11-20 cs.CV
Metric-Guided Synthesis of Class Activation Mapping
Chalmers University of Technology（楚德大学技术学院）；University of Gothenburg（哥德堡大学）；University of Edinburgh（爱丁堡大学）
本文提出SyCAM，一种基于度量引导的CAM表达式合成方法，能根据用户指定的评估度量自动生成优化的类激活映射表达式，并在ResNet50、VGG16和VGG19上验证了其有效性与灵活性。
2025-04-14 cs.AI cs.CV
MinMaxCAM: Improving object coverage for CAM-basedWeakly Supervised Object Localization
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；imec-IDLab
弱监督目标定位最常见的问题之一是目标覆盖不准确。在基于类激活映射的现有技术方法的背景下，这是由专门聚焦于感兴趣对象的最有区别的区域的定位图或由在背景区域中发生的激活引起的。为了解决这两个问题，我们提出了两种表示正则化机制：全区域正则化，它试图最大限度地提高目标区域内的本地化地图的覆盖率，和公共区域正则化，它最大限度地减少背景区域中发生的激活。我们在ImageNet、CUB-200-2011和OpenImages-segmentation数据集上评估了这两种正则化，并表明所提出的正则化解决了这两个问题，显著优于现有技术。
2021-04-29 cs.CV
Background-aware Classification Activation Map for Weakly Supervised Object Localization
Institute of Medical Technology, Peking University Health Science Center, Peking University（北京大学医学部医学技术研究院）；Department of Biomedical Engineering, Peking University（北京大学生物医学工程系）；Institute of Biomedical Engineering, Shenzhen Bay Laboratory（深圳湾实验室生物医学工程研究所）；Institute of Biomedical Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院生物医学工程研究所）；ByteDance AI Lab, ByteDance（字节跳动人工智能实验室）；Key Laboratory of Carcinogenesis and Translational Research (Ministry of Education), Peking University Cancer Hospital & Institute（北京大学肿瘤医院暨研究所，恶性肿瘤发生与转化研究教育部重点实验室）
弱监督目标定位（WSOL）通过使用图像级分类掩码来监督其学习过程，从而放松了目标定位对密集注释的要求。然而，目前的WSOL方法遭受过度激活的背景位置，需要后处理，以获得本地化掩模。本文将这些问题归因于对背景线索的不了解，并提出了背景感知分类激活图（B-CAM），以仅使用图像级标签同时学习对象和背景的定位分数。在我们的B-CAM中，两个图像级的功能，潜在的背景和对象位置的像素级功能聚合，被用来净化对象的功能，从对象相关的背景和代表的纯背景样本的功能，分别。然后基于这两个特征，学习目标分类器和背景分类器，以确定二值目标定位掩模。我们的B-CAM可以训练在端到端的方式的基础上提出的交错分类损失，这不仅提高了对象的定位，但也抑制了背景激活。在CUB-200、OpenImages和VOC 2012数据集上的实验表明，B-CAM的性能优于单阶段WSOL方法.
2021-12-29 cs.CV
Towards Interpretable Semantic Segmentation via Gradient-weighted Class Activation Mapping
Max Planck Institute of Molecular Cell Biology and Genetics（马克斯·普朗克分子细胞生物学与遗传学研究所）；Center for Systems Biology Dresden（德累斯顿系统生物学中心）
卷积神经网络已成为最先进的在广泛的图像识别任务。然而，对他们的预测的解释是一个活跃的研究领域。尽管已经提出了各种解释方法用于图像分类，但是图像分割的解释仍然在很大程度上未被探索。为此，我们提出了SEG-GRAD-CAM，一个基于梯度的方法来解释语义分割。我们的方法是广泛使用的Grad-CAM方法的扩展，局部应用于生成热图，显示语义分割的各个像素的相关性。
2020-02-26 cs.CV cs.LG eess.IV
When W4A4 Breaks Camouflaged Object Detection: Token-Group Dual-Constraint Activation Quantization
VCIP, College of Computer Science, Nankai University（南开大学计算机科学学院VCIP）；School of Computer Science and Engineering, Tianjin University of Technology（天津工业大学计算机科学与工程学院）；Institute for Infocomm Research, A*STAR（A*STAR信息与通信研究所）；Academy for Advanced Interdisciplinary Studies, Nankai University（南开大学先进跨学科研究院）；Nankai International Advanced Research Institute, Shenzhen Futian（南开国际先进研究院，深圳福田）
研究W4A4量化Transformer基于的伪装物体检测，发现背景令牌主导激活范围的问题，提出COD-TDQ方法通过令牌组双约束激活量化提升性能。
2026-07-16 cs.CV
Revisiting The Evaluation of Class Activation Mapping for Explainability: A Novel Metric and Experimental Analysis
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
随着对深度学习解决方案需求的增加，对可解释性的需求变得更加基本。在这种情况下，特别注意可视化技术，试图将正确的相关性归因于每个输入像素相对于网络的输出。在本文中，我们专注于类激活映射（CAM）的方法，它提供了一个有效的可视化采取加权平均的激活地图。为了提高这种方法的评价和再现性，我们提出了一套新的指标来量化解释图，这表明更好的有效性和简化方法之间的比较。为了评估该提案的适当性，我们在整个ImageNet验证集上比较了不同的基于CAM的可视化方法，以促进适当的比较和再现性。
2021-04-20 cs.CV
KPCA-CAM: Visual Explainability of Deep Computer Vision Models using Kernel PCA
University of Waterloo（滑铁卢大学）
本文提出KPCA-CAM方法，利用核主成分分析捕捉CNN激活中的非线性关系以生成更精确的类激活图，在ILSVRC数据集上验证其优于现有CAM算法，提升CNN决策可解释性。
2024-09-30 cs.AI cs.CV
CREAM: Weakly Supervised Object Localization via Class RE-Activation Mapping
Fudan University（复旦大学）；Shanghai University of Finance and Economics（上海财经大学）；Deakin University（迪肯大学）
弱监督对象定位（WSOL）旨在通过图像级监督来定位对象。现有的工作主要依赖于类激活映射（CAM）来自分类模型。然而，基于CAM的方法通常集中在对象的最有区别的部分（即，不完全定位问题）。在本文中，我们经验证明，这个问题是与混淆的激活值之间的歧视前景区域和背景。为了解决这个问题，我们提出了类再激活映射（CREAM），一种新的基于聚类的方法来提高积分对象区域的激活值。为此，我们引入类特定的前景和背景上下文嵌入集群质心。提出了一种CAM引导的动量保持策略，用于在训练过程中学习上下文嵌入。在推理阶段，将重新激活映射问题转化为高斯混合模型下的参数估计问题，通过推导基于期望最大化的无监督软聚类算法来解决该问题。通过简单地将CREAM集成到各种WSOL方法中，我们的方法显着提高了它们的性能。CREAM在CUB、ILSVRC和OpenImages基准数据集上实现了最先进的性能。代码将在https://github.com/Jazzcharles/CREAM上提供。
2022-05-27 cs.AI cs.CV
Integrative CAM: Adaptive Layer Fusion for Comprehensive Interpretation of CNNs
Techno India University（泰克诺印度大学）；DRDO Young Scientist Laboratory – CT（国防研究与发展组织青年科学家实验室（计算机技术方向））
本文提出 Integrative CAM，通过自适应融合 CNN 全层梯度与激活并引入偏置项、推广 alpha 项，提升特征重要性映射的完整性与保真度。
2024-12-02 cs.AI cs.CV
Efficient and Concise Explanations for Object Detection with Gaussian-Class Activation Mapping Explainer
Quy Nhon AI, FPT Software（归仁人工智能，FPT软件）；Analytics Everywhere Lab, University of New Brunswick（新不伦瑞克大学无处不在分析实验室）；University of Waterloo（滑铁卢大学）
本文提出高斯类激活映射解释器（G-CAME），通过利用选定层激活图并应用高斯核生成简洁显著性图，在MS-COCO 2017数据集上结合Faster-RCNN和YOLOX，将目标检测的解释时间降至0.5秒且保持高质量，尤其减少微小物体检测偏差。
2024-04-20 cs.AI cs.CV
TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization
University of Chinese Academy of Sciences（中国科学院大学）；Youtu Lab, Tencent（腾讯优图实验室）；NLPR, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；Huawei Cloud AI（华为云AI）；The Chinese University of Hong Kong（香港中文大学）
弱监督目标定位（WSOL）是一个具有挑战性的问题，当给定的图像类别标签，但需要学习目标定位模型。优化卷积神经网络（CNN）进行分类往往会激活局部区分区域，而忽略完整的对象范围，从而导致部分激活问题。在本文中，我们认为部分激活是由CNN的内在特性引起的，其中卷积操作产生局部感受野，并且难以捕获像素之间的长程特征依赖性。我们引入标记语义耦合注意图（TS-CAM），充分利用视觉Transformer中的自注意力机制进行长距离依赖提取。TS-CAM首先将图像分割成一系列用于空间嵌入的补丁标记，这些标记产生长距离视觉依赖的注意力图，以避免部分激活。TS-CAM然后为补丁标记重新分配与类别相关的语义，使每个标记都能够知道对象类别。TS-CAM最终将补丁标记与语义无关的注意力图耦合，以实现语义感知的本地化。在ILSVRC/CUB-200-2011数据集上的实验表明，TS-CAM在WSOL上的性能比CNN-CAM高7.1%/27.1%，达到了最先进的性能。
2021-08-04 cs.CV
Gaze-Guided Class Activation Mapping: Leveraging Human Attention for Network Attention in Chest X-rays Classification
University of British Columbia（英属哥伦比亚大学）
视线跟踪技术的可用性和准确性的提高引发了心理学、神经科学以及最近的计算机视觉和人工智能领域与注意力相关的研究。人工神经网络中的注意力机制被认为可以改善学习任务。然而，以往的研究还没有将网络注意力和人类注意力结合起来。针对胸部X射线病理分类问题，提出了一种基于影像专家视觉注意力直接调节网络注意力形成的注视引导类激活映射（GG-CAM）方法。GG-CAM是一个轻量级的（$3$额外的可训练参数用于调节学习过程）和通用扩展，可以很容易地应用于大多数分类卷积神经网络（CNN）。GG-CAM修饰的CNN在完全训练时不需要人类的注意力作为输入。比较实验表明，两个标准的CNN与GG-CAM扩展实现了显着更高的分类性能。ResNet 50的曲线下面积（AUC）指标中位数从$0.721$增加到$0.776$。对于EfficientNetv 2（s），中位AUC从$0.723$增加至$0.801$。GG-CAM还带来了更好的网络可解释性，有助于弱监督病理定位和分析。
2022-02-15 cs.CV eess.IV
Visual Explanation via Similar Feature Activation for Metric Learning
Griffith University（格里菲斯大学）；Shaanxi University of Science and Technology（陕西科技大学）
本文提出了一种名为SFAM的可视化解释方法，用于度量学习模型中通过相似特征激活来提供可解释性视觉解释。
2025-12-29 cs.CV
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology（湖北工业大学）；Central China Normal University（华中师范大学）
深度神经网络（DNN）的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来，基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而，当这种方法使用反向传播来获得梯度时，它会在显着图中产生噪声，甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射（Abs-CAM）的方法，该方法对反向传播得到的梯度进行优化，将其全部转化为正梯度，以增强输出神经元激活的视觉特征，提高显着图的定位能力。Abs-CAM的框架分为两个阶段：生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力，第二阶段将初始显著图与原始图像线性结合，增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估，包括删除，插入和指向游戏。实验结果表明，Abs-CAM能明显消除显著图中的噪声，能更好地定位与决策相关的特征，在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
Beyond Softmax: Dual-Branch Sigmoid Architecture for Accurate Class Activation Maps
Ewha Womans University（梨花女子大学）
本文提出一种与架构无关的双分支sigmoid头，通过冻结原始softmax分类头并仅微调并行sigmoid分支，在保持分类精度的同时生成保留特征贡献幅度与符号的类证据图，从而提升CAM解释保真度和定位性能。
2025-11-05 cs.CV cs.LG
Improving Mass Detection in Mammography Images: A Study of Weakly Supervised Learning and Class Activation Map Methods
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
本文研究在乳腺X线摄影图像弱监督肿块检测中，比较多种类激活图方法对GMIC模型的改进效果，并在VinDr-Mammo数据集上验证该策略可降低FPPI并提高TPR。
2023-08-07 cs.CV
Robust Activation Map Rectification for Weakly Supervised Volumetric Segmentation: Temporal Coherence as a Free Lunch
School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院）；Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院）；University of Yamanashi（山梨大学）；Department of Electronic Engineering, School of Information Science and Engineering, Fudan University（复旦大学信息科学与工程学院电子工程系）；Ruian People’s Hospital（瑞安市人民医院）；School of Software, Shandong University（山东大学软件学院）
针对弱监督体积分割中CAM不可靠问题，提出无训练无原型框架，利用VRAA抑制噪声放大信号，用BER机制校正不合理激活，该方法与模型无关，集成方便，实验显示相比现有方法有显著提升，减少推理时间。
2026-07-23 cs.CV
Group-CAM: Group Score-Weighted Visual Explanations for Deep Convolutional Networks
Nanjing University（南京大学）
在本文中，我们提出了一种有效的显着图生成方法，称为组得分加权类激活映射（Group-CAM），它采用了“分裂-转换-合并”的策略来生成显着图。具体地，对于输入图像，类激活首先被分成组。在每个组中，子激活被求和并去噪作为初始掩码。之后，初始掩模用有意义的扰动进行变换，然后应用于保留输入的子像素（即，屏蔽输入），然后将其馈送到网络中以计算置信度分数。最后，对初始掩码进行加权求和以形成最终显著性图，其中权重是由掩码输入产生的置信度分数。Group-CAM是高效而有效的，它只需要对网络进行数十次查询，同时生成与目标相关的显着性图。因此，Group-CAM可以作为一种有效的数据增强技巧，用于微调网络。我们全面评估了Group-CAM在常用基准上的性能，包括ImageNet-1 k上的删除和插入测试，以及COCO 2017上的指向游戏测试。大量的实验结果表明，Group-CAM实现了更好的视觉性能比目前国家的最先进的解释方法。该代码可在https://github.com/wofmanaf/Group-CAM上获得。
2021-06-19 cs.AI cs.CV
Zoom-CAM: Generating Fine-grained Pixel Annotations from Image Labels
Computer Vision Lab Delft University of Technology（代尔夫特理工大学计算机视觉实验室）；Delft University of Technology（代尔夫特理工大学）；The Netherlands（荷兰（注：原文本中The Netherlands为国家名，根据提取规则，国家不属于机构，此处仅为完整显示原机构相关信息））；Computer Vision Lab（计算机视觉实验室）
当前的弱监督对象定位和分割依赖于类判别可视化技术来生成用于像素级训练的伪标签。这种可视化方法，包括类激活映射（CAM）和Grad-CAM，只使用最深，最低分辨率的卷积层，丢失中间层中的所有信息。我们提出了Zoom-CAM：通过整合中间层中所有激活的重要性地图，超越最后一个最低分辨率层。Zoom-CAM捕捉细粒度的小规模对象的各种歧视性的类实例，这是通常错过的基线可视化方法。我们专注于从类标签生成像素级伪标签。在ImageNet本地化任务中评估的伪标签的质量在top-1错误上显示出超过2.8%的改进。对于弱监督的语义分割，我们生成的伪标签将最先进的模型提高了1.1%。
2020-10-16 cs.CV
CG-fusion CAM: Online segmentation of laser-induced damage on large-aperture optics
Harbin Institute of Technology（哈尔滨工业大学）；China Academy of Engineering Physics（中国工程物理研究院）
针对大口径光学元件激光损伤在线分割标注成本高、现有弱监督方法激活区域效果不佳的问题，提出CG-fusion CAM弱监督分割方法，仅用图像级标注即可实现媲美全监督算法的分割性能。
2023-07-18 cs.CV
Spatial Structure Constraints for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；Jilin University（吉林大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出空间结构约束SSC，通过CAM驱动重建与激活自调制抑制弱监督语义分割中的对象过度激活，并在PASCAL VOC 2012和COCO上取得优异mIoU。
2024-01-20 cs.CV
