Regularizing Explanations in Bayesian Convolutional Neural Networks
Norwegian University of Science and Technology（挪威科技大学）
针对贝叶斯神经网络无法通过权重分布注入领域知识、难纠正虚假特征关注的问题，提出兼容贝叶斯推理的解释正则化方法，提升模型在虚假特征场景下的预测性能且优于数据增强方法。
2024-11-27 cs.AI cs.LG
Bounded logit attention: Learning to explain image classifiers
St. Pölten University of Applied Sciences（圣帕尔滕应用科学大学）
可解释的人工智能是试图通过被称为“解释”的适当的辅助信息来阐明太复杂而不能被人类认知直接访问的系统的工作。我们为卷积图像分类器提出了一个可训练的解释模块，我们称之为有界logit注意力（BLA）。BLA模块学习为每个输入实例选择卷积特征映射的子集，然后将其用作分类器预测的解释。BLA克服了Chen等人（2018）引入的实例特征选择方法“学习解释”（L2X）的几个限制：1）BLA扩展到现实世界大小的图像分类问题，2）BLA提供了一种学习可变大小解释的规范方法。由于其模块化，BLA适合于迁移学习设置，也可以用作训练分类器的事后添加。除了可解释性之外，BLA可以作为子集选择的可微近似的通用方法。在一项用户研究中，我们发现，BLA的解释是首选的流行（梯度）CAM方法产生的解释。
2021-05-31 cs.AI cs.CV cs.LG
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology（湖北工业大学）；Central China Normal University（华中师范大学）
深度神经网络（DNN）的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来，基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而，当这种方法使用反向传播来获得梯度时，它会在显着图中产生噪声，甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射（Abs-CAM）的方法，该方法对反向传播得到的梯度进行优化，将其全部转化为正梯度，以增强输出神经元激活的视觉特征，提高显着图的定位能力。Abs-CAM的框架分为两个阶段：生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力，第二阶段将初始显著图与原始图像线性结合，增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估，包括删除，插入和指向游戏。实验结果表明，Abs-CAM能明显消除显著图中的噪声，能更好地定位与决策相关的特征，在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
Designing a Direct Feedback Loop between Humans and Convolutional Neural Networks through Local Explanations
George Mason University（乔治梅森大学）；Emory University（埃默里大学）；Michigan State University（密歇根州立大学）；NAVER AI Lab（NAVER人工智能实验室）
本文针对局部解释在 CNN 漏洞诊断中启发式且难以直接修正模型的问题，提出交互式设计 DeepFuse，通过建立用户与 CNN 之间的直接反馈回路，系统性搜索并标注不合理局部解释以引导模型修正，实验表明其能提升模型准确性与合理性。
2023-07-08 cs.AI cs.CV cs.HC
Explaining Deep Learning-based Anomaly Detection in Energy Consumption Data by Focusing on Contextually Relevant Data
Western University（西安大略大学）
针对深度学习异常检测缺乏透明解释且SHAP类方法不稳定的问题，本文结合SHAP变体、全局特征重要性与加权余弦相似度，按异常上下文选择背景数据，在多模型、多数据集实验中将解释可变性平均降低约38%。
2025-01-10 cs.AI cs.LG
Explaining Deep Convolutional Neural Networks via Latent Visual-Semantic Filter Attention
University of California, Los Angeles（加州大学洛杉矶分校）
可解释性是可视化模型的一个重要属性，因为它有助于研究人员和用户理解复杂模型的内部机制。然而，在没有直接监督的情况下，生成关于所学习的表示的语义解释是具有挑战性的。我们提出了一个通用的框架，潜在的视觉语义解释器（LaViSE），教任何现有的卷积神经网络生成文本描述自己的潜在表示在过滤器级别。我们的方法使用通用图像数据集，使用图像和类别名称构建视觉和语义空间之间的映射。然后将映射转移到没有语义标签的目标域。所提出的框架采用模块化结构，并能够分析任何训练的网络，无论其原始训练数据是否可用。我们表明，我们的方法可以为训练数据集中定义的类别集之外的学习过滤器生成新的描述，并对多个数据集进行广泛的评估。我们还展示了我们的方法用于无监督数据集偏差分析的新应用，该方法允许我们自动发现数据集中隐藏的偏差或比较不同的子集，而无需使用额外的标签。数据集和代码被公开，以方便进一步的研究。
2022-04-10 cs.AI cs.CV cs.LG
TorchPRISM: Principal Image Sections Mapping, a novel method for Convolutional Neural Network features visualization
在本文中，我们介绍了一个名为Principal Image Sections Mapping - PRISM的工具，专用于PyTorch，但可以轻松移植到其他深度学习框架。所提出的软件依赖于主成分分析来可视化由给定的卷积神经网络识别的最显著的特征。此外，它允许显示在同一批次中处理的图像之间的比较集合特征，因此PRISM可以是与示例解释技术很好地协同的方法。
2021-01-27 cs.AI cs.CV
Faithful Explanations for Deep Graph Models
Carnegie Mellon University（卡内基梅隆大学）
本文研究了图神经网络（GNNs）的忠实解释。首先，我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法，包括特征属性和子图解释。其次，我们的分析和实证结果表明，特征属性的方法不能捕捉边缘特征的非线性效应，而现有的子图解释方法是不忠实的。第三，我们介绍了\emph{k-hop Explanation with a Convolutional Core}（KEC），一种新的解释方法，可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后，我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
What is understandable in Bayesian network explanations?
Open University of the Netherlands（荷兰开放大学）；Osaka University（大阪大学）；Radboud University（拉德堡德大学）
例如，向医生解释贝叶斯网络的预测是不平凡的。贝叶斯网络推理的各种解释方法出现在文献中，侧重于底层推理的不同方面。虽然有很多技术研究，但人们对人类实际上如何理解这些解释知之甚少。在本文中，我们提出了正在进行的研究，其中四种不同的解释方法进行了比较，通过调查，要求一组人类参与者解释的解释。
2021-10-04 cs.AI
Amplitude-Phase Recombination: Rethinking Robustness of Convolutional Neural Networks in Frequency Domain
Peking University（北京大学）；Beihang University（北京航空航天大学）；Huawei（华为）
近年来，卷积神经网络（CNN）的泛化行为通过频率分量分解的解释技术逐渐变得透明。然而，图像相位谱对于视觉系统的鲁棒性的重要性仍然被忽视。在本文中，我们注意到，CNN往往收敛于局部最优值，这是密切相关的训练图像的高频分量，而幅度谱容易受到干扰，如噪声或常见的腐败。相比之下，更多的实证研究发现，人类依赖更多的相位分量来实现鲁棒的识别。这一观察结果导致更多的解释CNN的泛化行为在两个鲁棒性常见的扰动和分布外检测，并激发了一个新的视角数据增强设计重新组合的相位谱的当前图像和干扰图像的幅度谱。也就是说，生成的样本迫使CNN更加关注来自相位分量的结构化信息，并对幅度的变化保持鲁棒性。在多个图像数据集上的实验表明，该方法在多个泛化和校正任务上都达到了最先进的性能，包括对常见损坏和表面变化的适应性，分布外检测和对抗攻击。
2021-08-19 cs.CV cs.LG
Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach
TU Dresden（德累斯顿工业大学）；University of Bristol（布里斯托大学）
黑盒机器学习模型的可解释性至关重要，特别是在医学或自动驾驶汽车等关键应用中部署时。现有的方法产生的解释模型的预测，然而，如何评估这种解释的质量和可靠性仍然是一个悬而未决的问题。在本文中，我们更进一步，以便为从业者提供工具来判断解释的可信度。为此，我们通过测量一组不同的自举代理解释者之间的有序共识来估计给定解释的不确定性。虽然我们鼓励多样性，使用集成技术，我们提出和分析指标，通过一个评级计划，聚合内的一组解释器中包含的信息。我们通过对最先进的卷积神经网络集成的实验来实证说明这种方法的特性。此外，通过量身定制的可视化，我们展示了具体的情况下，不确定性估计提供了具体的可操作的见解，用户超出了标准的替代解释。
2021-11-17 cs.AI cs.LG stat.ML
Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance
University of Cambridge（剑桥大学）
本研究针对对称群下预测不变的神经网络，借助几何深度学习形式化解释不变性与等变性，提出鲁棒性度量指标、理论保证与提升方法，并总结出5条生成鲁棒解释的准则。
2023-10-05 cs.AI cs.CG cs.LG
A Tutorial on Explainable Image Classification for Dementia Stages Using Convolutional Neural Network and Gradient-weighted Class Activation Mapping
The Hong Kong Polytechnic University（香港理工大学）
本文通过CNN和Grad-CAM对痴呆阶段进行可解释图像分类，展示高准确率的同时探讨可视化解释对医学应用的意义。
2024-08-20 cs.AI cs.CV eess.IV
Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations
提出一种基于遗传算法的模型无关方法，自动演化局部解释以提升深度卷积神经网络的可解释性，实验表明其解释易于理解且比LIME快十倍以上。
2025-03-26 cs.CV cs.LG
Hybrid Convolutional Neural Networks with Reliability Guarantee
针对AI模型可靠执行中冗余计算开销过高的问题，提出将可靠与非可靠执行协同设计的混合CNN，把额外开销集中于必要环节。
2024-05-09 cs.AI
Use HiResCAM instead of Grad-CAM for faithful explanations of convolutional neural networks
Duke University（杜克大学）
解释方法促进了模型的开发，这些模型可以学习有意义的概念，避免利用虚假的相关性。我们说明了流行的神经网络解释方法Grad-CAM的一个以前未被认识到的局限性：作为梯度平均步骤的副作用，Grad-CAM有时会突出模型实际上没有使用的位置。为了解决这个问题，我们提出了HiResCAM，这是一种新的特定于类的解释方法，保证只突出模型用于进行每个预测的位置。我们证明了HiResCAM是CAM的推广，并探讨了HiResCAM与其他基于梯度的解释方法之间的关系。在PASCAL VOC 2012上的实验，包括众包评估，表明虽然HiResCAM的解释忠实地反映了模型，但Grad-CAM通常会扩大注意力，以创建更大更平滑的可视化。总的来说，这项工作推进了卷积神经网络解释方法，并可能有助于为敏感应用开发值得信赖的模型。
2021-11-21 cs.CV cs.LG eess.IV
Orthogonalizing Convolutional Layers with the Cayley Transform
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
最近的工作强调了在深度网络的权重层中强制正交性的几个优点，例如保持激活的稳定性，保持梯度范数，以及通过强制低Lipschitz常数来增强对抗鲁棒性。虽然有许多方法可以强制全连接层的正交性，但卷积层的方法本质上更具启发性，通常专注于惩罚方法或有限类别的卷积。在这项工作中，我们提出并评估了一种替代方法来直接参数化被约束为正交的卷积层。具体地说，我们建议应用凯莱变换的反对称卷积在傅立叶域中，这样的凯莱变换所需的逆卷积可以有效地计算。我们将我们的方法与以前的Lipschitz约束和正交卷积层进行了比较，并表明即使对于大卷积，它也确实保持了很高的正交性。应用于认证的对抗鲁棒性的问题，我们表明，网络结合层优于现有的确定性方法认证防御$\ell_2$ -范数有界的对手，同时扩展到更大的架构比以前调查。代码可在https://github.com/locuslab/orthogonal-convolutions上获得。
2021-04-14 cs.LG stat.ML
Interpretable and Fine-Grained Visual Explanations for Convolutional Neural Networks
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）；University of Bonn（波恩大学）
为了验证和验证网络，必须深入了解它们的决策、局限性以及训练数据的可能缺陷。在这项工作中，我们提出了一个事后，基于优化的视觉解释方法，它突出了输入图像中的证据，用于特定的预测。我们的方法是基于一种新的技术，通过在优化过程中过滤梯度来防御对抗性证据（即由于人为因素造成的错误证据）。防御不依赖于人为调整的参数。它可以实现既细粒度又保留图像特征（如边缘和颜色）的解释。这些解释是可解释的，适合于可视化详细的证据，并且可以进行测试，因为它们是有效的模型输入。我们在大量模型和数据集上定性和定量地评估我们的方法。
2019-08-07 cs.CV cs.LG
Focusing and Diffusion: Bidirectional Attentive Graph Convolutional Networks for Skeleton-based Action Recognition
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
一系列基于图卷积网络的方法通过探索邻域信息和帧内关节之间的密集依赖关系，在基于卷积的动作识别中取得了成功。然而，这些方法通常忽略了时空全局上下文以及帧间和帧内的局部关系。在本文中，我们提出了一种聚焦和扩散机制，以提高图卷积网络关注的运动学依赖性的关节的人体姿势在一个帧和他们的隐式依赖帧。在聚焦过程中，我们引入了一个注意力模块来学习帧内关节上的潜在节点，以传达空间上下文信息。通过这种方式，可以很好地捕获帧中关节之间的稀疏连接，而整个序列上的全局上下文通过这些具有双向LSTM的隐藏节点进一步捕获。在扩散过程中，学习到的时空上下文信息被传递回空间关节，导致双向注意图卷积网络（BAGCN），可以促进基于动作的动作识别。在具有挑战性的NTU RGB+D和Queton-Kinetics基准上进行的大量实验证明了我们方法的有效性。
2019-12-24 cs.CV cs.LG cs.RO
Ada-SISE: Adaptive Semantic Input Sampling for Efficient Explanation of Convolutional Neural Networks
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
可解释人工智能（XAI）是一个活跃的研究领域，通过确保任务指定的学习模型的透明度和信任来解释神经网络的决策。最近，基于扰动的模型分析显示出更好的解释，但反向传播技术仍然盛行，因为它们的计算效率。在这项工作中，我们结合这两种方法作为一个混合的视觉解释算法，并提出了一个有效的解释方法卷积神经网络。我们的方法自适应地选择主要有助于预测的最关键的特征，通过找到激活的特征来探测模型。实验结果表明，该方法可以减少高达30%的执行时间，同时提高竞争的可解释性，而不影响质量的解释产生。
2021-02-15 cs.CV
DCNFIS: Deep Convolutional Neuro-Fuzzy Inference System
University of Alberta（阿尔伯塔大学）
本文提出深度卷积神经模糊推理系统（DCNFIS），融合模糊逻辑与深度学习，在保持准确性的同时提升可解释性，并在多个数据集上达到最先进性能，通过显著性图提供解释。
2024-03-17 cs.AI cs.CV cs.LG
T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers
Centre for Research and Technology Hellas (CERTH) / Information Technologies Institute (ITI)（希腊研究中心与技术研究中心（CERTH）/信息科技研究所（ITI））
本文提出T-TAME，一种兼容Transformer的可训练注意力解释方法，能以单次前向传播生成解释图，并在VGG-16、ResNet-50和ViT-B-16上取得优于现有方法的SOTA可解释性表现。
2025-06-03 cs.AI cs.CV cs.LG
Diabetic Retinopathy Detection via Deep Convolutional Networks for Discriminative Localization and Visual Explanation
GE Global Research（通用电气全球研究中心）
我们提出了一种用于可解释的糖尿病视网膜病变（DR）检测的深度学习方法。通过在卷积网络（CNN）的全局平均池化层之后添加回归激活图（RAM），实现了所提出方法的视觉可解释特征。利用RAM，该模型可以定位视网膜图像的判别区域，以显示特定的感兴趣区域的严重程度。我们相信，所提出的深度学习模型的这一优势对于DR检测是非常理想的，因为在实践中，用户不仅对高预测性能感兴趣，而且还热衷于了解DR检测的见解以及所采用的学习模型的工作原理。在大规模的视网膜图像数据集上进行的实验中，我们表明，所提出的CNN模型可以实现高性能的DR检测相比，国家的最先进的，同时实现的优点，提供RAM突出输入图像的显着区域。
2019-12-02 cs.CV cs.LG cs.NE
TAME: Attention Mechanism Based Feature Fusion for Generating Explanation Maps of Convolutional Neural Networks
CERTH-ITI（CERTH-ITI（信息与通信技术研究所））
本文提出TAME方法，利用多分支分层注意力机制融合CNN多层特征图生成解释图，在ImageNet上的VGG-16和ResNet-50模型上优于现有方法且支持单次前向传播。
2023-01-18 cs.CV
ADVISE: ADaptive Feature Relevance and VISual Explanations for Convolutional Neural Networks
Universitat Oberta de Catalunya（开放加泰罗尼亚大学）
本文提出ADVISE方法，通过自适应带宽核密度估计量化CNN特征图单元的相关性，以提供更优的视觉解释，并在多个预训练模型上验证其优于现有方法且满足可解释性公理。
2022-03-02 cs.CV cs.LG
Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Texas A&M University（得克萨斯农工大学）；Wuhan University（武汉大学）
最近，人们越来越关注卷积神经网络的内部机制，以及网络做出特定决策的原因。在本文中，我们开发了一种新的事后视觉解释方法称为分数CAM类激活映射的基础上。与以往基于类激活映射的方法不同，Score-CAM通过激活映射在目标类上的前向传递得分来获得激活映射的权重，从而摆脱了对梯度的依赖，最终结果由权重和激活映射的线性组合获得。我们证明了分数CAM实现了更好的视觉性能和公平性解释的决策过程。我们的方法在识别和本地化任务上都优于以前的方法，它还通过了健全性检查。我们还指出它的应用程序作为调试工具。官方代码已经发布。
2020-04-13 cs.CV
Why do CNNs excel at feature extraction? A mathematical explanation
研究卷积神经网络为何擅长特征提取，引入基于特征提取的新型图像分类数学模型，证明卷积神经网络分类器能零误差解决图像分类任务，构造分段线性函数并表明可由卷积网络实现。
2026-07-20 cs.AI cs.CV
Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Cisco Systems（思科系统公司）
在过去的十年中，卷积神经网络（CNN）模型在解决复杂的视觉问题方面取得了巨大的成功。然而，考虑到缺乏对其内部功能的理解，这些深层模型被视为“黑箱”方法。最近，人们对开发可解释的深度学习模型产生了浓厚的兴趣，本文就是朝着这个方向努力的。在最近提出的称为Grad-CAM的方法的基础上，我们提出了一种称为Grad-CAM++的通用方法，该方法可以提供对CNN模型预测的更好的视觉解释，与现有技术相比，该方法可以更好地定位对象，并解释单个图像中多个对象实例的出现。其使用最后卷积层特征映射相对于特定类别分数的正偏导数的加权组合作为权重来生成对应类别标签的视觉解释。我们在标准数据集上进行了大量的主观和客观实验和评估，结果表明，Grad-CAM++为给定的CNN架构提供了有前途的人类可解释的视觉解释，包括分类，图像标题生成和3D动作识别;以及新的设置，如知识蒸馏。
2018-11-09 cs.CV
Keep the Faith: Faithful Explanations in Convolutional Neural Networks for Case-Based Reasoning
Technical University Munich（慕尼黑工业大学）；Ludwig-Maximilians-University（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对ProtoPNet等基于案例推理的卷积神经网络解释方法归因图不忠实的问题，提出基于Shapley值的ProtoPFaith方法，可忠实解释原型存在性及像素贡献，在多数据集和架构上实验表现远超原方法。
2023-12-19 cs.CV cs.LG
Recipro-CAM: Fast gradient-free visual explanations for convolutional neural networks
Intel Corp.（英特尔公司）
卷积神经网络（CNN）是一种广泛用于计算机视觉的深度学习架构。然而，它的黑箱性质使得很难解释模型的行为。为了缓解这个问题，人工智能从业者已经探索了可解释的人工智能方法，如类激活图（CAM）和Grad-CAM。虽然这些方法已经显示出前景，但它们受到架构约束或梯度计算负担的限制。为了克服这个问题，Score-CAM和Ablation-CAM已经被提出作为无梯度方法，但是与基于CAM或Grad-CAM的方法相比，它们具有更长的执行时间，使得它们不适合现实世界的解决方案，尽管它们解决了梯度相关的问题并启用了推理模式XAI。为了解决这个问题，我们提出了一种快速的无梯度倒数CAM（Recipro-CAM）方法。我们的方法涉及在空间上掩蔽提取的特征图，以利用激活图和目标类的网络预测之间的相关性。我们提出的方法已经产生了有希望的结果，在平均丢弃相干复杂度（ADCC）度量方面优于当前最先进的方法，从$1.78 \%$到$3.72 \%$，不包括VGG-16骨干。此外，Recipro-CAM以与Grad-CAM相似的速率生成显著性图，并且比Score-CAM快大约$148$倍。Recipro-CAM的源代码可以在我们的数据分析框架中找到。
2023-03-13 cs.CV cs.LG
Group-CAM: Group Score-Weighted Visual Explanations for Deep Convolutional Networks
Nanjing University（南京大学）
在本文中，我们提出了一种有效的显着图生成方法，称为组得分加权类激活映射（Group-CAM），它采用了“分裂-转换-合并”的策略来生成显着图。具体地，对于输入图像，类激活首先被分成组。在每个组中，子激活被求和并去噪作为初始掩码。之后，初始掩模用有意义的扰动进行变换，然后应用于保留输入的子像素（即，屏蔽输入），然后将其馈送到网络中以计算置信度分数。最后，对初始掩码进行加权求和以形成最终显著性图，其中权重是由掩码输入产生的置信度分数。Group-CAM是高效而有效的，它只需要对网络进行数十次查询，同时生成与目标相关的显着性图。因此，Group-CAM可以作为一种有效的数据增强技巧，用于微调网络。我们全面评估了Group-CAM在常用基准上的性能，包括ImageNet-1 k上的删除和插入测试，以及COCO 2017上的指向游戏测试。大量的实验结果表明，Group-CAM实现了更好的视觉性能比目前国家的最先进的解释方法。该代码可在https://github.com/wofmanaf/Group-CAM上获得。
2021-06-19 cs.AI cs.CV
FovEx: Human-Inspired Explanations for Vision Transformers and Convolutional Neural Networks
Department AIBE, FAU Erlangen-Nürnberg（FAU埃朗根-纽伦堡大学AIBE部门）；PAVIS, Istituto Italiano di Tecnologia (IIT), Genova, Italy（意大利技术研究院（IIT）帕维斯部门，热那亚，意大利）；Ernst Strüngmann Institute for Neuroscience, Frankfurt, Germany（神经科学埃朗根-纽伦堡研究所，法兰克福，德国）；Goethe-Universität Frankfurt am Main（法兰克福大学）；Institute of AI for Health, Helmholtz Zentrum München, Munich, Germany（健康人工智能研究所，海德堡中心慕尼黑，德国）
受人类视觉启发提出模型无关的XAI方法FovEx，结合生物扰动与梯度探索生成归因图，在多种架构上实现SOTA性能，且解释图与人类注视模式高度契合。
2025-07-31 cs.CV cs.LG
Integrated Grad-CAM: Sensitivity-Aware Visual Explanation of Deep Convolutional Networks via Integrated Gradient-Based Scoring
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
可视化由卷积神经网络（CNN）捕获的特征是在许多图像识别应用中解释由这些模型做出的预测的常规方法之一。Grad-CAM是一种流行的解决方案，它通过结合从模型中获得的激活图来提供这种可视化。然而，在这种方法中部署的平均基于梯度的项低估了模型发现的表示对其预测的贡献。为了解决这个问题，我们引入了一个解决方案来解决这个问题，通过计算梯度CAM中基于梯度的项的路径积分。我们进行了全面的分析，以证明我们的方法在测量提取的表示对CNN的预测的重要性方面所取得的改进，这有助于我们的方法在对象定位和模型解释方面的管理。
2021-02-15 cs.CV
Shap-CAM: Visual Explanations for Convolutional Neural Networks based on Shapley Value
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
解释深度卷积神经网络最近引起了越来越多的关注，因为它有助于理解网络的内部操作以及为什么它们会做出某些决定。显着图强调与网络决策相关的显着区域，是计算机视觉社区中可视化和分析深层网络的最常见方法之一。然而，现有的方法产生的显着图不能代表真实的信息，由于未经证实的建议，激活地图的权重缺乏坚实的理论基础，并没有考虑到每个像素之间的关系。在本文中，我们开发了一种新的事后视觉解释方法称为Shap-CAM类激活映射的基础上。与以往的基于梯度的方法不同，Shap-CAM通过Shapley值获得每个像素的重要性，从而摆脱了对梯度的依赖。我们证明了Shap-CAM实现了更好的视觉性能和公平性，用于解释决策过程。我们的方法在识别和定位任务上都优于以前的方法。
2022-08-09 cs.CV cs.GT
Explainable Artificial Intelligence to Detect Image Spam Using Convolutional Neural Network
Khalifa University（哈利法大学）；Zayed University（扎耶德大学）
随着互联网的飞速发展，图像垃圾邮件威胁检测一直是一个热门的研究领域。本研究提出了一个可解释的框架，使用卷积神经网络（CNN）算法和可解释的人工智能（XAI）算法检测垃圾邮件图像。在这项工作中，我们使用CNN模型来分类图像垃圾邮件，而事后的XAI方法，包括本地可解释模型不可知解释（LIME）和Shapley加法解释（SHAP）部署提供解释的黑盒CNN模型的决定，对垃圾邮件图像检测。我们训练，然后评估所提出的方法的性能上的6636图像数据集，包括垃圾邮件图像和正常的图像收集从三个不同的公开可用的电子邮件语料库。实验结果表明，该框架在不同的性能指标方面都取得了令人满意的检测结果，而模型无关的XAI算法可以为不同模型的决策提供解释，可用于未来研究的比较。
2022-09-07 cs.CR cs.CV
Winsor-CAM: Human-Tunable Visual Explanations from Deep Networks via Layer-Wise Winsorization
USD Artificial Intelligence Research , Department of Computer Science, University of South Dakota（USD人工智能研究、计算机科学系，南达科他大学）
Winsor-CAM通过逐层Winsor化和用户可调参数，提供高效稳健的视觉解释方法，提升CNN在医疗影像中的定位与保真度性能。
2026-02-20 cs.AI cs.CV cs.LG
LLEXICORP: End-user Explainability of Convolutional Neural Networks
本文提出LLEXICORP流水线，将概念相关性传播与多模态大语言模型结合，自动为概念命名并生成可定制的自然语言解释，显著降低了深度神经网络解释的门槛。
2025-11-04 cs.AI cs.CV
Explaining Convolutional Neural Networks through Attribution-Based Input Sampling and Block-Wise Feature Aggregation
University of Toronto（多伦多大学）；LG AI Research（LG AI研究院）
作为机器学习的一个新兴领域，可解释人工智能（XAI）在解释卷积神经网络（CNN）所做的决策方面表现出色。为了实现CNN的可视化解释，基于类激活映射和随机输入采样的方法已经非常流行。然而，基于这些技术的归因方法提供了较低的分辨率和模糊的解释地图，限制了它们的解释能力。为了规避这个问题，寻求基于各种层的可视化。在这项工作中，我们收集可视化地图从多个层次的模型的基础上基于属性的输入采样技术和聚合它们，以达到细粒度和完整的解释。我们还提出了一种适用于整个基于CNN的模型家族的层选择策略，基于此，我们的提取框架被应用于可视化模型的每个卷积块的最后一层。此外，我们进行了一个实证分析的效力派生的低层次的信息，以提高代表性的归因。在自然和工业数据集上训练的浅层和深层模型上进行的综合实验，使用基于地面真实值和模型真实值的评估指标，通过在解释能力和视觉质量方面满足或优于最先进的方法来验证我们提出的算法，证明我们的方法无论要解释的对象或实例的大小都显示出稳定性。
2020-12-24 cs.CV eess.IV
Extracting low-dimensional psychological representations from convolutional neural networks
Princeton University（普林斯顿大学）
深度神经网络越来越多地用于认知建模，作为一种获取图像等复杂刺激的表示的手段。虽然这些网络的预测能力很高，但通常不清楚它们是否也为手头的任务提供了有用的解释。卷积神经网络表示已被证明是预测人类相似性判断的图像后，适当的适应。然而，这些高维表示很难解释。在这里，我们提出了一种方法，减少这些表示到一个低维空间，这仍然是预测的相似性判断。我们发现，这些低维表示也提供了深刻的解释人类相似性判断的因素。
2020-05-29 cs.CV q-bio.NC
3D Pose Detection in Videos: Focusing on Occlusion
在这项工作中，我们建立在现有的方法，在视频中的遮挡感知3D姿态检测。我们实现了一个两阶段架构，该架构由堆叠的沙漏网络组成，以产生2D姿态预测，然后将其输入到时间卷积网络中以产生3D姿态预测。为了便于预测与闭塞关节的姿态，我们引入了一个直观的泛化的圆柱人模型用于生成遮挡标签。我们发现，在Human3.6M数据集上，遮挡感知网络能够实现比我们的线性基线模型小5 mm的平均每个关节位置误差。与我们的时间卷积网络基线相比，我们以更低的计算成本实现了0.1 mm的可比平均每关节位置误差。
2020-06-24 cs.CV
Biological Plausibility and Representational Alignment of Feedback Alignment in Convolutional Networks
University of Toronto（多伦多大学）
本文比较了反馈对齐与反向传播在卷积网络中的生物合理性、可解释性和计算复杂性，发现修改后的反馈对齐能产生与反向传播相似的内部表征。
2026-05-08 cs.AI cs.CV cs.LG
Good Representation, Better Explanation: Role of Convolutional Neural Networks in Transformer-Based Remote Sensing Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）；Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology, BHU（印度理工学院BHU分校）；Department of Information Technology（信息技术系）；National Institute of Technology, Srinagar（国家理工学院斯里 Nagar分校）
本文系统评估了十二种CNN编码器在基于Transformer的遥感图像描述中的表现，并结合数值聚类、人工评估和搜索策略分析，证明编码器选择对描述质量具有关键影响。
2025-07-03 cs.CV cs.LG
DeepMiner: Discovering Interpretable Representations for Mammogram Classification and Explanation
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Microsoft（微软）；UCLA（加州大学洛杉矶分校）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Microsoft Research New England（微软新英格兰研究院）；VSCO
我们提出了DeepMiner，这是一个发现深度神经网络中可解释的表示并为医学预测建立解释的框架。通过探测训练用于对乳房X线照片中的癌症进行分类的卷积神经网络（CNN），我们发现CNN的最终卷积层中的许多单个单元对BI-RADS词典指定的患病组织概念做出强烈响应。在对可解释单元进行专家注释后，我们提出的方法能够生成与筛查乳腺X射线摄影数字数据库上的地面真实放射学报告一致的CNN乳腺X射线摄影分类的解释。我们表明，DeepMiner不仅能够更好地理解CNN分类决策的细微差别，而且还可能发现与医学诊断相关的新视觉知识。
2021-08-18 cs.CV
Post-hoc Self-explanation of CNNs
本文提出通过k-means聚类改进CNN的自解释能力，利用B4层和中间特征激活生成概念解释图，验证了浅层特征在语义保真与预测性能间的权衡。
2026-03-30 cs.CV stat.ML
High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了图像数据的频谱和卷积神经网络（CNN）的泛化行为之间的关系。我们首先注意到CNN捕捉图像高频分量的能力。这些高频成分几乎是人类无法察觉的。因此，观察导致了与CNN的泛化行为相关的多个假设，包括对抗性示例的潜在解释，CNN在鲁棒性和准确性之间权衡的讨论，以及理解训练算法的一些证据。
2020-03-24 cs.CV cs.LG
Invertible Concept-based Explanations for CNN Models with Non-negative Concept Activation Vectors
The University of Melbourne（墨尔本大学）
用于计算机视觉的卷积神经网络（CNN）模型功能强大，但缺乏最基本形式的可解释性。在重要领域应用CNN时，这种缺陷仍然是一个关键挑战。通过近似线性模型的特征重要性的解释最近的工作已经从输入级特征（像素或片段）转移到概念激活向量（CAV）形式的中间层特征图的特征。CAV包含概念级信息，可以通过聚类学习。在这项工作中，我们重新考虑了Ghorbani等人的ACE算法，提出了一个可替代的可逆的基于概念的解释（ICE）框架，以克服其缺点。基于保真度（近似模型到目标模型）和可解释性（对人们有意义）的要求，我们设计了测量方法，并使用我们的框架评估了一系列矩阵分解方法。我们发现，从非负矩阵分解的非负概念激活向量（NCAV）的计算和人类受试者的实验的基础上，在可解释性和保真度提供卓越的性能。我们的框架为预训练的CNN模型提供了局部和全局概念级的解释。
2021-06-17 cs.AI cs.CV cs.LG
Learning Visual Explanations for DCNN-Based Image Classifiers Using an Attention Mechanism
CERTH-ITI（希腊研究与技术中心-信息技术研究所）
本文提出了两种新的基于学习的可解释AI（XAI）方法用于深度卷积神经网络（DCNN）图像分类器，称为L-CAM-Fm和L-CAM-Img。这两种方法都使用了一种注意力机制，该机制被插入到原始（冻结）DCNN中，并经过训练从最后一个卷积层的特征图中导出类激活图（CAM）。在训练期间，CAM被应用于特征图（L-CAM-Fm）或输入图像（L-CAM-Img），迫使注意力机制学习解释DCNN的结果的图像区域。在ImageNet上的实验评估表明，所提出的方法在推理阶段只需要一次前向传递就可以获得有竞争力的结果。此外，基于导出的解释，进行全面的定性分析，为理解分类错误背后的原因提供有价值的见解，包括影响训练分类器的可能的数据集偏差。
2022-09-22 cs.CV
A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
已经提出了基于反向传播的可视化来解释卷积神经网络（CNN），但是缺少一个理论来证明它们的行为：引导反向传播（GBP）和去卷积网络（DeconvNet）生成比显着图更易于人类解释但对类别不敏感的可视化。受此启发，我们开发了一个理论解释，揭示了GBP和DeconvNet本质上是在进行与网络决策无关的（部分）图像恢复。具体来说，我们的分析表明，GBP和DeconvNet引入的反向ReLU以及CNN中的本地连接是引人注目的可视化的两个主要原因。提供了大量的实验来支持理论分析。
2020-02-13 cs.AI cs.CV
Why Convolutional Networks Learn Oriented Bandpass Filters: Theory and Empirical Support
Samsung AI Center (SAIC)（三星人工智能中心（SAIC））；York University（约克大学）
人们反复观察到，卷积架构在应用于图像理解任务时会学习定向带通滤波器。对这个结果的一个标准解释是，这些滤波器反映了它们在训练过程中接触到的图像的结构：自然图像通常由各种尺度的定向轮廓局部组成，定向带通滤波器与这种结构相匹配。我们提供了另一种解释，不是基于图像的结构，而是基于卷积架构的结构。特别地，复指数是卷积的本征函数。这些特征函数是全局定义的;然而，卷积架构在本地运行。为了增强局部性，可以将加窗函数应用于本征函数，这导致定向带通滤波器作为要用卷积架构学习的自然运算符。从代表性的角度来看，这些滤波器允许本地系统的方式来表征和操作图像或其他信号。我们为卷积网络在所有卷积层学习此类滤波器的假设提供了经验支持。虽然以前的研究表明，过滤器具有定向带通特性的证据，在早期层，我们似乎是第一个研究，以文件的优势，这种过滤器的特性在所有层。以前的研究已经错过了这一观察，因为他们集中在跨层过滤的累积成分效应，而我们检查的过滤器特性，存在于每一层。
2020-11-30 cs.CV
Benchmarking the Influence of Pre-training on Explanation Performance in MR Image Classification
Physikalisch-Technische Bundesanstalt（物理技术联邦机构）；Technische Universität Berlin（技术大学柏林）；Charité – Universitätsmedizin Berlin（柏林查理医院）
本文提出一个MRI分类任务的基准数据集，评估迁移学习对解释性能的影响，发现不同XAI方法在相同模型上表现差异显著，且解释性能依赖于预训练任务和CNN层数量。
2026-01-21 cs.AI cs.CV cs.LG
Explaning with trees: interpreting CNNs using hierarchies
Laboratoire de Recherche de l’EPITA（EPITA研究实验室）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Khalifa University（哈利法大学）
本文提出xAiTrees框架，通过层次分割技术为CNN提供忠实且可解释的解释，提升xAI的可解释性。
2026-01-13 cs.AI cs.CV cs.LG
CNN-based explanation ensembling for dataset, representation and explanations evaluation
Faculty of Mathematics and Information Science（数学与信息科学学院）；Warsaw University of Technology（华沙理工大学）；Technological University Dublin（都柏林理工大学）
针对不同解释呈现模型行为不同方面的问题，本研究提出用卷积模型集成深度分类模型的解释，可评估模型表示、发现类别图像表示不足问题，还能降维去敏，在定位性和忠实度上优于单个解释。
2024-04-16 cs.AI cs.CV
Convolutional Neural Network (CNN) vs Vision Transformer (ViT) for Digital Holography
FEMTO-ST Institute, CNRS Univ. Bourgogne Franche-Comte (UBFC)（法国国家科学研究中心勃艮第弗朗什-孔泰大学FEMTO-ST研究所）
在数字全息中，从全息图中提取物距是再现其振幅和相位的关键。该步骤被称为自动聚焦，并且其通常通过首先重建图像的堆叠并且然后通过使用诸如熵或方差的聚焦度量来锐化每个重建图像来解决。对应于最清晰图像的距离被认为是焦点位置。这种方法虽然有效，但计算量大且耗时。在本文中，通过深度学习（DL）来执行距离的确定。比较了两种深度学习（DL）架构：卷积神经网络（CNN）和视觉Transformer（ViT）。ViT和CNN用于处理作为分类问题的自动聚焦问题。与第一次尝试[11]相比，其中两个连续类之间的距离为100 $μ$ m，我们的建议允许我们将该距离大幅减少到1 $μ$ m。此外，ViT达到类似的准确性，比CNN更强大。
2022-01-27 cs.CV eess.IV
I Know What You See: Power Side-Channel Attack on Convolutional Neural Network Accelerators
The Chinese University of Hong Kong（香港中文大学）；Sangfor Technologies Inc.（深信服科技股份有限公司）
深度学习已成为各种感知问题的事实上的计算范式，包括许多隐私敏感应用，例如在线医学图像分析。毫无疑问，这些深度学习系统的数据隐私是一个严重的问题。与以往研究侧重于利用深度学习模型的隐私泄漏不同，本文提出了对深度学习模型实现的第一次攻击。具体来说，我们对基于FPGA的卷积神经网络加速器进行攻击，并且在不知道神经网络中的详细参数的情况下，我们设法从收集的功率迹线恢复输入图像。对于MNIST数据集，我们的功率侧信道攻击能够实现高达89%的识别准确率。
2019-11-29 cs.CV cs.LG
