Regularizing Attention Scores with Bootstrapping
University of Warsaw（华沙大学）；Samsung AI Center, Warsaw（三星人工智能中心（华沙））
本文通过自助法正则化注意力分数，提高视觉Transformer的可解释性，通过统计学习方法去除噪声引起的虚假注意力，提升稀疏性和收缩性。
2026-04-01 cs.AI cs.CV cs.LG
Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease
Stevens Institute of Technology（史蒂文斯理工学院）
在这项工作中，我们提出了三种可解释的深度学习架构，根据语言能力自动检测阿尔茨海默病患者。架构用途：（1）仅词性特征;（2）仅语言嵌入特征;以及（3）这两个特征类经由统一架构。我们使用自注意力机制和可解释的一维卷积神经网络（CNN）来产生两种类型的解释模型的行动：类内解释和类间解释。类间解释捕获该类中每个不同特征的相对重要性，而类间解释捕获类之间的相对重要性。请注意，尽管我们在本文中考虑了两类功能，但由于其模块化，该架构可以轻松扩展到更多类。大量的实验和与最近几个模型的比较表明，我们的方法优于这些方法，在DementiaBank数据集上的准确率为92.2%，F1得分为0.952，同时能够生成解释。我们通过例子展示了如何使用注意力值来生成这些解释。
2021-01-08 cs.CL cs.LG
Evaluating Post-hoc Explanations of the Transformer-based Genome Language Model DNABERT-2
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
本研究调整AttnLRP并应用于DNABERT-2，通过多指标评估及与基准CNN的比较，证实该方法能生成可靠生物学解释，助力gLMs的可解释性研究。
2026-08-27 cs.LG q-bio.GN
Exploring Data Augmentation and Resampling Strategies for Transformer-Based Models to Address Class Imbalance in AI Scoring of Scientific Explanations in NGSS Classroom
Michigan State University（密歇根州立大学）；CREATE for STEM（STEM创新计划）；University of Houston（休斯顿大学）
本文研究了通过数据增强策略提升Transformer模型对科学解释评分的性能，发现GPT生成数据和ALP方法在处理严重类别不平衡时效果显著，优于传统过采样方法。
2026-03-21 cs.AI cs.LG
WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification
Fundação Getúlio Vargas（瓦加斯基金会）；QualityMinds（QualityMinds公司）
本文提出一种基于随机采样与噪声添加的风格增强算法WSAM，提升模型对图像风格化的鲁棒性，在STL-10数据集上达到最先进性能，并分析了不同风格变化下的模型解释。
2023-08-29 cs.CV cs.LG
The Effects of Approximate Multiplication on Convolutional Neural Networks
本文分析了在深度卷积神经网络（CNN）上执行推理时近似乘法的影响。近似乘法可以降低底层电路的成本，使得可以在硬件加速器中更有效地执行CNN推断。该研究确定了卷积，全连接和批量归一化层中的关键因素，这些因素允许更准确的CNN预测，尽管近似乘法存在误差。同样的因素也提供了bfloat 16乘法在CNN上表现良好的算术解释。使用公认的网络架构进行实验，以表明近似乘法器可以产生几乎与FP 32参考一样准确的预测，而无需额外的训练。例如，与FP 32参考相比，使用Mitch- $w$ 6乘法的ResNet和Inception-v4模型产生的前5个误差在0.2%以内。Mitch- $w$ 6与bfloat 16的成本比较，其中MAC操作与bfloat 16算法相比节省高达80%的能量。本文最深远的贡献是分析的理由，乘法可以近似，而添加需要精确的CNN MAC操作。
2021-01-09 cs.CV cs.LG eess.SP
Influence-Directed Explanations for Deep Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
我们研究的问题，解释了丰富的一类行为性质的深度神经网络。与众不同的是，我们的影响导向解释通过在网络内部进行窥视来识别对感兴趣的数量和分布具有高度影响的神经元，使用公理化的影响度量，然后为这些神经元所代表的概念提供解释。我们通过在ImageNet上训练的卷积神经网络上展示其一些独特的功能来评估我们的方法。我们的评估表明，影响导向的解释（1）识别跨实例概括的有影响力的概念，（2）可用于提取网络学习到的关于类的“本质”，以及（3）隔离网络用于做出决策和区分相关类的个体特征。
2018-11-13 cs.AI cs.LG stat.ML
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation
Carnegie Mellon University（卡内基梅隆大学）
随着深度学习的成功，最近的努力集中在分析学习网络如何进行分类。我们感兴趣的是基于网络结构和通过网络层的信息流来分析网络输出。我们贡献了一种算法，用于1）分析深度网络以找到在网络分类结果方面“重要”的神经元，以及2）自动标记激活这些重要神经元的输入图像的补丁。我们提出了几个衡量神经元重要性的指标，并证明了我们的技术可以用来深入了解和解释网络如何分解图像以进行最终分类。
2018-02-11 cs.CY cs.LG stat.ML
Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations
提出一种基于遗传算法的模型无关方法，自动演化局部解释以提升深度卷积神经网络的可解释性，实验表明其解释易于理解且比LIME快十倍以上。
2025-03-26 cs.CV cs.LG
Use HiResCAM instead of Grad-CAM for faithful explanations of convolutional neural networks
Duke University（杜克大学）
解释方法促进了模型的开发，这些模型可以学习有意义的概念，避免利用虚假的相关性。我们说明了流行的神经网络解释方法Grad-CAM的一个以前未被认识到的局限性：作为梯度平均步骤的副作用，Grad-CAM有时会突出模型实际上没有使用的位置。为了解决这个问题，我们提出了HiResCAM，这是一种新的特定于类的解释方法，保证只突出模型用于进行每个预测的位置。我们证明了HiResCAM是CAM的推广，并探讨了HiResCAM与其他基于梯度的解释方法之间的关系。在PASCAL VOC 2012上的实验，包括众包评估，表明虽然HiResCAM的解释忠实地反映了模型，但Grad-CAM通常会扩大注意力，以创建更大更平滑的可视化。总的来说，这项工作推进了卷积神经网络解释方法，并可能有助于为敏感应用开发值得信赖的模型。
2021-11-21 cs.CV cs.LG eess.IV
How Weight Resampling and Optimizers Shape the Dynamics of Continual Learning and Forgetting in Neural Networks
University of Vermont（佛罗里达大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute Canada（加拿大向量研究所）；CIFAR AI Chair（CIFAR人工智能主席）
本文研究了权重重采样（zapping）和优化器选择对神经网络持续学习与遗忘动态的影响，发现二者均能显著改变模型迁移后的恢复速度及多任务间的协同与干扰模式。
2025-07-02 cs.CV cs.LG
CRITS: Convolutional Rectifier for Interpretable Time Series Classification
Department of Computer and Systems Sciences, Stockholm University（斯德哥尔摩大学计算机与系统科学系）；Department of Computer Science and Engineering, University of Oviedo（奥维多大学计算机科学与工程系）
针对现有卷积网络可解释方法存在输入空间解释不足或需随机扰动的问题，提出可解释时间序列分类模型CRITS，借助全连接整流网络的ReLU激活内在提取局部解释，无需梯度、扰动和显著性图升尺度，并验证了其分类性能与解释质量。
2025-05-24 cs.AI cs.LG stat.ML
Residual resampling-based physics-informed neural network for neutron diffusion equations
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Nuclear Power Institute of China（中国核动力研究设计院）；CNNC Engineering Research Center of Nuclear Energy Software and Digital Reactor（中核集团核能软件与数字反应堆工程研究中心）
针对传统PINN求解中子扩散方程时存在的过拟合、训练不稳定和梯度消失问题，提出R2-PINN，采用带跳跃连接的卷积神经网络替代全连接网络，并结合残差自适应重采样机制，显著提升收敛能力和预测精度。
2024-06-23 cs.LG
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks
The University of Tokyo（东京大学）
图神经网络（GNN）是将图数据作为输入的深度学习模型，并且它们被应用于诸如交通预测和分子性质预测的各种任务。然而，由于GNN的复杂性，很难分析输入的哪些部分影响GNN模型的输出。在这项研究中，我们扩展了卷积神经网络（CNN）的可解释性方法，例如局部可解释模型不可知性解释（LIME），基于显着性的映射和基于显着性的加权类激活映射（Grad-CAM）到GNN，并预测输入图中的哪些边对GNN决策很重要。实验结果表明，基于LIME的方法是最有效的可解释性方法，在现实世界的情况下，多个任务，甚至超过了最先进的方法GNN的可解释性。
2021-11-01 cs.AI cs.LG
Interpretable and Fine-Grained Visual Explanations for Convolutional Neural Networks
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）；University of Bonn（波恩大学）
为了验证和验证网络，必须深入了解它们的决策、局限性以及训练数据的可能缺陷。在这项工作中，我们提出了一个事后，基于优化的视觉解释方法，它突出了输入图像中的证据，用于特定的预测。我们的方法是基于一种新的技术，通过在优化过程中过滤梯度来防御对抗性证据（即由于人为因素造成的错误证据）。防御不依赖于人为调整的参数。它可以实现既细粒度又保留图像特征（如边缘和颜色）的解释。这些解释是可解释的，适合于可视化详细的证据，并且可以进行测试，因为它们是有效的模型输入。我们在大量模型和数据集上定性和定量地评估我们的方法。
2019-08-07 cs.CV cs.LG
ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks
ConceptFlow通过概念注意力和概念通路追踪CNN中概念跨层传播与演化，模拟模型内部思维路径，从而提供更忠实且人类可对齐的层级化细粒度解释。
2025-09-16 cs.AI cs.LG
Learning Robust Convolutional Neural Networks with Relevant Feature Focusing via Explanations
NTT Corporation（日本电信电话株式会社）
本文提出ReFF方法，通过解释输出正则化CNN，使其聚焦于任务相关特征，从而提升模型在分布偏移下的鲁棒性和测试精度。
2022-03-23 cs.AI cs.CV cs.LG
Regularizing Explanations in Bayesian Convolutional Neural Networks
Norwegian University of Science and Technology（挪威科技大学）
针对贝叶斯神经网络无法通过权重分布注入领域知识、难纠正虚假特征关注的问题，提出兼容贝叶斯推理的解释正则化方法，提升模型在虚假特征场景下的预测性能且优于数据增强方法。
2024-11-27 cs.AI cs.LG
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
Diabetic Retinopathy Detection via Deep Convolutional Networks for Discriminative Localization and Visual Explanation
GE Global Research（通用电气全球研究中心）
我们提出了一种用于可解释的糖尿病视网膜病变（DR）检测的深度学习方法。通过在卷积网络（CNN）的全局平均池化层之后添加回归激活图（RAM），实现了所提出方法的视觉可解释特征。利用RAM，该模型可以定位视网膜图像的判别区域，以显示特定的感兴趣区域的严重程度。我们相信，所提出的深度学习模型的这一优势对于DR检测是非常理想的，因为在实践中，用户不仅对高预测性能感兴趣，而且还热衷于了解DR检测的见解以及所采用的学习模型的工作原理。在大规模的视网膜图像数据集上进行的实验中，我们表明，所提出的CNN模型可以实现高性能的DR检测相比，国家的最先进的，同时实现的优点，提供RAM突出输入图像的显着区域。
2019-12-02 cs.CV cs.LG cs.NE
From Interpretable Filters to Predictions of Convolutional Neural Networks with Explainable Artificial Intelligence
Atlantic Technological University（大西洋理工大学）
卷积神经网络（CNN）以其出色的特征提取能力而闻名，可以从数据中学习模型，但却被用作黑箱。对卷积滤波器和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们专注于用于Covid-19和非Covid-19分类的称为cnnexplain的CNN模型的可解释性，重点关注卷积滤波器对特征的可解释性，以及这些特征如何有助于分类。具体来说，我们使用了各种可解释的人工智能（XAI）方法，如可视化，SmoothGrad，Grad-CAM和LIME，以提供卷积滤波器和相关特征的解释，以及它们在分类中的作用。我们已经分析了使用干咳频谱图检测Covid-19的这些方法的解释。从LIME、SmoothGrad和Grad-CAM获得的解释结果突出了不同谱图的重要特征及其与分类的相关性。
2022-07-26 cs.LG
Tandem Blocks in Deep Convolutional Neural Networks
Brigham Young University（杨百翰大学）
由于残差网络（resnets）和相关架构的成功，快捷连接已迅速成为构建卷积神经网络的标准工具。对于捷径的明显有效性，文献中的解释多种多样，而且往往相互矛盾。我们假设，捷径的工作主要是因为它们作为线性对应的非线性层。我们通过使用标准残差块的几种变体来测试这一假设，这些变体具有不同类型的线性连接，以构建小型图像分类网络。我们的实验表明，其他类型的线性连接可能比身份捷径更有效。我们的研究结果还表明，对于一个给定的应用程序的最佳类型的线性连接可能取决于网络的宽度和深度。
2018-06-01 cs.LG stat.ML
White Box Methods for Explanations of Convolutional Neural Networks in Image Classification Tasks
University of Bordeaux（波尔多大学）
近年来，深度学习已经变得流行，以解决来自多个领域的应用。卷积神经网络（CNN）特别地已经展示了用于图像分类任务的现有技术性能。然而，这些网络做出的决定是不透明的，不能由人类直接解释。已经提出了几种方法来解释理解网络预测背后的推理。在本文中，我们提出了一个拓扑结构分组这些方法的基础上，他们的假设和实现。我们主要关注白盒方法，利用网络内部架构的信息来解释其决策。考虑到图像分类的任务和经过训练的CNN，这项工作旨在提供一组方法的全面和详细的概述，这些方法可用于为特定图像创建解释图，并根据图像对网络决策的贡献为图像的每个像素分配重要性得分。我们还提出了一个进一步的分类的白盒方法的基础上，他们的实现，使更好的比较，并帮助研究人员找到最适合不同的情况下的方法。
2021-09-02 cs.AI cs.CV cs.LG
Resampling and super-resolution of hexagonally sampled images using deep learning
University of Dayton（代顿大学）
超分辨率（SR）是为了提高图像的分辨率。应用包括安全、医学成像和物体识别。我们提出了一种基于深度学习的SR系统，该系统将六边形采样的低分辨率图像作为输入，并生成矩形采样的SR图像作为输出。对于训练和测试，我们使用一个现实的观察模型，其中包括从衍射光学退化和传感器的检测器集成退化。我们的SR方法首先使用非均匀插值对观察到的六边形图像进行部分上采样，并将其转换为矩形网格。然后，我们利用为SR设计的最先进的卷积神经网络（CNN）架构，称为残留通道注意力网络（RCAN）。特别是，我们使用RCAN进一步上采样和恢复图像，以产生最终的SR图像估计。我们证明，该系统是优于直接应用RCAN矩形采样LR图像具有相同的样本密度。六边形采样的理论优势是众所周知的。然而，据我们所知，六边形采样在现代处理技术（如RCAN SR）中的实际好处迄今尚未得到验证。我们的SR系统表现出显着的优势，六边形采样的图像时，采用修改后的RCAN六边形SR。
2021-11-03 cs.AI cs.CV cs.LG
ADVISE: ADaptive Feature Relevance and VISual Explanations for Convolutional Neural Networks
Universitat Oberta de Catalunya（开放加泰罗尼亚大学）
本文提出ADVISE方法，通过自适应带宽核密度估计量化CNN特征图单元的相关性，以提供更优的视觉解释，并在多个预训练模型上验证其优于现有方法且满足可解释性公理。
2022-03-02 cs.CV cs.LG
Towards Understanding the Invertibility of Convolutional Neural Networks
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
最近的几项工作已经从经验上观察到卷积神经网络（CNN）是（近似）可逆的。为了理解这种近似可逆现象以及如何更有效地利用它，我们专注于理论解释，并开发了一个与具有随机权重的CNN一致的稀疏信号恢复的数学模型。我们给出了基于模型的压缩感知（及其恢复算法）和随机权重CNN的特定模型的精确连接。我们经验性地证明了几个学习过的网络与我们的数学分析是一致的，然后证明了有了这样一个简单的理论框架，我们可以在真实图像上获得合理的重建结果。我们还讨论了我们的模型假设和在实际场景中训练用于分类的CNN之间的差距。
2017-05-24 cs.LG stat.ML
Keep the Faith: Faithful Explanations in Convolutional Neural Networks for Case-Based Reasoning
Technical University Munich（慕尼黑工业大学）；Ludwig-Maximilians-University（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对ProtoPNet等基于案例推理的卷积神经网络解释方法归因图不忠实的问题，提出基于Shapley值的ProtoPFaith方法，可忠实解释原型存在性及像素贡献，在多数据集和架构上实验表现远超原方法。
2023-12-19 cs.CV cs.LG
Recipro-CAM: Fast gradient-free visual explanations for convolutional neural networks
Intel Corp.（英特尔公司）
卷积神经网络（CNN）是一种广泛用于计算机视觉的深度学习架构。然而，它的黑箱性质使得很难解释模型的行为。为了缓解这个问题，人工智能从业者已经探索了可解释的人工智能方法，如类激活图（CAM）和Grad-CAM。虽然这些方法已经显示出前景，但它们受到架构约束或梯度计算负担的限制。为了克服这个问题，Score-CAM和Ablation-CAM已经被提出作为无梯度方法，但是与基于CAM或Grad-CAM的方法相比，它们具有更长的执行时间，使得它们不适合现实世界的解决方案，尽管它们解决了梯度相关的问题并启用了推理模式XAI。为了解决这个问题，我们提出了一种快速的无梯度倒数CAM（Recipro-CAM）方法。我们的方法涉及在空间上掩蔽提取的特征图，以利用激活图和目标类的网络预测之间的相关性。我们提出的方法已经产生了有希望的结果，在平均丢弃相干复杂度（ADCC）度量方面优于当前最先进的方法，从$1.78 \%$到$3.72 \%$，不包括VGG-16骨干。此外，Recipro-CAM以与Grad-CAM相似的速率生成显著性图，并且比Score-CAM快大约$148$倍。Recipro-CAM的源代码可以在我们的数据分析框架中找到。
2023-03-13 cs.CV cs.LG
Layerwise Relevance Visualization in Convolutional Text Graph Classifiers
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
深度神经网络（DNN）隐藏层中的表示通常很难解释，因为很难将它们投影到可解释的域中。图卷积网络（GCN）允许这种投影，但现有的可解释性方法没有利用这一事实，即不集中在中间状态的解释。在这项工作中，我们提出了一种新的方法，跟踪和可视化功能，有助于在可见和隐藏层的GCN的分类决策。我们的方法暴露了输入图结构中隐藏的跨层动态。我们的实验表明，它产生有意义的分层解释GCN句子分类。
2019-09-24 cs.CL cs.LG
XCM: An Explainable Convolutional Neural Network for Multivariate Time Series Classification
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机过程研究所）；Zhejiang University（浙江大学）
在过去的十年中，随着多个领域中时间数据集数量的增加，多变量时间序列（MTS）分类变得越来越重要。目前最先进的MTS分类器是一种重量级的深度学习方法，仅在大型数据集上优于第二好的MTS分类器。此外，这种深度学习方法不能提供可靠的解释，因为它依赖于事后模型不可知的可解释性方法，这可能会阻止其在许多应用中的使用。本文提出了一种用于MTS分类的可扩展卷积神经网络XCM。XCM是一种新的紧凑型卷积神经网络，它直接从输入数据中提取与观测变量和时间相关的信息。因此，XCM架构在大型和小型数据集上都具有良好的泛化能力，同时通过精确识别对预测很重要的输入数据的观测变量和时间戳，允许充分利用忠实的事后模型特定的可解释性方法（加权类激活映射）。我们首先证明了XCM在大型和小型公共UEA数据集上的性能优于最先进的MTS分类器。然后，我们说明了XCM如何在合成数据集上协调性能和可解释性，并表明与当前的深度学习MTS分类器相比，XCM能够更精确地识别对预测重要的输入数据区域，并提供忠实的可解释性。最后，我们介绍了XCM如何在现实世界的应用程序中超越当前最准确的最先进的算法，同时通过提供忠实和更翔实的解释来增强可解释性。
2021-12-07 cs.LG stat.ML
FovEx: Human-Inspired Explanations for Vision Transformers and Convolutional Neural Networks
Department AIBE, FAU Erlangen-Nürnberg（FAU埃朗根-纽伦堡大学AIBE部门）；PAVIS, Istituto Italiano di Tecnologia (IIT), Genova, Italy（意大利技术研究院（IIT）帕维斯部门，热那亚，意大利）；Ernst Strüngmann Institute for Neuroscience, Frankfurt, Germany（神经科学埃朗根-纽伦堡研究所，法兰克福，德国）；Goethe-Universität Frankfurt am Main（法兰克福大学）；Institute of AI for Health, Helmholtz Zentrum München, Munich, Germany（健康人工智能研究所，海德堡中心慕尼黑，德国）
受人类视觉启发提出模型无关的XAI方法FovEx，结合生物扰动与梯度探索生成归因图，在多种架构上实现SOTA性能，且解释图与人类注视模式高度契合。
2025-07-31 cs.CV cs.LG
BEE: Metric-Adapted Explanations via Baseline Exploration-Exploitation
The Open University, Israel（以色列开放大学）；Tel Aviv University, Israel（特拉维夫大学）
提出BEE方法，通过将基线建模为学习的随机张量并引入随机性到路径积分过程中，生成多样化解释图以适应不同评估指标，在多种模型架构上表现优于现有方法。
2024-12-23 cs.AI cs.CV cs.LG
DCNFIS: Deep Convolutional Neuro-Fuzzy Inference System
University of Alberta（阿尔伯塔大学）
本文提出深度卷积神经模糊推理系统（DCNFIS），融合模糊逻辑与深度学习，在保持准确性的同时提升可解释性，并在多个数据集上达到最先进性能，通过显著性图提供解释。
2024-03-17 cs.AI cs.CV cs.LG
Designing a Direct Feedback Loop between Humans and Convolutional Neural Networks through Local Explanations
George Mason University（乔治梅森大学）；Emory University（埃默里大学）；Michigan State University（密歇根州立大学）；NAVER AI Lab（NAVER人工智能实验室）
本文针对局部解释在 CNN 漏洞诊断中启发式且难以直接修正模型的问题，提出交互式设计 DeepFuse，通过建立用户与 CNN 之间的直接反馈回路，系统性搜索并标注不合理局部解释以引导模型修正，实验表明其能提升模型准确性与合理性。
2023-07-08 cs.AI cs.CV cs.HC
Learning with convolution and pooling operations in kernel methods
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
最近的实证研究表明，受卷积神经网络（CNN）启发的分层卷积核可以显著提高图像分类任务中核方法的性能。对它们成功的一个广泛接受的解释是，这些架构编码了适合自然图像的假设类。然而，理解卷积架构中近似和泛化之间的精确相互作用仍然是一个挑战。在本文中，我们考虑的协变量（图像像素）均匀分布在超立方体上的程式化设置，并准确地描述了由单层卷积，池化和下采样操作组成的内核的RKHS。我们使用这个特征来计算尖锐的渐近的推广误差为任何给定的功能在高维。特别是，我们量化了通过卷积操作强制局部性和平均池化近似平移不变性带来的样本复杂度增益。值得注意的是，这些结果提供了卷积和池化操作如何在一层卷积核中权衡近似与泛化能力的精确描述。
2022-06-02 cs.LG stat.ML
On the Number of Linear Regions of Convolutional Neural Networks
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（初探人工智能研究所）
深度学习的一个基本问题是理解深度神经网络（NN）在实践中的出色性能。对NN优越性的一种解释是它们可以实现一大类复杂函数，即，他们有很强的表现力。ReLU NN的表达能力可以通过它可以将其输入空间分离成的最大线性区域数量来量化。在本文中，我们提供了研究CNN线性区域所需的几个数学结果，并使用它们来推导单层ReLU CNN线性区域的最大和平均数量。此外，我们还获得了多层ReLU CNN线性区域数量的上界和下界。我们的研究结果表明，更深的CNN比浅的CNN具有更强大的表达能力，而CNN比每个参数的全连接NN具有更强的表达能力。
2020-06-27 cs.LG stat.ML
Relational Graph Convolutional Networks: A Closer Look
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文描述了关系图卷积网络（RGCN）的一个复制。使用我们的再现，我们解释了模型背后的直觉。我们的再现结果经验验证了我们的实现使用基准知识图谱数据集的节点分类和链接预测任务的正确性。我们的解释提供了一个友好的理解RGCN的不同组成部分的用户和研究人员扩展RGCN的方法。此外，我们介绍了两个新的配置的RGCN更参数有效。代码和数据集可在https://github.com/thiviyanT/torch-rgcn上获得。
2021-07-21 cs.LG
Bounded logit attention: Learning to explain image classifiers
St. Pölten University of Applied Sciences（圣帕尔滕应用科学大学）
可解释的人工智能是试图通过被称为“解释”的适当的辅助信息来阐明太复杂而不能被人类认知直接访问的系统的工作。我们为卷积图像分类器提出了一个可训练的解释模块，我们称之为有界logit注意力（BLA）。BLA模块学习为每个输入实例选择卷积特征映射的子集，然后将其用作分类器预测的解释。BLA克服了Chen等人（2018）引入的实例特征选择方法“学习解释”（L2X）的几个限制：1）BLA扩展到现实世界大小的图像分类问题，2）BLA提供了一种学习可变大小解释的规范方法。由于其模块化，BLA适合于迁移学习设置，也可以用作训练分类器的事后添加。除了可解释性之外，BLA可以作为子集选择的可微近似的通用方法。在一项用户研究中，我们发现，BLA的解释是首选的流行（梯度）CAM方法产生的解释。
2021-05-31 cs.AI cs.CV cs.LG
Effect of Superpixel Aggregation on Explanations in LIME -- A Case Study with Biological Data
Fraunhofer IIS/EZRT（弗劳恩霍夫IIS/EZRT）；University of Bamberg（班贝格大学）
使用深度神经网络（例如卷积神经网络（CNN））进行端到端学习已被证明对于图像分类的不同任务非常成功。为了使黑箱方法的决定透明，已经提出了不同的解决方案。LIME是一种基于Quick-Shift算法将图像分割成超像素的可解释AI方法。在本文中，我们提出了一个探索性的研究如何不同的超像素方法，即Felzenszwalb，SLIC和紧凑的分水岭，影响所产生的视觉解释。我们将由此产生的相关区域与由人类参考标记的图像部分进行比较。结果表明，图像部分选择为相关的强烈变化取决于所应用的方法。快速转移导致最少和紧凑的分水岭在最高的对应关系与参考相关领域。
2019-10-17 cs.LG q-bio.QM stat.ML
Towards Frequency-Based Explanation for Robust CNN
Carnegie Mellon University（卡内基梅隆大学）
目前的透明卷积神经网络（CNN）的解释技术主要集中在建立人类可理解的输入特征与模型预测之间的联系，忽略了输入的另一种表示，频率分量分解。在这项工作中，我们分析了输入数据集中频率分量的分布与模型从数据中学习的推理过程之间的联系。我们进一步提供了量化分析的不同频率分量对模型的预测的贡献。我们证明了模型对微小失真的脆弱性是模型依赖于高频特征，即对抗性（黑盒和白盒）攻击者的目标特征来进行预测的结果。我们进一步表明，如果模型在低频分量与真实标签之间建立了更强的关联，则模型更鲁棒，这就是为什么对抗训练的模型对微小失真更鲁棒的解释。
2020-05-06 cs.CV cs.LG stat.ML
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology（湖北工业大学）；Central China Normal University（华中师范大学）
深度神经网络（DNN）的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来，基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而，当这种方法使用反向传播来获得梯度时，它会在显着图中产生噪声，甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射（Abs-CAM）的方法，该方法对反向传播得到的梯度进行优化，将其全部转化为正梯度，以增强输出神经元激活的视觉特征，提高显着图的定位能力。Abs-CAM的框架分为两个阶段：生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力，第二阶段将初始显著图与原始图像线性结合，增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估，包括删除，插入和指向游戏。实验结果表明，Abs-CAM能明显消除显著图中的噪声，能更好地定位与决策相关的特征，在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
Faithful Explanations for Deep Graph Models
Carnegie Mellon University（卡内基梅隆大学）
本文研究了图神经网络（GNNs）的忠实解释。首先，我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法，包括特征属性和子图解释。其次，我们的分析和实证结果表明，特征属性的方法不能捕捉边缘特征的非线性效应，而现有的子图解释方法是不忠实的。第三，我们介绍了\emph{k-hop Explanation with a Convolutional Core}（KEC），一种新的解释方法，可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后，我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
New Insights into Graph Convolutional Networks using Neural Tangent Kernels
Technical University of Munich（慕尼黑工业大学）
该研究借助神经切线核（NTKs）解释图卷积网络（GCNs）深度与性能的关联规律，推导无限宽GCNs的NTKs，验证合适归一化可缓解深度带来的性能下降，并提出NTK作为无超参数的GCN高效代理模型。
2023-11-04 cs.LG stat.ML
Visualizing Image Content to Explain Novel Image Discovery
Columbia University（哥伦比亚大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
对任何大型数据集的初步分析可分为两个阶段：（1）确定共同趋势或模式;（2）确定偏离这些趋势的异常或离群值。我们专注于检测具有新内容的观察结果的目标，这可以提醒我们数据集中的伪影，或者潜在地发现以前未知的现象。为了帮助解释和诊断这些选定的观察结果的新方面，我们建议使用产生解释的新颖性检测方法。在大型图像数据集的背景下，这些解释应该强调给定图像的哪些方面是新的（颜色，形状，纹理，内容）以人类可理解的形式。我们提出了DEMUD-VIS，第一种通过采用卷积神经网络（CNN）提取图像特征来提供新颖图像内容的视觉解释的方法，一种使用重建误差来检测新颖内容的方法，以及一种将CNN特征表示转换回图像空间的上卷积网络。我们在来自ImageNet、淡水流和火星表面的各种图像上演示了这种方法。
2022-09-12 cs.CV cs.LG stat.ML
Good Representation, Better Explanation: Role of Convolutional Neural Networks in Transformer-Based Remote Sensing Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）；Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology, BHU（印度理工学院BHU分校）；Department of Information Technology（信息技术系）；National Institute of Technology, Srinagar（国家理工学院斯里 Nagar分校）
本文系统评估了十二种CNN编码器在基于Transformer的遥感图像描述中的表现，并结合数值聚类、人工评估和搜索策略分析，证明编码器选择对描述质量具有关键影响。
2025-07-03 cs.CV cs.LG
High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了图像数据的频谱和卷积神经网络（CNN）的泛化行为之间的关系。我们首先注意到CNN捕捉图像高频分量的能力。这些高频成分几乎是人类无法察觉的。因此，观察导致了与CNN的泛化行为相关的多个假设，包括对抗性示例的潜在解释，CNN在鲁棒性和准确性之间权衡的讨论，以及理解训练算法的一些证据。
2020-03-24 cs.CV cs.LG
Learning from spatially inhomogenous data: resolution-adaptive convolutions for multiple sclerosis lesion segmentation
University Institute of Diagnostic and Interventional Neuroradiology（诊断与介入神经放射学大学研究所）；Inselspital, Bern University Hospital and University of Bern（伯尔尼大学医院因塞尔spital与伯尔尼大学）；Centre for Artificial Intelligence in Medicine（医学人工智能中心）；University of Bern（伯尔尼大学）
针对临床MRI空间分辨率不均问题，提出基于e3nn和球谐卷积核的分割网络，无需重采样即可学习异质数据，在2D和多数3D测试中优于U-Net，泛化能力强。
2025-03-26 cs.CV cs.LG eess.IV
Amplitude-Phase Recombination: Rethinking Robustness of Convolutional Neural Networks in Frequency Domain
Peking University（北京大学）；Beihang University（北京航空航天大学）；Huawei（华为）
近年来，卷积神经网络（CNN）的泛化行为通过频率分量分解的解释技术逐渐变得透明。然而，图像相位谱对于视觉系统的鲁棒性的重要性仍然被忽视。在本文中，我们注意到，CNN往往收敛于局部最优值，这是密切相关的训练图像的高频分量，而幅度谱容易受到干扰，如噪声或常见的腐败。相比之下，更多的实证研究发现，人类依赖更多的相位分量来实现鲁棒的识别。这一观察结果导致更多的解释CNN的泛化行为在两个鲁棒性常见的扰动和分布外检测，并激发了一个新的视角数据增强设计重新组合的相位谱的当前图像和干扰图像的幅度谱。也就是说，生成的样本迫使CNN更加关注来自相位分量的结构化信息，并对幅度的变化保持鲁棒性。在多个图像数据集上的实验表明，该方法在多个泛化和校正任务上都达到了最先进的性能，包括对常见损坏和表面变化的适应性，分布外检测和对抗攻击。
2021-08-19 cs.CV cs.LG
Feature Attribution with Necessity and Sufficiency via Dual-stage Perturbation Test for Causal Explanation
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；University of Cambridge（剑桥大学）；Shantou University（汕头大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对特征归因方法在预测变化相似时难以区分特征贡献的问题，提出FANS方法，通过双阶段扰动测试计算必要性与充分性概率（PNS）作为特征重要性，在六个基准上优于现有方法。
2024-06-04 cs.LG stat.ME
Explaining Deep Convolutional Neural Networks via Latent Visual-Semantic Filter Attention
University of California, Los Angeles（加州大学洛杉矶分校）
可解释性是可视化模型的一个重要属性，因为它有助于研究人员和用户理解复杂模型的内部机制。然而，在没有直接监督的情况下，生成关于所学习的表示的语义解释是具有挑战性的。我们提出了一个通用的框架，潜在的视觉语义解释器（LaViSE），教任何现有的卷积神经网络生成文本描述自己的潜在表示在过滤器级别。我们的方法使用通用图像数据集，使用图像和类别名称构建视觉和语义空间之间的映射。然后将映射转移到没有语义标签的目标域。所提出的框架采用模块化结构，并能够分析任何训练的网络，无论其原始训练数据是否可用。我们表明，我们的方法可以为训练数据集中定义的类别集之外的学习过滤器生成新的描述，并对多个数据集进行广泛的评估。我们还展示了我们的方法用于无监督数据集偏差分析的新应用，该方法允许我们自动发现数据集中隐藏的偏差或比较不同的子集，而无需使用额外的标签。数据集和代码被公开，以方便进一步的研究。
2022-04-10 cs.AI cs.CV cs.LG
Concept Graph Convolutions: Message Passing in the Concept Space
University of Cambridge（剑桥大学）
本文提出概念图卷积，通过在概念空间中进行信息传递提升可解释性，结合原始和概念表示，利用结构和注意力机制边权重，实现任务准确性和概念演化的深入理解。
2026-04-22 cs.LG
Winsor-CAM: Human-Tunable Visual Explanations from Deep Networks via Layer-Wise Winsorization
USD Artificial Intelligence Research , Department of Computer Science, University of South Dakota（USD人工智能研究、计算机科学系，南达科他大学）
Winsor-CAM通过逐层Winsor化和用户可调参数，提供高效稳健的视觉解释方法，提升CNN在医疗影像中的定位与保真度性能。
2026-02-20 cs.AI cs.CV cs.LG
COmic: Convolutional Kernel Networks for Interpretable End-to-End Learning on (Multi-)Omics Data
University of Tübingen（图宾根大学）
针对医疗组学预测黑盒模型的可信性问题，提出结合卷积核网络与通路诱导核的COmic模型，可在多规模单/多组学数据上实现性能优异且本质可解释的端到端学习，无需事后解释。
2023-05-03 cs.LG q-bio.QM
