NeuralDivergence: Exploring and Understanding Neural Networks by Comparing Activation Distributions
Georgia Institute of Technology（佐治亚理工学院）
随着深度神经网络越来越多地用于解决高风险问题，迫切需要了解其内部决策机制。可视化通过帮助解释复杂的深层神经网络来帮助解决这个问题。然而，当前的工具通常只支持单个数据实例，或者孤立地可视化层。我们介绍了NeuralDivergence，一个交互式可视化系统，它使用激活分布作为模型学习的高级摘要。NeuralDivergence使用户能够交互式地总结和比较跨层、类和实例的激活分布（例如，对抗攻击和良性图像对），帮助他们更好地理解神经网络模型。
2019-06-02 cs.CV cs.LG
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech（佐治亚理工学院）
深度学习越来越多地用于决策任务。然而，理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的，这些权重是在数百万张图像上优化的，因此这种解释很容易错过更大的画面。我们介绍了Summit，这是一个交互式系统，可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术：（1）激活聚合发现重要的神经元，（2）神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来，创建了新颖的归因图，揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据，例如包含120万张图像的ImageNet数据集，并利用神经网络特征可视化和数据集示例，帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案，其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解，并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行，并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations
Jiangsu University（江苏大学）；GC University（GC大学）；Abdus Salam School of Mathematical Sciences（阿卜杜勒·萨拉姆数学学院）
本文提出ASU-CNN模型，将非单调振荡激活函数ASU用于卷积神经网络各层，通过特征图可视化分析其作用，并在CIFAR-10分类上验证了模型的有效性与计算可行性。
2023-05-28 cs.CV cs.LG
ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization
ADAPT通过结合束搜索与自适应梯度突变，改进LLM特征可视化方法，实现更高效的特征激活优化。
2026-02-19 cs.CL cs.LG
Token Activation Map to Visually Explain Multimodal LLMs
The Hong Kong University of Science and Technology（香港科技大学）
针对多模态LLMs生成token时上下文冗余干扰解释的问题，提出基于因果推断与rank Gaussian filter的Token Activation Map（TAM）方法，实现高质量多token可视化解释，显著优于SoTA方法并适用于多种场景。
2025-06-29 cs.AI cs.CV cs.LG
Prediction of lung and colon cancer through analysis of histopathological images by utilizing Pre-trained CNN models with visualization of class activation and saliency maps
Jaypee University of Information Technology（贾皮尔信息技术大学）
结肠癌和肺癌是世界范围内最危险和最危险的疾病之一，已经成为一个普遍的医疗问题。为了减少死亡的风险，特别需要合理和早期的发现。在任何情况下，这是一个真正麻烦的任务，取决于组织病理学家的经验。如果组织学家准备不足，甚至可能危及患者的生命。最近，深度学习已经获得了能量，并且在医学成像分析中受到重视。本文旨在利用和改变当前预训练的基于CNN的模型，以利用具有更好增强技术的组织病理学图像来识别肺癌和结肠癌。本文在LC 25000数据集上训练了八个不同的预训练CNN模型，VGG 16，NASNetMobile，InceptionV3，InceptionResNetV2，ResNet50，Xception，MobileNet和DenseNet169。模型的性能进行了评估的精度，召回率，f1得分，准确率和auroc得分。结果显示，所有八个模型都取得了值得注意的结果，准确率从96%到100%。随后，GradCAM和SmoothGrad也被用来描绘分类恶性和良性图像的预训练的CNN模型的注意力图像。
2021-03-22 cs.AI cs.CV cs.LG
Understanding Neural Networks Through Deep Visualization
Cornell University（康奈尔大学）；University of Wyoming（怀俄明大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
近年来，在训练大型深度神经网络（DNN）方面取得了巨大进展，包括在训练卷积神经网络（convnets）以识别自然图像方面取得了显著成功。然而，我们对这些模型如何工作的理解，特别是它们在中间层执行的计算，已经落后了。通过开发更好的可视化和解释神经网络的工具，该领域的进展将进一步加速。我们在这里介绍两个这样的工具。第一个是一个工具，它可以可视化经过训练的convnet在处理图像或视频（例如实时网络摄像头流）时在每一层上产生的激活。我们发现，查看响应用户输入而变化的实时激活有助于建立有关convnet如何工作的宝贵直觉。第二个工具可以通过图像空间中的正则化优化来可视化DNN每层的特征。由于这种想法的以前版本产生的图像识别度较低，因此在这里我们引入了几种新的正则化方法，这些方法结合起来可以产生更清晰，更可解释的可视化效果。这两个工具都是开源的，并在预先训练的convnet上工作，只需最少的设置。
2015-06-22 cs.CV cs.LG cs.NE
What do CNN neurons learn: Visualization & Clustering
Shanghai Jiao Tong University（上海交通大学）
近年来，卷积神经网络（CNN）在各种任务中取得了惊人的进展。然而，尽管性能很高，但训练和预测过程仍然是一个黑匣子，这使得提取神经元在CNN中学习的内容成为一个谜。在本文中，我们解决的问题，解释一个CNN从输入图像的焦点和偏好，神经元的支配，激活和贡献的一个具体的最终预测方面。具体来说，我们使用两种技术-可视化和聚类-来解决上述问题。可视化部分采用图像像素的梯度下降方法，聚类部分提出了两种算法分别对图像类别和网络神经元进行聚类。实验和定量分析证明了这两种方法在解释神经元学习什么这一问题上的有效性。
2020-10-18 cs.CV cs.LG
Understanding Neural Networks via Feature Visualization: A survey
Auburn University（奥本大学）；Uber AI Labs（优步人工智能实验室）；University of Wyoming（怀俄明大学）
了解大脑的神经科学方法是寻找和研究高度激活单个细胞或细胞群的首选刺激。机器学习的最新进展使一系列方法能够合成优选的刺激，这些刺激导致人工或生物大脑中的神经元强烈放电。这些方法被称为激活最大化（AM）或通过优化的特征可视化。在本章中，我们（1）回顾现有的AM技术在文献中;（2）讨论AM的概率解释;（3）回顾AM在调试和解释网络中的应用。
2019-04-18 cs.AI cs.CV cs.LG
Interactive dense pixel visualizations for time series and model attribution explanations
University of Konstanz（康斯坦茨大学）
提出交互式可视化分析方法 DAVOTS，通过密集像素可视化探索时间序列数据、神经网络激活值与归因，并应用聚类和排序策略辅助发现模式，帮助理解模型决策与解释。
2024-08-27 cs.AI cs.HC cs.LG
An Interpretable Neuron Embedding for Static Knowledge Distillation
Ludwig Maximilian Muenchen Unitversitaet（慕尼黑路德维希-马克西米利安大学）
虽然深度神经网络在各种任务中表现出良好的性能，但模型的可解释性差一直受到批评。本文提出了一种新的可解释的神经网络方法，通过将神经元嵌入到语义空间中来提取其内在的全局语义。与以往的方法，探测模型内部的潜在知识，所提出的语义向量外化的潜在知识的静态知识，这是很容易利用。具体来说，我们假设具有相似激活的神经元具有相似的语义信息。然后，在神经网络的训练过程中，通过连续对齐激活相似度和语义向量相似度来优化语义向量。语义向量的可视化允许对神经网络进行定性解释。此外，我们还通过知识蒸馏任务对静态知识进行了定量评估。可视化实验表明，语义向量能够很好地描述神经元激活语义。在没有教师模型逐个样本指导的情况下，静态知识蒸馏表现出与现有的基于关系的知识蒸馏方法相当甚至更好的性能。
2022-11-14 cs.AI cs.LG
Feature Visualization Recovers Known Cortical Selectivity from TRIBE v2
Duke University（杜克大学）
本文提出特征可视化技术，通过梯度上升在TRIBE v2中恢复皮层选择性，发现不同区域在空间尺度和特征复杂度上的渐进变化，并产生三种下游模式。
2026-05-13 cs.LG q-bio.NC
TopoAct: Visually Exploring the Shape of Activations in Deep Learning
University of Utah（犹他大学）
GoogLeNet、ResNet和BERT等深度神经网络在图像和文本分类等任务中取得了令人瞩目的性能。为了理解这种性能是如何实现的，我们通过研究神经元激活来探测经过训练的深度神经网络，即，在网络的各个层处，响应于特定输入的神经元激发的组合。有了大量的输入，我们的目标是通过研究神经元的激活来获得神经元检测到什么的全局视图。特别是，我们开发了可视化，显示激活空间的形状，神经元激活背后的组织原则，以及这些激活层内的关系。应用拓扑数据分析工具，我们提出了TopoAct，一个可视化的探索系统来研究激活向量的拓扑摘要。我们目前的探索方案，使用TopoAct提供了宝贵的见解学习表示的神经网络。我们期望TopoAct提供一个拓扑的角度，丰富了当前的神经网络分析工具箱，并提供一个基础，网络架构诊断和数据异常检测。
2021-04-12 cs.CG cs.GR cs.LG
Model Stitching and Visualization How GAN Generators can Invert Networks in Real-Time
University of Bremen（不来梅大学）
提出通过1x1卷积将分类/分割网络与GAN生成器拼接，实现快速准确的激活重建，性能与梯度下降相当但速度快两个数量级。
2024-02-20 cs.AI cs.CV cs.LG
SCAT: Second Chance Autoencoder for Textual Data
School of Computing and Engineering, University of Missouri-Kansas City（密苏里大学堪萨斯城分校计算与工程学院）
我们提出了一个k-竞争学习方法的文本自动编码器命名为第二次机会自动编码器（SCAT）。SCAT选择$k$最大和最小的正激活作为获胜神经元，在学习过程中获得失败神经元的激活值，从而专注于检索具有代表性的主题特征。我们的实验表明，SCAT在分类，主题建模和文档可视化方面取得了优异的性能相比，LDA，K-Sparse，NVCTM和KATE。
2020-09-08 cs.CL cs.LG
Visualizing Deep Neural Networks with Topographic Activation Maps
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）；MOTOR Ai GmbH（MOTOR Ai有限公司）
本研究借鉴神经科学的地形图思路，提出并比较多种DNN层神经元地形布局方法，生成地形激活图以识别错误、偏差及可视化训练过程，提升DNN决策系统的可解释性与透明度。
2023-06-14 cs.CV cs.HC cs.LG
Visualizing Uncertainty: Spatial Maps of Missing and Conflicting Evidence in Deep Learning
University of the District of Columbia（哥伦比亚特区大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Virginia Tech（弗吉尼亚理工大学）；U.S. Army DEVCOM Army Research Laboratory（美国陆军DEVCOM陆军研究实验室）；University of Oslo（奥斯陆大学）；Bowie State University（鲍伊州立大学）
提出不确定性激活图（UAM）框架，结合证据深度学习与全梯度类激活映射，生成空间不确定性激活图，区分缺乏证据的空虚和假设冲突的不和谐，填补不确定性量化与可解释性之间的空白。
2026-06-16 cs.AI cs.LG
VS-CAM: Vertex Semantic Class Activation Mapping to Interpret Vision Graph Neural Network
Xidian University（西安电子科技大学）；University of Montenegro（黑山大学）
图卷积神经网络（GCN）在各种计算机视觉任务中得到了越来越多的关注并取得了良好的性能，但对GCN的内在机理缺乏清晰的解释。对于标准卷积神经网络（CNN），类激活映射（CAM）方法通常用于通过生成热图来可视化CNN的决策与图像区域之间的连接。然而，当这些CAM直接应用于GCN时，这样的热图通常表现出语义混乱。在本文中，我们提出了一种新的可视化方法，特别适用于GCN，顶点语义类激活映射（VS-CAM）。VS-CAM包括两个独立的流水线，分别产生一组语义探测图和一个语义基础图。语义探测图用于从语义基础图中检测语义信息，以聚合语义感知热图。定性结果表明，VS-CAM可以获得热图，其中突出显示的区域比基于CNN的CAM更精确地匹配对象。定量评价进一步证明了VS-CAM的优越性。
2022-09-15 cs.AI cs.CV cs.LG
KANLab: TensorFlow Playground for Kolmogorov-Arnold Networks
University of Applied Sciences Osnabrueck（奥斯纳布吕克应用科技大学）
KANLab是源自TensorFlow Playground的开源浏览器可视化工具，用于交互式教授KAN核心概念，通过简化设计便于用户理解KAN相关特性。
2026-10-14 cs.LG
Explaining Neural Networks by Decoding Layer Activations
Institute of Information Systems, University of Liechtenstein（列支敦士登大学信息系统学院）；Department of Information Systems, HEC, University of Lausanne（洛桑大学高等商学院信息系统系）
我们提出了一个“CLAsifier-Decoder”架构（\emph{ClaDec}），便于理解的输出任意层的神经网络（NN）。它使用解码器将给定层的不可解释表示转换为与人类熟悉的领域更相似的表示。在图像识别问题中，通过将\emph{ClaDec}的重构图像与用作参考的传统自动编码器（AE）的重构图像进行对比，可以识别层表示什么信息。我们还扩展了\emph{ClaDec}，允许人类的可解释性和保真度之间的权衡。我们评估我们的方法使用卷积神经网络的图像分类。我们表明，重建的可视化使用编码从一个分类器捕获更多的相关信息比传统的AE分类。相关代码可在\url{https://github.com/JohnTailor/ClaDec}上获得
2021-02-26 cs.LG stat.ML
t-SNE-CUDA: GPU-Accelerated t-SNE and its Applications to Modern Data
University of California, Berkeley（加州大学伯克利分校）
众所周知，现代数据集和模型由于其固有的高维性和大量样本而难以探索和分析。现有的可视化方法，采用降维到两个或三个维度往往是低效和/或无效的这些数据集。本文介绍了t-SNE-CUDA，这是一种GPU加速的t-分布式对称邻居嵌入（t-SNE）实现，用于可视化数据集和模型。t-SNE-CUDA在CIFAR-10和MNIST数据集上具有50- 700倍的加速比，明显优于当前的实现。这些加速第一次实现了整个ImageNet数据集上神经网络激活的可视化-这是一项以前在计算上难以实现的壮举。我们还通过可视化GloVe嵌入向量来展示NLP域中的可视化性能。从这些可视化中，我们可以得出关于在这些嵌入空间中使用L2度量的有趣结论。t-SNE-CUDA可通过以下网址公开获取：https：github.com/CannyLab/tsne-cuda
2018-07-31 cs.LG cs.PF stat.ML
Interpretable Neuron Structuring with Graph Spectral Regularization
Yale Department of Computer Science（耶鲁大学计算机科学系）；Yale Department of Genetics（耶鲁大学遗传学系）；Université de Montréal, Dept. of Math. & Stat.（蒙特利尔大学数学与统计系）；Mila（米拉研究院）
虽然神经网络是用于将数据分类或嵌入低维空间的强大近似器，但它们通常被视为具有不可解释特征的黑盒。在这里，我们提出了图谱正则化，使隐藏层更易于解释，而不会显着影响主要任务的性能。从生物网络中神经元激活的空间组织和定位中得到灵感，我们使用图拉普拉斯惩罚来构造层内的激活。该惩罚鼓励激活在预定图上或在经由神经网络的隐藏层的共同激活从数据学习的特征空间图上是平滑的。我们展示了这种附加结构的许多用途，包括生物和图像数据集的聚类指示和可视化。
2020-02-14 cs.AI cs.LG cs.NE
Visualizing and Explaining Language Models
Modul University Vienna（维也纳模都尔大学）；Modul Technology GmbH（模都尔科技有限责任公司）；Central Washington University（中央华盛顿大学）；Transilvania University（特兰西瓦尼亚大学）
在过去的十年中，自然语言处理已经成为继计算机视觉之后，深度学习的出现极大地改变了人工智能的第二个领域。无论架构如何，当今的语言模型都需要能够处理或生成文本，以及根据任务预测缺失的单词、句子或关系。由于其黑箱性质，这些模型很难解释和向第三方解释。可视化通常是语言模型设计人员用来解释他们工作的桥梁，因为突出单词和短语的着色，聚类或神经元激活可以用来快速理解底层模型。本文展示了一些最流行的NLP可视化深度学习中使用的技术，特别关注可解释性和可解释性。
2022-04-30 cs.CL cs.HC cs.LG
MicroCrackAttentionNeXt: Advancing Microcrack Detection in Wave Field Analysis Using Deep Neural Networks through Feature Visualization
Christian Albrechts University（基尔基督教-阿尔布雷希茨大学）；Aligarh Muslim University（阿里格尔穆斯林大学）；Texas A&M University（德克萨斯农工大学）；Institute of Computer Science（计算机科学研究所）
本研究提出MicroCrackAttentionNeXt，基于SpAsE-Net基准，利用MDA算法进行特征可视化分析，优化激活与损失函数，解决微裂纹检测中的类别不平衡问题，实现86.85%的准确率。
2024-11-15 cs.AI cs.CV cs.ET
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Feature Activation Map: Visual Explanation of Deep Learning Models for Image Classification
Griffith University（格里菲斯大学）
针对无全连接层的图像分类模型，本文提出事后可视化解释方法FAM，利用图像嵌入相似度计算通道权重并生成解释图，实验验证其有效性。
2023-07-11 cs.AI cs.CV cs.LG
F-CAM: Full Resolution Class Activation Maps via Guided Parametric Upscaling
École de technologie supérieure（高等技术学院）；Ericsson（爱立信）；McGill University（麦吉尔大学）
类激活映射（CAM）方法最近得到了很多关注弱监督对象定位（WSOL）任务。它们允许CNN可视化和解释，而无需在完全注释的图像数据集上进行训练。CAM方法通常集成在现成的CNN骨干中，例如ResNet 50。由于卷积和池化操作，这些主干产生低分辨率CAM，其缩小因子高达32，导致定位不准确。恢复全尺寸CAM需要插值，但它不考虑对象的统计特性，如颜色和纹理，导致激活边界不一致，定位不准确。作为一种替代方案，我们引入了一种通用的方法参数升级的CAM，可以构建准确的全分辨率CAM（F-CAM）。特别是，我们提出了一种可训练的解码架构，可以连接到任何CNN分类器以产生高度准确的CAM定位。给定原始低分辨率CAM，前景和背景像素被随机采样以微调解码器。额外的先验信息，如图像统计和大小约束，也被认为是扩大和细化对象的边界。在CUB-200-2011和OpenImages数据集上的三个CNN主干和六个WSOL基线上进行的广泛实验表明，我们的F-CAM方法在CAM定位精度方面有显着提高。F-CAM的性能与最先进的WSOL方法相比具有竞争力，但它在推理过程中需要更少的计算。
2021-10-21 cs.CV cs.LG
Interactive Analysis of Global Explanations using Aggregated Class Activation Maps for Network Data
Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
针对网络流量分类中同一类别内存在不同模式的问题，提出基于聚合类激活图的可视化交互式系统，可实现全局解释的探索优化，辅助专家检测新模式、制定网络管理规则及优化深度学习模型。
2026-08-17 cs.AI cs.HC cs.LG
Analysis of Information Theory for Explainable AI
Rajiv Gandhi Institute of Petroleum Technology（拉贾夫·甘地石油技术研究所）
提出基于互信息的激活映射方法MI CAM，通过特征图与输入图像的互信息加权生成显著性可视化，实现模型推理的因果解释，性能优于现有方法。
2026-06-08 cs.CV cs.LG
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability
Joint Stock “Research and production company “Kryptonite”（“Kryptonite”科研生产联合股份公司）
本文面向 NIDS 提出基于时间窗口流特征与 KAN 式可训练激活函数的轻量神经网络，并通过 CICIDS2017 和自定义数据集揭示跨数据集泛化下降及初始化敏感性。
2024-10-25 cs.CR cs.LG
Interactive Naming for Explaining Deep Neural Networks: A Formative Study
Oregon State University（俄勒冈州立大学）
我们考虑用人类可识别的视觉概念来解释用于图像识别的深度神经网络的决策的问题。特别是，给定一个测试集的图像，我们的目标是解释每一个分类的少量的图像区域，或激活地图，这已与语义概念的人类注释。这允许生成分类的典型原因的概要视图，这可以帮助建立对分类器的信任和/或识别分类器可能不被信任的示例类型。为此，我们开发了一个用户界面的“交互式命名”，它允许一个人类注释手动聚类显着的激活地图在一个测试集到有意义的组称为“视觉概念”。本文的主要贡献是系统地研究了五名人类注释者使用交互式命名界面产生的视觉概念。特别是，我们认为，足够的概念解释分类的测试集的图像，对应的概念激活的单个神经元，和注释者之间的协议的视觉概念。我们发现，很大一部分的激活地图有可识别的视觉概念，并有显着的协议，不同的注释者对他们的外延。我们的工作是一个探索性的研究之间的相互作用机器学习和人类识别介导的可视化的学习结果。
2018-12-20 cs.CV cs.LG stat.ML
Secret mixtures of experts inside your LLM
Wharton School of Statistics and Data Science at the University of Pennsylvania（宾夕法尼亚大学沃顿统计与数据科学学院）
本文提出LLM中MLP层可能通过稀疏计算近似MoE结构，并通过实验验证激活分布对结果的影响，揭示了MLP和MoE的有效性原理。
2025-12-20 cs.AI cs.LG stat.ML
Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization
Siemens Healthineers（西门子医疗）
使用深度神经网络的临床决策支持已经成为一个不断增长的兴趣。虽然最近的研究一再表明，深度学习为医学图像分类提供了优于传统方法的主要优势，但临床医生往往对采用该技术犹豫不决，因为其底层决策过程被认为是不透明的，难以理解。近年来，已经通过各种方法解决了这个问题，这些方法成功地有助于提供更深入的见解。最值得注意的是，附加特征归因方法能够通过创建显着图将决策传播回输入空间，该显着图允许从业者"看到网络所看到的"。“然而，如果只有有限的数据可用，生成的地图的质量可能会变得很差，图像也会变得嘈杂-这是临床环境中的典型情况。我们提出了一种基于CycleGAN激活最大化的新决策解释方案，该方案即使在较小的数据集中也能生成高质量的分类器决策可视化。我们进行了一项用户研究，在该研究中，我们在用于肺部病变恶性分类的LIDC数据集、用于超声图像乳腺癌检测的BreastMNIST数据集以及用于RBG图像对象识别的CIFAR-10数据集的两个子集上评估了我们的方法。在这项用户研究中，我们的方法在医学成像数据集上的表现明显优于现有方法，在自然图像设置中排名第二。通过我们的方法，我们为更好地理解基于深度神经网络的临床决策支持系统做出了重大贡献，从而旨在促进整体临床接受度。
2022-06-09 cs.AI cs.CV cs.LG
Assessing learned features of Deep Learning applied to EEG
SCCN, INC, UCSD（加州大学圣迭戈分校斯沃茨计算神经科学中心）；CerCo CNRS, Paul Sabatier University（法国国家科学研究中心大脑与认知研究中心，保罗·萨巴捷大学）
卷积神经网络（Convolutional Neural Network，CNN）在目标检测、图像识别、图像检索等计算机视觉领域取得了令人瞩目的成就。这些成就得益于CNN在深层神经元结构和迭代训练过程中学习判别特征的出色能力。这激发了EEG研究界采用CNN来执行EEG分类任务。然而，CNN学习的特征并不能立即解释，导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性，应用CNN可视化方法将内部特征转换为视觉上可感知的模式，用于CNN层的定性分析。在计算机视觉文献中已经提出了许多CNN可视化方法来解释CNN网络的结构、操作和语义概念，但在EEG数据分析中的应用受到限制。在这项工作中，我们使用3种不同的方法从原始EEG数据训练的CNN中提取EEG相关特征：每个分类类别的最佳样本，激活最大化和反向卷积。我们将这些方法应用于一个高性能的深度学习模型，该模型具有EEG性别分类任务的最新性能，并表明该模型具有θ频带的差异。我们表明，可视化的CNN模型可以揭示有趣的EEG结果。使用这些工具，使用深度学习的EEG研究人员可以更好地识别学习的EEG特征，可能识别新的类别相关生物标志物。
2021-11-08 cs.LG eess.SP
Interpretable inverse design of optical multilayer thin films based on extended neural adjoint and regression activation mapping
Kyung Hee University（庆熙大学）
本文提出ENA框架，通过新型前向网络、材料损失和F-RAM实现光学多层薄膜准确、多样、灵活且可解释的逆向设计。
2025-07-10 cs.CE cs.LG physics.comp-ph
Image space formalism of convolutional neural networks for k-space interpolation
University of Würzburg（维尔茨堡大学）；University Hospital Erlangen（埃尔朗根大学医院）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University Hospital Würzburg（维尔茨堡大学医院）
本文提出 RAKI 的图像空间形式化方法，通过激活掩码与雅可比矩阵解析分析 k 空间非线性激活对噪声传播和重建伪影的影响，实现 g 因子图的解析量化与噪声鲁棒性调控。
2025-05-09 cs.AI cs.CV cs.LG
Capsule Networks for Protein Structure Classification and Prediction
University of Puerto Rico（波多黎各大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
胶囊网络具有解决结构生物学问题的巨大潜力，因为它们关注层次关系。本文描述了一个胶囊网络架构的实现和应用，以基于GPU的计算资源上的RAS蛋白质家族结构的分类。在2D和3D结构编码上训练的胶囊网络可以成功地分类HRAS和KRAS结构。Capsule Network还可以对基于KRAS和HRAS突变序列的PSI-BLAST搜索得出的蛋白质数据集进行分类。我们的结果显示，与传统卷积网络相比，准确性有所提高，同时通过激活向量的可视化提高了可解释性。
2018-08-22 cs.LG q-bio.QM stat.ML
Feature Visualization within an Automated Design Assessment leveraging Explainable Artificial Intelligence Methods
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
不仅制造过程的自动化，而且自动化过程本身的自动化也越来越与自动化研究相关。在此背景下，已经提出了主要由从3D CAD数据驱动的深度学习系统利用的自动化能力评估。当前的评估系统可能能够评估关于抽象特征的CAD数据，例如自动将组件与散装货物分离的能力，或抓持表面的存在。然而，他们遭受黑箱系统的因素，其中可以很容易地学习和生成评估，但没有任何几何指标的原因，系统的决定。通过使用可解释AI（xAI）方法，我们试图打开黑盒。可解释的人工智能方法已经被用来评估神经网络是否成功地学习了给定的任务，或者分析输入的哪些特征可能导致对抗攻击。这些方法旨在通过分析来自给定输入的模式及其对网络输出的影响来获得对神经网络的额外见解。在NeuroCAD项目中，xAI方法用于识别与特定抽象特征相关的几何特征。在这项工作中，灵敏度分析（SA），逐层相关传播（LRP），加权类激活映射（Grad-CAM）方法以及本地可解释模型不可知推理（LIME）已在NeuroCAD环境中实现，不仅允许评估CAD模型，而且还可以识别与网络决策相关的功能。在中期运行中，这可能有助于识别感兴趣的区域，支持产品设计师优化他们的装配过程模型。
2022-01-28 cs.AI cs.CV cs.LG
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种技术，用于从一大类基于CNN的模型中为决策生成“视觉解释”，使其更加透明。我们的方法-加权类激活映射（Grad-CAM），使用任何目标概念的梯度，流入最终的卷积层，以产生一个粗略的定位图，突出图像中的重要区域，用于预测概念。Grad-CAM适用于各种各样的CNN模型家族：（1）具有全连接层的CNN，（2）用于结构化输出的CNN，（3）用于具有多模态输入或强化学习的任务的CNN，而无需任何架构更改或重新训练。我们将Grad-CAM与细粒度可视化相结合，以创建高分辨率的类区分可视化，并将其应用于现成的图像分类，字幕和视觉问答（VQA）模型，包括基于ResNet的架构。在图像分类模型的背景下，我们的可视化（a）可以深入了解它们的故障模式，（b）对对抗图像具有鲁棒性，（c）在定位方面优于以前的方法，（d）更忠实于底层模型，（e）通过识别数据集偏差来帮助实现泛化。对于字幕和VQA，我们表明，即使是非注意力为基础的模型可以本地化的输入。我们设计了一种通过Grad-CAM识别重要神经元的方法，并将其与神经元名称相结合，为模型决策提供文本解释。最后，我们设计并进行人体研究来衡量Grad-CAM是否可以帮助用户建立对模型预测的适当信任，并表明Grad-CAM可以帮助未经训练的用户成功地从“较弱”的节点中辨别出“较强”的节点，即使两者都做出相同的预测。我们的代码可以在https：//gi…
2019-12-03 cs.AI cs.CV cs.LG
