Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
随着大型数据库的可用性和深度学习方法的最新改进，人工智能系统的性能在越来越多的复杂任务上达到甚至超过人类水平。这种发展的令人印象深刻的例子可以在诸如图像分类、情感分析、语音理解或战略游戏等领域中找到。然而，由于它们的嵌套非线性结构，这些非常成功的机器学习和人工智能模型通常以黑箱方式应用，即，没有提供任何信息，说明究竟是什么使他们得出他们的预测。由于这种缺乏透明度可能是一个主要的缺点，例如，在医学应用中，用于可视化、解释和解释深度学习模型的方法的开发近来吸引了越来越多的关注。本文总结了这一领域的最新进展，并呼吁在人工智能更可解释性。此外，它提出了两种解释深度学习模型预测的方法，一种方法是计算预测对输入变化的敏感度，另一种方法是根据输入变量有意义地分解决策。这些方法进行了评估三个分类任务。
2017-08-28 cs.AI cs.CY cs.NE
ExpertLens: Visualizing Embedding Spaces for Post-Hoc Explainability in MoE Enhanced Retrievers
University of Milano-Bicocca（米兰比可卡大学）；Bielefeld University（比勒费尔德大学）
ExpertLens提出一种针对MoE增强密集检索器的事后可解释框架，通过嵌入空间可视化和概念激活向量，揭示专家路由对检索效果的影响，实验验证其能改善嵌入空间结构。
2026-09-09 cs.AI cs.IR
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI（马克斯·普朗克智能系统研究所）
MixtureKit提供了一种通用框架，用于组合、训练和可视化混合专家模型，通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Towards Better Visualizing the Decision Basis of Networks via Unfold and Conquer Attribution Guidance
本文提出事后解释框架UCAG，通过按图像切片置信度逐步审视输入特征，保留被主区域淹没的辅助特征细节，从而在删除插入、指向游戏和密度图等指标上优于现有方法，提供更清晰详细的网络决策可视化。
2025-07-06 cs.AI cs.CV
Visualizing Adapted Knowledge in Domain Transfer
Australian National University（澳大利亚国立大学）
在源数据上训练的源模型和通过无监督领域自适应（UDA）学习的目标模型通常编码不同的知识。为了理解这一适应过程，我们用图像翻译描绘了他们的知识差异。具体来说，我们分别将翻译后的图像和原始图像输入到两个模型中，形成两个分支。通过更新翻译后的图像，我们迫使两个分支的输出相似。当满足这些要求时，两个图像之间的差异可以补偿并因此表示模型之间的知识差异。为了从这两个分支执行类似的输出并描述适应的知识，我们提出了一种无源图像翻译方法，该方法仅使用目标图像和两个模型生成源风格的图像。我们用不同的UDA方法在几个数据集上可视化了适应的知识，发现生成的图像成功地捕捉到了两个域之间的风格差异。对于应用程序，我们表明生成的图像可以进一步调整目标模型，而无需访问源数据。代码可在https://github.com/hou-yz/DA_visualization获得。
2021-05-01 cs.AI cs.CV
Adversarial regression training for visualizing the progression of chronic obstructive pulmonary disease with chest x-rays
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；Department of Radiology and Imaging Sciences, University of Utah（犹他大学放射学与影像科学系）
了解深度学习方法使用医学图像的哪些空间元素作为证据对于模型的可解释性，可信性和验证非常重要。在回归任务中，模型缺乏这样的技术。我们提出了一种称为生成对抗网络回归可视化（VR-GAN）的方法，用于制定专门针对包含表征疾病严重程度的回归目标值的数据集的对抗训练。我们使用了一个条件生成对抗网络，其中生成器试图通过创建添加到原始图像中的疾病效应图来学习转移回归量的输出。同时，训练回归量以预测修改图像的原始回归值。使用这种技术训练的模型学习提供图像在疾病不同阶段的可视化。我们在与肺功能测试相关的胸部X射线数据集中分析了我们的方法，用于诊断慢性阻塞性肺疾病（COPD）。为了验证，我们计算同一患者在不同时间点的两个配准x射线的差异，并将其与生成的疾病影响图相关联。所提出的方法优于基于分类的技术，并提供逼真的图像，根据放射科医生通常观察到的这种疾病对图像进行修改。实现代码可在https://github.com/ricbl/vrgan上获得。
2019-08-27 cs.CV cs.GR eess.IV
Visualizing Convolutional Neural Networks to Improve Decision Support for Skin Lesion Classification
Ghent University（根特大学）；imec（比利时微电子研究中心）
由于其在计算机视觉中的最先进性能，CNN在包括医学在内的各个领域越来越受欢迎。然而，由于神经网络是黑箱函数逼近器，因此医学专家很难（如果不是不可能）推理它们的输出。这可能会导致专家在不同意其输出时不信任网络。在这种情况下，解释CNN为什么做出某个决定就成为有价值的信息。在本文中，我们试图通过检查和可视化学习的特征图，在皮肤病学领域打开CNN的黑盒子。我们表明，在某种程度上，CNN关注的特征与皮肤科医生用于诊断的特征相似。然而，需要更多的研究来充分解释其产出。
2018-09-11 cs.CV cs.LG
Visualizing definitional divergence in high-dimensional data by manifold alignment: Application to 3D right ventricular strain computations
Univ Lyon, Université Claude Bernard Lyon 1, INSA-Lyon,CNRS, Inserm, CREATIS UMR 5220, U1294（里昂大学，克劳德·贝尔纳里 Lyon 1 大学，INSA-里昂，CNRS，Inserm，CREATIS UMR 5220，U1294）；Institute of Machine Learning in Biomedical Imaging, Helmholtz Center Munich, Germany（生物医学成像机器学习研究所，海德堡中心慕尼黑，德国）；LTCI, Telecom Paris, Institut Polytechnique de Paris（LTCI，电信巴黎，巴黎理工学院）；DTIC, Universitat Pompeu Fabra, Barcelona, Spain（DTIC，庞培法布拉大学，巴塞罗那，西班牙）；Institut Universitaire de France (IUF)（法国大学研究所（IUF））
提出一种基于表示学习的策略，通过流形对齐匹配不同定义的高维数据，并重建参数图以可视化定义差异，应用于右心室应变分析。
2026-06-01 cs.CV
ST-Tree with Interpretability for Multivariate Time Series Classification
Shandong Normal University（山东师范大学）；Shandong University（山东大学）
针对多变量时间序列分类中深度模型缺乏可解释性而传统决策树准确率低的问题，提出ST-Tree模型，结合Swin Transformer与神经树，在提升分类准确率的同时提供可解释的决策过程。
2024-11-18 cs.AI cs.LG
Visualizing Deep Networks by Optimizing with Integrated Gradients
Oregon State University（俄勒冈州立大学）；Tencent（腾讯）
理解和解释深度学习模型做出的决策在许多领域都很有价值。在计算机视觉中，从深度网络计算热图是用于可视化和理解深度网络的流行方法。然而，与网络无关的热图可能会误导人类，因此热图在为底层深层网络提供忠实解释方面的性能至关重要。在本文中，我们提出了I-GOS，它针对热图进行了优化，使得掩蔽图像上的分类得分最大限度地降低。该方法的主要创新之处在于基于积分梯度而不是法向梯度来计算下降方向，从而避免了局部最优，加快了收敛速度。与以前的方法相比，我们的方法可以灵活地计算任何分辨率的热图，以满足不同的用户需求。在几个基准数据集上进行的大量实验表明，与其他最先进的方法相比，我们的方法产生的热图与底层深度网络的决策更相关。
2020-12-11 cs.CV
Understanding 3D CNN Behavior for Alzheimer's Disease Diagnosis from Brain PET Scan
Georgia State University（佐治亚州立大学）
最近几天，卷积神经网络（CNN）在医学图像分析中表现出令人印象深刻的性能。然而，人们对卷积神经网络为什么以及如何在图像分析任务中表现如此出色缺乏清晰的理解。CNN如何分析图像并区分不同类别的样本通常被认为是不透明的。结果，在临床程序和自动疾病诊断系统中应用基于CNN的方法变得困难。在本文中，我们考虑这个问题，并致力于可视化和理解卷积神经网络用于阿尔茨海默病（AD）诊断的决策。我们使用大脑PET扫描开发了一个用于AD诊断的3D深度卷积神经网络，并提出使用五种可视化技术-灵敏度分析（反向传播），引导反向传播，闭塞，大脑区域闭塞和分层相关传播（LRP），通过突出显示PET数据中的相关区域来理解CNN的决策。
2019-12-26 cs.CV cs.LG eess.IV
Predicting and visualizing psychological attributions with a deep neural network
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
基于面部外观的人格判断是社会决策的强大影响力，并且已知对从总统选举到陪审团决定的领域产生影响。最近的工作表明，它是可能的，以预测感知的可记忆性，可信度，智力和其他属性的人脸图像。这些方法中最成功的方法需要用关键的面部标志熟练地注释面部图像。我们展示了一个卷积神经网络（CNN）模型，该模型能够执行相同的任务，而不需要地标特征，从而大大提高了效率。该模型具有高准确性，在某些情况下超过了人类水平的性能。此外，我们使用去卷积的方法来可视化的重要功能的感知22个属性，并展示了一种新的方法，分别可视化的积极和消极的功能。
2016-12-24 cs.CV cs.LG cs.NE
Learning and Visualizing Localized Geometric Features Using 3D-CNN: An Application to Manufacturability Analysis of Drilled Holes
Iowa State University（爱荷华州立大学）
3D卷积神经网络（3D-CNN）已经用于基于对象的体素化形状的对象识别。然而，解释这些3D-CNN的决策过程仍然是一项不可行的任务。在本文中，我们提出了一种独特的基于3D-CNN的加权类激活映射方法（3D-GradCAM），用于视觉解释对象内感兴趣的不同局部几何特征。为了能够有效地学习3D几何形状，我们使用对象边界的表面法线来增强体素数据。然后，我们用这个增强的数据训练3D-CNN，并使用3D GradCAM识别对决策至关重要的局部特征。该特征识别框架的一个应用是识别复杂CAD几何形状中难以制造的钻孔特征。该框架可以扩展到在多个空间尺度上识别难以制造的特征，从而实现可制造性决策支持系统的实时设计。
2018-03-28 cs.CV cs.LG stat.ML
MultiViz: Towards Visualizing and Understanding Multimodal Models
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Georgia Tech（佐治亚理工学院）；HKUST（香港科技大学）
多模态模型对现实世界应用的承诺激发了可视化和理解其内部机制的研究，最终目标是使利益相关者能够可视化模型行为，执行模型调试，并促进对机器学习模型的信任。然而，现代多模态模型通常是黑箱神经网络，这使得理解其内部机制具有挑战性。我们如何在这些模型中可视化多模态交互的内部建模？我们的论文旨在通过提出MultiViz来填补这一空白，MultiViz是一种分析多模态模型行为的方法，它将可解释性问题分为4个阶段：（1）单峰重要性：每种模态如何对下游建模和预测做出贡献，（2）跨模态交互：不同模态如何相互关联，（3）多模态表示：如何在决策层特征中表示单峰和跨模态交互，以及（4）多模态预测：如何组成决策层特征以进行预测。MultiViz旨在针对不同的模式、模型、任务和研究领域进行操作。通过对6个真实任务中的8个训练模型进行实验，我们表明MultiViz中的互补阶段共同使用户能够（1）模拟模型预测，（2）将可解释的概念分配给特征，（3）对模型错误分类进行错误分析，以及（4）使用错误分析的见解来调试模型。MultiViz是公开的，将定期更新新的解释工具和指标，并欢迎来自社区的投入。
2023-03-06 cs.AI cs.CL cs.CV
Visualizing and Describing Fine-grained Categories as Textures
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们分析了如何从最近的FGVC挑战类别可以描述其纹理内容。其动机是，鸟类或蝴蝶物种之间的细微差异通常可以用与它们相关的纹理来描述，并且几个性能最好的网络受到基于纹理表示的启发。这些表示的特点是二阶滤波器激活的无序池化，例如双线性CNN和iNaturalist 2018挑战赛的获胜者。具体来说，对于每个类别，我们（i）通过获得输入x来可视化“最大图像”，该输入x根据基于纹理的深度网络最大化特定类别的概率，以及（ii）使用一组纹理属性自动描述最大图像。纹理字幕的模型是在我们正在进行的收集基于DTD数据集的可描述纹理数据集的工作中训练的。这些可视化表示纹理的哪些方面对于每个类别最具区别性，而描述则提供了基于语言的解释。
2019-07-02 cs.CV
Classifying and Visualizing Emotions with Emotional DAN
Polish-Japanese Academy of Information Technology（波日信息技术学院）；Tooploox（Tooploox公司）；Warsaw University of Technology（华沙理工大学）
人类情感的分类对于许多计算机视觉算法来说仍然是一项重要且具有挑战性的任务，特别是在日常生活中与人类共存的人形机器人时代。目前提出的情感识别方法使用多层卷积网络解决了这一任务，这些网络在分类阶段不会显式推断任何面部特征。在这项工作中，我们假设一个根本不同的方法来解决情感识别任务，依赖于将面部标志作为分类损失函数的一部分。为此，我们扩展了最近提出的深度对齐网络（DAN），其中包含与面部特征相关的术语。由于这个简单的修改，我们的模型称为AsymtionalDAN能够在两个具有挑战性的基准数据集上超过最先进的情感分类方法高达5%。此外，我们在做出决定时将网络分析的图像区域可视化，结果表明我们的pseudationalDAN模型能够正确识别负责表达情感的面部标志。
2018-10-23 cs.CV
Classifying and Visualizing Motion Capture Sequences using Deep Neural Networks
Aalto University School of Science（阿尔托大学理学院）
使用运动捕捉数据和深度传感器的手势识别最近在视觉识别中引起了更多的关注。目前，大多数系统只对具有几十个不同动作的数据集进行分类。此外，从数据中提取特征提取通常是计算复杂的。在本文中，我们提出了一种新的系统，以识别动作的骨架数据与简单，但有效的，功能使用深度神经网络。基于关节的相对位置（PO）、时间差（TD）和归一化的运动轨迹（NT）为每个帧提取特征。给出这些特征，训练混合多层感知器，其同时分类和重构输入数据。我们使用深度自动编码器来可视化学习的特征，实验表明，深度神经网络可以捕获比主成分分析更多的判别信息。我们在一个公共数据库上测试了我们的系统，该数据库包含65个类和2,000多个运动序列。我们获得了95%以上的准确度，据我们所知，这是如此大的数据集的最新结果。
2014-09-01 cs.CV
Improving Interpretability of Deep Neural Networks in Medical Diagnosis by Investigating the Individual Units
Korea University（高丽大学）
由于可解释性已被指出是采用深度神经网络（DNN）的障碍，因此人们越来越关注解决透明度问题以保证令人印象深刻的性能。在本文中，我们证明了最近的归因技术的效率，解释的诊断决策可视化的重要因素在输入图像。通过利用DNN已经学习的对象特性，充分分解网络预测，使靶病变的定位清晰可见。为了验证我们的工作，我们进行了胸部X射线诊断与公开访问的数据集的实验。作为一个直观的评价指标的解释，我们报告的性能之间的联合视觉解释和边界框的病变。实验结果表明，最近提出的属性方法可视化更准确的定位诊断决策相比，传统的CAM。此外，我们分析了人类和DNN之间的意图不一致，这很容易被高性能所掩盖。通过可视化相关因素，可以确认决策标准与学习策略一致。我们对机器智能的分析揭示了医疗诊断决策中可解释性的必要性。
2021-07-19 cs.CV eess.IV
SiCo: An Interactive Size-Controllable Virtual Try-On Approach for Informed Decision-Making
University of California Santa Barbara（加州大学圣巴巴拉分校）
针对现有虚拟试穿工具尺码调整交互不足、难辅助选码导致线上购衣退货率高的问题，提出SiCo交互式尺寸可控虚拟试穿系统，支持用户上传照片查看不同尺码上身效果，可提升选码判断能力与信心，有望降低退货率。
2025-05-18 cs.CV cs.HC
Finding and Visualizing Weaknesses of Deep Reinforcement Learning Agents
University of Oxford（牛津大学）；Element AI（元素人工智能）；Polytechnique Montréal（蒙特利尔工程学院）；Mila（米拉魁北克人工智能研究所）
随着由视觉感知驱动的深度强化学习变得越来越广泛，越来越需要更好地理解和探索学习代理。理解决策过程及其与视觉输入的关系对于识别学习行为中的问题非常有价值。然而，这一主题在研究界一直相对不足。在这项工作中，我们提出了一种方法，用于合成感兴趣的视觉输入训练代理。这些输入或状态可能是需要采取特定行动的情况。此外，可以实现非常高或非常低的奖励的临界状态通常对于理解系统的情境感知是有趣的，因为它们可以对应于风险状态。为此，我们在环境的状态空间上学习生成模型，并使用其潜在空间来优化感兴趣状态的目标函数。在我们的实验中，我们表明，这种方法可以生成各种环境和强化学习方法的见解。我们在标准的Atari基准游戏以及自动驾驶模拟器中探索结果。基于我们能够使用这种技术识别行为弱点的效率，我们相信这种通用方法可以作为人工智能安全应用的重要工具。
2019-04-02 cs.CV
Visualizing the Loss Landscape of Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
神经网络训练依赖于我们找到高度非凸损失函数的“好”最小化器的能力。众所周知，某些网络架构设计（例如，跳过连接）产生损失函数，训练更容易，且精心选择的训练参数（批量大小、学习率、优化器）产生更好概括的最小值。然而，这些差异的原因及其对基本损失状况的影响尚不清楚。在本文中，我们探讨了神经损失函数的结构，损失景观泛化的影响，使用一系列的可视化方法。首先，我们介绍了一个简单的“滤波器归一化”方法，它可以帮助我们可视化损失函数曲率，并在损失函数之间进行有意义的并排比较。然后，使用各种可视化，我们探索网络架构如何影响损失景观，以及训练参数如何影响最小化器的形状。
2018-11-07 cs.CV cs.LG stat.ML
Facial age estimation by deep residual decision making
残差表示学习简化了学习复杂函数的优化问题，已被传统的卷积神经网络广泛应用。然而，它还没有被应用于深度神经决策森林（NDF）。在本文中，我们将残差学习纳入NDF，由此产生的模型在三个公共年龄估计基准上达到了最先进的精度水平，同时需要更少的内存和计算。我们进一步采用基于梯度的技术来可视化NDF的决策过程，并了解它是如何受到面部图像输入的影响。代码和预训练模型将在https://github.com/Nicholasli1995/VisualizingNDF上提供。
2019-08-28 cs.CV cs.LG eess.IV
Visualizing Deep Neural Networks with Topographic Activation Maps
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）；MOTOR Ai GmbH（MOTOR Ai有限公司）
本研究借鉴神经科学的地形图思路，提出并比较多种DNN层神经元地形布局方法，生成地形激活图以识别错误、偏差及可视化训练过程，提升DNN决策系统的可解释性与透明度。
2023-06-14 cs.CV cs.HC cs.LG
Forecasting and Visualizing Air Quality from Sky Images with Vision-Language Models
Georgia State University（佐治亚州立大学）；Savannah College of Art and Design（萨凡纳艺术与设计学院）
本文提出一种AI智能体，结合统计纹理分析与监督学习从天空图像预测空气污染水平，并利用视觉-语言模型引导生成语义一致的污染可视化，以提升空气质量预报的可解释性与公众参与度。
2025-09-18 cs.CV cs.LG
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech（佐治亚理工学院）
深度学习越来越多地用于决策任务。然而，理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的，这些权重是在数百万张图像上优化的，因此这种解释很容易错过更大的画面。我们介绍了Summit，这是一个交互式系统，可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术：（1）激活聚合发现重要的神经元，（2）神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来，创建了新颖的归因图，揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据，例如包含120万张图像的ImageNet数据集，并利用神经网络特征可视化和数据集示例，帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案，其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解，并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行，并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective
University of Maryland, College Park（马里兰大学帕克分校）；Rice University（莱斯大学）；New York University（纽约大学）
我们讨论了可视化神经网络决策边界和决策区域的方法。我们使用这些可视化来研究与神经网络训练中的可重复性和泛化相关的问题。我们观察到，模型架构（及其相关的归纳偏差）的变化会导致决策边界的明显变化，而相同架构的多次运行会产生具有很强相似性的结果，特别是在宽架构的情况下。我们还使用决策边界方法来可视化双下降现象。我们看到，决策边界再现性强烈依赖于模型的宽度。在插值阈值附近，神经网络的决策边界被分割成许多小的决策区域，并且这些区域是不可再现的。同时，非常窄和非常宽的网络在它们的决策边界中具有高水平的可再现性，而决策区域相对较少。我们讨论了我们的观察与凸模型中的双下降现象理论的关系。代码可在https://github.com/somepago/dbViz上获得
2022-03-15 cs.CV cs.LG
Explaining generative diffusion models via visual analysis for interpretable decision-making process
Korea University（高丽大学）
本文提出可视化工具，从模型生成的视觉概念和关注区域角度解释扩散模型去噪过程，并通过实验验证其有效性，为可解释扩散机制研究提供新见解。
2024-02-16 cs.AI cs.CV
ST-ABN: Visual Explanation Taking into Account Spatio-temporal Information for Video Recognition
Chubu University（中部大学）
在深度神经网络的推理过程中，人们很难对决策进行解释。视觉解释是解释深度学习决策的一种方法。它通过可视化突出区分区域的注意力地图来分析2D CNN的决策。在视频识别中，视觉解释用于解释决策过程是更加困难的，因为它不仅需要考虑空间信息，而且还需要考虑时间信息，这与静止图像的情况不同。在本文中，我们提出了一种视觉解释方法称为时空注意分支网络（ST-ABN）的视频识别。它使空间和时间信息的视觉解释。ST-ABN在网络推理过程中获得空间和时间信息的重要性，并将其应用于识别处理，以提高识别性能和视觉可解释性。使用Something-Something数据集V1 \& V2的实验结果表明，ST-ABN能够同时考虑空间和时间信息并提高识别性能的视觉解释。
2021-10-29 cs.CV
Understanding and Visualizing Deep Visual Saliency Models
University of Exeter（埃克塞特大学）；Aalto University（阿尔托大学）；MarkableAI（MarkableAI公司）
最近，数据驱动的深度显着性模型已经取得了很高的性能，并且超过了经典的显着性模型，如MIT300和SALICON等数据集的结果所证明的那样。然而，这些模型的性能与人类之间的基线之间仍然存在很大的差距。一些悬而未决的问题包括这些模型学到了什么，它们是如何失败的，失败在哪里，以及如何改进它们。本文试图通过分析位于深度显着性模型中间层的单个神经元学习到的表征来回答这些问题。为此，我们遵循现有的深度显着性模型的步骤，即借用对象识别的预训练模型来编码视觉特征，并学习解码器来推断显着性。我们考虑两种情况，当编码器被用作固定的特征提取器时，当它被微调时，并比较网络的内部表示。为了研究学习到的表示如何依赖于任务，我们使用相同的图像集微调相同的网络，但用于两个不同的任务：显着性预测与场景分类。我们的分析表明：（1）部分视觉区域（例如，头部，文本，符号，车辆）已经编码在预先训练用于对象识别的网络的各个层中，2）使用现代数据集，我们发现微调预训练模型用于显着性预测使它们有利于某些类别（例如，超过其他人）（例如，文本），3）尽管显著性的深度模型在自然图像上优于经典模型，对于合成刺激，情况正好相反（例如弹出搜索阵列），人类和数据驱动的显着性模型之间的显着差异的证据，以及4）我们确认，在微调之后，内部表示的变化主要是由于任务而不是数据中的域移位。
2019-04-03 cs.CV
Diverse feature visualizations reveal invariances in early layers of deep neural networks
Centre for Integrative Neuroscience（综合神经科学中心）；Institute for Theoretical Physics（理论物理研究所）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；University of Tübingen（图宾根大学）
可视化深度神经网络（DNN）中的特征可以帮助理解它们的计算。许多先前的研究旨在通过寻找有意义的图像来最大化它们的激活，从而可视化单个单元的选择性。然而，很少有人注意到DNN中的图像变换单元是不变的。在这里，我们提出了一种方法来发现深层神经网络的隐藏层单元的响应中的不变性。我们的方法是基于同时搜索一批图像，这些图像强烈激活一个单元，同时尽可能彼此不同。我们发现，即使是VGG-19中的早期卷积层也表现出各种形式的响应不变性：在某些单元中具有近乎完美的相位不变性，而在其他单元中具有对局部双态变换的不变性。同时，我们发现了ResNet-50在其相应层中的代表性差异。我们的结论是，不变性变换是DNN学习的一个主要计算组件，我们提供了一个系统的方法来研究它们。
2018-07-27 cs.CV
Shap-CAM: Visual Explanations for Convolutional Neural Networks based on Shapley Value
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
解释深度卷积神经网络最近引起了越来越多的关注，因为它有助于理解网络的内部操作以及为什么它们会做出某些决定。显着图强调与网络决策相关的显着区域，是计算机视觉社区中可视化和分析深层网络的最常见方法之一。然而，现有的方法产生的显着图不能代表真实的信息，由于未经证实的建议，激活地图的权重缺乏坚实的理论基础，并没有考虑到每个像素之间的关系。在本文中，我们开发了一种新的事后视觉解释方法称为Shap-CAM类激活映射的基础上。与以往的基于梯度的方法不同，Shap-CAM通过Shapley值获得每个像素的重要性，从而摆脱了对梯度的依赖。我们证明了Shap-CAM实现了更好的视觉性能和公平性，用于解释决策过程。我们的方法在识别和定位任务上都优于以前的方法。
2022-08-09 cs.CV cs.GT
A Step Towards Exposing Bias in Trained Deep Convolutional Neural Network Models
我们提出了平滑梯度CAM ++，一种技术，它结合了两个最近的技术：SMOOTHGRAD和梯度CAM ++。Smooth Grad-CAM++能够在每个实例中可视化特征图中的层、特征图子集或神经元子集。我们用几张图像进行了实验，发现与其他方法相比，Smooth Grad-CAM++产生了视觉上更清晰的地图，在给定的输入图像中突出显示了更多的显著像素。Smooth Grad-CAM++将深入了解我们的深度CNN模型（包括在医学扫描或图像上训练的模型）学习到的内容。从而为创建一个有代表性的训练集的决定提供信息。
2019-12-03 cs.CV
Contextual Prediction Difference Analysis for Explaining Individual Image Classifications
University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
近年来，人们一直致力于理解深度神经网络的决策。许多模型感知的显着性方法被提出来解释个人的分类决策，通过创建显着性图。然而，当基础模型的参数和梯度不可用时，它们不适用。最近，模型不可知的方法也受到关注。作为其中之一，提出了概率声方法\textit{Prediction Difference Analysis}（PDA）。在这项工作中，我们首先表明，PDA可以遭受饱和分类器。在现有的基于神经网络的分类器中，普遍存在分类器饱和现象.为了更好地解释饱和分类器的决策，我们进一步提出了上下文PDA，它的运行速度比PDA快数百倍。实验表明，我们的方法的优越性，通过解释国家的最先进的深卷积神经网络的图像分类。
2020-06-06 cs.CV cs.LG stat.ML
