Explaining Deep Learning Models for Structured Data using Layer-Wise Relevance Propagation
CeADAR Irelands Centre for Applied AI, Technological University Dublin(爱尔兰CeADAR应用人工智能中心,都柏林理工大学)
机器学习模型中的信任和可信度是由模型解释其决策的能力所支撑的。虽然深度学习模型的可解释性是一个众所周知的挑战,但另一个挑战是解释本身的清晰度,这必须由下游用户解释。分层相关传播(LRP)是一种为计算机视觉中的深度模型开发的可解释性技术,提供了直观的人类可读的输入图像热图。我们首次使用深度神经网络(1D-CNN)在结构化数据集上展示了LRP的新应用,用于信用卡欺诈检测和电信客户流失预测数据集。我们展示了LRP如何比传统的可解释性概念的局部可解释模型不可知解释(LIME)和Shapley加法解释(SHAP)更有效。这种有效性是局部的样本水平和整体的整个测试集。我们还讨论了LRP(1- 2 s)相对于LIME(22 s)和SHAP(108 s)的显著计算时间优势,以及它在实时的应用场景中的潜力。此外,我们对LRP的验证突出了增强模型性能的特征,从而开辟了使用XAI作为特征子集选择方法的新研究领域
2020-11-26 cs.CV cs.LG
Discovering and Explaining the Non-Causality of Deep Learning in SAR ATR
National University of Defense Technology(国防科技大学);College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院)
本文利用Shapley值量化SAR ATR中深度学习对杂波的过拟合程度,揭示并解释数据偏差与模型偏差导致的非因果性,并在MSTAR数据集上验证了结论。
2023-04-12 cs.CV cs.LG
Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations
提出一种基于遗传算法的模型无关方法,自动演化局部解释以提升深度卷积神经网络的可解释性,实验表明其解释易于理解且比LIME快十倍以上。
2025-03-26 cs.CV cs.LG
Interactive Naming for Explaining Deep Neural Networks: A Formative Study
Oregon State University(俄勒冈州立大学)
我们考虑用人类可识别的视觉概念来解释用于图像识别的深度神经网络的决策的问题。特别是,给定一个测试集的图像,我们的目标是解释每一个分类的少量的图像区域,或激活地图,这已与语义概念的人类注释。这允许生成分类的典型原因的概要视图,这可以帮助建立对分类器的信任和/或识别分类器可能不被信任的示例类型。为此,我们开发了一个用户界面的“交互式命名”,它允许一个人类注释手动聚类显着的激活地图在一个测试集到有意义的组称为“视觉概念”。本文的主要贡献是系统地研究了五名人类注释者使用交互式命名界面产生的视觉概念。特别是,我们认为,足够的概念解释分类的测试集的图像,对应的概念激活的单个神经元,和注释者之间的协议的视觉概念。我们发现,很大一部分的激活地图有可识别的视觉概念,并有显着的协议,不同的注释者对他们的外延。我们的工作是一个探索性的研究之间的相互作用机器学习和人类识别介导的可视化的学习结果。
2018-12-20 cs.CV cs.LG stat.ML
Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司)
针对现有实例级可解释性方法需人工分析、效率低且易有偏差的问题,本研究探索二阶可解释人工智能SOXAI的应用,通过其数据集层面的解释获取可执行洞见,首次证实基于该洞见消除训练集无关概念可提升模型性能。
2023-06-14 cs.AI cs.CV cs.LG
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University(埃默里大学);University College London(伦敦大学学院)
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释,提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
Explaining Deep Face Algorithms through Visualization: A Survey
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
本文首次对人脸领域的深度模型可解释性算法进行元分析,评估通用可视化方法的适配问题、现有研究洞见及从业者导向的设计原则。
2023-09-26 cs.CV cs.HC cs.LG
Understanding Patch-Based Learning by Explaining Predictions
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
深度网络能够学习视频数据的高度预测模型。由于视频长度的原因,一个常见的策略是用小视频片段对他们进行训练。我们应用深度Taylor / LRP技术来理解深度网络的分类决策,并识别出“边界效应”:分类器主要关注输入的边界帧的趋势。这种效果与用于构建视频片段的步长有关,然后我们可以调整步长以提高分类器的准确性,而无需重新训练模型。据我们所知,这是第一个将深度Taylor / LRP技术应用于任何视频分析神经网络的工作。
2018-06-11 cs.CV cs.LG cs.NE
Multi-Semantic Image Recognition Model and Evaluating Index for explaining the deep learning models
Chongqing University of Posts and Telecommunications(重庆邮电大学)
尽管深度学习模型在各种应用中功能强大,但大多数深度学习模型仍然是一个黑匣子,缺乏可验证性和可解释性,这意味着人类无法理解的决策过程。因此,如何评价具有解释能力的深层神经网络仍然是一个紧迫的任务。在本文中,我们首先提出了一个多语义的图像识别模型,使人类能够理解决策过程的神经网络。在此基础上,提出了一种新的评价指标,可以定量地评价模型的可解释性。我们还全面总结了神经网络判断过程中影响图像分类结果的语义信息。最后,本文还展示了当前最先进的深度学习模型的相关基线性能。
2021-09-28 cs.AI cs.CV
Explaining the Unexplained: A CLass-Enhanced Attentive Response (CLEAR) Approach to Understanding Deep Neural Networks
University of Waterloo(滑铁卢大学);University of Guelph(圭尔夫大学);CIFAR(加拿大高等研究院)
在这项工作中,我们提出了类增强的注意力反应(CLEAR):一种可视化和理解深度神经网络(DNN)在给定特定输入的情况下做出的决策的方法。CLEAR有助于在决策过程中可视化DNN的关注区域和关注级别。它还能够可视化与这些关注的兴趣区域相关联的最主要的类。因此,CLEAR可以减轻基于热图的方法与决策模糊性相关的一些缺点,并允许更好地了解DNN的决策过程。三个不同数据集的定量和定性实验证明了CLEAR在决策过程中更好地理解DNN内部工作的有效性。
2017-05-18 cs.AI cs.CV cs.LG
Contextual Prediction Difference Analysis for Explaining Individual Image Classifications
University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
近年来,人们一直致力于理解深度神经网络的决策。许多模型感知的显着性方法被提出来解释个人的分类决策,通过创建显着性图。然而,当基础模型的参数和梯度不可用时,它们不适用。最近,模型不可知的方法也受到关注。作为其中之一,提出了概率声方法\textit{Prediction Difference Analysis}(PDA)。在这项工作中,我们首先表明,PDA可以遭受饱和分类器。在现有的基于神经网络的分类器中,普遍存在分类器饱和现象.为了更好地解释饱和分类器的决策,我们进一步提出了上下文PDA,它的运行速度比PDA快数百倍。实验表明,我们的方法的优越性,通过解释国家的最先进的深卷积神经网络的图像分类。
2020-06-06 cs.CV cs.LG stat.ML
Explaining Bias in Deep Face Recognition via Image Characteristics
University of Cagliari(卡利亚里大学)
在本文中,我们提出了一种新的解释框架,旨在更好地理解人脸识别模型如何作为底层数据特征(受保护的属性:性别,种族,年龄;非受保护的属性:面部毛发,化妆,配件,面部方向和遮挡,图像失真,情绪)进行测试。在我们的框架中,我们评估了10个最先进的人脸识别模型,比较了它们在两个数据集上的安全性和可用性方面的公平性,涉及基于性别和种族的六个组。然后,我们分析了图像特征对模型性能的影响。我们的研究结果表明,出现在一个单一的属性分析的趋势消失或逆转时,被认为是多属性组,性能差异也与不受保护的属性。源代码:https://cutt.ly/2XwRLiA。
2022-08-23 cs.CV
The Familiarity Hypothesis: Explaining the Behavior of Deep Open Set Methods
Collaborative Robotics and Intelligent Systems (CoRIS) Institute(协作机器人与智能系统研究所);Oregon State University(俄勒冈州立大学)
在许多对象识别应用中,可能类别的集合是开放集合,并且所部署的识别系统将遇到属于在训练期间未见过的类别的新对象。检测这种“新类别”对象通常被公式化为异常检测问题。特征向量数据的异常检测算法将异常识别为离群值,但离群值检测在深度学习中并不有效。相反,基于视觉对象分类器的计算逻辑的方法提供了最先进的性能。本文提出了熟悉性假设,这些方法之所以成功,是因为它们检测到了熟悉的学习特征的缺失,而不是新颖性的存在。这种区别很重要,因为在许多情况下,基于熟悉度的检测会失败,其中存在新颖性。例如,当一个图像包含一个新的对象和一个熟悉的对象时,熟悉度得分将很高,因此新的对象将不会被注意到。本文回顾了文献中的证据,并从我们自己的实验中提供了更多的证据,为这一假设提供了强有力的支持。本文最后讨论了基于熟悉度的检测是否是表示学习的必然结果。
2022-07-27 cs.CV cs.LG stat.ML
Explaining Deep Neural Networks for Point Clouds using Gradient-based Visualisations
Endress + Hauser(恩德斯豪斯公司);Norwegian University of Science and Technology(挪威科技大学)
解释由深度神经网络做出的决策是一个快速发展的研究课题。近年来,几种方法已经尝试提供对由被设计用于结构化2D图像输入数据的神经网络做出的决策的视觉解释。在本文中,我们提出了一种新的方法来生成粗糙的视觉解释的网络,旨在分类非结构化的3D数据,即点云。我们的方法使用流回最终特征图层的梯度,并将这些值映射为输入点云中相应点的贡献。由于输入点和最终特征图之间的维度不一致和缺乏空间一致性,我们的方法将梯度与点下降相结合,迭代地计算点云不同部分的解释。我们的方法的通用性在各种点云分类网络上进行了测试,包括“单对象”网络PointNet,PointNet++,DGCNN和“场景”网络VoteNet。我们的方法生成对称的解释地图,突出重要的区域,并提供洞察网络架构的决策过程。我们对我们的解释方法的信任和可解释性进行了详尽的评估,并使用定量,定量和人类研究的比较方法。我们所有的代码都在PyTorch中实现,并将公开提供。
2022-07-26 cs.CV
Auditing Sybil: Explaining Deep Lung Cancer Risk Prediction Through Generative Interventional Attributions
National Lung Screening Trial Research Team(国家肺癌筛查试验研究组)
本文提出S(H)NAP框架,通过专家放射科医生验证的生成干预性归因,揭示Sybil模型在区分恶性肺结节与良性病变时的失效模式,包括对不合理伪影的敏感性和径向偏差。
2026-05-13 cs.AI cs.CV cs.LG
FastCAV: Efficient Computation of Concept Activation Vectors for Explaining Deep Neural Networks
Institute of Data Science, German Aerospace Center(德国航空航天中心数据科学研究所)
针对现有概念激活向量计算成本高的问题,提出FastCAV方法,将CAV提取加速高达63.6倍,保持性能且更稳定,可替代传统方法并支持追踪训练中概念演化。
2025-05-23 cs.AI cs.CV cs.LG
ZeroGrad : Mitigating and Explaining Catastrophic Overfitting in FGSM Adversarial Training
Sharif University of Technology(谢里夫理工大学)
最近在许多应用中寻求使深度神经网络对小的对抗性噪声具有鲁棒性。通过迭代投影梯度下降(PGD)进行对抗训练已被确立为实现这一目标的主流思想之一。然而,PGD在计算上要求很高,并且在大型数据集和模型的情况下通常是禁止的。由于这个原因,单步PGD,也称为FGSM,最近在该领域引起了兴趣。不幸的是,FGSM训练导致了一种被称为“灾难性过拟合”的现象,这是在PGD攻击下对抗精度的突然下降。在本文中,我们支持小输入梯度在这种现象中起关键作用的想法,因此建议将小的输入梯度元素归零以制作FGSM攻击。我们提出的想法虽然简单有效,但在各种数据集上实现了具有竞争力的对抗精度。
2021-03-29 cs.CV cs.LG
NeuroMask: Explaining Predictions of Deep Neural Networks through Mask Learning
UCLA(加州大学洛杉矶分校);UCL(伦敦大学学院)
深度神经网络(DNN)在许多图像识别和理解应用中提供最先进的性能。然而,尽管这些模型表现出色,但它们都是黑箱,很难理解它们是如何做出决定的。在过去的几年里,研究人员研究了如何解释DNN预测结果的原因。然而,现有的技术要么是突兀的,需要改变模型训练,或遭受低输出质量。在本文中,我们提出了一种新的方法,神经面具,产生一个可解释的解释分类模型的结果。当应用于图像分类模型时,NeuroMask通过应用隐藏/显示图像不同部分的掩码来识别对分类器结果最重要的图像部分,然后将其反馈到模型中。通过最小化适当设计的成本函数来调整掩码值,该成本函数保留分类结果并鼓励产生可解释的掩码。使用最先进的卷积神经网络在不同数据集(CIFAR-10和ImageNet)上进行图像识别的实验表明,NeuroMask成功地定位了与DNN决策最相关的输入图像部分。通过展示NeuroMask解释和其他方法之间的视觉质量比较,我们发现NeuroMask既准确又可解释。
2019-08-05 cs.CV cs.LG stat.ML
Explaining Classifiers with Causal Concept Effect (CaCE)
Georgia Tech(佐治亚理工学院);Technion(以色列理工学院);Google Brain(谷歌大脑)
我们如何理解深度神经网络做出的分类决策?许多现有的可解释性方法仅仅依赖于相关性,而没有考虑混杂因素,这可能导致潜在的误导性解释。为了克服这个问题,我们将因果概念效应(CaCE)定义为人类可解释的概念(存在或不存在)对深度神经网络预测的因果效应。我们表明,CaCE措施可以避免混淆所产生的错误。在我们不能容易地模拟do运算符的情况下,估计CaCE是困难的。为了缓解这个问题,我们使用生成模型,特别是变分自编码器(VAE),来测量VAE-CaCE。在广泛的实验分析中,我们表明,VAE-CaCE能够估计真实的概念因果效应,与包括高维图像在内的许多数据集的基线相比。
2020-02-28 cs.CV cs.LG stat.ML
Explaining Deep Convolutional Neural Networks via Latent Visual-Semantic Filter Attention
University of California, Los Angeles(加州大学洛杉矶分校)
可解释性是可视化模型的一个重要属性,因为它有助于研究人员和用户理解复杂模型的内部机制。然而,在没有直接监督的情况下,生成关于所学习的表示的语义解释是具有挑战性的。我们提出了一个通用的框架,潜在的视觉语义解释器(LaViSE),教任何现有的卷积神经网络生成文本描述自己的潜在表示在过滤器级别。我们的方法使用通用图像数据集,使用图像和类别名称构建视觉和语义空间之间的映射。然后将映射转移到没有语义标签的目标域。所提出的框架采用模块化结构,并能够分析任何训练的网络,无论其原始训练数据是否可用。我们表明,我们的方法可以为训练数据集中定义的类别集之外的学习过滤器生成新的描述,并对多个数据集进行广泛的评估。我们还展示了我们的方法用于无监督数据集偏差分析的新应用,该方法允许我们自动发现数据集中隐藏的偏差或比较不同的子集,而无需使用额外的标签。数据集和代码被公开,以方便进一步的研究。
2022-04-10 cs.AI cs.CV cs.LG
Locally Explaining Prediction Behavior via Gradual Interventions and Measuring Property Gradients
Computer Vision Group, Friedrich Schiller University Jena(耶拿弗里德里希·施勒尔大学计算机视觉组)
提出利用图像到图像编辑模型进行局部干预解释的新框架,通过渐进式干预语义属性并测量期望属性梯度幅度来量化对预测的影响,揭示了深度模型行为的新见解。
2025-09-17 cs.CV cs.LG
Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
随着机器学习在工业和科学领域的广泛和高度成功的应用,对可解释人工智能的需求不断增长。因此,用于更好地理解非线性机器学习(特别是深度神经网络)的问题解决能力和策略的可解释性和解释方法正受到越来越多的关注。在这项工作中,我们的目标是(1)及时概述这一活跃的新兴领域,重点是“事后”解释,并解释其理论基础,(2)使用广泛的模拟从理论和比较评估的角度对可解释性算法进行测试,(3)概述最佳实践方面,即如何最好地将解释方法纳入机器学习的标准使用中;(4)在具有代表性的应用场景选择中展示可解释AI的成功使用。最后,我们讨论了机器学习这个令人兴奋的基础领域面临的挑战和可能的未来方向。
2021-02-25 cs.AI cs.CV cs.LG
Explaining Predictions of Deep Neural Classifier via Activation Analysis
Slovak University of Technology(斯洛伐克理工大学);Johannes Kepler University(约翰内斯·开普勒大学)
在许多实际应用中,深度神经网络通常被部署为作为黑盒预测器操作。尽管对这些系统的可解释性和可靠性要求很高,但它们通常仍然必须在循环中包括人类参与者,以验证决策并处理不可预测的故障和意外的角落情况。对于故障关键的应用领域,例如医疗诊断,尤其如此。我们提出了一种新的方法来解释和支持人类专家操作基于卷积神经网络(CNN)的深度学习系统的决策过程的解释。通过高斯混合模型(GMM)对训练的CNN的选定层上的激活统计进行建模,我们在二进制向量空间中开发了一种新的感知代码,该代码描述了CNN如何处理输入样本。通过测量该感知编码空间中的样本对之间的距离,对于任何新的输入样本,我们现在可以从现有的标记样本图谱中检索一组感知上最相似和最不相似的样本,以支持和澄清由CNN模型做出的决定。该方法的可能用途包括例如利用医学成像数据工作的计算机辅助诊断(CAD)系统,诸如磁共振成像(MRI)或计算机断层摄影(CT)扫描。我们证明了我们的方法的可行性,在医疗成像领域的病人病情诊断,作为建议的决策解释方法,通过类似的地面真域的例子(例如,从现有的诊断档案)将由操作医务人员解释。我们的研究结果表明,我们的方法能够检测不同的预测策略,使我们能够从现有的图谱中识别出最相似的预测。
2020-12-03 cs.AI cs.CV cs.LG
Explaining Cross-Domain Recognition with Interpretable Deep Classifier
JD Explore Academy(京东探索研究院)
深度学习的最新进展主要以其内部表示来构建模型,并且向人类用户解释背后的原理和决策是不透明的。这种可解释性对于领域自适应尤其重要,其挑战需要开发跨不同领域的更具适应性的模型。在本文中,我们问的问题:有多少在源域中的每个样本有助于网络的预测从目标域的样本。为了解决这个问题,我们设计了一种新的可解释深度分类器(IDC),它学习目标样本的最近源样本作为分类器做出决策的证据。从技术上讲,IDC为每个类别维护一个可区分的存储体,并且存储槽导出一种形式的键值对。键记录了区别性源样本的特征,值存储了相应的属性,例如,用于描述类别的特征的代表性分数。IDC计算IDC的输出与源样本的标签之间的损失,以反向传播来调整代表性分数并更新存储体。在VisDA-2017数据集上进行的大量实验表明,我们的IDC导致了一个更易于解释的模型,几乎没有准确性下降,并有效地校准了最佳拒绝选项的分类。更值得注意的是,当将IDC作为先验解释器时,利用IDC选择的0.1%源训练数据仍然比使用VisDA-2017上的全训练集进行无监督领域自适应产生更好的结果。
2022-11-15 cs.CV
Opening the Black Box of Financial AI with CLEAR-Trade: A CLass-Enhanced Attentive Response Approach for Explaining and Visualizing Deep Learning-Driven Stock Market Prediction
University of Guelph(圭尔夫大学);CIFAR(加拿大高等研究院);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学);Waterloo AI Institute(滑铁卢人工智能研究所)
深度学习已被证明在广泛的问题领域优于传统的机器学习算法。然而,目前的深度学习算法被批评为无法解释的“黑匣子”,无法解释其决策过程。这是阻碍深度学习广泛应用于金融等具有监管流程的领域的主要缺点。因此,金融等行业不得不依赖决策树等传统模型,这些模型更具可解释性,但在处理复杂问题时不如深度学习有效。在本文中,我们提出了CLEAR-Trade,这是一种新颖的金融AI可视化框架,用于深度学习驱动的股市预测,可以缓解深度学习方法的可解释性问题。特别是,CLEAR-Trade提供了一种有效的方式来可视化和解释深度股票市场预测模型做出的决策。通过对标准普尔500指数的预测进行实验,验证了CLEAR-Trade在提高股票市场预测可解释性方面的有效性。结果表明,CLEAR-Trade可以为深度学习驱动的金融模型的决策过程提供重要见解,特别是对于监管流程,从而提高其在金融行业的潜在应用。
2017-09-05 cs.AI cs.CV cs.NE
Towards Visually Explaining Statistical Tests with Applications in Biomedical Imaging
Digital Health-Machine Learning group, Hasso-Plattner Institute(数字健康-机器学习组,哈索-普拉特纳研究所);Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute(人工智能系,弗劳恩霍夫海因里希·赫兹研究所)
本文提出了一种可解释的深度统计检验框架,通过样本级和特征级解释揭示组间差异驱动因素,应用于生物医学成像中实现可解释的无标签群体分析。
2026-02-05 cs.CV
Challenges in explaining deep learning models for data with biological variation
Technical University of Denmark(丹麦技术大学);FOSS Analytical A/S(福斯分析公司)
本文针对具有多尺度生物变异的谷物病害损伤检测,评估多种事后可解释性方法在鲁棒性、解释质量及专家基准真值相似性上的表现,并提出面向具体用例的解释评估框架。
2024-06-14 cs.AI cs.CV cs.LG
Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car
NVIDIA Corporation(英伟达公司);New York University(纽约大学);Google Research(谷歌研究院)
作为完整的自动驾驶软件栈的一部分,NVIDIA创建了一个基于神经网络的系统,称为PilotNet,它可以根据前方道路的图像输出转向角度。PilotNet使用道路图像与驾驶数据收集汽车的人生成的转向角度进行训练。它通过观察人类驾驶员来获得必要的领域知识。这消除了人类工程师预测图像中重要内容的需要,并预见安全驾驶的所有必要规则。道路测试表明,PilotNet可以在各种驾驶条件下成功地保持车道,无论车道标记是否存在。这里描述的工作的目标是解释PilotNet学习了什么以及它如何做出决定。为此,我们开发了一种方法,用于确定道路图像中的哪些元素最影响PilotNet的转向决策。结果表明,PilotNet确实学会了识别道路上的相关物体。除了学习车道标记、道路边缘和其他车辆等明显的特征外,PilotNet还学习了工程师难以预测和编程的更微妙的特征,例如道路边缘的灌木丛和非典型车辆类别。
2017-04-25 cs.CV cs.LG cs.NE
DiffEx: Explaining a Classifier with Diffusion Models to Identify Microscopic Cellular Variations
ENS(法国高等师范学院)
针对生物图像分类模型的黑箱问题,提出DiffEx方法,利用扩散模型生成视觉可解释属性,解释分类器决策并识别微观细胞变异,在生物与自然图像任务中验证有效,助力疾病研究与药物发现。
2025-02-12 cs.AI cs.CV cs.LG
Robust Explainability: A Tutorial on Gradient-Based Attribution Methods for Deep Neural Networks
Rowan University(罗文大学);The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校)
随着深度神经网络的兴起,人们越来越认识到解释这些网络预测的挑战。虽然存在许多解释深度神经网络决策的方法,但目前还没有就如何评估它们达成共识。另一方面,鲁棒性是深度学习研究的一个热门话题;然而,直到最近,它才被解释。在本教程中,我们首先介绍基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决策负担。稍后,我们将讨论如何评估基于梯度的方法的鲁棒性,以及对抗鲁棒性在有意义的解释中所起的作用。我们还讨论了基于梯度的方法的局限性。最后,我们提出了在选择可解释性方法之前应该检查的最佳实践和属性。我们的结论与未来的研究方向在该地区的鲁棒性和可解释性的收敛。
2022-01-13 cs.AI cs.CV cs.LG
Net2Vec: Quantifying and Explaining how Concepts are Encoded by Filters in Deep Neural Networks
University of Oxford(牛津大学)
为了理解深度网络捕获的中间表示的含义,最近的论文试图将特定的语义概念与个体神经网络滤波器响应相关联,其中经常发现有趣的相关性,主要是通过关注极值滤波器响应。在本文中,我们表明,这种方法可以有利于易于解释的情况下,不一定代表的平均行为的表示。一个更现实但更难研究的假设是,语义表示是分布式的,因此过滤器必须结合起来研究。为了研究这个想法,同时使系统的可视化和量化的多个过滤器的响应,我们介绍了Net2Vec框架,其中语义概念映射到矢量嵌入的基础上相应的过滤器的响应。通过研究这样的嵌入,我们能够表明,1.,在大多数情况下,需要多个过滤器来为概念编码,即2.,通常过滤器不是概念特定的,并且帮助编码多个概念,并且3.,与单个过滤器激活相比,过滤器嵌入能够更好地表征表示的含义及其与其他概念的关系。
2018-03-29 cs.AI cs.CV stat.ML
T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers
Centre for Research and Technology Hellas (CERTH) / Information Technologies Institute (ITI)(希腊研究中心与技术研究中心(CERTH)/信息科技研究所(ITI))
本文提出T-TAME,一种兼容Transformer的可训练注意力解释方法,能以单次前向传播生成解释图,并在VGG-16、ResNet-50和ViT-B-16上取得优于现有方法的SOTA可解释性表现。
2025-06-03 cs.AI cs.CV cs.LG
PACE: Posthoc Architecture-Agnostic Concept Extractor for Explaining CNNs
Indian Institute of Technology Ropar(印度理工学院罗巴尔校区)
尽管深度CNN在图像分类任务中已经达到了最先进的性能,但对于使用它们的人来说仍然是一个黑盒子。人们越来越有兴趣解释这些深层模型的工作原理,以提高它们的可信度。在本文中,我们介绍了一个Posthoc架构不可知的概念提取器(PACE),自动提取较小的子区域的图像称为相关的黑箱预测的概念。PACE将解释框架的忠实性与黑箱模型紧密结合在一起。据我们所知,这是第一个工作,提取类特定的歧视性概念,在事后的方式自动。PACE框架用于为两种不同的CNN架构生成解释,这些架构被训练用于对AWA 2和Imagenet-Birds数据集进行分类。进行了大量的人类受试者实验,以验证人类的可解释性和一致性的解释提取的PACE。从这些实验的结果表明,超过72%的概念提取的PACE是人类可解释的。
2021-08-31 cs.AI cs.CV
MED-TEX: Transferring and Explaining Knowledge with Less Data from Pretrained Medical Imaging Models
Monash University(蒙纳士大学)
深度学习方法通常需要大量的训练数据,并且缺乏可解释性。在本文中,我们提出了一种新的知识蒸馏和模型解释框架的医学图像分类,共同解决了上述两个问题。具体来说,为了解决数据饥渴的问题,通过从繁琐的预先训练的教师模型中提取知识,以较少的数据学习小型学生模型。为了解释教师模型并帮助学生学习,引入了解释器模块来突出显示对教师模型预测重要的输入区域。此外,联合框架是由一个原则性的方式从信息论的角度来训练。与眼底数据集上的最先进方法相比,我们的框架在知识蒸馏和模型解释任务上表现出色。
2022-01-12 cs.CV cs.LG eess.IV
Explaining Aviation Safety Incidents Using Deep Temporal Multiple Instance Learning
虽然航空事故很少发生,但安全事故发生得更频繁,需要进行仔细分析,以及时发现和减轻风险。使用运营数据分析安全事件并生成基于事件的解释对于航空公司以及美国联邦航空管理局(FAA)等管理组织来说是非常宝贵的。然而,这项任务是具有挑战性的,因为涉及挖掘多维异构时间序列数据的复杂性,缺乏时间步长的事件在飞行中的注释,以及缺乏可扩展的工具来执行大量的事件分析。在这项工作中,我们提出了一个前兆挖掘算法,识别事件的多维时间序列与安全事故。前兆对于系统健康和安全监测以及解释和预测安全事件是有价值的。目前的方法具有对高维时间序列数据的可扩展性差的缺点,并且在捕获时间行为方面效率低下。我们提出了一种结合多实例学习(MIL)和深度递归神经网络(DRNN)的方法,以利用MIL使用弱监督数据进行学习的能力和DRNN对时间行为进行建模的能力。我们描述的算法,数据,采取MIL方法背后的直觉,并与基线模型的算法进行比较分析。我们还讨论了应用到现实世界的航空安全问题,使用数据从商业航空公司,并讨论了模型的能力和缺点,与一些可能的部署方向的最后意见。
2018-02-12 cs.AI cs.CV stat.AP
Simplicity in Complexity : Explaining Visual Complexity using Deep Segmentation Models
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);University of Tübingen(蒂宾根大学);Max Planck School of Cognition(马克斯·普朗克认知科学学院)
本文提出用SAM和FC-CLIP分割模型提取分割区域数与类别数两个特征,通过简单线性模型在六个多样化图像集上有效解释视觉复杂度,揭示图像复杂度本质上可能十分简单。
2024-05-06 cs.AI cs.CV q-bio.NC
Explaining neural network predictions of material strength
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
我们最近开发了一种深度学习方法,可以通过查看材料晶体的扫描电子显微镜(SEM)图像来确定材料的临界峰值应力。然而,目前还不清楚网络在进行预测时会关闭什么样的图像特征。在计算机视觉中,通常使用可解释的AI显着图来告诉人们图像的哪些部分对网络的决策很重要。人们通常可以通过观察这些显著的位置来推断出重要的特征。然而,晶体的SEM图像对人类观察者来说比自然图像照片更抽象。因此,很难判断哪些特征在最显著的位置上是重要的。为了解决这个问题,我们开发了一种方法,可以帮助我们将SEM图像中重要位置的特征映射到更容易解释的非抽象纹理。
2021-11-05 cs.CV cs.LG eess.IV
LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions
University of Florida(佛罗里达大学)
本文提出利用多模态大语言模型自动、开放式地发现DNN神经元概念,并通过生成示例与反例验证概念,以获得更忠实于模型行为的可解释性。
2024-06-12 cs.CV
Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization
Siemens Healthineers(西门子医疗)
使用深度神经网络的临床决策支持已经成为一个不断增长的兴趣。虽然最近的研究一再表明,深度学习为医学图像分类提供了优于传统方法的主要优势,但临床医生往往对采用该技术犹豫不决,因为其底层决策过程被认为是不透明的,难以理解。近年来,已经通过各种方法解决了这个问题,这些方法成功地有助于提供更深入的见解。最值得注意的是,附加特征归因方法能够通过创建显着图将决策传播回输入空间,该显着图允许从业者"看到网络所看到的"。“然而,如果只有有限的数据可用,生成的地图的质量可能会变得很差,图像也会变得嘈杂-这是临床环境中的典型情况。我们提出了一种基于CycleGAN激活最大化的新决策解释方案,该方案即使在较小的数据集中也能生成高质量的分类器决策可视化。我们进行了一项用户研究,在该研究中,我们在用于肺部病变恶性分类的LIDC数据集、用于超声图像乳腺癌检测的BreastMNIST数据集以及用于RBG图像对象识别的CIFAR-10数据集的两个子集上评估了我们的方法。在这项用户研究中,我们的方法在医学成像数据集上的表现明显优于现有方法,在自然图像设置中排名第二。通过我们的方法,我们为更好地理解基于深度神经网络的临床决策支持系统做出了重大贡献,从而旨在促进整体临床接受度。
2022-06-09 cs.AI cs.CV cs.LG
TextCAM: Explaining Class Activation Map with Text
Carnegie Mellon University(卡内基梅隆大学)
针对类激活映射(CAM)缺乏语义洞察的问题,提出结合CAM空间定位与视觉语言模型语义对齐的TextCAM框架,可生成带文本的细粒度解释,实验验证其能提升可解释性并保持模型保真度。
2025-10-01 cs.AI cs.CV cs.LG
Explaining AlphaGo: Interpreting Contextual Effects in Neural Networks
Shanghai Jiao Tong University(上海交通大学);South China University of Technology(华南理工大学);University of California, Los Angeles(加州大学洛杉矶分校);Tennessee Technological University(田纳西技术大学)
在本文中,我们建议解开和解释编码在预先训练的深度神经网络中的上下文效果。我们使用我们的方法来解释alphaGo Zero模型的游戏策略。与以往仅从全局角度可视化网络输出或神经激活对应的图像外观的研究不同,我们的研究旨在阐明某个输入单元(维度)如何与其他单元(维度)合作,以构成神经网络的推理模式,从而有助于网络输出。局部语境效应分析。某些输入设备在实际应用中具有特殊的价值。解释alphaGo Zero模型的逻辑是一个典型的应用。在实验中,我们的方法成功地解开了在围棋比赛中的每一步棋的理由。
2019-01-08 cs.CV
MACE: Model Agnostic Concept Extractor for Explaining Image Classification Networks
IIT Ropar(印度理工学院罗帕尔分校)
深度卷积网络在各种图像分类任务中非常成功。目前解释预训练模型预测的方法依赖于梯度信息,通常会导致突出图集中在整个前景对象上。然而,人类通常通过解剖图像并指出较小概念的存在来进行推理。最终的输出通常是这些较小概念的存在或不存在的集合。在这项工作中,我们提出了MACE:一个模型不可知的概念提取器,它可以通过更小的概念来解释卷积网络的工作。MACE框架剖析了由卷积网络为图像生成的特征图,以提取基于概念的原型解释。此外,它估计提取的概念与预训练模型预测的相关性,这是解释单个类预测所需的关键方面,在现有方法中缺失。我们使用VGG16和ResNet50 CNN架构以及Animals With Attributes 2(AWA2)和Places365等数据集验证了我们的框架。我们的实验表明,由MACE框架提取的概念增加了人类对解释的可解释性,并且忠实于底层的预训练黑盒模型。
2020-11-03 cs.AI cs.CV cs.LG
MARGIN: Uncovering Deep Neural Networks using Graph Signal Analysis
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Walmart Labs(沃尔玛实验室)
可解释性已经成为在机器学习系统中建立信任的一个关键方面,旨在提供对复杂神经网络工作的洞察,否则对用户是不透明的。有大量现有的解决方案解决可解释性的各个方面,从识别数据集中的原型样本到解释图像预测或解释错误分类。虽然所有这些不同的技术解决看似不同的方面的可解释性,我们假设,一个大家庭的interpretability任务是同一个核心问题,这是确定\emph{relative}的变化模型的预测的变体。本文介绍了MARGIN,一个简单而通用的方法来解决大量的可解释性任务MARGIN利用植根于图形信号分析的思想来确定图中的有影响力的节点,这些节点被定义为最大限度地描述图上定义的函数的节点。通过仔细定义特定于任务的图形和函数,我们证明了MARGIN在许多不同的可解释性挑战中优于现有方法。
2021-01-15 cs.CV cs.LG stat.ML
Towards Visually Explaining Video Understanding Networks with Perturbation
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);ETH Zürich(苏黎世联邦理工学院)
“让黑盒模型变得可解释”是伴随着深度学习网络发展的一个重要问题。对于以视觉信息作为输入的网络,一个基本但具有挑战性的解释方法是识别和可视化主导网络预测的输入像素/区域。然而,大多数现有的作品集中在解释网络采取单一的图像作为输入,并没有考虑存在于视频的时间关系。提供一种易于使用的视觉解释方法,适用于视频理解网络的多样化结构仍然是一个开放的挑战。在本文中,我们研究了一个通用的扰动为基础的方法,直观地解释视频理解网络。此外,我们提出了一种新的损失函数,以提高其结果在空间和时间维度上的平滑性的限制的方法。该方法使得不同网络结构之间的解释结果的比较成为可能,并且还可以避免对视频输入产生病态的对抗性解释。实验对比结果验证了该方法的有效性。
2020-11-09 cs.CV
Explaining Convolutional Neural Networks using Softmax Gradient Layer-wise Relevance Propagation
Kyushu University(九州大学)
卷积神经网络(CNN)已经成为图像分类领域的最新技术。然而,并不是所有的东西都能理解它们的内在表现。本文讨论了CNN预测多类分类问题的可解释性和可解释性。具体来说,我们提出了一种新的可视化方法,称为Softmax梯度逐层相关传播(SGLRP)的像素级输入属性。该模型是对深度泰勒分解(DTD)的类判别扩展,使用softmax的梯度将输出概率的相关性反向传播到输入图像。通过定性和定量的分析,我们证明了SGLRP可以成功地定位和属性的区域输入图像,有助于目标对象的分类。我们表明,所提出的方法擅长区分图像中的其他可能的对象的目标对象类。我们确认SGLRP比现有的基于分层相关传播(LRP)的方法表现更好,可以帮助理解CNN的决策过程。
2019-11-07 cs.CV cs.LG cs.NE
Explaining Autonomous Driving by Learning End-to-End Visual Attention
University of Florence(佛罗伦萨大学)
目前基于深度学习的自动驾驶方法产生了令人印象深刻的结果,也导致了某些受控场景中的生产部署。最流行和最吸引人的方法之一是直接从传感器感知的数据中学习车辆控制。这种端到端的学习范式既可以应用于经典的监督设置,也可以使用强化学习。尽管如此,这种方法的主要缺点,也在其他学习问题是缺乏可解释性。事实上,深度网络将作为一个黑盒子,根据先前看到的驾驶模式输出预测,而不提供任何关于为什么做出这样的决定的反馈。虽然为了获得最佳性能,从学习代理获得可解释的输出并不重要,特别是在这样一个安全关键领域,但了解网络的行为方式至关重要。这与解释此类系统的故障特别相关。在这项工作中,我们提出了训练一个模仿学习为基础的代理配备了注意力模型。注意力模型使我们能够理解图像的哪一部分被认为是最重要的。有趣的是,注意力的使用也导致了在使用CARLA驾驶模拟器的标准基准测试中的优异性能。
2020-06-05 cs.CV
Towards Explaining Satellite Based Poverty Predictions with Convolutional Neural Networks
Halmstad University(哈尔姆斯塔德大学);Lund University(隆德大学)
本文首次对基于卫星图像预测贫困的CNN模型进行可解释性分析,发现其预测依据包括物体尺寸、像素颜色和图像结构,并证明低分辨率训练模型在财富指数排序上优于人类。
2023-12-01 cs.CV
Gradient Frequency Modulation for Visually Explaining Video Understanding Models
Rochester Institute of Technology(罗切斯特理工学院)
在许多应用中,理解为什么机器学习模型做出它所做的决定是至关重要的,但这受到最先进的神经网络的黑盒性质的抑制。正因为如此,深度学习中的可解释性越来越受到关注,包括在视频理解领域。由于视频数据的时间维度,解释视频动作识别模型的主要挑战是产生时空一致的视觉解释,这在现有文献中被忽略。在本文中,我们提出了基于频率的极值扰动(F-EP)来解释一个视频理解模型的决定。由于扰动方法给出的解释在空间和时间上都是噪声和非光滑的,我们提出用离散余弦变换(DCT)调制来自神经网络模型的梯度映射的频率。我们在一系列的实验中表明,F-EP提供了更多的时空一致的解释,更忠实地代表模型的决定相比,现有的国家的最先进的方法。
2021-11-30 cs.CV
On Explaining Visual Captioning with Hybrid Markov Logic Networks
针对深度神经网络视觉字幕生成的可解释性难题,提出基于混合马尔可夫逻辑网络的解释框架,通过训练实例分布偏移量化影响样本,实验验证了方法的可解释性并可用于模型比较。
2025-07-28 cs.AI cs.CV
Explainable Deep CNNs for MRI-Based Diagnosis of Alzheimer's Disease
UFMG(米纳斯吉拉斯联邦大学);Kunumi;UNIFESP(圣保罗联邦大学);InRad-FMUSP(圣保罗大学医学院放射学研究所(InRad-FMUSP))
深度卷积神经网络(CNN)正在成为使用脑磁共振成像(MRI)进行阿尔茨海默病(AD)半自动诊断的重要模型。虽然高度准确,但深度CNN模型缺乏透明度和可解释性,无法进行充分的临床推理,也不符合大多数当前的监管要求。解释深度图像模型的一个流行选择是遮挡图像区域以隔离它们对预测的影响。然而,现有的用于遮挡脑部扫描的补丁的方法生成的图像在模型训练的分布之外,从而导致不可靠的解释。在本文中,我们提出了一种替代的解释方法,是专门为大脑扫描任务。我们的方法,我们称之为交换测试,产生的热图描绘了最能指示AD的大脑区域,以临床医生可以理解的格式为模型的决策提供了可解释性。实验结果表明,使用公理评价所提出的方法是更适合于解释诊断AD使用MRI,而相反的趋势时,观察到一个典型的闭塞测试。因此,我们相信我们的方法可以解决能够诊断AD的深度神经网络的固有黑盒性质。
2020-04-25 cs.CV cs.LG eess.IV
Explaining Face Presentation Attack Detection Using Natural Language
University of Southern California(南加州大学);Alexandria University(亚历山大大学)
已经开发了大量基于深度神经网络的技术来解决面部呈现攻击检测(PAD)的挑战性问题。虽然这些技术的重点一直是提高PAD性能的分类精度和鲁棒性对看不见的攻击和环境条件,存在很少的注意PAD预测的可解释性。在本文中,我们解决了通过自然语言解释PAD预测的问题。我们的方法将PAD模型深层的特征表示传递给语言模型,以生成描述PAD预测背后的推理的文本。由于我们研究中注释数据的数量有限,我们应用轻量级LSTM网络作为我们的自然语言生成模型。我们研究了不同的损失函数如何影响生成的解释的质量,包括常用的逐词交叉熵损失,句子判别损失和句子语义损失。我们使用来自1,105个真实和924个演示攻击样本的数据集的人脸图像进行实验。我们的定量和定性结果表明,我们的模型生成适当的PAD解释,通过文本以及权力的明智的损失的有效性。据我们所知,这是第一次引入联合生物识别-NLP任务。我们的数据集可以通过我们的GitHub页面获得。
2021-11-08 cs.AI cs.CL cs.CR