Multi-Semantic Image Recognition Model and Evaluating Index for explaining the deep learning models
Chongqing University of Posts and Telecommunications(重庆邮电大学)
尽管深度学习模型在各种应用中功能强大,但大多数深度学习模型仍然是一个黑匣子,缺乏可验证性和可解释性,这意味着人类无法理解的决策过程。因此,如何评价具有解释能力的深层神经网络仍然是一个紧迫的任务。在本文中,我们首先提出了一个多语义的图像识别模型,使人类能够理解决策过程的神经网络。在此基础上,提出了一种新的评价指标,可以定量地评价模型的可解释性。我们还全面总结了神经网络判断过程中影响图像分类结果的语义信息。最后,本文还展示了当前最先进的深度学习模型的相关基线性能。
2021-09-28 cs.AI cs.CV
Explaining Deep Convolutional Neural Networks on Music Classification
Queen Mary University of London(伦敦玛丽女王大学)
深度卷积神经网络(CNN)已经被积极地应用于音乐信息检索领域,例如流派分类、情绪检测和和弦识别。然而,学习和预测的过程很少被理解,特别是当它被应用于频谱图时。我们引入CNN的可听化以理解其潜在机制,其基于[2]中引入的去卷积过程。CNN的可听化是将从去卷积获得的学习卷积特征转换为音频信号。在实验和讨论中,我们解释了基于去卷积频谱图和可听化信号的5层CNN的训练特征。还研究了具有不同音乐属性的每层的成对相关性,以了解学习特征的演变。结果表明,在深层,功能是学习捕捉纹理,连续分布的模式,而不是线条的形状。
2016-07-08 cs.AI cs.LG cs.MM
Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司)
针对现有实例级可解释性方法需人工分析、效率低且易有偏差的问题,本研究探索二阶可解释人工智能SOXAI的应用,通过其数据集层面的解释获取可执行洞见,首次证实基于该洞见消除训练集无关概念可提升模型性能。
2023-06-14 cs.AI cs.CV cs.LG
Explaining the Unexplained: A CLass-Enhanced Attentive Response (CLEAR) Approach to Understanding Deep Neural Networks
University of Waterloo(滑铁卢大学);University of Guelph(圭尔夫大学);CIFAR(加拿大高等研究院)
在这项工作中,我们提出了类增强的注意力反应(CLEAR):一种可视化和理解深度神经网络(DNN)在给定特定输入的情况下做出的决策的方法。CLEAR有助于在决策过程中可视化DNN的关注区域和关注级别。它还能够可视化与这些关注的兴趣区域相关联的最主要的类。因此,CLEAR可以减轻基于热图的方法与决策模糊性相关的一些缺点,并允许更好地了解DNN的决策过程。三个不同数据集的定量和定性实验证明了CLEAR在决策过程中更好地理解DNN内部工作的有效性。
2017-05-18 cs.AI cs.CV cs.LG
Explaining Deep Learning-based Anomaly Detection in Energy Consumption Data by Focusing on Contextually Relevant Data
Western University(西安大略大学)
针对深度学习异常检测缺乏透明解释且SHAP类方法不稳定的问题,本文结合SHAP变体、全局特征重要性与加权余弦相似度,按异常上下文选择背景数据,在多模型、多数据集实验中将解释可变性平均降低约38%。
2025-01-10 cs.AI cs.LG
Self-Explaining Hypergraph Neural Networks for Diagnosis Prediction
Rice University(里士大学);Duke University(杜克大学)
本文提出自解释超图神经网络模型SHy,通过将患者建模为超图并利用消息传递机制捕获高阶疾病交互与时间表型,提供个性化且可干预的解释,在真实数据集上性能优于现有模型。
2025-05-01 cs.AI cs.LG
Explaining Neural Networks without Access to Training Data
University of Mannheim(曼海姆大学)
本文扩展了无需训练数据的 $\mathcal{I}$-Net 框架,使其支持标准与软决策树作为代理模型,并通过改进训练数据分布提升实用性,实验证明其在训练数据不可访问时优于传统事后解释方法。
2022-06-10 cs.AI cs.LG
Explaining generalization in deep learning: progress and fundamental limits
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
本论文研究了深度学习理论中的一个基本的开放性挑战:为什么深度网络即使在过参数化、非正则化和将训练数据拟合为零误差的情况下也能很好地泛化?在论文的第一部分,我们将实证研究通过随机梯度下降训练深度网络如何隐式地控制网络的容量。随后,为了说明这如何导致更好的泛化,我们将推导出{ \em数据相关} { \em基于一致收敛的}泛化边界,并改进对参数计数的依赖性。一致收敛实际上是深度学习文献中使用最广泛的工具,这要归功于它的简单性和通用性。鉴于它的流行,在这篇论文中,我们也将后退一步,以确定一致收敛的基本限制,作为解释推广的工具。特别是,我们将证明,在某些示例过参数化设置,{ \em any}一致收敛界将提供一个空洞的推广界。考虑到这一点,在论文的最后一部分,我们将改变课程,并介绍了一个{ \em经验}技术来估计泛化使用未标记的数据。我们的技术不依赖于任何基于一致收敛的复杂性的概念,并且非常精确。我们将从理论上说明为什么我们的技术如此精确。最后,我们将讨论未来的工作如何探索新的方法来将分布假设纳入泛化边界(例如以未标记数据的形式),并探索其他工具来导出边界,可能是通过修改一致收敛或开发全新的工具。
2021-10-17 cs.AI cs.LG stat.ML
FastCAV: Efficient Computation of Concept Activation Vectors for Explaining Deep Neural Networks
Institute of Data Science, German Aerospace Center(德国航空航天中心数据科学研究所)
针对现有概念激活向量计算成本高的问题,提出FastCAV方法,将CAV提取加速高达63.6倍,保持性能且更稳定,可替代传统方法并支持追踪训练中概念演化。
2025-05-23 cs.AI cs.CV cs.LG
Explaining Deep Convolutional Neural Networks via Latent Visual-Semantic Filter Attention
University of California, Los Angeles(加州大学洛杉矶分校)
可解释性是可视化模型的一个重要属性,因为它有助于研究人员和用户理解复杂模型的内部机制。然而,在没有直接监督的情况下,生成关于所学习的表示的语义解释是具有挑战性的。我们提出了一个通用的框架,潜在的视觉语义解释器(LaViSE),教任何现有的卷积神经网络生成文本描述自己的潜在表示在过滤器级别。我们的方法使用通用图像数据集,使用图像和类别名称构建视觉和语义空间之间的映射。然后将映射转移到没有语义标签的目标域。所提出的框架采用模块化结构,并能够分析任何训练的网络,无论其原始训练数据是否可用。我们表明,我们的方法可以为训练数据集中定义的类别集之外的学习过滤器生成新的描述,并对多个数据集进行广泛的评估。我们还展示了我们的方法用于无监督数据集偏差分析的新应用,该方法允许我们自动发现数据集中隐藏的偏差或比较不同的子集,而无需使用额外的标签。数据集和代码被公开,以方便进一步的研究。
2022-04-10 cs.AI cs.CV cs.LG
Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
随着机器学习在工业和科学领域的广泛和高度成功的应用,对可解释人工智能的需求不断增长。因此,用于更好地理解非线性机器学习(特别是深度神经网络)的问题解决能力和策略的可解释性和解释方法正受到越来越多的关注。在这项工作中,我们的目标是(1)及时概述这一活跃的新兴领域,重点是“事后”解释,并解释其理论基础,(2)使用广泛的模拟从理论和比较评估的角度对可解释性算法进行测试,(3)概述最佳实践方面,即如何最好地将解释方法纳入机器学习的标准使用中;(4)在具有代表性的应用场景选择中展示可解释AI的成功使用。最后,我们讨论了机器学习这个令人兴奋的基础领域面临的挑战和可能的未来方向。
2021-02-25 cs.AI cs.CV cs.LG
Deep learning generates custom-made logistic regression models for explaining how breast cancer subtypes are classified
Hitachi Limited(株式会社日立制作所)
本研究开发可解释逐点线性(PWL)深度学习模型,为每位患者生成定制逻辑回归模型,结合深度富集分析,用于乳腺癌PAM50亚型分类及相关基因机制解析,展现临床应用潜力。
2022-07-19 cs.AI cs.LG stat.ML
Opening the Black Box of Financial AI with CLEAR-Trade: A CLass-Enhanced Attentive Response Approach for Explaining and Visualizing Deep Learning-Driven Stock Market Prediction
University of Guelph(圭尔夫大学);CIFAR(加拿大高等研究院);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学);Waterloo AI Institute(滑铁卢人工智能研究所)
深度学习已被证明在广泛的问题领域优于传统的机器学习算法。然而,目前的深度学习算法被批评为无法解释的“黑匣子”,无法解释其决策过程。这是阻碍深度学习广泛应用于金融等具有监管流程的领域的主要缺点。因此,金融等行业不得不依赖决策树等传统模型,这些模型更具可解释性,但在处理复杂问题时不如深度学习有效。在本文中,我们提出了CLEAR-Trade,这是一种新颖的金融AI可视化框架,用于深度学习驱动的股市预测,可以缓解深度学习方法的可解释性问题。特别是,CLEAR-Trade提供了一种有效的方式来可视化和解释深度股票市场预测模型做出的决策。通过对标准普尔500指数的预测进行实验,验证了CLEAR-Trade在提高股票市场预测可解释性方面的有效性。结果表明,CLEAR-Trade可以为深度学习驱动的金融模型的决策过程提供重要见解,特别是对于监管流程,从而提高其在金融行业的潜在应用。
2017-09-05 cs.AI cs.CV cs.NE
Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features
Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学);McGovern Institute(麦戈文研究所);Massachusetts Institute of Technology (MIT)(麻省理工学院)
针对语音情感识别中深度学习嵌入可解释性不足的问题,提出改进探测方法,通过重要维度子集的声学特征预测能力推断关键特征,实验验证了四类声学特征的信息量排序及方法效用。
2024-09-14 cs.AI cs.SD eess.AS
Net2Vec: Quantifying and Explaining how Concepts are Encoded by Filters in Deep Neural Networks
University of Oxford(牛津大学)
为了理解深度网络捕获的中间表示的含义,最近的论文试图将特定的语义概念与个体神经网络滤波器响应相关联,其中经常发现有趣的相关性,主要是通过关注极值滤波器响应。在本文中,我们表明,这种方法可以有利于易于解释的情况下,不一定代表的平均行为的表示。一个更现实但更难研究的假设是,语义表示是分布式的,因此过滤器必须结合起来研究。为了研究这个想法,同时使系统的可视化和量化的多个过滤器的响应,我们介绍了Net2Vec框架,其中语义概念映射到矢量嵌入的基础上相应的过滤器的响应。通过研究这样的嵌入,我们能够表明,1.,在大多数情况下,需要多个过滤器来为概念编码,即2.,通常过滤器不是概念特定的,并且帮助编码多个概念,并且3.,与单个过滤器激活相比,过滤器嵌入能够更好地表征表示的含义及其与其他概念的关系。
2018-03-29 cs.AI cs.CV stat.ML
Challenges in explaining deep learning models for data with biological variation
Technical University of Denmark(丹麦技术大学);FOSS Analytical A/S(福斯分析公司)
本文针对具有多尺度生物变异的谷物病害损伤检测,评估多种事后可解释性方法在鲁棒性、解释质量及专家基准真值相似性上的表现,并提出面向具体用例的解释评估框架。
2024-06-14 cs.AI cs.CV cs.LG
Explaining GNN over Evolving Graphs using Information Flow
BUPT(北京邮电大学);Lehigh University(理海大学)
图在许多应用中是普遍存在的,诸如社交网络、知识图谱、智能电网等。图神经网络(GNN)是这些应用的当前最先进技术,但对人类来说仍然是模糊的。解释GNN预测可以增加透明度。然而,由于许多图不是静态的,而是不断发展的,因此解释两个图快照之间的预测变化是不同的,但同样重要。现有方法仅解释静态预测或生成用于动态预测的粗略或不相关的解释。我们定义了解释不断发展的GNN预测的问题,并提出了一个公理化的属性方法,唯一地分解预测的变化到计算图上的路径。涉及高度节点的许多路径的属性仍然无法解释,而简单地选择最重要的路径可能在近似变化方面是次优的。我们制定了一个新的凸优化问题,以最佳地选择解释预测演化的路径。理论上,我们证明了现有的基于层相关传播(LRP)的方法是所提出的算法的一个特殊情况下,空图相比。从经验上讲,在七个图形数据集上,使用一种用于评估预测变化解释的新度量,我们证明了所提出的方法优于现有方法,包括LRP,DeepLIFT和其他路径选择方法。
2021-11-19 cs.AI cs.LG cs.SI
Trepan Reloaded: A Knowledge-driven Approach to Explaining Artificial Neural Networks
Telefónica Innovación Alpha(西班牙电信创新阿尔法公司);City, University of London(伦敦大学城市学院)
人工智能中的可解释性已经重新成为一个积极研究的主题,因为需要在自动决策的“如何”和“为什么”方面向用户传达安全和信任。虽然已经开发了大量的方法事后可解释性,只有少数专注于如何使用领域知识,以及如何从用户的角度影响全球解释的可理解性。在本文中,我们展示了本体论如何帮助全球事后解释的可理解性,以符号模型的形式呈现。特别是,我们建立在环,解释人工神经网络的算法,通过决策树,我们将其扩展到包括本体建模领域知识的过程中产生的解释。我们提出了一个用户研究的结果,衡量的可理解性的决策树使用的语法复杂性的措施,并通过时间和准确性的反应,以及报告的用户信心和可理解性。用户研究考虑了解释至关重要的领域,即金融和医学领域。实验结果表明,与不使用本体的标准Trepan算法相比,该算法生成的决策树考虑了领域知识,具有更好的可理解性。
2019-11-21 cs.AI
Robust Explainability: A Tutorial on Gradient-Based Attribution Methods for Deep Neural Networks
Rowan University(罗文大学);The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校)
随着深度神经网络的兴起,人们越来越认识到解释这些网络预测的挑战。虽然存在许多解释深度神经网络决策的方法,但目前还没有就如何评估它们达成共识。另一方面,鲁棒性是深度学习研究的一个热门话题;然而,直到最近,它才被解释。在本教程中,我们首先介绍基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决策负担。稍后,我们将讨论如何评估基于梯度的方法的鲁棒性,以及对抗鲁棒性在有意义的解释中所起的作用。我们还讨论了基于梯度的方法的局限性。最后,我们提出了在选择可解释性方法之前应该检查的最佳实践和属性。我们的结论与未来的研究方向在该地区的鲁棒性和可解释性的收敛。
2022-01-13 cs.AI cs.CV cs.LG
Explaining V1 Properties with a Biologically Constrained Deep Learning Architecture
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文通过将中心-周围拮抗、局部感受野、调谐归一化和皮层放大等生物约束架构组件系统整合进CNNs,显著提升了对V1神经活动的解释能力,实现了NeuroAI领域对V1建模的最新水平。
2023-05-25 cs.AI eess.IV q-bio.NC
Deep Probabilistic Programming Languages: A Qualitative Study
IBM Research(IBM研究公司/IBM研究(注:IBM Research通常译为IBM研究,属于企业研究机构,按要求提取到公司级别))
深度概率程序设计语言试图将深度学习的优势与概率程序设计语言的优势结合起来。如果成功,这将是机器学习和程序设计语言的一大步。不幸的是,到目前为止,这种新的语言很难使用和理解。本文通过解释深度概率程序设计语言直接解决了这个问题,并通过描述其当前的优势和劣势间接解决了这个问题。
2018-04-17 cs.AI cs.PL
Self-explaining deep models with logic rule reasoning
KAIST(韩国科学技术院);IBS(基础科学研究院);Microsoft Research Asia(微软亚洲研究院)
我们提出了SELOR,这是一个框架,用于将自我解释能力集成到给定的深度模型中,以实现高预测性能和人类精度。所谓“人类精度”,我们指的是人类同意模型为其预测提供的原因的程度。人为精度影响用户信任,并允许用户与模型密切合作。我们证明,逻辑规则的解释自然满足人类的精度与良好的预测性能所需的表达能力。然后,我们说明了如何使一个深模型预测和解释的逻辑规则。我们的方法不需要预定义的逻辑规则集或人工注释,并且可以以可区分的方式使用广泛使用的深度学习模块有效且容易地学习。大量的实验表明,我们的方法给出的解释更接近人类的决策逻辑比其他方法,同时保持深度学习模型的性能。
2022-10-18 cs.AI cs.LG cs.LO
Explaining Deep Tractable Probabilistic Models: The sum-product network case
我们考虑的问题,解释一类易于处理的深度概率模型,和产品网络(SPN),并提出了一个算法ExSPN生成的解释。为此,我们定义了一个上下文特定的独立树(CSI树)的概念,并提出了一个迭代算法,将一个SPN到CSI树。由此产生的CSI树是可解释和解释的领域专家。我们实现这一点,通过提取的条件独立编码的SPN和近似的本地上下文指定的结构的SPN。我们对合成的、标准的和真实世界的临床数据集进行了广泛的经验评估,结果表明CSI树具有优越的可解释性。
2022-09-21 cs.LG
Explaining Deep Graph Networks with Molecular Counterfactuals
University of Pisa(比萨大学)
我们提出了一种新的方法来解决分子性质预测任务中深度图网络的可解释性,称为MEG(分子解释生成器)。我们生成信息反事实的解释下的一个特定的预测的形式(有效)化合物具有高的结构相似性和不同的预测属性。我们讨论了初步结果,显示了该模型如何传达非ML专家对分子附近的学习模型焦点的关键见解。
2020-11-09 cs.LG q-bio.QM
Explaining Hypergraph Neural Networks: From Local Explanations to Global Concepts
Stanford University(斯坦福大学);University of Cambridge(剑桥大学)
本文提出首个模型无关的事后解释器SHypX,通过局部输入归因与全局无监督概念提取,为超图神经网络同时提供局部和全局解释,在保真度上平均比基线提升25个百分点。
2024-10-10 cs.LG
Explaining How Deep Neural Networks Forget by Deep Visualization
KAIST(韩国科学技术院);Asan Institute for Life Sciences(峨山生命科学研究所);Asan Medical Center(峨山医学中心)
解释深度神经网络(通常被认为是黑匣子)的行为至关重要,尤其是当它们现在被应用于人类生活的各个方面时。利用可解释机器学习(interpretable ML)的优势,提出了一种新的工具灾难性遗忘解析器(CFD),用于解释持续学习环境下的灾难性遗忘。我们还介绍了一种新的方法,称为临界冻结的基础上,我们的工具的观察。ResNet上的实验阐明了灾难性遗忘是如何发生的,特别是显示了这个著名网络的哪些组成部分正在遗忘。我们的新的持续学习算法击败了各种最近的技术的显着保证金,证明了调查的能力。临界冻结不仅攻击了灾难性遗忘,而且还暴露了可解释性。
2022-07-22 cs.CV cs.LG
Explaining a prediction in some nonlinear models
本文将分析在一些非线性模型中,如何计算每个输入值对其总产出的贡献。回归和分类应用,以及相关的算法,深度神经网络。所提出的方法合并了两种方法,目前在文献中:集成梯度和深泰勒分解。与DeepLIFT和Deep SHAP相比,它提供了所使用模型特有的参考点的自然选择。
2022-07-24 cs.LG stat.ML
Explaining Deep Reinforcement Learning Agents In The Atari Domain through a Surrogate Model
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究院)
深度强化学习(RL)在游戏内外应用的一个主要障碍是缺乏可解释性。在本文中,我们描述了一种轻量级和有效的方法来推导深度RL代理的解释,我们在Atari域中进行评估。我们的方法依赖于RL代理的基于像素的输入到可解释的、类似感知的输入表示的转换。然后,我们训练一个本身可解释的代理模型,以复制目标深度RL代理的行为。我们的实验表明,我们可以学习一个有效的代理,准确地近似的一套Atari游戏的目标代理的基本决策。
2021-10-07 cs.LG
Explaining Deep Neural Networks with a Polynomial Time Algorithm for Shapley Values Approximation
ETH Zurich(苏黎世联邦理工学院);Disney Research Zurich(苏黎世迪士尼研究中心)
解释深度神经网络行为的问题最近引起了很多关注。虽然已经提出了几种归因方法,但大多数都没有坚实的理论基础,这就对其可靠性提出了质疑。另一方面,合作博弈论的文献表明Shapley值作为一种独特的方式分配相关性得分,使某些理想的属性得到满足。不幸的是,Shapley值的精确评估非常昂贵,输入特征的数量呈指数级。在这项工作中,通过利用最近的不确定性传播的结果,我们提出了一种新的,多项式时间近似的Shapley值在深度神经网络。我们表明,我们的方法产生显着更好的近似Shapley值比现有的国家的最先进的归因方法。
2019-06-21 cs.LG stat.ML
NormLime: A New Feature Importance Metric for Explaining Deep Neural Networks
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
解释深度学习模型和模型预测的问题最近引起了人们的浓厚兴趣。许多成功的方法放弃了全局近似,以提供更忠实的局部解释模型的行为。LIME开发了多个可解释的模型,每个模型在数据流形的一个小区域上近似一个大的神经网络,SP-LIME聚合局部模型以形成全局解释。扩展这条研究路线,我们提出了一个简单而有效的方法,NormLIME聚合局部模型到全球和类特定的解释。一项人类用户研究强烈支持由NormLIME创建的特定于类的解释,而不是其他特征重要性度量。数值实验证实,NormLIME是有效的识别重要特征。
2019-10-15 cs.LG stat.ML
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology(以色列理工学院);University of Augsburg(奥格斯堡大学)
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体,并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
On Network Science and Mutual Information for Explaining Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学);Arm Inc.(安谋公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们提出了一种解释深度学习模型的新方法。通过将互信息与网络科学相结合,我们探索了信息如何在前馈网络中流动。我们表明,有效地近似互信息使我们能够创建一个信息度量,量化深度学习模型的任何两个神经元之间有多少信息流。为此,我们提出了NIF,神经信息流,一种用于编码信息流的技术,它暴露了深度学习模型内部并提供了特征属性。
2020-05-04 cs.LG stat.ML
Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data
PwC Switzerland(普华永道瑞士);University of Agder(阿格德大学)
Tsetlin机器(TM)使用命题逻辑中的合取子句来捕获模式,从而便于解释。然而,最近基于TM的方法主要依赖于单独检查所有条款。这种检查不一定能扩展到需要大量子句的复杂预测问题。在本文中,我们提出了封闭形式的表达式来理解为什么TM模型做出特定的预测(局部可解释性)。此外,表达式捕获了模型整体最重要的特征(全局可解释性)。我们进一步介绍了用于测量连续特征的特征值范围的重要性的表达式。这些表达式直接从TM的连接子句中制定,从而可以实时捕获特征的作用,也可以在模型发展的学习过程中捕获特征的作用。此外,从封闭形式的表达式,我们得到了一个新的数据聚类算法可视化高维数据在三维。最后,我们将我们提出的方法与SHAP和最先进的可解释机器学习技术进行比较。对于分类和回归,我们的评估显示了与SHAP的对应关系,以及与XGBoost,可解释的Boosting Machines和Neural Additive Models相比具有竞争力的预测准确性。
2020-07-27 cs.AI cs.LG stat.ML
Explaining Deep Learning Models with Constrained Adversarial Examples
Babylon Health(巴比伦健康公司);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
机器学习算法通常遭受可解释性的问题。给定来自模型的分类结果,通常很难确定是什么导致做出决策,并给出信息性解释。我们探索了一种产生反事实解释的新方法,它不是解释为什么要进行特定的分类,而是解释如何实现不同的结果。这为解释的接受者提供了一种更好的方式来理解结果,并提供了一个可操作的建议。我们表明,所介绍的方法的约束对抗性的例子(CADEX)可以用于在现实世界中的应用,并产生解释,其中包括业务或领域的约束,如处理分类属性和范围的限制。
2019-06-25 cs.LG stat.ML
Explaining Deep Learning Representations by Tracing the Training Process
TU Dortmund University(多特蒙德工业大学)
我们提出了一种新的解释方法,通过研究深度神经网络每一层的中间表示在训练过程中是如何细化的,来解释深度神经网络的决策。通过这种方式,我们可以a)在训练过程中找到最有影响力的训练样本,b)分析哪些类对最终表示最有影响。我们的方法是通用的:它可以围绕任何迭代优化过程,并覆盖各种神经网络体系结构,包括前馈网络和卷积神经网络。我们首先提出了一种使用单个训练实例进行随机训练的方法,但也继续推导出常见小批量训练的变体。在实验评估中,我们证明了我们的方法可以识别出具有高度代表性的训练实例,这些实例可以用作解释。此外,我们还提出了一个可视化的方法,在整个训练过程中以汇总统计的形式提供解释。
2021-09-13 cs.LG
Explaining Deep Models through Forgettable Learning Dynamics
Georgia Institute of Technology(佐治亚理工学院)
尽管深度神经网络在无数应用中取得了巨大的成功,但解释模型行为或预测仍然是一个开放的研究问题。在本文中,我们通过分析深度神经网络在语义分割任务中的学习动态,采用一种简单而有效的方法来解决这个问题。具体来说,我们通过跟踪样本在随后的训练时期中被学习和遗忘的频率来可视化训练过程中的学习行为。这进一步允许我们获得关于类决策边界的接近度的重要信息,并识别对模型构成特定挑战的区域。受这种现象的启发,我们提出了一种新的分割方法,积极使用这些信息来改变模型中的数据表示,通过增加各种困难的区域。最后,我们表明,我们的方法始终减少了经常被遗忘的区域的数量。我们进一步评估我们的方法的分割性能。
2023-01-10 cs.CV cs.LG
Reverse Survival Model (RSM): A Pipeline for Explaining Predictions of Deep Survival Models
Ortho Biomed Inc.(奥索生物医学公司);University of Toronto(多伦多大学);Worcester Polytechnic Institute (WPI)(伍斯特理工学院(WPI));University Health Network(大学健康网络)
在医疗保健中,生存分析的目的是估计事件发生的概率,例如患者在重症监护室(ICU)中的死亡。深度神经网络(DNN)的生存分析的最新发展表明,这些模型的优越性相比,其他知名的模型在生存分析应用。确保在医疗保健中部署的深度生存模型的可靠性和可解释性是必要的。由于DNN模型通常表现得像一个黑匣子,因此临床医生可能不容易相信它们的预测,特别是当预测与医生的意见相反时。一个解释和证明其决策过程的深度生存模型可能会获得临床医生的信任。在这项研究中,我们提出了反向生存模型(RSM)的框架,提供了详细的见解生存模型的决策过程。对于每个感兴趣的患者,RSM可以从数据集中提取相似的患者,并根据深度生存模型依赖于其预测的最相关特征对其进行排名。
2022-10-27 cs.AI cs.LG stat.ML
Explaining deep neural network models for electricity price forecasting with XAI
University College London(伦敦大学学院)
本文提出使用深度神经网络预测电价,并结合SHAP、Gradient和热图等可解释AI方法分析五个电力市场的价格驱动因素,同时引入SSHAP值和SSHAP线新概念以增强高维表格模型的表示。
2025-06-24 cs.AI cs.LG stat.ML
Meet You Halfway: Explaining Deep Learning Mysteries
Weizmann Institute of Science(魏茨曼科学研究所)
深度神经网络在各种学习任务中表现出色,具有最先进的结果。虽然这些模型具有高度的表达能力,并实现了令人印象深刻的准确解决方案,具有出色的泛化能力,但它们容易受到微小扰动的影响。遭受这种扰动的样本被称为“对抗样本”。尽管深度学习是一个广泛研究的领域,但有关深度学习模型本质的许多问题仍然没有答案。在本文中,我们引入了一个新的概念框架,附有正式的描述,旨在阐明网络的行为,并解释幕后的学习过程。我们的框架为有关深度学习的固有问题提供了解释。特别地,我们澄清:(1)为什么神经网络获得泛化能力?(2)为什么对抗性例子在不同的模型之间转移?我们提供了一套全面的实验,支持这个新的框架,以及它的基本理论。
2022-06-09 cs.CR cs.LG
DeepNNK: Explaining deep models and their generalization using polytope interpolation
University of Southern California(南加州大学)
基于神经网络的现代机器学习系统在学习复杂数据模式方面取得了巨大成功,同时能够对看不见的数据点进行良好的预测。然而,这些系统的有限的可解释性阻碍了进一步的进展和应用到现实世界中的几个领域。这种困境体现在耗时的模型选择和预测可解释性面临的困难,特别是在存在对抗性例子的情况下。在本文中,我们采取了一个步骤,更好地理解神经网络通过引入局部多面体插值方法。提出的深度非负核回归(NNK)插值框架是非参数的,理论上简单,几何直观。我们展示了基于实例的深度学习模型的可解释性,并开发了一种方法来识别具有良好泛化特性的模型,使用留一估计。最后,我们从机器学习的插值观点出发,对不可避免的对抗性和生成性示例进行了合理化。
2020-07-20 cs.LG stat.ML
Self-Explaining Reinforcement Learning for Mobile Network Resource Allocation
研究移动网络资源分配问题,核心方法是用自解释神经网络参数化PPO智能体策略并聚合局部解释为全局解释,主要贡献是性能接近最优深度学习方法且显著优于启发式方法,全局解释相关性强,在高风险强化学习中有潜力。
2026-07-23 cs.LG cs.NI
A Visual Analytics Framework for Explaining and Diagnosing Transfer Learning Processes
Arizona State University(亚利桑那州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Samsung Research America(三星美国研究院)
许多统计学习模型假设训练数据和未来未标记数据来自相同的分布。然而,这种假设在现实世界的场景中很难实现,并且在重用来自类似应用程序域的现有标签时会产生障碍。迁移学习旨在通过对领域之间的关系建模来放松这一假设,并且通常应用于深度学习应用中,以减少对标记数据和训练时间的需求。尽管最近在使用可视化分析工具探索深度学习模型方面取得了进展,但很少有工作探索解释和诊断深度学习模型之间的知识转移过程。在本文中,我们提出了一个可视化分析框架,用于在训练深度神经网络时对迁移学习过程进行多层次探索。我们的框架建立了一个多方面的设计,以解释在训练深度神经网络时,如何将从现有模型中学习到的知识转移到新的学习任务中。在全面的需求和任务分析的基础上,我们采用了描述性的可视化,从统计,实例,功能和模型结构级别的性能指标和详细的检查模型的行为。我们展示了我们的框架,通过两个案例研究图像分类通过微调AlexNets来说明分析师可以如何利用我们的框架。
2020-09-15 cs.AI cs.HC cs.LG
PatchX: Explaining Deep Models by Intelligible Pattern Patches for Time-series Classification
Technische Universität Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
时间序列数据的分类是流数据的关键,也带来了许多挑战。尽管公开可用的数据集数量迅速增加,但深度神经模型仅在少数领域得到利用。与深度神经模型相比,传统方法仍然经常使用。这些方法由于其可解释的结果而在安全关键,金融或医疗领域中受到青睐。然而,它们的性能和扩展能力是有限的,并且由于数字时间序列数据中隐藏的概念,为时间序列分类任务找到合适的解释是具有挑战性的。可视化完整的时间序列会导致我们对感知的认知过载,并导致混乱。因此,我们认为,分批处理的数据结果在一个更可解释的表示。我们提出了一种新的混合方法,该方法利用深度神经网络和传统的机器学习算法来引入可解释和可扩展的时间序列分类方法。我们的方法首先进行细粒度的分类,其次是样本级分类的补丁。
2021-02-11 cs.LG
Representer Point Selection for Explaining Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
我们建议通过指向训练集中我们称之为代表点的集合来解释深度神经网络的预测,对于给定的测试点预测。具体来说,我们可以将神经网络的预激活预测分解为训练点激活的线性组合,权重对应于我们称之为代表值的值,从而捕获该训练点对网络学习参数的重要性。但它提供了对网络的更深入的理解,而不仅仅是训练点的影响:正代表值对应于兴奋性训练点,负值对应于抑制点,正如我们所展示的那样,这提供了更多的洞察力。我们的方法也更具可扩展性,允许以影响函数不可行的方式进行实时反馈。
2018-11-23 cs.LG stat.ML
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司);Arizona State University(亚利桑那州立大学)
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时,为了简明扼要地提供大量信息,简明和全面是必要的。然而,现有的可解释的机器学习方法未能同时考虑准确性和全面性,导致冗余解释。我们提出了变信息瓶颈的解释,VIBI,一个系统不可知的解释方法,提供了一个简短而全面的解释。VIBI采用信息理论原理,信息瓶颈原理,作为寻找这种解释的标准。对于每一个实例,VIBI选择的关键特征是最大限度地压缩了输入(准确性),并提供了关于黑盒系统对该输入所做决定的信息(全面性)。我们在三个数据集上评估了VIBI,并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
Explaining the Decisions of Deep Policy Networks for Robotic Manipulations
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文通过输入归因方法解释深度策略网络在机器人操作中的决策,提出关节扭矩重要性测量和改进的相关性传播方法,首次在线揭示多模态传感器输入归因的动态变化。
2023-10-30 cs.AI cs.LG cs.RO
BET: Explaining Deep Reinforcement Learning through The Error-Prone Decisions
Xiangtan University(湘潭大学);Nanjing University(南京大学)
本文提出自解释结构 BET,通过识别深度强化学习智能体的易出错状态来解释其决策行为,并在多个环境中验证了解释保真度优势,首次以完全透明结构解释《星际争霸 II》复杂多智能体场景。
2024-01-14 cs.AI cs.LG
Explaining Deep Neural Networks by Leveraging Intrinsic Methods
Sapienza University of Rome(罗马大学)
本论文通过引入自解释网络设计、神经元激活值分析和视觉分析中解释性技术的应用,增强深度神经网络的可解释性,以解决其黑盒问题。
2024-07-17 cs.LG
Explaining a Series of Models by Propagating Shapley Values
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
局部特征属性方法越来越多地用于解释复杂的机器学习模型。然而,目前的方法是有限的,因为它们是非常昂贵的计算或无法解释一系列分布式模型,其中每个模型是由一个单独的机构拥有。后者尤其重要,因为它经常出现在要求解释的金融领域。在这里,我们提出了DeepSHAP,这是一种基于与Shapley值的连接通过一系列复杂模型传播局部特征属性的易处理方法。我们在生物,健康和金融数据集上评估了DeepSHAP,以表明它提供了同样突出的解释,比现有的模型不可知归因技术快一个数量级,并展示了它在一系列重要的分布式模型设置中的使用。
2021-10-13 cs.LG
Explaining Explanations: Axiomatic Feature Interactions for Deep Networks
University of Washington(华盛顿大学)
最近的工作在解释神经网络行为方面显示了巨大的希望。特别是,特征归因方法解释了哪些特征对模型对给定输入的预测最重要。然而,对于许多任务,仅仅知道哪些特征对模型的预测很重要可能无法提供足够的洞察力来理解模型的行为。模型中特征之间的相互作用不仅可以帮助我们更好地理解模型,还可以帮助我们理解为什么某些特征比其他特征更重要。在这项工作中,我们提出了集成Hessians,扩展的集成子,解释成对的功能相互作用的神经网络。集成Hessians克服了先前方法的几个理论限制来解释相互作用,并且与这些先前方法不同的是,集成Hessians不限于特定的架构或神经网络类。此外,我们发现,我们的方法比现有的方法更快,当功能的数量很大,并优于现有的定量基准以前的方法。代码可在https://github.com/suinleelab/path_explain获得
2020-06-30 cs.LG stat.ML
Towards Explaining Anomalies: A Deep Taylor Decomposition of One-Class Models
Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
常见的机器学习任务是区分正常和异常数据点。在实践中,在这项任务中达到高精度并不总是足够的,人们还想了解为什么以某种方式预测给定的数据点。我们提出了一种新的原则性方法,一类SVM的输入变量分解离群预测。该方法首先将单类模型重组为具有距离函数和最小池的神经网络,然后对模型输出进行深度泰勒分解(DTD)。建议的单类DTD适用于一些常见的基于距离的SVM内核,并能够可靠地解释广泛的数据异常。此外,它优于基线,如敏感性分析,最近邻,或简单的边缘检测。
2018-05-16 cs.LG stat.ML
Semantic Depth Matters: Explaining Errors of Deep Vision Networks through Perceived Class Similarities
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(理论与应用信息研究所,波兰科学院)
本文提出了一种通过感知类别相似性解释深度视觉网络错误的方法,揭示了语义深度对误分类模式的影响。
2026-01-28 cs.CV cs.LG
Auditing Sybil: Explaining Deep Lung Cancer Risk Prediction Through Generative Interventional Attributions
National Lung Screening Trial Research Team(国家肺癌筛查试验研究组)
本文提出S(H)NAP框架,通过专家放射科医生验证的生成干预性归因,揭示Sybil模型在区分恶性肺结节与良性病变时的失效模式,包括对不合理伪影的敏感性和径向偏差。
2026-05-13 cs.AI cs.CV cs.LG
Explaining Deep Learning Models - A Bayesian Non-parametric Approach
The Pennsylvania State University(宾夕法尼亚州立大学);Netflix Inc.(奈飞公司);Columbia University(哥伦比亚大学)
理解和解释机器学习(ML)模型如何做出决策一直是一个巨大的挑战。虽然最近的研究提出了各种技术方法来提供ML模型如何进行单独预测的一些线索,但它们无法为用户提供将模型作为完整实体进行检查的能力。在这项工作中,我们提出了一种新的技术方法,增强了贝叶斯非参数回归混合模型与多个弹性网。使用增强的混合模型,我们可以通过全局近似为目标模型提取可推广的见解。为了证明我们的方法的实用性,我们在图像识别的背景下对不同的ML模型进行了评估。实证结果表明,我们提出的方法不仅在解释个人决策方面优于最先进的技术,而且还为用户提供了发现目标ML模型漏洞的能力。
2018-11-07 cs.LG stat.ML