A Probabilistic Representation of Deep Learning for Improving The Information Theoretic Interpretability
University of Delaware（特拉华大学）
在本文中，我们提出了一种概率表示的多层感知器（MLP），以提高信息论的可解释性。最重要的是，我们证明，被i.i.d.不是对MLP的所有隐藏层都有效，因此现有的基于非参数推断方法的互信息估计器，例如，经验分布和核密度估计（KDE），是无效的测量信息流的MLP。此外，我们引入了显式的概率解释MLP：（i）我们定义了概率空间（Omega_F，t，P_F），并证明了激活函数对概率测度P_F的重要影响：（ii）证明了MLP的整个结构是Gibbs分布P;以及（iii）反向传播旨在优化MLP的所有全连接层的样本空间Omega_F，用于学习最优吉布斯分布P*，以表达输入和标签之间的统计连接。基于MLP的概率解释，我们从三个方面改进了MLP的信息论解释：（i）f的随机变量是离散的，对应的熵是有限的;（ii）如果考虑反向传播，信息瓶颈理论不能正确解释MLP中的信息流;（iii）我们提出了新的MLP推广的信息论解释。最后，我们证明了建议的概率表示和信息理论解释MLP在合成数据集和基准数据集。
2020-10-27 cs.IT cs.LG math.IT
Switched linear projections for neural network interpretability
University of Otago（奥塔哥大学）
我们引入切换线性投影，用于根据输入空间中的单个线性投影来表达深度神经网络中神经元的活动。该方法的工作原理是隔离活动子网络，一系列线性变换，确定了给定输入实例的网络的整个计算。通过这些投影，我们可以将任何隐藏层中的活动分解为在给定输入实例中检测到的模式。我们还提出，在ReLU网络中，检查使隐藏层中的神经元失活的模式是有指导意义和有意义的，而现有的可解释性方法只跟踪网络计算的活跃方面，这是隐含忽略的。
2020-02-06 cs.LG stat.ML
Sequential Interpretability: Methods, Applications, and Future Direction for Understanding Deep Learning Models in the Context of Sequential Data
University of Florida（佛罗里达大学）
深度学习继续革新越来越多的关键应用领域，包括医疗、交通、金融和基础科学。尽管它们的预测能力有所提高，但由于现代深度学习模型的“黑匣子”性质，模型的透明度和人类可解释性仍然是一个重大挑战。在许多情况下，可解释性和性能之间的理想平衡主要是特定于任务的。以人为本的领域，如医疗保健，需要重新关注这些框架如何以及为什么会达到关键和潜在的生死攸关的决定。鉴于计算机视觉的深度学习的研究和经验成功的数量，大多数现有的可解释性研究都集中在图像处理技术上。相比之下，较少关注使用序列数据解释深度学习框架。鉴于最近深度学习在高度序列化领域（如自然语言处理和生理信号处理）的进步，对深度序列化解释的需求达到了历史最高水平。在本文中，我们回顾了当前用于解释涉及序列数据的深度学习技术的技术，确定了与非序列方法的相似之处，并讨论了序列可解释性研究的当前限制和未来途径。
2020-04-27 cs.LG stat.ML
Beyond Sparsity: Tree Regularization of Deep Models for Interpretability
Stanford University（斯坦福大学）；Harvard University SEAS（哈佛大学工程与应用科学学院）；University of Basel（巴塞尔大学）；University of Siena（锡耶纳大学）
缺乏可解释性仍然是许多应用程序采用深度模型的关键障碍。在这项工作中，我们显式地正则化深度模型，以便人类用户可以在很短的时间内逐步完成预测背后的过程。具体来说，我们训练深度时间序列模型，使它们的类概率预测具有高准确性，同时由节点很少的决策树紧密建模。使用直观的玩具示例以及治疗败血症和HIV的医疗任务，我们证明了这种新的树正则化产生的模型比简单的L1或L2惩罚更容易让人类模拟，而不会牺牲预测能力。
2017-11-16 cs.LG stat.ML
Geometrization of deep networks for the interpretability of deep learning systems
Faculty of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
如何理解深度学习系统仍然是一个悬而未决的问题。在本文中，我们提出答案可能在于深度网络的几何化。几何化是连接物理学、几何学、深层网络和量子计算的一座桥梁，可能为揭示物理世界的规律提供新的方案。通过比较图像匹配和深度网络的几何结构，我们发现深度网络的几何化可以用来理解现有的深度学习系统，它也可能有助于解决深度学习系统的可解释性问题。
2019-01-13 cs.AI cs.LG stat.ML
Improving the Interpretability of Deep Neural Networks with Knowledge Distillation
Dalhousie University（达尔豪斯大学）；Alibaba Group（阿里巴巴集团）；Polish Academy of Sciences（波兰科学院）
深度神经网络在从语言建模、计算机视觉到语音识别的广泛应用中取得了巨大成功。然而，如今，仅凭良好的性能不足以满足实际部署的需要，在实际部署中，对涉及道德操守和关键任务应用程序的案件需要可解释性。深度神经网络的复杂模型使得其预测难以理解和推理，这阻碍了其进一步发展。为了解决这个问题，我们应用知识蒸馏技术将深度神经网络蒸馏成决策树，以便同时获得良好的性能和可解释性。我们将手头的问题表示为多输出回归问题，实验表明，在相同的树深度水平下，学生模型比普通决策树实现了更好的准确性性能（约1%至5%）。实验在TensorFlow平台上实现，使其可扩展到大数据集。据我们所知，我们是第一个在多类数据集上将深度神经网络提炼成普通决策树的公司。
2018-12-28 cs.LG stat.ML
Addressing the interpretability problem for deep learning using many valued quantum logic
IBM Systems（IBM系统）
深度学习模型广泛用于各种工业和科学应用。尽管这些模型近年来取得了相当大的成功，但在机器学习社区中，对这些系统做出的决策背后的基本原理缺乏理解。这一可解释性问题因这类模型日益复杂而进一步恶化。本文利用机器学习，量子计算和量子场论的概念来演示多值量子逻辑系统如何自然地出现在一类特定的生成深度学习模型中，称为卷积深度信念网络。它为构建深度学习模型提供了一个强大的理论框架，该模型具有许多有值量子逻辑系统的可解释性，而不会影响其计算效率。
2020-07-02 cond-mat.dis-nn cs.LG stat.ML
How far from automatically interpreting deep learning
Xi’an University of Technology（西安理工大学）
近年来，深度学习研究者们关注的焦点是如何找到深度学习模型背后的可解释性。然而，当今人类的认知能力还没有完全覆盖深度学习模型。换句话说，深度学习模型和认知模式之间存在差距。如何评估和缩小认知差距是一个非常重要的问题。本文讨论了模型的可解释性评价、泛化性能与模型可解释性的关系以及提高模型可解释性的方法。提出了一个通用的学习框架来解决这两个性能之间的平衡问题。证明了该问题解的唯一性，并给出了唯一解的条件.分析了两种性能之和的概率上界。
2018-11-19 cs.LG stat.ML
Towards Better Interpretability in Deep Q-Networks
Carnegie Mellon University（卡内基梅隆大学）
深度强化学习技术已经在各种环境中表现出卓越的性能。随着训练算法的快速改进，关于理解这些网络似乎在学习什么的理论或实证研究还远远落后。在本文中，我们提出了一个可解释的神经网络架构的Q-学习，提供了一个全球性的解释模型的行为，使用键-值记忆，注意力和可重构的嵌入。通过定向探索策略，我们的模型可以达到与最先进的深度Q学习模型相当的训练奖励。然而，结果表明，神经网络提取的特征非常浅，随后使用样本外示例进行的测试表明，智能体很容易过拟合训练过程中看到的轨迹。
2018-11-15 cs.LG stat.ML
DeepPINK: reproducible feature selection in deep neural networks
University of Washington（华盛顿大学）；University of Southern California（南加州大学）
由于其出色的经验性能，深度学习在监督和无监督机器学习中越来越受欢迎。然而，由于其内在的复杂性，大多数深度学习方法在很大程度上被视为黑盒工具，几乎没有可解释性。尽管最近已经尝试促进深度神经网络（DNN）的可解释性，但是现有方法易受噪声影响并且缺乏鲁棒性。因此，科学家们对发现的可重复性非常谨慎，这通常与基础统计模型的可解释性有关。在本文中，我们描述了一种方法，以提高DNN的解释性和再现性，结合特征选择的想法与控制出错率。通过设计一个新的DNN架构并将其与最近提出的仿制品框架相集成，我们以受控的出错率执行特征选择，同时保持高功率。这种新方法，DeepPINK（深度特征选择使用配对输入非线性敲除），被应用到模拟和真实数据集，以证明其经验效用。
2018-09-06 cs.LG stat.ML
New Perspective of Interpretability of Deep Neural Networks
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Tokyo Institute of Technology（东京工业大学）
深度神经网络（DNN）被称为黑箱模型。换句话说，很难解释模型的内部状态。提高DNN的可解释性是当前的研究热点之一。然而，目前，DNN的可解释性的定义是模糊的，什么是高度解释性模型的问题仍然存在争议。为了解决这个问题，我们提供了模型的人类可预测性的定义，作为DNN可解释性的一部分。本文提出的人类可预测性定义为在扰动DNN模型时预测推理变化的容易性。此外，我们还介绍了一个高度可预测的DNN的例子。我们讨论，我们的定义将有助于研究的DNN考虑各种类型的应用程序的可解释性。
2019-09-12 cs.AI cs.LG stat.ML
A Benchmark for Interpretability Methods in Deep Neural Networks
Google Brain（谷歌大脑）
我们提出了一个经验性的措施，在深度神经网络的特征重要性估计的近似精度。我们在几个大规模的图像分类数据集的结果表明，许多流行的可解释性方法产生的特征重要性的估计，并不比随机指定的特征重要性。只有某些基于集成的方法--VarGrad和SmoothGrad-Squared--优于这种随机分配的重要性。集成的方式仍然是至关重要的，我们表明，一些方法做得不好，然后的基本方法，但进行更高的计算负担。
2019-11-05 cs.AI cs.LG stat.ML
Optimizing for Interpretability in Deep Neural Networks with Tree Regularization
Stanford University（斯坦福大学）；University of Basel（巴塞尔大学）；Tufts University（塔夫茨大学）；Harvard University SEAS（哈佛大学工程与应用科学学院）
深度模型在许多领域都具有先进的预测能力，但它们缺乏可解释性仍然是许多现实世界应用中采用的关键障碍。有大量的工作旨在帮助人类理解这些黑盒函数到不同的粒度级别-例如，通过蒸馏，梯度或对抗性示例。然而，这些方法都将可解释性作为训练后的一个单独过程来处理。在这项工作中，我们采取了不同的方法，并显式地正则化深度模型，以便它们被人类可以在很短时间内逐步通过的过程很好地近似。具体来说，我们训练了几个系列的深度神经网络，使其类似于紧凑的、轴对齐的决策树，而不会在准确性上有重大影响。由此产生的轴对齐的决策函数独特地使树正则化模型易于人类解释。此外，对于单个全局树是一个糟糕的估计器的情况，我们引入了一个区域树正则化器，它鼓励深度模型在预定义的、人类可解释的上下文中类似于一个紧凑的、轴对齐的决策树。使用直观的玩具例子以及重症监护和艾滋病患者的医疗任务，我们证明了这个新的树正则化器家族产生的模型比简单的L1或L2惩罚更容易让人类模拟，而不会牺牲预测能力。
2019-08-14 cs.LG stat.ML
On the Impact of Interpretability Methods in Active Image Augmentation Method
Centro de Informática（信息中心）；Universidade Federal de Pernambuco（伯南布哥联邦大学）；Departamento de Ciência da Computação（计算机科学系）；Universidade Federal de Sergipe（塞尔希培联邦大学）；Informatics Department（信息学系）；University of Minho（米尼奥大学）
鲁棒性是机器学习模型中的一个重要约束。当使用稍微不同的数据进行训练和测试时，算法的性能必须不会恶化。深度神经网络模型在计算机视觉的广泛应用中取得了令人惊叹的结果。尽管如此，在存在噪声或区域遮挡的情况下，即使在训练中处理数据，一些模型也会表现出不准确的性能。此外，一些实验表明，深度学习模型有时会使用输入信息中不正确的部分来进行推理。激活图像增强（ADA）是一种增强方法，其使用可解释性方法来增强训练数据并提高其鲁棒性以面对所描述的问题。虽然ADA提出了有趣的结果，但其原始版本仅使用Vanilla Backpropagation可解释性来训练U-Net模型。在这项工作中，我们提出了一个广泛的实验分析的可解释性方法对ADA的影响。我们使用五种可解释性方法：Vanilla Backpropagation，Guided Backpropagation，GradCam，Guided GradCam和InputXGradient。结果表明，所有方法在训练结束时都能达到相似的性能，但当将ADA与GradCam相结合时，U-Net模型呈现出令人印象深刻的快速收敛。
2021-02-24 cs.CV cs.LG
Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification
Wells Fargo（富国银行）；Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）
深度神经网络（DNN）在学习具有强大预测能力的复杂模式方面取得了巨大成功，但它们通常被认为是没有足够透明度和可解释性的"黑箱"模型。重要的是要用严格的数学和实用的工具来揭开DNN的神秘面纱，特别是当它们用于关键任务应用时。本文旨在通过局部线性表示来解开深度ReLU网络的黑盒，该表示利用激活模式并将复杂网络分解为一组等效的局部线性模型（LLM）。我们开发了一个方便的基于LLM的工具包，用于预训练深度ReLU网络的可解释性，诊断和简化。我们提出了局部线性剖面图和其他可视化方法的解释和诊断，和一个有效的合并策略，网络简化。通过模拟实例、基准数据集和住房贷款信贷风险评估的实际案例研究，证明了所提出的方法。
2020-11-08 cs.AI cs.LG stat.ML
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Google Brain（谷歌大脑）；Cornell University（康奈尔大学）；Uber AI Labs（优步人工智能实验室）
我们提出了一种新技术，奇异向量典型相关分析（SVCCA），一种快速比较两种表示的工具，这种工具对仿射变换（允许不同层和网络之间的比较）和快速计算（允许比以前的方法计算更多的比较）都是不变的。我们部署这个工具来测量层的内在维度，在某些情况下显示不必要的过度参数化;在整个训练过程中探索学习动态，发现网络自下而上收敛到最终表示;显示网络中的类特定信息形成的位置;并建议新的训练方案，同时节省计算和减少过度拟合。代码：https://github.com/google/svcca/
2017-11-08 cs.LG stat.ML
Deep network as memory space: complexity, generalization, disentangled representation and interpretability
Southeast University（东南大学）
通过将深度网络和物理学联系起来，提出了深度网络几何化方案，作为深度学习系统可解释性的框架。根据这个计划，我们可以将物理学的两个关键思想，物理学的几何化和最小作用原理应用于深度网络，并提供深度网络的新图景：深度网络作为信息的存储空间，其中存储器的容量，鲁棒性和效率与深度网络的复杂性，泛化性和解纠缠密切相关。这种理解的关键组成部分包括：（1）基于Fisher度量的网络复杂性公式;（2）深度网络上的最小作用（复杂性=作用）原则;（3）建立在深度网络配置上的几何结构。我们将展示这幅图将如何为我们带来对深度学习系统可解释性的新理解。
2019-07-12 cs.AI cs.LG
Deep interpretability for GWAS
McGill University（麦吉尔大学）；MILA - Quebec AI Institute（MILA - 魁北克人工智能研究所）；Université Laval（拉瓦尔大学）；Université de Montréal（蒙特利尔大学）；Montreal Heart Institute（蒙特利尔心脏研究所）；Facebook AI Research（Facebook人工智能研究院）
全基因组关联研究通常使用线性模型进行，以发现与常见疾病相关的遗传变异。在这些研究中，关联检验是在逐个变量的基础上进行的，可能会遗漏变量之间的非线性相互作用效应。深度网络可用于对这些相互作用进行建模，但它们很难在大型遗传数据集上进行训练和解释。我们提出了一种方法，该方法使用基于梯度的深度可解释性技术DeepLIFT来证明已知的糖尿病遗传风险因素可以使用深度模型以及可能的新关联来识别。
2020-07-03 cs.LG q-bio.GN stat.AP
Regional Tree Regularization for Interpretability in Black Box Models
Stanford University（斯坦福大学）；University of Basel（巴塞尔大学）；Harvard University SEAS（哈佛大学工程与应用科学学院）；Tufts University（塔夫茨大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Siena（锡耶纳大学）
缺乏可解释性仍然是采用深度神经网络的障碍。最近，已经提出了树正则化，以鼓励深度神经网络类似于紧凑的、轴对齐的决策树，而不会在准确性上有重大妥协。然而，期望一棵树可以很好地预测所有可能的输入可能是不合理的。在这项工作中，我们提出了区域树正则化，它鼓励通过特定于输入空间的预定义区域的几个单独的决策树来很好地近似深度模型。从业者可以根据需要不同决策逻辑的上下文的领域知识来定义区域。在许多数据集上，我们的方法提供了比简单地为每个区域训练单独的决策树更准确的预测，同时产生比其他神经网络正则化方案更简单的解释，而不会牺牲预测能力。重症监护和艾滋病的两个医疗保健案例研究展示了专家如何通过我们的方法提高对深度模型的理解。
2020-03-16 cs.LG stat.ML
Functional Network: A Novel Framework for Interpretability of Deep Neural Networks
Zhejiang University（浙江大学）；Xiamen University（厦门大学）
深层神经网络的分层结构阻碍了众多分析工具的使用，从而阻碍了其可解释性的发展。受功能性脑网络成功的启发，我们提出了一个新的框架，深度神经网络，即功能性网络的可解释性。我们构造了全连通网络的函数网络，并探讨了它的小世界性。在实验中，我们使用图论分析和拓扑数据分析来揭示正则化方法的机制，即批量归一化和丢弃。我们的实证分析表明：（1）批量归一化通过提高全局效率和循环数来提高模型性能，但通过降低容错能力来降低对抗鲁棒性。(2)Dropout通过改进函数的特化性和容错性来提高模型的泛化能力和鲁棒性。(3)具有不同正则化的模型可以根据其功能拓扑结构正确聚类，反映了功能网络和拓扑数据分析在可解释性方面的巨大潜力。
2022-05-24 cs.LG
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
以人工深度神经网络（DNN）为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功，但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力，解释神经网络最近吸引了许多研究关注。在本文中，我们全面的分类的基础上，我们系统地回顾了最近的研究在理解神经网络的机制，描述了可解释性的应用，特别是在医学中，并讨论了未来的可解释性研究的方向，如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
Sparse Deep Additive Model with Interactions: Enhancing Interpretability and Predictability
Department of Mathematics and Statistics（数学与统计学系）；Georgia State University（佐治亚州立大学）；Tri-institutional Center for Translational Research in Neuroimaging and Data Science（神经影像与数据科学转化研究三机构中心）
本文提出了一种结合稀疏特征选择与深度子网络的稀疏深度加法模型与交互（SDAMI），通过三阶段策略实现高维回归中的可解释性和预测性提升。
2026-05-18 cs.LG stat.ML
The Loss Kernel: A Geometric Probe for Deep Learning Interpretability
University of Melbourne（墨尔本大学）；Timaeus
本研究提出损失核这一深度学习可解释性方法，通过保低损失参数扰动下的逐样本损失协方差衡量数据相似性，经合成任务与ImageNet实验验证其符合理论且匹配语义层级，为可解释性与数据归因提供实用工具。
2025-09-30 cs.LG
Multicriteria interpretability driven Deep Learning
Siemens Italy（西门子意大利公司）；University of Milano-Bicocca（米兰比可卡大学）
深度学习方法以其性能而闻名，但它们缺乏可解释性，使它们无法在高风险的环境中使用。最近的模型不可知的方法解决这个问题，通过逆向工程模型的内部工作提供事后的可解释性方法。然而，在许多受监管的领域，从一开始就应该记住可解释性，这意味着事后方法仅在模型训练后作为健全性检查有效。从一开始的可解释性，在抽象的设置中，意味着通过注入知识和消除可能的偏差来对模型的行为提出一组软约束。我们提出了一个多准则技术，允许控制功能的影响模型的结果，通过注入知识的目标函数。然后，我们扩展的技术，包括一个非线性的知识函数，以考虑更复杂的影响和当地缺乏知识。其结果是一个深度学习模型，从一开始就体现了可解释性，并与最近的法规保持一致。一个基于信用风险的实际实证例子表明，我们的方法创建了性能良好但稳健的模型，能够克服数据稀缺带来的偏差。
2021-11-28 cs.AI cs.LG
Interpretability in Deep Time Series Models Demands Semantic Alignment
University of Padua（帕多瓦大学）
本文提出深度时间序列模型的可解释性应追求语义对齐，即预测应基于对用户有意义的变量，并受时空机制约束，同时需保持时间演化下的语义一致性，为此提供了形式化定义和模型设计蓝图。
2026-08-24 cs.LG
Interpretable Deep Learning: Interpretation, Interpretability, Trustworthiness, and Beyond
Baidu Research, Baidu Inc.（百度公司百度研究院）；University of Pennsylvania（宾夕法尼亚大学）；Tsinghua University（清华大学）；University of Oregon（俄勒冈大学）
深度神经网络以其对各种机器学习和人工智能任务的出色处理而闻名。然而，由于其过度参数化的黑箱性质，通常很难理解深度模型的预测结果。近年来，人们提出了许多解释工具来解释或揭示深层模型如何做出决策。在本文中，我们回顾了这条研究路线，并试图作出全面的综述。具体来说，我们首先介绍和澄清两个基本概念-解释和可解释性-人们通常会混淆。为了解决口译的研究工作，我们阐述了一些口译算法的设计，从不同的角度，提出了一个新的分类。然后，为了理解解释结果，我们还调查了用于评估解释算法的性能指标。此外，我们总结了目前的工作，在评估模型的可解释性使用“可信”的解释算法。最后，我们回顾并讨论了深度模型的解释与其他因素之间的联系，例如对抗鲁棒性和从解释中学习，并介绍了几个用于解释算法和评估方法的开源库。
2022-07-15 cs.LG
TreeView: Peeking into Deep Neural Networks Via Feature-Space Partitioning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
随着高度预测但不透明的深度学习模型的出现，理解和解释这些模型的预测变得比以往任何时候都更加重要。现有的方法将可解释性定义为复杂性的倒数，并以准确性为代价来实现可解释性。这带来了产生可解释但误导性解释的风险。作为人类，我们倾向于从事这种行为\cite{mythos}。在本文中，我们采取了一个步骤的方向，解决问题的可解释性，而不损害模型的准确性。我们建议通过特征空间的分层划分来构建复杂模型的Treeview表示，这揭示了迭代拒绝不太可能的类标签，直到预测出正确的关联。
2016-11-22 cs.LG stat.ML
Free Energy Projective Simulation (FEPS): Active inference with interpretability
University of Innsbruck（因斯布鲁克大学）；Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；University of Konstanz（康斯坦茨大学）
本文提出自由能投影模拟（FEPS），在不使用深度神经网络的情况下构建可解释的主动推理智能体，通过最小化期望自由能推导策略，并在两个部分可观测RL任务中验证其能消除环境歧义并灵活推断最优策略。
2024-11-22 cs.AI cs.LG q-bio.NC
Transparency of Deep Neural Networks for Medical Image Analysis: A Review of Interpretability Methods
Maastricht University（马斯特里赫特大学）；Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）
人工智能已经成为诊断和治疗决策的许多临床应用的有用辅助工具。由于可用数据和计算能力的快速增长，深度神经网络在许多任务中表现出与临床医生相同或更好的性能。为了符合可信人工智能的原则，人工智能系统必须透明，强大，公平并确保问责制。目前的深度神经解决方案被称为黑盒，因为缺乏对决策过程细节的理解。因此，在将深度神经网络纳入常规临床工作流程之前，需要确保其可解释性。在这篇叙述性综述中，我们利用系统的关键词搜索和领域专业知识，根据生成的解释类型和技术相似性，确定了九种不同类型的可解释性方法，用于理解医学图像分析应用的深度学习模型。此外，我们报告的进展，对各种解释性方法产生的解释进行评估。最后，我们讨论了局限性，提供了使用可解释性方法的指导方针，以及关于深度神经网络在医学成像分析中的可解释性的未来方向。
2021-11-01 cs.AI cs.CV cs.LG
An Investigation of Interpretability Techniques for Deep Learning in Predictive Process Analytics
School of Information Systems, Science and Engineering Faculty of Queensland University of Technology（昆士兰科技大学科学与工程学院信息系统学院）；Department of Computer Science and Engineering, Instituto Superior Técnico / INESC-ID, University of Lisbon（里斯本大学高等技术学院/INESC-ID计算机科学与工程系）
本文探讨了医疗决策文献中两种最成功的学习算法的可解释性技术：深度神经网络和随机森林。我们将这些算法应用于包含癌症患者信息的真实医疗数据集中，在那里我们学习模型，试图预测患者的癌症类型，给定他们的一组医疗活动记录。我们探索了基于神经网络架构的不同算法，使用长短期深度神经网络和随机森林。由于越来越需要为决策者提供关于黑盒预测逻辑的理解，我们还探索了为这些分类器提供解释的不同技术。在其中一种技术中，我们截取了这些神经网络的一些隐藏层，并使用自动编码器来学习隐藏层中输入的表示形式。在另一个，我们研究了一个可解释的模型本地周围的随机森林的预测。结果表明，围绕模型的预测局部学习可解释的模型可以更好地理解算法为什么要做出某些决策。使用局部和线性模型有助于识别用于预测特定实例或数据点的特征。我们看到某些用于预测的独特特征，这些特征提供了关于癌症类型的有用见解，以及不能很好地概括的特征。此外，使用自动编码器的结构化深度学习方法提供了有意义的预测见解，从而识别出与患者不同类型癌症相对应的非线性聚类。
2020-02-21 cs.LG stat.ML
MIMIC-IF: Interpretability and Fairness Evaluation of Deep Learning Models on MIMIC-IV Dataset
University of Southern California（南加州大学）
最近发布的大规模医疗数据集极大地推动了针对医疗应用的数据驱动深度学习模型的研究。然而，由于这种深度黑盒模型的性质，对人类生命受到威胁的医疗保健场景中的可解释性，公平性和偏见的担忧需要对数据集和模型进行仔细和彻底的检查。在这项工作中，我们专注于MIMIC-IV（重症监护医学信息集市，第四版），最大的公共医疗数据集，并对数据集表示偏差以及用于院内死亡率预测的深度学习模型的可解释性和预测公平性进行全面分析。在可解释性方面，我们观察到：（1）性能最佳的可解释性方法成功地识别了各种预测模型中死亡率预测的关键特征;（2）人口统计学特征对预测很重要。在公平性方面，我们观察到：（1）在不同种族、性别和年龄的患者组中，机械通气的处方治疗存在差异;（2）所有研究的死亡率预测因素通常都是公平的，而IMV-LSTM（可解释多变量长短期记忆）模型在所有受保护组中提供了最准确和无偏倚的预测。我们进一步绘制了可解释性方法和公平性指标之间的具体联系，通过展示可解释性方法的特征重要性如何有利于量化死亡率预测因子的潜在差异。
2021-02-12 cs.AI cs.LG
Enhancing Interpretability of Sparse Latent Representations with Class Information
School of Electrical and Computer Engineering, University College of Engineering, University of Tehran（电气与计算机工程学院，工程学院，塔里班大学）
针对变分稀疏编码（VSC）无法保证同类样本潜在表示激活维度一致性的问题，提出引入新损失函数实现同类样本激活维度对齐的方法，可同时捕捉全局和类别特定因子，提升潜在空间可解释性与实用性。
2025-05-20 cs.CV cs.LG
Survey on Deep Fuzzy Systems in regression applications: a view on interpretability
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）；Radboud University（拉德堡德大学）
回归问题越来越多地被深度学习（DL）技术所接受。最近在这一领域发表的越来越多的论文，包括调查和评论，表明深度回归由于在高维数据系统中的效率和良好的准确性而引起了社区的关注。然而，许多深度学习方法具有复杂的结构，对人类用户不容易透明。这些模型的可解释性是解决网络安全系统、医疗、金融监控和工业流程等敏感领域问题的一个重要因素。模糊逻辑系统（FLS）是一种内在可解释的模型，能够通过具有模仿人类思维的隶属度的语言术语来使用复杂系统的非线性表示。在可解释的人工智能的氛围中，有必要考虑开发智能模型的准确性和可解释性之间的权衡。本文旨在研究现有的方法，结合DL和FLS，即深度模糊系统，以解决回归问题，配置一个主题，目前还没有充分探讨的文献，因此值得全面调查的最新技术。
2022-09-09 cs.LG
It's FLAN time! Summing feature-wise latent representations for interpretability
IBM Research Europe（IBM欧洲研究院）；ETH Zürich（苏黎世联邦理工学院）
可解释性已经成为部署在关键场景（例如法律系统、医疗保健）中的机器学习模型的必要特征。在这些情况下，算法决策可能会对受决策影响的最终用户产生（潜在的负面）长期影响。在许多情况下，不需要深度学习模型的代表能力，因此应该首选简单和可解释的模型（例如线性模型）。然而，在高维和/或复杂的领域（例如，计算机视觉）中，需要神经网络的通用近似能力。受线性模型和Kolmogorov-Arnold表示定理的启发，我们提出了一类新的结构约束神经网络，我们称之为FLAN（隐式潜在加性网络）。至关重要的是，FLAN单独处理每个输入特征，在公共潜在空间中为每个特征计算表示。然后，这些特征方面的潜在表示被简单地求和，并且聚合的表示被用于预测。这些约束条件（是线性模型可解释性的核心）允许用户独立于其他特征来估计每个特征的影响，从而增强可解释性。在一组跨不同领域的实验中，我们展示了在不过度损害测试性能的情况下，FLANs中提出的结构约束确实促进了深度学习模型的可解释性。我们定量地比较FLANs的可解释性事后的方法，使用最近推出的指标，讨论了本地可解释的模型的优势，事后分析。
2021-12-20 cs.LG stat.ML
Adversarially-regularized mixed effects deep learning (ARMED) models for improved interpretability, performance, and generalization on clustered data
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
自然科学数据集经常违反独立性的假设。样本可能会聚集（例如，按研究中心、受试者或实验批次），导致虚假关联、模型拟合不良和混淆分析。虽然这个问题在深度学习中基本上没有得到解决，但统计界已经通过混合效应模型来处理这个问题，该模型将集群不变的固定效应与集群特定的随机效应分开。我们通过对现有神经网络的非侵入性添加，为逆向正则化混合效应深度学习（ARMED）模型提出了一个通用框架：1）一个对抗性分类器，约束原始模型只学习集群不变特征，2）一个随机效应子网络，捕获集群特定特征，3）一种将随机效应应用于训练过程中看不到的集群的方法。我们将ARMED应用于密集，卷积和自动编码神经网络的4个应用程序，包括模拟非线性数据，痴呆症的预后和诊断，以及活细胞图像分析。与现有技术相比，ARMED模型在模拟中更好地区分混淆与真实关联，并在临床应用中学习更多生物学上合理的特征。它们还可以量化聚类间方差并可视化数据中的聚类效应。最后，ARMED提高了训练过程中看到的聚类数据的准确性（与传统模型相比高达28%），并将其推广到看不见的聚类（与传统模型相比高达9%）。
2022-04-28 cs.LG stat.ML
Interpretability Study on Deep Learning for Jet Physics at the Large Hadron Collider
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；Université de Montréal（蒙特利尔大学）
近年来，使用深度神经网络识别大型强子对撞机（LHC）的物理对象已成为一种强大的替代方法。在成功训练深度神经网络之后，检查训练好的网络不仅有助于我们理解神经网络的行为，还有助于通过正确的解释来提高深度学习模型的性能。我们以大型强子对撞机上的喷流标记问题为例，以递归神经网络为出发点，旨在深入了解面向物理的DNN的行为和嵌入空间中编码的信息。我们对一系列不同的喷流标记任务进行了比较研究，这些任务由不同的基础物理所支配。有趣的观察潜在的空间。
2019-11-05 cs.LG hep-ex hep-ph
Benchmarking Counterfactual Interpretability in Deep Learning Models for Time Series Classification
University of California, Davis（加州大学戴维斯分校）
本研究针对时间序列领域反事实（CF）解释方法缺乏基准测试的问题，重新设计稀疏性与合理性等定量指标并引入一致性新指标，在20个单变量和10个多变量数据集上系统评估6种CF方法，揭示了性能差异并提供了实用指南。
2024-10-10 cs.AI cs.LG stat.ML
Deep Trees for (Un)structured Data: Tractability, Performance, and Interpretability
Massachusetts Institute of Technology（麻省理工学院）；Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运营研究中心）；Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
针对传统决策树难以处理非线性及非结构化数据的问题，提出可直接处理图像的广义软树及DeepTree生长算法，在多类基准数据集上性能优于主流树方法，且可解释性远超深度神经网络。
2024-10-28 cs.LG
MARGIN: Uncovering Deep Neural Networks using Graph Signal Analysis
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Walmart Labs（沃尔玛实验室）
可解释性已经成为在机器学习系统中建立信任的一个关键方面，旨在提供对复杂神经网络工作的洞察，否则对用户是不透明的。有大量现有的解决方案解决可解释性的各个方面，从识别数据集中的原型样本到解释图像预测或解释错误分类。虽然所有这些不同的技术解决看似不同的方面的可解释性，我们假设，一个大家庭的interpretability任务是同一个核心问题，这是确定\emph{relative}的变化模型的预测的变体。本文介绍了MARGIN，一个简单而通用的方法来解决大量的可解释性任务MARGIN利用植根于图形信号分析的思想来确定图中的有影响力的节点，这些节点被定义为最大限度地描述图上定义的函数的节点。通过仔细定义特定于任务的图形和函数，我们证明了MARGIN在许多不同的可解释性挑战中优于现有方法。
2021-01-15 cs.CV cs.LG stat.ML
ALIME: Autoencoder Based Approach for Local Interpretability
近年来，机器学习，尤其是深度学习，由于其相对于其他方法的性能提高，已经获得了巨大的普及。大量数据的可用性有助于深度学习的发展。然而，深度学习模型是不透明的，通常被视为黑匣子。因此，有一个内在的需要，使模型可解释，特别是在医疗领域。在这项工作中，我们提出了一个本地可解释的方法，这是最近的工具，已经获得了很多的兴趣，称为本地可解释的模型不可知解释（LIME）的启发。LIME通过在实例周围人工生成数据集（通过随机采样和使用扰动），然后引入局部线性可解释模型来生成单实例级解释。LIME中的一个主要问题是生成的解释不稳定，这是由于随机生成的数据集造成的。这种局部可解释模型的另一个问题是局部保真度。我们提出了新的modificationstto LIME通过采用自动编码器，这是一个更好的weightingfunction的本地模型。我们与不同的数据集进行了广泛的比较，并表明我们提出的方法既提高了稳定性，又提高了局部保真度。
2019-09-04 cs.LG stat.ML
Topological Interpretability for Deep-Learning
Oak Ridge National Laboratory（橡树岭国家实验室）；National Cancer Institute（国家癌症研究所）
针对深度学习模型无法量化预测确定性且决策机制难解释的问题，提出基于拓扑与几何数据分析的特征推断方法，通过构建特征空间图、提取高准确率子图来识别决策相关特征，稳定性优于LIME和SHAP方法。
2024-04-11 cs.LG stat.ML
An Interactive Interpretability System for Breast Cancer Screening with Deep Learning
Vanderbilt University（范德堡大学）；Carnegie Mellon University（卡内基梅隆大学）
深度学习方法，特别是卷积神经网络，已经成为医学图像计算任务中的强大工具。虽然这些复杂的模型提供了出色的性能，但它们的黑盒性质可能会阻碍高风险决策的实际应用。在本文中，我们提出了一个互动系统，利用国家的最先进的可解释性技术，以协助放射科医生与乳腺癌筛查。我们的系统将深度学习模型集成到放射科医生的工作流程中，并提供新颖的交互，以促进对模型决策过程的理解。此外，我们证明了我们的系统可以利用用户交互逐步提供更细粒度的可解释性报告，标签开销很小。由于所采用的可解释性技术的通用性，我们的系统是领域不可知的，可用于许多不同的医学图像计算任务，为我们如何利用视觉分析来转换最初的静态可解释性技术以增强人类决策并促进医学AI的采用提供了一个新的视角。
2022-09-30 cs.AI cs.CV cs.HC
i-Algebra: Towards Interactive Interpretability of Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
为深度神经网络（DNN）提供解释对于它们在决策的可解释性是关键先决条件的领域中的使用至关重要。尽管有大量关于解释DNN的工作，但大多数现有的解决方案都以临时、一次性和静态的方式提供可解释性，而没有考虑最终用户的感知、理解或响应，导致其在实践中的可用性较差。在本文中，我们认为DNN的可解释性应该实现为用户和模型之间的交互。我们提出了i-Algebra，这是第一个用于解释DNN的交互式框架。它的核心是一个原子的、可组合的运算符库，这些运算符在不同的输入粒度、不同的推理阶段以及不同的解释角度解释模型行为。利用声明性查询语言，用户能够构建各种分析工具（例如，“下钻”、“比较”、“假设”分析）。我们对i-Algebra进行了原型设计，并在一组具有代表性的分析任务中进行了用户研究，包括检查对抗性输入，解决模型不一致性，以及清理受污染的数据，所有这些都证明了它有前途的可用性。
2021-01-22 cs.HC cs.LG
Interpretability of Statistical, Machine Learning, and Deep Learning Models for Landslide Susceptibility Mapping in Three Gorges Reservoir Area
本研究在三峡库区滑坡易发性制图中比较统计、机器学习和深度学习模型，发现卷积神经网络准确率最高，但可解释性随因素集和解释方法而异，综合因素提升精度，专门触发因素增强一致性。
2024-05-29 cs.LG
Interpreting Deep Models through the Lens of Data
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；DFKI GmbH（德国人工智能研究中心有限公司）
识别与分类器相关的输入数据点（即作为支持向量）最近激发了研究人员对可解释性和数据集调试的兴趣。本文提出了一种深入的分析方法，试图确定这些数据点的影响，从而产生的分类。为了量化影响的质量，我们策划了一组实验，根据从不同方法获得的影响信息对数据集进行调试和修剪。为此，我们为分类器提供了错误标记的示例，这些示例阻碍了整体性能。由于分类器是数据和模型的组合，因此，分析这些影响对于深度学习模型的可解释性也很重要。结果分析表明，一些可解释性方法可以检测错误标签比使用随机方法，然而，与这些方法的要求相反，基于训练损失的样本选择表现出优越的性能。
2020-05-19 cs.LG stat.ML
TSInsight: A local-global attribution framework for interpretability in time-series data
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；TU Kaiserslautern（凯泽斯劳滕工业大学）
随着深度学习方法在安全关键场景中的应用越来越多，可解释性比以往任何时候都更加重要。虽然已经探索了许多不同的方向，关于可解释性的视觉模态，时间序列数据已被忽略，只有少数的方法测试，由于其较差的可理解性。我们通过提出TSInsight以一种新的方式来解决可解释性问题，在TSInsight中，我们将自动编码器附加到分类器上，在其输出上具有稀疏诱导范数，并根据分类器的梯度和重建惩罚对其进行微调。TSInsight学习保留对分类器预测重要的特征，并抑制那些不相关的特征，即作为一种特征归因方法来提高可解释性。与大多数其他归因框架相比，TSInsight能够生成基于实例和基于模型的解释。我们在8个不同的时间序列数据集上评估了TSInsight以及其他9种常用的归因方法，以验证其有效性。评估结果表明，TSInsight自然实现了输出空间收缩，因此，是一个有效的工具，深度时间序列模型的可解释性。
2020-04-06 cs.AI cs.LG stat.ML
Harmonizing Feature Attributions Across Deep Learning Architectures: Enhancing Interpretability and Consistency
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University of Oldenburg（奥尔登堡大学）
本文研究不同深度学习架构（如CNN和视觉Transformer）之间特征归因的泛化与协调，提出通过协调特征归因方法增强局部解释一致性，从而提升模型可解释性与可信度。
2023-07-25 cs.CV cs.LG
This Looks Like That... Does it? Shortcomings of Latent Space Prototype Interpretability in Deep Networks
ETH Zurich（苏黎世联邦理工学院）
深度神经网络通过架构设计产生人类可解释的决策，最近已经成为传统黑箱模型事后解释的越来越受欢迎的替代方案。在这些网络中，可以说最广泛的方法是所谓的原型学习，其中与学习到的潜在原型的相似性作为对看不见的数据点进行分类的基础。在这项工作中，我们指出了这种方法的一个重要缺点。也就是说，潜在空间中的相似性和输入空间中的相似性之间存在语义鸿沟，这可能会破坏可解释性。我们设计了两个实验，在所谓的ProtoPNet上验证这个问题。具体来说，我们发现这个网络的可解释性机制可能会被故意制作的甚至JPEG压缩伪像引入歧途，这可能会产生不可理解的决策。我们认为，从业者在实践中部署基于原型的模型时，应该考虑到这个缺点。
2021-06-23 cs.AI cs.CV cs.LG
Multilayer Q-Matrix-Embedded Neural Network for Cognitive Diagnosis (M-QCDNet): Structure-Aware Deep Learning Architecture for Psychometric Interpretability
提出M-QCDNet，将Q矩阵作为结构先验嵌入神经网络，通过带L2惩罚的损失函数平衡预测性能与结构对齐，实现可解释的认知诊断。
2026-07-03 cs.LG
VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry
Paul Wurth S.A.（保尔沃斯公司）
应用于生成数据驱动模型的机器学习缺乏透明度，导致过程工程师对依赖模型预测来优化其工业过程失去信心。使用数据驱动模型将行业流程提升到一定程度的自主性尤其具有挑战性，因为这些模型的第一个用户通常是拥有数十年经验的流程专家。有必要向过程工程师展示，不仅是模型预测，而且还有它们的可解释性。为此，文献中提出了几种方法。局部可解释模型不可知解释（LIME）方法最近引起了研究界的极大兴趣。该方法的原理是通过在局部随机生成人工数据点来训练一个局部逼近黑盒模型的线性模型。最近出现了基于LIME的模型不可知局部可解释性解决方案，以改进原始方法。在本文中，我们提出了一种新的方法，VAE-LIME，本地可解释的数据驱动模型预测的高炉生产的铁水温度。这样的炼铁过程数据的特征在于具有高度相关性的多变量时间序列，其代表高炉中的潜在过程。我们的贡献是使用变分自编码器（VAE）从数据中学习复杂的高炉过程特性。VAE旨在生成最佳人工样本以训练局部可解释模型，该局部可解释模型在由黑盒模型处理的输入样本的邻域中更好地表示黑盒模型以进行预测。与LIME相比，VAE-LIME显示出显着改善的局部可解释线性模型的局部保真度与黑盒模型，从而产生鲁棒的模型可解释性。
2020-07-15 cs.AI cs.LG stat.ML
Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey
University of Chicago（芝加哥大学）；Colorado School of Mines（科罗拉多矿业学院）；Argonne National Laboratory（阿贡国家实验室）
该综述从损失景观几何视角梳理模型融合研究，提炼出损失景观的四大几何特征，指出模型融合对表征结构的洞见可服务于可解释性与鲁棒性，并提出交叉研究新方向。
2025-03-21 cs.AI cs.LG
Estimating Uncertainty and Interpretability in Deep Learning for Coronavirus (COVID-19) Detection
Brunel University London（布鲁内尔大学伦敦分校）
深度学习已经在医学成像领域取得了最先进的性能。然而，这些用于疾病检测的方法仅关注于提高分类或预测的准确性，而不量化决策中的不确定性。了解基于计算机的医疗诊断的可信度对于获得临床医生对该技术的信任并因此改善治疗至关重要。今天，2019年冠状病毒（SARS-CoV-2）感染是世界各地的主要医疗挑战。在X射线图像中检测COVID-19对于诊断、评估和治疗至关重要。然而，报告中的诊断不确定性对放射科医生来说是一项具有挑战性且不可避免的任务。在这篇论文中，我们研究了基于下降权重的贝叶斯卷积神经网络（BCNN）如何估计深度学习解决方案中的不确定性，以提高人机团队使用公开的COVID-19胸部X射线数据集的诊断性能，并表明预测中的不确定性与预测的准确性高度相关。我们相信，不确定性感知深度学习解决方案的可用性将使人工智能（AI）在临床环境中得到更广泛的采用。
2020-03-27 cs.CV cs.LG eess.IV
RegKT: Interpretable and Robust Deep Knowledge Tracing With IRT-Regularizer
Inria-Saclay（法国国家信息与自动化研究所萨克雷中心）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Telecom-Sud Paris（南巴黎电信学院）
针对深度学习知识追踪模型可解释性差和易过拟合的问题，本文提出一种基于IRT正则化的新方法，同时提升模型稳健性与可解释性，以适用于真实教育应用。
2026-09-21 cs.LG
Interpretable Artificial Intelligence through the Lens of Feature Interaction
University of Southern California（南加利福尼亚大学）
深度学习模型的解释是一个非常具有挑战性的问题，因为它们有大量的参数，节点之间的复杂连接以及难以理解的特征表示。尽管如此，许多人认为可解释性是可信度、公平性和安全性的关键解决方案，特别是当深度学习被应用于更关键的决策任务时，如信贷审批、工作筛选和累犯预测。有大量优秀的研究为深度学习模型提供了可解释性;然而，许多常用的方法没有考虑一种称为“特征交互”的现象。“这项工作首先解释了特征交互的历史和现代重要性，然后调查了明确考虑特征交互的现代可解释性方法。本调查旨在揭示特征交互在机器学习可解释性的更大背景下的重要性，特别是在深度学习模型严重依赖特征交互的现代背景下。
2021-03-01 cs.LG
