NeuroInspect: Interpretable Neuron-based Debugging Framework through Class-conditional Visualizations
Korea University（高丽大学）
提出NeuroInspect，一个基于神经元的可解释调试框架，通过反事实解释、类条件特征可视化和虚假相关性缓解，无需额外数据或调整模型，有效改善错误决策并提升人类理解。
2023-10-17 cs.CV cs.LG
Net2Vis -- A Visual Grammar for Automatically Generating Publication-Tailored CNN Architecture Visualizations
Ulm University（乌尔姆大学）
为了在出版物中传达神经网络架构，适当的可视化非常重要。虽然目前大多数深度学习论文都包含这样的可视化，但这些通常是在出版前手工制作的，这导致缺乏通用的视觉语法，大量的时间投入，错误和歧义。当前的自动网络可视化工具专注于调试网络本身，对于生成发布可视化并不理想。因此，我们提出了一种方法，通过将Keras中指定的网络架构转换为可以直接嵌入到任何出版物中的可视化来自动化这个过程。为此，我们提出了一种卷积神经网络（CNN）的视觉语法，该语法来自对2013年至2019年期间发表的所有ICCV和CVPR论文中提取的此类数字的分析。建议的语法结合视觉编码，网络布局，层聚合，和图例生成。我们进一步实现了我们的方法，在一个在线系统提供给社区，我们已经通过专家反馈和定量研究进行了评估。它不仅减少了为出版物生成网络可视化所需的时间，而且还实现了统一和明确的可视化设计。
2021-02-10 cs.HC cs.LG stat.ML
Self-service Data Classification Using Interactive Visualization and Interpretable Machine Learning
Central Washington University（中央华盛顿大学）
机器学习算法通常会产生被最终用户和开发人员视为复杂黑盒模型的模型。他们未能解释模型的领域，他们是专为。所提出的迭代视觉逻辑分类器（IVLC）是一种可解释的机器学习算法，允许最终用户设计模型并以更高的置信度对数据进行分类，而不必牺牲准确性。这种技术在处理敏感和关键数据时特别有用，如医疗领域中的癌症数据，错误成本很高。在所提出的交互式无损多维可视化的帮助下，最终用户可以识别数据中的模式，并根据该模式做出可解释的决策。这样的选项在黑盒机器学习方法中是不可能的。交互式移位配对坐标软件系统（SPCVis）支持可解释的IVLC算法。它是一个具有用户交互功能的无损多维数据可视化系统。交互式方法为最终用户提供了灵活性，使其能够自助执行数据分类，而不必依赖于机器学习专家。在处理具有数百个维度/特征的大型数据集时，交互式模式发现变得具有挑战性。为了克服这个问题，本章提出了一个自动分类方法结合新的坐标顺序优化（COO）算法和遗传算法。COO算法自动生成最能代表数据分离的坐标对序列，而遗传算法通过自动生成用于数据分类的区域来帮助优化所提出的IVLC算法。该方法的可行性的基准数据集，包括用于数据分类的交互式和自动化过程的实验。
2021-07-11 cs.AI cs.LG
Profy: Interpretable Visualization of Expertise-Dependent Motor Skills Toward Supporting Piano Practice
The University of Tokyo（东京大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）；NeuroPiano Institute（神经钢琴研究所）
提出弱监督系统Profy，利用听众评分标签学习时间对齐的高亮，帮助钢琴学习者定位需重点练习的段落，在无局部标签下与专家标注高度一致。
2026-06-09 cs.HC cs.LG cs.SD
scMEDAL for the interpretable analysis of single-cell transcriptomics data with batch effect visualization using a deep mixed effects autoencoder
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
scMEDAL提出深度混合效应自编码器框架，通过随机效应贝叶斯子网络scMEDAL-RE与固定效应对抗子网络scMEDAL-FE分别建模批次特异性和批次不变效应，在保留生物信息的同时实现可解释的批次效应可视化与更准确的疾病、供体和组织预测。
2025-11-05 cs.LG q-bio.GN
Learning Interpretability for Visualizations using Adapted Cox Models through a User Experiment
University of Namur（那慕尔大学）
为了有用，可视化需要是可解释的。本文采用了基于用户的方法来结合和评估质量措施，以更好地模拟用户的喜好。结果表明，聚类可分性措施优于邻域保护措施，即使前者通常被认为是直观地代表用户的动机。此外，与使用单个度量相比，组合度量进一步提高了预测性能。
2016-11-18 cs.AI cs.HC cs.LG
An Interpretable Neural Network for Vegetation Phenotyping with Visualization of Trait-Based Spectral Features
School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院）；School of Architecture, University of Virginia（弗吉尼亚大学建筑学院）
本研究提出一种可解释神经网络，在UPWINS光谱库上训练实现约90%的植被物种识别准确率，通过权重可视化揭示神经元学习到的化学、生理光谱性状，打破黑盒认知，为光谱数据建模和高光谱植被研究提供可解释框架。
2024-07-14 cs.LG q-bio.QM stat.ML
Visualization of Emergency Department Clinical Data for Interpretable Patient Phenotyping
Texas A&M University（德克萨斯农工大学）；Yale School of Medicine（耶鲁医学院）
在电子健康记录（EHR）中包含的对收集的关于患者的临床数据的视觉总结可以在患者呈现给急诊科（ED）时实现精确且快速的分类。在适当分配资源和预测最终患者处置（通常是入院或出院）方面，分诊过程至关重要。EHR数据是高维和复杂的，但提供了发现和表征基础数据驱动的患者表型的机会。这些表型将使改善，个性化的治疗决策和解释。在这项工作中，我们专注于二维患者投影的挑战。低维嵌入提供了在高维中丢失的视觉可解释性。虽然线性降维技术，如主成分分析，经常用于实现这一目标，他们是不足以描述患者数据的方差。在这项工作中，我们采用了新描述的非线性嵌入技术，称为均匀流形近似和投影（UMAP）。UMAP试图在高维数据中捕获局部和全局结构。然后，我们使用高斯混合模型来识别嵌入数据中的聚类，并使用调整后的Rand指数（ARI）来建立这些聚类的发现的稳定性。这种技术被应用到五个常见的临床主要投诉从现实世界的ED EHR数据集，描述所发现的集群的紧急属性。我们观察临床相关的聚类属性，这表明使用非线性降维的EHR数据的视觉嵌入是一种很有前途的方法来揭示数据驱动的患者表型。在五个主要投诉中，我们发现2到6个聚类，随后的训练迭代之间的峰值平均成对ARI范围从0.35到0.74。
2019-07-05 cs.HC cs.LG stat.ML
Interpretable Visualization and Higher-Order Dimension Reduction for ECoG Data
Boston University（波士顿大学）；Microsoft（微软）；Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）；Jan and Dan Duncan Neurological Research Institute（简与丹·邓肯神经科学研究所）
皮层电图（ECoG）技术通过在神经外科手术期间直接放置在皮层表面上的电极来测量人脑中的电活动。通过其以快速时间分辨率记录活动的能力，ECoG实验使科学家能够更好地了解人类大脑如何处理语音。就其性质而言，ECoG数据很难让神经科学家直接解释，主要有两个原因。首先，ECoG数据往往很大，因为每个单独的实验都会产生高达几千兆字节的数据。其次，ECoG数据具有复杂的高阶性质。在信号处理之后，这种类型的数据可以被组织为具有表示试验、电极、频率和时间的维度的4向张量。在本文中，我们开发了一种可解释的降维方法，称为正则化高阶主成分分析，以及正则化高阶偏最小二乘的扩展，允许神经科学家探索和可视化ECoG数据。我们的方法采用了稀疏和功能性的Candecomp-Parafac（CP）分解，该分解结合了稀疏性来选择相关的电极和频带，以及随时间和频率的平滑度，从而产生直接可解释的因素。我们证明了我们的方法的性能和可解释性与ECoG的情况下研究人类语音的音频和视觉处理。
2020-12-12 cs.LG eess.SP physics.med-ph
Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification
Politecnico di Milano（米兰理工大学）
提出一种事后可解释性方法，通过逐层特征显著性图、泛化Grad-CAM权重及Sentence-BERT处理的众包文本标签，完整解释CNN特征提取过程并支持全局解释。
2024-05-06 cs.CV cs.LG
Visual Auditor: Interactive Visualization for Detection and Summarization of Model Biases
Georgia Tech（佐治亚理工学院）；Fiddler AI（Fiddler人工智能公司）
随着机器学习（ML）系统变得越来越普遍，有必要在部署之前审计这些系统的偏差。最近的研究开发了算法，可以有效地识别可解释的、表现不佳的数据子集（或切片）形式的交叉偏差。然而，这些解决方案及其见解是有限的，没有一个工具来直观地理解和与这些算法的结果进行交互。我们提出了Visual Auditor，一个交互式的可视化工具，用于审计和总结模型偏差。Visual Auditor通过提供可解释的交叉偏差（检查由多个特征定义的总体时存在的偏差）概述、有关问题数据切片之间关系的详细信息以及模型中表现不佳和表现出色的数据切片之间的比较来协助模型验证。我们的开源工具直接在计算笔记本和Web浏览器中运行，使模型审计可访问并轻松集成到当前的ML开发工作流程中。与Fiddler AI的领域专家合作进行的一项观察性用户研究强调，我们的工具可以帮助ML从业者识别和理解模型偏差。
2022-06-25 cs.HC cs.LG
A copula-based visualization technique for a neural network
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
机器学习的可解释性被定义为人类能够理解决策原因的程度。然而，神经网络由于其决策过程中的模糊性而不被认为是可解释的。因此，在这项研究中，我们提出了一种新的算法，揭示了哪些特征值的训练神经网络认为重要的，哪些路径主要是在决策过程中跟踪。在该算法中，定义了由神经网络层之间的相关系数估计的得分，该相关系数可以通过应用对copula的概念来计算。我们比较了估计的分数与随机森林的特征重要性值，这有时被认为是一个高度可解释的算法，在实验中，并确认结果是一致的。该算法提出了一种用于压缩神经网络及其参数调整的方法，因为该算法识别有助于分类或预测结果的路径。
2020-03-27 cs.LG stat.ML
High-Dimensional Data Classification in Concentric Coordinates
Central Washington University（中央华盛顿大学）
针对高维无损可视化的遮挡与参数化计算限制，本文提出基于无损同心坐标的低维到高维数据支持框架，以推广平行坐标和圆形坐标并支持机器学习可视化与人机交互。
2025-05-16 cs.HC cs.LG
An Interpretable Neuron Embedding for Static Knowledge Distillation
Ludwig Maximilian Muenchen Unitversitaet（慕尼黑路德维希-马克西米利安大学）
虽然深度神经网络在各种任务中表现出良好的性能，但模型的可解释性差一直受到批评。本文提出了一种新的可解释的神经网络方法，通过将神经元嵌入到语义空间中来提取其内在的全局语义。与以往的方法，探测模型内部的潜在知识，所提出的语义向量外化的潜在知识的静态知识，这是很容易利用。具体来说，我们假设具有相似激活的神经元具有相似的语义信息。然后，在神经网络的训练过程中，通过连续对齐激活相似度和语义向量相似度来优化语义向量。语义向量的可视化允许对神经网络进行定性解释。此外，我们还通过知识蒸馏任务对静态知识进行了定量评估。可视化实验表明，语义向量能够很好地描述神经元激活语义。在没有教师模型逐个样本指导的情况下，静态知识蒸馏表现出与现有的基于关系的知识蒸馏方法相当甚至更好的性能。
2022-11-14 cs.AI cs.LG
Explaining How Deep Neural Networks Forget by Deep Visualization
KAIST（韩国科学技术院）；Asan Institute for Life Sciences（峨山生命科学研究所）；Asan Medical Center（峨山医学中心）
解释深度神经网络（通常被认为是黑匣子）的行为至关重要，尤其是当它们现在被应用于人类生活的各个方面时。利用可解释机器学习（interpretable ML）的优势，提出了一种新的工具灾难性遗忘解析器（CFD），用于解释持续学习环境下的灾难性遗忘。我们还介绍了一种新的方法，称为临界冻结的基础上，我们的工具的观察。ResNet上的实验阐明了灾难性遗忘是如何发生的，特别是显示了这个著名网络的哪些组成部分正在遗忘。我们的新的持续学习算法击败了各种最近的技术的显着保证金，证明了调查的能力。临界冻结不仅攻击了灾难性遗忘，而且还暴露了可解释性。
2022-07-22 cs.CV cs.LG
Sparse bottleneck neural networks for exploratory non-linear visualization of Patch-seq data
Institute for Ophthalmic Research, University of Tübingen（蒂宾根大学眼科研究所）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
Patch-seq是最近发展起来的一种实验技术，它允许神经科学家从相同的神经元中获得转录组和电生理信息。然而，有效地分析和可视化这种配对的多变量数据，以提取生物学上有意义的解释，仍然是一个挑战。在这里，我们使用稀疏的深神经网络，有和没有一个二维的瓶颈预测电生理功能的转录组的使用组套索惩罚，产生简洁和生物学上可解释的二维可视化。在两个大型示例数据集中，这种可视化显示了已知的神经类及其标记基因，而无需生物先验知识。我们还证明了我们的方法适用于其他类型的多模态数据，如CITE-seq提供的配对转录组学和蛋白质组学测量。
2022-01-25 cs.LG stat.ML
Visualization for Histopathology Images using Graph Convolutional Neural Networks
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
随着深度学习在医学图像中用于计算机辅助诊断的使用越来越多，对深度学习模型的黑盒性质的批评也在增加。医学界需要可解释的模型来进行尽职调查，并促进对疾病和治疗机制的理解。特别是在组织学中，虽然在细胞水平和细胞之间的空间关系上有丰富的细节，但很难修改卷积神经网络来指出相关的视觉特征。我们采用一种方法来模拟组织学组织作为一个图形的细胞核和开发一个图形卷积网络框架的基础上注意力机制和节点闭塞的疾病诊断。所提出的方法突出了每个细胞核在整个载玻片图像中的相对贡献。我们对这些网络的可视化训练，以区分浸润性和原位乳腺癌，以及格里森3和4前列腺癌生成可解释的视觉地图，这些地图与我们对专家诊断重要的结构的理解非常一致。
2020-06-16 cs.LG eess.IV q-bio.QM
The Interpretable and Effective Graph Neural Additive Networks
Blavatnik School of Computer Science Tel-Aviv University（塔尔米大学比拉维克计算机科学学院）；Edmond J. Safra Center for Bioinformatics Tel-Aviv University（塔尔米大学埃德蒙·J·萨弗生科信息中心）
提出图神经加性网络（GNAN），通过直接可视化在特征和图层面提供全局与局部解释，实现与黑盒GNN相当的准确性，适用于高风险透明性场景。
2026-11-03 cs.AI cs.LG
DPSOM: Deep Probabilistic Clustering with Self-Organizing Maps
ETH Zürich（苏黎世联邦理工学院）
从复杂数据生成可解释的可视化是许多应用中的常见问题。解决这个问题的两个关键要素是聚类和表示学习。然而，当前的方法尚未成功地结合这两种方法的优点。现有的表示学习模型依赖于潜在的拓扑结构，如自组织映射，表现出显着较低的聚类性能相比，最近的深度聚类方法。为了缩小这一性能差距，我们（a）提出了一种新的方法来适应自组织映射与概率聚类分配（PSOM），（b）提出了一种新的深度架构的概率聚类（DPSOM）使用VAE，和（c）扩展我们的架构的时间序列聚类（T-DPSOM），这也允许预测的潜在空间使用LSTM。我们表明，DPSOM实现了优越的聚类性能相比，目前的深度聚类方法MNIST/时尚MNIST，同时保持良好的可视化特性的SOM。在医疗时间序列上，我们证明了T-DPSOM在时间序列聚类和时间序列预测方面优于基线方法，同时提供了患者状态轨迹和不确定性估计的可解释的可视化。
2020-06-09 cs.LG stat.ML
Unsupervised discovery of Interpretable Visual Concepts
Laboratoire de Recherche de l’EPITA – LRE（EPITA研究所（LRE））；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）
提出MAGE和Ms-IV两种无监督方法，通过特征聚类形成语义概念并结合因果性指标评估图像区域，提升了深度学习模型的全局可解释性、定位性和忠实度。
2023-11-21 cs.AI cs.CV cs.LG
CRISP-NAM: Competing Risks Interpretable Survival Prediction with Neural Additive Models
Vector Institute（向量研究所）
提出可解释的神经加性模型CRISP-NAM，用于竞争风险生存分析，通过独立特征网络建模原因特定风险，在多个数据集上取得竞争性性能。
2025-09-24 cs.LG
Graphical Design of Interpretable Architectures
IBM Research（IBM研究院）
该研究提出改编自Penrose张量表示法的图形符号，可直观呈现可解释AI架构的全局视图并与PyTorch einsum代码一一对应，还绘制了Steerling-8B的架构图并转换为代码。
2026-08-21 cs.AI cs.LG cs.NE
Interpretable Feature Engineering for Time Series Predictors using Attention Networks
Wells Fargo（富国银行）
带有时间序列预测器的回归问题在银行和许多其他应用领域中很常见。在本文中，我们使用多头注意力网络来开发可解释的功能，并使用它们来实现良好的预测性能。定制的注意力层明确地使用乘法交互，并构建以简约的方式捕获时间动态的特征工程头。卷积层用于组合多变量时间序列。我们还讨论了在建模过程中处理静态协变量的方法。可视化和解释工具用于解释结果，并解释输入和提取的特征之间的关系。模拟和真实数据集都被用来说明该方法的实用性。关键词：注意头，深度神经网络，可解释特征工程
2022-05-23 cs.LG
IDEA: Interpretable Dynamic Ensemble Architecture for Time Series Prediction
The Hong Kong University of Science and Technology（香港科技大学）
我们通过一个可解释的集成来提高单变量时间序列点预测的准确性和泛化能力。我们提出了一个可解释的动态Ensemble架构（IDEA），其中可解释的基础学习者作为一个组，稀疏通信独立地给出预测。该模型是由多个顺序堆叠的组连接的组回溯残差和经常性输入竞争。由端到端培训驱动的横向和纵向包围带来了最先进的（SOTA）性能。与TOURISM数据集上的最佳统计基准相比，预测准确性提高了2.6%，与M4数据集上的最佳深度学习基准相比，预测准确性提高了2%。该体系结构具有几个优点，适用于不同领域的时间序列，可解释给用户专门的模块化结构和强大的任务分配的变化。
2022-01-14 cs.LG
Trading with the Momentum Transformer: An Intelligent and Interpretable Architecture
Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼定量金融研究所）；Oxford Internet Institute, University of Oxford（牛津大学牛津互联网研究所）
我们介绍了动量Transformer，这是一种基于注意力的深度学习架构，其表现优于基准时间序列动量和均值回归交易策略。与最先进的长短期记忆（LSTM）架构不同，LSTM架构本质上是顺序的，并为本地处理量身定制，注意力机制为我们的架构提供了与所有先前时间步的直接连接。我们的架构是注意力-LSTM的混合体，使我们能够学习长期依赖关系，在考虑交易成本的净回报时提高性能，并自然适应新的市场机制，例如在SARS-CoV-2危机期间。通过引入多个注意头，我们可以捕捉并发政权，或时间动态，这是发生在不同的时间尺度。动量Transformer具有内在的可解释性，为我们提供了对深度学习动量交易策略的更深入见解，包括不同因素随时间的重要性以及对模型最重要的过去时间步长。
2022-11-22 cs.LG q-fin.TR stat.ML
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford（牛津大学）
目前的神经结构搜索（NAS）策略只关注于找到一个单一的，好的，架构。它们几乎无法解释为什么特定的网络表现良好，或者如果我们想要进一步改进，我们应该如何修改架构。我们提出了一个贝叶斯优化（BO）的NAS方法，结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构，在一个高度的数据效率的方式：它是能够捕获的拓扑结构的架构，并可扩展到大型图形，从而使高维和图形的搜索空间服从BO。更重要的是，我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上，我们的经验表明，我们的代理模型是能够识别有用的图案，可以指导新架构的生成。我们最后表明，我们的方法优于现有的NAS方法，以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML
Restyling Unsupervised Concept Based Interpretable Networks with Generative Models
Sorbonne Université（索邦大学）；Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院 巴黎高等电信学院 LTCI）
针对无监督概念可解释网络的概念可视化难题，提出将概念特征映射到预训练生成模型潜空间的方法，实现高质量可视化与交互式解释，提升训练效率，经多基准验证在准确率、保真度等方面表现优异。
2025-03-18 cs.AI cs.CV cs.LG
Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree
Sapienza University of Rome（罗马大学）
针对树集成模型的黑箱问题，本文结合特征使用层次热图与带稀疏惩罚的 MILP 最优多变量代理树，实现对其预测行为的可解释近似。
2024-01-18 cs.LG math.OC
Interpretable Machine Learning: Fundamental Principles and 10 Grand Challenges
Duke University（杜克大学）；University of Maine（缅因大学）
机器学习（ML）中的可解释性对于高风险决策和故障排除至关重要。在这项工作中，我们为可解释的ML提供了基本原则，并消除了淡化这一关键主题重要性的常见误解。我们还确定了可解释机器学习的10个技术挑战领域，并提供了每个问题的历史和背景。这些问题中有些是经典的重要问题，有些是最近几年出现的问题。这些问题是：（1）优化稀疏逻辑模型，如决策树;（2）优化评分系统;（3）将约束放入广义加法模型中，以鼓励稀疏性和更好的可解释性;（4）现代基于案例的推理，包括神经网络和因果推理的匹配;（5）神经网络的完全监督解纠缠;（6）神经网络的完全或甚至部分无监督解纠缠;（7）数据可视化的简化;（8）可以结合物理和其他生成或因果约束的机器学习模型;（9）良好模型的“罗生门集”的表征;（10）可解释的强化学习。本调查适合作为对可解释机器学习感兴趣的统计学家和计算机科学家的起点。
2021-07-10 cs.LG stat.ML
DeepChrome 2.0: Investigating and Improving Architectures, Visualizations, & Experiments
University of California, Berkeley（加州大学伯克利分校）
组蛋白修饰在基因调控中起关键作用。因此，从组蛋白修饰信号预测基因表达是表观遗传学中一个非常有意义的问题。我们建立在Singh等人（2016）的DeepChrome工作的基础上，他们训练了将组蛋白修饰信号映射到基因表达的分类器。我们提出了一种新的可视化技术，用于提供洞察组蛋白修饰之间的组合关系的基因调控，使用生成对抗网络生成组蛋白修饰信号。我们还探索和比较了各种架构变化，结果表明DeepChrome的645 k参数卷积神经网络具有与12参数线性网络相同的预测能力。跨细胞预测实验的结果表明，组蛋白修饰信号和基因表达之间的关系与细胞类型无关，在跨细胞预测实验中，模型在不同大小、细胞类型和相关性的数据集上进行训练和测试。我们在GitHub \footnote{\url{github.com/ssss1029/gene_expression_294}}上发布了DeepChrome的PyTorch重新实现。\parfillskip = 0例患者
2022-09-24 cs.LG
Structural Neural Additive Models: Enhanced Interpretable Machine Learning
Georg-August University（哥廷根大学）；TU Clausthal（克劳斯塔尔工业大学）
深度神经网络（DNN）在广泛的任务中表现出卓越的性能，并已成为解决需要高水平预测能力的问题的首选方法。人们对DNN如何做出决策进行了广泛的研究，然而，本质上不可解释的网络直到今天仍然是不可观察的“黑匣子”。近年来，该领域已经看到了对可解释的神经网络的推动，例如视觉上可解释的神经加法模型（NAM）。我们提出了一个更进一步的可理解性的方向超越了仅仅可视化的功能效果，并提出了结构神经加法模型（SNAM）。一个建模框架，将经典和清晰可解释的统计方法与神经应用程序的预测能力相结合。我们的实验验证了SNAM的预测性能。所提出的框架的性能与最先进的完全连接的DNN相当，我们表明SNAM甚至可以优于NAM，同时保持内在的更可解释性。
2023-02-18 cs.LG stat.CO
Interpretable Graph Convolutional Neural Networks for Inference on Noisy Knowledge Graphs
BenevolentAI（仁爱AI）
在这项工作中，我们提供了一个新的配方图卷积神经网络（GCNN）的链接预测的图形数据，解决了生物医学知识图谱（KG）的共同挑战。我们将正则化的注意力机制引入GCNN，不仅提高了干净数据集的性能，而且还有利地适应KG中的噪声，这是现实世界应用中普遍存在的问题。此外，我们探索了可解释建模的新可视化方法，并说明了如何利用学习的表示来自动化数据集去噪。结果显示在一个合成数据集，共同的基准数据集FB 15 k-237，和一个大型的生物医学知识图谱来自噪声和干净的数据源的组合。使用这些改进，我们可视化了一个学习模型的疾病囊性纤维化的代表性，并演示了如何询问神经网络，以显示PPARG作为类风湿性关节炎的候选治疗靶点的潜力。
2018-12-01 cs.LG stat.ML
Layerwise Relevance Visualization in Convolutional Text Graph Classifiers
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
深度神经网络（DNN）隐藏层中的表示通常很难解释，因为很难将它们投影到可解释的域中。图卷积网络（GCN）允许这种投影，但现有的可解释性方法没有利用这一事实，即不集中在中间状态的解释。在这项工作中，我们提出了一种新的方法，跟踪和可视化功能，有助于在可见和隐藏层的GCN的分类决策。我们的方法暴露了输入图结构中隐藏的跨层动态。我们的实验表明，它产生有意义的分层解释GCN句子分类。
2019-09-24 cs.CL cs.LG
N-BEATS: Neural basis expansion analysis for interpretable time series forecasting
Element AI（元素人工智能公司）；Mila（米拉人工智能研究所）
我们专注于使用深度学习解决单变量时间序列点预测问题。我们提出了一种基于向后和向前残差链接的深度神经架构，以及一个非常深的全连接层堆栈。该体系结构具有许多理想的属性，是可解释的，适用于广泛的目标域，无需修改，快速训练。我们测试了几个著名的数据集，包括M3，M4和TOURISM竞争数据集包含来自不同领域的时间序列的建议架构。我们为所有数据集展示了N-BEATS两种配置的最新性能，将预测准确性提高了11%，比去年的M4竞赛冠军提高了3%，M4竞赛是神经网络和统计时间序列模型之间的领域调整手工制作的混合体。我们模型的第一种配置不使用任何时间序列特定的组件，其在异构数据集上的性能强烈表明，与公认的智慧相反，深度学习原语（如残差块）本身足以解决广泛的预测问题。最后，我们演示了如何增强所提出的体系结构，以提供可解释的输出，而不会在准确性上造成相当大的损失。
2020-02-20 cs.LG stat.ML
Interpretable Embedding Procedure Knowledge Transfer via Stacked Principal Component Analysis and Graph Neural Network
Inha University（仁荷大学）
知识蒸馏（KD）是轻量级神经网络最有用的技术之一。虽然神经网络有一个明确的目的是将数据集嵌入到低维空间，但现有的知识离这个目的还很远，只能提供有限的信息。我们认为，良好的知识应该能够解释嵌入过程。提出了一种基于主成分分析的可解释嵌入过程（IEP）知识生成方法，并基于消息传递神经网络进行IEP知识提取。实验结果表明，在CIFAR 100数据集上，采用KD方法训练的学生网络的性能提高了2.28%，优于SOTA方法。我们还证明了嵌入过程的知识是可解释的，通过可视化的建议KD过程。实现的代码可在https://github.com/sseung0703/IEPKT上获得。
2021-04-28 cs.CV cs.LG
Shapley variable importance clouds for interpretable machine learning
Duke-NUS Medical School（杜克-新加坡国立大学医学院）；Singapore Health Services（新加坡保健服务集团）；Singapore General Hospital（新加坡中央医院）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）
可解释的机器学习一直专注于解释优化性能的最终模型。目前最先进的是Shapley加法解释（SHAP），它局部解释了变量对个体预测的影响，最近它被扩展到整个数据集的全局评估。最近，Dong和Rudin提出将调查扩展到与最终模型“足够好”的同类模型，并确定了先前基于单个模型的变量重要性的过度声明。然而，这种方法并不直接集成与现有的Shapley为基础的解释。我们通过提出一个Shapley变量重要性云来缩小这一差距，该云将良好模型中的信息汇集在一起，以避免在最终模型的SHAP分析中进行有偏见的评估，并通过新颖的可视化来传达研究结果。我们证明了额外的见解增益相比，传统的解释和董和鲁丁的方法，使用刑事司法和电子病历数据。
2021-10-06 cs.HC cs.LG
FRI -- Feature Relevance Intervals for Interpretable and Interactive Data Exploration
Bielefeld University（比勒费尔德大学）；University of Marburg（马尔堡大学）
大多数现有的特征选择方法是不够的分析目的，只要高维数据或冗余的传感器信号处理，因为特征可以选择由于虚假的影响或相关性，而不是因果关系的影响。为了支持生物医学实验中因果特征的发现，我们在此提出了FRI，一个开源Python库，可用于识别线性分类和（有序）回归问题中的所有相关变量。使用最近提出的特征相关性方法，FRI能够为进一步的一般实验提供基础，或者具体地说，可以促进替代生物标志物的搜索。它可以通过提供模型操作和可视化方法用于交互式环境中，或者作为过滤器方法用于批处理过程中。
2019-06-21 cs.IR cs.LG stat.ML
From text saliency to linguistic objects: learning linguistic interpretable markers with a multi-channels convolutional architecture
Univ. Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
目前已经做出了很多努力来提供分析和理解深度神经网络令人印象深刻的性能的方法，用于诸如图像或文本分类之类的任务。这些方法主要基于可视化网络考虑的重要输入特征来构建决策。然而，这些技术，让我们引用LIME，SHAP，Grad-CAM或TDS，需要额外的努力来解释关于专业知识的可视化。在本文中，我们提出了一种新的方法来检查一个合适的CNN的隐藏层，以提取可解释的语言对象，利用文本分类过程。特别是，我们详细介绍了文本去卷积显著性（wTDS）度量的加权扩展，该度量可用于突出CNN执行分类任务所使用的相关特征。我们从两种不同的语言：英语和法语语料库实证证明了我们的方法的效率。在所有数据集上，wTDS基于共现以及可能的语法和句法分析自动编码复杂的语言对象。
2020-04-07 cs.LG stat.ML
MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
Google（谷歌）
我们介绍了MinimalRNN，一种新的递归神经网络架构，其性能与结构简化的流行门控RNN相当。它在RNN中使用最少的更新，这不仅可以实现有效的学习和测试，更重要的是更好的可解释性和可训练性。我们证明，通过支持更严格的更新规则，MinimalRNN学习解开RNN状态。我们使用输入-输出雅可比矩阵进一步研究了不同RNN结构的学习动态，并表明MinimalRNN能够捕获比现有RNN架构更长的范围依赖关系。
2018-06-20 cs.LG stat.ML
Interpretable Neuron Structuring with Graph Spectral Regularization
Yale Department of Computer Science（耶鲁大学计算机科学系）；Yale Department of Genetics（耶鲁大学遗传学系）；Université de Montréal, Dept. of Math. & Stat.（蒙特利尔大学数学与统计系）；Mila（米拉研究院）
虽然神经网络是用于将数据分类或嵌入低维空间的强大近似器，但它们通常被视为具有不可解释特征的黑盒。在这里，我们提出了图谱正则化，使隐藏层更易于解释，而不会显着影响主要任务的性能。从生物网络中神经元激活的空间组织和定位中得到灵感，我们使用图拉普拉斯惩罚来构造层内的激活。该惩罚鼓励激活在预定图上或在经由神经网络的隐藏层的共同激活从数据学习的特征空间图上是平滑的。我们展示了这种附加结构的许多用途，包括生物和图像数据集的聚类指示和可视化。
2020-02-14 cs.AI cs.LG cs.NE
MPVNN: Mutated Pathway Visible Neural Network Architecture for Interpretable Prediction of Cancer-specific Survival Risk
University of Birmingham（伯明翰大学）；University of Melbourne（墨尔本大学）；RMIT University（皇家墨尔本理工大学）
使用基因表达数据预测生存风险对于癌症治疗决策非常重要。标准的神经网络（NN）生存分析模型是黑箱，缺乏可解释性。利用生物学通路知识设计了更可解释的可视神经网络（VNN）结构。但他们没有模拟特定癌症类型的通路结构如何改变。我们提出了一种新的突变路径VNN或MPVNN架构，设计使用现有的信号通路知识和基因突变数据为基础的边缘随机化模拟信号流中断。作为一个案例研究，我们使用PI 3 K-Akt通路，并证明MPVNN的癌症特异性生存风险预测结果优于标准非NN和其他类似大小的NN生存分析方法。我们表明，经过训练的MPVNN结构解释是可靠的，它指向PI 3 K-Akt通路中通过信号流连接的较小基因集，这些基因在特定癌症类型的风险预测中非常重要。
2022-02-02 cs.LG q-bio.QM
ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations
Jiangsu University（江苏大学）；GC University（GC大学）；Abdus Salam School of Mathematical Sciences（阿卜杜勒·萨拉姆数学学院）
本文提出ASU-CNN模型，将非单调振荡激活函数ASU用于卷积神经网络各层，通过特征图可视化分析其作用，并在CIFAR-10分类上验证了模型的有效性与计算可行性。
2023-05-28 cs.CV cs.LG
An Interpretable Neural Network for Parameter Inference
Goethe University Frankfurt（法兰克福歌德大学）
深度神经网络在经济或金融等领域的采用受到模型结果缺乏可解释性的限制。本文提出了一种生成式神经网络结构-参数编码器神经网络（PENN）-能够估计局部后验分布的回归模型的参数。这些参数充分解释了输入方面的预测，并允许在存在复杂的异质效应和特征依赖性的情况下进行可视化、解释和推理。贝叶斯推断技术的使用提供了一种直观的机制，使局部参数估计朝着稳定的解决方案进行正规化，并减少有限数据可用性设置中的噪声拟合。所提出的神经网络特别适合于在经济和金融中的应用，其中参数推断起着重要的作用。一个资产定价问题的应用程序演示了如何PENN可以用来探索金融市场中的非线性风险动态，并比较经验的非线性效应的金融理论假设的行为。
2021-06-10 cs.LG econ.EM stat.ML
SplineCam: Exact Visualization and Characterization of Deep Network Geometry and Decision Boundaries
Rice University（莱斯大学）；Meta AI；FAIR（FAIR（Facebook AI研究院））
SplineCam提出首个可证明精确计算深度网络几何与决策边界的方法，基于CPWL样条理论，无需采样或简化架构，支持多种激活函数及回归网络，可用于架构比较、泛化性度量和决策边界采样。
2024-06-06 cs.CV cs.LG
BINAS: Bilinear Interpretable Neural Architecture Search
Alibaba Group（阿里巴巴集团）；Technion - Israel Institute of Technology（以色列理工学院）
神经网络的实际使用通常涉及对延迟、能量和存储器等的要求。在这种要求下查找网络的一种流行方法是通过约束神经架构搜索（NAS）。然而，以前的方法使用复杂的预测网络的准确性。这些预测器很难解释，并且对许多要调整的超参数很敏感，因此，生成的模型的准确性经常受到损害。在这项工作中，我们通过引入双线性可解释神经架构搜索（BINAS）来解决这个问题，该搜索基于准确度估计器和预期资源需求的准确和简单的双线性公式，以及具有理论保证的可扩展搜索方法。我们提出的估计器的简单性以及它的直观构造方式，通过对不同设计选择的贡献的许多见解带来了可解释性。例如，我们发现，在检查的搜索空间中，在网络的更深阶段和每个解析阶段的开始，增加深度和宽度更有效。我们的实验表明，BINAS产生可比或更好的架构比其他国家的最先进的NAS方法在降低边际搜索成本，同时严格满足资源约束。
2022-04-27 cs.AI cs.CV cs.LG
Deep Kernel Aalen-Johansen Estimator: An Interpretable and Flexible Neural Net Framework for Competing Risks
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种基于深度学习的可解释竞争风险模型，通过核函数学习权重来预测累积发病率函数，并在多个数据集上验证了其解释能力。
2025-12-08 cs.LG
BrainNNExplainer: An Interpretable Graph Neural Network Framework for Brain Network based Disease Analysis
Emory University（埃默里大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Princeton University（普林斯顿大学）；Lehigh University（理海大学）
用于疾病预测的可解释的脑网络模型对于神经科学的进步具有重要价值。GNN有希望对复杂的网络数据进行建模，但它们容易过度拟合并且可解释性差，这阻碍了它们在医疗保健等决策关键场景中的使用。为了弥合这一差距，我们提出了BrainNNExplainer，这是一个用于大脑网络分析的可解释GNN框架。它主要由两个共同学习的模块组成：一个是专门为大脑网络设计的骨干预测模型，另一个是强调疾病特异性突出大脑网络连接的解释生成器。在两个具有挑战性的疾病预测数据集上进行可视化的广泛实验结果证明了BrainNNExplainer独特的可解释性和出色的性能。
2021-07-11 cs.CV cs.LG eess.IV
In Pursuit of Interpretable, Fair and Accurate Machine Learning for Criminal Recidivism Prediction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Washington（华盛顿大学）；Duke University（杜克大学）
目的：我们使用机器学习（ML）模型研究可解释的累犯预测，并分析预测能力，稀疏性和公平性方面的性能。与以前的工作不同，这项研究训练了可解释的模型，输出概率而不是二进制预测，并使用定量公平定义来评估模型。本研究还考察了模型是否可以在地理位置上进行推广。方法：我们在佛罗里达州和肯塔基州的两个不同的犯罪累犯数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平性与目前司法系统中用于预测审前累犯的两种方法进行了比较：Arnold PSA和COMPAS。我们评估了所有模型在两个时间跨度内预测六种不同类型犯罪的预测性能。结果：几个可解释的ML模型可以预测累犯以及黑盒ML模型，比COMPAS或Arnold PSA更准确。这些模型在实践中可能很有用。与Arnold PSA类似，这些可解释的模型中的一些可以写成一个简单的表格。其他人可以使用一组可视化来显示。我们的地理分析表明，ML模型应该针对不同的位置进行单独训练，并随着时间的推移进行更新。我们还提出了一个公平性分析的可解释的模型。结论：在预测准确性和公平性方面，可解释的机器学习模型可以与不可解释的方法和当前使用的风险评估量表一样好。机器学习模型在针对不同位置单独训练并保持最新时可能更准确。
2022-03-11 cs.LG stat.AP stat.ML
Technical Indicator Networks (TINs): An Interpretable Neural Architecture Modernizing Classic al Technical Analysis for Adaptive Algorithmic Trading
Independent Researcher（独立研究者）
技术指标网络（TINs）通过将传统技术指标逻辑转化为可训练和可解释的模块，为算法交易提供了一种可解释、适应性和可扩展的神经架构。
2025-12-13 cs.LG q-fin.PM
Building Optimal Neural Architectures using Interpretable Knowledge
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada（华为技术加拿大公司）；Huawei Kirin Solution（华为麒麟解决方案部门）
提出 AutoBuild 方案，通过对齐操作与架构模块的潜在嵌入与真实性能来分配可解释的重要性分数，无需搜索即可构建高性能神经架构，并能缩小搜索空间找到更优模型。
2024-03-20 cs.AI cs.CV cs.LG
Quantum Spectral Reasoning: A Non-Neural Architecture for Interpretable Machine Learning
UC Berkeley School of Information（伯克利大学信息学院）
提出一种基于量子谱方法（帕德近似与兰佐斯算法）的非神经架构，将时域信号转为稀疏谱表示并映射为符号谓词，实现可解释推理，在异常检测等任务上兼具精度与数据效率。
2025-08-05 cs.LG
Mask CycleGAN: Unpaired Multi-modal Domain Translation with Interpretable Latent Variable
Stanford University（斯坦福大学）
我们提出了Mask CycleGAN，一种基于CycleGAN构建的用于不成对图像域翻译的新架构，旨在解决两个问题：1）图像翻译中的单峰性和2）潜在变量缺乏可解释性。我们在技术方法上的创新由三个关键部分组成：掩蔽方案，生成器和物镜。实验结果表明，这种架构是能够带来变化，以可控的方式生成的图像，是合理的鲁棒性不同的面具。
2022-05-14 cs.LG
Visualization of Decision Trees based on General Line Coordinates to Support Explainable Models
Central Washington University（中央华盛顿大学）
机器学习（ML）模型的可视化是ML过程的重要组成部分，以增强ML模型的可解释性和预测精度。提出了一种新的决策树可视化方法SPC-DT。这些方法使用一种名为“移位配对坐标”（SPC）的“常规线坐标”版本。在SPC中，每个n-D点在一组移位的2-D笛卡尔坐标对中可视化为有向图。新方法扩展并补充了现有方法的功能，以可视化DT模型。它显示：（1）属性之间的关系，（2）相对于DT结构的各个情况，（3）DT中的数据流，（4）每个分裂与DT节点中的阈值的紧密程度，以及（5）n-D空间的部分中的情况的密度。这些信息对于领域专家评估和改进DT模型非常重要，包括避免模型的过度泛化和过度拟合以及它们的性能。在案例研究中，使用三个真实的数据集的方法的好处。
2022-05-09 cs.LG
CoFrNets: Interpretable Neural Architecture Inspired by Continued Fractions
Harvard University（哈佛大学）；IBM Research（IBM研究院）
本文提出受连分数启发的可解释神经架构 CoFrNet，证明其具有通用逼近能力，并在合成函数及表格、文本、图像数据集上验证了其可解释性和接近最先进模型的性能。
2025-06-05 cs.AI cs.LG
