Interpretable Graph Neural Networks for Heterogeneous Tabular Data
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对表格数据机器学习模型的黑盒问题及图神经网络处理异构数据能力有限的问题,提出可同时处理类别与数值特征、生成预测及精确特征归因的IGNH方法,其特征归因与Shapley值一致,性能优于Random Forests和TabNet,接近XGBoost。
2024-08-14 cs.LG
Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process
Huazhong Agricultural University(华中农业大学)
针对传统GNN语义理解与推理能力不足、可解释性差,现有LLM与GNN结合方法仅部分可解释的问题,提出全流程可解释的言语化图表示学习方法VGRL,将参数空间约束为文本描述,经实验验证有效,为图表示学习提供新路径。
2024-10-04 cs.LG
MS-IMAP -- A Multi-Scale Graph Embedding Approach for Interpretable Manifold Learning
本文提出基于谱图小波和对比学习的多尺度图嵌入框架MS-IMAP,通过建立嵌入与输入特征空间的对应关系实现特征重要性推导,并在多个数据集上验证了其在聚类等无监督任务中的有效性。
2025-08-08 cs.LG
Interpretable Graph Neural Networks for Tabular Data
KTH Royal Institute of Technology(瑞典皇家理工学院);École Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院,巴黎理工学院)
针对现有表格数据GNN模型的黑盒问题,提出可解释模型IGNNet,性能与XGBoost等前沿算法相当,且能无额外开销得到与真实Shapley值一致的解释。
2024-08-13 cs.AI cs.LG
The Interpretable and Effective Graph Neural Additive Networks
Blavatnik School of Computer Science Tel-Aviv University(塔尔米大学比拉维克计算机科学学院);Edmond J. Safra Center for Bioinformatics Tel-Aviv University(塔尔米大学埃德蒙·J·萨弗生科信息中心)
提出图神经加性网络(GNAN),通过直接可视化在特征和图层面提供全局与局部解释,实现与黑盒GNN相当的准确性,适用于高风险透明性场景。
2026-11-03 cs.AI cs.LG
Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning
University at Buffalo(布法罗大学)
虽然深度学习在许多领域取得了巨大的成功,但对深度学习的一个常见批评是它缺乏可解释性。在大多数情况下,深层神经网络中的隐藏单元没有明确的语义含义或对应于任何物理实体。然而,模型的可解释性和可解释性在许多生物医学应用中至关重要。为了应对这一挑战,我们开发了因子图神经网络模型,通过将概率图形模型与深度学习相结合,该模型具有可解释性和可预测性。我们直接将生物知识(如基因本体)作为因子图编码到模型架构中,使模型透明和可解释。此外,我们设计了一个注意力机制,可以捕捉生物实体,如基因和基因本体论术语之间的多尺度层次的相互作用。通过参数共享机制,展开因子图神经网络模型可以随机深度训练,具有良好的泛化能力。我们将我们的模型应用于两个癌症基因组数据集来预测目标临床变量,并取得了比其他传统机器学习和深度学习模型更好的结果。我们的模型还可以用于基因集富集分析和选择对靶向临床变量重要的基因本体论术语。
2019-06-03 cs.LG q-bio.GN
DialoGraph: Incorporating Interpretable Strategy-Graph Networks into Negotiation Dialogues
Carnegie Mellon University(卡内基梅隆大学)
要成功地谈判达成协议,仅仅流利地沟通是不够的:有说服力的谈判策略的务实规划至关重要。虽然现代对话代理擅长生成流畅的句子,但他们仍然缺乏语用基础,无法进行战略推理。我们提出了DialoGraph,一个谈判系统,采用图神经网络的谈判对话中的语用策略。DialoGraph明确地结合了策略序列之间的依赖关系,以在给定对话上下文的情况下,实现对下一个最佳策略的改进和可解释的预测。我们的基于图的方法优于现有的国家的最先进的谈判模型在战略/对话行为预测的准确性和下游对话响应生成的质量。我们定性地展示了学习策略图在对话过程中提供有效谈判策略之间的明确关联的进一步好处,从而导致可解释的战略对话。
2021-06-02 cs.AI cs.CL cs.LG
Augment to Interpret: Unsupervised and Inherently Interpretable Graph Embeddings
Euranova(Euranova公司)
针对无监督图嵌入缺乏可解释性的问题,本文提出INGENIOUS框架,通过学习保持语义的数据增强生成本质可解释的嵌入,并引入评估指标,在图级与节点级任务上达到最先进性能。
2023-09-28 cs.AI cs.LG
Unveiling Global Interactive Patterns across Graphs: Towards Interpretable Graph Neural Networks
School of Software Technology, Zhejiang University(浙江大学软件学院);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院);Big Graph Center, School of Computer and Computing Science, Hangzhou City University(杭州城市大学计算机与计算科学学院大图中心);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对图级任务难以用局部子图解释全局交互的问题,本文提出GIP,通过受约束图聚类和自解释原型匹配实现内在可解释的图分类,并在合成与真实基准上验证其更优可解释性及竞争力。
2024-07-02 cs.AI cs.LG
Air Traffic Controller Task Demand via Graph Neural Networks: An Interpretable Approach to Airspace Complexity
The Alan Turing Institute(艾伦·图灵研究所);University of Exeter(埃克塞特大学)
本文提出可解释图神经网络框架,通过注意力机制预测管制员许可数量,并利用航空器消融推导逐机任务需求分数,显著优于启发式方法和既有基线,可归因复杂度驱动因素并用于管制员培训与空域重新设计。
2025-07-17 cs.AI cs.LG
CIExplainer++: Generating Causal and Interpretable Explanations for Graph Neural Networks
NOVA LINCS;NOVA School of Science and Technology(NOVA科技学院)
提出CIExplainer方法,基于潜在结果框架识别对GNN预测因果影响最大的子图,并进一步提出G2TeXplainer将因果子图转化为自然语言解释。
2026-06-23 cs.LG stat.OT
An Accurate and Interpretable Hyper Graph Neural Network for GBM Survival Prediction
提出多模态sheaf超图神经网络,结合概念瓶颈层与EST正则化,在GBM生存预测中实现准确性与可解释性兼顾,C指数0.643且方差最低。
2026-09-23 cs.AI cs.LG
Interpretable A-posteriori Error Indication for Graph Neural Network Surrogate Models
Transportation and Power Systems Division, Argonne National Laboratory(阿贡国家实验室交通与动力系统分部);College of Information Sciences and Technology, Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Mathematics and Computer Science Division, Argonne National Laboratory(阿贡国家实验室数学与计算机科学分部)
本文提出一种可解释GNN增强流程,在非结构网格流体代理模型中自适应识别任务相关子图并标记主要预测误差节点,同时保持基线预测能力。
2024-10-24 cs.LG physics.comp-ph physics.flu-dyn
Efficient and Interpretable Robot Manipulation with Graph Neural Networks
Facebook AI Research(Facebook 人工智能研究院)
操作任务,如装载洗碗机,可以被视为一系列空间约束和不同对象之间的关系。我们的目标是发现这些规则,从演示构成操纵作为一个分类问题的图,其节点代表任务相关的实体,如对象和目标,并提出了一个图神经网络(GNN)的政策架构,解决这个问题的演示。在我们的实验中,使用模仿学习(IL)在20个专家演示中训练的单个GNN策略可以解决块堆叠,重排和洗碗机装载任务;一旦策略学习了空间结构,它就可以推广到更多的对象,目标配置,并从模拟到现实世界。这些实验表明,图形IL可以解决复杂的长期操作问题,而不需要详细的任务描述。视频可以在https://youtu.be/POxaTDAj7aY上找到。
2022-01-12 cs.LG cs.RO
BrainNNExplainer: An Interpretable Graph Neural Network Framework for Brain Network based Disease Analysis
Emory University(埃默里大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Princeton University(普林斯顿大学);Lehigh University(理海大学)
用于疾病预测的可解释的脑网络模型对于神经科学的进步具有重要价值。GNN有希望对复杂的网络数据进行建模,但它们容易过度拟合并且可解释性差,这阻碍了它们在医疗保健等决策关键场景中的使用。为了弥合这一差距,我们提出了BrainNNExplainer,这是一个用于大脑网络分析的可解释GNN框架。它主要由两个共同学习的模块组成:一个是专门为大脑网络设计的骨干预测模型,另一个是强调疾病特异性突出大脑网络连接的解释生成器。在两个具有挑战性的疾病预测数据集上进行可视化的广泛实验结果证明了BrainNNExplainer独特的可解释性和出色的性能。
2021-07-11 cs.CV cs.LG eess.IV
Making Neural Networks Interpretable with Attribution: Application to Implicit Signals Prediction
Deezer Research(Deezer 研究院)
解释建议使用户能够了解推荐的项目是否与他们的需求相关,并已被证明可以增加他们对系统的信任。更一般地说,如果设计可解释的机器学习模型是检查决策过程的健全性和鲁棒性并提高其效率的关键,那么对于复杂的架构,特别是通常被认为是“黑匣子”的深度神经网络,这仍然是一个挑战。在本文中,我们提出了一种新的可解释的深层神经网络的归因任务的制定。与流行的事后方法不同,我们的方法是可解释的设计。使用掩码权重,隐藏的特征可以被深度归因,分成几个输入受限的子网络,并训练为专家的增强混合专家模型。在合成数据和真实世界推荐任务上的实验结果表明,我们的方法能够构建模型,实现与不可解释的模型接近的预测性能,同时提供信息丰富的归因解释。
2020-08-26 cs.LG stat.ML
Interpretable Models for Granger Causality Using Self-explaining Neural Networks
ETH Zürich(苏黎世联邦理工学院)
时间序列数据的探索性分析可以更好地理解复杂的动力系统。格兰杰因果关系是一个实用的框架,用于分析序列数据中的相互作用,应用于广泛的领域。在本文中,我们提出了一个新的框架推断多变量格兰杰因果关系的非线性动力学的基础上扩展的自解释神经网络。这个框架比其他基于神经网络的Granger因果关系推断技术更具解释性,因为除了关系推断之外,它还允许检测Granger因果效应的迹象并检查它们随时间的变化。在对模拟数据的综合实验中,我们表明,我们的框架在推断格兰杰因果关系方面与几种强大的基线方法不相上下,并且在推断相互作用符号方面具有更好的性能。结果表明,我们的框架是一个可行的和更可解释的替代稀疏输入神经网络推断格兰杰因果关系。
2021-01-19 cs.LG stat.ML
MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
Google(谷歌)
我们介绍了MinimalRNN,一种新的递归神经网络架构,其性能与结构简化的流行门控RNN相当。它在RNN中使用最少的更新,这不仅可以实现有效的学习和测试,更重要的是更好的可解释性和可训练性。我们证明,通过支持更严格的更新规则,MinimalRNN学习解开RNN状态。我们使用输入-输出雅可比矩阵进一步研究了不同RNN结构的学习动态,并表明MinimalRNN能够捕获比现有RNN架构更长的范围依赖关系。
2018-06-20 cs.LG stat.ML
AgraSSt: Approximate Graph Stein Statistics for Interpretable Assessment of Implicit Graph Generators
University of Oxford(牛津大学)
提出名为AgraSSt的统计方法,基于Stein算子构建核差异,用于评估隐式图生成器质量,提供可解释批评与理论保证。
2023-08-01 cs.LG stat.ML
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington(华盛顿大学)
循环神经网络(RNN)是处理连续数据的强大而有效的方法。然而,RNN通常被认为是“黑箱”模型,其内部结构和学习参数是不可解释的。在本文中,我们提出了一个可解释的RNN的顺序迭代软阈值算法(SISTA)的基础上解决顺序稀疏恢复问题,该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的,这导致了一种新的堆叠RNN架构。此外,SISTA-RNN的权重完全可以解释为原则性统计模型的参数,在这种情况下,包括稀疏化字典,迭代步长和正则化参数。此外,在特定的顺序压缩感知任务中,SISTA-RNN比传统的最先进的黑盒RNN(包括长短期记忆(LSTM)RNN)训练得更快,性能更好。
2016-11-22 cs.LG stat.ML
An interpretable LSTM neural network for autoregressive exogenous model
ETH Zurich(苏黎世联邦理工学院);EPFL Lausanne(洛桑联邦理工学院);TalkingData Co., Ltd.(北京腾云天下科技有限公司)
在本文中,我们提出了一个可解释的LSTM递归神经网络,即,多变量LSTM,用于具有外生变量的时间序列。目前,递归神经网络中广泛使用的注意力机制主要关注数据的时间方面,缺乏对变量重要性的表征。为此,我们开发了配备张量化隐藏状态的多变量LSTM,以学习变量特定的表示,这会引起时间和变量级别的注意。初步实验表明,多变量LSTM的预测性能相当w.r.t.基于编码器-解码器的基线。更有趣的是,以变量注意力为特征的真实数据集中的变量重要性与统计Granger因果检验所确定的变量重要性高度一致,这展示了多变量LSTM作为预测和知识发现的简单统一的端到端框架的前景。
2018-04-14 cs.LG stat.ML
Interpretable Disentanglement of Neural Networks by Extracting Class-Specific Subnetwork
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
我们提出了一个新的视角来理解深层神经网络的可解释的解纠缠形式。对于每个语义类,我们从原始完整模型中提取一个类特定的功能子网络,压缩结构,同时保持可比的预测性能。所提取的子网络的结构表示显示出与其对应的类语义相似性的相似性。我们还将提取的子网络应用于视觉解释和对抗性示例检测任务,只需将原始完整模型替换为特定于类的子网络。实验表明,这种直观的操作可以有效提高基于梯度的解释方法的解释显著性准确率,提高基于置信度的对抗性示例检测方法的检测率。
2019-10-07 cs.LG stat.ML
Interpretable Graph Convolutional Neural Networks for Inference on Noisy Knowledge Graphs
BenevolentAI(仁爱AI)
在这项工作中,我们提供了一个新的配方图卷积神经网络(GCNN)的链接预测的图形数据,解决了生物医学知识图谱(KG)的共同挑战。我们将正则化的注意力机制引入GCNN,不仅提高了干净数据集的性能,而且还有利地适应KG中的噪声,这是现实世界应用中普遍存在的问题。此外,我们探索了可解释建模的新可视化方法,并说明了如何利用学习的表示来自动化数据集去噪。结果显示在一个合成数据集,共同的基准数据集FB 15 k-237,和一个大型的生物医学知识图谱来自噪声和干净的数据源的组合。使用这些改进,我们可视化了一个学习模型的疾病囊性纤维化的代表性,并演示了如何询问神经网络,以显示PPARG作为类风湿性关节炎的候选治疗靶点的潜力。
2018-12-01 cs.LG stat.ML
InterpNET: Neural Introspection for Interpretable Deep Learning
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
人类能够解释他们的推理。相反,深度神经网络不是。本文试图通过引入一种新的方法来设计可解释的神经网络分类,人类视觉系统的内部工作的生理证据的启发,以弥合这一差距。本文提出了一种神经网络设计范式,称为InterpNET,它可以与任何现有的分类体系结构相结合,产生自然语言的分类解释。该模块的成功依赖于网络的计算和推理在其内部层激活中表示的假设。虽然原则上InterpNET可以应用于任何现有的分类体系结构,它是通过一个图像分类和解释任务进行评估。在CUB鸟类分类和解释数据集上的实验表明,该模型能够定性和定量地生成高质量的解释。虽然目前该数据集的最新METEOR评分为29.2,但InterpNET的METEOR评分要高得多,为37.9。
2017-11-16 cs.LG stat.ML
Towards Interpretable Multi-Task Learning Using Bilevel Programming
NEC Laboratories Europe(NEC欧洲实验室)
可解释的多任务学习可以表示为基于学习模型的预测性能来学习任务关系的稀疏图。由于许多自然现象都表现出稀疏结构,因此在学习模型上实施稀疏性可以揭示潜在的任务关系。此外,不同的稀疏度从一个全连通图揭示了各种类型的结构,如团,树,线,集群或完全不连通图。在本文中,我们提出了一个双层制定的多任务学习,导致稀疏图,从而揭示了潜在的任务关系,和一个有效的方法,其计算。我们经验性地展示了诱导稀疏图如何提高学习模型的可解释性以及它们在合成数据和真实数据上的关系,而不牺牲泛化性能。代码https://bit.ly/GraphGuidedMTL
2020-09-11 cs.LG stat.ML
Exploring Interpretable LSTM Neural Networks over Multi-Variable Data
ETH(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
对于在具有目标和外生变量的时间序列上训练的递归神经网络,除了准确的预测之外,还期望提供对数据的可解释的见解。在本文中,我们探索了LSTM递归神经网络的结构,以学习变量方面的隐藏状态,目的是捕捉多变量时间序列中的不同动态,并区分变量对预测的贡献。利用这些可变的隐藏状态,提出了一种混合注意力机制来模拟目标的生成过程。然后,我们开发了相关的训练方法来共同学习网络参数,变量和时间重要性w.r.t的目标变量的预测。在真实数据集上进行的大量实验表明,通过捕获不同变量的动态,增强了预测性能。同时,对解释结果进行了定性和定量评价。它展示了作为多变量数据预测和知识提取的端到端框架的前景。
2019-05-28 cs.LG stat.ML
XAI Beyond Classification: Interpretable Neural Clustering
Sichuan University(四川大学)
在本文中,我们研究了可解释人工智能(XAI)和数据聚类中的两个具有挑战性的问题。第一个是如何直接设计一个具有内在可解释性的神经网络,而不是对黑箱模型进行事后解释。第二个是实现离散的$k$ -意味着一个可微的神经网络,包括并行计算,在线聚类,聚类有利的表示学习的优点。为了解决这两个挑战,我们设计了一个新的神经网络,这是一个可微的香草$k$ -手段,称为inInterpretable nEuraL cLustering(TELL)的重新制定。我们的贡献是三方面的。首先,据我们所知,大多数现有的XAI作品都集中在监督学习范式上。这项工作是XAI对无监督学习的少数研究之一,特别是数据聚类。第二,TELL是一个可解释的,或者说是所谓的内在可解释和透明的模型。相比之下,大多数现有的XAI研究采取各种手段来理解具有事后解释的黑箱模型。第三,从数据聚类的角度来看,TELL具有$k$ -means所期望的许多特性,包括但不限于在线聚类、即插即用模块、并行计算和可证明收敛性。大量的实验表明,我们的方法取得了优越的性能相比,14聚类方法在三个具有挑战性的数据集。可在\url{www.pengxi.me}访问源代码。
2022-04-22 cs.LG stat.ML
Learning an Interpretable Graph Structure in Multi-Task Learning
NEC Laboratories Europe(NEC欧洲实验室);Heidelberg University(海德堡大学)
我们提出了一种新的方法来联合执行多任务学习和推断任务之间的内在关系,通过一个可解释的和稀疏的图。与现有的多任务学习方法不同,图结构不被假设为先验已知或在预处理步骤中单独估计。相反,我们的图是与每个任务的模型参数同时学习的,因此它反映了特定预测问题中任务之间的关键关系。我们用加权邻接矩阵描述了图的结构,并证明了总体目标可以交替优化,直到收敛。我们还表明,我们的方法可以简单地扩展到一个非线性形式嵌入到一个多头径向基函数网络(RBFN)。广泛的实验,对六个国家的最先进的方法,在合成数据和现实世界的应用表明,我们的方法是能够减少泛化误差,并在同一时间,揭示了稀疏图的任务,更容易解释。
2020-09-11 cs.LG stat.ML
N-BEATS: Neural basis expansion analysis for interpretable time series forecasting
Element AI(元素人工智能公司);Mila(米拉人工智能研究所)
我们专注于使用深度学习解决单变量时间序列点预测问题。我们提出了一种基于向后和向前残差链接的深度神经架构,以及一个非常深的全连接层堆栈。该体系结构具有许多理想的属性,是可解释的,适用于广泛的目标域,无需修改,快速训练。我们测试了几个著名的数据集,包括M3,M4和TOURISM竞争数据集包含来自不同领域的时间序列的建议架构。我们为所有数据集展示了N-BEATS两种配置的最新性能,将预测准确性提高了11%,比去年的M4竞赛冠军提高了3%,M4竞赛是神经网络和统计时间序列模型之间的领域调整手工制作的混合体。我们模型的第一种配置不使用任何时间序列特定的组件,其在异构数据集上的性能强烈表明,与公认的智慧相反,深度学习原语(如残差块)本身足以解决广泛的预测问题。最后,我们演示了如何增强所提出的体系结构,以提供可解释的输出,而不会在准确性上造成相当大的损失。
2020-02-20 cs.LG stat.ML
Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean
Clausthal University of Technology(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
针对 NAMs 仅预测均值、无法刻画响应分布其他性质的问题,本文提出 NAMLSS 框架,在保留加性模型可解释性的同时实现分布回归。
2024-02-29 cs.LG stat.ML
XNNTab -- Interpretable Neural Networks for Tabular Data using Sparse Autoencoders
Marburg University(马尔堡大学)
XNNTab结合神经网络的表达能力和可解释性,通过稀疏自编码器提取非线性特征并赋予人类可理解的概念,提升模型可解释性并优于传统可解释模型。
2026-03-27 cs.LG
Interpretable Graph-Based Semi-Supervised Learning via Flows
AT&T Labs Research(AT&T实验室研究部)
在本文中,我们考虑了基于拉普拉斯的半监督学习方法在图上的可解释性。我们介绍了一种新的基于流的学习框架,它包含了基本的方法,并提供了一个详细的,透明的,易于理解的表达学习过程中的图流。因此,人们可以可视化和交互式地探索精确的子图,沿着该子图,来自标记节点的信息流向感兴趣的未标记节点。令人惊讶的是,所提出的框架避免了为了可解释性而牺牲准确性,但实际上提高了预测准确性,这得到了理论考虑和实证结果的支持。基于流的框架通过构造保证了最大值原则,并且可以以开箱即用的方式处理有向图。
2017-09-14 cs.LG stat.ML
Identifying Interpretable Visual Features in Artificial and Biological Neural Systems
Stanford University(斯坦福大学);UC Santa Barbara(加州大学圣巴巴拉分校);SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
提出量化视觉可解释性的自动化方法和寻找网络激活空间有意义方向的途径,发现比单个神经元更直观的特征方向,并验证了大脑可能采用叠加表示。
2023-10-18 cs.LG stat.ML
CRISP-NAM: Competing Risks Interpretable Survival Prediction with Neural Additive Models
Vector Institute(向量研究所)
提出可解释的神经加性模型CRISP-NAM,用于竞争风险生存分析,通过独立特征网络建模原因特定风险,在多个数据集上取得竞争性性能。
2025-09-24 cs.LG
Interpretable Neural Networks based classifiers for categorical inputs
École Polytechnique Féderale de Lausanne (EPFL)(洛桑联邦理工学院)
由于神经网络在人类敏感应用中的广泛使用,其可解释性正在成为机器学习中越来越重要的主题。在这项工作中,我们介绍了一种简单的方法来解释的输出功能的神经网络分类器,作为输入的分类变量。通过利用一个神经网络分类器和一个物理能量模型之间的映射,我们表明,在这些情况下,网络的每一层,特别是logits层,可以扩展为一个项的总和,占每个输入模式的分类的贡献。例如,在第一阶,扩展仅考虑输入特征和输出之间的线性关系,而在第二阶,还考虑了输入特征之间的成对依赖关系。每个模式的贡献的分析,经过适当的规范变换,在两种情况下,该方法的有效性可以理解。
2021-02-05 cs.LG stat.ML
Two Instances of Interpretable Neural Network for Universal Approximations
Alibaba Inc(阿里巴巴公司);Nanyang Technological University(南洋理工大学)
本文提出了两种自底向上的可解释的神经网络(NN)结构,即三角构造的NN(TNN)和半量化激活NN(SQANN)的通用近似。其他值得注意的特性是(1)对灾难性遗忘的抵抗力(2)存在任意高精度的证据(3)通过可解释的激活“指纹”识别分布外的样本的能力。
2022-05-09 cs.AI cs.LG
GraphGUIDE: interpretable and controllable conditional graph generation with discrete Bernoulli diffusion
Genentech(基因泰克)
扩散模型在生成真实感对象方面具有最先进的性能,并已成功应用于图像、文本和视频。最近的工作表明,扩散也可以在图形上定义,包括药物样分子的图形表示。不幸的是,仍然很难以可解释和可控制的方式在图上执行条件生成。在这项工作中,我们提出了GraphGUIDE,一个新的框架,图形生成使用扩散模型,在图中的边缘翻转或设置在每个离散的时间步。我们在几个图形数据集上演示了GraphGUIDE,并表明它可以完全控制任意结构属性的条件生成,而无需依赖于预定义的标签。我们的图形扩散框架可以对图形的可解释条件生成产生很大的影响,包括以实验证据为依据的方式生成具有所需特性的药物样分子。
2023-02-07 cs.LG
Structural Neural Additive Models: Enhanced Interpretable Machine Learning
Georg-August University(哥廷根大学);TU Clausthal(克劳斯塔尔工业大学)
深度神经网络(DNN)在广泛的任务中表现出卓越的性能,并已成为解决需要高水平预测能力的问题的首选方法。人们对DNN如何做出决策进行了广泛的研究,然而,本质上不可解释的网络直到今天仍然是不可观察的“黑匣子”。近年来,该领域已经看到了对可解释的神经网络的推动,例如视觉上可解释的神经加法模型(NAM)。我们提出了一个更进一步的可理解性的方向超越了仅仅可视化的功能效果,并提出了结构神经加法模型(SNAM)。一个建模框架,将经典和清晰可解释的统计方法与神经应用程序的预测能力相结合。我们的实验验证了SNAM的预测性能。所提出的框架的性能与最先进的完全连接的DNN相当,我们表明SNAM甚至可以优于NAM,同时保持内在的更可解释性。
2023-02-18 cs.LG stat.CO
HARMONIA: Interpretable Graph Learning through Mixtures of Neural Bases
Center for AI Research, VinUniversity(文大人工智能研究中心);University of Florida(佛罗里达大学);Posts and Telecommunications Institute of Technology(邮电技术学院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
HARMONIA提出神经基元混合与稀疏RRWP聚合,实现可解释且可扩展的图加性模型,兼顾特征特化与结构分解,在解释恢复和预测性能上优于基线。
2026-09-29 cs.AI cs.LG stat.ML
PIKFNO: An Interpretable Neural Operator Based on Physics Informed Kernel Function
本研究提出PIKFNO框架,通过物理信息核函数约束主干网络,采用两种核函数构建策略,在有限训练数据下提升了神经算子的预测精度、可解释性与泛化性能,为开发高性能可解释神经算子提供新路径。
2026-08-18 cs.LG
Towards Interpretable Deep Neural Networks for Tabular Data
Marburg University(马尔堡大学)
本文提出XNNTab架构,通过稀疏自编码器学习语义特征并赋予人类可解释性,实现表格数据预测的可解释性与高性能。
2026-03-26 cs.LG
Interpretable Polynomial Neural Ordinary Differential Equations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对标准 neural ODE 不可解释且训练区域外泛化差的问题,提出在其框架内嵌深度多项式神经网络的多项式神经 ODE,实现训练区域外预测与无需 SINDy 的直接符号回归。
2022-08-09 cs.AI cs.LG
Towards Fully Interpretable Deep Neural Networks: Are We There Yet?
National University of Singapore(新加坡国立大学)
尽管性能卓越,但深度神经网络(DNN)的行为就像黑盒子一样,阻碍了用户对人工智能(AI)系统的信任。关于开放黑盒DNN的研究可以大致分为事后方法和内在可解释的DNN。虽然已经对事后解释方法进行了许多调查,但很少有人致力于内在可解释的DNN。本文综述了开发具有内在可解释性的DNN的现有方法,重点是卷积神经网络(CNN)。其目的是了解目前在完全可解释的DNN方面的进展,这些DNN可以满足不同的解释要求。最后,我们确定了目前工作中的差距,并提出了潜在的研究方向。
2021-06-24 cs.CV cs.LG
Interpretable Neural Networks for Panel Data Analysis in Economics
Princeton University(普林斯顿大学);Penn State University(宾州州立大学)
缺乏可解释性和透明度阻碍了经济学家在实证研究中使用神经网络等先进工具。在本文中,我们提出了一类可解释的神经网络模型,可以实现高的预测精度和可解释性。该模型可以被编写为正则化的可解释特征数量的简单函数,这些特征是神经网络中编码的可解释函数的结果。研究人员可以根据任务的性质设计不同形式的可解释功能。特别是,我们在神经网络中编码了一类名为持续变化过滤器的可解释函数来研究时间序列横截面数据。我们应用该模型预测个人的每月就业状况使用高维行政数据。我们在测试集中实现了94.5%的准确率,这与表现最好的传统机器学习方法相当。此外,模型的可解释性使我们能够理解预测的机制:个人的就业状况与她是否支付不同类型的保险密切相关。我们的工作是克服神经网络黑箱问题的有益一步,并为经济学家研究管理和专有大数据提供了新的工具。
2020-11-29 cs.AI cs.LG econ.EM
On the Effectiveness of Interpretable Feedforward Neural Network
McGill University(麦吉尔大学)
深度学习模型已经在许多分类任务中实现了最先进的性能。然而,他们中的大多数不能提供一个解释,他们的分类结果。可解释的机器学习模型通常是线性或分段线性的,并且产生较差的性能。非线性模型取得了更好的分类性能,但很难解释其分类结果。这可能已经改变了一个可解释的前馈神经网络(IFFNN)提出,实现高分类性能和可解释性的恶意软件检测。如果IFFNN能够以更灵活和更通用的形式执行其他分类任务,同时提供有意义的解释,它可能会引起应用机器学习社区的极大兴趣。在本文中,我们提出了一种方法来推广可解释的前馈神经网络的多类分类场景和任何类型的前馈神经网络,并评估其分类性能和可解释性的内在可解释的数据集。我们得出结论,发现广义IFFNN实现了类似的分类性能,他们的正常前馈神经网络同行,并提供有意义的解释。因此,这种神经网络结构具有很大的实际用途。
2021-11-03 cs.AI cs.LG
Interpretable time series neural representation for classification purposes
Sorbonne Université(索邦大学);AgroParisTech(巴黎高科农业学院)
本文提出一种满足可解释性需求的无监督神经架构,用于生成一致、离散且可可视化的单变量时间序列表示,并在UCR数据集分类实验中平均优于其他可解释方法。
2023-10-25 cs.LG
Parsimonious neural networks learn interpretable physical laws
Purdue University(普渡大学)
机器学习在物理科学中发挥着越来越重要的作用,并且在将领域知识嵌入模型方面取得了重大进展。较少探索的是它用于从数据中发现可解释的物理定律。我们提出了简约的神经网络(PNN),结合神经网络与进化优化,以找到平衡精度与简约的模型。通过开发经典力学模型和从基本性质预测材料的熔化温度,证明了该方法的强大功能和多功能性。在第一个例子中,所得到的PNN很容易解释为牛顿第二定律,表示为一个非平凡的时间积分器,表现出时间可逆性和节约能源,其中的简约性是至关重要的,从数据中提取潜在的对称性。在第二种情况下,PNN不仅发现了著名的林德曼熔化定律,而且发现了在Pareto意义上的简约与准确性的新关系。
2020-12-16 cs.CE cs.LG physics.comp-ph
NeurCAM: Interpretable Neural Clustering via Additive Models
University of Toronto(多伦多大学)
提出NeurCAM,一种利用神经广义加性模型提供模糊簇隶属度和加性解释的可解释聚类方法,通过引入选择门促进解释稀疏性,在表格数据上性能媲美黑盒方法,在文本数据上显著优于其他可解释方法。
2024-08-23 cs.LG
From superposition to sparse codes: interpretable representations in neural networks
Cold Spring Harbor Laboratory(冷泉港实验室);Australian National University(澳大利亚国立大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
针对神经网络特征叠加表示问题,提出包含可辨识性理论、稀疏编码和定量可解释性指标的三步理论框架,以从神经激活中提取与人类概念对齐的可解释特征。
2025-03-03 cs.LG
Interpretable Deep Neural Networks for Dimensional and Categorical Emotion Recognition in-the-wild
Imperial College London(帝国理工学院)
情绪在人们的生活中起着重要的作用。理解和识别不仅在人际交往中起着重要作用,而且在人机交互、汽车安全和医学研究等方面有着广阔的应用前景。本课题的研究重点是扩展情感识别数据库,并训练具有情感类别表征和情感唤醒表征的CNN + RNN情感识别神经网络。通过同时训练两种表示来构建组合模型。对这三种模型进行了比较分析。研究了两种情绪表征之间的内在联系和神经网络的可解释性。研究结果表明,分类情绪识别性能可以受益于组合模型的训练。情绪类别与效价-唤醒值的映射可以解释这一现象。
2019-12-13 cs.CV cs.LG stat.ML
NODE-GAM: Neural Generalized Additive Model for Interpretable Deep Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Hospital of Sickkids(病童医院);Microsoft Research(微软研究院)
在真实的高风险环境(例如医疗保健)中部署机器学习模型通常不仅取决于模型的准确性,还取决于其公平性,鲁棒性和可解释性。广义加性模型(GAM)是一类可解释的模型,在这些高风险领域有着悠久的使用历史,但它们缺乏深度学习的理想特征,如可微性和可扩展性。在这项工作中,我们提出了一种神经GAM(NODE-GAM)和神经GA $^2$ M(NODE-GA $^2$ M),它们在大型数据集上的扩展性和性能优于其他GAM,同时与其他集成和深度学习模型相比,仍然具有可解释性。我们证明了我们的模型在数据中找到了有趣的模式。最后,我们通过自我监督的预训练提高了模型的准确性,这对于不可微的GAM是不可能的。
2022-03-16 cs.LG
Learning Accurate and Interpretable Decision Rule Sets from Neural Networks
University of California San Diego(加州大学圣迭戈分校)
本文提出了一种新的范式,用于学习一组独立的逻辑规则的析取范式作为一个可解释的分类模型。我们认为学习一个可解释的决策规则集的问题是训练一个神经网络在一个特定的,但非常简单的两层架构。第一层中的每个神经元在训练后直接映射到可解释的“若-则”规则,第二层中的输出神经元直接映射到第一层规则的析取以形成决策规则集。我们在第一个规则层中对神经元的表示使我们能够在决策规则中对特征的正关联和负关联进行编码。可以利用最先进的神经网络训练方法来学习高度准确的分类模型。此外,我们提出了一种基于稀疏性的正则化方法,以平衡分类精度和简单性之间的派生规则。我们的实验结果表明,我们的方法可以产生更准确的决策规则集比其他国家的最先进的规则-学习算法具有更好的准确性和简单性的权衡。此外,与随机森林和全精度深度神经网络等不可解释的黑箱机器学习方法相比,我们的方法可以轻松找到具有可比预测性能的可解释决策规则集。
2021-03-12 cs.LG
ExSpliNet: An interpretable and expressive spline-based neural network
University of Rome Tor Vergata(罗马第二大学)
在本文中,我们提出了ExSpliNet,一个可解释和表达的神经网络模型。该模型结合了Kolmogorov神经网络、概率树集合和多变量B样条表示的思想。我们给出了一个概率解释的模型,并显示其普遍的近似性质。我们还讨论了如何可以有效地利用B样条属性编码。最后,在综合逼近问题和经典机器学习基准数据集上测试了该模型的有效性.
2022-05-03 cs.LG cs.NA math.NA
Interpretable Architecture Neural Networks for Function Visualization
Northwestern University(西北大学)
在许多科学研究领域,理解和可视化的黑箱函数的所有输入变量的影响是非常重要的。现有的可视化工具不允许同时可视化所有输入变量的影响。虽然可以选择一个或两个输入变量通过2D或3D图进行可视化,同时保持其他变量固定,但这呈现了模型的过度简化和不完整的画面。为了克服这一缺点,我们提出了一种新的可视化方法,使用可解释的架构神经网络(IANN)直接和同时可视化的所有输入变量的影响。我们提出了两个可解释的结构,其中每一个可以方便地表示一个特定的IANN,我们讨论了一些可能的扩展。我们还提供了一个Python包来实现我们提出的方法。补充材料可在网上查阅。
2023-03-03 cs.HC cs.LG stat.ME