Transparency of Deep Neural Networks for Medical Image Analysis: A Review of Interpretability Methods
Maastricht University(马斯特里赫特大学);Maastricht University Medical Centre+(马斯特里赫特大学医学中心+)
人工智能已经成为诊断和治疗决策的许多临床应用的有用辅助工具。由于可用数据和计算能力的快速增长,深度神经网络在许多任务中表现出与临床医生相同或更好的性能。为了符合可信人工智能的原则,人工智能系统必须透明,强大,公平并确保问责制。目前的深度神经解决方案被称为黑盒,因为缺乏对决策过程细节的理解。因此,在将深度神经网络纳入常规临床工作流程之前,需要确保其可解释性。在这篇叙述性综述中,我们利用系统的关键词搜索和领域专业知识,根据生成的解释类型和技术相似性,确定了九种不同类型的可解释性方法,用于理解医学图像分析应用的深度学习模型。此外,我们报告的进展,对各种解释性方法产生的解释进行评估。最后,我们讨论了局限性,提供了使用可解释性方法的指导方针,以及关于深度神经网络在医学成像分析中的可解释性的未来方向。
2021-11-01 cs.AI cs.CV cs.LG
Actionable Interpretability via Causal Hypergraphs: Unravelling Batch Size Effects in Deep Learning
本文提出因果超图框架HGCNet,利用深度结构因果模型和do-演算揭示批大小通过梯度噪声与平坦极小值影响泛化的因果机制,并在多领域实验中优于强基线,为训练策略提供可操作解释。
2025-06-21 cs.AI cs.LG
Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey
University of Chicago(芝加哥大学);Colorado School of Mines(科罗拉多矿业学院);Argonne National Laboratory(阿贡国家实验室)
该综述从损失景观几何视角梳理模型融合研究,提炼出损失景观的四大几何特征,指出模型融合对表征结构的洞见可服务于可解释性与鲁棒性,并提出交叉研究新方向。
2025-03-21 cs.AI cs.LG
A Survey on Neural Network Interpretability
Guangdong Key Laboratory of Brain-Inspired Intelligent Computation(广东省脑启发智能计算重点实验室);Southern University of Science and Technology(南方科技大学);Research Institute of Trust-worthy Autonomous Systems(可信自主系统研究所);School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院)
随着深度神经网络的巨大成功,人们对其黑匣子性质的担忧也越来越多。可解释性问题影响人们对深度学习系统的信任。它还涉及许多伦理问题,例如,算法识别此外,可解释性是深度网络成为其他研究领域(例如,药物发现和基因组学。本文对神经网络的可解释性研究进行了综述。我们首先澄清解释性的定义,因为它已经在许多不同的情况下使用。然后,我们详细阐述了可解释性的重要性,并提出了一个新的分类法组织沿三个维度:参与类型(被动与主动的解释方法),解释的类型,和重点(从本地到全球的可解释性)。这种分类法提供了一个有意义的3D视图,从相关文献的论文分布的两个维度不是简单的分类,但允许顺序子类别。最后,我们总结了现有的可解释性评估方法,并提出了可能的研究方向启发我们的新分类。
2021-07-15 cs.AI cs.LG
Clarifying Model Transparency: Interpretability versus Explainability in Deep Learning with MNIST and IMDB Examples
School of Cyber Security and Digital Forensics(网络安全与数字取证学院);National Forensic Sciences University(国家级刑侦科学大学)
本文基于MNIST和IMDB示例对比了深度学习中的可解释性与可说明性,指出前者指模型固有的全局理解能力,后者为事后局部解释技术,明确该区分对构建可靠AI至关重要。
2025-09-13 cs.AI cs.LG
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
以人工深度神经网络(DNN)为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功,但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力,解释神经网络最近吸引了许多研究关注。在本文中,我们全面的分类的基础上,我们系统地回顾了最近的研究在理解神经网络的机制,描述了可解释性的应用,特别是在医学中,并讨论了未来的可解释性研究的方向,如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
An Interactive Interpretability System for Breast Cancer Screening with Deep Learning
Vanderbilt University(范德堡大学);Carnegie Mellon University(卡内基梅隆大学)
深度学习方法,特别是卷积神经网络,已经成为医学图像计算任务中的强大工具。虽然这些复杂的模型提供了出色的性能,但它们的黑盒性质可能会阻碍高风险决策的实际应用。在本文中,我们提出了一个互动系统,利用国家的最先进的可解释性技术,以协助放射科医生与乳腺癌筛查。我们的系统将深度学习模型集成到放射科医生的工作流程中,并提供新颖的交互,以促进对模型决策过程的理解。此外,我们证明了我们的系统可以利用用户交互逐步提供更细粒度的可解释性报告,标签开销很小。由于所采用的可解释性技术的通用性,我们的系统是领域不可知的,可用于许多不同的医学图像计算任务,为我们如何利用视觉分析来转换最初的静态可解释性技术以增强人类决策并促进医学AI的采用提供了一个新的视角。
2022-09-30 cs.AI cs.CV cs.HC
Compositional Function Networks: A High-Performance Alternative to Deep Neural Networks with Built-in Interpretability
Fang Li(法利)
针对深度神经网络黑箱特性限制高风险领域部署的问题,提出具备完全可微性、支持多组合模式的组合函数网络,兼具可解释性与竞争力性能,为高要求场景提供新框架。
2025-07-31 cs.AI cs.LG
From Density Matrices to Phase Transitions in Deep Learning: Spectral Early Warnings and Interpretability
本文提出2-数据点约化密度矩阵,用于高效检测训练中的相变,通过谱热容量和参与比揭示相变特征,并通过四个场景验证其有效性。
2026-04-01 cs.AI cs.LG
Improving Deep Learning Interpretability by Saliency Guided Training
University of Maryland(马里兰大学);Genentech, Inc.(基因泰克公司)
显著性方法已被广泛用于突出模型预测中的重要输入特征。大多数现有的方法使用修改的梯度函数上的反向传播来生成显着图。因此,噪声梯度可能导致不忠实的特征属性。在本文中,我们解决了这个问题,并介绍了一个{ \it显着性指导训练}程序的神经网络,以减少噪声梯度预测中使用的同时保留模型的预测性能。我们的显着性指导训练过程迭代地掩蔽具有小的和潜在的噪声梯度的特征,同时最大化掩蔽和未掩蔽输入的模型输出的相似性。我们将显着性引导的训练过程应用于计算机视觉,自然语言处理和不同神经架构的时间序列的各种合成和真实数据集,包括递归神经网络,卷积网络和Transformers。通过定性和定量评估,我们表明显着性指导的训练过程显着提高了模型在各个领域的可解释性,同时保持其预测性能。
2021-11-29 cs.AI cs.CV cs.LG
DeepSelective: Interpretable Prognosis Prediction via Feature Selection and Compression in EHR Data
College of Computer Science and Technology(计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室);Beijing Life Science Academy(北京生命科学研究院);Department of Chemical and Biological Engineering(化学与生物工程系);School of Science(科学学院)
针对EHR数据预测中可解释性不足的问题,提出端到端框架DeepSelective,结合数据压缩与特征选择,在提升预测精度的同时显著增强可解释性,助力临床决策。
2025-06-20 cs.AI cs.LG
Generalization on the Enhancement of Layerwise Relevance Interpretability of Deep Neural Network
Nanyang Technological University(南洋理工大学);HealthTech Division, Alibaba Inc(阿里巴巴集团健康科技事业部)
深度神经网络的实际应用仍然受到其缺乏透明度的限制。为人工智能(AI)做出的决策提供解释的努力之一是使用显着性或热图,突出显示对其预测有重大贡献的相关区域。先前引入了逐层幅度滤波方法来提高热图的质量,通过噪声尖峰抑制来执行误差校正。在这项研究中,我们通过考虑任何可识别的错误,并假设存在一个地面实况可解释的信息,概括了分层误差校正。本文研究了分层相关方法传播的误差形式,提出了一种根据所用特定神经网络的信号幅度趋势进行可解释性信号校正的滤波技术。最后,我们提出了使用地面实况可解释的信息的参数。
2020-10-18 cs.AI cs.CV
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University(斯坦福大学);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
本文提出注意力图工具,基于GNN消息传递与Transformer自注意力的数学等价性,分析图Transformer的信息流动,发现其学习结构不相关于输入图,且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
TorchEsegeta: Framework for Interpretability and Explainability of Image-based Deep Learning Models
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);German Center for Neurodegenerative Disease(德国神经退行性疾病中心);Center for Behavioral Brain Sciences(行为脑科学中心);Leibniz Institute for Neurobiology(莱布尼茨神经生物学研究所)
临床医生通常对在实践中应用自动图像处理方法,特别是基于深度学习的方法持怀疑态度。其中一个主要原因是这些方法的黑箱性质和自动导出决策的内在问题。为了增加对这些方法的信任,本文提出了一些方法,通过描述最影响算法决策的解剖区域,来帮助解释和解释深度学习算法的结果。此外,这项研究提出了一个统一的框架TorchEsegeta,用于为深度学习模型应用各种可解释性和可解释性技术,并为临床医生生成视觉解释和解释,以证实他们的临床发现。此外,这将有助于获得对这些方法的信心。该框架建立在现有的可解释性和可解释性技术的基础上,这些技术目前专注于分类模型,并将其扩展到分割任务。此外,这些方法已被改编为三维模型的体积分析。所提出的框架提供了方法来定量比较视觉解释使用不忠和敏感性指标。数据科学家可以使用这个框架对他们的模型进行事后解释和解释,开发更多可解释的工具,并将发现呈现给临床医生,以增加他们对这些模型的信心。所提出的框架进行了评估的基础上训练的时间的战斗(TOF)的人脑磁共振血管造影(MRA)图像的血管分割模型的用例场景。不同的模型和可解释性方法的比较研究的定量和定性结果。此外,本文提供了一个广泛的概述,现有的几个可解释性和可解释性的方法。
2022-02-07 cs.AI cs.CV
Interpretable Neural System Dynamics: Combining Deep Learning with System Dynamics Modeling to Support Critical Applications
University of Applied Sciences and Arts of Southern Switzerland(瑞士南瑞士应用科学与艺术大学);Dalle Molle Institute for Artificial Intelligence(达勒莫勒人工智能研究所)
本研究提出整合基于概念的可解释性、机制可解释性与因果机器学习的神经系统动力学框架,结合深度学习预测能力与系统动力学的可解释性、因果可靠性,将通过AutoMoTIF项目验证,助力自主系统的可解释性与安全融合。
2025-05-20 cs.AI cs.LG
Tensorization is a powerful but underexplored tool for compression and interpretability of neural networks
Donostia International Physics Center(Donostia国际物理中心);Multiverse Computing
本文探讨张量化神经网络(TNNs)作为压缩与可解释性工具,指出其潜力未被充分挖掘,并强调键索引带来的新潜在空间及未来研究方向。
2026-09-15 cs.AI cs.LG quant-ph
Demystifying Deep Neural Networks Through Interpretation: A Survey
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
现代深度学习算法倾向于优化客观度量,例如最小化训练数据集上的交叉熵损失,以便能够学习。问题是,单一的度量是对现实世界任务的不完整描述。单一的度量无法解释算法为什么会学习。当一个错误发生时,缺乏可解释性会导致理解和修复错误的困难。最近,有工作做,以解决可解释性的问题,以提供对神经网络的行为和思维过程的见解。这些工作对于识别潜在的偏差和确保算法的公平性以及预期的性能是很重要的。
2021-01-05 cs.AI cs.LG
A systematic review of biologically-informed deep learning models for cancer: fundamental trends for encoding and interpreting oncology data
University of Manchester(曼彻斯特大学);CRUK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
人们越来越关注使用基于深度学习(DL)的方法作为肿瘤学的支持分析框架。然而,DL的大多数直接应用将提供有限的透明度和可解释性的模型,这限制了它们在生物医学环境中的部署。这篇系统综述讨论了用于支持癌症生物学推断的DL模型,特别强调多组学分析。它侧重于现有的模型如何解决需要更好地对话与先验知识,生物可解释性和可解释性,在生物医学领域的基本属性。为此,我们检索和分析了42项研究,重点是新兴的架构和方法的进步,生物领域知识的编码和可解释性方法的整合。我们讨论了最近的进化拱DL模型的方向,整合以前的生物关系和网络知识,以支持更好的概括(例如,途径或蛋白质-蛋白质相互作用网络)和可解释性。这代表了一个基本的功能转移到模型,可以集成机械和统计推理方面。我们引入了生物中心的可解释性的概念,并根据其分类,我们讨论了在这样的模型中的领域先验知识的集成表示方法。本文提供了一个批判性的前景到当代方法的解释性和可解释性用于癌症的DL。分析点之间的收敛编码先验知识和改进的可解释性的方向。我们引入生物为中心的可解释性,这是对DL模型的生物可解释性的形式化和开发方法,是较少的问题或应用程序特定的重要一步。
2023-01-24 cs.AI cs.LG q-bio.QM
A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院);Halicioglu Data Science Institute, University of California, San Diego(加州大学圣地亚哥分校哈利奇奥格鲁数据科学学院)
针对深度知识追踪中问题个体信息建模不足和预测结果缺乏可解释性的问题,本文提出以问题为中心的多专家对比学习框架Q-MCKT,以提升知识追踪的准确性与可解释性。
2024-07-05 cs.AI cs.CY cs.LG
Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty
Department of Statistics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校统计系);Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)
我们提供了简单的方案来构建贝叶斯神经网络(BNN),逐块,最近的想法计算骨架的启发。我们展示了如何通过调整计算框架中使用的块的类型,我们可以识别与深度高斯过程(DGP),深度内核学习(DKL),随机特征类型近似和其他主题的有趣关系。我们给出了通过双随机变分推断来近似后验的策略,这些模型产生不确定性估计。我们给出了详细的理论分析,并指出可能是独立的利益扩展。作为一个特殊的情况下,我们实例化我们的程序来定义贝叶斯{ \em添加剂}神经网络-一个有前途的策略,以确定统计相互作用,并获得可解释的模型有直接的好处。
2018-06-10 cs.AI cs.LG stat.ML
RamanSeg: Interpretability-driven Deep Learning on Raman Spectra for Cancer Diagnosis
Department of Computer Science and Technology(计算机科学与技术系);University of Cambridge(剑桥大学);Department of Physics(物理系);Department of Otorhinolaryngology(耳鼻喉科系);Jena University Hospital(耶拿大学医院);Section Pathology of the Institute of Forensic Medicine(法医学研究所病理学部);Cambridge Raman Imaging Srl(剑桥拉曼成像有限公司)
RamanSeg通过可解释的深度学习方法在拉曼光谱中实现癌症诊断,提高了分割性能和可解释性。
2026-02-20 cs.AI cs.CV cs.LG
Toward Transparent AI: A Survey on Interpreting the Inner Structures of Deep Neural Networks
Epoch(Epoch机构);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文综述 300 多项 DNN 内部可解释性研究,提出按解释对象与训练阶段划分的分类法,并梳理其与鲁棒性、压缩等领域的联系及未来方向。
2023-08-18 cs.AI cs.CL cs.CV
Abstracting Deep Neural Networks into Concept Graphs for Concept Level Interpretability
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
深度学习模型的黑盒性质使它们在生物医学等领域无法完全信任。大多数可解释性技术并没有捕捉到人类遵循的基于概念的推理。在这项工作中,我们试图通过建立他们学习的概念的图形表示来理解在医学领域执行图像处理任务的训练模型的行为。在抽象的、更高的概念层面上提取模型行为的图形表示将揭示这些模型的学习,并将帮助我们评估模型为预测所采取的步骤。我们提出的两个生物医学问题-脑肿瘤分割和眼底图像分类的实施,我们展示了应用。我们提供了一个替代的图形表示的模型,通过制定一个概念级图如上所述,这使得问题的干预,以找到积极的推理线索更容易处理。理解这些踪迹将提供对模型所遵循的决策过程的层次结构的理解。[As模型的整体性质)。我们的框架可以在https://github.com/koriavinash1/BioExp上找到
2020-11-17 cs.AI cs.CV stat.ML
A Mathematical Philosophy of Explanations in Mechanistic Interpretability -- The Strange Science Part I.i
UK AI Security Institute(英国人工智能安全研究所)
本文主张“解释观假设”,将机制可解释性定义为生成模型级、本体论、因果机制及可证伪解释的实践,提出“解释乐观主义原则”作为其成功的必要前提。
2025-05-01 cs.AI cs.CL cs.LG
Towards A Rigorous Science of Interpretable Machine Learning
随着机器学习系统变得无处不在,人们对可解释的机器学习(为输出提供解释的系统)的兴趣激增。这些解释通常用于定性评估其他标准,如安全或不歧视。然而,尽管人们对可解释性很感兴趣,但对于什么是可解释的机器学习以及如何衡量它,人们几乎没有达成共识。在本立场文件中,我们首先定义可解释性,并描述何时需要可解释性(以及何时不需要)。接下来,我们提出了一个严格评估的分类法,并向更严格的可解释机器学习科学提出了开放性问题。
2017-03-02 cs.AI cs.LG stat.ML
Evaluating Explanations: An Explanatory Virtues Framework for Mechanistic Interpretability -- The Strange Science Part I.ii
UK AI Security Institute(英国人工智能安全研究院)
本文针对机制可解释性缺乏评估解释通用方法的问题,引入了基于科学哲学四视角的解释性美德框架,系统评估并改进解释,指出 Compact Proofs 是极具前景的方法,并提出了未来研究方向。
2025-05-02 cs.AI cs.CL cs.HC
The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于执行的评估框架,通过代码和数据验证机制可解释性研究的严谨性,发现大量方法学问题,展示AI在研究评估中的潜力。
2026-02-05 cs.AI cs.CL cs.CY
Deep network as memory space: complexity, generalization, disentangled representation and interpretability
Southeast University(东南大学)
通过将深度网络和物理学联系起来,提出了深度网络几何化方案,作为深度学习系统可解释性的框架。根据这个计划,我们可以将物理学的两个关键思想,物理学的几何化和最小作用原理应用于深度网络,并提供深度网络的新图景:深度网络作为信息的存储空间,其中存储器的容量,鲁棒性和效率与深度网络的复杂性,泛化性和解纠缠密切相关。这种理解的关键组成部分包括:(1)基于Fisher度量的网络复杂性公式;(2)深度网络上的最小作用(复杂性=作用)原则;(3)建立在深度网络配置上的几何结构。我们将展示这幅图将如何为我们带来对深度学习系统可解释性的新理解。
2019-07-12 cs.AI cs.LG
From Human Explanation to Model Interpretability: A Framework Based on Weight of Evidence
Microsoft Research(微软研究院);University of Michigan(密歇根大学);University of Maryland(马里兰大学)
我们从人类解释的研究中获得灵感,为机器学习中可解释性方法的设计和评估提供信息。首先,我们调查了哲学,认知科学和社会科学中关于人类解释的文献,并提出了一系列对人类有意义的机器生成解释的设计原则。利用信息论中证据权重的概念,我们开发了一种方法来生成符合这些原则的解释。我们表明,这种方法可以适应于处理高维,多类设置,产生一个灵活的框架生成的解释。我们证明,这些解释可以准确地估计从有限的样本,是强大的输入的小扰动。我们还通过与机器学习从业者的定性用户研究来评估我们的方法,在那里我们观察到,尽管一些参与者在努力解决先验类概率等背景概念,但所得到的解释是可用的。最后,我们得出结论,表面~设计~一般的可解释性工具的影响。
2021-09-20 cs.AI cs.LG
A Benchmark for Interpretability Methods in Deep Neural Networks
Google Brain(谷歌大脑)
我们提出了一个经验性的措施,在深度神经网络的特征重要性估计的近似精度。我们在几个大规模的图像分类数据集的结果表明,许多流行的可解释性方法产生的特征重要性的估计,并不比随机指定的特征重要性。只有某些基于集成的方法--VarGrad和SmoothGrad-Squared--优于这种随机分配的重要性。集成的方式仍然是至关重要的,我们表明,一些方法做得不好,然后的基本方法,但进行更高的计算负担。
2019-11-05 cs.AI cs.LG stat.ML
Building Data-driven Models with Microstructural Images: Generalization and Interpretability
Citrine Informatics;Carnegie Mellon University(卡内基梅隆大学)
随着数据驱动方法在材料科学应用中的普及,一个关键问题是如何使用这些机器学习模型来理解微观结构。考虑到过程-结构-性能关系在整个材料科学中的重要性,可以利用微观结构数据的模型似乎更有能力预测性能信息。虽然最近有一些尝试使用卷积神经网络来理解微观结构图像,但这些早期研究仅关注哪些特征化可以为单个数据集提供最高的机器学习模型精度。本文探讨了使用卷积神经网络对微观结构进行分类,并考虑到一组更全面的目标:数据集之间的泛化,所需的特征数量和可解释性。
2017-11-01 cond-mat.mtrl-sci cs.AI
Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification
Wells Fargo(富国银行);Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学)
深度神经网络(DNN)在学习具有强大预测能力的复杂模式方面取得了巨大成功,但它们通常被认为是没有足够透明度和可解释性的"黑箱"模型。重要的是要用严格的数学和实用的工具来揭开DNN的神秘面纱,特别是当它们用于关键任务应用时。本文旨在通过局部线性表示来解开深度ReLU网络的黑盒,该表示利用激活模式并将复杂网络分解为一组等效的局部线性模型(LLM)。我们开发了一个方便的基于LLM的工具包,用于预训练深度ReLU网络的可解释性,诊断和简化。我们提出了局部线性剖面图和其他可视化方法的解释和诊断,和一个有效的合并策略,网络简化。通过模拟实例、基准数据集和住房贷款信贷风险评估的实际案例研究,证明了所提出的方法。
2020-11-08 cs.AI cs.LG stat.ML
A Survey of Safety and Trustworthiness of Deep Neural Networks: Verification, Testing, Adversarial Attack and Defence, and Interpretability
University of Liverpool(利物浦大学);University of Oxford(牛津大学);Lancaster University(兰卡斯特大学);Defence Science and Technology Laboratory (Dstl)(国防科学技术实验室);Queen’s University Belfast(贝尔法斯特女王大学)
在过去的几年里,深度神经网络(DNN)在几个长期任务上实现了人类水平的性能方面取得了重大进展。随着DNN在各种应用程序中的广泛部署,公众对其安全性和可信度的担忧已经提出,特别是在广泛报道涉及自动驾驶汽车的致命事故之后。解决这些问题的研究特别活跃,过去几年发表了大量论文。这篇调查论文对当前使DNN安全可信的研究工作进行了回顾,重点关注四个方面:验证,测试,对抗攻击和防御以及可解释性。我们总共调查了202篇论文,其中大部分是在2017年之后发表的。
2020-05-31 cs.AI cs.LG
This Looks Like That... Does it? Shortcomings of Latent Space Prototype Interpretability in Deep Networks
ETH Zurich(苏黎世联邦理工学院)
深度神经网络通过架构设计产生人类可解释的决策,最近已经成为传统黑箱模型事后解释的越来越受欢迎的替代方案。在这些网络中,可以说最广泛的方法是所谓的原型学习,其中与学习到的潜在原型的相似性作为对看不见的数据点进行分类的基础。在这项工作中,我们指出了这种方法的一个重要缺点。也就是说,潜在空间中的相似性和输入空间中的相似性之间存在语义鸿沟,这可能会破坏可解释性。我们设计了两个实验,在所谓的ProtoPNet上验证这个问题。具体来说,我们发现这个网络的可解释性机制可能会被故意制作的甚至JPEG压缩伪像引入歧途,这可能会产生不可理解的决策。我们认为,从业者在实践中部署基于原型的模型时,应该考虑到这个缺点。
2021-06-23 cs.AI cs.CV cs.LG
Information Science Principles of Machine Learning: A Causal Chain Meta-Framework Based on Formalized Information Mapping
Koguan School of Law, China Institute for Smart Justice, School of Computer Science, Shanghai Jiao Tong University(柯 guar 法学院、中国智能正义研究院、计算机科学学院、上海交通大学)
本文提出基于形式化信息映射的机器学习理论元框架MLT-MF,统一刻画因果链逻辑,并据此证明可解释性、伦理安全及TVD上界等关键定理。
2025-11-08 cs.AI cs.LO
A Practical Guide Towards Interpreting Time-Series Deep Clinical Predictive Models: A Reproducibility Study
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);PyHealth;University of Illinois College of Medicine(伊利诺伊大学医学院)
本文通过评估不同临床预测任务和模型架构的可解释性方法,发现注意力机制能有效提升解释性,而黑盒解释器在时间序列任务中不可行,同时指出部分方法不可靠,提出改进临床预测流水线的指导原则。
2026-03-25 cs.AI cs.LG
Policy Distillation with Selective Input Gradient Regularization for Efficient Interpretability
University of California, Irvine(加州大学欧文分校)
尽管深度强化学习(RL)在广泛的任务中已经证明是成功的,但它面临的一个挑战是应用于现实世界问题时的可解释性。显着图经常用于为深度神经网络提供可解释性。然而,在强化学习领域,现有的显着性图方法要么计算昂贵,因此不能满足现实世界的场景的实时要求,或者不能产生可解释的显着性图的强化学习策略。在这项工作中,我们提出了一种选择性输入梯度正则化(DIGR)的蒸馏方法,该方法使用策略蒸馏和输入梯度正则化来产生新的策略,从而在生成显着性图时实现高的可解释性和计算效率。我们的方法也被发现,以提高多个对抗攻击的RL政策的鲁棒性。我们在三个任务上进行实验,MiniGrid(获取对象),Atari(突破)和CARLA自动驾驶,以证明我们的方法的重要性和有效性。
2022-05-18 cs.AI cs.LG
Improving Interpretability of Deep Sequential Knowledge Tracing Models with Question-centric Cognitive Representations
TAL Education Group(好未来教育集团);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院)
知识追踪是通过观察学生的历史学习过程来预测学生未来学习成绩的一项重要技术。由于深度神经网络强大的表示能力,利用深度学习技术解决KT问题取得了显著进展。大多数现有的方法依赖于\emph{homogeneous question}假设,即如果问题共享相同的知识组件集,则它们具有等同的贡献。不幸的是,这种假设在现实世界的教育场景中是不准确的。此外,从现有的基于深度学习的KT模型解释预测结果是非常具有挑战性的。因此,在本文中,我们提出了QIKT,一个以问题为中心的可解释KT模型来解决上述挑战。所提出的QIKT方法明确地建模学生的知识状态变化在细粒度的水平与问题敏感的认知表示,共同学习从一个以问题为中心的知识获取模块和一个以问题为中心的问题解决模块。同时,QIKT利用基于项目反应理论的预测层来生成可解释的预测结果。所提出的QIKT模型在三个公开的真实世界教育数据集上进行了评估。结果表明,我们的方法在KT预测任务上更优越,并且在预测精度方面优于各种基于深度学习的KT模型,具有更好的模型可解释性。为了鼓励可重复的结果,我们在\url{https://pykt.org/}上提供了所有的数据集和代码。
2023-03-16 cs.AI cs.LG
Perspectives for Direct Interpretability in Multi-Agent Deep Reinforcement Learning
LIP6, Sorbonne University(巴黎第六大学(索邦大学)LIP6实验室)
本文倡导在多智能体深度强化学习中采用直接可解释性方法,通过事后解释技术分析智能体行为与涌现现象,并为团队识别、群体协调和样本效率等方向提出研究展望。
2025-02-02 cs.AI
Bridging Interpretability and Robustness Using LIME-Guided Model Refinement
University of South Dakota(南达科他大学)
本文提出利用LIME识别并抑制无关特征,通过迭代精炼模型,在提升可解释性的同时增强对抗鲁棒性和分布外泛化能力。
2024-12-25 cs.AI cs.LG
Benchmarking Counterfactual Interpretability in Deep Learning Models for Time Series Classification
University of California, Davis(加州大学戴维斯分校)
本研究针对时间序列领域反事实(CF)解释方法缺乏基准测试的问题,重新设计稀疏性与合理性等定量指标并引入一致性新指标,在20个单变量和10个多变量数据集上系统评估6种CF方法,揭示了性能差异并提供了实用指南。
2024-10-10 cs.AI cs.LG stat.ML
Enhancing the Interpretability of Deep Models in Heathcare Through Attention: Application to Glucose Forecasting for Diabetic People
CNRS-LIMSI(法国国家科学研究中心-计算机科学与机械信息实验室);Université Paris-Saclay(巴黎-萨克雷大学);Samovar, CNRS, Télécom SudParis, Institut Polytechnique de Paris(萨莫瓦尔实验室,法国国家科学研究中心,南巴黎电信学院,巴黎综合理工学院);Université Paris 8(巴黎第八大学)
深度学习在医疗保健中的应用受到其“黑匣子”性质的阻碍。在本文中,我们探讨了RETAIN架构的糖尿病患者的血糖预测任务。通过使用两级注意力机制,基于递归神经网络的RETAIN模型是可解释的。我们在2型IDIAB和1型OhioT1DM数据集上评估了RETAIN模型,通过比较其与两种深度模型和三种基于决策树的模型的统计和临床性能。我们发现,RETAIN模型在准确性和可解释性之间提供了一个很好的折衷,几乎与LSTM和FCN模型一样准确,同时保持可解释性。我们通过分析每个变量对最终预测的贡献来展示其可解释性的有用性。它揭示了超过一小时的信号值不被RETAIN模型用于提前30分钟预测葡萄糖。此外,我们还展示了RETAIN模型在事件(如碳水化合物摄入或胰岛素输注)到来时如何改变其行为。特别是,它表明患者在事件发生前的状态对于预测特别重要。总体而言,由于其可解释性,RETAIN模型似乎是医疗保健中回归或分类任务的一个非常有前途的模型。
2020-09-08 cs.AI cs.LG stat.ML
Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning
University of Waterloo(滑铁卢大学);Harvard University(哈佛大学)
本文以封闭轮抽游戏“寿司去派对”为案例,提出第一性原理方法,通过决策规则拟合、跨牌组泛化基准及可计算记忆度量,系统研究DQN智能体的可解释性、泛化能力与记忆学习能力,并达到最先进性能。
2023-11-17 cs.AI cs.LG
Self Reward Design with Fine-grained Interpretability
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
深度神经网络(DNN)的黑盒性质引起了人们对透明度和公平性问题的关注。深度强化学习(Deep RL或DRL)使用DNN来学习其策略,价值函数等,因此也受到类似的关注。本文提出了一种通过自底向上设计具有详细可解释性的神经网络来规避这些问题的方法,其中每个神经元或层都有自己的意义和效用,对应于人类可理解的概念。本文介绍的框架被称为自奖励设计(SRD),受到反向奖励设计的启发,这种可解释的设计可以(1)通过纯设计(尽管不完美)解决问题,(2)像标准DNN一样进行优化。通过精心的人为设计,我们证明了一些RL问题,如lavaland和MuJoCo,可以使用标准NN组件构建的模型来解决,参数很少。此外,与我们的鱼销售拍卖的例子,我们演示了如何SRD是用来解决的情况下,将没有意义,如果使用黑盒模型,在人类可理解的基于语义的决策是必需的。
2023-01-21 cs.AI cs.LG
Teaching Responsible Data Science: Charting New Pedagogical Territory
New York University(纽约大学)
尽管有许多道德课程,其中许多专门关注技术和计算机道德,但这些课程中采用的教学方法完全依赖于文本,而不是软件开发或数据分析。技术专业的学生通常认为这些课程不重要,而且会分散他们对“真实”材料的注意力。为了开发出有思想性和吸引力的教学材料和方法,我们必须努力平衡:文本和编码之间,批判和解决方案之间,以及前沿研究和实用性之间。在负责任的数据科学(RDS)这一新兴领域中,找到这样的平衡尤为困难,因为我们才刚刚开始了解如何在工程和社会科学的本质不同的方法之间进行对接。在本文中,我们叙述了最近的经验,开发和教学RDS课程的研究生和高级本科生在数据科学。然后,我们深入到一个领域,这是至关重要的RDS -机器辅助决策的透明度和可解释性,并将这一领域的新兴RDS课程的需求。回顾我们自己的经验,并利用数据科学及其他领域的教学方法文献,我们提出了“对象解释”的概念。我们将这一概念与“营养标签”联系起来--这是一系列在RDS研究和实践中越来越受欢迎的可解释性工具。通过这项工作,我们的目标是为RDS教育的新生领域做出贡献,并激励社区中的其他人走到一起,对RDS的教学需求进行更深入的理论理解,并提供其他人可以使用的具体教育材料和方法。所有课程材料均可在https://dataresponsibly.github.io/courses上公开获取。
2019-12-23 cs.AI cs.CY cs.LG
Network Dissection: Quantifying Interpretability of Deep Visual Representations
MIT(麻省理工学院)
我们提出了一个称为网络解剖的一般框架,通过评估单个隐藏单元和一组语义概念之间的对齐来量化CNN潜在表示的可解释性。给定任何CNN模型,所提出的方法利用视觉概念的广泛数据集来对每个中间卷积层的隐藏单元的语义进行评分。具有语义的单元被赋予一系列对象、部件、场景、纹理、材质和颜色的标签。我们使用所提出的方法来测试假设,即单元的可解释性等同于单元的随机线性组合,然后我们应用我们的方法来比较各种网络在训练以解决不同的监督和自监督训练任务时的潜在表示。我们进一步分析了训练迭代的效果,比较了用不同初始化训练的网络,检查了网络深度和宽度的影响,并测量了dropout和批量归一化对深度视觉表示的可解释性的影响。我们证明了所提出的方法可以揭示CNN模型和训练方法的特征,这些模型和方法超越了它们的区分能力的测量。
2017-04-19 cs.AI cs.CV
Weight of Evidence as a Basis for Human-Oriented Explanations
Microsoft Research(微软研究院);University of Maryland(马里兰大学)
可解释性是现代机器学习方法的一个难以捉摸但非常受欢迎的特性。最近的工作集中在通过$\textit{explanations}$的可解释性,证明个别模型的预测。在这项工作中,我们从哲学、认知科学和社会科学的解释研究中汲取灵感,朝着协调机器解释与人类产生和偏好的解释迈出了一步。我们确定的关键方面,这些人类的解释不同于当前的机器解释,提炼成一个列表的desiderata,并通过信息论的概念,$\textit{weight of evidence}$,将它们形式化成一个框架。最后,我们实例化这个框架在两个简单的应用程序,并显示它产生直观和可理解的解释。
2019-10-29 cs.AI cs.LG stat.ML
The Interpretability of Codebooks in Model-Based Reinforcement Learning is Limited
Georgia Tech Research Institute(佐治亚理工学院研究学院);Georgia Institute of Technology(佐治亚理工学院)
本文研究了向量量化方法在基于模型的强化学习中是否真正提供可解释性,实验表明其编码存在不一致、非唯一且对概念解耦影响有限等问题,揭示了该方法在模型可解释性上的根本不足。
2024-07-28 cs.AI cs.LG
Enhancing Interpretability in Deep Reinforcement Learning through Semantic Clustering
College of Information Science University of Arizona(信息科学学院亚利桑那大学)
本文提出一种结合特征降维与在线聚类的语义聚类模块,集成到深度强化学习训练流程中,以提高可解释性,并通过新分析方法揭示策略层次结构与特征空间语义组织。
2025-10-23 cs.AI
Enhancing Uncertainty Estimation and Interpretability via Bayesian Non-negative Decision Layer
National Key Laboratory of Radar Signal Processing, Xidian University(雷达信号处理国家重点实验室,西安电子科技大学);School of Mathematics and Statistics, Xi’an Jiaotong University(数学与统计学院,西安交通大学);McCombs School of Business, The University of Texas at Austin(商学院,德克萨斯大学奥斯汀分校)
针对深度神经网络不确定性估计困难与可解释性差的问题,提出贝叶斯非负决策层(BNDL),通过条件贝叶斯非负因子分析与 Weibull 变分推理实现解耦学习,从而提升模型准确率、不确定性估计与可解释性。
2025-05-28 cs.AI cs.LG
TSInsight: A local-global attribution framework for interpretability in time-series data
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));TU Kaiserslautern(凯泽斯劳滕工业大学)
随着深度学习方法在安全关键场景中的应用越来越多,可解释性比以往任何时候都更加重要。虽然已经探索了许多不同的方向,关于可解释性的视觉模态,时间序列数据已被忽略,只有少数的方法测试,由于其较差的可理解性。我们通过提出TSInsight以一种新的方式来解决可解释性问题,在TSInsight中,我们将自动编码器附加到分类器上,在其输出上具有稀疏诱导范数,并根据分类器的梯度和重建惩罚对其进行微调。TSInsight学习保留对分类器预测重要的特征,并抑制那些不相关的特征,即作为一种特征归因方法来提高可解释性。与大多数其他归因框架相比,TSInsight能够生成基于实例和基于模型的解释。我们在8个不同的时间序列数据集上评估了TSInsight以及其他9种常用的归因方法,以验证其有效性。评估结果表明,TSInsight自然实现了输出空间收缩,因此,是一个有效的工具,深度时间序列模型的可解释性。
2020-04-06 cs.AI cs.LG stat.ML
VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry
Paul Wurth S.A.(保尔沃斯公司)
应用于生成数据驱动模型的机器学习缺乏透明度,导致过程工程师对依赖模型预测来优化其工业过程失去信心。使用数据驱动模型将行业流程提升到一定程度的自主性尤其具有挑战性,因为这些模型的第一个用户通常是拥有数十年经验的流程专家。有必要向过程工程师展示,不仅是模型预测,而且还有它们的可解释性。为此,文献中提出了几种方法。局部可解释模型不可知解释(LIME)方法最近引起了研究界的极大兴趣。该方法的原理是通过在局部随机生成人工数据点来训练一个局部逼近黑盒模型的线性模型。最近出现了基于LIME的模型不可知局部可解释性解决方案,以改进原始方法。在本文中,我们提出了一种新的方法,VAE-LIME,本地可解释的数据驱动模型预测的高炉生产的铁水温度。这样的炼铁过程数据的特征在于具有高度相关性的多变量时间序列,其代表高炉中的潜在过程。我们的贡献是使用变分自编码器(VAE)从数据中学习复杂的高炉过程特性。VAE旨在生成最佳人工样本以训练局部可解释模型,该局部可解释模型在由黑盒模型处理的输入样本的邻域中更好地表示黑盒模型以进行预测。与LIME相比,VAE-LIME显示出显着改善的局部可解释线性模型的局部保真度与黑盒模型,从而产生鲁棒的模型可解释性。
2020-07-15 cs.AI cs.LG stat.ML
Bayesian Kolmogorov Arnold Networks (Bayesian_KANs): A Probabilistic Approach to Enhance Accuracy and Interpretability
University of Zakho(扎胡大学)
本文提出 BKANs 框架,将 Kolmogorov Arnold Networks 与贝叶斯推断结合,在两个医学诊断基准上提升准确性、可解释性和不确定性量化。
2024-08-05 cs.AI cs.LG
TDHook: A Lightweight Framework for Interpretability
LIP6(LIP6实验室);Sorbonne University(索邦大学)
TDHook是一个轻量级的可解释性框架,旨在通过处理复杂组合模型和提供灵活的API,提升现代可解释性流水线的易用性。
2026-01-09 cs.AI cs.LG