Explainable AI: Learning from the Learners
National University of Singapore(新加坡国立大学)
本文提出XAI结合因果推理,通过基础模型与可解释性方法的结合,实现从学习者中学习,提升科学和工程中的信任与问责
2026-02-14 cs.AI cs.LG physics.comp-ph
Explainable AI Integrated Feature Engineering for Wildfire Prediction
Los Alamos National Laborator, Los Alamos, NM 87545
本文通过评估多种机器学习算法,发现XGBoost在野火分类中表现最佳、随机森林在过火面积回归中表现最优,并提出融合数值与图像数据的混合神经网络,结合XAI技术揭示关键特征,强调模型可解释性在环境科学中的重要性。
2024-04-01 cs.LG
Opening the Black Box: An Explainable, Few-shot AI4E Framework Informed by Physics and Expert Knowledge for Materials Engineering
Beijing Institute of Aeronautical Materials(北京航空材料研究院);Northwestern Polytechnical University(西北工业大学)
本文提出一个受物理和专家知识启发的可解释、少样本AI4E框架,通过生成合成数据和优化策略提升工程领域模型的可解释性和准确性。
2025-11-28 cs.AI cs.LG
Illuminate: A novel approach for depression detection with explainable analysis and proactive therapy using prompt engineering
本文提出一种基于大语言模型和提示工程的抑郁症检测与治疗方法,通过少样本提示和CBT模块实现可解释分析及主动治疗,并验证了其有效性。
2024-02-05 cs.AI cs.CL cs.LG
Towards Explainable Deep Learning for Credit Lending: A Case Study
Capital One(第一资本);Columbia University(哥伦比亚大学)
由于缺乏模型可解释性,金融服务行业的深度学习采用受到限制。然而,已经提出了几种技术来解释由神经网络做出的预测。我们提供了一个初步的调查这些技术的信用风险评估与神经网络。
2018-11-30 cs.AI cs.LG
Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory
Find Solution Ai Limited(Find Solution Ai有限公司)
基于深度学习的知识追踪模型已被证明优于传统的知识追踪模型,而不需要人工工程的功能,但其参数和表示长期以来一直被批评为无法解释。在本文中,我们提出了Deep-IRT,这是一个综合的项目反应理论(IRT)模型和知识追踪模型,是基于深度神经网络架构称为动态键值记忆网络(DKVMN),使深度学习为基础的知识追踪可解释。具体来说,我们使用DKVMN模型来处理学生的学习轨迹,并估计学生的能力水平和项目难度水平随着时间的推移。然后,我们使用IRT模型来估计概率,学生将正确回答一个项目使用估计的学生能力和项目的难度。实验表明,Deep-IRT模型保留了DKVMN模型的性能,同时提供了对学生和项目的直接心理解释。
2019-04-26 cs.AI cs.LG stat.ML
Explainable Artificial Intelligence Techniques for Software Development Lifecycle: A Phase-specific Survey
Google(谷歌)
本文针对软件工程领域XAI研究阶段分布不均的问题,首次全面综述了多种XAI技术在软件开发生命周期全阶段的应用,以推动XAI落地与AI驱动软件开发发展。
2025-05-11 cs.AI cs.LG cs.SE
Deep Learning, Natural Language Processing, and Explainable Artificial Intelligence in the Biomedical Domain
Medical University of Vienna(维也纳医科大学)
在这篇文章中,我们首先在第一部分介绍了人工智能及其在生物学和医学中的应用。然后在第2节中描述深度学习方法。我们在第3节中缩小了对文本数据的研究重点,其中描述了自然语言处理及其在生物医学领域的应用。在第4节中,我们介绍了可解释的人工智能,并讨论了可解释性的重要性,人工智能系统,特别是在生物医学领域。
2022-03-07 cs.AI cs.CL cs.LG
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia(西澳大利亚大学)
深度视觉模型在高风险领域有着广泛的应用。因此,它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查,重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献,我们不仅提供了现有技术的分类组织,而且还挖掘了一系列的评估指标,并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论,我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
Explainable AI models for predicting liquefaction-induced lateral spreading
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究利用SHAP解释基于2011年Christchurch地震数据训练的XGB模型,揭示了CPT土壤特性对侧向扩展预测的影响,提升了机器学习在岩土工程决策中的透明度与可靠性。
2024-04-24 cs.LG physics.geo-ph
NeuroView: Explainable Deep Network Decision Making
Rice University(莱斯大学)
深度神经网络(DN)在许多计算机视觉任务中提供了超人的性能,但仍不清楚DN的哪些单元对特定决策有贡献。NeuroView是一个新的DN架构系列,可通过设计进行解释/说明。该家族的每个成员都是通过对单元输出值进行矢量量化并将其馈送到全局线性分类器中而从标准DN架构中导出的。由此产生的架构建立了一个直接的,因果关系之间的联系,每个单元的状态和分类决策。我们在标准数据集和分类任务上验证NeuroView,以显示其单元/类映射如何帮助理解决策过程。
2021-10-15 cs.CV cs.LG
Explainable deep learning models in medical image analysis
University of Waterloo(滑铁卢大学)
深度学习方法对于各种医疗诊断任务非常有效,甚至在其中一些方面击败了人类专家。然而,算法的黑盒性质限制了临床使用。最近的可解释性研究旨在显示最影响模型决策的特征。这一领域的大多数文献综述都集中在分类学、伦理学和解释的必要性上。本文综述了当前可解释深度学习在不同医学成像任务中的应用。本文从深度学习研究人员为临床最终用户设计系统的实践角度讨论了临床部署的各种方法、挑战以及需要进一步研究的领域。
2020-05-28 cs.CV cs.LG eess.IV
An Explainable Deep Learning-based Prognostic Model for Rotating Machinery
本文开发了一个可解释的深度学习模型,用于估计旋转机械的剩余使用寿命。该模型使用自动编码器从傅立叶变换中提取高级特征。该等特征用作前馈神经网络的输入以估计剩余可使用年期。本文通过分析特征的组成以及特征与估计结果之间的关系来解释模型的行为。为了使该模型具有可解释性,本文引入了倍频带滤波。滤波减小了自动编码器的输入大小并简化了模型。最后通过一个案例说明了该模型的解释方法。该研究还表明,该模型中的倍频程带滤波模仿了低级卷积层的功能。这一结果支持了使用滤波来降低模型深度的有效性。
2020-04-28 cs.LG eess.SP
An Explainable Deep Reinforcement Learning Model for Warfarin Maintenance Dosing Using Policy Distillation and Action Forging
Duke Energy Company(杜克能源公司);The University of Iowa Tippie College of Business(爱荷华大学蒂皮商学院)
本文针对华法林维持剂量提出了一种可解释的深度强化学习模型,结合近端策略优化与策略蒸馏,并引入动作锻造技术实现可解释性,其表现优于基线算法且易于部署。
2024-04-26 cs.LG
Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学)
对于许多应用,利用DNN(深度神经网络)需要以关于能耗、存储器要求、吞吐量等的优化方式在目标架构上实现。DNN压缩用于在硬件上部署DNN之前减少DNN的存储器占用和复杂性。近年来,人们对人工智能(人工智能)方法的理解和解释产生了一个新的研究领域,称为可解释人工智能。可解释的人工智能方法使我们能够更好地理解DNN的内部工作,例如不同神经元和特征的重要性。可解释人工智能的概念提供了一个机会来改进DNN压缩方法,例如量化和修剪,这些方法到目前为止还没有得到充分的探索。在本文中,我们使用可解释的AI方法:主要是DeepLIFT方法。我们将这些方法用于(1)DNN的修剪;这包括\ac{CNN}过滤器的结构化和非结构化修剪以及全连接层的修剪权重,(2)使用聚类算法的DNN权重的非均匀量化;这也被称为权重共享,以及(3)基于整数的混合精度量化;这是DNN的每一层可以使用不同数目的整数比特的地方。我们使用典型的图像分类数据集和常见的深度学习图像分类模型进行评估。在所有这三种情况下,我们展示了在DNN压缩中使用可解释AI的显着改进以及新的见解和机会。
2020-08-20 cs.AI cs.CV cs.LG
Improving Deep Neural Network Classification Confidence using Heatmap-based eXplainable AI
Nanyang Technological University(南洋理工大学)
针对图像分类问题,对基于热图的可解释人工智能(XAI)方法的质量进行了量化。在这里,如果热图提高了预测正确类别的概率,则热图被认为是可取的。根据经验,不同的基于XAI热图的方法可以在不同程度上提高分类置信度,具体取决于数据集,例如,显着性在ImageNet上效果最好,去卷积在胸部X射线肺炎数据集上效果最好。新颖性包括一个新的差距分布,显示了正确和错误的预测之间的明显差异。最后,介绍了生成增强解释,这是一种生成热图的方法,能够将预测置信度提高到一个高水平。
2023-01-21 cs.AI cs.LG
Explainable Deep Modeling of Tabular Data using TableGraphNet
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of South Carolina(南卡罗来纳大学)
绝大多数关于可解释性的研究都集中在后可解释性方面,而不是可解释性建模。也就是说,一个解释模型来解释一个复杂的黑箱模型建立的唯一目的是实现最高的性能可能。在某种程度上,这种趋势可能是由一种误解驱动的,即在可解释性和准确性之间存在权衡。此外,基于博弈论的Shapely值的后续工作也有助于新一波的后可解释性研究,以更好地近似各种机器学习模型,包括深度学习模型。我们提出了一个新的架构,固有地产生可解释的预测的形式添加剂的功能属性。我们的方法为数据集中的每个记录学习一个图形表示。然后,从图中导出以属性为中心的特征,并将其馈送到贡献深度集模型中以产生最终预测。我们表明,我们的可解释模型达到了与黑盒模型相同的性能水平。最后,我们提供了一种增强的模型训练方法,该方法利用了缺失属性,并在不损失准确性的情况下产生高水平的一致性(如Shapely值所需)。
2020-02-12 cs.AI cs.LG
Explainable Deep Learning: A Field Guide for the Uninitiated
Donders Institute for Brain, Cognition and Behaviour(唐德斯大脑、认知与行为研究所);Radboud University Nijmegen(拉德堡德大学奈梅亨分校);Amazon(亚马逊);Tenet3, LLC(Tenet3有限责任公司)
深度神经网络(DNN)已经成为一种经过验证的不可或缺的机器学习工具。作为一个黑盒模型,仍然很难诊断模型输入的哪些方面驱动DNN的决策。在从立法和执法到医疗保健的无数现实领域中,这种诊断对于确保DNN决策由其使用环境中适当的方面驱动至关重要。因此,能够解释DNN决策的方法和研究的发展已经发展成为一个活跃的,广泛的研究领域。想要研究可解释的深度学习的从业者可能会被该领域所采取的过多正交方向所吓倒。这种复杂性进一步加剧了它的意思是什么竞争的定义“解释”DNN的行动和评估方法的“解释能力”。本文提供了一个领域指南,旨在探索可解释的深度学习空间,针对该领域的新手。现场指南:i)介绍了定义有助于可解释深度学习的基础方法空间的三个简单维度,ii)讨论了模型解释的评估,iii)将可解释性置于其他相关深度学习研究领域的背景下,iv)最后阐述了面向用户的解释设计和可解释深度学习的潜在未来方向。我们希望这本指南可以作为那些刚刚开始这一领域研究的人的一个易于理解的起点。
2021-09-13 cs.AI cs.LG stat.ML
Generative Counterfactual Introspection for Explainable Deep Learning
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
在这项工作中,我们提出了一种用于深度神经网络的内省技术,该技术依赖于生成模型来煽动对输入图像进行显着编辑以进行模型解释。这种修改提供了基本的干预操作,使我们能够获得反事实调查的答案,即,可以对输入图像进行什么有意义的改变以改变预测。我们演示了如何通过利用MNIST和CelebA数据集上提出的内省方法来揭示给定分类器的有趣特性。
2019-07-06 cs.AI cs.CV cs.LG
An Empirical Study of Explainable AI Techniques on Deep Learning Models For Time Series Tasks
University of Konstanz(康斯坦茨大学);Offenburg University of Applied Sciences(奥芬堡应用科学大学)
机器学习黑盒模型的决策解释通常通过应用可解释AI(XAI)技术来生成。然而,许多提出的XAI方法产生未经验证的输出。评估和验证通常通过人类对单个图像或文本的视觉解释来实现。在这个预注册,我们提出了一个实证研究和基准框架,应用归因方法的神经网络开发的图像和文本数据的时间序列。我们提出了一种方法来自动评估和排名归因技术的时间序列使用扰动方法来确定可靠的方法。
2020-12-08 cs.AI cs.LG
Visual Analytics for Explainable Deep Learning
Korea University(高丽大学);Tsinghua University(清华大学)
最近,深度学习已经将人工智能的技术水平推进到一个新的水平,人类比以往任何时候都更加依赖人工智能技术。然而,即使有了这些前所未有的进步,对深度学习模型所做的决定缺乏解释,以及对其内部过程缺乏控制,也是精准医学和执法等关键决策过程的主要缺点。作为回应,人们正在努力使深度学习可由人类解释和控制。在本文中,我们回顾了可视化分析,信息可视化,和机器学习的观点相关的这一目标,并讨论了潜在的挑战和未来的研究方向。
2018-04-07 cs.HC cs.LG stat.ML
Combining Deep Learning and Explainable AI for Toxicity Prediction of Chemical Compounds
Analytical Chemistry Department Iuliu Haţieganu University of Medicine;Pharmacy, Cluj-Napoca, Romania acernat.umfcluj.ro
本研究利用DenseNet121处理化合物二维结构图像,结合Grad-CAM可解释技术,在Tox21数据集上实现了有竞争力的毒性预测,兼顾准确性与模型透明度。
2025-10-26 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics(查尔斯河分析公司)
我们考虑的问题,提供用户的深度强化学习(RL)为基础的系统,更好地了解他们的输出时,可以信任。我们提供了一个可解释的人工智能(XAI)框架,它提供了三重解释:在当前游戏状态下系统泛化和性能的图形描述,代理在语义相似的环境中的表现如何,以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面,并通过人类用户实验评估了其有效性。结果表明,与没有解释的AI系统相比,用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Explainable Deepfake Video Detection using Convolutional Neural Network and CapsuleNet
BRAC University(BRAC大学)
本研究利用CNN、CapsuleNet和LSTM检测深度伪造视频帧,并通过可解释AI阐明模型决策,以提升透明度和安全性。
2024-04-19 cs.CV cs.LG eess.IV
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory(西穆拉研究院)
本文结合RL策略模型检查与共激活图分析,解释经过安全验证的深度强化学习策略的内部机制,并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
Explainable Deep Learning for Uncovering Actionable Scientific Insights for Materials Discovery and Design
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
科学界越来越有兴趣利用深度学习的力量来解决各种领域的挑战。然而,尽管构建预测模型是有效的,但由于其不透明的性质,从深度神经网络中提取可操作的知识存在根本挑战。在这项工作中,我们提出了探索深度学习模型的行为的技术,通过在分析管道中注入特定于域的可操作属性作为可调的“旋钮”。通过将领域知识整合到生成式建模框架中,我们不仅能够更好地理解这些黑盒模型的行为,而且还为科学家提供了可操作的见解,这些见解可能会导致根本性的发现。
2020-07-16 cs.CV cs.LG
Explainable Deep Learning for Video Recognition Tasks: A Framework & Recommendations
Crime and Security Research Institute(犯罪与安全研究所);Cardiff University(卡迪夫大学);School of Engineering(工程学院)
深度学习在现实世界中的应用越来越受欢迎。随着高性能硬件的推出,应用程序不再局限于图像识别。随着越来越复杂的问题的出现,越来越复杂的解决方案也随之而来,对可解释的人工智能的需求也越来越大。用于视频任务的深度神经网络是最复杂的模型之一,其参数至少是图像对应模型的两倍。然而,这些模型的解释往往不适合视频域。目前在视频模型的可解释性方面的工作仍然被图像技术所掩盖,而视频深度学习本身正在快速获得静止图像的方法。本文旨在强调使用视频深度学习模型设计的可解释性方法的必要性,并考虑到关联时空输入,首先说明视频深度学习的前沿,然后注意到这些方法的解释研究的缺乏。
2019-09-07 cs.CV cs.HC cs.LG
Explainable Multivariate Time Series Classification: A Deep Neural Network Which Learns To Attend To Important Variables As Well As Informative Time Intervals
The Pennsylvania State University(宾夕法尼亚州立大学)
时间序列数据在各种现实世界的应用中很普遍,它需要可信和可解释的模型,以便人们理解并完全信任人工智能解决方案所做的决策。我们考虑从多变量时间序列数据建立可解释的分类器的问题。理解这种预测模型的一个关键标准涉及阐明和量化时变输入变量对分类的贡献。因此,我们引入了一种新的,模块化的,基于卷积的特征提取和注意力机制,同时识别的变量,以及确定分类器输出的时间间隔。我们提出了广泛的实验结果与几个基准数据集,表明所提出的方法优于国家的最先进的基线方法对多变量时间序列分类任务。我们的案例研究的结果表明,所提出的方法确定的变量和时间间隔是有意义的,相对于现有的领域知识。
2020-11-23 cs.LG
Deep multi-stations weather forecasting: explainable recurrent convolutional neural networks
Maastricht University(马斯特里赫特大学)
由于数据驱动模型取得的进展,应用于天气预报的深度学习开始受到欢迎。本文比较了两种不同的深度学习架构,对从欧洲18个城市收集的15年内的每日数据进行天气预测。我们提出了深度注意单流多流(DAUM)网络,它研究了不同类型的输入表示(即张量单流与多流)以及注意力机制的结合。特别是,我们表明,在模型中添加自我注意块提高了整体预测性能。此外,可视化技术,如遮挡分析和得分最大化,用于提供对最重要的功能和城市的额外见解,用于预测目标城市的特定目标功能。
2021-02-10 cs.LG stat.ML
A Survey on Explainable Deep Reinforcement Learning
Northwestern University(西北大学)
本综述针对深度强化学习(DRL)的黑箱不可解释性问题,系统梳理了可解释深度强化学习(XRL)的多维度解释技术、评估框架及应用场景,并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
Explainable Artificial Intelligence Architecture for Melanoma Diagnosis Using Indicator Localization and Self-Supervised Learning
University of Southern California(南加州大学)
黑色素瘤是一种流行的致命类型的癌症,如果在发展的早期阶段诊断出来,是可以治疗的。皮肤病变是诊断黑色素瘤的典型指标,但由于黑色素瘤早期癌性和良性病变的高度相似性,它们经常导致诊断延迟。深度学习(DL)可以用作以高准确度对皮肤病变图片进行分类的解决方案,但是深度学习的临床采用面临重大挑战。原因是深度学习模型的决策过程通常是不可解释的,这使得它们成为难以信任的黑箱。我们开发了一种用于黑色素瘤诊断的可解释的深度学习架构,该架构为其决策生成临床可解释的视觉解释。我们的实验表明,我们提出的架构匹配临床解释显着优于现有的架构。
2023-03-26 cs.CV cs.LG
Drug discovery with explainable artificial intelligence
ETH Zurich(苏黎世联邦理工学院)
深度学习为药物发现带来了希望,包括先进的图像分析、分子结构和功能的预测,以及自动生成具有定制特性的创新化学实体。尽管越来越多的成功的应用前景,基本的数学模型往往仍然难以捉摸的解释人类的头脑。需要“可解释的”深度学习方法来解决对分子科学机器语言的新叙述的需求。本文总结了可解释人工智能最突出的算法概念,并大胆预测了未来的机会,潜在的应用,和剩余的挑战。
2020-07-02 cs.AI cs.LG stat.ML
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay(印度理工学院孟买分校)
受深度强化学习(RL)最新进展的启发,我们开发了一个RL代理来管理家庭中存储设备的操作,旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的,RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中,RL agent被认为是一个黑盒子,agent是如何学习的往往被忽略。我们解释了RL代理的学习过程,以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
Explainable Deep Reinforcement Learning: State of the Art and Challenges
University of Piraeus(比雷埃夫斯大学)
可解释性、可解释性和透明度是在许多关键领域引入人工智能方法的关键问题:这一点很重要,因为道德问题和信任问题与可靠性、鲁棒性、可重复性和公平性密切相关,并且对在高水平自动化中保持人类参与循环具有重要影响,特别是在决策的关键情况下,人和机器都扮演着重要的角色。虽然研究界对封闭(或黑色)预测框的可解释性给予了很大的关注,但对于支持智能体在现实世界中自主行动的封闭框方法的可解释性有着巨大的需求。强化学习方法,尤其是它们的深度版本,就是这样的封闭式方法。在这篇文章中,我们的目标是提供一个可解释的深度强化学习方法的最新方法的审查,同时考虑到人类操作员的需求-即,那些在解决现实问题时做出实际和关键决定的人。我们提供了深度强化学习可解释性问题的正式规范,并确定了一般可解释强化学习框架的必要组成部分。在此基础上,我们提供了一个全面的审查国家的最先进的方法,分类他们在类根据他们遵循的范式,他们使用的可解释的模型,并提供解释的表面表示。文章最后指出了未决问题和重要挑战。
2023-01-24 cs.LG
XG-BoT: An Explainable Deep Graph Neural Network for Botnet Detection and Forensics
The University of Queensland(昆士兰大学)
在本文中,我们提出了XG-BoT,一个可解释的深度图神经网络僵尸网络节点检测模型。该模型包括一个僵尸网络检测器和一个自动取证解释器。XG-BoT检测器可以有效地检测大规模网络中的恶意僵尸网络节点。具体来说,它利用一个分组可逆的剩余连接与图同构网络学习表达节点表示僵尸网络通信图。该解释器基于XG-BoT中的GNNExplainer和显着图,可以通过突出可疑网络流和相关僵尸网络节点来执行自动网络取证。我们使用真实世界的大规模僵尸网络图数据集评估了XG-BoT。总体而言,XG-BoT在关键评估指标方面优于最先进的方法。此外,我们还证明了XG-BoT解释器可以为自动网络取证生成有用的解释。
2023-03-11 cs.CR cs.LG cs.NI
Explainable Deep Learning to Profile Mitochondrial Disease Using High Dimensional Protein Expression Data
Newcastle University(纽卡斯尔大学)
由于我们对其病理学的了解有限,线粒体疾病目前无法治疗。我们研究了骨骼肌纤维(SM)中各种线粒体蛋白的表达,以发现线粒体病理过程中使用成像质谱(IMC)。IMC产生表示组织内一组蛋白质表达的空间变化(包括亚细胞变化)的高维多通道伪图像。这些图像的统计分析需要对患者肌肉活检的IMC图像中的数千个SM进行半自动注释。在本文中,我们研究了在原始IMC数据上使用深度学习(DL)来分析它,而无需任何手动预处理步骤,统计汇总或统计模型。为此,我们首先在所有可用的图像通道上对最先进的计算机视觉DL模型进行组合和单独的训练。我们观察到许多模型的准确性好于预期。然后,我们应用国家的最先进的可解释的技术相关的计算机视觉DL找到这些模型的预测的基础。一些由此产生的视觉可解释的地图突出显示了图像中的特征,这些特征似乎与关于肌纤维内线粒体疾病进展的最新假设一致。
2022-10-31 cs.LG
Does Your Model Think Like an Engineer? Explainable AI for Bearing Fault Detection with Deep Learning
Siemens AG(西门子股份公司)
本文针对滚动轴承故障检测任务,提出了一种特定领域的特征归因框架,通过结合信号处理工具评估模型逻辑与专家推理的一致性,验证了深度学习模型的可信度并预测其泛化能力,为增强可解释AI提供了通用模板。
2023-10-19 cs.AI cs.LG
Deep Explainable Learning with Graph Based Data Assessing and Rule Reasoning
Aliyun(阿里云);Alibaba Group(阿里巴巴集团);Xichang Steel and Vanadium Co., Ltd.(西昌钢钒有限公司);Pangang Group(攀钢集团)
学习一个可解释的分类器通常会导致模型的准确度较低,或者最终会得到一个庞大的规则集,而学习一个深度模型通常更能够处理大规模的噪声数据,但代价是难以解释结果,泛化能力较弱。为了弥补这一差距,我们提出了一种端到端的深度可解释学习方法,该方法结合了深度模型在噪声处理和基于专家规则的可解释性方面的优势。具体来说,我们建议学习一个深度数据评估模型,该模型将数据建模为一个图,以表示不同观测之间的相关性,其输出将用于提取关键数据特征。然后将关键特征输入到规则网络中,该规则网络根据具有可训练参数的预定义噪声专家规则构建。由于这些模型是相互关联的,我们提出了一个端到端的训练框架,利用规则分类损失,同时优化规则学习模型和数据评估模型。由于基于规则的计算是不可微的,我们提出了一个梯度连接搜索模块来携带梯度信息从规则学习模型到数据评估模型。该方法在工业生产系统中进行了测试,显示出相当的预测精度,更高的泛化稳定性和更好的可解释性相比,体面的深集成基线,并显示出更好的拟合能力比纯粹的基于规则的方法。
2022-11-10 cs.AI cs.LG
On the Effect of Ruleset Tuning and Data Imbalance on Explainable Network Security Alert Classifications: a Case-Study on DeepCASE
Eindhoven University of Technology(埃因霍温理工大学)
本文以DeepCASE为例,研究标签不平衡对网络入侵告警分类性能及解释正确性的影响,发现调优SOC检测规则可显著减少不平衡,从而提升告警后处理方法的性能与可解释性。
2025-07-02 cs.CR cs.LG cs.NI
Deep Distilling: automated code generation using explainable deep learning
Green Center for Systems Biology, University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心格林系统生物学中心);Department of Bioinformatics, University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心生物信息学系);Department of Biophysics, University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心生物物理学系);Department of Biomedical Engineering, Johns Hopkins University(约翰斯·霍普金斯大学生物医学工程系)
人类的推理可以从观察到的模式中提炼出原则,并将其概括为解释和解决新问题。最强大的人工智能系统缺乏可解释性和符号推理能力,因此在需要人类理解的领域(如科学或常识推理)还没有取得至高无上的地位。在这里,我们介绍深度蒸馏,这是一种机器学习方法,它使用可解释的深度学习从数据中学习模式,然后将其浓缩成简洁的可执行计算机代码。代码可以包含循环、嵌套的逻辑语句和有用的中间变量,与神经网络相当,但通常更紧凑,更容易理解。在涉及算术、计算机视觉和优化的各种问题上,我们证明了深度提取生成简洁的代码,这些代码可以概括分布外的问题,以解决比训练数据更大、更复杂的问题。对于具有已知地面实况规则集的问题,深度提取可以准确地发现规则集,并具有可扩展性保证。对于模糊或计算上难以处理的问题,提炼出的规则类似于现有的人类衍生算法,并且表现得相当或更好。我们的方法表明,无辅助的机器智能可以构建可推广和直观的规则,解释大型数据集中的模式,否则会压倒人类推理。
2021-11-16 cs.LG
Towards Explainable Deep Neural Networks (xDNN)
Lancaster University(兰卡斯特大学)
在本文中,我们提出了一个优雅的解决方案,直接解决了传统深度学习方法的瓶颈,并提供了一个清晰可解释的内部架构,可以超越现有的方法,需要很少的计算资源(不需要GPU)和短的训练时间(秒级)。所提出的方法,xDNN正在使用原型。原型是实际的训练数据样本(图像),其是被称为典型性的经验数据分布以及数据密度的局部峰值。该生成模型以封闭形式识别,并且等同于pdf,但是完全自动地从训练数据导出,没有用户或问题特定的阈值、参数或干预。提出的xDNN提供了一种新的深度学习架构,将推理和学习结合在一起。它是非迭代和非参数的,这解释了它在时间和计算资源方面的效率。从用户的角度来看,所提出的方法显然是人类用户可以理解的。我们在一些知名的基准数据集上进行了测试,如iRoads和Caltech-256。xDNN在准确性、训练时间方面优于包括深度学习在内的其他方法,并提供了一个清晰可解释的分类器。事实上,非常难的Caltech-256问题(有257个类)的结果代表了世界纪录。
2019-12-05 cs.AI cs.CV cs.LG
Explainable Deep One-Class Classification
Technical University of Kaiserslautern(凯泽斯劳滕工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Technical University of Berlin(柏林工业大学);Google Research, Brain Team(谷歌研究院大脑团队);Korea University(高丽大学)
用于异常检测的深度单类分类变体学习将标称样本集中在特征空间中的映射,从而导致异常被映射掉。由于这种转换是高度非线性的,因此找到解释是一个重大挑战。在本文中,我们提出了一种可解释的深度一类分类方法,全卷积数据描述(FCDD),其中映射的样本本身也是一个解释热图。FCDD产生了有竞争力的检测性能,并为CIFAR-10和ImageNet的常见异常检测基准提供了合理的解释。在MVTec-AD上,最近的一个制造数据集提供了地面实况异常图,FCDD在无监督设置中设置了一个新的艺术状态。我们的方法可以在训练过程中结合地面实况异常图,即使使用其中的一些(~5)也可以显着提高性能。最后,使用FCDD的解释,我们证明了深一类分类模型的脆弱性,虚假的图像特征,如图像水印。
2021-03-18 cs.CV cs.LG stat.ML
Explainable Deep Reinforcement Learning Using Introspection in a Non-episodic Task
Escola Politécnica de Pernambuco, Universidade de Pernambuco(伯南布哥大学伯南布哥理工学院);Deakin University(迪肯大学);Universidad Central de Chile(智利中央大学)
可解释的强化学习允许人工代理以类似人类的方式针对非专家终端用户解释其行为。创建解释的一个有效的替代方案是使用基于内省的方法,将Q值转换为成功的概率,作为解释代理决策过程的基础。这种方法已被有效地用于情节和离散的场景,但是,在非情节和更复杂的环境中计算成功的概率还没有得到解决。在这项工作中,我们适应的内省方法用于非情节的任务,并尝试在连续的雅达利游戏场景解决彩虹算法。我们的初步结果表明,成功的概率可以直接从所有可能的行动的Q值计算。
2021-08-18 cs.AI cs.LG
Explainable AI for Radar Resource Management: Modified LIME in Deep Reinforcement Learning
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系)
本文提出了一种将深度学习集成到采样过程的改进LIME方法(DL-LIME),应用于雷达资源管理的深度强化学习中,以解决传统LIME忽略特征相关性的问题,并在保真度、任务性能及决策因素洞察上展现优越性。
2025-06-26 cs.LG
Explainable Neural Networks based on Additive Index Models
Wells Fargo(富国银行)
近年来,机器学习算法由于其在模型拟合方面的灵活性和提高的预测性能而越来越多地被使用。然而,模型的复杂性使得数据分析师很难在没有额外工具的情况下解释结果。这导致了许多研究,开发各种方法来理解模型的行为。在本文中,我们提出了可解释的神经网络(xNN),一个结构化的神经网络,专门设计用于学习可解释的功能。与完全连接的神经网络不同,xNN设计的特征可以以相对简单的方式从网络中提取,并显示结果。通过适当的正则化,xNN提供了对特征和输出之间关系的简洁解释。我们说明了这个可解释的功能-模拟的例子上的工程属性。
2018-06-05 cs.LG stat.ML
Explainable Deep Relational Networks for Predicting Compound-Protein Affinities and Contacts
Department of Electrical;Computer Engineering, Texas A\&M University, College Station, TX 77843, United States;Department of Computer Science;Engineering, Texas A\&M University, College Station, TX 77843, United States
预测化合物与蛋白质的亲和力对于加速药物发现至关重要。机器学习最近取得的进展主要集中在准确性上,但在可解释性方面还有很多需要改进的地方。通过分子联系的基础亲和力,我们的大规模的可解释性评估发现常用的注意力机制不足。因此,我们制定了一个层次化的多目标学习问题,其预测的接触形成的基础上预测的亲和力。我们进一步设计了一个物理启发的深度关系网络,DeepRelations,具有内在可解释的架构。具体来说,各种原子级接触或“关系”导致分子级亲和力预测。嵌入式注意与预测的结构上下文和监督部分可用的训练接触。DeepRelations表现出了卓越的可解释性:在不影响亲和力预测的情况下,它分别将测试、化合物独特、蛋白质独特和两者都独特的接触预测的AUPRC提高了9.5、16.9、19.3和5.7倍。我们的研究代表了第一个专门的模型开发和系统的模型评估,可解释的机器学习的化合物-蛋白质亲和力。
2019-12-29 cs.LG q-bio.BM
Explainable Artificial Intelligence Model for Evaluating Shear Strength Parameters of Municipal Solid Waste Across Diverse Compositional Profiles
The Joint Graduate School of Energy and Environment, King Mongkut's University of Technology Thonburi(泰国国王科技大学吞武里校区能源与环境联合研究生院);AI Research Group, Department of Civil Engineering, Faculty of Engineering, King Mongkut's University of Technology Thonburi(泰国国王科技大学吞武里校区工程学院土木工程系人工智能研究组);Center of Excellence on Energy Technology and Environment (CEE), PERDO, Ministry of Higher Education, Science, Research and Innovation (MHESI)(高等教育、科学、研究与创新部PERDO能源技术与环境卓越中心);Department of Environmental Engineering, Faculty of Engineering, Kasetsart University(农业大学工程学院环境工程系)
本文提出一种结合多层感知器与SHAP分析的可解释AI框架,用于预测不同组成下城市固体废弃物的黏聚力和内摩擦角,较传统方法精度更高,并揭示纤维材料和颗粒级配为主要影响因素。
2025-02-26 cs.AI cs.LG
Visual Interpretable and Explainable Deep Learning Models for Brain Tumor MRI and COVID-19 Chest X-ray Images
Osnabrück University(奥斯纳布吕克大学);Rhodes University(罗德斯大学)
本文通过基于自适应路径的梯度积分归因方法,对脑肿瘤 MRI 和 COVID-19 胸部 X 光图像的深度学习预测进行可视化解释,揭示模型推理依据与偏差,从而提升医疗领域对深度学习的信任。
2023-08-07 cs.LG
Uncertainty-Aware and Explainable Ensemble Deep Learning Framework for Multi-Class Skin Lesion Classification
Wilfrid Laurier University(威尔弗里德劳里埃大学)
针对皮肤癌诊断的难点,提出集成MaxViT-Tiny与两类CNN模型的深度学习框架,结合MC Dropout估测不确定性、Grad-CAM++提供可解释性,在HAM10000数据集上取得优异分类性能,支撑可信计算机辅助诊断。
2026-08-13 cs.AI cs.CV cs.LG
Deeply Explainable Artificial Neural Network
Arteevo Technologies Ltd.(Arteevo科技有限公司)
本文提出 DxANN 架构,将逐样本、逐特征解释直接嵌入前向传播与训练过程,以在医学成像等任务中兼顾准确预测与内在可解释性。
2025-05-10 cs.AI cs.LG
Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning
深度神经网络容易受到能够欺骗网络的小但特定的对抗性扰动的影响。此漏洞可能会在安全关键型应用程序中导致潜在的有害后果。为了解决这个漏洞,我们提出了一个新的度量称为\emph{Gradient Similarity},使我们能够捕捉测试输入的训练数据的影响。我们表明,\emph{Gradient Similarity}的行为不同的正常和敌对的输入,并使我们能够检测到各种对抗攻击与接近完美的ROC-AUC为95-100\%。即使是拥有系统完美知识的白盒对手也无法轻松绕过我们的检测器。在MNIST数据集上,白盒攻击要么以87- 96%的高ROC-AUC检测到,要么需要非常高的失真来绕过我们的检测器。
2018-06-27 cs.CR cs.CV cs.LG
Parcel loss prediction in last-mile delivery: deep and non-deep approaches with insights from Explainable AI
Eindhoven University of Technology(埃因霍温理工大学)
针对最后一公里配送中包裹丢失数据极度不平衡的挑战,本文提出DBSL和DHEL两种机器学习方法进行准确预测,并利用可解释AI技术帮助电商零售商优化保险决策与业务流程。
2023-10-25 cs.LG
An explainable Transformer-based deep learning model for the prediction of incident heart failure
University of Oxford(牛津大学);University of Glasgow(格拉斯哥大学)
预测复杂慢性疾病(如心力衰竭)的发病率具有挑战性。应用于丰富的电子健康记录的深度学习模型可能会改善预测,但仍然无法解释,阻碍了它们在医疗实践中的广泛应用。我们开发了一种新的Transformer深度学习模型,用于更准确且可解释的心力衰竭事件预测,涉及来自英国纵向链接电子健康记录的100,071名患者。在内部5倍交叉验证和外部验证中,我们的模型分别达到了0.93和0.93的接收者操作曲线下面积以及0.69和0.70的精确度-召回率曲线下面积,并且优于现有的深度学习模型。预测组包括所有社区和医院的诊断和药物的背景下,在年龄和日历年内为每个病人的临床表现。在一些敏感性分析中揭示了情境化医疗信息的重要性,我们的扰动方法提供了一种识别风险因素的方法。许多确定的风险因素与临床和流行病学研究的现有知识一致,但发现了一些新的关联,这些关联在专家驱动的风险预测模型中没有考虑。
2021-01-27 cs.LG
Deep Learning Reproducibility and Explainable AI (XAI)
Federal Office for Information Security (BSI)(联邦信息安全办公室)
本文以图像分类为例,研究了深度学习(DL)训练算法的非确定性及其对神经网络(NN)模型可解释性的影响。为了讨论这个问题,训练了两个卷积神经网络(CNN),并比较了它们的结果。比较服务于探索的可行性,创造确定性的,强大的DL模型和确定性的可解释的人工智能(XAI)在实践中。所有在这里进行的努力的成功和局限性进行了详细描述。本文列出了所得到的确定性模型的源代码。复制被索引为模型治理框架的开发阶段组成部分,由欧盟在其卓越的人工智能方法中提出。此外,可重复性是建立因果关系以解释模型结果和建立信任以实现AI系统应用压倒性扩展的要求。在这项工作中,必须解决的问题,以再现性和如何处理其中的一些,检查。
2022-03-02 cs.AI cs.LG