Generative Counterfactual Introspection for Explainable Deep Learning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在这项工作中，我们提出了一种用于深度神经网络的内省技术，该技术依赖于生成模型来煽动对输入图像进行显着编辑以进行模型解释。这种修改提供了基本的干预操作，使我们能够获得反事实调查的答案，即，可以对输入图像进行什么有意义的改变以改变预测。我们演示了如何通过利用MNIST和CelebA数据集上提出的内省方法来揭示给定分类器的有趣特性。
2019-07-06 cs.AI cs.CV cs.LG
Towards Explainable Deep Neural Networks (xDNN)
Lancaster University（兰卡斯特大学）
在本文中，我们提出了一个优雅的解决方案，直接解决了传统深度学习方法的瓶颈，并提供了一个清晰可解释的内部架构，可以超越现有的方法，需要很少的计算资源（不需要GPU）和短的训练时间（秒级）。所提出的方法，xDNN正在使用原型。原型是实际的训练数据样本（图像），其是被称为典型性的经验数据分布以及数据密度的局部峰值。该生成模型以封闭形式识别，并且等同于pdf，但是完全自动地从训练数据导出，没有用户或问题特定的阈值、参数或干预。提出的xDNN提供了一种新的深度学习架构，将推理和学习结合在一起。它是非迭代和非参数的，这解释了它在时间和计算资源方面的效率。从用户的角度来看，所提出的方法显然是人类用户可以理解的。我们在一些知名的基准数据集上进行了测试，如iRoads和Caltech-256。xDNN在准确性、训练时间方面优于包括深度学习在内的其他方法，并提供了一个清晰可解释的分类器。事实上，非常难的Caltech-256问题（有257个类）的结果代表了世界纪录。
2019-12-05 cs.AI cs.CV cs.LG
Improving Analog Neural Network Robustness: A Noise-Agnostic Approach with Explainable Regularizations
Aston Institute of Photonic Technologies（阿斯顿光子技术研究所）；Aston University（阿斯顿大学）
针对深度模拟神经网络的硬件噪声问题，提出一种硬件无关的可解释正则化框架，通过揭示抗噪底层机制同时应对相关与非相关噪声，显著提升网络的噪声鲁棒性。
2024-09-13 cs.AI cs.LG physics.optics
Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)
本文提出Ex-HiDeNN，通过符号回归发现复杂数据集中的闭式表达式，展示了其在动态系统识别和工程应用中的高效性和准确性。
2025-07-07 cs.AI cs.LG
An Explainable Autoencoder For Collaborative Filtering Recommendation
University of Louisville（路易斯维尔大学）
自编码器是深度学习架构的常见构建块，它们主要用于表示学习。它们也被成功地用于协同过滤（CF）推荐系统，以预测缺失的评级。不幸的是，像所有黑盒机器学习模型一样，它们无法解释它们的输出。因此，虽然基于Autoencoder的推荐系统的预测可能是准确的，但用户可能不清楚为什么会生成推荐。在这项工作中，我们设计了一个可解释的推荐系统，使用Autoencoder模型，其预测可以解释使用基于邻域的解释风格。我们的初步工作可以被认为是迈向基于自动编码器的可解释深度学习架构的第一步。
2019-12-23 cs.AI cs.IR cs.LG
Uncertainty-Aware and Explainable Ensemble Deep Learning Framework for Multi-Class Skin Lesion Classification
Wilfrid Laurier University（威尔弗里德劳里埃大学）
针对皮肤癌诊断的难点，提出集成MaxViT-Tiny与两类CNN模型的深度学习框架，结合MC Dropout估测不确定性、Grad-CAM++提供可解释性，在HAM10000数据集上取得优异分类性能，支撑可信计算机辅助诊断。
2026-08-13 cs.AI cs.CV cs.LG
DeepGI: Explainable Deep Learning for Gastrointestinal Image Classification
School of Science and Engineering, Al Akhawayn University（科学与工程学院，阿尔阿赫瓦因大学）
DeepGI通过可解释的深度学习方法，在消化道图像分类中实现了高准确率和可解释性，为医学AI提供了新的基准和见解。
2025-11-26 cs.AI cs.CV cs.CY
Locality Guided Neural Networks for Explainable Artificial Intelligence
Ryerson University（瑞尔森大学）
在目前的深度网络架构中，网络的深层往往包含数百个独立的神经元，这使得人类很难理解它们如何相互作用。通过相关性组织神经元，人类可以观察相邻神经元簇如何相互作用。在本文中，我们提出了一种新的反向传播算法，称为局部性引导神经网络（LGNN），用于训练网络，该网络在深度网络的每一层内保持相邻神经元之间的局部性。在自组织映射（SOM）的强烈推动下，目标是在深度网络的每一层上实施局部拓扑，使得相邻的神经元彼此高度相关。这种方法有助于可解释人工智能（XAI）领域，其目的是减轻当前AI方法的黑盒性质，使它们能够被人类理解。我们的方法旨在在深度学习中实现XAI，而不改变当前模型的结构，也不需要任何后处理。本文主要关注卷积神经网络（CNN），但理论上可以应用于任何类型的深度学习架构。在我们的实验中，我们训练各种VGG和Wide ResNet（WRN）网络，用于CIFAR100上的图像分类。在深入的分析，提出定性和定量的结果表明，我们的方法是能够强制执行的拓扑结构上的每一层，同时实现了小的提高分类精度
2020-07-12 cs.AI cs.CV cs.LG
Enhancing Cancer Diagnosis with Explainable & Trustworthy Deep Learning Models
本研究提出利用可解释人工智能和深度学习技术构建癌症诊断模型，解决了传统深度学习的黑盒问题，提升了诊断的准确性、可解释性与可及性，有望改善全球健康公平并挽救生命。
2024-12-23 cs.AI
Explainable Deep Learning Methods in Medical Image Classification: A Survey
University of Beira Interior（贝拉内格罗大学）；NOVA LINCS（新里斯本大学计算机科学与信息学实验室）；University of Porto（波尔图大学）；INESC TEC（葡萄牙系统与计算机工程、技术与科学研究所）
本文综述了可解释人工智能在医学影像诊断中的应用，系统梳理了可视化、文本、示例和概念等解释方法、数据集与评估指标，并比较了报告生成方法性能，指出主要挑战与未来方向。
2023-09-19 cs.AI cs.CV cs.LG
Explainable concept mappings of MRI: Revealing the mechanisms underlying deep learning-based brain disease classification
Medical University of Graz（格拉茨医科大学）；Monash University（莫纳什大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）
本研究通过概念相关性传播方法，系统识别了用于阿尔茨海默病分类的卷积神经网络所学概念，发现高度相关概念主要位于基底神经节，实现了模型验证并有望提升其可靠性。
2024-04-16 cs.AI cs.CV cs.LG
Unmasking Deepfake Faces from Videos Using An Explainable Cost-Sensitive Deep Learning Approach
Ahsanullah University of Science and Technology（阿赫桑拉科技大学）
针对Deepfake技术泛滥带来的媒体真实性问题，提出基于代价敏感深度学习的视频Deepfake人脸检测方法，结合预训练CNN模型与关键帧提取解决数据集不平衡问题，在基准数据集上取得94%-98%的准确率。
2023-12-17 cs.AI cs.CV
Explainable Deep Learning in Medical Imaging: Brain Tumor and Pneumonia Detection
Department of Computer Science（计算机科学系）；College of Business Administration（商学院）
本文提出结合ResNet50和DenseNet121的可解释深度学习框架，用于MRI脑肿瘤和X射线肺炎检测，并通过Grad-CAM增强可解释性，DenseNet121表现更优且聚焦更准确。
2025-10-21 cs.AI cs.CV
Using Deep Learning and Explainable Artificial Intelligence in Patients' Choices of Hospital Levels
Research Center for Information Technology Innovation, Academia Sinica（中央研究院資訊科技創新研究中心）；Chang Gung University（長庚大學）
在允许患者选择自己的医疗服务提供者的国家，一个常见的问题是患者没有做出理性的决定，因此无法有效地使用医疗资源。这可能会造成问题，例如第三层设施因收容病情轻微的病人而不胜负荷，从而限制了它们治疗急症和危重病人的能力。为了解决这种分布不均的病人数量，这是至关重要的，以监督病人的选择，然后再进一步评估的政策或资源分配。本研究使用全国保险数据，累积现有文献中讨论的可能特征，并使用深度神经网络来预测患者对医院级别的选择。本研究还使用了可解释的人工智能方法来解释功能对公众和个人的贡献。此外，我们还探讨了改变数据表示的有效性。结果表明，该模型能够预测高面积下的受试者工作特征曲线（AUC）（0.90），准确度（0.90），灵敏度（0.94），特异性（0.97）与高度不平衡的标签。一般来说，公众对提供者的社会认可（积极或消极）和所在地区每万人提供服务的执业医生数量被列为最重要的影响因素。不断变化的数据表示对预测改进有积极影响。深度学习方法可以处理高度不平衡的数据并实现高精度。影响特征对一般公众和个人的影响是不同的。解决保险数据的稀疏性和离散性可以实现更好的预测。使用深度学习技术的应用在卫生政策制定方面很有前途。需要做更多的工作来解释模型和实践实施。
2020-06-24 cs.AI cs.CY cs.LG
Explainable Deepfake Detection with Feature-robust Augmentation and Evidence-grounded Explanation Optimization
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
该研究针对深度伪造检测的鲁棒性与可解释性缺陷，提出含特征鲁棒增强、证据支撑偏好优化的框架，在ACM Multimedia 2026相关任务中获第一名。
2026-08-24 cs.AI cs.CV
An explainable hybrid deep learning-enabled intelligent fault detection and diagnosis approach for automotive software systems validation
本文提出了一种可解释的混合深度学习方法，用于汽车软件系统验证中的故障检测与诊断，通过可解释AI技术提升模型适应性和根本原因分析能力。
2026-03-09 cs.AI cs.SE
Explainable Deep Learning Framework for Human Activity Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对HAR中传统解释方法失效且耗时的问题，提出一种模型无关的竞争性数据增强框架，以提升可解释性且不损害性能。
2024-08-21 cs.AI
TumorXAI: Self-Supervised Deep Learning Framework for Explainable Brain MRI Tumor Classification
Department of Computer Science and Engineering, East West University（东-西大学计算机科学与工程系）
本文提出TumorXAI框架，利用自监督学习对脑部MRI肿瘤进行多类分类，通过预处理、微调和线性评估等步骤，展示自监督模型在有限标注数据下优于监督方法的性能，并结合Grad-CAM等技术提升可解释性。
2026-05-03 cs.AI
Unveiling Black-boxes: Explainable Deep Learning Models for Patent Classification
Fraunhofer-Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所）；University of Siegen（锡根大学）；RWTH Aachen University（亚琛工业大学）；Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）
本文提出一种基于分层相关性传播（LRP）的深度可解释专利分类框架，通过向后传播预测并可视化相关单词为Bi-LSTM、CNN等DNN模型提供人类可理解的解释，在两百万专利文本上验证了高性能并促进了复杂AI方法的实际应用。
2023-10-31 cs.AI
Doctor-in-the-Loop: An Explainable, Multi-View Deep Learning Framework for Predicting Pathological Response in Non-Small Cell Lung Cancer
Unit of Computer Systems and Bioinformatics, Department of Engineering（计算机系统与生物信息学单位，工程系）；Research Unit of Radiation Oncology, Department of Medicine and Surgery（放射肿瘤研究单位，医学与外科系）；Operative Research Unit of Radiation Oncology（放射肿瘤操作研究单位）；Research Unit of Anatomical Pathology, Department of Medicine and Surgery（解剖病理研究单位，医学与外科系）；Anatomical Pathology Operative Research Unit（解剖病理操作研究单位）；Department of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering（诊断与介入部门，放射物理，生物医学工程）
Doctor-in-the-Loop通过整合专家知识与可解释AI技术，提升非小细胞肺癌病理预测的准确性和可解释性，推动临床可解释人工智能的发展。
2025-02-21 cs.AI cs.CV cs.LG
A Theory-Based Explainable Deep Learning Architecture for Music Emotion
Columbia Business School（哥伦比亚商学院）；Yale School of Management（耶鲁管理学院）
本研究提出一种基于声学谐波理论的可解释CNN音乐情绪预测模型，性能优异且可解释性强，还验证了其在广告精准插放中提升参与度的应用价值。
2024-08-13 cs.AI cs.HC cs.SD
An Explainable Two Stage Deep Learning Framework for Pericoronitis Assessment in Panoramic Radiographs Using YOLOv8 and ResNet-50
DiceMed；College of Engineering Trivandrum（工程学院）；S.C.B Dental College and Hospital（S.C.B牙科学院和医院）
本文提出了一种结合YOLOv8和ResNet-50的两阶段深度学习框架，用于可解释性地评估全景X光片中的牙周炎。
2026-01-13 cs.AI cs.CV
LightX3ECG: A Lightweight and eXplainable Deep Learning System for 3-lead Electrocardiogram Classification
College of Engineering（工程学院）；Computer Science, VinUniversity, Ha Noi, Viet Nam（计算机科学， VinUniversity，河内，越南）；VinUni-Illinois Smart Health Center, VinUniversity, Ha Noi, Viet Nam（VinUni-Illinois智能健康中心， VinUniversity，河内，越南）；College of Health Sciences（健康科学学院）
本研究提出LightX3ECG系统，利用三个导联心电图准确识别多种心血管异常，实现轻量且可解释的深度学习解决方案。
2026-02-16 cs.AI cs.CV
Rule By Example: Harnessing Logical Rules for Explainable Hate Speech Detection
University of Michigan（密歇根大学）；Microsoft（微软）
针对传统规则审核脆弱、深度学习模型缺乏可解释性的问题，提出基于示例的对比学习方法RBE，仅用少量示例即可学习规则嵌入，在3个仇恨言论数据集上的有/无监督性能均优于现有方法，且具备规则支撑的可解释性。
2023-07-24 cs.AI cs.CL
Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
随着大型数据库的可用性和深度学习方法的最新改进，人工智能系统的性能在越来越多的复杂任务上达到甚至超过人类水平。这种发展的令人印象深刻的例子可以在诸如图像分类、情感分析、语音理解或战略游戏等领域中找到。然而，由于它们的嵌套非线性结构，这些非常成功的机器学习和人工智能模型通常以黑箱方式应用，即，没有提供任何信息，说明究竟是什么使他们得出他们的预测。由于这种缺乏透明度可能是一个主要的缺点，例如，在医学应用中，用于可视化、解释和解释深度学习模型的方法的开发近来吸引了越来越多的关注。本文总结了这一领域的最新进展，并呼吁在人工智能更可解释性。此外，它提出了两种解释深度学习模型预测的方法，一种方法是计算预测对输入变化的敏感度，另一种方法是根据输入变量有意义地分解决策。这些方法进行了评估三个分类任务。
2017-08-28 cs.AI cs.CY cs.NE
Improving Deep Neural Network Classification Confidence using Heatmap-based eXplainable AI
Nanyang Technological University（南洋理工大学）
针对图像分类问题，对基于热图的可解释人工智能（XAI）方法的质量进行了量化。在这里，如果热图提高了预测正确类别的概率，则热图被认为是可取的。根据经验，不同的基于XAI热图的方法可以在不同程度上提高分类置信度，具体取决于数据集，例如，显着性在ImageNet上效果最好，去卷积在胸部X射线肺炎数据集上效果最好。新颖性包括一个新的差距分布，显示了正确和错误的预测之间的明显差异。最后，介绍了生成增强解释，这是一种生成热图的方法，能够将预测置信度提高到一个高水平。
2023-01-21 cs.AI cs.LG
Explainable Deep Modeling of Tabular Data using TableGraphNet
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of South Carolina（南卡罗来纳大学）
绝大多数关于可解释性的研究都集中在后可解释性方面，而不是可解释性建模。也就是说，一个解释模型来解释一个复杂的黑箱模型建立的唯一目的是实现最高的性能可能。在某种程度上，这种趋势可能是由一种误解驱动的，即在可解释性和准确性之间存在权衡。此外，基于博弈论的Shapely值的后续工作也有助于新一波的后可解释性研究，以更好地近似各种机器学习模型，包括深度学习模型。我们提出了一个新的架构，固有地产生可解释的预测的形式添加剂的功能属性。我们的方法为数据集中的每个记录学习一个图形表示。然后，从图中导出以属性为中心的特征，并将其馈送到贡献深度集模型中以产生最终预测。我们表明，我们的可解释模型达到了与黑盒模型相同的性能水平。最后，我们提供了一种增强的模型训练方法，该方法利用了缺失属性，并在不损失准确性的情况下产生高水平的一致性（如Shapely值所需）。
2020-02-12 cs.AI cs.LG
An Empirical Study of Explainable AI Techniques on Deep Learning Models For Time Series Tasks
University of Konstanz（康斯坦茨大学）；Offenburg University of Applied Sciences（奥芬堡应用科学大学）
机器学习黑盒模型的决策解释通常通过应用可解释AI（XAI）技术来生成。然而，许多提出的XAI方法产生未经验证的输出。评估和验证通常通过人类对单个图像或文本的视觉解释来实现。在这个预注册，我们提出了一个实证研究和基准框架，应用归因方法的神经网络开发的图像和文本数据的时间序列。我们提出了一种方法来自动评估和排名归因技术的时间序列使用扰动方法来确定可靠的方法。
2020-12-08 cs.AI cs.LG
Combining Deep Learning and Explainable AI for Toxicity Prediction of Chemical Compounds
Analytical Chemistry Department Iuliu Haţieganu University of Medicine；Pharmacy, Cluj-Napoca, Romania acernat.umfcluj.ro
本研究利用DenseNet121处理化合物二维结构图像，结合Grad-CAM可解释技术，在Tox21数据集上实现了有竞争力的毒性预测，兼顾准确性与模型透明度。
2025-10-26 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics（查尔斯河分析公司）
我们考虑的问题，提供用户的深度强化学习（RL）为基础的系统，更好地了解他们的输出时，可以信任。我们提供了一个可解释的人工智能（XAI）框架，它提供了三重解释：在当前游戏状态下系统泛化和性能的图形描述，代理在语义相似的环境中的表现如何，以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面，并通过人类用户实验评估了其有效性。结果表明，与没有解释的AI系统相比，用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
本文结合RL策略模型检查与共激活图分析，解释经过安全验证的深度强化学习策略的内部机制，并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
A Survey on Explainable Deep Reinforcement Learning
Northwestern University（西北大学）
本综述针对深度强化学习（DRL）的黑箱不可解释性问题，系统梳理了可解释深度强化学习（XRL）的多维度解释技术、评估框架及应用场景，并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
Deep Learning, Natural Language Processing, and Explainable Artificial Intelligence in the Biomedical Domain
Medical University of Vienna（维也纳医科大学）
在这篇文章中，我们首先在第一部分介绍了人工智能及其在生物学和医学中的应用。然后在第2节中描述深度学习方法。我们在第3节中缩小了对文本数据的研究重点，其中描述了自然语言处理及其在生物医学领域的应用。在第4节中，我们介绍了可解释的人工智能，并讨论了可解释性的重要性，人工智能系统，特别是在生物医学领域。
2022-03-07 cs.AI cs.CL cs.LG
Does Your Model Think Like an Engineer? Explainable AI for Bearing Fault Detection with Deep Learning
Siemens AG（西门子股份公司）
本文针对滚动轴承故障检测任务，提出了一种特定领域的特征归因框架，通过结合信号处理工具评估模型逻辑与专家推理的一致性，验证了深度学习模型的可信度并预测其泛化能力，为增强可解释AI提供了通用模板。
2023-10-19 cs.AI cs.LG
Deep Explainable Learning with Graph Based Data Assessing and Rule Reasoning
Aliyun（阿里云）；Alibaba Group（阿里巴巴集团）；Xichang Steel and Vanadium Co., Ltd.（西昌钢钒有限公司）；Pangang Group（攀钢集团）
学习一个可解释的分类器通常会导致模型的准确度较低，或者最终会得到一个庞大的规则集，而学习一个深度模型通常更能够处理大规模的噪声数据，但代价是难以解释结果，泛化能力较弱。为了弥补这一差距，我们提出了一种端到端的深度可解释学习方法，该方法结合了深度模型在噪声处理和基于专家规则的可解释性方面的优势。具体来说，我们建议学习一个深度数据评估模型，该模型将数据建模为一个图，以表示不同观测之间的相关性，其输出将用于提取关键数据特征。然后将关键特征输入到规则网络中，该规则网络根据具有可训练参数的预定义噪声专家规则构建。由于这些模型是相互关联的，我们提出了一个端到端的训练框架，利用规则分类损失，同时优化规则学习模型和数据评估模型。由于基于规则的计算是不可微的，我们提出了一个梯度连接搜索模块来携带梯度信息从规则学习模型到数据评估模型。该方法在工业生产系统中进行了测试，显示出相当的预测精度，更高的泛化稳定性和更好的可解释性相比，体面的深集成基线，并显示出更好的拟合能力比纯粹的基于规则的方法。
2022-11-10 cs.AI cs.LG
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia（西澳大利亚大学）
深度视觉模型在高风险领域有着广泛的应用。因此，它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查，重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献，我们不仅提供了现有技术的分类组织，而且还挖掘了一系列的评估指标，并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论，我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
Explainable Deep Reinforcement Learning Using Introspection in a Non-episodic Task
Escola Politécnica de Pernambuco, Universidade de Pernambuco（伯南布哥大学伯南布哥理工学院）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）
可解释的强化学习允许人工代理以类似人类的方式针对非专家终端用户解释其行为。创建解释的一个有效的替代方案是使用基于内省的方法，将Q值转换为成功的概率，作为解释代理决策过程的基础。这种方法已被有效地用于情节和离散的场景，但是，在非情节和更复杂的环境中计算成功的概率还没有得到解决。在这项工作中，我们适应的内省方法用于非情节的任务，并尝试在连续的雅达利游戏场景解决彩虹算法。我们的初步结果表明，成功的概率可以直接从所有可能的行动的Q值计算。
2021-08-18 cs.AI cs.LG
Deep Learning Reproducibility and Explainable AI (XAI)
Federal Office for Information Security (BSI)（联邦信息安全办公室）
本文以图像分类为例，研究了深度学习（DL）训练算法的非确定性及其对神经网络（NN）模型可解释性的影响。为了讨论这个问题，训练了两个卷积神经网络（CNN），并比较了它们的结果。比较服务于探索的可行性，创造确定性的，强大的DL模型和确定性的可解释的人工智能（XAI）在实践中。所有在这里进行的努力的成功和局限性进行了详细描述。本文列出了所得到的确定性模型的源代码。复制被索引为模型治理框架的开发阶段组成部分，由欧盟在其卓越的人工智能方法中提出。此外，可重复性是建立因果关系以解释模型结果和建立信任以实现AI系统应用压倒性扩展的要求。在这项工作中，必须解决的问题，以再现性和如何处理其中的一些，检查。
2022-03-02 cs.AI cs.LG
Deep EHR Spotlight: a Framework and Mechanism to Highlight Events in Electronic Health Records for Explainable Predictions
IBM Research Europe（IBM欧洲研究院）；Monash University（莫纳什大学）；University of Oxford（牛津大学）
电子健康记录（EHR）的广泛采用导致了大量的临床数据变得可用，这有望支持服务提供并推进临床和信息学研究。深度学习技术已经在使用EHR的预测分析任务中表现出性能，但它们通常缺乏模型结果透明度或可解释性功能，并且需要繁琐的预处理任务。此外，EHR包含异构和多模态数据点，如文本，数字和时间序列，这进一步阻碍了可视化和可解释性。本文提出了一个深度学习框架，用于：1）将患者路径从EHR编码到图像中，2）突出路径图像中的重要事件，3）实现更复杂的预测和额外的可理解性。所提出的方法依赖于一个深注意力机制的预测可视化，并允许预测多个连续的结果。
2021-03-25 cs.AI cs.LG
Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）
对于许多应用，利用DNN（深度神经网络）需要以关于能耗、存储器要求、吞吐量等的优化方式在目标架构上实现。DNN压缩用于在硬件上部署DNN之前减少DNN的存储器占用和复杂性。近年来，人们对人工智能（人工智能）方法的理解和解释产生了一个新的研究领域，称为可解释人工智能。可解释的人工智能方法使我们能够更好地理解DNN的内部工作，例如不同神经元和特征的重要性。可解释人工智能的概念提供了一个机会来改进DNN压缩方法，例如量化和修剪，这些方法到目前为止还没有得到充分的探索。在本文中，我们使用可解释的AI方法：主要是DeepLIFT方法。我们将这些方法用于（1）DNN的修剪;这包括\ac{CNN}过滤器的结构化和非结构化修剪以及全连接层的修剪权重，（2）使用聚类算法的DNN权重的非均匀量化;这也被称为权重共享，以及（3）基于整数的混合精度量化;这是DNN的每一层可以使用不同数目的整数比特的地方。我们使用典型的图像分类数据集和常见的深度学习图像分类模型进行评估。在所有这三种情况下，我们展示了在DNN压缩中使用可解释AI的显着改进以及新的见解和机会。
2020-08-20 cs.AI cs.CV cs.LG
Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
Örebro University（厄勒布鲁大学）；KU Leuven（鲁汶大学）
本文提出神经符号框架 DERRL，将符号规划的关系表示、约束与深度学习结合，提取逻辑规则形式的可解释策略，并在多种环境中验证其可迁移与泛化能力。
2023-07-14 cs.AI cs.LG
Explainable Deep Belief Network based Auto encoder using novel Extended Garson Algorithm
Institute for Development and Research in Banking Technology（银行业技术发展与研究所）；University of Hyderabad（海得拉巴大学）
机器学习中最困难的任务是解释训练好的浅层神经网络。深度神经网络（DNN）在大量任务上提供了令人印象深刻的结果，但通常仍不清楚这种经过训练的深度神经网络如何做出决策。提供特征重要性是在浅层和深层神经网络中使用的最重要和最流行的解释技术。在本文中，我们开发了一种算法，扩展了Garson算法的思想来解释基于深度信念网络的自动编码器（DBNA）。它用于确定DBN中每个输入特征的贡献。它可以用于任何类型的神经网络与许多隐藏层。该方法的有效性进行了测试的分类和回归数据集取自文献。通过这种方法确定的重要功能进行比较，对Wald卡方（\c{hi} 2）。对于4个分类数据集中的2个和5个回归数据集中的2个，我们提出的方法导致识别出质量更好的特征，从而导致与Wald \c{hi} 2相比统计上更显著的结果。
2022-07-18 cs.AI cs.LG
Explainable AI for Earth Observation: Current Methods, Open Challenges, and Opportunities
Institute of Disaster Management（灾害管理研究所）；Istanbul Technical University（伊斯坦布尔理工大学）；Sabanci University（萨班哲大学）；Kocaeli University（科贾埃利大学）
该研究针对遥感深度学习可解释性不足的问题，梳理了各类可解释人工智能技术在地球观测领域的应用进展，按应用领域呈现了可解释遥感图像分析的前沿研究全景。
2023-11-08 cs.AI cs.LG
Drug discovery with explainable artificial intelligence
ETH Zurich（苏黎世联邦理工学院）
深度学习为药物发现带来了希望，包括先进的图像分析、分子结构和功能的预测，以及自动生成具有定制特性的创新化学实体。尽管越来越多的成功的应用前景，基本的数学模型往往仍然难以捉摸的解释人类的头脑。需要“可解释的”深度学习方法来解决对分子科学机器语言的新叙述的需求。本文总结了可解释人工智能最突出的算法概念，并大胆预测了未来的机会，潜在的应用，和剩余的挑战。
2020-07-02 cs.AI cs.LG stat.ML
Towards Explainable Traffic Flow Prediction with Large Language Models
Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））；Johns Hopkins University（约翰霍普金斯大学）；Department of Civil and System Engineering（土木与系统工程系）
本文提出xTP-LLM模型，利用大语言模型生成可解释的交通流预测，首次将LLM应用于交通预测的可解释性研究。
2024-09-03 cs.AI cs.LG
Using Part-based Representations for Explainable Deep Reinforcement Learning
School of Informatics, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学院）；Computational Intelligence and Deep Learning Research Group（计算智能与深度学习研究组）
本文提出一种用于深度强化学习中actor模型的非负训练方法，通过非负初始化和改进的保号训练技术提取基于部件的表示，在遵守非负约束的同时增强可解释性，并在Cartpole基准上验证了有效性。
2024-08-22 cs.AI cs.LG
SkillTree: Explainable Skill-Based Deep Reinforcement Learning for Long-Horizon Control Tasks
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；National Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies；SenseTime Research（商汤科技研究院）
提出SkillTree框架，通过可微决策树将连续动作空间离散化为技能空间，实现技能级可解释性，在复杂机器人臂控制任务中达到与基于技能的神经网络相当的性能。
2024-11-19 cs.AI cs.LG
An Explainable Deep Reinforcement Learning Model for Warfarin Maintenance Dosing Using Policy Distillation and Action Forging
Duke Energy Company（杜克能源公司）；The University of Iowa Tippie College of Business（爱荷华大学蒂皮商学院）
本文针对华法林维持剂量提出了一种可解释的深度强化学习模型，结合近端策略优化与策略蒸馏，并引入动作锻造技术实现可解释性，其表现优于基线算法且易于部署。
2024-04-26 cs.LG
An Explainable Ensemble Learning Framework for Crop Classification with Optimized Feature Pyramids and Deep Networks
本文提出一种可解释的集成学习框架，结合优化特征金字塔、深度网络、自注意力机制和残差网络，通过土壤特征和气候条件预测作物适宜性，利用预处理方法和多种机器学习模型提升分类精度，最终集成模型在准确率、精确率、召回率和F1分数上达到98.80%。
2026-03-26 cs.AI cs.LG
Explainable Fraud Detection with Deep Symbolic Classification
RiskQuest；Universiteit van Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文提出深度符号分类（DSC），将分类问题转化为由强化学习引导的符号表达式搜索，直接优化F1等对类别不平衡鲁棒的指标，在PaySim数据集上取得与最先进模型相当的预测性能，同时显著提升可解释性。
2023-12-01 cs.AI cs.LG
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay（印度理工学院孟买分校）
受深度强化学习（RL）最新进展的启发，我们开发了一个RL代理来管理家庭中存储设备的操作，旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的，RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中，RL agent被认为是一个黑盒子，agent是如何学习的往往被忽略。我们解释了RL代理的学习过程，以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
NeuroView: Explainable Deep Network Decision Making
Rice University（莱斯大学）
深度神经网络（DN）在许多计算机视觉任务中提供了超人的性能，但仍不清楚DN的哪些单元对特定决策有贡献。NeuroView是一个新的DN架构系列，可通过设计进行解释/说明。该家族的每个成员都是通过对单元输出值进行矢量量化并将其馈送到全局线性分类器中而从标准DN架构中导出的。由此产生的架构建立了一个直接的，因果关系之间的联系，每个单元的状态和分类决策。我们在标准数据集和分类任务上验证NeuroView，以显示其单元/类映射如何帮助理解决策过程。
2021-10-15 cs.CV cs.LG
An Explainable Deep Learning-based Prognostic Model for Rotating Machinery
本文开发了一个可解释的深度学习模型，用于估计旋转机械的剩余使用寿命。该模型使用自动编码器从傅立叶变换中提取高级特征。该等特征用作前馈神经网络的输入以估计剩余可使用年期。本文通过分析特征的组成以及特征与估计结果之间的关系来解释模型的行为。为了使该模型具有可解释性，本文引入了倍频带滤波。滤波减小了自动编码器的输入大小并简化了模型。最后通过一个案例说明了该模型的解释方法。该研究还表明，该模型中的倍频程带滤波模仿了低级卷积层的功能。这一结果支持了使用滤波来降低模型深度的有效性。
2020-04-28 cs.LG eess.SP
Explainable deep learning models in medical image analysis
University of Waterloo（滑铁卢大学）
深度学习方法对于各种医疗诊断任务非常有效，甚至在其中一些方面击败了人类专家。然而，算法的黑盒性质限制了临床使用。最近的可解释性研究旨在显示最影响模型决策的特征。这一领域的大多数文献综述都集中在分类学、伦理学和解释的必要性上。本文综述了当前可解释深度学习在不同医学成像任务中的应用。本文从深度学习研究人员为临床最终用户设计系统的实践角度讨论了临床部署的各种方法、挑战以及需要进一步研究的领域。
2020-05-28 cs.CV cs.LG eess.IV
