Improving Industrial Injection Molding Processes with Explainable AI for Quality Classification
Rosenheim Technical University of Applied Sciences（罗森海姆应用技术大学）
针对工业注塑质量控制中机器学习模型可解释性不足及数据采集受限问题，通过SHAP、Grad-CAM和LIME三种XAI技术对LSTM模型进行特征约简研究，在保持高分类性能的同时提升泛化能力与推理速度，增强AI驱动质量控制的工业可行性。
2025-11-11 cs.AI
Explainable Artificial Intelligence Techniques for Accurate Fault Detection and Diagnosis: A Review
University of North Texas（北德克萨斯大学）；Benha University（本哈大学）；University of Sharjah（沙迦大学）
本文综述了可解释人工智能（XAI）在工业故障检测与诊断中的应用，分析其使AI决策透明化的方法，并探讨平衡可解释性与模型性能的未来研究方向。
2024-06-10 cs.AI cs.LG
Does Your Model Think Like an Engineer? Explainable AI for Bearing Fault Detection with Deep Learning
Siemens AG（西门子股份公司）
本文针对滚动轴承故障检测任务，提出了一种特定领域的特征归因框架，通过结合信号处理工具评估模型逻辑与专家推理的一致性，验证了深度学习模型的可信度并预测其泛化能力，为增强可解释AI提供了通用模板。
2023-10-19 cs.AI cs.LG
Explainable Black-Box Attacks Against Model-based Authentication
University of Florida（佛罗里达大学）
为人类和终端系统建立唯一的身份一直是安全社区中的一个活跃的研究问题，从而产生了基于创新机器学习的身份验证技术。虽然这些技术提供了一种自动化的方法来建立身份，但它们还没有经过针对其核心机器学习技术的复杂攻击的审查。本文证明了模仿主机指纹和生物特征认证系统生成的唯一签名是可能的。我们通过构建一个基于查询合成框架的盲攻击和利用可解释AI（XAI）技术，揭示了底层机器学习分类模型的无效性。我们在最先进的人脸认证系统上发起了不到130个查询的攻击，在主机认证系统上发起了不到100个查询的攻击。我们将研究如何防御这些攻击，并探索它们的局限性。XAI为对手提供了一种有效的手段来推断决策边界，并为使用机器学习模型进行身份验证来构建针对系统的攻击提供了一种新的方法。
2018-09-28 cs.AI cs.CR cs.LG
A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
针对归因方法缺乏真值、忠实度评估困难的问题，研究提出符合保真度准则的基于后门的可解释AI基准BackX，构建标准化评估流程开展方法对比，也为神经木马防御提供了新思路。
2025-10-01 cs.AI cs.CR cs.LG
PSO-XAI: A PSO-Enhanced Explainable AI Framework for Reliable Breast Cancer Detection
Department of Information and Communication Engineering, Noakhali Science and Technology University（信息与通信工程系，诺阿克利科学与技术大学）；Department of Computer Science & Engineering, Netrokona University（计算机科学与工程系，纳特罗克纳大学）；Department of Computer and Communication Engineering, International Islamic University Chittagong（计算机与通信工程系，国际伊斯兰大学查塔格ONG）；Department of Mechatronics and Industrial Engineering, Chittagong University of Engineering and Technology（机电与工业工程系，查塔格ONG工程与技术大学）；School of Computing Sciences and Computer Engineering, University of Southern Mississippi（计算科学与计算机工程学院，密西西比州立大学）；AI & Digital Health Technology, Artificial Intelligence and Cyber Futures Institute, Charles Sturt University（人工智能与数字健康技术，人工智能与网络未来研究院，查尔斯·斯图尔特大学）；AI & Digital Health Technology, Rural Health Research Institute, Charles Sturt University（人工智能与数字健康技术，农村健康研究学院，查尔斯·斯图尔特大学）
提出PSO-XAI框架，结合定制粒子群优化特征选择与可解释AI，在29种模型上实现99.1%准确率，兼顾降维与透明解释，提升乳腺癌诊断可靠性。
2025-10-23 cs.AI cs.LG
An Empirical Comparison of Explainable Artificial Intelligence Methods for Clinical Data: A Case Study on Traumatic Brain Injury
The University of Arizona（亚利桑那大学）；Virginia Tech（弗吉尼亚理工大学）；University of Cincinnati（辛辛那提大学）
围绕深度学习算法的一个长期挑战是解包和理解它们如何做出决策。可解释人工智能（XAI）提供了一些方法，以人类用户可解释和理解的方式解释算法的内部功能及其决策背后的原因。.到目前为止，已经开发了许多XAI方法，并且对这些策略进行比较分析似乎是必要的，以辨别它们与临床预测模型的相关性。为此，我们首先实施了两个预测模型的短期和长期结果的创伤性脑损伤（TBI）利用结构化的表格以及时间序列的生理数据，分别。六种不同的解释技术被用来描述这两个预测模型在当地和全球层面。然后，我们对每种策略的优点和缺点进行了批判性分析，突出了对应用这些方法感兴趣的研究人员的影响。实施的方法进行了比较，彼此在几个XAI的特点，如可理解性，保真度和稳定性。我们的研究结果表明，SHAP是最稳定的，具有最高的保真度，但缺乏可理解性。另一方面，最容易理解的方法是参数化，但它只适用于表格数据，而不适用于时间序列数据。
2022-08-13 cs.AI cs.LG
Charting the Sociotechnical Gap in Explainable AI: A Framework to Address the Gap in XAI
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
可解释人工智能（XAI）系统本质上是社会技术的;因此，它们受到社会技术差距的影响-技术可供性和社会需求之间的鸿沟。然而，绘制这一差距是具有挑战性的。在XAI的背景下，我们认为，绘制差距可以提高我们对问题的理解，这可以反射性地提供可操作的见解，以提高可解释性。利用不同领域的两个案例研究，我们从经验上推导出一个框架，通过在XAI的背景下连接AI指南并阐明如何使用它们来解决差距，从而促进系统地绘制社会技术差距。我们将该框架应用于一个新领域的第三种情况，展示其启示。最后，我们讨论了框架的概念含义，分享其操作化的实际考虑，并提供指导，将其转移到新的背景下。通过对XAI中社会技术差距的理解做出概念性和实践性的贡献，该框架扩展了XAI的设计空间。
2023-02-01 cs.AI cs.HC
Qualitative Investigation in Explainable Artificial Intelligence: A Bit More Insight from Social Science
College of Computing and Informatics, Drexel University（德雷塞尔大学计算与信息学院）
我们提出了一个有重点的分析用户的研究，在可解释的人工智能（XAI）需要定性调查。我们借鉴社会科学语料库，以提高XAI研究人员使用观察，访谈，焦点小组和/或问卷调查来捕获定性数据的研究的严谨性。我们根据定性研究文献中描述的严谨性组成部分，对分析中包含的XAI论文进行了情境化：1）基本理论或框架，2）方法学方法，3）数据汇集方法，4）数据分析过程。我们的分析结果支持了XAI社区中其他人的呼吁，他们主张与社会学科的专家合作，以加强用户研究的严谨性和有效性。
2020-12-18 cs.AI cs.HC
X-SHIELD: Regularization for eXplainable Artificial Intelligence
Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（数据科学与计算智能安达卢西亚研究机构（DaSCI））；University of Granada（格拉纳达大学）
针对现有XAI研究多聚焦解释生成与评估、缺乏借助解释直接优化模型的问题，提出可无缝融入目标函数的X-SHIELD正则化方法，通过解释选隐藏特征提升模型泛化性，实验验证其可同时改善性能与可解释性，为可靠AI正则化提供新路径。
2025-03-11 cs.AI
Mitigating belief projection in explainable artificial intelligence via Bayesian Teaching
Rutgers University（罗格斯大学）；New York University（纽约大学）；Stanford University（斯坦福大学）
最先进的深度学习系统使用的决策规则对人类来说是一个挑战。可解释人工智能（XAI）试图提高人类的理解能力，但很少解释人们通常如何对不熟悉的代理进行推理。我们提出明确建模的人类解释通过贝叶斯教学，评估解释有多少他们转移解释的推理朝着一个期望的目标。我们评估贝叶斯教学中的二进制图像分类任务在各种情况下。在没有干预的情况下，参与者预测人工智能的分类将与他们自己的分类相匹配，但贝叶斯教学产生的解释通过使他们远离这种先前的信念来提高他们预测人工智能判断的能力。贝叶斯教学进一步允许每个案例被分解为子示例（这里是显着图）。这些子示例通过改进熟悉类别的错误检测来补充整个示例，而整个示例有助于预测不熟悉情况的正确AI判断。
2021-04-26 cs.AI
Secondary control activation analysed and predicted with explainable AI
Forschungszentrum Jülich（于利希研究中心）；University of Cologne（科隆大学）；Queen Mary University of London（伦敦玛丽女王大学）；Norwegian University of Life Sciences（挪威生命科学大学）
向可再生能源系统的过渡对电网的运行和稳定性提出了挑战。二次控制是电力系统在扰动后恢复到基准状态的关键。低估必要的控制能力可能需要采取紧急措施，如甩负荷。因此，需要深入了解新出现的风险和控制的驱动因素。在这篇文章中，我们建立了一个可解释的机器学习模型，用于激活德国的次级控制权。训练梯度提升树，我们获得了控制激活的准确描述。使用SHAPELY加法解释（SHAP）值，我们调查控制激活和外部功能，如发电组合，预测误差和电力市场数据之间的依赖关系。因此，我们的分析揭示了驱动程序，导致高储备要求在德国电力系统。我们的透明方法，利用开放数据并使机器学习模型可解释，开辟了新的科学发现途径。
2021-09-10 cs.AI cs.SY eess.SY
Explainable embeddings with Distance Explainer
Netherlands eScience Center（荷兰eScience中心）；Center for Information Technology（信息科技中心）；University of Groningen（格罗宁根大学）
本文提出Distance Explainer，通过选择性遮蔽和距离排序的遮蔽过滤生成嵌入空间的局部后验解释，验证了其在跨模态嵌入中的有效性，提升了深度学习应用的透明度和可信度。
2026-07-08 cs.AI cs.CL cs.CV
From Black Box to Transparency: Enhancing Automated Interpreting Assessment with Explainable AI in College Classrooms
Shanghai Jiao Tong University（上海交通大学）
针对自动口译评估缺乏可解释性等问题，提出集成特征工程、数据增强和可解释机器学习的多维建模框架，利用透明特征和SHAP分析实现强预测性能，为传统人工评估提供透明替代方案并支持学习者自我调节。
2025-08-14 cs.AI cs.CL
BERT-Based Approach for Automating Course Articulation Matrix Construction with Explainable AI
C.V. Raman Global University（C.V. 拉曼全球大学）
本研究提出基于BERT家族模型与LIME可解释AI的方法，通过多分类自动构建课程衔接矩阵，在CO与PO/PSO对齐评估中取得约98.66%的准确率等优异性能。
2024-11-21 cs.AI cs.CY cs.LG
Improving Chronic Kidney Disease Detection Efficiency: Fine Tuned CatBoost and Nature-Inspired Algorithms with Explainable AI
East West University（东威斯特大学）；Bangladesh Agricultural University（孟加拉农业大学）；Ahsanullah University of Science and Technology（阿萨努拉科技大学）；North South University（北南大学）；University of Dhaka（达卡大学）；BRAC University（BRAC大学）
本研究提出基于微调CatBoost与模拟退火、布谷鸟搜索等自然启发式算法及SHAP可解释人工智能的CKD检测方法，准确率达98.75%，为资源受限环境提供高效可解释的诊断工具。
2025-04-05 cs.AI
Breast Cancer Segmentation using Attention-based Convolutional Network and Explainable AI
IIIT Naya Raipur（新赖布尔印度信息技术学院）；University of Louisville（路易斯维尔大学）
针对乳腺癌早期检测难题，提出基于注意力卷积网络（UNet）的分割方法，结合Grad-CAM可解释AI分析，提升检测精度与速度，优于现有框架。
2023-06-18 cs.AI cs.CV
Adversarial attacks and defenses in explainable artificial intelligence: A survey
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）
本综述聚焦可解释人工智能（XAI）面临的对抗攻击问题，梳理了相关攻击与公平性指标研究，搭建了统一分类体系，讨论防御方法与现有安全隐患，并指出对抗XAI的未来研究方向。
2025-07-28 cs.AI cs.CR cs.CV
An Approach To Enhance IoT Security In 6G Networks Through Explainable AI
University Of Missouri – St. Louis（密苏里大学圣路易斯分校）
针对6G网络中IoT集成的安全挑战，本研究利用基于树的机器学习算法处理数据，结合数据平衡技术与SHAP、LIME等XAI方法提升模型透明度与准确性，从而增强6G生态系统的IoT安全。
2024-12-24 cs.AI cs.CR
Internet of Behavior (IoB) and Explainable AI Systems for Influencing IoT Behavior
xAnalytics Inc.（xAnalytics公司）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
多年来的流行病和自然灾害改变了人们的行为，对生活的各个方面产生了巨大的影响。随着每个时代的技术，政府，组织和公司都使用这些技术来跟踪，控制和影响个人的行为。如今，物联网（IoT）、云计算和人工智能（AI）的使用使得通过改变IoT行为来跟踪和改变用户的行为变得更加容易。本文介绍并讨论了行为互联网（IoB）的概念及其与可解释人工智能（XAI）技术的集成，以在改变物联网行为的过程中提供可信和明显的体验，从而最终改善用户的行为。因此，已经在电力消耗的用例场景中提出了基于IoB和XAI的系统，其旨在影响用户消费行为以降低电力消耗和成本。情景结果显示，与200小时内的原始消耗量相比，有功功率减少了522.2千瓦。它还显示，同期的总电力成本节省了95.04欧元。此外，降低全局有功功率将通过正相关性降低功率强度。
2022-05-10 cs.AI cs.CY cs.DC
Cryptocurrency Valuation: An Explainable AI Approach
SciEcon CIC；Shiku Foundation（Shiku基金会）；Bochsler Finance（博克斯勒金融）
本文提出基于区块链记账的价格与效用（PU）比率，发现其能有效预测比特币长期收益，并通过机器学习验证可解释性，据此构建的自动化交易策略优于买入持有和市场择时策略。
2023-07-08 cs.AI cs.CR econ.GN
LAYER: A Quantitative Explainable AI Framework for Decoding Tissue-Layer Drivers of Myofascial Low Back Pain
University of Pittsburgh（匹兹堡大学）
LAYER框架通过分析多层组织在3D超声中的贡献，揭示非肌肉组织对肌筋膜疼痛预测的重要性，挑战传统肌肉中心范式。
2025-11-25 cs.AI cs.CV eess.IV
ColonScopeX: Leveraging Explainable Expert Systems with Multimodal Data for Improved Early Diagnosis of Colorectal Cancer
Swansea University（斯旺西大学）；Swansea University Medical School（斯旺西大学医学院）
ColonScopeX提出一个结合血液信号与患者元数据的多模态可解释机器学习框架，利用XAI提升结直肠癌早期检测的透明度和准确性，可作为分诊或筛查工具。
2025-04-09 cs.AI cs.CV cs.HC
Improving Analog Neural Network Robustness: A Noise-Agnostic Approach with Explainable Regularizations
Aston Institute of Photonic Technologies（阿斯顿光子技术研究所）；Aston University（阿斯顿大学）
针对深度模拟神经网络的硬件噪声问题，提出一种硬件无关的可解释正则化框架，通过揭示抗噪底层机制同时应对相关与非相关噪声，显著提升网络的噪声鲁棒性。
2024-09-13 cs.AI cs.LG physics.optics
GPO-VAE: Modeling Explainable Gene Perturbation Responses utilizing GRN-Aligned Parameter Optimization
Korea University（高丽大学）；Hankuk University of Foreign Studies（韩国外国语大学）
本文提出GPO-VAE，一种通过GRN对齐参数优化增强的可解释变分自编码器，在潜在空间显式建模基因调控网络，在多个基准数据集上实现了最先进的基因扰动转录响应预测性能，并能生成与实验验证通路一致的生物学可解释GRNs。
2025-01-31 cs.AI cs.LG
Explainable Lung Disease Classification from Chest X-Ray Images Utilizing Deep Learning and XAI
Ahsanullah University Of Science and Technology (AUST)（阿hsanullah科技大学（AUST））
本研究针对胸部X光片肺部疾病分类问题，采用多种深度学习模型及相关优化方法，经5折交叉验证微调的Xception模型取得96.21%的最高准确率，并结合XAI方法增强模型决策可解释性以提升临床应用可信度。
2024-04-17 cs.CV cs.LG eess.IV
Explainable Artificial Intelligence (XAI) for 6G: Improving Trust between Human and Machine
Alan Turing Institute（艾伦·图灵研究所）；Cranfield University（克兰菲尔德大学）
随着第五代（5G）移动网络带来全球社会效益，第六代（6 G）的设计阶段已经开始。6 G需要实现更高水平的自主性，改善人机界面，并在更多样化的环境中实现深度连接。提高可解释性以实现信任的需求对于6 G至关重要，因为它管理着从任务关键型服务（例如自动驾驶）到安全关键型任务（例如远程手术）的广泛范围。随着我们从传统的基于模型的优化迁移到深度学习，我们对优化模块的信任度下降了。这种信任的丧失意味着我们无法理解以下因素的影响：1）不良/偏见/恶意数据，2）神经网络设计对决策的影响;我们也无法向工程师或公众解释网络的行为。在这篇综述中，我们概述了6 G可解释人工智能（XAI）的核心概念，包括：公共和法律动机，可解释性的定义，性能与可解释性的权衡，提高可解释性的方法，以及将XAI纳入未来无线系统的框架。我们的评论是基于PHY和MAC层优化的案例研究，并为社区提供了一个重要的研究领域。
2019-11-19 cs.LG cs.NI eess.SP
Towards Explainable Anomaly Detection in Shared Mobility Systems
University of Padova（帕多瓦大学）
本文提出融合多源数据的可解释异常检测框架，结合孤立森林与DIFFI算法，在共享出行系统中实现站点级异常分析并揭示外部因素影响。
2025-07-21 cs.AI cs.LG
Improving Credit Card Fraud Detection with an Optimized Explainable Boosting Machine
ReDi School（ReDi学院）
本文通过优化可解释提升机算法，提升信用卡欺诈检测的准确性和可解释性，实验结果显示其在ROC-AUC指标上优于多种传统方法。
2026-02-06 cs.LG
Generative Counterfactual Introspection for Explainable Deep Learning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在这项工作中，我们提出了一种用于深度神经网络的内省技术，该技术依赖于生成模型来煽动对输入图像进行显着编辑以进行模型解释。这种修改提供了基本的干预操作，使我们能够获得反事实调查的答案，即，可以对输入图像进行什么有意义的改变以改变预测。我们演示了如何通过利用MNIST和CelebA数据集上提出的内省方法来揭示给定分类器的有趣特性。
2019-07-06 cs.AI cs.CV cs.LG
Post-processing for Fair Regression via Explainable SVD
The Ohio State University（俄亥俄州立大学）
本文提出一种基于权重矩阵可解释SVD的后处理算法，通过将公平性约束转化为奇异值约束并解析求解最优权重，在不使用敏感属性推理的条件下实现了更优的公平性与准确性权衡。
2025-04-04 cs.AI cs.LG
Improving Stability Estimates in Adversarial Explainable AI through Alternate Search Methods
University of Mississippi（密西西比大学）
针对局部替代类可解释AI方法易受对抗攻击且现有研究未量化其脆弱程度的问题，提出用替代搜索方法找最小可行扰动，以更优地比较可解释性方法的稳定性。
2025-01-15 cs.LG
Exploiting Latent Linearity in LLMs Improves Explainable Molecular Representation Learning
Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）
MoleX通过利用大语言模型中的潜在线性性，提升分子表示学习的可解释性和性能
2026-01-31 cs.AI cs.LG
Improving the trustworthiness of image classification models by utilizing bounding-box annotations
University of Arizona（亚利桑那大学）
我们研究利用训练数据中的辅助信息来提高机器学习模型的可信度。具体而言，在图像分类的上下文中，我们建议优化的训练目标，结合限界框信息，这是在许多图像分类数据集。初步的实验结果表明，该算法实现了更好的性能，准确性，鲁棒性和可解释性相比，基线。
2021-08-15 cs.CV cs.LG
Learning Explainable Interventions to Mitigate HIV Transmission in Sex Workers Across Five States in India
Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；Catalyst Management Services (CMS)（Catalyst管理服务公司（CMS））；Swasti Health Catalyst（Swasti健康催化机构）
女性性工作者（FSW）是社会上最脆弱和最受歧视的群体之一。因此，他们往往得不到高质量的护理。参与改善卫生服务的基层组织由于受到复杂的影响，经常面临着提高干预措施有效性的挑战。这项工作结合了结构学习，歧视性建模，并在五个不同的印度国家的设计干预措施的基层专业知识，以发现非明显因素的影响，以改善安全性行为的FSW。一个自举的，整体平均贝叶斯网络结构的学习，量化的因素，可以最大限度地提高安全套的使用，从模型中揭示。然后使用XgBoost和随机森林构建判别模型，以预测安全套使用行为。最佳模型的预测灵敏度为83%，特异性为99%，精确召回曲线下面积为99%。生成和歧视建模方法显示，金融知识培训的主要影响和预测的安全套使用的FSW。这些见解导致了目前正在进行的现场试验，以评估这种方法的现实效用。我们的工作突出了在资源有限的环境中透明发现和优先考虑女性性工作者抗艾滋病毒干预措施的可解释模型的潜力。
2020-11-30 cs.CY cs.LG
GNN-XAR: A Graph Neural Network for Explainable Activity Recognition in Smart Homes
University of Milan（米兰大学）
本文提出了一种专为智能家庭活动识别设计的可解释图神经网络GNN-XAR，通过提高解释性和识别率展现其有效性。
2026-01-05 cs.AI cs.LG
Counterfactual Explainable AI (XAI) Method for Deep Learning-Based Multivariate Time Series Classification
CONFETTI是一种针对多变量时间序列分类的新型因果解释方法，通过平衡预测置信度、接近性和稀疏性，提升模型可解释性和决策支持能力。
2025-11-24 cs.LG stat.ML
Using Part-based Representations for Explainable Deep Reinforcement Learning
School of Informatics, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学院）；Computational Intelligence and Deep Learning Research Group（计算智能与深度学习研究组）
本文提出一种用于深度强化学习中actor模型的非负训练方法，通过非负初始化和改进的保号训练技术提取基于部件的表示，在遵守非负约束的同时增强可解释性，并在Cartpole基准上验证了有效性。
2024-08-22 cs.AI cs.LG
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
本文提出一种神经复合语言模型，在主题与语言模型的联合学习框架中，引入可解释的主题表示与句子级主题篇章建模，实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
Improving age prediction: Utilizing LSTM-based dynamic forecasting for data augmentation in multivariate time series analysis
Tri-Institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS): Georgia State University, Georgia Institute of Technology, Emory University（转化神经影像与数据科学三机构中心（TReNDS）：佐治亚州立大学、佐治亚理工学院、埃默里大学）
针对神经影像数据集稀缺的问题，提出基于LSTM动态预测的数据增强框架，通过单步和递归预测ICNs时间过程扩展多变量时间序列数据，提升了年龄预测模型的性能。
2023-12-11 cs.AI cs.LG
Explainable Anomaly Detection: Counterfactual driven What-If Analysis
Mississippi State University（密西西比州立大学）；Engineer Research and Development Center, US Department of Defense（美国国防部工程研究与开发中心）
针对预测性维护中异常检测引发的故障原因与修复问题，提出利用反事实解释进行假设分析的概念验证，在PRONOSTIA数据集上结合时间卷积网络，为复杂系统的可解释性研究提供基础。
2024-08-21 cs.AI cs.HC cs.LG
Explainable and Accurate Natural Language Understanding for Voice Assistants and Beyond
Samsung Research America（三星美国研究院）
本文提出一种在不损失准确性的前提下使联合 NLU 模型具备细粒度内在可解释性的方法，并将其成功扩展到情感分析和命名实体识别等通用分类任务。
2023-09-25 cs.CL cs.LG
Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles
Dalhousie University（达尔豪斯大学）；Universidade de São Paulo（圣保罗大学）
随着神经网络成为解决我们社会中越来越多问题的首选工具，对抗攻击变得至关重要。生成故意设计来欺骗网络分析的数据实例的可能性可能会产生灾难性的后果。最近的工作表明，常用的模型训练方法往往会导致脆弱的抽象表示，特别容易受到这种攻击。本文提出了一个可视化的框架来研究神经网络模型的对抗性的例子，揭示模型的感知的对抗性数据的不同，从常规的数据实例，以及它们与类感知的关系。通过不同的用例，我们展示了观察这些元素如何快速查明模型中的漏洞，从而进一步研究输入数据中的脆弱特征，并作为改进模型训练和架构的指南。
2021-03-18 cs.LG
Improving 3D U-Net for Brain Tumor Segmentation by Utilizing Lesion Prior
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of California, Irvine（加利福尼亚大学欧文分校）
我们提出了一种新的，简单而有效的方法来整合病变先验和三维U-网络，以改善脑肿瘤分割。首先，我们利用一组患者的真实脑肿瘤病变来生成不同类型病变的热图。这些热图用于创建包含有关脑肿瘤病变的先验信息的感兴趣体积（VOI）图。然后将VOI图与多模态MR图像集成，并输入到3D U-Net进行分割。在一个公共基准数据集上对所提出的方法进行了测试，实验结果表明，所提出的特征融合方法较基线方法有了一定的改进。此外，我们提出的方法也实现了竞争力的性能相比，国家的最先进的方法。
2020-02-20 cs.CV cs.LG eess.IV
A Novel Approach to Curiosity and Explainable Reinforcement Learning via Interpretable Sub-Goals
BrightMind, Bright Media Inc.（BrightMind，Bright Media 公司）
强化学习中的两个关键挑战涉及改进（a）在具有稀疏外部奖励的环境中的代理学习和（b）代理动作的可解释性。我们描述了一个好奇的子目标为重点的代理，以解决这两个挑战。我们使用一种新的方法产生的好奇心从生成对抗网络（GAN）的环境过渡模型，是强大的随机环境过渡。此外，我们使用子目标生成网络来指导导航。通过将复杂的任务分解为一系列不需要任何手动设计的可解释的子目标，可以增加代理行为的可解释性。我们表明，这种方法也使代理解决具有挑战性的程序生成的任务，包含随机过渡以上其他国家的最先进的方法。
2021-04-19 cs.LG
An Explainable Fast Deep Neural Network for Emotion Recognition
University of Rome “La Sapienza”（罗马大学）
本文提出利用改进的 Integrated Gradients 可解释性方法优化面部关键点输入特征，在提升二元深度情感分类模型准确率的同时降低计算成本。
2024-07-20 cs.CV cs.LG
Bort: Towards Explainable Neural Networks with Bounded Orthogonal Constraint
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
深度学习已经彻底改变了人类社会，但深度神经网络的黑盒性质阻碍了其在可靠性要求较高的行业中的进一步应用。为了解开它们，许多作品观察或影响内部变量，以提高黑箱模型的可理解性和可逆性。然而，现有的方法依赖于直观的假设，缺乏数学保证。为了弥合这一差距，我们引入了Bort，一个优化器，用于提高模型的可解释性与模型参数的有界性和正交性约束，来自模型的可理解性和可逆性的充分条件。我们对Bort优化的模型表示进行重建和回溯，并观察到模型可解释性的明显改善。基于Bort，我们能够合成可解释的对抗样本，而无需额外的参数和训练。令人惊讶的是，我们发现Bort不断提高各种架构的分类准确性，包括MNIST，CIFAR-10和ImageNet上的ResNet和DeiT。代码：https://github.com/zbr17/Bort.
2023-03-08 cs.CV cs.LG
A Novel Interaction-based Methodology Towards Explainable AI with Better Understanding of Pneumonia Chest X-ray Images
Columbia University（哥伦比亚大学）
在可解释人工智能（XAI）领域中，诸如卷积神经网络（CNN）之类的鲁棒“黑盒”算法以实现高预测性能而闻名。然而，解释和解释这些算法的能力仍然需要在理解直接或间接影响预测性能的有影响力的，更重要的是，可解释的特征方面进行创新。现有的一些方法在文献中集中在可视化技术，但可解释性和可解释性的概念仍然需要严格的定义。鉴于上述需求，本文提出了一种基于交互的方法--影响评分（I-score）--来筛选出图像中的噪声和非信息变量，从而为环境提供与特征预测性直接相关的可解释和可解释特征。我们将所提出的方法应用于肺炎胸部X射线图像数据集的实际应用中，并产生了最先进的结果。我们展示了如何通过提高可解释性和可解释性，在不牺牲预测性能的情况下，将所提出的方法应用于更一般的大数据问题。本文的贡献开辟了一个新的角度，使社区更接近XAI问题的未来管道。
2021-06-15 cs.CV cs.LG stat.AP
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan（大阪大学）
针对现有图神经架构搜索方法缺乏可解释性的问题，提出ExGNAS方法，通过结合简单搜索空间与蒙特卡洛树搜索算法，在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Melanoma Classification Through Deep Ensemble Learning and Explainable AI
Sam Houston State University（萨姆休斯顿州立大学）
本文提出利用深度集成学习和XAI技术，提升黑色素瘤分类的可靠性与可解释性。
2025-10-31 cs.CV cs.LG
Unlocking the Black Box: A Five-Dimensional Framework for Evaluating Explainable AI in Credit Risk
Independent Researcher（独立研究者）
本文针对金融信用风险中黑箱模型与监管可解释性要求的矛盾，提出包含固有可解释性、全局解释、局部解释、一致性和复杂性的五维评估框架，并验证了SHAP和LIME可使高性能复杂模型达到合规可解释水平。
2025-11-07 cs.LG
Explainable Probabilistic Machine Learning for Predicting Drilling Fluid Loss of Circulation in Marun Oil Field
University of Shanghai for Science and Technology（上海理工大学）
本文提出基于高斯过程回归的可解释概率机器学习框架，结合 LBFGS 优化和 LIME 解释，用于预测 Marun 油田钻井液漏失风险并量化不确定性，为堵漏材料优化和钻井安全决策提供支持。
2025-11-10 cs.LG
Explain To Decide: A Human-Centric Review on the Role of Explainable Artificial Intelligence in AI-assisted Decision Making
College of Computing and Informatics（计算与信息学院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
该综述聚焦人机协作决策场景下可解释人工智能（XAI）的作用，梳理相关实证研究，指出当前研究对解释如何影响人机团队绩效关注不足的问题，明确挑战并提出未来研究方向。
2023-12-11 cs.HC cs.LG
GCA-Net : Utilizing Gated Context Attention for Improving Image Forgery Localization and Detection
Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）；University of Alberta（阿尔伯塔大学）；Fordham University（福特汉姆大学）
对被操纵像素的法医分析需要从图像中识别各种隐藏和微妙的特征。传统的图像识别模型通常无法完成这项任务，因为它们偏向于主要的局部和空间特征。在本文中，我们提出了一种新的门控上下文注意力网络（GCA-Net），它利用非局部注意力结合门控机制，以捕捉更精细的图像差异，更好地识别伪造区域。所提出的框架使用高维嵌入过滤和聚合相关的上下文从粗特征图在解码过程的各个阶段。这提高了网络对全局差异的理解，并减少了假阳性定位。我们对标准图像取证基准的评估表明，GCA-Net可以与最先进的网络竞争并提高平均4.7%的AUC。其他消融研究也证明了该方法对归因的鲁棒性和对假阳性预测的弹性。
2022-04-07 cs.CV cs.LG
