Achieving Transparency in Distributed Machine Learning with Explainable Data Collaboration
University of Tsukuba（筑波大学）；NTT DATA Corporation（NTT数据公司）
用于各行各业决策支持的机器学习模型的透明度对于确保其道德使用至关重要。为此，诸如SHAP（SHapley Additive exPlanations）的特征归因方法被广泛用于向客户和开发人员解释黑盒机器学习模型的预测。然而，一个平行的趋势是与其他数据持有者合作训练机器学习模型，而不访问他们的数据。这些模型在水平或垂直分区的数据上训练，对可解释的AI提出了挑战，因为解释方可能对背景数据有偏见或对特征空间有部分看法。因此，从分布式机器学习的不同参与者那里获得的解释可能彼此不一致，从而破坏了对产品的信任。提出了一种基于模型无关的加性特征属性算法（KernelSHAP）和隐私保护分布式机器学习的数据协作方法的可解释数据协作框架。特别是，我们提出了三种算法，不同的情况下，在数据协作的可解释性，并验证其一致性与开放获取数据集上的实验。我们的研究结果表明，分布式机器学习用户之间的特征归因差异显著减少（至少减少了1.75倍）。
2022-12-06 cs.AI cs.LG
Explainable Artificial Intelligence and Machine Learning: A reality rooted perspective
Tampere University（坦佩雷大学）；Tampere University of Technology（坦佩雷理工大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）
我们已经习惯了由于技术进步而在几乎所有科学领域产生的大数据的可用性。然而，对这些数据的分析面临着巨大的挑战。其中之一涉及人工智能（AI）或机器学习方法的可解释性。目前，许多这样的方法在其工作机制方面是不透明的，因此被称为黑盒模型，最著名的是深度学习方法。然而，人们已经意识到，这对包括健康科学和刑事司法在内的许多领域构成了严重的问题，并且已经提出了支持可解释人工智能的论点。在本文中，我们没有假设通常的观点来呈现可解释的人工智能，而是提供了一个讨论可解释的人工智能可以是什么。不同之处在于，我们并没有提出一厢情愿的想法，而是提出了与物理学之外的科学理论有关的基于现实的属性。
2020-01-26 cs.AI cs.CV cs.LG
Developing a Fidelity Evaluation Approach for Interpretable Machine Learning
Queensland University of Technology（昆士兰科技大学）
虽然现代机器学习和深度学习方法允许进行复杂和深入的数据分析，但这些方法生成的预测模型通常非常复杂，并且缺乏透明度。可解释人工智能（XAI）方法用于提高这些复杂模型的可解释性，从而提高透明度。然而，这些可解释的方法的内在适应性可能很难评估。特别是，评估解释对基本黑盒的保真度的方法需要进一步发展，特别是对于表格数据。在本文中，我们（a）提出了一个三阶段的方法来开发一种评估方法;（b）调整现有的评估方法，主要用于图像和文本数据，以评估在表格数据上训练的模型;（c）使用这种评估方法评估两种流行的可解释方法。我们的评估表明，潜在的预测模型的内部机制，所使用的可解释方法的内部机制以及模型和数据的复杂性都会影响解释的保真度。鉴于解释的保真度对所使用的上下文、工具和数据非常敏感，我们无法清楚地确定任何特定的可解释方法优于另一种方法。
2021-06-16 cs.AI cs.LG
Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction
HRL Laboratories, LLC（HRL实验室有限责任公司）
基于任务的刺激的快速非语言交流是人机合作的一个挑战，特别是在驾驶等闭环交互中。为了实现这一点，我们必须理解人类和机器的信息表示，并确定桥接这些表示的基础。分层相关传播（LRP）等可解释的人工智能（XAI）技术为深度神经网络等高维机器学习技术提供了视觉热图解释。在人类认知方面，视觉注意是由与当前任务相关的感觉输入的自下而上和自上而下的处理驱动的。由于XAI和人类认知都应该关注与任务相关的刺激，因此它们对视觉注意力的表示可能会重叠，从而可能提供人类和机器之间的非语言交流手段。在这项工作中，我们研究了经过训练以预测驾驶行为的神经网络的LRP热图解释与人类驾驶员的眼睛注视热图之间的相关性。该分析用于确定使用这种技术来提高驾驶性能的可行性。我们发现，LRP热图显示出越来越多的相似性水平与眼睛注视根据任务特异性的神经网络。然后，我们提出这些发现如何通过视觉上将注意力引导到相关区域来帮助人类。据我们所知，我们的工作提供了第一个已知的分析LRP和眼睛注视的驾驶任务。
2021-01-30 cs.AI cs.HC
Notes on Applicability of Explainable AI Methods to Machine Learning Models Using Features Extracted by Persistent Homology
Hitachi, Ltd.（日立有限公司）
本文探讨将可解释人工智能方法应用于基于持久同调特征提取的机器学习流程，以解决其可解释性局限，并在金属有机框架气体吸附预测中验证了方法的有效性。
2023-10-15 cs.AI cs.LG
The Utility of Explainable AI in Ad Hoc Human-Machine Teaming
Georgia Institute of Technology（佐治亚理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
机器学习的最新进展导致人们对可解释人工智能（xAI）的兴趣越来越大，以使人类能够深入了解机器学习模型的决策。尽管最近有这种兴趣，但xAI技术的实用性尚未在人机合作中得到表征。重要的是，xAI提供了增强团队态势感知（SA）和共享心理模型开发的承诺，这是有效人机团队的关键特征。快速开发这样的心智模型在特别的人机合作中尤其重要，因为智能体对其他人的决策策略没有先验知识。在本文中，我们提出了两个新的人类受试者实验，量化了在人机合作场景中部署xAI技术的好处。首先，我们证明了xAI技术可以支持SA（$p<0.05)$ .其次，我们研究了通过协作AI策略抽象诱导的不同SA级别如何影响特定的人机协作性能。重要的是，我们发现xAI的好处并不普遍，因为它强烈依赖于人机团队的组成。新手受益于xAI提供增加的SA（$p<0.05$），但易受认知开销（$p<0.05$）的影响。另一方面，专家的性能随着基于xAI的支持（$p<0.05$）的增加而下降，这表明关注xAI的成本超过了从提供额外信息以增强SA中获得的好处。我们的研究结果表明，研究人员必须通过仔细考虑人机团队组成以及xAI方法如何增强SA，在正确的场景中故意设计和部署正确的xAI技术。
2022-09-08 cs.AI cs.HC
Explainable AI for Classification using Probabilistic Logic Inference
Swansea University（斯旺西大学）；University of Utah（犹他大学）
可解释人工智能的总体目标是开发不仅表现出智能行为，而且能够解释其原理并揭示见解的系统。在可解释的机器学习中，产生高水平预测准确性以及透明解释的方法是有价值的。在这项工作中，我们提出了一个可解释的分类方法。我们的方法的工作原理是首先从训练数据中构建一个符号知识库，然后用线性规划对这样的知识库进行概率推理。我们的方法达到了与传统分类器，如随机森林，支持向量机和神经网络的学习性能相当的水平。它确定了决定性的功能，负责分类的解释，并产生类似的结果，发现由SHAP，一个国家的最先进的Shapley值为基础的方法。我们的算法在一系列合成和非合成数据集上表现良好。
2020-05-05 cs.AI cs.LG
Towards Transparent and Accurate Diabetes Prediction Using Machine Learning and Explainable Artificial Intelligence
University of Salerno（萨勒诺大学）
针对糖尿病需尽早诊断管理的问题，本研究提出结合机器学习模型与可解释人工智能工具的预测框架，通过SMOTE和特征缩放处理数据集，集成模型达92.50%测试准确率及0.975 ROC-AUC，明确关键预测因素，为医疗系统提供准确透明的工具。
2025-02-12 cs.AI cs.LG cs.SE
Explainable Black-Box Attacks Against Model-based Authentication
University of Florida（佛罗里达大学）
为人类和终端系统建立唯一的身份一直是安全社区中的一个活跃的研究问题，从而产生了基于创新机器学习的身份验证技术。虽然这些技术提供了一种自动化的方法来建立身份，但它们还没有经过针对其核心机器学习技术的复杂攻击的审查。本文证明了模仿主机指纹和生物特征认证系统生成的唯一签名是可能的。我们通过构建一个基于查询合成框架的盲攻击和利用可解释AI（XAI）技术，揭示了底层机器学习分类模型的无效性。我们在最先进的人脸认证系统上发起了不到130个查询的攻击，在主机认证系统上发起了不到100个查询的攻击。我们将研究如何防御这些攻击，并探索它们的局限性。XAI为对手提供了一种有效的手段来推断决策边界，并为使用机器学习模型进行身份验证来构建针对系统的攻击提供了一种新的方法。
2018-09-28 cs.AI cs.CR cs.LG
Evaluating Explainable Methods for Predictive Process Analytics: A Functionally-Grounded Approach
Queensland University of Technology（昆士兰科技大学）
预测流程分析侧重于预测业务流程运行实例的未来状态。虽然先进的机器学习技术已被用于提高预测的准确性，但由此产生的预测模型缺乏透明度。当前可解释的机器学习方法，如LIME和SHAP，可以用来解释黑盒模型。然而，目前还不清楚这些方法在解释过程预测模型时的适用性。在本文中，我们借鉴了可解释人工智能领域中使用的评估指标，并提出了基于功能的评估指标，用于评估预测过程分析中的可解释方法。我们应用所提出的指标来评估LIME和SHAP在解释XGBoost上构建的过程预测模型时的性能，该模型在过程预测中相对准确。我们使用三个开源的真实事件日志进行评估，并分析评估结果以获得见解。该研究有助于理解预测过程分析的可解释方法的可信度，作为面向人类用户的评估的基本和关键步骤。
2020-12-08 cs.AI cs.LG
Explainable AI for Intelligence Augmentation in Multi-Domain Operations
Crime and Security Research Institute（犯罪与安全研究所）；Cardiff University（卡迪夫大学）；IBM Research（IBM研究院）；U.S. Army Research Laboratory（美国陆军研究实验室）
多域作战（MDO）概念的核心是利用情报、监视和侦察（ISR）网络，该网络由分布在多个合作伙伴之间的远程和自主传感器以及人工智能的重叠系统组成。实现这一概念需要人工智能（AI）的进步，以改善分布式数据分析和智能增强（IA），以改善人机认知。本文的贡献有三个方面：（1）我们将联盟态势理解（CSU）概念映射到MDO ISR需求，特别关注对有保证和可解释的AI的需求，以允许在资产分布在多个合作伙伴之间的情况下进行鲁棒的人机决策;（2）我们为多学科设计优化ISR中的人工智能和信息保障提供了说明性的小插曲，包括人机合作、密集的城市地形分析和增强的资产互操作性;（3）我们评估了与小插曲相关的可解释人工智能的最新技术，重点是人机协作，以实现更快速和敏捷的联盟决策。这三个要素的结合旨在展示CSU方法在MDO ISR背景下的潜在价值，以三个不同的用例为基础，强调在多伙伴联盟环境中对可解释性的需求是关键。
2019-10-16 cs.AI cs.CY cs.HC
Verifying Machine Unlearning with Explainable AI
Aalborg University（奥尔堡大学）；University of Barcelona（巴塞罗那大学）；Milestone Systems（迈尔斯通系统公司）
本文研究在港口监控场景下利用可解释人工智能验证机器遗忘，提出基于特征重要性的验证步骤以及热图覆盖率和注意力偏移两个新指标，以评估遗忘方法减少对非期望模式依赖的效果。
2024-11-20 cs.AI cs.LG
Fault Diagnosis using eXplainable AI: a Transfer Learning-based Approach for Rotating Machinery exploiting Augmented Synthetic Data
Federal University of Uberlândia（乌贝兰迪亚联邦大学）；University of Padova（帕多瓦大学）；Federal University of São João del Rei（圣若昂德尔雷伊联邦大学）
人工智能（AI）是已经提出来分析所收集的数据的方法之一（例如，振动信号）提供资产的操作状况的诊断。众所周知，用标记数据（监督）训练的模型取得了优异的结果，但两个主要问题使其在生产过程中的应用变得困难：（i）不可能或长时间获得所有操作条件的样本（因为故障很少发生）和（ii）专家标记所有采集数据的成本高。在这种情况下，人工智能方法适用性的另一个限制因素是模型（黑盒）缺乏可解释性，这降低了用户对诊断和信任/采用的信心。为了克服这些问题，本文提出了一种新的通用的、可解释的旋转机械故障分类方法--FaultD-XAI（Fault Diagnosis using eXplainable AI）。为了使用迁移学习提供可扩展性，创建模拟操作中故障的特征行为的合成振动信号。应用具有1D卷积神经网络（1D CNN）的加权类别激活映射（Grad-CAM）可以解释结果，支持用户做出决策并提高诊断信心。所提出的方法不仅获得了有前途的诊断性能，但也能够学习专家使用的特征来识别源域中的条件，并将其应用于另一个目标域。实验结果表明，利用迁移学习、合成数据和可解释的人工智能进行故障诊断是一种很有前途的方法。最后，为了保证可重复性和促进该领域的研究，开发的数据集是公开的。
2022-10-11 cs.AI cs.LG
Explainable AI for Software Engineering
Monash University（莫纳什大学）
人工智能/机器学习技术已经广泛应用于软件工程中，以提高开发人员的生产力、软件系统的质量和决策制定。然而，这种用于软件工程的AI/ML模型仍然是不切实际的，不可解释的，也不可操作的。这些问题通常会阻碍AI/ML模型在软件工程实践中的采用。在本文中，我们首先强调了在软件工程中对可解释的人工智能的需求。然后，我们总结了三个成功的案例研究，说明如何通过使软件缺陷预测模型更加实用，可解释和可操作来使用可解释的人工智能技术来解决上述挑战。
2020-12-03 cs.AI cs.CY cs.SE
Analyzing the Impact of Adversarial Examples on Explainable Machine Learning
School of Computing and Information Science, Anglia Ruskin University, Cambridge, UK（计算与信息科学学院，安格利亚 Ruskin 大学）；Department of Computer Science and Engineering, Silicon University, Odisha, India（计算机科学与工程系，硅大学）；Department of Computer Science, University of the Pacific, Stockton, USA（计算机科学系，太平洋大学）
本研究分析了对抗攻击对文本分类模型可解释性的影响，通过开发机器学习分类模型并引入对抗扰动，评估了攻击前后的分类性能与模型可解释性。
2025-09-12 cs.AI cs.LG
Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience
Stony Brook University（石溪大学）；IBM Research AI（IBM研究院人工智能部门）
机器学习技术的广泛采用为能够训练ML模型的人创造了快速增长的需求。一些人主张使用“机器教师”一词来指代将领域知识注入ML模型的人。一个有前途的学习范例是主动学习（AL），通过它，模型智能地选择实例来向机器教师查询标签。然而，在当前的人工智能设置中，人类-人工智能界面仍然是最小的和不透明的。我们开始考虑将人工智能解释作为教学机器的人机界面的核心元素。当一个人类学生学习时，提出自己的推理并征求老师的反馈是一种常见的模式。当ML模型学习并仍然犯错误时，人类教师应该能够理解错误背后的推理。当模型成熟时，机器教师应该能够认识到它的进步，以便信任并对他们的教学结果充满信心。为了实现这一愿景，我们提出了一种新的可解释主动学习（XAL）范式，通过将最近兴起的可解释AI（XAI）领域的技术引入AL设置。我们进行了一项实证研究，比较模型的学习成果，反馈内容和经验与XAL，传统的AL和协同学习（提供模型的预测，没有解释）。我们的研究显示了人工智能解释作为机器教学接口的好处-支持信任校准并实现丰富形式的教学反馈，以及潜在的缺点-与模型判断和认知工作量的锚定效应。我们的研究还揭示了调解机器教师对AI解释的接受的重要个人因素，包括任务知识，AI经验和认知需求。通过反思的结果，我们建议未来的方向和设计的XAL的影响。
2020-09-30 cs.AI cs.HC cs.LG
Explainable AI For Early Detection Of Sepsis
Vishwakarma Institute of Technology, Pune（浦那维什瓦卡玛理工学院）
本研究提出一种融合机器学习与临床知识的可解释人工智能方法，用于脓毒症早期检测，在保证预测准确性的同时提升模型的可解释性与临床信任。
2025-11-09 cs.AI cs.LG
Explainable AI Enabled Inspection of Business Process Prediction Models
Queensland University of Technology（昆士兰科技大学）
以机器学习技术为基础的现代数据分析已成为数据主导决策自动化的关键推动因素。作为最先进的数据分析的一个重要分支，业务流程预测也面临着一个挑战，即缺乏解释的推理和决策的基础“黑箱”预测模型。随着可解释的机器学习技术的发展，可以为黑盒模型生成解释，使（人类）用户能够访问机器学习预测背后的推理。在本文中，我们的目标是提出一种方法，使我们能够使用模型解释来研究机器学习预测应用的某些推理，并检测潜在的问题，从而提高对业务流程预测模型的信任。我们的方法的一个新的贡献是模型检查的建议，利用可解释的机器学习机制和上下文或领域的知识，从记录历史过程执行的事件日志中提取的解释。从这项工作中得出的结果，预计将作为一个关键的投入，开发模型的可靠性指标和评估的背景下，业务流程的预测。
2021-07-16 cs.AI cs.LG
Explainable Artificial Intelligence Techniques for Accurate Fault Detection and Diagnosis: A Review
University of North Texas（北德克萨斯大学）；Benha University（本哈大学）；University of Sharjah（沙迦大学）
本文综述了可解释人工智能（XAI）在工业故障检测与诊断中的应用，分析其使AI决策透明化的方法，并探讨平衡可解释性与模型性能的未来研究方向。
2024-06-10 cs.AI cs.LG
A Machine Learning Pipeline for Multiple Sclerosis Biomarker Discovery: Comparing explainable AI and Traditional Statistical Approaches
Department of Computer Science , University of Pisa（计算机科学系，比萨大学）；Department of Clinical and Biological Sciences, University of Torino（临床与生物科学系，都灵大学）；Department of Computer Sciences, University of Torino（计算机科学系，都灵大学）；Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学）
该研究构建整合八个 PBMC 微阵列数据集的机器学习流水线，用 XGBoost 与 SHAP 发现 MS 生物标志物，并与 DEA 比较，证明二者互补且可揭示相关疾病通路。
2025-09-26 cs.AI cs.LG
Explainable AI does not provide the explanations end-users are asking for
Arca Blanca Ltd.（阿尔卡布兰卡有限公司）
可解释的人工智能（XAI）技术经常被许多AI系统中的用户所需要，其目标是理解复杂模型及其相关预测并获得信任。虽然适用于开发过程中的某些特定任务，但组织采用它们来增强对机器学习系统的信任会产生意想不到的后果。在本文中，我们讨论了XAI在部署方面的局限性，并得出结论，透明度和严格的验证更适合在AI系统中获得信任。
2023-03-21 cs.AI cs.HC cs.LG
Machine Learning in Sports: A Case Study on Using Explainable Models for Predicting Outcomes of Volleyball Matches
BITS Pilani（比尔拉科学技术学院）
机器学习已成为包括体育在内的多个领域的工程设计和决策的组成部分。深度神经网络（DNN）已经成为预测职业体育赛事结果的最先进方法。然而，除了对这些体育赛事的结果进行高度准确的预测外，还需要回答以下问题：“为什么模型预测A队将在X场比赛中战胜B队？“DNN本质上是黑箱。因此，需要为体育运动中的模型预测提供高质量的可解释和可理解的解释。本文探讨了两个阶段的解释人工智能（XAI）的方法来预测比赛的结果在巴西排球联赛（SuperLiga）。在第一阶段，我们直接使用可解释的基于规则的ML模型，这些模型基于布尔规则列生成（BRCG;提取简单的AND-OR分类规则）和逻辑回归（LogReg;允许估计特征重要性得分）提供对模型行为的全局理解。在第二阶段，我们构建了非线性模型，如支持向量机（SVM）和深度神经网络（DNN），以获得对排球比赛结果的预测性能。我们使用ProtoDash为每个数据实例构建“事后”解释，ProtoDash是一种在训练数据集中找到与测试实例最相似的原型的方法，SHAP是一种估计每个特征对模型预测的贡献的方法。我们使用忠诚度度量来评估SHAP解释。我们的研究结果表明，模型的预测解释的有效性。
2022-06-18 cs.AI cs.LG
Tensor Networks for Explainable Machine Learning in Cybersecurity
Multiverse Computing；Department of Basic Sciences, Tecnun - University of Navarra（基础科学系，塔努大学）；Donostia International Physics Center（Donostia国际物理中心）；Ikerbasque Foundation for Science（Ikerbasque科学基金会）
本文提出基于矩阵乘积态的无监督聚类算法，在对抗性威胁情报中实现与深度学习相当的性能，并提供特征级概率、熵和互信息，增强模型可解释性。
2025-04-25 cs.AI cs.LG quant-ph
Can machine learning for quantum-gas experiments be explainable?
National Institute of Standards and Technology（国家标准与技术研究院）；Department of Physics, University of Maryland, College Park, MD 20742, USA（马里兰大学物理系）；Joint Quantum Institute, University of Maryland, College Park, MD 20742, USA（联合量子研究所）；Joint Center for Quantum Information and Computer Science, University of Maryland, College Park, MD 20742, USA（联合量子信息与计算机科学中心）；Computer Science, University of Maryland, College Park, MD 20742, USA（马里兰大学计算机科学系）
本文探讨了机器学习在量子气体实验中的应用，重点介绍了图像去噪和玻色-爱因斯坦凝聚体中孤子波的识别，并讨论了性能、模型复杂度和可解释性之间的关系。
2026-05-18 cond-mat.quant-gas cs.LG physics.atom-ph
Explainable quantum-compressed machine learning for complex fluid flows
Centre for Computational Science, University College London（计算科学中心，伦敦大学学院）；Leibniz Supercomputing Centre of the Bavarian Academy of Sciences and Humanities（巴伐利亚科学院和人文科学莱比锡超算中心）
研究针对物理系统机器学习替代模型的矛盾，提出量子压缩机器学习，通过压缩潜在传播器参数解决问题，该方法在心血管基准测试中表现良好，确立了其在科学机器学习及实际量子优势方面的地位。
2026-07-27 cs.LG physics.flu-dyn quant-ph
