Explainable machine learning for predicting shellfish toxicity in the Adriatic Sea using long-term monitoring data of HABs
利用长期监测数据，通过可解释机器学习预测亚得里亚海贝类毒素，识别关键物种和环境因素以提高预警系统效能。
2024-05-09 cs.AI cs.LG
Proceedings of ICML 2021 Workshop on Theoretic Foundation, Criticism, and Application Trend of Explainable AI
这是ICML 2021研讨会的论文集，关于可解释AI的理论基础，批评和应用趋势。深度神经网络（DNN）无疑为计算机视觉、计算语言学和人工智能的广泛应用带来了巨大成功。然而，DNN成功的基本原则及其对对抗攻击的适应能力在很大程度上仍然缺失。解释和理论化DNN的内部机制成为一个引人注目但有争议的话题。本次研讨会特别关注XAI范围内的理论基础、局限性和新的应用趋势。这些问题反映了XAI未来发展的新瓶颈。
2021-07-26 cs.AI cs.CY cs.LG
Rethinking Explainable Machine Learning as Applied Statistics
University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国）；University of Tübingen, Germany（图宾根大学，德国）
该立场论文提出可解释机器学习可类比应用统计学的务实视角，指出解释是高维函数的统计量，需重视其与人类直观疑问的关联，为改进该领域研究实践提供了新思路。
2025-06-16 cs.LG
Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition
University of Florida（佛罗里达大学）；University of Texas in Dallas（德克萨斯大学达拉斯分校）
可解释的机器学习和人工智能模型已被用于证明模型的决策过程。这种增加的透明度旨在帮助提高用户性能和对底层模型的理解。然而，在实践中，可解释系统面临着许多开放的问题和挑战。具体来说，设计师可能会降低深度学习模型的复杂性，以提供可解释性。然而，这些简化模型产生的解释可能无法准确地证明模型的合理性和真实性。这可能会进一步增加用户的困惑，因为他们可能会发现解释对模型预测没有意义。了解这些解释如何影响用户行为是一个持续的挑战。在本文中，我们探讨如何解释准确性影响用户的性能和协议的智能系统。通过一个受控的用户研究与可解释的活动识别系统，我们比较了解释的准确性的变化，视频审查和查询任务。结果表明，与准确的解释和没有解释的系统相比，低准确性的解释显着降低用户的性能和协议。这些发现表明了准确和可理解的解释的重要性，并警告说，就其对用户性能和对人工智能系统的依赖性的影响而言，糟糕的解释有时可能比没有解释更糟糕。
2020-05-05 cs.AI cs.HC cs.LG
OmniXAI: A Library for Explainable AI
Salesforce Research（赛富时研究院）；Salesforce Search（赛富时搜索部门）
我们介绍OmniXAI（Omni eXplainable AI的缩写），这是eXplainable AI（XAI）的开源Python库，它提供了全方位的可解释AI功能和各种可解释的机器学习技术，以解决理解和解释机器学习（ML）在实践中做出的决策的痛点。OmniXAI旨在成为一站式综合库，为数据科学家，ML研究人员和从业者提供可解释的AI，他们需要在ML过程的不同阶段（数据探索，特征工程，模型开发，评估和决策等）解释各种类型的数据，模型和解释方法。特别是，我们的库包括一个丰富的家庭的解释方法集成在一个统一的接口，它支持多种数据类型（表格数据、图像、文本、时间序列），多种类型的ML模型（Scikit-learn中的传统ML和PyTorch/TensorFlow中的深度学习模型），以及一系列不同的解释方法，包括“模型特定”和“模型不可知”的解释方法（如特征归因解释、反事实解释、基于梯度的解释等）。对于从业者来说，该库提供了一个易于使用的统一界面，只需编写几行代码即可为其应用程序生成解释，还提供了一个GUI仪表板，用于可视化不同的解释，以获得更多关于决策的见解。在本技术报告中，我们介绍了OmniXAI的设计原理、系统架构和主要功能，并展示了不同类型数据、任务和模型的几个示例用例。
2022-12-12 cs.AI cs.CV cs.LG
The Disagreement Problem in Explainable Machine Learning: A Practitioner's Perspective
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Drexel University（德雷塞尔大学）
针对可解释机器学习中事后解释方法存在分歧却缺乏研究的问题，通过访谈定义分歧概念、构建定量框架，结合实证分析与用户研究发现解释方法常分歧且从业者用临时启发式解决，强调需开发原则性评估框架。
2025-04-17 cs.AI cs.LG
Abduction and Argumentation for Explainable Machine Learning: A Position Survey
University of Cyprus（塞浦路斯大学）；Open University of Cyprus（塞浦路斯开放大学）
本文提出了溯因推理和论证推理作为推理的两种基本形式，并充实了它们在机器学习中所起的基本作用。它回顾了过去几十年来关于这两种推理形式与机器学习工作之间联系的最先进的工作，并从中阐述了溯因推理和论证的推理生成作用如何使它们成为可解释机器学习和AI系统开发的自然适合机制。溯因通过数据的转换、准备和同质化促进学习，从而有助于实现这一目标。作为经典演绎推理的保守扩展，论证为学习提供了一种灵活的预测和覆盖机制--一种用于学习知识的相关目标语言--明确承认需要在学习的上下文中处理与任何经典表示的逻辑理论不相容的不确定、不完整和不一致的数据。
2020-10-24 cs.AI cs.LG cs.LO
Toward using explainable data-driven surrogate models for treating performance-based seismic design as an inverse engineering problem
Utah State University（犹他州立大学）
本研究提出将基于性能的抗震设计转化为逆工程问题的方法，结合可解释机器学习代理模型与遗传优化算法，可高效推导满足性能目标的设计参数，经两类城市框架建筑验证，模型精度高且结果符合工程原理。
2025-08-01 cs.LG stat.AP stat.ML
XAI-P-T: A Brief Review of Explainable Artificial Intelligence from Practice to Theory
Umeå University（于默奥大学）；Aalto University（阿尔托大学）
在这项工作中，我们报告了一些基本文献中确定的可解释AI（XAI）的实践和理论方面。虽然有大量的工作来代表XAI的背景，但大多数语料库都指出了一个离散的思想方向。在实践和理论上同时提供对文学的见解仍然是该领域的一个空白。这一点很重要，因为这种联系有利于早期XAI研究人员的学习过程，并为经验丰富的XAI学者提供了一个光明的立场。分别介绍了黑箱解释的分类，并给出了一个实例。稍后，我们将讨论理论解释如何在多学科领域的身体中扎根。最后，对今后的研究方向进行了展望。
2020-12-17 cs.AI cs.LG
Does Explainable Machine Learning Uncover the Black Box in Vision Applications?
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
一般来说，机器学习（ML）和深度学习（DL）已经成为几种视觉应用（如目标检测、超分辨率、分割、对象跟踪等）中非常流行的工具。几乎与此同时，视觉中ML的可解释性问题（即解释/阐述经过训练的ML模型做出决策的方式的能力）也受到了各方的极大关注。然而，我们认为，当前可解释ML背后的哲学存在一定的局限性，由此产生的解释可能无法有意义地揭示黑盒ML模型。为了阐述我们的主张，我们首先提出了一些在相应文献中没有充分讨论的基本问题。我们还提供了关于ML中的可解释性如何通过依赖相关领域中更严格的原则而受益的观点。
2021-12-18 cs.CV cs.LG
Explainable Machine Learning using Real, Synthetic and Augmented Fire Tests to Predict Fire Resistance and Spalling of RC Columns
Clemson University（克莱姆森大学）；AI Research Institute for Science and Engineering (AIRISE), Clemson University（克莱姆森大学人工智能科学与工程研究院）；Michigan State University（密歇根州立大学）
本文介绍了系统的机器学习（ML）方法的发展，使耐火性和火灾引起的剥落钢筋混凝土（RC）柱的解释和快速评估。开发的方法包括三种新型ML算法的集成，即：随机森林（RF），极端梯度提升树（ExGBT）和深度学习（DL）。这些算法经过训练，以考虑广泛的几何特征和材料特性，以及加载条件，通过分析包括超过494个观察结果的火灾测试的综合数据库来检查正常和高强度RC柱的防火性能。开发的集成还能够为ML预测提供可量化的见解;因此，摆脱了“黑匣子”ML的概念，并朝着透明和可解释的ML迈出了坚实的一步。最重要的是，这项工作通过提出新技术来利用真实的，合成的和增强的火灾测试观察来解决可用火灾测试的稀缺性。开发的ML合奏已被校准和验证标准和设计火灾暴露，并为一，二，三，四面火灾暴露，因此，涵盖了广泛的实际情况下存在的火灾事件。当完全部署时，开发的合奏可以在60秒内分析超过5,000个RC柱，从而为研究人员和从业者提供了一个有吸引力的解决方案。所提出的方法还可以很容易地扩展到评估其他结构构件以及不同火灾场景和载荷条件下的耐火性和剥落，从而为该研究领域和实践的现代化铺平了道路。
2021-08-22 cs.LG
Explainable Semantic Medical Image Segmentation with Style
The University of Queensland（昆士兰大学）
使用深度学习的语义医学图像分割最近已经达到了很高的准确性，使其对放射治疗等临床问题具有吸引力。然而，缺乏高质量的语义标记数据仍然是一个挑战，导致模型脆弱到输入数据的小变化。大多数工作需要额外的数据进行半监督学习，并且在训练过程中缺乏训练数据分布边界的可解释性，这对于临床实践中的模型部署至关重要。我们提出了一个完全监督的生成框架，它可以通过在训练过程中同时构建一个可探索的流形来实现只有有限标记数据的可泛化分割。所提出的方法创建了医学图像风格，并结合了端到端对抗训练的分割任务驱动的训练。该方法被推广到训练数据所允许的小域偏移，并且生成器使用在分割过程中学习的多种输入特征自动使训练样本多样化。一直以来，在图像多样化的过程中，该算法通过分别监督语义内容和细粒度特征来指导流形学习。在训练之后，来自生成器的学习流形的可视化可用于解释模型限制。在一个完全语义的、公开可用的骨盆数据集上进行的实验表明，我们的方法比其他最先进的方法更能推广到移位，同时使用可探索的流形更能解释。
2023-03-10 cs.CV cs.LG eess.IV
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI（IBM研究院AI）；IBM Research（IBM研究院）
对可解释人工智能（XAI）的兴趣激增，导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性，但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者，我们试图找出当前XAI算法工作与实践之间的差距，以创建可解释的人工智能产品。要做到这一点，我们开发了一个算法知情的XAI问题库，其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题，并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域，为支持该领域的设计实践提供信息，并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库，并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Interpretable Representations in Explainable AI: From Theory to Practice
University of Bristol（布里斯托尔大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究了可解释表示的属性及其在表格、图像和文本数据中的应用，分析了其解释力与潜在操纵风险，并提出了设计可信可解释表示的具体建议。
2024-04-26 cs.AI cs.LG stat.ML
Data Science Principles for Interpretable and Explainable AI
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
该综述梳理可解释人工智能领域的核心原则，明确相关术语，关联经典统计与设计原则，介绍基础可解释技术并给出评估标准，指出待解决挑战及数据科学的作用。
2024-08-17 cs.LG stat.ML
Deciphering knee osteoarthritis diagnostic features with explainable artificial intelligence: A systematic review
Universiti Malaya（马来亚大学）；Université Paris-Est Créteil（巴黎东克雷泰伊大学）
本文首次系统综述用于膝骨关节炎诊断的可解释人工智能技术，从数据与模型两个可解释性维度梳理方法，以提升AI预测透明度、可信度及临床采用率。
2023-08-18 cs.AI cs.CV cs.LG
CAIPI in Practice: Towards Explainable Interactive Medical Image Classification
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Nuremberg Institute of Technology Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆技术学院）
如果医生不能向你解释他们的决定，你会相信他们吗？使用机器学习的医疗诊断在过去十年中变得非常重要。然而，在没有进一步增强的情况下，许多最先进的机器学习方法不适合于医学应用。最重要的原因是数据集质量不足和深度学习模型等机器学习算法的黑箱行为。因此，最终用户无法纠正模型的决定和相应的解释。后者对于医学领域机器学习的可信度至关重要。研究领域可解释的交互式机器学习寻找解决这两个缺点的方法。本文扩展了可解释和交互式CAIPI算法，并提供了一个接口，以简化人在回路的方法图像分类。该界面使最终用户能够（1）调查和（2）纠正模型的预测和解释，以及（3）影响数据集质量。在每次迭代仅使用单个反例的CAIPI优化之后，该模型在医疗MNIST上实现了$97.48\%$的准确度，在时尚MNIST上实现了$95.02\%$的准确度。这种准确性大约等于最先进的深度学习优化程序。此外，CAIPI减少了大约$80\%$的标记工作。
2022-05-31 cs.CV cs.LG eess.IV
Explainable Empirical Risk Minimization
Aalto University（阿尔托大学）；Johannes Gutenberg-Universität Mainz（美因茨约翰内斯·古腾堡大学）
机器学习（ML）方法的成功应用越来越依赖于它们的可解释性或可解释性。设计可解释的机器学习系统有助于确保针对人类的自动决策的透明度。ML方法的可解释性也是值得信赖的人工智能的重要组成部分。确保可解释性的一个关键挑战是它依赖于特定的人类用户（"被解释者"）。机器学习方法的用户可能具有关于机器学习原理的非常不同的背景知识。一个用户可能拥有机器学习或相关领域的大学学位，而另一个用户可能从未接受过高中数学的正式培训。本文应用信息论的概念，开发一种新的措施，提供了一个ML方法的预测的主观可解释性。我们通过预测的条件熵来构建这个度量，给出用户反馈。用户反馈可以从用户调查或生物物理测量中获得。我们的主要贡献是可解释的经验风险最小化（EERM）原则学习的假设，最佳的主观可解释性和风险之间的平衡。EERM原理是灵活的，可以与任意机器学习模型相结合。我们提出了线性模型和决策树的EERM的几个实际实现。数值实验证明了EERM在检测社交媒体上不当语言使用方面的应用。
2022-07-01 cs.LG stat.ML
Leaf-Based Plant Disease Detection and Explainable AI
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）；University at Buffalo（布法罗大学）
本研究综述了基于叶片的植物病害检测方法，评估传统与深度学习技术及数据集，并引入Explainable AI (XAI)提升模型决策的可解释性，以促进农业领域高效透明的解决方案。
2023-12-17 cs.AI cs.CV cs.LG
Towards User-Focused Research in Training Data Attribution for Human-Centered Explainable AI
Tübingen AI Center, University of Tübingen Germany（图宾根人工智能中心、图宾根大学德国）；Fraunhofer Heinrich Hertz Institute Germany（弗劳恩霍夫海因里希·赫兹研究所德国）；Information and Interaction Design, Yonsei University South Korea（信息与交互设计，延世大学韩国）
本研究针对可解释AI训练数据归因（TDA）领域忽视用户需求的问题，通过访谈和交互式用户研究直接与开发者合作，提出以用户为中心的设计思维方法，揭示了对开发者有用的以数据为中心的解释新任务，增强研究的实用性和人类影响。
2025-10-31 cs.AI cs.HC cs.LG
Explainable AI for survival analysis: a median-SHAP approach
University of Oxford（牛津大学）；The London School of Hygiene & Tropical Medicine（伦敦卫生与热带医学院）；The Alan Turing Institute（阿兰·图灵研究所）
针对生存分析中均值锚点的Shapley值解释易产生误导的问题，提出median-SHAP方法，用于解释预测个体生存时间的黑盒模型，适配医疗场景的可解释AI需求。
2024-01-30 cs.LG stat.ME stat.ML
Ontology drift is a challenge for explainable data governance
J. P. Morgan AI Research（摩根大通AI研究院）
我们介绍了巴塞尔银行标准委员会第239号标准（BCBS 239）对可解释的人工智能的需求，该标准概述了金融机构有效风险数据汇总和风险报告的11项原则。其中，ExplainableAI在两个关键方面是合规所必需的：数据质量和为多个利益相关者提供适当的报告。我们描述了一个特定的监管要求的实施挑战：有一个完整的数据分类法，适合公司范围内使用。金融本体论的不断演变的性质需要一个持续的更新过程，以确保持续的遵守。
2021-08-11 cs.AI cs.CY cs.IR
From Kepler to Newton: Explainable AI for Science
Rutgers University（罗格斯大学）
科学研究的观察-假设-预测-实验循环范式是科学家们多年来为科学发现而实践的范式。然而，随着大规模和毫规模科学研究中的数据爆炸，有时很难手动分析数据并提出新的假设来推动科学发现的周期。在本文中，我们讨论了可解释的人工智能在科学发现过程中的作用，通过展示一个可解释的人工智能为基础的科学发现范式。关键是使用可解释的人工智能来帮助获得数据或模型解释，假设以及科学发现或见解。我们展示了如何计算和数据密集型的方法-连同实验和理论方法-可以无缝集成的科学研究。为了展示基于人工智能的科学发现过程，并向人类历史上一些最伟大的思想致敬，我们展示了开普勒的行星运动定律和牛顿的万有引力定律如何通过基于第谷布拉赫天文观测数据的（可解释的）人工智能重新发现，第谷布拉赫的作品在16- 17世纪引领了科学革命。这项工作还强调了可解释人工智能（与黑盒人工智能相比）在科学发现中的重要作用，以帮助人类预防或更好地为未来可能发生的技术奇点做好准备，因为科学不仅是关于如何，而且知道为什么。工作介绍可在https://slideslive.com/38986142/from-kepler-to-newton-explainable-ai-for-science-discovery上查阅。
2023-01-23 cs.AI cs.LG cs.SC
Generating an Explainable ECG Beat Space With Variational Auto-Encoders
Ghent university（根特大学）；imec（imec 微电子研究中心）；IDLab（IDLab 实验室）
心电图信号在医学中无处不在。分析这些数据的一个重要方面是识别和分类心跳类型，这通常是通过自动算法完成的。神经网络和深度学习的进步导致了高分类准确性。然而，由于这些方法的黑箱性质，这些模型最终应用于临床实践是有限的。在这项工作中，我们探索使用基于线性密集网络的变分自动编码器来学习时间序列数据中人类可解释的节拍嵌入。我们证明，使用这种方法，可以产生一个可解释的和可解释的心电图节拍空间，设置的特征基础节拍。
2019-11-12 cs.LG eess.SP stat.ML
Explainable Data Imputation using Constraints
IBM Research（IBM研究院）
由于处理不当或人为错误，数据集中的数据值可能丢失或异常。分析具有缺失值的数据可能会产生偏差并影响推断。一些分析方法，如主成分分析或奇异值分解，需要完整的数据。许多方法估算数值数据，有些不考虑属性对其他属性的依赖性，而有些则需要人工干预和领域知识。本文提出了一种新的基于不同数据类型值及其关联约束的数据填补算法。我们使用不同的指标比较我们的算法与最先进的插补技术的实验结果。我们的算法不仅估算缺失值，而且还生成人类可读的解释，描述用于每个估算的属性的重要性。
2022-05-10 cs.AI cs.LG
Unsupervised explainable activity prediction in competitive Nordic Walking from experimental data
University of Vigo（维戈大学）；Technical University of Cartagena（卡塔赫纳工业大学）
针对竞技体育人类活动识别中传统ML方法离线训练负担重、决策不透明的问题，提出基于IMU的在线无监督聚类方法，可扩充标注并实现北欧走动作的可解释预测，性能接近100%。
2024-06-18 cs.AI cs.HC cs.LG
ExplainFix: Explainable Spatially Fixed Deep Networks
Carnegie Mellon University（卡内基梅隆大学）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；INESC TEC（葡萄牙系统与计算机工程研究所）
深度网络是否有一个不需要学习的初始化？ExplainFix采用了两个设计原则：“固定滤波器”原则，即卷积神经网络的所有空间滤波器权重可以在初始化时固定，永远不会学习;“灵活性”原则，即只需少量网络参数即可。我们贡献了（a）基于视觉模型的解释，（b）速度和准确性的提高，以及（c）深度卷积神经网络的新工具。ExplainFix给出了关键见解，即空间固定网络应该进行引导初始化，空间卷积层往往优先考虑低频，并且大多数网络参数在空间固定模型中是不必要的。ExplainFix模型的空间过滤器内核比完全学习的模型少100倍，匹配或提高了准确性。我们广泛的实证分析证实，ExplainFix保证了更灵活的模型（通过通道修剪，训练速度提高了17\%），匹配或改善了预测性能（跨越13个不同的基线模型，4个架构和2个医学图像数据集），提高了对更大学习率的鲁棒性，以及对不同模型大小的鲁棒性。我们首先证明，最先进的卷积深度网络中的所有空间滤波器都可以在初始化时固定，而不是学习。
2023-03-18 cs.AI cs.CV cs.LG
Analyzing Machine Learning Models for Credit Scoring with Explainable AI and Optimizing Investment Decisions
Institute of Financial Service Analytics（金融服务分析研究所）；Alfred Lerner College of Business and Economics（阿尔弗雷德·勒纳商业与经济学院）；University Of Delaware（特拉华大学）
本文探讨了与可解释AI（XAI）实践相关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信贷承销，投资以及各种前端和后端活动。机器学习可以自动检测训练数据中的非线性和相互作用，从而促进更快、更准确的信贷决策。然而，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单分类器（逻辑回归，决策树，LDA，QDA），异构集成（AdaBoost，随机森林）和顺序神经网络。结果表明，集成分类器和神经网络优于。此外，两种先进的事后模型不可知性解释技术- LIME和SHAP使用美国P2P借贷平台Lending Club提供的开放获取数据集来评估基于ML的信用评分模型。在这项研究中，我们还使用机器学习算法来开发新的投资模型，并探索能够最大限度地提高盈利能力同时最小化风险的投资组合策略。
2022-09-19 cs.CY cs.LG stat.ML
Explainable Learning Rate Regimes for Stochastic Optimization
本文提出一种仅依赖随机梯度范数变化自动调整学习率的可解释机制，无需手动调参，在SGD、SGDM和SIGNSGD上验证了其高效性、鲁棒性与可扩展性。
2025-08-19 cs.LG
A Critical Review of Inductive Logic Programming Techniques for Explainable AI
Auburn University（奥本大学）
尽管现代机器学习算法最近取得了进展，但其底层机制的不透明性仍然是采用的障碍。为了在人工智能系统中灌输信心和信任，可解释的人工智能已经出现作为对提高现代机器学习算法的可解释性的响应。归纳逻辑程序设计（ILP）是符号人工智能的一个分支，由于其直观的逻辑驱动框架，在生成可解释的解释方面发挥着重要作用。ILP有效地利用溯因推理从实例和背景知识中生成可解释的一阶小句理论。然而，在开发方法的启发ILP的几个挑战需要解决他们在实践中的成功应用。例如，现有的ILP系统通常具有巨大的解空间，并且诱导解对噪声和干扰非常敏感。本文综述了ILP的最新进展，并讨论了统计关系学习和神经符号算法，它们为ILP提供了协同的观点。在对最近的进展进行了严格的回顾之后，我们描述了观察到的挑战，并强调了进一步发展自解释人工智能系统的ILP动机研究的潜在途径。
2023-03-03 cs.LG
A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI
Nanyang Technological University（南洋理工大学）；Alibaba Group Holding Limited（阿里巴巴集团控股有限公司）
最近，人工智能和机器学习在从图像处理到自然语言处理的许多任务中表现出了卓越的性能，特别是随着深度学习的出现。随着研究的不断深入，它们已经渗透到许多不同的领域和学科。其中一些部门需要高度的问责制，因此需要透明度，例如医疗部门。因此，需要对机器决策和预测进行解释，以证明其可靠性。这需要更好的可解释性，这通常意味着我们需要理解算法背后的机制。不幸的是，深度学习的黑盒性质仍然没有得到解决，许多机器决策仍然知之甚少。本文对不同研究成果提出的可解释性进行了综述和分类。从提供“明显”可解释信息的方法到复杂模式的研究，不同的类别在可解释性研究中表现出不同的维度。通过将相同的分类应用于医学研究中的可解释性，我们希望（1）临床医生和从业者随后可以谨慎地使用这些方法，（2）对可解释性的见解将与医学实践的更多考虑一起诞生，（3）鼓励推动基于数据的，数学和技术基础的医学教育的倡议。
2020-08-11 cs.AI cs.LG
From XAI to MLOps: Explainable Concept Drift Detection with Profile Drift Detection
Eskisehir Technical University（埃斯克谢希尔技术大学）
本文提出轮廓漂移检测方法，利用可解释AI工具部分依赖性轮廓图，通过新的漂移度量标准检测概念漂移并理解其原因，实验表明其在保持预测性能的同时有效平衡了漂移信号的敏感性和稳定性。
2026-04-06 cs.LG stat.ML
An Explainable Disease Surveillance System for Early Prediction of Multiple Chronic Diseases
CureMD Research（CureMD研究院）；CureClinic
本研究开发了一个基于常规EHR数据的可解释慢性病监测系统，利用Random Forest模型预测未来3至12个月的疾病风险，并引入新规则工程框架增强模型可解释性。
2025-01-27 cs.AI cs.LG
Evolutionary Computation and Explainable AI: A Roadmap to Understandable Intelligent Systems
Queen’s University（女王大学）；Newcastle University（纽卡斯尔大学）；University of Stirling（斯特灵大学）；University of Parma（帕尔马大学）；Robert Gordon University（罗伯特戈登大学）；University of Trento（特伦托大学）；Universiteit Leiden（莱顿大学）；University of Exeter（埃克塞特大学）
本文综述了可解释人工智能（XAI）与演化计算（EC）的交叉融合，探讨了EC在XAI中的应用、XAI原则在EC算法中的运用，并指出了该交叉领域的未来研究机遇。
2024-10-17 cs.AI cs.LG cs.NE
Explainable data-driven modeling via mixture of experts: towards effective blending of grey and black-box models
Eindhoven University of Technology（埃因霍温理工大学）
针对第一性原理模型精度不足、机器学习模型可解释性差且难以平衡精度与复杂度的问题，提出基于混合专家的可解释建模框架，融合多类局部模型与先验知识，支持独立训练与多种学习范式，经惩罚突变提升可解释性，实验验证其能生成契合目标的可解释模型组合。
2024-01-30 cs.LG cs.SY eess.SY
Fairness: from the ethical principle to the practice of Machine Learning development as an ongoing agreement with stakeholders
University of Notre Dame（圣母大学）；Universitat Ramon Llull（拉蒙·柳利大学）；IQS School of Management（IQS管理学院）
本文提出一种端到端的亲伦理迭代方法，将公平伦理原则转化为机器学习开发中与利益相关者的持续协议，以识别、缓解和监控偏见并解释不完美权衡。
2023-03-22 cs.AI cs.CY cs.LG
Explainable Predictive Modeling for Limited Spectral Data
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
具有有限观测值的高维标记数据的特征选择对于使领域专家能够访问、扩展和解释强大的预测建模至关重要。光谱数据记录了物质和电磁辐射之间的相互作用，特别是在单个样品中包含大量信息。由于获取这种高维数据是一项复杂的任务，因此利用最佳分析工具来提取必要的信息至关重要。在本文中，我们研究了最常用的特征选择技术，并介绍了应用最新的解释AI技术来解释高维和有限的光谱数据的预测结果。对预测结果的解释对领域专家是有益的，因为它确保了ML模型对领域知识的透明性和忠实性。由于仪器分辨率的限制，精确定位光谱数据的重要区域创建了通过光谱仪设备的小型化来优化数据汇集过程的途径。降低设备尺寸和功率以及因此降低成本是这种传感器-预测系统作为整体的实际部署的要求。我们专门设计了三种不同的场景，以确保ML模型的评估对于所开发方法的实时实践具有鲁棒性，并揭示噪声源对最终结果的隐藏影响。
2022-02-09 cs.LG
A Theory of Machine Understanding via the Minimum Description Length Principle
Department of Computer Science（计算机科学系）；Florida State University（佛罗里达州立大学）
本文提出连接MDL压缩与可解释表示的机器理解理论，并通过可严格评估MDL的Spectrum VAE说明：自监督地最小化描述长度可催生理解。
2025-06-09 cs.IT cs.LG math.IT
Explainable Anomaly Detection for Industrial IoT Data Streams
GECAD/LASI, Polytechnic of Porto（GECAD/LASI，葡萄牙波尔图理工学院）；SISTRADE Software Consulting, S.A.（SISTRADE软件咨询公司）
本文提出一种结合无监督异常检测和人机协同学习的框架，用于工业物联网数据流的实时维护决策支持。
2025-12-09 cs.LG
Explainable Censored Learning: Finding Critical Features with Long Term Prognostic Values for Survival Prediction
University of Kentucky（肯塔基大学）；Qingdao University（青岛大学）
解释与生存时间相关的复杂生物学过程中涉及的关键变量可以帮助理解生存模型的预测，评估治疗效果，并为患者开发新的治疗方法。目前，基于深度学习（DL）的模型的预测结果比标准生存方法更好或与标准生存方法一样好，但由于缺乏透明度和可解释性，它们经常被忽视，而这对于它们的采用至关重要临床应用。在本文中，我们介绍了一种新的，易于部署的方法，称为可解释的集中学习（EXCEL），迭代地利用关键变量，并同时实现（DL）基于这些变量的模型训练。首先在一个玩具数据集上说明了EXCEL的工作原理，然后对所提出的方法进行了数学分析，推导并证明了泛化误差的严格界，接着在两个半合成数据集上证明了EXCEL具有良好的抗噪能力和稳定性，最后给出了一个实例。最后，我们将EXCEL应用于各种真实世界的生存数据集，包括临床数据和遗传数据，证明EXCEL可以有效地识别关键功能，并实现与原始模型相当或更好的性能。值得指出的是，EXCEL可以灵活地部署在现有或新兴的模型中，用于在存在右删失的情况下解释生存数据。
2022-09-30 cs.LG
