Explainable Machine Learning Control -- robust control and stability analysis
Ambrosys GmbH（安布罗西斯有限责任公司）；Cast GmbH & Co. KG（4Cast有限责任公司及股份公司）；Universität Potsdam（波茨坦大学）；Institut für Physik und Astronomie（物理与天文研究所）
最近，术语可解释的人工智能被称为一种从人工智能中产生允许解释的模型的方法。由于很长一段时间，有符号回归模型在使用中，是完美的解释和数学上听话：在这方面的贡献，我们演示了如何使用符号回归方法来推断的最优控制的动力系统给定的一个或多个优化标准，或成本函数。在以前的出版物中，网络控制是通过使用遗传编程的自动化机器学习控制来实现的。在这里，我们着重于对由机器学习得到的解析表达式的后续分析。特别是，我们使用的控制振荡器系统，作为我们的模型的稳定性分析。因此，我们表明，有一个相当大的优势，可解释的模型，较不易访问的神经网络。
2020-01-23 cs.AI cs.LG nlin.AO
It's 2025 -- Narrative Learning is the new baseline to beat for explainable machine learning
Australian National University（澳大利亚国立大学）
本文提出完全用自然语言定义并通过解释性提示迭代细化分类标准的Narrative Learning方法，在6个数据集中的5个上超越7个基线可解释模型，成为可解释机器学习的新基线。
2025-10-10 cs.AI cs.CL cs.LG
Efficient Milling Quality Prediction with Explainable Machine Learning
Simula Research Laboratory（西穆拉研究实验室）；Ecole Nationale Supérieure d’Arts et Métiers（国立高等工艺学院）
本研究针对铣削表面粗糙度预测问题，提出可解释机器学习方法，采用随机森林回归与特征重要性技术，在铝合金2017A数据集上验证了移除冗余法向切削力传感器可降本且不损精度，提升加工成本效益。
2024-09-16 cs.LG
Explainable Machine Learning for Predicting Homicide Clearance in the United States
University of Trento（特伦托大学）
目的：探索可解释机器学习在预测和检测美国国家和州一级已清除的杀人案司机方面的潜力。研究方法：首先，使用谋杀责任项目的数据，比较了九种算法方法，以评估在预测已清除的凶杀案方面的最佳表现。然后使用所有算法中最准确的算法（XGBoost）来预测状态下的清除结果。第二，SHAP，一个可解释的人工智能的框架，是用来捕捉最重要的功能，在解释清除模式在国家和州一级。结果：在国家一级，XGBoost展示了整体最佳性能。按状态检测实质性预测变异性。在可解释性方面，SHAP强调了几个特征在持续预测调查结果方面的相关性。这些因素包括杀人情况、武器、受害者的性别和种族，以及涉案罪犯和受害者的人数。结论：可解释的机器学习被证明是预测凶杀清除率的一个有用框架。SHAP的结果表明，在文献中出现的两个理论观点更有机的整合。此外，司法异质性突出了制定特设国家一级战略，以提高警察在清除杀人案的表现的重要性。
2022-03-09 cs.AI cs.LG econ.EM
Explainable Multi-class Classification of the CAMH COVID-19 Mental Health Data
将机器学习算法应用于医学领域是一个新兴的趋势，有助于提高医学知识。与此同时，还缺乏可解释的研究来促进机器学习算法的知情、透明和可解释的使用。在本文中，我们提出了可解释的多类分类的Covid-19心理健康数据。在机器学习研究中，我们的目标是找到在新冠肺炎大流行期间影响个人心理健康的潜在因素。我们发现，随机森林（RF）和梯度提升（GB）的准确率最高，分别为68.08%和68.19%，LIME预测准确率为65.5% RF和61.8% GB。然后，我们比较了一个事后系统（本地可解释模型不可知论，或LIME）和一个事前系统（基尼重要性）在他们的能力，以解释所获得的机器学习结果。据这些作者所知，我们的研究是第一个对Covid-19大流行期间收集的心理健康数据进行解释性机器学习研究。
2021-05-27 cs.CY cs.LG
An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning
University of Bonn（波恩大学）；Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；TU Dortmund University（多特蒙德工业大学）；TU Wien（维也纳工业大学）
本文实证评估了可解释机器学习中的罗生门效应，通过在多种数据集、模型、归因方法和指标上进行定量评估，发现超参数调优和指标选择对解释的可比性至关重要，为以往轶事证据提供了实证支持。
2023-06-29 cs.AI cs.LG
Evolutionary approaches to explainable machine learning
Queen's University（女王大学）
本文综述进化计算在可解释机器学习中的应用，旨在通过进化技术提升模型透明度和可信度，并展望未来研究方向。
2023-06-23 cs.AI cs.LG cs.NE
Abduction and Argumentation for Explainable Machine Learning: A Position Survey
University of Cyprus（塞浦路斯大学）；Open University of Cyprus（塞浦路斯开放大学）
本文提出了溯因推理和论证推理作为推理的两种基本形式，并充实了它们在机器学习中所起的基本作用。它回顾了过去几十年来关于这两种推理形式与机器学习工作之间联系的最先进的工作，并从中阐述了溯因推理和论证的推理生成作用如何使它们成为可解释机器学习和AI系统开发的自然适合机制。溯因通过数据的转换、准备和同质化促进学习，从而有助于实现这一目标。作为经典演绎推理的保守扩展，论证为学习提供了一种灵活的预测和覆盖机制--一种用于学习知识的相关目标语言--明确承认需要在学习的上下文中处理与任何经典表示的逻辑理论不相容的不确定、不完整和不一致的数据。
2020-10-24 cs.AI cs.LG cs.LO
Explainable Machine Learning for Categorical and Mixed Data with Lossless Visualization
Central Washington University（中华盛顿大学）
针对异构混合数据，提出非数值属性编码方案、无损可视化方法及SRG算法，构建准确可解释的ML模型并通过实验验证，推进了混合数据全范围ML算法的发展。
2023-11-23 cs.HC cs.LG
Hardware Acceleration of Explainable Machine Learning using Tensor Processing Units
University of Florida（佛罗里达大学）
机器学习（ML）在各个领域成功地实现了人类水平的性能。然而，由于其黑箱性质，它缺乏解释结果的能力。虽然现有的可解释机器学习是有前途的，但几乎所有这些方法都专注于将可解释性格式化为优化问题。这样的映射导致大量耗时的复杂计算的迭代，这限制了它们在实时应用中的适用性。在本文中，我们提出了一个新的框架，用于使用张量处理单元（TPU）加速可解释的ML。该框架利用了矩阵卷积和傅里叶变换之间的协同作用，并充分利用了TPU加速矩阵计算的自然能力。具体而言，本文做出了三个重要贡献。(1)据我们所知，我们提出的工作是首次尝试使用TPU实现可解释ML的硬件加速。(2)我们提出的方法适用于各种ML算法，有效利用基于TPU的加速可以实现实时结果解释。(3)大量的实验结果表明，我们提出的方法可以提供一个数量级的加速在分类时间（平均25倍）和解释时间（平均13倍）相比，国家的最先进的技术。
2021-03-22 cs.AI cs.LG
Explainable Machine Learning with Prior Knowledge: An Overview
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；TU Dortmund University（多特蒙德工业大学）
本调查概述了将先验知识集成到机器学习系统中以提高可解释性。机器学习模型的复杂性引发了研究，使它们更容易解释。然而，大多数可解释性方法不能提供超出给定数据的洞察力，需要有关上下文的额外信息。我们建议利用先验知识来提高机器学习模型的解释能力。在本文中，我们提出了一个分类，目前的研究分为三个主要类别，要么集成知识到机器学习管道，到可解释性方法或从解释中获得知识。为了对论文进行分类，我们建立在现有的知情机器学习分类法的基础上，并从可解释性的角度对其进行扩展。最后，我们提出了开放的挑战和研究方向。
2021-05-21 cs.LG
An explainable machine learning approach for energy forecasting at the household level
papernest
本文针对家庭层面用电预测提出一种自定义决策树方法，在保持较高准确性的同时提升可解释性，并对比常见机器学习算法及行业业务挑战，验证其适用性与局限性。
2024-10-18 cs.AI cs.CY cs.LG
Estimate Deformation Capacity of Non-Ductile RC Shear Walls using Explainable Boosting Machine
Istanbul Technical University（伊斯坦布尔理工大学）；University of California, Los Angeles（加州大学洛杉矶分校）
机器学习在应对地震工程挑战和提供相当可靠和准确的预测方面变得越来越普遍。然而，决策是如何做出的大多数情况下都不清楚，因为机器学习模型通常非常复杂，导致不透明的黑箱模型。自然可解释并提供自己的决策解释的机器学习模型，而不是使用解释性的，在确定模型实际计算的内容时更准确。基于这一动机，本研究的目的是开发一个完全可解释的机器学习模型，以预测非延性钢筋混凝土剪力墙的变形能力的基础上，在世界范围内收集的实验数据。提出的基于可解释助推机（EBM）的模型是一个可解释的，强大的，自然解释的玻璃盒模型，但提供了高精度相媲美的黑箱。该模型使用户能够通过量化每个壁属性的单独贡献以及它们之间的相关性来观察壁属性和变形能力之间的关系。基于测试数据集的平均决定系数R2和预测值与实际值的平均比值分别为0.92和1.05。所提出的预测模型在不牺牲高准确性的情况下，与科学知识、实用性和可解释性的总体一致性脱颖而出。
2023-01-11 cs.LG
Developing A Visual-Interactive Interface for Electronic Health Record Labeling: An Explainable Machine Learning Approach
Sriphat Medical Center, Faculty of Medicine, Chiang Mai University（清迈大学医学院诗里帕医院）
本文提出可视化交互标注工具 XLabel，利用可解释提升机 EBM 分类并展示解释热力图，辅助电子健康记录的 NCD 标注，实验证明其可减少操作、保持高准确率并具备强抗错误标注能力。
2023-06-02 cs.HC cs.LG stat.AP
Backdooring Explainable Machine Learning
KASTEL Security Research Labs（KASTEL安全研究实验室）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
可解释的机器学习在分析和理解基于学习的系统方面具有巨大的潜力。然而，这些方法可以被操纵来提出不忠实的解释，从而产生强大而隐秘的对手。在本文中，我们展示了致盲攻击，可以完全掩盖对机器学习模型的持续攻击。与神经后门类似，我们修改了模型对触发存在的预测，但同时也欺骗了提供的解释。这使得对手能够隐藏触发器的存在，或者将解释指向输入的完全不同的部分，从而抛出红色鲱鱼。我们分析了不同的表现形式，这种攻击在图像域中的不同解释类型，然后我们恢复进行红鲱鱼攻击恶意软件分类。
2022-04-20 cs.CR cs.LG
An Explainable and Fair AI Tool for PCOS Risk Assessment: Calibration, Subgroup Equity, and Interactive Clinical Deployment
本文提出经公平性审计的可解释PCOS风险预测机器学习框架，对比多种校准模型的性能与亚组公平性，最终选用平衡校准度与可解释性的随机森林模型，配套交互式网页界面支撑临床落地。
2025-11-08 cs.CY cs.HC cs.LG
Explainable Machine Learning for Public Policy: Use Cases, Gaps, and Research Directions
Carnegie Mellon University（卡内基梅隆大学）
可解释性在机器学习（ML）系统中非常重要，这些系统支持健康，刑事司法，教育和就业等领域的高风险政策决策。虽然近年来可解释的机器学习领域已经扩大，但大部分工作都没有考虑到现实世界的需求。大多数提出的方法都是以\textit{generic}可解释性目标设计的，没有明确定义的用例或预期的最终用户，并在简化的任务、基准问题/数据集或代理用户（例如，AMT）。我们认为，这些简化的评估设置没有捕捉到现实世界中的应用程序的细微差别和复杂性。因此，在现实世界中的应用，这一庞大的理论和方法的工作的适用性和有效性是不清楚的。在这项工作中，我们采取措施解决公共政策领域的这一差距。首先，我们确定了公共政策问题中可解释ML的主要用例。对于每个用例，我们定义解释的最终用户以及解释必须实现的特定目标。最后，我们将现有的可解释机器学习工作映射到这些用例，确定现有能力的差距，并提出研究方向来填补这些差距，通过机器学习产生实际的社会影响。其贡献是：1）为可解释的机器学习研究人员提供了一种方法，以识别用例并开发针对它们的方法; 2）将该方法用于公共政策领域，并为研究人员提供了一个开发可解释的机器学习方法的例子，从而产生现实世界的影响。
2023-02-16 cs.AI cs.LG
Non-linear Phillips Curve for India: Evidence from Explainable Machine Learning
Sorbonne University Abu Dhabi（索邦大学阿布扎比分校）；Indian Statistical Institute（印度统计研究所）；Reserve Bank of India（印度储备银行）；Fidelity Investments（富达投资）
本文利用可解释机器学习方法研究印度通胀，发现菲利普斯曲线关系高度非线性，且机器学习预测精度显著优于传统线性模型，为政策制定提供新依据。
2025-04-06 cs.AI cs.LG econ.EM
Rethinking Explainable Machine Learning as Applied Statistics
University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国）；University of Tübingen, Germany（图宾根大学，德国）
该立场论文提出可解释机器学习可类比应用统计学的务实视角，指出解释是高维函数的统计量，需重视其与人类直观疑问的关联，为改进该领域研究实践提供了新思路。
2025-06-16 cs.LG
Explainable machine learning for predicting shellfish toxicity in the Adriatic Sea using long-term monitoring data of HABs
利用长期监测数据，通过可解释机器学习预测亚得里亚海贝类毒素，识别关键物种和环境因素以提高预警系统效能。
2024-05-09 cs.AI cs.LG
Attribution-Scores in Data Management and Explainable Machine Learning
SKEMA Business School（SKEMA商学院）
本文介绍了实际因果性中的责任分数在数据库查询答案解释和机器学习分类模型输出解释中的应用，说明了与数据库修复的联系，扩展了分类模型的责任分数，并讨论了Shap-score的高效计算。
2023-07-31 cs.AI cs.DB cs.LG
An Information-Theoretic Approach to Personalized Explainable Machine Learning
Aalto University（阿尔托大学）；Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学）
自动化决策在我们的日常生活中经常使用。推荐系统决定哪些工作、电影或其他用户简档可能是我们感兴趣的。拼写检查帮助我们更好地使用语言。欺诈检测系统决定是否应该更仔细地验证信用卡交易。这些决策系统中的许多使用机器学习方法，这些方法将复杂模型拟合到大量数据集。将机器学习（ML）方法成功部署到许多（关键）应用领域至关重要地取决于其可解释性。事实上，人类强烈希望得到解释，以解决经验现象的不确定性，例如从ML方法获得的预测和决策。可解释的机器学习具有挑战性，因为解释必须针对不同背景的个人用户进行定制（个性化）。一些用户可能接受过ML的大学教育，而其他用户可能没有接受过线性代数的正式培训。具有很少特征的线性回归对于第一组可能是完全可解释的，但对于后者可能被认为是黑箱。我们提出了一个简单的概率模型的预测和用户的知识。该模型允许使用信息论来研究可解释的ML。解释在这里被认为是减少预测所引起的“惊讶”的任务。我们量化的解释和预测之间的条件互信息，给定的用户背景的解释的效果。
2020-03-15 cs.LG stat.ML
Interactive Diabetes Risk Prediction Using Explainable Machine Learning: A Dash-Based Approach with SHAP, LIME, and Comorbidity Insights
University of Arkansas at Little Rock（阿肯色大学小石城分校）
本文提出一种基于Dash的交互式糖尿病风险预测工具，结合多种机器学习模型与SHAP、LIME可解释性方法及共病分析，实现个性化健康风险评估。
2025-05-08 cs.AI cs.LG
Principles and Practice of Explainable Machine Learning
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
人工智能（AI）为改善私人和公共生活提供了许多机会。以自动化的方式发现大量数据中的模式和结构是数据科学的核心组成部分，目前正在推动计算生物学、法律和金融等不同领域的应用。然而，如此高度积极的影响也伴随着重大的挑战：我们如何理解这些系统建议的决策以便我们可以信任它们？在这份报告中，我们特别关注数据驱动的方法-机器学习（ML）和模式识别模型-以便调查和提取文献中的结果和观察结果。本报告的目的可以通过注意到ML模型越来越多地部署在各种业务中来特别理解。然而，随着方法的日益流行和复杂，业务利益相关者对模型的缺陷、数据特定偏差等问题的担忧也越来越多。类似地，数据科学从业者通常不了解学术文献中出现的方法，或者可能难以理解不同方法之间的差异，因此最终使用SHAP等行业标准。在这里，我们进行了一项调查，以帮助行业从业者（以及更广泛的数据科学家）更好地理解可解释的机器学习领域，并应用正确的工具。我们后面的部分围绕一个假定的数据科学家建立了一个叙述，并讨论了她如何通过提出正确的问题来解释她的模型。
2020-09-18 cs.AI cs.LG stat.ML
Automatic generation of insights from workers' actions in industrial workflows with explainable Machine Learning
University of Vigo（维戈大学）；Ancora Mobile S.L.（Ancora Mobile有限公司）
针对工业领域工人生产率缺乏精准衡量标准的问题，本研究提出可解释机器学习方案，通过采集制造数据分类工人专业水平（指标超90%）并生成自然语言解释，可提炼专家知识赋能非专家，提升工业生产效率。
2024-06-18 cs.AI cs.LG
An Explainable Framework for Machine learning-Based Reactive Power Optimization of Distribution Network
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；The University of Hong Kong（香港大学）；The Hong Kong Polytechnic University（香港理工大学）
针对配电网无功优化中机器学习模型黑盒难以解释的问题，提出结合Shapley加性解释与模型无关近似法的可解释框架，可从全局和实例视角准确解释各类模型的无功优化解。
2023-11-07 cs.LG cs.SY eess.SY
secml: A Python Library for Secure and Explainable Machine Learning
University of Cagliari（卡利亚里大学）；Pluribus One
我们介绍了\texttt{secml}，一个用于安全和可解释的机器学习的开源Python库。它实现了针对机器学习的最流行的攻击，包括针对深度神经网络生成对抗性示例的测试时规避攻击，以及针对支持向量机和许多其他算法的训练时中毒攻击。这些攻击可以评估学习算法的安全性以及白盒和黑盒威胁模型下的相应防御。为此，\texttt{secml}提供内置函数来计算安全评估曲线，显示随着输入数据的对抗性扰动增加，分类性能下降的速度有多快。\texttt{secml}还包括可解释性方法，通过可视化最具影响力的特征和训练有助于每个决策的原型，帮助理解对抗攻击成功攻击给定模型的原因。它在Apache License 2.0下发布，并托管在\url{https://github.com/pralab/secml}上。
2022-05-13 cs.CR cs.CV cs.GT
Developing a Fidelity Evaluation Approach for Interpretable Machine Learning
Queensland University of Technology（昆士兰科技大学）
虽然现代机器学习和深度学习方法允许进行复杂和深入的数据分析，但这些方法生成的预测模型通常非常复杂，并且缺乏透明度。可解释人工智能（XAI）方法用于提高这些复杂模型的可解释性，从而提高透明度。然而，这些可解释的方法的内在适应性可能很难评估。特别是，评估解释对基本黑盒的保真度的方法需要进一步发展，特别是对于表格数据。在本文中，我们（a）提出了一个三阶段的方法来开发一种评估方法;（b）调整现有的评估方法，主要用于图像和文本数据，以评估在表格数据上训练的模型;（c）使用这种评估方法评估两种流行的可解释方法。我们的评估表明，潜在的预测模型的内部机制，所使用的可解释方法的内部机制以及模型和数据的复杂性都会影响解释的保真度。鉴于解释的保真度对所使用的上下文、工具和数据非常敏感，我们无法清楚地确定任何特定的可解释方法优于另一种方法。
2021-06-16 cs.AI cs.LG
Explainable Machine Learning for Pediatric Dental Risk Stratification Using Socio-Demographic Determinants
Loma Linda University（罗马琳达大学）；Camarena Dental Health；SUNY Buffalo（纽约州立大学布法罗分校）
本研究提出一种基于社会人口决定因素的可解释机器学习框架，用于儿童牙科风险分层，强调透明性和伦理应用，而非最大预测准确性。
2026-01-18 cs.AI cs.LG
Detection of Disengagement from Voluntary Quizzes: An Explainable Machine Learning Approach in Higher Distance Education
Institute for Research in Open-, Distance- and eLearning, Swiss Distance University of Applied Sciences（开放、远程和e学习研究所，瑞士应用远程大学）；Department of Informatics, Swiss Distance University of Applied Sciences（信息学院，瑞士应用远程大学）；North-West University（北开普省大学）
本文基于Moodle日志数据训练并比较八种机器学习算法检测远程教育中学生对自愿测验的脱离参与，结合SHAP构建可解释框架，实现91%平衡准确率，并提出及时干预设计建议。
2025-07-04 cs.AI cs.LG
Attack-agnostic Adversarial Detection on Medical Data Using Explainable Machine Learning
Durham University（杜伦大学）
可解释的机器学习已经变得越来越普遍，特别是在医疗保健领域，可解释的模型对于道德和可信的自动决策至关重要。关于深度学习模型对对抗攻击的敏感性的研究表明，设计样本来误导模型做出错误的预测是很容易的。在这项工作中，我们提出了一种基于模型不可知性解释的方法，用于在两个具有不同复杂性和属性的数据集上准确检测对抗样本：电子健康记录（EHR）和胸部X射线（CXR）数据。在MIMIC-III和河南-人民EHR数据集上，我们报告了对纵向对抗攻击的检测准确率为77%。在MIMIC-CXR数据集上，我们实现了88%的准确率;在所有设置中，这两个数据集的对抗性检测技术水平都显著提高了10%以上。我们提出了一种基于异常检测的方法，使用可解释性技术来检测对抗性样本，该方法能够推广到不同的攻击方法，而无需重新训练。
2021-05-05 cs.CR cs.LG
Computing formation enthalpies through an explainable machine learning method: the case of Lanthanide Orthophosphates solid solutions
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
在过去的十年中，机器和深度学习（MDL）方法在凝聚态物理学中的应用，使得解决的问题和采用的方法数量急剧增加。许多不同的MDL方法已被用于许多不同的主题;从材料性质的预测到密度泛函理论势和原子间力场的计算。在许多情况下，结果是一个代理模型，它返回有希望的预测，但其成功的内部机制是不透明的。另一方面，典型的从业者寻找的答案是可以解释的，并提供一个清晰的洞察力的机制，管理一个物理现象。在这项工作中，我们描述了一个建议，使用传统的机器学习方法的复杂组合，以获得一个可解释的模型，输出一个明确的功能制定的材料属性的兴趣。我们证明了我们的方法的有效性，在推导一个新的高度准确的表达镧系元素正磷酸盐的固溶体的形成焓。
2023-03-07 cond-mat.mtrl-sci cs.CE cs.LG
Interpretable and Explainable Machine Learning Methods for Predictive Process Monitoring: A Systematic Literature Review
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔兰大学）
本文通过系统文献综述，探讨预测性流程挖掘中机器学习模型的可解释性与可解释性，区分内在可解释模型与事后解释技术，并总结趋势、挑战与未来方向，以促进更可信的智能系统开发。
2023-12-29 cs.AI cs.LG stat.ML
Synthetic Benchmarks for Scientific Research in Explainable Machine Learning
Stanford University（斯坦福大学）
随着机器学习模型变得越来越复杂，其应用变得越来越高风险，解释模型预测的工具变得越来越重要。这激发了对模型可解释性的一系列研究，并产生了LIME和SHAP等特征属性方法。尽管它们被广泛使用，但评估和比较不同的特征归因方法仍然具有挑战性：理想情况下，评估需要人类研究，而经验评估指标通常是数据密集型的，或者在现实世界的数据集上计算量过大。在这项工作中，我们通过发布XAI-Bench来解决这个问题：一套合成数据集以及用于基准特征属性算法的库。与真实世界的数据集不同，合成数据集允许有效计算评估地面真实Shapley值和其他指标所需的条件期望值。我们发布的合成数据集提供了各种各样的参数，可以配置这些参数来模拟真实世界的数据。我们展示了我们的图书馆的力量，通过基准测试流行的可解释性技术在几个评估指标和各种设置。我们库的多功能性和效率将帮助研究人员将他们的可解释性方法从开发到部署。我们的代码可在https://github.com/abacusai/xai-bench上获得。
2021-11-04 cs.AI cs.LG stat.ML
Explainable Ensemble Machine Learning for Breast Cancer Diagnosis based on Ultrasound Image Texture Features
University of Minnesota（明尼苏达大学）；University of Cincinnati（辛辛那提大学）
图像分类被广泛用于构建乳腺癌诊断的预测模型。大多数现有的方法绝大多数依赖于深度卷积网络来构建这样的诊断管道。这些模型架构虽然性能卓越，但都是黑箱系统，对预测背后的内在逻辑提供了最少的洞察。这是一个主要的缺点，因为预测的可解释性对于癌症诊断等应用至关重要。在本文中，我们通过提出一个基于超声图像的乳腺癌诊断的可解释机器学习管道来解决这个问题。我们提取的第一和第二阶纹理特征的超声图像，并使用它们来建立一个概率集成的决策树分类器。每个决策树通过学习图像的纹理特征的一组鲁棒决策阈值来学习对输入超声图像进行分类。然后，可以通过分解学习的决策树来解释模型预测的决策路径。我们的研究结果表明，我们提出的框架实现了高预测性能，同时是可解释的。
2022-01-17 cs.CV cs.LG eess.IV
TruVR: Trustworthy Cybersickness Detection using Explainable Machine Learning
University of Missouri-Columbia（密苏里大学哥伦比亚分校）；Northeastern University（东北大学）
在使用虚拟现实（VR）系统时，电脑病的特征可以是恶心、眩晕、头痛、眼睛疲劳和其他不适。先前报道的用于检测（分类）和预测（回归）VR晕电病的机器学习（ML）和深度学习（DL）算法使用黑箱模型;因此，它们缺乏可解释性。此外，VR传感器会生成大量数据，从而产生复杂而庞大的模型。因此，在晕电病检测模型中具有固有的可解释性可以显着提高模型的可信度，并深入了解ML/DL模型为什么以及如何做出特定决策。为了解决这个问题，我们提出了三个可解释的机器学习（xML）模型来检测和预测晕电脑：1）可解释的助推机（EBM），2）决策树（DT），和3）逻辑回归（LR）。我们评估基于XML的模型与公开可用的生理和游戏数据集的cybersickness。结果表明，循证医学可以检测晕电病的准确率为99.75%和94.10%的生理和游戏数据集，分别。另一方面，在预测晕机时，EBM导致生理数据集的均方根误差（RMSE）为0.071，游戏数据集为0.27。此外，基于EBM的全局解释揭示了暴露长度、旋转和加速度是导致游戏数据集中的晕电的关键特征。相比之下，皮肤电反应和心率在生理数据集中最显著。我们的研究结果还表明，基于循证医学的本地解释可以确定个别样本的网络病的原因。我们相信所提出的基于XML的晕网病检测方法可以帮助未来的研究人员理解，分析和设计更简单的晕网病检测和减少模型。
2022-09-12 cs.HC cs.LG
Explainable AI for Classification using Probabilistic Logic Inference
Swansea University（斯旺西大学）；University of Utah（犹他大学）
可解释人工智能的总体目标是开发不仅表现出智能行为，而且能够解释其原理并揭示见解的系统。在可解释的机器学习中，产生高水平预测准确性以及透明解释的方法是有价值的。在这项工作中，我们提出了一个可解释的分类方法。我们的方法的工作原理是首先从训练数据中构建一个符号知识库，然后用线性规划对这样的知识库进行概率推理。我们的方法达到了与传统分类器，如随机森林，支持向量机和神经网络的学习性能相当的水平。它确定了决定性的功能，负责分类的解释，并产生类似的结果，发现由SHAP，一个国家的最先进的Shapley值为基础的方法。我们的算法在一系列合成和非合成数据集上表现良好。
2020-05-05 cs.AI cs.LG
CON-FOLD -- Explainable Machine Learning with Confidence
School of Computer Science, ANU（澳大利亚国立大学计算机学院）；CSIRO/Data61（澳大利亚联邦科学与工业研究组织/Data61）
本研究提出扩展FOLD-RM的CON-FOLD可解释机器学习算法，为规则分配概率置信度、设计置信度剪枝算法、支持导入先验逻辑规则，通过基准数据集和物理奥赛评分场景验证其有效性与置信度评估能力。
2024-08-14 cs.AI cs.LG
Evaluating Explainable Methods for Predictive Process Analytics: A Functionally-Grounded Approach
Queensland University of Technology（昆士兰科技大学）
预测流程分析侧重于预测业务流程运行实例的未来状态。虽然先进的机器学习技术已被用于提高预测的准确性，但由此产生的预测模型缺乏透明度。当前可解释的机器学习方法，如LIME和SHAP，可以用来解释黑盒模型。然而，目前还不清楚这些方法在解释过程预测模型时的适用性。在本文中，我们借鉴了可解释人工智能领域中使用的评估指标，并提出了基于功能的评估指标，用于评估预测过程分析中的可解释方法。我们应用所提出的指标来评估LIME和SHAP在解释XGBoost上构建的过程预测模型时的性能，该模型在过程预测中相对准确。我们使用三个开源的真实事件日志进行评估，并分析评估结果以获得见解。该研究有助于理解预测过程分析的可解释方法的可信度，作为面向人类用户的评估的基本和关键步骤。
2020-12-08 cs.AI cs.LG
Does Explainable Machine Learning Uncover the Black Box in Vision Applications?
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
一般来说，机器学习（ML）和深度学习（DL）已经成为几种视觉应用（如目标检测、超分辨率、分割、对象跟踪等）中非常流行的工具。几乎与此同时，视觉中ML的可解释性问题（即解释/阐述经过训练的ML模型做出决策的方式的能力）也受到了各方的极大关注。然而，我们认为，当前可解释ML背后的哲学存在一定的局限性，由此产生的解释可能无法有意义地揭示黑盒ML模型。为了阐述我们的主张，我们首先提出了一些在相应文献中没有充分讨论的基本问题。我们还提供了关于ML中的可解释性如何通过依赖相关领域中更严格的原则而受益的观点。
2021-12-18 cs.CV cs.LG
What Clinicians Want: Contextualizing Explainable Machine Learning for Clinical End Use
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；The Hospital for Sick Children（病童医院）
将机器学习（ML）模型有效地转化为临床实践需要建立临床医生的信任。可解释性，或ML模型证明其结果并帮助临床医生合理化模型预测的能力，通常被认为是建立信任的关键。然而，该领域缺乏在不同环境中可用的解释的具体定义。为了确定可能促进在ML模型中建立信任的可解释性的具体方面，我们调查了两个不同的急性护理专业（重症监护病房和急诊科）的临床医生。我们使用他们的反馈来描述可解释性何时有助于提高临床医生对ML模型的信任。我们进一步确定了临床医生认为最相关和最重要的解释类别，以有效地转化为临床实践。最后，我们识别出临床可解释性方法的严格评估的具体指标。通过整合临床医生和ML研究人员之间对可解释性的看法，我们希望促进ML系统在医疗保健中的认可、更广泛的采用和持续使用。
2019-08-07 cs.LG stat.ML
Explainable Machine Learning: An Illustration of Kolmogorov-Arnold Network Model for Airfoil Lift Prediction
Tanglin Trust School（东陵信托学校）
本研究将Kolmogorov-Arnold Network（KAN）等六种监督学习模型应用于翼型升力预测，KAN取得最佳R2得分96.17%，并通过剪枝和符号化提取出符合物理规律的升力系数方程，证明了KAN在辅助科学探索中的可解释性潜力。
2025-01-29 cs.LG
Tensor Networks for Explainable Machine Learning in Cybersecurity
Multiverse Computing；Department of Basic Sciences, Tecnun - University of Navarra（基础科学系，塔努大学）；Donostia International Physics Center（Donostia国际物理中心）；Ikerbasque Foundation for Science（Ikerbasque科学基金会）
本文提出基于矩阵乘积态的无监督聚类算法，在对抗性威胁情报中实现与深度学习相当的性能，并提供特征级概率、熵和互信息，增强模型可解释性。
2025-04-25 cs.AI cs.LG quant-ph
Beyond the Blood Draw: Explainable Machine Learning for Non-Invasive Dysglycemia Risk Screening
Department of Computer Science, Aarhus University（奥胡斯大学计算机科学系）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
利用NHANES数据训练LightGBM等六种机器学习模型，实现无需实验室检测的血糖异常风险筛查，AUC达0.820，优于传统风险评分，并识别出年龄、种族和腰高比等关键预测因素。
2026-06-16 cs.HC cs.LG
Automating Detection of Papilledema in Pediatric Fundus Images with Explainable Machine Learning
University of Southern California（南加州大学）；USC Roski Eye Institute（南加州大学罗斯基眼科研究所）
视乳头水肿是一种眼神经系统疾病，其中颅内压升高导致视神经肿胀。未确诊的儿童视神经乳头水肿可能导致失明，也可能是危及生命的疾病的征兆，如脑瘤。使用深度学习自动分析眼底图像可以促进这种综合征的稳健和准确的临床诊断，特别是在存在具有相似眼底外观但具有不同临床意义的假乳头水肿所带来的挑战的情况下。我们提出了一种基于深度学习的算法，用于儿童视乳头水肿的自动检测。我们的方法是基于视盘定位和检测可解释的乳头水肿指标，通过数据增强。对真实世界的临床数据的实验表明，我们提出的方法是有效的，诊断准确率与专家眼科医生。
2022-07-10 cs.LG eess.IV
EngageTriBoost: Predictive Modeling of User Engagement in Digital Mental Health Intervention Using Explainable Machine Learning
本研究提出EngageTriBoost模型，通过可解释机器学习分析用户行为模式，提升数字心理健康干预的采用率和效果，准确率达84%。
2026-03-31 cs.LG
Statistical Inference for Explainable Boosting Machines
School of Economics, Fudan University（复旦大学经济学院）；Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计与数据科学系）
本文提出利用梯度提升的统计推断方法，通过移动平均替代树的求和（Boulevard正则化），使提升过程收敛于特征核岭回归，实现渐近正态预测并达到最小最大最优MSE，同时构建预测区间和置信区间，提升EBM的可解释性。
2026-03-30 cs.LG stat.ML
Forecasting Patient Flows with Pandemic Induced Concept Drift using Explainable Machine Learning
Massey University（梅西大学）
准确预测急诊诊所（UCC）和急诊科（ED）的患者到达对于有效的资源配置和患者护理非常重要。然而，正确估计患者流量并不简单，因为它取决于许多驱动因素。由于COVID-19大流行情况及因此而实施的封城措施，病人抵港人数的可预测性最近进一步复杂化。本研究探讨了一套新颖的准实时变量，如谷歌搜索词、行人流量、流感的流行发病率水平以及COVID-19警戒级别指标，如何既能普遍改善患者流量的预测模型，又能有效地使模型适应大流行状况的破坏。这项研究还通过使用可解释人工智能领域的工具，比以前更深入地研究模型的内部机制，为该领域的工作做出了独特的贡献。在我们的实验中，结合机器学习和统计技术的基于投票集合的方法是最可靠的。我们的研究显示，现行的COVID-19警戒级别功能连同谷歌搜索词和行人流量可有效地产生可概括的预测。这项研究的意义是，代理变量可以有效地增加标准的自回归功能，以确保准确的预测病人流量。实验表明，所提出的功能是潜在的有效的模型输入，以保持预测的准确性，在未来的大流行爆发的情况下。
2022-11-01 cs.CY cs.LG
Examining spatial heterogeneity of ridesourcing demand determinants with explainable machine learning
University of Florida（佛罗里达大学）；Cornell University（康奈尔大学）
本研究应用可解释机器学习框架，利用 Chicago 网约车数据，识别了需求的关键决定因素，并揭示了建成环境对需求影响的非线性效应与空间异质性，为交通管理提供细致见解。
2022-09-16 cs.LG
Analyzing the Impact of Adversarial Examples on Explainable Machine Learning
School of Computing and Information Science, Anglia Ruskin University, Cambridge, UK（计算与信息科学学院，安格利亚 Ruskin 大学）；Department of Computer Science and Engineering, Silicon University, Odisha, India（计算机科学与工程系，硅大学）；Department of Computer Science, University of the Pacific, Stockton, USA（计算机科学系，太平洋大学）
本研究分析了对抗攻击对文本分类模型可解释性的影响，通过开发机器学习分类模型并引入对抗扰动，评估了攻击前后的分类性能与模型可解释性。
2025-09-12 cs.AI cs.LG
Outlier Detection in Plantar Pressure: Human-Centered Comparison of Statistical Parametric Mapping and Explainable Machine Learning
University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道工业大学）；DIERS International GmbH（DIERS国际有限公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
研究面向足底压力数据质量控制，比较SPM与SHAP解释的CNN异常值检测方法，证明可解释ML性能更优且二者具有互补价值。
2025-09-29 cs.AI cs.LG
A feature-stable and explainable machine learning framework for trustworthy decision-making under incomplete clinical data
Computational Intelligence, Sano Centre for Computational Personalised Medicine（计算智能，Sano计算个性化医学中心）；Clinical Studies Group, Randox Laboratories Ltd., Co.（临床研究组，Randox实验室有限公司）
CACTUS是一种针对不完整临床数据设计的可解释机器学习框架，通过提升特征稳定性与可解释性，增强模型在缺失数据下的可信决策能力。
2026-02-19 cs.AI cs.LG
Explainable AI Enabled Inspection of Business Process Prediction Models
Queensland University of Technology（昆士兰科技大学）
以机器学习技术为基础的现代数据分析已成为数据主导决策自动化的关键推动因素。作为最先进的数据分析的一个重要分支，业务流程预测也面临着一个挑战，即缺乏解释的推理和决策的基础“黑箱”预测模型。随着可解释的机器学习技术的发展，可以为黑盒模型生成解释，使（人类）用户能够访问机器学习预测背后的推理。在本文中，我们的目标是提出一种方法，使我们能够使用模型解释来研究机器学习预测应用的某些推理，并检测潜在的问题，从而提高对业务流程预测模型的信任。我们的方法的一个新的贡献是模型检查的建议，利用可解释的机器学习机制和上下文或领域的知识，从记录历史过程执行的事件日志中提取的解释。从这项工作中得出的结果，预计将作为一个关键的投入，开发模型的可靠性指标和评估的背景下，业务流程的预测。
2021-07-16 cs.AI cs.LG
Explainable Machine Learning System for Predicting Chronic Kidney Disease in High-Risk Cardiovascular Patients
Faculty of Engineering and Technology（工程与技术学院）；Liverpool John Moores University（利物浦约翰摩尔大学）
本研究针对高风险心血管患者的慢性肾病预测问题，开发了含全面可解释性框架的机器学习系统，Random Forest模型灵敏度达88.2%，提升了模型可靠性与合规性，具备医疗应用潜力。
2024-04-17 cs.AI cs.LG
