Techniques for Interpretable Machine Learning
Texas A&M University（得克萨斯农工大学）
可解释的机器学习解决了人类无法理解复杂机器学习模型的行为以及这些模型如何得出特定决策的重要问题。虽然提出了许多办法，但仍然缺乏对成就和挑战的全面了解。我们提供了一个调查，涵盖现有的技术，以提高机器学习模型的可解释性。我们还讨论了社区在未来工作中应该考虑的关键问题，例如设计用户友好的解释和开发全面的评估指标，以进一步推动可解释的机器学习领域。
2019-05-19 cs.AI cs.LG stat.ML
On the Safety of Interpretable Machine Learning: A Maximum Deviation Approach
IBM Research（IBM研究院）
可解释和可解释的机器学习最近引起了人们的兴趣。我们把安全作为激增背后的一个关键动机，并使可解释性和安全性之间的关系更加量化。为了评估安全性，我们通过优化问题引入最大偏差的概念，以找到监督学习模型与被认为是安全的参考模型的最大偏差。然后，我们将展示如何解释性促进这种安全评估。对于包括决策树、广义线性模型和可加模型在内的模型，该算法可以准确、高效地计算最大偏差。对于不被视为可解释的树集合，离散优化技术仍然可以提供信息边界。对于更广泛的一类分段Lipschitz函数，我们利用多臂强盗文学，可解释性产生更严格的（遗憾）的最大偏差的界限。我们目前的案例研究，包括一个抵押贷款审批，以说明我们的方法和见解的模型，可以从偏差最大化。
2022-11-02 cs.LG stat.ML
Interpretable Machine Learning for Privacy-Preserving Pervasive Systems
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
我们与普适系统的日常交互会生成跟踪，这些跟踪捕获人类行为的各个方面，并使机器学习算法能够提取有关用户的潜在信息。在本文中，我们提出了一个机器学习可解释性框架，使用户能够理解这些生成的痕迹如何侵犯他们的隐私。
2019-06-04 cs.CR cs.LG stat.ML
Causality Learning: A New Perspective for Interpretable Machine Learning
University of Technology Sydney（悉尼科技大学）
近年来，机器学习在图像识别、文本分类、信用评分预测、推荐系统等领域得到了快速发展。尽管在不同领域取得了巨大的成就，但研究人员仍然关注任何机器学习（ML）技术下的机制，这些机制本质上是黑箱的，并且为了达到更高的准确性而变得更加复杂。因此，解释机器学习模型是目前研究界的一个主流课题。然而，传统的可解释机器学习关注的是关联而不是因果关系。本文概述了因果分析的基本背景和关键概念，然后总结了最新的因果方法可解释的机器学习。本文还讨论了评估方法质量的评估技术，以及因果可解释性中的开放问题。
2021-09-17 cs.AI cs.LG stat.ML
Interpretable Machine Learning Models for the Digital Clock Drawing Test
MIT Computer Science And Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Boston University School of Medicine（波士顿大学医学院）；Lahey Hospital and Medical Center（莱希医院与医疗中心）
时钟绘制测试（CDT）是一种快速，廉价和流行的神经心理学筛查工具，用于认知条件。数字时钟绘图测试（dCDT）使用新颖的软件来分析来自数字化圆珠笔的数据，该圆珠笔以相当高的空间和时间精度报告其位置，从而可以分析绘图过程和最终产品。我们开发了一种方法来分析这些图纸中的笔画数据，并计算了大量的特征，然后用各种机器学习技术进行分析。由此产生的评分系统被设计为比临床医生目前使用的系统更准确，但同样易于解释和使用。该系统还允许我们量化准确性和可解释性之间的权衡。我们创建了临床医生目前使用的CDT评分系统的自动化版本，使我们能够对我们的模型进行基准测试，这表明我们的机器学习模型大大优于现有的评分系统。
2016-06-23 cs.LG stat.ML
Scientific Inference With Interpretable Machine Learning: Analyzing Models to Learn About Real-World Phenomena
Cluster of Excellence Machine Learning for Science（科学机器学习卓越集群）；University of Tübingen（蒂宾根大学）
针对现代机器学习模型缺乏逐元素可解释性、现有可解释机器学习研究侧重模型审计而非科学推断的问题，提出基于统计学习理论的“属性描述符”框架，助力科学家利用机器学习开展科学推断并指明未来研究方向。
2024-07-15 cs.LG stat.ML
Interpretable Machine Learning with an Ensemble of Gradient Boosting Machines
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
在广义可加模型的基础上，提出了一种黑箱模型的局部和全局解释方法。它可以被看作是使用神经可加模型的算法的扩展或修改。该方法基于使用梯度提升机（GBM）的集合，使得每个GBM在单个特征上被学习并且产生该特征的形状函数。系综组成为单独的GBM的加权和，从而形成广义加性模型的形状函数的加权和。使用深度为1的随机化决策树并行内置的GBM，这提供了非常简单的架构。GBM和特征的权重在每次迭代中通过使用Lasso方法计算，然后通过特定的平滑过程进行更新。与神经加法模型相比，该方法以显式形式提供特征的权重，并且它是简单训练的。大量的数值实验与算法实现所提出的方法在合成和真实数据集上证明了其效率和局部和全局解释的属性。
2020-10-14 cs.LG stat.ML
Interpretable Machine Learning -- A Brief History, State-of-the-Art and Challenges
LMU Munich（慕尼黑大学）
我们介绍了可解释机器学习（IML）领域的简史，概述了最先进的解释方法，并讨论了挑战。近年来，IML的研究蓬勃发展。尽管这个领域很年轻，但它在回归建模和基于规则的机器学习方面有着200多年的历史，始于20世纪60年代。最近，提出了许多新的IML方法，其中许多是模型不可知的，但也有特定于深度学习和基于树的集成的解释技术。IML方法要么直接分析模型组件，研究对输入扰动的敏感性，要么分析ML模型的局部或全局代理近似。该领域接近准备就绪和稳定的状态，许多方法不仅在研究中提出，而且在开源软件中实现。但IML仍然面临着许多重要的挑战，如处理相关特征，因果解释和不确定性估计，这些问题需要解决才能成功地应用于科学问题。另一个挑战是缺乏一个严格的可解释性的定义，这是由社区接受。为了应对挑战并推动该领域的发展，我们迫切需要回顾我们在统计和（基于规则的）ML中可解释的数据驱动建模的根源，但也要考虑其他领域，如敏感性分析，因果推断和社会科学。
2020-10-19 cs.LG stat.ML
Interpretable Machine Learning for Discovery: Statistical Challenges \& Opportunities
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
本文综述了 Interpretable Machine Learning 在科学发现中的应用，重点探讨了在监督和无监督环境下生成新知识的技术，并以数据划分、稳定性及统计推断等理论与实践视角分析了验证发现的重大挑战。
2023-08-02 cs.LG stat.ME stat.ML
In Pursuit of Interpretable, Fair and Accurate Machine Learning for Criminal Recidivism Prediction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Washington（华盛顿大学）；Duke University（杜克大学）
目的：我们使用机器学习（ML）模型研究可解释的累犯预测，并分析预测能力，稀疏性和公平性方面的性能。与以前的工作不同，这项研究训练了可解释的模型，输出概率而不是二进制预测，并使用定量公平定义来评估模型。本研究还考察了模型是否可以在地理位置上进行推广。方法：我们在佛罗里达州和肯塔基州的两个不同的犯罪累犯数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平性与目前司法系统中用于预测审前累犯的两种方法进行了比较：Arnold PSA和COMPAS。我们评估了所有模型在两个时间跨度内预测六种不同类型犯罪的预测性能。结果：几个可解释的ML模型可以预测累犯以及黑盒ML模型，比COMPAS或Arnold PSA更准确。这些模型在实践中可能很有用。与Arnold PSA类似，这些可解释的模型中的一些可以写成一个简单的表格。其他人可以使用一组可视化来显示。我们的地理分析表明，ML模型应该针对不同的位置进行单独训练，并随着时间的推移进行更新。我们还提出了一个公平性分析的可解释的模型。结论：在预测准确性和公平性方面，可解释的机器学习模型可以与不可解释的方法和当前使用的风险评估量表一样好。机器学习模型在针对不同位置单独训练并保持最新时可能更准确。
2022-03-11 cs.LG stat.AP stat.ML
Review of Interpretable Machine Learning Models for Disease Prognosis
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Boston University（波士顿大学）
本文综述可解释机器学习在 COVID-19 等呼吸系统疾病预后预测中的应用，强调融合临床知识与数据学习的模型价值。
2024-09-08 cs.LG
Ontology-based Interpretable Machine Learning for Textual Data
New Jersey Institute of Technology（新泽西理工学院）；Wells Fargo Bank（富国银行）；University of Oregon（俄勒冈大学）
在本文中，我们介绍了一种新的解释框架，学习一个可解释的模型的基础上，基于本体的抽样技术来解释不可知的预测模型。与现有的方法不同，我们的算法考虑上下文之间的相关性，领域知识本体中描述的词，生成语义解释。为了缩小解释的搜索空间，这是长而复杂的文本数据的主要问题，我们设计了一个可学习的锚算法，以更好地提取局部解释。进一步介绍了一套规则，关于结合学习可解释的表征与锚，以产生可理解的语义解释。在两个真实数据集上进行的广泛实验表明，与基线方法相比，我们的方法可以生成更精确和更有见地的解释。
2020-04-01 cs.AI cs.LG stat.ML
Natively Interpretable Machine Learning and Artificial Intelligence: Preliminary Results and Future Directions
Diveplane Corporation（Diveplane公司）
为了更好地逼近复杂函数，机器学习模型已经变得越来越复杂。虽然在许多领域卓有成效，但增加的复杂性是以模型可解释性为代价的。曾经流行的k-最近邻（kNN）方法，它发现并使用最相似的数据进行推理，在最近几十年里受到的关注要少得多，因为与其他技术相比存在许多问题。我们表明，许多这些历史问题与kNN可以克服，我们的贡献不仅在机器学习，而且在在线学习，数据合成，异常检测，模型压缩和强化学习中的应用，而不牺牲可解释性。我们介绍了kNN和信息论之间的综合，我们希望将提供一个清晰的路径，模型是天生的可解释和可审计的。通过这项工作，我们希望将kNN与信息论结合起来，作为完全可审计的机器学习和人工智能的一条有前途的道路。
2019-01-18 cs.AI cs.LG stat.ML
Imputation Uncertainty in Interpretable Machine Learning Methods
Leibniz Institute for Prevention Research & Epidemiology – BIPS（预防研究与流行病学研究所）；Faculty of Mathematics and Computer Science, University of Bremen（数学与计算机科学学院）
研究探讨了可解释机器学习方法中不同填补技术对置信区间覆盖概率的影响，发现单一填补会导致方差低估，而多重填补更接近预期覆盖水平。
2025-12-19 cs.LG stat.ME stat.ML
Partially Interpretable Estimators (PIE): Black-Box-Refined Interpretable Machine Learning
University of Iowa（爱荷华大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了部分可解释估计器（PIE），它通过可解释模型将预测归因于单个特征，而PIE预测的一小部分（可能）归因于通过黑盒模型的特征相互作用，其目标是在保持可解释性的同时提高预测性能。因此，可解释的模型捕获特征的主要贡献，而黑盒模型试图通过捕获特征交互的“细微差别”作为细化来补充可解释的部分。我们设计了一个迭代训练算法来联合训练这两类模型。实验结果表明，PIE是非常有竞争力的黑箱模型，同时优于可解释的基线。此外，PIE的可理解性与通过人工评估验证的简单线性模型相当。
2021-05-06 cs.AI cs.LG
The Pros and Cons of Using Machine Learning and Interpretable Machine Learning Methods in psychiatry detection applications, specifically depression disorder: A Brief Review
Faculty of Computer Science and Engineering, Shahid Beheshti University（沙希德·贝赫什提大学计算机科学与工程学院）
本文简要综述了机器学习和可解释人工智能在抑郁症等精神病学检测应用中的优缺点，强调准确快速诊断及可理解诊断结果的重要性。
2023-11-11 cs.AI cs.LG
Integrating White and Black Box Techniques for Interpretable Machine Learning
Osaka Metropolitan University（大阪公立大学）
针对机器学习算法可解释性与性能难以兼顾的问题，提出一种集成分类器设计，用白盒模型处理简单输入、黑盒模型处理复杂输入，兼顾可解释性与性能。
2024-07-12 cs.LG
Look Who's Talking: Interpretable Machine Learning for Assessing Italian SMEs Credit Default
Bicocca University（比可卡大学）；Siemens Italy（西门子意大利公司）
学术研究和金融行业最近对机器学习算法给予了极大的关注，因为它们能够解决复杂的学习任务。然而，在企业违约预测领域，缺乏可解释性阻碍了黑箱模型的广泛采用。为了克服这个缺点，保持高性能的黑盒，本文依赖于一个模型无关的方法。累积局部效应和Shapley值用于塑造预测因子对违约可能性的影响，并根据它们对模型结果的贡献对其进行排名。与三种标准判别模型相比，预测是通过两种机器学习算法（极端梯度提升和前馈神经网络）实现的。结果表明，我们对意大利中小企业制造业的分析受益于eXtreme Gradient Boosting算法的整体最高分类能力，而无需放弃丰富的解释框架。
2021-09-01 cs.LG econ.EM stat.ML
Towards Public Administration Research Based on Interpretable Machine Learning
Fudan University（复旦大学）；Hunan University（湖南大学）
本文探讨了可解释机器学习在公共行政领域中的应用，旨在提升定量研究的可信度和推断一般化能力。
2026-01-08 cs.CY cs.LG
Rethinking Log Odds: Linear Probability Modelling and Expert Advice in Interpretable Machine Learning
JP Morgan AI Research（摩根大通人工智能研究院）
我们引入了一系列可解释的机器学习模型，其中有两个广泛的补充：线性加性模型（LAM），它取代了通用加性模型（GAM）中无处不在的逻辑链接函数;和SubscaleHedge，一种专家建议算法，用于组合在称为子尺度的特征子集上训练的基础模型。LAMs可以增强任何配备有S形链接函数的加性二元分类模型。此外，他们提供了直接的全局和局部属性的加性成分的模型输出的概率空间。我们认为，LAMs和SubscaleHedge提高了其基础算法的可解释性。使用严格的零假设显著性测试的广泛套件的金融建模数据，我们表明，我们的算法不会遭受大的性能惩罚的ROC AUC和校准。
2022-11-11 cs.LG
Interpretable machine learning in Physics
Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所（DESY））；Humboldt Universität zu Berlin（柏林洪堡大学）；Hangzhou Normal University（杭州师范大学）；Norwegian University of Science and Technology（挪威科技大学）
为多变量方法添加可解释性为探索具有高阶相关性的复杂物理系统创造了强大的协同作用，同时在系统的底层动力学中带来了一定程度的清晰度。
2022-05-02 cs.LG hep-ph
Mixture of Decision Trees for Interpretable Machine Learning
University of Münster（明斯特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；Dresden University of Technology（德累斯顿工业大学）；University of Stuttgart（斯图加特大学）
本文介绍了一种新的可解释的机器学习方法--混合决策树（MoDT）。它构成了混合专家模型集成体系结构的一个特殊情况，它利用线性模型作为门函数和决策树作为专家。我们提出的方法是理想的适合于问题，不能令人满意地学习由一个单一的决策树，但可以分为子问题。每个子问题都可以从单个决策树中很好地学习。因此，MoDT可以被认为是一种提高性能的方法，同时通过使每个决策都可以被人类理解和追踪来保持可解释性。我们的工作是伴随着一个Python的实现，它使用了一个可解释的门控功能，一个快速的学习算法，和一个直接的接口微调可解释的可视化方法。实验证实，实施工作，更重要的是，显示我们的方法相比，单一的决策树和随机森林类似的复杂性的优越性。
2022-11-26 cs.LG
Interpretable machine learning optimization (InterOpt) for operational parameters: a case study of highly-efficient shale gas development
Eastern Institute for Advanced Study, Yongriver Institute of Technology（甬江理工大学东方理工高等研究院）；Peng Cheng Laboratory（鹏城实验室）；Southern University of Science and Technology（南方科技大学）；Research Institute of Petroleum Exploration and Development, CNPC（中国石油天然气集团有限公司石油勘探开发研究院）
提出了一种基于可解释机器学习的操作参数优化算法InterOpt，并以页岩气开发优化为例进行了验证。InterOpt由三部分组成：用神经网络在向量空间中构造实际钻井和水力压裂过程的仿真器（即，虚拟环境）;可解释机器学习中的夏普利值方法被应用于分析每个井中的地质和操作参数的影响（即，单井特征影响分析），并采用集合随机最大似然法（EnRML）优化操作参数，全面提高页岩气开发效率，降低平均成本。在实验中，InterOpt根据每口井的具体地质条件，为每口井提供不同的钻井和压裂方案，最终以104口井为例，实现了平均成本降低9.7%。
2022-06-20 cs.LG
TSKAN: Interpretable Machine Learning for QoE modeling over Time Series Data
提出TSKAN，结合Kolmogorov-Arnold网络与频域特征，在时间序列数据上实现可解释的QoE建模，提升预测精度并保持模型透明性。
2025-09-24 cs.LG cs.NI
Interpretable Machine Learning for Kronecker Coefficients
University of New Hampshire（新罕布什尔大学）；University of Connecticut（康涅狄格大学）；Korea Institute for Advanced Study（韩国高等研究院）；Northeastern University（东北大学）；NSF Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基本相互作用研究所）
本文用可解释机器学习预测对称群 Kronecker 系数是否为零，结合分拆三元组与嵌入主成分 b-loadings，获得约83%准确率及显式决策公式，transformer 模型准确率超过99%。
2025-02-17 cs.LG math.CO math.RT
Ensemble Interpretation: A Unified Method for Interpretable Machine Learning
Southwest Petroleum University（西南石油大学）
本文提出集成解释方法，通过统一范式融合多种解释结果并结合先验知识进行监督评估，提升了解释稳定性、保真度及模型泛化性能。
2023-12-11 cs.LG
Recent advances in interpretable machine learning using structure-based protein representations
Institute for Basic Science（基础科学研究所）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Korea Institute of Science and Technology（韩国科学技术研究院）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文综述了基于结构的蛋白质3D表示方法，探讨了可解释机器学习在预测蛋白质结构、功能及相互作用中的应用，强调可解释性对药物开发和蛋白质设计的推动作用。
2024-09-26 cs.LG
Higher-order Neural Additive Models: An Interpretable Machine Learning Model with Feature Interactions
Ziovision Co., Ltd.（Ziovision公司）；Seoul National University of Science（首尔科学技术大学）；Kangwon National University（康武国立大学）
针对神经加法模型（NAMs）仅能捕捉一阶特征交互的局限，提出高阶神经加法模型（HONAMs），可高效捕捉任意阶特征交互，在不损失可解释性的同时提升预测精度，源代码已公开。
2025-11-14 cs.LG
PiML Toolbox for Interpretable Machine Learning Model Development and Diagnostics
PiML是一个开源Python工具箱，支持低代码和高代码模式，提供可解释模型、模型无关解释与诊断工具，并集成MLOps，应用于银行业模型开发与验证。
2023-12-19 cs.LG
Interpretable Machine Learning for Self-Service High-Risk Decision-Making
Central Washington University（中央华盛顿大学）
本文通过一般线坐标（GLC）的视觉知识发现，可解释的机器学习。超块作为可解释的数据集单元和一般线坐标的概念相结合，以创建一个可视化的自助机器学习模型。提出了DSC1和DSC2无损多维坐标系。DSC1和DSC2可以使用图形构造算法将多个数据集属性映射到单个二维（X，Y）笛卡尔平面。超块分析用于确定视觉上吸引人的数据集属性顺序并减少线遮挡。结果表明，超块可以推广决策树规则，一系列的DSC1或DSC2图可以可视化一棵决策树。DSC1和DSC2图在UCI ML存储库的基准数据集上进行了测试。它们允许对数据进行视觉分类。此外，还发现了超块杂质区域，并用于建立数据集分割，突出最坏情况下模型准确性的上限估计，以指导高风险决策的模型选择。DSC1和DSC2的主要优点是它们的高度可解释性。它们允许领域专家通过视觉模式发现来控制或建立新的机器学习模型。
2022-05-09 cs.GR cs.LG
Structural Neural Additive Models: Enhanced Interpretable Machine Learning
Georg-August University（哥廷根大学）；TU Clausthal（克劳斯塔尔工业大学）
深度神经网络（DNN）在广泛的任务中表现出卓越的性能，并已成为解决需要高水平预测能力的问题的首选方法。人们对DNN如何做出决策进行了广泛的研究，然而，本质上不可解释的网络直到今天仍然是不可观察的“黑匣子”。近年来，该领域已经看到了对可解释的神经网络的推动，例如视觉上可解释的神经加法模型（NAM）。我们提出了一个更进一步的可理解性的方向超越了仅仅可视化的功能效果，并提出了结构神经加法模型（SNAM）。一个建模框架，将经典和清晰可解释的统计方法与神经应用程序的预测能力相结合。我们的实验验证了SNAM的预测性能。所提出的框架的性能与最先进的完全连接的DNN相当，我们表明SNAM甚至可以优于NAM，同时保持内在的更可解释性。
2023-02-18 cs.LG stat.CO
Interpretable Machine Learning: Moving From Mythos to Diagnostics
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Determined AI
尽管人们对可解释机器学习（IML）领域的兴趣越来越大，但研究人员的方法所针对的技术目标与消费者用例的高级目标之间存在着巨大的差距。在这项工作中，我们综合了IML方法的基础工作和评估到一个可行的分类。这种分类法作为一种工具来概念化研究人员和消费者之间的差距，其方法和用例组件之间缺乏联系。它还为我们描述一个三步工作流程提供了基础，以更好地使研究人员和消费者能够共同努力，发现什么类型的方法对什么用例有用。最终，通过构建从这个工作流程中生成的结果，一个更完整的分类版本将越来越多地允许消费者找到与其目标用例相关的方法，并允许研究人员为他们提出的方法确定适用的用例。
2021-07-28 cs.LG
Missing Values and Imputation in Healthcare Data: Can Interpretable Machine Learning Help?
Duke University（杜克大学）；Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
本文提出基于高精度玻璃盒EBM的可解释机器学习方法，用于分析医疗数据缺失机制、理解缺失原因并检测或缓解插补算法风险，实验验证了其有效性。
2023-04-23 cs.LG
SeqMaestro: From nucleotide sequences to biological hypotheses through interpretable machine learning
University of Cambridge（剑桥大学）；The Francis Crick Institute（弗朗西斯·克里克研究所）；University of Colorado Anschutz Medical Campus（科罗拉多大学安舒茨医学校区）
SeqMaestro是一个无代码机器学习框架，通过两层接口连接核苷酸序列与可解释模型，利用多种模型组合识别稳健生物学信号，从而从序列数据提出生物学假设。
2026-09-15 cs.AI cs.LG
How Your Location Relates to Health: Variable Importance and Interpretable Machine Learning for Environmental and Sociodemographic Data
Duke University（杜克大学）；Nokia Bell Labs（诺基亚贝尔实验室）
该研究利用 MEDSAT 数据集，通过变量重要性方法及基于 GAM 与 MGWR 的可解释机器学习框架，识别多种健康结果的全局与局部环境、社会人口预测因子。
2025-01-03 cs.LG
Metabolomic Biomarker Discovery for ADHD Diagnosis Using Interpretable Machine Learning
Digital Technology Research Center, National Research Council Canada（加拿大国家研究理事会数字技术研究中心）；Biomedical Science and Hematology Departments, College of Medicine and Health Sciences, Sultan Qaboos University（苏丹奥曼穆萨特大学医学院与健康科学学院生物医学科学与血液科）
本研究利用可解释机器学习结合代谢组学，发现14种代谢物标志物，用于ADHD的客观诊断，揭示多巴胺能神经传递和氨基酸代谢机制。
2026-02-24 cs.LG
Full interpretable machine learning in 2D with inline coordinates
Central Washington University（中央华盛顿大学）
提出了一种新的二维坐标系下的机器学习方法。它是一种完全的机器学习方法，不需要处理n维空间中的n维数据。它允许在2-D空间中发现n-D模式，而不会丢失n-D信息，使用2-D中的n-D数据的图形表示。具体地说，它可以在不同的修改中使用基于内联的坐标来完成，包括静态和动态修改。介绍了基于这些坐标的分类和回归算法。基于基准数据的成功案例研究证明了该方法的可行性。这种方法有助于进一步巩固全2-D机器学习作为一种有前途的ML方法的全新领域。它的优点是能够让最终用户积极参与到模型的发现和验证中。另一个优势是提供可解释的ML模型。
2021-07-03 cs.CV cs.LG
Evaluating Explanation Without Ground Truth in Interpretable Machine Learning
Texas A&M University（德州农工大学）
可解释的机器学习（IML）在许多现实世界的应用中变得越来越重要，例如自动驾驶汽车和医疗诊断，在这些应用中，人们更倾向于解释，以帮助人们更好地理解机器学习系统是如何工作的，并进一步增强他们对系统的信任。然而，由于场景的多样性和解释的主观性，我们很少有真值的基准评估在IML的质量产生的解释。具有解释质量的感觉不仅对评估系统边界很重要，而且有助于在实际环境中实现人类用户的真正利益。为了对IML中的评估进行基准测试，在这篇文章中，我们严格定义了评估解释的问题，并系统地回顾了现有的努力。具体来说，我们总结了解释的三个一般方面（即，概括性、忠实性和说服性），并分别对不同任务下的代表性方法论进行了评述。此外，根据开发人员和最终用户的分层需求，设计了一个统一的评估框架，可以很容易地在实践中采用不同的场景。最后，讨论了开放的问题，并提出了一些现有的评估技术的局限性，为未来的探索。
2019-08-15 cs.AI cs.HC cs.LG
Discovering Interpretable Machine Learning Models in Parallel Coordinates
Central Washington University（中央华盛顿大学）
本文通过平行坐标系下的可视化知识发现，研究了可解释的机器学习。超立方体和超块的概念被使用为在平行坐标中以视觉形式容易被最终用户理解。提出了混合超块和纯超块分类的Hyper算法，实现了在单个、多个、重叠和非重叠情况下交互式自动发现超块。超块与视觉模式的语言描述相结合。超模型是决策树的推广。Hyper算法在UCI ML库的基准数据上进行了测试。它允许用所有数据发现纯的和混合的HB，然后用10倍交叉验证。建立了超块、降维和可视化之间的联系。超块技术和Hyper算法的主要好处在于它们能够由最终用户发现和观察超块，包括并排可视化，使模式对所有类可见。HB集合相对于决策树的另一个优点是避免数据过度泛化和过度拟合的能力。
2021-07-04 cs.LG
Interpretable Machine Learning in Physics: A Review
University of Waterloo（滑铁卢大学）；Perimeter Institute for Theoretical Physics（周界理论物理研究所）；Homes Plus Magazine Inc.（Homes Plus杂志公司）；Santa Fe Institute（圣塔菲研究所）；ETH Zurich（苏黎世联邦理工学院）；University of Stuttgart（斯图加特大学）；Heidelberg Academy of Science and the Humanities（海德堡科学与人文学院）；Massachusetts Institute of Technology（麻省理工学院）
本综述探讨了可解释性在物理学机器学习中的应用，通过分类可解释性、讨论模型性能及哲学意义，并介绍各物理子领域的最新进展，旨在将其确立为科学核心研究焦点。
2025-03-30 cs.AI cs.LG physics.comp-ph
Interpretable machine learning for high-dimensional trajectories of aging health
Dalhousie University（达尔豪斯大学）
我们已经建立了一个计算模型的健康和生存，其中包含物理，功能和生物变量的个人老化轨迹，并以人口，生活方式和医学背景信息为条件。我们将现代机器学习技术与可解释的交互网络相结合，其中健康变量通过随机动态系统内的显式成对交互耦合。我们的动态联合可解释网络（DJIN）模型可扩展到大型纵向数据集，可预测个体高维健康轨迹和基线健康状态的生存率，并推断出健康变量之间定向相互作用的可解释网络。该网络识别健康变量之间的合理生理联系以及强连接健康变量的集群。我们使用英国老龄化纵向研究（ELSA）数据来训练我们的模型，并表明它在健康结果和生存方面优于多个专用线性模型。我们将我们的模型与灵活的低维潜在空间模型进行比较，以探索准确建模老龄化健康结果所需的维度。我们的DJIN模型可用于生成真实年龄的合成个体，以估算缺失数据，并在给定任意初始健康状态的情况下模拟未来的衰老结果。
2022-01-05 cs.LG q-bio.QM
Harnessing Interpretable Machine Learning for Holistic Inverse Design of Origami
University of Michigan at Ann Arbor（密歇根大学安娜堡分校）
这项工作利用可解释的机器学习方法来解决具有挑战性的折纸启发系统的逆向设计问题。我们发现，决策树随机森林方法是特别适合的拟合折纸数据库，包含设计功能和功能性能，生成人类可理解的决策规则的逆设计的功能折纸。首先，树方法是独特的，因为它可以处理类别特征和连续特征之间复杂的相互作用，使其能够比较设计的不同折纸模式。其次，这种可解释的方法可以解决多目标问题，设计功能性折纸与多个和多物理性能指标。最后，该方法可以扩展现有的折纸形状拟合算法，考虑非几何性能。所提出的框架，使折纸整体逆向设计，考虑形状和功能，建立新的可重构结构的各种应用，如超材料，可展开结构，软机器人，生物医学设备，等等。
2022-07-18 cond-mat.soft cs.LG physics.comp-ph
Interpretable Machine Learning Models for Predicting and Explaining Vehicle Fuel Consumption Anomalies
Telefónica（西班牙电信公司）；Universidad Politécnica de Madrid（马德里理工大学）
识别车队车辆的燃料消耗异常是优化消耗和降低成本的关键方面。然而，仅有这一信息是不够的，因为车队运营商需要了解异常燃料消耗背后的原因。我们结合了无监督异常检测技术、领域知识和可解释的机器学习模型，用于在特征相关性方面解释异常油耗的潜在原因。这些解释用于生成关于燃料优化的建议，这些建议根据两个不同的用户简档来调整：车队管理员和车队运营商。结果进行了评估，从连接到柴油和汽油车辆从不同类型的工业车队的远程信息处理设备的真实数据。我们衡量关于模型性能的建议，并使用可解释的AI指标，比较解释的代表性，保真度，稳定性，对比性和与先验信念的一致性。可以实现的潜在燃料减少约为35%。
2021-07-22 cs.AI cs.LG
How to See Hidden Patterns in Metamaterials with Interpretable Machine Learning
Duke University（杜克大学）；California Institute of Technology（加州理工学院）
机器学习模型可以通过近似计算昂贵的模拟器或解决逆向设计问题来辅助超材料设计。然而，过去的工作通常依赖于黑盒深度神经网络，其推理过程是不透明的，需要大量的数据集，获得这些数据集的成本很高。在这项工作中，我们开发了两种新的机器学习方法来发现超材料，没有这些缺点。这些方法被称为形状频率特征和单元格模板，可以发现具有用户指定频率带隙的2D超材料。我们的方法提供了逻辑规则为基础的条件，超材料单元格，允许可解释的推理过程，并推广到不同分辨率的设计空间。该模板还提供了设计灵活性，用户几乎可以自由地设计单位单元的精细分辨率特征，而不会影响用户所需的带隙。
2022-10-01 cs.CE cs.LG physics.app-ph
Interpretable Machine Learning for Weather and Climate Prediction: A Survey
Public Meteorological Service Center, China Meteorological Administration（中国气象局公共气象服务中心）；University of Bristol（布里斯托大学）；Zhejiang University（浙江大学）；Institute of Atmospheric Physics, Chinese Academy of Science（中国科学院大气物理研究所）；Baidu Inc.（百度公司）；New Jersey Institute of Technology（新泽西理工学院）
本文综述了天气与气候预测中的可解释机器学习方法，将其分为事后解释技术和固有可解释模型设计两大类，并总结了其在揭示气象关系中的作用及未来研究挑战。
2024-03-24 cs.AI cs.LG physics.ao-ph
The Standard Interpretable Model: Design interpretable machine learning methods from elementary symmetries
IBM Research (CH)（IBM研究院（瑞士））；University of Oxford (UK)（牛津大学（英国））；University of Cambridge (UK)（剑桥大学（英国））；KU Leuven (BE)（鲁汶大学（比利时））；Institute of Physics of the Czech Academy of Sciences (CZ)（捷克科学院物理研究所（捷克））
提出标准可解释模型（SIM），基于拉格朗日力学从前提演绎出可解释性对称性和约束，通过最小化拉格朗日函数得到最优可解释模型，解决现有方法局限性并指导新方法设计。
2026-11-09 cs.AI cs.LG cs.NE
Interpretable and Explainable Machine Learning for Materials Science and Chemistry
Massachusetts Institute of Technology（麻省理工学院）；Microsoft AI for Good Research Lab（微软AI向善研究实验室）；Rutherford Appleton Laboratory（卢瑟福·阿普尔顿实验室）；University of Reading（雷丁大学）
虽然材料科学和化学的数据驱动方法的采用处于令人兴奋的早期阶段，但要实现机器学习模型在成功科学发现中的真正潜力，它们必须具有超越纯粹预测能力的品质。模型的预测和内部工作应该提供一定程度的可解释性，允许识别潜在的模型问题或限制，建立对模型预测的信任，并揭示可能导致科学见解的意外相关性。在这项工作中，我们总结了可解释性和可解释性技术在材料科学和化学中的应用，并讨论了这些技术如何提高科学研究的结果。我们讨论了在材料科学和更广泛的科学环境中可解释机器学习的各种挑战。特别是，我们强调通过纯粹解释机器学习模型来推断因果关系或达到泛化的风险，以及模型解释的不确定性估计的必要性。最后，我们展示了其他领域的一些令人兴奋的发展，这些发展可能有利于材料科学和化学问题的可解释性。
2021-11-03 cond-mat.mtrl-sci cs.LG
From Correlation to Causation: Formalizing Interpretable Machine Learning as a Statistical Process
DKFZ（德国癌症研究中心）；ETH Zürich（苏黎世联邦理工学院）
可解释人工智能（XAI）在安全关键系统中是必需的，例如在临床诊断中，由于致命决策的风险很高。然而，目前，XAI类似于一个松散的方法集合，而不是一个定义良好的过程。在这项工作中，我们阐述了XAI，可解释机器学习（IML）和经典统计学的最大子组之间的概念相似性。基于这些相似之处，我们提出了一个正式的IML沿线的统计过程。采用这种统计观点使我们能够将机器学习模型和IML方法解释为复杂的统计工具。基于这种解释，我们推断出三个关键问题，我们认为这是至关重要的成功和采用IML的安全关键设置。通过制定这些问题，我们进一步的目标是引发关于IML与经典统计学的区别以及我们的观点对该领域未来的意义的讨论。
2022-07-11 cs.AI cs.CV cs.LG
Discovering quantum phenomena with Interpretable Machine Learning
University of Innsbruck, Department for Theoretical Physics（因斯布鲁克大学理论物理系）
本文提出利用可解释机器学习从复杂量子数据中提取物理洞察，通过变分自编码器学习具有物理意义的表示，并结合符号方法发现紧凑的分析描述符，揭示了量子相空间的结构。
2026-10-28 cond-mat.stat-mech cs.LG quant-ph
From Physics-Based Models to Predictive Digital Twins via Interpretable Machine Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
这项工作开发了一种方法，用于从代表各种资产状态的基于物理的模型库中创建数据驱动的数字孪生。使用可解释的机器学习更新数字孪生。具体来说，我们使用最优树-最近开发的可扩展的机器学习方法-训练一个可解释的数据驱动的分类器。分类器的训练数据使用由基于物理的模型库求解的模拟场景离线生成。这些数据可以使用实验数据或其他历史数据进一步扩充。在操作中，分类器使用来自资产的观测数据来推断模型库中的哪些基于物理的模型是更新的数字孪生的最佳候选。该方法通过为12英尺翼展的无人机开发结构数字孪生来演示。这个数字孪生模型是从一系列结构状态下车辆的降阶模型库中构建的。数据驱动的数字孪生会根据结构损坏或退化动态更新，并使飞机能够相应地重新规划安全任务。在这种情况下，我们研究的最佳树分类器的性能，并展示了如何解释它们的可解释性，使稀疏传感器测量的结构评估，并通知最佳传感器的位置。
2020-04-28 cs.CE cs.LG
Interpretable Multimodal Machine Learning Analysis of X-ray Absorption Near-Edge Spectra and Pair Distribution Functions
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）
本文提出一种可解释多模态机器学习方法，结合XANES与PDFs提取过渡金属氧化物的局域结构和化学环境，发现XANES信息通常占主导地位且富含结构信息，可指导实验设计。
2025-02-20 cond-mat.mtrl-sci cs.LG
Shapley variable importance clouds for interpretable machine learning
Duke-NUS Medical School（杜克-新加坡国立大学医学院）；Singapore Health Services（新加坡保健服务集团）；Singapore General Hospital（新加坡中央医院）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）
可解释的机器学习一直专注于解释优化性能的最终模型。目前最先进的是Shapley加法解释（SHAP），它局部解释了变量对个体预测的影响，最近它被扩展到整个数据集的全局评估。最近，Dong和Rudin提出将调查扩展到与最终模型“足够好”的同类模型，并确定了先前基于单个模型的变量重要性的过度声明。然而，这种方法并不直接集成与现有的Shapley为基础的解释。我们通过提出一个Shapley变量重要性云来缩小这一差距，该云将良好模型中的信息汇集在一起，以避免在最终模型的SHAP分析中进行有偏见的评估，并通过新颖的可视化来传达研究结果。我们证明了额外的见解增益相比，传统的解释和董和鲁丁的方法，使用刑事司法和电子病历数据。
2021-10-06 cs.HC cs.LG
Interpretable Machine Learning Classifiers for Brain Tumour Survival Prediction
Centre for Addiction and Mental Health（成瘾与心理健康中心）；University of Edinburgh（爱丁堡大学）；Royal Infirmary of Edinburgh（爱丁堡皇家医院）
由于肿瘤行为和治疗反应的异质性，预测诊断为脑肿瘤的患者的生存率具有挑战性。更好的预后估计将支持治疗计划和患者支持。机器学习的进步为临床预测模型的发展提供了信息，但它们与临床实践的整合几乎不存在。其中一个原因是模型缺乏可解释性。在本文中，我们使用一个新的脑肿瘤数据集比较两个可解释的规则列表模型对流行的机器学习方法的脑肿瘤生存预测。所有模型都使用标准性能指标进行定量评估。还对规则列表的可解释性和临床实用性进行了定性评估。黑盒机器学习模型的可解释性评估使用两个事后解释技术，石灰和SHAP。我们的结果表明，黑盒模型仅略微优于规则列表。我们证明了规则列表算法产生了与临床专业知识相一致的简单决策列表。相比之下，事后可解释性方法应用于黑箱模型可能会产生不可靠的解释本地模型的预测。模型的可解释性对于理解预测性能的差异和整合到临床实践中至关重要。
2021-06-17 cs.AI cs.LG
Greenhouse gases emissions: estimating corporate non-reported emissions using interpretable machine learning
BNP Paribas（法国巴黎银行）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院）
截至2022年，温室气体（GHG）排放报告和审计尚未强制要求所有公司，测量和估计方法也未统一。我们提出了一个基于机器学习的模型来估计尚未报告的公司的范围1和范围2温室气体排放量。我们的模型专门设计为透明并完全适应这种用例，能够估计大量公司的排放量。它显示出良好的样本外的全球表现，以及良好的样本外的粒度性能时，按部门，按国家或收入桶进行评估。我们还将我们的结果与其他供应商的结果进行比较，发现我们的估计更准确。由于使用Shapley值的可解释性工具，我们的模型是完全可解释的，用户能够理解哪些因素可以解释每个特定公司的温室气体排放。
2022-12-21 cs.AI cs.LG q-fin.GN
