Proceedings of the 2016 ICML Workshop on Human Interpretability in Machine Learning (WHI 2016)
这是2016年ICML机器学习中人类可解释性研讨会（WHI 2016）的会议记录，该研讨会于2016年6月23日在纽约举行。受邀演讲者有Susan Athey、Rich Caruana、Jacob Feldman、Percy Liang和Hanna Wallach。
2016-07-27 cs.LG stat.ML
InterpretML: A Unified Framework for Machine Learning Interpretability
Microsoft Corporation（微软公司）
InterpretML是一个开源Python包，它向从业者和研究人员公开了机器学习可解释性算法。InterpretML公开了两种类型的可解释性-玻璃盒模型，这是为可解释性而设计的机器学习模型（例如：线性模型，规则列表，广义加法模型），以及用于解释现有系统的黑盒可解释性技术（例如：部分依赖，LIME）。该软件包使从业者能够通过在统一的API下公开多个方法，并通过内置的可扩展可视化平台轻松比较可解释性算法。InterpretML还包括可解释的提升机的第一个实现，这是一个强大的、可解释的玻璃盒模型，可以像许多黑盒模型一样准确。MIT许可源代码可以从github.com/microsoft/interpret下载。
2019-09-19 cs.LG stat.ML
False perfection in machine prediction: Detecting and assessing circularity problems in machine learning
Computational Linguistics, Heidelberg University（海德堡大学计算语言学系）；Interdisciplinary Center for Scientific Computing (IWR), Heidelberg University（海德堡大学跨学科科学计算中心）
本文是《效度、可靠性和意义》一书第二章早期版本的摘录。NLP和数据科学的经验方法》，作者Stefan Riezler和Michael Hagmann，由Morgan & Claypool于2021年12月出版。请访问本书的主页https://www.morganclaypoolpublishers.com/catalog_Orig/product_info.php? products_id=1688，以获取更新和更全面的讨论。
2021-12-13 cs.LG stat.ML
Interpretability of machine learning based prediction models in healthcare
University of Maribor（马里博尔大学）；Harvard University（哈佛大学）；KU Leuven（鲁汶大学）
需要确保可解释的机器学习模型。模型的可解释性更高意味着最终用户更容易理解和解释未来的预测。此外，可解释的机器学习模型允许医疗保健专家做出合理的和数据驱动的决策，以提供个性化的决策，最终可以在医疗保健中实现更高的服务质量。一般来说，我们可以将可解释性方法分为两组，第一组侧重于个性化解释（局部可解释性），而第二组总结了人口水平上的预测模型（全局可解释性）。或者，我们可以将可解释性方法分为模型特定技术和模型不可知方法，模型特定技术旨在解释由特定模型（如神经网络）生成的预测，模型不可知方法为任何机器学习模型所做的预测提供易于理解的解释。在这里，我们概述了可解释性方法，并提供了机器学习在不同医疗保健领域的实际可解释性示例，包括预测健康相关结果，优化治疗或提高特定条件的筛选效率。此外，我们概述了可解释的机器学习的未来发展方向，并强调了开发算法解决方案的重要性，这些解决方案可以在高风险的医疗保健问题中实现机器学习驱动的决策。
2020-08-14 cs.LG stat.ML
Assessing the Noise Robustness of Class Activation Maps: A Framework for Reliable Model Interpretability
National Institute of Technology Calicut（卡利卡特国家理工学院）；NTNU Gjøvik（格乔维克挪威理工学院）
本研究针对类激活映射（CAMs）的噪声鲁棒性展开评估，提出包含一致性和响应性的鲁棒性指标，通过跨模型、数据集和噪声扰动的实证分析，揭示不同CAM方法的噪声敏感性差异，为可靠模型可解释性提供框架。
2025-08-25 cs.AI cs.CV cs.LG
Quantifying Interpretability and Trust in Machine Learning Systems
Amazon Research（亚马逊研究院）
机器学习（ML）模型的决策已经变得无处不在。信任这些决定需要理解算法如何处理它们。因此，ML的可解释性方法是一个活跃的研究焦点。在这种情况下，一个核心问题是，可解释性方法的质量以及对ML预测的信任都很难衡量。然而，评价、比较和提高信任和可解释性需要量化的措施。在这里，我们提出了一个定量的衡量质量的可解释性方法。在此基础上，我们推导出ML决策中信任的定量度量。基于以前的工作，我们建议使用人类复制ML模型预测的信息传送率来衡量对算法决策的直观理解。我们从众包实验中提供了经验证据，表明所提出的度量标准可以有力地区分可解释性方法。所提出的指标还证明了可解释性对于机器学习辅助人类决策的价值：在我们的实验中，提供解释的注释任务的生产率提高了一倍以上。然而，公正的人类判断对医生、法官、决策者和其他人来说至关重要。在这里，我们导出了一个信任度量，用于识别人类决策何时过度偏向ML预测。我们的研究结果补充了现有的定性工作的信任和可解释性的量化措施，可以作为目标，进一步改善在这一领域的研究方法。
2019-01-20 cs.LG stat.ML
Model-Agnostic Interpretability of Machine Learning
University of Washington（华盛顿大学）
理解机器学习模型的行为方式可以在许多方面为系统设计人员和最终用户提供支持：模型选择，特征工程，以便信任和根据预测采取行动，以及更直观的用户界面。因此，可解释性已经成为机器学习中的一个重要问题，并且在可解释模型领域的工作已经重新引起了人们的兴趣。在某些应用中，这种模型与不可解释的模型一样准确，因此因其透明度而受到青睐。即使它们不准确，但当可解释性至关重要时，它们仍可能是首选。然而，将机器学习限制于可解释的模型通常是一个严重的限制。在本文中，我们认为解释机器学习预测使用模型不可知的方法。通过将机器学习模型视为黑盒函数，这些方法在模型、解释和表示的选择方面提供了至关重要的灵活性，改善了各种用户和模型的调试、比较和接口。我们还概述了这些方法的主要挑战，并回顾了最近推出的模型不可知解释方法（LIME），解决这些挑战。
2016-06-16 cs.LG stat.ML
How to improve the interpretability of kernel learning
近年来，机器学习研究人员一直专注于构建灵活且可解释的预测模型的方法。然而，解释性评价，泛化性能和模型的解释性之间的关系，以及用于提高解释性的方法必须被考虑。本文提出了一种可解释性的量化指标，并证明了其合理性，分析了可解释性与泛化性能之间的平衡问题。分析了两种性能之和的概率上界。针对传统的有监督核机器学习问题，提出了一种通用的学习框架来解决两种性能之间的平衡问题。在此框架下，推导出了全局最优解的条件.将该学习框架应用于最小二乘支持向量机，并通过实验进行了评价。
2019-10-05 cs.LG stat.ML
Causal Interpretability for Machine Learning -- Problems, Methods and Evaluation
Arizona State University（亚利桑那州立大学）；Army Research Lab（陆军研究实验室）
机器学习模型在无数的应用中取得了显著的成就。然而，这些模型中的大多数都是黑箱，并且它们是如何做出决策的还不清楚。这使得模型不可靠和不可信。为了深入了解这些模型的决策过程，人们提出了各种传统的可解释模型。此外，为了产生更人性化的解释，最近关于可解释性的工作试图回答与因果关系有关的问题，例如“为什么这个模型会做出这样的决定？或者“是一个特定的特征导致了模型的决定吗？“".在这项工作中，旨在回答因果问题的模型被称为因果可解释模型。现有的调查涵盖了传统可解释性的概念和方法。本文从问题和方法两个方面对因果可解释模型进行了综述。此外，该调查还深入了解了现有的可解释性评估指标，这可以帮助从业人员了解每个评估指标适用于哪些场景。
2020-03-19 cs.LG stat.ML
Assessing Robustness of Machine Learning Models using Covariate Perturbations
Wells Fargo（富国银行）
本文提出基于协变量扰动的综合框架，通过数值与非数值变量扰动、扰动摘要和局部诊断来评估和增强机器学习模型的鲁棒性，并在真实数据集上验证了其有效性。
2024-08-02 cs.LG stat.ML
Interpretability for Turing Machines
University of Melbourne（墨尔本大学）
该研究将神经网络的可解释性技术敏感度应用于图灵机，通过理论证明与DFAs实证研究，证实可通过该技术及相关方法恢复图灵机的算法特征。
2026-09-07 cs.FL cs.LG stat.ML
Interpretability and Explainability: A Machine Learning Zoo Mini-tour
ETH Zurich（苏黎世联邦理工学院）
在这篇综述中，我们研究了设计可解释和可解释的机器学习模型的问题。可解释性和可解释性是医学、经济学、法律和自然科学中许多机器学习和统计应用的核心。虽然可解释性和可解释性已经逃脱了一个明确的通用定义，但在最近30年中，这些属性激发了许多技术的发展，目前的焦点转向了深度学习方法。在这篇评论中，我们强调可解释性和可解释性之间的划分，并说明这两个不同的研究方向与具体的例子，国家的最先进的。审查的目的是为一般机器学习观众有兴趣探索的问题，解释和解释超越逻辑回归或随机森林变量的重要性。本书并非详尽的文献调查，而是一本有选择地侧重于作者认为有趣或信息丰富的某些研究领域的入门书。
2023-03-01 cs.LG
A Framework for Interpretability in Machine Learning for Medical Imaging
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；Weill Cornell Medical School（威尔康奈尔医学院）；Harvard Medical School（哈佛医学院）；MIT（麻省理工学院）
本文针对医学影像机器学习中可解释性概念模糊的问题，提炼五项核心要素并提出分步框架，以指导方法设计、实际应用与未来研究。
2024-04-16 cs.LG
chemmodlab: A Cheminformatics Modeling Laboratory for Fitting and Assessing Machine Learning Models
chemmodlab的目标是简化R中许多机器学习模型的拟合和评估管道，使研究人员能够轻松比较新模型的效用。虽然专注于实施已被化学信息学领域专家接受的模型拟合和评估方法，但chemmodlab中的所有方法都对机器学习社区具有广泛的实用性。chemmodlab包含几个评估实用程序，包括一个构建累积曲线的绘图函数和一个计算许多性能度量的函数。chemmodlab最新颖的功能是通过多重比较相似性图来呈现许多机器学习模型的统计学显著性能差异。使用重复k折交叉验证评估差异，其中区组增加精密度并应用多重性调整。
2018-07-12 cs.LG q-bio.QM stat.ML
Towards A Rigorous Science of Interpretable Machine Learning
随着机器学习系统变得无处不在，人们对可解释的机器学习（为输出提供解释的系统）的兴趣激增。这些解释通常用于定性评估其他标准，如安全或不歧视。然而，尽管人们对可解释性很感兴趣，但对于什么是可解释的机器学习以及如何衡量它，人们几乎没有达成共识。在本立场文件中，我们首先定义可解释性，并描述何时需要可解释性（以及何时不需要）。接下来，我们提出了一个严格评估的分类法，并向更严格的可解释机器学习科学提出了开放性问题。
2017-03-02 cs.AI cs.LG stat.ML
Multi-Objective Optimization of Performance and Interpretability of Tabular Supervised Machine Learning Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出模型无关的多目标超参数优化框架，通过联合搜索特征选择、交互、单调性约束与算法超参数，并设计进化算法，在表格任务上获得性能与可解释性兼优的 Pareto 模型。
2023-07-17 cs.LG cs.NE stat.ML
The Role of Uncertainty in Assessing the Fairness of Machine Learning Models
Università della Svizzera Italiana (USI)（瑞士意大利语区大学）
本文探讨机器学习模型公平性评估中的不确定性量化，提出频率派和贝叶斯方法，并通过模拟和真实数据示例展示其应用与影响。
2026-09-09 cs.LG stat.ME stat.ML
Improving the Interpretability of Support Vector Machines-based Fuzzy Rules
The University of DaNang（岘港大学）；Hue University（顺化大学）
支持向量机和模糊规则系统在一定条件下是等价的。因此，在支持向量机领域中开发的学习算法可以用于自适应模糊系统的参数。从支持向量机中提取模糊模型具有固有的优点，即模型不需要事先确定规则的数量。然而，在支持向量机学习之后，复杂度通常较高，并且可解释性也受损。本文不仅提出了一个完整的框架，提取可解释的基于SVM的模糊模型，但也提供了模型的优化问题。仿真实例体现了本文的思想。
2014-08-22 cs.AI cs.LG
BAGEL: A Benchmark for Assessing Graph Neural Network Explanations
L3S Research Center（L3S研究中心）；Delft University of Technology (TU Delft)（代尔夫特理工大学（TU Delft））
解释机器学习的决策问题是一个研究得很好的重要问题。我们感兴趣的是一种特定类型的机器学习模型，它处理称为图神经网络的图形数据。由于缺乏普遍接受的基准，评估图神经网络（GNN）的可解释性方法是具有挑战性的。给定GNN模型，存在几种可解释性方法来解释具有不同（有时相互冲突）评估方法的GNN模型。在本文中，我们提出了一个用于评估GNN可解释性方法的基准，称为Bagel。在Bagel中，我们首先提出了四种不同的GNN解释评价机制- 1）忠实性，2）稀疏性，3）正确性。（4）兼容性。我们调和现有文献中的多个评价指标，并涵盖不同的概念进行整体评价。我们的图形数据集范围从引文网络、文档图形到分子和蛋白质的图形。我们对四个GNN模型和九个节点和图分类任务的事后解释方法进行了广泛的实证研究。我们开放基准测试和参考实现，并在https://github.com/Mandeep-Rathee/Bagel-benchmark上提供它们。
2022-06-28 cs.AI cs.LG
How fair can we go in machine learning? Assessing the boundaries of fairness in decision trees
Trilateral Research（三边研究公司）；Data Justice Lab, Cardiff University（卡迪夫大学数据正义实验室）；University of Granada（格拉纳达大学）
公平的机器学习工作一直专注于开发公平的算法，以解决对某些群体的歧视问题。然而，许多这些公平意识的方法旨在获得一个独特的解决方案的问题，这导致了一个贫穷的理解偏差缓解干预措施的统计限制。我们提出了第一种方法，允许在多目标框架内探索这些限制，该框架旨在优化任何准确性和公平性的衡量标准，并提供最佳可行解决方案的帕累托前沿。在这项工作中，我们把我们的研究重点放在决策树分类器，因为它们被广泛接受的机器学习，易于解释，可以处理非数值信息自然。实验结果表明，该方法能够以较小的分类错误代价优化决策树模型，具有较好的公平性。我们相信，我们的贡献将帮助社会技术系统的利益相关者评估他们能走多远是公平和准确的，从而在使用机器学习的情况下支持增强决策。
2020-06-22 cs.LG stat.ML
On the Interpretability of Part-Prototype Based Classifiers: A Human Centric Analysis
Carleton University（卡尔顿大学）；Sharif University of Technology（谢里夫理工大学）
本文针对部件原型网络图像分类器缺乏人类视角可解释性研究的问题，设计了一个包含三个可操作指标的评估框架，并通过Amazon Mechanical Turk实验验证了其有效性，成为该领域最全面的统一评估工作。
2023-10-10 cs.AI cs.CV cs.HC
Inverse Classification for Comparison-based Interpretability in Machine Learning
AXA – Data Innovation Lab（安盛数据创新实验室）；Polish Academy of Science, IBS PAN（波兰科学院，波兰科学院系统研究所）
在事后可解释性的背景下，本文讨论了解释分类器预测的任务，考虑到没有信息的情况下，既不是分类器本身，也不是处理后的数据（既不是训练数据，也不是测试数据）。它提出了一种基于实例的方法，其原理在于确定改变预测所需的最小变化：给定一个数据点，其分类必须加以解释，所提出的方法在于确定一个近邻分类不同，其中的接近度定义集成了稀疏约束。这一原则是使用生长球体算法中的观测生成来实现的。两个数据集上的实验结果说明了所提出的方法，可用于获得有关分类器的知识的相关性。
2017-12-22 cs.AI cs.LG stat.ML
Cross Feature Selection to Eliminate Spurious Interactions and Single Feature Dominance Explainable Boosting Machines
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
针对EBM存在冗余特征虚假交互和单特征主导问题，提出多步交叉特征选择、集成特征与配置调整方法，在三个基准数据集上提升了可解释性、稳定性和预测性能。
2023-07-17 cs.LG stat.ML
Look Who's Talking: Interpretable Machine Learning for Assessing Italian SMEs Credit Default
Bicocca University（比可卡大学）；Siemens Italy（西门子意大利公司）
学术研究和金融行业最近对机器学习算法给予了极大的关注，因为它们能够解决复杂的学习任务。然而，在企业违约预测领域，缺乏可解释性阻碍了黑箱模型的广泛采用。为了克服这个缺点，保持高性能的黑盒，本文依赖于一个模型无关的方法。累积局部效应和Shapley值用于塑造预测因子对违约可能性的影响，并根据它们对模型结果的贡献对其进行排名。与三种标准判别模型相比，预测是通过两种机器学习算法（极端梯度提升和前馈神经网络）实现的。结果表明，我们对意大利中小企业制造业的分析受益于eXtreme Gradient Boosting算法的整体最高分类能力，而无需放弃丰富的解释框架。
2021-09-01 cs.LG econ.EM stat.ML
Verifying Machine Learning Interpretability Requirements through Provenance
Dept. of Electrical Engineering（电气工程系）；Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Embry-Riddle Aeronautical University（埃姆布里-瑞德尔航空航天大学）
本文提出通过机器学习可追溯性验证可解释性需求，为ML工程师提供保存模型和数据可追溯性的方法，建立可量化功能需求以验证模型的可解释性。
2026-04-23 cs.LG cs.SE
Towards Interpretability in Audio and Visual Affective Machine Learning: A Review
Center for Cognitive Interaction Technology (CITEC)（认知交互技术中心）；Bielefeld University（比勒菲尔德大学）
该综述针对音视频情感机器学习的可解释性开展结构化文献分析，梳理了29篇相关研究的现状与不足，并为后续研究提出建议。
2023-06-15 cs.LG
On the Relationship Between Interpretability and Explainability in Machine Learning
Université Laval（拉瓦尔大学）
本文挑战了机器学习中可解释性与可说明性互为替代品的观点，指出二者能相互弥补缺陷，呼吁开展同时利用两者优势的研究。
2024-04-25 cs.AI cs.LG
A Method for Evaluating the Interpretability of Machine Learning Models in Predicting Bond Default Risk Based on LIME and SHAP
School of Management and Economics, University of Electronic Science and Technology of China（电子科技大学经济与管理学院）
针对机器学习模型自身可解释性缺乏标准评估方法的问题，本文以债券违约预测为例，结合LIME和SHAP提出一种新的模型可解释性评估方法，结果符合直观与逻辑预期。
2025-02-26 cs.LG q-fin.GN
Why Interpretability in Machine Learning? An Answer Using Distributed Detection and Data Fusion Theory
IBM Research（IBM研究院）；Syracuse University（雪城大学）
随着人工智能越来越多地影响社会和生活的各个方面，人们越来越认识到人类对机器学习模型的可解释性非常重要。通常认为，为了获得可解释性，必须牺牲准确性或其他类似的泛化性能指标。然而，这些论点没有承认整个决策系统由两个实体组成：学习模型和将模型输出与他或她自己的信息融合在一起的人。因此，相关的性能标准应该针对整个系统，而不仅仅是机器学习组件。在这项工作中，我们的特点，这样的两个节点的串联数据融合系统的分布式检测理论的性能。在这样做的过程中，我们在人口设置和模型可解释的学习模型作为多级量化器。我们证明，在我们的抽象，一个人的整体系统与可解释的分类器优于一个黑盒分类器。
2018-06-25 cs.IT cs.LG math.IT
Machine Learning Interpretability and Its Impact on Smart Campus Projects
University of Northampton（北安普顿大学）
在过去的几十年里，机器学习（ML）已经显示出越来越多的预测分析能力。它在医疗保健、刑事司法、金融和智慧城市等不同领域变得无处不在。例如，北安普顿大学正在其新的Waterside校区构建一个具有多层物联网和软件定义网络（SDN）的智能系统。该系统可用于优化智能建筑的能源效率，改善租户和访客的健康和安全，协助人群管理和寻路，并改善互联网连接。
2020-06-08 cs.CY cs.LG
A Comparative Study of Machine Learning Algorithms for Electricity Price Forecasting with LIME-Based Interpretability
Gezhi Future Research Institute（智未来研究院）
本文比较了八种机器学习模型在电力价格预测中的性能，发现KNN表现最佳，并通过LIME分析揭示了气象因素和供需指标对价格波动的非线性影响。
2025-12-01 cs.LG
Accuracy, Fairness, and Interpretability of Machine Learning Criminal Recidivism Models
University of Houston（休斯顿大学）
刑事累犯模型是工具，已获得广泛采用假释委员会在美国各地，以协助假释的决定。这些模型收集了大量关于个人的数据，然后预测一个人在假释后是否会犯罪。虽然这些模型不是唯一的或主要因素，在作出最终的假释决定，问题已经提出了关于其准确性，公平性和可解释性。在本文中，各种机器学习为基础的刑事累犯模型创建的基础上，从美国佐治亚州的一个现实世界的假释决定数据集。累犯模型的准确性，公平性和可解释性进行了比较评估。结果发现，有显着的差异和权衡之间的准确性，公平性，并被固有的解释。因此，选择最佳模型取决于准确性，公平性和可解释性之间的理想平衡，因为没有模型是完美的或在不同标准中始终是最佳的。
2022-09-14 cs.CY cs.LG
Assessing Fairness in Classification Parity of Machine Learning Models in Healthcare
KenSci Inc（KenSci公司）；University of Washington - Tacoma（华盛顿大学塔科马分校）；University of Washington - Bothell（华盛顿大学博塞尔分校）
人工智能和机器学习系统的公平性已经成为人工智能系统问责的一个根本问题。虽然人工智能模型的问责制需求几乎无处不在，但医疗保健尤其是一个具有挑战性的领域，在这个领域，此类系统的问责制具有额外的重要性，因为医疗保健中的决策可能会改变生活。在本文中，我们提出了初步的公平性的背景下，在医疗保健的分类平价。我们还提出了一些探索性的方法，以提高公平性和选择适当的分类算法的背景下，医疗保健。
2021-02-07 cs.CY cs.LG
A $k$-additive Choquet integral-based approach to approximate the SHAP values for local interpretability in machine learning
University of Campinas（坎皮纳斯大学）；Université Paris I Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）
除了准确性，最近对机器学习模型的研究一直在解决如何解释所获得的结果的问题。事实上，虽然复杂的机器学习模型即使在具有挑战性的应用中也能够在准确性方面提供非常好的结果，但很难解释它们。为了给这些模型提供一些可解释性，最著名的方法之一，称为SHAP，借用了博弈论中的Shapley值概念，以便局部解释感兴趣实例的预测结果。由于SHAP值计算需要对所有可能的属性联盟进行先前的计算，因此其计算成本可能非常高。因此，基于SHAP的方法称为内核SHAP采用了一种有效的策略，以更少的计算工作量近似这些值。在本文中，我们还解决了基于Shapley值的机器学习中的局部可解释性。首先，我们提供了一个简单的制定一个基于形状的方法，通过使用Choquet积分，从而导致Shapley值和Shapley相互作用指数的局部可解释性。此外，我们还采用了博弈论中的$k$ -加法博弈的概念，这有助于减少计算工作量时估计的SHAP值。所得到的结果证明，我们的建议需要较少的计算联盟的属性近似SHAP值。
2022-11-03 cs.LG
Beyond Model Interpretability: Socio-Structural Explanations in Machine Learning
Google Research（谷歌研究院）
本文提出社会结构解释作为第三种机器学习解释类型，强调模型嵌入社会结构之中，并通过种族偏见的医疗分配算法案例论证理解模型输出需超越模型本身的可解释性分析。
2024-09-05 cs.LG
A Modified Drake Equation for Assessing Adversarial Risk to Machine Learning Models
Auburn University（奥本大学）；PeopleTec, Inc（PeopleTec公司）
机器学习模型在部署到生产中时存在对抗攻击的风险。使用经验性措施量化影响因素和不确定性可帮助行业评估下载和部署通用模型类型的风险。这项工作建议修改传统的德雷克方程的形式主义，以估计潜在的成功的对抗攻击的部署模型的数量。德雷克方程是著名的用于参数化的不确定性，它已被用于许多研究领域以外的初衷，以估计无线电能力的外星文明的数量。虽然以前的工作已经概述了在公共模型架构中发现漏洞的方法，但所提出的等式旨在为评估和估计对抗攻击的潜在风险因素提供半定量基准。
2021-07-07 cs.CR cs.LG
An Evaluation of the Human-Interpretability of Explanation
Harvard University（哈佛大学）；Google Brain（谷歌大脑）
近年来，人们对机器学习系统的兴趣激增，这些系统可以为其预测或决策提供人类可理解的理由。然而，究竟什么样的解释是真正的人类解释仍然知之甚少。这项工作推进了我们对用户可以使用机器学习系统执行的三个特定任务下解释的理解：响应的模拟，建议响应的验证，以及确定建议响应的正确性是否在输入的变化下发生变化。通过精心控制的人类受试者实验，我们确定了可用于优化机器学习系统可解释性的正则化器。我们的研究结果表明，复杂性的类型很重要：认知组块（新定义的概念）影响性能比变量重复，这些趋势是一致的跨任务和域。这表明解释系统可能存在一些共同的设计原则。
2019-08-28 cs.LG stat.ML
Uncertainty Toolbox: an Open-Source Library for Assessing, Visualizing, and Improving Uncertainty Quantification
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Computer Science Department, Stanford University（斯坦福大学计算机科学系）
随着机器学习系统在各种现实任务中的部署越来越多，对预测不确定性的准确量化的需求也越来越大。虽然机器学习中的不确定性量化（UQ）的共同目标是近似目标数据的真实分布，但UQ中的许多工作在所使用的评估指标中往往是不相交的，并且每个指标的不同实现导致在不同工作中不能直接比较的数值结果。为了解决这个问题，我们引入了Uncertainty，这是一个开源的Python库，可以帮助评估，可视化和改进UQ。Uncertainty还提供教学资源，例如关键术语词汇表和有组织的关键论文参考资料。我们希望这个工具箱有助于加速和统一机器学习中不确定性的研究工作。
2021-09-21 cs.LG stat.ML
On the definition and importance of interpretability in scientific machine learning
Smead Aerospace Engineering Sciences University of Colorado Boulder（科罗拉多大学博尔德分校Smead航空航天工程科学系）
本文探讨科学机器学习中可解释性的定义与重要性，指出传统科学模型与机器学习模型在可解释性上的差异，并提出新的可解释性定义以指导科学研究。
2026-04-22 cs.LG physics.data-an physics.hist-ph
Improving Interpretability of Scores in Anomaly Detection Based on Gaussian-Bernoulli Restricted Boltzmann Machine
Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究科）
针对GBRBM异常检测中分数不可解释导致阈值难以设定的问题，提出基于累积分布的可解释性度量与阈值设定准则，并利用模拟退火算法解决最小分数值的计算不可行评估。
2024-03-19 cs.AI cs.LG stat.ML
Selecting Interpretability Techniques for Healthcare Machine Learning models
University of Antioquia UdeA（安蒂奥基亚大学）；Universidad de Antioquia UdeA（安蒂奥基亚大学）；University of Antioquia（安蒂奥基亚大学）；Hospital Alma Máter de Antioquia（安蒂奥基亚母校医院）；Arcada University of Applied Sciences（阿卡达应用科学大学）
本文基于PDR框架界定可解释机器学习及事后、基于模型两类方法，并综述八种适用于医疗决策场景的可解释性算法。
2024-06-14 cs.LG
Interpretability via Model Extraction
Stanford University（斯坦福大学）
解释机器学习模型的能力已经变得越来越重要，因为机器学习被用于通知后续决策。我们提出了一种称为模型提取的方法来解释复杂的黑盒模型。我们的方法使用更可解释的模型来近似复杂模型;只要近似质量良好，那么复杂模型的统计特性就会反映在可解释的模型中。我们展示了如何使用模型提取来理解和调试在UCI机器学习库的几个数据集上训练的随机森林和神经网络，以及为几个经典的强化学习问题学习的控制策略。
2018-03-13 cs.CY cs.LG stat.ML
Intuitively Assessing ML Model Reliability through Example-Based Explanations and Editing Model Inputs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
可解释性方法旨在帮助用户建立信任并理解机器学习模型的功能。然而，现有的方法通常依赖于抽象、复杂的可视化，这些可视化与手头的任务映射得很差，或者需要非平凡的机器学习专业知识来解释。在这里，我们提出了两个可视化分析模块，便于直观地评估模型的可靠性。为了帮助用户更好地表征和推理模型的不确定性，我们可视化了给定输入的最近邻居的原始和聚合信息。使用交互式编辑器，用户可以以语义上有意义的方式操作此输入，确定对输出的影响，并与他们先前的期望进行比较。我们评估我们的接口使用心电图节拍分类的案例研究。与基线特征重要性界面相比，我们发现14名医生能够更好地将模型的不确定性与域相关因素对齐，并建立对其能力和局限性的直觉。
2021-07-09 cs.AI cs.HC cs.LG
Interpretability of Machine Learning: Recent Advances and Future Prospects
Toronto Metropolitan University（多伦多都会大学）
本文针对机器学习黑箱特性阻碍表征学习的问题，综述了机器学习可解释性的最新进展与未来展望，结合多媒体计算领域的多个应用实例，指出该方向是值得深入投入的重要研究方向。
2023-04-30 cs.CY cs.LG cs.MM
Addressing the interpretability problem for deep learning using many valued quantum logic
IBM Systems（IBM系统）
深度学习模型广泛用于各种工业和科学应用。尽管这些模型近年来取得了相当大的成功，但在机器学习社区中，对这些系统做出的决策背后的基本原理缺乏理解。这一可解释性问题因这类模型日益复杂而进一步恶化。本文利用机器学习，量子计算和量子场论的概念来演示多值量子逻辑系统如何自然地出现在一类特定的生成深度学习模型中，称为卷积深度信念网络。它为构建深度学习模型提供了一个强大的理论框架，该模型具有许多有值量子逻辑系统的可解释性，而不会影响其计算效率。
2020-07-02 cond-mat.dis-nn cs.LG stat.ML
A review of possible effects of cognitive biases on the interpretation of rule-based machine learning models
Prague University of Economics and Business（布拉格经济与商业大学）；The Prague College of Psychosocial Studies（布拉格心理社会研究学院）；Johannes Kepler University（约翰·开普勒大学）
虽然机器学习模型的可解释性通常等同于它们的语法可理解性，但我们认为可解释性不仅限于此，人类的可解释性也应该从认知科学的角度进行研究。本文的目标是讨论认知偏差在多大程度上可能影响人类对可解释的机器学习模型的理解，特别是从数据中发现的逻辑规则。涵盖了20种认知偏见，以及机器学习算法和软件的设计者可以采用的可能的去偏见技术。我们的综述将认知心理学中获得的结果转移到机器学习领域，旨在弥合这两个领域之间的差距。接下来需要进行专门针对机器学习领域的实证研究。
2021-09-13 cs.AI cs.LG stat.ML
Multi-Modal Machine Learning for Assessing Gaming Skills in Online Streaming: A Case Study with CS:GO
本研究针对在线直播游戏技能评估需求，清理数据集缺陷后提出多模态端到端模型变体学习联合表示，验证了有效性同时发现模型易识别用户而非学习有效表示，指明后续研究方向。
2023-07-23 cs.CV cs.LG
Interactive slice visualization for exploring machine learning models
Maynooth University（梅努斯大学）
机器学习模型使复杂算法适合任意大的数据集。这些算法是众所周知的高性能和低的可解释性。我们使用预测空间切片的交互式可视化来解决可解释性缺陷;实际上打开了机器学习算法的黑盒子，以询问，解释，验证和比较模型拟合。切片直接通过交互指定，或使用各种巡回算法，旨在访问高占用率的部分或区域，其中模型适合具有有趣的属性。这里介绍的方法在R包\pkg{condvis2}中实现。
2021-09-07 cs.LG stat.ML
Interpretability, Then What? Editing Machine Learning Models to Reflect Human Knowledge and Values
Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；NYU Langone Health（纽约大学朗格尼医学中心）
机器学习（ML）可解释性技术可以揭示模型用来进行预测的数据中的不良模式-一旦部署，可能会造成危害。然而，如何采取行动解决这些问题并不总是很清楚。在ML和人机交互研究人员、医生和数据科学家之间的合作中，我们开发了GAM Changer，这是第一个交互式系统，可以帮助领域专家和数据科学家轻松、负责任地编辑广义加性模型（GAM）并修复有问题的模式。通过新颖的交互技术，我们的工具将可解释性转化为行动-使用户能够分析，验证和调整模型行为与他们的知识和价值观。医生已经开始使用我们的工具来研究和修复肺炎和败血症风险预测模型，7位在不同领域工作的数据科学家的评估强调，我们的工具易于使用，满足他们的模型编辑需求，并适合他们当前的工作流程。我们的工具采用现代Web技术构建，在用户的Web浏览器或计算笔记本中本地运行，降低了使用障碍。GAM Changer可在以下公开演示链接中获得：https://interpret.ml/gam-changer。
2022-06-30 cs.AI cs.HC cs.LG
Beyond Expertise and Roles: A Framework to Characterize the Stakeholders of Interpretable Machine Learning and their Needs
MIT（麻省理工学院）
为了确保问责制并减轻危害，至关重要的是，不同的利益相关者可以询问黑匣子自动化系统，并找到对他们来说可以理解，相关和有用的信息。在本文中，我们避开了先前的专业知识和基于角色的可解释性利益相关者的分类，有利于一个更细粒度的框架，将利益相关者的知识从他们的可解释性需求。我们通过利益相关者的正式知识、工具知识和个人知识，以及它们在机器学习、数据域和一般环境中的表现方式来描述利益相关者。我们还提炼了利益相关者需求的层次类型学，将更高级别的领域目标与更低级别的可解释性任务区分开来。在评估我们的框架的描述性，评价性和生成能力，我们发现我们的利益相关者的更细致入微的治疗揭示了可解释性文献中的差距和机会，增加了用户研究的设计和比较的精度，并促进了更反射性的方法来进行这项研究。
2021-01-24 cs.CY cs.HC cs.LG
Interpretability of Blackbox Machine Learning Models through Dataview Extraction and Shadow Model creation
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯信息技术学院）
使用大量数据训练的深度学习模型倾向于捕获数据及其相关映射的一个视图。基于相同的训练数据构建的不同深度学习模型可以基于所使用的底层技术来捕获数据的不同视图。为了解释黑盒深度学习模型得出的决策，我们认为有必要忠实地再现该模型对训练数据的看法。这种忠实的再现可以用于解释生成。我们研究了两种数据视图提取方法：爬山方法和GAN驱动的方法。然后，我们使用这些合成的数据来创建解释生成的影子模型：决策树模型和基于形式概念分析的模型。我们评估这些方法上的黑箱模型训练的公共数据集，并显示其有用的解释生成。
2020-02-02 cs.AI cs.LG stat.ML
Interpreting "Interpretability" and Explaining "Explainability" in Machine Learning in Physics
Department of Physics, University of Cincinnati（俄亥俄州辛辛那提大学物理系）；Hamburger Sternwarte, Universität Hamburg（汉堡大学汉堡天文台）；Center for Theoretical Physics – a Leinweber Institute, Massachusetts Institute of Technology（麻省理工学院理论物理中心——莱因韦伯研究所）；Institut des Hautes Études Scientifiques（高等科学研究院）；Institut de Physique Théorique, CEA Paris-Saclay（巴黎-萨克雷CEA理论物理研究所）；NSF Institute for Artificial Intelligence and Fundamental Interactions（国家科学基金会人工智能与基本相互作用研究所）
本文区分了机器学习在物理学中的可解释性（模型结构透明）与可解释性（映射到领域知识），讨论了权衡、应用场景及实现工具，强调它们是建模选择而非固有属性。
2026-08-18 astro-ph.GA cs.LG hep-ph
A Semiparametric Approach to Interpretable Machine Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
机器学习中的黑盒模型在复杂问题和高维环境中表现出出色的预测性能。然而，它们缺乏透明度和可解释性，限制了这些模型在关键决策过程中的适用性。为了克服这一缺点，我们提出了一种新的方法来权衡预测模型的可解释性和性能，使用半参数统计的思想，使我们能够将参数回归模型的可解释性与非参数方法的性能相结合。我们通过利用两件式模型来实现这一点：第一件是可解释的和参数化的，第二件是不可解释的剩余部分。使用充分降维文献中的方法优化整个模型的性能。基于影响函数的估计推导和证明是双重的强大。这允许使用诸如双机器学习之类的方法来估计我们的模型参数。我们通过模拟研究和基于预测手术患者在重症监护室的住院时间的数据应用说明了我们的方法的实用性。
2020-06-08 cs.LG stat.ML
Unmasking Clever Hans Predictors and Assessing What Machines Really Learn
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫研究所海因里希赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克计算机科学研究所）
目前的学习机器已经成功地解决了困难的应用问题，达到了很高的准确率，并显示出看似“智能”的行为。在这里，我们应用最新的技术来解释最先进的学习机器的决策，并分析来自计算机视觉和街机游戏的各种任务。这展示了一系列解决问题的行为，从天真和短视，到消息灵通和战略。我们观察到，标准的性能评估指标可以忽略区分这些不同的问题解决行为。此外，我们提出了半自动谱相关分析，它提供了一种实际有效的方法来表征和验证非线性学习机器的行为。这有助于评估一个学习模型是否确实可靠地解决了它所设想的问题。此外，我们的工作旨在为机器智能的持续兴奋添加一个谨慎的声音，并承诺以更微妙的方式评估和判断最近的一些成功。
2019-02-26 cs.AI cs.CV cs.LG
