Individual Explanations in Machine Learning Models: A Survey for Practitioners
Prosperia；MIT（麻省理工学院）
近年来，使用复杂的统计模型来影响高度社会相关性领域的决策正在增加。虽然这些模型通常可以大大提高组织的准确性和效率，但许多政府，机构和公司不愿意采用它们，因为它们的输出通常难以以人类可解释的方式解释。因此，这些模型通常被认为是黑箱，因为它们的内部机制对人类审计是不透明的。在现实世界的应用中，特别是在决策可能产生敏感影响的领域，例如，刑事司法，信用评分评估，保险风险，健康风险，等等--需要模型可解释性。最近，学术文献已经提出了大量的方法来为机器学习模型提供可解释的解释。本调查回顾了最相关和最新颖的方法，这些方法形成了最先进的方法，用于解决机器学习中解释单个实例的特定问题。它旨在提供一个简洁的评论，可以指导数据科学和机器学习从业者寻找适合他们问题领域的方法。
2021-04-12 cs.AI cs.LG stat.AP
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne（墨尔本大学）；University of California, Irvine（加州大学欧文分校）
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定（例如拒绝贷款申请），那么它既需要解释为什么做出这个决定，也需要解释个人如何获得他们想要的结果（如果可能的话）。目前，这通常是使用反事实的解释，但这种解释一般不告诉个人如何行动。我们断言，反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先，我们提出了一个在线研究的结果，调查人们的看法的指示性解释。其次，我们提出了一个概念模型来产生这样的解释。我们的在线研究显示，人们对指令性解释（$p<0.001$）有明显的偏好。然而，受试者偏好的解释类型受到多种因素的影响，如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Biased Models Have Biased Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们通过为机器学习模型生成的基于属性的解释来研究机器学习（FairML）中的公平性。我们的假设是：有偏的模型有偏的解释。为了建立这一点，我们首先翻译现有的群体公平的统计概念，并根据模型给出的解释来定义这些概念。然后，我们提出了一种新的方法来检测（不）公平的任何黑盒模型。我们进一步研究后处理技术的公平性和原因如何解释可以用来使偏见缓解技术更个别公平。我们还介绍了一种新的后处理缓解技术，提高个人公平性的追索权，同时保持组级的公平性。
2020-12-20 cs.AI cs.LG
Aggregating explanation methods for stable and robust explainability
DTU Compute, Technical University Denmark（丹麦技术大学计算学院）
尽管关于解释神经网络的文献越来越多，但在如何解释神经网络决策或如何评估解释方面尚未达成共识。我们在本文中的贡献是双重的。首先，我们调查的计划，结合解释方法，减少模型的不确定性，以获得一个单一的聚合解释。我们提供的证据表明，聚合是更好地确定重要的功能，比单独的方法。对解释的对抗攻击是最近一个活跃的研究课题。作为我们的第二个贡献，我们提出的证据表明，总的解释是更强大的攻击比个人的解释方法。
2020-03-20 cs.AI cs.LG stat.ML
Collective Counterfactual Explanations: Balancing Individual Goals and Collective Dynamics
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）；University of California, Berkeley（加州大学伯克利分校）
本文提出纳入种群动态模型的集体反事实解释框架，将个体追索转化为集体优化，并用可扩展算法在公平性、效率和集体目标一致性上展现优势。
2025-09-30 cs.LG stat.ME
Feature construction using explanations of individual predictions
University of Ljubljana（卢布尔雅那大学）；Faculty of Computer and Information Science（计算机与信息科学学院）
特征构造有助于提高机器学习模型的可理解性和性能。不幸的是，它通常需要在属性空间中进行穷举搜索或耗时的人工参与来生成有意义的特征。我们提出了一种新的启发式方法，减少基于实例的解释预测模型的聚合的搜索空间。建议的可解释的功能建设（EFC）的方法，确定了流行的解释方法，如IME和SHAP暴露的共现属性组。我们的经验表明，减少搜索到这些群体显着减少了使用逻辑，关系，笛卡尔，数值和阈值的N和X的N建设性运营商的功能建设的时间。对10个透明合成数据集的分析表明，EFC有效地识别信息组的属性和构造相关的功能。使用30个真实世界的分类数据集，我们表现出显着的改进，分类精度的几个分类器，并证明了所提出的功能建设的可行性，即使是大型数据集。最后，EFC生成了一个来自金融行业的真实问题的可解释特征，并得到了领域专家的确认。
2023-01-23 cs.AI cs.LG
Scaling Guarantees for Nearest Counterfactual Explanations
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Ferdowsi University of Mashhad（费尔多西大学）；MPI for Security and Privacy（马克斯·普朗克安全与隐私研究所）；IMDEA Software Institute（IMDEA软件研究所）；MPI for Software Systems（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）
反事实解释（CFE）被广泛用于解释算法决策，特别是在后果决策背景下（例如，贷款批准或审前保释）。在这种情况下，CFE旨在为受算法决策影响的个体提供最相似的个体（即，最接近的个体）具有不同的结果。然而，虽然越来越多的作品提出了计算CFE的算法，但这种方法要么缺乏距离的最优性（即，它们不返回最近的个体）和完美覆盖（即，它们不为所有个体提供CFE）;或者它们不能处理复杂的模型，例如神经网络。在这项工作中，我们提供了一个框架的基础上，混合编程（MIP）计算最近的反事实的解释，可证明的保证和运行时相媲美的梯度为基础的方法。我们在成人，COMPAS和信用数据集上的实验表明，与以前的方法相比，我们的方法可以有效地计算不同的CFE，同时具有距离保证和完美的覆盖率。
2021-02-08 cs.AI cs.LG cs.LO
Fair Recourse for All: Ensuring Individual and Group Fairness in Counterfactual Explanations
University of Applied Sciences and Arts of Southern Switzerland（瑞士南方应用科学与艺术大学）；Università della Svizzera italiana（瑞士意大利大学）
本文提出了一种基于强化学习的方法，生成同时满足个体和群体公平性的反事实解释，以提升XAI的公平性和透明度。
2026-01-28 cs.AI cs.LG
Coalitional strategies for efficient individual prediction explanation
Université de Toulouse-Capitole（图卢兹第一大学）；IRIT（图卢兹计算机科学研究所）；Kaduceo（Kaduceo公司）
随着机器学习（ML）现在广泛应用于许多领域，无论是在研究还是在工业中，对黑盒子内部发生的事情的理解正在成为一个日益增长的需求，特别是对于这些模型的非专家来说。因此，开发了几种方法，以提供对特定观测的模型预测的清晰见解，但代价是计算时间长或限制性假设，没有充分考虑到属性之间的相互作用。本文提供了方法的基础上检测的相关组的属性-命名联盟-影响预测，并与文献进行比较。我们的研究结果表明，这些联盟的方法是更有效的比现有的，如SHapley加法解释（SHAP）。计算时间缩短，同时保持可接受的精度的个人预测解释。因此，这使得解释方法能够更广泛地实际使用，以增加已开发的ML模型、最终用户以及受这些模型所起作用的任何决策影响的人之间的信任。
2021-04-01 cs.LG
Precision of Individual Shapley Value Explanations
University of Oslo（奥斯陆大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文研究表格模型中个体条件 Shapley 值解释的精度，发现所有估计方法对训练分布外围观测的解释均系统性更不精确，提醒从业者谨慎使用。
2023-12-06 cs.LG stat.AP stat.CO
Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems
Vector Institute（向量研究所）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Brain（谷歌大脑）；UT Austin（德克萨斯大学奥斯汀分校）
基于机器学习的决策系统越来越多地影响人类。在这种决策系统下，个人可能会遭受不希望的结果（例如拒绝信贷），而不管决策是否公平或准确。个人追索权涉及提供一套可操作的改变，一个人可以采取，以改善其结果的问题。我们提出了一个追索算法，模型的基础数据分布或流形。然后，我们提供了一种机制，以产生最小的变化集，这将改善个人的结果。这种机制可以很容易地用于为任何基于可微机器学习的决策系统提供资源。此外，所得到的算法被证明是适用于监督分类和因果决策系统。我们的工作试图填补现有的公平性文献，主要集中在发现和/或算法上执行决策系统的公平性约束的空白。这项工作也提供了一种替代方法来产生反事实的解释。
2019-07-22 cs.LG stat.ML
Explanations of Black-Box Model Predictions by Contextual Importance and Utility
Umeå University（于默奥大学）
自主系统的重大进步以及更广泛的应用领域增加了对可信智能系统的需求。可解释的人工智能正在研究人员和开发人员中获得相当大的关注，以满足这一要求。虽然有越来越多的作品解释和透明的机器学习算法，他们主要是为技术用户。在许多有用的和实际的应用中，对最终用户的解释被忽视了。在这项工作中，我们提出了上下文的重要性（CI）和上下文的效用（CU）的概念，提取的解释，很容易理解的专家以及新手用户。该方法解释了预测结果，而无需将模型转换为可解释的模型。我们提出了一个例子，提供解释线性和非线性模型，以证明该方法的推广。CI和CU是可以以视觉和自然语言形式向用户表示的数值，以证明动作并解释针对个体实例、情况和上下文的推理。我们展示了在汽车选择的例子和鸢尾花分类的解释的效用，提出完整的（即个人预测的原因）和对比解释（即对比实例对感兴趣的实例）。实验结果表明了所提出的解释方法的可行性和有效性。
2020-05-30 cs.AI cs.LG
Linear Explanations for Individual Neurons
UC San Diego（加州大学圣迭戈分校）；HDSI, UC San Diego（加州大学圣迭戈分校数据科学与创新研究所）
针对现有神经元解释仅关注最高激活的不足，本文提出将神经元视为概念的线性组合，给出高效线性解释方法，并通过视觉场景模拟评估描述质量。
2024-05-10 cs.CV cs.LG
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover（汉诺威莱布尼茨大学）；dSPACE GmbH（dSPACE有限公司）
近年来，人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域，存在许多用于生成提供像素属性的显著图的方法。然而，他们的解释往往相互矛盾，不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案，其目标是生成一个新的解释，其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法，我们将个体解释之间的方差纳入聚合过程。此外，我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
Provably Better Explanations with Optimized Aggregation of Feature Attributions
LMU Munich（慕尼黑大学）；Siemens AG（西门子公司）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；Goethe University Frankfurt（法兰克福大学）
本文提出通过最优凸组合聚合多个特征归因方法，以可证明的方式提升解释的鲁棒性和忠实度，并在多种模型与归因技术上验证其优于单个方法及现有基线。
2024-06-07 cs.AI cs.CV cs.LG
Do Fair Models Reason Fairly? Counterfactual Explanation Consistency for Procedural Fairness in Credit Decisions
本文提出CEC框架，通过对个体与反事实对照体的特征归因对齐，检测并缓解隐藏的程序性偏见，提升信用决策的公平性。
2026-05-12 cs.AI cs.CE cs.CY
Shedding Light on Black Box Machine Learning Algorithms: Development of an Axiomatic Framework to Assess the Quality of Methods that Explain Individual Predictions
KIT – University of the State of Baden-Wuerttemberg and National Laboratory of the Helmholtz Association（卡尔斯鲁厄理工学院——巴登-符腾堡州立大学暨亥姆霍兹联合会国家实验室）
从自动驾驶汽车和后空翻机器人，到为我们预约下一次美发沙龙或餐厅晚餐的虚拟助理，机器学习系统正变得越来越普遍。其主要原因是这些方法拥有卓越的预测能力。然而，这些模型中的大多数仍然是黑箱，这意味着人类要理解和理解它们复杂的内部工作是非常具有挑战性的。因此，在机器学习模型的这种不断增加的复杂性下，可解释性受到了影响。特别是对于新的法规，如通用数据保护条例（GDPR），这些黑匣子所做预测的可验证性和可验证性是必不可少的。在行业和实践需求的推动下，研究界已经认识到这一可解释性问题，并在过去几年中专注于开发越来越多的所谓解释方法。这些方法解释了由黑盒机器学习模型做出的个体预测，并有助于恢复一些失去的可解释性。然而，随着这些解释方法的扩散，通常不清楚哪种解释方法提供更高的解释质量，或者通常更适合手头的情况。在这篇论文中，我们因此提出了一个公理化的框架，它允许相互之间比较不同的解释方法的质量。通过实验验证，我们发现，开发的框架是有用的，以评估不同的解释方法的解释质量，并得出与独立研究一致的结论。
2018-08-15 cs.LG stat.ML
Weight of Evidence as a Basis for Human-Oriented Explanations
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
可解释性是现代机器学习方法的一个难以捉摸但非常受欢迎的特性。最近的工作集中在通过$\textit{explanations}$的可解释性，证明个别模型的预测。在这项工作中，我们从哲学、认知科学和社会科学的解释研究中汲取灵感，朝着协调机器解释与人类产生和偏好的解释迈出了一步。我们确定的关键方面，这些人类的解释不同于当前的机器解释，提炼成一个列表的desiderata，并通过信息论的概念，$\textit{weight of evidence}$，将它们形式化成一个框架。最后，我们实例化这个框架在两个简单的应用程序，并显示它产生直观和可理解的解释。
2019-10-29 cs.AI cs.LG stat.ML
Evaluating Neuron Explanations: A Unified Framework with Sanity Checks
UC San Diego（加州大学圣地亚哥分校）
本文将神经元解释评估方法统一到数学框架下，提出两项健全性检查，发现多个常用指标失效，并给出评估指南与可靠指标集合。
2025-06-06 cs.LG
Interpreting Inflammation Prediction Model via Tag-based Cohort Explanation
University of California, Davis（加利福尼亚大学戴维斯分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于局部特征重要性分数的队列解释框架，通过标签生成简洁的簇描述，并在食物炎症预测模型上验证其能产生符合领域知识的可靠解释。
2024-10-17 cs.AI cs.LG
CoGS: Causality Constrained Counterfactual Explanations using goal-directed ASP
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
针对机器学习黑盒决策缺乏透明度的问题，提出CoGS框架，借助目标导向ASP系统s(CASP)结合特征因果依赖，从FOLD-SE等规则模型生成符合因果一致性的反事实解释，为用户提供可调整的决策改进路径。
2024-07-11 cs.AI cs.LG cs.LO
Explanation-Guided Fairness Testing through Genetic Algorithm
Xi’an Jiaotong University（西安交通大学）
公平性是可信AI系统的一个重要属性。大量的研究提出了不同的方法来测试个人的公平性。然而，它们受到三大限制，即，低效率、低效益和模型特异性。这项工作提出了ExpGA，通过遗传算法（GA）的推理引导的公平性测试方法。ExpGA采用可解释方法产生的解释结果来收集高质量的初始种子，这些种子易于通过稍微修改特征值来获得歧视性样本。ExpGA然后采用GA搜索歧视性的样本候选人，通过优化的适应值。将解释结果与遗传算法相结合，使得ExpGA能够有效地检测出歧视个体。此外，ExpGA只需要测试模型的预测概率，从而导致更好的泛化能力，以各种模型。多个真实世界的基准测试，包括表格和文本数据集上的实验表明，ExpGA比四个国家的最先进的方法具有更高的效率和有效性。
2022-05-16 cs.LG cs.NE
Robust Counterfactual Explanations in Machine Learning: A Survey
Imperial College London（帝国理工学院）
本综述系统回顾了机器学习中鲁棒反事实解释的研究，分析了鲁棒性形式、现有解决方案及其局限，为未来发展奠定基础。
2024-02-02 cs.AI cs.LG
From Attribution Maps to Human-Understandable Explanations through Concept Relevance Propagation
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希-赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究所）
本文提出概念相关性传播（CRP）方法，结合局部与全局视角，同时回答单个预测中特征“在哪里”和“是什么”的问题，生成更具人类可解释性的解释并深入揭示模型的表示与推理过程。
2024-01-06 cs.AI cs.LG
Decisions, Counterfactual Explanations and Strategic Behavior
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
随着数据驱动的预测模型越来越多地用于为决策提供信息，人们认为决策者应该提供解释，帮助个人理解为了使这些决策成为有益的决策，必须改变什么。然而，很少有人讨论个人可能会使用上述反事实解释来战略性地投入努力，并最大限度地提高他们获得有利决策的机会。在本文中，我们的目标是找到政策和反事实的解释，是最佳的效用在这样的战略设置。我们首先表明，给定预定义的政策，找到最佳反事实解释集的问题是NP难的。然后，我们证明了相应的目标是非减的，并满足子模块性，这使得一个标准的贪心算法享受近似保证。此外，我们进一步表明，共同寻找最优策略和一组反事实解释的问题归结为最大化一个非单调子模函数。因此，我们可以使用最近的随机算法来解决这个问题，这也提供了近似保证。最后，我们证明，通过将拟阵约束到问题的制定，我们可以增加的多样性的最佳集的反事实的解释和激励个人在整个频谱的人口自我提高。合成和真实的贷款和信用卡数据上的实验说明了我们的理论研究结果，并表明我们的算法发现的反事实解释和决策策略比几个有竞争力的基线实现了更高的效用。
2020-10-14 cs.CY cs.GT cs.HC
Learning Models for Actionable Recourse
Harvard University（哈佛大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）
随着机器学习模型越来越多地部署在法律和金融决策等高风险领域，人们对用于生成反事实解释的事后方法越来越感兴趣。这些解释为受到预测结果不利影响的个人提供了帮助（例如，申请人拒绝贷款）有追索权--即，描述他们如何改变自己的特征以获得积极的结果。我们提出了一种新的算法，该算法利用对抗训练和PAC置信集来学习模型，理论上保证在不牺牲准确性的情况下以高概率求助于受影响的个体。我们证明了我们的方法的有效性，通过大量的实验真实数据。
2022-03-19 cs.AI cs.LG
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus（塞浦路斯研究所）；University of Bologna, Bologna, Italy（博洛尼亚大学）
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响，发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix（百迪赛）
使用Shapley值的加性特征解释已经变得流行，用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性，但即使是单个机器学习模型也可以生成Shapley值，这远远不是唯一的，理论和实现决策会影响最终的属性。在这里，我们考虑应用Shapley值解释决策树集成，并提出了一种新的方法，Shapley值为基础的特征属性，可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性，同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异，并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
Model-Agnostic Counterfactual Explanations for Consequential Decisions
MPI-IS（马克斯·普朗克智能系统研究所）；MPI-SP（马克斯·普朗克软件系统研究所）；IMDEA Software Institute（马德里高级研究中心软件研究所）
预测模型正越来越多地用于支持审前保释和贷款审批等个人层面的重大决策。因此，越来越多的社会和法律压力要求提供解释，帮助受影响的个人不仅理解为什么会输出预测，而且还要理解如何采取行动以获得预期的结果。为此，一些作品提出了基于优化的方法来生成最接近的反事实解释。然而，这些方法通常限于模型的特定子集（例如，决策树或线性模型）和可微距离函数。相反，我们建立在标准的理论和工具，从形式化验证，并提出了一种新的算法，解决了一系列的可满足性问题，其中的距离函数（目标）和预测模型（约束）表示为逻辑公式。如我们在真实世界数据上的实验所示，我们的算法是：i）模型不可知的（{非}线性、{非}可微、{非}凸）; ii）数据类型不可知的（异构特征）; iii）距离不可知的（$\ell_0, \ell_1, \ell_\infty$及其组合）; iv）能够为任何样本生成合理且多样的反事实（即，100%覆盖率）;以及v）在可证明的最佳距离处。
2020-02-28 cs.AI cs.LG cs.LO
Towards a more efficient computation of individual attribute and policy contribution for post-hoc explanation of cooperative multi-agent systems using Myerson values
Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所）；University of Toulouse（图卢兹大学）；ISAE-Supaero（法国高等航空航天学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；Research Center for Information and Communications Technologies of the University of Granada (CITIC-UGR)（格拉纳达大学信息与通信技术研究中心）；University of Granada（格拉纳达大学）
对于战略家、决策者和体育教练来说，对团队中一个代理人的全球重要性进行定量评估就像黄金一样有价值。然而，检索这些信息并不是微不足道的，因为在合作任务中，很难将个人的表现与整个团队的表现分开。此外，代理人的作用与其个人属性之间的关系并不总是很清楚。在这项工作中，我们设想的Shapley分析的应用研究代理政策和属性的贡献，把他们放在平等的基础上。由于计算复杂性是NP-难的，并与可转移效用联盟博弈中的参与者数量呈指数级关系，因此我们利用关于博弈规则的先验知识来约束图上参与者之间的关系。因此，我们提出了一种方法来确定一个层次的知识图谱的代理的政策和功能的多Agent系统。假设系统的模拟器是可用的，图形结构允许利用动态规划以更快的方式评估重要性。我们在一个案例证明环境中测试了所提出的方法，该环境部署了硬编码策略和通过深度强化学习获得的策略。所提出的范例是计算要求较低，比平凡计算的Shapley值，并提供了很大的洞察力，不仅在一个团队中的代理的重要性，但也到所需的属性部署的政策在其最好的。
2022-12-06 cs.AI cs.LG cs.MA
CFGs: Causality Constrained Counterfactual Explanations using goal-directed ASP
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出CFGs框架，利用目标导向ASP系统s(CASP)为基于规则的机器学习模型（如FOLD-SE）自动生成考虑特征因果依赖的反事实解释，通过系列干预实现从初始状态到目标状态的导航。
2024-05-24 cs.AI cs.LG cs.LO
Can I Trust the Explanations? Investigating Explainable Machine Learning Methods for Monotonic Models
Kunshan Duke University（昆山杜克大学）
本文研究可解释机器学习方法应用于具有领域知识的单调模型时是否能给出一致解释，提出三条单调性公理，并发现个体单调性下 Shapley 值表现良好，而强成对单调性下 Integrated gradients 平均更合理。
2023-09-23 cs.AI cs.LG q-fin.CP
Explainable AI for the EU Right to Explanation: A Systematic Review of the Law-XAI Translation Gap
本文针对欧盟解释权开展XAI系统综述，发现法律与技术视角整合不足，提出收件人/目的框架与四阶段操作蓝图，指出需解决相关研究问题以保障解释权落地。
2026-08-05 cs.AI cs.CY cs.LG
Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction
MIT Media Lab（麻省理工学院媒体实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一个随机对照试验的模型在循环回归任务，其目标是测量在何种程度上（1）模型预测的良好解释增加人类的准确性，（2）错误的解释降低人类对模型的信任。我们研究了基于图像的年龄预测任务中基于视觉显着性的解释，人类和学习模型各自都有能力，但不是非常熟练，而且经常不同意。我们的实验设计将模型质量与解释质量分开，并可以比较涉及不同质量水平的各种解释的治疗。我们发现，呈现模型预测可以提高人类的准确性。然而，各种视觉解释无法显著改变人类的准确性或对模型的信任-无论解释是否表征准确的模型，不准确的模型，还是随机生成并独立于输入图像。这些研究结果表明，需要更多的下游决策任务的解释，更好的设计为基础的工具，为用户提供解释，更好的方法来产生解释的评价。
2020-07-23 cs.AI cs.CV cs.HC
Optimising Human-AI Collaboration by Learning Convincing Explanations
University of Cambridge（剑桥大学）
针对高风险决策中模型故障难以检测的问题，提出Ardent算法，通过交互学习个体偏好解释，让人类最终决策，实现安全高效的人机协作，并在图像分类任务中验证了其优于现有系统。
2023-11-13 cs.CV cs.HC cs.LG
Faithful and Plausible Explanations of Medical Code Predictions
Johns Hopkins University（约翰斯·霍普金斯大学）
提供出色预测性能的机器学习模型通常缺乏支持集成人机决策所需的可解释性。在临床医学和其他高风险环境中，领域专家可能不愿意在没有解释的情况下信任模型预测。可解释人工智能的工作必须在两个不同的轴上平衡相互竞争的目标：1）解释必须平衡对模型决策的忠实性和对领域专家的可解释性。2)领域专家希望对个体预测进行局部解释，并对总体行为进行全局解释。我们建议训练一个代理模型，模仿训练模型的行为，并提供对这些权衡的细粒度控制。我们评估了将ICD代码分配给临床笔记的任务，以证明代理模型的解释是忠实的，并复制了训练的模型行为。
2021-04-16 cs.CL cs.LG
Explaining individual predictions when features are dependent: More accurate approximations to Shapley values
Norwegian Computing Center（挪威计算中心）
解释复杂或看似简单的机器学习模型是一个重要的实际问题。我们希望通过学习简单、可解释的解释来解释复杂机器学习模型中的单个预测。Shapley值是一个博弈论的概念，可以用于此目的。Shapley值框架具有一系列理想的理论性质，原则上可以处理任何预测模型。Kernel SHAP是一种计算效率很高的高维Shapley值近似。像其他几种现有的方法一样，这种方法假设特征是独立的，这可能会给出非常错误的解释。即使使用简单的线性模型进行预测，情况也是如此。在本文中，我们扩展了核SHAP方法来处理依赖功能。我们提供了几个例子的线性和非线性模型与不同程度的功能依赖，我们的方法给出了更准确的逼近真实Shapley值。我们还提出了一种方法，用于聚合个人Shapley值，这样的预测可以解释的因变量组。
2020-02-06 cs.LG stat.ME stat.ML
On Minimizing the Impact of Dataset Shifts on Actionable Explanations
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Harvard University（哈佛大学）
该研究针对数据集偏移导致模型重训练后可操作解释失效的问题，通过理论分析与真实数据集实验，明确了影响解释稳定性的三大关键因素，为提升解释稳定性提供了理论与实证依据。
2023-06-11 cs.LG
Interpretable and synergistic deep learning for visual explanation and statistical estimations of segmentation of disease features from medical images
Massachusetts Institute of Technology（麻省理工学院）
用于疾病分类或医学图像分割的深度学习（DL）模型越来越多地使用来自不相关自然世界图像的迁移学习（TL）进行训练。然而，TL在医学成像领域的专门任务的缺点和效用仍然未知，并且基于增加训练数据将提高性能的假设。我们报告了详细的比较，严格的统计分析和广泛使用的DL架构的二进制分割后，TL与ImageNet初始化（TII模型）与监督学习的宏观光学皮肤癌，显微镜前列腺芯活检和计算机断层扫描（CT）DICOM图像的医学图像（LMI模型）的比较。通过对TII和LMI模型输出及其Grad-CAM对应物的目视检查，我们的结果确定了几种违反直觉的情况，其中两种模型对一个肿瘤的自动分割或使用单个模型的各种组合中的单个分割输出掩码导致性能提高10%。我们还报告了复杂的集成DL策略，用于在低数据状态下实现临床级医学图像分割和模型解释。例如：我们所描述的LMI和TII模型的估计性能、解释和可复制性可用于稀疏性促进更好学习的情况。TII和LMI模型、代码和超过10，000个医学图像及其Grad-CAM输出的免费GitHub存储库可用作高级计算医学和DL研究的起点，用于生物医学发现和应用。
2020-11-11 cs.LG stat.ML
DECE: Decision Explorer with Counterfactual Explanations for Machine Learning Models
Hong Kong University of Science and Technology（香港科技大学）；Bloomberg L.P.（彭博有限合伙企业）
随着机器学习模型越来越多地应用于各种决策场景，人们花费越来越多的努力使机器学习模型更加透明和可解释。在各种解释技术中，反事实解释具有人性化和可操作的优点-反事实解释告诉用户如何以最小的输入变化获得所需的预测。此外，反事实解释也可以作为模型决策的有效探针。在这项工作中，我们利用反事实解释的潜力来理解和探索机器学习模型的行为。我们设计的DECE，一个交互式的可视化系统，帮助理解和探索模型的决策，对个人的实例和数据子集，支持用户从决策主体到模型开发。DECE通过结合实例和子组级别的反事实解释的优势，支持模型决策的探索性分析。我们还引入了一组交互，使用户能够自定义反事实解释的生成，以找到更适合他们需求的可操作解释。通过三个用例和专家访谈，我们证明了DECE在支持决策探索任务和实例解释方面的有效性。
2020-08-19 cs.HC cs.LG stat.ML
