arXiv 2304.071362023-04cs.LG

一个解释并不适用于XIL

One Explanation Does Not Fit XIL

TU Darmstadt（达姆施塔特工业大学）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）

Felix Friedrich, David Steinmann, Kristian Kersting

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

AI总结：

针对机器学习模型的捷径学习和虚假相关性问题，本文研究XIL框架中的解释方法，发现单一解释不适用，提出在模型修正时考虑多种解释方法。

摘要：

当前的机器学习模型在许多领域产生了出色的结果，但同时也存在捷径学习和虚假相关性的问题。为了解决这些缺陷，人们提出了可解释交互式机器学习（XIL）框架，通过利用用户对模型解释的反馈来修正模型。这项工作揭示了该框架内所使用的解释。具体而言，我们研究了通过多种解释方法同时进行模型修正。为此，我们发现“一个解释并不适用于XIL”，并建议在通过XIL修正模型时考虑多种解释。

英文摘要：

Current machine learning models produce outstanding results in many areas but, at the same time, suffer from shortcut learning and spurious correlations. To address such flaws, the explanatory interactive machine learning (XIL) framework has been proposed to revise a model by employing user feedback on a model's explanation. This work sheds light on the explanations used within this framework. In particular, we investigate simultaneous model revision through multiple explanation methods. To this end, we identified that \textit{one explanation does not fit XIL} and propose considering multiple ones when revising models via XIL.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

结构因果模型的因果解释

Causal Explanations of Structural Causal Models

TU Darmstadt（达姆施塔特工业大学）；DFKI（德国人工智能研究中心）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）

在解释性交互学习中，用户向学习者提问，然后学习者向用户解释其答案，最后循环重复。XIL吸引人的原因有两个，（1）学习者变得更好，（2）用户的信任增加。为了这两个原因，学习者的解释必须对用户有用，用户必须被允许提出有用的问题。理想情况下，问题和解释都应该建立在因果模型的基础上，因为它们可以避免虚假的谬误。最终，我们似乎在寻找XIL的因果变体。用户端的问题部分，我们相信可以解决，因为用户的心理模型可以提供因果模型。但是，学习者如何提供因果解释呢？在这项工作中，我们表明，现有的解释方法不能保证是因果关系，即使提供了一个结构因果模型（SCM）。具体来说，我们使用流行的，宣布因果解释方法CXPlain来说明如何生成的解释留下真正的因果解释的问题。因此，作为因果XIL的一步，我们提出了一个解决方案，缺乏因果解释。我们解决这个问题，从第一原理的解释方法，充分利用了一个给定的SCM，我们称之为SC $\textbf{E}$（$\textbf{E}$代表解释）。由于SCE利用结构信息，任何因果图学习器现在都可以提供人类可读的解释。我们进行了几个实验，包括用户研究与22名参与者调查SCE的因果解释SCM的优点。

2022-12-23cs.LG

通过与深度神经网络的解释交互，使其以正确的科学理由获得正确结果

Making deep neural networks right for the right scientific reasons by interacting with their explanations

针对深度神经网络易依赖数据集混淆因素的“聪明汉斯”问题，提出解释性交互式学习XIL范式，让科学家通过反馈模型解释参与训练修正，可避免该问题并合理调控对模型的信任。

2024-03-05cs.AIcs.LGstat.ML

可解释性交互式机器学习用于视觉性别分类中的偏见缓解

Explanatory Interactive Machine Learning for Bias Mitigation in Visual Gender Classification

Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）；Institute of Creative Media Technologies（创意媒体技术研究所）；St. Pölten University of Applied Sciences（施蒂利克大学应用科学学院）；Institute of Computational Perception（计算感知研究所）

本文提出了一种结合CAIPI和RRR的混合XIL方法，用于缓解视觉性别分类中的偏见和伪相关性，通过用户反馈提升模型公平性和透明度。

2026-02-07cs.AIcs.CVcs.LG

超越“一刀切”：让反事实解释适配用户目标

Beyond One-Size-Fits-All: Adapting Counterfactual Explanations to User Objectives

National Technical University of Athens（雅典国立技术大学）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Artificial Intelligence and Learning Systems Laboratory（人工智能与学习系统实验室）

针对现有反事实解释（CFEs）忽略不同场景下用户多样化目标、缺乏定制化适配的问题，本文梳理了三类核心用户目标及对应CFEs的所需特征，提出设计适配用户需求的定制化反事实解释，以提升人机协作效果。

2024-04-12cs.AIcs.LG

一种解释并不适合所有人：交互式解释对机器学习透明度的承诺

One Explanation Does Not Fit All: The Promise of Interactive Explanations for Machine Learning Transparency

University of Bristol（布里斯托大学）

由于基于机器学习算法的预测系统在行业中的不断增长，因此需要其透明度。每当黑箱算法预测影响人类事务时，这些算法的内部工作应该被仔细检查，并向相关利益相关者解释其决策，包括系统工程师，系统操作员和案件被决定的个人。虽然有各种各样的可解释性和可解释性方法，但没有一种方法是万能药，可以满足所有不同的期望和有关各方可能要求的相互竞争的目标。在本文中，我们通过讨论交互式机器学习的承诺来解决这一挑战，该承诺使用对比解释的例子来提高黑盒系统的透明度--一种最先进的可解释机器学习方法。具体来说，我们展示了如何个性化的反事实的解释，通过互动调整他们的条件语句和提取额外的解释，要求后续“如果？“问题。我们在构建、部署和展示这种类型的系统方面的经验使我们能够列出所需的属性以及潜在的限制，这些属性可以用于指导交互式解释器的开发。在定制交互媒介的同时，用户界面包括各种通信渠道，可能会给人一种个性化的印象，我们认为，调整解释本身及其内容更重要。为此，除了明确告知被解释者其局限性和警告之外，还必须考虑解释的广度、范围、上下文、目的和目标等属性.

2020-01-27cs.AIcs.LGstat.ML

一个图不能满足所有的要求：多模态医学图像显著图解释的评价

One Map Does Not Fit All: Evaluating Saliency Map Explanation on Multi-Modal Medical Images

Simon Fraser University（西蒙弗雷泽大学）；The University of British Columbia（不列颠哥伦比亚大学）

能够向临床最终用户解释预测是利用人工智能模型支持临床决策的必要条件。对于医学图像，显着图是最常见的解释形式。这些地图突出了AI模型预测的重要特征。虽然已经提出了许多显着图方法，但尚不清楚它们在解释多模态医学图像上的决策方面的表现如何，其中每个模态/通道都具有相同的潜在生物医学现象的不同临床意义。理解这种模态依赖特征对于临床用户解释AI决策至关重要。为了解决这个临床上重要但技术上被忽视的问题，我们提出了MSFI（模态特定特征重要性）度量来检查显着性图是否可以突出模态特定的重要特征。MSFI对模态优先级和模态特定特征定位的临床要求进行编码。我们对16种常用的显着性图方法（包括临床医生用户研究）进行的评估表明，尽管大多数显着性图方法一般都能捕获模态重要性信息，但大多数方法都未能始终如一地精确突出模态特定的重要特征。评估结果指导显着图方法的选择，并提供见解，提出新的针对临床应用。

2021-07-11cs.CVcs.LG

更多相关论文收起更多论文

GANterfactual-RL：通过视觉反事实解释理解强化学习主体的策略

GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations

University of Augsburg（奥格斯堡大学）；Oregon State University（俄勒冈州立大学）

反事实解释是解释人工智能模型的常用工具。对于强化学习（RL）代理，他们回答“为什么不呢？或者“如果？“的问题，通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性，因为它们的状态空间很大，而且它们的决策是总体政策的一部分，其中包括长期决策。然而，专注于反事实解释的研究，特别是对于具有视觉输入的RL代理，是稀缺的，并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务，如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法，通过将问题描述为域转移问题来生成RL代理的反事实解释，该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的，我们证明，它优于只有以前的方法在几个计算指标。此外，我们在用户研究中表明，我们的方法在分析不同代理追求的策略时表现最好。

2023-02-24cs.AIcs.LG

SR4-Fit：一种用于信息丰富且可信决策的统一可解释基于规则的机器学习框架

SR4-Fit: A Unified Interpretable Rule-Based Machine Learning Framework for Informative and Trustworthy Decision-Making

University of Oklahoma（俄克拉荷马大学）

提出SR4-Fit，一种内在可解释的基于规则的机器学习框架，通过稀疏松弛正则化生成紧凑稳定的规则集，在分类和回归任务上兼顾准确性与可解释性，验证于选举预测及十四个基准数据集。

2026-09-29cs.AIcs.LG

基于改进的变重要局部回归的模型解释

Model interpretation using improved local regression with variable importance

University of São Paulo（圣保罗大学）；Federal University of São Carlos（圣卡洛斯联邦大学）

使用ML模型的一个基本问题是如何解释它们对提高决策透明度的预测。虽然出现了几种可解释性方法，但已经确定了关于其解释可靠性的一些差距。例如，大多数方法都是不稳定的（这意味着它们对数据的微小变化给出了非常不同的解释），并且不能很好地处理不相关的特征（即与标签无关的特征）。本文介绍了两种新的可解释性方法，即VarImp和SupClus，通过使用考虑变量重要性的加权距离的局部回归拟合来克服这些问题。VarImp为每个实例生成解释，可以应用于具有更复杂关系的数据集，SupClus解释具有类似解释的实例集群，可以应用于可以找到集群的更简单的数据集。我们将我们的方法与最先进的方法进行比较，并表明它根据几个指标产生更好的解释，特别是在具有不相关特征的高维问题中，以及当特征和目标之间的关系是非线性时。

2022-09-12cs.LGstat.ML

通过编码定义揭示全部信息的解释

Explanations that reveal all through the definition of encoding

New York University（纽约大学）

该研究提出编码的条件依赖定义，明确非编码解释的“所见即所得”特性，指出现有解释评分方法的排序缺陷，开发STRIPE-X实现正确排序，并验证LLM生成的情感分析解释仍存在编码问题。

2024-12-18cs.AIcs.LGstat.ML

使用线性模型树进行准确和直观的上下文解释

Accurate and Intuitive Contextual Explanations using Linear Model Trees

American Express, AI Labs（美国运通人工智能实验室）

随着复杂的机器学习模型在金融领域的关键应用中越来越多地使用，解释模型的决策已成为必要。从信用评分到信用营销的应用程序，这些模型的影响是不可否认的。在人们可以解释这些复杂模型的决策的多种方式中，局部事后模型不可知论的解释得到了广泛采用。这些方法允许人们独立于训练时使用的建模技术来解释每个预测。作为解释，它们要么给出单个特征属性，要么提供足够的规则来表示要进行预测的条件。现有技术方法的当前状态使用基本方法来在要解释的点周围生成合成数据。其次是拟合简单的线性模型作为替代，以获得预测的局部解释。在本文中，我们寻求显着改善这两个，用于生成解释的方法和所产生的解释的性质。我们使用生成对抗网络来生成合成数据，并训练线性模型树形式的分段线性模型来作为代理模型。除了单个特征属性之外，我们还通过利用我们的代理模型的结构和属性来为我们的解释提供伴随的上下文。

2020-09-11cs.AIcs.LGstat.ML