Local Interpretable Model Agnostic Shap Explanations for machine learning models
ABB Ability Innovation Center, Asea Brown Boveri Company(ABB集团ABB能力创新中心);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
随着基于人工智能(AI)的解决方案和分析计算引擎技术的进步,机器学习(ML)模型变得越来越复杂。这些模型中的大多数通常被用作黑箱,没有用户可解释性。如此复杂的机器学习模型使人们更难理解或信任他们的预测。有各种各样的框架使用可解释的AI(XAI)方法来证明ML模型的可解释性和可解释性,以使其预测更加可信。在这篇手稿中,我们提出了一种方法,我们定义为本地可解释模型不可知的形状解释(LIMASE)。所提出的ML解释技术使用LIME范式下的Shapley值来实现以下(a)通过使用局部忠实和可解释的决策树模型来解释任何模型的预测,其中树解释器用于计算Shapley值并给出视觉上可解释的解释。(b)通过绘制几个数据点的局部解释,提供视觉上可解释的全局解释。(c)演示子模块优化问题的解决方案。(d)还带来了对区域解释的洞察e)与使用内核解释器相比更快的计算。
2022-10-10 cs.AI cs.LG
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
DeepFaith: A Domain-Free and Model-Agnostic Unified Framework for Highly Faithful Explanations
DeepFaith提出领域无关、模型无关的统一框架,通过统一保真度指标推导最优目标,结合多解释方法训练,单次前向传播生成高保真解释,在12个任务中超越基线。
2025-08-05 cs.AI cs.LG
TACENR: Task-Agnostic Contrastive Explanations for Node Representations
University of Ioannina, Greece(希腊伊奥安妮亚大学);Archimedes/Athena Research Center, Greece(阿基米德/雅典娜研究中心)
本文提出TACENR,一种任务无关的节点表示对比解释方法,通过对比学习识别节点表示空间中对节点表示贡献最大的属性、接近性和结构性特征。
2026-04-21 cs.AI cs.LG
PARs: Predicate-based Association Rules for Efficient and Accurate Model-Agnostic Anomaly Explanation
Siemens Technology China(西门子中国技术)
针对现有异常检测研究重检测轻解释的问题,提出基于谓词的关联规则PARs模型无关异常解释方法,经用户研究和多基准实验验证,其解释更易被用户理解,且计算效率与准确性优于现有先进方法。
2023-12-18 cs.AI cs.IR cs.LG
Learning Model Agnostic Explanations via Constraint Programming
Univ. Artois(阿图瓦大学);CNRS(法国国家科学研究中心);Centre de Recherche en Informatique de Lens (CRIL)(朗斯信息学研究中心)
本文将黑盒模型的模型无关解释问题构建为约束优化问题,通过约束求解器寻找最小误差和有界大小的解释,提供PAC风格理论保证,并在统计上优于启发式Anchors方法。
2024-11-13 cs.AI cs.LG
ConceptDistil: Model-Agnostic Distillation of Concept Explanations
Feedzai
基于概念的解释旨在填补非技术人员的模型可解释性缺口。以前的工作集中在为特定模型(例如,神经网络)或数据类型(例如,图像)提供概念,并尝试从已经训练的网络中提取概念或通过多任务学习训练可自我解释的模型。在这项工作中,我们提出了ConceptDistil,一种使用知识蒸馏将概念解释带到任何黑盒分类器的方法。ConceptDistil被分解为两个组件:(1)预测给定实例中存在哪些领域概念的概念模型,以及(2)尝试使用概念模型预测来模仿黑盒模型的预测的蒸馏模型。我们在真实世界的用例中验证了ConceptDistil,表明它能够优化这两项任务,为任何黑盒模型带来概念解释能力。
2022-05-07 cs.AI cs.LG
A Model-Agnostic SAT-based Approach for Symbolic Explanation Enumeration
CRIL(朗斯计算机科学实验室);Univ. Artois(阿图瓦大学);CNRS(法国国家科学研究中心)
在本文中,我们提出了一个通用的不可知的方法,允许生成不同的和互补类型的符号解释的符号解释的模型不可知SAT为基础的方法。更准确地说,我们通过分析特征和输出之间的关系来生成解释,以局部解释单个预测。我们的方法使用一个命题编码的预测模型和SAT为基础的设置生成两种类型的符号解释,这是充分的理由和反事实。在图像分类任务上的实验结果表明了该方法的可行性及其在提供充分理由和反事实解释方面的有效性。
2022-08-15 cs.AI
LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations
针对机器学习模型黑箱缺乏透明度的问题,提出基于马尔可夫毯的LaPLACE模型无关解释器,可自动生成最优特征子集的概率因果解释,性能优于LIME和SHAP,在多场景具备实用价值。
2023-10-01 cs.AI cs.LG
LIMREF: Local Interpretable Model Agnostic Rule-based Explanations for Forecasting, with an Application to Electricity Smart Meter Data
Monash University(莫纳什大学)
准确的电力需求预测在可持续电力系统中起着至关重要的作用。为了更好地做出决策,特别是针对最终用户的需求灵活性,不仅需要提供准确的预测,还需要提供可理解和可操作的预测。为了提供准确的预测,跨时间序列训练的全局预测模型(GFM)最近在许多需求预测竞赛和实际应用中显示出优于单变量预测方法的结果。我们的目标是填补全球预测方法的准确性和可解释性之间的差距。为了解释全球模型预测,我们提出了本地可解释模型不可知的基于规则的预测解释(LIMREF),一个本地解释器框架,为特定的预测产生k-最优的影响规则,考虑全球预测模型作为一个黑盒模型,在模型不可知的方式。它提供了不同类型的规则来解释全局模型的预测和反事实规则,这些规则为潜在的变化提供了可操作的见解,以获得给定实例的不同输出。我们使用大规模的电力需求数据集进行实验,这些数据集具有温度和日历效应等外生特征。在这里,我们评估质量的解释所产生的LIMREF框架在定性和定量方面,如准确性,保真度和可理解性和基准对其他本地解释者。
2022-02-15 cs.AI cs.LG
Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions
KU Leuven(鲁汶大学)
本文提出两种模型无关的交互式特征归因方法(Occlusion和Shapley values),通过纠正后的解释生成局部数据来重训模型,显著提升了模型性能与主动学习中的样本效率。
2023-06-28 cs.AI cs.LG
DLIME: A Deterministic Local Interpretable Model-Agnostic Explanations Approach for Computer-Aided Diagnosis Systems
Ryerson University(瑞尔森大学)
局部可解释模型不可知推理(LIME)是一种流行的技术,用于提高黑盒机器学习(ML)算法的可解释性和可解释性。LIME通常通过学习一个更简单的可解释模型(例如线性分类器)来为任何ML模型的单个预测生成解释,该模型通过随机扰动在实例周围生成模拟数据来学习预测,并通过应用某种形式的特征选择来获得特征重要性。虽然LIME和类似的局部算法由于其简单性而获得了普及,但是随机扰动和特征选择方法导致所生成的解释中的“不稳定性”,其中对于相同的预测,可以生成不同的解释。这是一个关键问题,可以防止在计算机辅助诊断(CAD)系统中部署LIME,其中稳定性对于赢得医疗专业人员的信任至关重要。在本文中,我们提出了一个确定性版本的LIME。代替随机扰动,我们利用凝聚层次聚类(HC)将训练数据分组在一起,并利用K-最近邻(KNN)选择正在解释的新实例的相关聚类。在找到相关聚类之后,在所选聚类上训练线性模型以生成解释。在三个不同的医学数据集上的实验结果显示了确定性局部可解释模型不可知解释(DLIME)的优越性,其中我们利用多个生成的解释之间的Jaccard相似性定量确定了DLIME与LIME相比的稳定性。
2019-06-24 cs.AI cs.LG stat.ML
A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation
Lenovo Research(联想研究院);University of Chinese Academy of Sciences(中国科学院大学)
可解释性是人工智能与社会之间的一个门户,因为当前流行的深度学习模型在解释推理过程和预测结果方面普遍较弱。局部可解释模型不可知解释(LIME)是一种最近的技术,它通过在预测周围局部学习可解释模型来忠实地解释任何分类器的预测。然而,LIME标准实施中的抽样操作存在缺陷。扰动样本是从均匀分布中产生的,忽略了特征之间复杂的相关性。本文提出了一种新的改进的扰动采样操作LIME(MPS-LIME),这是形式化的团集构造问题。在图像分类中,MPS-LIME将超像素图像转换为无向图。各种实验表明,MPS-LIME解释的黑盒模型实现了更好的性能,在可理解性,保真度和效率。
2020-02-18 cs.AI cs.LG stat.ML
RealAC: A Domain-Agnostic Framework for Realistic and Actionable Counterfactual Explanations
Arizona State University(亚利桑那州立大学)
提出领域无关框架RealAC,通过联合分布对齐自动保留特征依赖并支持冻结属性,生成兼顾真实性与可执行性的反事实解释,在多项指标上超越现有基线方法。
2025-08-14 cs.AI cs.LG
Explanatory causal effects for model agnostic explanations
University of South Australia(南澳大学);Hefei University of Technology(合肥工业大学)
本文研究了通过机器学习模型估计特征对特定实例的预测的贡献以及特征对模型的总体贡献的问题。特征(变量)对预测结果的因果效应很好地反映了特征对预测的贡献。一个挑战是,大多数现有的因果效应不能估计数据没有已知的因果关系图。在本文中,我们定义了一个解释性的因果效应的基础上假设的理想实验。这个定义给模型不可知论的解释带来了几个好处。首先,解释是透明的,具有因果意义。第二,解释性因果效应估计可以是数据驱动的。第三,因果效应既为特定预测提供了局部解释,也为预测模型中某个特征的整体重要性提供了全局解释。我们进一步提出了一种方法,使用基于解释因果效应的个体和组合变量进行解释。我们的定义和方法的工作与一些现实世界的数据集上的实验。
2022-06-23 cs.AI cs.LG stat.ME
Dependency Decomposition and a Reject Option for Explainable Models
Computer Science Institute(计算机科学研究所);Ruhr West University of Applied Sciences(鲁尔西部应用科学大学)
在安全相关领域(例如自动驾驶、医疗诊断)部署机器学习模型需要可解释的方法,这些方法对对抗攻击具有鲁棒性,并且能够意识到模型的不确定性。最近的深度学习模型在各种推理任务中表现非常好,但这些方法的黑盒性质导致了上述三个要求的弱点。最近的进展提供了可视化特征、描述输入属性(例如热图)、提供文本解释或降低维度的方法。然而,分类任务的解释是相互依赖的还是相互独立的?例如,物体的形状取决于颜色吗?使用预测类生成解释有什么影响,反之亦然?在可解释的深度学习模型的背景下,我们提出了关于期望的图像分类输出和解释变量(例如属性,文本,热图)的概率分布的依赖关系的第一个分析。因此,我们执行解释依赖性分解(EDD)。我们分析了不同的依赖关系的含义,并提出了两种方式产生的解释。最后,我们用解释来验证(接受或拒绝)预测
2020-12-11 cs.AI cs.CV cs.LG
PAX-TS: Model-agnostic multi-granular explanations for time series forecasting via localized perturbations
Department of Computer(计算机系);Systems Sciences Stockholm University(系统科学学院 斯德哥尔摩大学)
针对时间序列预测模型不透明且现有方法不适配的问题,提出模型无关的事后算法PAX-TS,基于局部扰动生成多粒度解释并刻画跨通道相关性,在基准测试中展现出有效捕捉模型行为、识别性能关联模式等优势,可阐释模型机制并回答实际预测问题。
2025-11-15 cs.AI cs.LG
MaNtLE: Model-agnostic Natural Language Explainer
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出模型无关的自然语言解释器MaNtLE,通过在数千个合成分类任务上进行多任务训练生成忠实解释,在多项任务中忠实度优于LIME和Anchors,帮助用户更准确地预测模型行为。
2023-05-22 cs.AI cs.CL cs.LG
Comparison of decision trees with Local Interpretable Model-Agnostic Explanations (LIME) technique and multi-linear regression for explaining support vector regression model in terms of root mean square error (RMSE) values
本文在5个数据集上比较决策树、LIME与多元线性回归对支持向量回归模型的解释能力,发现决策树在87%运行中RMSE更低且结果显著。
2024-04-10 cs.AI cs.LG
Nothing Else Matters: Model-Agnostic Explanations By Identifying Prediction Invariance
University of Washington(华盛顿大学);University of California, Irvine(加利福尼亚大学尔湾分校)
可解释机器学习的核心问题是人类是否能够对模型的行为做出准确的预测。在这个问题中假设可解释输出的三个属性:覆盖率,精度和努力。覆盖率是指人类认为他们可以预测模型行为的频率,精度是指人类在这些预测中的准确程度,而努力是解释模型所需的前期工作,或者对模型行为进行预测所需的工作。在这项工作中,我们提出锚石灰(aLIME),模型不可知的技术,产生高精度的基于规则的解释,覆盖范围的边界是非常清楚的。我们比较aLIME与线性LIME与模拟实验,并展示了aLIME的灵活性与定性的例子,从各种领域和任务。
2016-11-17 cs.AI cs.LG stat.ML
Model-Agnostic Counterfactual Explanations for Consequential Decisions
MPI-IS(马克斯·普朗克智能系统研究所);MPI-SP(马克斯·普朗克软件系统研究所);IMDEA Software Institute(马德里高级研究中心软件研究所)
预测模型正越来越多地用于支持审前保释和贷款审批等个人层面的重大决策。因此,越来越多的社会和法律压力要求提供解释,帮助受影响的个人不仅理解为什么会输出预测,而且还要理解如何采取行动以获得预期的结果。为此,一些作品提出了基于优化的方法来生成最接近的反事实解释。然而,这些方法通常限于模型的特定子集(例如,决策树或线性模型)和可微距离函数。相反,我们建立在标准的理论和工具,从形式化验证,并提出了一种新的算法,解决了一系列的可满足性问题,其中的距离函数(目标)和预测模型(约束)表示为逻辑公式。如我们在真实世界数据上的实验所示,我们的算法是:i)模型不可知的({非}线性、{非}可微、{非}凸); ii)数据类型不可知的(异构特征); iii)距离不可知的($\ell_0, \ell_1, \ell_\infty$及其组合); iv)能够为任何样本生成合理且多样的反事实(即,100%覆盖率);以及v)在可证明的最佳距离处。
2020-02-28 cs.AI cs.LG cs.LO
ASTERYX : A model-Agnostic SaT-basEd appRoach for sYmbolic and score-based eXplanations
Univ. Artois(阿尔图瓦大学);CNRS(法国国家科学研究中心);CRIL(计算机科学与基础信息实验室)
在实践中越来越多地使用机器学习技术的复杂性不断增加,这就需要解释这些模型的预测和决策,这些模型通常被用作黑箱。可解释的人工智能方法要么是基于数值特征的,旨在量化每个特征在预测中的贡献,要么是提供某些形式的符号解释(如反事实)的符号解释。本文提出了一种通用的不可知论的方法,名为ASTERY X允许生成符号解释和分数为基础的。我们的方法是声明性的,它是基于编码的模型被解释在一个等效的符号表示,后者用于生成特别是两种类型的符号解释,这是充分的理由和反事实。然后,我们将分数与一些属性相关联,这些分数反映了解释和特征w.r.t的相关性。我们的实验结果表明,所提出的方法的可行性和有效性,在提供符号和分数为基础的解释。
2022-06-23 cs.AI
McXai: Local model-agnostic explanation as two games
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
迄今为止,已经引入了用于提供黑盒机器学习模型的局部可解释性的各种方法。不幸的是,所有这些方法都存在以下一个或多个缺陷:它们要么难以理解自己,要么基于每个特征工作,忽略了特征之间的依赖关系,或者它们只关注那些断言模型所做决定的特征。为了解决这些问题,这项工作引入了一种基于强化学习的方法,称为蒙特卡罗树搜索的可扩展人工智能(McXai)来解释任何黑盒分类模型(分类器)的决策。我们的方法利用蒙特卡罗树搜索和模型的过程中产生的解释为两个游戏。在一个游戏中,通过找到支持分类器决策的特征集来最大化奖励,而在第二个游戏中,找到导致替代决策的特征集来最大化奖励。结果是作为树结构的人类友好的表示,其中每个节点表示待研究的特征的集合,在树的顶部具有较小的解释。我们的实验表明,通过我们的方法发现的特征在分类方面比通过LIME和SHAP等经典方法发现的特征信息量更大。此外,通过识别误导性特征,我们的方法能够在许多情况下指导提高黑箱模型的鲁棒性。
2022-03-07 cs.AI cs.LG
MAIRE -- A Model-Agnostic Interpretable Rule Extraction Procedure for Explaining Classifiers
Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
本文介绍了一种新的框架,用于提取模型无关的人类可解释的规则来解释分类器的输出。人类可解释的规则被定义为一个轴对齐的超长方体包含的实例,分类决策必须加以解释。所提出的过程找到最大(高\textit{coverage})轴对齐的超立方体,使得超立方体中的高百分比的实例具有与被解释的实例(高\textit{precision})相同的类标签。新的近似的覆盖范围和精度的措施方面的参数的超长方体的定义。使用基于梯度的优化器将它们最大化。的近似的质量进行了严格的理论分析和实验。启发式简化生成的解释,以实现更好的解释性和贪婪的选择算法,结合本地的解释,为覆盖了很大一部分的实例空间的模型创建全局解释也提出了。该框架是模型不可知的,可以应用于任何任意分类器和所有类型的属性(包括连续,有序和无序离散)。该框架的广泛适用性在来自不同领域(表格,文本和图像)的各种合成和真实世界的数据集上进行了验证。
2020-11-03 cs.AI cs.LG
Model Agnostic Multilevel Explanations
IBM Research(IBM研究院)
近年来,黑箱模型的事后局部实例级和全局数据集级可解释性受到了广泛关注。在中间或集团层面获得见解的关注要少得多,这是最近研究实现《通用数据保护条例》(GDPR)中指导方针的挑战的工作中概述的需求。在本文中,我们提出了一个元方法,给定一个典型的局部可解释性方法,可以建立一个多级解释树。该树的叶子对应于局部解释,根对应于全局解释,中间层对应于它自动聚类的数据点组的解释。该方法还可以利用边信息,其中用户可以指定他们可能希望解释相似的点。我们认为,这样的多级结构也可以是一种有效的沟通形式,在这里,人们可以通过考虑我们的解释树中的适当级别来获得表征整个数据集的解释。通过将新测试点与最接近的训练点相关联,可以成本有效地获得新测试点的解释。当局部可解释性技术是广义可加性(即LIME,GAMs)时,我们提出了一种快速近似算法来建立多级树,并研究了其收敛行为。我们验证了所提出的技术的有效性的基础上两个人类的研究-一个与专家和其他非专家用户-在现实世界的数据集,并表明,我们产生高保真稀疏解释其他几个公共数据集。
2020-03-12 cs.AI cs.LG stat.ML
CoGS: Model Agnostic Causality Constrained Counterfactual Explanations using goal-directed ASP
University of Texas at Dallas(德克萨斯大学达拉斯分校);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
针对黑盒机器学习模型决策不透明的问题,提出模型无关框架CoGS,结合目标导向s(CASP)系统与FOLD-SE等基于规则的算法,生成因果一致、可操作的反事实解释以提升决策透明度。
2024-10-30 cs.AI
BayLIME: Bayesian Local Interpretable Model-Agnostic Explanations
University of Liverpool(利物浦大学);Heriot-Watt University(赫瑞-瓦特大学);Centrum voor Wiskunde en Informatica(荷兰国家数学与计算机科学研究所);Delft University of Technology(代尔夫特理工大学)
鉴于迫切需要确保算法的透明度,可解释AI(XAI)已成为AI研究的关键领域之一。在本文中,我们开发了一种新的贝叶斯扩展LIME框架,这是XAI中最广泛使用的方法之一-我们称之为BayLIME。与LIME相比,BayLIME利用先验知识和贝叶斯推理来提高单个预测的重复解释的一致性和对内核设置的鲁棒性。BayLIME还表现出比最先进的(LIME,SHAP和GradCAM)更好的解释保真度,因为它能够整合来自以下方面的先验知识:各种其他XAI技术,以及验证和确认(V&V)方法。我们通过理论分析和大量的实验证明了BayLIME的理想性能。
2021-05-29 cs.AI
Semantic Reasoning from Model-Agnostic Explanations
Jožef Stefan Institute(约热夫·斯特凡研究所);University of Nova Gorica(新戈里察大学);Jožef Stefan International Postgraduate School(约热夫·斯特凡国际研究生院)
随着黑盒模型的广泛采用,基于实例的\emph{post hoc}解释工具(如LIME和SHAP)变得越来越流行。这些工具产生解释,精确定位与给定预测相关的关键特征的贡献。然而,所获得的解释保持在原始特征级别,并且不一定能够被没有广泛领域知识的人类专家理解。我们提出ReEx(推理与解释),一种适用于任意实例级解释器(如SHAP)生成的解释的方法。通过使用本体形式的背景知识,ReEx以最不一般的概括方式概括实例解释。产生的符号描述是特定于单个类的,并根据解释器的输出提供概括。所导出的语义解释潜在地更具有信息性,因为它们在更一般的背景知识的上下文中描述关键属性,例如,在生物过程层面。我们展示了ReEx的表现在9个生物数据集,显示紧凑,语义解释,可以获得更多的信息比通用本体映射,直接链接到功能名称。ReEx是一个简单易用的Python库,与SHAP等工具兼容。据我们所知,这是直接将语义推理与当代模型解释方法相结合的第一种方法之一。这篇文章是预印本。完整版的doi是:10.1109/SAMI50585.2021.9378668
2021-06-29 cs.AI
This changes to that : Combining causal and non-causal explanations to generate disease progression in capsule endoscopy
NTNU(挪威科技大学);Sintef Digital(SINTEF数字公司);Robert Gordon University(罗伯特戈登大学)
本文提出一种统一解释方法,结合模型相关与模型无关解释生成一致且能揭示因果关系的解释集合,并在无线胶囊内镜领域验证其有效性,显著性图在softmax信息分数上表现可比或更优。
2022-12-05 cs.AI cs.CV cs.LG
On Computing Relevant Features for Explaining NBCs
University of Toulouse(图卢兹大学);IRIT, CNRS(法国国家科学研究中心图卢兹计算机科学研究所)
尽管模型不可知的可解释AI(XAI)取得了进展,但模型不可知的XAI可能会产生不正确的解释。一种替代方法是所谓的XAI正式方法,包括PI解释。不幸的是,PI解释也表现出重要的缺点,其中最明显的可以说是它们的大小。相关特征的计算用于权衡解释中特征数量的概率精度。然而,即使对于非常简单的分类器,计算相关特征集的复杂性也是令人望而却步的。本文研究了朴素贝叶斯分类器(NBCs)的相关集的计算,并表明,在实践中,这些是很容易计算的。此外,实验证实,简洁的相关功能集可以得到与NBCs。
2022-07-11 cs.AI cs.LG
Model-Agnostic and Diverse Explanations for Streaming Rumour Graphs
Griffith University(格里菲斯大学);Hanoi University of Science and Technology(河内科技大学);Humboldt-Universität zu Berlin(柏林洪堡大学);The University of Queensland(昆士兰大学)
社交媒体上的谣言传播对社会构成重大威胁,因此最近提出了各种谣言检测技术。然而,现有的工作集中在\emph{what}实体构成谣言,但提供很少的支持,以了解\emph{why}的实体已被归类为这样。这就妨碍了对所发现的谣言进行有效的评估,也妨碍了反制措施的制定。在这项工作中,我们认为,检测到的谣言的解释可能会在过去检测到的相关谣言的例子。一组不同的类似谣言有助于用户进行归纳,即,去理解那些支配着谣言检测的属性。由于谣言在社交媒体中的传播通常使用特征注释图建模,因此我们提出了一种逐例查询方法,该方法在给定谣言图的情况下,从过去的谣言中提取$k$最相似和最不同的子图。挑战在于,所有的计算都需要快速评估图之间的相似性。为了实现一个有效的和自适应的实现的方法在流媒体设置,我们提出了一种新的图形表示学习技术和报告的实施考虑。我们的评估实验表明,我们的方法优于基线技术提供有意义的解释各种谣言传播行为。
2022-07-17 cs.AI cs.LG cs.SI
MAGIX: Model Agnostic Globally Interpretable Explanations
Adobe Systems(奥多比系统公司)
在实例级别解释黑盒机器学习模型的行为对于建立信任非常有用。但是,理解模型的全局行为也很重要。这样的理解提供了对模型训练所依据的数据和它所学习的模式的洞察。我们在这里提出了一种学习“若-则”规则的方法,以全局地解释用于解决分类问题的黑盒机器学习模型的行为。该方法的工作原理是首先提取的情况下,重要的实例级,然后通过一个遗传算法与适当的适应度函数的规则。总的来说,这些规则代表了决策模型所遵循的模式,对于理解其行为非常有用。我们通过解释使用公开数据集以及私人数字营销数据集创建的黑盒模型来证明该方法的有效性和实用性。
2018-06-15 cs.AI
On the Veracity of Local, Model-agnostic Explanations in Audio Classification: Targeted Investigations with Adversarial Examples
Johannes Kepler University Linz(林茨约翰·开普勒大学);LIT AI Lab, Linz Institute of Technology(林茨理工学院人工智能实验室)
局部解释方法,如LIME已成为流行的MIR工具,用于生成事后,模型的分类决策的模型不可知论的解释。其基本思想是识别一小组人类可理解的特征的分类的例子是最有影响力的分类器的预测。这些都是作为一个解释。在出版物中对这种解释的评估往往采取接受与人类期望相匹配的内容,而实际上无法验证解释所显示的内容是否真正导致了模型的预测。本文报道了有针对性的调查,我们试图更深入地了解LIME在音频分类任务中解释的实际准确性。我们故意为分类器设计对抗性的例子,让我们知道输入的哪些部分可能对模型的(错误)预测负责。让LIME来解释对这些对手的预测,可以让我们研究局部解释是否真的能检测到这些感兴趣的区域。我们还研究了LIME是否能更成功地找到对人类来说更突出、更容易注意到的扰动。我们的研究结果表明,LIME不一定能够识别最相关的输入特征,因此仍然不清楚解释是否有用,甚至是误导。
2021-09-06 cs.AI cs.SD eess.AS
Interpretable Credit Application Predictions With Counterfactual Explanations
Accenture Labs(埃森哲实验室);Accenture The Dock(埃森哲The Dock);Inria(法国国家信息与自动化研究所)
我们用现成的、可互换的黑盒分类器来预测信贷申请,并用反事实解释来解释单个预测。反事实解释暴露了为获得不同结果而对输入数据所需的最小改变,批准vs拒绝申请。尽管它们的有效性,反事实主要是为了改变一个不希望的预测结果,即贷款被拒绝。然而,反事实可能很难解释,特别是当解释中涉及大量特征时。我们的贡献是双重的:i)我们提出了积极的反事实,即我们调整反事实解释,也解释接受的贷款申请,和ii)我们提出了两个加权策略,以产生更多的可解释的反事实。在HEALTH贷款申请数据集上的实验表明,我们的贡献优于基线反事实生成策略,导致更小,因此更可解释的反事实。
2018-11-16 cs.AI
Programs as Black-Box Explanations
University of California, Irvine(加利福尼亚大学尔湾分校);University of Washington(华盛顿大学)
最近在黑盒机器学习的模型不可知解释方面的工作表明,复杂模型的可解释性不必以准确性或模型灵活性为代价。然而,目前还不清楚哪种解释,如线性模型、决策树和规则列表,是要考虑的适当的族,并且不同的任务和模型可能受益于不同种类的解释。在这项工作中,我们建议使用“程序”作为模型不可知论的解释,而不是选择一个单一的表示家庭。我们表明,小程序可以表达但直观的解释,并概括了一些现有的可解释的家庭。我们提出了一种基于模拟退火的原型程序归纳方法,该方法利用随机扰动近似黑盒分类器在特定预测周围的局部行为。最后,我们提出了在小数据集上的初步应用,并表明生成的解释对于一些分类器是直观和准确的。
2016-11-22 cs.AI cs.LG stat.ML
Explaining black boxes with a SMILE: Statistical Model-agnostic Interpretability with Local Explanations
University of Hull(赫尔大学);Fraunhofer IESE(弗劳恩霍夫实验软件工程研究所)
针对机器学习黑箱模型可信度低的问题,提出SMILE方法,利用统计距离度量提升模型可解释性,并适用于多种输入数据领域。
2023-11-13 cs.AI cs.LG math.ST
Rad4XCNN: a new agnostic method for post-hoc global explanation of CNN-derived features by means of radiomics
University of Palermo(巴勒莫大学);National Research Council(国家研究委员会)
本文提出 Rad4XCNN,通过放射组学为 CNN 特征赋予可理解含义,在乳腺癌超声分类中实现不牺牲精度的全局事后解释。
2025-01-08 cs.AI cs.CV cs.LG
Explainable Control Framework (XCF) based on Fuzzy Model-Agnostic Explanation and LLM Agent-Supported Interface
Department of Engineering, Faculty of Natural, Mathematical & Engineering Sciences, King’s College London(工程系,自然、数学与工程科学学院,伦敦国王学院)
提出可解释控制框架XCF,通过分层模糊模型无关解释方法HFMAE-C和LLM智能体接口,为闭环控制器提供模型无关的解释,并在倒立摆和Turtlebot避障案例中验证有效性。
2026-06-25 cs.AI cs.HC cs.SY
Addressing Explainability of Generative AI using SMILE (Statistical Model-agnostic Interpretability with Local Explanations)
School of Computer Science(计算机科学学院);University of Hull(赫尔大学)
gSMILE通过受控扰动、Wasserstein距离和加权替代模型,提升生成AI的可解释性,实现细粒度归因和直观热图生成。
2026-02-01 cs.AI
Det-LIME: Detector-Aware, Multi-Instance Local Interpretable Model-Agnostic Explanations for Automated Marine Mammal Detection
Duke University(杜克大学)
Det-LIME通过检测器感知的多实例LIME方法,为海洋哺乳动物检测提供框对齐的实例级解释,显著提升多实例归因性能,支持调试与数据优化。
2026-09-16 cs.AI cs.CV
L2GTX: From Local to Global Time Series Explanations
School of Computer Science, Technological University Dublin(技术大学都柏林计算机科学学院);Artificial Intelligence and Cognitive Load Research Lab, University College Cork(人工智能与认知负荷研究实验室,科尔克大学);School of Computer Science and Information Technology, University College Cork(计算机科学与信息科技学院,科尔克大学);School of Computing, Dublin City University(都柏林城市大学计算机学院)
本文提出L2GTX框架,通过聚合代表性实例的局部解释生成全局时间序列解释,解决现有方法在时间序列全局解释上的不足,实验表明其生成的解释简洁且具有稳定性。
2026-07-21 cs.AI cs.LG
Locally Invariant Explanations: Towards Stable and Unidirectional Explanations through Local Invariant Learning
IBM Research(IBM研究院);Mila(米拉研究所)
本文借鉴 IRM 提出模型无关的局部不变解释方法,利用博弈论框架生成高保真、稳定且单向的特征归因,并在表格、图像和文本数据上优于 LIME。
2023-10-03 cs.AI cs.LG
Towards a Rigorous Evaluation of Explainability for Multivariate Time Series
Aalto University(阿尔托大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Umeå University(于默奥大学)
基于机器学习的系统正在迅速普及,与此相一致的是,在可解释性领域出现了巨大的研究热潮,以确保机器学习模型是可靠的,公平的,并且可以对其决策过程负责。可解释的人工智能(XAI)方法通常用于调试黑盒机器学习模型,但与表格、文本和图像数据相比,时间序列的可解释性仍然相对未被探索。本研究的目的是在时间序列预测问题中实现和评估模型不可知的可解释性。这项工作的重点是为一家数字咨询公司提供解决方案,该公司旨在找到一种数据驱动的方法,以了解其销售相关活动对销售交易的影响。该解决方案涉及框架的问题作为一个时间序列预测问题来预测的销售交易和可解释性实现了使用两种新的模型不可知的可解释性技术,本地可解释的模型不可知的解释(LIME)和Shapley添加剂的解释(SHAP),这是使用人类评价的可解释性。结果清楚地表明,LIME和SHAP产生的解释极大地帮助了普通人理解机器学习模型的预测。所提出的工作可以很容易地扩展到任何时间
2021-04-06 cs.AI cs.LG
CEnt: An Entropy-based Model-agnostic Explainability Framework to Contrast Classifiers' Decisions
American University of Beirut(贝鲁特美国大学)
当前的可解释性方法侧重于通过当前输入特征解释特定模型的决策。这种方法不通知用户改变这些决定的充分条件,当他们不希望。对比解释通过提供“如果特征$X>x$,则输出$Y$将不同”的形式的解释来规避该问题。虽然开发了不同的方法来找到对比,但这些方法并不都处理可变性和可达性约束。在这项工作中,我们提出了一种新的方法来局部对比任何分类器的预测。我们的基于对比熵的解释方法,CEnt,近似一个模型局部的决策树计算熵信息的不同功能分裂。然后构建图G,其中通过一对多最短路径搜索找到对比节点。从最短路径生成对比示例,以反映在保持较低熵的同时改变模型决策的特征分割。我们对变分自动编码器计算的流形式距离进行局部采样,以反映数据密度。CEnt是第一个基于非梯度的对比方法,它生成不同的反事实,这些反事实不一定存在于训练数据中,同时满足不变性(例如,种族)和半不变性(例如,年龄只能在增加的方向上变化)。对四个真实世界数值数据集的实证评估表明,CENT在生成反事实方面的能力,这些反事实比现有方法实现了更好的接近率,而不会影响延迟,可行性和可达性。我们进一步扩展CENT图像数据,以获得视觉吸引力和有用的对比MNIST和时尚MNIST数据集上的类标签。最后,我们展示了如何CEnt可以作为一种工具来检测文本分类器的漏洞。
2023-01-19 cs.AI cs.LG
FlowCF: Sparse Counterfactual Explanations for Mixed-Type Tabular Data using Flow Matching
Freie Universität Berlin(柏林自由大学);University of the Bundeswehr Munich(慕尼黑联邦国防军大学)
FlowCF提出一种基于流匹配的模型无关生成方法,通过混合流算子和门控网络优化稀疏传输,在六个基准数据集上实现数值特征稀疏性与邻近性的显著提升。
2026-10-07 cs.AI cs.LG
Counterfactuals and Causability in Explainable Artificial Intelligence: Theory, Algorithms, and Applications
Queensland University of Technology(昆士兰科技大学);INESC-ID Lisboa(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);ULisboa(里斯本大学)
人们对模型无关方法的兴趣越来越大,这些方法可以使深度学习模型对用户更加透明和可解释。一些研究人员最近认为,为了使机器达到一定程度的人类水平的可解释性,这台机器需要提供人类因果可理解的解释,也称为因果性。有一类特定的算法有可能提供因果关系是反事实。本文提出了一个深入系统的审查现有的各种机构的文献反事实和因果关系的可解释的人工智能。我们在PRISMA框架下进行了LDA主题建模分析,以找到最相关的文献文章。这种分析产生了一种新的分类法,该分类法考虑了所调查算法的基础理论,以及它们在现实世界数据中的基本属性和应用。这项研究表明,目前用于可解释人工智能的模型不可知反事实算法并不基于因果理论形式主义,因此无法向人类决策者推广因果关系。我们的研究结果表明,文献中主要算法的解释提供了虚假的相关性,而不是因果关系,导致次优,错误甚至有偏见的解释。本文还提出了文献的新方向和挑战,促进因果关系的模型不可知的方法,可解释的人工智能。
2021-06-08 cs.AI cs.LG
Explainability of Point Cloud Neural Networks Using SMILE: Statistical Model-Agnostic Interpretability with Local Explanations
University of Hull(赫尔大学);Dock Robotics Ltd(多克机器人有限公司)
本文研究将基于ECDF统计距离的可解释性方法SMILE应用于点云神经网络,在保真度、R2分数和鲁棒性上表现优越,并通过Jaccard指数建立点云模型稳定性基准,同时揭示数据集偏差问题。
2024-10-20 cs.AI cs.CV cs.LG
SurvSHAP(t): Time-dependent explanations of machine learning survival models
Warsaw University of Technology(华沙工业大学)
本文提出SurvSHAP(t),首个基于SHAP的时间依赖解释方法,用于解释生存黑盒模型,实验证明其能检测时间依赖变量且优于SurvLIME。
2022-09-07 cs.AI cs.LG stat.ML
Model-agnostic explainable artificial intelligence for object detection in image data
Tricentis;Medical University of Vienna(维也纳医科大学)
本文提出黑盒目标检测解释方法BODEM,通过分层随机掩码定位并细化图像显著区域,在多个数据集和模型上验证其解释有效性,并优于D-RISE和LIME。
2024-09-04 cs.AI cs.CV
MACE: Model Agnostic Concept Extractor for Explaining Image Classification Networks
IIT Ropar(印度理工学院罗帕尔分校)
深度卷积网络在各种图像分类任务中非常成功。目前解释预训练模型预测的方法依赖于梯度信息,通常会导致突出图集中在整个前景对象上。然而,人类通常通过解剖图像并指出较小概念的存在来进行推理。最终的输出通常是这些较小概念的存在或不存在的集合。在这项工作中,我们提出了MACE:一个模型不可知的概念提取器,它可以通过更小的概念来解释卷积网络的工作。MACE框架剖析了由卷积网络为图像生成的特征图,以提取基于概念的原型解释。此外,它估计提取的概念与预训练模型预测的相关性,这是解释单个类预测所需的关键方面,在现有方法中缺失。我们使用VGG16和ResNet50 CNN架构以及Animals With Attributes 2(AWA2)和Places365等数据集验证了我们的框架。我们的实验表明,由MACE框架提取的概念增加了人类对解释的可解释性,并且忠实于底层的预训练黑盒模型。
2020-11-03 cs.AI cs.CV cs.LG
Learning to Explain: A Model-Agnostic Framework for Explaining Black Box Models
Tel Aviv University(特拉维夫大学);The Open University(开放大学)
提出模型无关框架LTX,通过引入解释器模型生成解释图,采用两阶段训练与反事实目标,为视觉黑盒模型提供事后解释,在多项指标上显著超越现有最先进方法。
2023-10-25 cs.AI cs.CV
BELLA: Black box model Explanations by Local Linear Approximations
Telecom Paris, Institut Polytechnique de Paris, France(巴黎电信学院,巴黎理工学院,法国)
提出BELLA,一种确定性、与模型无关的事后方法,通过在特征空间中训练线性模型并最大化其适用邻域,为回归黑盒模型提供准确、简单、通用且鲁棒的个体预测解释。
2025-08-12 cs.AI cs.LG
TRUST XAI: Model-Agnostic Explanations for AI With a Case Study on IIoT Security
Washington University(华盛顿大学);Qatar University(卡塔尔大学)
尽管人工智能有了显著的增长,但其“黑匣子”性质在产生足够的信任方面带来了挑战。因此,它很少被用作物联网高风险应用中的独立单元,例如关键工业基础设施,医疗系统和金融应用等。然而,设计适当快速和准确的XAI仍然具有挑战性,特别是在数值应用中。在这里,我们提出了一个通用的XAI模型,称为依赖于统计理论的透明度(TRUST),它是模型不可知的,高性能的,适合于数值应用。简而言之,TRUST XAI在基于AI的系统中对AI输出的统计行为进行建模。因子分析用于将输入特征转换为一组新的潜变量。我们使用互信息来对这些变量进行排名,只选择对AI输出最有影响力的变量,并将它们称为类的“代表”。然后,我们使用多模态高斯分布来确定任何新样本属于每个类别的可能性。我们使用三种不同的网络安全数据集,在工业物联网(IIoT)的网络安全案例研究中展示了TRUST的有效性。IIoT是处理数值数据的重要应用。结果表明,TRUST XAI为新的随机样本提供了解释,平均成功率为98%。与流行的XAI模型LIME相比,TRUST在性能、速度和可解释性方法方面表现出优越性。最后,我们还展示了如何向用户解释信任。
2022-05-02 cs.AI cs.IT math.IT
Distribution-Based Feature Attribution for Explaining the Predictions of Any Classifier
针对特征归因领域缺乏正式问题定义的现状,本文提出基于数据集概率分布的特征归因正式定义,分析现有方法局限性并提出更有效高效的模型无关方法DFAX。
2025-11-12 cs.AI cs.LG