ExplainBench: A Benchmark Framework for Local Model Explanations in Fairness-Critical Applications
Independent Researcher(独立研究者)
本文提出开源基准框架 ExplainBench,通过统一算法封装、端到端流程及保真度等指标,在公平性敏感数据集上可复现地比较局部解释方法。
2025-05-31 cs.LG
Explaining Hypergraph Neural Networks: From Local Explanations to Global Concepts
Stanford University(斯坦福大学);University of Cambridge(剑桥大学)
本文提出首个模型无关的事后解释器SHypX,通过局部输入归因与全局无监督概念提取,为超图神经网络同时提供局部和全局解释,在保真度上平均比基线提升25个百分点。
2024-10-10 cs.LG
Interpretable Time Series Clustering Using Local Explanations
Toronto Metropolitan University(多伦多都会大学)
本研究的重点是探索使用局部解释性方法来解释时间序列聚类模型。许多最先进的聚类模型无法直接解释。为了解释这些聚类算法,我们训练分类模型来估计聚类标签。然后,我们使用可解释性方法来解释分类模型的决策。这些解释用于深入了解聚类模型。我们进行了详细的数值研究,以测试所提出的方法在多个数据集,聚类模型和分类模型。结果的分析表明,所提出的方法可以用来解释时间序列聚类模型,特别是当底层分类模型是准确的。最后,我们对结果进行了详细的分析,讨论了我们的方法如何在现实生活中使用。
2022-08-01 cs.LG
LEMON: Local Explanations via Modality-aware OptimizatioN
University of Bristol(布里斯托大学)
LEMON是一种高效的多模态局部解释框架,通过模态感知优化生成统一解释,减少计算成本并提升解释忠实性。
2026-02-02 cs.LG
Relational Local Explanations
University of Tübingen(图宾根大学)
现有的大多数用于机器学习模型的事后解释方法产生独立的、每个变量的特征属性得分,忽略了均匀结构化数据(诸如视觉或文本数据)的关键固有特征:特征之间存在潜在的变量间关系。在此基础上,我们开发了一种新的模型不可知和置换为基础的特征归因方法的基础上输入变量之间的关系分析。因此,我们能够更广泛地了解机器学习模型的预测和决策。实验评估我们的框架比较国家的最先进的归因技术在各种设置,涉及图像和文本数据模式证明了我们的方法的有效性和有效性。
2023-02-11 cs.LG
TS-MULE: Local Interpretable Model-Agnostic Explanations for Time Series Forecast Models
University of Konstanz(康斯坦茨大学)
时间序列预测是一项艰巨的任务,从天气到故障预测,黑箱模型具有最先进的性能。但是,理解和调试并不保证。我们提出了TS-MULE,一个本地的代理模型解释方法专门为时间序列扩展的LIME方法。我们的扩展LIME使用各种方法来分割和扰动时间序列数据。在我们的扩展中,我们提出了六种用于时间序列的采样分割方法,以提高替代属性的质量,并在三种深度学习模型架构和三种常见的多变量时间序列数据集上展示了它们的性能。
2021-09-17 cs.LG
MASALA: Model-Agnostic Surrogate Explanations by Locality Adaptation
University of Warwick(华威大学);School of Engineering, University of Warwick(华威大学工程学院);Department of Computer Science, University of Warwick(华威大学计算机科学系)
针对现有局部XAI方法依赖人工设定局部性超参数、单一尺寸无法适配所有预测的问题,提出MASALA方法,通过聚类输入空间自动确定适配实例的局部区域,生成更保真一致的模型无关代理解释。
2024-08-19 cs.LG
CFIRE: A General Method for Combining Local Explanations
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
提出CFIRE算法,通过结合XAI与闭频繁项集挖掘从局部解释生成全局决策规则,解决解释器分歧问题,在14个数据集近700个模型上展现高鲁棒性、精确度与效率。
2025-04-01 cs.LG
Explanations Go Linear: Post-hoc Explainability for Tabular Data with Interpretable Meta-Encoding
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会ISTI研究所);Scuola Normale Superiore - Pisa, Italy(比萨大学正常学院 - 意大利)
本文提出ILLUME框架,结合全局训练的替代模型与实例特定的线性变换,生成准确且高效的局部和全局解释,解决传统替代方法的局限性。
2026-03-18 cs.LG
Shapelet-based Model-agnostic Counterfactual Local Explanations for Time Series Classification
Leiden University(莱顿大学)
本研究提出面向时间序列分类的模型无关事后可解释算法Time-CF,结合shapelets与TimeGAN生成反事实解释,在UCR数据集多任务上四项可解释性指标均优于现有最优方法。
2024-02-02 cs.LG
Constraint-Reduced MILP with Local Outlier Factor Modeling for Plausible Counterfactual Explanations in Credit Approval
Hanoi University of Science and Technology(河内科学技术大学);Banking Academy of Vietnam(越南银行学院);Vietnam Academy of Science and Technology(越南科学技术 academy);University of Koblenz(科布伦茨大学)
针对合理反事实解释方法优化模型约束多、计算成本高的问题,本研究改进DACE框架的MILP公式以减少LOF目标项约束,在保持解释质量的同时提升了求解速度,为相关应用提供了更高效的方案。
2025-09-23 cs.LG
ReX: A Framework for Incorporating Temporal Information in Model-Agnostic Local Explanation Techniques
Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education(高可信软件技术教育部重点实验室(北京大学));School of Computer Science, Peking University(北京大学计算机学院)
针对现有模型无关局部解释技术未考虑时间信息、对可变长度输入模型效果不佳的问题,提出通用框架ReX,通过调整采样和代理特征纳入时间信息,在三种解释技术、六模型三任务上验证,可提升解释保真度并帮助用户理解模型。
2025-03-01 cs.LG
XPROAX-Local explanations for text classification with progressive neighborhood approximation
L3S Research Center(L3S研究中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学);University of Southern Denmark(南丹麦大学);Freie Universität Berlin(柏林自由大学)
邻域对于训练局部代理模型以逼近黑盒分类器的局部决策边界的重要性已经在文献中被强调。已经进行了几次尝试,通过使用生成式自动编码器来为高维数据(如文本)构建更好的邻域。然而,现有的方法主要通过从潜在空间中纯粹随机地选择来生成邻居,并且在维数灾难下挣扎以学习良好的局部决策边界。为了克服这个问题,我们提出了一个渐进的近似的邻居使用反事实的实例作为初始地标和仔细的2阶段采样方法来完善反事实,并在输入实例的邻域中生成事实解释。我们的工作重点是文本数据和我们的解释包括两个字级的解释,从原来的实例(内在的)和邻居(外在的)和事实和反事实的情况下,发现在附近的生成过程中,进一步揭示了改变输入文本中的某些部分的效果。我们在真实世界数据集上的实验表明,我们的方法在实用性和稳定性(定性部分)以及完整性,紧凑性和正确性(定量部分)方面优于竞争对手。
2021-09-30 cs.LG
Alike Parts: A Feature-Informed Approach to Local and Global Prototype Explanations
Institute of Computing Science(计算科学研究所)
本文提出了一种基于特征的局部和全局原型解释方法,通过整合特征重要性来提高解释的粒度,实验表明该方法在保持模型预测精度的同时增强了特征多样性。
2026-05-20 cs.LG
Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data
GECAD, ISEP, Polytechnic of Porto(GECAD、ISEP、波尔图理工大学)
研究局部可解释性技术在复杂表格分类任务中的可信度,通过基准测试LIME、Kernel SHAP和特征消融技术,发现解释质量主要受数据集复杂性和特征分布影响,而非模型预测性能。
2026-06-16 cs.LG
Model Agnostic Supervised Local Explanations
CMU(卡内基梅隆大学);UCLA(加利福尼亚大学洛杉矶分校)
模型可解释性是实用机器学习中越来越重要的组成部分。一些最常见的可解释性系统形式是基于实例的、局部的和全局的解释。可解释性的主要挑战之一是设计解释系统,可以捕捉这些解释类型的每一个方面,以发展一个更透彻的理解模型。我们解决这个挑战,在一个新的模型称为MAPLE,使用本地线性建模技术,以及随机森林的双重解释(既作为监督邻域方法,作为一个特征选择方法)。与现有的可解释性系统相比,MAPLE有两个基本的优势。首先,虽然它是一个有效的黑箱解释系统,但MAPLE本身是一个高度准确的预测模型,提供了忠实的自我解释,从而避开了典型的准确性-可解释性权衡。具体来说,我们证明,在几个UCI数据集,MAPLE至少是准确的随机森林,它产生更忠实的本地解释比石灰,一个流行的可解释性系统。其次,MAPLE提供了基于示例的解释和局部解释,并且可以检测全局模式,这使得它能够诊断其局部解释的局限性。
2019-01-05 cs.LG stat.ML
Contextual Local Explanation for Black Box Classifiers
我们介绍了一种新的模型不可知的解释技术,它解释了任何分类器的预测称为CLE。CLE给出了一个忠实的和可解释的解释的预测,通过近似的模型局部使用一个可解释的模型。我们通过解释文本、表格和图像分类的不同模型来展示CLE的灵活性,并通过模拟用户实验来展示CLE的保真度。
2019-10-02 cs.LG stat.ML
Graph neural network explanations reveal a topological signature of disease-associated hubs in biological networks
Division of Cancer, Department of Surgery and Cancer, Faculty of Medicine, Imperial College London(癌症部、外科与癌症部门、医学学院、伦敦帝国学院);Department of Computing, Imperial College London(计算部门、伦敦帝国学院);Department of Environmental Health Sciences, Yale University(环境健康科学部门、耶鲁大学)
本文研究了图神经网络在生物网络中识别疾病相关结构的方法,发现不同解释方法在稀疏单节点驱动和分布式路径信号中有不同的表现,并提出了一种结合壳层枢纽评分和解释器共识排名的框架,提升了对癌症基因的优先级排序和生物学相关分子的恢复能力。
2026-05-08 cs.AI cs.LG q-bio.MN
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们介绍了一种方法,KL-LIME,用于解释贝叶斯预测模型的预测,通过将预测分布中的信息局部投影到一个更简单,可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理(LIME)方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
Explainable Mapper: Charting LLM Embedding Spaces Using Perturbation-Based Explanation and Verification Agents
University of Utah(犹他大学);ETH Zürich(苏黎世联邦理工学院)
本文提出 Explainable Mapper 框架,利用基于扰动的 LLM 解释与验证智能体,半自动标注并分析 mapper 图所呈现的 LLM 嵌入拓扑结构,且在 BERT 案例中复现并扩展了既有发现。
2025-07-24 cs.CG cs.LG
Framework for Evaluating Faithfulness of Local Explanations
University of California San Diego(加利福尼亚大学圣地亚哥分校);Tel Aviv University(特拉维夫大学)
我们研究了解释系统对潜在预测模型的忠诚度。我们表明,这可以被捕获的两个属性,一致性和充分性,并引入定量措施的程度,这些举行。有趣的是,这些措施取决于测试时的数据分布。对于各种现有的解释系统,如锚,我们分析研究这些量。我们还提供了估计和样本的复杂性界限,经验确定的忠实性的黑盒解释系统。最后,我们通过实验验证了新的性质和估计。
2022-02-01 cs.LG stat.ML
Locally Invariant Explanations: Towards Stable and Unidirectional Explanations through Local Invariant Learning
IBM Research(IBM研究院);Mila(米拉研究所)
本文借鉴 IRM 提出模型无关的局部不变解释方法,利用博弈论框架生成高保真、稳定且单向的特征归因,并在表格、图像和文本数据上优于 LIME。
2023-10-03 cs.AI cs.LG
MeLIME: Meaningful Local Explanation for Machine Learning Models
Aarhus University(奥胡斯大学)
大多数最先进的机器学习算法都引入了黑盒模型,这阻碍了它们在许多敏感领域的应用。因此,已经提出了许多用于解释机器学习模型的方法来解决这个问题。在这项工作中,我们引入策略,以改善当地的解释考虑到用于训练的黑箱模型的数据的分布。我们表明,与其他技术相比,我们的方法MeLIME在不同的ML模型上产生了更有意义的解释,对各种类型的数据进行操作。MeLIME推广了LIME方法,允许更灵活的扰动采样和使用不同的本地可解释模型。此外,我们对本地可解释模型的标准训练算法进行了修改,以促进更强大的解释,甚至允许产生反事实的例子。为了展示所提出的方法的优势,我们包括对表格数据,图像和文本的实验;所有这些都显示出改进的解释。特别是,MeLIME在MNIST数据集上生成的解释比GuidedBackprop,SmoothGrad和Layer-wise Relevance Propagation等方法更有意义。MeLIME可在https://github.com/tiagobotari/melime上获得。
2020-09-12 cs.AI cs.LG
Beyond Linear Surrogates: High-Fidelity Local Explanations for Black-Box Models
本文提出了一种新的局部模型无关解释方法,利用MARS和N-ball采样策略生成高保真局部解释,通过减少RMSE提升了黑盒模型的局部近似精度。
2026-03-21 cs.AI cs.LG
Comparing Baseline Shapley and Integrated Gradients for Local Explanation: Some Additional Insights
Wells Fargo(富国银行)
在文献中有许多不同的方法用于局部解释机器学习结果。然而,这些方法在方法上有所不同,往往不能提供相同的解释。在本文中,我们考虑了两种最新的方法:集成参数(Sundararajan,Taly,& Yan,2017)和基线Shapley(Sundararajan和Najmi,2020)。原作者已经研究了这两种方法的公理性质,并提供了一些比较。我们的工作为表格数据的比较行为提供了一些额外的见解。我们讨论了两种解释相同和不同的常见情况。我们还使用模拟研究来检查使用具有ReLU激活函数的神经网络来拟合模型时的差异。
2022-08-12 cs.LG stat.ML
Analysis on the Nonlinear Dynamics of Deep Neural Networks: Topological Entropy and Chaos
the University of Tennessee(田纳西大学)
深度神经网络(DNN)的理论解释仍然是一个悬而未决的问题。在本文中,DNN被认为是一个离散时间动力系统,由于其分层结构。在动力学的非线性提供的复杂性进行了分析的拓扑熵和混沌特征的李雅普诺夫指数。DNN的动力学揭示的属性被应用于分析相应的分类和泛化能力。
2019-01-08 cs.LG stat.ML
Local Interpretable Model Agnostic Shap Explanations for machine learning models
ABB Ability Innovation Center, Asea Brown Boveri Company(ABB集团ABB能力创新中心);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
随着基于人工智能(AI)的解决方案和分析计算引擎技术的进步,机器学习(ML)模型变得越来越复杂。这些模型中的大多数通常被用作黑箱,没有用户可解释性。如此复杂的机器学习模型使人们更难理解或信任他们的预测。有各种各样的框架使用可解释的AI(XAI)方法来证明ML模型的可解释性和可解释性,以使其预测更加可信。在这篇手稿中,我们提出了一种方法,我们定义为本地可解释模型不可知的形状解释(LIMASE)。所提出的ML解释技术使用LIME范式下的Shapley值来实现以下(a)通过使用局部忠实和可解释的决策树模型来解释任何模型的预测,其中树解释器用于计算Shapley值并给出视觉上可解释的解释。(b)通过绘制几个数据点的局部解释,提供视觉上可解释的全局解释。(c)演示子模块优化问题的解决方案。(d)还带来了对区域解释的洞察e)与使用内核解释器相比更快的计算。
2022-10-10 cs.AI cs.LG
ExSum: From Local Explanations to Model Understanding
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
可解释性方法的开发是为了理解黑盒模型的工作机制,这是他们的负责任的部署至关重要。实现这一目标需要这些方法产生的解释是正确的,并且人们可以轻松可靠地理解它们。虽然前者已经在以前的工作中得到了解决,后者往往被忽视,导致非正式的模型理解来自少数地方的解释。在本文中,我们介绍解释摘要(ExSum),量化模型理解的数学框架,并提出其质量评估的指标。在两个领域,ExSum强调了当前实践中的各种局限性,帮助开发准确的模型理解,并揭示了模型容易被忽视的属性。我们还将可理解性与解释的其他属性联系起来,例如人类对齐,鲁棒性,反事实最小化和可解释性。
2022-04-30 cs.CL cs.LG
Evaluation of Local Explanation Methods for Multivariate Time Series Forecasting
Ryerson University(瑞尔森大学)
能够解释机器学习模型是机器学习的许多应用中的关键任务。具体来说,局部可解释性在确定模型为什么做出特定预测方面很重要。尽管最近关注人工智能的可解释性,但对于时间序列预测的局部可解释性方法缺乏研究,而存在的少数可解释性方法主要集中在时间序列分类任务上。在这项研究中,我们提出了两个新的评价指标的时间序列预测:面积超过扰动曲线回归和消融百分比阈值。这两个指标可以衡量局部解释模型的局部保真度。我们扩展的理论基础,收集两个流行的数据集,\textit{Rossmann sales}和\textit{electricity}的实验结果。这两个指标使众多的本地解释模型的全面比较,并找到哪些指标更敏感。最后,我们为这一分析提供了合理的理由。
2020-09-18 cs.LG stat.ML
Evaluating Local Model-Agnostic Explanations of Learning to Rank Models with Decision Paths
KTH Royal Institute of Technology(瑞典皇家理工学院)
学习排名(LTR)模型的局部解释被认为是提取最重要的特征,这些特征有助于LTR模型对单个数据点预测的排名。评估这种解释的准确性是具有挑战性的,因为地面实况特征重要性分数对于大多数现代LTR模型是不可用的。在这项工作中,我们提出了一个系统的评价技术的解释LTR模型。而不是使用黑盒模型,如神经网络,我们建议专注于基于树的LTR模型,从中我们可以提取地面实况特征重要性分数使用决策路径。一旦被提取,我们就可以直接将地面实况特征重要性得分与使用解释技术生成的特征重要性得分进行比较。在MQ2008数据集上使用决策树和梯度提升模型时,我们比较了两种最近提出的LTR模型解释技术。我们表明,在这些技术的解释精度可以在很大程度上取决于解释模型,甚至哪个数据点解释。
2022-03-16 cs.LG stat.ML
To trust or not to trust an explanation: using LEAF to evaluate local linear XAI methods
University of Turin(都灵大学);ISI Foundation(ISI基金会)
可解释人工智能(XAI)的主要目标是为黑盒分类器提供有效的解释。现有的文献列出了许多有用的解释所需的属性,但在实践中如何定量评估解释并没有达成共识。此外,解释通常只用于检查黑盒模型,而解释作为决策支持的主动使用通常被忽视。在XAI的许多方法中,广泛采用的范例是局部线性简化-LIME和SHAP作为最先进的方法出现。我们发现,这些方法是困扰着许多缺陷,包括不稳定的解释,从承诺的理论性质的实际实现的分歧,和错误的标签的解释。这突出了需要有标准和公正的评价程序,局部线性偏差在XAI领域。在本文中,我们解决的问题,确定一个明确的和明确的一组指标的评价局部线性方程。这一组包括专门为这类解释定义的现有指标和新指标。所有指标都包含在一个名为LEAF的开放Python框架中。LEAF的目的是为最终用户提供一个参考,以标准化和公正的方式评估解释,并指导研究人员开发改进的可解释技术。
2021-06-01 cs.AI cs.CY cs.LG
Coherent Local Explanations for Mathematical Optimization
Amsterdam Business School University of Amsterdam(阿姆斯特丹商学院大学)
针对现有解释方法忽略优化问题结构的问题,提出CLEMO方法,为优化模型的目标值和决策变量提供与模型结构连贯的局部解释,并在最短路径、背包和车辆路径问题上验证了有效性。
2025-06-18 cs.LG math.OC
Explanations as Bias Detectors: A Critical Study of Local Post-hoc XAI Methods for Fairness Exploration
University of Ioannina(伊奥安纳大学);Archimedes / Athena RC Greece(阿基米德/亚特兰蒂斯研究所以及希腊);Freie Universität Berlin(柏林自由大学);Universität der Bundeswehr München(联邦国防军大学慕尼黑)
本文提出了一种集成局部事后解释方法的流水线来检测和解释AI系统中的不公平性,并批判性地分析了将解释作为偏见检测器时需考虑的关键问题与挑战。
2025-05-01 cs.AI cs.LG
Evaluating Local Explanations using White-box Models
KTH Royal Institute of Technology(瑞典皇家理工学院);Spotify(声田);University of Liège(列日大学)
使用人类受试者评估解释技术是昂贵的,耗时的,并可能导致主观评估。为了评估局部解释的准确性,我们需要访问给定实例的真实特征重要性分数。然而,模型的预测函数通常不会分解为线性加性项,以指示特征对输出的贡献程度。在这项工作中,我们建议将重点放在预测函数的对数比值比(LOR)上,它可以自然地分解为逻辑回归和朴素贝叶斯的加法项。我们演示了如何我们可以基准不同的解释技术在他们的相似性LOR分数的基础上,我们提出的方法。在实验中,我们比较了突出的局部解释技术,发现这些技术的性能取决于底层模型、数据集、解释的数据点、数据的归一化和相似性度量。
2022-01-28 cs.LG stat.ML
Model Agnostic Local Explanations of Reject
University of Cyprus(塞浦路斯大学);Bielefeld University(比勒费尔德大学)
基于机器学习的决策系统在安全关键领域的应用需要可靠的高确定性预测。拒绝选项是确保系统所做预测具有足够高确定性的常见方法。虽然能够拒绝不确定的样本很重要,但能够解释为什么特定样本被拒绝也很重要。然而,解释一般拒绝选项仍然是一个悬而未决的问题。我们提出了一个模型不可知的方法,通过可解释的模型和反事实的解释来局部解释任意拒绝选项。
2022-05-16 cs.AI cs.LG
Leveraging Latent Features for Local Explanations
IBM Research(IBM研究院);University of Michigan(密歇根大学)
随着深度神经网络在医学成像、视频监控和自动驾驶汽车等众多领域的应用激增,解释这些模型决策的需求已成为全球和地方层面的热门研究课题。在当地,大多数解释方法都集中在识别特征的相关性上,限制了可能的解释类型。在本文中,我们研究了一个新的方向,利用潜在的功能,以产生对比的解释,预测解释不仅突出本身足以证明分类的方面,但也通过新的方面,如果添加将改变分类。本文的主要贡献在于我们如何以一种正式但可解释的方式向丰富的数据添加特征,从而产生有意义的结果。我们对“加法”的新定义使用了潜在的特征,超越了以前解释的局限性,解决了Dhurandhar等人提出的一个悬而未决的问题。(2018),它创建了局部对比解释,但仅限于简单的数据集,如灰度图像。我们的方法在创建直观的解释,也是定量优于其他方法的优势是证明了三个不同的图像数据集(皮肤病变,面部和时尚服装)。一项有200名参与者的用户研究进一步证实了对比信息的好处,这可以被视为对其他最先进的可解释性方法的补充。
2021-05-29 cs.LG stat.ML
GLEAMS: Bridging the Gap Between Local and Global Explanations
Bologna University(博洛尼亚大学)
本文提出 GLEAMS,通过划分输入空间并在各子区域学习可解释模型,同时生成忠实的局部与全局解释。
2024-08-09 cs.AI cs.LG
A Note about: Local Explanation Methods for Deep Neural Networks lack Sensitivity to Parameter Values
Google Inc.(谷歌公司)
局部解释方法,也称为归因方法,将深度网络的预测归因于其输入(参见。Baehrens等人(2010))。我们回应Adebayo等人(2018)的主张,即局部解释方法缺乏敏感性,即,具有随机初始化权重的DNN产生的解释在视觉上和定量上都与具有学习权重的DNN产生的解释相似。进一步的研究表明,他们的发现是由于他们的分析中的两个选择:(a)忽略属性的符号;(b)对于积分梯度(IG),通过选择基线(相对于计算属性的辅助输入),在他们的分析中包括具有零属性的像素。当这两个因素都考虑在内时,随机网络和实际网络的IG属性是不相关的。我们的调查还揭示了这些问题如何影响可视化,尽管我们注意到需要做更多的工作来了解观众如何解释随机和实际归因之间的差异。
2018-06-11 cs.LG stat.ML
ExplainReduce: Generating global explanations from many local explanations
University of Helsinki(赫尔辛基大学)
本文提出 ExplainReduce 方法,通过贪心启发式算法将大量局部解释缩减为少量简单模型,作为生成式全局解释,并证明其有效性和竞争力。
2026-05-25 cs.AI cs.HC cs.LG
BELLA: Black box model Explanations by Local Linear Approximations
Telecom Paris, Institut Polytechnique de Paris, France(巴黎电信学院,巴黎理工学院,法国)
提出BELLA,一种确定性、与模型无关的事后方法,通过在特征空间中训练线性模型并最大化其适用邻域,为回归黑盒模型提供准确、简单、通用且鲁棒的个体预测解释。
2025-08-12 cs.AI cs.LG
Learning Global Transparent Models Consistent with Local Contrastive Explanations
IBM Research, NY(IBM研究(纽约))
关于黑盒模型(例如神经网络)的局部对比/反事实解释,有丰富且不断增长的文献。在这些方法中,对于输入,解释是以对比点的形式,该对比点在非常少的特征上与原始输入不同并且位于不同的类中。其他工作试图建立全局可解释的模型,如决策树和规则列表的基础上使用实际的标签的数据或基于黑盒模型的预测。虽然这些可解释的全球模型可能是有用的,但它们可能与特定黑盒选择的局部解释不一致。在这项工作中,我们探讨的问题:我们可以产生一个透明的全球模型,同时准确和一致的地方(对比)解释的黑盒模型?我们引入了一个自然的本地一致性度量,如果本地的解释和预测的黑盒模型也与代理全球透明模型一致,量化。基于一个关键的见解,我们提出了一种新的方法,我们创建自定义布尔功能从稀疏的本地对比解释的黑盒模型,然后训练一个全球透明的模型,只是这些,并展示经验,这样的模型具有更高的本地一致性相比,其他已知的策略,同时仍然是接近的性能模型,训练访问原始数据。
2020-10-29 cs.AI cs.LG stat.ML
GraphLIME: Local Interpretable Model Explanations for Graph Neural Networks
Jilin University(吉林大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
图结构化数据在诸如物理、化学、生物、计算机视觉和社交网络等各种领域中具有广泛的适用性。最近,图神经网络(GNN)被证明是成功的,有效地表示图结构的数据,因为它们的良好的性能和泛化能力。GNN是一种基于深度学习的方法,它通过将特定节点与图的结构/拓扑信息相结合来学习节点表示。然而,与其他深度模型一样,解释GNN模型的有效性是一项具有挑战性的任务,因为在迭代过程中进行了复杂的非线性变换。在本文中,我们提出了GraphLIME,一个本地可解释的模型解释图使用希尔伯特-施密特独立准则(HSIC)拉索,这是一种非线性特征选择方法。GraphLIME是一个通用的GNN模型解释框架,它在被解释节点的子图中局部学习非线性可解释模型。更具体地说,为了解释一个节点,我们从它的$N$ -hop邻域生成一个非线性可解释模型,然后使用HSIC Lasso计算K个最具代表性的特征作为其预测的解释。通过在两个真实数据集上的实验,发现GraphLIME的解释程度非常高,与现有的解释方法相比更具描述性。
2020-09-27 cs.LG stat.ML
Global Aggregations of Local Explanations for Black Box models
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
许多最先进的机器学习模型的决策过程本质上是不可理解的,以至于人类不可能直接解释模型:它们是黑箱模型。这导致了对解释黑箱模型的研究的呼吁,其中有两种主要方法。全局解释旨在解释模型的一般决策过程,局部解释旨在解释单个预测。由于在全局可解释的近似中建立对黑箱模型的保真度仍然具有挑战性,因此将更多注意力放在局部解释上。然而,当地的解释是否能够可靠地代表黑箱模型,并提供有用的见解仍然是一个悬而未决的问题。我们提出了全球聚合的本地化(GALE)的目标,以提供洞察力的模型的全球决策过程。总的来说,我们的研究结果表明,聚合的选择很重要。我们发现,局部可解释模型不可知论(LIME)引入的全局重要性并不能可靠地表示模型的全局行为。我们提出的聚合能够更好地表示特征如何影响模型的预测,并通过识别区别特征来提供全局见解。
2019-07-05 cs.AI cs.IR cs.LG
L2GTX: From Local to Global Time Series Explanations
School of Computer Science, Technological University Dublin(技术大学都柏林计算机科学学院);Artificial Intelligence and Cognitive Load Research Lab, University College Cork(人工智能与认知负荷研究实验室,科尔克大学);School of Computer Science and Information Technology, University College Cork(计算机科学与信息科技学院,科尔克大学);School of Computing, Dublin City University(都柏林城市大学计算机学院)
本文提出L2GTX框架,通过聚合代表性实例的局部解释生成全局时间序列解释,解决现有方法在时间序列全局解释上的不足,实验表明其生成的解释简洁且具有稳定性。
2026-07-21 cs.AI cs.LG
Building Reliable Explanations of Unreliable Neural Networks: Locally Smoothing Perspective of Model Interpretation
Jeonbuk National University(全北国立大学)
我们提出了一种新的方法来可靠地解释神经网络的预测。我们认为一个解释是可靠的,如果它通过考虑输入和相邻的数据点来识别与模型输出相关的输入特征。我们的方法建立在模型预测的损失函数中平滑景观的假设之上:局部一致损失和梯度分布。在这项研究中建立的理论分析表明,这些局部平滑模型的解释是使用一批有噪声的输入与L1正则化显着图的副本学习。大量的实验支持分析结果,表明所提出的显着性图可以检索针对自然和对抗训练模型制作的对抗示例的原始类别,显着优于以前的方法。我们进一步证明,这种良好的性能来自于这种方法的学习能力,以识别与输入和相邻数据点的模型输出真正相关的输入特征,满足可靠解释的要求。
2021-03-29 cs.CV cs.LG
Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations
提出一种基于遗传算法的模型无关方法,自动演化局部解释以提升深度卷积神经网络的可解释性,实验表明其解释易于理解且比LIME快十倍以上。
2025-03-26 cs.CV cs.LG
SLISEMAP: Supervised dimensionality reduction through local explanations
University of Helsinki(赫尔辛基大学)
提出SLISEMAP,一种通过局部解释进行监督降维的方法,同时生成所有数据点的局部解释和二维全局可视化,与现有方法相比,能利用标记数据创建一致的白盒模型,并提升对黑盒模型的理解。
2022-05-18 cs.AI cs.HC cs.LG
Causality-Aware Local Interpretable Model-Agnostic Explanations
University of Pisa(比萨大学)
本文针对XAI方法的特征独立性假设缺陷,提出一种整合因果知识的局部模型无关解释器扩展,通过在数据中编码显式因果关系,提升了黑盒模型解释的忠实度、一致性与可靠性。
2024-04-15 cs.AI cs.LG
Local Score Dependent Model Explanation for Time Dependent Covariates
Inria(法国国家信息与自动化研究所);Thales(泰雷兹集团)
使用深度神经网络做出高风险决策需要全局和局部解释,以便用户和专家对建模算法有信心。我们介绍了一种新的技术,找到全局和局部的解释时间序列数据中使用的二进制分类机器学习系统。我们确定了黑盒模型用于区分类别的最突出的原始特征。这种解释可以在分类、连续和时间序列数据上进行,并且可以推广到任何二元分类模型。对时间序列数据进行分析以训练长短期记忆深度神经网络,并在解释中使用底层特征的时间依赖结构。所提出的技术属性权重的功能来解释属于一个类的基本风险率的乘法因子的观测风险。我们使用Cox比例风险回归的一个变体,一个广义加性模型,来解释变量对黑箱模型输出的分数的类内响应概率的影响。协变量在特征中包含时间依赖性结构,因此解释包括基础时间序列数据结构。
2019-08-13 cs.AI cs.LG
LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations
针对机器学习模型黑箱缺乏透明度的问题,提出基于马尔可夫毯的LaPLACE模型无关解释器,可自动生成最优特征子集的概率因果解释,性能优于LIME和SHAP,在多场景具备实用价值。
2023-10-01 cs.AI cs.LG
Exploring The Role of Local and Global Explanations in Recommender Systems
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Northwestern University(西北大学);University of Washington & Allen Institute for Artificial Intelligence(华盛顿大学和艾伦人工智能研究所)
众所周知,推荐可以提高推荐系统的透明度。这些解释可以是局部的,解释单个推荐,或者是全局的,解释一般的推荐模型。尽管它们被广泛使用,但很少有人对这两种方法的相对好处进行调查。它们是否为用户提供了相同的好处,或者它们服务于不同的目的?我们进行了一个30名参与者的探索性研究和30名参与者的控制用户研究与研究论文推荐系统,以分析如何提供参与者本地,全球或两者兼而有之的解释影响用户对系统行为的理解。我们的研究结果提供的证据表明,这两种解释都比单独解释如何改进推荐更有帮助,但在识别假阳性和假阴性方面,这两种解释似乎都不如单独使用全局更有帮助。然而,我们注意到,这两种解释方法可能会更好地比较在一个更高的风险或更不透明的域的上下文中。
2021-09-27 cs.HC cs.IR cs.LG
NoiseGrad: Enhancing Explanations by Introducing Stochasticity to Model Weights
TU Berlin(柏林工业大学);Understandable Machine Intelligence Lab(可理解机器智能实验室);RIKEN AIP(日本理化学研究所人工智能中心)
为了揭示黑盒学习机器(如深度神经网络)的决策过程,已经做出了许多努力,从而产生了有用的局部和全局解释方法。对于局部解释,随机性是已知的帮助:一个简单的方法,称为SmoothGrad,通过向输入空间添加噪声并对噪声输入的解释进行平均,提高了基于梯度的归因的视觉质量。在本文中,我们扩展了这一想法,并提出了NoiseGrad,增强了局部和全局的解释方法。具体地,NoiseGrad在权重参数空间中引入随机性,使得决策边界被扰动。由于输入扰动和决策边界扰动之间的双重关系,与SmoothGrad类似,NoiseGrad有望增强局部解释。我们评估NoiseGrad及其融合SmoothGrad - FusionGrad -定性和定量的几个评价标准,并表明我们的新方法显着优于基线方法。NoiseGrad和FusionGrad都是方法不可知的,并且与SmoothGrad一样方便,使用简单的启发式来选择超参数设置,而无需微调。
2022-05-30 cs.AI cs.LG
SEAM: Global consistency beyond local accuracy in scientific machine learning
Axiom Research Group(阿克西姆研究集团);The Nelson Mandela African Institution of Science and Technology(纳尔逊·曼德拉非洲科学技术研究院);African Institute for Mathematical Sciences(非洲数学科学研究所);The University of Tokyo(东京大学)
SEAM是一种与生成器无关的科学机器学习框架,可跨多维度计算局部到全局的一致性,能在局部预测准确时检测不兼容解释并归因故障,为模型提供全局解释一致性审计。
2026-08-07 cs.CE cs.LG