OptiLIME: Optimized LIME Explanations for Diagnostic Computer Algorithms
University of Bologna(博洛尼亚大学)
局部可解释模型不可知推理(LIME)是一种流行的方法来执行任何类型的机器学习(ML)模型的可解释性。它每次解释一个ML预测,通过围绕预测学习一个简单的线性模型。该模型在随机生成的数据点上进行训练,从训练数据集分布中采样,并根据与参考点的距离进行加权-LIME解释了这一点。应用特征选择以仅保留最重要的变量。石灰广泛分布于不同的领域,尽管它的不稳定性-一个单一的预测可能会得到不同的解释-是主要的缺点之一。这是由于采样步骤中的随机性,以及调整权重的灵活性,并确定检索的解释缺乏可靠性,使得LIME的采用存在问题。特别是在医学领域,考虑到决策的重要性和相关的法律问题,临床专业人员必须确定是否接受可解释的算法。在本文中,我们强调了解释的稳定性和坚持性之间的权衡,即它与ML模型的相似程度。利用我们的创新发现,我们提出了一个框架,以最大限度地提高稳定性,同时保持预定义的遵守水平。OptiLIME提供了选择最佳粘附稳定性权衡水平的自由,更重要的是,它清楚地突出了检索解释的数学属性。因此,医生提供的工具,以决定是否解释是可靠的,根据手头的问题。我们在玩具数据集和医疗数据集上广泛测试了OptiLIME-以直观地呈现几何发现。在后者中,我们展示了该方法如何从医学和数学的角度提出有意义的解释。
2022-02-07 cs.AI cs.LG stat.ML
DLIME: A Deterministic Local Interpretable Model-Agnostic Explanations Approach for Computer-Aided Diagnosis Systems
Ryerson University(瑞尔森大学)
局部可解释模型不可知推理(LIME)是一种流行的技术,用于提高黑盒机器学习(ML)算法的可解释性和可解释性。LIME通常通过学习一个更简单的可解释模型(例如线性分类器)来为任何ML模型的单个预测生成解释,该模型通过随机扰动在实例周围生成模拟数据来学习预测,并通过应用某种形式的特征选择来获得特征重要性。虽然LIME和类似的局部算法由于其简单性而获得了普及,但是随机扰动和特征选择方法导致所生成的解释中的“不稳定性”,其中对于相同的预测,可以生成不同的解释。这是一个关键问题,可以防止在计算机辅助诊断(CAD)系统中部署LIME,其中稳定性对于赢得医疗专业人员的信任至关重要。在本文中,我们提出了一个确定性版本的LIME。代替随机扰动,我们利用凝聚层次聚类(HC)将训练数据分组在一起,并利用K-最近邻(KNN)选择正在解释的新实例的相关聚类。在找到相关聚类之后,在所选聚类上训练线性模型以生成解释。在三个不同的医学数据集上的实验结果显示了确定性局部可解释模型不可知解释(DLIME)的优越性,其中我们利用多个生成的解释之间的Jaccard相似性定量确定了DLIME与LIME相比的稳定性。
2019-06-24 cs.AI cs.LG stat.ML
Effect of Superpixel Aggregation on Explanations in LIME -- A Case Study with Biological Data
Fraunhofer IIS/EZRT(弗劳恩霍夫IIS/EZRT);University of Bamberg(班贝格大学)
使用深度神经网络(例如卷积神经网络(CNN))进行端到端学习已被证明对于图像分类的不同任务非常成功。为了使黑箱方法的决定透明,已经提出了不同的解决方案。LIME是一种基于Quick-Shift算法将图像分割成超像素的可解释AI方法。在本文中,我们提出了一个探索性的研究如何不同的超像素方法,即Felzenszwalb,SLIC和紧凑的分水岭,影响所产生的视觉解释。我们将由此产生的相关区域与由人类参考标记的图像部分进行比较。结果表明,图像部分选择为相关的强烈变化取决于所应用的方法。快速转移导致最少和紧凑的分水岭在最高的对应关系与参考相关领域。
2019-10-17 cs.LG q-bio.QM stat.ML
Looking Deeper into Tabular LIME
Laboratoire J. A. Dieudonné(J.A.迪厄多内实验室);Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学);University of Tübingen(图宾根大学)
在本文中,我们对表格数据情况下LIME的默认实现进行了彻底的理论分析。我们证明,在大样本的限制,可解释的系数提供的表格石灰可以计算在一个明确的方式作为一个函数的算法参数和一些期望计算相关的黑盒模型。当要解释的函数具有一些很好的代数结构(线性,乘法或稀疏地依赖于坐标的子集)时,我们的分析为LIME提供的解释提供了有趣的见解。这些可以应用于一系列机器学习模型,包括高斯核或CART随机森林。作为一个例子,对于线性函数,我们表明,LIME具有理想的属性,提供的解释是成比例的函数的系数来解释,并忽略不使用的函数来解释坐标。对于基于分区的回归,另一方面,我们表明,LIME产生不希望的文物,可能会提供误导性的解释。
2022-07-18 cs.AI cs.LG stat.ML
GLIME: General, Stable and Local LIME Explanation
Tsinghua University(清华大学)
针对 LIME 存在的不稳定和低局部保真度问题,提出 GLIME 框架,通过等价公式化、局部无偏采样分布实现更快收敛、更高稳定性与保真度,且解释独立于参考选择。
2023-11-27 cs.AI cs.CV cs.HC
Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们介绍了一种方法,KL-LIME,用于解释贝叶斯预测模型的预测,通过将预测分布中的信息局部投影到一个更简单,可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理(LIME)方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
Enriching Visual with Verbal Explanations for Relational Concepts -- Combining LIME with Aleph
University of Bamberg(班贝格大学)
随着深度学习应用越来越多,对解释的需求也越来越大。视觉解释提供了关于图像的哪些部分与分类器的决策相关的信息。然而,突出显示图像部分(例如,眼睛)不能捕获类的特定特征值的相关性(例如,眼睛睁得大大的)。此外,突出显示不能传达分类是仅仅取决于部分的存在还是取决于它们之间的特定空间关系。因此,我们提出了一种方法,能够解释一个分类器的决策方面的逻辑规则获得的归纳逻辑程序设计系统Aleph。Aleph所需的示例和背景知识基于解释生成方法LIME。我们展示了我们的方法与图像的blocksworld域。首先,我们表明,我们的方法是能够确定一个单一的关系作为重要的解释性结构。之后,我们提出了更复杂的塔的关系概念。最后,我们展示了如何生成的关系规则可以显式地与输入图像相关,从而产生更丰富的解释。
2019-10-04 cs.AI cs.CV cs.LG
Explaining the Predictions of Any Image Classifier via Decision Trees
Lenovo Research(联想研究院);University of Chinese Academy of Sciences(中国科学院大学)
尽管深度学习模型对人工智能(AI)的重大进展做出了突出贡献,但大多数仍然是黑箱,其推理过程和预测结果的可解释性非常弱。可解释性不仅是人工智能与社会之间的门户,也是检测模型缺陷和数据偏差的强大工具。局部可解释模型不可知解释(LIME)是最近的一种方法,它使用可解释模型来形成对单个预测结果的局部解释。LIME的当前实现采用线性回归作为其可解释函数。然而,由于受到限制并且通常过度简化关系,线性模型在特征和预测结果之间存在非线性关联和相互作用的情况下失败。本文实现了一种基于决策树的LIME方法,该方法使用决策树模型来形成局部忠实于原始模型的可解释表示。Tree-LIME方法可以捕获数据中特征之间的非线性相互作用,并创建合理的解释。各种实验表明,Tree-LIME对多个黑盒模型的解释在可理解性、保真度和效率方面可以实现更可靠的性能。
2020-02-10 cs.AI cs.LG stat.ML
ALIME: Autoencoder Based Approach for Local Interpretability
近年来,机器学习,尤其是深度学习,由于其相对于其他方法的性能提高,已经获得了巨大的普及。大量数据的可用性有助于深度学习的发展。然而,深度学习模型是不透明的,通常被视为黑匣子。因此,有一个内在的需要,使模型可解释,特别是在医疗领域。在这项工作中,我们提出了一个本地可解释的方法,这是最近的工具,已经获得了很多的兴趣,称为本地可解释的模型不可知解释(LIME)的启发。LIME通过在实例周围人工生成数据集(通过随机采样和使用扰动),然后引入局部线性可解释模型来生成单实例级解释。LIME中的一个主要问题是生成的解释不稳定,这是由于随机生成的数据集造成的。这种局部可解释模型的另一个问题是局部保真度。我们提出了新的modificationstto LIME通过采用自动编码器,这是一个更好的weightingfunction的本地模型。我们与不同的数据集进行了广泛的比较,并表明我们提出的方法既提高了稳定性,又提高了局部保真度。
2019-09-04 cs.LG stat.ML
EMAP: Explanation by Minimal Adversarial Perturbation
Edinburgh University(爱丁堡大学);RWTH Aachen University(亚琛工业大学);QuantumBlack(昆腾布莱克)
现代基于实例的模型不可知解释方法(LIME,SHAP,L2X)在数据密集型行业中非常有用,用于模型诊断和最终用户解释。这些方法通常返回输入特征的权重或子集作为实例分类的解释。另一种文献认为,相反,反事实的情况下提供了一个更有用的表征黑盒分类器的决定。我们提出了EMAP,一个基于神经网络的方法,返回解释的最小对抗扰动的一个实例,导致底层的黑盒模型misclassify。我们表明,这种方法结合了这两种范式,恢复输出的特征加权方法在连续的特征空间,同时也表明了方向,其中最近的反事实可以找到我们的方法还提供了一个隐含的信心估计在自己的解释,增加了清晰的模型诊断其他方法缺乏。此外,EMAP将基于采样的方法(如LIME)的速度提高了一个数量级,允许在时间关键型应用程序中或在数据集级别进行模型解释,其中基于采样的方法是不可行的。我们使用分区Gumbel层扩展我们的方法到分类特征,并在几个标准数据集上证明了其有效性。
2019-12-02 cs.LG stat.ML
A Perspective on Explainable Artificial Intelligence Methods: SHAP and LIME
William Harvey Research Institute, NIHR Barts Biomedical Research Centre, Queen Mary University of London(伦敦玛丽女王大学威廉·哈维研究所、NIHR 巴茨生物医学研究中心);Barts Heart Centre, St Bartholomew’s Hospital, Barts Health NHS Trust(巴茨心脏中心、圣巴塞洛缪医院、巴茨健康 NHS 信托);Department of Population Health Sciences, University of Leicester(莱斯特大学人口健康科学系);Department of Computer Science, Faculty of Science, University of Zakho(扎胡大学科学学院计算机科学系);Department of Engineering for Innovation Medicine, University of Verona(维罗纳大学创新医学工程系);Health Data Research UK(英国健康数据研究所);Alan Turing Institute(艾伦·图灵研究所)
本文以生物医学案例研究探讨SHAP和LIME两种可解释人工智能方法,揭示其解释结果易受机器学习模型选择和特征共线性影响,并据此提出解释框架与使用警示。
2024-06-17 cs.AI cs.LG stat.ML
VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry
Paul Wurth S.A.(保尔沃斯公司)
应用于生成数据驱动模型的机器学习缺乏透明度,导致过程工程师对依赖模型预测来优化其工业过程失去信心。使用数据驱动模型将行业流程提升到一定程度的自主性尤其具有挑战性,因为这些模型的第一个用户通常是拥有数十年经验的流程专家。有必要向过程工程师展示,不仅是模型预测,而且还有它们的可解释性。为此,文献中提出了几种方法。局部可解释模型不可知解释(LIME)方法最近引起了研究界的极大兴趣。该方法的原理是通过在局部随机生成人工数据点来训练一个局部逼近黑盒模型的线性模型。最近出现了基于LIME的模型不可知局部可解释性解决方案,以改进原始方法。在本文中,我们提出了一种新的方法,VAE-LIME,本地可解释的数据驱动模型预测的高炉生产的铁水温度。这样的炼铁过程数据的特征在于具有高度相关性的多变量时间序列,其代表高炉中的潜在过程。我们的贡献是使用变分自编码器(VAE)从数据中学习复杂的高炉过程特性。VAE旨在生成最佳人工样本以训练局部可解释模型,该局部可解释模型在由黑盒模型处理的输入样本的邻域中更好地表示黑盒模型以进行预测。与LIME相比,VAE-LIME显示出显着改善的局部可解释线性模型的局部保真度与黑盒模型,从而产生鲁棒的模型可解释性。
2020-07-15 cs.AI cs.LG stat.ML
Regional Explanations: Bridging Local and Global Variable Importance
J.P. Morgan AI Research(摩根大通人工智能研究院);LaMME, ENSIIE, University Paris Saclay(巴黎萨克雷大学ENSIIE LaMME实验室);Capgemini Invent(凯捷创新)
本文分析了局部归因方法Local Shapley Values和LIME的局限性,提出R-LOCO方法通过区域划分提升归因准确性,实现局部与全局解释的结合。
2026-04-13 cs.AI cs.LG stat.ML
On the Art and Science of Machine Learning Explanations
H2O.ai(H2O.ai公司)
本文讨论了几种流行的解释方法,这些方法超越了传统上用于评估机器学习模型的误差测量和绘图。一些解释方法是公认的贸易工具,而另一些则是严格推导出来的,并得到了长期理论的支持。这些方法,决策树代理模型,个人条件期望(ICE)图,局部可解释的模型不可知解释(LIME),部分依赖图和Shapley解释,在范围,保真度和合适的应用领域方面有所不同。除了对这些方法的描述外,本文还提供了由用例支持的实际使用建议,以及用于可重复性的公开、深入的软件示例。
2020-05-31 cs.LG stat.ML
DCENWCNet: A Deep CNN Ensemble Network for White Blood Cell Classification with LIME-Based Explainability
Amrita Vishwa Vidyapeetham(阿姆里塔维迪亚佩塔姆大学);Baylor College of Medicine(贝勒医学院)
DCENWCNet通过集成三种不同配置的CNN架构,结合LIME可解释性技术,提升了白血细胞分类的准确性和可解释性。
2026-03-03 cs.AI cs.CV q-bio.CB
Right for the Right Reasons: Training Differentiable Models by Constraining their Explanations
Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学保尔森工程与应用科学学院)
神经网络是当今使用的最准确的监督学习方法之一,但其不透明性使其在关键应用中难以信任,特别是当训练条件与测试条件不同时。最近关于解释黑箱模型的工作已经产生了工具(例如LIME)来显示预测背后的隐含规则,这可以帮助我们识别模型何时因为错误的原因而正确。然而,这些方法不能扩展到解释整个数据集,也不能纠正它们揭示的问题。我们介绍了一种有效地解释和正则化可微模型的方法,通过检查和选择性地惩罚它们的输入梯度,这提供了一个正常的决策边界。我们应用这些惩罚的基础上,专家注释和在一个无监督的方式,鼓励不同的模型与定性不同的决策边界相同的分类问题。在多个数据集上,我们证明了我们的方法可以生成忠实的解释和模型,当训练和测试之间的条件不同时,这些解释和模型可以更好地泛化。
2017-05-25 cs.AI cs.LG stat.ML
On the Granularity of Explanations in Model Agnostic NLP Interpretability
EPFL(洛桑联邦理工学院);AXA(安盛集团);Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Polish Academy of Science(波兰科学院)
当前的黑盒NLP可解释性方法,如LIME或SHAP,是基于通过删除单词和对黑盒响应进行建模来改变文本以进行解释。在本文中,我们概述了这种方法的局限性时,使用复杂的基于BERT的分类器:基于单词的采样产生的文本是分布的分类器,并进一步产生了一个高维的搜索空间,这不能充分探索时,时间或计算能力是有限的。这两个挑战都可以通过使用段作为NLP可解释性的基本构建块来解决。作为例证,我们表明,简单的句子选择大大提高了这两个挑战。因此,所得到的解释器在基准分类任务上获得了更好的保真度。
2022-08-08 cs.CL stat.ML