BayesGrad: Explaining Predictions of Graph Convolutional Networks
Kyoto University(京都大学);Preferred Networks, Inc.(Preferred Networks公司);University of Tsukuba(筑波大学)
图卷积网络的最新进展显著提高了化学预测的性能,提出了一个新的研究问题:“我们如何解释图卷积网络的预测?回答这个问题的一种可能方法是可视化负责预测的证据子结构。对于化学性质预测任务,训练数据的样本大小通常较小和/或发生标签不平衡问题,其中少数样本属于单个类别而大多数样本属于其它类别。这可能导致与机器学习模型的学习参数相关的不确定性。为了解决这种不确定性,我们提出贝叶斯Grad,利用贝叶斯预测分布,定义输入图中每个节点的重要性,这是有效地使用辍学技术计算。我们证明,贝叶斯Grad成功地可视化的子结构负责在人工实验中的标签预测,即使当样本量很小。此外,我们使用一个真实的数据集来评估可视化的有效性。BayesGrad的基本思想并不局限于图形结构的数据,也可以应用于其他数据类型。
2018-07-04 cs.LG stat.ML
"Why Should I Trust You?": Explaining the Predictions of Any Classifier
University of Washington(华盛顿大学)
尽管被广泛采用,但机器学习模型仍然主要是黑箱。然而,了解预测背后的原因对于评估信任非常重要,如果一个人计划根据预测采取行动,或者选择是否部署新模型,这是至关重要的。这种理解还提供了对模型的洞察,可以用来将不可信的模型或预测转换为可信的模型或预测。在这项工作中,我们提出了LIME,一种新的解释技术,通过在预测周围局部学习可解释的模型,以可解释和忠实的方式解释任何分类器的预测。我们还提出了一种解释模型的方法,通过以非冗余的方式呈现代表性的个人预测及其解释,将任务框架为子模块优化问题。我们通过解释文本(例如随机森林)和图像分类(例如神经网络)的不同模型来展示这些方法的灵活性。我们通过新的实验,模拟和人类受试者,在各种需要信任的情况下显示解释的效用:决定是否应该信任预测,在模型之间进行选择,改进不值得信任的分类器,并确定为什么分类器不应该被信任。
2016-08-09 cs.AI cs.LG stat.ML
Contextual Prediction Difference Analysis for Explaining Individual Image Classifications
University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
近年来,人们一直致力于理解深度神经网络的决策。许多模型感知的显着性方法被提出来解释个人的分类决策,通过创建显着性图。然而,当基础模型的参数和梯度不可用时,它们不适用。最近,模型不可知的方法也受到关注。作为其中之一,提出了概率声方法\textit{Prediction Difference Analysis}(PDA)。在这项工作中,我们首先表明,PDA可以遭受饱和分类器。在现有的基于神经网络的分类器中,普遍存在分类器饱和现象.为了更好地解释饱和分类器的决策,我们进一步提出了上下文PDA,它的运行速度比PDA快数百倍。实验表明,我们的方法的优越性,通过解释国家的最先进的深卷积神经网络的图像分类。
2020-06-06 cs.CV cs.LG stat.ML
Explaining Predictions of Non-Linear Classifiers in NLP
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学)
分层相关传播(LRP)是最近提出的一种技术,用于解释复杂的非线性分类器的预测输入变量。本文首次将LRP应用于自然语言处理(NLP)。更准确地说,我们用它来解释在主题分类任务上训练的卷积神经网络(CNN)的预测。我们的分析突出了哪些词与CNN的特定预测相关。我们比较我们的技术标准的灵敏度分析,定性和定量,使用“字删除”扰动实验,PCA分析,和各种可视化。所有的实验都验证了LRP用于解释CNN预测的适用性,这也与最近图像分类研究中报道的结果一致。
2016-06-23 cs.CL cs.IR cs.LG
Explaining individual predictions when features are dependent: More accurate approximations to Shapley values
Norwegian Computing Center(挪威计算中心)
解释复杂或看似简单的机器学习模型是一个重要的实际问题。我们希望通过学习简单、可解释的解释来解释复杂机器学习模型中的单个预测。Shapley值是一个博弈论的概念,可以用于此目的。Shapley值框架具有一系列理想的理论性质,原则上可以处理任何预测模型。Kernel SHAP是一种计算效率很高的高维Shapley值近似。像其他几种现有的方法一样,这种方法假设特征是独立的,这可能会给出非常错误的解释。即使使用简单的线性模型进行预测,情况也是如此。在本文中,我们扩展了核SHAP方法来处理依赖功能。我们提供了几个例子的线性和非线性模型与不同程度的功能依赖,我们的方法给出了更准确的逼近真实Shapley值。我们还提出了一种方法,用于聚合个人Shapley值,这样的预测可以解释的因变量组。
2020-02-06 cs.LG stat.ME stat.ML
timeXplain -- A Framework for Explaining the Predictions of Time Series Classifiers
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);Faculty of Computer Science, University of Vienna(维也纳大学计算机学院);Humboldt University of Berlin(柏林洪堡大学)
针对时间序列分类器决策黑盒问题,提出 timeXplain 框架,结合 SHAP 等模型无关解释器并设计新颖领域映射,将可解释AI扩展至时间序列分类与值预测,且通过新评估指标验证了其解释能力与局限。
2023-11-20 cs.LG stat.ML
Representer Point Selection for Explaining Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
我们建议通过指向训练集中我们称之为代表点的集合来解释深度神经网络的预测,对于给定的测试点预测。具体来说,我们可以将神经网络的预激活预测分解为训练点激活的线性组合,权重对应于我们称之为代表值的值,从而捕获该训练点对网络学习参数的重要性。但它提供了对网络的更深入的理解,而不仅仅是训练点的影响:正代表值对应于兴奋性训练点,负值对应于抑制点,正如我们所展示的那样,这提供了更多的洞察力。我们的方法也更具可扩展性,允许以影响函数不可行的方式进行实时反馈。
2018-11-23 cs.LG stat.ML
Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic
Chiba Institute of Technology(千叶工业大学);ZOZO Research(ZOZO研究院)
本文提出一种方法,通过任务算术框架将自解释模型的视觉解释能力转移到仅预测模型中,无需额外训练,从而提升目标域的解释质量。
2026-11-10 cs.AI cs.CV cs.LG
A causal framework for explaining the predictions of black-box sequence-to-sequence models
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
我们解释任何黑箱结构的输入-输出模型的预测围绕一个特定的输入-输出对。我们的方法返回一个由因果关系相关的输入-输出标记组组成的“解释”。这些依赖关系是通过用扰动输入查询黑盒模型,从响应中生成令牌图,并解决分区问题以选择最相关的组件来推断的。我们专注于序列到序列问题的一般方法,采用变分自编码器产生有意义的输入扰动。我们在几个NLP序列生成任务中测试我们的方法。
2017-11-14 cs.LG
An Adversarial Approach for Explaining the Predictions of Deep Neural Networks
Modzy(Modzy公司)
机器学习模型已经成功地应用于广泛的应用,包括计算机视觉、自然语言处理和语音识别。然而,这些模型的成功实现通常依赖于深度神经网络(DNN),由于其不可理解的复杂性和复杂的内部机制,DNN被视为不透明的黑箱系统。在这项工作中,我们提出了一种新的算法,用于解释使用对抗机器学习的DNN的预测。我们的方法识别输入特征与基于DNN上的对抗攻击的行为的预测的相对重要性。我们的算法具有快速,一致,易于实现和解释的优点。我们提出了详细的分析,演示了给定DNN和任务的对抗攻击的行为如何在任何输入测试数据点上保持一致,证明了我们方法的通用性。我们的分析使我们能够产生一致和有效的解释。我们通过使用各种DNN,任务和数据集进行实验来说明我们方法的有效性。最后,我们将我们的工作与当前文献中的其他知名技术进行比较。
2020-09-28 cs.AI cs.LG stat.ML
"Why Should I Trust Interactive Learners?" Explaining Interactive Queries of Classifiers to Users
KU Leuven(鲁汶大学);TU Darmstadt(达姆施塔特工业大学)
虽然交互式学习将用户置于循环中,但学习者对用户来说仍然是一个黑盒子。了解查询和预测背后的原因在评估学习者如何工作以及信任时非常重要。因此,我们提出了新的解释性交互式学习框架:在每一步中,学习者解释其交互式查询的用户,她查询的任何积极的分类可视化解释相应的预测。我们证明,这可以提高预测和解释能力和信任的学习模型,使用文本(例如SVM)和图像分类(例如神经网络)实验以及用户研究。
2018-05-22 cs.LG stat.ML
Towards Modeling Uncertainties of Self-explaining Neural Networks via Conformal Prediction
Iowa State University(爱荷华州立大学);Pennsylvania State University(宾夕法尼亚州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文为自解释神经网络设计了一个新颖的不确定性建模框架,利用共形预测在解释层提供无分布不确定性量化,并基于高层基础解释生成高效的最终预测集,同时建立两层置信度之间的联系,理论分析与实验均验证了其有效性。
2024-01-03 cs.LG
Explaining and Harnessing Adversarial Examples
Google Inc.(谷歌公司)
几个机器学习模型,包括神经网络,一贯错误分类对抗性的例子--通过对数据集中的例子施加小的但故意的最坏情况的扰动而形成的输入,使得扰动的输入导致模型输出具有高置信度的错误答案。早期试图解释这一现象的重点是非线性和过拟合。相反,我们认为神经网络对对抗性扰动的脆弱性的主要原因是它们的线性性质。这一解释得到了新的定量结果的支持,同时给出了关于它们最有趣的事实的第一个解释:它们在架构和训练集上的泛化。此外,这种观点产生了一种简单而快速的生成对抗性示例的方法。使用这种方法为对抗训练提供示例,我们减少了MNIST数据集上maxout网络的测试集错误。
2015-03-20 cs.LG stat.ML
Explaining Explanations: Axiomatic Feature Interactions for Deep Networks
University of Washington(华盛顿大学)
最近的工作在解释神经网络行为方面显示了巨大的希望。特别是,特征归因方法解释了哪些特征对模型对给定输入的预测最重要。然而,对于许多任务,仅仅知道哪些特征对模型的预测很重要可能无法提供足够的洞察力来理解模型的行为。模型中特征之间的相互作用不仅可以帮助我们更好地理解模型,还可以帮助我们理解为什么某些特征比其他特征更重要。在这项工作中,我们提出了集成Hessians,扩展的集成子,解释成对的功能相互作用的神经网络。集成Hessians克服了先前方法的几个理论限制来解释相互作用,并且与这些先前方法不同的是,集成Hessians不限于特定的架构或神经网络类。此外,我们发现,我们的方法比现有的方法更快,当功能的数量很大,并优于现有的定量基准以前的方法。代码可在https://github.com/suinleelab/path_explain获得
2020-06-30 cs.LG stat.ML
Explaining GNN over Evolving Graphs using Information Flow
BUPT(北京邮电大学);Lehigh University(理海大学)
图在许多应用中是普遍存在的,诸如社交网络、知识图谱、智能电网等。图神经网络(GNN)是这些应用的当前最先进技术,但对人类来说仍然是模糊的。解释GNN预测可以增加透明度。然而,由于许多图不是静态的,而是不断发展的,因此解释两个图快照之间的预测变化是不同的,但同样重要。现有方法仅解释静态预测或生成用于动态预测的粗略或不相关的解释。我们定义了解释不断发展的GNN预测的问题,并提出了一个公理化的属性方法,唯一地分解预测的变化到计算图上的路径。涉及高度节点的许多路径的属性仍然无法解释,而简单地选择最重要的路径可能在近似变化方面是次优的。我们制定了一个新的凸优化问题,以最佳地选择解释预测演化的路径。理论上,我们证明了现有的基于层相关传播(LRP)的方法是所提出的算法的一个特殊情况下,空图相比。从经验上讲,在七个图形数据集上,使用一种用于评估预测变化解释的新度量,我们证明了所提出的方法优于现有方法,包括LRP,DeepLIFT和其他路径选择方法。
2021-11-19 cs.AI cs.LG cs.SI
Explaining Predictions by Approximating the Local Decision Boundary
Jheronimus Academy of Data Science(杰罗尼姆斯数据科学学院);University of Amsterdam(阿姆斯特丹大学);Tilburg University(蒂尔堡大学);Eindhoven University of Technology(埃因霍温理工大学)
为不透明的机器学习模型构建准确的模型不可知解释仍然是一项具有挑战性的任务。高维数据(如图像)的分类模型通常本质上是复杂的。为了降低这种复杂性,可以在本地解释各个预测,或者根据更简单的本地代理模型,或者通过传达预测如何与另一类的预测进行对比。然而,现有的方法在以下方面仍然不足:a)它们使用(欧几里德)度量,这对于非线性高维数据没有意义;或者b)它们不试图解释决策边界,这是针对分类精度优化的分类器的最相关特性;或者c)它们不给予用户指定对他们有意义的属性的任何自由。我们解决了这些问题,在一个新的局部决策边界近似(DBA)的程序。为了构造有意义的度量,我们训练变分自编码器来学习编码数据表示的欧几里得潜在空间。我们施加解释性利用属性注释映射的潜在空间的属性是有意义的用户。评估可解释性方法的一个困难是缺乏基础事实。我们通过引入一个新的基准数据集与人工生成的虹膜图像,并表明我们可以恢复本地确定类的潜在属性来解决这个问题。我们进一步评估我们的方法在表格数据和CelebA图像数据集。
2020-10-22 cs.LG stat.ML
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research(摩根大通人工智能研究院)
本文提出ShapShift方法,通过可解释子组的条件Shapley值解释模型预测变化,适用于决策树和集成模型,提供简单且可信的解释,帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
A Hilbert-Valued Functional Decomposition Framework for Explaining Time-Dependent Outputs
Leibniz Institute for Prevention Research and Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所——BIPS);University of Bremen(不来梅大学)
针对时变输出解释中忽略输出分量依赖的问题,提出将函数分解推广至Hilbert值预测函数的统一解释框架,引入基于核的输出表示以支持多时间粒度解释,并在金融波动率与能源需求预测中验证。
2026-09-15 cs.LG stat.ML
Consistent Sufficient Explanations and Minimal Local Rules for explaining regression and classification models
LaMME(LaMME实验室);University Paris Saclay(巴黎萨克雷大学);Stellantis(斯泰兰蒂斯);ENSIIE(法国国立高等工业工程学院);Quantmetry(Quantmetry公司)
为了解释任何模型的决策,我们扩展了概率充分假设(P-SE)的概念。对于每个实例,该方法选择足以以高概率产生相同预测的特征的最小子集,同时去除其他特征。P-SE的关键是计算保持相同预测的条件概率。因此,我们引入了一个准确和快速的估计,通过随机森林的任何数据$(\boldsymbol{X}, Y)$,并通过其一致性的理论分析,显示其效率。因此,我们将P-SE扩展到回归问题。此外,我们处理非离散特征,而不需要学习$\boldsymbol{X}$的分布,也不需要进行预测的模型。最后,我们介绍了基于P-SE的回归/分类的基于局部规则的解释,并将我们的方法与其他可解释的AI方法进行了比较。这些方法在\url{www.github.com/salimamoukou/acv00}上作为Python包提供。
2022-10-14 cs.LG stat.ML
Explaining the Predictions of Any Image Classifier via Decision Trees
Lenovo Research(联想研究院);University of Chinese Academy of Sciences(中国科学院大学)
尽管深度学习模型对人工智能(AI)的重大进展做出了突出贡献,但大多数仍然是黑箱,其推理过程和预测结果的可解释性非常弱。可解释性不仅是人工智能与社会之间的门户,也是检测模型缺陷和数据偏差的强大工具。局部可解释模型不可知解释(LIME)是最近的一种方法,它使用可解释模型来形成对单个预测结果的局部解释。LIME的当前实现采用线性回归作为其可解释函数。然而,由于受到限制并且通常过度简化关系,线性模型在特征和预测结果之间存在非线性关联和相互作用的情况下失败。本文实现了一种基于决策树的LIME方法,该方法使用决策树模型来形成局部忠实于原始模型的可解释表示。Tree-LIME方法可以捕获数据中特征之间的非线性相互作用,并创建合理的解释。各种实验表明,Tree-LIME对多个黑盒模型的解释在可理解性、保真度和效率方面可以实现更可靠的性能。
2020-02-10 cs.AI cs.LG stat.ML
Explaining Reject Options of Learning Vector Quantization Classifiers
Bielefeld University(比勒费尔德大学)
虽然机器学习模型通常被假设总是输出预测,但也存在拒绝选项形式的扩展,允许模型拒绝输入,其中只有具有不可接受的低确定性的预测是可能的。随着可解释人工智能的不断兴起,已经开发了许多解释模型预测的方法。然而,理解为什么一个给定的输入被拒绝,而不是被模型分类,也是有意义的。令人惊讶的是,迄今为止尚未考虑拒绝的解释。我们建议使用反事实的解释解释拒绝和调查如何有效地计算反事实的解释不同的拒绝选项的一类重要的模型,即基于原型的分类器,如学习矢量量化模型。
2022-02-15 cs.AI cs.LG
Explaining a probabilistic prediction on the simplex with Shapley compositions
Laboratoire Informatique d’Avignon, Avignon Université, France(阿维尼昂信息实验室,阿维尼昂大学,法国);University of Bristol, United Kingdom(布里斯托大学,英国)
本文引入Shapley组合,利用成分数据分析的Aitchison几何,为多类概率预测提供了一种基于公理的解释方法。
2026-06-25 cs.GT cs.LG
Reverse Survival Model (RSM): A Pipeline for Explaining Predictions of Deep Survival Models
Ortho Biomed Inc.(奥索生物医学公司);University of Toronto(多伦多大学);Worcester Polytechnic Institute (WPI)(伍斯特理工学院(WPI));University Health Network(大学健康网络)
在医疗保健中,生存分析的目的是估计事件发生的概率,例如患者在重症监护室(ICU)中的死亡。深度神经网络(DNN)的生存分析的最新发展表明,这些模型的优越性相比,其他知名的模型在生存分析应用。确保在医疗保健中部署的深度生存模型的可靠性和可解释性是必要的。由于DNN模型通常表现得像一个黑匣子,因此临床医生可能不容易相信它们的预测,特别是当预测与医生的意见相反时。一个解释和证明其决策过程的深度生存模型可能会获得临床医生的信任。在这项研究中,我们提出了反向生存模型(RSM)的框架,提供了详细的见解生存模型的决策过程。对于每个感兴趣的患者,RSM可以从数据集中提取相似的患者,并根据深度生存模型依赖于其预测的最相关特征对其进行排名。
2022-10-27 cs.AI cs.LG stat.ML
Understanding Patch-Based Learning by Explaining Predictions
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
深度网络能够学习视频数据的高度预测模型。由于视频长度的原因,一个常见的策略是用小视频片段对他们进行训练。我们应用深度Taylor / LRP技术来理解深度网络的分类决策,并识别出“边界效应”:分类器主要关注输入的边界帧的趋势。这种效果与用于构建视频片段的步长有关,然后我们可以调整步长以提高分类器的准确性,而无需重新训练模型。据我们所知,这是第一个将深度Taylor / LRP技术应用于任何视频分析神经网络的工作。
2018-06-11 cs.CV cs.LG cs.NE
Explaining Predictions from Tree-based Boosting Ensembles
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
了解“黑盒”模型如何得出预测结果已经引起了人工智能社区内外的极大兴趣。我们的工作重点是通过生成关于基于树的集合的个体预测的本地解释来实现这一点,特别是梯度提升决策树(GBDTs)。给定训练集中一个正确预测的实例,我们希望为这个实例生成一个反事实的解释,也就是说,这个实例的最小扰动使得预测翻转到相反的类。大多数现有的反事实解释方法是(1)模型不可知的,因此它们不考虑原始模型的结构,和/或(2)涉及在原始模型之上构建代理模型,这不能保证准确地表示原始模型。存在一种专门用于随机森林的方法;我们希望将此方法扩展到GBDTs。这涉及到(1)树之间的顺序依赖性和(2)在负梯度而不是原始标签上进行训练。
2019-07-04 cs.AI cs.IR cs.LG
Predicting and explaining nonlinear material response using deep Physically Guided Neural Networks with Internal Variables
University of Zaragoza(萨拉戈萨大学);Aragon Institute of Engineering Research(阿拉贡工程研究所)
本文提出用带内部变量的物理引导神经网络(PGNNIV)仅凭力-位移数据无模型地发现材料本构定律,并证明其能在未知载荷下预测内外部变量、解释材料性质,属于可解释人工智能方法。
2023-08-07 cs.LG physics.comp-ph
WheaCha: A Method for Explaining the Predictions of Models of Code
Nanjing University(南京大学);Visa Research(Visa研究院)
归因方法已经成为一种流行的方法来解释模型预测的基础上输入功能的相关性。虽然特征重要性排名可以提供模型如何从原始输入中得出预测的见解,但它们并没有明确定义模型用于预测的关键特征。在本文中,我们提出了一种新的方法,称为WheaCha,用于解释代码模型的预测。虽然WheaCha采用了相同的机制,将模型预测追溯到输入特征,但它在关键方面不同于所有现有的归因方法。具体来说,WheaCha将输入程序划分为“小麦”(即,作为模型预测它们预测的标签的原因的定义特征)以及用于学习的代码模型的任何预测的其余“干扰物”。我们在工具HuoYan中实现了WheaCha,并使用它来解释四种主要的代码模型:code 2 vec,seq-GNN,GGNN和CodeBERT。结果显示(1)HuoYan是高效的-以端到端的方式(即,包括模型预测时间);(2)所有模型用来预测输入程序的小麦由简单的句法或甚至词汇属性组成(即,(3)基于小麦,我们提出了一种通过训练数据来解释编码模型预测的新方法。
2022-07-12 cs.LG cs.PL cs.SE
Progressive Inference: Explaining Decoder-Only Sequence Classification Models Using Intermediate Predictions
JPMorganChase AI Research(摩根大通人工智能研究院)
本文提出Progressive Inference框架,利用仅解码器Transformer的中间预测计算输入归因,包含SP-PI和MP-PI两种方法,显著提升了序列分类模型的解释性。
2024-06-03 cs.AI cs.LG stat.ML
Explaining Machine Learning Models using Entropic Variable Projection
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Artificial and Natural Intelligence Toulouse Institute (3IA ANITI)(图卢兹人工智能与自然智能研究所(3IA ANITI));Institut de recherche en informatique de Toulouse(图卢兹计算机科学研究所)
在本文中,我们提出了一种新的可解释性形式主义,旨在阐明测试集的每个输入变量如何影响机器学习模型的预测。因此,我们提出了一个组的可解释性形式主义的训练机器学习决策规则,根据其响应的输入变量分布的变化。为了强调每个输入变量的影响,这种形式主义使用信息理论框架,量化的熵预测的基础上的所有输入输出观测的影响。因此,这是第一个统一的模型不可知形式主义,使数据科学家能够解释输入变量之间的依赖关系,它们对预测误差的影响,以及它们对输出预测的影响。在大样本的情况下,熵投影的收敛速度。最重要的是,我们证明了在我们的框架中计算解释具有较低的算法复杂度,使其可扩展到现实生活中的大型数据集。我们通过解释使用XGBoost、随机森林或深度神经网络分类器在各种数据集上学习的复杂决策规则来说明我们的策略,这些数据集包括Adult Income、MNIST、CelebA、Boston Housing、Iris以及合成数据集。最后,我们明确了它与基于单一观察的可解释性策略LIME和SHAP的区别。可以使用免费分发的Python工具箱https://gems-ai.aniti.fr/复制结果。
2022-08-11 cs.LG stat.ML
Explaining predictive models with mixed features using Shapley values and conditional inference trees
Norwegian Computing Center(挪威计算中心)
解释复杂的黑箱机器学习模型变得越来越重要。虽然关于这个主题的文献越来越多,但Shapley值作为解释任何类型的机器学习模型预测的合理方法脱颖而出。用于预测解释的Shapley值的最初发展依赖于所描述的特征是独立的假设。然后扩展该方法以解释具有基础连续分布的相关特征。在本文中,我们提出了一种方法来解释混合(即连续的,离散的,有序的,和分类)依赖的功能,通过建模的依赖结构的功能,使用条件推理树。我们证明了我们提出的方法对目前的行业标准在各种模拟研究,发现我们的方法往往优于其他方法。最后,我们将我们的方法应用于2018年FICO可解释机器学习挑战赛中使用的真实财务数据集,并展示我们的解释与FICO挑战赛认可奖获奖团队的比较。
2020-07-02 cs.LG stat.ML
A Model Explanation System: Latest Updates and Extensions
Northrop Grumman Corporation(诺斯罗普·格鲁曼公司)
我们提出了一个通用的模型解释系统(MES)的“解释”的黑盒分类器的输出。本文描述了Turner(2015)的扩展,该扩展在文中经常提到。我们使用一个激励性的例子,训练分类器来检测信用卡交易历史中的欺诈行为。关键的一点是,我们提供了适用于单个预测的解释,而不是提供一组可解释的参数。我们专注于解释积极的预测(警报)。然而,所提出的方法是对称地适用于负面的预测。
2016-06-30 cs.LG stat.ML
Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection
University of Southern California(南加州大学);Facebook AI(脸书人工智能研究院)
推荐是机器学习的一个普遍应用,影响着许多用户,因此,推荐模型的准确性和可解释性是很重要的。在这项工作中,我们提出了一种方法来解释和增强黑盒推荐系统的预测。特别是,我们建议从源推荐模型中解释特征交互,并在目标推荐模型中显式编码这些交互,其中源和目标模型都是黑盒。通过不假设推荐系统的结构,我们的方法可以在一般情况下使用。在我们的实验中,我们专注于机器学习推荐的一个突出用途:广告点击预测。我们发现,我们的相互作用的解释是既信息和预测,例如,显著优于现有的推荐模型。更重要的是,解释交互的相同方法可以提供对领域的新见解,甚至超越推荐,例如文本和图像分类。
2020-06-19 cs.LG stat.ML
NormLime: A New Feature Importance Metric for Explaining Deep Neural Networks
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
解释深度学习模型和模型预测的问题最近引起了人们的浓厚兴趣。许多成功的方法放弃了全局近似,以提供更忠实的局部解释模型的行为。LIME开发了多个可解释的模型,每个模型在数据流形的一个小区域上近似一个大的神经网络,SP-LIME聚合局部模型以形成全局解释。扩展这条研究路线,我们提出了一个简单而有效的方法,NormLIME聚合局部模型到全球和类特定的解释。一项人类用户研究强烈支持由NormLIME创建的特定于类的解释,而不是其他特征重要性度量。数值实验证实,NormLIME是有效的识别重要特征。
2019-10-15 cs.LG stat.ML
Self-Explaining Hypergraph Neural Networks for Diagnosis Prediction
Rice University(里士大学);Duke University(杜克大学)
本文提出自解释超图神经网络模型SHy,通过将患者建模为超图并利用消息传递机制捕获高阶疾病交互与时间表型,提供个性化且可干预的解释,在真实数据集上性能优于现有模型。
2025-05-01 cs.AI cs.LG
Explaining the Behavior of Black-Box Prediction Algorithms with Causal Learning
Sani Analytics;Department of Biostatistics, Columbia University(生物统计学系,哥伦比亚大学);Department of Computer Science, Johns Hopkins University(计算机科学系,约翰霍普金斯大学)
提出学习允许特征间存在未测量混杂的因果图表示方法,用于在仅能查询模型输出的黑盒场景下,区分因果影响预测的可解释特征与仅因混杂相关的特征。
2025-08-08 cs.AI cs.LG stat.ML
Learning the greatest common divisor: explaining transformer predictions
Meta AI
本研究通过分析输入输出,揭示了小型Transformer学习最大公约数时的内部机制,发现其预测基于一个整数列表,且训练分布显著影响性能与可解释性。
2024-03-14 cs.AI cs.LG
Self-explaining Neural Network with Concept-based Explanations for ICU Mortality Prediction
Department of Computer Science and Engineering, Washington University in St. Louis, St. Louis, MO, USA(计算机科学与工程系,华盛顿大学圣路易斯分校);Institute for Informatics, Washington University School of Medicine, St. Louis, MO, USA(信息学院,华盛顿大学医学学院);Department of Anaesthesiology, Washington University School of Medicine, St. Louis, MO, USA(麻醉学系,华盛顿大学医学学院);Department of Pulmonary Critical Care and Medicine, Washington University School of Medicine, St. Louis, MO, USA(呼吸科重症医学系,华盛顿大学医学学院)
本文提出了一种基于概念的自解释神经网络,用于ICU患者死亡率预测,通过联合训练生成解释和预测,提升模型的可解释性与预测性能。
2022-11-17 cs.LG
Explaining the Success of Nearest Neighbor Methods in Prediction
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
该专著从理论(非渐近统计保证)与实践(近似近邻搜索等)层面解释近邻预测方法的成功,还探讨距离学习关联及三类场景下聚类结构对预测的作用。
2025-02-21 cs.LG stat.ML
Explaining Temporal Graph Predictions With Shapley Values
Paderborn University(帕德博恩大学)
本文提出两种基于Shapley和Owen值的模型无关解释器,用于解释TGNNs的局部预测,揭示事件和特征的层次依赖关系,并在不同指标和数据集上优于现有解释器。
2026-04-27 cs.LG
Explaining Deep Graph Networks with Molecular Counterfactuals
University of Pisa(比萨大学)
我们提出了一种新的方法来解决分子性质预测任务中深度图网络的可解释性,称为MEG(分子解释生成器)。我们生成信息反事实的解释下的一个特定的预测的形式(有效)化合物具有高的结构相似性和不同的预测属性。我们讨论了初步结果,显示了该模型如何传达非ML专家对分子附近的学习模型焦点的关键见解。
2020-11-09 cs.LG q-bio.QM
Explaining Neural Network Predictions for Functional Data Using Principal Component Analysis and Feature Importance
Sandia National Laboratories(桑迪亚国家实验室)
从爆炸录像中提取的光谱-时间特征为识别相应爆炸装置的特征提供了信息。目前,识别是使用启发式算法和直接主题专家审查。通过使用机器学习可以获得预测性能的改进,但是这种应用适合于高后果的国家安全决策,因此不仅重要的是提供高准确性,而且还重要的是对预测进行清晰的解释,以获得对模型的信心。虽然已经做了很多工作来开发用于机器学习模型的可解释性方法,但是没有太多的工作集中在具有功能数据形式的输入变量的情况下,例如光谱-时间签名。我们提出了一个程序来解释机器学习模型适合使用功能数据,占功能性质的数据。我们的方法使用功能主成分分析(fPCA)和置换特征重要性(PFI)。fPCA用于转换函数以创建不相关的函数主成分(fPC)。该模型使用fPC作为输入进行训练,并应用PFI来识别对模型重要的fPC以进行预测。可视化被用来解释的变化被发现是重要的PFI,以确定方面的功能,是重要的预测的fPC解释。我们通过解释神经网络适合爆炸光学光谱-时间特征来预测爆炸装置的特性来演示该技术。
2020-10-15 cs.LG eess.SP
Explaining Risks: Axiomatic Risk Attributions for Financial Models
Duke Kunshan University(杜克-昆山大学)
本文针对金融机器学习模型的可解释性需求,提出通过扩展 Shapley value 框架进行公理化风险归因,以公平分配各特征对模型风险的贡献。
2025-06-07 cs.LG q-fin.CP stat.ML
Grad-SAM: Explaining Transformers via Gradient Self-Attention Maps
The Open University(开放大学);IDC Herzeliya(赫兹利亚跨学科研究中心);Bar-Ilan University(巴伊兰大学);Microsoft(微软);Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
基于transformer的语言模型在许多语言任务中显著地推进了最先进的技术。随着这场革命的继续,解释模型预测的能力已经成为NLP社区感兴趣的主要领域。在这项工作中,我们提出了梯度自注意力地图(Grad-SAM)-一种新的基于梯度的方法,分析自注意力单位,并确定输入元素,解释模型的预测最好的。对各种基准的广泛评估表明,Grad-SAM比最先进的替代品有了显着的改进。
2022-04-23 cs.LG
Multi-Granular Text Encoding for Self-Explaining Categorization
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心);Westlake University(西湖大学);Tencent AI Lab(腾讯人工智能实验室)
自解释文本分类需要一个分类器进行预测,并提供支持证据。一种流行的证据类型是从输入文本中提取的子序列,这些子序列足以让分类器进行预测。在这项工作中,我们定义了多粒度的ngrams作为解释的基本单元,并将所有的ngrams组织成一个层次结构,以便在计算较长的ngrams时可以重用较短的ngrams。我们利用树结构的LSTM通过参数共享来学习每个单元的上下文无关表示。医学疾病分类实验表明,我们的模型比BiLSTM和CNN基线更准确,更高效,更紧凑。更重要的是,我们的模型可以提取直观的多粒度证据来支持其预测。
2019-07-19 cs.CL cs.LG
Delta-XAI: A Unified Framework for Explaining Prediction Changes in Online Time Series Monitoring
AITRICS;KAIST(韩国科学技术院);Sungkyunkwan University(全北大学)
本文提出Delta-XAI框架,通过封装函数适配14种XAI方法,并引入在线环境下的评估套件,解决时间序列模型解释中的时间依赖性和在线动态挑战,实验显示SWING方法在多种指标上表现优异。
2026-04-25 cs.AI cs.LG
Towards Few-shot Self-explaining Graph Neural Networks
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
针对现有自解释图神经网络依赖大量训练数据、无法适配少样本场景的问题,本文提出融合元学习的两阶段自解释框架MSE-GNN,在四个数据集上实现了更优的预测性能与高质量解释生成。
2024-08-14 cs.AI cs.LG
Explaining Time Series Classification Predictions via Causal Attributions
IEEE
本研究针对可解释AI中归因方法多依赖关联而非因果的问题,提出一种模型无关的时间序列分类因果归因方法,结合扩散模型与状态空间模型估计反事实,验证了因果与关联归因的差异,揭示了仅用关联归因的风险。
2025-11-19 cs.AI cs.LG stat.ML
On the Limit of Explaining Black-box Temporal Graph Neural Networks
University of Florida(佛罗里达大学)
时间图神经网络(TGNN)由于其在建模时间演化图相关任务方面的能力,近年来受到了广泛的关注。与图神经网络类似,由于其黑箱性质,解释TGNN做出的预测也是不平凡的。在GNN中解决这个问题的一个主要方法是通过分析模型对模型输入的一些扰动的响应,称为基于扰动的解释方法。虽然这些方法方便灵活,因为它们不需要内部访问模型,但这种缺乏内部访问的情况是否会阻止它们揭示预测的一些重要信息?基于这个问题,本文研究了几类基于微扰的解释方法的极限。特别是,通过构建一些特定的实例的TGNNs,我们表明(i)节点扰动不能可靠地识别进行预测的路径,(ii)边扰动是不可靠的,在确定所有节点的预测和(iii)扰动节点和边不可靠地帮助我们识别图的组件进行时间聚集的TGNNs。
2022-12-02 cs.LG
Explaining neural network predictions of material strength
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
我们最近开发了一种深度学习方法,可以通过查看材料晶体的扫描电子显微镜(SEM)图像来确定材料的临界峰值应力。然而,目前还不清楚网络在进行预测时会关闭什么样的图像特征。在计算机视觉中,通常使用可解释的AI显着图来告诉人们图像的哪些部分对网络的决策很重要。人们通常可以通过观察这些显著的位置来推断出重要的特征。然而,晶体的SEM图像对人类观察者来说比自然图像照片更抽象。因此,很难判断哪些特征在最显著的位置上是重要的。为了解决这个问题,我们开发了一种方法,可以帮助我们将SEM图像中重要位置的特征映射到更容易解释的非抽象纹理。
2021-11-05 cs.CV cs.LG eess.IV
AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Irvine(加州大学欧文分校)
神经NLP模型越来越准确,但不完美和不透明-它们以违反直觉的方式打破,并让最终用户对其行为感到困惑。模型解释方法通过为特定的模型预测提供解释来改善这种不透明性。不幸的是,现有的解释代码库使这些方法难以应用于新的模型和任务,这阻碍了从业者的采用,并给可解释性研究人员带来负担。我们介绍AllenNLP Interpret,一个用于解释NLP模型的灵活框架。该工具包提供了解释原语(例如,输入梯度),一套内置的解释方法,以及一个前端可视化组件库。我们通过对五种解释方法(例如,显著图和对抗攻击)对各种模型和任务(例如,使用BERT的掩蔽语言建模和使用Biodog的阅读理解)。这些演示以及我们的代码和教程都可以在https://allennlp.org/interpret上找到。
2019-09-19 cs.CL cs.LG
TwinExplainer: Explaining Predictions of an Automotive Digital Twin
Mississippi State University(密西西比州立大学)
车辆是复杂的网络物理系统(CPS),其在各种环境中运行,并且一个或多个子系统(诸如发动机、变速器、制动器和燃料)的故障的可能性可导致计划外的停机时间并产生高维护或修理成本。为了防止这些问题,持续监控各个子系统的健康状况并识别异常传感器通道行为至关重要。数据驱动的数字孪生(DT)系统能够完成这样的任务。当前的DT技术利用各种深度学习(DL)技术,这些技术受到缺乏对其预测的理由或解释的限制。这些不透明系统的这种无能可能会影响决策,并引发用户信任问题。本文提出了一个解决方案,其中TwinExplainer系统,其三层架构管道,解释了汽车DT的预测。这样的系统可以帮助汽车利益相关者了解传感器通道的全球规模以及它们如何对通用DT预测做出贡献。TwinExplainer还可以可视化DT计算的正常和异常局部预测的解释。
2023-02-01 cs.AI cs.CY cs.LG
Explainable Student Performance Prediction With Personalized Attention for Explaining Why A Student Fails
School of Computer Science (National Pilot Software Engineering School)(计算机科学学院(国家示范性软件工程学院));Beijing University of Posts and Telecommunications(北京邮电大学)
随着高等教育中学生不及格率的不断增加,预测学生在下学期的表现已成为一个重要的需求。个性化的学生表现预测有助于教育工作者全面了解学生状况,并提前进行有效干预。然而,现有的研究很少考虑教育工作者最关心的学生成绩预测的可解释性。在本文中,我们提出了一种新的可解释的学生成绩预测方法与个性化注意(ESPA)利用学生档案中的关系和相关课程的先验知识。所设计的双向长短期记忆(BiLSTM)结构提取具有特定模式的路径中的语义信息。在利用相似路径的内在联系方面,提出了一种局部和全局的注意力机制,以区分不同学生或课程对预测的影响。因此,有效的推理路径可以应用于预测学生的表现。ESPA在学生成绩预测方面始终优于其他最先进的模型,并且结果可以直观地解释。这项工作可以帮助教育工作者更好地了解行为对学生学习的不同影响。
2021-10-15 cs.AI cs.CY cs.LG
NeuroMask: Explaining Predictions of Deep Neural Networks through Mask Learning
UCLA(加州大学洛杉矶分校);UCL(伦敦大学学院)
深度神经网络(DNN)在许多图像识别和理解应用中提供最先进的性能。然而,尽管这些模型表现出色,但它们都是黑箱,很难理解它们是如何做出决定的。在过去的几年里,研究人员研究了如何解释DNN预测结果的原因。然而,现有的技术要么是突兀的,需要改变模型训练,或遭受低输出质量。在本文中,我们提出了一种新的方法,神经面具,产生一个可解释的解释分类模型的结果。当应用于图像分类模型时,NeuroMask通过应用隐藏/显示图像不同部分的掩码来识别对分类器结果最重要的图像部分,然后将其反馈到模型中。通过最小化适当设计的成本函数来调整掩码值,该成本函数保留分类结果并鼓励产生可解释的掩码。使用最先进的卷积神经网络在不同数据集(CIFAR-10和ImageNet)上进行图像识别的实验表明,NeuroMask成功地定位了与DNN决策最相关的输入图像部分。通过展示NeuroMask解释和其他方法之间的视觉质量比较,我们发现NeuroMask既准确又可解释。
2019-08-05 cs.CV cs.LG stat.ML
DeltaSHAP: Explaining Prediction Evolutions in Online Patient Monitoring with Shapley Values
KAIST(韩国科学技术院)
DeltaSHAP 是一种新型可解释 AI 算法,通过适应时间序列的 Shapley 值,实时解释在线患者监测中连续预测的演变,满足临床需求,并在 MIMIC-III 基准上显著提升了解释质量和计算效率。
2025-07-12 cs.AI cs.LG