Explanations of Black-Box Models based on Directional Feature Interactions
Northeastern University(东北大学);Brigham and Women’s Hospital(布莱根妇女医院)
本文提出一种基于有向特征交互的黑盒模型解释方法,将单变量Shapley值解释扩展为双变量有向图分析,以发现可互换特征组和最具影响力特征,并在多个数据集上验证其优于现有方法。
2023-04-16 cs.LG
Benchmarking and Survey of Explanation Methods for Black Box Models
Scuola Normale Superiore(高等师范学院);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);Largo Bruno Pontecorvo(布鲁诺·蓬特科沃广场)
黑箱模型在人工智能中的广泛应用,增强了对解释方法的需求,以揭示这些模糊的模型如何达成特定的决策。检索解释是揭示可能的偏见和解决实际或道德问题的基础。目前,文献中充满了各种不同解释的方法。我们根据返回的解释类型对解释方法进行了分类。我们提出了最新的和广泛使用的解释,我们显示了一个直观的比较解释和定量基准。
2021-02-25 cs.AI cs.CY cs.LG
Explanation-based Counterfactual Retraining(XCR): A Calibration Method for Black-box Models
Nanjing University(南京大学)
随着可解释人工智能(XAI)的快速发展,基于扰动的事后XAI模型中的分布外(OOD)问题引起了人们的关注,而对这些问题的解释在社会上是不一致的。我们探讨了使用近似器来模仿黑盒模型行为的事后解释方法的局限性。然后提出了基于解释的反事实再训练算法(XCR),快速提取特征重要性。XCR将XAI模型生成的解释作为反事实输入,重新训练黑盒模型,以解决OOD和社会错位问题。对流行图像数据集的评估表明,XCR在不改变黑盒模型结构的情况下,仅保留12.5%的最关键特征,就可以提高模型性能。此外,腐败数据集的基准测试的评估表明,XCR是非常有助于提高模型的鲁棒性,并积极影响OOD问题的校准。即使没有像一些OOD校准方法那样在验证集中校准,损坏的数据度量也优于现有方法。如果应用验证集上的校准,则我们的方法还在OOD校准度量上击败了当前的OOD校准方法。
2022-06-22 cs.LG
Black-box language model explanation by context length probing
LIRMM(蒙彼利埃计算机科学、机器人学与微电子实验室);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Université de Montpellier(蒙彼利埃大学)
本文提出上下文长度探测方法,通过跟踪模型预测随上下文长度变化来为不同上下文分配重要性分数,以黑盒方式解释因果语言模型,并展示了其在分析长距离依赖方面的潜力。
2023-05-26 cs.CL cs.LG
What will it take to generate fairness-preserving explanations?
Brown University(布朗大学);Harvard University(哈佛大学)
在解释黑箱模型可能有用的情况下,黑箱的公平性往往也是一个相关的问题。然而,黑箱模型的公平性和对黑箱的解释行为之间的联系尚不清楚。我们专注于应用于表格数据集的解释,这表明解释不一定保持黑盒算法的公平性。换句话说,解释算法可能会忽略或模糊关键的相关属性,从而产生不正确或误导性的解释。更广泛地说,我们提出了未来的研究方向,以评估和生成解释,使它们从公平的角度提供信息和相关。
2021-06-24 cs.AI cs.CY cs.LG
BELLA: Black box model Explanations by Local Linear Approximations
Telecom Paris, Institut Polytechnique de Paris, France(巴黎电信学院,巴黎理工学院,法国)
提出BELLA,一种确定性、与模型无关的事后方法,通过在特征空间中训练线性模型并最大化其适用邻域,为回归黑盒模型提供准确、简单、通用且鲁棒的个体预测解释。
2025-08-12 cs.AI cs.LG
Global Aggregations of Local Explanations for Black Box models
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
许多最先进的机器学习模型的决策过程本质上是不可理解的,以至于人类不可能直接解释模型:它们是黑箱模型。这导致了对解释黑箱模型的研究的呼吁,其中有两种主要方法。全局解释旨在解释模型的一般决策过程,局部解释旨在解释单个预测。由于在全局可解释的近似中建立对黑箱模型的保真度仍然具有挑战性,因此将更多注意力放在局部解释上。然而,当地的解释是否能够可靠地代表黑箱模型,并提供有用的见解仍然是一个悬而未决的问题。我们提出了全球聚合的本地化(GALE)的目标,以提供洞察力的模型的全球决策过程。总的来说,我们的研究结果表明,聚合的选择很重要。我们发现,局部可解释模型不可知论(LIME)引入的全局重要性并不能可靠地表示模型的全局行为。我们提出的聚合能够更好地表示特征如何影响模型的预测,并通过识别区别特征来提供全局见解。
2019-07-05 cs.AI cs.IR cs.LG
Programs as Black-Box Explanations
University of California, Irvine(加利福尼亚大学尔湾分校);University of Washington(华盛顿大学)
最近在黑盒机器学习的模型不可知解释方面的工作表明,复杂模型的可解释性不必以准确性或模型灵活性为代价。然而,目前还不清楚哪种解释,如线性模型、决策树和规则列表,是要考虑的适当的族,并且不同的任务和模型可能受益于不同种类的解释。在这项工作中,我们建议使用“程序”作为模型不可知论的解释,而不是选择一个单一的表示家庭。我们表明,小程序可以表达但直观的解释,并概括了一些现有的可解释的家庭。我们提出了一种基于模拟退火的原型程序归纳方法,该方法利用随机扰动近似黑盒分类器在特定预测周围的局部行为。最后,我们提出了在小数据集上的初步应用,并表明生成的解释对于一些分类器是直观和准确的。
2016-11-22 cs.AI cs.LG stat.ML
Black Box Explanation by Learning Image Exemplars in the Latent Feature Space
ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);University of Pisa(比萨大学);Dalhousie University(达尔豪斯大学)
我们提出了一种方法来解释决策的黑箱模型的图像分类。在使用黑盒标记图像的同时,我们的解释方法利用了通过对抗性自动编码器学习的潜在特征空间。该方法首先在潜在特征空间中生成样本图像,并学习决策树分类器。然后,它选择和解码样本尊重本地决策规则。最后,它以一种向用户展示范例如何被修改以保持在其类中或通过“变形”到另一个类中而成为反事实的方式将它们可视化。由于我们关注的是用于图像分类的黑盒决策系统,因此从样本中获得的解释还提供了一个显著图,突出了图像中有助于其分类的区域,以及将其推入另一个类别的图像区域。我们提出了三个数据集和两个黑盒模型的实验评估结果。除了提供最有用和可解释的解释,我们表明,所提出的方法优于现有的解释器的保真度,相关性,连贯性和稳定性。
2020-01-27 cs.CV cs.LG
TimeSAE: Causal Sparse Decoding for Faithful Explanations of Black-Box Time Series Models
Telecom Paris(电信巴黎大学);Institut Polytechnique de Paris(巴黎理工学院);Technical University of Munich(慕尼黑技术大学);Helmholtz Munich(海德堡-慕尼黑马克斯·普朗克研究所);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
针对黑箱时间序列模型难以解释且缺乏泛化能力的问题,基于稀疏自编码器概念引入TimeSAE框架,通过在合成和真实数据集上广泛评估并与基线比较,证明该框架能提供更忠实、稳健的模型解释。
2026-07-14 cs.LG
Trust Regions for Explanations via Black-Box Probabilistic Certification
IBM Research(IBM研究院);Eberhard-Karls-Universität Tübingen(蒂宾根大学)
本文提出黑盒概率解释认证问题,即在仅能查询的黑盒模型中,寻找使解释质量(如保真度)以高概率满足标准的最大信任区域(超立方体),并给出理论保证与实验验证。
2024-06-05 cs.AI cs.LG
Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
University of Tsukuba(筑波大学);Riken AIP(日本理化学研究所革新智能综合研究中心)
我们的目的是解释一个黑盒分类器的形式:“数据X被归类为类Y,因为X \textit{has} A,B和\textit{does not have} C”,其中A,B和C是高级概念。挑战在于,我们必须以无监督的方式发现一组概念,即,A、B和C,这对解释分类器很有用。我们首先介绍了一个结构生成模型,适合表达和发现这样的概念。然后,我们提出了一个学习过程,同时学习的数据分布,并鼓励某些概念有一个很大的因果关系的分类器输出的影响。我们的方法还允许用户的先验知识,以诱导高的概念的可解释性容易集成。使用多个数据集,我们证明了我们的方法可以发现有用的二进制概念进行解释。
2021-09-09 cs.LG
Play MNIST For Me! User Studies on the Effects of Post-Hoc, Example-Based Explanations & Error Rates on Debugging a Deep Learning, Black-Box Classifier
School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);Insight Centre for Data Analytics(数据分析洞察中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
本文报道了两个实验(N=349)的影响事后解释的例子和出错率对人们的看法的黑箱分类器。这两个实验都表明,当人们得到的情况下,从实施ANN CBR双系统的解释,他们认为错过分类更正确。他们还表明,当出错率增加到4%以上时,人们对分类器的信任度降低,认为它不太正确、不太合理、不太可信。讨论了这些结果对XAI的影响。
2020-09-10 cs.HC cs.LG
PREF-XAI: Preference-Based Personalized Rule Explanations of Black-Box Machine Learning Models
University of Catania, Department of Economics and Business(卡塔尼亚大学经济与商业系);Poznan University of Technology, Institute of Computing Science(波兹南技术大学计算科学研究所);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所)
本文提出PREF-XAI框架,通过用户偏好学习生成个性化解释,结合规则解释与偏好学习,实现在有限反馈下准确重建用户偏好并发现新解释规则。
2026-04-21 cs.LG
Human Understandable Explanation Extraction for Black-box Classification Models Based on Matrix Factorization
Samsung Electronics(三星电子)
近年来,已经开发了许多人工智能服务,例如用于客户服务的缺陷检测系统或诊断系统。不幸的是,这些服务的核心是一个黑盒子,人类无法理解底层的决策逻辑,尽管在推出商业服务之前对逻辑的检查至关重要。本文的目的是提出一种适用于一般分类模型的模型解释的分析方法。为此,我们引入了贡献矩阵的概念和解释嵌入在约束空间中使用矩阵分解。利用非负矩阵分解的方法,从贡献矩阵中提取出规则模型的解释。为了验证该方法的有效性,在开放数据集和一个LTE网络诊断的工业数据集上进行了实验,结果表明该方法提取了合理的解释。
2017-09-18 cs.AI cs.LG stat.ML
Regularizing Black-box Models for Improved Interpretability (HILL 2019 Version)
Carnegie Mellon University(卡内基梅隆大学)
大多数关于可解释机器学习的工作都集中在设计固有的可解释模型,这通常会权衡可解释性的准确性,或者事后解释系统,缺乏对其解释质量的保证。我们提出了一种替代这些方法,直接正规化的黑盒模型在训练时的可解释性。我们的方法明确地连接了可解释的机器学习的三个关键方面:(i)模型固有的可解释性,(ii)测试时使用的解释系统,以及(iii)衡量解释质量的指标。我们的正则化在一系列数据集和黑盒解释系统的解释保真度和稳定性指标方面有了实质性的改善,同时略微提高了准确性。此外,如果所得到的模型仍然不能充分解释,则可以调整正则化项的权重以实现准确性和可解释性之间的期望权衡。最后,我们从理论上证明了基于正则化的好处可以推广到看不见的点。
2019-05-31 cs.LG stat.ML
Regularizing Black-box Models for Improved Interpretability
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc(Petuum公司);Determined AI
大多数关于可解释机器学习的工作都集中在设计固有的可解释模型,这通常会权衡可解释性的准确性,或者事后解释系统,其解释质量可能是不可预测的。我们的方法ExpO是这些方法的混合,它在训练时规范了解释质量的模型。重要的是,这些正则化器是可微的,模型不可知的,并且不需要领域知识来定义。我们证明了ExpO正则化模型的事后解释具有更好的解释质量,如通过常见的保真度和稳定性度量所测量的。我们验证,提高这些指标导致更有用的解释与用户研究的一个现实的任务。
2020-11-08 cs.LG stat.ML
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University(奥尔堡大学);Yodaway
近年来,可解释人工智能(XAI)已成为一个非常适合的框架,以生成人类可理解的解释“黑盒”模型。在本文中,一种新的XAI视觉解释算法被称为相似性差异和uniform(SIDU)的方法,可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析,通过各种计算和人体实验。特别是,SIDU算法使用三种不同类型的评估(应用程序,人类和功能接地)进行评估,以证明其优越的性能。为了更好地理解SIDU算法的性能,进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
DiConStruct: Causal Concept-based Explanations through Black-Box Distillation
Feedzai;Instituto de Telecomunicações, ELLIS Unit Lisbon, Instituto Superior Técnico, ULisboa, Portugal(葡萄牙里斯本大学高等技术学院,里斯本ELLIS单元,电信研究所)
针对现有局部概念可解释性方法无法生成因果解释、需权衡可解释性与预测性能的问题,提出基于黑盒蒸馏的因果概念解释方法DiConStruct,可在高效生成含概念因果关系的解释的同时,以更高保真度逼近黑盒模型预测。
2024-01-26 cs.AI cs.HC cs.LG
"Why did you do that?": Explaining black box models with Inductive Synthesis
Uppsala University(乌普萨拉大学)
就其本质而言,黑盒模型的组成是不透明的。这使得产生对刺激反应的解释的能力具有挑战性。鉴于人工智能和机器学习系统的流行以及围绕它们建立法律和监管框架的需要,解释黑盒模型的重要性变得越来越重要。这样的解释也可以增加对这些不确定系统的信任。在我们的论文中,我们提出了RICE,一种用于生成解释的黑盒模型的行为的方法,通过(1)探测模型,提取模型输出的例子,使用灵敏度分析;(2)应用CNPInduce,归纳逻辑程序合成的方法,生成基于关键输入输出对的逻辑程序;(3)解释作为人类可读的解释的目标程序。我们通过生成一个人工神经网络的解释来演示我们的方法的应用,该神经网络被训练成在一个假设的自动驾驶汽车模拟中遵循简单的交通规则。最后,我们讨论了我们的方法的可扩展性和可用性及其潜在的应用程序,以简化关键的场景。
2019-04-17 cs.AI cs.LG
Beyond Linear Surrogates: High-Fidelity Local Explanations for Black-Box Models
本文提出了一种新的局部模型无关解释方法,利用MARS和N-ball采样策略生成高保真局部解释,通过减少RMSE提升了黑盒模型的局部近似精度。
2026-03-21 cs.AI cs.LG
Generative causal explanations of black-box classifiers
School of Electrical & Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
我们开发了一种方法,用于生成因果事后解释的黑盒分类器的基础上学习的低维表示的数据。解释是因果关系的意义上说,改变学习的潜在因素产生的分类器输出统计的变化。为了构建这些解释,我们设计了一个学习框架,利用生成模型和因果影响的信息理论措施。我们的目标函数鼓励生成模型忠实地表示数据分布和潜在因素对分类器输出有很大的因果影响。我们的方法学习全局和局部解释,与任何承认类概率和梯度的分类器兼容,并且不需要标记属性或因果结构知识。使用仔细控制的测试用例,我们提供的直觉,阐明了我们的目标的功能。然后,我们展示了我们的方法在图像识别任务的实际效用。
2020-10-22 cs.AI cs.LG stat.ML
Extracting Explanations, Justification, and Uncertainty from Black-Box Deep Neural Networks
GE Aerospace Research(GE航空航天研究院);GE Aerospace(GE航空航天公司)
本文提出一种贝叶斯方法,无需重训练即可从黑盒深度神经网络中提取解释、理由与不确定性,并在CIFAR-10上验证,显著提升可解释性与可靠性。
2024-03-13 cs.LG stat.ML
Learning Global Transparent Models Consistent with Local Contrastive Explanations
IBM Research, NY(IBM研究(纽约))
关于黑盒模型(例如神经网络)的局部对比/反事实解释,有丰富且不断增长的文献。在这些方法中,对于输入,解释是以对比点的形式,该对比点在非常少的特征上与原始输入不同并且位于不同的类中。其他工作试图建立全局可解释的模型,如决策树和规则列表的基础上使用实际的标签的数据或基于黑盒模型的预测。虽然这些可解释的全球模型可能是有用的,但它们可能与特定黑盒选择的局部解释不一致。在这项工作中,我们探讨的问题:我们可以产生一个透明的全球模型,同时准确和一致的地方(对比)解释的黑盒模型?我们引入了一个自然的本地一致性度量,如果本地的解释和预测的黑盒模型也与代理全球透明模型一致,量化。基于一个关键的见解,我们提出了一种新的方法,我们创建自定义布尔功能从稀疏的本地对比解释的黑盒模型,然后训练一个全球透明的模型,只是这些,并展示经验,这样的模型具有更高的本地一致性相比,其他已知的策略,同时仍然是接近的性能模型,训练访问原始数据。
2020-10-29 cs.AI cs.LG stat.ML
Feature Importance Explanations for Temporal Black-Box Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
监督学习框架中的模型可以捕获对人类难以解释的特征的丰富且复杂的表示。现有的方法来解释这样的模型往往是特定的架构和数据的功能不具有随时间变化的组件。在这项工作中,我们提出了TIME,一种解释本质上具有时间性的模型的方法。我们的方法(i)使用基于模型不可知置换的方法来分析全局特征的重要性,(ii)确定显着特征的重要性,以及它们的时间顺序和本地化的影响窗口,(iii)使用假设检验来提供统计上的严谨性。
2021-02-23 cs.LG stat.ML
AcME -- Accelerated Model-agnostic Explanations: Fast Whitening of the Machine-Learning Black Box
Statwolf Data Science(Statwolf 数据科学公司);Universitá degli Studi di Padova(帕多瓦大学)
在人在回路机器学习应用的背景下,如决策支持系统,可解释性方法应该提供可操作的见解,而不会让用户等待。在本文中,我们提出了加速模型不可知推理(AcME),一种可解释性的方法,快速提供功能的重要性分数在全球和当地的水平。AcME可以应用于每个回归或分类模型的后验。AcME不仅计算特征排名,而且还提供了一个假设分析工具来评估特征值的变化如何影响模型预测。我们在合成和真实世界的数据集上评估了所提出的方法,并与SHapley Additive explanations(SHAP)进行了比较,SHAP是我们从中获得灵感的方法,目前是最先进的模型不可知可解释性方法之一。我们在产生的解释质量方面取得了可比的结果,同时大大减少了计算时间,并为全局和局部解释提供了一致的可视化。为了促进这一领域的研究,并为了可重复性,我们还提供了一个用于实验的代码库。
2021-12-23 cs.LG
In defence of post-hoc explanations in medical AI
Center for the Philosophy of AI(哲学人工智能中心);University of Copenhagen(哥本哈根大学);Department of Philosophy and History of Ideas(哲学与思想史系);Aarhus University(奥胡斯大学)
本文为医疗AI中的事后解释辩护,指出其虽无法完全复制黑盒推理过程,但能提升用户理解、提高临床团队准确性并辅助医生决策。
2025-04-29 cs.AI cs.CY cs.HC
GLocalX -- From Local to Global Explanations of Black Box AI Models
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
人工智能(AI)已经成为我们社会的主要组成部分之一,在我们生活的大多数方面都有应用。在该领域,复杂和高度非线性的机器学习模型,如集成模型,深度神经网络和支持向量机,在解决复杂任务方面一直表现出卓越的准确性。虽然准确,但人工智能模型通常是我们无法理解的“黑匣子”。依赖这些模式会产生多方面的影响,并引起人们对其透明度的严重关切。在敏感和关键领域的应用是试图理解黑盒行为的一个强大的激励因素。我们建议通过在黑盒模型之上提供一个可解释的层来解决这个问题,方法是聚合“本地”解释。我们提出了GLocalX,一个“本地优先”的模型不可知论的解释方法。从局部决策规则的形式表示的局部解释开始,GLocalX迭代地通过分层聚集它们来将它们概括为全局解释。我们的目标是学习准确而简单的可解释模型来模拟给定的黑盒,如果可能的话,完全替换它。我们验证GLocalX在一组实验中的标准和约束设置有限或无法访问数据或本地解释。实验表明,GLocalX能够准确地模拟几个简单的模型和小模型,达到最先进的性能对原生的全局解决方案。我们的研究结果表明,即使在具有高维数据的复杂领域中,也可以实现高水平的分类模型的准确性和可理解性,而不必将一个属性交换为另一个属性。这是一个值得信赖的人工智能的关键要求,是在高风险决策应用中采用的必要条件。
2021-01-26 cs.AI cs.LG
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架,通过鲁棒区域和最小反事实分析,揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Evaluating Local Explanations using White-box Models
KTH Royal Institute of Technology(瑞典皇家理工学院);Spotify(声田);University of Liège(列日大学)
使用人类受试者评估解释技术是昂贵的,耗时的,并可能导致主观评估。为了评估局部解释的准确性,我们需要访问给定实例的真实特征重要性分数。然而,模型的预测函数通常不会分解为线性加性项,以指示特征对输出的贡献程度。在这项工作中,我们建议将重点放在预测函数的对数比值比(LOR)上,它可以自然地分解为逻辑回归和朴素贝叶斯的加法项。我们演示了如何我们可以基准不同的解释技术在他们的相似性LOR分数的基础上,我们提出的方法。在实验中,我们比较了突出的局部解释技术,发现这些技术的性能取决于底层模型、数据集、解释的数据点、数据的归一化和相似性度量。
2022-01-28 cs.LG stat.ML
DExT: Detector Explanation Toolkit
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);University of Bremen(不来梅大学);University of Groningen(格罗宁根大学)
本文提出开源 DExT 工具包,利用基于梯度的方法和多目标可视化统一解释目标检测器的边界框与分类决策,并通过定量及人类评估验证其可信性。
2023-06-04 cs.CV cs.LG
Look at the Variance! Efficient Black-box Explanations with Sobol-based Sensitivity Analysis
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所);Artificial and Natural Intelligence Toulouse Institute, Université de Toulouse(图卢兹大学图卢兹人工与自然智能研究所);Institut de Recherche Technologique Saint-Exupery(圣埃克苏佩里技术研究所);Sorbonne Université, CNRS(索邦大学、法国国家科学研究中心)
我们描述了一种基于敏感性分析并使用Sobol指数的新型归因方法。除了对图像区域的个体贡献进行建模之外,Sobol指数还提供了一种有效的方法来捕获图像区域之间的高阶交互作用及其通过方差透镜对神经网络预测的贡献。我们描述了一种方法,使这些指数的计算效率为高维问题,通过使用扰动掩模加上有效的估计处理高维图像。重要的是,我们表明,所提出的方法在视觉(和语言模型)的标准基准测试中获得了良好的分数,同时与其他黑盒方法相比,大大减少了计算时间-甚至超过了需要访问内部表示的最先进的白盒方法的准确性。我们的代码可免费获得:https://github.com/fel-thomas/Sobol-Attribution-Method
2021-11-07 cs.AI cs.CL cs.CV
Explanations of Black-Box Model Predictions by Contextual Importance and Utility
Umeå University(于默奥大学)
自主系统的重大进步以及更广泛的应用领域增加了对可信智能系统的需求。可解释的人工智能正在研究人员和开发人员中获得相当大的关注,以满足这一要求。虽然有越来越多的作品解释和透明的机器学习算法,他们主要是为技术用户。在许多有用的和实际的应用中,对最终用户的解释被忽视了。在这项工作中,我们提出了上下文的重要性(CI)和上下文的效用(CU)的概念,提取的解释,很容易理解的专家以及新手用户。该方法解释了预测结果,而无需将模型转换为可解释的模型。我们提出了一个例子,提供解释线性和非线性模型,以证明该方法的推广。CI和CU是可以以视觉和自然语言形式向用户表示的数值,以证明动作并解释针对个体实例、情况和上下文的推理。我们展示了在汽车选择的例子和鸢尾花分类的解释的效用,提出完整的(即个人预测的原因)和对比解释(即对比实例对感兴趣的实例)。实验结果表明了所提出的解释方法的可行性和有效性。
2020-05-30 cs.AI cs.LG
SLISEMAP: Supervised dimensionality reduction through local explanations
University of Helsinki(赫尔辛基大学)
提出SLISEMAP,一种通过局部解释进行监督降维的方法,同时生成所有数据点的局部解释和二维全局可视化,与现有方法相比,能利用标记数据创建一致的白盒模型,并提升对黑盒模型的理解。
2022-05-18 cs.AI cs.HC cs.LG
Shedding Light on Black Box Machine Learning Algorithms: Development of an Axiomatic Framework to Assess the Quality of Methods that Explain Individual Predictions
KIT – University of the State of Baden-Wuerttemberg and National Laboratory of the Helmholtz Association(卡尔斯鲁厄理工学院——巴登-符腾堡州立大学暨亥姆霍兹联合会国家实验室)
从自动驾驶汽车和后空翻机器人,到为我们预约下一次美发沙龙或餐厅晚餐的虚拟助理,机器学习系统正变得越来越普遍。其主要原因是这些方法拥有卓越的预测能力。然而,这些模型中的大多数仍然是黑箱,这意味着人类要理解和理解它们复杂的内部工作是非常具有挑战性的。因此,在机器学习模型的这种不断增加的复杂性下,可解释性受到了影响。特别是对于新的法规,如通用数据保护条例(GDPR),这些黑匣子所做预测的可验证性和可验证性是必不可少的。在行业和实践需求的推动下,研究界已经认识到这一可解释性问题,并在过去几年中专注于开发越来越多的所谓解释方法。这些方法解释了由黑盒机器学习模型做出的个体预测,并有助于恢复一些失去的可解释性。然而,随着这些解释方法的扩散,通常不清楚哪种解释方法提供更高的解释质量,或者通常更适合手头的情况。在这篇论文中,我们因此提出了一个公理化的框架,它允许相互之间比较不同的解释方法的质量。通过实验验证,我们发现,开发的框架是有用的,以评估不同的解释方法的解释质量,并得出与独立研究一致的结论。
2018-08-15 cs.LG stat.ML
VINE: Visualizing Statistical Interactions in Black Box Models
Georgia Institute of Technology(佐治亚理工学院)
随着机器学习变得越来越普遍,迫切需要对预测模型进行可解释的解释。先前的工作已经开发了有效的方法来可视化全局模型行为,以及生成本地(特定于实例)的解释。然而,相对较少的工作已经解决了区域的解释-如何组相似的实例在一个复杂的模型中的行为,以及可视化统计特征的相互作用的相关问题。缺乏可用于这些分析需求的实用程序阻碍了关键任务,透明和符合社会目标的模型的开发。我们提出了VINE(视觉交互效应),一种新的算法来提取和可视化黑盒模型中的统计交互效应。我们还提出了一种新的评价指标,用于可解释的ML空间中的可视化。
2019-04-01 cs.LG stat.ML
Black Box Model Explanations and the Human Interpretability Expectations -- An Analysis in the Context of Homicide Prediction
Federal University of Pará (UFPA)(帕拉联邦大学);Federal Institute of Education, Science and Technology of Pará (IFPA)(帕拉联邦教育、科学和技术学院);Vale Institute of Technology (ITV DS)(淡水河谷技术研究院)
本文在凶杀案预测情境下复现黑盒模型,比较6种XAI方法生成的解释与6位人类专家的期望,发现约75%的专家期望被满足、约48%的结果一致,从而系统评估XAI解释与人类可解释性期望的匹配程度。
2024-07-04 cs.AI cs.LG
Time is Not Enough: Time-Frequency based Explanation for Time-Series Black-Box Models
KAIST(韩国科学技术院)
针对现有时间序列解释方法多依赖时域的局限,提出支持插入多种扰动XAI方法的时频解释框架SpectralX及新方法FIA,实验验证了其时频域解释性能优越性与实用性。
2024-08-12 cs.LG eess.SP
Benchmarking Instance-Centric Counterfactual Algorithms for XAI: From White Box to Black Box
Human Technology Institute, University of Technology Sydney(悉尼科技大学人类技术研究所);School of Information Systems, Queensland University of Technology(昆士兰科技大学信息系统学院);INESC-ID Lisboa / Instituto Superior Técnico, ULisboa(INESC-ID里斯本/里斯本大学高等技术学院)
本研究在25个数据集上基准测试四种反事实算法,发现模型类型影响小,仅邻近损失算法不可操作,需保证合理性并建议反事实检查分析以识别偏差。
2024-06-11 cs.AI cs.LG
A Survey Of Methods For Explaining Black Box Models
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
在过去的几年中,许多精确的决策支持系统已经被构建为黑盒子,也就是说,作为隐藏其内部逻辑的系统。这种缺乏解释的情况构成了一个实际和道德问题。文献报道了许多旨在克服这一关键弱点的方法,有时是以牺牲可解释性的准确性为代价。黑盒决策系统的应用是多种多样的,每种方法通常都是为特定的问题提供解决方案,因此,明确或隐含地描述了自己的可解释性和解释的定义。本文的目的是提供一个分类的主要问题,在文献中的解释和黑箱系统的类型的概念。给出一个问题的定义,一个黑盒类型,和一个理想的解释,这个调查应该帮助研究人员找到更有用的建议,为自己的工作。建议的分类方法打开黑盒模型也应该是有用的,把许多研究开放的问题的角度。
2018-06-21 cs.AI cs.CY cs.LG
Post-hoc explanation of black-box classifiers using confident itemsets
Institute for Artificial Intelligence and Decision Support(人工智能与决策支持研究所);Medical University of Vienna(维也纳医科大学)
黑盒人工智能(AI)方法,例如深度神经网络,已经被广泛用于构建预测模型,该预测模型可以提取数据集中的复杂关系并对新的不可见数据记录进行预测。然而,很难信任这些方法做出的决策,因为它们的内部工作和决策逻辑对用户是隐藏的。可解释的人工智能(XAI)是指试图解释黑盒AI模型如何产生其结果的系统。事后XAI方法通过提取特征值和预测之间的关系来近似黑盒的行为。基于扰动和决策集的方法是常用的事后XAI系统。前一种模型依赖于数据记录的随机扰动来构建局部或全局线性模型,以解释单个预测或整个模型。后一种算法使用那些出现频率更高的特征值来构造一组决策规则,这些规则产生与目标黑盒相同的结果。然而,这两类XAI方法有一些局限性。随机扰动不考虑特征值在不同子空间中的分布,导致误导近似。决策集只关注频繁出现的特征值,而忽略了特征和类标签之间的许多重要相关性,这些特征和类标签出现的频率较低,但准确地表示了模型的决策边界。在本文中,我们提出了一种解释方法,称为置信项集解释(CIE),以解决上述挑战。我们引入了置信项集,这是一组与特定类别标签高度相关的特征值。CIE利用置信项集将模型的整个决策空间离散化为更小的子空间。
2020-09-20 cs.AI cs.LG
Black-box Explanation of Object Detectors via Saliency Maps
Boston University(波士顿大学);Adobe Research(Adobe研究院);Adobe Document Cloud(Adobe文档云);University of Virginia(弗吉尼亚大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
我们提出了D-RISE,一种用于生成对象探测器预测的视觉解释的方法。利用所提出的相似性度量,占本地化和分类方面的目标检测允许我们的方法产生显着图,显示图像区域,最影响预测。在软件测试的意义上,D-RISE可以被认为是"黑盒",因为它只需要访问对象检测器的输入和输出。与基于梯度的方法相比,D-RISE更通用,对被测试的特定类型的对象检测器更不可知,并且不需要了解模型的内部工作原理。我们表明,D-RISE可以很容易地应用于不同的对象检测器,包括一级检测器,如YOLOv3和两级检测器,如Faster-RCNN。我们对生成的视觉解释进行了详细的分析,以突出对象检测器对上下文和可能的偏见的利用。
2021-06-10 cs.AI cs.CV cs.LG
Black-Box Optimization of Object Detector Scales
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用科学大学);University of Bremen(不来梅大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
在过去的几年中,通过使用先进的CNN架构,对象检测器已经有了很大的改进。然而,许多检测器超参数通常是手动调整的,或者它们与检测器作者设置的值一起使用。自动超参数优化尚未在改进基于CNN的对象检测器超参数中进行探索。在这项工作中,我们建议使用黑盒优化方法来调整更快的R-CNN和SSD中的先验/默认框尺度,使用贝叶斯优化,SMAC和CMA-ES。我们表明,通过调整输入图像大小和Faster R-CNN上的先前框锚标度,mAP在PASCAL VOC 2007上增加了2%,在SSD上增加了3%。在使用SSD的COCO数据集上,中型和大型对象的mAP有所改善,但小型对象的mAP下降了1%。我们还进行了回归分析,以找到要调整的重要超参数。
2020-10-29 cs.CV cs.LG
Explaining black box text modules in natural language with language models
Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出SASC方法,自动为黑盒文本模块生成自然语言解释及可靠性评分,并在合成模块、BERT内部及fMRI体素反应上验证其有效性。
2023-11-15 cs.AI cs.CL cs.LG
High Dimensional Model Explanations: an Axiomatic Approach
复杂的黑盒机器学习模型经常用于关键决策领域。这引起了对算法可解释性的几次呼吁。在文献中提出的许多解释算法单独分配每个功能的重要性。然而,这样的解释未能捕捉的联合效应的功能集。事实上,很少有作品到目前为止正式分析高维模型的解释。在本文中,我们提出了一种新的高维模型解释方法,捕捉的联合作用的特征子集。我们提出了一个新的公理化的Banzhaf指数的推广,我们的方法也可以被认为是一个黑盒模型的近似高阶多项式。换句话说,这项工作证明了使用广义Banzhaf指数作为模型的解释,它唯一地满足一组自然desiderata,它是一个黑盒模型的最佳局部近似。我们的实证评估我们的措施强调它如何设法捕捉可取的行为,而其他措施,不满足我们的公理表现在不可预测的方式。
2021-03-29 cs.LG stat.ML
SurroCBM: Concept Bottleneck Surrogate Models for Generative Post-hoc Explanation
Emory University(埃默里大学)
本文提出SurroCBM框架,利用自动发现的概念通过代理模型对黑盒进行事后解释,并采用自生成数据训练策略提升解释质量,实验验证其有效性。
2023-10-11 cs.AI cs.LG
White Box Methods for Explanations of Convolutional Neural Networks in Image Classification Tasks
University of Bordeaux(波尔多大学)
近年来,深度学习已经变得流行,以解决来自多个领域的应用。卷积神经网络(CNN)特别地已经展示了用于图像分类任务的现有技术性能。然而,这些网络做出的决定是不透明的,不能由人类直接解释。已经提出了几种方法来解释理解网络预测背后的推理。在本文中,我们提出了一个拓扑结构分组这些方法的基础上,他们的假设和实现。我们主要关注白盒方法,利用网络内部架构的信息来解释其决策。考虑到图像分类的任务和经过训练的CNN,这项工作旨在提供一组方法的全面和详细的概述,这些方法可用于为特定图像创建解释图,并根据图像对网络决策的贡献为图像的每个像素分配重要性得分。我们还提出了一个进一步的分类的白盒方法的基础上,他们的实现,使更好的比较,并帮助研究人员找到最适合不同的情况下的方法。
2021-09-02 cs.AI cs.CV cs.LG
ConceptDistil: Model-Agnostic Distillation of Concept Explanations
Feedzai
基于概念的解释旨在填补非技术人员的模型可解释性缺口。以前的工作集中在为特定模型(例如,神经网络)或数据类型(例如,图像)提供概念,并尝试从已经训练的网络中提取概念或通过多任务学习训练可自我解释的模型。在这项工作中,我们提出了ConceptDistil,一种使用知识蒸馏将概念解释带到任何黑盒分类器的方法。ConceptDistil被分解为两个组件:(1)预测给定实例中存在哪些领域概念的概念模型,以及(2)尝试使用概念模型预测来模仿黑盒模型的预测的蒸馏模型。我们在真实世界的用例中验证了ConceptDistil,表明它能够优化这两项任务,为任何黑盒模型带来概念解释能力。
2022-05-07 cs.AI cs.LG
Model extraction from counterfactual explanations
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Polytech Nice Sophia(尼斯索菲亚综合理工学院)
事后解释技术是指可以用来解释黑盒机器学习模型如何产生结果的后验方法。在事后解释技术中,反事实解释正成为实现这一目标的最流行的方法之一。特别是,除了突出黑盒模型使用的最重要的功能外,它们还以数据实例的形式为用户提供了可操作的解释,这些数据实例可能会收到不同的结果。尽管如此,通过这样做,他们也泄露了关于模型本身的重要信息,这引发了隐私问题。在这项工作中,我们演示了对手如何利用反事实解释提供的信息来构建高保真度和高精度的模型窃取攻击。更准确地说,我们的攻击使对手能够通过访问其反事实解释来构建目标模型的忠实副本。对在真实世界数据集上训练的黑盒模型进行的经验评估表明,即使在低查询预算下,它们也可以实现高保真度和高准确度的提取。
2020-09-03 cs.CR cs.LG stat.ML
Interpretable Explanations of Black Boxes by Meaningful Perturbation
University of Oxford(牛津大学)
随着机器学习算法越来越多地应用于医疗诊断或自动驾驶等高影响、高风险的任务,研究人员解释这些算法是如何得出预测结果的至关重要。近年来,已经开发了许多图像显著性方法来总结高度复杂的神经网络在图像中“看”的位置,以获得其预测的证据。然而,这些技术受到其启发式性质和架构约束的限制。在本文中,我们做了两个主要的贡献:首先,我们提出了一个通用的框架,学习任何黑盒算法的不同种类的解释。其次,我们专门的框架,以找到图像的一部分,最负责的分类器的决定。与以前的作品不同,我们的方法是模型不可知的和可测试的,因为它是基于明确的和可解释的图像扰动。
2021-12-03 cs.AI cs.CV cs.LG
Fairwashing: the risk of rationalization
Université du Québec à Montréal(魁北克大学蒙特利尔分校);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);ENSTA ParisTech(国立高等先进技术学院巴黎高科);Osaka University(大阪大学);UdeM(蒙特利尔大学);MILA(蒙特利尔学习算法研究所)
黑箱解释是解释机器学习模型如何产生结果的问题,该模型的内部逻辑对审计人员是隐藏的,通常是复杂的。目前解决这一问题的方法有模型解释、结果解释和模型检验。虽然这些技术可以通过提供可解释性而受益,但它们可以以负面的方式用于执行公平洗涤,我们将其定义为促进机器学习模型尊重某些道德价值观的错误感知。特别是,我们证明,它是可能的,系统合理化的决策,由一个不公平的黑箱模型使用模型的解释,以及结果的解释方法与给定的公平性度量。我们的解决方案,LaundryML,是基于正则化规则列表枚举算法,其目标是寻找公平的规则列表近似不公平的黑盒模型。我们在真实世界数据集上训练的黑盒模型上实证评估了我们的合理化技术,并表明可以获得对黑盒模型具有高保真度的规则列表,同时大大减少不公平。
2019-05-15 cs.LG stat.ML
Saliency strikes back: How filtering out high frequencies improves white-box explanations
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所);CerCo, CNRS(法国国家科学研究中心CerCo研究所);SNCF(法国国家铁路公司);Institute of Mathematics of Toulouse, University Paul Sabatier(保罗萨巴蒂埃大学图卢兹数学研究所)
针对白盒归因方法梯度信号易受高频伪影污染的问题,提出FORGrad方法,通过按模型架构定制最优截止频率滤除高频成分,提升白盒方法性能并兼顾忠实性与计算效率。
2024-06-07 cs.AI cs.CV cs.LG
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司);Arizona State University(亚利桑那州立大学)
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时,为了简明扼要地提供大量信息,简明和全面是必要的。然而,现有的可解释的机器学习方法未能同时考虑准确性和全面性,导致冗余解释。我们提出了变信息瓶颈的解释,VIBI,一个系统不可知的解释方法,提供了一个简短而全面的解释。VIBI采用信息理论原理,信息瓶颈原理,作为寻找这种解释的标准。对于每一个实例,VIBI选择的关键特征是最大限度地压缩了输入(准确性),并提供了关于黑盒系统对该输入所做决定的信息(全面性)。我们在三个数据集上评估了VIBI,并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems
Vector Institute(向量研究所);UIUC(伊利诺伊大学厄巴纳-香槟分校);Google Brain(谷歌大脑);UT Austin(德克萨斯大学奥斯汀分校)
基于机器学习的决策系统越来越多地影响人类。在这种决策系统下,个人可能会遭受不希望的结果(例如拒绝信贷),而不管决策是否公平或准确。个人追索权涉及提供一套可操作的改变,一个人可以采取,以改善其结果的问题。我们提出了一个追索算法,模型的基础数据分布或流形。然后,我们提供了一种机制,以产生最小的变化集,这将改善个人的结果。这种机制可以很容易地用于为任何基于可微机器学习的决策系统提供资源。此外,所得到的算法被证明是适用于监督分类和因果决策系统。我们的工作试图填补现有的公平性文献,主要集中在发现和/或算法上执行决策系统的公平性约束的空白。这项工作也提供了一种替代方法来产生反事实的解释。
2019-07-22 cs.LG stat.ML