The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations
XITASO GmbH(西塔索有限公司)
研究时间序列模型可解释性方法中基于边际影响的归因方法失效问题,指出主要因计算不匹配,定义DAG忠实性,发现标准归因方法如SHAP通常不满足DAG忠实性,其扩展也有同样计算限制。
2026-07-21 cs.AI cs.LG
Efficient GNN Explanation via Learning Removal-based Attribution
Technical University of Munich(慕尼黑工业大学);Rice University(莱斯大学);Texas A&M University(德克萨斯农工大学);University of Georgia(佐治亚大学)
针对现有GNN解释方法难以兼顾高保真度与高效率的问题,提出基于移除归因学习的LARA框架,结合子图采样提升可扩展性,在六个数据集上验证了其效率与保真度优势,在大型ogbn-arxiv数据集上速度提升3.5倍且保真度更高。
2023-06-09 cs.AI cs.LG
Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions
KU Leuven(鲁汶大学)
本文提出两种模型无关的交互式特征归因方法(Occlusion和Shapley values),通过纠正后的解释生成局部数据来重训模型,显著提升了模型性能与主动学习中的样本效率。
2023-06-28 cs.AI cs.LG
Measurably Stronger Explanation Reliability via Model Canonization
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
虽然基于规则的归因方法已被证明可用于为深度神经网络提供本地解释,但解释现代和更多样化的网络架构在生成可信解释方面产生了新的挑战,因为所建立的规则集可能不足以或不适用于新的网络结构。作为上述问题的一个优雅的解决方案,最近引入了网络经典化。该过程利用了基于规则的属性的实现依赖性,并将模型重构为功能相同的替代设计,其中可以应用已建立的属性规则。然而,封圣的想法和它的有用性迄今为止只被定性地探讨。在这项工作中,我们定量验证了网络规范化对VGG-16和ResNet 18模型的基于规则的属性的有益影响,从而扩展了当前获得可靠的神经网络解释的最佳实践。
2022-02-14 cs.AI cs.LG
Amortised Post-Hoc Explanation with Exact Preservation for Dynamic Graph Anomaly Detectors
National higher School of Computer Science (ESI)(国家计算机科学高等学校(ESI));Université Claude Bernard Lyon(里昂第一大学(克洛德·贝尔纳里昂大学))
本文针对动态图异常检测器StrGNN缺乏解释的问题,提出X-StrGNN事后解释层,可精确保留检测性能且成本低,通过对比归因策略验证了其稳定性与效果。
2026-08-18 cs.AI cs.LG
Attribution-Scores and Causal Counterfactuals as Explanations in Artificial Intelligence
SKEMA Business School(SKEMA商学院);Millennium Institute for Foundations of Data Research(千禧数据基础研究所)
在这篇简短的文章中,我们强调了人工智能的解释的相关性,一般来说,以及{ \em可解释的AI}的最新发展,涉及不同方法的起源和联系。我们用简单的术语描述了数据管理和机器学习中基于归因分数的解释,以及因果关系领域中发现的反事实。我们详细说明了逻辑推理的重要性时,处理反事实,以及它们的使用得分计算。
2023-03-22 cs.AI cs.DB cs.LG
Estimating the Adversarial Robustness of Attributions in Text with Transformers
IBM Research Zurich(IBM苏黎世研究院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
推理是深度神经网络(DNN)分类器的重要组成部分。在高风险应用中,忠实和强大的解释对于理解和获得DNN分类器的信任非常重要。然而,最近的工作表明,文本分类器中最先进的归因方法容易受到难以察觉的对抗性扰动的影响,这些扰动会显着改变解释,同时保持正确的预测结果。如果未被发现,这可能会严重误导DNN的用户。因此,理解这种对抗性扰动对网络解释及其可感知性的影响至关重要。在这项工作中,我们建立了一个新的定义属性鲁棒性(AR)的文本分类,基于Lipschitz连续性。重要的是,它反映了由对抗性输入变化引起的归因变化和这种变化的可感知性。此外,我们引入了一系列文本相似性度量,以有效地捕获两个文本样本之间的局部性和文本中对抗性扰动的不可感知性。然后,我们提出了我们的新的transformeradminationattack(TEA),一个强大的对手,提供了一个严格的估计属性的鲁棒性在文本分类。TEA使用最先进的语言模型来提取单词替换,从而产生流畅的上下文对抗样本。最后,通过对几种文本分类架构的实验,我们表明TEA始终优于当前最先进的AR估计器,产生的扰动在更大程度上改变了解释,同时更流畅,更不易察觉。
2022-12-18 cs.AI cs.LG
Counterfactual Shapley Additive Explanations
J.P. Morgan AI Research(摩根大通人工智能研究院)
特征属性是模型解释的常见范例,因为它们简单地为模型的每个输入特征分配单个数值分数。在可操作的追索设置中,解释的目标是改善模型消费者的结果,通常不清楚如何正确使用特征属性。通过这项工作,我们的目标是加强和澄清可诉追索权和特征属性之间的联系。具体地说,我们提出了SHAP的一个变体,反事实SHAP(CF-SHAP),它结合了反事实信息来产生一个背景数据集,用于在边缘(也称为Shapley值框架。我们激励需要在可操作的追索权设置仔细考虑背景数据集时,使用Shapley值的特征属性与众多的合成的例子。此外,我们证明了CF-SHAP的有效性,提出并证明了一个定量分数的特征属性,反事实能力,表明通过这种度量,CF-SHAP是优于现有的方法时,公共数据集使用树集成进行评估。
2022-05-16 cs.AI cs.LG
Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution
SRM Institute of Science and Technology(SRM科学与技术学院)
研究显示,预测等效模型在特征归因上存在显著差异,揭示了假设类对解释稳定性的影响,提出解释可靠性评分R(x)以评估解释稳定性。
2026-03-16 cs.AI cs.LG
SHapley Estimated Explanation (SHEP): A Fast Post-Hoc Attribution Method for Interpreting Intelligent Fault Diagnosis
State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University(上海交通大学机械系统与振动国家重点实验室)
针对智能故障诊断中SHAP结合域变换带来的高计算开销问题,提出分块归因和SHapley估计解释(SHEP)方法,通过降低特征维度和简化子集枚举将复杂度降至线性级,显著提升计算效率并实现实时解释。
2025-04-03 cs.AI cs.LG
Attribution Explanations for Deep Neural Networks: A Theoretical Perspective
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络安全工程学院);Department of Computer Science and Engineering, the John Hopcroft Center, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系、霍夫曼中心);Department of Data Science, New Jersey Institute of Technology(新泽西理工学院数据科学系)
本文从理论视角系统回顾深度神经网络归因解释方法,针对其真实性挑战,重点梳理了理论统一、理论原理和理论评估三个关键方向,以深化理解、指导方法选择并启发新研究。
2025-08-11 cs.AI cs.LG
Towards Unifying Feature Attribution and Counterfactual Explanations: Different Means to the Same End
Microsoft Research India(微软印度研究院);University of Chicago(芝加哥大学)
特征归因和反事实解释是解释ML模型的流行方法。前者为每个输入特征分配一个重要性分数,而后者提供具有最小变化的输入示例,以改变模型的预测。为了统一这些方法,我们提供了一个解释的基础上,实际的因果关系框架,并提出了两个关键的结果,在他们的使用。首先,我们提出了一种方法来生成一组反事实的例子的特征归因解释。这些特征属性传达了特征对于改变模型的分类结果的重要性,特别是关于特征的子集对于该改变是否是必要的和/或足够的,而基于属性的方法无法提供。其次,我们展示了如何反事实的例子,可以用来评估其必要性和充分性的归因为基础的解释的好处。因此,我们强调这两种方法的互补性。我们对三个基准数据集- Adult-Income,LendingClub和German-Credit -的评估证实了互补性。像LIME和SHAP这样的特征归因方法以及像Wachter等人和DiCE这样的反事实解释方法通常在特征重要性排名上不一致。此外,通过限制可以被修改以生成反事实示例的特征,我们发现来自LIME或SHAP的前k个特征通常既不是模型预测的必要解释,也不是充分解释。最后,我们提出了一个案例研究的不同解释方法对现实世界的医院分诊问题
2021-05-29 cs.CY cs.LG
Provably Better Explanations with Optimized Aggregation of Feature Attributions
LMU Munich(慕尼黑大学);Siemens AG(西门子公司);Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);German Cancer Research Center (DKFZ)(德国癌症研究中心);Goethe University Frankfurt(法兰克福大学)
本文提出通过最优凸组合聚合多个特征归因方法,以可证明的方式提升解释的鲁棒性和忠实度,并在多种模型与归因技术上验证其优于单个方法及现有基线。
2024-06-07 cs.AI cs.CV cs.LG
Local Explanations via Necessity and Sufficiency: Unifying Theory and Practice
The Alan Turing Institute(阿兰·图灵研究所);Google Inc.(谷歌公司);University of Oxford(牛津大学);University College London(伦敦大学学院)
必要性和充分性是所有成功解释的基石。然而,尽管这些概念很重要,但在可解释人工智能(XAI)中,这些概念在概念上并不发达,应用也不一致,XAI是一个快速发展的研究领域,迄今为止缺乏坚实的理论基础。在逻辑、概率和因果关系的基础上,我们建立了必要性和充分性在XAI中的核心作用,将看似不同的方法统一在一个正式的框架中。我们提供了一个健全的和完整的算法计算解释性因素相对于一个给定的背景下,并展示其灵活性和竞争力的表现对国家的最先进的替代品在各种任务。
2021-06-10 cs.AI cs.LG
Distribution-Based Feature Attribution for Explaining the Predictions of Any Classifier
针对特征归因领域缺乏正式问题定义的现状,本文提出基于数据集概率分布的特征归因正式定义,分析现有方法局限性并提出更有效高效的模型无关方法DFAX。
2025-11-12 cs.AI cs.LG
The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions
University of Warsaw(华沙大学)
提出一种心理声学框架,通过优化不可听扰动来解耦模型归因与分类,证明在音频深度伪造检测中可系统扭曲解释热图而保持预测标签不变。
2026-06-15 cs.AI cs.LG cs.SD
Show or Suppress? Managing Input Uncertainty in Machine Learning Model Explanations
National University of Singapore(新加坡国立大学)
特征属性在可解释的机器学习中被广泛用于解释每个测量的输入特征值对输出推断的影响程度。然而,测量可能是不确定的,目前还不清楚如何输入不确定性的意识会影响解释的信任。我们提出并研究了两种方法来帮助用户管理他们对模型解释中的不确定性的感知:1)透明地显示特征属性中的不确定性,以允许用户进行反思; 2)通过不确定性惩罚正则化来抑制对具有不确定性测量的特征的归因,并将归因转移到其他特征。通过模拟实验,定性访谈和定量用户评价,我们确定了适度抑制归因不确定性的好处,以及对归因不确定性的关注。这项工作增加了对处理和沟通模型可解释性的不确定性的理解。
2021-01-23 cs.AI cs.HC cs.LG
Rethinking Stability for Attribution-based Explanations
Adobe(奥多比公司);Carnegie Mellon University(卡内基梅隆大学);University of Tübingen(蒂宾根大学);Harvard University(哈佛大学)
由于基于属性的解释方法越来越多地用于在高风险情况下建立模型可信度,因此确保这些解释是稳定的至关重要,例如,对输入的无穷小扰动具有鲁棒性。然而,以前的工作表明,国家的最先进的解释方法产生不稳定的解释。在这里,我们引入度量来量化解释的稳定性,并表明几种流行的解释方法是不稳定的。特别是,我们提出了新的相对稳定性指标,测量输出解释的变化相对于输入,模型表示,或输出的基本预测。最后,我们对三个真实世界数据集的实验评估展示了七种解释方法和不同稳定性指标的有趣见解。
2022-03-14 cs.LG
Time Series Model Attribution Visualizations as Explanations
University of Konstanz(康斯坦茨大学)
归因是单个样本上深度学习模型的一种常见局部解释技术,因为它们很容易提取并展示输入值的相关性。在许多情况下,热图会将样本的此类属性可视化,例如在图像上。然而,热图并不总是解释其他数据类型的某些模型决策的理想可视化。在这篇评论中,我们专注于时间序列的归因可视化。我们收集了归因热图可视化和一些替代方案,讨论了其优点和缺点,并对未来的归因机会和时间序列的解释给出了一个简短的立场。
2021-09-27 cs.HC cs.LG
Towards A Unified Information Bottleneck Framework for Time Series Explanations
Florida International University(佛罗里达国际大学);Carnegie Mellon University(卡内基梅隆大学);University of Houston(休斯顿大学);NEC Labs America(美国 NEC 实验室);Singapore Management University(新加坡管理大学)
本研究针对时间序列解释的现有方法存在的局限,提出统一信息瓶颈框架,引入ModelName,在合成与真实基准上均优于现有方法,可生成忠实归因与稳定反事实解释。
2026-08-27 cs.AI cs.LG
Integrated Influence: Data Attribution with Baseline
DAMO Academy(大模型学院);Alibaba Group(阿里巴巴集团)
针对现有数据归因方法忽略集体影响且缺乏基线的问题,本文提出集成影响方法,通过定义基线数据集并沿数据退化过程累积样本影响,生成更可靠的数据归因。
2025-08-07 cs.AI cs.LG
GradCFA: A Hybrid Gradient-Based Counterfactual and Feature Attribution Explanation Algorithm for Local Interpretation of Neural Networks
Department of Computer and Information Sciences, Northumbria University(北安普顿大学计算机与信息科学系)
本文提出GradCFA算法,结合反事实解释和特征归因,提升神经网络的可解释性,通过优化可行性、合理性与多样性,改进现有方法的不足,支持多类场景应用。
2026-03-16 cs.AI cs.LG
Unifying Image Counterfactuals and Feature Attributions with Latent-Space Adversarial Attacks
Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计学系);Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学统计学与数据科学系)
本文提出反事实攻击方法,通过在潜在空间进行对抗攻击生成反事实图像,并结合特征归因提供全局解释,在MNIST和CelebA数据集上验证了其有效性。
2025-04-21 cs.CV cs.LG
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain(索尼人工智能,巴塞罗那,西班牙)
针对知识图谱补全缺乏统一事后解释框架的问题,提出基于多目标优化的分类法,统一现有算法,改进评估协议,强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
Pixel-level Certified Explanations via Randomized Smoothing
Max Planck Institute for Informatics(马克斯·普朗克研究所信息学研究所);CISPA Helmhotz Center for Information Security(CISPA海德堡信息安全中心)
提出首个基于随机平滑的像素级认证框架,为任意黑盒归因方法提供鲁棒性保证,并通过稀疏化和平滑将任务转化为分割问题,实验验证了其鲁棒性、可解释性和忠实性。
2025-06-18 cs.AI cs.CV cs.LG
Leveraging Local Structure for Improving Model Explanations: An Information Propagation Approach
Illinois Institute of Technology(伊利诺伊理工学院)
提出IProp方法,利用马尔可夫奖励过程建模像素间解释信息的动态传播,结合结构相似像素联合评估归因分数,兼容现有方法并显著提升多种可解释性指标。
2024-09-24 cs.AI cs.CV cs.LG
Final-Model-Only Data Attribution with a Unifying View of Gradient-Based Methods
IBM Research(IBM研究院);Merck Research Labs(默克研究实验室)
本文提出在仅拥有最终模型的情况下,通过统一基于梯度的方法来评估模型对训练实例的敏感性,并实证分析了不同方法的近似质量。
2025-11-21 cs.LG stat.ML
Obtaining Example-Based Explanations from Deep Neural Networks
KTH Royal Institute of Technology(皇家理工学院);École Polytechnique(巴黎综合理工学院)
提出EBE-DNN方法,利用深度神经网络嵌入和k近邻分类器生成示例归因,实现用少量训练示例解释预测,且不降低准确性,并发现嵌入层选择对准确性影响显著。
2025-02-27 cs.AI cs.LG
Distributing Synergy Functions: Unifying Game-Theoretic Interaction Methods for Machine-Learning Explainability
University of Southern California(南加州大学)
本研究提出一个统一框架,用于博弈论启发的归因和$k^\ ext{th}$阶交互方法,揭示各方法通过分配协同函数被唯一表征,并指出需结合目标与背景选择方法。
2023-05-17 cs.GT cs.LG
Beyond Attribution: Unified Concept-Level Explanations
School of Computer Science, Peking University, Beijing 100871, China(北京大学计算机科学学院);Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education(高可信软件技术重点实验室(北京大学))
UNCLE框架通过扩展局部模型无关方法,提供统一的概念层面解释,提升解释的忠实度和多样性。
2026-02-26 cs.LG
The Directed Prediction Change - Efficient and Trustworthy Fidelity Assessment for Local Feature Attribution Methods
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU University Kaiserslautern-Landau(凯泽斯劳滕-兰道工业大学)
本文提出DPC度量标准,用于高效且可信地评估局部特征归因方法的保真度,通过改进预测变化度量并消除随机性,实现快速且确定性的评估。
2025-11-26 cs.AI cs.LG
Interactive dense pixel visualizations for time series and model attribution explanations
University of Konstanz(康斯坦茨大学)
提出交互式可视化分析方法 DAVOTS,通过密集像素可视化探索时间序列数据、神经网络激活值与归因,并应用聚类和排序策略辅助发现模式,帮助理解模型决策与解释。
2024-08-27 cs.AI cs.HC cs.LG
Towards a Theory of Faithfulness: Faithful Explanations of Differentiable Classifiers over Continuous Data
Imperial College London(伦敦帝国学院)
在文献中有广泛的共识,解释方法应该忠实于他们所解释的模型,但忠实仍然是一个相当模糊的术语。我们在连续数据的背景下重新审视忠诚度,并提出了两个正式的忠诚度定义的特征属性方法。定性的忠实性要求分数反映了模型上特征的真实定性效果(积极与消极),定量的忠实性要求分数的大小反映了真实的定量效果。我们讨论在何种条件下,这些要求可以满足到何种程度(本地与全球)。作为概念思想的一个应用,我们在连续数据上研究可微分类器,并将一致性分数描述为:每个定性忠实的特征属性方法在定性上等同于一致性分数。此外,如果属性方法在分类器的输出的变化与特征的分数成比例的意义上是定量忠实的,则它或者等同于梯度评分,或者它基于分类器的劣近似。为了说明理论的实际意义,我们通过实验证明,流行的归因方法可能无法在数据连续和分类器可区分的情况下给出忠实的解释。
2022-05-19 cs.AI cs.LG
Beyond Predictive Fairness: Quantifying Attribution Consistency Across Demographic Groups in Diabetic Retinopathy Screening
Hertie Institute for AI in Brain Health(赫蒂脑健康人工智能研究所);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
该研究提出解释一致性得分(ECS)作为公平性感知指标,以糖尿病视网膜病变筛查为案例,发现不同族裔群体预测性能有差异但解释一致性较高且与性能差异无显著关联,说明预测公平性与解释一致性是模型行为的互补维度,推动公平性评估拓展至预测性能之外。
2026-08-20 cs.AI cs.LG
Visual Explanations of Image-Text Representations via Multi-Modal Information Bottleneck Attribution
New York University(纽约大学)
针对视觉-语言预训练模型可解释性不足的问题,提出多模态信息瓶颈M2IB归因方法,无需真实标签即可提升归因准确率,在定性定量上均优于现有归因方法。
2024-06-22 cs.AI cs.CV cs.LG
GANMEX: One-vs-One Attributions Guided by GAN-based Counterfactual Explanation Baselines
Amazon(亚马逊)
归因方法已被证明是识别导致学习模型预测的关键特征的有前途的方法。虽然大多数现有的归因方法依赖于基线输入进行功能扰动,有限的研究已经进行,以解决基线选择问题。基线选择不当限制了多类分类器的一对一(1-vs-1)解释能力,这意味着归因方法无法解释为什么输入属于其原始类而不是其他指定的目标类。当某些类别比其他类别更相似时,1-vs-1解释是至关重要的,例如多个动物中的两种鸟类,通过关注关键的差异特征而不是跨类别的共享特征。在本文中,我们提出了基于GAN的模型可解释性(GANMEX),这是一种通过将待解释的分类器作为对抗网络的一部分来应用生成对抗网络(GAN)的新方法。我们的方法有效地选择了反事实基线作为最接近的现实样本属于目标类,这使得归因方法提供真正的1对1的解释。我们发现,GANMEX基线改善了显着性图,并在基于扰动的评估指标上比现有基线表现更好。已知现有的归因结果对模型随机化不敏感,我们证明了GANMEX基线在模型的级联随机化下会产生更好的结果。
2021-06-23 cs.LG
From Attribution Maps to Human-Understandable Explanations through Concept Relevance Propagation
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希-赫兹研究所);Technische Universität Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD – 柏林学习与数据基础研究所)
本文提出概念相关性传播(CRP)方法,结合局部与全局视角,同时回答单个预测中特征“在哪里”和“是什么”的问题,生成更具人类可解释性的解释并深入揭示模型的表示与推理过程。
2024-01-06 cs.AI cs.LG
Analogies and Feature Attributions for Model Agnostic Explanation of Similarity Learners
IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
黑箱模型的事后解释在分类和回归设置中得到了广泛的研究。然而,对两个输入之间输出相似性的模型的解释受到的关注相对较少。在本文中,我们提供了适用于表格和文本数据的相似性学习模型不可知的本地解释。我们首先提出了一种方法,提供特征属性来解释由黑盒相似性学习器确定的一对输入之间的相似性。然后,我们提出类比作为机器学习中一种新的解释形式。在这里,目标是识别与输入对具有相同相似性的不同类似示例对,并提供对模型预测潜在(潜在)因素的洞察。类比的选择可以选择性地利用特征属性,从而连接两种形式的解释,同时仍然保持互补性。我们证明了我们的类比目标函数是次模块化的,使得搜索高质量的类比有效。我们应用所提出的方法来解释句子之间的相似性预测的一个国家的最先进的句子编码器,和患者之间的医疗保健利用应用。通过定量评估、仔细的用户研究和解释示例来衡量功效。
2022-02-02 cs.LG
Global Explanations of Neural Networks: Mapping the Landscape of Predictions
Center for Machine Learning, Capital One(美国Capital One公司机器学习中心);Columbia University(哥伦比亚大学)
神经网络被广泛采用的一个障碍是它们缺乏可解释性。虽然对于一个预测存在局部解释方法,但大多数全局属性仍然将神经网络决策简化为单个特征集。作为回应,我们提出了一种生成全局属性的方法,称为GAM,它解释了跨亚群的神经网络预测的前景。GAM通过每个属性最好解释的样本比例来增强全局解释,并指定每个属性描述的样本。全局解释也具有可调的粒度,以检测更多或更少的子群体。我们证明了GAM的全局解释1)产生模拟数据的已知特征重要性,2)匹配真实数据上可解释统计模型的特征权重,3)通过用户研究对从业者来说是直观的。通过更透明的预测,GAM可以帮助确保神经网络决策是出于正确的原因而生成的。
2019-02-06 cs.AI cs.LG stat.ML
A Unifying Framework of Concept-based Explainable AI with Completeness Guarantees
本文提出统一理论框架,用共同数学语言描述基于概念的可解释AI方法,通过概念自编码器视图界定概念不完备性,并给出归因完备性保证。
2026-09-29 cs.AI cs.CV cs.LG
Faithful Explanations for Deep Graph Models
Carnegie Mellon University(卡内基梅隆大学)
本文研究了图神经网络(GNNs)的忠实解释。首先,我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法,包括特征属性和子图解释。其次,我们的分析和实证结果表明,特征属性的方法不能捕捉边缘特征的非线性效应,而现有的子图解释方法是不忠实的。第三,我们介绍了\emph{k-hop Explanation with a Convolutional Core}(KEC),一种新的解释方法,可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后,我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
Don't be fooled: label leakage in explanation methods and the importance of their quantitative evaluation
Grossman School of Medicine(格罗斯曼医学院);Courant Institute(库朗研究所);Center for Data Science(数据科学中心);New York University(纽约大学)
特征属性方法识别输入的哪些特征对模型的输出影响最大。大多数广泛使用的特征属性方法(如SHAP、LIME和Grad-CAM)都是“类依赖”方法,因为它们生成的特征属性向量是类的函数。在这项工作中,我们证明了类相关的方法可以“泄漏”有关所选类的信息,使该类看起来比实际情况更有可能。因此,最终用户在解释依赖于类的方法生成的解释时会冒得出错误结论的风险。相比之下,我们引入了“分布感知”的方法,这些方法有利于解释保持标签的分布接近其分布,因为输入的所有特征都是如此。我们介绍SHAP-KL和FastSHAP-KL,这两种基线分布感知方法可以计算Shapley值。最后,我们对不同高维数据类型(图像、生物信号和文本)的三个临床数据集进行了七种类依赖和三种分布感知方法的综合评估。
2023-02-24 cs.AI cs.LG
ExPLAIND: Unifying Model, Data, and Training Attribution to Study Model Behavior
University of Michigan(密歇根大学)
提出ExPLAIND框架,统一归因于模型组件、数据和训练轨迹,支持跨粒度解释,通过梯度路径核和AdamW核机器推导参数级和步骤级影响分数,验证了Transformer的Grokking和EuroLLM预训练中的两阶段动态。
2026-06-12 cs.LG
Sound Explanation for Trustworthy Machine Learning
University of YYY(YYY大学);Institute of WWW(WWW研究所)
该研究形式化探讨机器学习可解释性问题,证明归因算法无法同时满足四项性质,定义了“可靠解释”概念,并将特征选择作为癌症预测模型的可靠解释以建立临床信任。
2023-06-08 cs.AI cs.LG
A Note about: Local Explanation Methods for Deep Neural Networks lack Sensitivity to Parameter Values
Google Inc.(谷歌公司)
局部解释方法,也称为归因方法,将深度网络的预测归因于其输入(参见。Baehrens等人(2010))。我们回应Adebayo等人(2018)的主张,即局部解释方法缺乏敏感性,即,具有随机初始化权重的DNN产生的解释在视觉上和定量上都与具有学习权重的DNN产生的解释相似。进一步的研究表明,他们的发现是由于他们的分析中的两个选择:(a)忽略属性的符号;(b)对于积分梯度(IG),通过选择基线(相对于计算属性的辅助输入),在他们的分析中包括具有零属性的像素。当这两个因素都考虑在内时,随机网络和实际网络的IG属性是不相关的。我们的调查还揭示了这些问题如何影响可视化,尽管我们注意到需要做更多的工作来了解观众如何解释随机和实际归因之间的差异。
2018-06-11 cs.LG stat.ML
Hide and Seek: HIDE Concepts to SEEK explanations for black box models
Arizona State University(亚利桑那州立大学)
该研究针对黑箱视觉模型的解释问题,提出无需模型权重或概念标注数据集的HnS方法,在CelebA等数据集上验证其归因准确性,可应用于图像字幕等现有方法无法适用的任务。
2026-10-15 cs.AI cs.CV cs.LG
Reckoning with the Disagreement Problem: Explanation Consensus as a Training Objective
University of Maryland(马里兰大学);Arthur(阿瑟)
随着神经网络越来越多地在高风险环境中做出关键决策,以可理解和可信赖的方式监控和解释其行为是必要的。一种常用的解释器类型是事后特征归因,这是一系列方法,用于为输入中的每个特征提供与其对模型输出的影响相对应的分数。在实践中,这个解释器家族的一个主要局限性是,他们可能会对哪些特征比其他特征更重要持不同意见。我们在本文中的贡献是考虑到这个不一致问题的训练模型的方法。我们通过引入一个事后解释者一致性正则化(PEAR)损失项以及与准确性相对应的标准项来做到这一点,这是一个额外的项,用于衡量一对解释者之间的特征归因差异。我们在三个数据集上观察到,我们可以用这个损失项训练模型,以提高对看不见的数据的解释共识,并看到除损失项中使用的解释者之外的解释者之间的共识得到改善。我们研究改进的共识和模型性能之间的权衡。最后,我们研究了我们的方法对特征归因解释的影响。
2023-03-23 cs.AI cs.LG
Feature Attributions and Counterfactual Explanations Can Be Manipulated
University of California, Irvine(加州大学欧文分校);Harvard University(哈佛大学)
随着机器学习模型越来越多地用于关键决策制定环境(例如,医疗保健、金融),人们越来越重视开发解释模型预测的方法。这种\textit{explanations}用于理解模型并建立模型信任,是机器学习管道中的重要组件。虽然解释是这些系统中的关键部分,但人们对它们如何容易受到对手的操纵知之甚少。在本文中,我们讨论了两大类解释是如何容易被操纵的。我们展示了对手如何设计有偏见的模型,操纵模型不可知的特征归因方法(例如,LIME \& SHAP)和在反事实搜索期间爬山的反事实解释(例如,Wachter的算法\& DiCE)转化为\textit{concealing}模型的偏差。这些漏洞允许攻击者部署有偏见的模型,但解释不会揭示这种偏见,从而欺骗利益相关者信任模型。我们评估了对现实世界数据集的操纵,包括COMPAS和社区\犯罪,并发现解释可以在实践中操纵。
2021-06-25 cs.CR cs.LG
The many Shapley values for model explanation
Google(谷歌公司)
Shapley值已成为一种流行的方法,用于将机器学习模型对输入的预测归因于其基本特征。Shapley值的使用通过引用[16]证明了\emph{unique}方法满足某些良好性质(\emph{axioms})。然而,在归因问题中,Shapley值的可操作性有多种方式。它们在引用模型、训练数据和解释上下文的方式上有所不同。这两种方法给出了非常不同的结果,使得唯一性结果变得毫无意义。此外,我们发现,以前提出的方法可以在理论上和实践中产生违反直觉的属性-例如,它们可以将非零属性分配给模型甚至没有引用的功能。在本文中,我们使用公理化的方法来研究的Shapley值属性的许多操作之间的差异,并提出了一种技术称为基线Shapley(BShap),是由一个适当的唯一性结果支持。我们还将BShap与IntegratedConcentrants进行了对比,这是Shapley值对连续设置的另一种扩展。
2020-02-07 cs.AI cs.LG econ.TH
Boundary-Aware Uncertainty for Feature Attribution Explainers
Northeastern University(东北大学)
本文提出 GPEC 框架,通过融合决策边界感知与解释函数逼近的不确定性,并引入测地线核,量化任意黑盒分类器特征归因解释的可信度。
2024-03-04 cs.LG
ReLaX: Retinal Layer Attribution for Guided Explanations of Automated Optical Coherence Tomography Classification
The Pingry School(平格里学校);Chinle Comprehensive Health Care Facility(钦利综合医疗中心);University of Maryland, College Park(马里兰大学帕克分校);NVIDIA(英伟达)
每年有3000万次光学相干断层扫描(OCT)成像测试用于诊断各种视网膜疾病,但OCT扫描的准确诊断需要训练有素的眼科护理专业人员,他们仍然容易出错。有了更好的诊断系统,许多由视网膜疾病引起的视力丧失病例是可以完全避免的。在这项工作中,我们提出了ReLaX,这是一种新型的深度学习框架,用于对视网膜病变进行可解释的准确分类,达到了最先进的准确性。此外,我们强调生产模型的决策的定性和定量的解释。虽然以前的作品使用像素级的属性方法生成模型的解释,我们的工作使用一种新的视网膜层属性方法产生丰富的定性和定量的模型解释。ReLaX通过将热图与OCT分割模型相结合来确定每个视网膜层的重要性。我们的工作是第一次以这种方式对模型的预测进行详细的定量解释。准确性和可解释性的结合可以在临床上应用于可访问的、高质量的患者护理。
2022-10-01 cs.CV cs.LG eess.IV
Minimizing False-Positive Attributions in Explanations of Non-Linear Models
Technical University of Denmark(丹麦技术大学);Technische Universität Berlin(柏林技术大学);Physikalisch-Technische Bundesanstalt, Berlin(柏林物理技术部);Charité – Universitätsmedizin Berlin(柏林查理医院大学医学中心)
针对非线性模型解释中的假阳性归因问题,提出PatternLocal方法,通过将局部线性代理权重转为生成表示以抑制抑制变量,在基准和EEG数据上优于现有方法。
2025-10-24 cs.LG stat.ML
Missingness Bias Calibration in Feature Attribution Explanations
University of Pennsylvania(宾夕法尼亚大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出MCal方法,通过轻量级后处理修正特征重要性评分中的缺失偏置,效果优于传统重训练方法。
2026-03-23 cs.LG
Revealing Hidden Context Bias in Segmentation and Object Detection through Concept-specific Explanations
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
将传统的事后归因方法应用于分割或目标检测预测器仅提供有限的见解,因为在输入级获得的特征归因图通常类似于模型的预测分割掩模或限界框。在这项工作中,我们解决了需要更多的信息解释这些预测提出的事后eXplainable人工智能方法L-CRP生成的解释,自动识别和可视化相关的概念学习,识别和使用的模型在推理过程中,以及精确地定位它们在输入空间。因此,我们的方法超越了奇异输入级属性图,并且作为基于最近发布的概念相关传播技术的方法,有效地适用于分割和目标检测中最先进的黑盒架构,例如DeepLabV 3+和YOLOv 6等。我们通过定量比较不同的概念属性方法来验证我们提出的技术的可信度,并讨论了对CityScapes,Pascal VOC和MS COCO 2017等流行数据集的解释复杂度的影响。精确定位和传达概念的能力用于揭示和验证背景特征的使用,从而突出模型可能的偏差。
2022-11-21 cs.AI cs.CV cs.LG