Beyond Attribution: Unified Concept-Level Explanations
School of Computer Science, Peking University, Beijing 100871, China（北京大学计算机科学学院）；Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education（高可信软件技术重点实验室（北京大学））
UNCLE框架通过扩展局部模型无关方法，提供统一的概念层面解释，提升解释的忠实度和多样性。
2026-02-26 cs.LG
GANMEX: One-vs-One Attributions Guided by GAN-based Counterfactual Explanation Baselines
Amazon（亚马逊）
归因方法已被证明是识别导致学习模型预测的关键特征的有前途的方法。虽然大多数现有的归因方法依赖于基线输入进行功能扰动，有限的研究已经进行，以解决基线选择问题。基线选择不当限制了多类分类器的一对一（1-vs-1）解释能力，这意味着归因方法无法解释为什么输入属于其原始类而不是其他指定的目标类。当某些类别比其他类别更相似时，1-vs-1解释是至关重要的，例如多个动物中的两种鸟类，通过关注关键的差异特征而不是跨类别的共享特征。在本文中，我们提出了基于GAN的模型可解释性（GANMEX），这是一种通过将待解释的分类器作为对抗网络的一部分来应用生成对抗网络（GAN）的新方法。我们的方法有效地选择了反事实基线作为最接近的现实样本属于目标类，这使得归因方法提供真正的1对1的解释。我们发现，GANMEX基线改善了显着性图，并在基于扰动的评估指标上比现有基线表现更好。已知现有的归因结果对模型随机化不敏感，我们证明了GANMEX基线在模型的级联随机化下会产生更好的结果。
2021-06-23 cs.LG
Analogies and Feature Attributions for Model Agnostic Explanation of Similarity Learners
IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
黑箱模型的事后解释在分类和回归设置中得到了广泛的研究。然而，对两个输入之间输出相似性的模型的解释受到的关注相对较少。在本文中，我们提供了适用于表格和文本数据的相似性学习模型不可知的本地解释。我们首先提出了一种方法，提供特征属性来解释由黑盒相似性学习器确定的一对输入之间的相似性。然后，我们提出类比作为机器学习中一种新的解释形式。在这里，目标是识别与输入对具有相同相似性的不同类似示例对，并提供对模型预测潜在（潜在）因素的洞察。类比的选择可以选择性地利用特征属性，从而连接两种形式的解释，同时仍然保持互补性。我们证明了我们的类比目标函数是次模块化的，使得搜索高质量的类比有效。我们应用所提出的方法来解释句子之间的相似性预测的一个国家的最先进的句子编码器，和患者之间的医疗保健利用应用。通过定量评估、仔细的用户研究和解释示例来衡量功效。
2022-02-02 cs.LG
On the Connection between Game-Theoretic Feature Attributions and Counterfactual Explanations
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文建立博弈论特征归因（以 SHAP 为代表）与反事实解释的理论等价关系，扩展至更多博弈论解概念，并通过三数据集实验验证相关条件与局限。
2023-07-13 cs.AI cs.CV cs.GT
On the Necessity of Multi-Domain Explanation: An Uncertainty Principle Approach for Deep Time Series Models
University of California Davis（加州大学戴维斯分校）
本文针对深度时间序列模型解释中时间域与频率域归因可能不一致的问题，引入不确定性原理作为判断多域解释必要性的充分条件，并通过多模型、多 XAI 方法和多数据集实验验证了仅依赖时间域解释的局限性。
2025-06-03 cs.HC cs.LG
Towards Unifying Feature Attribution and Counterfactual Explanations: Different Means to the Same End
Microsoft Research India（微软印度研究院）；University of Chicago（芝加哥大学）
特征归因和反事实解释是解释ML模型的流行方法。前者为每个输入特征分配一个重要性分数，而后者提供具有最小变化的输入示例，以改变模型的预测。为了统一这些方法，我们提供了一个解释的基础上，实际的因果关系框架，并提出了两个关键的结果，在他们的使用。首先，我们提出了一种方法来生成一组反事实的例子的特征归因解释。这些特征属性传达了特征对于改变模型的分类结果的重要性，特别是关于特征的子集对于该改变是否是必要的和/或足够的，而基于属性的方法无法提供。其次，我们展示了如何反事实的例子，可以用来评估其必要性和充分性的归因为基础的解释的好处。因此，我们强调这两种方法的互补性。我们对三个基准数据集- Adult-Income，LendingClub和German-Credit -的评估证实了互补性。像LIME和SHAP这样的特征归因方法以及像Wachter等人和DiCE这样的反事实解释方法通常在特征重要性排名上不一致。此外，通过限制可以被修改以生成反事实示例的特征，我们发现来自LIME或SHAP的前k个特征通常既不是模型预测的必要解释，也不是充分解释。最后，我们提出了一个案例研究的不同解释方法对现实世界的医院分诊问题
2021-05-29 cs.CY cs.LG
Attribution-Scores and Causal Counterfactuals as Explanations in Artificial Intelligence
SKEMA Business School（SKEMA商学院）；Millennium Institute for Foundations of Data Research（千禧数据基础研究所）
在这篇简短的文章中，我们强调了人工智能的解释的相关性，一般来说，以及{ \em可解释的AI}的最新发展，涉及不同方法的起源和联系。我们用简单的术语描述了数据管理和机器学习中基于归因分数的解释，以及因果关系领域中发现的反事实。我们详细说明了逻辑推理的重要性时，处理反事实，以及它们的使用得分计算。
2023-03-22 cs.AI cs.DB cs.LG
Challenging common interpretability assumptions in feature attribution explanations
Carnegie Mellon University（卡内基梅隆大学）
随着机器学习和算法决策系统越来越多地用于高风险的人在环设置中，迫切需要了解其预测的基本原理。研究人员已经用可解释的AI（XAI）来回应这种需求，但通常在没有评估的情况下宣称可解释性。当这些系统被评估时，它们通常通过离线模拟与可解释性的代理指标（如模型复杂性）进行测试。我们通过一个简单的“安慰剂解释”控制的大规模人类受试者实验，实证评估了三个常见的可解释性假设的准确性。我们发现，特征归因解释在我们的任务中为人类决策者提供边际效用，并且在某些情况下由于认知和上下文混杂因素导致更糟糕的决策。这一结果挑战了应用这些方法的假设普遍利益，我们希望这项工作将强调人类评估在XAI研究中的重要性。补充材料--包括实验的匿名数据、复制研究的代码、实验的交互式演示以及分析中使用的模型--可在以下网址找到：www.example.com。
2020-12-04 cs.CY cs.HC cs.LG
Unifying Attribution-Based Explanations Using Functional Decomposition
Ghent University（根特大学）；VIB Inflammation Research Center（VIB炎症研究中心）
本文提出了一个统一基于归因的解释方法框架，通过引入基于移除的归因方法（RBAMs）和规范加性分解（CAD），揭示了现有方法与博弈论的联系，并为开发新的高效近似方法提供了理论基础。
2024-12-18 cs.AI cs.LG
A Note about: Local Explanation Methods for Deep Neural Networks lack Sensitivity to Parameter Values
Google Inc.（谷歌公司）
局部解释方法，也称为归因方法，将深度网络的预测归因于其输入（参见。Baehrens等人（2010））。我们回应Adebayo等人（2018）的主张，即局部解释方法缺乏敏感性，即，具有随机初始化权重的DNN产生的解释在视觉上和定量上都与具有学习权重的DNN产生的解释相似。进一步的研究表明，他们的发现是由于他们的分析中的两个选择：（a）忽略属性的符号;（b）对于积分梯度（IG），通过选择基线（相对于计算属性的辅助输入），在他们的分析中包括具有零属性的像素。当这两个因素都考虑在内时，随机网络和实际网络的IG属性是不相关的。我们的调查还揭示了这些问题如何影响可视化，尽管我们注意到需要做更多的工作来了解观众如何解释随机和实际归因之间的差异。
2018-06-11 cs.LG stat.ML
Provably Better Explanations with Optimized Aggregation of Feature Attributions
LMU Munich（慕尼黑大学）；Siemens AG（西门子公司）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；Goethe University Frankfurt（法兰克福大学）
本文提出通过最优凸组合聚合多个特征归因方法，以可证明的方式提升解释的鲁棒性和忠实度，并在多种模型与归因技术上验证其优于单个方法及现有基线。
2024-06-07 cs.AI cs.CV cs.LG
The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions
University of Warsaw（华沙大学）
提出一种心理声学框架，通过优化不可听扰动来解耦模型归因与分类，证明在音频深度伪造检测中可系统扭曲解释热图而保持预测标签不变。
2026-06-15 cs.AI cs.LG cs.SD
Feature Attributions and Counterfactual Explanations Can Be Manipulated
University of California, Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
随着机器学习模型越来越多地用于关键决策制定环境（例如，医疗保健、金融），人们越来越重视开发解释模型预测的方法。这种\textit{explanations}用于理解模型并建立模型信任，是机器学习管道中的重要组件。虽然解释是这些系统中的关键部分，但人们对它们如何容易受到对手的操纵知之甚少。在本文中，我们讨论了两大类解释是如何容易被操纵的。我们展示了对手如何设计有偏见的模型，操纵模型不可知的特征归因方法（例如，LIME \& SHAP）和在反事实搜索期间爬山的反事实解释（例如，Wachter的算法\& DiCE）转化为\textit{concealing}模型的偏差。这些漏洞允许攻击者部署有偏见的模型，但解释不会揭示这种偏见，从而欺骗利益相关者信任模型。我们评估了对现实世界数据集的操纵，包括COMPAS和社区\犯罪，并发现解释可以在实践中操纵。
2021-06-25 cs.CR cs.LG
ReLaX: Retinal Layer Attribution for Guided Explanations of Automated Optical Coherence Tomography Classification
The Pingry School（平格里学校）；Chinle Comprehensive Health Care Facility（钦利综合医疗中心）；University of Maryland, College Park（马里兰大学帕克分校）；NVIDIA（英伟达）
每年有3000万次光学相干断层扫描（OCT）成像测试用于诊断各种视网膜疾病，但OCT扫描的准确诊断需要训练有素的眼科护理专业人员，他们仍然容易出错。有了更好的诊断系统，许多由视网膜疾病引起的视力丧失病例是可以完全避免的。在这项工作中，我们提出了ReLaX，这是一种新型的深度学习框架，用于对视网膜病变进行可解释的准确分类，达到了最先进的准确性。此外，我们强调生产模型的决策的定性和定量的解释。虽然以前的作品使用像素级的属性方法生成模型的解释，我们的工作使用一种新的视网膜层属性方法产生丰富的定性和定量的模型解释。ReLaX通过将热图与OCT分割模型相结合来确定每个视网膜层的重要性。我们的工作是第一次以这种方式对模型的预测进行详细的定量解释。准确性和可解释性的结合可以在临床上应用于可访问的、高质量的患者护理。
2022-10-01 cs.CV cs.LG eess.IV
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech（佐治亚理工学院）
深度学习越来越多地用于决策任务。然而，理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的，这些权重是在数百万张图像上优化的，因此这种解释很容易错过更大的画面。我们介绍了Summit，这是一个交互式系统，可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术：（1）激活聚合发现重要的神经元，（2）神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来，创建了新颖的归因图，揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据，例如包含120万张图像的ImageNet数据集，并利用神经网络特征可视化和数据集示例，帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案，其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解，并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行，并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Minimizing False-Positive Attributions in Explanations of Non-Linear Models
Technical University of Denmark（丹麦技术大学）；Technische Universität Berlin（柏林技术大学）；Physikalisch-Technische Bundesanstalt, Berlin（柏林物理技术部）；Charité – Universitätsmedizin Berlin（柏林查理医院大学医学中心）
针对非线性模型解释中的假阳性归因问题，提出PatternLocal方法，通过将局部线性代理权重转为生成表示以抑制抑制变量，在基准和EEG数据上优于现有方法。
2025-10-24 cs.LG stat.ML
Boundary-Aware Uncertainty for Feature Attribution Explainers
Northeastern University（东北大学）
本文提出 GPEC 框架，通过融合决策边界感知与解释函数逼近的不确定性，并引入测地线核，量化任意黑盒分类器特征归因解释的可信度。
2024-03-04 cs.LG
The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations
XITASO GmbH（西塔索有限公司）
研究时间序列模型可解释性方法中基于边际影响的归因方法失效问题，指出主要因计算不匹配，定义DAG忠实性，发现标准归因方法如SHAP通常不满足DAG忠实性，其扩展也有同样计算限制。
2026-07-21 cs.AI cs.LG
SAM: The Sensitivity of Attribution Methods to Hyperparameters
Auburn University（奥本大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
属性方法可以提供强大的洞察力的原因分类器的决定。我们认为，一个关键的迫切需要的解释方法是它的鲁棒性输入超参数，往往是随机设置或经验调整。对任意超参数选择的高度敏感性不仅会阻碍再现性，还会质疑解释的正确性并损害最终用户的信任。在本文中，我们提供了一个彻底的实证研究的敏感性，现有的归因方法。我们发现了一个令人担忧的趋势，即许多方法对它们共同的超参数的变化非常敏感，例如，即使改变随机种子也会产生不同的解释！有趣的是，这种敏感性并没有反映在文献中通常报道的数据集的平均解释准确性得分中。此外，为鲁棒分类器（即，被训练为对像素扰动不变）生成的解释比为常规分类器生成的解释更鲁棒。
2020-04-13 cs.CV cs.LG
Concise Explanations of Neural Networks using Adversarial Training
XaiPient；University of Wisconsin (Madison)（威斯康星大学麦迪逊分校）；Google（谷歌）
我们展示了对抗性学习与深度神经网络（DNN）可解释性之间的新联系。根据其输入特征解释神经网络模型的输出的一种形式是特征属性向量。基于属性的解释的两个理想特征是：（1）$\textit{sparseness}$：不相关或弱相关特征的属性应该是可忽略的，从而导致$\textit{concise}$解释的重要特征，以及（2）$\textit{stability}$：它不应该在输入的小的局部邻域内显著变化。我们的第一个贡献是对这两个性质如何进行理论探索（当使用基于集成属性或IG的属性时）与对抗训练有关，用于一类1层网络（包括用于二进制和多类分类的逻辑回归模型）;对于这些网络，我们表明：（a）使用$\ell_\infty$有界对手的对抗训练产生具有稀疏属性向量的模型，以及（b）自然模型训练，同时鼓励稳定的解释（通过损失函数中的额外项），相当于对抗训练。我们的第二个贡献是对现象（a）的实证验证，我们发现，有点令人惊讶的是，发生$\textit{not only}$ $\textit{in 1-layer networks}$，$\textit{but also DNNs}$ $\textit{trained on }$ $\textit{standard image datasets}$，并扩展到基于IG的归因，基于DeepSHAP的归因：与自然训练相比，具有$\ell_\infty$有界扰动…
2020-07-05 cs.LG stat.ML
Efficient GNN Explanation via Learning Removal-based Attribution
Technical University of Munich（慕尼黑工业大学）；Rice University（莱斯大学）；Texas A&M University（德克萨斯农工大学）；University of Georgia（佐治亚大学）
针对现有GNN解释方法难以兼顾高保真度与高效率的问题，提出基于移除归因学习的LARA框架，结合子图采样提升可扩展性，在六个数据集上验证了其效率与保真度优势，在大型ogbn-arxiv数据集上速度提升3.5倍且保真度更高。
2023-06-09 cs.AI cs.LG
Missingness Bias Calibration in Feature Attribution Explanations
University of Pennsylvania（宾夕法尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出MCal方法，通过轻量级后处理修正特征重要性评分中的缺失偏置，效果优于传统重训练方法。
2026-03-23 cs.LG
Relational Local Explanations
University of Tübingen（图宾根大学）
现有的大多数用于机器学习模型的事后解释方法产生独立的、每个变量的特征属性得分，忽略了均匀结构化数据（诸如视觉或文本数据）的关键固有特征：特征之间存在潜在的变量间关系。在此基础上，我们开发了一种新的模型不可知和置换为基础的特征归因方法的基础上输入变量之间的关系分析。因此，我们能够更广泛地了解机器学习模型的预测和决策。实验评估我们的框架比较国家的最先进的归因技术在各种设置，涉及图像和文本数据模式证明了我们的方法的有效性和有效性。
2023-02-11 cs.LG
Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions
KU Leuven（鲁汶大学）
本文提出两种模型无关的交互式特征归因方法（Occlusion和Shapley values），通过纠正后的解释生成局部数据来重训模型，显著提升了模型性能与主动学习中的样本效率。
2023-06-28 cs.AI cs.LG
Measurably Stronger Explanation Reliability via Model Canonization
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
虽然基于规则的归因方法已被证明可用于为深度神经网络提供本地解释，但解释现代和更多样化的网络架构在生成可信解释方面产生了新的挑战，因为所建立的规则集可能不足以或不适用于新的网络结构。作为上述问题的一个优雅的解决方案，最近引入了网络经典化。该过程利用了基于规则的属性的实现依赖性，并将模型重构为功能相同的替代设计，其中可以应用已建立的属性规则。然而，封圣的想法和它的有用性迄今为止只被定性地探讨。在这项工作中，我们定量验证了网络规范化对VGG-16和ResNet 18模型的基于规则的属性的有益影响，从而扩展了当前获得可靠的神经网络解释的最佳实践。
2022-02-14 cs.AI cs.LG
Pixel-level Certified Explanations via Randomized Smoothing
Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所）；CISPA Helmhotz Center for Information Security（CISPA海德堡信息安全中心）
提出首个基于随机平滑的像素级认证框架，为任意黑盒归因方法提供鲁棒性保证，并通过稀疏化和平滑将任务转化为分割问题，实验验证了其鲁棒性、可解释性和忠实性。
2025-06-18 cs.AI cs.CV cs.LG
Leveraging Local Structure for Improving Model Explanations: An Information Propagation Approach
Illinois Institute of Technology（伊利诺伊理工学院）
提出IProp方法，利用马尔可夫奖励过程建模像素间解释信息的动态传播，结合结构相似像素联合评估归因分数，兼容现有方法并显著提升多种可解释性指标。
2024-09-24 cs.AI cs.CV cs.LG
Amortised Post-Hoc Explanation with Exact Preservation for Dynamic Graph Anomaly Detectors
National higher School of Computer Science (ESI)（国家计算机科学高等学校（ESI））；Université Claude Bernard Lyon（里昂第一大学（克洛德·贝尔纳里昂大学））
本文针对动态图异常检测器StrGNN缺乏解释的问题，提出X-StrGNN事后解释层，可精确保留检测性能且成本低，通过对比归因策略验证了其稳定性与效果。
2026-08-18 cs.AI cs.LG
Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix（百迪赛）
使用Shapley值的加性特征解释已经变得流行，用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性，但即使是单个机器学习模型也可以生成Shapley值，这远远不是唯一的，理论和实现决策会影响最终的属性。在这里，我们考虑应用Shapley值解释决策树集成，并提出了一种新的方法，Shapley值为基础的特征属性，可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性，同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异，并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
Estimating the Adversarial Robustness of Attributions in Text with Transformers
IBM Research Zurich（IBM苏黎世研究院）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
推理是深度神经网络（DNN）分类器的重要组成部分。在高风险应用中，忠实和强大的解释对于理解和获得DNN分类器的信任非常重要。然而，最近的工作表明，文本分类器中最先进的归因方法容易受到难以察觉的对抗性扰动的影响，这些扰动会显着改变解释，同时保持正确的预测结果。如果未被发现，这可能会严重误导DNN的用户。因此，理解这种对抗性扰动对网络解释及其可感知性的影响至关重要。在这项工作中，我们建立了一个新的定义属性鲁棒性（AR）的文本分类，基于Lipschitz连续性。重要的是，它反映了由对抗性输入变化引起的归因变化和这种变化的可感知性。此外，我们引入了一系列文本相似性度量，以有效地捕获两个文本样本之间的局部性和文本中对抗性扰动的不可感知性。然后，我们提出了我们的新的transformeradminationattack（TEA），一个强大的对手，提供了一个严格的估计属性的鲁棒性在文本分类。TEA使用最先进的语言模型来提取单词替换，从而产生流畅的上下文对抗样本。最后，通过对几种文本分类架构的实验，我们表明TEA始终优于当前最先进的AR估计器，产生的扰动在更大程度上改变了解释，同时更流畅，更不易察觉。
2022-12-18 cs.AI cs.LG
Learning Deep Attribution Priors Based On Prior Knowledge
University of Washington（华盛顿大学）
特征属性方法将模型做出的单个预测解释为每个输入特征的属性之和，是理解复杂深度学习模型行为的重要工具。然而，确保模型产生有意义的解释，而不是依赖于噪音的解释，并不简单。使这一问题更加严重的是，归因方法不能提供关于为什么特征被分配其归因值的见解，导致难以解释的解释。在现实世界的问题中，我们通常有一组附加信息，用于预测每个特征对手头任务的重要性。在这里，我们提出了深度归因先验（DAPr）框架来利用这些信息来克服归因方法的局限性。我们的框架共同学习先验信息和特征重要性之间的关系，以及偏置模型，以具有依赖于预测为重要的特征的解释。我们发现，我们的框架既可以使网络更好地泛化到样本数据之外，也可以采用新的方法来解释模型行为。
2020-10-26 cs.LG stat.ML
Counterfactual Shapley Additive Explanations
J.P. Morgan AI Research（摩根大通人工智能研究院）
特征属性是模型解释的常见范例，因为它们简单地为模型的每个输入特征分配单个数值分数。在可操作的追索设置中，解释的目标是改善模型消费者的结果，通常不清楚如何正确使用特征属性。通过这项工作，我们的目标是加强和澄清可诉追索权和特征属性之间的联系。具体地说，我们提出了SHAP的一个变体，反事实SHAP（CF-SHAP），它结合了反事实信息来产生一个背景数据集，用于在边缘（也称为Shapley值框架。我们激励需要在可操作的追索权设置仔细考虑背景数据集时，使用Shapley值的特征属性与众多的合成的例子。此外，我们证明了CF-SHAP的有效性，提出并证明了一个定量分数的特征属性，反事实能力，表明通过这种度量，CF-SHAP是优于现有的方法时，公共数据集使用树集成进行评估。
2022-05-16 cs.AI cs.LG
Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution
SRM Institute of Science and Technology（SRM科学与技术学院）
研究显示，预测等效模型在特征归因上存在显著差异，揭示了假设类对解释稳定性的影响，提出解释可靠性评分R(x)以评估解释稳定性。
2026-03-16 cs.AI cs.LG
Information Bottleneck Attribution for Visual Explanations of Diagnosis and Prognosis
Northwestern University（西北大学）；Ege University（爱琴海大学）；Tokat State Hospital（托卡特国立医院）；NVIDIA（英伟达）；University of Catania（卡塔尼亚大学）；Columbia University Medical Center（哥伦比亚大学医学中心）；National Cancer Institute, National Institutes of Health（美国国立卫生研究院国家癌症研究所）
视觉解释方法在注释数据有限或不可用的患者的预后中具有重要作用。已经有几次尝试使用基于梯度的归因方法来定位来自医学扫描的病理，而不使用分割标签。这一研究方向一直受到缺乏鲁棒性和可靠性的阻碍。这些方法对网络参数高度敏感。在这项研究中，我们引入了一个强大的视觉解释方法来解决这个问题的医疗应用。我们提供了一种用于通用目的的创新视觉解释算法，作为示例应用，我们证明了其在不使用密集分割标签的情况下以高准确性和鲁棒性量化由Covid-19引起的肺部病变的有效性。这种方法克服了常用的Grad-CAM及其扩展版本的缺点。我们提出的策略背后的前提是，在确保分类器预测保持相似的同时，信息流被最小化。我们的研究结果表明，瓶颈条件提供了一个更稳定的严重性估计比类似的归因方法。
2021-06-23 cs.CV cs.LG eess.IV
SHapley Estimated Explanation (SHEP): A Fast Post-Hoc Attribution Method for Interpreting Intelligent Fault Diagnosis
State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University（上海交通大学机械系统与振动国家重点实验室）
针对智能故障诊断中SHAP结合域变换带来的高计算开销问题，提出分块归因和SHapley估计解释（SHEP）方法，通过降低特征维度和简化子集枚举将复杂度降至线性级，显著提升计算效率并实现实时解释。
2025-04-03 cs.AI cs.LG
Attribution Explanations for Deep Neural Networks: A Theoretical Perspective
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Cyber Science and Engineering, Xi’an Jiaotong University（西安交通大学网络安全工程学院）；Department of Computer Science and Engineering, the John Hopcroft Center, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系、霍夫曼中心）；Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系）
本文从理论视角系统回顾深度神经网络归因解释方法，针对其真实性挑战，重点梳理了理论统一、理论原理和理论评估三个关键方向，以深化理解、指导方法选择并启发新研究。
2025-08-11 cs.AI cs.LG
Visual Explanations of Image-Text Representations via Multi-Modal Information Bottleneck Attribution
New York University（纽约大学）
针对视觉-语言预训练模型可解释性不足的问题，提出多模态信息瓶颈M2IB归因方法，无需真实标签即可提升归因准确率，在定性定量上均优于现有归因方法。
2024-06-22 cs.AI cs.CV cs.LG
On Gradient-like Explanation under a Black-box Setting: When Black-box Explanations Become as Good as White-box
Freie Universität Berlin（柏林自由大学）
针对黑盒场景下基于梯度的归因方法因需内部访问而受限的问题，提出仅靠查询级访问生成类梯度解释的\methodAbr方法，经理论证明与图像实验验证，其效果优于现有黑盒方法且媲美白盒方法。
2024-05-14 cs.LG
Global Explanations of Neural Networks: Mapping the Landscape of Predictions
Center for Machine Learning, Capital One（美国Capital One公司机器学习中心）；Columbia University（哥伦比亚大学）
神经网络被广泛采用的一个障碍是它们缺乏可解释性。虽然对于一个预测存在局部解释方法，但大多数全局属性仍然将神经网络决策简化为单个特征集。作为回应，我们提出了一种生成全局属性的方法，称为GAM，它解释了跨亚群的神经网络预测的前景。GAM通过每个属性最好解释的样本比例来增强全局解释，并指定每个属性描述的样本。全局解释也具有可调的粒度，以检测更多或更少的子群体。我们证明了GAM的全局解释1）产生模拟数据的已知特征重要性，2）匹配真实数据上可解释统计模型的特征权重，3）通过用户研究对从业者来说是直观的。通过更透明的预测，GAM可以帮助确保神经网络决策是出于正确的原因而生成的。
2019-02-06 cs.AI cs.LG stat.ML
Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments
研究探讨了深度网络在预测人类真实性判断时解释的鲁棒性，发现不同架构间解释一致性弱，通过集成模型提升预测性能并实现图像级解释。
2026-04-08 cs.CV cs.LG
Looking Deeper into Deep Learning Model: Attribution-based Explanations of TextCNN
Eindhoven University of Technology（埃因霍温理工大学）；Cooperatieve Rabobank U.A（荷兰合作银行）
分层相关传播（LRP）和显着图最近被用来解释深度学习模型的预测，特别是在文本分类领域。在给出不同的基于属性的解释以突出预测类别标签的相关词的情况下，基于词删除扰动的实验是一种常见的评估方法。然而，这种单词去除方法忽略了句子中单词或短语之间可能存在的任何语言依赖性，这些依赖性可以在语义上将分类器引导到特定的预测。在本文中，我们提出了一个基于特征的评估框架，比较两种归因方法对客户评论（公共数据集）和客户尽职调查（CDD）提取的报告（公司数据集）。而不是删除的相关性得分的基础上的话，我们研究扰动的基础上嵌入的功能去除中间层的卷积神经网络。我们的实验研究进行了嵌入词，嵌入文档，嵌入ngrams解释。使用所提出的框架，我们提供了一个可视化工具，以协助分析师在推理模型的最终预测。
2018-12-02 cs.IR cs.LG stat.ML
Feature Attribution Explanations for Spiking Neural Networks
University of Twente（特文特大学）；University of Marburg（马尔堡大学）
针对脉冲神经网络在关键应用中的可解释性需求，提出融合脉冲时间与模型权重、纳入缺失脉冲概念的时间脉冲归因方法，经多指标验证具备优良解释特性，为可解释脉冲神经网络研究奠定基础。
2023-11-02 cs.LG cs.NE
Distribution-Based Feature Attribution for Explaining the Predictions of Any Classifier
针对特征归因领域缺乏正式问题定义的现状，本文提出基于数据集概率分布的特征归因正式定义，分析现有方法局限性并提出更有效高效的模型无关方法DFAX。
2025-11-12 cs.AI cs.LG
When Explanations Lie: Why Many Modified BP Attributions Fail
Dahlem Center of Machine Learning and Robotics（达勒姆机器学习与机器人中心）；Freie Universität Berlin（柏林自由大学）
本文分析了多种修改后的BP归因方法，发现除DeepLIFT外大多数方法的解释与后续层参数无关，并提出了CSC指标和评估框架来衡量和解释这一缺陷。
2024-02-19 cs.LG stat.ML
Discriminative Attribution from Counterfactuals
HHMI Janelia Research Campus（霍华德·休斯医学研究所珍妮莉亚研究园区）；ETH Zürich（苏黎世联邦理工学院）；MRC Laboratory of Molecular Biology（医学研究理事会分子生物学实验室）
我们提出了一种方法，神经网络的可解释性相结合的功能属性与反事实的解释，以生成属性映射，突出对类之间的最有区别的功能。我们表明，这种方法可以用来定量评估性能的特征归属方法在一个客观的方式，从而防止潜在的观察者偏见。我们在三个不同的数据集上评估了所提出的方法，包括具有挑战性的人工数据集和真实世界的生物数据。我们定量和定性地表明，突出显示的特征比使用传统的归因方法提取的特征更具鉴别力，并认为这种类型的解释更适合于理解由深度神经网络学习的细粒度类差异。
2021-09-28 cs.CV cs.LG
Mutual Information Preserving Back-propagation: Learn to Invert for Faithful Attribution
Sun Yat-Sen University（中山大学）；Texas A&M University（德克萨斯A&M大学）
已经提出了基于反向传播的可视化来解释深度神经网络（DNN），其中一些产生具有良好视觉质量的解释。然而，这些直观的可视化是否与网络决策有关存在疑问。最近的研究证实了这一怀疑，通过验证几乎所有这些修改后的反向传播可视化都不忠实于模型的决策过程。此外，这些可视化产生模糊的“相对重要性分数”，其中低值不能保证独立于最终的预测。因此，开发一种新的反向传播框架，保证理论的忠实性，并产生一个清晰的理解定量归因得分是非常必要的。为了实现这一目标，我们借助互信息理论来生成解释，研究每个输入神经元中编码了多少输出信息。基本思想是通过反向传播来学习源信号，使得输入和输出之间的互信息应当尽可能多地保留在输入和源信号之间的互信息中。此外，我们提出了一个互信息保持逆网络，称为MIP-IN，其中每一层的参数递归训练学习如何反转。在反演过程中，采用正向Relu运算，使一般解释适应特定输入。然后，我们经验性地证明，反相源信号满足完整性和极小性属性，这是一个忠实的解释至关重要。此外，实证研究验证了MIP-IN产生的解释的有效性。
2021-04-14 cs.AI cs.LG
Exploring the Relationship Between Feature Attribution Methods and Model Performance
University of São Paulo（圣保罗大学）；Federal Institute of Alagoas（阿拉戈斯联邦学院）；New York University（纽约大学）
本研究通过九种解释方法分析特征归因一致性，发现其与模型性能存在强相关，为教育预测模型的可解释性提供新视角。
2024-05-22 cs.LG
Attribution-based Explanations that Provide Recourse Cannot be Robust
Korteweg-de Vries Institute for Mathematics（科特韦赫-德弗里斯数学研究所）；University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文证明任何单一归因方法无法同时具备补救敏感性和鲁棒性，为LIME、SHAP等流行方法提供反例，并探讨了可能的绕行方案及受限情况下的精确刻画。
2023-12-20 cs.LG stat.ML
Towards A Unified Information Bottleneck Framework for Time Series Explanations
Florida International University（佛罗里达国际大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Houston（休斯顿大学）；NEC Labs America（美国 NEC 实验室）；Singapore Management University（新加坡管理大学）
本研究针对时间序列解释的现有方法存在的局限，提出统一信息瓶颈框架，引入ModelName，在合成与真实基准上均优于现有方法，可生成忠实归因与稳定反事实解释。
2026-08-27 cs.AI cs.LG
Generating Hierarchical Explanations on Text Classification Without Connecting Rules
University of Chinese Academy of Sciences（中国科学院大学）
深度NLP模型的不透明性推动了解释深度模型如何预测的方法的发展。最近，工作已经引入了分层归因，它产生了一个分层聚类的话，随着每个集群的属性得分。然而，现有的工作层次属性都遵循连接规则，限制了输入文本中的连续跨度的集群。我们认为，连接规则作为一个额外的先验可能会破坏忠实地反映模型决策过程的能力。为此，我们建议生成层次的解释没有连接规则，并引入一个框架，生成层次聚类。实验结果和进一步分析表明，该方法能够为反映模型预测过程提供高质量的解释。
2022-10-24 cs.CL cs.LG
Integrated Influence: Data Attribution with Baseline
DAMO Academy（大模型学院）；Alibaba Group（阿里巴巴集团）
针对现有数据归因方法忽略集体影响且缺乏基线的问题，本文提出集成影响方法，通过定义基线数据集并沿数据退化过程累积样本影响，生成更可靠的数据归因。
2025-08-07 cs.AI cs.LG
GradCFA: A Hybrid Gradient-Based Counterfactual and Feature Attribution Explanation Algorithm for Local Interpretation of Neural Networks
Department of Computer and Information Sciences, Northumbria University（北安普顿大学计算机与信息科学系）
本文提出GradCFA算法，结合反事实解释和特征归因，提升神经网络的可解释性，通过优化可行性、合理性与多样性，改进现有方法的不足，支持多类场景应用。
2026-03-16 cs.AI cs.LG
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University（纽卡斯尔大学）
针对社交媒体AI推荐解释通用、未对齐用户需求的问题，提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统，将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
Selective Explanations
Harvard University（哈佛大学）；IBM Research（IBM研究院）
提出选择性解释方法，通过检测低质量解释并使用带初始猜测的技术改进，以弥合摊销解释器与高质量解释器之间的差距。
2024-05-29 cs.CL cs.CY cs.LG
