When Can You Trust Your Explanations? A Robustness Analysis on Feature Importances
Department of Mathematics, Informatics and Geosciences（数学、信息学与地球科学系）；University of Trieste（特伦托大学）；The Abdus Salam International Center for Theoretical Physics（阿布杜斯·萨拉姆国际理论物理中心）；Assicurazioni Generali Spa（安联保险公司）
本文提出了一种利用流形假设分析神经网络解释对非对抗性扰动鲁棒性的新方法，并引入集成方法聚合解释，为从业者提供评估模型解释可信度的框架。
2025-04-03 cs.LG
Weak Robust Compatibility Between Learning Algorithms and Counterfactual Explanation Generation Algorithms
Jilin University（吉林大学）
针对现有反事实解释鲁棒性定义忽略学习算法影响的偏倚问题，本文基于解释强度提出弱鲁棒兼容性（WRC）定义及WRC-Test方法，并结合PAC学习理论建立理论保证，有效生成更鲁棒的反事实解释。
2024-05-31 cs.LG
FASTER-CE: Fast, Sparse, Transparent, and Robust Counterfactual Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amira Learning（Amira学习）；CognitiveScale（认知规模）
在过去的几年里，反事实解释作为一种以人为中心的理解个体黑箱模型预测的有用方式，已经越来越受欢迎。虽然在文献中已经确定了高质量反事实所需的几个属性，但三个关键问题：解释生成的速度，解释的鲁棒性/敏感性和简洁性（稀疏性）相对未被探索。在本文中，我们提出了FASTER-CE：一套新的算法来生成快速，稀疏和强大的反事实解释。其关键思想是有效地找到有前途的搜索方向，通过自动编码器指定的潜在空间中的反事实。这些方向是基于相对于每个原始输入特征以及目标的梯度来确定的，如在潜在空间中估计的。快速检查最有希望的梯度方向的组合以及结合额外的用户定义的约束的能力使我们能够生成多个反事实的解释，这些解释是稀疏的，现实的，并且对输入操作是鲁棒的。通过对不同复杂度的三个数据集的实验，我们表明，FASTER-CE不仅比其他最先进的方法更快地生成多个解释，而且在考虑更大的理想（而且往往是冲突）属性集时也显着优越。具体来说，我们提出了多个性能指标的结果：稀疏性，接近性，有效性，生成速度和解释的鲁棒性，以突出FASTER-CE系列的功能。
2022-10-12 cs.LG
Robust Explanations Through Uncertainty Decomposition: A Path to Trustworthier AI
CNRS（法国国家科学研究中心）；Université de technologie de Compiègne（图卢兹技术大学）；UMR CNRS 7253 Heudiasyc（CNRS 7253 Heudiasyc 联合研究单位）
本文提出利用偶然与认知不确定性的分解来指导解释方法选择，并以认知不确定性作为不可靠解释的拒绝标准，从而提升传统机器学习和深度学习中解释的稳健性与可获取性。
2025-07-17 cs.LG
Agree to Disagree: When Deep Learning Models With Identical Architectures Produce Distinct Explanations
Durham University（杜伦大学）
神经网络的深度学习在医疗保健领域越来越突出，模型达到甚至超过了专家的准确性水平。然而，这些成功的故事被关于缺乏模型透明度和对某些医疗条件或患者亚组的偏见的报道所玷污。可解释的方法被认为是缓解许多这些问题的途径。在这项研究中，我们证明了生成的解释是不稳定的，在模型训练的变化是垂直于分类任务和模型结构。这进一步引发了人们对医疗保健领域深度学习模型的信任问题。主要是，模型是否捕捉到数据中潜在的因果联系，或者仅仅依赖于通过解释方法可见的虚假相关性。我们证明了深度神经网络上的可解释性方法的输出可以通过超参数的变化而显着变化，例如随机种子或训练集如何被洗牌。我们引入了一种解释一致性的度量，我们使用它来突出MIMIC-CXR数据集上发现的问题。我们发现相同模型的解释，但不同的训练设置具有低一致性：平均$\approx$ 33%。相反，核方法对任何正交变化都是鲁棒的，解释一致性为94%。我们的结论是，目前的趋势模型解释是不足以减轻在现实生活中的医疗保健应用程序中部署模型的风险。
2021-10-31 cs.LG
A Robust Unsupervised Ensemble of Feature-Based Explanations using Restricted Boltzmann Machines
University of Tübingen（图宾根大学）
理解深度神经网络的结果是深度学习算法获得更广泛接受的重要一步。许多方法解决了解释人工神经网络的问题，但往往提供不同的解释。此外，解释方法的不同超参数可能导致相互冲突的解释。在本文中，我们提出了一种技术，用于聚合不同解释算法的特征属性，使用受限玻尔兹曼机（RBM）来实现更可靠和鲁棒的深度神经网络解释。在真实数据集上的几个具有挑战性的实验表明，所提出的RBM方法优于流行的特征属性方法和基本集成技术。
2021-11-14 cs.LG
From Binary to Continuous: Stochastic Re-Weighting for Robust Graph Explanation
针对图神经网络解释中训练与解释图分布不匹配导致解释质量下降的问题，提出一种迭代重加权框架，通过交替进行子图识别与模型适应，逐步缩小子图并重训练，提升解释鲁棒性，且可灵活集成于不同架构。
2025-08-03 cs.LG
Corrupting Neuron Explanations of Deep Visual Features
UCSD CSE（加州大学圣迭戈分校计算机科学与工程系）；UCSD HDSI（加州大学圣迭戈分校哈维·穆德数据科学研究所）
本文在统一流程下分析了Neuron Explanation Methods的鲁棒性，发现微小噪声或少量数据毒害即可显著破坏神经元解释，揭示了其在安全与公平关键应用中的信任风险。
2023-10-25 cs.LG
Finding Regions of Counterfactual Explanations via Robust Optimization
Amsterdam Business School, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹商学院）
本文提出一种基于鲁棒优化的迭代方法，能够生成在特征扰动下仍有效的反事实解释区域，并证明了其在逻辑回归、决策树、随机森林和神经网络上的收敛性，实验验证了其高效性和全局最优性。
2023-10-26 cs.LG
On the Trade-offs between Adversarial Robustness and Actionable Explanations
Harvard University（哈佛大学）
本文研究了对抗鲁棒性与可操作性解释之间的权衡，通过理论和实证分析发现，对抗鲁棒模型会显著增加追索方案的成本并降低其有效性，揭示了两者间固有的权衡。
2024-07-24 cs.LG
On the Robustness of Sparse Counterfactual Explanations to Adverse Perturbations
Centrum Wiskunde & Informatica（数学与计算机科学中心）；University of Trieste（的里雅斯特大学）
反事实解释（CE）是理解如何改变算法决策的有力手段。研究人员提出了一些CE应该满足的实际有用的要求，例如需要最小的努力来制定，或遵守因果模型。我们考虑进一步的方面，以提高CE的可用性：鲁棒性的不利扰动，这可能会自然发生，由于不幸的情况。由于CE通常规定了稀疏形式的干预（即，只有一个子集的功能应该改变），我们研究的影响，分别解决鲁棒性的功能，建议改变和那些没有。我们的定义是可行的，因为它们可以作为惩罚项纳入用于发现CE的损失函数中。为了试验鲁棒性，我们创建并发布了五个数据集（通常用于公平和可解释的机器学习领域）的代码，这些数据集已经用特定于特征的注释进行了丰富，这些注释可用于对有意义的扰动进行采样。我们的实验表明，CE往往是不稳健的，如果发生不利的扰动（即使不是最坏的情况），他们规定的干预可能需要比预期更大的成本，甚至变得不可能。然而，考虑到搜索过程中的鲁棒性，这可以很容易地完成，允许系统地发现鲁棒的CE。鲁棒CE使得对对比度扰动的额外干预比非鲁棒CE成本低得多。我们还发现，鲁棒性更容易实现的功能改变，提出了一个重要的考虑点，选择什么反事实的解释是最适合用户。我们的代码可在https://github.com/marcovirgolin/robust-counterfactuals上获取。
2022-09-23 cs.LG
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University（澳大利亚国立大学）
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效，但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论：如果这两个程序在形式上是等价的，那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧？我们解决这个悖论，把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
MEG: Generating Molecular Counterfactual Explanations for Deep Graph Networks
University of Pisa（比萨大学）
可解释人工智能（XAI）是一个研究领域，其目标是增加可信度并揭示不透明机器学习技术的隐藏机制。这在这种模型应用于化学领域的情况下变得越来越重要，因为其对人类健康的潜在影响，例如药理学中的毒性分析。在本文中，我们提出了一种新的方法来解决分子性质预测测试背景下的深度图网络的可解释性，称为MEG（分子解释生成器）。我们生成信息反事实的解释下的一个特定的预测的形式（有效）化合物具有高的结构相似性和不同的预测属性。给定经过训练的DGN，我们训练基于强化学习的生成器来输出反事实解释。在每一步中，MEG将当前候选反事实馈送到DGN中，收集预测并使用它来奖励RL代理以指导探索。此外，我们限制代理的动作空间，以便只保留使分子保持有效状态的动作。我们讨论的结果显示，该模型如何能够传达非ML专家对分子附近的学习模型焦点的关键见解。
2021-04-16 cs.LG
Counterfactual Explainer Framework for Deep Reinforcement Learning Models Using Policy Distillation
The University of Warwick（华威大学）；Warwick Manufacturing Group (WMG)（华威制造集团（WMG））
针对深度强化学习在安全关键系统中缺乏可解释性验证的问题，提出基于策略蒸馏的反事实解释框架，经自动驾驶和Atari Pong实验验证可生成合理有意义的黑盒决策解释并开源代码。
2023-10-07 cs.LG
Robust Counterfactual Explanations on Graph Neural Networks
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）；McMaster University（麦克马斯特大学）；The University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙弗雷泽大学）
图神经网络（GNN）在高风险应用中的大规模部署产生了对对噪声鲁棒性和与人类直觉保持一致的解释的强烈需求。大多数现有方法通过识别与预测具有强相关性的输入图的子图来生成解释。这些解释对噪声不鲁棒，因为独立地优化单个输入的相关性可以容易地过拟合噪声。此外，它们与人类的直觉并不一致，因为从输入图中删除已识别的子图并不一定会改变预测结果。在本文中，我们提出了一种新的方法，通过在类似的输入图上显式地对GNN的公共决策逻辑进行建模，来生成对GNN的鲁棒反事实解释。我们的解释自然对噪声具有鲁棒性，因为它们是从GNN的公共决策边界产生的，这些边界控制着许多类似输入图的预测。这些解释也与人类的直觉很好地吻合，因为从输入图中删除解释所识别的边缘集会显著改变预测。在许多公共数据集上的详尽实验证明了我们的方法的优越性能。
2022-07-12 cs.AI cs.LG
Aggregating explanation methods for stable and robust explainability
DTU Compute, Technical University Denmark（丹麦技术大学计算学院）
尽管关于解释神经网络的文献越来越多，但在如何解释神经网络决策或如何评估解释方面尚未达成共识。我们在本文中的贡献是双重的。首先，我们调查的计划，结合解释方法，减少模型的不确定性，以获得一个单一的聚合解释。我们提供的证据表明，聚合是更好地确定重要的功能，比单独的方法。对解释的对抗攻击是最近一个活跃的研究课题。作为我们的第二个贡献，我们提出的证据表明，总的解释是更强大的攻击比个人的解释方法。
2020-03-20 cs.AI cs.LG stat.ML
How Good is your Explanation? Algorithmic Stability Measures to Assess the Quality of Explanations for Deep Neural Networks
Brown University（布朗大学）；Université de Toulouse（图卢兹大学）；IRT Saint-Exupery（圣埃克苏佩里技术研究所）
已经提出了过多的方法来解释神经网络达到决策的深度，但相对而言，很少有人努力确保这些方法产生的解释是客观相关的。虽然已经制定了几个值得信赖的解释理想的属性，客观的措施一直很难得到。在这里，我们提出了两个新的措施来评估解释借用算法的稳定性领域：平均泛化MeGe和相对一致性ReCo。我们在不同的网络架构、常见的可解释性方法和几个图像数据集上进行了广泛的实验，以证明所提出的措施的好处。与我们的相比，流行的保真度措施不足以保证可信的解释。最后，我们发现，1-Lipschitz网络产生的解释比常见的神经网络具有更高的MeGe和ReCo，同时达到相似的准确性。这表明，1-Lipschitz网络是一个相关的方向，预测更可解释和更值得信赖。
2021-11-09 cs.AI cs.LG
Consumer-Driven Explanations for Machine Learning Decisions: An Empirical Study of Robustness
IBM Research（IBM研究院）
许多解释机器学习预测的方法实际上很难让非技术消费者理解。本文建立在另一种消费者驱动的方法，称为TED，要求在训练数据中提供解释，以及目标标签。使用半合成数据从信贷审批和员工保留的应用程序，实验进行了调查与TED的一些实际考虑，包括其性能与不同的分类算法，不同数量的解释，和解释的变化。针对某些训练样本没有解释的情况，提出了一种新的算法。我们的研究结果表明，TED是强大的越来越多的解释，嘈杂的解释，和大部分的缺失的解释，从而使其实际部署的进步。
2020-01-13 cs.AI cs.LG stat.ML
Faithful Explanations for Deep Graph Models
Carnegie Mellon University（卡内基梅隆大学）
本文研究了图神经网络（GNNs）的忠实解释。首先，我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法，包括特征属性和子图解释。其次，我们的分析和实证结果表明，特征属性的方法不能捕捉边缘特征的非线性效应，而现有的子图解释方法是不忠实的。第三，我们介绍了\emph{k-hop Explanation with a Convolutional Core}（KEC），一种新的解释方法，可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后，我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
Formalising the Robustness of Counterfactual Explanations for Neural Networks
Imperial College London（伦敦帝国理工学院）
反事实解释（CFX）的使用是机器学习模型越来越流行的解释策略。然而，最近的研究表明，这些解释可能对基础模型的变化（例如，再培训后），这就对它们在实际应用中的可靠性提出了质疑。解决这个问题的现有尝试是启发式的，并且仅用少量的再训练模型来评估所得到的CFX对模型变化的鲁棒性，未能提供详尽的保证。为了解决这个问题，我们提出了Δ-鲁棒性，这是第一个正式和确定性地评估神经网络CFX鲁棒性（对模型变化）的概念。我们引入了一个基于区间神经网络的抽象框架来验证CFX对模型参数可能无限变化的Δ-鲁棒性，即，权重和偏差。然后，我们证明了这种方法的效用在两个不同的方式。首先，我们从文献中分析了一些CFX生成方法的Δ-鲁棒性，并表明它们在这方面一致存在重大缺陷。其次，我们展示了如何在现有方法中嵌入Δ-鲁棒性可以提供可证明鲁棒的CFX。
2022-12-20 cs.AI cs.LG
DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss
Ikerlan Technology Research Centre（伊克尔兰技术研究中心）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟）；Mondragon University（蒙德拉贡大学）
深度学习已经成为不同领域中非常有价值的工具，没有人怀疑这些模型的学习能力。然而，由于深度学习模型由于缺乏可解释性而经常被视为黑匣子，因此在其决策过程中存在普遍的不信任。为了在有效性和可解释性之间找到平衡，可解释人工智能（XAI）近年来越来越受欢迎，该领域的一些方法用于生成反事实解释。生成这些解释的过程通常包括为要解释的每个输入求解优化问题，这在需要实时反馈时是不可行的。为了加快这个过程，一些方法利用自动编码器来生成即时的反事实解释。最近，提出了一种称为深度引导反事实解释（DGCEx）的方法，该方法训练了一个连接到分类模型的自动编码器，以生成简单的反事实解释。然而，该方法不能确保生成的反事实实例接近数据流形，因此可能生成不切实际的反事实实例。为了克服这个问题，本文提出了分布式感知深度引导反事实推理（DA-DGCEx），它在DGCEx成本函数中添加了一个项，该项对分布式反事实实例进行惩罚。
2021-04-22 cs.AI cs.LG
Counterfactual Explanations for Deep Learning-Based Traffic Forecasting
ETH Zurich（苏黎世联邦理工学院）；WSL Institute for Snow and Avalanche Research SLF（WSL雪与雪崩研究所SLF）
本研究提出了一种基于反事实解释的框架，用于提升深度学习交通预测模型的可解释性，通过场景驱动的约束生成定制化解释，以揭示模型学习的交通模式。
2024-05-01 cs.AI cs.LG
Robust Ranking Explanations
Lehigh University（理海大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出R2ET算法，通过定义并最大化“解释厚度”来增强模型显著特征排序的鲁棒性，在保持准确率的同时抵御针对梯度解释的对抗攻击。
2023-07-08 cs.CR cs.LG
Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles
Polytechnique Montreal（蒙特利尔理工学院）；Ecole des Ponts（巴黎桥路学院）
研究随机化集成的鲁棒反事实解释生成问题，提出概率方法并给出理论保证，实验显示其有效性远高于现有方法且距离代价小。
2024-03-21 cs.LG math.OC
GCFX: Generative Counterfactual Explanations for Deep Graph Models at the Model Level
South China University of Technology（华南理工大学）
GCFX通过生成模型级反事实解释，提升深度图模型的可解释性和可信度。
2026-01-26 cs.AI cs.LG
Robust Counterfactual Explanations in Machine Learning: A Survey
Imperial College London（帝国理工学院）
本综述系统回顾了机器学习中鲁棒反事实解释的研究，分析了鲁棒性形式、现有解决方案及其局限，为未来发展奠定基础。
2024-02-02 cs.AI cs.LG
Assessing the Reliability of Visual Explanations of Deep Models with Adversarial Perturbations
UFMG（米纳斯吉拉斯联邦大学）；Wildlife Studios；Kunumi；University of Cambridge（剑桥大学）
对用于计算机视觉应用的复杂深度神经网络的兴趣正在增加。这导致需要提高这些模型的可解释能力。最近的解释方法呈现来自输入图像的像素的相关性的可视化，从而使得能够直接解释导致特定输出的输入的属性。这些方法产生像素重要性的图，通常通过目视检查进行评估。这意味着解释方法的有效性是基于人的期望而不是实际特征重要性来评估的。因此，在这项工作中，我们提出了一个客观的措施来评估的可靠性解释的深层模型。具体来说，我们的方法是基于网络结果的变化，这些变化是由输入图像以对抗方式的扰动引起的。我们提出了一个广泛已知的解释方法之间的比较，使用我们提出的方法。最后，我们还提出了一个简单的应用程序，我们的方法来清理相关性地图，创建更多的可解释的地图，而不会损失任何基本的解释（根据我们提出的措施）。
2020-04-22 cs.LG stat.ML
Provably Robust Model-Centric Explanations for Critical Decision-Making
Carnegie Mellon University（卡内基梅隆大学）
我们建议使用以模型为中心的布尔可满足性（SAT）形式主义来获得对训练模型行为的有用解释，这与从LIME和SHAP（人工智能（AI）中流行的以数据为中心的解释工具）中收集到的信息不同，也是对它们的补充。我们比较和对比这些方法，并表明，以数据为中心的方法可能会产生有限的实际效用脆弱的解释。然而，以模型为中心的框架可以为在实践中使用AI模型的风险提供可操作的见解。对于人工智能的关键应用，瞬间决策最好通过对数据属性不变的强大解释来提供信息，这是以模型为中心的框架所提供的功能。
2021-10-26 cs.AI cs.LG cs.RO
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University（俄勒冈州立大学）
反事实的解释，处理“为什么不呢？“场景，可以为AI代理的行为提供有见地的解释。在这项工作中，我们专注于为在Atari等视觉输入环境中运行的深度强化学习（RL）代理生成反事实解释。我们介绍了反事实状态解释，这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说，反事实状态说明了Atari游戏图像需要什么样的最小变化，以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查，如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人，我们比较与基线方法的基础上最近的邻居解释，使用图像从实际的游戏。我们的研究结果表明，反事实状态的解释有足够的保真度，以实际的游戏图像，使非专家更有效地确定一个有缺陷的RL代理相比，最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Robust Counterfactual Explanations under Model Multiplicity Using Multi-Objective Optimization
Faculty of Business（商学部）；Kyoritsu Women’s University（京都女子大学）
针对机器学习中反事实解释在多相似精度模型下不鲁棒的问题，提出引入帕累托改进观点及多目标优化方法生成鲁棒反事实解释，实验验证了该方法的鲁棒性与实用性。
2026-07-07 cs.AI cs.LG
CeFlow: A Robust and Efficient Counterfactual Explanation Framework for Tabular Data using Normalizing Flows
University of Technology Sydney（悉尼科技大学）；Curtin University（科廷大学）
反事实解释是可解释的机器学习的一种形式，它在样本上产生扰动以实现期望的结果。生成的样本可以作为指导最终用户如何通过改变样本来观察所需结果的说明。尽管提出了最先进的反事实解释方法以使用变分自编码器（VAE）来实现有希望的改进，但是它们遭受两个主要限制：1）反事实生成非常慢，这阻止了算法在交互式环境中部署; 2）由于变分自编码器的采样过程中的随机性，反事实解释算法产生不稳定的结果。在这项工作中，为了解决上述限制，我们设计了一个强大而有效的反事实解释框架，即CeFlow，它利用规范化流的混合类型的连续和分类的功能。数值实验表明，我们的技术相媲美的最先进的方法。我们在https://github.com/tridungduong16/fairCE.git上发布了我们的源代码，用于复制结果。
2023-03-26 cs.AI cs.LG
Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations
提出一种基于遗传算法的模型无关方法，自动演化局部解释以提升深度卷积神经网络的可解释性，实验表明其解释易于理解且比LIME快十倍以上。
2025-03-26 cs.CV cs.LG
Robust Explanations for Private Support Vector Machines
RISE Research Institutes of Sweden（瑞典RISE研究院）；Stockholm University（斯德哥尔摩大学）
我们认为反事实的解释私人支持向量机（SVM），其中的隐私机制，公开发布的分类保证差分隐私。虽然隐私保护是必不可少的处理敏感数据时，有一个随之而来的退化，由于在分类器的权重引入扰动的分类精度。对于这样的分类器，反事实解释需要对SVM权重中的不确定性具有鲁棒性，以便以高置信度确保待解释的数据实例的分类不同于其解释。我们通过一个随机向量来模拟SVM权重中的不确定性，并将解释问题表示为一个带有概率约束的优化问题。随后，我们描述了问题的确定性等价和研究其解决方案。对于线性支持向量机，问题是一个凸二阶锥规划。对于非线性SVM，问题是非凸的。因此，我们提出了一个次优的解决方案，是基于二分法。结果表明，相反，非鲁棒性的解释，从强大的解决方案的解释质量下降，增加隐私，以保证一个预先指定的置信水平，正确的分类。
2021-06-09 cs.CR cs.LG math.OC
Provably Robust Bayesian Counterfactual Explanations under Model Changes
School of Computing and Digital Technologies（计算与数字技术学院）；Sheffield Hallam University（谢菲尔德哈姆大学）；Lee Kong Chian School of Medicine（李科金医学院）；Nanyang Technological University（南洋理工大学）
本文提出PSCE方法，通过概率安全和鲁棒性保证，在模型变化下生成更可靠且具有判别性的反事实解释。
2026-02-10 cs.AI cs.LG
Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations
University of Verona（维罗纳大学）；Imperial College London（帝国理工学院）
针对深度学习模型反事实解释的鲁棒性评估难题，证明合理模型偏移下的鲁棒性计算为NP完全问题，提出带严格概率保证的可扩展方法，在四个二分类数据集上性能优于现有方法。
2024-07-10 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI（索尼人工智能研究院）；Birkbeck, University of London（伦敦大学伯贝克学院）
深度强化学习（RL）涉及使用深度神经网络（DNN）来做出顺序决策，以最大化奖励。对于许多任务来说，深度强化学习策略产生的动作序列可能很长，人类很难理解。人类解释的一个关键组成部分是选择性，即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解，并生成一组简洁的指令来帮助未来代理的学习。为此，我们使用了一个深度RL代理与情景记忆系统，以确定和叙述在政策执行过程中的关键决策。我们表明，这些决策形成了一个简短的、人类可读的解释，也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Robust Explanations for User Trust in Enterprise NLP Systems
Workday AI
本文提出一种统一的黑盒鲁棒性评估框架，用于评估token级解释的鲁棒性，通过留一法遮挡和现实扰动测试，发现解码器LLM比编码器基线更稳定，且模型规模越大稳定性越强，同时建立了鲁棒性与推理成本的实用权衡曲线。
2026-07-20 cs.AI cs.CL cs.LG
How can we trust opaque systems? Criteria for robust explanations in XAI
Institute for Philosophy and Political Science（哲学与政治科学研究所）；TU Dortmund（多特蒙德技术大学）
本文提出XAI中解释稳健性和方法稳健性的准则，以提高深度学习算法的可信度和可解释性。
2025-08-18 cs.AI cs.LG
Generating robust counterfactual explanations
Orange Innovation（Orange创新中心）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机过程研究所）
针对反事实解释对输入变化缺乏鲁棒性的问题，本文提出 CROCO 框架，在鲁棒性与样本邻近性之间进行权衡并保证最低鲁棒性，表格数据集实验验证了其有效性。
2023-04-24 cs.AI cs.LG
Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance
University of Cambridge（剑桥大学）
本研究针对对称群下预测不变的神经网络，借助几何深度学习形式化解释不变性与等变性，提出鲁棒性度量指标、理论保证与提升方法，并总结出5条生成鲁棒解释的准则。
2023-10-05 cs.AI cs.CG cs.LG
TriShGAN: Enhancing Sparsity and Robustness in Multivariate Time Series Counterfactuals Explanation
本文提出TriShGAN，通过在CounteRGAN框架中引入三元组损失和Shapelet提取器，在保持低代价的同时增强多元时间序列反事实解释的鲁棒性与稀疏性。
2025-11-09 cs.AI cs.LG
A Note about: Local Explanation Methods for Deep Neural Networks lack Sensitivity to Parameter Values
Google Inc.（谷歌公司）
局部解释方法，也称为归因方法，将深度网络的预测归因于其输入（参见。Baehrens等人（2010））。我们回应Adebayo等人（2018）的主张，即局部解释方法缺乏敏感性，即，具有随机初始化权重的DNN产生的解释在视觉上和定量上都与具有学习权重的DNN产生的解释相似。进一步的研究表明，他们的发现是由于他们的分析中的两个选择：（a）忽略属性的符号;（b）对于积分梯度（IG），通过选择基线（相对于计算属性的辅助输入），在他们的分析中包括具有零属性的像素。当这两个因素都考虑在内时，随机网络和实际网络的IG属性是不相关的。我们的调查还揭示了这些问题如何影响可视化，尽管我们注意到需要做更多的工作来了解观众如何解释随机和实际归因之间的差异。
2018-06-11 cs.LG stat.ML
On the Robustness of Explanations of Deep Neural Network Models: A Survey
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
可解释性被广泛认为是负责任和值得信赖地使用机器学习模型的基石。随着深度神经网络（DNN）模型的广泛使用，其扩展到风险敏感和安全关键领域，已经提出了许多方法来解释这些模型的决策。近年来，人们也共同努力，表明这种解释是如何被微小的输入扰动扭曲（攻击）的。虽然已经有许多调查审查解释性方法本身，但迄今为止还没有努力吸收提出的不同方法和指标来研究DNN模型解释的鲁棒性。在这项工作中，我们提出了研究，理解，攻击和防御DNN模型解释的方法的全面调查。我们还提出了一个详细的审查不同的指标来评估解释方法，以及描述归因攻击和防御方法。最后，我们为社区提供了经验教训和建议，以确保DNN模型预测的可靠解释。
2022-11-09 cs.CR cs.CV cs.LG
Neuron Activation-based Computation of Logical Explanations for Deep Neural Networks
University of Lugano (USI)（卢加诺大学）；SUPSI（瑞士南部应用科学与艺术大学）；IDSIA（达尔莫尔人工智能研究所）；Florida State University（佛罗里达州立大学）
本文提出一种以神经元激活为参数、基于SMT求解器的灵活符号框架，用于高效计算深度神经网络的形式化逻辑解释，克服了现有方法在特征关系保证和可扩展性上的局限，并在图像识别和医学基准上验证了其计算效率优势。
2026-09-15 cs.LG cs.LO
Deep Descriptive Clustering
University of California, Davis（加州大学戴维斯分校）
最近的工作可解释的聚类允许描述集群时的功能是可解释的。然而，许多现代机器学习都集中在复杂的数据上，如图像、文本和图形，其中使用了深度学习，但数据的原始特征是不可解释的。本文探讨了一种新的设置复杂的数据进行聚类，同时使用可解释的标签生成解释。我们提出了深度描述性聚类，在复杂数据上执行子符号表示学习，同时基于符号数据生成解释。通过最大化输入数据的经验分布与聚类目标的诱导聚类标签之间的互信息，形成良好的聚类。我们通过求解一个整数线性规划来生成解释，该规划为每个聚类生成简洁和正交的描述。最后，我们允许的解释，通知更好的聚类提出了一种新的成对损失与自我生成的约束，以最大限度地提高聚类和解释模块的一致性。在公开数据上的实验结果表明，我们的模型在聚类性能上优于竞争基线，同时提供高质量的聚类级解释。
2021-05-24 cs.AI cs.LG
Coalitional Bayesian Autoencoders -- Towards explainable unsupervised deep learning
University of Cambridge（剑桥大学）
本文旨在提高Autoencoder（AE）预测的可解释性，提出了两种解释方法的基础上的平均值和认知的不确定性的对数似然估计，这自然产生的概率公式的AE称为贝叶斯Autoencoders（BAE）。为了定量评估解释方法的性能，我们在传感器网络应用中对它们进行了测试，并提出了三种基于传感器协变量偏移的度量：（1）Spearman漂移系数的G均值，（2）解释排序的敏感性-特异性的G均值和（3）结合上述两种度量的传感器解释质量指数（SEQI）。令人惊讶的是，我们发现，解释BAE的预测遭受高相关性导致误导性的解释。为了缓解这一问题，一个“联盟BAE”的建议，这是基于代理的系统理论的启发。我们在公开的状态监测数据集上进行的全面实验表明，使用联盟BAE的解释质量有所提高。
2021-10-19 cs.LG stat.ML
Provably Robust and Plausible Counterfactual Explanations for Neural Networks via Robust Optimisation
Imperial College London（帝国理工学院）；University of Glasgow（格拉斯哥大学）
针对神经网络反事实解释在参数更新下易失效且可能不合理的问题，提出基于鲁棒优化的 PROPLACE，可生成兼具接近性、合理性与可证明鲁棒性的反事实解释，并在对比实验中达到最先进性能。
2024-04-04 cs.AI cs.LG
Robust Explanations for Visual Question Answering
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在本文中，我们提出了一种方法来获得强大的解释视觉问答（VQA）的答案相关性很好。我们的模型通过提供视觉和文本解释来解释通过VQA模型获得的答案。我们解决的主要挑战是：i）通过当前方法获得的答案和文本解释没有很好的相关性; ii）当前的视觉解释方法没有关注解释答案的正确位置。我们通过使用协作相关模块来解决这两个挑战，该模块确保即使我们不针对基于噪声的攻击进行训练，增强的相关性也确保可以生成正确的解释和答案。我们进一步表明，这也有助于改善生成的视觉和文本解释。相关模块的使用可以被认为是一种验证答案和解释是否一致的鲁棒方法。我们使用VQA-X数据集评估该模型。我们观察到，所提出的方法产生更好的文本和视觉的理由，支持的决定。我们展示了该模型对基于噪声的扰动攻击的鲁棒性，使用相应的视觉和文本解释。详细的实证分析显示。这里我们提供了模型\url{https://github.com/DelTA-Lab-IITK/CCM-WACV}的源代码链接。
2020-01-23 cs.AI cs.CL cs.CV
RobustX: Robust Counterfactual Explanations Made Easy
Imperial College London（帝国理工学院）；University of Verona（维罗纳大学）
针对鲁棒反事实解释缺乏统一工具与基准的问题，本文提出开源 Python 库 RobustX，集成多种 CE 生成、评估方法和现有先进接口，并支持新方法快速扩展。
2025-02-19 cs.AI cs.LG
Play MNIST For Me! User Studies on the Effects of Post-Hoc, Example-Based Explanations & Error Rates on Debugging a Deep Learning, Black-Box Classifier
School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院）；Insight Centre for Data Analytics（数据分析洞察中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
本文报道了两个实验（N=349）的影响事后解释的例子和出错率对人们的看法的黑箱分类器。这两个实验都表明，当人们得到的情况下，从实施ANN CBR双系统的解释，他们认为错过分类更正确。他们还表明，当出错率增加到4%以上时，人们对分类器的信任度降低，认为它不太正确、不太合理、不太可信。讨论了这些结果对XAI的影响。
2020-09-10 cs.HC cs.LG
A Probabilistic Consensus-Driven Approach for Robust Counterfactual Explanations
Wrocław University of Science and Technology（沃拉布大学科学与技术学院）；Tooploox；Poznań University of Technology（波兹南技术大学）
本文提出一种联合建模数据分布与模型决策空间的概率共识方法，通过条件归一化流生成稳健反事实解释，单参数控制鲁棒性，实验显示在保持其他指标性能的同时实现更强的鲁棒性。
2026-04-19 cs.AI cs.LG
A Survey on Understanding, Visualizations, and Explanation of Deep Neural Networks
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
机器学习和信号处理领域的最新进展已经导致对深度神经网络（DNN）的广泛兴趣激增，这是由于它们对于具有重大工程重要性的不同和具有挑战性的问题具有前所未有的性能和高精度。然而，当这样的深度学习架构被用于做出关键决策时，诸如涉及人类生命的决策（例如，在控制系统和医疗应用中），理解、信任并用一个词“解释”深层模型决策背后的论点是至关重要的。在许多应用中，人工神经网络（包括DNN）被认为是黑箱系统，其不能提供关于其内部处理动作的足够线索。尽管最近已经开始了一些努力来解释深度网络的行为和决策，但可解释的人工智能（XAI）领域，其目的是推理DNN的行为和决策，仍处于起步阶段。本文的目的是全面概述DNN内部和整体行为的理解，可视化和解释。
2021-02-02 cs.AI cs.LG
Extracting Explanations, Justification, and Uncertainty from Black-Box Deep Neural Networks
GE Aerospace Research（GE航空航天研究院）；GE Aerospace（GE航空航天公司）
本文提出一种贝叶斯方法，无需重训练即可从黑盒深度神经网络中提取解释、理由与不确定性，并在CIFAR-10上验证，显著提升可解释性与可靠性。
2024-03-13 cs.LG stat.ML
Shapley Explanation Networks
Purdue University（普渡大学）
Shapley值已成为最流行的特征属性解释方法之一。然而，大多数先前的工作都集中在事后Shapley解释上，由于其指数时间复杂度，这可能在计算上要求很高，并且在训练期间排除了基于Shapley解释的模型正则化。因此，我们建议将Shapley值本身作为深层模型中的潜在表示，从而使Shapley解释成为建模范式中的一等公民。这种内在解释方法可以实现分层解释，在训练期间对模型进行解释正则化，并在测试时进行快速解释计算。我们定义了Shapley变换，它将输入转换为给定特定函数的Shapley表示。我们将Shapley变换作为一个神经网络模块进行操作，并通过组合Shapley模块来构建浅层和深层网络，称为ShapNets。我们证明了我们的Shallow ShapNets计算精确的Shapley值，而我们的Deep ShapNets保持了Shapley值的缺失和准确性。我们在合成和真实世界的数据集上证明，我们的ShapNet能够实现分层Shapley解释，训练期间的新颖Shapley正则化，以及快速计算，同时保持合理的性能。代码可在https://github.com/inouye-lab/ShapleyExplanationNetworks上获得。
2021-04-06 cs.AI cs.LG
