Concise Explanations of Neural Networks using Adversarial Training
XaiPient；University of Wisconsin (Madison)（威斯康星大学麦迪逊分校）；Google（谷歌）
我们展示了对抗性学习与深度神经网络（DNN）可解释性之间的新联系。根据其输入特征解释神经网络模型的输出的一种形式是特征属性向量。基于属性的解释的两个理想特征是：（1）$\textit{sparseness}$：不相关或弱相关特征的属性应该是可忽略的，从而导致$\textit{concise}$解释的重要特征，以及（2）$\textit{stability}$：它不应该在输入的小的局部邻域内显著变化。我们的第一个贡献是对这两个性质如何进行理论探索（当使用基于集成属性或IG的属性时）与对抗训练有关，用于一类1层网络（包括用于二进制和多类分类的逻辑回归模型）;对于这些网络，我们表明：（a）使用$\ell_\infty$有界对手的对抗训练产生具有稀疏属性向量的模型，以及（b）自然模型训练，同时鼓励稳定的解释（通过损失函数中的额外项），相当于对抗训练。我们的第二个贡献是对现象（a）的实证验证，我们发现，有点令人惊讶的是，发生$\textit{not only}$ $\textit{in 1-layer networks}$，$\textit{but also DNNs}$ $\textit{trained on }$ $\textit{standard image datasets}$，并扩展到基于IG的归因，基于DeepSHAP的归因：与自然训练相比，具有$\ell_\infty$有界扰动…
2020-07-05 cs.LG stat.ML
A simple defense against adversarial attacks on heatmap explanations
Technical University Denmark（丹麦技术大学）
随着机器学习模型被用于更敏感的应用，我们依赖于可解释性方法来证明没有区分属性用于分类。一个潜在的问题是所谓的“公平清洗”-操纵模型，使现实中使用的功能被隐藏，而更无害的功能被显示为重要的。在我们的工作中，我们提出了一个有效的防御这种对抗攻击的神经网络。通过多种解释方法的简单聚合，网络变得对操纵具有鲁棒性。即使攻击者对模型权重和所使用的解释方法有确切的了解，也是如此。
2020-07-13 cs.AI cs.LG stat.ML
Example-based Explanations with Adversarial Attacks for Respiratory Sound Analysis
Imperial College London（帝国理工学院）；Griffith University（格里菲斯大学）；University of Augsburg（奥格斯堡大学）
呼吸音分类是远程筛查肺炎、哮喘和COVID-19等呼吸相关疾病的重要工具。为了促进分类结果的可解释性，特别是基于深度学习的分类结果，已经提出了许多使用原型的解释方法。然而，现有的解释技术往往假设数据是无偏的，预测结果可以解释的一组原型的例子。在这项工作中，我们开发了一个统一的基于实例的解释方法，用于选择代表性数据（原型）和离群值（批评）。特别是，我们提出了一种新的应用对抗攻击，通过迭代快速梯度符号方法生成解释谱的数据实例。这种统一的解释可以通过允许人类专家逐个评估模型错误来避免过度概括和偏见。我们进行了广泛的定量和定性评估，以表明我们的方法可以生成有效且可理解的解释，并且在许多深度学习模型中具有鲁棒性
2022-03-30 cs.LG cs.SD eess.AS
Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods
University of California, Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
随着机器学习黑匣子越来越多地被部署在医疗保健和刑事司法等领域，人们越来越重视构建以可解释的方式解释这些黑匣子的工具和技术。这些解释被领域专家用来诊断系统性错误和黑箱的潜在偏见。在本文中，我们证明了事后解释技术，依赖于输入扰动，如石灰和SHAP，是不可靠的。具体来说，我们提出了一种新的脚手架技术，通过允许敌对实体制作任意所需的解释，有效地隐藏了任何给定分类器的偏见。我们的方法可以用于支架任何偏见的分类器在这样一种方式，其预测的输入数据分布仍然存在偏见，但事后解释的支架分类器看起来无害。使用多个真实世界数据集（包括COMPAS）的广泛评估，我们展示了我们的框架制作的极端偏见（种族主义）分类器如何轻松地欺骗流行的解释技术，如LIME和SHAP，以生成不反映潜在偏见的无害解释。
2020-02-03 cs.AI cs.LG stat.ML
Estimating the Adversarial Robustness of Attributions in Text with Transformers
IBM Research Zurich（IBM苏黎世研究院）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
推理是深度神经网络（DNN）分类器的重要组成部分。在高风险应用中，忠实和强大的解释对于理解和获得DNN分类器的信任非常重要。然而，最近的工作表明，文本分类器中最先进的归因方法容易受到难以察觉的对抗性扰动的影响，这些扰动会显着改变解释，同时保持正确的预测结果。如果未被发现，这可能会严重误导DNN的用户。因此，理解这种对抗性扰动对网络解释及其可感知性的影响至关重要。在这项工作中，我们建立了一个新的定义属性鲁棒性（AR）的文本分类，基于Lipschitz连续性。重要的是，它反映了由对抗性输入变化引起的归因变化和这种变化的可感知性。此外，我们引入了一系列文本相似性度量，以有效地捕获两个文本样本之间的局部性和文本中对抗性扰动的不可感知性。然后，我们提出了我们的新的transformeradminationattack（TEA），一个强大的对手，提供了一个严格的估计属性的鲁棒性在文本分类。TEA使用最先进的语言模型来提取单词替换，从而产生流畅的上下文对抗样本。最后，通过对几种文本分类架构的实验，我们表明TEA始终优于当前最先进的AR估计器，产生的扰动在更大程度上改变了解释，同时更流畅，更不易察觉。
2022-12-18 cs.AI cs.LG
Explainability-Guided Defense: Attribution-Aware Model Refinement Against Adversarial Data Attacks
本文提出属性感知模型细化方法，通过LIME引导训练以提升对抗鲁棒性和分布外泛化能力。
2026-01-02 cs.LG
Overcoming Adversarial Attacks for Human-in-the-Loop Applications
CAE Inc.（CAE公司）；Air Force Research Laboratory（美国空军研究实验室）；Leidos Inc.（雷多斯公司）
针对人在回路评估工具因神经网络视觉解释图易遭对抗攻击而鲁棒性不足的问题，提出可引入人类视觉注意力模型提升人机图像分析系统的可解释性与鲁棒性，并指出当前核心挑战是实现对抗环境下HITL评估的鲁棒性。
2023-08-25 cs.CV cs.LG
Defense Against Explanation Manipulation
Texas A&M University（德克萨斯A&M大学）；Rice University（莱斯大学）
可解释的机器学习由于其提高了模型的透明性，有助于机器学习在实际应用中的可信性而受到越来越多的关注。然而，解释方法最近被证明容易受到操纵，我们可以很容易地改变模型的解释，同时保持其预测不变。为了解决这个问题，人们已经付出了一些努力，使用更稳定的解释方法或改变模型配置。在这项工作中，我们从训练的角度来解决这个问题，并提出了一个新的训练方案，称为解释对抗训练（ATEX），以提高模型的内部解释稳定性，而不管应用的具体解释方法。ATEX不直接在数据实例上指定解释值，而是只对模型预测提出要求，从而避免在优化中涉及二阶导数。作为进一步的讨论，我们还发现解释稳定性与模型的另一个性质密切相关，即，暴露于对抗攻击的风险。通过实验，除了表明ATEX提高了模型对操纵目标解释的鲁棒性外，它还带来了额外的好处，包括平滑解释和提高对抗训练的有效性。
2021-11-08 cs.AI cs.LG
Do Gradient-based Explanations Tell Anything About Adversarial Robustness to Android Malware?
University of Cagliari（卡利亚里大学）；Pluribus One
虽然机器学习算法在检测Android恶意软件方面表现出了强大的能力，但它们可以通过注入一小部分虚假组件（例如，权限和系统调用，而不损害侵入功能。以前的工作表明，为了提高对这种攻击的鲁棒性，学习算法应该避免过分强调少数判别特征，而是提供依赖于大的组件子集的决策。在这项工作中，我们调查是否基于梯度的归因方法，用于解释分类器的决定，通过识别最相关的功能，可以用来帮助识别和选择更强大的算法。为此，我们建议利用两种不同的度量来表示解释的均匀性，以及一种新的紧凑的安全措施，称为对抗性鲁棒性度量。我们在两个不同的数据集和五种用于Android恶意软件检测的分类算法上进行的实验表明，解释的一致性和对抗性鲁棒性之间存在很强的联系。特别是，我们发现，流行的技术，如梯度 * 输入和集成的梯度是强烈相关的安全性时，应用于线性和非线性检测器，而更基本的解释技术，如简单的梯度不提供可靠的信息，这种分类器的鲁棒性。
2021-05-27 cs.CR cs.LG stat.ML
Are Your Explanations Reliable? Investigating the Stability of LIME in Explaining Text Classifiers by Marrying XAI and Adversarial Attack
University of Mississippi（密西西比大学）；Wright State University（莱特州立大学）
本文提出XAIFooler算法，通过文本扰动优化来操纵LIME解释，评估并提升其稳定性，实验证明该方法在保持语义的同时显著优于现有基线。
2023-10-15 cs.CL cs.LG
Propagated Perturbation of Adversarial Attack for well-known CNNs: Empirical Study and its Explanation
LG CNS；LG Science Park（LG科学园）
已知基于深度神经网络的分类器容易受到由对抗攻击构造的输入扰动的影响，以强制错误分类。大多数研究集中在如何利用基于梯度的攻击方法制造脆弱的噪声，或者建立防御对抗攻击的模型。使用去噪模型是一个众所周知的解决方案，以减少对抗性噪声，虽然分类性能没有显着提高。在这项研究中，我们的目标是分析对抗攻击的传播作为一个可解释的AI（XAI）的观点。具体来说，我们通过CNN架构来研究对抗性扰动的趋势。为了分析传播的扰动，我们在每个CNN层中测量通过去噪器的扰动图像的特征图与未扰动的原始图像之间的归一化欧几里得距离和余弦距离。我们使用了五个著名的基于CNN的分类器和三个基于梯度的对抗攻击。从实验结果中，我们观察到，在大多数情况下，欧氏距离在最后一个全连接层爆炸性地增加，而余弦距离在最后一层波动并消失。这意味着使用去噪器可以减少噪声量。然而，它未能防御精度下降。
2019-09-23 cs.CV cs.LG eess.IV
Trust but Verify: An Information-Theoretic Explanation for the Adversarial Fragility of Machine Learning Systems, and a General Defense against Adversarial Attacks
University of Iowa（爱荷华大学）
基于深度学习的分类算法已被证明容易受到对抗攻击的影响：分类器输入的微小变化可能会极大地改变其输出，而人类无法感知。在本文中，我们提出了一个关于人工智能（AI）分类器的特征压缩属性的简单假设，并提出了理论论据，表明这一假设成功地解释了AI分类器对小的对抗性扰动的脆弱性。借鉴信息和编码理论的思想，我们提出了一个通用类的防御检测异常小的输入扰动所造成的分类错误。我们进一步证明了这种检测方法的性能的理论保证。我们目前的实验结果与（a）一个话音识别系统，和（b）使用MNIST数据库的数字识别系统，以证明所提出的防御方法的有效性。本文中的想法是由AI分类器和通信系统的标准香农模型之间的简单类比激发的。
2019-05-25 cs.CR cs.CV cs.LG
Explaining and Harnessing Adversarial Examples
Google Inc.（谷歌公司）
几个机器学习模型，包括神经网络，一贯错误分类对抗性的例子--通过对数据集中的例子施加小的但故意的最坏情况的扰动而形成的输入，使得扰动的输入导致模型输出具有高置信度的错误答案。早期试图解释这一现象的重点是非线性和过拟合。相反，我们认为神经网络对对抗性扰动的脆弱性的主要原因是它们的线性性质。这一解释得到了新的定量结果的支持，同时给出了关于它们最有趣的事实的第一个解释：它们在架构和训练集上的泛化。此外，这种观点产生了一种简单而快速的生成对抗性示例的方法。使用这种方法为对抗训练提供示例，我们减少了MNIST数据集上maxout网络的测试集错误。
2015-03-20 cs.LG stat.ML
Right Predictions, Misleading Explanations: On the Vulnerability of Vision-Language Model Explanations
University of California, Berkeley（加州大学伯克利分校）
研究探讨了视觉-语言模型中解释热图在对抗条件下是否忠实反映推理过程，提出X-Shift攻击揭示解释与预测行为的脱节，验证了解释机制的脆弱性。
2026-06-11 cs.CV cs.LG
Improving Stability Estimates in Adversarial Explainable AI through Alternate Search Methods
University of Mississippi（密西西比大学）
针对局部替代类可解释AI方法易受对抗攻击且现有研究未量化其脆弱程度的问题，提出用替代搜索方法找最小可行扰动，以更优地比较可解释性方法的稳定性。
2025-01-15 cs.LG
Boundary Adversarial Examples Against Adversarial Overfitting
IBM Research Europe（IBM欧洲研究院）
标准对抗训练方法存在鲁棒过拟合问题，当模型被对抗训练太长时间时，鲁棒准确性会降低。这一问题的根源仍然不清楚，据报道，有相互矛盾的解释，即，由于大量损失数据或由于小损失数据以及随着对抗训练的进行，训练样本的损失分布的差异越来越大而引起的记忆效应。因此，一些缓解方法，包括早期停止，时间集成和小损失数据的权重扰动已被提出来减轻鲁棒过拟合的影响。然而，与标准对抗训练相比，这些策略的副作用是干净准确率的大幅下降。在本文中，我们研究了这些缓解方法在提高对抗训练性能方面是否相互补充。我们进一步提出了使用辅助对抗示例，这些示例可以在对抗示例生成中以最小的成本获得，并展示了它们如何在不影响鲁棒准确性的情况下提高现有方法的准确性。
2022-11-25 cs.LG
Improving Interpretability in Medical Imaging Diagnosis using Adversarial Training
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们研究了对抗训练对卷积神经网络（CNN）可解释性的影响，特别是应用于诊断皮肤癌。我们表明，基于梯度的显着性地图的adversarially训练的CNN显着更清晰，更视觉连贯性比那些标准训练的CNN。此外，我们发现，经过逆向训练的网络突出显示了病变内具有显著颜色变化的区域，这是黑色素瘤的一个共同特征。我们发现，用小的学习率微调一个鲁棒的网络可以进一步提高显着性图的清晰度。最后，我们提供了初步的工作表明，鲁棒的第一层提取强大的低级别功能，导致视觉上连贯的解释。
2020-12-02 cs.LG
XSub: Explanation-Driven Adversarial Attack against Blackbox Classifiers via Feature Substitution
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；National Renewable Energy Laboratory（国家可再生能源实验室）
针对可解释AI可能泄露黑盒模型信息增加攻击风险的问题，提出基于特征替换的解释驱动对抗攻击XSub，可平衡攻击效果与隐蔽性，查询复杂度低且可扩展后门攻击，经评估兼具有效性、隐蔽性与成本效益。
2024-09-13 cs.AI cs.LG
Evaluations and Methods for Explanation through Robustness Analysis
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；UCLA（加州大学洛杉矶分校）；Google Research（谷歌研究院）
基于特征的解释提供了每个特征对模型预测的重要性，可以说是解释模型的最直观的方法之一。本文通过鲁棒性分析，为这种基于特征的解释建立了一套新的评价标准。与现有的评估要求我们指定某种方式来“删除”可能不可避免地引入偏见和伪影的特征相比，我们使用了更小的对抗性扰动的微妙概念。通过对我们提出的评价标准进行优化，我们得到了新的解释，这些解释对于预测来说是宽松的必要和充分的。我们进一步扩展的解释，以提取的功能集，将移动当前的预测目标类，采用有针对性的对抗攻击的鲁棒性分析。通过跨多个领域的实验和用户研究，我们验证了我们的评估标准和我们的衍生解释的有用性。
2021-04-08 cs.LG stat.ML
Understanding and Improving Virtual Adversarial Training
Seoul National University（首尔国立大学）
在半监督学习中，虚拟对抗训练（VAT）方法由于其直观简单和强大的性能而成为最具吸引力的方法之一。增值税找到了一个对对抗方向的数据扰动具有鲁棒性的分类器。在这项研究中，我们提供了一个基本的解释，为什么增值税工作良好的半监督学习的情况下，并提出了新的技术，这是简单的，但功能强大的增值税方法。特别是，我们采用了坏GAN方法的思想，该方法利用分布在输入数据的支持的补充上的坏样本，而不需要任何额外的深度生成架构。我们使用增值税中使用的对抗训练生成高质量的坏样本，并从理论上解释了为什么对抗训练擅长生成坏样本。我们所提出的方法的一个优点是实现竞争力的性能相比，其他最近的研究与更少的计算。我们证明了我们的方法的优势，通过各种实验与知名的基准图像数据集。
2019-09-15 cs.LG stat.ML
Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition
University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
逆向训练的模型表现出很大的泛化差距：即使在大的扰动半径下，它们也可以插值训练集，但代价是在干净样本上产生很大的测试误差。为了研究这一差距，我们将测试风险分解为偏差和方差分量，并研究它们作为对抗训练扰动半径（$\varepsilon$）的函数的行为。我们发现偏倚随$\varepsilon$单调增加，并且是风险中的主导项。同时，方差作为$\varepsilon$的函数是单峰的，峰值在训练集的插值阈值附近。这种特征行为在不同的数据集上稳健地发生，也适用于其他稳健的训练过程，如随机平滑。因此，它提供了一个测试的泛化差距提出的解释。我们发现，一些现有的解释失败这个测试-例如，通过预测单调增加的方差曲线。这强调了偏差方差分解在现代环境中的作用通过提供两个测量而不是一个测量，他们可以排除比单独测试准确性更多的解释。我们还表明，偏差和方差可以为可扩展地减少泛化差距提供有用的指导，突出预训练和未标记的数据作为有前途的路线。
2021-06-14 cs.LG stat.ML
Feature compression is the root cause of adversarial fragility in neural network classifiers
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Iowa（爱荷华大学）
本文从矩阵理论角度解释了神经网络分类器的对抗脆弱性，证明其对抗鲁棒性随输入维度增加而退化，仅达最优分类器的 $1/\sqrt{d}$，且与基于信息论的特征压缩解释一致。
2025-11-03 cs.CR cs.IT cs.LG
Adversarial Examples Are Not Bugs, They Are Superposition
Goodfire
本文提出对抗样本的产生主要源于机制可解释性中的“叠加”现象，并通过理论分析、玩具模型和ResNet18实验，证明干预叠加与鲁棒性之间存在双向控制关系。
2025-09-13 cs.LG
ABIGX: A Unified Framework for eXplainable Fault Detection and Classification
Zhejiang University（浙江大学）；Guangdong University of Petrochemical Technology（广东石油化工学院）
该研究提出可解释故障检测与分类统一框架ABIGX，核心为对抗故障重构方法，可缓解故障分类的类别涂抹问题，且理论上涵盖传统方法，实验证明其解释效果优于现有先进方法。
2023-11-09 cs.AI cs.LG
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester（曼彻斯特大学）
本文建立解释集成对抗防御鲁棒性的误差理论，并据此提出 iGAT，通过全局对抗样本概率分配和弱点正则化，在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
eXIAA: eXplainable Injections for Adversarial Attack
Department of Mechanical Engineering National University of Singapore（机械工程系国立新加坡大学）
针对事后可解释人工智能（XAI）提出新型黑盒模型无关对抗攻击eXIAA，无需访问模型或权重，单步修改解释且保持预测类别不变，暴露XAI可靠性漏洞，在ResNet-18、ViT-B16上验证有效。
2025-11-13 cs.AI cs.CV cs.LG
PARs: Predicate-based Association Rules for Efficient and Accurate Model-Agnostic Anomaly Explanation
Siemens Technology China（西门子中国技术）
针对现有异常检测研究重检测轻解释的问题，提出基于谓词的关联规则PARs模型无关异常解释方法，经用户研究和多基准实验验证，其解释更易被用户理解，且计算效率与准确性优于现有先进方法。
2023-12-18 cs.AI cs.IR cs.LG
Robust Ranking Explanations
Lehigh University（理海大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出R2ET算法，通过定义并最大化“解释厚度”来增强模型显著特征排序的鲁棒性，在保持准确率的同时抵御针对梯度解释的对抗攻击。
2023-07-08 cs.CR cs.LG
Scoring Black-Box Models for Adversarial Robustness
Stanford University（斯坦福大学）
深度神经网络易受对抗性输入的影响，并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入，然后在构造的对抗性输入上测试模型的性能，分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的，需要访问数据标签，并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法，表明其对对抗性输入的鲁棒性。我们发现，相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
The Dimpled Manifold Model of Adversarial Examples in Machine Learning
Weizmann Institute of Science（魏茨曼科学研究所）
2013年，多个研究小组独立发现，当输入受到微小扰动时，深度神经网络极其脆弱。然而，尽管付出了巨大的努力，这些对抗性的例子仍然是一个违反直觉的现象，没有简单的可检验的解释。在本文中，我们介绍了一个新的概念框架，在训练过程中类之间的决策边界如何演变，我们称之为{ \em酒窝流形模型}。特别是，我们证明，培训分为两个不同的阶段。第一阶段是一个（通常是快速的）附着过程，其中最初随机定向的决策边界非常接近低维图像流形，其中包含所有的训练样本。接下来，有一个（通常是缓慢的）凹痕阶段，它在决策边界中创建浅凸起，将其移动到训练样本的正确侧。这个框架提供了一个简单的解释，解释了为什么存在对抗性的例子，为什么它们的扰动具有如此微小的范数，为什么它们看起来像随机噪声而不是目标类。这个解释也被用来表明，一个用错误标记的图像进行对抗训练的网络仍然可以正确地分类大多数测试图像，并表明对抗训练的主要效果只是加深了决策边界中生成的凹痕。最后，我们讨论并证明了非常不同的性质的流形上和流形外的对抗扰动。我们描述了大量的实验结果，强烈支持这种新的模型，使用低维合成数据集和高维自然数据集。
2022-06-01 cs.CR cs.LG stat.ML
On the Properties of Adversarially-Trained CNNs
University of Padova（帕多瓦大学）
对抗性训练已被证明是一种有效的训练范式，可以在现代神经网络架构中增强对抗性示例的鲁棒性。尽管做出了许多努力，但对支撑对抗训练有效性的基本原则的解释仍然有限，远未被深度学习社区广泛接受。在本文中，我们描述了对抗训练模型的惊人特性，揭示了实现对抗对抗攻击的鲁棒性的机制。此外，我们强调的限制和故障模式影响这些模型，没有讨论过以前的作品。我们对各种架构和数据集进行了广泛的分析，并在健壮模型和自然模型之间进行了深入的比较。
2022-03-17 cs.CV cs.LG
ABLE: Using Adversarial Pairs to Construct Local Models for Explaining Model Predictions
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；National Institute of Standards and Technology（美国国家标准与技术研究院）
ABLE通过生成对抗对构建局部模型，提高模型预测解释的稳定性和保真度。
2025-11-26 cs.AI cs.LG
Adversarial attacks and defenses in explainable artificial intelligence: A survey
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）
本综述聚焦可解释人工智能（XAI）面临的对抗攻击问题，梳理了相关攻击与公平性指标研究，搭建了统一分类体系，讨论防御方法与现有安全隐患，并指出对抗XAI的未来研究方向。
2025-07-28 cs.AI cs.CR cs.CV
Explaining Away Attacks Against Neural Networks
SAP Asia（思爱普亚洲）
我们研究了识别基于图像的神经网络上的对抗攻击的问题。我们提出了有趣的实验结果，显示了对干净数据和对抗数据模型预测的解释之间存在显着差异。利用这种直觉，我们提出了一个框架，可以根据模型给出的解释来识别给定的输入是否是对抗性的。我们的实验代码可以在这里找到：https://github.com/seansaito/Explaining-Away-Attacks-Against-Neural-Networks。
2020-03-06 cs.CR cs.CV cs.LG
Impact of Adversarial Attacks on Deep Learning Model Explainability
Iowa State University（爱荷华州立大学）
本文研究对抗攻击对深度学习模型可解释性的影响，发现FGSM和BIM攻击虽大幅降低模型准确率（从89.94%降至58.73%和45.50%），但IoU和RMSE等解释性指标变化极小，表明这些指标对对抗扰动不敏感。
2024-12-15 cs.AI cs.CV cs.LG
Unifying Image Counterfactuals and Feature Attributions with Latent-Space Adversarial Attacks
Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计学系）；Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计学与数据科学系）
本文提出反事实攻击方法，通过在潜在空间进行对抗攻击生成反事实图像，并结合特征归因提供全局解释，在MNIST和CelebA数据集上验证了其有效性。
2025-04-21 cs.CV cs.LG
Defending Against Adversarial Attacks by Suppressing the Largest Eigenvalue of Fisher Information Matrix
East China Normal University（华东师范大学）；Shanghai University（上海大学）；Wenzhou University（温州大学）
我们提出了一种通过抑制Fisher信息矩阵的最大特征值来防御对抗攻击的方案。我们的出发点是对对抗性例子的基本原理的一种解释。基于良性样本与其敌对样本之间的差异由欧几里德范数度量，而它们在网络最后一层（softmax）的分类概率密度之间的差异可以由Kullback-Leibler（KL）散度度量的思想，该解释表明输出差异是输入差异的二次形式。如果这个二次型的特征值（a.k.a.当输入差异很小时，输出差异也会变大，这解释了对抗现象。这使得对抗性防御可能通过控制的特征值。我们的解决方案是在原始网络的损失函数中增加一个表示迹的项，因为最大特征值由迹限制。在典型的深度神经网络（如LeNet、VGG和ResNet）上，使用MNIST、CIFAR-10和德国交通标志识别基准（GTSRB）数据集，通过各种常见的攻击方法对我们的防御方案进行了实验验证。通过引入新的损失函数和再训练，新网络在保持原网络分类精度的同时，降低了生成对抗样本的欺骗率，具有有效的鲁棒防御能力。
2019-09-13 cs.LG stat.ML
SHLIME: Foiling adversarial attacks fooling SHAP and LIME
本文提出SHLIME模块化测试框架，系统评估LIME/SHAP集成配置对偏差隐藏攻击的鲁棒性，并识别出能显著提升偏差检测的配置，以增强高风险机器学习系统的透明度。
2025-08-14 cs.CR cs.LG
Aggregating explanation methods for stable and robust explainability
DTU Compute, Technical University Denmark（丹麦技术大学计算学院）
尽管关于解释神经网络的文献越来越多，但在如何解释神经网络决策或如何评估解释方面尚未达成共识。我们在本文中的贡献是双重的。首先，我们调查的计划，结合解释方法，减少模型的不确定性，以获得一个单一的聚合解释。我们提供的证据表明，聚合是更好地确定重要的功能，比单独的方法。对解释的对抗攻击是最近一个活跃的研究课题。作为我们的第二个贡献，我们提出的证据表明，总的解释是更强大的攻击比个人的解释方法。
2020-03-20 cs.AI cs.LG stat.ML
Algebraic Adversarial Attacks on Integrated Gradients
School of Electrical and Mechanical Engineering, The University of Adelaide（阿德莱德大学机电工程学院）；School of Computer and Mathematical Sciences, The University of Adelaide（阿德莱德大学计算机与数学科学学院）；Information Sciences Division, Defence Science & Technology Group（国防科技集团信息科学部）
本文提出代数对抗样本，研究为积分梯度生成对抗样本的条件，提供数学上可处理的对抗攻击方法。
2025-02-27 cs.LG math.GR
When and How to Fool Explainable Models (and Humans) with Adversarial Examples
University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））
本文扩展对抗样本概念适配可解释机器学习场景，提出综合框架研究人类评估下可解释模型对抗样本的生成可能性与方法，考虑多类关键因素确定场景化攻击策略，为该领域更严谨研究奠定基础。
2023-07-07 cs.CR cs.LG
Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本文综述了模型压缩与对抗鲁棒性之间关系的研究证据，分析了剪枝、量化等压缩技术对鲁棒性的影响，并针对已有实验中的矛盾结果讨论其可能原因。
2023-11-27 cs.CV cs.LG
FAME: Formal Abstract Minimal Explanation for Neural Networks
FAME提出了一种基于抽象解释的新方法，通过专用扰动域和LiRPA界限，实现大规模神经网络的高效最小解释生成。
2026-03-11 cs.AI cs.LG
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
Institute of Mathematics（数学研究所）；University of Würzburg（维尔茨堡大学）；Technical University of Munich（慕尼黑工业大学）；Institute of Computer Science（计算机科学研究所）；CAIDAS；Institute of Mathematics, CAIDAS（CAIDAS数学研究所）
本文针对两层ReLU网络，从理论和实验两方面解释了采用ℓ∞攻击的对抗训练神经网络的梯度显著性图稀疏性，证明其极小化子收敛到特定贝叶斯分类器，且梯度范数各向异性导致稀疏性。
2026-10-09 cs.LG math.OC stat.ML
Factor Graph-based Interpretable Neural Networks
Dalian University of Technology（大连理工大学）；Jilin University（吉林大学）；RMIT University（皇家墨尔本理工大学）
本文提出 AGAIN，利用因子图表达解释与类别间的逻辑规则，并在推理时交互式纠正不合逻辑的解释，从而在未知扰动下生成可理解解释。
2025-02-20 cs.AI cs.LG
Adversarial Attacks Leverage Interference Between Features in Superposition
Department of Computer Science, Imperial College London, London, United Kingdom（帝国理工学院伦敦校区计算机科学系）
本文揭示神经网络中特征叠加导致的干扰是对抗脆弱性的根源，通过理论推导和实验验证了干扰模式决定攻击成功与迁移性。
2026-06-17 cs.AI cs.CV cs.LG
Adversarial training for predictive tasks: theoretical analysis and limitations in the deterministic case
CGG
为了训练深度神经网络以模拟处理序列的结果，可以使用条件广义对抗网络（CGAN）的版本。其他人已经观察到，CGAN可以帮助改善结果，即使是对于确定性序列，其中只有一个输出与给定输入的处理相关联。令人惊讶的是，我们的CGAN为基础的测试确定性地球物理处理序列并没有产生真正的改善相比，使用一个$L_p$损失，我们在这里提出了第一个理论解释。我们的分析从非确定性的情况下，确定性的。这使我们开发了一种对抗性的方法来训练内容丢失，从而在我们的数据上获得更好的结果。
2020-11-30 cs.LG stat.ML
A Frequency Perspective of Adversarial Robustness
University of Maryland（马里兰大学）；Facebook AI Research（Facebook人工智能研究院）
对抗性示例对深度学习系统提出了独特的挑战。尽管最近在攻击和防御方面都取得了进展，但社区中仍然缺乏关于对抗性示例的真实性质和潜在属性的清晰度和共识。深入了解这些示例可以为开发更有效的攻击和防御提供新的见解。在对抗性示例是高频噪声这一常见误解的驱动下，我们提出了一种基于频率的对抗性示例理解，并得到了理论和实证研究结果的支持。我们的分析表明，对抗性示例既不在高频分量中，也不在低频分量中，而是简单地依赖于数据集。特别是，我们强调了在CIFAR-10和ImageNet衍生数据集上训练的模型之间的明显差异。利用这个框架，我们分析了训练具有频率约束的鲁棒模型的许多有趣的特性，并提出了一个基于频率的解释常见的准确性与鲁棒性的权衡。
2021-10-26 cs.CV cs.LG
An Explainable Adversarial Robustness Metric for Deep Learning Neural Networks
Department of Electrical and Computer Engineering, University of Illinois at Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）；Kitware Inc.（Kitware公司）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度神经网络（DNN）通过在各种视觉任务中实现最先进的性能，极大地推进了计算机视觉领域。这些结果不仅限于视觉领域，还可以在语音识别和机器翻译任务中看到。最近，DNN被发现在使用通过对原始输入图像进行不可察觉的更改而制作的样本进行测试时失败率很低。这导致了DNN的验证和对抗性能之间的差距。一个有效的和可推广的鲁棒性指标，用于评估DNN对这些对抗性输入的性能仍然缺乏文献。在本文中，我们提出了噪声敏感度得分（NSS），这是一种量化DNN在不同形式的固定方向攻击下对特定输入的性能的度量。一个有见地的数学解释提供了深入理解所提出的度量。通过利用NSS，我们还提出了一个基于偏度的数据集鲁棒性度量，用于评估DNN在给定数据集上的对抗性能。使用广泛使用的最先进的架构以及流行的分类数据集，如MNIST，CIFAR-10，CIFAR-100和ImageNet，进行了广泛的实验，以验证我们提出的指标的有效性和通用性。与以前的工作不同，所提出的NSS不是简单地测量DNN在输入域中的对抗鲁棒性，而是建立在对对抗攻击的深刻数学理解之上，并对鲁棒性给出了更明确的解释。
2018-06-06 cs.CR cs.LG stat.ML
Why Adversarial Training of ReLU Networks Is Difficult?
Shanghai Jiao Tong University（上海交通大学）
本文从数学上推导了ReLU网络上对抗性扰动的解析解，并从理论上解释了对抗性训练的困难。具体而言，我们制定的动态的对抗扰动产生的多步攻击，这表明对抗扰动往往加强特征向量对应的几个排名靠前的特征值的损失w.r.t.输入.我们还证明了对抗性训练倾向于以指数方式加强具有大梯度范数的不自信输入样本的影响。此外，我们发现对抗性训练加强了损失w.r.t.网络参数，这使得对抗训练更容易沿着少数样本的方向振荡，增加了对抗训练的难度。至关重要的是，我们的证明为以前在理解对抗训练方面的发现提供了统一的解释。
2022-05-30 cs.AI cs.CV cs.LG
Revisiting the Relationship between Adversarial and Clean Training: Why Clean Training Can Make Adversarial Training Better
本文针对对抗训练泛化能力下降的问题，基于多视图假设统一解释了以往研究的矛盾现象，发现干净训练能通过降低学习难度和提供正确指导来辅助对抗训练，并提出利用干净训练提升先进对抗训练性能的新思路。
2025-03-30 cs.AI cs.LG
DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications
IBM Research Zurich（IBM苏黎世研究院）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出 DARE 归因鲁棒性估计器，结合领域可信性刻画生物医学文本解释的鲁棒性，并通过对抗训练与 FAR 训练缓解解释脆弱性，在三个生物医学基准上验证了方法有效性。
2023-07-05 cs.AI cs.LG
Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
对抗性训练是一种流行的方法，使神经网络对对抗性扰动具有鲁棒性。在实践中，对抗训练导致低鲁棒训练损失。然而，对于为什么在自然条件下会发生这种情况，仍然缺乏严格的解释。最近，标准（非对抗性）监督训练的收敛理论由{ \em very overparametrized}网的各种团体开发。目前还不清楚如何将这些结果扩展到对抗训练，因为最小-最大目标。最近，Gao等人使用在线学习的工具朝着这个方向迈出了第一步，但是他们要求网络的宽度在输入维度$d$上为\emph{exponential}，并且具有不自然的激活函数。我们的工作证明了在自然假设和ReLU激活下，对于\emph{polynomial}宽度而不是指数宽度，收敛到低鲁棒训练损失。我们证明的关键要素是表明初始化附近的ReLU网络可以近似阶跃函数，这可能是独立的兴趣。
2020-02-24 cs.LG stat.ML
