Exploring Adversarial Attacks on Neural Networks: An Explainable Approach
Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Tennessee at Martin（田纳西大学马丁分校）；Bowling Green State University（鲍灵格林州立大学）；Purdue University（普渡大学）；Trier University of Applied Sciences（特里尔应用技术大学）
深度学习（DL）正被应用于各个领域，尤其是在自动驾驶等安全关键型应用中。因此，保证这些方法的鲁棒性，从而抵抗由对抗攻击引起的不确定行为具有重要意义。本文使用梯度热图分析了VGG-16模型在输入图像中混合对抗性噪声和统计相似的高斯随机噪声时的响应特性。特别是，我们逐层比较网络响应，以确定错误发生的位置。得出了几个有趣的发现。首先，与高斯随机噪声相比，故意生成的对抗性噪声通过分散网络中的集中区域而导致严重的行为偏差。其次，在许多情况下，对抗性示例只需要妥协几个中间块就可以误导最终决策。第三，我们的实验表明，特定的块更容易受到攻击，更容易被对抗性的例子利用。最后，我们证明了VGG-16模型的层$Block4\_conv1$和$Block5\_cov1$更容易受到对抗攻击的影响。我们的工作可以为开发更可靠的深度神经网络（DNN）模型提供有价值的见解。
2023-03-08 cs.CR cs.CV cs.LG
Robust Intrusion Detection System with Explainable Artificial Intelligence
Ericsson Research（爱立信研究院）；Ericsson Standards and Technology（爱立信标准与技术部门）
本文提出一种基于可解释人工智能（XAI）的对抗攻击检测与缓解策略，在O-RAN的RRC层实现零接触实时防御，并通过多场景测试验证其有效性。
2025-03-07 cs.CR cs.LG
secml: A Python Library for Secure and Explainable Machine Learning
University of Cagliari（卡利亚里大学）；Pluribus One
我们介绍了\texttt{secml}，一个用于安全和可解释的机器学习的开源Python库。它实现了针对机器学习的最流行的攻击，包括针对深度神经网络生成对抗性示例的测试时规避攻击，以及针对支持向量机和许多其他算法的训练时中毒攻击。这些攻击可以评估学习算法的安全性以及白盒和黑盒威胁模型下的相应防御。为此，\texttt{secml}提供内置函数来计算安全评估曲线，显示随着输入数据的对抗性扰动增加，分类性能下降的速度有多快。\texttt{secml}还包括可解释性方法，通过可视化最具影响力的特征和训练有助于每个决策的原型，帮助理解对抗攻击成功攻击给定模型的原因。它在Apache License 2.0下发布，并托管在\url{https://github.com/pralab/secml}上。
2022-05-13 cs.CR cs.CV cs.GT
Analyzing the Impact of Adversarial Examples on Explainable Machine Learning
School of Computing and Information Science, Anglia Ruskin University, Cambridge, UK（计算与信息科学学院，安格利亚 Ruskin 大学）；Department of Computer Science and Engineering, Silicon University, Odisha, India（计算机科学与工程系，硅大学）；Department of Computer Science, University of the Pacific, Stockton, USA（计算机科学系，太平洋大学）
本研究分析了对抗攻击对文本分类模型可解释性的影响，通过开发机器学习分类模型并引入对抗扰动，评估了攻击前后的分类性能与模型可解释性。
2025-09-12 cs.AI cs.LG
GSE: Group-wise Sparse and Explainable Adversarial Attacks
Department for AI in Society, Science, and Technology（人工智能、科学与技术部门）；Institute of Mathematics（数学研究所）
本文提出一种两阶段算法，通过非凸优化的近端算子和投影 Nesterov 加速梯度下降，在图像语义区域内生成分组稀疏对抗攻击，显著提升了稀疏度、计算速度和可解释性，并达到 100% 攻击成功率。
2025-10-30 cs.CR cs.CV cs.LG
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adversarial Training and Robustness for Multiple Perturbations
Stanford University（斯坦福大学）
对抗性示例的防御，例如对抗性训练，通常针对单个扰动类型（例如，小$\ell_\infty$噪声）。对于其他扰动，这些防御措施不能提供任何保证，有时甚至会增加模型的脆弱性。我们的目的是了解这种鲁棒性权衡的原因，并训练模型，同时强大的多种扰动类型。我们证明了权衡不同类型的$\ell_p$有界和空间扰动的鲁棒性必须存在于一个自然和简单的统计设置。我们证实了我们的正式分析，证明类似的鲁棒性权衡MNIST和CIFAR10。建立在新的多扰动对抗训练方案，和一种新的有效的攻击，寻找$\ell_1$有界的对抗的例子，我们表明，没有模型训练对多个攻击实现鲁棒性的竞争力与每个攻击单独训练的模型。特别是，我们发现了MNIST上的一个有害的梯度掩蔽现象，它导致一阶$\ell_\infty, \ell_1$和$\ell_2$对手的对抗训练仅达到$50\%$的准确性。我们的研究结果质疑扩展对抗鲁棒性和对抗训练到多种扰动类型的可行性和计算可扩展性。
2019-10-18 cs.CR cs.LG stat.ML
Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training
Google（谷歌）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们研究了利用对抗训练诱导的置信度信息来增强给定对抗训练模型的对抗鲁棒性。置信度的自然度量是$\|F({\bf x})\|_\infty$（即，$F$对其预测的置信度如何？）。我们首先分析Madry等人提出的对抗训练公式。我们证明了，在各种实例下，他们的目标的一个唯一有点好的解决方案会导致信心是一个随机变量，它可以区分正确和错误的模型预测在一个点的邻域从底层分布采样。在此基础上，我们提出了高度置信近邻（${\tt HCNN}$），一个框架，结合置信信息和最近邻搜索，以加强对抗鲁棒性的基础模型。我们在这个框架中给出了算法，并进行了详细的实证研究。我们报告了支持我们分析的令人鼓舞的实验结果，并讨论了我们在现有对抗训练中观察到的问题。
2018-06-08 cs.CR cs.LG stat.ML
NoiseCAM: Explainable AI for the Boundary Between Noise and Adversarial Attacks
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Tennessee at Martin（田纳西大学马丁分校）；Bowling Green State University（博林格林州立大学）；Old Dominion University（奥多明尼昂大学）
深度学习（DL）和深度神经网络（DNN）广泛应用于各个领域。然而，对抗攻击很容易误导神经网络，导致错误的决策。防御机制在安全关键应用中是高度优选的。本文首先利用梯度类激活映射（GradCAM）分析了VGG-16网络在输入中混杂对抗性扰动或高斯噪声时的行为偏差。特别是，我们的方法可以定位对对抗性扰动和高斯噪声敏感的脆弱层。我们还表明，脆弱层的行为偏差可以用来检测对抗性的例子。其次，我们提出了一种新的NoiseCAM算法，它集成了来自全局和像素级加权类激活图的信息。我们的算法容易受到对抗性扰动的影响，并且不会对输入中混合的高斯随机噪声做出响应。第三，我们比较了使用行为偏差和NoiseCAM检测对抗性示例，我们表明NoiseCAM在整体性能上优于行为偏差建模。我们的工作可以提供一个有用的工具来防御对深度神经网络的某些对抗攻击。
2023-03-09 cs.AI cs.LG
On Norm-Agnostic Robustness of Adversarial Training
Duke University（杜克大学）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）
对抗性示例是精心扰动的输入，用于愚弄机器学习模型。对抗性训练是一种公认的防御方法，将对抗性示例注入训练数据以提高鲁棒性。在本文中，我们提出了一种新的攻击来揭示最先进的对抗训练的一个不希望的属性，即它不能同时获得对$\ell_2$和$\ell_\infty$范数扰动的鲁棒性。我们讨论了这个问题的可能解决方案及其局限性。
2019-05-15 cs.CR cs.LG stat.ML
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab（Criteo人工智能实验室）；Amazon（亚马逊）；Meta AI Research（Meta人工智能研究院）
在本文中，我们研究了神经网络（NN）拓扑结构对对抗鲁棒性的影响。具体来说，我们研究了当输入遍历NN的所有层时产生的图，并表明这些图对于干净的和对抗性的输入是不同的。我们发现，来自干净输入的图形更集中在高速公路边缘，而来自对手的图形则更分散，利用了优化不足的边缘。通过在各种数据集和架构上的实验，我们证明了这些优化不足的边缘是对抗性脆弱性的来源，它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
The Effect of Similarity Measures on Accurate Stability Estimates for Local Surrogate Models in Text-based Explainable AI
University of Mississippi（密西西比大学）；Indiana University（印第安纳大学）
该研究针对文本可解释AI中局部代理模型的稳定性评估问题，探究不同相似性度量对对抗攻击下稳定性结论的影响，发现部分度量过于敏感会导致错误的稳定性估计。
2025-01-17 cs.CR cs.LG
Library network, a possible path to explainable neural networks
Allen Institute for Brain Science（艾伦脑科学研究所）
深度神经网络（DNN）在复杂任务中的表现可能优于人脑，但其决策过程缺乏透明度，这让我们质疑在处理高风险问题时是否可以完全信任DNN。由于DNN的操作依赖于大量的并行和顺序线性/非线性计算，预测它们的错误几乎是不可能的。此外，一系列研究表明，DNN很容易被对抗攻击欺骗，这表明它们的决策很容易被意外因素破坏。如果我们打算利用DNN在高风险问题中的效率，就必须克服这种脆弱性。在这里，我们提出了一种算法，可以帮助我们更好地理解DNN的决策过程。我们的经验评估表明，该算法可以有效地跟踪DNN的决策过程从一层到另一层，并检测对抗攻击。
2020-03-17 cs.LG stat.ML
Improving Stability Estimates in Adversarial Explainable AI through Alternate Search Methods
University of Mississippi（密西西比大学）
针对局部替代类可解释AI方法易受对抗攻击且现有研究未量化其脆弱程度的问题，提出用替代搜索方法找最小可行扰动，以更优地比较可解释性方法的稳定性。
2025-01-15 cs.LG
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出，稳健和准确的模型都是不可能的，即，对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系，我们假设一个底层的，低维的数据流形，并表明：1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形，即，流形上对抗的例子，存在; 3.流形上对抗性示例是泛化误差，并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而，不同的模型（架构，培训策略等）可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张，我们提出了广泛的实验合成数据（与已知的流形），以及EMNIST，时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Adversarial Robustness Curves
Bielefeld University, Germany（德国比勒费尔德大学）
对抗性例子的存在导致人们对自动化系统产生的预测的信任存在相当大的不确定性。这种不确定性反过来又导致了在理解对抗鲁棒性方面的大量研究工作。在这项工作中，我们采取的第一步分离鲁棒性分析的鲁棒性阈值和范数的选择。我们提出的鲁棒性曲线作为一个更一般的观点的鲁棒性行为的模型，并调查在何种情况下，他们可以定性地依赖于所选择的规范。
2019-07-31 cs.LG stat.ML
Transfer of Adversarial Robustness Between Perturbation Types
OpenAI；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）
研究了深度神经网络对抗鲁棒性在不同扰动类型之间的转移。虽然大多数对抗性示例的工作都集中在$L_\infty$和$L_2$有界扰动上，但这些并不能捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32种攻击，这些攻击针对的是在ImageNet的100类子集上进行对抗训练的模型。我们的实证结果表明，评估范围广泛的扰动大小是必要的，以了解是否对抗鲁棒性扰动类型之间的转移。我们进一步证明，对一个扰动类型的鲁棒性可能并不总是意味着，有时可能会伤害对其他扰动类型的鲁棒性。根据这些结果，我们建议在各种扰动类型和大小上进行对抗性防御的评估。
2019-05-03 cs.AI cs.CR cs.LG
Scaleable input gradient regularization for adversarial robustness
McGill University（麦吉尔大学）
在这项工作中，我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先，我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次，我们实现了一个可扩展版本的输入梯度正则化，避免了双重反向传播：对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后，我们通过实验和理论证明，输入梯度正则化与对抗训练具有竞争力。此外，我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
On Adversarial Robustness: A Neural Architecture Search perspective
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Microsoft（微软）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
深度学习模型的对抗鲁棒性在过去几年中获得了很大的关注。提出了各种攻击和防御来提高现代深度学习架构的对抗鲁棒性。虽然所有这些方法都有助于提高鲁棒性，但提高对抗鲁棒性的一个有希望的方向尚未探索，即，神经网络架构的复杂拓扑结构。在这项工作中，我们解决了以下问题：神经网络的复杂拓扑结构是否可以在没有任何形式的对抗训练的情况下提供对抗鲁棒性？我们通过实验不同的手工制作和基于NAS的架构来经验地回答这个问题。我们的研究结果表明，对于小规模攻击，基于NAS的架构对于小规模数据集和简单任务比手工构建的架构更强大。然而，随着数据集大小或任务复杂性的增加，手工构建的架构比基于NAS的架构更健壮。我们的工作是第一个纯粹从架构角度理解对抗鲁棒性的大规模研究。研究结果表明，在DARTS（一种流行的NAS方法）的搜索空间中随机抽样并进行简单的集成，可以使对PGD攻击的鲁棒性提高近12%.我们表明，NAS，这是流行的实现SoTA的准确性，可以提供对抗准确性作为一个免费的附加组件，没有任何形式的对抗训练。我们的研究结果表明，利用NAS方法的搜索空间和集成等方法可以在没有任何形式的对抗训练的情况下实现对抗鲁棒性。我们还引入了一个度量，可用于计算干净的准确性和对抗鲁棒性之间的权衡。代码和预训练模型将在\url{https://github.com/tdchaitanya/nas-robustness}上提供
2021-08-26 cs.CR cs.CV cs.LG
On Model Robustness Against Adversarial Examples
我们研究了模型对对抗性示例的鲁棒性，这些示例被称为小扰动输入数据，但这些数据可能会欺骗许多最先进的深度学习模型。与以往的研究不同，我们建立了一个新的理论解决的鲁棒性问题的损失函数的稳定性的角度在小邻域的自然样本。我们建议利用一个能量函数来描述稳定性，并证明减少这种能量可以保证对对抗性示例的鲁棒性。我们还表明，传统的训练方法，包括对抗训练与$l_2$规范约束（AT）和虚拟对抗训练（VAT）往往最小化我们提出的能量函数的下限。我们做了一个分析表明，这种下限的最小化，但可能会导致输入样本周围的邻域内的鲁棒性不足。此外，我们设计了一个更合理的方法与能量正则化，证明了实现更好的鲁棒性比以前的方法。通过一系列的实验，我们证明了我们的模型在监督任务和半监督任务上的优越性。特别是，我们提出的对抗框架与以前的对抗训练方法相比，在基准数据集MNIST、CIFAR-10和SVHN上实现了最佳性能。重要的是，它们在对抗性示例中表现出比所有其他比较方法更好的鲁棒性。
2020-06-10 cs.CR cs.CV cs.LG
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology（麻省理工学院）
我们评估了对抗性Logit配对的鲁棒性，这是最近提出的对抗性示例的防御方法。我们发现，使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明，以及我们攻击的方法和结果的讨论，这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
An adversarial attack approach for eXplainable AI evaluation on deepfake detection models
ST Engineering（科技工程公司）
针对通用XAI像素插入/移除评估在深度伪造检测上意义不足的问题，本文通过实验验证其局限，并提出一种专门面向深度伪造检测模型的对抗式XAI评估方法。
2023-12-08 cs.AI cs.CV cs.LG
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI（北极光人工智能）
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中，我们证明了一个有趣的现象，在文献中最流行的鲁棒训练方法，对抗训练：对抗鲁棒性，不像干净的准确性，是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换，也会导致对抗性训练模型的鲁棒性显著不同，该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究，该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体，并表明标准训练的模型在它们上实现了相当的干净精度，但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明，输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性，而不一定是任务本身。最后，我们讨论了评估对抗鲁棒性的实际意义，并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
Dropping Pixels for Adversarial Robustness
University of Washington（华盛顿大学）
深度神经网络很容易受到对抗性样本的攻击。在本文中，我们提出了训练和测试的网络与随机子采样图像具有高的下降率。我们证明了这种方法在所有有界L0，L2和L_inf扰动的情况下显着提高了对抗性示例的鲁棒性，同时将标准精度降低了一个小值。我们认为，子采样像素可以被认为是为输入图像提供一组鲁棒的特征，从而提高了鲁棒性，而无需进行对抗性训练。
2019-05-01 cs.LG stat.ML
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence（海军人工智能应用研究中心）；U.S. Naval Research Laboratory（美国海军研究实验室）
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类：梯度掩蔽，鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分：（1）增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性，（2）边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题，我们提供了一个新的视角，可以深入了解能够训练更强大的网络的潜在因素，并有助于激发新的解决方案。此外，在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的，或者鲁棒性和准确性之间的权衡，但是，根据这个建议的分类法，我们假设这不是普遍的。我们在分类法的基础上，对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练已被证明可以有效地强化网络对抗性示例。然而，所获得的鲁棒性受到网络容量和训练样本数量的限制。因此，为了构建更鲁棒的模型，通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性，我们提出了一个条件归一化模块，以适应网络在输入样本的条件。我们的自适应网络，一旦经过对抗训练，就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的，并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构，这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”，以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
Deakin University（迪肯大学）
对抗性训练是训练鲁棒的深度神经网络对抗对抗攻击的一种有效方法。虽然能够带来可靠的鲁棒性，但对抗训练（AT）方法通常倾向于高容量模型，即，模型越大，鲁棒性越好。这往往会限制它们在小模型上的有效性，而小模型在存储或计算资源非常有限的情况下更可取（例如，移动设备）。在本文中，我们利用知识蒸馏的概念，以提高小模型的鲁棒性，从对抗训练的大模型。我们首先从蒸馏的角度重新审视了几种最先进的AT方法，并确定了一种可以提高鲁棒性的常用技术：使用鲁棒的软标签-预测鲁棒的模型。根据这一观察，我们提出了一种新的对抗鲁棒性蒸馏方法称为鲁棒软标签对抗蒸馏（RSLAD）训练强大的小学生模型。RSLAD充分利用了由强大的（对抗训练的）大型教师模型产生的强大软标签，以指导学生在所有损失方面对自然和对抗示例的学习。我们通过经验证明了我们的RSLAD方法在现有对抗性训练和蒸馏方法中的有效性，以提高小模型对最先进攻击（包括AutoAttack）的鲁棒性。我们还提供了一组关于我们的RSLAD的理解，以及鲁棒软标签对对抗鲁棒性蒸馏的重要性。
2021-08-18 cs.CR cs.LG
Variational Randomized Smoothing for Sample-Wise Adversarial Robustness
Mitsubishi Electric Corporation（三菱电机株式会社）；Mitsubishi Electric Research Laboratories（三菱电机研究所）
本文提出变分随机平滑框架，通过为每个样本选择合适噪声水平，增强模型对对抗攻击的鲁棒性，并验证了经验与认证鲁棒性。
2024-07-16 cs.AI cs.CR cs.LG
advertorch v0.1: An Adversarial Robustness Toolbox based on PyTorch
Borealis AI
advertorch是一个对抗鲁棒性研究的工具箱。它包含各种攻击，防御和强大的训练方法的实现。advertorch建立在PyTorch上（Paszke等人，2017），并利用动态计算图的优势，提供简洁高效的参考实现。该代码是在LGPL许可下授权的，并在https://github.com/BorealisAI/advertorch上开源。
2019-02-20 cs.CR cs.CV cs.LG
Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
South China Agricultural University（华南农业大学）；Pazhou Lab（琶洲实验室）
由于卷积神经网络（CNN）的Lipschitz性质被广泛认为与对抗鲁棒性有关，本文从理论上刻画了二维多通道卷积层的$\ell_1$范数和$\ell_\infty$范数，并给出了计算精确$\ell_1$范数和$\ell_\infty$范数的有效方法.基于我们的定理，我们提出了一种新的正则化方法，称为范数衰减，它可以有效地减少卷积层和全连接层的范数。实验表明，范数正则化方法，包括范数衰减，权重衰减和奇异值裁剪，可以提高CNN的泛化能力。然而，它们可能会轻微损害对抗性鲁棒性。观察到这种意想不到的现象，我们计算了用三种不同的对抗训练框架训练的CNN中的层的范数，并惊讶地发现对抗鲁棒CNN具有与非对抗鲁棒CNN相当甚至更大的层范数。此外，我们证明了在一个温和的假设下，对抗鲁棒分类器可以实现使用神经网络，和对抗鲁棒神经网络可以有一个任意大的Lipschitz常数。出于这个原因，在CNN层上强制执行小规范对于实现对抗鲁棒性可能既不必要也不有效。该代码可在https://github.com/youweiliang/norm_robustness上获得。
2021-08-15 cs.CR cs.CV cs.LG
Towards Robust and Accurate Stability Estimation of Local Surrogate Models in Text-based Explainable AI
University of Mississippi（密西西比大学）；Indiana University（印第安纳大学）；Wright State University（莱特州立大学）
针对文本 XAI 局部代理模型稳定性评估易受相似性度量影响的问题，本文比较多种排序列表度量并提出融合特征同义关系的加权方案，以提升对抗弱点估计准确性。
2025-01-03 cs.CR cs.LG
Achieving Adversarial Robustness via Sparsity
Shanghai Jiao Tong University（上海交通大学）
已知网络修剪可以产生紧凑的模型，而不会降低精度。然而，修剪过程如何影响网络的鲁棒性和背后的工作机制仍然没有得到解决。在这项工作中，我们从理论上证明了网络权重的稀疏性与模型的鲁棒性密切相关。通过对各种对抗性剪枝方法的实验，我们发现权值稀疏性不会损害但会提高鲁棒性，其中从彩票继承的权值和对抗性训练都提高了网络剪枝中的模型鲁棒性。基于这些发现，我们提出了一种新的对抗训练方法，称为逆权重继承，它通过继承小网络的权重来对大网络施加稀疏权重分布，从而提高大网络的鲁棒性。
2020-09-11 cs.LG stat.ML
Explainable Adaptive Zero Trust Framework for AWS with Adversarial Robustness Evaluation
Dr. A.P.J. Abdul Kalam Technical University（Dr. A.P.J. Abdul Kalam 技术大学）
本研究针对AWS提出具备对抗鲁棒性评估的可解释自适应零信任框架（EAZTF），结合Isolation Forest与XGBoost评估行为特征，可实时判定会话状态，合规性与检测效率均优于传统方案。
2026-08-25 cs.CR cs.CY cs.LG
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park（马里兰大学帕克分校）
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用，但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中，我们从理论上（对于一些简单的模型）和经验上（对于更复杂的模型）研究了基于流的生成模型的对抗鲁棒性。首先，我们考虑一个基于线性流的生成模型，并计算最佳的样本特定和通用对抗扰动，最大限度地降低似然分数。利用这一结果，我们研究了著名的对抗训练过程的鲁棒性，其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来，我们实证研究了两个突出的深度，非线性，基于流的生成模型的鲁棒性，即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分，而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后，使用混合对抗训练过程，我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
Improving Calibration through the Relationship with Adversarial Robustness
Google Research（谷歌研究院）
神经网络缺乏对抗鲁棒性，即，它们容易受到对抗性示例的影响，这些示例通过对输入的小扰动导致不正确的预测。此外，当模型给出错误的预测时，信任就会受到破坏，即，预测的概率并不能很好地指示我们应该在多大程度上信任我们的模型。在本文中，我们研究了对抗鲁棒性和校准之间的联系，并发现模型对小扰动敏感（容易受到攻击）的输入更有可能具有校准不良的预测。基于这一见解，我们研究是否可以通过解决这些不利的不稳健的输入来改善校准。为此，我们提出了基于对抗鲁棒性的自适应标签平滑（AR-AdaLS），它将对抗鲁棒性和校准的相关性集成到训练中，根据对手攻击的容易程度自适应地软化标签。我们发现，我们的方法，考虑到分布数据的对抗性鲁棒性，导致更好的校准模型，即使在分布变化。此外，AR-AdaLS还可以应用于集合模型，以进一步改善模型校准。
2021-12-14 cs.LG stat.ML
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas, Austin（得克萨斯大学奥斯汀分校）；IBM research AI（IBM研究院人工智能部门）
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而，它往往遭受的清洁和扰动数据的泛化能力差。在本文中，我们提出了一种新的算法，命名为定制的对抗训练（CAT），自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明，该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学auer数学科学中心）
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性，推导了Sobolev空间中的对抗回归最小最大最优速率，并证明了通过梯度流早停训练的NTK网络可达到该最优速率，但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Defending Collaborative Filtering Recommenders via Adversarial Robustness Based Edge Reweighting
Yongyu Wang（王 Yongyu）
本文提出了一种基于对抗鲁棒性的边重加权方法，用于防御协同过滤推荐系统中的资料注入攻击。
2025-12-12 cs.LG stat.ML
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Atos（源讯）
神经网络已被证明对常见的扰动敏感，如模糊，高斯噪声，旋转等，它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行，有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而，我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样，我们不知道对各种常见扰动（例如平移或对比度损失）的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验，我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明，增加鲁棒性精心挑选的共同扰动，可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信，神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University（比勒费尔德大学）
近年来，机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度，但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具，并在最近的对抗鲁棒性出版物中使用。在这项工作中，我们使用最近提出的鲁棒性曲线表明，逐点测量未能捕获重要的全局属性，这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法，并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外，我们的特点规模作为一种方式来区分小的和大的扰动，并将其与数据集的固有属性，表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验，其中包括一个Python模块，用于计算任意数据集和分类器的鲁棒性曲线，支持许多框架，包括TensorFlow，PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Explainable AI and susceptibility to adversarial attacks: a case study in classification of breast ultrasound images
Electrical and Computer Engineering（电气与计算机工程系）；Concordia University（康科迪亚大学）
本文研究乳腺癌超声图像分类中可解释AI的对抗攻击易感性，提出基于ResNet-50的多任务学习网络提升分类准确率，揭示对抗攻击可显著改变重要性图且难以检测。
2021-08-09 cs.CR cs.CV cs.LG
On the Adversarial Robustness of Quantized Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）
减小神经网络模型的大小是将人工智能从以云为中心的计算模式转变为以边缘为中心的计算模式的关键一步。这种从云到边缘的转变是由许多因素推动的，包括减少延迟，提高安全性，以及跨多个应用领域（例如运输，医疗保健，国防等）的AI算法的更高灵活性。然而，目前尚不清楚模型压缩技术如何影响AI算法对对抗攻击的鲁棒性。本文探讨了量化的效果，最常见的压缩技术之一，对抗的鲁棒性的神经网络。具体来说，我们调查和建模的准确性量化神经网络的不利扰动图像。结果表明，对于简单的基于梯度的攻击，量化可以提高或降低对抗鲁棒性取决于攻击强度。
2021-05-01 cs.CR cs.LG
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research（IBM研究院）；IBM Research Ireland（IBM爱尔兰研究院）；IBM Research India（IBM印度研究院）
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中，我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析，说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明，出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂，因此没有有效的一刀切的参数设置存在。然后，我们证明，我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现，我们提出了一种实用的方法，该方法利用超参数优化技术来调整对抗训练，以最大限度地提高鲁棒性，同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同，对抗性训练旨在从本质上提高模型的鲁棒性。近几年来，对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展，然而，在现有的调查中被忽视。在这次调查中，我们首次系统地回顾了对抗训练的最新进展，并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后，我们强调尚未充分解决的挑战，并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University（亚琛工业大学）
最近，有大量关于设计深度神经网络（DNN）的工作，这些网络对对抗性示例具有鲁棒性。特别是，一个中心问题是DNN的哪些特征会影响对抗鲁棒性，因此可以用于设计鲁棒的DNN。在这项工作中，这个问题是研究通过镜头的压缩，这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上，当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时，神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时，它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争，但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们考虑在马尔可夫链蒙特卡罗（MCMC）和贝叶斯暗知识（BDK）推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性：快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们证明了完全基于MCMC的推理具有出色的鲁棒性，显著优于基于标准点估计的学习。另一方面，BDK提供了边际改进。作为一个额外的贡献，我们提出了一个存储高效的方法来计算对抗的例子，大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）；Northeastern University（东北大学）
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而，我们证明了参数空间中的损失面与泛化没有明显的关系，特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化，我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后，我们提出了一个对抗鲁棒性指标，它可以评估神经网络的内在鲁棒性，而无需测试其准确性下的对抗攻击。在此基础上，我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下，我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明，以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外，我们还表明，通过强制深度神经网络（DNN）在变换后的输入和特征空间中保持线性，可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数，进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法，并在MNIST，CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中，我们还提出了一种新的对抗图像生成方法，该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
eXIAA: eXplainable Injections for Adversarial Attack
Department of Mechanical Engineering National University of Singapore（机械工程系国立新加坡大学）
针对事后可解释人工智能（XAI）提出新型黑盒模型无关对抗攻击eXIAA，无需访问模型或权重，单步修改解释且保持预测类别不变，暴露XAI可靠性漏洞，在ResNet-18、ViT-B16上验证有效。
2025-11-13 cs.AI cs.CV cs.LG
