MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Adversarial Examples on Graph Data: Deep Insights into Attack and Defense
University of New South Wales（新南威尔士大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；National University of Defense Technology（国防科技大学）
图深度学习模型，如图卷积网络（GCN），在图数据上的任务中实现了卓越的性能。与其他类型的深度模型类似，图深度学习模型经常遭受对抗攻击。然而，与非图数据相比，图数据的离散特征、图之间的连接以及不可感知扰动的不同定义，给图数据的对抗攻击和防御带来了独特的挑战和机遇。在本文中，我们提出了攻击和防御技术。对于攻击，我们表明，离散性问题可以很容易地解决，通过引入积分梯度，可以准确地反映扰动某些功能或边缘的影响，同时仍然受益于并行计算。对于防御，我们观察到，针对目标攻击的敌对操纵图在统计上不同于正常图。基于这一观察，我们提出了一种防御方法，该方法检查图并恢复潜在的对抗性扰动。我们在一些数据集上的实验表明了所提出的方法的有效性。
2019-05-22 cs.CR cs.LG stat.ML
FDA3 : Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications
East China Normal University（华东师范大学）；Tongji University（同济大学）；Huawei（华为）
随着人工智能（AI）和物联网（IoT）技术的普及，各种各样的对抗攻击越来越多地出现，以欺骗工业物联网（IIoT）应用所使用的深度神经网络（DNN）。由于有偏见的训练数据或脆弱的底层模型，对抗攻击对输入进行的不可察觉的修改可能会导致毁灭性的后果。虽然现有的方法在防御此类恶意攻击方面很有希望，但大多数方法只能处理有限的现有攻击类型，这使得大规模IIoT设备的部署面临巨大挑战。为了解决这个问题，我们提出了一种名为FDA3的有效的联邦防御方法，它可以聚合来自不同来源的对抗性示例的防御知识。受联邦学习的启发，我们提出的基于云的架构可以在IIoT设备之间共享防御能力，以抵御不同的攻击。综合实验结果表明，通过我们的方法生成的DNN不仅可以比现有的特定于攻击的对抗训练方法抵御更多的恶意攻击，而且可以防止IIoT应用受到新的攻击。
2020-06-28 cs.CR cs.LG stat.ML
Adversarial Attacks and Defenses in Images, Graphs and Text: A Review
Michigan State University（密歇根州立大学）
深度神经网络（DNN）在各个领域的众多机器学习任务中取得了前所未有的成功。然而，对抗性示例的存在引发了人们对将深度学习应用于安全关键型应用程序的担忧。因此，我们已经目睹了越来越多的兴趣，研究攻击和防御机制的DNN模型上的不同数据类型，如图像，图形和文本。因此，有必要系统和全面地概述主要的攻击威胁和相应对策的成功之处。在本调查中，我们回顾了用于生成对抗性示例的最新算法以及对抗性示例的对策，针对三种流行的数据类型，即，图像、图表和文本。
2019-10-09 cs.CR cs.LG stat.ML
DefenseVGAE: Defending against Adversarial Attacks on Graph Data via a Variational Graph Autoencoder
Peking University（北京大学）
图神经网络（GNNs）在处理图数据的任务时具有显著的性能。然而，最近的研究表明，它们非常容易受到对抗性结构扰动的影响，使得它们的结果不可靠。在本文中，我们提出了DefenseVGAE，这是一个利用变分图自编码器（VGAE）来保护GNN免受此类攻击的新框架。DefenseVGAE被训练来重建图结构。重构的邻接矩阵可以降低对抗干扰的影响，提高GCN在面对对抗攻击时的性能。我们在一些数据集上的实验表明，所提出的方法在各种威胁模型下的有效性。在某些情况下，它优于现有的防御策略。我们的代码已在https://github.com/zhangao520/defense-vgae上公开发布。
2020-06-16 cs.LG stat.ML
Test-time Adversarial Defense with Opposite Adversarial Path and High Attack Time Cost
Institute of Information Science Academia Sinica（资讯研究所）
针对深度学习模型易受对抗攻击、训练时防御鲁棒性不足的问题，提出基于反向对抗路径与逆向扩散的测试时纯化防御方法，例证了AutoAttack（Rand）的应用陷阱，分析了攻击效果与时间成本的权衡，验证了方法有效性。
2025-05-19 cs.CR cs.LG
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
深度学习图像分类容易受到对抗攻击的攻击，即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像，使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明，我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
GanDef: A GAN based Adversarial Training Defense for Neural Network Classifier
New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
机器学习模型，特别是神经网络（NN）分类器，被广泛用于包括自然语言处理、计算机视觉和网络安全的许多应用中。它们在无攻击场景的假设下提供高准确性。然而，这一假设已经被引入对抗性示例所挑战-精心扰动的输入样本通常被错误分类。许多研究人员试图开发一种防御对抗性例子的方法;然而，我们离实现这一目标还很远。在本文中，我们设计了一个基于生成对抗网络（GAN）的对抗训练防御，称为GanDef，它利用竞争游戏来调节训练过程中的特征选择。我们分析表明，GanDef可以训练分类器，使其能够抵御对抗性的例子。通过对不同白盒对抗示例的广泛评估，GanDef训练的分类器显示出与最先进的对抗训练防御训练的分类器相同的测试准确度。更重要的是，GanDef的变体GanDef-Comb可以利用GanDef来实现正确分类原始示例和对抗示例之间的动态权衡。因此，当对抗性示例的比例超过41.7%时，它实现了最高的整体测试准确率。
2019-03-06 cs.CR cs.CV cs.LG
A Partial Break of the Honeypots Defense to Catch Adversarial Attacks
Google Brain（谷歌大脑）
最近的一项防御建议将“蜜罐”注入神经网络，以检测对抗攻击。我们通过将检测真阳性率降低到0%和检测AUC降低到0.02来打破这种防御的基线版本，保持原始的失真界限。原始论文的作者已经修改了CCS'20论文中的辩护，以减轻这种攻击。为了帮助进一步的研究，我们在https://nicholas.carlini.com/code/ccs_honeypot_break上发布了完整的2.5小时逐行扫描屏幕记录的攻击过程。
2020-09-23 cs.CR cs.LG
Harnessing adversarial examples with a surprisingly simple defense
我介绍了一个非常简单的方法来防御对抗性的例子。其基本思想是在测试时提高ReLU函数的斜率。在MNIST和CIFAR-10数据集上的实验证明了所提出的防御方法在非目标和目标环境中对许多强攻击的有效性。虽然这种方法可能不如最先进的对抗性防御有效，但它可以为理解和减轻对抗攻击提供见解。它也可以与其他防御措施结合使用。
2020-06-03 cs.CR cs.CV cs.LG
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen（哥廷根乔治-奥古斯特大学）；University of Tübingen（图宾根大学）
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络（BNN）的主题，并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里，我分析了拟议的防御，并建议需要调整对抗攻击，以纳入贝叶斯网络的随机性，以执行其鲁棒性的准确评估。使用这种新型的攻击，我表明，似乎没有强有力的证据，更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Efficient Two-Step Adversarial Defense for Deep Neural Networks
Texas A&M University（德州农工大学）
近年来，深度神经网络在许多机器学习任务中表现出了出色的性能。然而，研究人员发现，这些最先进的模型容易受到对抗性示例的影响：通过人眼无法察觉的小扰动添加的合法示例。对抗性训练在训练过程中使用对抗性示例来增强训练数据，是一种众所周知的防御方法，可以提高模型对对抗攻击的鲁棒性。然而，这种鲁棒性仅对用于对抗训练的相同攻击方法有效。Madry等人（2017）提出，迭代多步对抗攻击的有效性，特别是投影梯度下降（PGD）可以被认为是通用的一阶对手，并且使用PGD进行对抗训练意味着对许多其他一阶攻击的抵抗。然而，使用PGD和其他多步对抗示例进行对抗训练的计算成本远远高于使用其他简单攻击技术进行对抗训练的计算成本。在本文中，我们展示了如何强大的对抗性的例子可以产生的成本只有类似于两个运行的快速梯度符号方法（FGSM），允许防御对抗攻击的鲁棒性水平相媲美的对抗性训练与多步对抗性的例子。我们实证证明了所提出的两步防御方法对不同的攻击方法和现有的防御策略的改进的有效性。
2018-10-08 cs.LG stat.ML
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside（加州大学河滨分校）
最近的研究表明，像深度神经网络（DNN）这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧，特别是在安全性是重要因素的领域。因此，设计针对对抗攻击的防御机制至关重要。对于图像分类任务，不明显的扰动大多发生在图像的高频频谱中。在本文中，我们利用张量分解技术作为预处理步骤，找到一个低秩近似的图像，可以显着丢弃高频扰动。最近，一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩，为卷积神经网络（CNN）接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent（FGSM）对抗攻击时比Shield的SLQ方法性能高14%，同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
StratDef: Strategic Defense Against Adversarial Attacks in ML-based Malware Detection
King’s College London（伦敦国王学院）
提出基于移动目标防御的 StratDef 系统，通过动态策略化选择模型降低攻击可迁移性，并在多威胁级别下证明其优于现有恶意软件检测防御。
2023-04-24 cs.CR cs.LG
ZK-GanDef: A GAN based Zero Knowledge Adversarial Training Defense for Neural Networks
New Jersey Institute of Technology（新泽西理工学院）
神经网络分类器已成功地应用于广泛的应用领域。然而，他们对无攻击环境的基本假设已经被对抗性的例子所挑战。研究人员试图开发防御措施;然而，现有的方法仍然远远不能为这个不断发展的问题提供有效的解决方案。在本文中，我们设计了一个基于生成对抗网（GAN）的零知识对抗训练防御，称为ZK-GanDef，它在训练过程中不消耗对抗样本。因此，ZK-GanDef不仅训练效率高，而且还能适应新的对抗性示例。与完全知识方法相比，这种优势是以测试精度的小降级为代价的。我们的实验表明，与零知识方法相比，ZK-GanDef将对抗性示例的测试准确率提高了49.17%。更重要的是，它的测试准确率接近最先进的全知识方法（最大降级为8.46%），同时训练时间更少。
2019-04-17 cs.CR cs.CV cs.LG
Adversarial Robustness for Machine Learning Cyber Defenses Using Log Data
DCI-Solutions；U.S. Army Combat Capabilities Development Command (CCDC), C5ISR Center（美国陆军作战能力发展司令部（CCDC）C5ISR中心）
人们对将机器学习应用于网络防御的兴趣越来越大。一种很有前途的方法是应用自然语言处理技术来分析日志数据以发现可疑行为。一个自然的问题是，这些系统对对抗攻击的鲁棒性如何。对复杂攻击的防御是网络防御特别关注的问题。在本文中，我们开发了一个测试框架来评估机器学习网络防御的对抗鲁棒性，特别是那些专注于日志数据的网络防御。我们的框架使用了深度强化学习和对抗性自然语言处理技术。我们使用公开的数据集验证了我们的框架，并证明了我们的对抗攻击确实成功地攻击了目标系统，揭示了一个潜在的漏洞。我们应用我们的框架来分析不同水平的dropout正则化的影响，发现更高的dropout水平增加了鲁棒性。此外，90%的丢弃概率表现出最高水平的鲁棒性，这表明异常高的丢弃率可能是适当防止对抗攻击所必需的。
2020-07-29 cs.LG stat.ML
Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection
King’s College London（伦敦国王学院）
近年来，已经提出了几种对抗对抗ML攻击的移动目标防御（MTD）。MTD声称通过定期改变防御的某些元素（例如循环配置）来增加攻击者进行攻击的难度。为了检验这些说法，我们首次研究了几种最新的MTD对应用于恶意软件检测领域的对抗性ML攻击的有效性。在不同的威胁模型下，我们证明了可转移性和查询攻击策略可以通过跨Android和Windows的现有和新颖的攻击策略来实现对这些防御的高水平规避。我们还表明，指纹识别和侦察是可能的，并演示了攻击者如何获得关键的防御超参数以及如何产生预测的信息。基于我们的研究结果，我们提出了关键的建议，为今后的工作，有效的MTD的对抗攻击在ML为基础的恶意软件检测。
2023-02-01 cs.CR cs.LG
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University（密歇根州立大学）
在对抗攻击下，时间序列回归和分类是脆弱的。另一方面，对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中，各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行，具有三个对抗攻击和一个对抗防御。根据调查结果，所有模型，特别是GRU和RNN，似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
A Multi-Model Hybrid Defense Approach Against White-box Adversarial Attacks in Computer Network Traffic
Aligarh Muslim University（阿里格尔穆斯林大学）
研究针对计算机网络流量白盒对抗攻击，提出多模型混合防御方法，结合对抗训练和高斯数据增强，有效减轻FGSM和C&W攻击影响，提升攻击后NIDS准确率，为对抗机器学习安全研究提供方向。
2026-07-21 cs.CR cs.LG
An Empirical Investigation of Randomized Defenses against Adversarial Attacks
Kiel University（基尔大学）；Waterloo University（滑铁卢大学）
近年来，深度神经网络（DNN）对长期以来被认为非常困难的各种问题产生了巨大的影响，例如：例如，在一个实施例中，图像分类和自动语言翻译仅举几例。现代DNN在分类任务中的准确性确实非常出色。与此同时，攻击者已经设计出强大的方法来构建特制的恶意输入（通常称为对抗性示例），这些输入可以欺骗DNN对它们进行错误分类。更糟糕的是，尽管提出了许多防御机制来保护DNN免受对抗攻击，但攻击者通常能够绕过这些防御，使它们变得无用。这种状况非常令人担忧，特别是在机器学习系统被大规模采用的情况下。在本文中，我们提出了一种科学的评估方法，旨在评估随机防御的质量，有效性，鲁棒性和效率，以保护DNN免受对抗性示例的影响。使用这种方法，我们评估了各种防御机制。此外，我们还提出了一种防御机制，我们称之为随机扰动包围神经网络（RPENNs）。我们提供了一个彻底和全面的评估所考虑的防御机制对白盒攻击模型，六种不同的对抗攻击方法，并使用ILSVRC 2012验证数据集。
2019-09-12 cs.LG stat.ML
Internal Wasserstein Distance for Adversarial Attack and Defense
Shenzhen Youjia Innov Tech Co., Ltd（深圳佑驾创新科技有限公司）；South China University of Technology（华南理工大学）；Hong Kong University of Science and Technology（香港科技大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，这些攻击会触发DNN的错误分类，但人类感知可能无法察觉。对抗性防御是提高DNN鲁棒性的重要途径。现有的攻击方法通常依赖于$\ell_p$距离等度量来构造对抗样本。然而，这些度量由于其有限的扰动而不足以进行对抗攻击。在本文中，我们提出了一个新的内部Wasserstein距离（IWD）来捕获两个样本的语义相似性，因此它有助于获得更大的扰动比目前使用的度量，如$\ell_p$距离。然后，我们应用内部Wasserstein距离来执行对抗攻击和防御。特别是，我们开发了一种新的攻击方法，依靠IWD来计算图像及其对抗性示例之间的相似性。通过这种方式，我们可以生成多样化和语义相似的对抗性示例，这些示例更难以通过现有的防御方法进行防御。此外，我们设计了一种新的防御方法，依靠IWD来学习鲁棒的模型来对抗未知的对抗性示例。我们提供了全面的理论和经验证据来支持我们的方法。
2023-02-21 cs.CR cs.LG
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley（加州大学伯克利分校）；DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的，并且一旦训练就保持不变，即使攻击发生变化。我们认为，模型应该反击，并在测试时优化其对攻击的防御。我们提出了动态防御，以适应模型和测试过程中的输入，防御熵最小化（登特）。登特改变了测试，但没有训练，与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是，在$ε_\infty$ = 8/255的CIFAR-10上，Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
A Game Theoretic Analysis of Additive Adversarial Attacks and Defenses
Johns Hopkins University（约翰斯·霍普金斯大学）
对抗性学习的研究遵循攻击者和防御者之间的猫捉老鼠游戏，攻击被提出，它们被新的防御所缓解，然后提出新的攻击来打破先前的防御，等等。但是，是否存在无法提出更好的攻击或防御的条件仍然不清楚。在本文中，我们提出了一个博弈论的框架，研究攻击和防御存在于均衡。在二元分类器的局部线性决策边界模型下，证明了快速梯度法攻击和随机平滑法防御形成了一个纳什均衡.然后，我们将展示如何从数据生成分布中近似给定多个样本的均衡防御，并推导出我们近似性能的泛化界。
2020-11-11 cs.LG stat.ML
A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University（卡尔顿大学）；Computer Engineering Carleton University Ottawa, Canada（计算机工程系卡尔顿大学渥太华加拿大）；School of Information Technology Carleton University Ottawa, Canada（信息科技学院卡尔顿大学渥太华加拿大）
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络（DNN）基于网络入侵检测系统（NIDS），而无需额外显式防御。通过数千次实验，发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性，且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks
ETAS GmbH（伊塔斯有限公司）；Bosch Group（博世集团）
深度学习已经成为许多机器学习问题（如分类）的最先进方法。最近的研究表明，深度学习非常容易受到对抗性扰动的影响。以自动驾驶汽车的摄像头系统为例，微小的对抗性扰动可能会导致系统在重要任务中出错，例如对交通标志进行分类或检测行人。因此，为了在没有安全问题的情况下使用深度学习，需要适当的防御策略。我们建议使用集成方法作为对抗性扰动的防御策略。我们发现，导致一个模型错误分类的攻击并不意味着执行相同任务的其他网络也会发生同样的情况。这使得集成方法成为对抗性攻击的有吸引力的防御策略。我们的经验表明，MNIST和CIFAR-10数据集集成方法不仅提高了测试数据的准确性神经网络，但也增加了他们对对抗性扰动的鲁棒性。
2018-02-08 cs.LG stat.ML
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University（广州大学）；Cyberspace Institute of Advanced Technology（网络空间先进技术研究院）
最近的研究表明，深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成，而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设（例如，敌对示例的词频、攻击方法的扰动水平）。然而，这限制了检测方法的适用性。为此，我们提出了TREATED，一种通用的对抗检测方法，可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明，我们的方法比基线具有更好的检测性能。我们最后进行消融研究，以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
LPF-Defense: 3D Adversarial Defense based on Frequency Analysis
Sharif University of Technology（谢里夫理工大学）
虽然三维点云分类最近已被广泛部署在不同的应用场景中，但它仍然非常容易受到对抗攻击。这增加了3D模型在面对对抗攻击时的鲁棒训练的重要性。基于我们对现有对抗攻击性能的分析，发现更多的对抗扰动出现在输入数据的中高频分量。因此，通过在训练阶段抑制高频内容，提高了模型对对抗性示例的鲁棒性。实验结果表明，该防御方法降低了PointNet、PointNet++、、和DGCNN模型上六种攻击的成功率。特别是，与最先进的方法相比，在drop 100攻击下分类准确率平均提高了3.8%，在drop 200攻击下提高了4.26%。与其他可用的方法相比，该方法还提高了原始数据集上的模型精度。
2022-08-24 cs.CR cs.CV cs.LG
Benchmarking adversarial attacks and defenses for time-series data
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；TU Kaiserslautern（凯撒斯劳滕工业大学）
深度网络的对抗性脆弱性引起了全世界研究人员的兴趣。不出所料，与图像一样，对抗性示例也会转化为时间序列数据，因为它们是模型本身而不是模态的固有弱点。已经进行了几次尝试来防御这些对抗攻击，特别是针对视觉模态。在本文中，我们对时间序列数据进行了详细的基准测试。我们仅限于$L_{\infty}$威胁模型。我们还探讨了基于正则化的防御的平滑性和干净的准确性之间的权衡，以更好地理解它们提供的权衡。我们的分析表明，探索的对抗性防御提供了强大的白盒和黑盒攻击的鲁棒性。这为未来对抗攻击和防御方向的研究铺平了道路，特别是对于时间序列数据。
2020-08-30 cs.AI cs.LG stat.ML
Beware the Black-Box: on the Robustness of Recent Defenses to Adversarial Examples
University of Connecticut（康涅狄格大学）；CWI（荷兰国家数学与计算机科学研究所）；eBay
最近，NIPS、ICML、ICLR和CVPR等机构提出了许多防御措施。这些防御主要集中在减轻白盒攻击。他们没有正确地检查黑盒攻击。在本文中，我们扩展这些防御的分析，包括自适应黑盒对手。我们的评估是在九个防御上完成的，包括随机变换的弹幕，ComDefend，Enseminated多样性，特征蒸馏，赔率是奇数，纠错码，分布分类器防御，K-赢家通吃和缓冲区。我们的调查是使用两个黑盒对抗模型和六个广泛研究的CIFAR-10和Fashion-MNIST数据集的对抗攻击进行的。我们的分析表明，最新的防御（9个中的7个）提供的安全性（$<25\%$）相比，未设防的网络，只有边际改善。对于每一种防御，我们还展示了对手拥有的数据量与自适应黑盒攻击的有效性之间的关系。总的来说，我们的结果描绘了一幅清晰的画面：防御需要彻底的白盒和黑盒分析才能被认为是安全的。我们提供这种大规模的研究和分析，以激励该领域朝着更强大的黑盒防御的发展。
2021-05-20 cs.LG stat.ML
Adversarial defenses via a mixture of generators
Warsaw University of Technology（华沙工业大学）
尽管神经网络取得了巨大的成功，但对抗性示例仍然是深度学习系统的一个相对薄弱的特征。在构建更强大的对抗攻击和设计对抗对抗示例影响的方法方面都有相当大的努力。我们提出了一种通过混合生成器转换对抗输入数据的方法，以恢复被对抗攻击混淆的正确类。一组规范的图像用于通过潜在的多个攻击生成对抗性示例。这种变换后的图像由一组生成器处理，这些生成器作为一个整体进行逆向训练，以竞争反转初始变换。据我们所知，这是第一次使用基于混合的对抗训练系统作为防御机制。我们表明，它是可能的训练这样一个系统，没有监督，同时对多个对抗攻击。我们的系统能够恢复以前看不见的例子的类信息，既没有攻击，也没有MNIST数据集上的数据标签。结果表明，这种多攻击方法与在单攻击环境中测试的对抗性防御相比具有竞争力。
2021-10-05 cs.CR cs.LG
IDEA: Invariant Defense for Graph Adversarial Robustness
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对图神经网络对抗攻击防御方法在未知攻击下性能下降的问题，提出不变因果防御方法IDEA，从信息论角度推导基于节点和结构的不变性目标，在五种攻击和五个数据集上达到最先进的防御性能。
2024-04-25 cs.CR cs.LG
Trust but Verify: An Information-Theoretic Explanation for the Adversarial Fragility of Machine Learning Systems, and a General Defense against Adversarial Attacks
University of Iowa（爱荷华大学）
基于深度学习的分类算法已被证明容易受到对抗攻击的影响：分类器输入的微小变化可能会极大地改变其输出，而人类无法感知。在本文中，我们提出了一个关于人工智能（AI）分类器的特征压缩属性的简单假设，并提出了理论论据，表明这一假设成功地解释了AI分类器对小的对抗性扰动的脆弱性。借鉴信息和编码理论的思想，我们提出了一个通用类的防御检测异常小的输入扰动所造成的分类错误。我们进一步证明了这种检测方法的性能的理论保证。我们目前的实验结果与（a）一个话音识别系统，和（b）使用MNIST数据库的数字识别系统，以证明所提出的防御方法的有效性。本文中的想法是由AI分类器和通信系统的标准香农模型之间的简单类比激发的。
2019-05-25 cs.CR cs.CV cs.LG
Textual Manifold-based Defense Against Natural Language Adversarial Examples
VinAI Research（VinAI研究院）；Nanyang Technological University（南洋理工大学）
最近对对抗图像的研究表明，它们往往会留下底层的低维数据流形，这使得当前模型做出正确预测的挑战性大大增加。这种所谓的非流形猜想激发了一种新的防御图像对抗攻击的方法。在这项研究中，我们发现了一个类似的现象发生在由预训练的语言模型诱导的语境化嵌入空间中，其中敌对文本倾向于使其嵌入偏离自然文本的流形。基于这一发现，我们提出了基于文本流形的防御（TMD），一种防御机制，在分类之前将文本嵌入投影到近似的嵌入流形上。它降低了潜在对抗性示例的复杂性，最终增强了受保护模型的鲁棒性。通过大量的实验，我们的方法在各种攻击设置下始终显着优于以前的防御，而不会牺牲干净的准确性。据我们所知，这是第一个利用流形结构对抗对抗攻击的NLP防御。我们的代码可在\url{https://github.com/dangne/tmd}上获得。
2022-11-05 cs.CL cs.CR cs.LG
Evaluating the Adversarial Robustness of Adaptive Test-time Defenses
University of Tübingen（图宾根大学）；DeepMind（深度思维）；Everyday Robots（日常机器人公司）
自适应防御在测试时进行优化，有望提高对抗鲁棒性。我们对这种自适应测试时间防御进行分类，解释其潜在的优点和缺点，并评估图像分类的最新自适应防御的代表性品种。不幸的是，当我们仔细的案例研究评估时，没有一个显著改善静态防御。有些甚至削弱了底层的静态模型，同时增加了推理计算。虽然这些结果令人失望，但我们仍然相信自适应测试时间防御是一个有前途的研究途径，因此，我们提供了对其进行彻底评估的建议。我们扩展了Carlini et al.（2019）的清单，提供了适应性防御的具体步骤。
2022-07-13 cs.CR cs.CV cs.LG
Breaking certified defenses: Semantic adversarial examples with spoofed robustness certificates
University of Maryland（马里兰大学）
为了转移对抗攻击，已经提出了一系列“认证”分类器。除了标记图像之外，认证分类器还（在可能的情况下）生成证书，保证输入图像不是$\ell_p$有界对抗示例。我们提出了一种新的攻击，不仅利用分类器的标签功能，但也证书生成器。该方法应用大的扰动，将图像放置在远离类边界的地方，同时保持对抗性示例的不可感知性。提出的“影子攻击”导致可证明鲁棒性的网络错误标记图像，同时产生一个“欺骗”的鲁棒性证书。
2020-03-19 cs.LG stat.ML
A Mask-Based Adversarial Defense Scheme
Jinan University（暨南大学）
对抗攻击通过对输入的细微扰动进行干预，阻碍了深度神经网络（DNN）的功能和准确性。在这项工作中，我们提出了一种新的基于掩码的对抗性防御方案（MAD），用于DNN，以减轻对抗攻击的负面影响。准确地说，我们的方法通过随机掩蔽一部分潜在的对抗图像来提高DNN的鲁棒性，因此，DNN的%分类结果输出对微小的输入扰动变得更加宽容。与现有的对抗性防御技术相比，我们的方法不需要任何额外的去噪结构，也不需要对DNN的设计进行任何更改。我们已经测试了这种方法对各种数据集的DNN模型的集合，实验结果证实，该方法可以有效地提高防御能力的DNN对所有测试的对抗攻击方法。在某些情况下，与给定对抗性输入的原始模型相比，使用MAD训练的DNN模型的分类准确率提高了20%至90%。
2022-04-21 cs.AI cs.CR cs.LG
Adversarial Robustness in Financial Machine Learning: Defenses, Economic Impact, and Governance Evidence
Independent Researcher（独立研究者）
本研究评估金融机器学习模型的对抗鲁棒性，通过实验揭示对抗攻击对模型性能的影响，并探讨对抗训练的恢复效果。
2025-12-14 cs.AI cs.CR cs.LG
CARE: Ensemble Adversarial Robustness Evaluation Against Adaptive Attackers for Security Applications
针对网络安全中集成防御能否抵御自适应攻击缺乏综合评估平台的问题，本文提出通用CARE平台以系统评估集成对抗攻击与防御。
2024-01-20 cs.CR cs.LG
Adversarial Attacks and Defenses: An Interpretation Perspective
Texas A&M University（得克萨斯农工大学）；Arizona State University（亚利桑那州立大学）
尽管最近在广泛的应用中取得了进展，但机器学习模型，特别是深度神经网络，已被证明容易受到对抗攻击的攻击。攻击者在输入中添加精心制作的扰动，这些扰动几乎是人类无法察觉的，但可能导致模型做出错误的预测。保护模型免受对抗性输入的技术称为对抗性防御方法。尽管已经提出了许多方法来研究不同场景下的对抗攻击和防御，但如何真正理解模型脆弱性仍然是一个有趣而关键的挑战。受“知己知彼，百战不殆”这句谚语的启发，我们可以在解释机器学习模型以打开黑匣子之后解决上述挑战。模型解释或可解释的机器学习的目标是为模型的工作机制提取人类可理解的术语。最近，一些方法开始将解释纳入对抗攻击和防御的探索中。同时，我们也观察到许多现有的对抗攻击和防御方法，虽然没有明确声明，但可以从解释的角度来理解。在本文中，我们回顾了最近的工作对抗攻击和防御，特别是从机器学习解释的角度。我们将解释分为两种类型，特征级解释和模型级解释。对于每种类型的解释，我们详细说明了它如何用于对抗攻击和防御。然后，我们简要说明解释和对手之间的其他相关性。最后，我们讨论了挑战和未来的方向，沿着解决对手的问题与解释。
2020-10-07 cs.CV cs.LG stat.ML
Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks
Tsinghua University（清华大学）
深度神经网络容易受到对抗性样本的影响，这些样本会通过添加不可察觉的扰动来误导分类器。对抗性示例的一个有趣特性是它们良好的可移植性，这使得黑盒攻击在现实世界的应用中可行。由于对抗攻击的威胁，人们提出了许多方法来提高鲁棒性。几种最先进的防御被证明对可转移的对抗性示例具有鲁棒性。在本文中，我们提出了一个防御不变的攻击方法，以产生更多的可转移的对抗性的例子对防御模型。通过优化翻译图像集合的扰动，生成的对抗性示例对被攻击的白盒模型不太敏感，并且具有更好的可移植性。为了提高攻击的效率，我们进一步证明了我们的方法可以通过将未翻译图像的梯度与预定义的内核进行卷积来实现。我们的方法一般适用于任何基于梯度的攻击方法。在ImageNet数据集上的大量实验验证了该方法的有效性。我们最好的攻击愚弄八个国家的最先进的防御，平均成功率为82%，仅基于可转移性，证明了当前防御技术的不安全性。
2019-04-05 cs.CR cs.CV cs.LG
Minimax Defense against Gradient-based Adversarial Attacks
Aalto University（阿尔托大学）；Perspecta Labs（Perspecta实验室）
最先进的对抗攻击针对的是神经网络分类器。默认情况下，神经网络使用梯度下降来最小化其损失函数。基于梯度的对抗攻击使用分类器损失函数的梯度来生成对抗扰动图像。我们提出了另一种类型的优化是否可以给神经网络分类器的优势的问题。在这里，我们介绍了一种新的方法，使用极大极小优化来挫败基于梯度的对抗攻击。我们的极大极小分类器是生成对抗网络（GAN）的子节点，它与GAN生成器进行极大极小博弈。此外，我们的GAN生成器将所有点投影到与原始流形不同的流形上，因为原始流形可能是对抗攻击的原因。为了衡量我们的极大极小防御的性能，我们使用了对抗攻击- Carlini Wagner（CW），DeepFool，快速梯度符号方法（FGSM）-在三个数据集上：MNIST，CIFAR-10和德国交通标志（TRAFFIC）。针对CW攻击，我们的极大极小防御率达到98.07%（MNIST-默认98.93%），73.90%（CIFAR-10-默认83.14%）和94.54%（TRAFFIC-默认96.97%）。针对DeepFool攻击，我们的minimax防御达到98.87%（MNIST），76.61%（CIFAR-10）和94.57%（TRAFFIC）。针对FGSM攻击，我们实现了97.01%（MNIST），76.79%（CIFAR-10）和81.41%（TRAFFIC）。我们的Minimax对抗方法为神经网络分类器的防…
2020-02-04 cs.GT cs.LG stat.ML
Defense-GAN: Protecting Classifiers Against Adversarial Attacks Using Generative Models
University of Maryland, College Park（马里兰大学帕克分校）；University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）
近年来，深度神经网络方法已被广泛用于机器学习任务，包括分类。然而，它们被证明容易受到对抗性扰动的影响：精心制作的小扰动可能会导致合法图像的错误分类。我们提出了Defense-GAN，这是一个利用生成模型的表达能力来保护深度神经网络免受此类攻击的新框架。Defense-GAN被训练来模拟未受干扰图像的分布。在推理时，它会找到一个与给定图像接近的输出，该输出不包含对抗性变化。然后将该输出馈送到分类器。我们提出的方法可以用于任何分类模型，不修改分类器结构或训练过程。它也可以用来防御任何攻击，因为它不假设生成对抗性示例的过程的知识。我们的经验表明，Defense-GAN对不同的攻击方法始终有效，并改进了现有的防御策略。我们的代码已在https://github.com/kabkabm/defensegan上公开发布
2018-05-18 cs.CV cs.LG stat.ML
Approximate Manifold Defense Against Multiple Adversarial Perturbations
National University of Singapore（新加坡国立大学）
针对对抗攻击的现有防御通常针对特定的扰动类型进行定制。使用对抗性训练来防御多种类型的扰动，需要在每个训练步骤中使用来自不同扰动类型的昂贵的对抗性示例。相比之下，基于流形的防御采用生成网络将输入样本投影到干净的数据流形上。这种方法消除了生成昂贵的对抗性示例的需要，同时实现了对多种扰动类型的鲁棒性。然而，这种方法的成功依赖于生成网络是否能够捕获完整的干净数据流形，这对于复杂的输入域仍然是一个悬而未决的问题。在这项工作中，我们设计了一个近似流形防御机制，称为RBF-CNN，用于图像分类。我们使用RBF层来学习小图像块的密度，而不是捕获完整的数据流形。RBF-CNN还利用重建层来减轻任何微小的对抗性扰动。此外，将我们提出的重建过程用于训练提高了我们的RBF-CNN模型的对抗鲁棒性。在MNIST和CIFAR-10数据集上的实验结果表明，RBF-CNN对多种扰动具有鲁棒性，而无需昂贵的对抗训练。
2020-10-15 cs.CR cs.CV cs.LG
AdvMS: A Multi-source Multi-cost Defense Against Adversarial Attacks
Boston University（波士顿大学）；Northeastern University（东北大学）；IBM Research（IBM研究院）
设计针对对抗攻击的有效防御是一个至关重要的话题，因为深度神经网络在许多安全关键领域（如恶意软件检测和自动驾驶汽车）中迅速扩散。传统的防御方法，虽然被证明是有前途的，但在很大程度上受到其单一来源单一成本性质的限制：当防御越来越强大时，鲁棒性的提升往往趋于平稳，而成本往往会放大。在本文中，我们研究的原则，设计多源和多成本的计划，防御性能的提高，从多个防御组件。基于这种动机，我们提出了一种多源多成本的防御方案，对抗训练模型切换（AdvMS），它继承了两种主要方案的优点：对抗训练和随机模型切换。我们发现，AdvMS的多源性质缓解了性能稳定问题，多成本性质使其能够在不同因素的灵活和可调整的成本组合下提高鲁棒性，从而更好地适应实践中的特定限制和需求。
2020-02-19 cs.CR cs.CV cs.LG
Blind Pre-Processing: A Robust Defense Method Against Adversarial Examples
Department of Computer Engineering, University of Central Flordia（中佛罗里达大学计算机工程系）；Tencent AI Lab at Seattle（腾讯西雅图人工智能实验室）
深度学习算法和网络容易受到扰动输入的影响，这被称为对抗攻击。已经研究了许多防御方法来防御这种对抗攻击。在这项工作中，我们提出了一种新的方法来捍卫现有的强大的攻击模型。首次提出了一种新的攻击方案，并对白盒攻击提出了一个实用的约束条件。根据这个建议的攻击方案，我们提出了有史以来最好的防御报告，对最近的一些强大的攻击。它由一组非线性函数来处理输入数据，这将使它对对抗攻击更具鲁棒性。然而，我们使这个处理层对攻击者完全隐藏。盲预处理使MNIST的白盒攻击准确率从94.3%提高到98.7%。即使在其他防御完全失败的情况下增加防御，盲预处理仍然是有史以来报道的最强防御之一。我们防御的另一个优势是，它消除了对抗训练的需要，因为它可以显着提高MNIST的准确性，而无需对抗训练。此外，盲预处理还可以在面对对CIFAR-10和SVHN数据集的强大攻击时提高推理准确性，而不会牺牲干净的数据准确性。
2018-02-07 cs.AI cs.LG stat.ML
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester（曼彻斯特大学）
本文建立解释集成对抗防御鲁棒性的误差理论，并据此提出 iGAT，通过全局对抗样本概率分配和弱点正则化，在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science（印度科学学院）
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降（PGD）在约束集内最大化标准损失（诸如交叉熵损失或最大余量损失）来生成。在这项工作中，我们在标准损失中引入了一个松弛项，找到了更合适的梯度方向，提高了攻击效率，并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击（GAMA），它利用干净图像的函数映射来引导对手的生成，从而产生更强的攻击。我们评估我们的攻击对多种防御，并显示出改进的性能相比，现有的攻击。此外，我们提出了引导对抗训练（GAT），它通过利用所提出的松弛项进行攻击生成和训练，在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models
Macquarie University（麦考瑞大学）；Harvard University（哈佛大学）；University of Sydney（悉尼大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
如今，自动驾驶已经引起了工业界和学术界的广泛关注。卷积神经网络（CNN）是自动驾驶中的关键组件，也越来越多地被智能手机、可穿戴设备和物联网网络等普适计算所采用。先前的工作表明，基于CNN的分类模型容易受到对抗性攻击。然而，目前还不确定回归模型（如驱动模型）在多大程度上容易受到对抗性攻击，现有防御技术的有效性以及对系统和中间件构建者的防御影响。本文深入分析了三种驱动模型的五种对抗性攻击和四种防御方法。实验表明，与分类模型类似，这些模型仍然非常容易受到对抗性攻击。这对自动驾驶构成了很大的安全威胁，因此在实践中应该加以考虑。虽然这些防御方法可以有效地防御不同的攻击，但没有一种能够对所有五种攻击提供足够的保护。我们得出了对系统和中间件构建者的几个启示：（1）当添加对抗性攻击的防御组件时，重要的是要串联部署多种防御方法以实现对各种攻击的良好覆盖，（2）与白盒攻击相比，黑盒攻击的有效性要低得多，这意味着重要的是要保留模型细节（例如，模型体系结构、超参数）通过模型混淆而机密，以及（3）如果计算资源允许，则优选驱动具有复杂体系结构的模型，因为它们比简单模型对对抗性攻击更有弹性。
2020-02-06 cs.CR cs.LG eess.SP
Defense Against Adversarial Attacks Using Feature Scattering-based Adversarial Training
Horizon Robotics（地平线机器人）；Baidu Research（百度研究院）
我们引入了一种基于特征分散的对抗性训练方法，以提高模型对对抗攻击的鲁棒性。传统的对抗性训练方法利用监督方案（有针对性或非有针对性）来生成用于训练的攻击，这通常会遇到标签泄漏等问题，如最近的工作中所指出的。因此，该方法通过在潜在空间中进行特征分散来生成用于训练的对抗图像，这在本质上是无监督的，并且避免了标签泄漏。更重要的是，这种新方法以协作方式生成扰动图像，并考虑到样本间的关系。我们对模型的鲁棒性进行了分析，并通过在不同数据集上的大量实验，与最先进的方法相比，证明了所提出的方法的有效性。
2019-11-21 cs.CR cs.CV cs.LG
Detection based Defense against Adversarial Examples from the Steganalysis Point of View
CAS Key Laboratory of Electromagnetic Space Information（中国科学院电磁空间信息重点实验室）；University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。此外，对抗性示例可以用于对各种基于DNN的系统进行攻击，即使对手无法访问底层模型。已经提出了许多防御方法，例如混淆网络的梯度或检测对抗性示例。然而事实证明，这些防御方法都是无效的，或者不能抵抗二次对抗攻击。本文指出隐写分析可以应用于对抗性样本检测，并提出了一种通过估计对抗攻击引起的修改概率来增强隐写分析特征的方法。实验结果表明，该方法能够准确地检测出对抗性样本。此外，二次对抗攻击不能直接对我们的方法进行，因为我们的方法不是基于神经网络，而是基于高维人工特征和FLD（Fisher线性判别）集成。
2018-12-24 cs.CV cs.LG stat.ML
Towards Model-Agnostic Adversarial Defenses using Adversarially Trained Autoencoders
Stony Brook University（石溪大学）；IBM Research（IBM研究院）；University of Michingan（密歇根大学）
对抗性机器学习是一个研究得很好的领域，其中对手通过对输入的精确操纵在机器学习算法中引起可预测的错误。已经提出了许多技术来强化机器学习算法并减轻对抗攻击的影响。在这些技术中，对抗性训练（其用对抗性样本来增强训练数据）已被证明是针对某类攻击的有效防御。然而，对抗性训练在计算上是昂贵的，其改进仅限于单个模型。在这项工作中，我们朝着创建模型不可知的对抗性防御迈出了第一步。我们提出了对抗训练的自动编码器增强（AAA），这是第一个与模型无关的对抗性防御，对某些自适应对手具有鲁棒性。我们表明，AAA允许我们通过训练单个自动编码器来保护多个预先训练的分类器，从而实现部分模型不可知的防御;在不修改分类器的情况下，实现与对抗训练相当或更好的对抗性能。此外，我们证明了AAA可以用于为MNIST和Fashion MNIST数据集创建完全模型不可知的防御，通过将从未见过的预训练分类器的对抗性能提高至少45%，而无需额外的训练。最后，使用自然图像损坏数据集，我们证明了我们的方法提高了对自然损坏图像的鲁棒性，这已被确定为真正的对抗鲁棒性的强烈指示。
2020-03-29 cs.CV cs.LG
Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks
Chongqing University（重庆大学）；Peng Cheng Lab（鹏城实验室）；Zhejiang University（浙江大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对部署阶段未知攻击的零样本防御问题，本文提出MID，通过攻击者池采样任务和多层级多一致性元蒸馏学习攻击不变特征，在分类与图像再生上均取得可泛化鲁棒性。
2024-04-04 cs.CR cs.CV cs.LG
Deflecting Adversarial Attacks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
有一个正在进行的循环，即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环，我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此，我们首先提出了一种基于Capsule Networks的更强大的防御，该防御结合了三种检测机制，以在标准和防御感知攻击中实现最先进的检测性能。然后，我们通过进行一项人类研究，要求参与者标记攻击产生的图像，表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”，因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
Denoising Diffusion Probabilistic Models as a Defense against Adversarial Attacks
Harvard University（哈佛大学）
神经网络对输入中的小扰动非常敏感，这使得它们容易受到对抗攻击。该项目评估了去噪扩散概率模型（DDPM）作为一种净化技术来抵御对抗攻击的性能。它的工作原理是在通过扩散模型的逆过程去除噪声之前，向对抗性示例添加噪声。我们评估的方法上的PatchCamelyon数据集的淋巴结切片的组织病理学扫描，并找到了高达88%的原始模型的准确性，构成了相当大的改进香草模型和我们的基线的鲁棒准确性的提高。项目代码位于https://github.com/ankile/Adversarial-Diffusion。
2023-01-17 cs.CR cs.CV cs.LG
