Defending from adversarial examples with a two-stream architecture
近年来，深度学习在许多任务上表现出令人印象深刻的性能。然而，最近的研究表明，深度学习系统很容易受到人类无法察觉的小的、特制的扰动。具有这种扰动的图像是所谓的对抗性示例，这已被证明是对基于DNN的应用程序的无可争议的威胁。对DNN缺乏更好的理解，阻碍了对抗性示例的有效防御的发展。在本文中，我们提出了一个双流体系结构，以保护CNN免受攻击的对抗性的例子。该模型借鉴了安全领域常用的“双流”思想，利用“高分辨率”和“低分辨率”网络在特征提取方面的差异，成功地抵御了各种攻击方法。我们对为什么我们的二流架构难以被击败提供了合理的解释，并通过实验表明我们的方法很难被最先进的攻击击败。我们证明了我们的两个流架构是强大的对抗性的例子，目前已知的攻击算法。
2019-12-30 cs.CV
PatchZero: Defending against Adversarial Patch Attacks by Detecting and Zeroing the Patch
对抗补丁攻击通过在局部区域内注入对抗像素来误导神经网络。补丁攻击可以在各种任务中非常有效，并且可以通过附着（例如贴纸）到现实世界的对象来物理实现。尽管攻击模式的多样性，对抗补丁往往是高度纹理化的，并且在外观上与自然图像不同。我们利用这一特性，并提出PatchZero，这是一种针对白盒对抗补丁的通用防御管道，无需重新训练下游分类器或检测器。具体来说，我们的防御检测在像素级的对手和“零”的补丁区域重新绘制的平均像素值。我们进一步设计了一个两阶段的对抗训练方案，以抵御更强的自适应攻击。PatchZero在图像分类（ImageNet，REISC 45），目标检测（PASCAL VOC）和视频分类（UCF 101）任务上实现了SOTA防御性能，而良性性能几乎没有下降。此外，PatchZero可以转移到不同的补丁形状和攻击类型。
2022-09-05 cs.CR cs.CV cs.LG
Ada3Diff: Defending against 3D Adversarial Point Clouds via Adaptive Diffusion
University of Science and Technology of China（中国科学技术大学）；Simon Fraser University（西蒙弗雷泽大学）；Nanyang Technological University（南洋理工大学）
本文提出Ada3Diff防御框架，结合失真估计器与扩散模型，通过失真感知扩散和反向去噪恢复对抗点云，从而提升3D识别模型对自适应攻击的鲁棒性。
2023-09-22 cs.CV
VQUNet: Vector Quantization U-Net for Defending Adversarial Atacks by Regularizing Unwanted Noise
University of California, Merced（加州大学默塞德分校）
为防御对抗攻击，本文提出向量量化U-Net（VQUNet），通过多尺度分层结构进行离散潜在表示学习以减少对抗噪声并高保真重建数据，在Fashion-MNIST和CIFAR10数据集上优于现有降噪防御方法且无攻击时精度下降不到1%。
2024-06-05 cs.CV
HyperNetworks with statistical filtering for defending adversarial examples
众所周知，深度学习算法在诸如图像分类等各种任务中容易受到对抗性扰动的影响。这个问题是通过采用几种防御方法来检测和拒绝特定类型的攻击来解决的。然而，根据特定防御方案训练和操纵网络增加了学习算法的计算复杂性。在这项工作中，我们提出了一个简单而有效的方法来提高卷积神经网络（CNN）的鲁棒性对抗攻击通过使用数据相关的自适应卷积核。为此，我们提出了一种新型的超网络，以采用统计特性的输入数据和统计自适应地图的计算功能。然后，我们用学习到的统计映射来过滤CNN的卷积权重，以计算动态内核。因此，权重和核被共同优化，用于学习对对抗攻击鲁棒的图像分类模型，而不采用附加的目标检测和拒绝算法。我们凭经验证明，所提出的方法使CNN能够自发地防御不同类型的攻击，例如由高斯噪声、快速梯度符号方法（Goodfellow et al.，2014）和黑箱攻击（Narodytska & Kasiviswanathan，2016）。
2017-11-06 cs.CV
Defending from GeoLocalization through Adversarial Road Trips
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
研究基于检索的图像地理定位技术隐私安全问题，提出公路旅行攻击（RTA），将对抗过程视为找最优干扰路径，用束搜索算法构造错误位置序列，能在黑盒设置中实现高可迁移攻击。
2026-07-07 cs.CV
Defending Adversarial Examples via DNN Bottleneck Reinforcement
Tongji University（同济大学）；Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国计算机科学与随机系统研究所）
本文提出了一种DNN瓶颈加固方案，以减轻深度神经网络（DNN）对对抗攻击的脆弱性。典型的DNN分类器将输入图像编码为更适合推理的压缩潜在表示。这种信息瓶颈使得图像中的图像特定结构和类特定信息之间进行权衡。通过加强前者，同时保持后者，任何冗余信息，无论是对抗性的还是非对抗性的，都应该从潜在表征中去除。因此，本文提出了联合训练一个自动编码器（AE）共享相同的编码权重与视觉分类器。为了加强信息瓶颈，我们引入了多尺度低通目标和多尺度高频通信，以更好地在网络中的频率引导。与现有的方法不同，我们的方案是第一次改革防御本身，它保持分类器结构不变，不附加任何预处理头，只使用干净的图像进行训练。在MNIST、CIFAR-10和ImageNet上的大量实验证明了该方法对各种对抗攻击的强大防御能力。
2020-08-12 cs.CV
Defending Against Frequency-Based Attacks with Diffusion Models
University of Limerick（利默里克大学）；Computer Science and Information Systems（计算机科学与信息系统学院）
本研究针对对抗训练泛化性不足的问题，探索利用扩散模型进行对抗净化以防御频谱和空间对抗攻击，结果表明该方法能有效处理从低频到高频区域的多种失真模式。
2025-04-15 cs.CV
Optimal Transport Classifier: Defending Against Adversarial Attacks by Regularized Deep Embedding
University of California, Davis（加利福尼亚大学戴维斯分校）；NEC Laboratories America（NEC美国实验室）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
最近的研究已经证明了深度卷积神经网络在对抗性示例中的脆弱性。图像数据的内在维数远小于其像素空间维数，神经网络的脆弱性随着输入维数的增加而增加，受此启发，我们提出将高维输入图像嵌入到低维空间中进行分类.然而，任意将输入图像投影到低维空间而不进行正则化，不会提高深度神经网络的鲁棒性。利用最优传输理论，我们提出了一个新的框架，最优传输分类器（OT-分类器），并得出一个目标，最大限度地减少真实标签的分布和OT-分类器输出的分布之间的差异。在多个基准数据集上的实验结果表明，该框架在对抗强对抗攻击方法时具有最佳性能.
2018-12-09 cs.CV
Segment and Complete: Defending Object Detectors against Adversarial Patch Attacks with Robust Patch Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）
目标检测在许多安全关键系统中起着关键作用。对抗性补丁攻击在物理世界中很容易实现，对最先进的对象检测器构成严重威胁。为对象检测器开发针对补丁攻击的可靠防御是至关重要的，但严重缺乏研究。在本文中，我们提出了分段和完全防御（SAC），一个通用的框架，通过检测和删除敌对补丁，保护对象检测器免受补丁攻击。我们首先训练一个补丁分割器，输出补丁掩模，提供像素级定位的对抗补丁。然后，我们提出了一种自对抗训练算法来增强补丁分割器的鲁棒性。此外，我们设计了一个强大的形状完成算法，这是保证从图像中删除整个补丁，如果补丁分割器的输出在一定的汉明距离的地面真理补丁掩模。我们在COCO和xView数据集上的实验表明，SAC即使在强自适应攻击下也具有出色的鲁棒性，并且在干净图像上的性能没有降低，并且可以很好地推广到看不见的补丁形状，攻击预算和看不见的攻击方法。此外，我们提出了APRICOT-Mask数据集，它通过对抗补丁的像素级注释来增强APRICOT数据集。我们表明SAC可以显着降低物理补丁攻击的目标攻击成功率。我们的代码可在https://github.com/joellliu/SegmentAndComplete上获得。
2022-05-02 cs.CR cs.CV eess.IV
Robust Structured Declarative Classifiers for 3D Point Clouds: Defending Adversarial Attacks with Implicit Gradients
University of Kansas（堪萨斯大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Ryerson University（瑞尔森大学）
用于3D点云分类的深度神经网络（如PointNet）已被证明易受对抗攻击的攻击。当前的对抗性防御者通常学会通过重建来对（被攻击的）点云进行降噪，然后将它们作为输入提供给分类器。与文献相比，我们提出了一个强大的结构化声明分类器的点云分类，其中的内部约束优化机制可以有效地防御对抗攻击通过隐式梯度。这样的分类器可以使用双层优化框架来制定。我们进一步提出了一个有效的和高效的实例化我们的方法，即格点分类器（LPC），基于结构化稀疏编码的permutohedral格和2D卷积神经网络（CNN）是端到端的可训练。我们在七种不同的攻击者下在ModelNet 40和ScanNet上展示了最先进的鲁棒点云分类性能。例如，在最近的JGBA攻击下，我们在每个数据集上实现了89.51%和83.16%的测试准确率，比DUP-Net和IF-Defense与PointNet的性能高出约70%。演示代码可在https://zhang-vislab.github.io上获得。
2022-03-29 cs.CV
GuardT2I: Defending Text-to-Image Models from Adversarial Prompts
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
针对T2I模型易被对抗性提示滥用生成NSFW内容的安全问题，研究提出GuardT2I生成式审核框架，通过LLM转换文本引导嵌入实现检测且不损模型性能，效果显著优于主流商业方案。
2024-10-30 cs.CV
MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes
Huawei Inc.（华为公司）；Tencent Blade Team（腾讯刃影团队）
Deepfakes引发了人们对视觉内容真实性的严重担忧。之前的工作揭示了通过向源数据添加对抗性扰动来破坏deepfakes的可能性，但我们认为这种威胁尚未消除。本文介绍了MagDR，这是一种用于防御deepfakes免受对抗攻击的掩码引导检测和重建管道。MagDR从一个检测模块开始，定义了一些判断deepfakes输出异常的标准，然后用它来指导可学习的重建过程。提取自适应掩模以捕获局部面部区域的变化。在实验中，MagDR防御了deepfakes的三个主要任务，学习的重建管道在输入数据之间传输，在防御黑盒和白盒攻击方面表现出良好的性能。
2021-03-26 cs.CV
Ensemble Generative Cleaning with Feedback Loops for Defending Adversarial Attacks
University of Missouri（密苏里大学）
深度神经网络对对抗攻击的有效防御仍然是一个具有挑战性的问题，特别是在强大的白盒攻击下。在本文中，我们开发了一种新的方法，称为集成生成清洗与反馈循环（EGC-FL），用于深度神经网络的有效防御。所提出的EGC-FL方法基于两个中心思想。首先，我们在防御网络中引入了一个变换的死区层，它由一个正交变换和一个基于死区的激活函数组成，以破坏对抗攻击的复杂噪声模式。其次，通过构建一个具有反馈回路的生成式清洁网络，我们能够生成原始清洁图像的各种估计的集合。然后，我们学习一个网络，将这组不同的估计融合在一起，以恢复原始图像。我们广泛的实验结果表明，我们的方法提高了最先进的大利润率在白盒和黑盒攻击。它显着提高了白盒PGD攻击的分类准确率，在SVHN数据集上超过29%，在具有挑战性的CIFAR-10数据集上超过39%。
2020-04-23 cs.CV
Temporal Shuffling for Defending Deep Action Recognition Models against Adversarial Attacks
Yonsei University（延世大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California（加利福尼亚大学）
该研究发现动作识别模型对帧序随机化具有鲁棒性，并利用对抗扰动对时间破坏的敏感性，提出无需额外训练的时间混洗防御方法。
2023-12-07 cs.CV
Uncertainty-Aware SAR ATR: Defending Against Adversarial Attacks via Bayesian Neural Networks
University of Southern California（南加州大学）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）
本文提出一种基于贝叶斯神经网络的不确定性感知SAR ATR方法，通过量化认知不确定性检测对抗攻击并生成视觉解释，在MSTAR数据集上以低于20%误报率识别超80%对抗图像及超90%散射体。
2024-03-27 cs.CV
Gradient Concealment: Free Lunch for Defending Adversarial Attacks
最近的研究表明，深度神经网络（DNN）在各种任务中取得了巨大的成功。然而，即使是基于\emph{state-of-the-art}深度学习的分类器也极易受到对抗性样本的影响，从而导致在存在大量未知攻击的情况下，识别准确性急剧下降。鉴于神经网络广泛用于开放世界场景，这可能是安全关键的情况，减轻深度学习方法的对抗性影响已成为迫切需要。一般来说，传统的DNN可以以极高的成功率被攻击，因为它们的梯度在白盒场景中被彻底暴露，使得在原始数据空间中只有难以察觉的扰动就可以毫不费力地破坏训练有素的分类器。为了解决这个问题，我们提出了一个即插即用层，这是训练免费的，被称为\textbf{G}梯度\textbf{C} once-times \textbf{M}梯度（GCM），隐藏梯度的脆弱方向，同时保证在推理时间的分类精度。GCM在ImageNet分类基准测试中报告了优异的防御结果，与普通DNN相比，在面对对抗性输入时，最高可提高63.41%的前1攻击鲁棒性（AR）。此外，我们在CVPR 2022鲁棒分类挑战赛中使用GCM，目前仅使用微小版本的ConvNext就在第二阶段实现了\textbf{2nd}。代码将被提供。
2022-05-21 cs.CV
MAPE: Defending Against Transferable Adversarial Attacks Using Multi-Source Adversarial Perturbations Elimination
Information Engineering University（信息工程大学）；Key Laboratory of Cyberspace Security, Ministry of Education（教育部网络空间安全重点实验室）
提出MAPE防御方法，通过单源对抗扰动消除机制和预训练模型概率调度算法，消除多种可迁移对抗攻击的扰动，在CIFAR-10和Mini-ImageNet上取得超过95.1%和71.5%的平均防御率。
2026-07-01 cs.CV
Towards Defending Multiple $\ell_p$-norm Bounded Adversarial Perturbations via Gated Batch Normalization
Beihang University（北京航空航天大学）；Google Brain（谷歌大脑）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文提出门控批归一化（GBN），利用多分支 BN 和门控子网络分离不同 $\ell_p$ 扰动统计特性，学习扰动不变表示，在多个数据集上显著提升对 $\ell_1$、$\ell_2$、$\ell_{\infty}$ 对抗攻击的鲁棒性。
2023-08-11 cs.CV
Defending against Patch-Based and Texture-Based Adversarial Attacks with Spectral Decomposition
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Software, Tsinghua University（清华大学软件学院）；School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）；Institute for AI, BNRist, IDG/McGovern Institute for Brain Research, Tsinghua University（清华大学人工智能研究院、北京信息科学与技术国家研究中心、IDG/麦戈文脑科学研究院）；Chinese Institute for Brain Research (CIBR)（北京脑科学与类脑研究中心）
本文提出Adversarial Spectrum Defense (ASD)，利用DWT进行谱分解分析对抗模式，结合Adversarial Training提升防御效果，实验表明ASD+AT在对抗攻击中表现优异。
2026-04-12 cs.CV
Defending Against Universal Attacks Through Selective Feature Regeneration
Arizona State University（亚利桑那州立大学）；Princeton University（普林斯顿大学）；Algolux；Lebanese American University（黎巴嫩美国大学）
深度神经网络（DNN）预测已被证明容易受到精心设计的对抗性扰动的影响。具体来说，添加到任何图像上的图像不可知（通用对抗）扰动可以欺骗目标网络做出错误的预测。从现有的防御策略，主要是在图像域中工作，我们提出了一种新的防御，在DNN特征域中操作，并有效地抵御这种普遍的扰动。我们的方法识别了最容易受到对抗性噪声影响的预训练卷积特征，并部署了可训练的特征再生单元，将这些DNN滤波器激活转换为对通用扰动具有鲁棒性的弹性特征。仅在最多6个DNN层中重新生成前50%的易受不利影响的激活，并保持所有剩余的DNN激活不变，我们在不同网络架构中的恢复准确性优于现有防御策略10%以上。我们表明，在没有任何额外修改的情况下，我们在ImageNet上训练的防御方法可以有效地防御其他类型的不可见的通用攻击。
2020-06-11 cs.CV
Defending Object Detectors against Patch Attacks with Out-of-Distribution Smoothing
University of Michigan（密歇根大学）；University of Wisconsin（威斯康星大学）
本文提出 OODSmoother 框架统一对抗补丁移除方法，据此设计自适应攻击攻破现有防御，并提出利用语义先验的 SemPrior，最高可带来 60% 性能提升。
2024-12-06 cs.CR cs.CV cs.LG
Robustness Out of the Box: Compositional Representations Naturally Defend Against Black-Box Patch Attacks
Johns Hopkins University（约翰斯·霍普金斯大学）
基于补丁的对抗攻击会对输入引入可感知但局部的变化，从而导致错误分类。虽然在防御不易察觉的攻击方面取得了进展，但如何抵御基于补丁的攻击仍不清楚。在这项工作中，我们研究了两种不同的方法来抵御黑盒补丁攻击。首先，我们证明了对抗性训练，这是成功的对不可感知的攻击，对最先进的位置优化补丁攻击的有效性有限。其次，我们发现，组合深度网络具有基于部分的表示，可以对自然遮挡产生固有的鲁棒性，在没有对抗性训练的情况下，对PASCAL 3D+和德国交通标志识别基准的补丁攻击具有鲁棒性。此外，组合模型的鲁棒性大大优于对抗训练的标准模型。然而，在GTSRB上，我们观察到他们在区分具有细粒度差异的类似交通标志方面存在问题。我们通过引入基于部件的微调来克服这一限制，从而提高了细粒度识别。通过利用组合表示，这是第一个在没有昂贵的对抗性训练的情况下防御黑盒补丁攻击的工作。这种防御比对抗性训练更强大，更可解释，因为它可以定位和忽略对抗性补丁。
2020-12-01 cs.CV
DiffDefense: Defending against Adversarial Attacks via Diffusion Models
University of Florence（佛罗伦萨大学）
本文提出DiffDefense，利用Diffusion Models在无需修改分类器的前提下防御对抗攻击，克服了扩散模型逆向过程慢的缺陷，在保持干净准确率、速度和即插即用兼容性的同时实现了鲁棒防御。
2023-09-07 cs.CR cs.CV cs.LG
Defending against adversarial attacks on medical imaging AI system, classification or detection?
Wayne State University（韦恩州立大学）
疾病分类和分割等医学成像AI系统越来越多地受到基于计算机视觉的AI系统的启发和改造。尽管已经开发了一系列对抗性训练和/或基于损失函数的防御技术，并证明其在计算机视觉中是有效的，但由于以下独特的挑战，在医学图像上防御对抗攻击在很大程度上仍然是一个未知的领域：1）医学图像中的标签稀缺性显著限制了AI系统的对抗性泛化能力; 2）医学图像中的前、背景具有极大的相似性和优势性，这使得学习不同疾病类别之间的区分特征成为困难的样本;和3）与聚焦的器官目标相反，添加到整个医学图像中的精心制作的对抗性噪声可以使干净和对抗性的样本更具辨别力不同疾病类别之间的差异。在本文中，我们提出了一种新的基于半监督对抗训练（SSAT）和无监督对抗检测（UAD）的强大医学成像AI框架，然后设计了一种新的评估系统对抗风险的措施。我们使用基准OCT成像数据集，系统地展示了我们强大的医学成像AI系统在各种现实世界对抗攻击环境下与现有对抗性防御技术相比的优势。
2020-06-24 cs.CV cs.LG eess.IV
Robust and Efficient Interference Neural Networks for Defending Against Adversarial Attacks in ImageNet
Hubei Polytechnic University（湖北理工学院）
针对ImageNet上对抗训练防御对抗攻击计算成本高、对高强度攻击效果不佳的问题，提出用额外背景图和标签构建干扰神经网络，结合预训练ResNet-152高效训练，以更少算力实现更优PGD攻击防御效果。
2023-09-03 cs.CV cs.LG
Defending Against Image Corruptions Through Adversarial Augmentations
DeepMind
现代神经网络在图像分类方面表现出色，但它们仍然容易受到模糊、斑点噪声或雾等常见图像损坏的影响。最近专注于这个问题的方法，如AugMix和DeepAugment，引入了对图像损坏分布进行预期操作的防御。与此相反，$\ell_p$ -范数有界扰动的文献侧重于对最坏情况下的腐败的防御。在这项工作中，我们调和这两种方法，提出AdversarialAugment，一种技术，优化图像到图像模型的参数，以生成adversarially损坏的增强图像。我们从理论上激励我们的方法，并给出其理想化版本以及DeepAugment的一致性的充分条件。我们的分类器改进了CIFAR-10-C上预期进行的常见图像损坏基准测试的最新技术，并提高了CIFAR-10和ImageNet上针对$\ell_p$范数有界扰动的最坏情况性能。
2021-12-16 cs.CV cs.LG
Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models
Yale University（耶鲁大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学学院）
针对预训练医学 VLM 受上游对抗噪声影响的问题，本文通过多模态对抗攻击构建噪声数据集并分析噪声强度效应，提出轻量级 RAN 微调框架以防御攻击并纠正噪声影响。
2025-01-07 cs.CV cs.LG
Evaluating a Simple Retraining Strategy as a Defense Against Adversarial Attacks
Arizona State University（亚利桑那州立大学）
尽管深度神经网络（DNN）在计算机视觉、自然语言处理、机器人等主要领域表现出了优于其他技术的优势，但最近已经证明它们容易受到对抗攻击的攻击。在原始输入图像中添加一个简单的、小的、几乎不可见的扰动，可以用来欺骗DNN做出错误的决定。随着越来越多的攻击算法被设计出来，需要保护神经网络免受这种攻击。使用对抗性图像重新训练网络是最简单的技术之一。在本文中，我们评估了这种再训练策略在防御对抗攻击中的有效性。我们还展示了如何使用KNN等简单算法来确定再训练所需的对抗图像的标签。我们在两个标准数据集上展示了结果，即CIFAR-10和TinyImageNet。
2020-07-20 cs.CV
A Computationally Efficient Method for Defending Adversarial Deep Learning Attacks
Purdue University（普渡大学）
近年来，对深度学习算法的依赖显著增长。然而，这些模型非常容易受到对抗攻击的攻击，这些攻击会在测试数据中引入视觉上无法感知的扰动，从而导致错误分类。文献已经提出了几种方法来对抗这种对抗攻击，但每种方法要么在高扰动值下失败，要么需要过多的计算能力，或者两者兼而有之。这封信提出了一种计算效率高的方法，通过同时去噪和压缩数据来防御快速梯度符号（FGS）对抗攻击。具体来说，我们提出的防御依赖于训练一个完全连接的多层去噪自动编码器（DAE），并使用其编码器作为对对抗攻击的防御。我们的研究结果表明，使用这种降维方案不仅在减轻FGS攻击在多个威胁模型中的影响方面非常有效，而且与针对相同攻击提供类似鲁棒性的防御策略相比，它还提供了2.43倍的加速。
2019-06-13 cs.CR cs.CV cs.LG
MadNet: Using a MAD Optimization for Defending Against Adversarial Attacks
Technion – Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）；Technion（以色列理工学院）
本文关注的是深度模型对对抗攻击的防御。受证书防御方法的启发，我们提出了一种最大对抗失真（MAD）优化方法来增强深度网络的鲁棒性。MAD抓住了增加嵌入空间中类簇的可分性，同时降低网络对小失真的敏感性的想法。给定一个用于分类问题的深度神经网络（DNN），MAD优化的应用导致MadNet，这是原始网络的一个版本，现在配备了对抗性防御机制。MAD优化直观、有效且可扩展，由此产生的MadNet可以提高原始精度。我们提出了一项广泛的实证研究，证明与最先进的方法相比，MadNet提高了对抗鲁棒性性能。
2020-06-12 cs.CR cs.CV cs.LG
Defending Against Physically Realizable Attacks on Image Classification
Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Computer Science and Engineering（计算机科学与工程系）
我们研究了防御用于图像分类的深度神经网络方法免受物理可实现攻击的问题。首先，我们证明了学习鲁棒模型的两种最具可扩展性和有效性的方法，即PGD攻击和随机平滑的对抗训练，对三种最受欢迎的物理攻击表现出非常有限的有效性。接下来，我们提出了一个新的抽象对抗模型，矩形遮挡攻击，其中对手在图像中放置一个小的敌对制作的矩形，并开发了两种方法来有效地计算产生的对抗示例。最后，我们证明了使用我们的新攻击的对抗性训练产生的图像分类模型对我们研究的物理可实现的攻击具有很高的鲁棒性，为此类攻击提供了第一个有效的通用防御。
2020-02-14 cs.AI cs.CV cs.LG
Defending Touch-based Continuous Authentication Systems from Active Adversaries Using Generative Adversarial Networks
Teradata R&D Labs（Teradata研发实验室）；IIIT Delhi（德里英迪拉·甘地信息技术学院）；Haverford College（哈弗福德学院）
以前的研究表明，通常研究的（香草）触摸式连续认证系统（V-TCAS）容易受到群体攻击。提出了一种新的生成对抗网络辅助TCAS（G-TCAS）框架，该框架对群体攻击具有更强的抵抗能力。G-TCAS框架在117名用户的数据集上进行了测试，这些用户与智能手机和平板电脑进行交互。平均而言，V-TCAS的错误接受率（FAR）的增加（22%）远远高于智能手机的G-TCAS（13%）。同样，与片剂的G-TCAS（6%）相比，V-TCAS的FAR增加了25%。
2021-06-15 cs.CR cs.CV cs.HC
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
分类器，如深度神经网络，已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性，但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中，我们证明了对抗性训练在防止通用扰动方面更有效，其中相同的扰动需要在许多输入上欺骗分类器。此外，我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡，并提出了一种对抗性训练的扩展，可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果，以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见，并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
Stable Neural ODE with Lyapunov-Stable Equilibrium Points for Defending Against Adversarial Attacks
Continental-NTU Corporate Lab（大陆-南洋理工大学联合实验室）；Nanyang Technological University（南洋理工大学）；Singapore University of Social Sciences（新跃社科大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，其中恶意的人类无法感知的扰动被包含在深度网络的输入中，以欺骗它做出错误的分类。最近的研究表明，与普通DNN相比，神经常微分方程（ODE）本质上对对抗攻击更具鲁棒性。在这项工作中，我们提出了一个稳定的神经常微分方程与李雅普诺夫稳定平衡点防御对抗攻击（SODEF）。通过确保用作SODEF的一部分的ODE解的平衡点是Lyapunov稳定的，具有小扰动的输入的ODE解收敛到与未扰动输入相同的解。我们提供的理论结果，让深入了解的稳定性SODEF以及正则化选择，以确保其稳定性。我们的分析表明，我们提出的正则化迫使提取的特征点是在附近的Lyapunov稳定的平衡点的常微分方程。SODEF与许多防御方法兼容，可以应用于任何神经网络的最终回归层，以增强其对对抗攻击的稳定性。
2021-10-25 cs.CR cs.CV cs.LG
Defending Against Adversarial Attacks Using Random Forests
University of Central Florida（中佛罗里达大学）；University of California, Los Angeles（加州大学洛杉矶分校）；JD AI Research（京东AI研究院）；Google（谷歌）
随着深度神经网络（DNN）变得越来越重要和流行，DNN的鲁棒性是互联网和物理世界安全的关键。不幸的是，最近的一些研究表明，很难与真实示例区分开来的对抗性示例可以很容易地欺骗DNN并操纵它们的预测。在观察到对抗性示例主要是通过基于梯度的方法生成的之后，在本文中，我们首先提出使用一种简单但非常有效的不可微混合模型，该模型结合了DNN和随机森林，而不是隐藏攻击者的梯度，以抵御攻击。我们的实验表明，我们的模型可以成功地和完全防御白盒攻击，具有较低的可移植性，并且对三种代表性的黑盒攻击具有很强的抵抗力;同时，我们的模型达到了与原始DNN相似的分类精度。最后，我们研究并提出了一个标准来定义在DNN中生长随机森林的位置。
2019-06-16 cs.CR cs.CV
Defending From Physically-Realizable Adversarial Attacks Through Internal Over-Activation Analysis
本文提出Z-Mask方法，利用内部特征Z-score分析检测并掩蔽对抗区域，以防御物理可实现对抗攻击，在分割和检测任务上优于现有方法。
2022-09-15 cs.AI cs.CV
Exposing and Defending the Achilles' Heel of Video Mixture-of-Experts
Nanjing University（南京大学）；China Mobile Information Technology Co., Ltd.（中国移动信息科技有限公司）；Nanjing University of Information Science and Technology（南京信息科技大学）
本文提出TLGA和J-TLAT方法，揭示视频MoE模型的独立和协作性弱点，并通过联合对抗训练提升其鲁棒性。
2026-02-01 cs.CV
All You Need is RAW: Defending Against Adversarial Attacks with Camera Image Pipelines
Princeton University（普林斯顿大学）
现有的用于计算机视觉任务的神经网络容易受到对抗攻击的攻击：向输入图像添加不可感知的扰动可以欺骗这些方法，对在没有扰动的情况下正确预测的图像进行错误预测。各种防御方法已经提出了图像到图像映射方法，或者在训练过程中包括这些扰动，或者在预处理去噪步骤中去除它们。在这样做时，现有的方法通常忽略了当今数据集中的自然RGB图像不是被捕获的，而是实际上从RAW滤色器阵列捕获中恢复的，所述RAW滤色器阵列捕获在捕获中受到各种劣化。在这项工作中，我们利用这种原始数据分布作为对抗性防御的经验先验。具体来说，我们提出了一种与模型无关的对抗性防御方法，该方法将输入RGB图像映射到Bayer RAW空间，然后使用学习的相机图像信号处理（ISP）管道返回到输出RGB，以消除潜在的对抗性模式。所提出的方法作为一个现成的预处理模块，不像模型特定的对抗训练方法，不需要对抗图像进行训练。因此，该方法推广到看不见的任务，而无需额外的再训练。大规模数据集上的实验（例如，ImageNet，COCO）用于不同的视觉任务（例如，分类、语义分割、目标检测）验证了该方法显著优于跨任务域的现有方法。
2022-03-18 cs.CV eess.IV
Defending Adversarial Attacks by Correcting logits
Shanghai Jiao Tong University（上海交通大学）；Noah’s Ark Lab, Huawei Inc.（华为诺亚方舟实验室）
生成和消除对抗性样本一直是深度学习领域一个有趣的话题。虽然之前的研究证实，对抗攻击通常很脆弱，并且可以通过图像级处理进行防御，但尚不清楚此类攻击如何干扰高级特征。我们从一个新的角度来研究这个问题，这个角度纯粹依赖于logits，softmax之前的类得分，来检测和防御对抗攻击。我们的防御者是一个双层网络，在一组干净和扰动的logits上训练，目标是恢复原始预测。在广泛的对抗攻击，我们的简单的方法显示出有希望的结果，在防御中具有相对较高的准确性，防御者可以转移到攻击者具有类似的属性。更重要的是，我们的防御者可以在图像数据不可用的情况下工作，并且具有很高的可解释性，特别是在语义层面。
2019-06-26 cs.CR cs.CV cs.LG
SC-Pro: Training-Free Framework for Defending Unsafe Image Synthesis Attack
Yonsei University（延世大学）
针对扩散模型生成 NSFW 图像的对抗性攻击，提出无训练框架 SC-Pro，利用攻击对微小扰动不鲁棒的特性进行防御，并推出高效变体 SC-Pro-o，兼顾性能与适用性。
2025-05-27 cs.CV
PatchGuard++: Efficient Provable Attack Detection against Adversarial Patches
Princeton University（普林斯顿大学）
对抗补丁可以任意操纵图像像素在一个有限的区域，以诱导模型误分类。这种局部化攻击的威胁已经引起了极大的关注，因为对手可以通过将补丁附加到受害者对象来发起物理上可实现的攻击。最近的可证明鲁棒的防御通常遵循PatchGuard框架，使用具有小感受野的CNN和安全特征聚合来进行鲁棒的模型预测。在本文中，我们将PatchGuard扩展到PatchGuard++，用于可证明地检测对抗补丁攻击，以提高可证明的鲁棒准确性和干净准确性。在PatchGuard++中，我们首先使用具有小感受野的CNN进行特征提取，以便限制被对抗补丁损坏的特征数量。接下来，我们在特征空间中应用掩码，并在所有可能的掩码特征映射上评估预测。最后，我们从所有掩码预测中提取一个模式来捕获对抗补丁攻击。我们在ImageNet（ImageNet的10类子集），ImageNet和CIFAR-10上评估了PatchGuard++，并证明PatchGuard++显着提高了可证明的鲁棒性和干净的性能。
2021-04-26 cs.CV
Random Position Adversarial Patch for Vision Transformers
Kahlert School of Computing（卡勒特计算学院）；University of Utah（犹他大学）
本文提出G-Patch方法，利用GAN结构生成无需与视觉Transformer线性投影补丁对齐的对抗补丁，可在任意位置实现数字与物理世界中的通用鲁棒攻击。
2023-07-09 cs.CV
Structure-Preserving Progressive Low-rank Image Completion for Defending Adversarial Attacks
University of Missouri（密苏里大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
深度神经网络通过分析局部图像细节并沿着推理层总结其信息来识别对象，以得出最终决策。正因为如此，他们容易受到对抗攻击。输入图像中的小的复杂噪声可以沿着网络推理路径积累，并在网络输出处产生错误的决策。另一方面，人眼基于其全局结构和语义线索而不是局部图像纹理来识别对象。正因为如此，人眼仍然可以清楚地识别图像中的对象，这些对象已被对抗攻击严重损坏。这导致了一种非常有趣的方法来保护深度神经网络免受对抗攻击。在这项工作中，我们提出了一种结构保持渐进式低秩图像完成（SPLIC）方法，从输入图像中删除不需要的纹理细节，并将深度神经网络的偏见转向全局对象结构和语义线索。我们将问题转化为一个低秩矩阵完备化问题，逐步平滑秩函数，以避免在优化过程中出现局部极小值。我们的实验结果表明，该方法能够成功地去除不重要的局部图像细节，同时保留重要的全局对象结构。在黑盒、灰盒和白盒攻击中，我们的方法优于现有的防御方法（高达12.6%），并显着提高了网络的对抗鲁棒性。
2021-03-04 cs.AI cs.CV cs.LG
DataFreeShield: Defending Adversarial Attacks without Training Data
Seoul National University（首尔大学）；NVIDIA（英伟达）；IBM（国际商业机器公司（IBM））；KAIST（韩国科学技术院）
针对训练数据隐私受限下无法实现对抗鲁棒性的问题，提出DataFreeShield方法，通过生成替代数据集并基于其开展对抗训练，是首个完全无数据的对抗鲁棒性解决方案，性能优于基线。
2024-06-21 cs.CR cs.CV cs.LG
Generative Dynamic Patch Attack
Georgia State University（佐治亚州立大学）
对抗补丁攻击是一类通过扰动图像的一部分来欺骗深度神经网络模型的攻击算法。现有的补丁攻击大多考虑在输入不可知的位置注入对抗补丁：预定义的位置或随机位置。这种攻击设置可能足以进行攻击，但在用于对抗训练时有相当大的限制。因此，用现有补丁攻击训练的鲁棒模型不能有效地防御其他对抗攻击。在本文中，我们首先提出了一个端到端的补丁攻击算法，生成动态补丁攻击（GDPA），它产生补丁模式和补丁位置的每一个输入图像。我们表明，GDPA是一个通用的攻击框架，可以产生动态/静态和可见/不可见的补丁与一些配置的变化。其次，GDPA可以很容易地集成到对抗训练中，以提高模型对各种对抗攻击的鲁棒性。在VGGFace、Traffic Sign和ImageNet上进行的大量实验表明，GDPA比最先进的补丁攻击具有更高的攻击成功率，而使用GDPA进行对抗训练的模型比竞争方法对对抗补丁攻击具有更好的鲁棒性。我们的源代码可以在www.example.com上找到。
2021-11-15 cs.CV
Adversarial Patch
Google（谷歌公司）
我们提出了一种在现实世界中创建通用的，鲁棒的，有针对性的对抗图像补丁的方法。补丁是通用的，因为它们可以用来攻击任何场景，健壮的，因为它们在各种各样的变换下工作，有针对性的，因为它们可以导致分类器输出任何目标类。这些对抗补丁可以打印，添加到任何场景，拍照，并呈现给图像分类器;即使补丁很小，它们也会导致分类器忽略场景中的其他项目并报告所选的目标类别。为了重现论文中的结果，我们的代码可以在https://github.com/tensorflow/cleverhans/tree/master/examples/adversarial_patch上找到。
2018-05-17 cs.CV
PAD: Patch-Agnostic Defense against Adversarial Patch Attacks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间安全学院）
本文提出PAD方法，利用对抗性补丁的语义独立性和空间异质性特性，无需先验知识或额外训练即可定位并移除对抗性补丁，兼容任意预训练目标检测器，在数字和物理实验中显著优于现有方法。
2024-04-25 cs.CV
Adversarial YOLO: Defense Human Detection Patch Attacks via Detecting Adversarial Patches
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
目标检测系统的安全性越来越受到人们的关注，特别是在面对对抗性补丁攻击时。由于补丁攻击改变了对象上受限区域的像素，因此它们很容易在物理世界中实现，特别是对于攻击人类检测系统。现有的补丁攻击防御方法大多应用于图像分类问题，难以抵抗人为检测攻击。针对这一关键问题，我们提出了一个高效和有效的插件防御组件的YOLO检测系统，我们命名为广告YOLO。主要思想是在YOLO架构上添加一个补丁类，它的推理增量可以忽略不计。因此，Ad-YOLO有望直接检测感兴趣的对象和对抗性补丁。据我们所知，我们的方法是针对人类检测攻击的第一个防御策略。我们研究了Ad-YOLO在YOLOv 2基线上的性能。为了提高Ad-YOLO检测各种补丁的能力，我们首先使用对抗训练过程来开发基于Inria数据集的补丁数据集，我们将其命名为Inria-Patch。然后，我们通过Pascal VOC，Inria和Inria-Patch数据集的组合来训练Ad-YOLO。在VOC 2007测试集上，Ad-YOLO实现了人的$0.70\%$ AP，在面对白盒补丁攻击时，其性能远远优于YOLOv 2的$33.93\%$ AP。此外，与YOLOv 2相比，面对物理世界攻击的结果也被包括在内，以证明Ad-YOLO的优秀的泛化能力。
2021-03-16 cs.CV
CapGen:An Environment-Adaptive Generator of Adversarial Patches
Tsinghua University（清华大学）
针对现有对抗补丁易被察觉、忽略元素动态的问题，提出环境自适应的CAPGen方法，发现模式比颜色对攻击性能影响更大，进而提出快速生成策略，实现隐身性与对抗性兼顾。
2024-12-10 cs.CV
Benchmarking Adversarial Patch Against Aerial Detection
Northwestern Polytechnical University（西北工业大学）
DNN容易受到对抗性示例的攻击，这给安全关键系统带来了很大的安全问题。本文提出了一种新的基于自适应补丁的物理攻击（AP-PA）框架，其目的是生成在物理动力学和尺度变化方面都具有自适应性的对抗补丁，并通过该补丁隐藏特定目标以避免被检测到。此外，对抗性补丁还具有针对目标外部的补丁的同类所有目标的攻击有效性（无需涂抹目标对象），并且在物理世界中足够强大。此外，设计了一种新的损失，以考虑更多的检测对象的可用信息来优化对抗补丁，这可以显着提高补丁的攻击效率（白盒和黑盒设置的平均精度分别下降到87.86%和85.48%）和优化效率。我们还建立了第一个全面，连贯和严格的基准之一，以评估对抗补丁对空中探测任务的攻击效果。最后，几个比例缩放的实验进行了物理证明，精心制作的对抗补丁可以成功地欺骗空中检测算法在动态的物理环境。该代码可在https://github.com/JiaweiLian/AP-PA上获得。
2022-10-30 cs.CV
Defending Against Multiple and Unforeseen Adversarial Videos
Johns Hopkins University（约翰斯·霍普金斯大学）
深度神经网络的对抗鲁棒性已经得到了积极的研究。然而，大多数现有的防御方法仅限于特定类型的对抗性扰动。具体而言，它们通常无法同时抵抗多种攻击类型，即，它们缺乏多扰动鲁棒性。此外，与图像识别问题相比，视频识别模型的对抗鲁棒性相对未被探索。虽然有几项研究提出了如何生成对抗性视频，但文献中只有少数关于防御策略的方法。在本文中，我们提出了针对视频识别的多种类型对抗视频的第一种防御策略之一。所提出的方法，称为MultiBN，使用多个独立的批量归一化（BN）层与基于学习的BN选择模块对多个对抗性视频类型进行对抗性训练。对于多BN结构，每个BN分支负责学习单个扰动类型的分布，从而提供更精确的分布估计。这种机制有利于处理多种扰动类型。BN选择模块检测输入视频的攻击类型并将其发送到相应的BN分支，使MultiBN完全自动化并允许端到端训练。与目前的对抗训练方法相比，所提出的MultiBN对不同甚至不可预见的对抗视频类型（从LP有界攻击到物理可实现攻击）具有更强的多扰动鲁棒性。这适用于不同的数据集和目标模型。此外，我们进行了广泛的分析，研究多BN结构的性能。
2021-12-14 cs.CV cs.LG stat.ML
PuriDefense: Randomized Local Implicit Adversarial Purification for Defending Black-box Query-based Attacks
City University of Hong Kong, Hong Kong（香港城市大学）；Southeast University, China（东南大学）
针对黑盒查询式攻击威胁，提出高效防御机制PuriDefense，通过轻量级净化模型集合执行随机分块净化，在低推理成本下重建图像流形并引入随机性减缓攻击收敛，显著提升了模型鲁棒性。
2025-06-26 cs.AI cs.CR cs.CV
Using Frequency Attention to Make Adversarial Patch Powerful Against Person Detector
Guilin University of Electronic Technology（桂林电子科技大学）
深度神经网络（DNN）容易受到对抗攻击的攻击。具体地，对象检测器可以通过将特定的对抗补丁应用于图像而被攻击。然而，由于补丁在预处理过程中收缩，大多数现有的方法，采用对抗补丁攻击对象检测器将降低攻击成功率的小型和中型目标。本文提出了一个频率模块（FRAN），一个频域注意力模块，用于指导补丁生成。这是第一个引入频域注意力来优化对抗补丁攻击能力的研究。我们的方法将小型和中型目标的攻击成功率分别提高了4.18%和3.89%，而不是在攻击YOLOv3的同时欺骗人类检测器的最先进的攻击方法，而不会降低大型目标的攻击成功率。
2022-05-11 cs.CV
