General Adversarial Defense Against Black-box Attacks via Pixel Level and Feature Level Distribution Alignments
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；University of Oxford（牛津大学）
深度神经网络（DNN）容易受到高度可转移的黑盒对抗攻击的攻击。这种威胁来自目标DNN的特征空间中对抗样本和干净样本之间的分布差距。在本文中，我们使用具有新训练机制的深度生成网络（DGN）来消除分布差距。经过训练的DGN通过转换像素值将对抗样本的分布与目标DNN的干净样本的分布对齐。与以前的工作不同，我们提出了一个更有效的像素级训练约束，使这成为可能，从而提高对抗样本的鲁棒性。此外，类感知的特征级约束，制定了集成的分布对齐。我们的方法是通用的，适用于多个任务，包括图像分类，语义分割，和目标检测。我们在不同的数据集上进行了大量的实验。我们的策略证明了其独特的有效性和普遍性对黑盒攻击。
2022-12-11 cs.CV
Deep Defense: Training DNNs with Improved Adversarial Robustness
Intel Labs China（英特尔中国实验室）；Institute for Artificial Intelligence, Tsinghua University (THUAI)（清华大学人工智能研究院）；Tsinghua University（清华大学）
尽管深度神经网络（DNN）在各种计算机视觉任务上都很有效，但它容易受到对抗攻击的攻击，限制了它们在安全关键系统中的应用。最近的工作已经显示了产生不可察觉地扰动的图像输入的可能性（也称为，对抗性示例）来欺骗训练有素的DNN分类器进行任意预测。为了解决这个问题，我们提出了一个名为“深度防御”的训练配方。我们的核心思想是将一个基于对抗扰动的正则化器集成到分类目标中，这样所获得的模型就可以直接而精确地学习抵抗潜在的攻击。整个优化问题就像训练递归网络一样得到解决。实验结果表明，我们的方法在各种数据集（包括MNIST，CIFAR-10和ImageNet）和不同的DNN架构上的训练效果优于对抗/Parseval正则化。可在https://github.com/ZiangYan/deepdefense.pytorch上获得再现我们结果的代码和模型
2018-12-20 cs.CV cs.LG cs.NE
Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective
Duke University（杜克大学）
联邦学习（FL）是一种流行的分布式学习框架，它可以通过不显式共享私有数据来降低隐私风险。然而，最近的工作表明，共享模型更新使FL容易受到推理攻击。在这项工作中，我们展示了我们的关键观察，即梯度的数据表示泄漏是FL中隐私泄漏的根本原因。我们还提供了对这一观察的分析，以解释数据表示是如何泄漏的。基于这一观察，我们提出了一种防御模型反演攻击在FL。我们的防御的关键思想是学习扰动数据表示，使重建数据的质量严重下降，而FL性能保持。此外，我们得到认证的鲁棒性保证FL和收敛保证FedAvg，应用我们的防御后。为了评估我们的防御，我们进行了实验MNIST和CIFAR10对DLG攻击和GS攻击的防御。在不牺牲准确性的情况下，结果表明，与基线防御方法相比，对于DLG攻击和GS攻击，我们提出的防御方法可以将重建数据与原始数据之间的均方误差增加多达160倍以上。FL系统的隐私性得到显著改善。
2020-12-08 cs.AI cs.CV cs.LG
Evaluating a Simple Retraining Strategy as a Defense Against Adversarial Attacks
Arizona State University（亚利桑那州立大学）
尽管深度神经网络（DNN）在计算机视觉、自然语言处理、机器人等主要领域表现出了优于其他技术的优势，但最近已经证明它们容易受到对抗攻击的攻击。在原始输入图像中添加一个简单的、小的、几乎不可见的扰动，可以用来欺骗DNN做出错误的决定。随着越来越多的攻击算法被设计出来，需要保护神经网络免受这种攻击。使用对抗性图像重新训练网络是最简单的技术之一。在本文中，我们评估了这种再训练策略在防御对抗攻击中的有效性。我们还展示了如何使用KNN等简单算法来确定再训练所需的对抗图像的标签。我们在两个标准数据集上展示了结果，即CIFAR-10和TinyImageNet。
2020-07-20 cs.CV
Adversarial Example Defense via Perturbation Grading Strategy
Anhui University（安徽大学）；Shenzhen University（深圳大学）；East China Normal University（华东师范大学）
针对现有DNN对抗样本防御方法对大幅扰动效果有限的问题，提出基于扰动分级分配不同防御策略的方法，无需修改任务模型即可提升防御性能、降低部署成本。
2022-12-16 cs.CV cs.LG
The art of defense: letting networks fool the attacker
Guangxi University（广西大学）；Tsinghua University（清华大学）
鲁棒的环境感知对于自动驾驶汽车至关重要，而对抗性防御是提高环境感知鲁棒性的最有效和最广泛研究的方法。然而，所有以前的防御方法都降低了自然准确性，并且DNN本身的性质被忽视。为此，在本文中，我们提出了一种新的对抗性防御3D点云分类器，充分利用DNN的性质。由于点云的无序性，所有的点云分类器都具有对输入点云的排列不变性。基于这种性质，我们设计了不变变换防御（IT-防御）。我们表明，即使在考虑了模糊梯度之后，我们的IT防御也是对最先进的（SOTA）3D攻击的弹性防御。此外，与以前的SOTA 3D防御相比，IT-Defense不会损害干净的准确性。我们的代码可从以下网址获得：{ \footnotesize{\url{https://github.com/cuge1995/IT-Defense}} }。
2022-06-06 cs.CV cs.LG
Scattering Model Guided Adversarial Examples for SAR Target Recognition: Attack and Defense
National University of Defense Technology（国防科技大学）
基于深度神经网络（DNN）的合成孔径雷达（SAR）自动目标识别（ATR）系统已被证明非常容易受到故意设计但几乎不可感知的对抗性扰动的影响，但当添加到目标对象时，可能会使DNN推理产生偏差。当将DNN应用于高风险SAR ATR应用时，这会导致严重的安全问题。因此，增强DNN的对抗鲁棒性对于将DNN实现到现代现实世界的SAR ATR系统至关重要。为了构建更鲁棒的基于DNN的SAR ATR模型，本文利用SAR成像过程的领域知识，提出了一种新的散射模型引导的对抗攻击（SMGAA）算法。提出的SMGAA由两部分组成：1）参数散射模型和相应的成像方法和2）定制的基于梯度的优化算法。首先，我们介绍了有效的属性散射中心模型（ASCM）和一般的成像方法来描述典型几何结构的散射行为在SAR成像过程中。通过进一步设计策略，充分考虑SAR目标图像的领域知识，放松贪婪搜索过程，该方法不需要谨慎地进行微调，但可以有效地找到有效的ASCM参数，以欺骗SAR分类器，促进鲁棒模型训练。对MSTAR数据集的综合评估表明，SMGAA生成的对抗性散射体比目前研究的攻击对SAR处理链中的扰动和变换更具鲁棒性，并且可以有效地构建针对恶意散射体的防御模型。
2022-09-11 cs.CV
Visual Adversarial Attacks and Defenses in the Physical World: A Survey
Institute of Artificial Intelligence, Beihang University（北航人工智能研究院）；The Chinese University of HongKong（香港中文大学）
本文综述了物理世界中视觉对抗攻击与防御，分析了攻击类型、防御方法及未来研究方向。
2026-01-12 cs.CV
Trans-defense: Transformer-based Denoiser for Adversarial Defense with Spatial-Frequency Domain Representation
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提）
本文提出两阶段训练的Trans-defense方法，通过transformer层结合空间特征与DWT小波频域特征构建去噪网络，并重训分类器，有效防御图像对抗攻击，在MNIST等数据集上显著提升准确率。
2025-10-31 cs.CV
A Survey of Trojan Attacks and Defenses to Deep Neural Networks
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文综述深度神经网络木马攻击与防御研究，梳理概念演进，对比分析各类攻防策略，评估真实场景攻击可行性，指出问题紧迫性并给出技术优化建议。
2024-08-15 cs.CR cs.CV
Detection based Defense against Adversarial Examples from the Steganalysis Point of View
CAS Key Laboratory of Electromagnetic Space Information（中国科学院电磁空间信息重点实验室）；University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。此外，对抗性示例可以用于对各种基于DNN的系统进行攻击，即使对手无法访问底层模型。已经提出了许多防御方法，例如混淆网络的梯度或检测对抗性示例。然而事实证明，这些防御方法都是无效的，或者不能抵抗二次对抗攻击。本文指出隐写分析可以应用于对抗性样本检测，并提出了一种通过估计对抗攻击引起的修改概率来增强隐写分析特征的方法。实验结果表明，该方法能够准确地检测出对抗性样本。此外，二次对抗攻击不能直接对我们的方法进行，因为我们的方法不是基于神经网络，而是基于高维人工特征和FLD（Fisher线性判别）集成。
2018-12-24 cs.CV cs.LG stat.ML
Gradient Leakage Defense with Key-Lock Module for Federated Learning
Department of Computer Science, Swansea University（计算机科学系，萨瑟兰大学）；Department of Computer Science, Durham University（计算机科学系，杜ham大学）
针对联邦学习中共享梯度易泄露隐私的问题，提出基于私有密钥-锁模块的防御方法，可保障任意模型架构的梯度安全，经理论证明与多基准实验验证，能同时维持模型性能并抵御梯度泄露攻击。
2025-08-01 cs.AI cs.CV cs.LG
Don't FREAK Out: A Frequency-Inspired Approach to Detecting Backdoor Poisoned Samples in DNNs
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
在本文中，我们研究了深度神经网络（DNN）在提供干净样本与中毒样本时的频率敏感性。我们的分析表明，这两种类型的样本之间的频率敏感性显着差异。基于这些发现，我们提出了FREAK，一种基于频率的中毒样本检测算法，简单而有效。我们的实验结果表明，FREAK的有效性不仅对频率后门攻击，而且对一些空间攻击。我们的工作只是利用这些见解的第一步。我们相信本文的分析和提出的防御机制将为未来后门防御的研究和开发提供基础。
2023-03-23 cs.CR cs.CV cs.LG
What Your Features Reveal: Data-Efficient Black-Box Feature Inversion Attack for Split DNNs
Xi’an Jiaotong University（西安交通大学）
针对拆分DNN的中间特征隐私泄露问题，提出含LFSAM与DIFM的黑盒FIA-Flow框架，仅需少量样本即可高保真重建图像，实验证实其在多模型上效果更优，凸显拆分DNN隐私威胁更严峻。
2025-11-19 cs.CV
Deep Leakage with Generative Flow Matching Denoiser
CVSSP, University of Surrey, Guildford, United Kingdom（CVSSP，塞维利亚大学，格里福德，英国）
本文提出了一种结合生成流匹配先验的深度泄漏攻击方法，通过提升重建保真度，有效对抗联邦学习中的隐私泄露问题。
2026-01-21 cs.CV
Utilizing Adversarial Targeted Attacks to Boost Adversarial Robustness
Tel Aviv University（特拉维夫大学）
对抗攻击已被证明在降低深度神经网络（DNN）的性能方面非常有效。最突出的防御是对抗性训练，这是一种学习鲁棒模型的方法。然而，对抗性训练并不能使DNN对对抗性扰动免疫。我们提出了一种新的解决方案，采用最近建议的预测归一化最大似然。具体来说，我们的防御根据不同的假设执行对抗性目标攻击，其中每个假设假设测试样本的特定标签。然后，通过比较假设概率，我们预测标签。我们的改进过程对应于对抗子空间属性的最新发现。我们使用ResNet-50，WideResNet-28和使用ImageNet，CIFAR 10和MNIST训练的2层ConvNet对16个对抗攻击基准进行了广泛的评估，分别显示出高达5.7%，3.7%和0.6%的显着改进。
2021-09-04 cs.CV
Super-Efficient Super Resolution for Fast Adversarial Defense at the Edge
Arm Inc.（Arm 公司）；Arm Research（Arm 研究院）
自治系统非常容易受到对深度神经网络（DNN）的各种对抗性攻击。无需训练的模型不可知防御最近因其速度，易于部署以及跨许多DNN工作的能力而受到欢迎。为此，出现了一种新技术来减轻对图像分类DNN的攻击，即使用超分辨率预处理对抗图像-将低质量输入放大为高分辨率图像。这种防御需要在受约束的自治系统上运行图像分类器和超分辨率模型。然而，超分辨率带来了沉重的计算成本。因此，在本文中，我们研究了以下问题：如果我们使用微小的超分辨率模型，图像分类器的鲁棒性是否会受到影响？为了回答这个问题，我们首先回顾了最近的一项工作，称为超高效超分辨率（SESR），它实现了与现有技术相似或更好的图像质量，同时需要2倍至330倍的乘法累加（MAC）操作。我们证明，尽管数量级小于现有的模型，SESR达到了相同的鲁棒性水平显着更大的网络。最后，我们估计了商用Arm Ethos-U 55微型NPU上基于超分辨率的防御的端到端性能。我们的研究结果表明，SESR实现了比基线高近3倍的FPS，同时实现了类似的鲁棒性。
2021-12-29 cs.CV cs.LG eess.IV
NATTACK: Learning the Distributions of Adversarial Examples for an Improved Black-Box Attack on Deep Neural Networks
University of Central Florida（中佛罗里达大学）；Hong Kong University of Science and Technology（香港科技大学）；Google（谷歌）
强大的对抗攻击方法对于理解如何构建强大的深度神经网络（DNN）和彻底测试防御技术至关重要。在本文中，我们提出了一个黑盒对抗攻击算法，可以击败香草DNN和最近开发的各种防御技术产生的。我们的算法不是为目标DNN的良性输入搜索“最佳”对抗性示例，而是在以输入为中心的小区域上找到概率密度分布，因此从该分布中提取的样本可能是对抗性示例，而无需访问DNN的内部层或权重。我们的方法是通用的，因为它可以成功地攻击不同的神经网络由一个单一的算法。它也是强大的;通过对2个vanilla DNN和13个防御DNN的测试，对于大多数测试用例，它的性能优于最先进的黑盒或白盒攻击方法。此外，我们的研究结果表明，对抗性训练仍然是最好的防御技术之一，并且对抗性示例在防御DNN之间的可转移性不如在普通DNN之间的可转移性。
2019-12-09 cs.CR cs.CV cs.LG
RetouchUAA: Unconstrained Adversarial Attack via Image Retouching
Guangzhou University（广州大学）；Zhejiang University（浙江大学）
本文提出RetouchUAA，一种利用图像修饰风格的无约束对抗攻击方法，通过修饰攻击框架、风格引导、决策正则化和持续攻击策略，在保持图像自然性的同时实现接近100%的白盒攻击成功率，并对DNNs构成严重威胁。
2023-11-27 cs.CV
Preventing Clean Label Poisoning using Gaussian Mixture Loss
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
自2014年Szegedy等人表明精心设计的输入扰动可能导致深度神经网络（DNN）错误地对其标签进行分类以来，一直在进行研究，以使DNN对此类恶意扰动更加鲁棒。在这项工作中，我们考虑一种中毒攻击称为清洁标签中毒攻击（CLPA）。CLPA的目标是注入看似良性的实例，这些实例可能会极大地改变DNN的决策边界，因此测试时的后续查询可能会被错误分类。我们认为，在训练过程中，可以通过在倒数第二层施加网络的特征以遵循大间隔高斯混合分布来将对CLPA的强大防御嵌入模型中。有了这样的先验知识，我们就可以系统地评估这个例子有多不寻常，因为它被贴上了标签。我们通过MNIST和CIFAR数据集上的实验证明了我们的内置防御。我们在每个数据集上训练两个模型：一个通过softmax训练，另一个通过LGM训练。我们表明，使用LGM可以大大降低CLPA的有效性，同时没有额外的数据清理开销。复制我们结果的代码可在线获得。
2020-02-10 cs.CV
A Thorough Comparison Study on Adversarial Attacks and Defenses for Common Thorax Disease Classification in Chest X-rays
South China University of Technology（华南理工大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究所）；Chinese Academy of Sciences（中国科学院）
最近，深度神经网络（DNN）在胸部X射线图像的自动诊断方面取得了很大进展。然而，DNN容易受到对抗性示例的影响，这可能会在将基于DNN的方法应用于疾病检测时对患者造成误诊。近年来，针对攻击和防御方法对疾病检测的影响，特别是针对多标签分类问题的研究较少。本文旨在综述胸部X线片上的各种对抗性攻击和防御方法。首先，详细介绍了攻击和防御方法的动机和数学表示。其次，我们评估了几种最先进的攻击和防御方法对胸部X线常见胸部疾病分类的影响。我们发现，攻击和防御方法的性能较差，过多的迭代和大扰动。为了解决这个问题，我们提出了一种新的防御方法，是强大的不同程度的扰动。这项研究可以为社区的方法发展提供新的见解。
2020-03-31 cs.CV cs.LG eess.IV
On the Limitation of MagNet Defense against $L_1$-based Adversarial Examples
Yuan Ze University（元智大学）；National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
近年来，防御对自然样本的对抗性扰动以构建由深度神经网络（DNN）训练的鲁棒机器学习模型已成为深度学习和安全结合的新兴研究领域。特别是，由对手检测器和数据重组器组成的MagNet是迄今为止黑箱遗忘攻击设置中最强大的防御之一，攻击者的目标是从不设防的DNN模型中制作可转移的对抗性示例，以绕过部署在同一DNN模型上的未知防御模块。在这种设置下，MagNet可以成功防御DNN中的各种攻击，包括基于$L_2$失真度量的Carlini和Wagner攻击生成的高置信度对抗性示例。然而，在本文中，在相同的攻击设置下，我们证明了基于$L_1$失真度量的对抗性示例可以轻松绕过MagNet，并误导MNIST和CIFAR-10上的目标DNN图像分类器。我们还解释了为什么所考虑的方法可以产生具有优越攻击性能的对抗性示例，并对MagNet的变体进行了广泛的实验，以验证其对基于$L_1$失真的攻击缺乏鲁棒性。值得注意的是，我们的研究结果大大削弱了MagNet上有效威胁模型的假设，该模型需要在攻击DNN时了解部署的防御技术（即，灰盒攻击设置）。
2018-05-09 cs.CR cs.CV cs.LG
How Deep Learning Sees the World: A Survey on Adversarial Attacks & Defenses
Instituto de Telecomunicações（电信研究院）；Universidade da Beira Interior（贝拉内瓦大学）
本文综述了深度神经网络面临的对抗攻击与防御方法，按攻击者能力与保护策略分类，涵盖Vision Transformers进展、数据集与指标，并比较了最先进结果及开放问题。
2023-05-18 cs.CV
On the Robustness of Domain Adaption to Adversarial Attacks
Chongqing University（重庆大学）
最先进的深度神经网络（DNN）已被证明在无监督域自适应（UDA）方面具有出色的性能。然而，最近的工作表明，DNN在受到对抗性样本攻击时表现不佳，这些攻击是通过简单地向原始图像添加小干扰来实现的。虽然已有大量的工作致力于此，但据我们所知，还没有系统的研究无监督领域自适应模型的鲁棒性。因此，我们首次讨论了无监督域自适应对对抗性攻击的鲁棒性。对域自适应中的各种对抗攻击和防御设置进行了基准测试，提出了一种基于伪标签的跨域攻击方法。最重要的是，我们分析了不同的数据集，模型，攻击方法和防御方法的影响。我们的工作直接证明了无监督领域自适应模型的鲁棒性有限，我们希望我们的工作能够促使社会各界更加关注提高模型对攻击的鲁棒性。
2021-08-04 cs.CV
Provable Defense Against Geometric Transformations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMware Research（威睿研究院）
针对几何变换对深度神经网络的威胁，提出首个确定性可认证几何鲁棒性防御框架，利用GPU优化验证器大幅提速，实现最先进鲁棒性并首次验证自动驾驶场景。
2023-05-06 cs.CV cs.LG
Identifying and Resisting Adversarial Videos Using Temporal Consistency
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Peng Cheng Laboratory（鹏城实验室）；Beihang University（北京航空航天大学）
视频分类是计算机视觉中一项具有挑战性的任务。尽管深度神经网络（DNN）在视频分类方面取得了优异的性能，但最近的研究表明，向干净的视频中添加不可察觉的扰动会使经过良好训练的模型以高置信度输出错误的标签。在本文中，我们提出了一个有效的防御框架来描述和防御对抗性视频。所提出的方法包括两个阶段：（1）利用相邻帧之间的时间一致性进行对抗性视频检测，以及（2）分别通过空域和时域的去噪器减少对抗性扰动。具体而言，由于DNN的线性性质，不可感知的扰动将随着DNN深度的增加而放大，这导致相邻帧之间DNN输出的不一致性。然而，由于这些微小的变化，良性视频帧通常与它们的相邻帧具有相同的输出。基于这一观察，我们可以区分敌对视频和良性视频。然后，我们针对不同的攻击采用不同的防御策略。我们提出的时间防御，重建污染的帧与其时间上相邻的清洁帧，处理具有稀疏污染帧的对抗性视频。对于具有密集污染帧的视频，我们使用有效的对抗去噪器在空间域中处理每一帧，从而净化扰动（我们称之为空间防御）。在UCF-101数据集上进行的一系列实验表明，该方法显著提高了视频分类器对对抗攻击的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
A Self-supervised Approach for Adversarial Robustness
Australian National University（澳大利亚国立大学）；Data61-CSIRO（Data61-联邦科学与工业研究组织）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Linköping University（林雪平大学）
对抗性示例可能在基于深度神经网络（DNN）的视觉系统中导致灾难性错误，例如，用于分类、分割和目标检测。DNN对此类攻击的脆弱性可能会成为其实际部署的主要障碍。对抗性示例的可转移性要求可提供跨任务保护的可推广防御。通过修改目标模型的参数来增强鲁棒性的对抗训练缺乏这种泛化能力。另一方面，不同的基于输入处理的防御在面对不断演变的攻击时显得力不从心。在本文中，我们采取了第一步，将这两种方法的优点结合起来，并在输入空间中提出了一种自监督对抗训练机制。通过设计，我们的防御是一种可推广的方法，并提供了对\textbf{unseen}对抗攻击的显着鲁棒性（\eg通过将防御不变的\textbf{ensemble}攻击的成功率从82.6%降低到31.9%，与以前的最新技术相比）。它可以作为即插即用解决方案部署，以保护各种视觉系统，正如我们在分类、分割和检测方面所展示的那样。代码可从以下地址获得：{ \small \url{https://github.com/Muzammal-Naseer/NRP} }。
2020-06-08 cs.CV
Adversarial Color Film: Effective Physical-World Attack to DNNs
University of Electronic Science and Technology of China（电子科技大学）
本文提出了一种基于摄像头的物理对抗攻击方法 AdvCF，通过操控彩色胶片的物理参数生成对抗样本，在数字和物理环境中均有效，具备优异的黑盒攻击迁移性，并提供对抗训练防御指导。
2023-05-23 cs.CV
Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting
Huazhong University of Science and Technology（华中科技大学）；Baidu Inc.（百度公司）；Illinois Institute of Technology（伊利诺伊理工学院）；Duke University（杜克大学）
人群计数由于其在安全关键监控系统中的重要性而受到广泛关注。特别是，深度神经网络（DNN）方法显著降低了人群计数任务的估计误差。最近的研究表明，DNN容易受到对抗攻击的攻击，即，具有人类无法察觉的扰动的正常图像可能会误导DNN做出错误的预测。在这项工作中，我们提出了一种鲁棒的攻击策略，称为动量对抗补丁攻击（APAM），以系统地评估人群计数模型的鲁棒性，其中攻击者的目标是创建一个对抗扰动，严重降低其性能，从而导致公共安全事故（例如，踩踏事故）。特别地，所提出的攻击利用输入图像的极端密度背景信息来经由一系列变换（例如，插值、旋转等）。我们观察到，通过扰动不到6%的图像像素，我们的攻击严重降低了人群计数系统的性能，无论是数字上还是物理上。为了更好地增强人群计数模型的对抗鲁棒性，我们提出了第一个基于回归模型的随机消融（RA），它比对抗训练（ADT）更充分（RA的平均绝对误差在干净样本上比ADT低5，在对抗样本上比ADT低30）。在五个人群计数模型上的实验结果表明了该方法的有效性和通用性。补充材料和证书再培训模型可在\url{https://www.dropbox.com/s/hc4fdx133vht0qb/ACM_MM2021_Supp.pdf?dl=0}上获得
2021-07-28 cs.CV
Backdoor Defense via Suppressing Model Shortcuts
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Research Center of Artificial Intelligence, Peng Cheng Laboratory（鹏城实验室人工智能研究中心）
最近的研究表明，深度神经网络（DNN）在训练过程中容易受到后门攻击。具体来说，攻击者打算在DNN中嵌入隐藏的后门，以便通过预定义的触发模式激活恶意模型预测。本文从模型结构的角度对后门机制进行了探讨。我们选择跳过连接进行讨论，这是因为它有助于学习模型“快捷方式”，其中后门触发器通常更容易学习。具体来说，我们证明了攻击成功率（ASR）显着降低时，减少一些关键跳过连接的输出。基于这一观察，我们设计了一个简单而有效的后门去除方法，通过抑制我们的方法选择的关键层中的跳跃连接。我们还对这些层进行微调，以恢复高良性准确性并进一步降低ASR。在基准数据集上的大量实验验证了该方法的有效性。
2023-03-06 cs.CR cs.CV cs.LG
An Empirical Study of DNNs Robustification Inefficacy in Protecting Visual Recommenders
Polytechnic University of Bari（巴里理工大学）
基于视觉的推荐系统（VRS）通过将用户的反馈与从深度神经网络（DNN）提取的产品图像的视觉特征相结合来增强推荐性能。最近，人类不可感知的图像扰动（定义为\textit{adversarial attacks}）已被证明会改变VRS推荐性能，例如，推/核类别的产品。然而，由于对抗性训练技术已被证明可以成功地增强DNN在保持分类准确性方面的鲁棒性，据我们所知，还有两个重要的问题尚未研究：1）这些防御机制如何保护VRS的性能？2)无效/有效防御背后的原因是什么？为了回答这些问题，我们定义了一组防御和攻击设置，以及推荐模型，实证研究防御机制的有效性。结果表明，通过DNN鲁棒化保护VRS的风险令人担忧。我们的实验揭示了视觉特征在非常有效的攻击场景中的重要性。鉴于VRS对许多公司的财务影响，我们认为这项工作可能会增加研究如何成功保护基于视觉的浏览器的必要性。源代码和数据可在https://anonymous.4open.science/r/868f87ca-c8a4-41ba-9af9-20c41de33029/上获得。
2020-10-02 cs.CV cs.IR cs.LG
Defensive Dropout for Hardening Deep Neural Networks under Adversarial Attacks
Northeastern University（东北大学）；Boston university（波士顿大学）；Florida International University（佛罗里达国际大学）
深度神经网络（DNN）是已知的易受对抗攻击的攻击。也就是说，通过在原始合法输入上添加精心制作的扭曲而获得的对抗性示例可以误导DNN将其分类为任何目标标签。这项工作提供了一种解决方案，通过防御性丢弃来加固对抗攻击下的DNN。除了在训练过程中使用dropout以获得最佳的测试精度外，我们还建议在测试时使用dropout以实现强大的防御效果。我们将构建鲁棒DNN的问题视为攻击者-防御者两人游戏，其中攻击者和防御者知道彼此的策略，并试图优化自己的策略以达到均衡。基于测试丢弃率对测试准确率和攻击成功率的影响，在给定神经网络模型和攻击者生成对抗性样本策略的情况下，提出了一种确定最优测试丢弃率的防御丢弃算法，并研究了防御丢弃算法取得显著防御效果的机理.与随机激活剪枝（SAP）相比，我们发现我们的防御丢弃算法实现了更大的梯度方差，这是提高防御效果（更低的攻击成功率）的关键。例如，我们的防御下降可以将当前最强攻击下的攻击成功率从100%降低到13.89%，即，C&W攻击MNIST数据集。
2018-09-13 cs.CR cs.CV cs.LG
BackdoorBox: A Python Toolbox for Backdoor Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
深度神经网络（DNN）的训练通常涉及第三方资源（$e.g.$、样本、主干和预训练模型），这带来了后门攻击作为新的训练阶段威胁。一般来说，后门攻击者打算在DNN中植入隐藏的后门，以便被攻击的DNN在良性样本上正常运行，而如果隐藏的后门被攻击者指定的触发模式激活，则它们的预测将被恶意更改为预定义的目标标签。为了便于研发更安全的训练方案和防御，我们设计了一个开源的Python工具箱，在统一灵活的框架下实现了具有代表性的高级后门攻击和防御。我们的工具箱有四个重要且有前途的特征，包括一致性、简单性、灵活性和共同开发。它允许研究人员和开发人员在基准测试或本地数据集上轻松实现和比较不同的方法。这个Python工具箱，即\texttt{BackdoorBox}，可以在\url{https://github.com/THUYimingLi/BackdoorBox}上找到。
2023-02-01 cs.CR cs.CV cs.LG
A Unified Game-Theoretic Interpretation of Adversarial Robustness
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Huawei technologies Inc.（华为技术有限公司）
本文提供了一个统一的观点来解释不同的对抗攻击和防御方法，即DNN的输入变量之间的多阶相互作用的观点。基于多阶交互，我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外，我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性，这可以从原理上解释现有的防御方法。此外，我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-09 cs.AI cs.CV cs.LG
Towards Backdoor Attacks and Defense in Robust Machine Learning Models
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学跨学科安全、可靠性与信任中心（SnT））；Singapore University of Technology and Design（新加坡科技设计大学）
鲁棒优化的引入推动了防御对抗攻击的最新技术。值得注意的是，最先进的基于投影梯度下降（PGD）的训练方法已被证明在防御对抗性输入方面具有普遍和可靠的有效性。这种鲁棒性方法使用PGD作为可靠和通用的“一阶对手”。然而，这种优化的行为还没有根据一种称为后门的根本不同的攻击类型进行研究。在本文中，我们研究了如何注入和防御后门攻击的鲁棒模型训练使用基于PGD鲁棒优化。我们证明了这些模型容易受到后门攻击。随后，我们观察到后门反映在这些模型的特征表示中。然后，通过一种称为AEGIS的检测技术，利用这种观察来检测这种后门感染的模型。具体来说，给定一个使用基于PGD的一阶对抗训练方法训练的鲁棒深度神经网络（DNN），AEGIS使用特征聚类来有效地检测这些DNN是否被后门感染或干净。在我们使用CIFAR-10，MNIST和FMNIST数据集对主要分类任务的几个可见和隐藏后门触发器进行评估时，AEGIS有效地检测到了受后门感染的PGD训练的健壮DNN。AEGIS以91.6%的准确率（12个测试模型中的11个）检测此类后门感染模型，没有任何误报。此外，AEGIS在后门感染模型中检测目标类，假阳性率相当低（11.1%）。我们的调查显示，对抗性强的DNN的显著特征可能有希望打破后门攻击的隐蔽性。
2023-01-11 cs.CV cs.LG stat.ML
A Unified Game-Theoretic Interpretation of Adversarial Robustness
本文提供了一个统一的视图来解释不同的对抗攻击和防御方法，\emph{i.e.}的DNN的输入变量之间的多阶相互作用的视图。基于多阶交互，我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外，我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性，这可以从原理上解释现有的防御方法。此外，我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-08 cs.AI cs.CV cs.LG
Malware Makeover: Breaking ML-based Static Analysis by Modifying Executable Bytes
Carnegie Mellon University（卡内基梅隆大学）；Tel Aviv University（特拉维夫大学）；VMware；Duke University（杜克大学）；NortonLifeLock Research Group（NortonLifeLock研究组）
受深度神经网络（DNN）在各个领域的变革性影响的启发，研究人员和反病毒供应商提出了DNN，用于从原始字节检测恶意软件，不需要手动特征工程。在这项工作中，我们提出了一种将二进制多样化技术和优化框架交织在一起的攻击，以误导这样的DNN，同时保留二进制的功能。与以前的攻击不同，我们的攻击操纵的指令是二进制文件的功能部分，这使得防御特别具有挑战性。我们在白盒和黑盒设置中评估了我们对三个DNN的攻击，发现它经常达到接近100%的成功率。此外，我们发现我们的攻击可以欺骗一些商业反病毒，在某些情况下成功率为85%。我们探索了几种新的和旧的防御方法，并确定了一些可以挫败我们80%以上的逃避尝试的方法。然而，这些防御可能仍然容易受到攻击的规避，因此我们提倡使用不依赖于机器学习的方法来增强恶意软件检测系统。
2021-10-25 cs.CR cs.CV
SpooFL: Spoofing Federated Learning
CVSSP, University of Surrey, Guildford, United Kingdom（CVSSP，英国萨里大学）
SpooFL通过生成与真实数据无关的合成样本，欺骗攻击者，从而防止数据泄露，同时保持联邦学习训练的完整性。
2026-01-21 cs.CR cs.CV cs.LG
Enhanced countering adversarial attacks via input denoising and feature restoring
Xidian University（西安电子科技大学）
尽管事实上深度神经网络（DNN）在各种应用中已经实现了突出的性能，但是众所周知，DNN容易受到对抗性示例/样本（AE）的影响，在干净/原始样本中具有不可感知的扰动。针对现有对抗攻击防御方法破坏原始样本信息，导致目标分类器精度下降的缺点，提出了一种增强的对抗对抗攻击方法IDFR（via Input Denoising and Feature Restoring）。提出的IDFR由一个增强的输入去噪器（ID）和一个基于凸包优化的隐藏有损特征恢复器（FR）组成。在基准数据集上进行的大量实验表明，所提出的IDFR优于各种最先进的防御方法，并且对于保护目标模型免受各种对抗性黑盒或白盒攻击非常有效。\footnote{Souce code is released at: \href{https://github.com/ID-FR/IDFR}{https://github.com/ID-FR/IDFR}}
2021-11-19 cs.CV cs.LG
BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection
Princeton University（普林斯顿大学）；Zhejiang University（浙江大学）
本研究提出新型后门防御方法BaDExpert，通过逆向工程微调后门模型提取仅识别后门输入的后门专家模型，结合辅助模型集成策略，可有效缓解17种主流后门攻击且对干净样本效用影响极小，已在多数据集和模型架构上验证有效。
2023-10-05 cs.AI cs.CR cs.CV
Evaluating Adversarial Robustness: A Comparison Of FGSM, Carlini-Wagner Attacks, And The Role of Distillation as Defense Mechanism
Praxis Tech School（普拉西斯科技学院）
本文针对图像分类DNN比较FGSM与CW攻击，并在CIFAR-10上评估以resnet101为教师、Resnext50_32x4d为学生的防御性蒸馏，证明其可抵御FGSM但仍难防CW。
2024-04-05 cs.CR cs.CV cs.LG
Are classical deep neural networks weakly adversarially robust?
Information Engineering University（信息工程大学）
本文利用逐层特征路径与类别中心特征路径的相关性进行对抗样本检测与识别，在不依赖对抗训练高计算开销的情况下，在 ResNet-20 和 ResNet-18 上取得具有竞争力的干净与对抗准确率，揭示 DNN 存在固有对抗鲁棒性。
2025-05-28 cs.CV cs.LG
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside（加州大学河滨分校）
最近的研究表明，像深度神经网络（DNN）这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧，特别是在安全性是重要因素的领域。因此，设计针对对抗攻击的防御机制至关重要。对于图像分类任务，不明显的扰动大多发生在图像的高频频谱中。在本文中，我们利用张量分解技术作为预处理步骤，找到一个低秩近似的图像，可以显着丢弃高频扰动。最近，一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩，为卷积神经网络（CNN）接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent（FGSM）对抗攻击时比Shield的SLQ方法性能高14%，同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
Prediction Poisoning: Towards Defenses Against DNN Model Stealing Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Saarland Informatics Campus, Germany（德国萨尔州信息学园区）
高性能深度神经网络（DNN）越来越多地部署在许多现实世界的应用中，例如，云预测API。通过黑盒访问（即，输入，预测）威胁到这种应用程序的商业模式，这种应用程序需要大量的时间、金钱和精力来开发。现有的防御措施对窃取攻击起着被动的作用，例如通过截断预测信息。我们发现这种被动防御对DNN窃取攻击无效。在本文中，我们提出了第一个防御，积极干扰预测，针对中毒的训练目标的攻击者。我们发现我们的防御在各种具有挑战性的数据集和DNN模型窃取攻击中有效，并且优于现有的防御。我们的防御是第一个可以抵御数万个查询的高度准确的模型窃取攻击，将攻击者的出错率放大到$\times$的85倍，对良性用户的实用程序的影响最小。
2020-03-03 cs.CR cs.CV cs.LG
AdvDrop: Adversarial Attack to DNNs by Dropping Information
Alibaba Group（阿里巴巴集团）；Swinburne University of Technology（斯威本科技大学）；University of California, Berkeley（加州大学伯克利分校）
人类可以很容易地识别丢失信息的视觉对象：甚至只保留轮廓而丢失大部分细节，例如卡通。然而，在深度神经网络（DNN）的视觉感知方面，识别抽象对象（具有丢失信息的视觉对象）的能力仍然是一个挑战。在这项工作中，我们从对抗的角度研究这个问题：DNN的性能是否会下降，即使图像只丢失了一点信息？为此，我们提出了一种新的对抗攻击，命名为\textit{AdvDrop}，工艺对抗的例子，通过丢弃现有的图像信息。以前，大多数对抗攻击都会在干净的图像上显式地添加额外的干扰信息。与以前的工作相反，我们提出的工作从一个新的角度探索了DNN模型的对抗性鲁棒性，通过丢弃不可感知的细节来制作对抗性示例。我们通过大量的实验证明了\textit{AdvDrop}的有效性，并表明这种新型的对抗性示例更难被当前的防御系统防御。
2021-08-20 cs.CR cs.CV cs.LG
On Procedural Adversarial Noise Attack And Defense
Tongji University（同济大学）
深度神经网络（DNN）容易受到对抗性示例的影响，这些示例会诱使神经网络在输入图像上产生小扰动的预测错误。普遍对抗扰动（universal adversarial perturbations，UAPs）是一种无梯度的、对数据分布先验知识不多的扰动，研究者们一直致力于推动UAPs的研究。过程对抗噪声攻击是一种无数据的通用扰动生成方法。本文提出了两种基于过程噪声函数的通用对抗扰动生成方法：单纯形噪声和Worley噪声。在我们的框架中，阴影干扰视觉分类是由渲染技术产生的。在不改变语义表示的情况下，通过我们的方法生成的对抗性示例在攻击上表现出优越的性能。
2021-08-27 cs.AI cs.CR cs.CV
Adversarial Zoom Lens: A Novel Physical-World Attack to DNNs
University of Electronic Science and Technology of China（电子科技大学）
本文提出了一种名为对抗变焦镜头（AdvZL）的新型物理对抗攻击技术，通过变焦镜头放大和缩小图像而不改变目标特征来欺骗深度神经网络，并验证了其在数字和物理环境中的有效性，同时提供了对抗训练防御指南。
2023-05-23 cs.AI cs.CR cs.CV
Nudge Attacks on Point-Cloud DNNs
University of Cambridge（剑桥大学）
3D点云数据在自动驾驶等安全关键型应用中的广泛应用使得对抗性样本成为真正的威胁。现有的对点云的对抗攻击虽然成功率很高，但会修改大量的点，这在现实场景中通常很难做到。在本文中，我们探讨了一个家庭的攻击，只扰动输入点云的几个点，并命名为轻推攻击。我们证明，推动攻击可以成功翻转现代点云DNN的结果。我们提出了两种变体，基于梯度和基于决策，显示其在白盒和灰盒场景中的有效性。我们的大量实验表明，通过改变整个点云输入中的几个点甚至一个点，轻推攻击在生成有针对性和无针对性的对抗点云方面都是有效的。我们发现，在12- 80%的情况下，我们可以用一个点可靠地阻止预测，而10个点可以让我们进一步增加到37- 95%。最后，我们讨论了可能的防御这种攻击，并探讨其局限性。
2020-11-22 cs.AI cs.CR cs.CV
Characterizing Adversarial Examples Based on Spatial Consistency Information for Semantic Segmentation
University of Michigan（密歇根大学）；Simon Fraser University（西蒙弗雷泽大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；UC Berkeley（加州大学伯克利分校）
深度神经网络（DNN）已广泛应用于各种识别任务中。然而，最近DNN被证明容易受到对抗性示例的攻击，这可能会误导DNN做出任意的错误预测。虽然对抗性样本在分类任务中得到了很好的研究，但其他学习问题可能具有不同的属性。例如，语义分割需要额外的组件，如扩张卷积和多尺度处理。在本文中，我们的目标是在语义分割中基于空间上下文信息来表征对抗性示例。我们观察到，即使强大的自适应攻击者可以访问模型和检测策略，也可以利用空间一致性信息来鲁棒地检测对抗性示例。我们还表明，基于本文中考虑的攻击的对抗性示例几乎不会在模型之间转移，尽管可转移性在分类中很常见。我们的观察为开发对抗攻击和防御提供了新的思路，以更好地了解DNN的脆弱性。
2018-10-11 cs.CR cs.CV cs.LG
Adversarial Defense Through Network Profiling Based Path Extraction
Shanghai Jiao Tong University（上海交通大学）；University of Rochester（罗切斯特大学）
最近，研究人员开始根据语义或功能分解深度神经网络模型。最近的工作已经表明了分解功能块在防御对抗攻击方面的有效性，这些攻击向输入图像添加了小的输入扰动以欺骗DNN模型。本文提出了一种基于剖析的方法，将DNN模型分解为不同的功能块，从而得到有效的路径，作为探索DNN内部组织的一种新方法。具体地说，每个图像的有效路径可以聚合到类级有效路径，通过它我们观察到，敌对图像激活不同于正常图像的有效路径。我们提出了一种有效的基于路径相似性的方法来检测具有可解释模型的对抗图像，该方法比最先进的技术具有更好的准确性和更广泛的适用性。
2019-05-09 cs.CR cs.CV cs.LG
Segmentation Fault: A Cheap Defense Against Adversarial Machine Learning
American University of Beirut (AUB)（贝鲁特美国大学）；University of New Haven（纽黑文大学）
最近发表的针对深度神经网络（DNN）的攻击强调了方法和工具在评估关键系统中使用该技术的安全风险方面的重要性。检测对抗性机器学习的有效技术有助于建立信任，并促进深度学习在敏感和安全系统中的采用。在本文中，我们提出了一种新的技术来保护深度神经网络分类器，特别是卷积分类器。我们的防御是廉价的，因为它需要更少的计算能力，尽管在检测精度方面付出了很小的代价。这项工作是指最近发表的技术称为ML-LOO。我们采用粗粒度的留一法来代替ML-LOO中代价高昂的逐像素留一法。我们评估和比较不同的分割算法的效率为这项任务。我们的研究结果表明，一个很大的增益效率是可能的，即使处罚的边缘降低检测精度。
2021-08-31 cs.AI cs.CR cs.CV
