Modeling Adversarial Noise for Adversarial Training
Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）
深度神经网络已被证明易受对抗性噪声的影响，促进了防御对抗攻击的发展。受对抗性噪声包含良好的泛化特征以及对抗性数据和自然数据之间的关系可以帮助推断自然数据并做出可靠预测的事实的启发，本文我们研究通过学习对抗标签之间的转换关系来建模对抗噪声。（即用于生成对抗数据的翻转标签）和自然标签（即自然数据的地面真实标签）。具体来说，我们引入了一个依赖于实例的转移矩阵来关联对抗标签和自然标签，这些标签可以无缝地嵌入目标模型（使我们能够对更强的自适应对抗噪声进行建模）。实验结果表明，该方法可以有效地提高对抗准确率。
2022-07-17 cs.LG
Single-Step Adversarial Training for Semantic Segmentation
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Bielefeld University（比勒费尔德大学）
尽管深度神经网络在包括语义分割在内的许多不同任务上都取得了成功，但它们对对抗性示例缺乏鲁棒性。为了对抗这种攻击，通常使用对抗性训练。然而，已知的是，具有弱对抗攻击的对抗训练（例如，使用快速梯度方法）不会提高针对更强攻击的鲁棒性。最近的研究表明，通过在训练过程中选择合适的步长，可以提高这种单步的【形】方法的鲁棒性。找到这样的步长，而不增加单步的【形】对抗训练的计算量，仍然是一个开放的挑战。在这项工作中，我们解决了计算上特别苛刻的任务语义分割，并提出了一种新的步长控制算法，增加了单步的【形】对抗训练的鲁棒性。该算法不增加单步的【形】对抗训练的计算量，而且由于不需要元参数，简化了训练过程。我们表明，我们的方法的鲁棒性可以与多步对抗训练两个流行的基准语义分割。
2021-06-30 cs.CV cs.LG eess.IV
May the Noise be with you: Adversarial Training without Adversarial Examples
New York University (NYU)（纽约大学）；UPHF（法国上法兰西理工大学）；University of California Riverside（加州大学河滨分校）；Queen’s University Belfast（贝尔法斯特女王大学）
该研究提出无需对抗样本的对抗训练方法，通过在神经网络层内嵌入高斯噪声引入内在随机性，构建闭式随机损失与噪声感知梯度，在良性数据上训练的随机模型期望函数具备与传统对抗训练相近的对抗鲁棒性。
2023-12-12 cs.CR cs.CV cs.LG
QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks
Yale University（耶鲁大学）
深度神经网络（DNN）已被证明容易受到对抗攻击的攻击，其中，模型通过对输入施加轻微的扰动而被愚弄。随着物联网的出现以及在嵌入式设备中实现智能的必要性，DNN的低功耗和安全硬件实现至关重要。在本文中，我们研究了使用量化来潜在地抵抗对抗攻击。最近的几项研究报告了通过量化减少DNN能量需求的显着结果。然而，没有先前的工作考虑DNN的对抗敏感性与其对量化的影响之间的关系。我们提出了QUANOS-一个框架，该框架基于对抗性噪声敏感性（ANS）执行特定于层的混合量化。我们为DNN确定了一种新的噪声稳定性度量（ANS），即，每层计算对对抗性噪声的敏感性。ANS允许确定每层的最佳比特宽度的原则性方法，其引起对抗性鲁棒性以及能量效率，并且准确性损失最小。从本质上讲，QUANOS根据其对对抗扰动的贡献来分配层的重要性，并相应地调整层的精度。QUANOS的一个关键优势是它不依赖于预先训练的模型，可以在训练的初始阶段应用。我们评估的好处QUANOS精度可扩展的乘法和累加（MAC）的硬件架构与数据门控和子字并行功能。我们在CIFAR10，CIFAR100数据集上的实验表明，QUANOS在对抗鲁棒性方面优于均匀量化的8位精度基线（高出3%-4%），同时在等精度下提高了压缩（> 5倍）和节能（> 2倍）。
2020-06-27 cs.CV cs.LG
Learning to Learn from Mistakes: Robust Optimization for Adversarial Noise
Radboud University（拉德堡德大学）；Leiden University（莱顿大学）
对对抗性噪声的敏感性阻碍了机器学习算法在安全关键应用中的部署。虽然已经提出了许多对抗性防御，但对抗性噪声的鲁棒性仍然是一个悬而未决的问题。最引人注目的防御，对抗训练，需要大量增加处理时间，它已被证明是过拟合的训练数据。在本文中，我们的目标是通过在低数据状态下训练鲁棒模型并在不同模型之间转移对抗性知识来克服这些限制。我们训练一个元优化器，它学习使用对抗性示例来鲁棒地优化模型，并且能够将学到的知识转移到新模型中，而不需要生成新的对抗性示例。实验结果表明，元优化器在不同的架构和数据集上是一致的，这表明可以自动修补对抗性漏洞。
2020-08-12 cs.CV cs.LG stat.ML
Detecting Adversarial Data using Perturbation Forgery
Huazhong University of Science and Technology（华中科技大学）；Wuhan University（武汉大学）；Virginia Tech（弗吉尼亚理工大学）；Netflix Eyeline
本文提出 Perturbation Forgery 方法，通过噪声分布扰动、稀疏掩码生成和伪对抗数据生成训练对抗检测器，有效检测并过滤各类未见对抗攻击，显著提升泛化能力与实际适用性。
2025-03-05 cs.CV cs.LG
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami（迈阿密大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略（即，噪声数据上的准确性）对抗对抗性噪声。然而，由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度（即，与通过标准方法在干净数据上训练的相同模型相比，这种现象被称为准确性和鲁棒性之间的权衡，并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用，例如医学图像分析，因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升（即，减轻或甚至避免）医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法，命名为增量边际对抗（IMA）训练，这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性，同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序，我们的方法提高了准确性和鲁棒性。我们的研究表明，我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Removing Adversarial Noise in Class Activation Feature Space
Xidian University（西安电子科技大学）；The University of Sydney（悉尼大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。基于预处理的防御可以通过处理输入在很大程度上消除对抗性噪声。然而，它们通常会受到错误放大效应的影响，特别是在不断发展的攻击面前。为了解决这个问题，在本文中，我们提出通过在类激活特征空间中实现自监督对抗训练机制来去除对抗噪声。具体来说，我们首先最大限度地破坏自然示例的类激活特征，以制作对抗性示例。然后，我们训练一个去噪模型，以最小化类激活特征空间中的对抗样本和自然样本之间的距离。经验评估表明，我们的方法可以显着提高对抗鲁棒性相比，以前的国家的最先进的方法，特别是对看不见的对抗攻击和自适应攻击。
2021-04-19 cs.LG
Colored Noise Injection for Training Adversarially Robust Neural Networks
Technion – Israel Institute of Technology（以色列理工学院）；Intel – Artificial Intelligence Products Group (AIPG)（英特尔人工智能产品事业部）
尽管深度学习在各种任务上表现出无与伦比的性能，但神经网络已被证明容易受到输入的小对抗性扰动的影响，从而导致性能显著下降。在这项工作中，我们扩展了在对抗训练（PNI）期间向网络权重和激活添加高斯白噪声的想法，以注入有色噪声来防御常见的白盒和黑盒攻击。我们表明，我们的方法在CIFAR-10和CIFAR-100数据集的对抗准确性方面优于PNI和各种以前的方法。此外，我们提供了一个广泛的消融研究所提出的方法证明所选择的配置。
2020-03-20 cs.CV cs.LG stat.ML
Stable and Efficient Adversarial Training through Local Linearization
Zhejiang University City College（浙大城市学院）
最近单步对抗训练激增，因为它显示了鲁棒性和效率。然而，一种被称为“灾难性过度拟合”的现象已经被观察到，这在单步防御中很普遍，并且可能会挫败使用FGSM对抗训练的尝试。为了解决这个问题，我们提出了一种新的方法，稳定和有效的对抗训练（SEAT），它通过利用局部属性来减轻灾难性的过拟合，这些属性将鲁棒模型与灾难性的过拟合模型区分开来。建议的座位有很强的理论依据，在最大限度地减少座位的损失可以被证明有利于平滑的经验风险，从而导致鲁棒性。实验结果表明，所提出的方法成功地减轻灾难性的过拟合，在有效的防御中产生优越的性能。在强PGD-50攻击下，我们的单步方法可以达到CIFAR-10的51%鲁棒准确率，其中半径$8/255$的$l_\infty$扰动，仅以3%的计算成本匹配10步迭代对抗训练的性能。
2022-10-11 cs.CV cs.LG
Noise Modulation: Let Your Model Interpret Itself
Huazhong University of Science and Technology（华中科技大学）
鉴于深度神经网络（DNN）的巨大成功及其黑箱性质，这些模型的可解释性成为一个重要问题。以前的大多数研究工作都是对训练模型的事后解释。但最近，对抗训练表明，模型可以通过训练获得可解释的输入梯度。然而，对抗性训练缺乏可解释性，为了解决这个问题，我们构造了对抗性扰动的近似，并发现了对抗性训练和幅度调制之间的联系。基于一个数字类比，我们提出了噪声调制作为一种有效的和模型无关的替代方法，来训练一个用输入梯度解释自身的模型，实验结果表明，噪声调制可以有效地提高输入梯度模型的可解释性。
2021-03-19 cs.CV cs.LG
Blacksmith: Fast Adversarial Training of Vision Transformers via a Mixture of Single-step and Multi-step Methods
针对视觉Transformer对抗训练中的灾难性过拟合问题，本文提出Blacksmith策略，通过在小批量内随机混合单步FGSM与基于前半层构造的多步PGD-2攻击，在控制训练时间的同时有效防止CO并超越现有快速训练方法。
2023-10-29 cs.CV cs.LG
A combination of noise and bilateral filters achieve supralinear and scalable adversarial robustness in CNNs
Institute of Neuroinformatics ETH Zürich, University of Zürich（神经信息学研究所，苏黎世联邦理工学院，苏黎世大学）
本文提出结合高斯噪声和双边滤波的预处理方法，通过互补机制实现超线性对抗鲁棒性提升，并验证其与对抗训练结合后能以更低计算成本达到与最先进防御相当的性能。
2026-06-01 cs.CV cs.LG
Perlin Noise Improve Adversarial Robustness
Guilin University of Electronic Technology（桂林电子科技大学）；National Information Center（国家信息中心）；Library of Guilin University of Electronic Technology（桂林电子科技大学图书馆）
对抗性示例是一些特殊的输入，可以干扰深度神经网络的输出，以便在生产环境中的学习算法中产生故意的错误。目前大多数用于生成对抗性示例的方法都需要梯度信息。甚至与生成模型无关的普遍扰动也在一定程度上依赖于梯度信息。过程噪声对抗样本是一种新的对抗样本生成方法，它利用计算机图形噪声快速生成通用的对抗样本扰动，同时不依赖梯度信息。结合对抗训练的防御思想，利用Perlin噪声对神经网络进行训练，得到一个能够防御过程噪声对抗样本的模型。结合使用基于预训练模型的模型微调方法，我们可以获得更快的训练速度和更高的准确性。我们的研究表明，程序噪声对抗性示例是可防御的，但为什么程序噪声可以生成对抗性示例，以及如何防御未来可能出现的其他类型的程序噪声对抗性示例，仍有待研究。
2021-12-26 cs.AI cs.LG
Multi-step domain adaptation by adversarial attack to $\mathcal{H} Δ\mathcal{H}$-divergence
ITMO University（圣彼得堡国立信息技术机械与光学大学）；Artificial Intelligence Research Institute（人工智能研究所）；Tubingen Universitat（图宾根大学）
对抗性例子可以在不同的模型之间转换。在我们的论文中，我们建议使用此属性的多步领域自适应。在无监督的领域自适应设置中，我们证明了用对抗性示例替换源域到$\mathcal{H} Δ\mathcal{H}$ -发散可以提高目标域上的源分类器精度。我们的方法可以连接到大多数领域自适应技术。我们进行了一系列实验，并在Digits和Digi-Home数据集上实现了准确性的提高。
2022-07-18 cs.CR cs.CV cs.LG
Adversarial Examples Are a Natural Consequence of Test Error in Noise
Google Brain（谷歌大脑）
在过去的几年里，对抗性示例的现象-欺骗训练过的机器学习模型的恶意构造的输入-已经引起了研究界的注意，特别是当对手仅限于对正确处理的输入进行小修改时。不那么令人惊讶的是，图像分类器在随机损坏的图像上也缺乏人类水平的性能，例如具有加性高斯噪声的图像。在本文中，我们提供了经验和理论证据，这是同一个潜在现象的两种表现形式，建立了对抗鲁棒性和腐败鲁棒性研究计划之间的密切联系。这表明，提高对抗性鲁棒性应该与在更普遍和现实的图像损坏情况下提高性能齐头并进。根据我们的研究结果，我们建议未来的对抗性防御考虑使用Imagenet-C等基准来评估其方法对分布偏移的鲁棒性。
2019-01-29 cs.CV cs.LG stat.ML
Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation
University of California, Berkeley（加州大学伯克利分校）；National Taiwan University（台湾大学）；Mobile Drive Technology（摩拜驱动科技）
提出SNORD框架，将半监督学习引入对抗训练，无需预训练模型，在低标注预算下实现高鲁棒性，相对鲁棒准确率达90%。
2024-09-19 cs.CV cs.LG
Parametric Noise Injection: Trainable Randomness to Improve Deep Neural Network Robustness against Adversarial Attack
University of Central Florida（中佛罗里达大学）
深度学习领域的最新发展暴露了深度神经网络（DNN）在对抗性示例中的潜在脆弱性。在图像分类中，一个对抗性的例子是一个经过仔细修改的图像，它在视觉上与原始图像不可见，但可能导致DNN模型对其进行错误分类。使用高斯噪声训练网络是一种有效的技术来执行模型正则化，从而提高模型对输入变化的鲁棒性。受这一经典方法的启发，我们探索利用噪声注入的正则化特性来提高DNN对对抗攻击的鲁棒性。在这项工作中，我们提出了参数噪声注入（PNI），它涉及通过解决最小-最大优化问题在激活或权重的每一层注入可训练的高斯噪声，并嵌入对抗训练。这些参数被明确地训练以实现改进的鲁棒性。据我们所知，这是第一个使用可训练噪声注入来提高网络对对抗攻击的鲁棒性的工作，而不是通过交叉验证手动配置注入的噪声水平。大量的实验结果表明，我们提出的PNI技术有效地提高了对各种强大的白盒和黑盒攻击，如PGD，C & W，FGSM，可转移攻击和ZOO攻击的鲁棒性。最后但并非最不重要的是，与最先进的防御方法相比，PNI方法提高了清洁和扰动数据的准确性，使用Resnet-20架构，其在清洁测试数据和扰动测试数据上分别比当前未破坏的PGD防御高出1.1%和6.8%。
2018-11-22 cs.CR cs.CV cs.LG
Robust Unlearnable Examples: Protecting Data Against Adversarial Learning
JD Explore Academy, JD.com Inc（京东集团京东探索研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
网络空间中大量可访问的数据面临着被未经授权用于训练深度学习模型的风险。为了解决这个问题，提出了通过添加一种误差最小化噪声来使数据对于深度学习模型不可学习的方法。然而，这种赋予的不可学性被发现是脆弱的对抗性训练。在本文中，我们设计了新的方法来生成鲁棒的不可学习的示例，这些示例受到对抗性训练的保护。我们首先发现，香草误差最小化噪声通过最小化相应的训练损失来抑制数据的信息性知识，但不能有效地最小化对抗性训练损失。这解释了对抗训练中误差最小化噪声的脆弱性。在此基础上，引入鲁棒误差最小化噪声来减少对抗训练损失。实验表明，鲁棒误差最小化噪声带来的不可学习性可以有效地保护数据免受各种场景下的对抗性训练。代码可在\url{https://github.com/fshp971/robust-unlearnable-examples}上获得。
2022-03-28 cs.CR cs.CV cs.LG
Automated Robustness with Adversarial Training as a Post-Processing Step
IBM Research Europe（IBM欧洲研究院）；IBM Technology Campus, Damastown Ind. Park（IBM科技园区，达马斯敦工业园区）
对抗性训练是一项计算代价高昂的任务，因此寻找以鲁棒性为标准的神经网络架构可能具有挑战性。作为迈向实用自动化的一步，这项工作探索了一个简单的后处理步骤在产生强大的深度学习模型方面的功效。为了实现这一目标，我们采用对抗训练作为从神经架构搜索算法获得的优化网络架构的后处理步骤。采用特定的策略来调整不同步骤的超参数，从而产生用于生成对抗性鲁棒的深度学习模型的全自动管道。我们证明了建议的管道的有用性，在11个图像分类和9个文本分类任务进行了广泛的实验。
2021-09-06 cs.LG
Towards Adversarially Robust Deep Image Denoising
NUS（新加坡国立大学）；RIKEN-AIP（理化学研究所革新智能综合研究中心）；ByteDance Inc（字节跳动）；UTokyo（东京大学）
这项工作系统地研究了深度图像去噪器（DID）的对抗鲁棒性，即DID如何从对抗扰动退化的噪声观测中恢复地面真实。首先，为了评估DID的鲁棒性，我们提出了一种新的对抗性攻击，即基于观察的零均值攻击（{ \sc ObsAtk}），对给定的噪声图像进行对抗性的零均值扰动。我们发现，现有的DID容易受到{ \sc ObsAtk}生成的对抗性噪声的影响。其次，为了增强DID的鲁棒性，我们提出了一种对抗性训练策略，混合对抗性训练（{ \sc HAT}），该策略联合训练具有对抗性和非对抗性噪声数据的DID，以确保重建质量高，并且非对抗性数据周围的去噪器局部平滑。所得到的DID可以有效地去除各种类型的合成和对抗性噪声。我们还发现，DIDS的鲁棒性有利于他们的泛化能力看不见的现实世界的噪音。事实上，{ \sc HAT}训练的DID可以从真实世界的噪声中恢复高质量的干净图像，甚至无需对真实的噪声数据进行训练。在Set 68、PolyU和SIDD等基准数据集上进行的大量实验证实了{ \sc ObsAtk}和{ \sc HAT}的有效性。
2022-01-13 cs.CV cs.LG eess.IV
Let the Noise Speak: Harnessing Noise for a Unified Defense Against Adversarial and Backdoor Attacks
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；University of South Florida（南佛罗里达大学）
针对机器学习面临的对抗性与后门攻击，现有防御存在攻击特异性和强假设限制，本研究提出NoiSec，通过利用重构噪声识别恶意操纵，实现统一防御，在多数据集和攻击场景中表现优异且优于基线。
2025-04-14 cs.CR cs.CV cs.LG
NoiseCAM: Explainable AI for the Boundary Between Noise and Adversarial Attacks
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Tennessee at Martin（田纳西大学马丁分校）；Bowling Green State University（博林格林州立大学）；Old Dominion University（奥多明尼昂大学）
深度学习（DL）和深度神经网络（DNN）广泛应用于各个领域。然而，对抗攻击很容易误导神经网络，导致错误的决策。防御机制在安全关键应用中是高度优选的。本文首先利用梯度类激活映射（GradCAM）分析了VGG-16网络在输入中混杂对抗性扰动或高斯噪声时的行为偏差。特别是，我们的方法可以定位对对抗性扰动和高斯噪声敏感的脆弱层。我们还表明，脆弱层的行为偏差可以用来检测对抗性的例子。其次，我们提出了一种新的NoiseCAM算法，它集成了来自全局和像素级加权类激活图的信息。我们的算法容易受到对抗性扰动的影响，并且不会对输入中混合的高斯随机噪声做出响应。第三，我们比较了使用行为偏差和NoiseCAM检测对抗性示例，我们表明NoiseCAM在整体性能上优于行为偏差建模。我们的工作可以提供一个有用的工具来防御对深度神经网络的某些对抗攻击。
2023-03-09 cs.AI cs.LG
Fooling Adversarial Training with Inducing Noise
Peking University（北京大学）
对抗训练被广泛认为是提高模型对对抗攻击鲁棒性的可靠方法。然而，在本文中，我们表明，当在一种类型的中毒数据上训练时，对抗性训练也可以被愚弄，从而产生灾难性行为，例如，$<1\%$鲁棒测试准确性与CIFAR-10数据集上的$>90\%$鲁棒训练准确性。以前，在训练数据中有其他类型的噪声中毒，它们成功地欺骗了标准训练（$15.8\%$标准测试准确度与CIFAR-10数据集上的$99.9\%$标准训练准确度），但在采用对抗训练时，它们的中毒可以很容易地去除。因此，我们的目标是设计一种新的类型的诱导噪声，命名为ADVIN，这是一个无法消除的中毒的训练数据。ADVIN不仅可以大幅降低对抗训练的鲁棒性，例如在CIFAR-10数据集上从$51.7\%$降低到$0.57\%$，而且可以有效地欺骗标准训练（$13.1\%$标准测试精度与$100\%$标准训练精度）。此外，ADVIN还可以用于防止个人数据（如自拍）在未经授权的情况下被利用，无论是标准训练还是对抗训练。
2021-11-19 cs.CR cs.CV cs.LG
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Localizing Adversarial Attacks To Produces More Imperceptible Noise
The George Washington University（乔治·华盛顿大学）
本文通过二值掩码将 FGSM、PGD 和 C&W 对抗噪声限制在局部区域，证明其扰动更小、PSNR 与 SSIM 更高，但计算成本上升且 ASR 略降，迭代方法表现更稳健。
2025-09-23 cs.AI cs.CV cs.LG
Generating Adversarial Attacks in the Latent Space
Chennai Mathematical Institute（金奈数学研究所）
本文提出使用生成对抗网络在潜在特征空间中注入对抗扰动，摆脱了传统输入空间中基于噪声裕度的先验限制，并在多个数据集上验证了该方法生成对抗攻击的有效性与高度的视觉真实性。
2023-04-10 cs.CR cs.CV cs.LG
Understanding Catastrophic Overfitting in Single-step Adversarial Training
Seoul National University（首尔大学）
虽然快速对抗训练已经证明了鲁棒性和效率，但已经观察到“灾难性过拟合”的问题。这是一种现象，在单步的【形】对抗训练期间，针对投影梯度下降（PGD）的鲁棒准确度在几个时期后突然下降到0%，而针对快速梯度符号方法（FGSM）的鲁棒准确度增加到100%。本文证明了灾难性过拟合与单步的【形】对抗训练的特性密切相关，这种训练只使用具有最大扰动的对抗样本，而不是所有对抗样本都在对抗方向上，从而导致决策边界失真和高度弯曲的损失曲面。基于这一观察结果，我们提出了一种简单的方法，不仅可以防止灾难性的过拟合，而且还可以克服单步的【形】对抗训练难以防止多步对抗攻击的信念。
2020-12-15 cs.LG eess.IV stat.ML
Fast Adversarial Training with Adaptive Step Size
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
虽然对抗性训练及其变体已被证明是防御对抗攻击的最有效算法，但它们极其缓慢的训练过程使得它很难扩展到像ImageNet这样的大型数据集。最近加速对抗训练的工作的关键思想是用多步攻击（例如，PGD）与单步攻击（例如，FGSM）。然而，这些单步方法遭受灾难性的过拟合，在训练过程中，对PGD攻击的准确率突然下降到接近0%，破坏了网络的鲁棒性。在这项工作中，我们从训练实例的角度来研究这一现象。我们表明，灾难性的过拟合是依赖于实例和拟合实例具有较大的梯度范数更有可能导致灾难性的过拟合。基于我们的研究结果，我们提出了一种简单但有效的方法，自适应步长的对抗训练（ATAS）。ATAS学习与其梯度范数成反比的实例自适应步长。理论分析表明，ATAS比通常采用的非自适应算法收敛得更快。从经验上讲，ATAS始终可以减轻灾难性的过拟合，并在CIFAR10、CIFAR100和ImageNet上实现更高的鲁棒准确性。
2022-06-06 cs.LG
The Noise Premium in Adversarial Training for Kernel Regression
City University of Hong Kong（香港城市大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究从RKHS视角结合核积分算子分析对抗训练，推导泛化误差界并发现其统计精度损失源于鲁棒性与噪声的相互作用，提出两阶段去噪方法提升泛化速率。
2026-08-14 cs.LG stat.ML
Using Single-Step Adversarial Training to Defend Iterative Adversarial Examples
New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
对抗性样本已经成为机器学习模型，特别是神经网络分类器面临的最大挑战之一。这些对抗性的例子打破了无攻击场景的假设，并以对人类无意义的扰动欺骗了最先进的（SOTA）分类器。到目前为止，研究人员在利用对抗性训练作为防御方面取得了很大进展。然而，压倒性的计算成本降低了它的适用性，并没有做什么来克服这个问题。单步的【形】对抗训练方法已被提出作为计算上可行的解决方案，但它们仍然无法防御迭代对抗示例。在这项工作中，我们首先实验分析了几种不同的SOTA防御方法对抗性的例子。然后，基于实验观察，提出了一种新的单步的【形】对抗训练方法，该方法可以同时防御单步的【形】对抗和迭代对抗。最后，通过广泛的评估，我们证明了我们提出的方法优于SOTA单步的【形】和迭代对抗训练防御。在CIFAR 10数据集上，与单步的【形】方法相比，该方法的测试精度提高了35.67%，训练时间减少了19.14%.在CIFAR 10数据集上，与使用BIM或Madry示例的方法（迭代法）相比，该方法节省了高达76.03%的训练时间，测试精度下降不到3.78%。
2020-02-27 cs.CR cs.LG stat.ML
Robust Single-step Adversarial Training with Regularizer
Fuzhou University（福州大学）
对抗训练中的一个主要挑战是多步对抗样本生成所带来的训练时间开销。以往的对抗训练方法采用单步的【形】对抗训练样本生成方法来减少对抗训练的计算量，这种方法可以有效地提高训练效率，但也会引入灾难性的过拟合问题，其中对快速梯度符号法（FGSM）的鲁棒精度可以达到100%，而对投影梯度下降法（PGD）的鲁棒精度在单个历元内突然下降到0%。为了解决这个问题，我们提出了一种新的快速梯度符号方法与PGD正则化（FGSMPR），以提高对抗训练的效率，而不会出现灾难性的过拟合。我们的核心思想是，单步的【形】对抗训练不能学习FGSM和PGD对抗示例的鲁棒内部表示。因此，我们设计了一个PGD正则化项，以鼓励FGSM和PGD对抗示例的类似嵌入。实验表明，我们提出的方法可以训练一个强大的深度网络L $_\infty$ -扰动与FGSM对抗训练，并减少了多步对抗训练的差距。
2021-02-05 cs.AI cs.LG stat.ML
Improving Adversarial Transferability with Scheduled Step Size and Dual Example
University of Rochester（罗切斯特大学）；Harvard University（哈佛大学）；HUST（华中科技大学）
众所周知，深度神经网络容易受到对抗性示例的影响，特别是在白盒设置下生成的对抗性示例上表现出明显的性能低下。然而，大多数白盒攻击方法严重依赖于目标模型，并很快陷入局部最优，导致对抗可移植性差。基于动量的方法和它们的变体被提出来逃避局部最优，以获得更好的可移植性。在这项工作中，我们注意到，由迭代快速梯度符号方法（I-FGSM）生成的对抗性示例的可移植性随着迭代次数的增加而呈现出下降的趋势。基于这一发现，我们认为良性样本附近的对抗扰动的信息，特别是方向，更有利于转移。因此，我们提出了一种新的策略，它使用预定的步长和双重的例子（SD），充分利用良性样本附近的敌对信息。我们提出的策略可以很容易地与现有的对抗攻击方法集成，以获得更好的对抗可转移性。对标准ImageNet数据集的实证评估表明，我们提出的方法可以显着增强现有对抗攻击的可转移性。
2023-01-30 cs.LG
Architectural Resilience to Foreground-and-Background Adversarial Noise
对抗攻击以正常图像的不可感知的扰动形式存在，已经得到了广泛的研究。对于每一种新的防御方法，都发现了多种对抗性攻击对抗攻击。特别是，近年来流行的一种攻击风格，例如DeepFool和Carlini-Wagner，完全依赖于白盒场景，其中需要完全访问预测模型及其权重。在这项工作中，我们提出了不同的模型无关的基准扰动的图像，以调查不同的网络架构的弹性和鲁棒性。根据经验，结果确定，在大多数类型的卷积神经网络中增加深度通常会提高模型对一般攻击的弹性，随着模型变得更深，改进会稳步下降。此外，我们发现，一个显着的差异，在对抗性的鲁棒性之间存在的残留结构与跳过连接和类似的复杂性的非残留结构。我们的研究结果为未来理解剩余连接和深度对网络鲁棒性的影响提供了方向。
2020-06-07 cs.CV cs.LG eess.IV
Reliably fast adversarial training via latent adversarial perturbation
KAIST（韩国科学技术院）
虽然多步对抗训练作为对抗强对抗攻击的有效防御方法而广泛流行，但与标准训练相比，其计算成本非常昂贵。已经提出了几种单步对抗训练方法来减轻上述开销成本;然而，根据优化设置，它们的性能并不足够可靠。为了克服这些限制，我们偏离了现有的基于输入空间的对抗训练机制，并提出了一种单步潜在对抗训练方法（SLAT），该方法利用潜在表示的梯度作为潜在对抗扰动。我们证明了特征梯度的L1范数通过所采用的潜在扰动被隐式正则化，从而恢复局部线性并确保可靠的性能，与现有的单步对抗训练方法相比。由于潜在扰动是基于潜在表示的梯度，而这些梯度可以在输入梯度计算过程中免费获得，因此所提出的方法与快速梯度符号方法的时间大致相同。实验结果表明，尽管该方法结构简单，但性能优于最先进的加速对抗训练方法。
2021-11-29 cs.LG
Weight-Covariance Alignment for Adversarially Robust Neural Networks
University of Edinburgh（爱丁堡大学）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）
随机神经网络（SNN），注入噪声到其隐藏层最近已被证明对对抗攻击实现强大的鲁棒性。然而，现有的SNN通常是基于竞争性动机的，并且通常依赖于对抗性训练，这在计算上是昂贵的。我们提出了一种新的SNN，它在不依赖对抗训练的情况下实现了最先进的性能，并具有坚实的理论依据。具体来说，虽然现有的SNN注入学习或手动调整的各向同性噪声，但我们的SNN学习各向异性噪声分布，以优化对抗鲁棒性的学习理论界限。我们评估我们的方法在一些流行的基准，表明它可以应用于不同的架构，它提供了各种白盒和黑盒攻击的鲁棒性，同时简单，快速的训练相比，现有的替代品。
2021-05-26 cs.CR cs.CV cs.LG
Adversarial Parameter Defense by Multi-Step Risk Minimization
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
以前的研究表明DNN对对抗性示例的脆弱性，对抗性训练可以建立对抗性示例的防御。此外，最近的研究表明，深度神经网络也表现出对参数损坏的脆弱性。模型参数的易损性对于研究模型的鲁棒性和泛化能力具有重要的意义。在这项工作中，我们引入了参数腐败的概念，并提出利用损失变化指标来衡量损失盆地的平坦性和神经网络参数的参数鲁棒性。在此基础上，我们分析了参数腐败，并提出了多步对抗腐败算法。为了增强神经网络，我们提出了对抗性参数防御算法，最大限度地减少了多个对抗性参数损坏的平均风险。实验结果表明，该算法能提高神经网络的参数鲁棒性和准确性。
2022-04-14 cs.LG
Adaptive Adversarial Training to Improve Adversarial Robustness of DNNs for Medical Image Segmentation and Detection
University of Miami（迈阿密大学）
众所周知，深度神经网络（DNN）容易受到对抗性攻击，并且DNN的对抗性鲁棒性可以通过向训练数据添加对抗性噪声（例如，标准对抗训练（SAT）。然而，不适当的噪声添加到训练数据可能会降低模型的性能，这被称为准确性和鲁棒性之间的权衡。这个问题已经充分研究了整个图像的分类，但很少被探索的图像分析任务在医学应用领域，包括图像分割，地标检测，和对象检测任务。在本研究中，我们表明，对于这些医学图像分析任务，SAT方法存在一个严重的问题，限制了其实际用途：它为所有训练样本生成固定且统一的噪声水平，以进行稳健的DNN训练。高噪声水平可能导致模型性能的大幅降低，而低噪声水平可能无法有效提高鲁棒性。为了解决这个问题，我们设计了一种自适应边缘对抗训练（AMAT）方法，该方法生成样本自适应对抗噪声，用于鲁棒DNN训练。与现有的面向分类的对抗训练方法相比，我们的AMAT方法使用了损失定义的边际策略，只要损失函数定义良好，它就可以应用于不同的任务。我们成功地将我们的AMAT方法应用于最先进的DNN，使用五个公开可用的数据集。实验结果表明：（1）我们的AMAT方法可以应用于医学图像应用领域的三个看似不同的任务;（2）AMAT在对抗鲁棒性方面优于SAT方法;（3）与SAT方法相比，AMAT在干净数据上的预测精度降低最小;（4）AMAT的训练时间成本与SAT几乎相同。
2022-06-22 cs.AI cs.CV cs.LG
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich（慕尼黑技术大学）；Faculty of Computer Science, Ruhr University Bochum（博德姆鲁尔大学计算机科学系）
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性，发现噪声增强训练在提升含噪语音性能的同时，也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Investigation of Densely Connected Convolutional Networks with Domain Adversarial Learning for Noise Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
我们研究了密集连接的卷积网络（DenseNets）及其扩展与域对抗训练的噪声鲁棒性语音识别。DenseNets是非常深入，紧凑的卷积神经网络，它在计算机视觉的最新成果上表现出令人难以置信的改进。我们的实验结果表明，DenseNets比其他基于神经网络的模型（如深度前馈神经网络和卷积神经网络）对噪声更具鲁棒性。此外，域对抗学习可以进一步提高DenseNets对已知和未知噪声条件的鲁棒性。
2021-12-19 cs.CL cs.LG eess.AS
Adversarial Machine Learning at Scale
Google Brain（谷歌大脑）；OpenAI
对抗性示例是设计用于欺骗机器学习模型的恶意输入。它们经常从一个模型转移到另一个模型，允许攻击者在不知道目标模型参数的情况下发动黑盒攻击。对抗性训练是在对抗性示例上显式训练模型的过程，以使其对攻击更具鲁棒性或减少其在干净输入上的测试错误。到目前为止，对抗训练主要应用于小问题。在这项研究中，我们将对抗训练应用于ImageNet。我们的贡献包括：（1）关于如何成功地将对抗性训练扩展到大型模型和数据集的建议，（2）观察到对抗性训练赋予单步攻击方法鲁棒性，（3）发现多步攻击方法比单步攻击方法的可转移性更低，因此单步攻击是安装黑盒攻击的最佳方法，以及（4）“标签泄漏”效应的解决方案，该效应导致对抗训练的模型在对抗示例上比在干净示例上表现得更好，因为对抗示例构建过程使用真实标签，并且模型可以学习在构建过程中利用标签。
2017-02-11 cs.CR cs.CV cs.LG
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Comment on Transferability and Input Transformation with Additive Noise
Seoul National University（首尔国立大学）
对抗攻击已经验证了神经网络脆弱性的存在。通过向良性示例添加小扰动，对抗攻击成功地生成对抗示例，导致深度学习模型的错误分类。更重要的是，从特定模型生成的对抗性示例也可以欺骗其他模型而无需修改。我们称这种现象为“可转移性”。在这里，我们通过数学证明修改后的优化可以产生更多可转移的对抗性示例，来分析可转移性和具有加性噪声的输入变换之间的关系。
2022-06-18 cs.AI cs.CR cs.LG
Towards Rapid and Robust Adversarial Training with One-Step Attacks
Friedrich-Alexander Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
对抗性训练是提高神经网络对对抗攻击鲁棒性的最成功的经验方法。然而，最有效的方法，如使用投影梯度下降（PGD）进行训练，都伴随着高计算复杂性。在本文中，我们提出了两个想法，结合使用计算成本较低的快速梯度符号方法（FGSM）进行对抗训练。首先，我们将均匀噪声添加到FGSM攻击的初始数据点，这会产生更广泛的对手，从而禁止过拟合到一个特定的扰动范围。此外，我们在神经网络之前添加了一个可学习的正则化步骤，我们称之为像素噪声注入层（PNIL）。通过PNIL传播的输入从学习的高斯分布中重新采样。由PNIL诱导的正则化防止模型学习模糊其梯度，这是阻碍先前方法成功应用对抗训练的一步方法的一个因素。我们表明，噪声注入与基于FGSM的对抗训练相结合，可以获得与PGD对抗训练相当的结果，同时速度要快得多。此外，通过结合噪声注入和PNIL，我们的性能优于基于PGD的对抗训练。
2020-03-17 cs.LG stat.ML
R-SNN: An Analysis and Design Methodology for Robustifying Spiking Neural Networks against Adversarial Attacks through Noise Filters for Dynamic Vision Sensors
Technische Universität Wien（维也纳工业大学）；Politecnico di Torino（都灵理工大学）；New York University（纽约大学）
脉冲神经网络（SNN）旨在通过基于事件的动态视觉传感器（DVS）在神经形态芯片上实现时提供节能的学习能力。本文研究了SNN对基于DVS的系统的对抗攻击的鲁棒性，并提出了R-SNN，一种通过有效的DVS噪声滤波来鲁棒SNN的新方法。我们是第一个对DVS信号产生对抗攻击的公司（即，时空域中的事件帧），并在寻求防御对抗攻击时为DVS传感器应用噪声滤波器。我们的研究结果表明，噪声滤波器有效地防止SNN被愚弄。在我们的实验中，SNN在不同的对抗性威胁模型下对DVS-手势和NMNIST数据集的准确率超过90%。
2021-09-01 cs.CR cs.LG cs.NE
Toward Few-step Adversarial Training from a Frequency Perspective
Intel Labs（英特尔实验室）
我们从频域的角度研究对抗样本生成方法，并将标准的$l_{\infty}$投影梯度下降（PGD）扩展到频域。由此产生的方法，我们称之为光谱投影梯度下降（SPGD），具有更好的成功率相比，PGD在该方法的早期步骤。当攻击步骤数量保持不变时，使用SPGD的对抗训练模型与PGD相比实现了更高的对抗准确性。因此，使用SPGD可以在使用具有较少步骤的对抗生成时减少对抗训练的开销。然而，我们也证明了SPGD是等价的PGD通常用于$l_{\infty}$威胁模型的一个变体。该PGD变体省略了通常应用于梯度的符号函数。因此，可以在不显式地变换到频域的情况下执行SPGD。最后，我们可视化SPGD产生的扰动，发现它们使用高频和低频分量，这表明去除高频分量或低频分量都不是有效的防御。
2020-10-13 cs.LG stat.ML
Mitigating Black-Box Adversarial Attacks via Output Noise Perturbation
Binghamton University（宾厄姆顿大学）
在黑盒对抗攻击中，对手查询深度神经网络（DNN），使用输出来重建梯度，然后迭代地优化对抗性输入。在本文中，我们研究了在DNN输出中添加白噪声以减轻此类攻击的方法，特别关注噪声水平和查询成本的权衡分析。攻击者的查询计数（QC）在数学上被推导为噪声标准差的函数。有了这个结果，防御者可以方便地找到减轻攻击所需的噪声水平，以达到QC指定的所需安全级别和有限的DNN性能损失。我们的分析表明，DNN输出的微小变化极大地放大了添加的噪声，这使得重建的梯度具有极低的信噪比（SNR）。添加标准偏差小于0.01的轻微白噪声足以将QC提高许多数量级，而不会引起任何明显的分类精度降低。实验表明，该方法可以有效地减轻软标签和硬标签的黑盒攻击下现实的QC约束。我们还表明，这种方法优于许多其他的防御方法，是强大的攻击者的对策。
2021-09-30 cs.CR cs.LG
Provable Robustness of Adversarial Training for Learning Halfspaces with Noise
UCLA（加州大学洛杉矶分校）
我们分析了在存在不可知标签噪声的情况下学习对抗鲁棒半空间的对抗训练的性质。将$\mathsf{OPT}_{p,r}$表示为对半径为$r$的$\ell_{p}$球的扰动具有鲁棒性的半空间所实现的最佳鲁棒分类误差，我们表明，在标准二进制交叉熵损失上的对抗训练产生对抗鲁棒半空间，对于$p=2$，达到（鲁棒）分类误差$\tilde O(\sqrt{\mathsf{OPT}_{2,r}})$，当$p=\infty$时，达到$\tilde O(d^{1/4} \sqrt{\mathsf{OPT}_{\infty, r}} + d^{1/2} \mathsf{OPT}_{\infty,r})$。我们的结果适用于满足对数凹各向同性分布等所享有的反集中特性的分布。我们还表明，如果使用非凸S形损失，对抗训练产生半空间，$p=2$的$O(\mathsf{OPT}_{2,r})$具有改进的鲁棒分类错误，当$p=\infty$时，则为$O(d^{1/4}\mathsf{OPT}_{\infty, r})$。据我们所知，这是第一个证明对抗训练在存在噪声的情况下可证明产生鲁棒分类器的工作。
2021-04-19 cs.CR cs.LG math.OC
FAdeML: Understanding the Impact of Pre-Processing Noise Filtering on Adversarial Machine Learning
Vienna University of Technology（维也纳工业大学）；Information Technology University（信息技术大学）
基于深度神经网络（DNN）的机器学习（ML）算法最近已经成为领先的ML范式，特别是对于分类任务，因为它们具有从大型数据集有效学习的卓越能力。然而，一些众所周知的攻击，如数据集中毒，对抗性示例和网络操纵（通过添加恶意节点）的发现，使人们关注基于DNN的ML系统缺乏安全性。特别地，恶意行为者可以使用这些众所周知的攻击来引起随机/有针对性的误分类，或者引起预测置信度的改变，这仅通过轻微但系统地操纵环境参数、推断数据或数据采集块来实现。然而，大多数先前的对抗攻击没有考虑通常与ML推理模块集成的预处理噪声滤波器。我们在这项工作中的贡献是表明这是一个重大的遗漏，因为这些噪声过滤器可以使大多数现有的攻击无效，这些攻击基本上依赖于引入对抗性噪声。除此之外，我们还扩展了现有技术，提出了一种新的预处理噪声过滤器感知的对抗性ML攻击，称为FadeML。为了证明所提出的方法的有效性，我们通过利用针对“德国交通标志识别基准（GTSRB）”数据集训练的“VGGNet”DNN来生成对抗攻击图像，尽管没有视觉噪声，但即使在存在预处理噪声过滤器的情况下，也会导致分类器错误分类。
2018-11-04 cs.CR cs.LG stat.ML
Enhance DNN Adversarial Robustness and Efficiency via Injecting Noise to Non-Essential Neurons
Rensselaer Polytechnic Institute（伦斯勒理工学院）；T. J. Watson Research Center, IBM（IBM TJ·沃森研究中心）
本文提出一种非均匀噪声注入方法，通过识别并保护必要神经元、向非必要神经元注入噪声，同时增强DNN的对抗鲁棒性和执行效率，并在多种攻击、架构和数据集上验证了有效性。
2024-02-06 cs.AI cs.CR cs.LG
Subspace Adversarial Training
Shanghai Jiao Tong University（上海交通大学）
单步对抗训练（AT）因其高效和鲁棒性而受到广泛关注。然而，存在灾难性过拟合的严重问题，即，在训练过程中，对投影梯度下降（PGD）攻击的鲁棒准确率突然下降到0%。本文从一个新的优化角度来研究这个问题，首次揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以用于理解多步AT中的鲁棒过拟合。为了控制梯度的增长，我们提出了一种新的AT方法，子空间对抗训练（Sub-AT），它将AT约束在一个精心提取的子空间中。它成功地解决了这两种过拟合，并显着提高了鲁棒性。在子空间中，我们还允许单步AT具有更大的步长和更大的半径，进一步提高鲁棒性性能。因此，我们实现了最先进的单步AT性能。在没有任何正则化项的情况下，我们的单步AT可以在CIFAR-10上抵抗半径为8/255的强PGD-50攻击，达到超过51%的鲁棒精度，与标准的多步PGD-10 AT相比，具有巨大的计算优势。代码发布于https://github.com/nblt/Sub-AT。
2022-03-22 cs.LG
Exploring Adversarial Attacks on Neural Networks: An Explainable Approach
Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Tennessee at Martin（田纳西大学马丁分校）；Bowling Green State University（鲍灵格林州立大学）；Purdue University（普渡大学）；Trier University of Applied Sciences（特里尔应用技术大学）
深度学习（DL）正被应用于各个领域，尤其是在自动驾驶等安全关键型应用中。因此，保证这些方法的鲁棒性，从而抵抗由对抗攻击引起的不确定行为具有重要意义。本文使用梯度热图分析了VGG-16模型在输入图像中混合对抗性噪声和统计相似的高斯随机噪声时的响应特性。特别是，我们逐层比较网络响应，以确定错误发生的位置。得出了几个有趣的发现。首先，与高斯随机噪声相比，故意生成的对抗性噪声通过分散网络中的集中区域而导致严重的行为偏差。其次，在许多情况下，对抗性示例只需要妥协几个中间块就可以误导最终决策。第三，我们的实验表明，特定的块更容易受到攻击，更容易被对抗性的例子利用。最后，我们证明了VGG-16模型的层$Block4\_conv1$和$Block5\_cov1$更容易受到对抗攻击的影响。我们的工作可以为开发更可靠的深度神经网络（DNN）模型提供有价值的见解。
2023-03-08 cs.CR cs.CV cs.LG
