Towards Speeding up Adversarial Training in Latent Spaces
School of Big-Data Science, Zhejiang University of Science and Technology（浙江科技大学大数据学院）；Hangzhou Hikvision Digital Technology Co., Ltd.（杭州海康威视数字技术股份有限公司）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Computer Science and Technology, Huizhou University（惠州学院计算机科学与技术学院）；Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学先进技术网络空间学院）；CY Cergy Paris University（赛吉巴黎大学）
对抗性训练被广泛认为是防御对抗性示例的最有效方法之一。然而，现有的对抗训练方法消耗难以忍受的时间，因为它们需要在大的输入空间中生成对抗样本。为了加快对抗训练，我们提出了一种新的对抗训练方法，它不需要生成真实的对抗示例。通过向logits添加扰动来生成内生对抗性示例（EAE）--潜在空间中的对抗性示例，可以避免耗时的梯度计算。在CIFAR-10和ImageNet上进行了大量的实验，结果表明，与现有方法相比，我们的EAE对抗训练不仅缩短了训练时间，而且增强了模型的鲁棒性，并且对干净示例的准确性影响较小。
2021-03-09 cs.AI cs.LG
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同，对抗性训练旨在从本质上提高模型的鲁棒性。近几年来，对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展，然而，在现有的调查中被忽视。在这次调查中，我们首次系统地回顾了对抗训练的最新进展，并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后，我们强调尚未充分解决的挑战，并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
Randomized Adversarial Training via Taylor Expansion
Institute of Software, CAS（中国科学院软件研究所）；University of Liverpool（利物浦大学）；Lancaster University（兰卡斯特大学）
近年来，针对对抗性示例开发更强大的深度神经网络的研究出现了爆炸式增长。对抗训练似乎是最成功的方法之一。为了处理对抗性示例的鲁棒性和干净示例的准确性，许多工作开发了增强的对抗性训练方法，以实现它们之间的各种权衡。利用在训练期间平滑更新权重的研究可能有助于找到平坦最小值并提高泛化能力，我们建议从另一个角度协调鲁棒性-准确性权衡，即，通过将随机噪声添加到确定性权重中。随机化的权重使我们能够通过小高斯噪声的泰勒展开设计一种新的对抗训练方法，并且我们证明了新的对抗训练方法可以使损失景观变平并找到平坦的最小值。通过PGD、CW和自动攻击，一组广泛的实验表明，我们的方法增强了最先进的对抗训练方法，提高了鲁棒性和准确性。该代码可在https://github.com/Alexkael/Randomized-Adversarial-Training上获得。
2023-03-19 cs.AI cs.LG
Conflict-Aware Adversarial Training
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对对抗训练中标准损失与对抗损失梯度冲突导致加权平均方法权衡不佳的问题，提出冲突感知对抗训练CA-AT，通过引入冲突感知因子改进损失凸组合，在多种训练设置下实现标准性能与对抗鲁棒性的更优权衡。
2024-10-21 cs.AI cs.LG
Ensemble Federated Adversarial Training with Non-IID data
Zhejiang University（浙江大学）
尽管联邦学习在保护数据隐私和安全的前提下赋予了分布式客户端一种协同训练模式，但由于缺乏鲁棒性，客户端在遇到对抗样本时仍然很脆弱。对抗性样本可以通过向正常输入中注入精心设计的噪声来混淆和欺骗客户端模型，以达到恶意目的。在本文中，我们介绍了一种新的Ensemble联合对抗训练方法，称为EFAT，它可以实现有效和强大的耦合训练机制。我们的核心思想是通过扩展来自其他参与客户端的不同干扰的训练数据来增强对抗样本的多样性，这有助于对抗训练在非IID环境中表现良好。在不同的非IID情况下的实验结果表明，与单独将联邦学习与对抗方法相结合相比，我们提出的方法取得了令人满意的结果，包括特征分布偏斜和标签分布偏斜。
2021-10-26 cs.AI cs.LG
On the Effect of Adversarial Training Against Invariance-based Adversarial Examples
MCI Management Center Innsbruck（因斯布鲁克管理中心）
本文研究基于不变性的对抗样本对CNN对抗训练的影响，发现基于不变性与基于扰动的对抗训练应同时而非依次进行，并指出先前标签确定方法有误，改用人类判定标签后可同时提升对两类对抗样本的鲁棒性。
2023-02-16 cs.AI cs.LG
Why Adversarial Training of ReLU Networks Is Difficult?
Shanghai Jiao Tong University（上海交通大学）
本文从数学上推导了ReLU网络上对抗性扰动的解析解，并从理论上解释了对抗性训练的困难。具体而言，我们制定的动态的对抗扰动产生的多步攻击，这表明对抗扰动往往加强特征向量对应的几个排名靠前的特征值的损失w.r.t.输入.我们还证明了对抗性训练倾向于以指数方式加强具有大梯度范数的不自信输入样本的影响。此外，我们发现对抗性训练加强了损失w.r.t.网络参数，这使得对抗训练更容易沿着少数样本的方向振荡，增加了对抗训练的难度。至关重要的是，我们的证明为以前在理解对抗训练方面的发现提供了统一的解释。
2022-05-30 cs.AI cs.CV cs.LG
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London（伦敦国王学院）
深度神经网络很容易被欺骗，通过对抗性扰动（人类无法感知的人工噪声）破坏输入来做出错误的预测。到目前为止，对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练，以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现，在训练过程中，通过牺牲相当大比例的训练样本来更容易受到对抗攻击，从而导致数据中对抗脆弱性的不均匀分布，从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在，更重要的是，与对抗训练中的过度拟合有关。基于这一观察，我们提出了一种新的对抗训练方法：实例自适应平滑增强对抗训练（ISEAT）。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观，以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明，我们的方法优于现有的防御方法。值得注意的是，我们的方法，结合最新的数据增强和半监督学习技术，实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据，和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
Robust Single-step Adversarial Training with Regularizer
Fuzhou University（福州大学）
对抗训练中的一个主要挑战是多步对抗样本生成所带来的训练时间开销。以往的对抗训练方法采用单步的【形】对抗训练样本生成方法来减少对抗训练的计算量，这种方法可以有效地提高训练效率，但也会引入灾难性的过拟合问题，其中对快速梯度符号法（FGSM）的鲁棒精度可以达到100%，而对投影梯度下降法（PGD）的鲁棒精度在单个历元内突然下降到0%。为了解决这个问题，我们提出了一种新的快速梯度符号方法与PGD正则化（FGSMPR），以提高对抗训练的效率，而不会出现灾难性的过拟合。我们的核心思想是，单步的【形】对抗训练不能学习FGSM和PGD对抗示例的鲁棒内部表示。因此，我们设计了一个PGD正则化项，以鼓励FGSM和PGD对抗示例的类似嵌入。实验表明，我们提出的方法可以训练一个强大的深度网络L $_\infty$ -扰动与FGSM对抗训练，并减少了多步对抗训练的差距。
2021-02-05 cs.AI cs.LG stat.ML
Multi-Agent Adversarial Training Using Diffusion Learning
EPFL（洛桑联邦理工学院）
这项工作的重点是图上的对抗学习。我们提出了一个通用的对抗性训练框架的多智能体系统使用扩散学习。我们分析了所提出的方案的凸优化问题的收敛性，并说明其增强的鲁棒性对抗攻击。
2023-03-03 cs.AI cs.LG cs.MA
Target Training Does Adversarial Training Without Adversarial Samples
Aalto University（阿尔托大学）
神经网络分类器很容易受到对抗性样本错误分类的影响，对此，当前最好的防御方法是使用对抗性样本训练分类器。然而，基于对抗性攻击核心的最小化，对抗性样本对于引导攻击收敛不是最佳的。最小化扰动项可以通过用重复的原始样本替换训练中的对抗样本而朝向$0$最小化，所述重复的原始样本仅针对训练被不同地标记。仅使用原始样本，目标训练消除了生成对抗样本的需要，以针对最小化扰动的所有攻击进行训练。在低容量分类器和不使用对抗样本的情况下，目标训练超过了默认的CIFAR10准确度（$84.3$ %）和当前最佳防御准确度（低于$25$ %），其中针对CW-L $_2$（$κ=0$）攻击的$84.8$为$84.8$ %，针对DeepFool攻击的$86.6$为$86.6$ %。使用对抗性样本对抗未最小化扰动的攻击，目标训练在CIFAR10中超过当前最佳防御（$69.1$ %），其中$76.4$ %对抗CW-L $_2$（$κ=40$）。
2021-02-09 cs.LG
Analysis and Improvement of Adversarial Training in DQN Agents With Adversarially-Guided Exploration (AGE)
Kansas State University（堪萨斯州立大学）
本文研究了对抗性训练在增强深度Q网络（DQN）策略对状态空间扰动的鲁棒性方面的有效性。我们首先提出了一个正式的分析DQN代理的对抗性训练及其性能的对抗性扰动的比例用于训练的名义观察。接下来，我们考虑了当前对抗训练技术的样本效率低下，并提出了一种新的基于$ε$ -贪心算法和玻尔兹曼探索的改进混合的对抗引导探索（AGE）机制。我们验证了这种探索机制的可行性，通过实验评估其性能与传统的衰减$ε$贪婪和参数空间噪声探索算法相比。
2019-06-03 cs.AI cs.CR cs.LG
Do we need entire training data for adversarial training?
Pennsylvania State University（宾夕法尼亚州立大学）；University of British Columbia（不列颠哥伦比亚大学）
针对对抗训练计算成本高的问题，提出通过筛选易受对抗攻击的样本子集进行训练，在保持鲁棒精度的同时显著提升了训练速度。
2023-04-05 cs.AI cs.CV cs.LG
Towards Improving Adversarial Training of NLP Models
University of Virginia（弗吉尼亚大学）
对抗性训练是一种用于学习鲁棒深度神经网络的方法，在训练期间构建对抗性示例。然而，最近生成NLP对抗性示例的方法涉及组合搜索和昂贵的句子编码器来约束生成的实例。因此，使用普通对抗训练来提高NLP模型的性能仍然具有挑战性，并且其好处主要是未经调查的。本文提出了一种简单的改进的NLP模型对抗训练过程，我们称之为攻击训练（A2T）。A2T的核心部分是一种新的、更便宜的词替换攻击，针对普通对抗训练进行了优化。我们使用A2T在IMDB、Rotten Tomatoes、Yelp和SNLI数据集上训练BERT和RoBERTa模型。我们的研究结果表明，它是可能的训练强大的NLP模型使用一个更便宜的对手。我们证明了使用A2T的香草对抗训练可以提高NLP模型对最初训练的攻击的鲁棒性，并且还可以保护模型免受其他类型的单词替换攻击。此外，我们表明，A2T可以提高NLP模型的标准精度，跨领域泛化和可解释性。代码可在https://github.com/QData/Textattack-A2T上获得。
2021-09-11 cs.AI cs.CL cs.LG
Rob-GAN: Generator, Discriminator, and Adversarial Attacker
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了对抗深度学习中的两个重要概念--对抗训练和生成对抗网络（GAN）。对抗性训练是在训练阶段将对抗性攻击者和训练器相结合来提高训练器鲁棒性的技术。GAN通常用于通过联合优化卷积和生成器来生成图像。我们证明了这两个概念确实是密切相关的，可以用来加强彼此-在对抗训练过程中添加一个生成器可以提高鉴别器的鲁棒性，在GAN训练中添加一个对抗攻击可以提高收敛速度并产生更好的生成器。结合这两种见解，我们开发了一个名为Rob-GAN的框架，以在存在对抗攻击的情况下联合优化生成器和伪装者-生成器生成虚假图像以欺骗伪装者;对抗攻击者扰动真实图像以欺骗伪装者，伪装者希望在虚假和对抗图像下最小化损失。通过这种端到端的训练过程，我们能够同时提高GAN训练的收敛速度、合成图像的质量以及在强对抗攻击下的鲁棒性。实验结果表明，所获得的分类器比最先进的对抗训练方法更鲁棒，并且生成器在ImageNet-143上的性能优于SN-GAN。
2019-04-15 cs.AI cs.LG stat.ML
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Software Innovation Center（NTT软件创新中心）；NTT Communication Science Laboratories（NTT通信科学实验室）
对抗性训练正在被积极研究，以针对对抗性示例学习鲁棒模型。最近的一项研究发现，对抗训练的模型在对抗示例上的泛化性能会退化，因为它们的权重损失景观（即权重损失变化）是尖锐的。不幸的是，实验表明对抗性训练可以改善减肥效果，但这种现象尚未在理论上得到澄清。为此，本文从理论上对这一现象进行了分析。作为第一步，本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明，减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的，这在对抗训练中使用。我们从理论上和实验上证实，在线性逻辑斯谛回归模型中，随着对抗训练噪声的增加，体重减轻的情况变得更加尖锐。此外，我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
Closing the Distribution Gap in Adversarial Training for LLMs
Technical University of Munich, Germany（慕尼黑技术大学）
本文提出DAT方法，通过扩散模型近似真实分布，提升大语言模型对抗鲁棒性。
2026-02-18 cs.AI cs.CR cs.LG
Reliably fast adversarial training via latent adversarial perturbation
KAIST（韩国科学技术院）
虽然多步对抗训练作为对抗强对抗攻击的有效防御方法而广泛流行，但与标准训练相比，其计算成本非常昂贵。已经提出了几种单步对抗训练方法来减轻上述开销成本;然而，根据优化设置，它们的性能并不足够可靠。为了克服这些限制，我们偏离了现有的基于输入空间的对抗训练机制，并提出了一种单步潜在对抗训练方法（SLAT），该方法利用潜在表示的梯度作为潜在对抗扰动。我们证明了特征梯度的L1范数通过所采用的潜在扰动被隐式正则化，从而恢复局部线性并确保可靠的性能，与现有的单步对抗训练方法相比。由于潜在扰动是基于潜在表示的梯度，而这些梯度可以在输入梯度计算过程中免费获得，因此所提出的方法与快速梯度符号方法的时间大致相同。实验结果表明，尽管该方法结构简单，但性能优于最先进的加速对抗训练方法。
2021-11-29 cs.LG
Efficient Adversarial Training with Transferable Adversarial Examples
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
对抗性训练是保护分类模型免受对抗攻击的有效防御方法。然而，这种方法的一个局限性是，由于在训练期间生成强对抗性示例的成本很高，它可能需要几个数量级的额外训练时间。在本文中，我们首先证明了在同一个训练过程中，来自相邻时期的模型之间具有很高的可移植性，即，来自一个时期的对抗性示例在随后的时期中继续是对抗性的。利用这一特性，我们提出了一种新的方法，可转移对抗性示例的对抗性训练（ATTA），它可以增强训练模型的鲁棒性，并通过历元积累对抗性扰动来大大提高训练效率。与最先进的对抗训练方法相比，ATTA在CIFAR 10上将对抗准确率提高了7.2%，在MNIST和CIFAR 10数据集上需要的训练时间减少了12~ 14倍，模型鲁棒性相当。
2020-07-02 cs.CV cs.LG
ASAT: Adaptively Scaled Adversarial Training in Time Series
Peking University（北京大学）；Mizuho Securities Co., Ltd（瑞穗证券株式会社）
对抗性训练是一种增强神经网络以提高对抗性样本的鲁棒性的方法。对抗训练除了可以解决潜在对抗样本的安全问题外，还可以提高神经网络的泛化能力，训练鲁棒的神经网络，并为神经网络提供可解释性。在这项工作中，我们引入对抗训练的时间序列分析，以提高神经网络更好的泛化能力，以金融领域为例。在反思现有对抗性训练研究的基础上，提出了时间序列分析中的自适应尺度对抗性训练（ASAT），通过自适应尺度对不同时间段的数据进行重新尺度化。实验结果表明，与基线相比，该算法可以提高神经网络的泛化能力和对抗鲁棒性。与传统的对抗训练算法相比，ASAT算法具有更好的泛化能力和相似的对抗鲁棒性。
2022-12-20 cs.LG
Bridging Adversarial Robustness and Gradient Interpretability
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Satrec Initiative（Satrec Initiative公司）；SI Analytics
对抗性训练是一种训练方案，旨在通过使用对抗性示例增强训练数据集来对抗对抗攻击。令人惊讶的是，一些研究已经观察到，来自对抗训练的DNN的损失梯度比来自标准DNN的损失梯度在视觉上更容易解释。虽然这种现象很有趣，但只有少数作品提供了解释。在本文中，我们试图弥合对抗鲁棒性和梯度可解释性之间的差距。为此，我们确定了来自对抗训练的DNN的损失梯度与人类感知更好地对齐，因为对抗训练限制了更接近图像流形的梯度。然后，我们证明了对抗性训练导致损失梯度具有定量意义。最后，我们证明了在对抗训练框架下，测试准确性和损失梯度可解释性之间存在经验权衡，并提出了两种解决这种权衡的潜在方法。
2019-04-19 cs.AI cs.LG stat.ML
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
虽然已经有大量的研究使用对抗攻击来分析NLP模型，但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack，这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击：目标函数，一组约束，转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现，并支持各种模型和数据集，包括BERT和其他Transformers，以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块，用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化：任何人都可以在任何模型或数据集上尝试数据增强和对抗训练，只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University（杜克大学）；Hewlett Packard Labs（惠普实验室）；Air Force Research Lab（美国空军研究实验室）
最近的一些研究表明，深度神经网络（DNN）很容易受到所谓的对抗攻击的攻击，其中输入示例被故意扰动以欺骗DNN。在这项工作中，我们重新审视了DNN训练过程，将对抗性示例包含到训练数据集中，以提高DNN对对抗攻击的弹性，即对抗性训练。我们的实验表明，不同的对抗强度，即，对抗性例子的扰动水平，有不同的工作区来抵抗攻击。在此基础上，提出了一种多强度对抗训练方法（MAT），该方法将具有不同对抗强度的对抗训练样本结合起来，以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发，以促进训练时间和内存占用之间的权衡。我们的研究结果表明，MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
Multi-stage Optimization based Adversarial Training
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
在对抗鲁棒性领域，通常的做法是采用单步对抗训练来快速开发对抗鲁棒模型。然而，单步对抗训练最有可能导致灾难性的过拟合，因为在几个训练时期之后，很难生成强大的对抗样本来持续提高对抗鲁棒性。在这项工作中，我们的目标是通过在单步对抗训练中引入多步对抗示例来避免灾难性的过拟合。然后，为了平衡生成多步对抗性示例的大量训练开销，我们提出了一种基于多阶段优化的对抗性训练（MOAT）方法，该方法定期在混合良性示例、单步对抗性示例和多步对抗性示例上逐步训练模型。通过这种方式，整体训练开销显着减少，同时，该模型可以避免灾难性的过拟合。在CIFAR-10和CIFAR-100数据集上的大量实验表明，在相似的训练开销下，所提出的MOAT比单步或多步对抗训练方法具有更好的鲁棒性。
2021-06-26 cs.CV cs.LG
Meta Adversarial Training against Universal Patches
Bosch Center for Artificial Intelligence（博世人工智能中心）
最近展示的物理世界对抗攻击暴露了感知系统中的漏洞，这些漏洞对自动驾驶等安全关键应用构成了严重风险。这些攻击在物理世界中放置对抗性工件，间接导致向模型的输入添加通用补丁，可以在各种上下文中欺骗它。对抗性训练是对抗图像依赖性对抗攻击的最有效的防御方法。然而，将对抗训练定制为通用补丁在计算上是昂贵的，因为最佳通用补丁取决于在训练期间改变的模型权重。我们提出了Meta对抗训练（MAT），一种对抗训练与元学习的新组合，它通过元学习通用补丁和模型训练克服了这一挑战。MAT需要很少的额外计算，同时不断适应当前模型的补丁的大集合。MAT大大提高了对图像分类和交通灯检测的通用补丁攻击的鲁棒性。
2021-06-22 cs.AI cs.CV cs.LG
Adversarial Training: embedding adversarial perturbations into the parameter space of a neural network to build a robust system
University of Southern California（南加州大学）
对抗性训练，即在对抗性和干净样本上对网络进行训练，是对抗对抗攻击最值得信赖的防御方法之一。然而，在实现和部署这种方法时存在三个主要的实际困难-在额外的内存和计算成本方面昂贵;干净和对抗性示例之间的准确性权衡;以及缺乏对抗性扰动的多样性。经典对抗训练在对抗样本（输入空间）中使用固定的、预先计算的扰动。相比之下，我们通过向深度卷积神经网络的全连接层添加扰动偏置，将动态对抗扰动引入网络的参数空间。在训练过程中，仅使用干净的图像，扰动偏差在快速梯度符号方向上更新，以通过回收计算的梯度信息自动创建和存储对抗扰动。网络会自动学习并调整自己以适应这些习得的对抗性扰动。因此，与需要对抗性示例图像的训练集相比，我们可以以微不足道的成本实现对抗性训练。此外，如果与经典的对抗性训练相结合，我们的扰动偏差可以减轻准确性权衡困难，并使对抗性扰动多样化。
2019-10-09 cs.LG stat.ML
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland（马里兰大学）
对抗性训练是对抗对抗攻击的最强防御之一，但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中，我们探索了对抗性训练提高分类器鲁棒性的机制，并表明这些机制可以使用简单的正则化方法有效地模仿，包括标签平滑和logit挤压。值得注意的是，使用这些简单的正则化方法与高斯噪声注入相结合，我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training
Hong Kong University of Science and Technology（香港科技大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；City University of Hong Kong（香港城市大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究从训练实例难度视角揭示对抗训练过拟合源于拟合硬对抗实例，理论证明硬实例训练泛化更差且差距随对抗预算增大，并提出自适应数据使用等缓解方案。
2024-12-17 cs.LG
Concept-based Adversarial Attacks: Tricking Humans and Classifiers Alike
University of Liechtenstein（列支敦士登大学）
我们建议通过修改上层编码语义上有意义的概念的激活来生成对抗样本。通过使用修改的激活来重建原始样本，原始样本被移向目标样本，产生对抗样本。人类可能（也应该）注意到原始样本和对抗样本之间的差异。根据攻击者提供的约束，对抗样本可能会表现出细微的差异，或者看起来像是来自另一个类的“伪造”样本。我们的方法和目标与涉及人类无法识别的单个像素扰动的常见攻击形成鲜明对比。我们的方法适用于，例如，输入的多阶段处理，人类和机器都参与决策，因为无形的扰动不会愚弄人类。我们的评估重点是深度神经网络。我们还展示了我们的对抗性例子在网络之间的可转移性。
2022-03-18 cs.CR cs.CV cs.LG
SafeAMC: Adversarial training for robust modulation recognition models
EPFL（洛桑联邦理工学院）；armasuisse Science&Technology（瑞士联邦国防采购局科学技术部）
在通信系统中，有许多任务（如调制识别）依赖于深度神经网络（DNN）模型。然而，这些模型已被证明容易受到对抗性扰动的影响，即难以察觉的加性噪声，以诱导错误分类。这引发了人们对安全性的质疑，也引发了人们对模型预测的普遍信任。我们建议使用对抗性训练，包括用对抗性扰动微调模型，以提高自动调制识别（AMC）模型的鲁棒性。我们表明，目前最先进的模型受益于对抗训练，这减轻了一些调制家族的鲁棒性问题。我们使用对抗扰动来可视化学习到的特征，我们发现在鲁棒模型中，信号符号会向星座空间中最近的类移动，就像最大似然方法一样。这证实了鲁棒模型不仅更安全，而且更具可解释性，在与调制识别相关的信号统计数据上建立决策。
2021-05-28 cs.LG eess.SP
Calibrated Adversarial Training
Eindhoven University of Technology（埃因霍温理工大学）；University of Jyväskylä（于韦斯屈莱大学）
对抗性训练是一种通过在训练集中包含对抗性样本来提高模型对对抗攻击的鲁棒性的方法。生成对抗性示例的一个主要挑战是在示例中包含足够的扰动来翻转模型的输出，同时不对示例的语义内容进行严重更改。语义内容的丰富变化也会改变示例的真实标签。将这些示例添加到训练集会导致不利影响。在本文中，我们提出了校准对抗训练，这是一种减少对抗训练中语义扰动的不利影响的方法。该方法产生像素级适应的扰动的基础上新的校准的鲁棒误差。我们对校准的鲁棒误差进行了理论分析，并推导出了它的上界。我们的实证结果表明，校准的对抗训练在一些公共数据集上具有优越的性能。
2021-10-11 cs.LG
Nash Equilibria and Pitfalls of Adversarial Training in Adversarial Robustness Games
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）
对抗性训练是训练对抗性鲁棒模型的标准技术。在本文中，我们研究了对抗性训练作为2人零和游戏中的交替最佳反应策略。我们证明，即使在一个简单的情况下的线性分类器和统计模型，抽象的强大与非强大的功能，这种游戏的交替最佳对策策略可能不会收敛。另一方面，存在唯一的纯纳什均衡的游戏，是可证明的强大。我们用实验来支持我们的理论结果，展示了对抗训练的非收敛性和纳什均衡的鲁棒性。
2023-02-28 cs.GT cs.LG
When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture
Peking University（北京大学）；The University of Tokyo（东京大学）
视觉Transformer（ViTs）最近在宽视觉任务中实现了具有竞争力的性能。不幸的是，在流行的威胁模型上，自然训练的ViT并不比卷积神经网络（CNN）提供更多的对抗鲁棒性。对抗性训练仍然是必要的，以抵御这种对抗攻击。在本文中，我们通过对基准数据集上的各种训练技术进行广泛评估，首次全面研究了ViTs的对抗性训练方法。我们发现预训练和SGD优化器对于ViTs的对抗训练是必要的。进一步考虑ViT作为一种新型的模型架构，我们从其独特的架构组件的角度研究其对抗鲁棒性。我们发现，当在对抗性训练期间随机掩蔽来自某些注意力块的梯度或掩蔽某些补丁上的扰动时，ViTs的对抗性鲁棒性可以显着提高，这可能会开辟一条探索新设计的模型（如ViTs）内部架构信息的工作路线。我们的代码可在https://github.com/mo666666/When-Adversarial-Training-Meets-Vision-Transformers上获得。
2022-10-14 cs.CV cs.LG
Evolution of Neural Tangent Kernels under Benign and Adversarial Training
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代深度学习面临的两个关键挑战是减轻深度网络对对抗攻击的脆弱性和理解深度学习的泛化能力。针对第一个问题，已经开发了许多防御策略，其中最常见的是对抗训练（AT）。对于第二个挑战，已经出现的一个主导理论是神经切线核（NTK）--一种在无限宽度限制下表征神经网络行为的理论。在这个限制下，内核被冻结，底层的特征图被固定。然而，在有限宽度中，有证据表明特征学习发生在训练的早期阶段（内核学习），然后是内核保持固定的第二阶段（惰性训练）。虽然先前的工作旨在通过冻结的无限宽度NTK的镜头来研究对抗脆弱性，但没有研究经验/有限NTK在训练期间的对抗鲁棒性的工作。在这项工作中，我们对标准和对抗训练下经验NTK的演变进行了实证研究，旨在消除对抗训练对内核学习和懒惰训练的影响。我们发现，在对抗训练下，经验NTK快速收敛到与标准训练不同的内核（和特征图）。这个新的内核提供了对抗性的鲁棒性，即使当非鲁棒性的训练是在它上面执行的。此外，我们发现，对抗性的训练上的一个固定的内核可以产生一个分类器与$76.1\%$强大的准确性下的PGD攻击与$\varepsilon = 4/255$ CIFAR-10。
2022-10-21 cs.AI cs.LG cs.NE
LADDER: Latent Boundary-guided Adversarial Training
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；The University of Sydney（悉尼大学）
深度神经网络（DNN）最近在许多分类任务中取得了巨大成功。不幸的是，它们容易受到对抗攻击的攻击，这些攻击会生成带有小扰动的对抗示例来欺骗DNN模型，特别是在模型共享场景中。对抗性训练被证明是将对抗性示例注入模型训练以提高DNN模型对对抗攻击的鲁棒性的最有效策略。然而，基于现有对抗性示例的对抗性训练未能很好地推广到标准的、未扰动的测试数据。为了在标准准确性和对抗鲁棒性之间实现更好的权衡，我们提出了一种新的对抗训练框架，称为潜在边界引导的aDvErsarial tRaining（LADDER），它在潜在边界引导的对抗示例上对抗性地训练DNN模型。与大多数在输入空间中生成对抗性示例的现有方法相反，LADDER通过向潜在特征添加扰动来生成大量高质量的对抗性示例。扰动沿着由具有注意力机制的SVM构造的决策边界的法线进行。我们从边界场的角度和可视化的角度分析了我们生成的边界引导对抗示例的优点。对MNIST、SVHN、CelebA和CIFAR-10的广泛实验和详细分析验证了LADDER在标准准确性和对抗鲁棒性之间实现更好权衡的有效性，与普通DNN和竞争基线相比。
2022-07-06 cs.LG
Adaptive Adversarial Training to Improve Adversarial Robustness of DNNs for Medical Image Segmentation and Detection
University of Miami（迈阿密大学）
众所周知，深度神经网络（DNN）容易受到对抗性攻击，并且DNN的对抗性鲁棒性可以通过向训练数据添加对抗性噪声（例如，标准对抗训练（SAT）。然而，不适当的噪声添加到训练数据可能会降低模型的性能，这被称为准确性和鲁棒性之间的权衡。这个问题已经充分研究了整个图像的分类，但很少被探索的图像分析任务在医学应用领域，包括图像分割，地标检测，和对象检测任务。在本研究中，我们表明，对于这些医学图像分析任务，SAT方法存在一个严重的问题，限制了其实际用途：它为所有训练样本生成固定且统一的噪声水平，以进行稳健的DNN训练。高噪声水平可能导致模型性能的大幅降低，而低噪声水平可能无法有效提高鲁棒性。为了解决这个问题，我们设计了一种自适应边缘对抗训练（AMAT）方法，该方法生成样本自适应对抗噪声，用于鲁棒DNN训练。与现有的面向分类的对抗训练方法相比，我们的AMAT方法使用了损失定义的边际策略，只要损失函数定义良好，它就可以应用于不同的任务。我们成功地将我们的AMAT方法应用于最先进的DNN，使用五个公开可用的数据集。实验结果表明：（1）我们的AMAT方法可以应用于医学图像应用领域的三个看似不同的任务;（2）AMAT在对抗鲁棒性方面优于SAT方法;（3）与SAT方法相比，AMAT在干净数据上的预测精度降低最小;（4）AMAT的训练时间成本与SAT几乎相同。
2022-06-22 cs.AI cs.CV cs.LG
Efficient Adversarial Training With Data Pruning
University of Cambridge（剑桥大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）
神经网络容易受到对抗性样本的影响--小的输入扰动会导致模型失败。对抗性训练是停止对抗性示例的解决方案之一;模型在训练期间暴露于攻击，并学会对它们具有弹性。然而，这样一个过程目前是昂贵的，它需要很长的时间来生产和训练模型与敌对的样本，更糟糕的是，它偶尔会失败。在本文中，我们展示了数据修剪-一种通过数据子采样提高对抗训练效率的方法。我们的经验表明，数据修剪导致对抗训练的收敛性和可靠性的改善，尽管有不同程度的效用退化。例如，我们观察到，使用CIFAR 10的随机子采样来丢弃40%的数据，我们会损失8%的对抗准确性，而使用20%的数据，我们会损失14%的对抗准确性，并将运行时间减少3倍。有趣的是，我们发现在某些情况下，数据修剪可以从两个方面带来好处-它既提高了对抗准确性又提高了训练时间。
2022-07-01 cs.LG
Towards Understanding Fast Adversarial Training
Duke University（杜克大学）；Columbia University（哥伦比亚大学）
目前基于神经网络的分类器容易受到对抗性样本的影响。在经验上，最成功的防御这种对抗性例子的方法是对抗性训练，它在训练过程中加入了强大的自我攻击，以增强其鲁棒性。然而，这种方法在计算上是昂贵的，因此很难扩大规模。最近的一项名为快速对抗训练的工作表明，在不牺牲显着性能的情况下显着减少计算时间是可能的。这种方法结合了简单的自我攻击，但它只能运行有限数量的训练时期，从而导致次优性能。在本文中，我们通过实验来了解快速对抗训练的行为，并证明其成功的关键是从过拟合恢复到弱攻击的能力。然后，我们扩展了我们的研究结果，以改善快速对抗训练，证明了强大的对抗训练具有更高的鲁棒准确性，并且大大减少了训练时间。
2020-06-04 cs.LG stat.ML
Single-step Adversarial training with Dropout Scheduling
Indian Institute of Science（印度科学学院）
深度学习模型在包括医疗诊断和自动驾驶在内的一系列计算机视觉应用中表现出令人印象深刻的性能。这些模型面临的主要问题之一是它们对对抗攻击的敏感性。意识到这个问题的重要性，越来越多的研究人员正在努力开发受对抗攻击影响较小的健壮模型。对抗性训练方法在这方面显示出很好的效果。在对抗训练机制中，模型是用对抗样本增强的小批量训练的。快速和简单的方法（例如，单步的【形】梯度上升）用于生成对抗样本，以降低计算复杂性。结果表明，采用单步的【形】对抗训练方法（对抗样本采用非迭代法生成）训练的模型是伪鲁棒的。此外，这种伪鲁棒性的模型归因于梯度掩蔽效应。然而，现有的工作未能解释梯度掩蔽效应何时以及为何在单步的【形】对抗训练中发生。在这项工作中，（i）我们证明了使用单步的【形】对抗训练方法训练的模型可以学习防止单步的【形】对抗的生成，这是由于在训练的初始阶段模型的过度拟合，以及（ii）为了减轻这种影响，我们提出了一种带有辍学调度的单步的【形】对抗训练方法。与使用现有的单步的【形】对抗训练方法训练的模型不同，使用所提出的单步的【形】对抗训练方法训练的模型对单步的【形】和多步的对抗攻击都是鲁棒的，并且在白盒和黑盒设置中，性能与使用计算昂贵的多步对抗训练方法训练的模型相当。
2020-04-18 cs.CV cs.LG
Semantics-Preserving Adversarial Training
Seoul National University（首尔国立大学）；Seoul, Korea（韩国首尔（注意：根据要求，地址信息不应提取为机构，此处可能是误判，正确机构应为Seoul National University相关部分））
对抗训练是一种防御技术，通过在训练数据中包含对抗示例来提高深度神经网络（DNN）的对抗鲁棒性。在本文中，我们发现了一个被忽视的对抗性训练问题，因为这些对抗性示例通常具有与原始数据不同的语义，从而在模型中引入了意想不到的偏差。我们假设，这种非语义保持（和结果模糊）的对抗性数据损害目标模型的鲁棒性。为了减轻对抗性示例的这种意外语义变化，我们提出了语义保持对抗性训练（SPAT），它鼓励在训练阶段生成对抗性示例时对所有类之间共享的像素进行扰动。实验结果表明，SPAT提高了对抗鲁棒性，并在CIFAR-10和CIFAR-100中取得了最好的效果。
2020-09-23 cs.CV cs.LG stat.ML
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas, Austin（得克萨斯大学奥斯汀分校）；IBM research AI（IBM研究院人工智能部门）
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而，它往往遭受的清洁和扰动数据的泛化能力差。在本文中，我们提出了一种新的算法，命名为定制的对抗训练（CAT），自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明，该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
Dynamic Efficient Adversarial Training Guided by Gradient Magnitude
University of Exeter（埃克塞特大学）；University of Liverpool（利物浦大学）；Qufu Normal University（曲阜师范大学）
对抗训练是一种有效但耗时的训练健壮的深度神经网络的方法，可以承受强大的对抗攻击。作为对其低效率的回应，我们提出了动态高效对抗训练（DEAT），它在训练过程中逐渐增加对抗迭代。我们证明了梯度的大小与训练模型的损失景观的曲率相关，使其能够反映对抗训练的效果。因此，基于梯度的大小，我们提出了一种通用的加速策略，M+加速，它可以自动和高效地调整训练过程。M+加速计算效率高，易于实现。它适用于DEAT，并与大多数现有的对抗训练技术兼容。在CIFAR-10和ImageNet数据集上进行了大量实验，并使用各种训练环境。结果表明，提出的M+加速显著提高了现有对抗训练方法的训练效率，同时实现了相似的鲁棒性性能。这表明该策略具有高度的自适应性，并为自动对抗训练提供了有价值的解决方案。
2023-03-14 cs.CR cs.LG
On Generalization of Graph Autoencoders with Adversarial Training
Eindhoven University of Technology（埃因霍温理工大学）
对抗性训练是一种提高模型对对抗性扰动的弹性的方法。这种方法已经被证明可以产生具有更好概括的特征表示的模型。然而，在图数据上的模型对抗训练方面所做的工作有限。在本文中，我们提出了这样一个问题：对抗性训练是否提高了图表示的泛化能力。我们在两种强大的节点嵌入方法中制定了L2和L1版本的对抗训练：图自动编码器（GAE）和变分图自动编码器（VGAE）。我们在GAE和VGAE的链接预测、节点聚类、图异常检测等三个主要应用上进行了大量的实验，并证明了L2和L1对抗训练都能提高GAE和VGAE的泛化能力。
2021-08-04 cs.LG stat.ML
On adversarial training and the 1 Nearest Neighbor classifier
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文对比了对抗训练与简单的1最近邻分类器，证明1NN对训练图像的任意微小扰动具有鲁棒性，且在多组实验中其对抗鲁棒性优于TRADES等现代对抗训练方法。
2024-07-28 cs.LG
Enhancing Adversarial Training with Feature Separability
Michigan State University（密歇根州立大学）
深度神经网络（DNN）容易受到对抗攻击的攻击。作为一种对策，对抗性训练旨在基于最小-最大优化问题实现鲁棒性，它已被证明是最有效的防御策略之一。然而，在这项工作中，我们发现，与自然训练相比，对抗性训练无法为干净或对抗性样本学习更好的特征表示，这可能是对抗性训练往往存在严重的过拟合问题和不太满意的泛化性能的原因之一。具体来说，我们观察到现有对抗训练方法学习的特征的两个主要缺点：（1）低类内特征相似性;（2）保守的类间特征方差。为了克服这些缺点，我们引入了对抗训练图（ATG）的新概念，提出的具有特征可分离性的对抗训练（ATFS）能够连贯地提高类内特征相似性并增加类间特征方差。通过全面的实验，我们证明了所提出的ATFS框架显着提高清洁和鲁棒性能。
2022-05-02 cs.AI cs.CV
Masking and Mixing Adversarial Training
Chubu University（中部大学）；Panasonic Holdings Corporation（松下控股株式会社）
虽然卷积神经网络（CNN）在各种计算机视觉任务中取得了优异的性能，但它们经常与恶意样本进行错误分类，也就是说，敌对的例子。对抗性训练是一种流行而直接的技术，用于防御对抗性示例的威胁。不幸的是，当使用对抗训练时，CNN必须牺牲标准样本的准确性来提高对抗样本的鲁棒性。在这项工作中，我们提出了掩蔽和混合对抗训练（M2 AT），以减轻准确性和鲁棒性之间的权衡。我们专注于在训练过程中创建不同的对抗性示例。具体来说，我们的方法包括两个过程：1）用二进制掩码掩蔽扰动，2）混合两个部分扰动图像。在CIFAR-10数据集上的实验结果表明，该方法对多种对抗攻击具有较好的鲁棒性.
2023-02-16 cs.AI cs.CV
On the Generalization Properties of Adversarial Training
Purdue University（普渡大学）
现代机器学习和深度学习模型在测试数据受到轻微干扰时表现出脆弱性。现有的对抗训练算法的理论研究主要集中在对抗训练损失或局部收敛性质。相反，本文研究了一种通用对抗训练算法的泛化性能。具体来说，我们考虑了线性回归模型和两层神经网络（具有懒惰训练），在低维和高维制度下使用平方损失。在前一种机制中，在克服对抗训练的非平滑性之后，训练模型的对抗风险可以收敛到最小对抗风险。在后一种情况下，我们发现，数据插值防止adversarially鲁棒估计是一致的。因此，受最小绝对收缩和选择算子（LASSO）成功的启发，我们将L1惩罚引入高维对抗学习中，并表明它会导致一致的对抗稳健估计。一系列的数值研究进行了演示如何平滑和L1惩罚有助于提高DNN模型的对抗鲁棒性。
2021-04-06 cs.LG stat.ML
On the Convergence and Robustness of Adversarial Training
The University of Melbourne（墨尔本大学）；The University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
提高深度神经网络（DNN）对对抗性样本的鲁棒性是安全深度学习的一个重要但具有挑战性的问题。在现有的防御技术中，使用投影梯度下降（PGD）的对抗训练是最有效的。对抗性训练解决了最小-最大优化问题，其中\textit{inner maximization}通过最大化分类损失来生成对抗性示例，并且\textit{outer minimization}通过最小化从内部最大化生成的对抗性示例的损失来查找模型参数。因此，衡量内部最大化解决得如何的标准对于对抗训练至关重要。在本文中，我们提出了这样一个标准，即约束优化的一阶平稳条件（FOSC），以定量评估内部最大化中发现的对抗性例子的收敛质量。使用FOSC，我们发现为了确保更好的鲁棒性，在训练的\textit{later stages}上使用具有更好收敛质量的对抗性示例是至关重要的。然而，在早期阶段，高收敛质量的对抗性示例是不必要的，甚至可能导致鲁棒性差。基于这些观察，我们提出了一种\textit{dynamic}训练策略，以逐步提高生成的对抗性示例的收敛质量，从而显着提高对抗性训练的鲁棒性。我们的理论和实验结果表明，所提出的方法的有效性。
2022-04-23 cs.LG
Finding Dynamics Preserving Adversarial Winning Tickets
Nanjing University（南京大学）；Tencent AI Lab（腾讯人工智能实验室）；Hongkong University of Science and Technology（香港科技大学）
现代深度神经网络（DNN）容易受到对抗攻击的攻击，对抗训练已被证明是提高DNN对抗鲁棒性的一种有前途的方法。在对抗背景下，已经考虑了剪枝方法，以在训练中同时降低模型容量并提高对抗鲁棒性。现有的对抗性剪枝方法通常模仿自然训练的经典剪枝方法，遵循三个阶段的“训练-剪枝-微调”管道。我们观察到，这种修剪方法不一定能保持密集网络的动态性，这使得它可能很难被微调，以补偿修剪中的准确性下降。基于\textit{Neural Tangent Kernel}（NTK）最近的工作，我们系统地研究了对抗训练的动力学，证明了初始化时存在可训练的稀疏子网络，可以从头开始训练到对抗鲁棒性。这从理论上验证了\textit{lottery ticket hypothesis}在对抗环境中的作用，我们将这种子网络结构称为\textit{Adversarial Winning Ticket}（AWT）。我们还展示了经验证据，AWT保留了对抗训练的动态性，并实现了与密集对抗训练相同的性能。
2022-03-06 cs.LG
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami（迈阿密大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略（即，噪声数据上的准确性）对抗对抗性噪声。然而，由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度（即，与通过标准方法在干净数据上训练的相同模型相比，这种现象被称为准确性和鲁棒性之间的权衡，并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用，例如医学图像分析，因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升（即，减轻或甚至避免）医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法，命名为增量边际对抗（IMA）训练，这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性，同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序，我们的方法提高了准确性和鲁棒性。我们的研究表明，我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Regularizers for Single-step Adversarial Training
Indian Institute of Science（印度科学学院）
过去十年的进展使机器学习模型在计算机视觉的各种任务中取得了令人印象深刻的性能。然而，大量的工作已经证明了这些模型对对抗样本的敏感性。对抗性训练程序已经被提出来防御这种对抗攻击。对抗性训练方法用对抗性样本来增强小批量，并且通常使用单步的【形】（非迭代）方法来生成这些对抗性样本。然而，使用单步的【形】对抗训练训练的模型收敛到退化最小值，其中模型只是看起来很健壮。这些模型的伪鲁棒性是由于梯度掩蔽效应。虽然多步对抗训练有助于学习鲁棒模型，但由于使用迭代法来生成对抗样本，因此难以扩展。为了解决这些问题，我们提出了三种不同类型的正则化器，这些正则化器有助于使用单步的【形】对抗训练方法来学习鲁棒模型。所提出的正则化器通过利用区分鲁棒模型和伪鲁棒模型的属性来减轻梯度掩蔽的影响。使用所提出的正则化器训练的模型的性能与使用计算昂贵的多步对抗训练方法训练的模型相当。
2020-02-03 cs.CV cs.LG
Defense Against Adversarial Attacks Using Feature Scattering-based Adversarial Training
Horizon Robotics（地平线机器人）；Baidu Research（百度研究院）
我们引入了一种基于特征分散的对抗性训练方法，以提高模型对对抗攻击的鲁棒性。传统的对抗性训练方法利用监督方案（有针对性或非有针对性）来生成用于训练的攻击，这通常会遇到标签泄漏等问题，如最近的工作中所指出的。因此，该方法通过在潜在空间中进行特征分散来生成用于训练的对抗图像，这在本质上是无监督的，并且避免了标签泄漏。更重要的是，这种新方法以协作方式生成扰动图像，并考虑到样本间的关系。我们对模型的鲁棒性进行了分析，并通过在不同数据集上的大量实验，与最先进的方法相比，证明了所提出的方法的有效性。
2019-11-21 cs.CR cs.CV cs.LG
A3T: Accuracy Aware Adversarial Training
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
对抗训练已经被经验证明比标准训练更容易过拟合。确切的根本原因仍然需要充分理解。在本文中，我们确定了过度拟合的一个原因，这与当前从错误分类的样本中生成对抗样本的做法有关。为了解决这个问题，我们提出了一种替代方法，利用错误分类的样本，以减轻过拟合问题。我们表明，我们的方法实现了更好的泛化，同时在广泛的计算机视觉，自然语言处理和表格任务上具有与最先进的对抗训练方法相当的鲁棒性。
2022-11-29 cs.LG
Adversarial Training Improves Joint Energy-Based Generative Modelling
MIPT（莫斯科物理技术学院）；ITMO（圣光机大学）；Artificial Intelligence Research Institute（人工智能研究所）
我们提出了新的框架生成建模使用混合能源为基础的模型。在我们的方法中，我们结合了鲁棒分类器和Langevin动力学的可解释输入梯度进行采样。使用对抗训练，我们不仅提高了训练的稳定性，而且提高了联合能量模型的鲁棒性和生成建模。
2022-07-18 cs.LG
