Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence（清华大学脑与智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
深度神经网络容易受到对抗性示例的攻击，由于潜在的严重后果，这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而，现有的大多数对抗攻击只能欺骗黑盒模型，成功率很低。为了解决这个问题，我们提出了一个广泛的基于动量的迭代算法，以提高对抗攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中摆脱糟糕的局部最大值，从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用于一组模型，并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法，我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Adversarial Attacks for Multi-view Deep Models
East China Normal University（华东师范大学）；Tongji University（同济大学）
最近的研究强调了许多深度机器学习模型在对抗性示例中的脆弱性。对抗攻击是一种在模型部署前对其安全性和鲁棒性进行评估的方法，因此受到越来越多的关注。然而，据我们所知，目前还没有针对多视图深度模型的对抗攻击的具体研究。本文提出了两种多视图攻击策略：两阶段攻击（TSA）和端到端攻击（ETEA）。在目标多视图模型所基于的单视图模型已知的假设下，我们首先提出了TSA策略。TSA的主要思想是通过攻击相关联的单视图模型生成对抗性示例来攻击多视图模型，从而将现有的单视图攻击方法直接扩展到多视图场景。在此基础上，进一步提出了多视图模型公开时的ETEA策略。利用ETEA算法实现了对目标多视图模型的直接攻击，提出了三种有效的多视图攻击方法。最后，基于对抗性攻击在不同模型间具有较好的泛化性，以多视图卷积神经网络的对抗攻击为例，验证了所提出的多视图攻击方法的有效性。大量的实验结果表明，我们的多视图攻击策略能够攻击多视图深度模型，我们还发现，多视图模型比单视图模型更强大。
2020-06-19 cs.LG stat.ML
Adversarial attacks against Bayesian forecasting dynamic models
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所 (ICMAT-CSIC)）
在过去的十年里，对抗性机器学习（AML）兴起。这门学科研究如何操纵数据以欺骗推理引擎，以及如何保护这些系统免受此类操纵攻击。针对回归和分类系统的攻击已经有了大量的工作，而针对时间序列预测系统的攻击却很少受到关注。在本文中，我们提出了一个基于决策分析的攻击策略，可用于对贝叶斯预测动态模型。
2021-10-20 cs.LG stat.ML
Can We Mitigate Backdoor Attack Using Adversarial Detection Methods?
Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）
众所周知，深度神经网络容易受到对抗攻击和后门攻击的攻击，其中对输入的微小修改能够误导模型给出错误的结果。虽然对对抗攻击的防御已经进行了广泛的研究，但对减轻后门攻击的研究仍处于早期阶段。目前还不清楚这两种攻击的防御之间是否有任何联系和共同特征。我们对深度神经网络的对抗性示例和后门示例之间的联系进行了全面的研究，以寻求回答这个问题：我们可以使用对抗性检测方法检测后门吗？我们的见解是基于这样的观察，即对抗性示例和后门示例在推理过程中都有异常，与良性样本高度区分。因此，我们修改了四个现有的对抗性防御方法检测后门的例子。广泛的评估表明，这些方法提供了可靠的保护，防止后门攻击，具有更高的准确性比检测敌对的例子。这些解还揭示了对抗样本、后门样本和正常样本在模型敏感性、激活空间和特征空间中的关系。这能够增强我们对这两种攻击的内在特征和防御机会的理解。
2022-07-28 cs.LG stat.ML
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度学习模型遭受一种称为对抗攻击的现象：我们可以对模型输入进行微小的更改，以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而，对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战：（1）目标函数的不可微性，（2）对初始序列变换的约束，以及（3）可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法，并允许在任何情况下使用，第二种方法使用模型和目标度量的连续松弛，从而允许使用最先进的方法进行对抗攻击，而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明，所提出的方法生成了合理的对抗序列，这些序列接近原始序列，但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH（neurocat有限公司）；Volkswagen AG（大众汽车集团）
大多数最先进的机器学习（ML）分类系统都容易受到对抗性扰动的影响。因此，对抗鲁棒性对在安全和安全关键环境（如自动驾驶、疾病检测或无人机）中部署基于ML的系统提出了重大挑战。在过去几年中，我们看到大量的出版物提出了越来越多的新的对抗攻击。然而，攻击研究似乎是相当非结构化的，新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中，我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块，我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标，我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联，即语义分割和目标检测。最后，为了证明有用的攻击发生器，我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
Deflecting Adversarial Attacks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
有一个正在进行的循环，即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环，我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此，我们首先提出了一种基于Capsule Networks的更强大的防御，该防御结合了三种检测机制，以在标准和防御感知攻击中实现最先进的检测性能。然后，我们通过进行一项人类研究，要求参与者标记攻击产生的图像，表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”，因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中，首先，我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形，并攻击DeepSpeech，这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率（DeepSpeech分类成功率为零）。其次，我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度，并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类，这表明PCA不是音频域中的良好防御机制。最后，我们没有使用PCA作为防御机制，这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下，我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击，并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件，需要在攻击过程中的分类结果。在所有情况下，对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
在这项工作中，我们探讨了对变分自编码器（VAE）的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码（监督攻击）或只是获得完全不同的代码（无监督攻击）。我们研究模型修改（$β$ -VAE，NVAE）对VAE鲁棒性的影响，并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
Adversarial Attack Type I: Cheat Classifiers by Significant Changes
Shanghai Jiao Tong University（上海交通大学）
尽管深度神经网络取得了巨大的成功，但对抗攻击可以通过小的排列来欺骗一些训练有素的分类器。在本文中，我们提出了另一种类型的对抗攻击，可以欺骗分类器的显着变化。例如，我们可以显著地改变一张脸，但训练有素的神经网络仍然可以将敌对的和原始的例子识别为同一个人。从统计学上看，现有的对抗攻击增加了第二类错误，而提出的攻击则针对第一类错误，因此分别将其命名为第二类和第一类对抗攻击。这两种类型的攻击同样重要，但本质上是不同的，这是直观的解释和数值评估。为了实现所提出的攻击，监督变异自动编码器的设计，然后分类器进行攻击，通过更新的潜在变量使用梯度信息。{此外，使用预训练的生成模型，还研究了对潜在空间的I型攻击。实验结果表明，该方法在大规模图像数据集上生成I类对抗样本是实用和有效的。这些生成的例子中的大多数可以通过为防御II型攻击而设计的检测器，并且加强策略仅对特定类型的攻击有效，这两者都意味着I型和II型攻击的根本原因是不同的。
2019-07-22 cs.CV cs.LG stat.ML
The LogBarrier adversarial attack: making effective use of decision boundary information
McGill University（麦吉尔大学）；AIFaster Consulting Inc（艾法斯特咨询公司）
针对图像分类的对抗攻击是对图像的小扰动，其被设计成引起模型的错误分类。对抗攻击形式上对应于一个优化问题：找到一个最小范数图像扰动，约束导致误分类。已经开发了一些有效的攻击。然而，迄今为止，没有基于梯度的攻击使用优化文献中的最佳实践来解决这个约束最小化问题。我们设计了一个新的无针对性的攻击，基于这些最佳实践，使用已建立的对数屏障方法。平均而言，我们的攻击距离类似于或优于基准数据集（MNIST，CIFAR 10，ImageNet-1 K）上的所有最先进的攻击。此外，我们的方法在最具挑战性的图像上表现得更好，这些图像通常需要更大的扰动来进行误分类。我们采用LogBarrier攻击几个adversarially防御模型，并表明它adversarially扰动所有图像比其他攻击更有效：所需的距离扰动所有图像是显着小于与其他国家的最先进的攻击LogBarrier攻击。
2019-03-25 cs.CR cs.LG stat.ML
An ADMM-Based Universal Framework for Adversarial Attacks on Deep Neural Networks
Northeastern University（东北大学）；IBM Research AI（IBM研究院人工智能部门）
深度神经网络（DNN）是已知的易受对抗攻击的攻击。也就是说，通过在原始合法输入上添加精心制作的扭曲而获得的对抗性示例可以误导DNN将其分类为任何目标标签。在一个成功的对抗攻击中，目标误分类应该以最小的失真来实现。在文献中，增加的失真通常通过L0、L1、L2和L无穷范数来测量，即分别为L0、L1、L2和L无穷攻击。然而，缺乏一个通用的框架，所有类型的对抗攻击。这项工作首次统一了利用ADMM（交替方向乘法器）生成对抗性示例的方法，ADMM是一种算子分裂优化方法，因此L0，L1，L2和L无穷大攻击可以通过这个通用框架有效地实现。与每一类最先进的攻击相比，我们基于ADMM的攻击是迄今为止最强大的，达到了100%的攻击成功率和最小的失真。
2018-04-09 cs.CV cs.LG stat.ML
Gradient Band-based Adversarial Training for Generalized Attack Immunity of A3C Path Finding
Beijing Jiaotong University（北京交通大学）
由于对抗攻击在实践中对人工智能系统的安全性构成严重威胁，因此在计算机视觉应用背景下对这类攻击进行了广泛的研究。然而，很少有人关注自动路径搜索的对抗性研究。在本文中，我们证明了显性对抗示例在针对A3 C路径查找时是有效的，并设计了一种通用显性对抗示例生成方法（CDG）来生成针对任何给定地图的显性对抗示例。此外，本文还提出了基于梯度带的对抗训练方法，该方法采用随机选取的单个优势对抗样本进行训练，不做任何修改，实现了对广义优势对抗样本的“1：N”攻击免疫。大量实验结果表明，CDG算法的最低生成精度为91.91%，基于梯度带的对抗训练算法的最低免疫精度为93.89%，证明该方法能够实现A3 C路径查找的广义攻击免疫，且具有较高的可信度。
2018-07-18 cs.CR cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation（微软公司）；Stanford University（斯坦福大学）
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中，我们提出并分析了一种简单且计算效率高的防御策略：注入随机高斯噪声，离散化每个像素，然后将结果馈送到任何预训练的分类器中。从理论上讲，我们表明，我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧，导致任何分类器对任何（潜在的白盒）$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲，我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上，我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
Minimax Defense against Gradient-based Adversarial Attacks
Aalto University（阿尔托大学）；Perspecta Labs（Perspecta实验室）
最先进的对抗攻击针对的是神经网络分类器。默认情况下，神经网络使用梯度下降来最小化其损失函数。基于梯度的对抗攻击使用分类器损失函数的梯度来生成对抗扰动图像。我们提出了另一种类型的优化是否可以给神经网络分类器的优势的问题。在这里，我们介绍了一种新的方法，使用极大极小优化来挫败基于梯度的对抗攻击。我们的极大极小分类器是生成对抗网络（GAN）的子节点，它与GAN生成器进行极大极小博弈。此外，我们的GAN生成器将所有点投影到与原始流形不同的流形上，因为原始流形可能是对抗攻击的原因。为了衡量我们的极大极小防御的性能，我们使用了对抗攻击- Carlini Wagner（CW），DeepFool，快速梯度符号方法（FGSM）-在三个数据集上：MNIST，CIFAR-10和德国交通标志（TRAFFIC）。针对CW攻击，我们的极大极小防御率达到98.07%（MNIST-默认98.93%），73.90%（CIFAR-10-默认83.14%）和94.54%（TRAFFIC-默认96.97%）。针对DeepFool攻击，我们的minimax防御达到98.87%（MNIST），76.61%（CIFAR-10）和94.57%（TRAFFIC）。针对FGSM攻击，我们实现了97.01%（MNIST），76.79%（CIFAR-10）和81.41%（TRAFFIC）。我们的Minimax对抗方法为神经网络分类器的防…
2020-02-04 cs.GT cs.LG stat.ML
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adversarial attacks on Copyright Detection Systems
University of Maryland（马里兰大学）
众所周知，许多机器学习模型容易受到对抗攻击的影响，其中攻击者通过对输入进行小扰动来逃避分类器。本文讨论了工业版权检测工具，在网络上发挥核心作用，是如何容易受到对抗攻击。我们讨论了一系列的版权检测系统，以及为什么他们特别容易受到攻击。这些弱点对于基于神经网络的系统尤其明显。作为概念的证明，我们描述了一个著名的音乐识别方法，并实现该系统的神经网络的形式。然后我们使用简单的梯度方法攻击该系统。以这种方式创建的对抗性音乐成功地欺骗了工业系统，包括AudioTag版权检测器和YouTube的内容ID系统。我们的目标是提高人们对这一领域对抗性示例所构成威胁的认识，并强调加强版权检测系统对攻击的重要性。
2019-06-20 cs.CR cs.LG stat.ML
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而，在黑箱设置下，大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中，从将对抗性示例生成视为一个优化过程的角度出发，我们提出了两种新的方法来提高对抗性示例的可移植性，即Nesterov迭代快速梯度符号方法（NI-FGSM）和尺度不变攻击方法（SIM）。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击，以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现，我们利用它来优化输入图像的尺度副本上的对抗性扰动，以避免白盒模型受到攻击的“过拟合”，并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成，以构建一个强大的基于梯度的攻击，从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明，我们的攻击方法具有更高的可移植性，并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗攻击旨在混淆机器学习系统，同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究，表明像素$p$ -规范的任何$0\le p \le \infty$，和几个替代措施，包括推土机的距离，结构相似性指数，和深网嵌入，不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
Learn2Weight: Parameter Adaptation against Similar-domain Adversarial Attacks
University of Oxford（牛津大学）
针对NLP系统的黑盒对抗攻击最近的工作引起了广泛的关注。以前的黑盒攻击假设攻击者可以根据选定的输入观察目标模型的输出标签。在这项工作中，受对抗可转移性的启发，我们提出了一种新的黑盒NLP对抗攻击，攻击者可以选择一个相似的域，并将对抗示例转移到目标域，导致目标模型的性能较差。基于领域自适应理论，我们提出了一种防御策略，称为Learn2Weight，它训练预测目标模型的权重调整，以抵御相似领域对抗性示例的攻击。使用Amazon多域情感分类数据集，我们实证表明，与对抗性训练和防御蒸馏等标准黑盒防御方法相比，Learn2Weight对攻击是有效的。这项工作有助于增加机器学习安全性的文献。
2022-09-20 cs.LG
Untargeted, Targeted and Universal Adversarial Attacks and Defenses on Time Series
TCS Research（塔塔咨询服务研究院）
基于深度学习的模型容易受到对抗攻击的攻击。在有针对性的攻击中，这些攻击的危害可能会大得多，攻击者不仅试图欺骗深度学习模型，还试图误导模型预测特定的类。此类有针对性和无针对性的攻击是专门针对单个样本量身定制的，并且需要向样本添加难以察觉的噪音。相比之下，通用对抗攻击计算一种特殊的不可感知的噪声，可以将其添加到给定数据集的任何样本中，从而迫使深度学习模型预测错误的类。据我们所知，这些有针对性的和通用的攻击时间序列数据还没有研究在以前的任何作品。在这项工作中，我们对UCR时间序列数据集进行了无针对性、有针对性和通用的对抗攻击。我们的研究结果表明，基于深度学习的时间序列分类模型容易受到这些攻击。我们还表明，通用对抗攻击具有良好的泛化性能，因为它只需要一小部分的训练数据。我们还进行了基于对抗性防御的对抗性训练。我们的研究结果表明，使用快速梯度符号法（FGSM），一个单步的攻击，对抗训练的模型能够抵御FGSM以及基本迭代法（BIM），一种流行的迭代攻击。
2021-01-13 cs.LG
Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
对抗性训练产生针对特定威胁模型的鲁棒模型，例如，$L_\infty$对抗性示例。通常，鲁棒性不会推广到以前看不见的威胁模型，例如，其他$L_p$范数或更大的扰动。我们的置信度校准对抗训练（CCAT）通过将模型偏向于对抗示例的低置信度预测来解决这个问题。通过允许拒绝低置信度的示例，鲁棒性可以推广到训练期间使用的威胁模型之外。仅在$L_\infty$对抗性示例上训练的CCAT提高了对更大的$L_\infty$、$L_2$、$L_1$和$L_0$攻击、对抗性帧、远端对抗性示例和损坏示例的鲁棒性，并且与对抗性训练相比产生更好的干净准确性。为了进行彻底的评估，我们开发了新的白盒和黑盒攻击，通过最大化置信度直接攻击CCAT。对于每种威胁模型，我们使用$7$攻击，最多$50$重启和$5000$迭代，并报告最坏情况下的鲁棒测试错误，扩展到我们的置信阈值设置，在所有攻击中。
2020-06-30 cs.CR cs.CV cs.LG
Sparse and Imperceivable Adversarial Attacks
University of Tübingen（图宾根大学）
神经网络已被证明易受各种对抗攻击的攻击。从安全的角度来看，高度稀疏的对抗攻击尤其危险。另一方面，稀疏攻击的像素级扰动通常很大，因此可以潜在地检测到。我们提出了一种新的黑盒技术来制作对抗性的例子，旨在最大限度地减少$l_0$距离原始图像。大量的实验表明，我们的攻击是更好的或竞争的最先进的。此外，我们可以集成额外的边界上的分量扰动。允许像素仅在高变化区域中变化，并避免沿轴对齐边缘的变化，这使得我们的对抗性示例几乎不可感知。此外，我们适应投影梯度下降攻击的$l_0$ -范数集成组件的约束。这使我们能够进行对抗训练，以增强分类器对稀疏和不可感知的对抗操作的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science（印度科学学院）
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降（PGD）在约束集内最大化标准损失（诸如交叉熵损失或最大余量损失）来生成。在这项工作中，我们在标准损失中引入了一个松弛项，找到了更合适的梯度方向，提高了攻击效率，并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击（GAMA），它利用干净图像的函数映射来引导对手的生成，从而产生更强的攻击。我们评估我们的攻击对多种防御，并显示出改进的性能相比，现有的攻击。此外，我们提出了引导对抗训练（GAT），它通过利用所提出的松弛项进行攻击生成和训练，在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
Does Demand Response Increase Vulnerability to Cyber Attacks by Adversarial Data Modifications?
RWTH Aachen University（亚琛工业大学）；University College London（伦敦大学学院）
研究对抗性攻击对工业需求响应决策的影响，设计攻击破坏电价预测模型输出，用广义过程模型研究不同生产调度问题的脆弱性，发现攻击会侵蚀利润，但扰动有限时需求响应仍有优势，且影响取决于扰动方向，应将模型敏感性纳入攻击设计。
2026-07-09 cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
尽管研究界付出了巨大的努力，但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外，鲁棒性评估通常是不精确的，使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策，这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明，目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外，我们观察到，在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果，我们提出了一种新的对抗攻击损失函数，与19个分析模型中的19个相比，该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
Thundernna: a white box adversarial attack
University of Waterloo（滑铁卢大学）
本文提出白盒对抗攻击方法 Thundernna，利用一阶优化生成对抗扰动，相较其他一阶攻击成功率更高，且比二阶及多步一阶攻击更快。
2024-01-21 cs.LG
Adversarial Machine Learning at Scale
Google Brain（谷歌大脑）；OpenAI
对抗性示例是设计用于欺骗机器学习模型的恶意输入。它们经常从一个模型转移到另一个模型，允许攻击者在不知道目标模型参数的情况下发动黑盒攻击。对抗性训练是在对抗性示例上显式训练模型的过程，以使其对攻击更具鲁棒性或减少其在干净输入上的测试错误。到目前为止，对抗训练主要应用于小问题。在这项研究中，我们将对抗训练应用于ImageNet。我们的贡献包括：（1）关于如何成功地将对抗性训练扩展到大型模型和数据集的建议，（2）观察到对抗性训练赋予单步攻击方法鲁棒性，（3）发现多步攻击方法比单步攻击方法的可转移性更低，因此单步攻击是安装黑盒攻击的最佳方法，以及（4）“标签泄漏”效应的解决方案，该效应导致对抗训练的模型在对抗示例上比在干净示例上表现得更好，因为对抗示例构建过程使用真实标签，并且模型可以学习在构建过程中利用标签。
2017-02-11 cs.CR cs.CV cs.LG
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University（首尔大学）
Torchattacks是一个PyTorch库，包含对抗攻击，用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University（杜克大学）；Hewlett Packard Labs（惠普实验室）；Air Force Research Lab（美国空军研究实验室）
最近的一些研究表明，深度神经网络（DNN）很容易受到所谓的对抗攻击的攻击，其中输入示例被故意扰动以欺骗DNN。在这项工作中，我们重新审视了DNN训练过程，将对抗性示例包含到训练数据集中，以提高DNN对对抗攻击的弹性，即对抗性训练。我们的实验表明，不同的对抗强度，即，对抗性例子的扰动水平，有不同的工作区来抵抗攻击。在此基础上，提出了一种多强度对抗训练方法（MAT），该方法将具有不同对抗强度的对抗训练样本结合起来，以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发，以促进训练时间和内存占用之间的权衡。我们的研究结果表明，MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI（微软Azure人工智能）；Amazon（亚马逊）
我们研究了一个对抗性多臂强盗的安全威胁，其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明，攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂，但在每一个次线性（T-o（T））轮数，而只会产生次线性（o（T））的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题，例如，在在线推荐中，攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率，因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本，任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配，这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG
Delving into the pixels of adversarial samples
Aalto University（阿尔托大学）
尽管对对抗攻击进行了广泛的研究，但我们不知道对抗攻击如何影响图像像素。了解图像像素如何受到对抗攻击的影响有可能引导我们更好地进行对抗防御。受我们发现的强攻击不会转移的实例的启发，我们深入研究了像素级的对抗示例，以仔细研究对抗攻击如何影响图像像素值。我们考虑了几种ImageNet架构，InceptionV3，VGG19和ResNet50，以及几种强大的攻击。我们发现，攻击可以有不同的效果，在像素级取决于分类器架构。特别是，输入预处理在攻击对像素的影响中起着以前被忽视的作用。基于像素级检查的见解，我们找到了新的方法来检测一些最强的当前攻击。
2021-06-21 cs.CV cs.LG
Detection of Adversarial Attacks and Characterization of Adversarial Subspace
对抗攻击一直是任何数据驱动模型的严重威胁。在本文中，我们探索了酉向量域中对抗性样本的子空间，并提出了一种新的检测器来保护我们为环境声音分类训练的模型。我们测量弦的距离之间的合法和恶意表示的声音在酉空间的广义Schur分解，并表明他们的流形远离对方。我们的前端检测器是一个正则化的逻辑回归，它可以区分合法和对抗谱图的特征值。在三个以声谱图表示的环境声音基准数据集上的实验结果表明，该检测器对八种类型的对抗攻击具有较高的检测率，优于其他检测方法。
2019-10-26 cs.CR cs.LG cs.SD
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Identifying Adversarially Attackable and Robust Samples
University of Cambridge（剑桥大学）
本文提出样本可攻击性概念及基于深度学习的检测器，用于识别未见数据集中最易受对抗攻击的可攻击样本和最不易受影响的鲁棒样本，发现其优于不确定性度量，有助于提升样本选择效率。
2023-06-25 cs.AI cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University（本古里安大学）
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击，并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Algebraic Adversarial Attacks on Explainability Models
School of Electrical and Mechanical Engineering, The University of Adelaide（阿德莱德大学电气与机械工程学院）；School of Computer and Mathematical Sciences, The University of Adelaide（阿德莱德大学计算机与数学科学学院）；Information Sciences Division, Defence Science & Technology Group（国防科学技术集团信息科学部）
针对约束优化式对抗攻击缺乏可追溯性的问题，提出基于几何深度学习与神经网络对称群分析的代数攻击方法，用于生成事后可解释性模型的可数学处理对抗样本，并在三个数据集上验证。
2025-03-16 cs.LG math.GR
Multi-Task Adversarial Attack
Southern University of Science and Technology（南方科技大学）
深度神经网络在各个领域都取得了令人印象深刻的性能，但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而，在实际应用中，往往需要同时针对不同的任务攻击多个模型。为此，我们提出了多任务对抗攻击（MTA），这是一个统一的框架，可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例，这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说，MTA使用对抗扰动生成器，该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器，MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外，所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明，与单任务相比，MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
ROOM: Adversarial Machine Learning Attacks Under Real-Time Constraints
IEMN-DOAE, UMR CNRS 8520 Polytechnic University Hauts-De-France（法国上法兰西理工大学 IEMN-DOAE, UMR CNRS 8520）；George Mason University（乔治梅森大学）；University of California Riverside（加州大学河滨分校）
深度学习的进步已经实现了广泛的有前途的应用。然而，这些系统容易受到对抗性机器学习（AML）攻击;对输入的恶意干扰可能导致它们错误分类。一些最先进的对抗攻击已经证明，它们可以可靠地欺骗分类器，使这些攻击成为一个重大的威胁。对抗攻击生成算法主要集中在创建成功的例子，同时控制噪声的大小和分布，使检测更加困难。这些攻击的基本假设是，对抗性噪声是离线生成的，因此执行时间是次要考虑因素。然而，最近，攻击者机会主义地在运行中生成对抗性示例的即时对抗攻击已被证明是可能的。本文提出了一个新的问题：如何在实时的【形】约束下产生对抗性噪声来支持这种实时的【形】对抗攻击？理解这个问题可以提高我们对这些攻击对实时的【形】系统构成的威胁的理解，并为未来的防御提供安全评估基准。因此，我们首先对对抗生成算法进行运行时分析。通用攻击离线产生通用攻击，没有在线开销，并且可以应用于任何输入;然而，由于其通用性，其成功率有限。相比之下，在线算法，工作在一个特定的输入，是计算昂贵的，使他们不适合在时间限制下的操作。因此，我们提出了ROOM，一种新的实时的【形】在线离线攻击构造模型，其中离线组件用于预热在线算法，使得在时间限制下生成非常成功的攻击成为可能。
2022-01-05 cs.CR cs.LG
Attacking Motion Estimation with Adversarial Snow
University of Stuttgart（斯图加特大学）
当前用于运动估计（光流）的对抗攻击优化小的每像素扰动，这不太可能出现在现实世界中。相比之下，我们利用现实世界的天气现象进行新的攻击，并对雪进行了优化。在我们的攻击的核心是一个可区分的渲染器，一贯集成真实感雪花与现实运动到3D场景。通过优化，我们得到了对抗雪，显着影响光流，而从普通的雪是无法区分的。令人惊讶的是，我们的新攻击的影响是最大的方法，以前表现出高鲁棒性小L_p扰动。
2022-10-20 cs.CV cs.LG
Attacking Adversarial Attacks as A Defense
Tencent（腾讯）；Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；University of Munich（慕尼黑大学）
众所周知，对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性，但防御失败的情况仍然广泛存在。在这项工作中，我们发现，对抗攻击也可以容易受到小扰动。也就是说，在对抗性训练的模型上，用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后，我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发，我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类，具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上，它将最先进的模型从66.16%提高到72.66%，对抗AutoAttack的四种攻击，其中包括71.76%到83.30%的Square攻击。在ImageNet上，FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
