Delving into adversarial attacks on deep policies
National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）
对抗性示例已被证明存在于各种深度学习架构中。深度强化学习在直接基于原始输入（如图像像素）训练代理策略方面显示出了有希望的结果。在本文中，我们提出了一项针对深度强化学习策略的对抗性攻击的新研究。我们使用对抗性示例与随机噪声比较了攻击的有效性。我们提出了一种新的方法，用于减少成功攻击所需注入的对抗性示例的次数，该方法基于值函数。我们进一步探讨了随机噪声和FGSM扰动的重新训练如何影响对抗性示例的弹性。
2017-05-18 cs.LG stat.ML
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence（清华大学脑与智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
深度神经网络容易受到对抗性示例的攻击，由于潜在的严重后果，这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而，现有的大多数对抗攻击只能欺骗黑盒模型，成功率很低。为了解决这个问题，我们提出了一个广泛的基于动量的迭代算法，以提高对抗攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中摆脱糟糕的局部最大值，从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用于一组模型，并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法，我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来，深度神经网络在各个领域都取得了重大进展和成功应用，但发现它们容易受到攻击实例的攻击，例如，敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器，但对人的影响很小。因此，这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发，本文提出了两种新的生成模型，采用条件生成对抗网络，设计了不同的训练策略，直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比，该模型可以降低生成成本，提高鲁棒性，并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
Adversarial Attacks for Multi-view Deep Models
East China Normal University（华东师范大学）；Tongji University（同济大学）
最近的研究强调了许多深度机器学习模型在对抗性示例中的脆弱性。对抗攻击是一种在模型部署前对其安全性和鲁棒性进行评估的方法，因此受到越来越多的关注。然而，据我们所知，目前还没有针对多视图深度模型的对抗攻击的具体研究。本文提出了两种多视图攻击策略：两阶段攻击（TSA）和端到端攻击（ETEA）。在目标多视图模型所基于的单视图模型已知的假设下，我们首先提出了TSA策略。TSA的主要思想是通过攻击相关联的单视图模型生成对抗性示例来攻击多视图模型，从而将现有的单视图攻击方法直接扩展到多视图场景。在此基础上，进一步提出了多视图模型公开时的ETEA策略。利用ETEA算法实现了对目标多视图模型的直接攻击，提出了三种有效的多视图攻击方法。最后，基于对抗性攻击在不同模型间具有较好的泛化性，以多视图卷积神经网络的对抗攻击为例，验证了所提出的多视图攻击方法的有效性。大量的实验结果表明，我们的多视图攻击策略能够攻击多视图深度模型，我们还发现，多视图模型比单视图模型更强大。
2020-06-19 cs.LG stat.ML
Adversarial attacks against Bayesian forecasting dynamic models
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所 (ICMAT-CSIC)）
在过去的十年里，对抗性机器学习（AML）兴起。这门学科研究如何操纵数据以欺骗推理引擎，以及如何保护这些系统免受此类操纵攻击。针对回归和分类系统的攻击已经有了大量的工作，而针对时间序列预测系统的攻击却很少受到关注。在本文中，我们提出了一个基于决策分析的攻击策略，可用于对贝叶斯预测动态模型。
2021-10-20 cs.LG stat.ML
Can We Mitigate Backdoor Attack Using Adversarial Detection Methods?
Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）
众所周知，深度神经网络容易受到对抗攻击和后门攻击的攻击，其中对输入的微小修改能够误导模型给出错误的结果。虽然对对抗攻击的防御已经进行了广泛的研究，但对减轻后门攻击的研究仍处于早期阶段。目前还不清楚这两种攻击的防御之间是否有任何联系和共同特征。我们对深度神经网络的对抗性示例和后门示例之间的联系进行了全面的研究，以寻求回答这个问题：我们可以使用对抗性检测方法检测后门吗？我们的见解是基于这样的观察，即对抗性示例和后门示例在推理过程中都有异常，与良性样本高度区分。因此，我们修改了四个现有的对抗性防御方法检测后门的例子。广泛的评估表明，这些方法提供了可靠的保护，防止后门攻击，具有更高的准确性比检测敌对的例子。这些解还揭示了对抗样本、后门样本和正常样本在模型敏感性、激活空间和特征空间中的关系。这能够增强我们对这两种攻击的内在特征和防御机会的理解。
2022-07-28 cs.LG stat.ML
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度学习模型遭受一种称为对抗攻击的现象：我们可以对模型输入进行微小的更改，以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而，对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战：（1）目标函数的不可微性，（2）对初始序列变换的约束，以及（3）可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法，并允许在任何情况下使用，第二种方法使用模型和目标度量的连续松弛，从而允许使用最先进的方法进行对抗攻击，而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明，所提出的方法生成了合理的对抗序列，这些序列接近原始序列，但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH（neurocat有限公司）；Volkswagen AG（大众汽车集团）
大多数最先进的机器学习（ML）分类系统都容易受到对抗性扰动的影响。因此，对抗鲁棒性对在安全和安全关键环境（如自动驾驶、疾病检测或无人机）中部署基于ML的系统提出了重大挑战。在过去几年中，我们看到大量的出版物提出了越来越多的新的对抗攻击。然而，攻击研究似乎是相当非结构化的，新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中，我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块，我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标，我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联，即语义分割和目标检测。最后，为了证明有用的攻击发生器，我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
Deflecting Adversarial Attacks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
有一个正在进行的循环，即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环，我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此，我们首先提出了一种基于Capsule Networks的更强大的防御，该防御结合了三种检测机制，以在标准和防御感知攻击中实现最先进的检测性能。然后，我们通过进行一项人类研究，要求参与者标记攻击产生的图像，表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”，因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Adversarial Attacks on Gaussian Process Bandits
National University of Singapore（新加坡国立大学）
高斯过程（GP）是一种广泛采用的工具，用于顺序优化黑盒函数，其中评估是昂贵的，并可能有噪音。最近关于GP强盗的研究提出了超越随机噪声的方法，并设计了对对抗性攻击鲁棒的算法。本文从攻击者的角度研究了这个问题，提出了各种对抗性攻击方法，对攻击者的实力和先验信息有不同的假设。我们的目标是从理论和实践的角度来理解GP土匪的对抗性攻击。我们主要集中在有针对性的攻击流行的GP-UCB算法和相关的消除为基础的算法，基于对抗扰动的功能$f$产生另一个功能$\tilde{f}$，其最优值是在一些目标区域$\mathcal{R}_{\rm target}$。在理论分析的基础上，设计了白盒攻击（已知的$f$）和黑盒攻击（未知的$f$），前者包括减法攻击和裁剪攻击，后者包括攻击性减法攻击。我们证明了对GP强盗的对抗性攻击可以成功地迫使算法朝向$\mathcal{R}_{\rm target}$，即使攻击预算很低，并且我们在各种目标函数上测试了我们的攻击的有效性。
2022-06-16 cs.CR cs.LG stat.ML
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中，首先，我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形，并攻击DeepSpeech，这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率（DeepSpeech分类成功率为零）。其次，我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度，并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类，这表明PCA不是音频域中的良好防御机制。最后，我们没有使用PCA作为防御机制，这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下，我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击，并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件，需要在攻击过程中的分类结果。在所有情况下，对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
在这项工作中，我们探讨了对变分自编码器（VAE）的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码（监督攻击）或只是获得完全不同的代码（无监督攻击）。我们研究模型修改（$β$ -VAE，NVAE）对VAE鲁棒性的影响，并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
Adversarial Attack Type I: Cheat Classifiers by Significant Changes
Shanghai Jiao Tong University（上海交通大学）
尽管深度神经网络取得了巨大的成功，但对抗攻击可以通过小的排列来欺骗一些训练有素的分类器。在本文中，我们提出了另一种类型的对抗攻击，可以欺骗分类器的显着变化。例如，我们可以显著地改变一张脸，但训练有素的神经网络仍然可以将敌对的和原始的例子识别为同一个人。从统计学上看，现有的对抗攻击增加了第二类错误，而提出的攻击则针对第一类错误，因此分别将其命名为第二类和第一类对抗攻击。这两种类型的攻击同样重要，但本质上是不同的，这是直观的解释和数值评估。为了实现所提出的攻击，监督变异自动编码器的设计，然后分类器进行攻击，通过更新的潜在变量使用梯度信息。{此外，使用预训练的生成模型，还研究了对潜在空间的I型攻击。实验结果表明，该方法在大规模图像数据集上生成I类对抗样本是实用和有效的。这些生成的例子中的大多数可以通过为防御II型攻击而设计的检测器，并且加强策略仅对特定类型的攻击有效，这两者都意味着I型和II型攻击的根本原因是不同的。
2019-07-22 cs.CV cs.LG stat.ML
The LogBarrier adversarial attack: making effective use of decision boundary information
McGill University（麦吉尔大学）；AIFaster Consulting Inc（艾法斯特咨询公司）
针对图像分类的对抗攻击是对图像的小扰动，其被设计成引起模型的错误分类。对抗攻击形式上对应于一个优化问题：找到一个最小范数图像扰动，约束导致误分类。已经开发了一些有效的攻击。然而，迄今为止，没有基于梯度的攻击使用优化文献中的最佳实践来解决这个约束最小化问题。我们设计了一个新的无针对性的攻击，基于这些最佳实践，使用已建立的对数屏障方法。平均而言，我们的攻击距离类似于或优于基准数据集（MNIST，CIFAR 10，ImageNet-1 K）上的所有最先进的攻击。此外，我们的方法在最具挑战性的图像上表现得更好，这些图像通常需要更大的扰动来进行误分类。我们采用LogBarrier攻击几个adversarially防御模型，并表明它adversarially扰动所有图像比其他攻击更有效：所需的距离扰动所有图像是显着小于与其他国家的最先进的攻击LogBarrier攻击。
2019-03-25 cs.CR cs.LG stat.ML
Automated Discovery of Adaptive Attacks on Adversarial Defenses
ETH Zürich（苏黎世联邦理工学院）；LatticeFlow（LatticeFlow公司）
对抗性防御的可靠评估是一项具有挑战性的任务，目前仅限于手动制造攻击的专家，这些攻击利用防御的内部工作原理或基于固定攻击集合的方法，其中没有一个可能对手头的特定防御有效。我们的关键观察是，自适应攻击是由可重用的构建块，可以在搜索空间中形式化，并用于自动发现未知防御的攻击。我们在24种对抗性防御上评估了我们的方法，并表明它优于AutoAttack，AutoAttack是目前最先进的对抗性防御可靠评估工具：我们的工具通过为10个模型生成3.0 - 50.8%的额外对抗性示例发现了更强的攻击，同时为其余模型获得了强度略强或相似的攻击。
2021-10-27 cs.CV cs.LG stat.ML
An ADMM-Based Universal Framework for Adversarial Attacks on Deep Neural Networks
Northeastern University（东北大学）；IBM Research AI（IBM研究院人工智能部门）
深度神经网络（DNN）是已知的易受对抗攻击的攻击。也就是说，通过在原始合法输入上添加精心制作的扭曲而获得的对抗性示例可以误导DNN将其分类为任何目标标签。在一个成功的对抗攻击中，目标误分类应该以最小的失真来实现。在文献中，增加的失真通常通过L0、L1、L2和L无穷范数来测量，即分别为L0、L1、L2和L无穷攻击。然而，缺乏一个通用的框架，所有类型的对抗攻击。这项工作首次统一了利用ADMM（交替方向乘法器）生成对抗性示例的方法，ADMM是一种算子分裂优化方法，因此L0，L1，L2和L无穷大攻击可以通过这个通用框架有效地实现。与每一类最先进的攻击相比，我们基于ADMM的攻击是迄今为止最强大的，达到了100%的攻击成功率和最小的失真。
2018-04-09 cs.CV cs.LG stat.ML
Gradient Band-based Adversarial Training for Generalized Attack Immunity of A3C Path Finding
Beijing Jiaotong University（北京交通大学）
由于对抗攻击在实践中对人工智能系统的安全性构成严重威胁，因此在计算机视觉应用背景下对这类攻击进行了广泛的研究。然而，很少有人关注自动路径搜索的对抗性研究。在本文中，我们证明了显性对抗示例在针对A3 C路径查找时是有效的，并设计了一种通用显性对抗示例生成方法（CDG）来生成针对任何给定地图的显性对抗示例。此外，本文还提出了基于梯度带的对抗训练方法，该方法采用随机选取的单个优势对抗样本进行训练，不做任何修改，实现了对广义优势对抗样本的“1：N”攻击免疫。大量实验结果表明，CDG算法的最低生成精度为91.91%，基于梯度带的对抗训练算法的最低免疫精度为93.89%，证明该方法能够实现A3 C路径查找的广义攻击免疫，且具有较高的可信度。
2018-07-18 cs.CR cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation（微软公司）；Stanford University（斯坦福大学）
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中，我们提出并分析了一种简单且计算效率高的防御策略：注入随机高斯噪声，离散化每个像素，然后将结果馈送到任何预训练的分类器中。从理论上讲，我们表明，我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧，导致任何分类器对任何（潜在的白盒）$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲，我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上，我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
Minimax Defense against Gradient-based Adversarial Attacks
Aalto University（阿尔托大学）；Perspecta Labs（Perspecta实验室）
最先进的对抗攻击针对的是神经网络分类器。默认情况下，神经网络使用梯度下降来最小化其损失函数。基于梯度的对抗攻击使用分类器损失函数的梯度来生成对抗扰动图像。我们提出了另一种类型的优化是否可以给神经网络分类器的优势的问题。在这里，我们介绍了一种新的方法，使用极大极小优化来挫败基于梯度的对抗攻击。我们的极大极小分类器是生成对抗网络（GAN）的子节点，它与GAN生成器进行极大极小博弈。此外，我们的GAN生成器将所有点投影到与原始流形不同的流形上，因为原始流形可能是对抗攻击的原因。为了衡量我们的极大极小防御的性能，我们使用了对抗攻击- Carlini Wagner（CW），DeepFool，快速梯度符号方法（FGSM）-在三个数据集上：MNIST，CIFAR-10和德国交通标志（TRAFFIC）。针对CW攻击，我们的极大极小防御率达到98.07%（MNIST-默认98.93%），73.90%（CIFAR-10-默认83.14%）和94.54%（TRAFFIC-默认96.97%）。针对DeepFool攻击，我们的minimax防御达到98.87%（MNIST），76.61%（CIFAR-10）和94.57%（TRAFFIC）。针对FGSM攻击，我们实现了97.01%（MNIST），76.79%（CIFAR-10）和81.41%（TRAFFIC）。我们的Minimax对抗方法为神经网络分类器的防…
2020-02-04 cs.GT cs.LG stat.ML
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Is AmI (Attacks Meet Interpretability) Robust to Adversarial Examples?
Google Brain（谷歌大脑）
号
2019-02-06 cs.AI cs.CR cs.LG
Adversarial attacks on Copyright Detection Systems
University of Maryland（马里兰大学）
众所周知，许多机器学习模型容易受到对抗攻击的影响，其中攻击者通过对输入进行小扰动来逃避分类器。本文讨论了工业版权检测工具，在网络上发挥核心作用，是如何容易受到对抗攻击。我们讨论了一系列的版权检测系统，以及为什么他们特别容易受到攻击。这些弱点对于基于神经网络的系统尤其明显。作为概念的证明，我们描述了一个著名的音乐识别方法，并实现该系统的神经网络的形式。然后我们使用简单的梯度方法攻击该系统。以这种方式创建的对抗性音乐成功地欺骗了工业系统，包括AudioTag版权检测器和YouTube的内容ID系统。我们的目标是提高人们对这一领域对抗性示例所构成威胁的认识，并强调加强版权检测系统对攻击的重要性。
2019-06-20 cs.CR cs.LG stat.ML
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而，在黑箱设置下，大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中，从将对抗性示例生成视为一个优化过程的角度出发，我们提出了两种新的方法来提高对抗性示例的可移植性，即Nesterov迭代快速梯度符号方法（NI-FGSM）和尺度不变攻击方法（SIM）。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击，以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现，我们利用它来优化输入图像的尺度副本上的对抗性扰动，以避免白盒模型受到攻击的“过拟合”，并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成，以构建一个强大的基于梯度的攻击，从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明，我们的攻击方法具有更高的可移植性，并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗攻击旨在混淆机器学习系统，同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究，表明像素$p$ -规范的任何$0\le p \le \infty$，和几个替代措施，包括推土机的距离，结构相似性指数，和深网嵌入，不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
Learn2Weight: Parameter Adaptation against Similar-domain Adversarial Attacks
University of Oxford（牛津大学）
针对NLP系统的黑盒对抗攻击最近的工作引起了广泛的关注。以前的黑盒攻击假设攻击者可以根据选定的输入观察目标模型的输出标签。在这项工作中，受对抗可转移性的启发，我们提出了一种新的黑盒NLP对抗攻击，攻击者可以选择一个相似的域，并将对抗示例转移到目标域，导致目标模型的性能较差。基于领域自适应理论，我们提出了一种防御策略，称为Learn2Weight，它训练预测目标模型的权重调整，以抵御相似领域对抗性示例的攻击。使用Amazon多域情感分类数据集，我们实证表明，与对抗性训练和防御蒸馏等标准黑盒防御方法相比，Learn2Weight对攻击是有效的。这项工作有助于增加机器学习安全性的文献。
2022-09-20 cs.LG
Untargeted, Targeted and Universal Adversarial Attacks and Defenses on Time Series
TCS Research（塔塔咨询服务研究院）
基于深度学习的模型容易受到对抗攻击的攻击。在有针对性的攻击中，这些攻击的危害可能会大得多，攻击者不仅试图欺骗深度学习模型，还试图误导模型预测特定的类。此类有针对性和无针对性的攻击是专门针对单个样本量身定制的，并且需要向样本添加难以察觉的噪音。相比之下，通用对抗攻击计算一种特殊的不可感知的噪声，可以将其添加到给定数据集的任何样本中，从而迫使深度学习模型预测错误的类。据我们所知，这些有针对性的和通用的攻击时间序列数据还没有研究在以前的任何作品。在这项工作中，我们对UCR时间序列数据集进行了无针对性、有针对性和通用的对抗攻击。我们的研究结果表明，基于深度学习的时间序列分类模型容易受到这些攻击。我们还表明，通用对抗攻击具有良好的泛化性能，因为它只需要一小部分的训练数据。我们还进行了基于对抗性防御的对抗性训练。我们的研究结果表明，使用快速梯度符号法（FGSM），一个单步的攻击，对抗训练的模型能够抵御FGSM以及基本迭代法（BIM），一种流行的迭代攻击。
2021-01-13 cs.LG
Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
对抗性训练产生针对特定威胁模型的鲁棒模型，例如，$L_\infty$对抗性示例。通常，鲁棒性不会推广到以前看不见的威胁模型，例如，其他$L_p$范数或更大的扰动。我们的置信度校准对抗训练（CCAT）通过将模型偏向于对抗示例的低置信度预测来解决这个问题。通过允许拒绝低置信度的示例，鲁棒性可以推广到训练期间使用的威胁模型之外。仅在$L_\infty$对抗性示例上训练的CCAT提高了对更大的$L_\infty$、$L_2$、$L_1$和$L_0$攻击、对抗性帧、远端对抗性示例和损坏示例的鲁棒性，并且与对抗性训练相比产生更好的干净准确性。为了进行彻底的评估，我们开发了新的白盒和黑盒攻击，通过最大化置信度直接攻击CCAT。对于每种威胁模型，我们使用$7$攻击，最多$50$重启和$5000$迭代，并报告最坏情况下的鲁棒测试错误，扩展到我们的置信阈值设置，在所有攻击中。
2020-06-30 cs.CR cs.CV cs.LG
Sparse and Imperceivable Adversarial Attacks
University of Tübingen（图宾根大学）
神经网络已被证明易受各种对抗攻击的攻击。从安全的角度来看，高度稀疏的对抗攻击尤其危险。另一方面，稀疏攻击的像素级扰动通常很大，因此可以潜在地检测到。我们提出了一种新的黑盒技术来制作对抗性的例子，旨在最大限度地减少$l_0$距离原始图像。大量的实验表明，我们的攻击是更好的或竞争的最先进的。此外，我们可以集成额外的边界上的分量扰动。允许像素仅在高变化区域中变化，并避免沿轴对齐边缘的变化，这使得我们的对抗性示例几乎不可感知。此外，我们适应投影梯度下降攻击的$l_0$ -范数集成组件的约束。这使我们能够进行对抗训练，以增强分类器对稀疏和不可感知的对抗操作的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）
深度强化学习（RL）代理在其观察中容易受到对抗性噪声的影响，这可能会误导其策略并降低其性能。然而，对手可能不仅对减少奖励感兴趣，而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准，衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外，我们引入了一个模型检验方法，使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了（1）我们针对时态逻辑属性进行对抗攻击的指标的质量，以及（2）我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science（印度科学学院）
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降（PGD）在约束集内最大化标准损失（诸如交叉熵损失或最大余量损失）来生成。在这项工作中，我们在标准损失中引入了一个松弛项，找到了更合适的梯度方向，提高了攻击效率，并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击（GAMA），它利用干净图像的函数映射来引导对手的生成，从而产生更强的攻击。我们评估我们的攻击对多种防御，并显示出改进的性能相比，现有的攻击。此外，我们提出了引导对抗训练（GAT），它通过利用所提出的松弛项进行攻击生成和训练，在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
Does Demand Response Increase Vulnerability to Cyber Attacks by Adversarial Data Modifications?
RWTH Aachen University（亚琛工业大学）；University College London（伦敦大学学院）
研究对抗性攻击对工业需求响应决策的影响，设计攻击破坏电价预测模型输出，用广义过程模型研究不同生产调度问题的脆弱性，发现攻击会侵蚀利润，但扰动有限时需求响应仍有优势，且影响取决于扰动方向，应将模型敏感性纳入攻击设计。
2026-07-09 cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
尽管研究界付出了巨大的努力，但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外，鲁棒性评估通常是不精确的，使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策，这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明，目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外，我们观察到，在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果，我们提出了一种新的对抗攻击损失函数，与19个分析模型中的19个相比，该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
ML Attack Models: Adversarial Attacks and Data Poisoning Attacks
University of South Florida（南佛罗里达大学）；Fordham University（福特汉姆大学）
许多最先进的ML模型在各种任务中表现优于人类，例如图像分类。凭借如此出色的性能，ML模型今天被广泛使用。然而，对抗攻击和数据投毒攻击的存在确实质疑了ML模型的鲁棒性。例如，Engstrom等人证明了最先进的图像分类器可以很容易地被任意图像上的小旋转所欺骗。随着机器学习系统越来越多地集成到安全和安全敏感的应用程序中，对抗攻击和数据投毒攻击构成了相当大的威胁。本章重点介绍ML安全的两个广泛而重要的领域：对抗攻击和数据投毒攻击。
2021-12-06 cs.CR cs.LG
Thundernna: a white box adversarial attack
University of Waterloo（滑铁卢大学）
本文提出白盒对抗攻击方法 Thundernna，利用一阶优化生成对抗扰动，相较其他一阶攻击成功率更高，且比二阶及多步一阶攻击更快。
2024-01-21 cs.LG
Adversarial Machine Learning at Scale
Google Brain（谷歌大脑）；OpenAI
对抗性示例是设计用于欺骗机器学习模型的恶意输入。它们经常从一个模型转移到另一个模型，允许攻击者在不知道目标模型参数的情况下发动黑盒攻击。对抗性训练是在对抗性示例上显式训练模型的过程，以使其对攻击更具鲁棒性或减少其在干净输入上的测试错误。到目前为止，对抗训练主要应用于小问题。在这项研究中，我们将对抗训练应用于ImageNet。我们的贡献包括：（1）关于如何成功地将对抗性训练扩展到大型模型和数据集的建议，（2）观察到对抗性训练赋予单步攻击方法鲁棒性，（3）发现多步攻击方法比单步攻击方法的可转移性更低，因此单步攻击是安装黑盒攻击的最佳方法，以及（4）“标签泄漏”效应的解决方案，该效应导致对抗训练的模型在对抗示例上比在干净示例上表现得更好，因为对抗示例构建过程使用真实标签，并且模型可以学习在构建过程中利用标签。
2017-02-11 cs.CR cs.CV cs.LG
Attack-Centric Approach for Evaluating Transferability of Adversarial Samples in Machine Learning Models
Veterans United（退伍军人联合公司）；Ozyegin University（奥兹耶金大学）
对抗样本的可转移性成为一个严重的问题，因为它们会影响机器学习系统部署的可靠性，因为它们会进入许多关键应用程序。了解影响对抗样本可转移性的因素可以帮助专家就如何构建强大可靠的机器学习系统做出明智的决策。本研究的目标是通过以攻击为中心的方法，深入了解对抗性样本可转移性背后的机制。这种以攻击为中心的视角通过评估机器学习攻击（生成它们）对给定输入数据集的影响来解释对抗性样本将如何转移。为了实现这一目标，我们使用攻击者模型生成对抗样本，并将这些样本转移到受害者模型。我们分析了对抗样本在受害者模型上的行为，并概述了四个可能影响对抗样本可转移性的因素。虽然这些因素不一定是详尽的，但它们为机器学习系统的研究人员和实践者提供了有用的见解。
2021-12-03 cs.LG
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University（首尔大学）
Torchattacks是一个PyTorch库，包含对抗攻击，用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University（杜克大学）；Hewlett Packard Labs（惠普实验室）；Air Force Research Lab（美国空军研究实验室）
最近的一些研究表明，深度神经网络（DNN）很容易受到所谓的对抗攻击的攻击，其中输入示例被故意扰动以欺骗DNN。在这项工作中，我们重新审视了DNN训练过程，将对抗性示例包含到训练数据集中，以提高DNN对对抗攻击的弹性，即对抗性训练。我们的实验表明，不同的对抗强度，即，对抗性例子的扰动水平，有不同的工作区来抵抗攻击。在此基础上，提出了一种多强度对抗训练方法（MAT），该方法将具有不同对抗强度的对抗训练样本结合起来，以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发，以促进训练时间和内存占用之间的权衡。我们的研究结果表明，MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI（微软Azure人工智能）；Amazon（亚马逊）
我们研究了一个对抗性多臂强盗的安全威胁，其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明，攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂，但在每一个次线性（T-o（T））轮数，而只会产生次线性（o（T））的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题，例如，在在线推荐中，攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率，因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本，任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配，这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG
Delving into the pixels of adversarial samples
Aalto University（阿尔托大学）
尽管对对抗攻击进行了广泛的研究，但我们不知道对抗攻击如何影响图像像素。了解图像像素如何受到对抗攻击的影响有可能引导我们更好地进行对抗防御。受我们发现的强攻击不会转移的实例的启发，我们深入研究了像素级的对抗示例，以仔细研究对抗攻击如何影响图像像素值。我们考虑了几种ImageNet架构，InceptionV3，VGG19和ResNet50，以及几种强大的攻击。我们发现，攻击可以有不同的效果，在像素级取决于分类器架构。特别是，输入预处理在攻击对像素的影响中起着以前被忽视的作用。基于像素级检查的见解，我们找到了新的方法来检测一些最强的当前攻击。
2021-06-21 cs.CV cs.LG
Detection of Adversarial Attacks and Characterization of Adversarial Subspace
对抗攻击一直是任何数据驱动模型的严重威胁。在本文中，我们探索了酉向量域中对抗性样本的子空间，并提出了一种新的检测器来保护我们为环境声音分类训练的模型。我们测量弦的距离之间的合法和恶意表示的声音在酉空间的广义Schur分解，并表明他们的流形远离对方。我们的前端检测器是一个正则化的逻辑回归，它可以区分合法和对抗谱图的特征值。在三个以声谱图表示的环境声音基准数据集上的实验结果表明，该检测器对八种类型的对抗攻击具有较高的检测率，优于其他检测方法。
2019-10-26 cs.CR cs.LG cs.SD
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Adversarial Imitation Attack
University of Electronic Science Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）
众所周知，深度学习模型容易受到对抗性示例的影响。一个实际的对抗攻击应该需要尽可能少的被攻击模型的知识。目前的替代攻击需要预先训练好的模型来生成对抗性样本，其攻击成功率严重依赖于对抗性样本的可移植性。目前基于分数和基于决策的攻击需要对被攻击模型进行大量的查询。在这项研究中，我们提出了一种新的对抗性模仿攻击。首先，它通过像生成对抗网络（GANs）这样的两人游戏生成被攻击模型的副本。生成模型的目标是生成实例，使模仿模型返回与被攻击模型不同的输出。模仿模型的目标是在相同的输入下输出与被攻击模型相同的标签。然后，利用模仿模型生成的对抗性样本欺骗被攻击模型。与现有的替代攻击相比，模仿攻击可以使用更少的训练数据来生成被攻击模型的副本，提高对抗样本的可移植性。实验结果表明，我们的模仿攻击需要更少的训练数据比黑盒替代攻击，但实现了接近白盒攻击的攻击成功率上看不见的数据，没有查询。
2020-03-31 cs.CR cs.CV cs.LG
Identifying Adversarially Attackable and Robust Samples
University of Cambridge（剑桥大学）
本文提出样本可攻击性概念及基于深度学习的检测器，用于识别未见数据集中最易受对抗攻击的可攻击样本和最不易受影响的鲁棒样本，发现其优于不确定性度量，有助于提升样本选择效率。
2023-06-25 cs.AI cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University（本古里安大学）
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击，并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Adversarial Attacks and Detection on Reinforcement Learning-Based Interactive Recommender Systems
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；University of Adelaide（阿德莱德大学）
对抗攻击对在早期阶段检测对抗攻击提出了重大挑战。我们提出了基于强化学习的交互式推荐系统的攻击不可知检测。我们首先制作对抗性示例以显示其不同的分布，然后通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后，我们研究了对抗性示例的攻击强度和频率，并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明，大多数对抗攻击都是有效的，攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外，我们的黑盒检测器训练与一个手工方法具有推广能力超过几个手工方法。
2020-06-14 cs.CR cs.IR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
