Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research（Facebook AI研究院）
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例，而是搜索由连续值矩阵参数化的对抗性示例分布，从而实现基于梯度的优化。我们的经验表明，我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外，我们证明了一个强大的黑盒传输攻击，通过从对抗分布中采样，匹配或超过现有的方法，而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
Untargeted, Targeted and Universal Adversarial Attacks and Defenses on Time Series
TCS Research（塔塔咨询服务研究院）
基于深度学习的模型容易受到对抗攻击的攻击。在有针对性的攻击中，这些攻击的危害可能会大得多，攻击者不仅试图欺骗深度学习模型，还试图误导模型预测特定的类。此类有针对性和无针对性的攻击是专门针对单个样本量身定制的，并且需要向样本添加难以察觉的噪音。相比之下，通用对抗攻击计算一种特殊的不可感知的噪声，可以将其添加到给定数据集的任何样本中，从而迫使深度学习模型预测错误的类。据我们所知，这些有针对性的和通用的攻击时间序列数据还没有研究在以前的任何作品。在这项工作中，我们对UCR时间序列数据集进行了无针对性、有针对性和通用的对抗攻击。我们的研究结果表明，基于深度学习的时间序列分类模型容易受到这些攻击。我们还表明，通用对抗攻击具有良好的泛化性能，因为它只需要一小部分的训练数据。我们还进行了基于对抗性防御的对抗性训练。我们的研究结果表明，使用快速梯度符号法（FGSM），一个单步的攻击，对抗训练的模型能够抵御FGSM以及基本迭代法（BIM），一种流行的迭代攻击。
2021-01-13 cs.LG
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science（印度科学学院）
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降（PGD）在约束集内最大化标准损失（诸如交叉熵损失或最大余量损失）来生成。在这项工作中，我们在标准损失中引入了一个松弛项，找到了更合适的梯度方向，提高了攻击效率，并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击（GAMA），它利用干净图像的函数映射来引导对手的生成，从而产生更强的攻击。我们评估我们的攻击对多种防御，并显示出改进的性能相比，现有的攻击。此外，我们提出了引导对抗训练（GAT），它通过利用所提出的松弛项进行攻击生成和训练，在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
Does Demand Response Increase Vulnerability to Cyber Attacks by Adversarial Data Modifications?
RWTH Aachen University（亚琛工业大学）；University College London（伦敦大学学院）
研究对抗性攻击对工业需求响应决策的影响，设计攻击破坏电价预测模型输出，用广义过程模型研究不同生产调度问题的脆弱性，发现攻击会侵蚀利润，但扰动有限时需求响应仍有优势，且影响取决于扰动方向，应将模型敏感性纳入攻击设计。
2026-07-09 cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
尽管研究界付出了巨大的努力，但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外，鲁棒性评估通常是不精确的，使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策，这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明，目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外，我们观察到，在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果，我们提出了一种新的对抗攻击损失函数，与19个分析模型中的19个相比，该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
Thundernna: a white box adversarial attack
University of Waterloo（滑铁卢大学）
本文提出白盒对抗攻击方法 Thundernna，利用一阶优化生成对抗扰动，相较其他一阶攻击成功率更高，且比二阶及多步一阶攻击更快。
2024-01-21 cs.LG
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University（首尔大学）
Torchattacks是一个PyTorch库，包含对抗攻击，用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University（杜克大学）；Hewlett Packard Labs（惠普实验室）；Air Force Research Lab（美国空军研究实验室）
最近的一些研究表明，深度神经网络（DNN）很容易受到所谓的对抗攻击的攻击，其中输入示例被故意扰动以欺骗DNN。在这项工作中，我们重新审视了DNN训练过程，将对抗性示例包含到训练数据集中，以提高DNN对对抗攻击的弹性，即对抗性训练。我们的实验表明，不同的对抗强度，即，对抗性例子的扰动水平，有不同的工作区来抵抗攻击。在此基础上，提出了一种多强度对抗训练方法（MAT），该方法将具有不同对抗强度的对抗训练样本结合起来，以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发，以促进训练时间和内存占用之间的权衡。我们的研究结果表明，MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
On Neural Network approximation of ideal adversarial attack and convergence of adversarial training
Purdue University（普渡大学）
本研究将对抗攻击表示为无需梯度计算的可训练函数，证明理论最佳攻击可由分段Hölder函数表示并用神经网络逼近，将对抗训练转化为攻击与防御网络间的博弈，并推导出对抗损失关于样本量的收敛速率。
2023-07-30 cs.LG stat.ML
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH（neurocat有限公司）；Volkswagen AG（大众汽车集团）
大多数最先进的机器学习（ML）分类系统都容易受到对抗性扰动的影响。因此，对抗鲁棒性对在安全和安全关键环境（如自动驾驶、疾病检测或无人机）中部署基于ML的系统提出了重大挑战。在过去几年中，我们看到大量的出版物提出了越来越多的新的对抗攻击。然而，攻击研究似乎是相当非结构化的，新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中，我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块，我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标，我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联，即语义分割和目标检测。最后，为了证明有用的攻击发生器，我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI（微软Azure人工智能）；Amazon（亚马逊）
我们研究了一个对抗性多臂强盗的安全威胁，其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明，攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂，但在每一个次线性（T-o（T））轮数，而只会产生次线性（o（T））的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题，例如，在在线推荐中，攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率，因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本，任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配，这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG
Delving into the pixels of adversarial samples
Aalto University（阿尔托大学）
尽管对对抗攻击进行了广泛的研究，但我们不知道对抗攻击如何影响图像像素。了解图像像素如何受到对抗攻击的影响有可能引导我们更好地进行对抗防御。受我们发现的强攻击不会转移的实例的启发，我们深入研究了像素级的对抗示例，以仔细研究对抗攻击如何影响图像像素值。我们考虑了几种ImageNet架构，InceptionV3，VGG19和ResNet50，以及几种强大的攻击。我们发现，攻击可以有不同的效果，在像素级取决于分类器架构。特别是，输入预处理在攻击对像素的影响中起着以前被忽视的作用。基于像素级检查的见解，我们找到了新的方法来检测一些最强的当前攻击。
2021-06-21 cs.CV cs.LG
Adversarial Attack with Pattern Replacement
East China Normal University（华东师范大学）
我们提出了一个对抗攻击的生成模型。该模型从输入中生成微妙但可预测的模式。为了执行攻击，它将输入的模式替换为基于其他类的示例生成的模式。我们通过攻击MNIST上的CNN来展示我们的模型。
2019-11-25 cs.LG stat.ML
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Identifying Adversarially Attackable and Robust Samples
University of Cambridge（剑桥大学）
本文提出样本可攻击性概念及基于深度学习的检测器，用于识别未见数据集中最易受对抗攻击的可攻击样本和最不易受影响的鲁棒样本，发现其优于不确定性度量，有助于提升样本选择效率。
2023-06-25 cs.AI cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks
Lab41, In-Q-Tel（Lab41，In-Q-Tel）
引入对抗性训练是为了提高深度学习模型对对抗攻击的鲁棒性。这种训练方法提高了对对抗攻击的鲁棒性，但增加了模型对隐私攻击的脆弱性。在这项工作中，我们演示了如何模型反演攻击，直接从模型中提取训练数据，以前被认为是棘手的成为可行的攻击时，一个强大的训练模型。传统训练模型的输入空间由对抗性示例主导--强烈激活某个类但缺乏语义意义的数据点--这使得很难成功进行模型反演攻击。我们使用CIFAR-10数据集在三种不同的模型反演攻击下证明了这种效果，香草梯度下降方法，不同尺度的基于梯度的方法，以及基于生成对抗网络的攻击。
2019-06-15 cs.LG stat.ML
A New Ensemble Adversarial Attack Powered by Long-term Gradient Memories
Shanghai Jiao Tong University（上海交通大学）；MarkableAI Inc.（MarkableAI公司）；Université de Nantes（南特大学）；Alibaba Group（阿里巴巴集团）
深度神经网络容易受到对抗攻击的攻击。
2019-11-18 cs.LG stat.ML
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University（本古里安大学）
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击，并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Tricking Adversarial Attacks To Fail
Aalto University（阿尔托大学）
最近的对抗性防御方法失败了。无针对性的基于梯度的攻击会导致分类器选择任何错误的类。我们新颖的白盒防御技巧使非目标攻击成为针对指定目标类的攻击。从这些目标类中，我们可以派生出真正的类。我们的目标训练防御欺骗了无目标的、基于梯度的对抗攻击核心的最小化：最小化（1）扰动和（2）分类器对抗损失的总和。目标训练最小程度地改变分类器，并使用标记有指定类的额外重复点（距离为0）对其进行训练。这些不同标记的复制样本使最小化的项（1）和（2）两者最小化，从而将攻击收敛引导到指定类别的样本，从中导出正确的分类。重要的是，目标训练消除了了解攻击的需要，以及生成对抗性攻击样本的开销，从而最大限度地减少干扰。我们在CIFAR 10中获得了CW-L2（置信度=0）的86.2%的准确率，甚至超过了非对抗性样本的不安全分类器准确率。目标训练提出了对抗性防御策略的根本变化。
2020-06-08 cs.LG stat.ML
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Algebraic Adversarial Attacks on Explainability Models
School of Electrical and Mechanical Engineering, The University of Adelaide（阿德莱德大学电气与机械工程学院）；School of Computer and Mathematical Sciences, The University of Adelaide（阿德莱德大学计算机与数学科学学院）；Information Sciences Division, Defence Science & Technology Group（国防科学技术集团信息科学部）
针对约束优化式对抗攻击缺乏可追溯性的问题，提出基于几何深度学习与神经网络对称群分析的代数攻击方法，用于生成事后可解释性模型的可数学处理对抗样本，并在三个数据集上验证。
2025-03-16 cs.LG math.GR
Multi-Task Adversarial Attack
Southern University of Science and Technology（南方科技大学）
深度神经网络在各个领域都取得了令人印象深刻的性能，但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而，在实际应用中，往往需要同时针对不同的任务攻击多个模型。为此，我们提出了多任务对抗攻击（MTA），这是一个统一的框架，可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例，这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说，MTA使用对抗扰动生成器，该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器，MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外，所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明，与单任务相比，MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
ROOM: Adversarial Machine Learning Attacks Under Real-Time Constraints
IEMN-DOAE, UMR CNRS 8520 Polytechnic University Hauts-De-France（法国上法兰西理工大学 IEMN-DOAE, UMR CNRS 8520）；George Mason University（乔治梅森大学）；University of California Riverside（加州大学河滨分校）
深度学习的进步已经实现了广泛的有前途的应用。然而，这些系统容易受到对抗性机器学习（AML）攻击;对输入的恶意干扰可能导致它们错误分类。一些最先进的对抗攻击已经证明，它们可以可靠地欺骗分类器，使这些攻击成为一个重大的威胁。对抗攻击生成算法主要集中在创建成功的例子，同时控制噪声的大小和分布，使检测更加困难。这些攻击的基本假设是，对抗性噪声是离线生成的，因此执行时间是次要考虑因素。然而，最近，攻击者机会主义地在运行中生成对抗性示例的即时对抗攻击已被证明是可能的。本文提出了一个新的问题：如何在实时的【形】约束下产生对抗性噪声来支持这种实时的【形】对抗攻击？理解这个问题可以提高我们对这些攻击对实时的【形】系统构成的威胁的理解，并为未来的防御提供安全评估基准。因此，我们首先对对抗生成算法进行运行时分析。通用攻击离线产生通用攻击，没有在线开销，并且可以应用于任何输入;然而，由于其通用性，其成功率有限。相比之下，在线算法，工作在一个特定的输入，是计算昂贵的，使他们不适合在时间限制下的操作。因此，我们提出了ROOM，一种新的实时的【形】在线离线攻击构造模型，其中离线组件用于预热在线算法，使得在时间限制下生成非常成功的攻击成为可能。
2022-01-05 cs.CR cs.LG
Attacking Motion Estimation with Adversarial Snow
University of Stuttgart（斯图加特大学）
当前用于运动估计（光流）的对抗攻击优化小的每像素扰动，这不太可能出现在现实世界中。相比之下，我们利用现实世界的天气现象进行新的攻击，并对雪进行了优化。在我们的攻击的核心是一个可区分的渲染器，一贯集成真实感雪花与现实运动到3D场景。通过优化，我们得到了对抗雪，显着影响光流，而从普通的雪是无法区分的。令人惊讶的是，我们的新攻击的影响是最大的方法，以前表现出高鲁棒性小L_p扰动。
2022-10-20 cs.CV cs.LG
Attacking Adversarial Attacks as A Defense
Tencent（腾讯）；Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；University of Munich（慕尼黑大学）
众所周知，对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性，但防御失败的情况仍然广泛存在。在这项工作中，我们发现，对抗攻击也可以容易受到小扰动。也就是说，在对抗性训练的模型上，用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后，我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发，我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类，具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上，它将最先进的模型从66.16%提高到72.66%，对抗AutoAttack的四种攻击，其中包括71.76%到83.30%的Square攻击。在ImageNet上，FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
Delving into adversarial attacks on deep policies
National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）
对抗性示例已被证明存在于各种深度学习架构中。深度强化学习在直接基于原始输入（如图像像素）训练代理策略方面显示出了有希望的结果。在本文中，我们提出了一项针对深度强化学习策略的对抗性攻击的新研究。我们使用对抗性示例与随机噪声比较了攻击的有效性。我们提出了一种新的方法，用于减少成功攻击所需注入的对抗性示例的次数，该方法基于值函数。我们进一步探讨了随机噪声和FGSM扰动的重新训练如何影响对抗性示例的弹性。
2017-05-18 cs.LG stat.ML
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence（清华大学脑与智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
深度神经网络容易受到对抗性示例的攻击，由于潜在的严重后果，这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而，现有的大多数对抗攻击只能欺骗黑盒模型，成功率很低。为了解决这个问题，我们提出了一个广泛的基于动量的迭代算法，以提高对抗攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中摆脱糟糕的局部最大值，从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用于一组模型，并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法，我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Probabilistic Categorical Adversarial Attack & Adversarial Training
Michigan State University（密歇根州立大学）；Jinan University（暨南大学）
针对分类数据对抗样本生成效率低的问题，提出将离散优化转为连续问题的PCAA攻击方法，理论验证其优势，并基于此构建高效对抗训练框架，实验证明攻击与防御算法均有效。
2023-11-06 cs.CR cs.LG
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University（九州大学）
本文综述了对抗性机器学习中的对抗性攻击分类与理解，并概述现有防御方法的局限性，为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University（广州大学）；Cyberspace Institute of Advanced Technology（网络空间先进技术研究院）
最近的研究表明，深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成，而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设（例如，敌对示例的词频、攻击方法的扰动水平）。然而，这限制了检测方法的适用性。为此，我们提出了TREATED，一种通用的对抗检测方法，可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明，我们的方法比基线具有更好的检测性能。我们最后进行消融研究，以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University（上海交通大学）
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用，并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明，经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外，与正常训练的DNN相比，对抗训练的DNN具有更多的成分，这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
A Simple Yet Efficient Method for Adversarial Word-Substitute Attack
The Hong Kong University of Science and Technology（香港科技大学）
NLP研究人员提出了不同的单词替代黑盒攻击，可以欺骗文本分类模型。在这种攻击中，攻击者不断向目标模型发送精心制作的对抗性查询，直到它能够成功实现预期的结果。最先进的攻击方法通常需要数百或数千个查询才能找到一个对抗性示例。在本文中，我们研究了一个复杂的对手是否可以攻击系统少得多的查询。我们提出了一个简单而有效的方法，可以减少3-30倍的平均数量的对抗性查询，并保持攻击的有效性。这项研究强调，对手可以以更低的成本欺骗深度NLP模型。
2022-05-07 cs.AI cs.CL
Deflecting Adversarial Attacks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
有一个正在进行的循环，即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环，我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此，我们首先提出了一种基于Capsule Networks的更强大的防御，该防御结合了三种检测机制，以在标准和防御感知攻击中实现最先进的检测性能。然后，我们通过进行一项人类研究，要求参与者标记攻击产生的图像，表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”，因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
Adversarial attacks on an optical neural network
Peng Cheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
针对数字领域的深度学习等机器学习系统，人们已经广泛研究了对抗攻击。然而，针对光学神经网络的对抗攻击却很少被研究。在这项工作中，我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪（MZI）。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似，但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明，对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
A Robust Adversarial Network-Based End-to-End Communications System With Strong Generalization Ability Against Adversarial Attacks
Stevens Institute of Technology（史蒂文斯理工学院）；Oklahoma State University（俄克拉荷马州立大学）
我们提出了一种新的防御机制的基础上生成对抗网络（GAN）的框架，以抵御对抗攻击在端到端的通信系统。具体来说，我们利用生成网络来模拟一个强大的对手，并使端到端的通信系统，以打击生成攻击网络通过极大极小博弈。我们表明，该系统不仅可以很好地对抗白盒和黑盒对抗攻击，但也具有良好的泛化能力，保持良好的性能下没有攻击。我们还表明，我们基于GAN的端到端系统优于传统的通信系统和有/没有对抗训练的端到端通信系统。
2021-03-03 cs.AI cs.LG eess.SP
CAMA: Exploring Collusive Adversarial Attacks in c-MARL
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；UCAS（中国科学技术大学）；Beihang University（北京航空航天大学）
本文提出CAMA框架，研究c-MARL中的共谋对抗攻击，提出三种新型攻击模式，从理论和实践角度分析攻击效果，并通过实验验证其协同效应和隐蔽性。
2026-03-20 cs.AI cs.LG
TA3: Testing Against Adversarial Attacks on Machine Learning Models
University of Oxford（牛津大学）
该研究设计开发了交互式对抗攻击测试系统TA3，通过人在回路实现人工引导攻击模拟与可视化攻击影响评估，当前版本聚焦决策树的单像素攻击测试，验证了人在回路在ML测试中的价值与拓展潜力。
2024-10-06 cs.CR cs.LG
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications（北京邮电大学）
深度神经网络（DNN）对对抗攻击的微小扰动很敏感，这会导致错误的预测。近年来，已经开发了各种方法来克服对抗攻击，包括对抗防御和不确定性推理（UI）。在本文中，我们提出了一个多头不确定性推理（MH-UI）框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构（即，分类器）以从DNN中的不同深度获得预测，并为UI引入浅层信息。利用不同深度的独立水头，假设归一化预测服从同一Dirichlet分布，并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明，在不同的设置下，所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
A Practical Adversarial Attack on Contingency Detection of Smart Energy Systems
Purdue University（普渡大学）
随着计算和传感技术的发展，深度学习在智能能源系统中得到了广泛的应用。这些基于DL的解决方案已经证明了它们在提高控制系统的有效性和适应性方面的潜力。然而，近年来，越来越多的证据表明，DL技术可以通过精心设计的扰动被对抗攻击操纵。对抗攻击已经在计算机视觉和自然语言处理中进行了研究。然而，有非常有限的工作集中在能源系统中的对抗攻击部署和缓解。在这方面，为了更好地准备SES对潜在的对抗性攻击，我们提出了一个创新的对抗攻击模型，可以实际上妥协的能源系统的动态控制。我们还通过采用深度强化学习（RL）技术优化了所提出的对抗攻击模型的部署。在本文中，我们提出了我们的第一阶段工作在这个方向。在仿真部分，我们使用标准IEEE 9节点系统评估我们提出的对抗攻击模型的性能。
2021-09-13 cs.LG cs.SY eess.SY
Towards Feature Space Adversarial Attack
我们提出了一种新的针对深度神经网络的对抗攻击，用于图像分类。与大多数直接干扰输入像素的现有攻击不同，我们的攻击侧重于干扰抽象特征，更具体地说，表示样式的特征，包括可解释的样式，如鲜艳的颜色和清晰的轮廓，以及不可解释的样式。它通过优化过程注入不可察觉的风格变化来诱导模型错误分类。我们表明，我们的攻击可以生成比最先进的无界攻击更自然的对抗样本。实验还表明，现有的像素空间对抗攻击检测和防御技术很难保证在风格相关特征空间的鲁棒性。
2020-12-16 cs.CV cs.LG eess.IV
Adversarial Attacks for Multi-view Deep Models
East China Normal University（华东师范大学）；Tongji University（同济大学）
最近的研究强调了许多深度机器学习模型在对抗性示例中的脆弱性。对抗攻击是一种在模型部署前对其安全性和鲁棒性进行评估的方法，因此受到越来越多的关注。然而，据我们所知，目前还没有针对多视图深度模型的对抗攻击的具体研究。本文提出了两种多视图攻击策略：两阶段攻击（TSA）和端到端攻击（ETEA）。在目标多视图模型所基于的单视图模型已知的假设下，我们首先提出了TSA策略。TSA的主要思想是通过攻击相关联的单视图模型生成对抗性示例来攻击多视图模型，从而将现有的单视图攻击方法直接扩展到多视图场景。在此基础上，进一步提出了多视图模型公开时的ETEA策略。利用ETEA算法实现了对目标多视图模型的直接攻击，提出了三种有效的多视图攻击方法。最后，基于对抗性攻击在不同模型间具有较好的泛化性，以多视图卷积神经网络的对抗攻击为例，验证了所提出的多视图攻击方法的有效性。大量的实验结果表明，我们的多视图攻击策略能够攻击多视图深度模型，我们还发现，多视图模型比单视图模型更强大。
2020-06-19 cs.LG stat.ML
Adversarial attacks against Bayesian forecasting dynamic models
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所 (ICMAT-CSIC)）
在过去的十年里，对抗性机器学习（AML）兴起。这门学科研究如何操纵数据以欺骗推理引擎，以及如何保护这些系统免受此类操纵攻击。针对回归和分类系统的攻击已经有了大量的工作，而针对时间序列预测系统的攻击却很少受到关注。在本文中，我们提出了一个基于决策分析的攻击策略，可用于对贝叶斯预测动态模型。
2021-10-20 cs.LG stat.ML
Can We Mitigate Backdoor Attack Using Adversarial Detection Methods?
Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）
众所周知，深度神经网络容易受到对抗攻击和后门攻击的攻击，其中对输入的微小修改能够误导模型给出错误的结果。虽然对对抗攻击的防御已经进行了广泛的研究，但对减轻后门攻击的研究仍处于早期阶段。目前还不清楚这两种攻击的防御之间是否有任何联系和共同特征。我们对深度神经网络的对抗性示例和后门示例之间的联系进行了全面的研究，以寻求回答这个问题：我们可以使用对抗性检测方法检测后门吗？我们的见解是基于这样的观察，即对抗性示例和后门示例在推理过程中都有异常，与良性样本高度区分。因此，我们修改了四个现有的对抗性防御方法检测后门的例子。广泛的评估表明，这些方法提供了可靠的保护，防止后门攻击，具有更高的准确性比检测敌对的例子。这些解还揭示了对抗样本、后门样本和正常样本在模型敏感性、激活空间和特征空间中的关系。这能够增强我们对这两种攻击的内在特征和防御机会的理解。
2022-07-28 cs.LG stat.ML
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时，这是非常具有挑战性的，因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性，则更有可能将攻击能力转移到其他模型的假设，基于集合的对抗攻击方法是一种有效的黑盒攻击方法，被广泛应用。然而，集成攻击的方式是相当少的研究，和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中，我们把迭代集成攻击作为一个随机梯度下降优化过程，在不同的模型上的梯度的方差可能会导致不良的局部最优。为此，我们提出了一种新的攻击方法称为随机方差减少集成（SVRE）攻击，它可以减少集成模型的梯度方差，并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明，该方法可以提高对抗性可转移性，并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
