A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University（九州大学）
本文综述了对抗性机器学习中的对抗性攻击分类与理解，并概述现有防御方法的局限性，为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University（上海交通大学）
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用，并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明，经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外，与正常训练的DNN相比，对抗训练的DNN具有更多的成分，这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
A Robust Adversarial Network-Based End-to-End Communications System With Strong Generalization Ability Against Adversarial Attacks
Stevens Institute of Technology（史蒂文斯理工学院）；Oklahoma State University（俄克拉荷马州立大学）
我们提出了一种新的防御机制的基础上生成对抗网络（GAN）的框架，以抵御对抗攻击在端到端的通信系统。具体来说，我们利用生成网络来模拟一个强大的对手，并使端到端的通信系统，以打击生成攻击网络通过极大极小博弈。我们表明，该系统不仅可以很好地对抗白盒和黑盒对抗攻击，但也具有良好的泛化能力，保持良好的性能下没有攻击。我们还表明，我们基于GAN的端到端系统优于传统的通信系统和有/没有对抗训练的端到端通信系统。
2021-03-03 cs.AI cs.LG eess.SP
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University（密歇根州立大学）
在对抗攻击下，时间序列回归和分类是脆弱的。另一方面，对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中，各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行，具有三个对抗攻击和一个对抗防御。根据调查结果，所有模型，特别是GRU和RNN，似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
Grey-box Adversarial Attack And Defence For Sentiment Classification
IBM Research（IBM研究院）；University of Melbourne（墨尔本大学）
我们介绍了一个灰盒对抗攻击和防御框架的情绪分类。我们在一个统一的框架中解决了对抗攻击和防御的可微性，标签保存和输入重建问题。我们的研究结果表明，一旦经过训练，攻击模型能够比最先进的攻击方法更快地生成高质量的对抗性示例（时间上少一个数量级）。这些例子还根据人类评价保留了原始情感。此外，我们的框架产生了一个改进的分类器，是强大的防御多种对抗性攻击方法。代码可从以下网址获得：https://github.com/ibm-aur-nlp/adv-def-text-dist。
2021-03-22 cs.AI cs.CL cs.LG
Adversarial Attacks and Defense Methods for Power Quality Recognition
Air Traffic Control and Navigation College, Air Force Engineering University（空军工程大学空管领航学院）；Information and Navigation College, Air Force Engineering University（空军工程大学信息与导航学院）；Henan University of Technology（河南工业大学）
各种机器学习方法对对抗性示例的脆弱性最近在文献中进行了探索。使用这些脆弱方法的电力系统面临着对抗性示例的巨大威胁。为此，我们首先提出了一个信号特定的方法和一个通用的信号不可知的方法来攻击电力系统使用生成的对抗性的例子。本文还提出了基于可传递特征的黑盒攻击和上述两种方法，并对它们进行了评价。然后，我们采用对抗训练来保护系统免受对抗攻击。实验分析表明，我们的信号特定的攻击方法相比，FGSM（快速梯度符号法）提供更少的扰动，我们的信号不可知的攻击方法可以产生干扰欺骗大多数自然信号的概率很高。此外，基于通用信号无关算法的攻击方法比基于特定信号算法的攻击方法具有更高的黑盒攻击的传送率。此外，结果表明，所提出的对抗性训练提高了电力系统对抗性的例子的鲁棒性。
2022-02-11 cs.AI cs.CR cs.LG
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护（CBM）策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态，而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本，并研究了CBM系统在攻击下的性能。研究结果表明，CBM系统容易受到对抗性机器学习攻击，需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
On the reversibility of adversarial attacks
Queen Mary University of London（伦敦玛丽女王大学）
对抗攻击通过扰动来修改图像，从而改变分类器的预测。这些修改后的图像被称为对抗性示例，暴露了深度神经网络分类器的漏洞。在本文中，我们研究了原始图像预测的类与其相应的对抗性示例之间的映射的可预测性。这种可预测性与恢复原始预测的可能性有关，从而扭转了诱导的错误分类。我们将此属性称为对抗攻击的可逆性，并将可逆性量化为检索对抗示例的原始类或真实类的准确性。我们提出了一种方法，逆转的对抗攻击的分类器上使用的分类结果的先验集的效果。我们分析了最先进的对抗攻击对基准分类器的可逆性，并讨论了影响可逆性的因素。
2022-06-01 cs.AI cs.CR cs.LG
Fool the Stoplight: Realistic Adversarial Patch Attacks on Traffic Light Detectors
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Department of Technical Cognitive Systems（技术认知系统系）；FZI Research Center for Information Technology（信息技术研究所以）
本文提出在交通信号灯下方放置打印对抗补丁的攻击方法，实现对交通信号灯检测CNN的红转绿标签翻转和图形符号分类攻击，并通过真实世界实验验证其有效性。
2025-06-05 cs.CV cs.LG
Darknet Traffic Classification and Adversarial Attacks
San Jose State University（圣何塞州立大学）
暗网的匿名性通常被用于非法活动。之前的研究已经采用了机器学习和深度学习技术来自动检测暗网流量，试图阻止这些犯罪活动。这项研究旨在通过评估支持向量机（SVM），随机森林（RF），卷积神经网络（CNN）和分类器生成对抗网络（AC-GAN）来改进暗网流量检测，以分类此类流量和底层应用类型。我们发现，我们的RF模型优于CIC-Darknet 2020数据集先前工作中使用的最先进的机器学习技术。为了评估我们的RF分类器的鲁棒性，我们混淆选择应用程序类型类来模拟现实的对抗攻击场景。我们证明了我们的最佳性能分类器可以被这样的攻击击败，我们考虑的方法来处理这种对抗攻击。
2022-06-12 cs.CR cs.LG
Learn2Weight: Parameter Adaptation against Similar-domain Adversarial Attacks
University of Oxford（牛津大学）
针对NLP系统的黑盒对抗攻击最近的工作引起了广泛的关注。以前的黑盒攻击假设攻击者可以根据选定的输入观察目标模型的输出标签。在这项工作中，受对抗可转移性的启发，我们提出了一种新的黑盒NLP对抗攻击，攻击者可以选择一个相似的域，并将对抗示例转移到目标域，导致目标模型的性能较差。基于领域自适应理论，我们提出了一种防御策略，称为Learn2Weight，它训练预测目标模型的权重调整，以抵御相似领域对抗性示例的攻击。使用Amazon多域情感分类数据集，我们实证表明，与对抗性训练和防御蒸馏等标准黑盒防御方法相比，Learn2Weight对攻击是有效的。这项工作有助于增加机器学习安全性的文献。
2022-09-20 cs.LG
Evaluating Resilience of Encrypted Traffic Classification Against Adversarial Evasion Attacks
Carleton University（卡尔顿大学）
机器学习和深度学习算法可用于对加密的互联网流量进行分类。在存在针对学习算法的对抗攻击的情况下，加密流量的分类可能变得更具挑战性。在本文中，我们将重点研究不同规避攻击的有效性，并了解机器和深度学习算法的弹性。即，我们测试了C4.5决策树，K-最近邻（KNN），人工神经网络（ANN），卷积神经网络（CNN）和递归神经网络（RNN）。在我们的大多数实验结果中，与机器学习相比，深度学习对对抗性样本表现出更好的弹性。然而，攻击的影响因攻击类型而异。
2021-05-30 cs.AI cs.CR
Robust Spatiotemporal Traffic Forecasting with Reinforced Dynamic Adversarial Training
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对时空交通预测模型易受动态对抗攻击的问题，提出强化学习驱动的动态对抗训练框架与自知识蒸馏模块，有效增强模型防御能力并缓解过拟合与遗忘问题。
2023-06-25 cs.LG eess.SP
Adversarial Attacks on Traffic Sign Recognition: A Survey
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文综述针对交通标志检测与分类模型的数字及真实世界对抗攻击研究，梳理最新进展并指出未来需深入探索的方向。
2023-07-17 cs.CR cs.CV cs.LG
Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research（Facebook AI研究院）
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例，而是搜索由连续值矩阵参数化的对抗性示例分布，从而实现基于梯度的优化。我们的经验表明，我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外，我们证明了一个强大的黑盒传输攻击，通过从对抗分布中采样，匹配或超过现有的方法，而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
Untargeted, Targeted and Universal Adversarial Attacks and Defenses on Time Series
TCS Research（塔塔咨询服务研究院）
基于深度学习的模型容易受到对抗攻击的攻击。在有针对性的攻击中，这些攻击的危害可能会大得多，攻击者不仅试图欺骗深度学习模型，还试图误导模型预测特定的类。此类有针对性和无针对性的攻击是专门针对单个样本量身定制的，并且需要向样本添加难以察觉的噪音。相比之下，通用对抗攻击计算一种特殊的不可感知的噪声，可以将其添加到给定数据集的任何样本中，从而迫使深度学习模型预测错误的类。据我们所知，这些有针对性的和通用的攻击时间序列数据还没有研究在以前的任何作品。在这项工作中，我们对UCR时间序列数据集进行了无针对性、有针对性和通用的对抗攻击。我们的研究结果表明，基于深度学习的时间序列分类模型容易受到这些攻击。我们还表明，通用对抗攻击具有良好的泛化性能，因为它只需要一小部分的训练数据。我们还进行了基于对抗性防御的对抗性训练。我们的研究结果表明，使用快速梯度符号法（FGSM），一个单步的攻击，对抗训练的模型能够抵御FGSM以及基本迭代法（BIM），一种流行的迭代攻击。
2021-01-13 cs.LG
PLAA: Packet-level Adversarial Attacks in Network Traffic Detection
National Key Research and Development Program of China（国家重点研发计划）；Beijing Natural Science Foundation（北京市自然科学基金）；Fundamental Research Funds for the Central Universities（中央高校基本科研业务费）；National Natural Science Foundation of China（国家自然科学基金）
针对现有对抗攻击生成无效流量或丢失语义的问题，提出数据包级增量生成方法，在CIC-UNSW-NB15等数据集上平均逃逸率92.78%，且保持语义一致。
2026-06-26 cs.AI cs.CR
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science（印度科学学院）
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降（PGD）在约束集内最大化标准损失（诸如交叉熵损失或最大余量损失）来生成。在这项工作中，我们在标准损失中引入了一个松弛项，找到了更合适的梯度方向，提高了攻击效率，并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击（GAMA），它利用干净图像的函数映射来引导对手的生成，从而产生更强的攻击。我们评估我们的攻击对多种防御，并显示出改进的性能相比，现有的攻击。此外，我们提出了引导对抗训练（GAT），它通过利用所提出的松弛项进行攻击生成和训练，在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
Optimal Cost Constrained Adversarial Attacks For Multiple Agent Systems
University of Iowa（爱荷华大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对分布式多智能体攻击场景，本文形式化了攻击者—受害方配对具有不同成本约束的最优智能体间对抗攻击问题，并结合静态资源分配与动态规划实现最优攻击。
2023-11-01 cs.AI cs.CR cs.LG
Does Demand Response Increase Vulnerability to Cyber Attacks by Adversarial Data Modifications?
RWTH Aachen University（亚琛工业大学）；University College London（伦敦大学学院）
研究对抗性攻击对工业需求响应决策的影响，设计攻击破坏电价预测模型输出，用广义过程模型研究不同生产调度问题的脆弱性，发现攻击会侵蚀利润，但扰动有限时需求响应仍有优势，且影响取决于扰动方向，应将模型敏感性纳入攻击设计。
2026-07-09 cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
尽管研究界付出了巨大的努力，但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外，鲁棒性评估通常是不精确的，使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策，这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明，目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外，我们观察到，在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果，我们提出了一种新的对抗攻击损失函数，与19个分析模型中的19个相比，该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University（杜克大学）；Hewlett Packard Labs（惠普实验室）；Air Force Research Lab（美国空军研究实验室）
最近的一些研究表明，深度神经网络（DNN）很容易受到所谓的对抗攻击的攻击，其中输入示例被故意扰动以欺骗DNN。在这项工作中，我们重新审视了DNN训练过程，将对抗性示例包含到训练数据集中，以提高DNN对对抗攻击的弹性，即对抗性训练。我们的实验表明，不同的对抗强度，即，对抗性例子的扰动水平，有不同的工作区来抵抗攻击。在此基础上，提出了一种多强度对抗训练方法（MAT），该方法将具有不同对抗强度的对抗训练样本结合起来，以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发，以促进训练时间和内存占用之间的权衡。我们的研究结果表明，MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
On Neural Network approximation of ideal adversarial attack and convergence of adversarial training
Purdue University（普渡大学）
本研究将对抗攻击表示为无需梯度计算的可训练函数，证明理论最佳攻击可由分段Hölder函数表示并用神经网络逼近，将对抗训练转化为攻击与防御网络间的博弈，并推导出对抗损失关于样本量的收敛速率。
2023-07-30 cs.LG stat.ML
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH（neurocat有限公司）；Volkswagen AG（大众汽车集团）
大多数最先进的机器学习（ML）分类系统都容易受到对抗性扰动的影响。因此，对抗鲁棒性对在安全和安全关键环境（如自动驾驶、疾病检测或无人机）中部署基于ML的系统提出了重大挑战。在过去几年中，我们看到大量的出版物提出了越来越多的新的对抗攻击。然而，攻击研究似乎是相当非结构化的，新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中，我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块，我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标，我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联，即语义分割和目标检测。最后，为了证明有用的攻击发生器，我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI（微软Azure人工智能）；Amazon（亚马逊）
我们研究了一个对抗性多臂强盗的安全威胁，其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明，攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂，但在每一个次线性（T-o（T））轮数，而只会产生次线性（o（T））的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题，例如，在在线推荐中，攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率，因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本，任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配，这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG
Delving into the pixels of adversarial samples
Aalto University（阿尔托大学）
尽管对对抗攻击进行了广泛的研究，但我们不知道对抗攻击如何影响图像像素。了解图像像素如何受到对抗攻击的影响有可能引导我们更好地进行对抗防御。受我们发现的强攻击不会转移的实例的启发，我们深入研究了像素级的对抗示例，以仔细研究对抗攻击如何影响图像像素值。我们考虑了几种ImageNet架构，InceptionV3，VGG19和ResNet50，以及几种强大的攻击。我们发现，攻击可以有不同的效果，在像素级取决于分类器架构。特别是，输入预处理在攻击对像素的影响中起着以前被忽视的作用。基于像素级检查的见解，我们找到了新的方法来检测一些最强的当前攻击。
2021-06-21 cs.CV cs.LG
Synthesis of Adversarial DDOS Attacks Using Tabular Generative Adversarial Networks
网络入侵检测系统（NIDS）是广泛用于维护计算机网络和信息系统的工具或软件，当有人试图闯入系统时，它们会标记，以保持它们的安全并防止恶意流量渗透到它们中。然而，随着攻击技术的不断发展，新的攻击类型也越来越多，其中一种是基于生成对抗网络（GAN）的攻击，它可以逃避机器学习IDS，使它们变得脆弱。本项目研究使用GANs生成的真实DDoS攻击合成的对抗攻击对IDS的影响。我们的目标是发现这些系统将如何对合成攻击作出反应。标记出这些系统的弱点和弱点，以便我们修复它们。
2022-12-14 cs.AI cs.CR
Adversarial Attack with Pattern Replacement
East China Normal University（华东师范大学）
我们提出了一个对抗攻击的生成模型。该模型从输入中生成微妙但可预测的模式。为了执行攻击，它将输入的模式替换为基于其他类的示例生成的模式。我们通过攻击MNIST上的CNN来展示我们的模型。
2019-11-25 cs.LG stat.ML
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
A Hybrid Quantum-Classical AI-Based Detection Strategy for Generative Adversarial Network-Based Deepfake Attacks on an Autonomous Vehicle Traffic Sign Classification System
National Center for Transportation Cybersecurity and Resiliency（国家交通网络安全与弹性中心）；Clemson University（克莱姆森大学）
本研究针对自动驾驶车辆交通标志分类系统的生成对抗网络Deepfake攻击，提出一种利用振幅编码的混合量子-经典神经网络检测策略，在保持相似或更高性能的同时大幅降低了内存需求。
2024-09-25 cs.AI cs.ET
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks
Lab41, In-Q-Tel（Lab41，In-Q-Tel）
引入对抗性训练是为了提高深度学习模型对对抗攻击的鲁棒性。这种训练方法提高了对对抗攻击的鲁棒性，但增加了模型对隐私攻击的脆弱性。在这项工作中，我们演示了如何模型反演攻击，直接从模型中提取训练数据，以前被认为是棘手的成为可行的攻击时，一个强大的训练模型。传统训练模型的输入空间由对抗性示例主导--强烈激活某个类但缺乏语义意义的数据点--这使得很难成功进行模型反演攻击。我们使用CIFAR-10数据集在三种不同的模型反演攻击下证明了这种效果，香草梯度下降方法，不同尺度的基于梯度的方法，以及基于生成对抗网络的攻击。
2019-06-15 cs.LG stat.ML
A New Ensemble Adversarial Attack Powered by Long-term Gradient Memories
Shanghai Jiao Tong University（上海交通大学）；MarkableAI Inc.（MarkableAI公司）；Université de Nantes（南特大学）；Alibaba Group（阿里巴巴集团）
深度神经网络容易受到对抗攻击的攻击。
2019-11-18 cs.LG stat.ML
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University（本古里安大学）
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击，并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
Tricking Adversarial Attacks To Fail
Aalto University（阿尔托大学）
最近的对抗性防御方法失败了。无针对性的基于梯度的攻击会导致分类器选择任何错误的类。我们新颖的白盒防御技巧使非目标攻击成为针对指定目标类的攻击。从这些目标类中，我们可以派生出真正的类。我们的目标训练防御欺骗了无目标的、基于梯度的对抗攻击核心的最小化：最小化（1）扰动和（2）分类器对抗损失的总和。目标训练最小程度地改变分类器，并使用标记有指定类的额外重复点（距离为0）对其进行训练。这些不同标记的复制样本使最小化的项（1）和（2）两者最小化，从而将攻击收敛引导到指定类别的样本，从中导出正确的分类。重要的是，目标训练消除了了解攻击的需要，以及生成对抗性攻击样本的开销，从而最大限度地减少干扰。我们在CIFAR 10中获得了CW-L2（置信度=0）的86.2%的准确率，甚至超过了非对抗性样本的不安全分类器准确率。目标训练提出了对抗性防御策略的根本变化。
2020-06-08 cs.LG stat.ML
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
Algebraic Adversarial Attacks on Explainability Models
School of Electrical and Mechanical Engineering, The University of Adelaide（阿德莱德大学电气与机械工程学院）；School of Computer and Mathematical Sciences, The University of Adelaide（阿德莱德大学计算机与数学科学学院）；Information Sciences Division, Defence Science & Technology Group（国防科学技术集团信息科学部）
针对约束优化式对抗攻击缺乏可追溯性的问题，提出基于几何深度学习与神经网络对称群分析的代数攻击方法，用于生成事后可解释性模型的可数学处理对抗样本，并在三个数据集上验证。
2025-03-16 cs.LG math.GR
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Multi-Task Adversarial Attack
Southern University of Science and Technology（南方科技大学）
深度神经网络在各个领域都取得了令人印象深刻的性能，但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而，在实际应用中，往往需要同时针对不同的任务攻击多个模型。为此，我们提出了多任务对抗攻击（MTA），这是一个统一的框架，可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例，这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说，MTA使用对抗扰动生成器，该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器，MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外，所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明，与单任务相比，MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
ROOM: Adversarial Machine Learning Attacks Under Real-Time Constraints
IEMN-DOAE, UMR CNRS 8520 Polytechnic University Hauts-De-France（法国上法兰西理工大学 IEMN-DOAE, UMR CNRS 8520）；George Mason University（乔治梅森大学）；University of California Riverside（加州大学河滨分校）
深度学习的进步已经实现了广泛的有前途的应用。然而，这些系统容易受到对抗性机器学习（AML）攻击;对输入的恶意干扰可能导致它们错误分类。一些最先进的对抗攻击已经证明，它们可以可靠地欺骗分类器，使这些攻击成为一个重大的威胁。对抗攻击生成算法主要集中在创建成功的例子，同时控制噪声的大小和分布，使检测更加困难。这些攻击的基本假设是，对抗性噪声是离线生成的，因此执行时间是次要考虑因素。然而，最近，攻击者机会主义地在运行中生成对抗性示例的即时对抗攻击已被证明是可能的。本文提出了一个新的问题：如何在实时的【形】约束下产生对抗性噪声来支持这种实时的【形】对抗攻击？理解这个问题可以提高我们对这些攻击对实时的【形】系统构成的威胁的理解，并为未来的防御提供安全评估基准。因此，我们首先对对抗生成算法进行运行时分析。通用攻击离线产生通用攻击，没有在线开销，并且可以应用于任何输入;然而，由于其通用性，其成功率有限。相比之下，在线算法，工作在一个特定的输入，是计算昂贵的，使他们不适合在时间限制下的操作。因此，我们提出了ROOM，一种新的实时的【形】在线离线攻击构造模型，其中离线组件用于预热在线算法，使得在时间限制下生成非常成功的攻击成为可能。
2022-01-05 cs.CR cs.LG
Adversarial Attack On Yolov5 For Traffic And Road Sign Detection
Østfold University College（东福尔德大学学院）
本文在交通与道路标志检测场景下评估多种对抗攻击对 YOLOv5 的影响，证明扰动增大会提高误分类率，并借助显著性图说明其安全风险。
2024-01-19 cs.CR cs.CV cs.LG
Attacking Motion Estimation with Adversarial Snow
University of Stuttgart（斯图加特大学）
当前用于运动估计（光流）的对抗攻击优化小的每像素扰动，这不太可能出现在现实世界中。相比之下，我们利用现实世界的天气现象进行新的攻击，并对雪进行了优化。在我们的攻击的核心是一个可区分的渲染器，一贯集成真实感雪花与现实运动到3D场景。通过优化，我们得到了对抗雪，显着影响光流，而从普通的雪是无法区分的。令人惊讶的是，我们的新攻击的影响是最大的方法，以前表现出高鲁棒性小L_p扰动。
2022-10-20 cs.CV cs.LG
Attacking Adversarial Attacks as A Defense
Tencent（腾讯）；Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；University of Munich（慕尼黑大学）
众所周知，对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性，但防御失败的情况仍然广泛存在。在这项工作中，我们发现，对抗攻击也可以容易受到小扰动。也就是说，在对抗性训练的模型上，用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后，我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发，我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类，具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上，它将最先进的模型从66.16%提高到72.66%，对抗AutoAttack的四种攻击，其中包括71.76%到83.30%的Square攻击。在ImageNet上，FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Exploring Adversarial Attacks and Defenses in Vision Transformers trained with DINO
ETH Zurich（苏黎世联邦理工学院）
本文首次分析了使用DINO训练的自监督视觉Transformer对对抗攻击的鲁棒性。首先，我们评估通过自我监督学习的特征是否比从监督学习中学习的特征对对抗攻击更鲁棒。然后，我们提出了在潜在空间中的攻击所产生的属性。最后，我们评估了三种著名的防御策略是否可以通过微调分类头来提高下游任务的对抗鲁棒性，即使在有限的计算资源下也能提供鲁棒性。这些防御策略是：对抗性训练，强化对抗性训练和强化专业网络。
2022-09-08 cs.AI cs.CV
Delving into adversarial attacks on deep policies
National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）
对抗性示例已被证明存在于各种深度学习架构中。深度强化学习在直接基于原始输入（如图像像素）训练代理策略方面显示出了有希望的结果。在本文中，我们提出了一项针对深度强化学习策略的对抗性攻击的新研究。我们使用对抗性示例与随机噪声比较了攻击的有效性。我们提出了一种新的方法，用于减少成功攻击所需注入的对抗性示例的次数，该方法基于值函数。我们进一步探讨了随机噪声和FGSM扰动的重新训练如何影响对抗性示例的弹性。
2017-05-18 cs.LG stat.ML
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence（清华大学脑与智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
深度神经网络容易受到对抗性示例的攻击，由于潜在的严重后果，这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而，现有的大多数对抗攻击只能欺骗黑盒模型，成功率很低。为了解决这个问题，我们提出了一个广泛的基于动量的迭代算法，以提高对抗攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中摆脱糟糕的局部最大值，从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用于一组模型，并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法，我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Probabilistic Categorical Adversarial Attack & Adversarial Training
Michigan State University（密歇根州立大学）；Jinan University（暨南大学）
针对分类数据对抗样本生成效率低的问题，提出将离散优化转为连续问题的PCAA攻击方法，理论验证其优势，并基于此构建高效对抗训练框架，实验证明攻击与防御算法均有效。
2023-11-06 cs.CR cs.LG
