Grey-box Adversarial Attack And Defence For Sentiment Classification
IBM Research（IBM研究院）；University of Melbourne（墨尔本大学）
我们介绍了一个灰盒对抗攻击和防御框架的情绪分类。我们在一个统一的框架中解决了对抗攻击和防御的可微性，标签保存和输入重建问题。我们的研究结果表明，一旦经过训练，攻击模型能够比最先进的攻击方法更快地生成高质量的对抗性示例（时间上少一个数量级）。这些例子还根据人类评价保留了原始情感。此外，我们的框架产生了一个改进的分类器，是强大的防御多种对抗性攻击方法。代码可从以下网址获得：https://github.com/ibm-aur-nlp/adv-def-text-dist。
2021-03-22 cs.AI cs.CL cs.LG
Adversarial Attacks and Defense Methods for Power Quality Recognition
Air Traffic Control and Navigation College, Air Force Engineering University（空军工程大学空管领航学院）；Information and Navigation College, Air Force Engineering University（空军工程大学信息与导航学院）；Henan University of Technology（河南工业大学）
各种机器学习方法对对抗性示例的脆弱性最近在文献中进行了探索。使用这些脆弱方法的电力系统面临着对抗性示例的巨大威胁。为此，我们首先提出了一个信号特定的方法和一个通用的信号不可知的方法来攻击电力系统使用生成的对抗性的例子。本文还提出了基于可传递特征的黑盒攻击和上述两种方法，并对它们进行了评价。然后，我们采用对抗训练来保护系统免受对抗攻击。实验分析表明，我们的信号特定的攻击方法相比，FGSM（快速梯度符号法）提供更少的扰动，我们的信号不可知的攻击方法可以产生干扰欺骗大多数自然信号的概率很高。此外，基于通用信号无关算法的攻击方法比基于特定信号算法的攻击方法具有更高的黑盒攻击的传送率。此外，结果表明，所提出的对抗性训练提高了电力系统对抗性的例子的鲁棒性。
2022-02-11 cs.AI cs.CR cs.LG
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护（CBM）策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态，而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本，并研究了CBM系统在攻击下的性能。研究结果表明，CBM系统容易受到对抗性机器学习攻击，需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
On the reversibility of adversarial attacks
Queen Mary University of London（伦敦玛丽女王大学）
对抗攻击通过扰动来修改图像，从而改变分类器的预测。这些修改后的图像被称为对抗性示例，暴露了深度神经网络分类器的漏洞。在本文中，我们研究了原始图像预测的类与其相应的对抗性示例之间的映射的可预测性。这种可预测性与恢复原始预测的可能性有关，从而扭转了诱导的错误分类。我们将此属性称为对抗攻击的可逆性，并将可逆性量化为检索对抗示例的原始类或真实类的准确性。我们提出了一种方法，逆转的对抗攻击的分类器上使用的分类结果的先验集的效果。我们分析了最先进的对抗攻击对基准分类器的可逆性，并讨论了影响可逆性的因素。
2022-06-01 cs.AI cs.CR cs.LG
OpenAttack: An Open-source Textual Adversarial Attack Toolkit
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Stanford University（斯坦福大学）
语篇对抗性攻击近年来受到越来越多的关注。已经提出了各种攻击模型，这些模型非常不同，并且使用不同的编程框架和设置来实现。这些事实阻碍了攻击模型的快速利用和公平比较。在本文中，我们提出了一个开源的文本对抗攻击工具包命名为OpenAttack来解决这些问题。与现有的其他文本对抗攻击工具包相比，OpenAttack在支持所有攻击类型、多语言和并行处理方面具有独特的优势。目前，OpenAttack包括15种典型的攻击模型，涵盖了所有的攻击类型。其高度包容性的模块化设计不仅支持快速利用现有的攻击模型，而且具有很大的灵活性和可扩展性。OpenAttack有着广泛的用途，包括比较和评估攻击模型，测量模型的鲁棒性，帮助开发新的攻击模型，以及对抗性训练。源代码和文档可以在https://github.com/thunlp/OpenAttack上获得。
2021-09-24 cs.AI cs.CL cs.CR
AdvDO: Realistic Adversarial Attacks for Trajectory Prediction
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；NVIDIA（英伟达）；California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
轨迹预测对于自动驾驶汽车（AV）规划正确和安全的驾驶行为至关重要。虽然许多先前的工作旨在实现更高的预测精度，但很少有人研究其方法的对抗鲁棒性。为了弥补这一差距，我们建议研究数据驱动的轨迹预测系统的对抗鲁棒性。我们设计了一个基于优化的对抗攻击框架，该框架利用精心设计的可微动态模型来生成逼真的对抗轨迹。从经验上讲，我们对最先进的预测模型的对抗鲁棒性进行了基准测试，并表明我们的攻击将一般指标和规划感知指标的预测误差增加了50%和37%以上。我们还表明，我们的攻击可以导致AV驾驶道路或碰撞到其他车辆的模拟。最后，我们演示了如何使用对抗训练方案来减轻对抗攻击。
2022-09-19 cs.AI cs.CR cs.LG
Optimal Cost Constrained Adversarial Attacks For Multiple Agent Systems
University of Iowa（爱荷华大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对分布式多智能体攻击场景，本文形式化了攻击者—受害方配对具有不同成本约束的最优智能体间对抗攻击问题，并结合静态资源分配与动态规划实现最优攻击。
2023-11-01 cs.AI cs.CR cs.LG
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI（微软Azure人工智能）；Amazon（亚马逊）
我们研究了一个对抗性多臂强盗的安全威胁，其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明，攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂，但在每一个次线性（T-o（T））轮数，而只会产生次线性（o（T））的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题，例如，在在线推荐中，攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率，因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本，任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配，这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG
Synthesis of Adversarial DDOS Attacks Using Tabular Generative Adversarial Networks
网络入侵检测系统（NIDS）是广泛用于维护计算机网络和信息系统的工具或软件，当有人试图闯入系统时，它们会标记，以保持它们的安全并防止恶意流量渗透到它们中。然而，随着攻击技术的不断发展，新的攻击类型也越来越多，其中一种是基于生成对抗网络（GAN）的攻击，它可以逃避机器学习IDS，使它们变得脆弱。本项目研究使用GANs生成的真实DDoS攻击合成的对抗攻击对IDS的影响。我们的目标是发现这些系统将如何对合成攻击作出反应。标记出这些系统的弱点和弱点，以便我们修复它们。
2022-12-14 cs.AI cs.CR
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH（neurocat有限公司）；Volkswagen AG（大众汽车集团）
大多数最先进的机器学习（ML）分类系统都容易受到对抗性扰动的影响。因此，对抗鲁棒性对在安全和安全关键环境（如自动驾驶、疾病检测或无人机）中部署基于ML的系统提出了重大挑战。在过去几年中，我们看到大量的出版物提出了越来越多的新的对抗攻击。然而，攻击研究似乎是相当非结构化的，新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中，我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块，我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标，我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联，即语义分割和目标检测。最后，为了证明有用的攻击发生器，我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Identifying Adversarially Attackable and Robust Samples
University of Cambridge（剑桥大学）
本文提出样本可攻击性概念及基于深度学习的检测器，用于识别未见数据集中最易受对抗攻击的可攻击样本和最不易受影响的鲁棒样本，发现其优于不确定性度量，有助于提升样本选择效率。
2023-06-25 cs.AI cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Defending against Adversarial Malware Attacks on ML-based Android Malware Detection Systems
Zhejiang University（浙江大学）；University College London（伦敦大学学院）
本文提出ADD框架，一种插件式防御方案，用于增强基于机器学习的Android恶意软件检测系统对问题空间对抗性攻击的鲁棒性，实验证明其有效且能提升现实防病毒软件的防御能力。
2025-01-23 cs.AI cs.CR cs.LG
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University（本古里安大学）
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击，并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Multi-Task Adversarial Attack
Southern University of Science and Technology（南方科技大学）
深度神经网络在各个领域都取得了令人印象深刻的性能，但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而，在实际应用中，往往需要同时针对不同的任务攻击多个模型。为此，我们提出了多任务对抗攻击（MTA），这是一个统一的框架，可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例，这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说，MTA使用对抗扰动生成器，该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器，MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外，所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明，与单任务相比，MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
$A^{3}D$: A Platform of Searching for Robust Neural Architectures and Efficient Adversarial Attacks
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
由于许多应用对安全性的迫切需求，深度神经网络（DNN）模型的鲁棒性越来越受到关注。开发了许多现有的开源工具或平台，通过集成大多数对抗攻击或防御算法来评估DNN模型的鲁棒性。不幸的是，当前平台不具备优化DNN模型的架构或对抗攻击的配置以进一步增强模型的鲁棒性或对抗攻击的性能的能力。为了缓解这些问题，在本文中，我们首先提出了一个新的平台，称为自动对抗攻击和防御（$A^{3}D$），它可以帮助搜索强大的神经网络架构和有效的对抗攻击。在$A^{3}D$中，我们采用了多种神经结构搜索方法，考虑不同的鲁棒性评估指标，包括四种类型的噪声：对抗性噪声，自然噪声，系统噪声和量化指标，从而找到强大的架构。此外，我们提出了一个自动对抗攻击的数学模型，并提供了多种优化算法来搜索有效的对抗攻击。此外，我们将自动对抗攻击和防御结合在一起，形成一个统一的框架。在自动对抗防御中，搜索到的有效攻击可以作为新的鲁棒性评价指标，进一步提高系统的鲁棒性。在自动对抗攻击中，搜索到的鲁棒体系结构可以用作威胁模型，以帮助发现更强的对抗攻击。在CIFAR10、CIFAR100和ImageNet数据集上的实验表明了该平台的可行性和有效性，为自动机器学习在DNN模型鲁棒性评估和改进中的应用提供了一个基准和工具包。
2023-01-14 cs.AI cs.LG
ROOM: Adversarial Machine Learning Attacks Under Real-Time Constraints
IEMN-DOAE, UMR CNRS 8520 Polytechnic University Hauts-De-France（法国上法兰西理工大学 IEMN-DOAE, UMR CNRS 8520）；George Mason University（乔治梅森大学）；University of California Riverside（加州大学河滨分校）
深度学习的进步已经实现了广泛的有前途的应用。然而，这些系统容易受到对抗性机器学习（AML）攻击;对输入的恶意干扰可能导致它们错误分类。一些最先进的对抗攻击已经证明，它们可以可靠地欺骗分类器，使这些攻击成为一个重大的威胁。对抗攻击生成算法主要集中在创建成功的例子，同时控制噪声的大小和分布，使检测更加困难。这些攻击的基本假设是，对抗性噪声是离线生成的，因此执行时间是次要考虑因素。然而，最近，攻击者机会主义地在运行中生成对抗性示例的即时对抗攻击已被证明是可能的。本文提出了一个新的问题：如何在实时的【形】约束下产生对抗性噪声来支持这种实时的【形】对抗攻击？理解这个问题可以提高我们对这些攻击对实时的【形】系统构成的威胁的理解，并为未来的防御提供安全评估基准。因此，我们首先对对抗生成算法进行运行时分析。通用攻击离线产生通用攻击，没有在线开销，并且可以应用于任何输入;然而，由于其通用性，其成功率有限。相比之下，在线算法，工作在一个特定的输入，是计算昂贵的，使他们不适合在时间限制下的操作。因此，我们提出了ROOM，一种新的实时的【形】在线离线攻击构造模型，其中离线组件用于预热在线算法，使得在时间限制下生成非常成功的攻击成为可能。
2022-01-05 cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Attacking Adversarial Attacks as A Defense
Tencent（腾讯）；Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；University of Munich（慕尼黑大学）
众所周知，对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性，但防御失败的情况仍然广泛存在。在这项工作中，我们发现，对抗攻击也可以容易受到小扰动。也就是说，在对抗性训练的模型上，用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后，我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发，我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类，具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上，它将最先进的模型从66.16%提高到72.66%，对抗AutoAttack的四种攻击，其中包括71.76%到83.30%的Square攻击。在ImageNet上，FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
Probabilistic Categorical Adversarial Attack & Adversarial Training
Michigan State University（密歇根州立大学）；Jinan University（暨南大学）
针对分类数据对抗样本生成效率低的问题，提出将离散优化转为连续问题的PCAA攻击方法，理论验证其优势，并基于此构建高效对抗训练框架，实验证明攻击与防御算法均有效。
2023-11-06 cs.CR cs.LG
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University（广州大学）；Cyberspace Institute of Advanced Technology（网络空间先进技术研究院）
最近的研究表明，深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成，而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设（例如，敌对示例的词频、攻击方法的扰动水平）。然而，这限制了检测方法的适用性。为此，我们提出了TREATED，一种通用的对抗检测方法，可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明，我们的方法比基线具有更好的检测性能。我们最后进行消融研究，以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
IDSGAN: Generative Adversarial Networks for Attack Generation against Intrusion Detection
Shanghai Jiao Tong University（上海交通大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
入侵检测系统作为网络安全中必不可少的工具，承担着防御恶意网络攻击的重任。近年来，在机器学习算法的帮助下，入侵检测系统发展迅速。然而，当它面对对抗攻击时，该系统的鲁棒性是值得怀疑的。为了提高检测系统的鲁棒性，更多潜在的攻击方法正在研究之中。本文提出了一种生成对抗网络（IDSGAN）框架，用于生成对抗性恶意流量记录，通过欺骗和逃避检测来攻击入侵检测系统。假设检测系统的内部结构和参数对攻击者来说是未知的，对抗攻击示例对检测系统执行黑盒攻击。IDSGAN利用生成器将原始恶意流量记录转换为对抗性恶意流量记录。一个分类器对流量示例进行分类，并动态学习实时黑盒检测系统。更重要的是，限制修改机制是为对抗生成设计的，以保留对抗流量记录的原始攻击功能。通过对不同攻击类别的多个基于算法的检测模型进行攻击，验证了该模型的有效性。鲁棒性通过改变修改特征的数目来验证。与对抗攻击基线的对比实验表明了该模型的优越性。
2022-05-08 cs.AI cs.CR
Learning to Ignore Adversarial Attacks
University of Chicago（芝加哥大学）；University of New Hampshire（新罕布什尔大学）
尽管当前的NLP模型性能很强，但它们在对抗对抗攻击时可能很脆弱。为了能够有效地学习对抗性输入，我们引入了可以显式学习忽略攻击令牌的基本原理模型的使用。我们发现，基本原理模型可以成功地忽略超过90%的攻击令牌。这种方法在BERT和RoBERTa的三个数据集上的鲁棒性方面比基线模型有了一致的大幅度改进（$\sim$ 10%），并且在对抗性示例的情况下也可靠地优于数据增强。在许多情况下，我们发现，我们的方法是能够关闭一个干净的测试集和攻击的测试集模型性能之间的差距，从而减少对抗攻击的影响。
2023-02-20 cs.AI cs.CL
Sample Attackability in Natural Language Adversarial Attacks
University of Cambridge（剑桥大学）
本研究正式定义NLP攻击中的样本可攻击性/鲁棒性，实验表明深度学习检测器优于样本不确定性方法，但不同攻击方法间可攻击性共识低，影响检测方法可移植性。
2023-06-21 cs.AI cs.CL
CAMA: Exploring Collusive Adversarial Attacks in c-MARL
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；UCAS（中国科学技术大学）；Beihang University（北京航空航天大学）
本文提出CAMA框架，研究c-MARL中的共谋对抗攻击，提出三种新型攻击模式，从理论和实践角度分析攻击效果，并通过实验验证其协同效应和隐蔽性。
2026-03-20 cs.AI cs.LG
Mutation-Based Adversarial Attacks on Neural Text Detectors
Texas A&M University – San Antonio（德克萨斯农工大学圣安东尼奥分校）
神经文本检测器旨在确定区分神经（机器生成）和人类文本的特征。为了挑战这种检测器，对抗攻击可以改变生成的文本的统计特征，使检测任务变得越来越困难。受软件开发和测试中突变分析进展的启发，在本文中，我们提出了基于字符和单词的突变算子，用于生成对抗性样本，以攻击最先进的自然文本检测器。这属于白盒对抗攻击。在这种攻击中，攻击者可以访问原始文本并基于该原始文本创建变异实例。其最终目标是混淆机器学习模型和分类器，降低它们的预测精度。
2023-02-11 cs.AI cs.CR
TA3: Testing Against Adversarial Attacks on Machine Learning Models
University of Oxford（牛津大学）
该研究设计开发了交互式对抗攻击测试系统TA3，通过人在回路实现人工引导攻击模拟与可视化攻击影响评估，当前版本聚焦决策树的单像素攻击测试，验证了人在回路在ML测试中的价值与拓展潜力。
2024-10-06 cs.CR cs.LG
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications（北京邮电大学）
深度神经网络（DNN）对对抗攻击的微小扰动很敏感，这会导致错误的预测。近年来，已经开发了各种方法来克服对抗攻击，包括对抗防御和不确定性推理（UI）。在本文中，我们提出了一个多头不确定性推理（MH-UI）框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构（即，分类器）以从DNN中的不同深度获得预测，并为UI引入浅层信息。利用不同深度的独立水头，假设归一化预测服从同一Dirichlet分布，并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明，在不同的设置下，所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
Adversarial Training with Fast Gradient Projection Method against Synonym Substitution based Text Attacks
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）
对抗性训练是提高深度神经网络在图像分类中鲁棒性的最成功的方法。然而，对于文本分类，现有的基于同义词替换的对抗攻击是有效的，但不能有效地纳入实际的文本对抗性训练。基于同义词的攻击对图像非常有效，但由于词汇、语法和语义的限制以及文本输入空间的离散性，基于同义词替换的文本攻击很难实现。因此，本文提出了一种基于同义词替换的快速文本对抗攻击方法--快速梯度投影方法（FGPM），该方法在达到相似攻击性能的同时，比现有文本攻击方法的速度提高了约20倍。然后，我们将FGPM与对抗性训练相结合，并提出了一种文本防御方法，称为对抗性训练与Logit配对增强的FGPM（ATFL）。实验结果表明，ATFL能显著提高模型的鲁棒性，并能有效阻止对抗性样本的迁移。
2020-12-16 cs.CL cs.LG
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University（上海交通大学）
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用，并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明，经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外，与正常训练的DNN相比，对抗训练的DNN具有更多的成分，这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
Adversarial attacks on an optical neural network
Peng Cheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
针对数字领域的深度学习等机器学习系统，人们已经广泛研究了对抗攻击。然而，针对光学神经网络的对抗攻击却很少被研究。在这项工作中，我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪（MZI）。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似，但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明，对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
Are Adversarial Examples Created Equal? A Learnable Weighted Minimax Risk for Robustness under Non-uniform Attacks
Technical University of Munich（慕尼黑工业大学）；University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练被证明是一种有效的防御对抗性示例的方法，是少数几种能够抵御强大攻击的防御方法之一。然而，传统的防御机制假设根据底层数据分布对示例进行统一攻击，这显然是不现实的，因为攻击者可以选择专注于更脆弱的示例。我们提出了一个加权极大极小风险优化，抵御非均匀攻击，实现对抗性的例子扰动测试数据分布下的鲁棒性。我们修改的风险考虑了不同对抗性示例的重要性权重，并自适应地关注被错误分类或被错误分类的风险较高的较难示例。设计的风险允许训练过程通过优化重要性权重来学习强大的防御。实验表明，我们的模型在非均匀攻击下显着提高了最先进的对抗精度，而在均匀攻击下没有显着下降。
2020-10-24 cs.CR cs.LG
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Asymmetric Bias in Text-to-Image Generation with Adversarial Attacks
University of California Riverside（加州大学河滨分校）
本研究实证分析文本到图像模型对抗攻击的成功率，发现实体交换存在不对称性，并提出探测指标以预测攻击成功率。
2024-07-17 cs.CR cs.LG
A Robust Adversarial Network-Based End-to-End Communications System With Strong Generalization Ability Against Adversarial Attacks
Stevens Institute of Technology（史蒂文斯理工学院）；Oklahoma State University（俄克拉荷马州立大学）
我们提出了一种新的防御机制的基础上生成对抗网络（GAN）的框架，以抵御对抗攻击在端到端的通信系统。具体来说，我们利用生成网络来模拟一个强大的对手，并使端到端的通信系统，以打击生成攻击网络通过极大极小博弈。我们表明，该系统不仅可以很好地对抗白盒和黑盒对抗攻击，但也具有良好的泛化能力，保持良好的性能下没有攻击。我们还表明，我们基于GAN的端到端系统优于传统的通信系统和有/没有对抗训练的端到端通信系统。
2021-03-03 cs.AI cs.LG eess.SP
Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection
King’s College London（伦敦国王学院）
近年来，已经提出了几种对抗对抗ML攻击的移动目标防御（MTD）。MTD声称通过定期改变防御的某些元素（例如循环配置）来增加攻击者进行攻击的难度。为了检验这些说法，我们首次研究了几种最新的MTD对应用于恶意软件检测领域的对抗性ML攻击的有效性。在不同的威胁模型下，我们证明了可转移性和查询攻击策略可以通过跨Android和Windows的现有和新颖的攻击策略来实现对这些防御的高水平规避。我们还表明，指纹识别和侦察是可能的，并演示了攻击者如何获得关键的防御超参数以及如何产生预测的信息。基于我们的研究结果，我们提出了关键的建议，为今后的工作，有效的MTD的对抗攻击在ML为基础的恶意软件检测。
2023-02-01 cs.CR cs.LG
Is Approximation Universally Defensive Against Adversarial Attacks in Deep Neural Networks?
University of Missouri（密苏里大学）
近似计算以其在以轻微的精度损失为代价来提高深度神经网络（DNN）加速器的能量效率方面的有效性而闻名。最近，近似分量的不精确性质，如近似乘数，也被报道成功地防御了DNN模型上的对抗攻击。由于近似误差以掩蔽或未掩蔽的方式穿过DNN层，这就提出了一个关键的研究问题-近似计算是否总是能够防御DNN中的对抗攻击，即，他们是否普遍具有防御性？为此，我们提出了一个广泛的对抗鲁棒性分析不同的近似DNN加速器（AxDNN）使用最先进的近似乘法器。特别是，我们使用MNIST和CIFAR-10数据集评估了10种对抗攻击对不同AxDNN的影响。我们的研究结果表明，AxDNN上的对抗攻击可能导致53%的准确性损失，而相同的攻击可能导致准确DNN几乎没有准确性损失（低至0.06%）。因此，近似计算不能被称为对抗对抗攻击的通用防御策略。
2021-12-02 cs.CR cs.LG
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时，这是非常具有挑战性的，因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性，则更有可能将攻击能力转移到其他模型的假设，基于集合的对抗攻击方法是一种有效的黑盒攻击方法，被广泛应用。然而，集成攻击的方式是相当少的研究，和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中，我们把迭代集成攻击作为一个随机梯度下降优化过程，在不同的模型上的梯度的方差可能会导致不良的局部最优。为此，我们提出了一种新的攻击方法称为随机方差减少集成（SVRE）攻击，它可以减少集成模型的梯度方差，并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明，该方法可以提高对抗性可转移性，并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University（莫纳什大学）；Defence Science and Technology Group, Department of Defence（国防部国防科学技术集团）
据报道，深度神经网络图像分类器容易受到对抗性规避攻击的影响，这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴，它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动，最近已经开发了稀疏攻击，其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击，导致攻击效率降低。在本文中，我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动，基于这样一个事实，我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此，我们提出了一个概率事后框架，细化给定的密集攻击，通过显着减少扰动像素的数量，但保持其攻击能力，训练与互信息最大化。在任意密集攻击下，该模型具有吸引人的兼容性，使其对抗图像更逼真，并且在更少的扰动下不易被检测到。此外，我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University（卡尔顿大学）
本文研究了对抗攻击对基于机器学习的网络入侵检测系统（NIDS）的实用性，指出动态系统中的攻击有效性较低，并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Towards Adversarial Attack on Vision-Language Pre-training Models
Beijing Jiaotong University（北京交通大学）；Peng Cheng Lab（鹏城实验室）
虽然视觉语言预训练模型（VLP）在各种视觉语言（V+L）任务上显示出革命性的改进，但关于其对抗鲁棒性的研究在很大程度上尚未探索。本文研究了VLP模型和V+L任务的对抗攻击。首先，我们分析了对抗攻击在不同设置下的性能。通过研究不同扰动对象和攻击目标的影响，我们得出了一些关键的意见，设计强大的多模态对抗攻击和构建强大的VLP模型的指导。其次，我们提出了一种新的多模态攻击的VLP模型称为协同多模态对抗攻击（Co-Attack），它共同进行攻击的图像模态和文本模态。实验结果表明，该方法在不同的V+L下游任务和VLP模型上均能获得较好的攻击性能.分析观察和新的攻击方法，希望提供新的理解VLP模型的对抗鲁棒性，从而有助于他们在更多的现实世界中的安全和可靠的部署。代码可在https://github.com/adversarial-for-goodness/Co-Attack上获得。
2022-10-20 cs.CL cs.CV cs.LG
The Threat of Adversarial Attacks on Machine Learning in Network Security -- A Survey
Carleton University（卡尔顿大学）
机器学习模型使许多决策支持系统变得更快、更准确、更高效。然而，与其他领域相比，机器学习在网络安全中的应用面临着更不成比例的主动对抗攻击威胁。这是因为网络安全中的机器学习应用程序（如恶意软件检测、入侵检测和垃圾邮件过滤）本身就具有对抗性。在攻击者和防御者之间的军备竞赛中，对手不断地用明确设计的输入来探测机器学习系统，以绕过系统并引起错误的预测。在本调查中，我们首先提供了机器学习技术、任务和深度的分类。然后，我们介绍了机器学习在网络安全应用中的分类。接下来，我们研究了网络安全中针对机器学习的各种对抗性攻击，并介绍了网络安全中对抗攻击的两种分类方法。首先，我们分类对抗攻击在网络安全的基础上的网络安全应用的分类。其次，我们将网络安全中的对抗攻击分为问题空间与特征空间的维度分类模型。然后，我们分析了各种防御对抗攻击的机器学习为基础的网络安全应用程序。最后，我们引入了一个对抗性风险网格图，并使用风险网格图评估了网络安全中针对机器学习的几种现有对抗攻击。我们还确定了每个攻击分类在对抗性风险网格图中的位置。
2023-03-21 cs.CR cs.LG cs.NI
POBA-GA: Perturbation Optimized Black-Box Adversarial Attacks via Genetic Algorithm
Zhejiang University of Technology（浙江工业大学）
大多数深度学习模型很容易受到对抗攻击的攻击。设计了各种对抗攻击来评估模型的鲁棒性，并建立防御模型。目前，对抗攻击被提出来攻击他们自己的目标模型与他们自己的评估指标。与白盒攻击相比，大多数黑盒对抗攻击算法都不能达到预期的成功率。针对不同的对抗攻击方法，提出了综合评价指标。提出了一种基于遗传算法的扰动优化黑盒对抗攻击算法（POBA-GA），以获得与白盒攻击相当的攻击性能。通过初始化、选择、交叉和变异等进化操作，得到近似最优对抗样本。设计了适应度函数，从攻击能力和扰动控制两个方面对样本个体进行评价。在进化过程中引入种群多样性策略，保证获得近似最优扰动。通过大量实验验证了POBA-GA的性能。仿真和应用结果表明，该方法在攻击能力和扰动控制方面优于现有的黑箱攻击方法。
2019-05-01 cs.CR cs.LG cs.NE
