Adversarial Attacks and Defense Methods for Power Quality Recognition
Air Traffic Control and Navigation College, Air Force Engineering University（空军工程大学空管领航学院）；Information and Navigation College, Air Force Engineering University（空军工程大学信息与导航学院）；Henan University of Technology（河南工业大学）
各种机器学习方法对对抗性示例的脆弱性最近在文献中进行了探索。使用这些脆弱方法的电力系统面临着对抗性示例的巨大威胁。为此，我们首先提出了一个信号特定的方法和一个通用的信号不可知的方法来攻击电力系统使用生成的对抗性的例子。本文还提出了基于可传递特征的黑盒攻击和上述两种方法，并对它们进行了评价。然后，我们采用对抗训练来保护系统免受对抗攻击。实验分析表明，我们的信号特定的攻击方法相比，FGSM（快速梯度符号法）提供更少的扰动，我们的信号不可知的攻击方法可以产生干扰欺骗大多数自然信号的概率很高。此外，基于通用信号无关算法的攻击方法比基于特定信号算法的攻击方法具有更高的黑盒攻击的传送率。此外，结果表明，所提出的对抗性训练提高了电力系统对抗性的例子的鲁棒性。
2022-02-11 cs.AI cs.CR cs.LG
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护（CBM）策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态，而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本，并研究了CBM系统在攻击下的性能。研究结果表明，CBM系统容易受到对抗性机器学习攻击，需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
On the reversibility of adversarial attacks
Queen Mary University of London（伦敦玛丽女王大学）
对抗攻击通过扰动来修改图像，从而改变分类器的预测。这些修改后的图像被称为对抗性示例，暴露了深度神经网络分类器的漏洞。在本文中，我们研究了原始图像预测的类与其相应的对抗性示例之间的映射的可预测性。这种可预测性与恢复原始预测的可能性有关，从而扭转了诱导的错误分类。我们将此属性称为对抗攻击的可逆性，并将可逆性量化为检索对抗示例的原始类或真实类的准确性。我们提出了一种方法，逆转的对抗攻击的分类器上使用的分类结果的先验集的效果。我们分析了最先进的对抗攻击对基准分类器的可逆性，并讨论了影响可逆性的因素。
2022-06-01 cs.AI cs.CR cs.LG
AdvDO: Realistic Adversarial Attacks for Trajectory Prediction
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；NVIDIA（英伟达）；California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
轨迹预测对于自动驾驶汽车（AV）规划正确和安全的驾驶行为至关重要。虽然许多先前的工作旨在实现更高的预测精度，但很少有人研究其方法的对抗鲁棒性。为了弥补这一差距，我们建议研究数据驱动的轨迹预测系统的对抗鲁棒性。我们设计了一个基于优化的对抗攻击框架，该框架利用精心设计的可微动态模型来生成逼真的对抗轨迹。从经验上讲，我们对最先进的预测模型的对抗鲁棒性进行了基准测试，并表明我们的攻击将一般指标和规划感知指标的预测误差增加了50%和37%以上。我们还表明，我们的攻击可以导致AV驾驶道路或碰撞到其他车辆的模拟。最后，我们演示了如何使用对抗训练方案来减轻对抗攻击。
2022-09-19 cs.AI cs.CR cs.LG
Collecting high-quality adversarial data for machine reading comprehension tasks with humans and models in the loop
Explosion；University of Arizona（亚利桑那大学）
我们介绍了我们作为注释者在创建高质量的对抗性机器阅读理解数据方面的经验，这些数据用于第一次动态对抗性数据汇集研讨会（DADC）任务1的提取QA。DADC是一个紧急的数据汇集范例，模型和人都在循环中。我们建立了一个准实验性的注释设计，并对不同数量的注释者进行了定量分析，重点是成功的对抗攻击、成本分析和注释者置信度相关性。考虑到数据集中段落的不同主题，我们进一步对任务的感知难度进行了定性分析，并得出了可能对未来DADC任务和相关注释接口的工作人员有价值的建议和建议。
2022-06-28 cs.CL cs.HC cs.LG
Improving Machine Reading Comprehension via Adversarial Training
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
对抗性训练（AT）作为一种正则化方法，在图像分类和文本分类等多种任务中已经证明了其有效性。虽然AT在自然语言处理的许多任务中都有成功的应用，但其背后的机制仍不清楚。本文旨在将自动测试应用于机器阅读理解，从多个角度研究其效果。我们实验了三种不同类型的RC任务：基于广度的RC，基于广度的RC与无法回答的问题和多选择RC。实验结果表明，该方法可以在SQuAD1.1、SQuAD2.0和RACE上显着且普遍地提高性能。通过虚拟对抗训练（VAT），我们探索了用半监督学习改进RC模型的可能性，并证明了来自不同任务的示例也是有益的。我们还发现，AT在防御人工对抗性示例方面帮助不大，但AT有助于模型在包含更多低频词的示例上更好地学习。
2019-11-09 cs.CL cs.LG cs.NE
Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research（Facebook AI研究院）
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例，而是搜索由连续值矩阵参数化的对抗性示例分布，从而实现基于梯度的优化。我们的经验表明，我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外，我们证明了一个强大的黑盒传输攻击，通过从对抗分布中采样，匹配或超过现有的方法，而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
Optimal Cost Constrained Adversarial Attacks For Multiple Agent Systems
University of Iowa（爱荷华大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对分布式多智能体攻击场景，本文形式化了攻击者—受害方配对具有不同成本约束的最优智能体间对抗攻击问题，并结合静态资源分配与动态规划实现最优攻击。
2023-11-01 cs.AI cs.CR cs.LG
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI（微软Azure人工智能）；Amazon（亚马逊）
我们研究了一个对抗性多臂强盗的安全威胁，其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明，攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂，但在每一个次线性（T-o（T））轮数，而只会产生次线性（o（T））的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题，例如，在在线推荐中，攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率，因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本，任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配，这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG
Synthesis of Adversarial DDOS Attacks Using Tabular Generative Adversarial Networks
网络入侵检测系统（NIDS）是广泛用于维护计算机网络和信息系统的工具或软件，当有人试图闯入系统时，它们会标记，以保持它们的安全并防止恶意流量渗透到它们中。然而，随着攻击技术的不断发展，新的攻击类型也越来越多，其中一种是基于生成对抗网络（GAN）的攻击，它可以逃避机器学习IDS，使它们变得脆弱。本项目研究使用GANs生成的真实DDoS攻击合成的对抗攻击对IDS的影响。我们的目标是发现这些系统将如何对合成攻击作出反应。标记出这些系统的弱点和弱点，以便我们修复它们。
2022-12-14 cs.AI cs.CR
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Identifying Adversarially Attackable and Robust Samples
University of Cambridge（剑桥大学）
本文提出样本可攻击性概念及基于深度学习的检测器，用于识别未见数据集中最易受对抗攻击的可攻击样本和最不易受影响的鲁棒样本，发现其优于不确定性度量，有助于提升样本选择效率。
2023-06-25 cs.AI cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University（本古里安大学）
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击，并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Multi-Task Adversarial Attack
Southern University of Science and Technology（南方科技大学）
深度神经网络在各个领域都取得了令人印象深刻的性能，但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而，在实际应用中，往往需要同时针对不同的任务攻击多个模型。为此，我们提出了多任务对抗攻击（MTA），这是一个统一的框架，可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例，这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说，MTA使用对抗扰动生成器，该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器，MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外，所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明，与单任务相比，MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
$A^{3}D$: A Platform of Searching for Robust Neural Architectures and Efficient Adversarial Attacks
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
由于许多应用对安全性的迫切需求，深度神经网络（DNN）模型的鲁棒性越来越受到关注。开发了许多现有的开源工具或平台，通过集成大多数对抗攻击或防御算法来评估DNN模型的鲁棒性。不幸的是，当前平台不具备优化DNN模型的架构或对抗攻击的配置以进一步增强模型的鲁棒性或对抗攻击的性能的能力。为了缓解这些问题，在本文中，我们首先提出了一个新的平台，称为自动对抗攻击和防御（$A^{3}D$），它可以帮助搜索强大的神经网络架构和有效的对抗攻击。在$A^{3}D$中，我们采用了多种神经结构搜索方法，考虑不同的鲁棒性评估指标，包括四种类型的噪声：对抗性噪声，自然噪声，系统噪声和量化指标，从而找到强大的架构。此外，我们提出了一个自动对抗攻击的数学模型，并提供了多种优化算法来搜索有效的对抗攻击。此外，我们将自动对抗攻击和防御结合在一起，形成一个统一的框架。在自动对抗防御中，搜索到的有效攻击可以作为新的鲁棒性评价指标，进一步提高系统的鲁棒性。在自动对抗攻击中，搜索到的鲁棒体系结构可以用作威胁模型，以帮助发现更强的对抗攻击。在CIFAR10、CIFAR100和ImageNet数据集上的实验表明了该平台的可行性和有效性，为自动机器学习在DNN模型鲁棒性评估和改进中的应用提供了一个基准和工具包。
2023-01-14 cs.AI cs.LG
ROOM: Adversarial Machine Learning Attacks Under Real-Time Constraints
IEMN-DOAE, UMR CNRS 8520 Polytechnic University Hauts-De-France（法国上法兰西理工大学 IEMN-DOAE, UMR CNRS 8520）；George Mason University（乔治梅森大学）；University of California Riverside（加州大学河滨分校）
深度学习的进步已经实现了广泛的有前途的应用。然而，这些系统容易受到对抗性机器学习（AML）攻击;对输入的恶意干扰可能导致它们错误分类。一些最先进的对抗攻击已经证明，它们可以可靠地欺骗分类器，使这些攻击成为一个重大的威胁。对抗攻击生成算法主要集中在创建成功的例子，同时控制噪声的大小和分布，使检测更加困难。这些攻击的基本假设是，对抗性噪声是离线生成的，因此执行时间是次要考虑因素。然而，最近，攻击者机会主义地在运行中生成对抗性示例的即时对抗攻击已被证明是可能的。本文提出了一个新的问题：如何在实时的【形】约束下产生对抗性噪声来支持这种实时的【形】对抗攻击？理解这个问题可以提高我们对这些攻击对实时的【形】系统构成的威胁的理解，并为未来的防御提供安全评估基准。因此，我们首先对对抗生成算法进行运行时分析。通用攻击离线产生通用攻击，没有在线开销，并且可以应用于任何输入;然而，由于其通用性，其成功率有限。相比之下，在线算法，工作在一个特定的输入，是计算昂贵的，使他们不适合在时间限制下的操作。因此，我们提出了ROOM，一种新的实时的【形】在线离线攻击构造模型，其中离线组件用于预热在线算法，使得在时间限制下生成非常成功的攻击成为可能。
2022-01-05 cs.CR cs.LG
Attacking Adversarial Attacks as A Defense
Tencent（腾讯）；Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；University of Munich（慕尼黑大学）
众所周知，对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性，但防御失败的情况仍然广泛存在。在这项工作中，我们发现，对抗攻击也可以容易受到小扰动。也就是说，在对抗性训练的模型上，用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后，我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发，我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类，具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上，它将最先进的模型从66.16%提高到72.66%，对抗AutoAttack的四种攻击，其中包括71.76%到83.30%的Square攻击。在ImageNet上，FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
Probabilistic Categorical Adversarial Attack & Adversarial Training
Michigan State University（密歇根州立大学）；Jinan University（暨南大学）
针对分类数据对抗样本生成效率低的问题，提出将离散优化转为连续问题的PCAA攻击方法，理论验证其优势，并基于此构建高效对抗训练框架，实验证明攻击与防御算法均有效。
2023-11-06 cs.CR cs.LG
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University（广州大学）；Cyberspace Institute of Advanced Technology（网络空间先进技术研究院）
最近的研究表明，深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成，而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设（例如，敌对示例的词频、攻击方法的扰动水平）。然而，这限制了检测方法的适用性。为此，我们提出了TREATED，一种通用的对抗检测方法，可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明，我们的方法比基线具有更好的检测性能。我们最后进行消融研究，以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH（neurocat有限公司）；Volkswagen AG（大众汽车集团）
大多数最先进的机器学习（ML）分类系统都容易受到对抗性扰动的影响。因此，对抗鲁棒性对在安全和安全关键环境（如自动驾驶、疾病检测或无人机）中部署基于ML的系统提出了重大挑战。在过去几年中，我们看到大量的出版物提出了越来越多的新的对抗攻击。然而，攻击研究似乎是相当非结构化的，新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中，我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块，我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标，我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联，即语义分割和目标检测。最后，为了证明有用的攻击发生器，我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
IDSGAN: Generative Adversarial Networks for Attack Generation against Intrusion Detection
Shanghai Jiao Tong University（上海交通大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
入侵检测系统作为网络安全中必不可少的工具，承担着防御恶意网络攻击的重任。近年来，在机器学习算法的帮助下，入侵检测系统发展迅速。然而，当它面对对抗攻击时，该系统的鲁棒性是值得怀疑的。为了提高检测系统的鲁棒性，更多潜在的攻击方法正在研究之中。本文提出了一种生成对抗网络（IDSGAN）框架，用于生成对抗性恶意流量记录，通过欺骗和逃避检测来攻击入侵检测系统。假设检测系统的内部结构和参数对攻击者来说是未知的，对抗攻击示例对检测系统执行黑盒攻击。IDSGAN利用生成器将原始恶意流量记录转换为对抗性恶意流量记录。一个分类器对流量示例进行分类，并动态学习实时黑盒检测系统。更重要的是，限制修改机制是为对抗生成设计的，以保留对抗流量记录的原始攻击功能。通过对不同攻击类别的多个基于算法的检测模型进行攻击，验证了该模型的有效性。鲁棒性通过改变修改特征的数目来验证。与对抗攻击基线的对比实验表明了该模型的优越性。
2022-05-08 cs.AI cs.CR
CAMA: Exploring Collusive Adversarial Attacks in c-MARL
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；UCAS（中国科学技术大学）；Beihang University（北京航空航天大学）
本文提出CAMA框架，研究c-MARL中的共谋对抗攻击，提出三种新型攻击模式，从理论和实践角度分析攻击效果，并通过实验验证其协同效应和隐蔽性。
2026-03-20 cs.AI cs.LG
Mutation-Based Adversarial Attacks on Neural Text Detectors
Texas A&M University – San Antonio（德克萨斯农工大学圣安东尼奥分校）
神经文本检测器旨在确定区分神经（机器生成）和人类文本的特征。为了挑战这种检测器，对抗攻击可以改变生成的文本的统计特征，使检测任务变得越来越困难。受软件开发和测试中突变分析进展的启发，在本文中，我们提出了基于字符和单词的突变算子，用于生成对抗性样本，以攻击最先进的自然文本检测器。这属于白盒对抗攻击。在这种攻击中，攻击者可以访问原始文本并基于该原始文本创建变异实例。其最终目标是混淆机器学习模型和分类器，降低它们的预测精度。
2023-02-11 cs.AI cs.CR
TA3: Testing Against Adversarial Attacks on Machine Learning Models
University of Oxford（牛津大学）
该研究设计开发了交互式对抗攻击测试系统TA3，通过人在回路实现人工引导攻击模拟与可视化攻击影响评估，当前版本聚焦决策树的单像素攻击测试，验证了人在回路在ML测试中的价值与拓展潜力。
2024-10-06 cs.CR cs.LG
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications（北京邮电大学）
深度神经网络（DNN）对对抗攻击的微小扰动很敏感，这会导致错误的预测。近年来，已经开发了各种方法来克服对抗攻击，包括对抗防御和不确定性推理（UI）。在本文中，我们提出了一个多头不确定性推理（MH-UI）框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构（即，分类器）以从DNN中的不同深度获得预测，并为UI引入浅层信息。利用不同深度的独立水头，假设归一化预测服从同一Dirichlet分布，并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明，在不同的设置下，所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
Are Adversarial Examples Created Equal? A Learnable Weighted Minimax Risk for Robustness under Non-uniform Attacks
Technical University of Munich（慕尼黑工业大学）；University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练被证明是一种有效的防御对抗性示例的方法，是少数几种能够抵御强大攻击的防御方法之一。然而，传统的防御机制假设根据底层数据分布对示例进行统一攻击，这显然是不现实的，因为攻击者可以选择专注于更脆弱的示例。我们提出了一个加权极大极小风险优化，抵御非均匀攻击，实现对抗性的例子扰动测试数据分布下的鲁棒性。我们修改的风险考虑了不同对抗性示例的重要性权重，并自适应地关注被错误分类或被错误分类的风险较高的较难示例。设计的风险允许训练过程通过优化重要性权重来学习强大的防御。实验表明，我们的模型在非均匀攻击下显着提高了最先进的对抗精度，而在均匀攻击下没有显着下降。
2020-10-24 cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
虽然已经有大量的研究使用对抗攻击来分析NLP模型，但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack，这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击：目标函数，一组约束，转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现，并支持各种模型和数据集，包括BERT和其他Transformers，以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块，用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化：任何人都可以在任何模型或数据集上尝试数据增强和对抗训练，只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University（上海交通大学）
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用，并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明，经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外，与正常训练的DNN相比，对抗训练的DNN具有更多的成分，这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
Adversarial attacks on an optical neural network
Peng Cheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
针对数字领域的深度学习等机器学习系统，人们已经广泛研究了对抗攻击。然而，针对光学神经网络的对抗攻击却很少被研究。在这项工作中，我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪（MZI）。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似，但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明，对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
A Robust Adversarial Network-Based End-to-End Communications System With Strong Generalization Ability Against Adversarial Attacks
Stevens Institute of Technology（史蒂文斯理工学院）；Oklahoma State University（俄克拉荷马州立大学）
我们提出了一种新的防御机制的基础上生成对抗网络（GAN）的框架，以抵御对抗攻击在端到端的通信系统。具体来说，我们利用生成网络来模拟一个强大的对手，并使端到端的通信系统，以打击生成攻击网络通过极大极小博弈。我们表明，该系统不仅可以很好地对抗白盒和黑盒对抗攻击，但也具有良好的泛化能力，保持良好的性能下没有攻击。我们还表明，我们基于GAN的端到端系统优于传统的通信系统和有/没有对抗训练的端到端通信系统。
2021-03-03 cs.AI cs.LG eess.SP
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时，这是非常具有挑战性的，因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性，则更有可能将攻击能力转移到其他模型的假设，基于集合的对抗攻击方法是一种有效的黑盒攻击方法，被广泛应用。然而，集成攻击的方式是相当少的研究，和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中，我们把迭代集成攻击作为一个随机梯度下降优化过程，在不同的模型上的梯度的方差可能会导致不良的局部最优。为此，我们提出了一种新的攻击方法称为随机方差减少集成（SVRE）攻击，它可以减少集成模型的梯度方差，并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明，该方法可以提高对抗性可转移性，并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University（莫纳什大学）；Defence Science and Technology Group, Department of Defence（国防部国防科学技术集团）
据报道，深度神经网络图像分类器容易受到对抗性规避攻击的影响，这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴，它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动，最近已经开发了稀疏攻击，其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击，导致攻击效率降低。在本文中，我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动，基于这样一个事实，我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此，我们提出了一个概率事后框架，细化给定的密集攻击，通过显着减少扰动像素的数量，但保持其攻击能力，训练与互信息最大化。在任意密集攻击下，该模型具有吸引人的兼容性，使其对抗图像更逼真，并且在更少的扰动下不易被检测到。此外，我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Grey-box Adversarial Attack And Defence For Sentiment Classification
IBM Research（IBM研究院）；University of Melbourne（墨尔本大学）
我们介绍了一个灰盒对抗攻击和防御框架的情绪分类。我们在一个统一的框架中解决了对抗攻击和防御的可微性，标签保存和输入重建问题。我们的研究结果表明，一旦经过训练，攻击模型能够比最先进的攻击方法更快地生成高质量的对抗性示例（时间上少一个数量级）。这些例子还根据人类评价保留了原始情感。此外，我们的框架产生了一个改进的分类器，是强大的防御多种对抗性攻击方法。代码可从以下网址获得：https://github.com/ibm-aur-nlp/adv-def-text-dist。
2021-03-22 cs.AI cs.CL cs.LG
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University（卡尔顿大学）
本文研究了对抗攻击对基于机器学习的网络入侵检测系统（NIDS）的实用性，指出动态系统中的攻击有效性较低，并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
The Threat of Adversarial Attacks on Machine Learning in Network Security -- A Survey
Carleton University（卡尔顿大学）
机器学习模型使许多决策支持系统变得更快、更准确、更高效。然而，与其他领域相比，机器学习在网络安全中的应用面临着更不成比例的主动对抗攻击威胁。这是因为网络安全中的机器学习应用程序（如恶意软件检测、入侵检测和垃圾邮件过滤）本身就具有对抗性。在攻击者和防御者之间的军备竞赛中，对手不断地用明确设计的输入来探测机器学习系统，以绕过系统并引起错误的预测。在本调查中，我们首先提供了机器学习技术、任务和深度的分类。然后，我们介绍了机器学习在网络安全应用中的分类。接下来，我们研究了网络安全中针对机器学习的各种对抗性攻击，并介绍了网络安全中对抗攻击的两种分类方法。首先，我们分类对抗攻击在网络安全的基础上的网络安全应用的分类。其次，我们将网络安全中的对抗攻击分为问题空间与特征空间的维度分类模型。然后，我们分析了各种防御对抗攻击的机器学习为基础的网络安全应用程序。最后，我们引入了一个对抗性风险网格图，并使用风险网格图评估了网络安全中针对机器学习的几种现有对抗攻击。我们还确定了每个攻击分类在对抗性风险网格图中的位置。
2023-03-21 cs.CR cs.LG cs.NI
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine（缅因大学）
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题，提出对抗判别器集成网络（ADE-Net），通过判别器按攻击类型分配数据至专家集成网络，在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
The Impacts of Unanswerable Questions on the Robustness of Machine Reading Comprehension Models
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
预训练的语言模型在许多机器阅读理解（MRC）基准测试中取得了超人的表现。然而，它们在抵御对抗攻击方面的相对无能，引发了人们对它们的自然语言理解能力的怀疑。在本文中，我们询问SQuAD 2.0中使用无法回答的问题进行训练是否有助于提高MRC模型对对抗攻击的鲁棒性。为了探索这个问题，我们在SQuAD 1.1或SQuAD 2.0上微调了三种最先进的语言模型，然后评估它们在对抗攻击下的鲁棒性。我们的实验表明，在SQuAD 2.0上微调的当前模型最初看起来并不比在SQuAD 1.1上微调的模型更健壮，但它们揭示了一种隐藏的健壮性，可以用来实现实际的性能增益。此外，我们发现在SQuAD 2.0上微调的模型的鲁棒性扩展到了其他域外数据集。最后，我们引入了一种新的对抗攻击，以揭示当前MRC模型正在学习的SQuAD 2.0的伪影。
2023-01-31 cs.AI
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University（清华大学）；HeartVoice Medical Technology（心之声医疗科技）；University of Science and Technology of China（中国科学技术大学）；HeartRhythm Medical（心律医疗）；Tianjin Institute of Cardiology（天津心脏病学研究所）；Second Hospital of Tianjin Medical University（天津医科大学第二医院）；Peking University（北京大学）
在诊所，医生依靠心电图（ECG）来评估严重的心脏疾病。由于技术的发展和健康意识的提高，目前通过使用医疗和商业设备来获得ECG信号。深度神经网络（DNN）可以用来分析这些信号，因为它们的准确率很高。然而，研究人员发现，对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击，例如投影梯度下降（PGD）和针对ECG分类的平滑对抗性扰动（SAP）;然而，据我们所知，还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此，我们做了不同的实验，以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果，我们发现一些常见的防御方法对这些攻击表现良好。此外，我们提出了一种新的防御方法，称为对抗蒸馏训练（ADT），它来自防御蒸馏，可以有效地提高DNN的泛化性能。结果表明，我们的方法比其他基线方法，即对抗性训练，防御性蒸馏，雅各布正则化和信噪比正则化，更有效地对抗针对ECG分类的对抗性攻击。此外，我们发现，我们的方法表现出更好的PGD攻击与低噪声水平，这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
Black-box Adversarial ML Attack on Modulation Classification
Information Technology University, Punjab, Pakistan（巴基斯坦旁遮普信息技术大学）；Hamad Bin Khalifa University, Qatar（卡塔尔哈马德·本·哈利法大学）
最近，在文献中已经提出了许多基于深度神经网络（DNN）的调制分类方案。我们已经评估了两个著名的这样的调制分类器（基于卷积神经网络和长短期记忆的技术）对抗对抗机器学习攻击的黑盒设置的鲁棒性。我们使用Carlini \& Wagner（C-W）攻击来执行对抗攻击。据我们所知，这些调制分类器的鲁棒性还没有通过C-W攻击之前进行评估。我们的研究结果清楚地表明，最先进的基于深度机器学习的调制分类器对对抗攻击并不鲁棒。
2019-08-01 cs.CR cs.LG cs.NI
SemiAdv: Query-Efficient Black-Box Adversarial Attack with Unlabeled Images
East China Normal University（华东师范大学）；Xidian University（西安电子科技大学）；Fuzhou University（福州大学）
本文提出SemiAdv，一种利用无标签图像和半监督学习的黑盒对抗攻击方法，仅需数百次查询即可达到90%以上成功率，并节省多达12倍查询开销。
2024-07-13 cs.CR cs.CV cs.LG
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中，首先，我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形，并攻击DeepSpeech，这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率（DeepSpeech分类成功率为零）。其次，我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度，并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类，这表明PCA不是音频域中的良好防御机制。最后，我们没有使用PCA作为防御机制，这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下，我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击，并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件，需要在攻击过程中的分类结果。在所有情况下，对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
在这项工作中，我们探讨了对变分自编码器（VAE）的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码（监督攻击）或只是获得完全不同的代码（无监督攻击）。我们研究模型修改（$β$ -VAE，NVAE）对VAE鲁棒性的影响，并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
