The LogBarrier adversarial attack: making effective use of decision boundary information
McGill University（麦吉尔大学）；AIFaster Consulting Inc（艾法斯特咨询公司）
针对图像分类的对抗攻击是对图像的小扰动，其被设计成引起模型的错误分类。对抗攻击形式上对应于一个优化问题：找到一个最小范数图像扰动，约束导致误分类。已经开发了一些有效的攻击。然而，迄今为止，没有基于梯度的攻击使用优化文献中的最佳实践来解决这个约束最小化问题。我们设计了一个新的无针对性的攻击，基于这些最佳实践，使用已建立的对数屏障方法。平均而言，我们的攻击距离类似于或优于基准数据集（MNIST，CIFAR 10，ImageNet-1 K）上的所有最先进的攻击。此外，我们的方法在最具挑战性的图像上表现得更好，这些图像通常需要更大的扰动来进行误分类。我们采用LogBarrier攻击几个adversarially防御模型，并表明它adversarially扰动所有图像比其他攻击更有效：所需的距离扰动所有图像是显着小于与其他国家的最先进的攻击LogBarrier攻击。
2019-03-25 cs.CR cs.LG stat.ML
Gradient Band-based Adversarial Training for Generalized Attack Immunity of A3C Path Finding
Beijing Jiaotong University（北京交通大学）
由于对抗攻击在实践中对人工智能系统的安全性构成严重威胁，因此在计算机视觉应用背景下对这类攻击进行了广泛的研究。然而，很少有人关注自动路径搜索的对抗性研究。在本文中，我们证明了显性对抗示例在针对A3 C路径查找时是有效的，并设计了一种通用显性对抗示例生成方法（CDG）来生成针对任何给定地图的显性对抗示例。此外，本文还提出了基于梯度带的对抗训练方法，该方法采用随机选取的单个优势对抗样本进行训练，不做任何修改，实现了对广义优势对抗样本的“1：N”攻击免疫。大量实验结果表明，CDG算法的最低生成精度为91.91%，基于梯度带的对抗训练算法的最低免疫精度为93.89%，证明该方法能够实现A3 C路径查找的广义攻击免疫，且具有较高的可信度。
2018-07-18 cs.CR cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation（微软公司）；Stanford University（斯坦福大学）
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中，我们提出并分析了一种简单且计算效率高的防御策略：注入随机高斯噪声，离散化每个像素，然后将结果馈送到任何预训练的分类器中。从理论上讲，我们表明，我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧，导致任何分类器对任何（潜在的白盒）$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲，我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上，我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
POBA-GA: Perturbation Optimized Black-Box Adversarial Attacks via Genetic Algorithm
Zhejiang University of Technology（浙江工业大学）
大多数深度学习模型很容易受到对抗攻击的攻击。设计了各种对抗攻击来评估模型的鲁棒性，并建立防御模型。目前，对抗攻击被提出来攻击他们自己的目标模型与他们自己的评估指标。与白盒攻击相比，大多数黑盒对抗攻击算法都不能达到预期的成功率。针对不同的对抗攻击方法，提出了综合评价指标。提出了一种基于遗传算法的扰动优化黑盒对抗攻击算法（POBA-GA），以获得与白盒攻击相当的攻击性能。通过初始化、选择、交叉和变异等进化操作，得到近似最优对抗样本。设计了适应度函数，从攻击能力和扰动控制两个方面对样本个体进行评价。在进化过程中引入种群多样性策略，保证获得近似最优扰动。通过大量实验验证了POBA-GA的性能。仿真和应用结果表明，该方法在攻击能力和扰动控制方面优于现有的黑箱攻击方法。
2019-05-01 cs.CR cs.LG cs.NE
Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
对抗性训练产生针对特定威胁模型的鲁棒模型，例如，$L_\infty$对抗性示例。通常，鲁棒性不会推广到以前看不见的威胁模型，例如，其他$L_p$范数或更大的扰动。我们的置信度校准对抗训练（CCAT）通过将模型偏向于对抗示例的低置信度预测来解决这个问题。通过允许拒绝低置信度的示例，鲁棒性可以推广到训练期间使用的威胁模型之外。仅在$L_\infty$对抗性示例上训练的CCAT提高了对更大的$L_\infty$、$L_2$、$L_1$和$L_0$攻击、对抗性帧、远端对抗性示例和损坏示例的鲁棒性，并且与对抗性训练相比产生更好的干净准确性。为了进行彻底的评估，我们开发了新的白盒和黑盒攻击，通过最大化置信度直接攻击CCAT。对于每种威胁模型，我们使用$7$攻击，最多$50$重启和$5000$迭代，并报告最坏情况下的鲁棒测试错误，扩展到我们的置信阈值设置，在所有攻击中。
2020-06-30 cs.CR cs.CV cs.LG
Sparse and Imperceivable Adversarial Attacks
University of Tübingen（图宾根大学）
神经网络已被证明易受各种对抗攻击的攻击。从安全的角度来看，高度稀疏的对抗攻击尤其危险。另一方面，稀疏攻击的像素级扰动通常很大，因此可以潜在地检测到。我们提出了一种新的黑盒技术来制作对抗性的例子，旨在最大限度地减少$l_0$距离原始图像。大量的实验表明，我们的攻击是更好的或竞争的最先进的。此外，我们可以集成额外的边界上的分量扰动。允许像素仅在高变化区域中变化，并避免沿轴对齐边缘的变化，这使得我们的对抗性示例几乎不可感知。此外，我们适应投影梯度下降攻击的$l_0$ -范数集成组件的约束。这使我们能够进行对抗训练，以增强分类器对稀疏和不可感知的对抗操作的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
On Neural Network approximation of ideal adversarial attack and convergence of adversarial training
Purdue University（普渡大学）
本研究将对抗攻击表示为无需梯度计算的可训练函数，证明理论最佳攻击可由分段Hölder函数表示并用神经网络逼近，将对抗训练转化为攻击与防御网络间的博弈，并推导出对抗损失关于样本量的收敛速率。
2023-07-30 cs.LG stat.ML
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University（首尔大学）
Torchattacks是一个PyTorch库，包含对抗攻击，用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI（微软Azure人工智能）；Amazon（亚马逊）
我们研究了一个对抗性多臂强盗的安全威胁，其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明，攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂，但在每一个次线性（T-o（T））轮数，而只会产生次线性（o（T））的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题，例如，在在线推荐中，攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率，因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本，任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配，这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG
Adversarial Attack with Pattern Replacement
East China Normal University（华东师范大学）
我们提出了一个对抗攻击的生成模型。该模型从输入中生成微妙但可预测的模式。为了执行攻击，它将输入的模式替换为基于其他类的示例生成的模式。我们通过攻击MNIST上的CNN来展示我们的模型。
2019-11-25 cs.LG stat.ML
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks
Lab41, In-Q-Tel（Lab41，In-Q-Tel）
引入对抗性训练是为了提高深度学习模型对对抗攻击的鲁棒性。这种训练方法提高了对对抗攻击的鲁棒性，但增加了模型对隐私攻击的脆弱性。在这项工作中，我们演示了如何模型反演攻击，直接从模型中提取训练数据，以前被认为是棘手的成为可行的攻击时，一个强大的训练模型。传统训练模型的输入空间由对抗性示例主导--强烈激活某个类但缺乏语义意义的数据点--这使得很难成功进行模型反演攻击。我们使用CIFAR-10数据集在三种不同的模型反演攻击下证明了这种效果，香草梯度下降方法，不同尺度的基于梯度的方法，以及基于生成对抗网络的攻击。
2019-06-15 cs.LG stat.ML
A New Ensemble Adversarial Attack Powered by Long-term Gradient Memories
Shanghai Jiao Tong University（上海交通大学）；MarkableAI Inc.（MarkableAI公司）；Université de Nantes（南特大学）；Alibaba Group（阿里巴巴集团）
深度神经网络容易受到对抗攻击的攻击。
2019-11-18 cs.LG stat.ML
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University（本古里安大学）
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击，并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现，自然语言理解模型有了显著的改进，但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击，攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制，即限制允许的查询数量（查询预算）和制作容易在不同的预训练模型之间转移的攻击（可转移性），这使得以前的攻击模型不切实际且无效。在这里，我们提出了一个目标模型不可知的对抗攻击方法，具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明，与基线方法相比，我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Tricking Adversarial Attacks To Fail
Aalto University（阿尔托大学）
最近的对抗性防御方法失败了。无针对性的基于梯度的攻击会导致分类器选择任何错误的类。我们新颖的白盒防御技巧使非目标攻击成为针对指定目标类的攻击。从这些目标类中，我们可以派生出真正的类。我们的目标训练防御欺骗了无目标的、基于梯度的对抗攻击核心的最小化：最小化（1）扰动和（2）分类器对抗损失的总和。目标训练最小程度地改变分类器，并使用标记有指定类的额外重复点（距离为0）对其进行训练。这些不同标记的复制样本使最小化的项（1）和（2）两者最小化，从而将攻击收敛引导到指定类别的样本，从中导出正确的分类。重要的是，目标训练消除了了解攻击的需要，以及生成对抗性攻击样本的开销，从而最大限度地减少干扰。我们在CIFAR 10中获得了CW-L2（置信度=0）的86.2%的准确率，甚至超过了非对抗性样本的不安全分类器准确率。目标训练提出了对抗性防御策略的根本变化。
2020-06-08 cs.LG stat.ML
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Multi-Task Adversarial Attack
Southern University of Science and Technology（南方科技大学）
深度神经网络在各个领域都取得了令人印象深刻的性能，但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而，在实际应用中，往往需要同时针对不同的任务攻击多个模型。为此，我们提出了多任务对抗攻击（MTA），这是一个统一的框架，可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例，这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说，MTA使用对抗扰动生成器，该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器，MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外，所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明，与单任务相比，MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
ROOM: Adversarial Machine Learning Attacks Under Real-Time Constraints
IEMN-DOAE, UMR CNRS 8520 Polytechnic University Hauts-De-France（法国上法兰西理工大学 IEMN-DOAE, UMR CNRS 8520）；George Mason University（乔治梅森大学）；University of California Riverside（加州大学河滨分校）
深度学习的进步已经实现了广泛的有前途的应用。然而，这些系统容易受到对抗性机器学习（AML）攻击;对输入的恶意干扰可能导致它们错误分类。一些最先进的对抗攻击已经证明，它们可以可靠地欺骗分类器，使这些攻击成为一个重大的威胁。对抗攻击生成算法主要集中在创建成功的例子，同时控制噪声的大小和分布，使检测更加困难。这些攻击的基本假设是，对抗性噪声是离线生成的，因此执行时间是次要考虑因素。然而，最近，攻击者机会主义地在运行中生成对抗性示例的即时对抗攻击已被证明是可能的。本文提出了一个新的问题：如何在实时的【形】约束下产生对抗性噪声来支持这种实时的【形】对抗攻击？理解这个问题可以提高我们对这些攻击对实时的【形】系统构成的威胁的理解，并为未来的防御提供安全评估基准。因此，我们首先对对抗生成算法进行运行时分析。通用攻击离线产生通用攻击，没有在线开销，并且可以应用于任何输入;然而，由于其通用性，其成功率有限。相比之下，在线算法，工作在一个特定的输入，是计算昂贵的，使他们不适合在时间限制下的操作。因此，我们提出了ROOM，一种新的实时的【形】在线离线攻击构造模型，其中离线组件用于预热在线算法，使得在时间限制下生成非常成功的攻击成为可能。
2022-01-05 cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Attacking Adversarial Attacks as A Defense
Tencent（腾讯）；Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；University of Munich（慕尼黑大学）
众所周知，对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性，但防御失败的情况仍然广泛存在。在这项工作中，我们发现，对抗攻击也可以容易受到小扰动。也就是说，在对抗性训练的模型上，用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后，我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发，我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类，具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上，它将最先进的模型从66.16%提高到72.66%，对抗AutoAttack的四种攻击，其中包括71.76%到83.30%的Square攻击。在ImageNet上，FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Delving into adversarial attacks on deep policies
National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）
对抗性示例已被证明存在于各种深度学习架构中。深度强化学习在直接基于原始输入（如图像像素）训练代理策略方面显示出了有希望的结果。在本文中，我们提出了一项针对深度强化学习策略的对抗性攻击的新研究。我们使用对抗性示例与随机噪声比较了攻击的有效性。我们提出了一种新的方法，用于减少成功攻击所需注入的对抗性示例的次数，该方法基于值函数。我们进一步探讨了随机噪声和FGSM扰动的重新训练如何影响对抗性示例的弹性。
2017-05-18 cs.LG stat.ML
Detection of Adversarial Attacks and Characterization of Adversarial Subspace
对抗攻击一直是任何数据驱动模型的严重威胁。在本文中，我们探索了酉向量域中对抗性样本的子空间，并提出了一种新的检测器来保护我们为环境声音分类训练的模型。我们测量弦的距离之间的合法和恶意表示的声音在酉空间的广义Schur分解，并表明他们的流形远离对方。我们的前端检测器是一个正则化的逻辑回归，它可以区分合法和对抗谱图的特征值。在三个以声谱图表示的环境声音基准数据集上的实验结果表明，该检测器对八种类型的对抗攻击具有较高的检测率，优于其他检测方法。
2019-10-26 cs.CR cs.LG cs.SD
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence（清华大学脑与智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
深度神经网络容易受到对抗性示例的攻击，由于潜在的严重后果，这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而，现有的大多数对抗攻击只能欺骗黑盒模型，成功率很低。为了解决这个问题，我们提出了一个广泛的基于动量的迭代算法，以提高对抗攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中摆脱糟糕的局部最大值，从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用于一组模型，并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法，我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Probabilistic Categorical Adversarial Attack & Adversarial Training
Michigan State University（密歇根州立大学）；Jinan University（暨南大学）
针对分类数据对抗样本生成效率低的问题，提出将离散优化转为连续问题的PCAA攻击方法，理论验证其优势，并基于此构建高效对抗训练框架，实验证明攻击与防御算法均有效。
2023-11-06 cs.CR cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University（广州大学）；Cyberspace Institute of Advanced Technology（网络空间先进技术研究院）
最近的研究表明，深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成，而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设（例如，敌对示例的词频、攻击方法的扰动水平）。然而，这限制了检测方法的适用性。为此，我们提出了TREATED，一种通用的对抗检测方法，可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明，我们的方法比基线具有更好的检测性能。我们最后进行消融研究，以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
TA3: Testing Against Adversarial Attacks on Machine Learning Models
University of Oxford（牛津大学）
该研究设计开发了交互式对抗攻击测试系统TA3，通过人在回路实现人工引导攻击模拟与可视化攻击影响评估，当前版本聚焦决策树的单像素攻击测试，验证了人在回路在ML测试中的价值与拓展潜力。
2024-10-06 cs.CR cs.LG
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications（北京邮电大学）
深度神经网络（DNN）对对抗攻击的微小扰动很敏感，这会导致错误的预测。近年来，已经开发了各种方法来克服对抗攻击，包括对抗防御和不确定性推理（UI）。在本文中，我们提出了一个多头不确定性推理（MH-UI）框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构（即，分类器）以从DNN中的不同深度获得预测，并为UI引入浅层信息。利用不同深度的独立水头，假设归一化预测服从同一Dirichlet分布，并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明，在不同的设置下，所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University（九州大学）
本文综述了对抗性机器学习中的对抗性攻击分类与理解，并概述现有防御方法的局限性，为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
Adversarial Attacks for Multi-view Deep Models
East China Normal University（华东师范大学）；Tongji University（同济大学）
最近的研究强调了许多深度机器学习模型在对抗性示例中的脆弱性。对抗攻击是一种在模型部署前对其安全性和鲁棒性进行评估的方法，因此受到越来越多的关注。然而，据我们所知，目前还没有针对多视图深度模型的对抗攻击的具体研究。本文提出了两种多视图攻击策略：两阶段攻击（TSA）和端到端攻击（ETEA）。在目标多视图模型所基于的单视图模型已知的假设下，我们首先提出了TSA策略。TSA的主要思想是通过攻击相关联的单视图模型生成对抗性示例来攻击多视图模型，从而将现有的单视图攻击方法直接扩展到多视图场景。在此基础上，进一步提出了多视图模型公开时的ETEA策略。利用ETEA算法实现了对目标多视图模型的直接攻击，提出了三种有效的多视图攻击方法。最后，基于对抗性攻击在不同模型间具有较好的泛化性，以多视图卷积神经网络的对抗攻击为例，验证了所提出的多视图攻击方法的有效性。大量的实验结果表明，我们的多视图攻击策略能够攻击多视图深度模型，我们还发现，多视图模型比单视图模型更强大。
2020-06-19 cs.LG stat.ML
Adversarial attacks against Bayesian forecasting dynamic models
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所 (ICMAT-CSIC)）
在过去的十年里，对抗性机器学习（AML）兴起。这门学科研究如何操纵数据以欺骗推理引擎，以及如何保护这些系统免受此类操纵攻击。针对回归和分类系统的攻击已经有了大量的工作，而针对时间序列预测系统的攻击却很少受到关注。在本文中，我们提出了一个基于决策分析的攻击策略，可用于对贝叶斯预测动态模型。
2021-10-20 cs.LG stat.ML
Can We Mitigate Backdoor Attack Using Adversarial Detection Methods?
Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）
众所周知，深度神经网络容易受到对抗攻击和后门攻击的攻击，其中对输入的微小修改能够误导模型给出错误的结果。虽然对对抗攻击的防御已经进行了广泛的研究，但对减轻后门攻击的研究仍处于早期阶段。目前还不清楚这两种攻击的防御之间是否有任何联系和共同特征。我们对深度神经网络的对抗性示例和后门示例之间的联系进行了全面的研究，以寻求回答这个问题：我们可以使用对抗性检测方法检测后门吗？我们的见解是基于这样的观察，即对抗性示例和后门示例在推理过程中都有异常，与良性样本高度区分。因此，我们修改了四个现有的对抗性防御方法检测后门的例子。广泛的评估表明，这些方法提供了可靠的保护，防止后门攻击，具有更高的准确性比检测敌对的例子。这些解还揭示了对抗样本、后门样本和正常样本在模型敏感性、激活空间和特征空间中的关系。这能够增强我们对这两种攻击的内在特征和防御机会的理解。
2022-07-28 cs.LG stat.ML
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度学习模型遭受一种称为对抗攻击的现象：我们可以对模型输入进行微小的更改，以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而，对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战：（1）目标函数的不可微性，（2）对初始序列变换的约束，以及（3）可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法，并允许在任何情况下使用，第二种方法使用模型和目标度量的连续松弛，从而允许使用最先进的方法进行对抗攻击，而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明，所提出的方法生成了合理的对抗序列，这些序列接近原始序列，但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML
Are Adversarial Examples Created Equal? A Learnable Weighted Minimax Risk for Robustness under Non-uniform Attacks
Technical University of Munich（慕尼黑工业大学）；University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练被证明是一种有效的防御对抗性示例的方法，是少数几种能够抵御强大攻击的防御方法之一。然而，传统的防御机制假设根据底层数据分布对示例进行统一攻击，这显然是不现实的，因为攻击者可以选择专注于更脆弱的示例。我们提出了一个加权极大极小风险优化，抵御非均匀攻击，实现对抗性的例子扰动测试数据分布下的鲁棒性。我们修改的风险考虑了不同对抗性示例的重要性权重，并自适应地关注被错误分类或被错误分类的风险较高的较难示例。设计的风险允许训练过程通过优化重要性权重来学习强大的防御。实验表明，我们的模型在非均匀攻击下显着提高了最先进的对抗精度，而在均匀攻击下没有显着下降。
2020-10-24 cs.CR cs.LG
Deflecting Adversarial Attacks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
有一个正在进行的循环，即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环，我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此，我们首先提出了一种基于Capsule Networks的更强大的防御，该防御结合了三种检测机制，以在标准和防御感知攻击中实现最先进的检测性能。然后，我们通过进行一项人类研究，要求参与者标记攻击产生的图像，表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”，因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
Adversarial attacks on an optical neural network
Peng Cheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
针对数字领域的深度学习等机器学习系统，人们已经广泛研究了对抗攻击。然而，针对光学神经网络的对抗攻击却很少被研究。在这项工作中，我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪（MZI）。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似，但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明，对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时，这是非常具有挑战性的，因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性，则更有可能将攻击能力转移到其他模型的假设，基于集合的对抗攻击方法是一种有效的黑盒攻击方法，被广泛应用。然而，集成攻击的方式是相当少的研究，和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中，我们把迭代集成攻击作为一个随机梯度下降优化过程，在不同的模型上的梯度的方差可能会导致不良的局部最优。为此，我们提出了一种新的攻击方法称为随机方差减少集成（SVRE）攻击，它可以减少集成模型的梯度方差，并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明，该方法可以提高对抗性可转移性，并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University（密歇根州立大学）
在对抗攻击下，时间序列回归和分类是脆弱的。另一方面，对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中，各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行，具有三个对抗攻击和一个对抗防御。根据调查结果，所有模型，特别是GRU和RNN，似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University（莫纳什大学）；Defence Science and Technology Group, Department of Defence（国防部国防科学技术集团）
据报道，深度神经网络图像分类器容易受到对抗性规避攻击的影响，这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴，它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动，最近已经开发了稀疏攻击，其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击，导致攻击效率降低。在本文中，我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动，基于这样一个事实，我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此，我们提出了一个概率事后框架，细化给定的密集攻击，通过显着减少扰动像素的数量，但保持其攻击能力，训练与互信息最大化。在任意密集攻击下，该模型具有吸引人的兼容性，使其对抗图像更逼真，并且在更少的扰动下不易被检测到。此外，我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University（卡尔顿大学）
本文研究了对抗攻击对基于机器学习的网络入侵检测系统（NIDS）的实用性，指出动态系统中的攻击有效性较低，并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Adversarial Attacks and Defense Methods for Power Quality Recognition
Air Traffic Control and Navigation College, Air Force Engineering University（空军工程大学空管领航学院）；Information and Navigation College, Air Force Engineering University（空军工程大学信息与导航学院）；Henan University of Technology（河南工业大学）
各种机器学习方法对对抗性示例的脆弱性最近在文献中进行了探索。使用这些脆弱方法的电力系统面临着对抗性示例的巨大威胁。为此，我们首先提出了一个信号特定的方法和一个通用的信号不可知的方法来攻击电力系统使用生成的对抗性的例子。本文还提出了基于可传递特征的黑盒攻击和上述两种方法，并对它们进行了评价。然后，我们采用对抗训练来保护系统免受对抗攻击。实验分析表明，我们的信号特定的攻击方法相比，FGSM（快速梯度符号法）提供更少的扰动，我们的信号不可知的攻击方法可以产生干扰欺骗大多数自然信号的概率很高。此外，基于通用信号无关算法的攻击方法比基于特定信号算法的攻击方法具有更高的黑盒攻击的传送率。此外，结果表明，所提出的对抗性训练提高了电力系统对抗性的例子的鲁棒性。
2022-02-11 cs.AI cs.CR cs.LG
The Threat of Adversarial Attacks on Machine Learning in Network Security -- A Survey
Carleton University（卡尔顿大学）
机器学习模型使许多决策支持系统变得更快、更准确、更高效。然而，与其他领域相比，机器学习在网络安全中的应用面临着更不成比例的主动对抗攻击威胁。这是因为网络安全中的机器学习应用程序（如恶意软件检测、入侵检测和垃圾邮件过滤）本身就具有对抗性。在攻击者和防御者之间的军备竞赛中，对手不断地用明确设计的输入来探测机器学习系统，以绕过系统并引起错误的预测。在本调查中，我们首先提供了机器学习技术、任务和深度的分类。然后，我们介绍了机器学习在网络安全应用中的分类。接下来，我们研究了网络安全中针对机器学习的各种对抗性攻击，并介绍了网络安全中对抗攻击的两种分类方法。首先，我们分类对抗攻击在网络安全的基础上的网络安全应用的分类。其次，我们将网络安全中的对抗攻击分为问题空间与特征空间的维度分类模型。然后，我们分析了各种防御对抗攻击的机器学习为基础的网络安全应用程序。最后，我们引入了一个对抗性风险网格图，并使用风险网格图评估了网络安全中针对机器学习的几种现有对抗攻击。我们还确定了每个攻击分类在对抗性风险网格图中的位置。
2023-03-21 cs.CR cs.LG cs.NI
Adversarial Attacks on Deep-Learning Based Radio Signal Classification
Linköping University（林雪平大学）
尽管深度学习（DL）在许多计算机视觉和语言处理应用中取得了巨大成功，但它非常容易受到对抗攻击的影响。我们考虑使用DL的无线电信号（调制）分类任务，并提出了实用的方法，在该应用程序中的白盒和通用的黑盒对抗攻击的制作。我们表明，这些攻击可以大大降低分类性能，输入的扰动极小。特别地，这些攻击比经典的干扰攻击明显更强大，这在无线物理层使用基于DL的算法时引起了显著的安全性和鲁棒性问题。
2018-08-23 cs.CR cs.IT cs.LG
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护（CBM）策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态，而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本，并研究了CBM系统在攻击下的性能。研究结果表明，CBM系统容易受到对抗性机器学习攻击，需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Availability Adversarial Attack and Countermeasures for Deep Learning-based Load Forecasting
Imperial College London（伦敦帝国学院）
电力负荷预测是电力系统规划和运行的基础。最近，深度学习的进步使得预测更加准确。然而，深度神经网络容易受到对抗攻击。虽然大多数文献都集中在基于完整性的攻击，本文提出了基于可用性的对抗攻击，它可以更容易地实现的攻击者。对于每个预测实例，通过人工神经网络的混合整数重构优化求解可用攻击位置。为了解决这种攻击，提出了一种对抗性训练算法。在仿真中，一个现实的负载预测数据集被认为是和攻击性能进行比较，基于完整性的攻击。同时，对抗性训练算法显着提高了对可用性攻击的鲁棒性。所有代码都可以在https://github.com/xuwkk/AAA_Load_Forecast上找到。
2023-01-04 cs.CR cs.LG cs.SY
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine（缅因大学）
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题，提出对抗判别器集成网络（ADE-Net），通过判别器按攻击类型分配数据至专家集成网络，在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
