Synthesis of Adversarial DDOS Attacks Using Tabular Generative Adversarial Networks
网络入侵检测系统(NIDS)是广泛用于维护计算机网络和信息系统的工具或软件,当有人试图闯入系统时,它们会标记,以保持它们的安全并防止恶意流量渗透到它们中。然而,随着攻击技术的不断发展,新的攻击类型也越来越多,其中一种是基于生成对抗网络(GAN)的攻击,它可以逃避机器学习IDS,使它们变得脆弱。本项目研究使用GANs生成的真实DDoS攻击合成的对抗攻击对IDS的影响。我们的目标是发现这些系统将如何对合成攻击作出反应。标记出这些系统的弱点和弱点,以便我们修复它们。
2022-12-14 cs.AI cs.CR
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.(PeopleTec公司);Auburn University(奥本大学)
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中,我们提出了一块生产保护系统:检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响:可以以结构化的方式训练底层模型,使其对这些攻击具有鲁棒性,并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology(埃因霍温理工大学);National University of Singapore(新加坡国立大学)
深度神经网络很容易受到对抗性示例的攻击,这些示例是通过对输入进行难以察觉的更改而制作的。然而,这些对抗性示例在白盒设置中最成功,其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中,我们提出了方向聚合对抗攻击,提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向,以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明,我们提出的方法显著提高了对抗性示例的可移植性,并且优于最先进的攻击,特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%,对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University(本古里安大学)
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击,并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models
尽管随着BERT和XLNet等模型的出现,自然语言理解模型有了显著的改进,但这些基于神经网络的分类器容易受到黑盒对抗攻击的攻击,攻击者只允许查询目标模型输出。我们对攻击方法增加了两个更现实的限制,即限制允许的查询数量(查询预算)和制作容易在不同的预训练模型之间转移的攻击(可转移性),这使得以前的攻击模型不切实际且无效。在这里,我们提出了一个目标模型不可知的对抗攻击方法,具有高度的攻击跨受攻击模型的可转移性。我们的实证研究表明,与基线方法相比,我们的方法在有限的查询预算的限制下生成高度可转移的对抗句子。
2021-06-13 cs.CR cs.LG
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而,进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准,对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中,我们提出了一个模型不可知的元攻击(MAMA)的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器,该网络在一类数据样本和防御上进行训练,以在对抗示例生成期间产生有效的更新方向。此外,我们开发了一个模型无关的训练算法,以提高学习优化器的泛化能力时,攻击看不见的防御。我们的方法可以灵活地与各种攻击,并不断提高性能,几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性,与对不同防御的最新攻击相比,可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Attribution of Gradient Based Adversarial Attacks for Reverse Engineering of Deceptions
University of California, Santa Barbara(加州大学圣巴巴拉分校);Mayachitra Inc(玛雅奇特拉公司)
机器学习(ML)算法在训练和部署过程中容易受到对抗攻击和欺骗。这些对抗性机器学习攻击背后的工具链的自动逆向工程将有助于恢复这些攻击中使用的工具和流程。在本文中,我们提出了两种技术,支持使用共生像素统计和Laplacian Resistance自动识别和归因对抗性ML攻击工具链。我们的实验表明,所提出的技术可以识别用于生成对抗样本的参数。据我们所知,这是第一种基于属性梯度的对抗攻击方法,并估计它们的参数。源代码和数据可在https://github.com/michael-goebel/ei_red上获得
2021-03-19 cs.CR cs.CV
Improving behavior based authentication against adversarial attack using XAI
针对基于行为的身份认证中攻击者复制对抗样本存在偏差的实际场景,提出基于XAI的特征选择过滤防御策略,经实验验证其防御效果优于对抗训练等现有方法。
2024-03-10 cs.CR cs.HC
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University(首尔大学)
Torchattacks是一个PyTorch库,包含对抗攻击,用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
Multi-Task Adversarial Attack
Southern University of Science and Technology(南方科技大学)
深度神经网络在各个领域都取得了令人印象深刻的性能,但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而,在实际应用中,往往需要同时针对不同的任务攻击多个模型。为此,我们提出了多任务对抗攻击(MTA),这是一个统一的框架,可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例,这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说,MTA使用对抗扰动生成器,该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器,MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外,所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明,与单任务相比,MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University(浙江大学)
随着机器学习技术的快速发展,深度学习模型已经被部署到日常生活的几乎每个方面。然而,这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实,可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识,并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小,希望提高其查询效率。
2022-01-13 cs.CR cs.LG
ROOM: Adversarial Machine Learning Attacks Under Real-Time Constraints
IEMN-DOAE, UMR CNRS 8520 Polytechnic University Hauts-De-France(法国上法兰西理工大学 IEMN-DOAE, UMR CNRS 8520);George Mason University(乔治梅森大学);University of California Riverside(加州大学河滨分校)
深度学习的进步已经实现了广泛的有前途的应用。然而,这些系统容易受到对抗性机器学习(AML)攻击;对输入的恶意干扰可能导致它们错误分类。一些最先进的对抗攻击已经证明,它们可以可靠地欺骗分类器,使这些攻击成为一个重大的威胁。对抗攻击生成算法主要集中在创建成功的例子,同时控制噪声的大小和分布,使检测更加困难。这些攻击的基本假设是,对抗性噪声是离线生成的,因此执行时间是次要考虑因素。然而,最近,攻击者机会主义地在运行中生成对抗性示例的即时对抗攻击已被证明是可能的。本文提出了一个新的问题:如何在实时的【形】约束下产生对抗性噪声来支持这种实时的【形】对抗攻击?理解这个问题可以提高我们对这些攻击对实时的【形】系统构成的威胁的理解,并为未来的防御提供安全评估基准。因此,我们首先对对抗生成算法进行运行时分析。通用攻击离线产生通用攻击,没有在线开销,并且可以应用于任何输入;然而,由于其通用性,其成功率有限。相比之下,在线算法,工作在一个特定的输入,是计算昂贵的,使他们不适合在时间限制下的操作。因此,我们提出了ROOM,一种新的实时的【形】在线离线攻击构造模型,其中离线组件用于预热在线算法,使得在时间限制下生成非常成功的攻击成为可能。
2022-01-05 cs.CR cs.LG
Attacking Adversarial Attacks as A Defense
Tencent(腾讯);Zhejiang University(浙江大学);JD Explore Academy(京东探索研究院);University of Munich(慕尼黑大学)
众所周知,对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性,但防御失败的情况仍然广泛存在。在这项工作中,我们发现,对抗攻击也可以容易受到小扰动。也就是说,在对抗性训练的模型上,用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后,我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发,我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类,具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上,它将最先进的模型从66.16%提高到72.66%,对抗AutoAttack的四种攻击,其中包括71.76%到83.30%的Square攻击。在ImageNet上,FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation(MITRE公司)
众所周知,机器学习(ML)模型容易受到对抗性输入的影响,研究人员已经证明,即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时,将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题:可以adversarially扰动输入归因于特定的方法来产生的攻击?换句话说,有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号?我们引入了对抗攻击归因的概念,并创建了一个简单的监督学习实验框架,以检查发现归因信号在对抗攻击的可行性。我们发现,在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH(neurocat有限公司);Volkswagen AG(大众汽车集团)
大多数最先进的机器学习(ML)分类系统都容易受到对抗性扰动的影响。因此,对抗鲁棒性对在安全和安全关键环境(如自动驾驶、疾病检测或无人机)中部署基于ML的系统提出了重大挑战。在过去几年中,我们看到大量的出版物提出了越来越多的新的对抗攻击。然而,攻击研究似乎是相当非结构化的,新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中,我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块,我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标,我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联,即语义分割和目标检测。最后,为了证明有用的攻击发生器,我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
Probabilistic Categorical Adversarial Attack & Adversarial Training
Michigan State University(密歇根州立大学);Jinan University(暨南大学)
针对分类数据对抗样本生成效率低的问题,提出将离散优化转为连续问题的PCAA攻击方法,理论验证其优势,并基于此构建高效对抗训练框架,实验证明攻击与防御算法均有效。
2023-11-06 cs.CR cs.LG
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University(广州大学);Cyberspace Institute of Advanced Technology(网络空间先进技术研究院)
最近的研究表明,深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成,而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设(例如,敌对示例的词频、攻击方法的扰动水平)。然而,这限制了检测方法的适用性。为此,我们提出了TREATED,一种通用的对抗检测方法,可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明,我们的方法比基线具有更好的检测性能。我们最后进行消融研究,以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
Composite Adversarial Attacks
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
对抗攻击是一种欺骗机器学习(ML)模型的技术,它提供了一种评估对抗鲁棒性的方法。在实践中,攻击算法是由人类专家人工选择和调整的,以破坏ML系统。然而,手动选择攻击者往往是次优的,导致错误的评估模型的安全性。提出了一种新的复合对抗攻击算法(CAA),用于从\textbf{32 base attackers}的候选池中自动搜索攻击算法及其超参数的最佳组合。我们设计了一个搜索空间,其中攻击策略表示为攻击序列,即,前一个攻击者的输出被用作后继者的初始化输入。采用多目标NSGA-II遗传算法寻找复杂度最小的最强攻击策略。实验结果表明,CAA在11种不同的攻击中以更少的时间(\textbf{6 $\times$ faster than AutoAttack})击败了10个顶级攻击者,并在$l_{\infty}$、$l_{2}$和无限制对抗攻击上达到了新的水平。
2020-12-10 cs.CR cs.CV
CAG: A Real-time Low-cost Enhanced-robustness High-transferability Content-aware Adversarial Attack Generator
Rutgers University - School of Engineering(罗格斯大学工程学院);MIT-IBM Watson AI Lab, IBM Research(IBM研究院麻省理工学院-IBM沃森人工智能实验室)
尽管深度神经网络(DNN)在许多人工智能领域取得了巨大的成功,但它很容易受到对抗攻击的攻击。对抗攻击是一种通过向合法输入添加不可感知的扰动来引起预期的误分类的方法。研究人员已经开发出多种类型的对抗攻击方法。然而,从实际部署的角度来看,这些方法遭受的几个缺点,如攻击生成时间长,内存成本高,鲁棒性不足和低可移植性。提出了一种基于内容的对抗攻击生成器(CAG),以实现实时的【形】、低成本、增强鲁棒性和高可移植性的对抗攻击。首先,作为一种基于生成模型的攻击,与PGD和C\&W等最先进的攻击相比,CAG在生成对抗性示例方面表现出显着的加速(至少500倍)。CAG只需要一个生成模型就可以对任何目标类进行有针对性的攻击。由于CAG将标签信息编码到可训练的嵌入层中,因此它不同于先前的基于生成模型的对抗攻击,后者针对$n$不同的目标类使用生成模型的$n$不同副本。因此,CAG显著降低了生成对抗性示例所需的内存成本。CAG可以通过在训练过程中整合类激活图信息来生成专注于输入关键区域的对抗性扰动,从而提高CAG攻击对最新对抗性防御的鲁棒性。此外,通过在生成扰动的过程中引入随机丢弃,CAG在黑盒攻击场景中表现出在不同DNN分类器模型之间的高可移植性。在不同数据集和DNN模型上的大量实验已经验证了CAG的实时的【形】、低成本、增强的鲁棒性和高可移植性的优点。
2019-12-16 cs.CR cs.CV
IDSGAN: Generative Adversarial Networks for Attack Generation against Intrusion Detection
Shanghai Jiao Tong University(上海交通大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
入侵检测系统作为网络安全中必不可少的工具,承担着防御恶意网络攻击的重任。近年来,在机器学习算法的帮助下,入侵检测系统发展迅速。然而,当它面对对抗攻击时,该系统的鲁棒性是值得怀疑的。为了提高检测系统的鲁棒性,更多潜在的攻击方法正在研究之中。本文提出了一种生成对抗网络(IDSGAN)框架,用于生成对抗性恶意流量记录,通过欺骗和逃避检测来攻击入侵检测系统。假设检测系统的内部结构和参数对攻击者来说是未知的,对抗攻击示例对检测系统执行黑盒攻击。IDSGAN利用生成器将原始恶意流量记录转换为对抗性恶意流量记录。一个分类器对流量示例进行分类,并动态学习实时黑盒检测系统。更重要的是,限制修改机制是为对抗生成设计的,以保留对抗流量记录的原始攻击功能。通过对不同攻击类别的多个基于算法的检测模型进行攻击,验证了该模型的有效性。鲁棒性通过改变修改特征的数目来验证。与对抗攻击基线的对比实验表明了该模型的优越性。
2022-05-08 cs.AI cs.CR
Mutation-Based Adversarial Attacks on Neural Text Detectors
Texas A&M University – San Antonio(德克萨斯农工大学圣安东尼奥分校)
神经文本检测器旨在确定区分神经(机器生成)和人类文本的特征。为了挑战这种检测器,对抗攻击可以改变生成的文本的统计特征,使检测任务变得越来越困难。受软件开发和测试中突变分析进展的启发,在本文中,我们提出了基于字符和单词的突变算子,用于生成对抗性样本,以攻击最先进的自然文本检测器。这属于白盒对抗攻击。在这种攻击中,攻击者可以访问原始文本并基于该原始文本创建变异实例。其最终目标是混淆机器学习模型和分类器,降低它们的预测精度。
2023-02-11 cs.AI cs.CR
TA3: Testing Against Adversarial Attacks on Machine Learning Models
University of Oxford(牛津大学)
该研究设计开发了交互式对抗攻击测试系统TA3,通过人在回路实现人工引导攻击模拟与可视化攻击影响评估,当前版本聚焦决策树的单像素攻击测试,验证了人在回路在ML测试中的价值与拓展潜力。
2024-10-06 cs.CR cs.LG
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications(北京邮电大学)
深度神经网络(DNN)对对抗攻击的微小扰动很敏感,这会导致错误的预测。近年来,已经开发了各种方法来克服对抗攻击,包括对抗防御和不确定性推理(UI)。在本文中,我们提出了一个多头不确定性推理(MH-UI)框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构(即,分类器)以从DNN中的不同深度获得预测,并为UI引入浅层信息。利用不同深度的独立水头,假设归一化预测服从同一Dirichlet分布,并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明,在不同的设置下,所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
Adversarial Imitation Attack
University of Electronic Science Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学)
众所周知,深度学习模型容易受到对抗性示例的影响。一个实际的对抗攻击应该需要尽可能少的被攻击模型的知识。目前的替代攻击需要预先训练好的模型来生成对抗性样本,其攻击成功率严重依赖于对抗性样本的可移植性。目前基于分数和基于决策的攻击需要对被攻击模型进行大量的查询。在这项研究中,我们提出了一种新的对抗性模仿攻击。首先,它通过像生成对抗网络(GANs)这样的两人游戏生成被攻击模型的副本。生成模型的目标是生成实例,使模仿模型返回与被攻击模型不同的输出。模仿模型的目标是在相同的输入下输出与被攻击模型相同的标签。然后,利用模仿模型生成的对抗性样本欺骗被攻击模型。与现有的替代攻击相比,模仿攻击可以使用更少的训练数据来生成被攻击模型的副本,提高对抗样本的可移植性。实验结果表明,我们的模仿攻击需要更少的训练数据比黑盒替代攻击,但实现了接近白盒攻击的攻击成功率上看不见的数据,没有查询。
2020-03-31 cs.CR cs.CV cs.LG
Are Adversarial Examples Created Equal? A Learnable Weighted Minimax Risk for Robustness under Non-uniform Attacks
Technical University of Munich(慕尼黑工业大学);University of Maryland, College Park(马里兰大学帕克分校)
对抗性训练被证明是一种有效的防御对抗性示例的方法,是少数几种能够抵御强大攻击的防御方法之一。然而,传统的防御机制假设根据底层数据分布对示例进行统一攻击,这显然是不现实的,因为攻击者可以选择专注于更脆弱的示例。我们提出了一个加权极大极小风险优化,抵御非均匀攻击,实现对抗性的例子扰动测试数据分布下的鲁棒性。我们修改的风险考虑了不同对抗性示例的重要性权重,并自适应地关注被错误分类或被错误分类的风险较高的较难示例。设计的风险允许训练过程通过优化重要性权重来学习强大的防御。实验表明,我们的模型在非均匀攻击下显着提高了最先进的对抗精度,而在均匀攻击下没有显着下降。
2020-10-24 cs.CR cs.LG
ZIUM: Zero-Shot Intent-Aware Adversarial Attack on Unlearned Models
Chung-Ang University(Chung-Ang 大学);Korea University(韩国大学);Hongik University(弘国大学)
针对现有对抗攻击难以生成符合意图内容且计算成本高的问题,提出ZIUM零样本意图感知对抗攻击方法,可灵活定制攻击图像,对已攻击过的未学习概念无需再优化,在多种场景下攻击成功率更高且耗时更短。
2025-07-29 cs.CR cs.CV
Adversarial Attacks and Detection on Reinforcement Learning-Based Interactive Recommender Systems
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of Adelaide(阿德莱德大学)
对抗攻击对在早期阶段检测对抗攻击提出了重大挑战。我们提出了基于强化学习的交互式推荐系统的攻击不可知检测。我们首先制作对抗性示例以显示其不同的分布,然后通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后,我们研究了对抗性示例的攻击强度和频率,并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明,大多数对抗攻击都是有效的,攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外,我们的黑盒检测器训练与一个手工方法具有推广能力超过几个手工方法。
2020-06-14 cs.CR cs.IR cs.LG
Asymmetric Bias in Text-to-Image Generation with Adversarial Attacks
University of California Riverside(加州大学河滨分校)
本研究实证分析文本到图像模型对抗攻击的成功率,发现实体交换存在不对称性,并提出探测指标以预测攻击成功率。
2024-07-17 cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现,我们可以构建对抗性的例子,只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院)
近年来,已经提出了几种对抗对抗ML攻击的移动目标防御(MTD)。MTD声称通过定期改变防御的某些元素(例如循环配置)来增加攻击者进行攻击的难度。为了检验这些说法,我们首次研究了几种最新的MTD对应用于恶意软件检测领域的对抗性ML攻击的有效性。在不同的威胁模型下,我们证明了可转移性和查询攻击策略可以通过跨Android和Windows的现有和新颖的攻击策略来实现对这些防御的高水平规避。我们还表明,指纹识别和侦察是可能的,并演示了攻击者如何获得关键的防御超参数以及如何产生预测的信息。基于我们的研究结果,我们提出了关键的建议,为今后的工作,有效的MTD的对抗攻击在ML为基础的恶意软件检测。
2023-02-01 cs.CR cs.LG
Is Approximation Universally Defensive Against Adversarial Attacks in Deep Neural Networks?
University of Missouri(密苏里大学)
近似计算以其在以轻微的精度损失为代价来提高深度神经网络(DNN)加速器的能量效率方面的有效性而闻名。最近,近似分量的不精确性质,如近似乘数,也被报道成功地防御了DNN模型上的对抗攻击。由于近似误差以掩蔽或未掩蔽的方式穿过DNN层,这就提出了一个关键的研究问题-近似计算是否总是能够防御DNN中的对抗攻击,即,他们是否普遍具有防御性?为此,我们提出了一个广泛的对抗鲁棒性分析不同的近似DNN加速器(AxDNN)使用最先进的近似乘法器。特别是,我们使用MNIST和CIFAR-10数据集评估了10种对抗攻击对不同AxDNN的影响。我们的研究结果表明,AxDNN上的对抗攻击可能导致53%的准确性损失,而相同的攻击可能导致准确DNN几乎没有准确性损失(低至0.06%)。因此,近似计算不能被称为对抗对抗攻击的通用防御策略。
2021-12-02 cs.CR cs.LG
Amora: Black-box Adversarial Morphing Attack
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);East China Normal University(华东师范大学);Kyushu University(九州大学);Institute of Computing Innovation, Zhejiang University(浙江大学计算创新研究院)
如今,随着生成对抗网络(GANs)的成功,数字面部内容操作已经变得无处不在和现实,使得面部识别(FR)系统受到前所未有的安全问题。在本文中,我们研究并介绍了一种新型的对抗攻击,通过操纵面部内容来逃避FR系统,称为\textbf{\underline{a}dversarial \underline{mor}phing \underline{a}ttack}(a.k.a. Amora)。与通过添加人类无法感知的噪声来干扰像素强度值的对抗性噪声攻击相比,我们提出的对抗性变形攻击在语义层面上工作,以连贯的方式在空间上干扰像素。为了解决黑盒攻击的问题,我们设计了一个简单而有效的联合字典学习管道,以获得一个专有的光流场的每一个攻击。我们对两个流行的FR系统进行了广泛的评估,证明了我们的对抗变形攻击在各种变形强度水平下的有效性,以及微笑的面部表情操作。开集和闭集实验结果表明,基于局部变形的黑盒对抗攻击是可行的,与加性噪声攻击有很大不同.这项工作的发现可能为更彻底地理解和调查基于图像的对抗攻击和防御铺平了新的研究方向。
2020-08-15 cs.CR cs.CV
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China(中国科学技术大学)
深度神经网络(DNN)最近在许多领域取得了重大进展。然而,DNN容易受到对抗性示例的影响,这些示例是具有不可感知的扰动的样本,同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是,大多数现有的对抗攻击只能欺骗黑盒模型,成功率很低。为了提高黑盒对抗攻击的成功率,我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法,我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
Transferability of Adversarial Attacks on Synthetic Speech Detection
Ningbo University(宁波大学)
合成语音检测是音频安全领域的重要研究课题之一。同时,深度神经网络容易受到对抗攻击的攻击。因此,我们建立了一个全面的基准来评估合成语音检测任务上的对抗攻击的可转移性。具体而言,我们试图研究:1)不同功能之间的对抗攻击的可转移性。2)不同特征提取超参数对对抗攻击可转移性的影响。3)裁剪或自填充操作对对抗攻击可转移性的影响。通过这些分析,我们总结了合成语音检测器的弱点和对抗攻击的可转移性行为,为未来的研究提供了见解。更多细节可以在https://gitee.com/djc_QRICK/Attack-Transferability-On-Synthetic-Detection上找到。
2022-05-16 cs.CR cs.SD eess.AS
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University(乔治梅森大学)
神经网络以其良好的准确性和可行性,在新型智能应用和系统中得到了广泛的应用。然而,随着对抗攻击的出现,基于神经网络的系统性能变得非常脆弱:图像分类结果可以被对抗样本任意误导,这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题,我们实施了一系列的调查对抗攻击在这项工作中:我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布,提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上,提出了一种新的对抗性显著性预测方法,并提出了一种快速对抗性示例生成框架ASP,该框架显著提高了攻击效率,降低了计算开销。实验结果表明,与已有方法相比,ASP的对抗性示例生成速度最多提高了12倍,扰动率降低了2倍,在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率,ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
AdvEst: Adversarial Perturbation Estimation to Classify and Detect Adversarial Attacks against Speaker Identification
Center for Language and Speech Processing, Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心)
对抗性攻击对最先进的说话人识别系统构成了严重的安全威胁,因此提出对抗措施至关重要。在我们以前使用表示学习来分类和检测对抗性攻击的工作的基础上,我们提出了一种使用AdvEst的改进方法,这是一种估计对抗性扰动的方法。首先,我们证明了我们的主张,即使用对抗性扰动而不是对抗性示例(由干净信号和对抗性扰动的组合组成)来训练表示学习网络是有益的,因为它消除了滋扰信息。在推理时,我们使用时域去噪器来估计来自对抗性示例的对抗性扰动。使用我们改进的表示学习方法来获得攻击嵌入(签名),我们评估其性能的三个应用程序:已知的攻击分类,攻击验证和未知的攻击检测。我们发现,文献中常见的攻击(快速梯度符号法(FGSM),投影梯度下降(PGD),Carlini-Wagner(CW)与不同的Lp威胁模型)可以被分类,准确率为96%。我们还检测到未知的攻击,等错误率(EER)为~ 9%,这是绝对的改善~12%,从我们以前的工作。
2022-04-08 cs.CR cs.SD eess.AS
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia(不列颠哥伦比亚大学)
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络,特别是对于大尺寸图像。然而,保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常,由于其令人不快的视觉质量,这种对抗性示例可以很容易地被发现,这在实践中损害了对抗攻击的威胁。在这项研究中,为了提高图像质量的黑盒对抗性的例子感知,我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说,我们允许对感知无关紧要的区域进行更高的扰动,而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动,我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换(DCT)域。由于所提出的攻击是独立的梯度估计,他们可以直接与现有的基于梯度的攻击。实验结果表明,与可比的攻击成功率(ASR),所提出的方法可以产生对抗性的例子,大大提高了视觉质量的免费。在感知质量相当的情况下,所提出的方法实现了更高的攻击成功率:特别是对于频率结构感知攻击,平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University(九州大学)
本文综述了对抗性机器学习中的对抗性攻击分类与理解,并概述现有防御方法的局限性,为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
Adversarial attacks on an optical neural network
Peng Cheng Laboratory(鹏城实验室);Xidian University(西安电子科技大学)
针对数字领域的深度学习等机器学习系统,人们已经广泛研究了对抗攻击。然而,针对光学神经网络的对抗攻击却很少被研究。在这项工作中,我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪(MZI)。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似,但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明,对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明,这些架构比其他神经网络更强大的对抗攻击。然而,我们的实验表明,胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Defending Against Adversarial Attacks by Energy Storage Facility
针对数据驱动算法的对抗攻击将成为电网安全的一种新型威胁。文献表明,对深度神经网络的对抗攻击会严重误导电力系统的负荷预测。然而,目前还不清楚这种新型攻击如何影响电网系统的运行。在这项研究中,我们证明了对抗性算法攻击会导致显著的成本增加风险,而间歇性可再生能源的日益普及将加剧这种风险。在德克萨斯州,5%的对抗攻击可以在一个季度内使总发电成本增加17%,约占2000万美元。当风能穿透率增加到40%以上时,5%的对抗攻击将使发电成本增加23%。我们的研究发现了一种防御对抗攻击的新方法:投资于储能系统。目前所有的文献都集中在开发防御对抗攻击的算法上。我们是第一个研究揭示了在物理系统中使用该设施来防御物联网系统(如智能电网系统)中的对抗算法攻击的能力。
2022-10-31 cs.CR cs.SY eess.SY
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时,这是非常具有挑战性的,因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性,则更有可能将攻击能力转移到其他模型的假设,基于集合的对抗攻击方法是一种有效的黑盒攻击方法,被广泛应用。然而,集成攻击的方式是相当少的研究,和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中,我们把迭代集成攻击作为一个随机梯度下降优化过程,在不同的模型上的梯度的方差可能会导致不良的局部最优。为此,我们提出了一种新的攻击方法称为随机方差减少集成(SVRE)攻击,它可以减少集成模型的梯度方差,并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明,该方法可以提高对抗性可转移性,并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
Is AmI (Attacks Meet Interpretability) Robust to Adversarial Examples?
Google Brain(谷歌大脑)
号
2019-02-06 cs.AI cs.CR cs.LG
Adversarial Attacks on Gaussian Process Bandits
National University of Singapore(新加坡国立大学)
高斯过程(GP)是一种广泛采用的工具,用于顺序优化黑盒函数,其中评估是昂贵的,并可能有噪音。最近关于GP强盗的研究提出了超越随机噪声的方法,并设计了对对抗性攻击鲁棒的算法。本文从攻击者的角度研究了这个问题,提出了各种对抗性攻击方法,对攻击者的实力和先验信息有不同的假设。我们的目标是从理论和实践的角度来理解GP土匪的对抗性攻击。我们主要集中在有针对性的攻击流行的GP-UCB算法和相关的消除为基础的算法,基于对抗扰动的功能$f$产生另一个功能$\tilde{f}$,其最优值是在一些目标区域$\mathcal{R}_{\rm target}$。在理论分析的基础上,设计了白盒攻击(已知的$f$)和黑盒攻击(未知的$f$),前者包括减法攻击和裁剪攻击,后者包括攻击性减法攻击。我们证明了对GP强盗的对抗性攻击可以成功地迫使算法朝向$\mathcal{R}_{\rm target}$,即使攻击预算很低,并且我们在各种目标函数上测试了我们的攻击的有效性。
2022-06-16 cs.CR cs.LG stat.ML
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University(密歇根州立大学)
在对抗攻击下,时间序列回归和分类是脆弱的。另一方面,对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中,各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行,具有三个对抗攻击和一个对抗防御。根据调查结果,所有模型,特别是GRU和RNN,似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University(莫纳什大学);Defence Science and Technology Group, Department of Defence(国防部国防科学技术集团)
据报道,深度神经网络图像分类器容易受到对抗性规避攻击的影响,这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴,它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动,最近已经开发了稀疏攻击,其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击,导致攻击效率降低。在本文中,我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动,基于这样一个事实,我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此,我们提出了一个概率事后框架,细化给定的密集攻击,通过显着减少扰动像素的数量,但保持其攻击能力,训练与互信息最大化。在任意密集攻击下,该模型具有吸引人的兼容性,使其对抗图像更逼真,并且在更少的扰动下不易被检测到。此外,我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学)
对抗性攻击的目的是用对抗性的例子欺骗深度神经网络。在自然语言处理领域中,已经提出了各种文本对抗攻击模型,其在受害者模型的可访问性方面有所不同。其中,只需要受害者模型输出的攻击模型更适合真实世界的对抗性攻击情况。然而,这些模型为了获得高攻击性能,通常需要多次查询受害者模型,这在实践中既不高效也不可行。为了解决这个问题,我们提出了一个基于强化学习的攻击模型,它可以从攻击历史中学习,更有效地发动攻击。在实验中,我们通过攻击多个任务的基准数据集,包括情感分析,文本分类和自然语言推理的几个国家的最先进的模型来评估我们的模型。实验结果表明,我们的模型始终实现更好的攻击性能和更高的效率比最近提出的基线方法。我们还发现,我们的攻击模型可以带来更多的鲁棒性提高受害者模型的对抗训练。本文的所有代码和数据都将公开。
2020-09-19 cs.AI cs.CL cs.CR
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University(复旦大学)
最近的研究表明,在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能,这引发了现实世界DNN应用程序的安全问题。然而,现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性,即,利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说,由于观察到图像和视频帧之间的低级特征空间相似,我们提出了一种简单而有效的跨模态攻击方法,称为图像到视频(I2 V)攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧,然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明,I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上,I2 V的平均攻击成功率分别为77.88%和65.68%,这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University(卡尔顿大学)
本文研究了对抗攻击对基于机器学习的网络入侵检测系统(NIDS)的实用性,指出动态系统中的攻击有效性较低,并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Adversarial Attacks and Defense Methods for Power Quality Recognition
Air Traffic Control and Navigation College, Air Force Engineering University(空军工程大学空管领航学院);Information and Navigation College, Air Force Engineering University(空军工程大学信息与导航学院);Henan University of Technology(河南工业大学)
各种机器学习方法对对抗性示例的脆弱性最近在文献中进行了探索。使用这些脆弱方法的电力系统面临着对抗性示例的巨大威胁。为此,我们首先提出了一个信号特定的方法和一个通用的信号不可知的方法来攻击电力系统使用生成的对抗性的例子。本文还提出了基于可传递特征的黑盒攻击和上述两种方法,并对它们进行了评价。然后,我们采用对抗训练来保护系统免受对抗攻击。实验分析表明,我们的信号特定的攻击方法相比,FGSM(快速梯度符号法)提供更少的扰动,我们的信号不可知的攻击方法可以产生干扰欺骗大多数自然信号的概率很高。此外,基于通用信号无关算法的攻击方法比基于特定信号算法的攻击方法具有更高的黑盒攻击的传送率。此外,结果表明,所提出的对抗性训练提高了电力系统对抗性的例子的鲁棒性。
2022-02-11 cs.AI cs.CR cs.LG
The Threat of Adversarial Attacks on Machine Learning in Network Security -- A Survey
Carleton University(卡尔顿大学)
机器学习模型使许多决策支持系统变得更快、更准确、更高效。然而,与其他领域相比,机器学习在网络安全中的应用面临着更不成比例的主动对抗攻击威胁。这是因为网络安全中的机器学习应用程序(如恶意软件检测、入侵检测和垃圾邮件过滤)本身就具有对抗性。在攻击者和防御者之间的军备竞赛中,对手不断地用明确设计的输入来探测机器学习系统,以绕过系统并引起错误的预测。在本调查中,我们首先提供了机器学习技术、任务和深度的分类。然后,我们介绍了机器学习在网络安全应用中的分类。接下来,我们研究了网络安全中针对机器学习的各种对抗性攻击,并介绍了网络安全中对抗攻击的两种分类方法。首先,我们分类对抗攻击在网络安全的基础上的网络安全应用的分类。其次,我们将网络安全中的对抗攻击分为问题空间与特征空间的维度分类模型。然后,我们分析了各种防御对抗攻击的机器学习为基础的网络安全应用程序。最后,我们引入了一个对抗性风险网格图,并使用风险网格图评估了网络安全中针对机器学习的几种现有对抗攻击。我们还确定了每个攻击分类在对抗性风险网格图中的位置。
2023-03-21 cs.CR cs.LG cs.NI
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护(CBM)策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态,而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本,并研究了CBM系统在攻击下的性能。研究结果表明,CBM系统容易受到对抗性机器学习攻击,需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习(ML)算法越来越多地被集成到我们周围的嵌入式和物联网系统中,它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后,我们描述的努力,试图了解对抗攻击和ML模型压缩之间的关系,然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG