Multi-Task Adversarial Attack
Southern University of Science and Technology（南方科技大学）
深度神经网络在各个领域都取得了令人印象深刻的性能，但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而，在实际应用中，往往需要同时针对不同的任务攻击多个模型。为此，我们提出了多任务对抗攻击（MTA），这是一个统一的框架，可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例，这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说，MTA使用对抗扰动生成器，该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器，MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外，所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明，与单任务相比，MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
Attacking Adversarial Attacks as A Defense
Tencent（腾讯）；Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；University of Munich（慕尼黑大学）
众所周知，对抗攻击可以通过难以察觉的扰动欺骗深度神经网络。尽管对抗性训练显著提高了模型的鲁棒性，但防御失败的情况仍然广泛存在。在这项工作中，我们发现，对抗攻击也可以容易受到小扰动。也就是说，在对抗性训练的模型上，用小的随机噪声干扰对抗性样本可能会使它们被误导的预测无效。在仔细研究了各种最先进的攻击方法后，我们发现这些攻击方法都不同程度地存在着这种缺陷。受这一发现的启发，我们建议通过制作更有效的防御扰动来反击攻击。我们的防御扰动利用了对抗训练赋予地面实况类较小的局部Lipschitzness的优势。通过同时攻击所有类，具有较大Lipschitzness的误导预测可以翻转为正确的预测。我们验证了我们的防御扰动的经验实验和理论分析的线性模型。在CIFAR 10上，它将最先进的模型从66.16%提高到72.66%，对抗AutoAttack的四种攻击，其中包括71.76%到83.30%的Square攻击。在ImageNet上，FastAT在100步PGD攻击下的top-1鲁棒准确率从33.18%提高到38.54%。
2021-06-09 cs.CR cs.LG
Probabilistic Categorical Adversarial Attack & Adversarial Training
Michigan State University（密歇根州立大学）；Jinan University（暨南大学）
针对分类数据对抗样本生成效率低的问题，提出将离散优化转为连续问题的PCAA攻击方法，理论验证其优势，并基于此构建高效对抗训练框架，实验证明攻击与防御算法均有效。
2023-11-06 cs.CR cs.LG
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University（广州大学）；Cyberspace Institute of Advanced Technology（网络空间先进技术研究院）
最近的研究表明，深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成，而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设（例如，敌对示例的词频、攻击方法的扰动水平）。然而，这限制了检测方法的适用性。为此，我们提出了TREATED，一种通用的对抗检测方法，可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明，我们的方法比基线具有更好的检测性能。我们最后进行消融研究，以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
TA3: Testing Against Adversarial Attacks on Machine Learning Models
University of Oxford（牛津大学）
该研究设计开发了交互式对抗攻击测试系统TA3，通过人在回路实现人工引导攻击模拟与可视化攻击影响评估，当前版本聚焦决策树的单像素攻击测试，验证了人在回路在ML测试中的价值与拓展潜力。
2024-10-06 cs.CR cs.LG
Multi-head Uncertainty Inference for Adversarial Attack Detection
Beijing University of Posts and Telecommunications（北京邮电大学）
深度神经网络（DNN）对对抗攻击的微小扰动很敏感，这会导致错误的预测。近年来，已经开发了各种方法来克服对抗攻击，包括对抗防御和不确定性推理（UI）。在本文中，我们提出了一个多头不确定性推理（MH-UI）框架检测对抗攻击的例子。我们采用具有多个预测头的多头架构（即，分类器）以从DNN中的不同深度获得预测，并为UI引入浅层信息。利用不同深度的独立水头，假设归一化预测服从同一Dirichlet分布，并通过矩匹配估计其分布参数。对抗攻击带来的认知不确定性会在分布上反映和放大。实验结果表明，在不同的设置下，所提出的MH-UI框架在对抗攻击检测任务中的性能优于所有提到的UI方法。
2022-12-20 cs.CR cs.LG
Are Adversarial Examples Created Equal? A Learnable Weighted Minimax Risk for Robustness under Non-uniform Attacks
Technical University of Munich（慕尼黑工业大学）；University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练被证明是一种有效的防御对抗性示例的方法，是少数几种能够抵御强大攻击的防御方法之一。然而，传统的防御机制假设根据底层数据分布对示例进行统一攻击，这显然是不现实的，因为攻击者可以选择专注于更脆弱的示例。我们提出了一个加权极大极小风险优化，抵御非均匀攻击，实现对抗性的例子扰动测试数据分布下的鲁棒性。我们修改的风险考虑了不同对抗性示例的重要性权重，并自适应地关注被错误分类或被错误分类的风险较高的较难示例。设计的风险允许训练过程通过优化重要性权重来学习强大的防御。实验表明，我们的模型在非均匀攻击下显着提高了最先进的对抗精度，而在均匀攻击下没有显着下降。
2020-10-24 cs.CR cs.LG
Asymmetric Bias in Text-to-Image Generation with Adversarial Attacks
University of California Riverside（加州大学河滨分校）
本研究实证分析文本到图像模型对抗攻击的成功率，发现实体交换存在不对称性，并提出探测指标以预测攻击成功率。
2024-07-17 cs.CR cs.LG
Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection
King’s College London（伦敦国王学院）
近年来，已经提出了几种对抗对抗ML攻击的移动目标防御（MTD）。MTD声称通过定期改变防御的某些元素（例如循环配置）来增加攻击者进行攻击的难度。为了检验这些说法，我们首次研究了几种最新的MTD对应用于恶意软件检测领域的对抗性ML攻击的有效性。在不同的威胁模型下，我们证明了可转移性和查询攻击策略可以通过跨Android和Windows的现有和新颖的攻击策略来实现对这些防御的高水平规避。我们还表明，指纹识别和侦察是可能的，并演示了攻击者如何获得关键的防御超参数以及如何产生预测的信息。基于我们的研究结果，我们提出了关键的建议，为今后的工作，有效的MTD的对抗攻击在ML为基础的恶意软件检测。
2023-02-01 cs.CR cs.LG
Is Approximation Universally Defensive Against Adversarial Attacks in Deep Neural Networks?
University of Missouri（密苏里大学）
近似计算以其在以轻微的精度损失为代价来提高深度神经网络（DNN）加速器的能量效率方面的有效性而闻名。最近，近似分量的不精确性质，如近似乘数，也被报道成功地防御了DNN模型上的对抗攻击。由于近似误差以掩蔽或未掩蔽的方式穿过DNN层，这就提出了一个关键的研究问题-近似计算是否总是能够防御DNN中的对抗攻击，即，他们是否普遍具有防御性？为此，我们提出了一个广泛的对抗鲁棒性分析不同的近似DNN加速器（AxDNN）使用最先进的近似乘法器。特别是，我们使用MNIST和CIFAR-10数据集评估了10种对抗攻击对不同AxDNN的影响。我们的研究结果表明，AxDNN上的对抗攻击可能导致53%的准确性损失，而相同的攻击可能导致准确DNN几乎没有准确性损失（低至0.06%）。因此，近似计算不能被称为对抗对抗攻击的通用防御策略。
2021-12-02 cs.CR cs.LG
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University（首尔大学）
Torchattacks是一个PyTorch库，包含对抗攻击，用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
The Attack Generator: A Systematic Approach Towards Constructing Adversarial Attacks
neurocat GmbH（neurocat有限公司）；Volkswagen AG（大众汽车集团）
大多数最先进的机器学习（ML）分类系统都容易受到对抗性扰动的影响。因此，对抗鲁棒性对在安全和安全关键环境（如自动驾驶、疾病检测或无人机）中部署基于ML的系统提出了重大挑战。在过去几年中，我们看到大量的出版物提出了越来越多的新的对抗攻击。然而，攻击研究似乎是相当非结构化的，新的攻击往往是从无限可能的对抗攻击中随机选择的。在这篇文章中，我们对对抗攻击的创建过程进行了结构化分析。通过检测对抗攻击的不同构建块，我们概述了新的对抗攻击集的道路。我们称之为“攻击生成器”。在追求这一目标，我们总结和扩展现有的对抗扰动分类法。然后将得到的分类与自动驾驶车辆的计算机视觉系统的应用环境相关联，即语义分割和目标检测。最后，为了证明有用的攻击发生器，我们调查现有的语义分割攻击检测定义组件的对抗攻击。
2019-06-17 cs.CR cs.LG stat.ML
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University（九州大学）
本文综述了对抗性机器学习中的对抗性攻击分类与理解，并概述现有防御方法的局限性，为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
Adversarial attacks on an optical neural network
Peng Cheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
针对数字领域的深度学习等机器学习系统，人们已经广泛研究了对抗攻击。然而，针对光学神经网络的对抗攻击却很少被研究。在这项工作中，我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪（MZI）。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似，但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明，对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明，这些架构比其他神经网络更强大的对抗攻击。然而，我们的实验表明，胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时，这是非常具有挑战性的，因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性，则更有可能将攻击能力转移到其他模型的假设，基于集合的对抗攻击方法是一种有效的黑盒攻击方法，被广泛应用。然而，集成攻击的方式是相当少的研究，和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中，我们把迭代集成攻击作为一个随机梯度下降优化过程，在不同的模型上的梯度的方差可能会导致不良的局部最优。为此，我们提出了一种新的攻击方法称为随机方差减少集成（SVRE）攻击，它可以减少集成模型的梯度方差，并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明，该方法可以提高对抗性可转移性，并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University（密歇根州立大学）
在对抗攻击下，时间序列回归和分类是脆弱的。另一方面，对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中，各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行，具有三个对抗攻击和一个对抗防御。根据调查结果，所有模型，特别是GRU和RNN，似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University（莫纳什大学）；Defence Science and Technology Group, Department of Defence（国防部国防科学技术集团）
据报道，深度神经网络图像分类器容易受到对抗性规避攻击的影响，这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴，它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动，最近已经开发了稀疏攻击，其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击，导致攻击效率降低。在本文中，我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动，基于这样一个事实，我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此，我们提出了一个概率事后框架，细化给定的密集攻击，通过显着减少扰动像素的数量，但保持其攻击能力，训练与互信息最大化。在任意密集攻击下，该模型具有吸引人的兼容性，使其对抗图像更逼真，并且在更少的扰动下不易被检测到。此外，我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University（卡尔顿大学）
本文研究了对抗攻击对基于机器学习的网络入侵检测系统（NIDS）的实用性，指出动态系统中的攻击有效性较低，并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Adversarial Attacks and Defense Methods for Power Quality Recognition
Air Traffic Control and Navigation College, Air Force Engineering University（空军工程大学空管领航学院）；Information and Navigation College, Air Force Engineering University（空军工程大学信息与导航学院）；Henan University of Technology（河南工业大学）
各种机器学习方法对对抗性示例的脆弱性最近在文献中进行了探索。使用这些脆弱方法的电力系统面临着对抗性示例的巨大威胁。为此，我们首先提出了一个信号特定的方法和一个通用的信号不可知的方法来攻击电力系统使用生成的对抗性的例子。本文还提出了基于可传递特征的黑盒攻击和上述两种方法，并对它们进行了评价。然后，我们采用对抗训练来保护系统免受对抗攻击。实验分析表明，我们的信号特定的攻击方法相比，FGSM（快速梯度符号法）提供更少的扰动，我们的信号不可知的攻击方法可以产生干扰欺骗大多数自然信号的概率很高。此外，基于通用信号无关算法的攻击方法比基于特定信号算法的攻击方法具有更高的黑盒攻击的传送率。此外，结果表明，所提出的对抗性训练提高了电力系统对抗性的例子的鲁棒性。
2022-02-11 cs.AI cs.CR cs.LG
The Threat of Adversarial Attacks on Machine Learning in Network Security -- A Survey
Carleton University（卡尔顿大学）
机器学习模型使许多决策支持系统变得更快、更准确、更高效。然而，与其他领域相比，机器学习在网络安全中的应用面临着更不成比例的主动对抗攻击威胁。这是因为网络安全中的机器学习应用程序（如恶意软件检测、入侵检测和垃圾邮件过滤）本身就具有对抗性。在攻击者和防御者之间的军备竞赛中，对手不断地用明确设计的输入来探测机器学习系统，以绕过系统并引起错误的预测。在本调查中，我们首先提供了机器学习技术、任务和深度的分类。然后，我们介绍了机器学习在网络安全应用中的分类。接下来，我们研究了网络安全中针对机器学习的各种对抗性攻击，并介绍了网络安全中对抗攻击的两种分类方法。首先，我们分类对抗攻击在网络安全的基础上的网络安全应用的分类。其次，我们将网络安全中的对抗攻击分为问题空间与特征空间的维度分类模型。然后，我们分析了各种防御对抗攻击的机器学习为基础的网络安全应用程序。最后，我们引入了一个对抗性风险网格图，并使用风险网格图评估了网络安全中针对机器学习的几种现有对抗攻击。我们还确定了每个攻击分类在对抗性风险网格图中的位置。
2023-03-21 cs.CR cs.LG cs.NI
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护（CBM）策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态，而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本，并研究了CBM系统在攻击下的性能。研究结果表明，CBM系统容易受到对抗性机器学习攻击，需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine（缅因大学）
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题，提出对抗判别器集成网络（ADE-Net），通过判别器按攻击类型分配数据至专家集成网络，在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
On the reversibility of adversarial attacks
Queen Mary University of London（伦敦玛丽女王大学）
对抗攻击通过扰动来修改图像，从而改变分类器的预测。这些修改后的图像被称为对抗性示例，暴露了深度神经网络分类器的漏洞。在本文中，我们研究了原始图像预测的类与其相应的对抗性示例之间的映射的可预测性。这种可预测性与恢复原始预测的可能性有关，从而扭转了诱导的错误分类。我们将此属性称为对抗攻击的可逆性，并将可逆性量化为检索对抗示例的原始类或真实类的准确性。我们提出了一种方法，逆转的对抗攻击的分类器上使用的分类结果的先验集的效果。我们分析了最先进的对抗攻击对基准分类器的可逆性，并讨论了影响可逆性的因素。
2022-06-01 cs.AI cs.CR cs.LG
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University（清华大学）；HeartVoice Medical Technology（心之声医疗科技）；University of Science and Technology of China（中国科学技术大学）；HeartRhythm Medical（心律医疗）；Tianjin Institute of Cardiology（天津心脏病学研究所）；Second Hospital of Tianjin Medical University（天津医科大学第二医院）；Peking University（北京大学）
在诊所，医生依靠心电图（ECG）来评估严重的心脏疾病。由于技术的发展和健康意识的提高，目前通过使用医疗和商业设备来获得ECG信号。深度神经网络（DNN）可以用来分析这些信号，因为它们的准确率很高。然而，研究人员发现，对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击，例如投影梯度下降（PGD）和针对ECG分类的平滑对抗性扰动（SAP）;然而，据我们所知，还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此，我们做了不同的实验，以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果，我们发现一些常见的防御方法对这些攻击表现良好。此外，我们提出了一种新的防御方法，称为对抗蒸馏训练（ADT），它来自防御蒸馏，可以有效地提高DNN的泛化性能。结果表明，我们的方法比其他基线方法，即对抗性训练，防御性蒸馏，雅各布正则化和信噪比正则化，更有效地对抗针对ECG分类的对抗性攻击。此外，我们发现，我们的方法表现出更好的PGD攻击与低噪声水平，这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
Black-box Adversarial ML Attack on Modulation Classification
Information Technology University, Punjab, Pakistan（巴基斯坦旁遮普信息技术大学）；Hamad Bin Khalifa University, Qatar（卡塔尔哈马德·本·哈利法大学）
最近，在文献中已经提出了许多基于深度神经网络（DNN）的调制分类方案。我们已经评估了两个著名的这样的调制分类器（基于卷积神经网络和长短期记忆的技术）对抗对抗机器学习攻击的黑盒设置的鲁棒性。我们使用Carlini \& Wagner（C-W）攻击来执行对抗攻击。据我们所知，这些调制分类器的鲁棒性还没有通过C-W攻击之前进行评估。我们的研究结果清楚地表明，最先进的基于深度机器学习的调制分类器对对抗攻击并不鲁棒。
2019-08-01 cs.CR cs.LG cs.NI
SemiAdv: Query-Efficient Black-Box Adversarial Attack with Unlabeled Images
East China Normal University（华东师范大学）；Xidian University（西安电子科技大学）；Fuzhou University（福州大学）
本文提出SemiAdv，一种利用无标签图像和半监督学习的黑盒对抗攻击方法，仅需数百次查询即可达到90%以上成功率，并节省多达12倍查询开销。
2024-07-13 cs.CR cs.CV cs.LG
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中，首先，我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形，并攻击DeepSpeech，这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率（DeepSpeech分类成功率为零）。其次，我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度，并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类，这表明PCA不是音频域中的良好防御机制。最后，我们没有使用PCA作为防御机制，这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下，我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击，并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件，需要在攻击过程中的分类结果。在所有情况下，对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
在这项工作中，我们探讨了对变分自编码器（VAE）的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码（监督攻击）或只是获得完全不同的代码（无监督攻击）。我们研究模型修改（$β$ -VAE，NVAE）对VAE鲁棒性的影响，并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
Boosting the Transferability of Adversarial Attacks with Reverse Adversarial Perturbation
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）
深度神经网络（DNN）已被证明容易受到对抗性示例的影响，这些示例可能会通过注入不可感知的扰动来产生错误的预测。在这项工作中，我们研究了对抗性示例的可移植性，这一点非常重要，因为它对模型架构或参数通常未知的现实应用构成了威胁。许多现有的工作表明，对抗性示例可能会过拟合生成它们的代理模型，从而限制其针对不同目标模型的转移攻击性能。为了减轻过拟合的代理模型，我们提出了一种新的攻击方法，称为反向对抗扰动（RAP）。具体来说，我们主张通过为优化过程的每一步注入最坏情况的扰动（反向对抗扰动）来寻找位于具有统一低损失值的区域的对抗示例，而不是最小化单个对抗点的损失。RAP的对抗攻击是一个最小-最大双层优化问题。通过将RAP融入到攻击的迭代过程中，我们的方法可以找到更稳定的对抗性样本，这些样本对决策边界的变化不太敏感，从而减轻了代理模型的过拟合。全面的实验比较表明，RAP可以显着提高对抗转移性。此外，RAP可以自然地与许多现有的黑盒攻击技术相结合，以进一步提高可移植性。当攻击一个真实世界的图像识别系统Google Cloud Vision API时，我们获得了比比较方法更高的22%的性能。我们的代码可在https://github.com/SCLBD/Transfer_attack_RAP上获得。
2022-10-12 cs.CR cs.CV cs.LG
The LogBarrier adversarial attack: making effective use of decision boundary information
McGill University（麦吉尔大学）；AIFaster Consulting Inc（艾法斯特咨询公司）
针对图像分类的对抗攻击是对图像的小扰动，其被设计成引起模型的错误分类。对抗攻击形式上对应于一个优化问题：找到一个最小范数图像扰动，约束导致误分类。已经开发了一些有效的攻击。然而，迄今为止，没有基于梯度的攻击使用优化文献中的最佳实践来解决这个约束最小化问题。我们设计了一个新的无针对性的攻击，基于这些最佳实践，使用已建立的对数屏障方法。平均而言，我们的攻击距离类似于或优于基准数据集（MNIST，CIFAR 10，ImageNet-1 K）上的所有最先进的攻击。此外，我们的方法在最具挑战性的图像上表现得更好，这些图像通常需要更大的扰动来进行误分类。我们采用LogBarrier攻击几个adversarially防御模型，并表明它adversarially扰动所有图像比其他攻击更有效：所需的距离扰动所有图像是显着小于与其他国家的最先进的攻击LogBarrier攻击。
2019-03-25 cs.CR cs.LG stat.ML
Defense Against Adversarial Attacks Using Feature Scattering-based Adversarial Training
Horizon Robotics（地平线机器人）；Baidu Research（百度研究院）
我们引入了一种基于特征分散的对抗性训练方法，以提高模型对对抗攻击的鲁棒性。传统的对抗性训练方法利用监督方案（有针对性或非有针对性）来生成用于训练的攻击，这通常会遇到标签泄漏等问题，如最近的工作中所指出的。因此，该方法通过在潜在空间中进行特征分散来生成用于训练的对抗图像，这在本质上是无监督的，并且避免了标签泄漏。更重要的是，这种新方法以协作方式生成扰动图像，并考虑到样本间的关系。我们对模型的鲁棒性进行了分析，并通过在不同数据集上的大量实验，与最先进的方法相比，证明了所提出的方法的有效性。
2019-11-21 cs.CR cs.CV cs.LG
Gradient Band-based Adversarial Training for Generalized Attack Immunity of A3C Path Finding
Beijing Jiaotong University（北京交通大学）
由于对抗攻击在实践中对人工智能系统的安全性构成严重威胁，因此在计算机视觉应用背景下对这类攻击进行了广泛的研究。然而，很少有人关注自动路径搜索的对抗性研究。在本文中，我们证明了显性对抗示例在针对A3 C路径查找时是有效的，并设计了一种通用显性对抗示例生成方法（CDG）来生成针对任何给定地图的显性对抗示例。此外，本文还提出了基于梯度带的对抗训练方法，该方法采用随机选取的单个优势对抗样本进行训练，不做任何修改，实现了对广义优势对抗样本的“1：N”攻击免疫。大量实验结果表明，CDG算法的最低生成精度为91.91%，基于梯度带的对抗训练算法的最低免疫精度为93.89%，证明该方法能够实现A3 C路径查找的广义攻击免疫，且具有较高的可信度。
2018-07-18 cs.CR cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation（微软公司）；Stanford University（斯坦福大学）
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中，我们提出并分析了一种简单且计算效率高的防御策略：注入随机高斯噪声，离散化每个像素，然后将结果馈送到任何预训练的分类器中。从理论上讲，我们表明，我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧，导致任何分类器对任何（潜在的白盒）$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲，我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上，我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
Identification of Attack-Specific Signatures in Adversarial Examples
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）
对抗攻击文献中包含了无数的算法，用于制作在神经网络中产生病态行为的扰动。在许多情况下，多个算法针对相同的任务，甚至执行相同的约束。在这项工作中，我们表明，不同的攻击算法产生的对抗性的例子是不同的，不仅在他们的有效性，而且在他们如何定性地影响他们的受害者。我们首先展示了一个可以确定的攻击算法，制作了一个对抗性的例子。然后，我们利用参数空间显着性图的最新进展，从视觉和定量两个方面显示，对抗攻击算法的不同之处在于它们针对网络和图像的哪些部分。我们的研究结果表明，预期的对抗攻击不仅应该通过他们愚弄模型的成功率来比较，而且还应该通过他们对受害者的更深层次的下游影响来比较。
2021-10-13 cs.CR cs.CV cs.LG
Can the state of relevant neurons in a deep neural networks serve as indicators for detecting adversarial attacks?
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
我们提出了一种基于稀疏神经元集检测的对抗攻击检测方法。我们遵循这样的假设，即对抗攻击在输入中引入了不可感知的扰动，并且这些扰动改变了与被攻击模型所建模的概念相关的神经元的状态。因此，监测这些神经元的状态将能够检测到对抗攻击。专注于图像分类任务，我们的方法确定的神经元是相关的模型预测的类。对这些稀疏神经元集进行更深入的定性检查表明，它们的状态在对抗样本存在时会发生变化。此外，我们的实证评估的定量结果表明，我们的方法能够识别由最先进的攻击方法产生的对抗性样本，其准确度与最先进的检测器相当。
2020-10-29 cs.CR cs.CV cs.LG
AdvDO: Realistic Adversarial Attacks for Trajectory Prediction
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；NVIDIA（英伟达）；California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
轨迹预测对于自动驾驶汽车（AV）规划正确和安全的驾驶行为至关重要。虽然许多先前的工作旨在实现更高的预测精度，但很少有人研究其方法的对抗鲁棒性。为了弥补这一差距，我们建议研究数据驱动的轨迹预测系统的对抗鲁棒性。我们设计了一个基于优化的对抗攻击框架，该框架利用精心设计的可微动态模型来生成逼真的对抗轨迹。从经验上讲，我们对最先进的预测模型的对抗鲁棒性进行了基准测试，并表明我们的攻击将一般指标和规划感知指标的预测误差增加了50%和37%以上。我们还表明，我们的攻击可以导致AV驾驶道路或碰撞到其他车辆的模拟。最后，我们演示了如何使用对抗训练方案来减轻对抗攻击。
2022-09-19 cs.AI cs.CR cs.LG
Adaptive Adversarial Attack on Scene Text Recognition
University of Florida（佛罗里达大学）；Tongdun Technology（同盾科技）
最近的研究表明，最先进的深度学习模型容易受到小扰动输入的影响（对抗性示例）。我们在对抗性示例中观察到两个关键障碍：（i）强对抗攻击（例如，C&W攻击）需要手动调整超参数，并需要很长的时间来构建一个对抗的例子，使其不切实际的攻击实时系统;（ii）大多数的研究集中在非顺序的任务，如图像分类，但只有少数考虑顺序的任务。在这项工作中，我们加快了对抗攻击，特别是在顺序学习任务中。通过利用每个任务的不确定性，我们直接学习自适应多任务权重，而无需手动搜索超参数。一个统一的架构开发和评估非顺序任务和顺序的。为了验证该方法的有效性，我们以场景文本识别任务为例进行了研究。据我们所知，我们提出的方法是第一次尝试对抗攻击的场景文本识别。与最先进的对抗攻击相比，自适应攻击的成功率超过99.9\%，加速比为3- 6倍。
2020-04-01 cs.CR cs.CV cs.LG
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adversarial attacks on Copyright Detection Systems
University of Maryland（马里兰大学）
众所周知，许多机器学习模型容易受到对抗攻击的影响，其中攻击者通过对输入进行小扰动来逃避分类器。本文讨论了工业版权检测工具，在网络上发挥核心作用，是如何容易受到对抗攻击。我们讨论了一系列的版权检测系统，以及为什么他们特别容易受到攻击。这些弱点对于基于神经网络的系统尤其明显。作为概念的证明，我们描述了一个著名的音乐识别方法，并实现该系统的神经网络的形式。然后我们使用简单的梯度方法攻击该系统。以这种方式创建的对抗性音乐成功地欺骗了工业系统，包括AudioTag版权检测器和YouTube的内容ID系统。我们的目标是提高人们对这一领域对抗性示例所构成威胁的认识，并强调加强版权检测系统对攻击的重要性。
2019-06-20 cs.CR cs.LG stat.ML
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而，在黑箱设置下，大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中，从将对抗性示例生成视为一个优化过程的角度出发，我们提出了两种新的方法来提高对抗性示例的可移植性，即Nesterov迭代快速梯度符号方法（NI-FGSM）和尺度不变攻击方法（SIM）。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击，以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现，我们利用它来优化输入图像的尺度副本上的对抗性扰动，以避免白盒模型受到攻击的“过拟合”，并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成，以构建一个强大的基于梯度的攻击，从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明，我们的攻击方法具有更高的可移植性，并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗攻击旨在混淆机器学习系统，同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究，表明像素$p$ -规范的任何$0\le p \le \infty$，和几个替代措施，包括推土机的距离，结构相似性指数，和深网嵌入，不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
POBA-GA: Perturbation Optimized Black-Box Adversarial Attacks via Genetic Algorithm
Zhejiang University of Technology（浙江工业大学）
大多数深度学习模型很容易受到对抗攻击的攻击。设计了各种对抗攻击来评估模型的鲁棒性，并建立防御模型。目前，对抗攻击被提出来攻击他们自己的目标模型与他们自己的评估指标。与白盒攻击相比，大多数黑盒对抗攻击算法都不能达到预期的成功率。针对不同的对抗攻击方法，提出了综合评价指标。提出了一种基于遗传算法的扰动优化黑盒对抗攻击算法（POBA-GA），以获得与白盒攻击相当的攻击性能。通过初始化、选择、交叉和变异等进化操作，得到近似最优对抗样本。设计了适应度函数，从攻击能力和扰动控制两个方面对样本个体进行评价。在进化过程中引入种群多样性策略，保证获得近似最优扰动。通过大量实验验证了POBA-GA的性能。仿真和应用结果表明，该方法在攻击能力和扰动控制方面优于现有的黑箱攻击方法。
2019-05-01 cs.CR cs.LG cs.NE
Availability Adversarial Attack and Countermeasures for Deep Learning-based Load Forecasting
Imperial College London（伦敦帝国学院）
电力负荷预测是电力系统规划和运行的基础。最近，深度学习的进步使得预测更加准确。然而，深度神经网络容易受到对抗攻击。虽然大多数文献都集中在基于完整性的攻击，本文提出了基于可用性的对抗攻击，它可以更容易地实现的攻击者。对于每个预测实例，通过人工神经网络的混合整数重构优化求解可用攻击位置。为了解决这种攻击，提出了一种对抗性训练算法。在仿真中，一个现实的负载预测数据集被认为是和攻击性能进行比较，基于完整性的攻击。同时，对抗性训练算法显着提高了对可用性攻击的鲁棒性。所有代码都可以在https://github.com/xuwkk/AAA_Load_Forecast上找到。
2023-01-04 cs.CR cs.LG cs.SY
Learn2Weight: Parameter Adaptation against Similar-domain Adversarial Attacks
University of Oxford（牛津大学）
针对NLP系统的黑盒对抗攻击最近的工作引起了广泛的关注。以前的黑盒攻击假设攻击者可以根据选定的输入观察目标模型的输出标签。在这项工作中，受对抗可转移性的启发，我们提出了一种新的黑盒NLP对抗攻击，攻击者可以选择一个相似的域，并将对抗示例转移到目标域，导致目标模型的性能较差。基于领域自适应理论，我们提出了一种防御策略，称为Learn2Weight，它训练预测目标模型的权重调整，以抵御相似领域对抗性示例的攻击。使用Amazon多域情感分类数据集，我们实证表明，与对抗性训练和防御蒸馏等标准黑盒防御方法相比，Learn2Weight对攻击是有效的。这项工作有助于增加机器学习安全性的文献。
2022-09-20 cs.LG
