Adversarial Rain Attack and Defensive Deraining for DNN Perception
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Singapore Management University（新加坡管理大学）；University of Alberta（阿尔伯塔大学）；Kyushu University（九州大学）；Tianjin University（天津大学）；Teesside University（提赛德大学）
降雨常常对基于深度神经网络（DNN）的感知系统造成不可避免的威胁，并且全面调查降雨对DNN的潜在风险是非常重要的。然而，要收集或合成能够代表真实世界中可能发生的所有降雨情况的降雨图像是相当困难的。为此，本文从一个新的视角出发，提出将两个完全不同的研究结合起来，即，雨图像合成和对抗攻击。我们首先提出了一个对抗性的雨攻击，通过它，我们可以在部署的DNN的指导下模拟各种降雨情况，并揭示降雨可能带来的潜在威胁因素。特别是，我们设计了一个因子感知的雨生成，根据相机曝光过程合成雨条纹和模型的对抗攻击的可学习的雨因子。使用该生成器，我们对图像分类和目标检测进行了对抗性雨攻击。为了保护DNN免受负面降雨效应的影响，我们还提出了一种防御性的去锚策略，为此我们设计了一种对抗性降雨增强，它使用混合对抗性降雨层来增强下游DNN感知的去锚模型。我们对各种数据集的大规模评估表明，我们合成的具有逼真外观的下雨图像不仅对DNN表现出强大的对抗能力，而且还增强了防御目的的deraining模型，为进一步的雨鲁棒感知研究奠定了基础。
2022-02-03 cs.CR cs.CV
A Mask-Based Adversarial Defense Scheme
Jinan University（暨南大学）
对抗攻击通过对输入的细微扰动进行干预，阻碍了深度神经网络（DNN）的功能和准确性。在这项工作中，我们提出了一种新的基于掩码的对抗性防御方案（MAD），用于DNN，以减轻对抗攻击的负面影响。准确地说，我们的方法通过随机掩蔽一部分潜在的对抗图像来提高DNN的鲁棒性，因此，DNN的%分类结果输出对微小的输入扰动变得更加宽容。与现有的对抗性防御技术相比，我们的方法不需要任何额外的去噪结构，也不需要对DNN的设计进行任何更改。我们已经测试了这种方法对各种数据集的DNN模型的集合，实验结果证实，该方法可以有效地提高防御能力的DNN对所有测试的对抗攻击方法。在某些情况下，与给定对抗性输入的原始模型相比，使用MAD训练的DNN模型的分类准确率提高了20%至90%。
2022-04-21 cs.AI cs.CR cs.LG
Security Analysis and Enhancement of Model Compressed Deep Learning Systems under Adversarial Attacks
Florida International University（佛罗里达国际大学）；Syracuse University（雪城大学）；University of Florida（佛罗里达大学）
DNN正在为现实世界应用中的许多复杂智能任务提供人类级别的性能。然而，它也带来了越来越多的安全问题。例如，新兴的对抗攻击表明，即使是非常小且通常无法察觉的对抗性输入扰动也很容易误导深度学习系统（DLS）的认知功能。现有的DNN对抗性研究都是在理想的软件级DNN模型上进行的，重点是单一的不确定性因素，即输入扰动，然而，DNN模型重塑对对抗攻击的影响，这是由各种硬件有利的技术引入的，例如在现代DNN硬件实现期间基于哈希的权重压缩，从未被讨论过。在这项工作中，我们首次通过联合考虑DNN模型重塑（例如基于HashNet的深度压缩）和输入扰动来研究实际模型优化的深度学习系统中的多因素对抗攻击问题。我们首先通过结合基于软件的方法和数学建模的DNN重塑来增强专用于压缩DNN模型的对抗性示例生成方法。然后，我们对深度压缩DNN模型在派生对抗攻击下的鲁棒性和脆弱性进行了全面的分析。进一步开发了一种名为“梯度抑制”的防御技术，以简化对抗性示例的生成，从而有效地减轻针对软件和面向硬件的DNN的对抗攻击。仿真结果表明，在MNIST（CIFAR-10）基准测试中，“梯度抑制”可以将对抗攻击的平均成功率从87.99%降低到4.77%（从86.74%降低到4.64%），并且在各种DNN上的准确性略有下降。
2018-03-19 cs.CR cs.LG stat.ML
Adversarial ML Attack on Self Organizing Cellular Networks
深度神经网络（DNN）已被广泛应用于自组织网络（SON）中，用于自动化不同的网络任务。最近，已经表明DNN对对抗性示例缺乏鲁棒性，其中对手可以通过向原始示例引入小的不可感知的扰动来欺骗DNN模型进行不正确的分类。SON预计将DNN用于多个基本的蜂窝任务，并且文献中提出的用于执行SON任务的许多基于DNN的解决方案尚未针对对抗性示例进行测试。在本文中，我们已经测试和解释了SON对对抗性示例的鲁棒性，并研究了一个重要SON用例在面对对抗攻击时的性能。我们还利用可解释的人工智能（AI）技术生成了对不正确分类的解释。
2019-09-26 cs.CR cs.NI
Is Approximation Universally Defensive Against Adversarial Attacks in Deep Neural Networks?
University of Missouri（密苏里大学）
近似计算以其在以轻微的精度损失为代价来提高深度神经网络（DNN）加速器的能量效率方面的有效性而闻名。最近，近似分量的不精确性质，如近似乘数，也被报道成功地防御了DNN模型上的对抗攻击。由于近似误差以掩蔽或未掩蔽的方式穿过DNN层，这就提出了一个关键的研究问题-近似计算是否总是能够防御DNN中的对抗攻击，即，他们是否普遍具有防御性？为此，我们提出了一个广泛的对抗鲁棒性分析不同的近似DNN加速器（AxDNN）使用最先进的近似乘法器。特别是，我们使用MNIST和CIFAR-10数据集评估了10种对抗攻击对不同AxDNN的影响。我们的研究结果表明，AxDNN上的对抗攻击可能导致53%的准确性损失，而相同的攻击可能导致准确DNN几乎没有准确性损失（低至0.06%）。因此，近似计算不能被称为对抗对抗攻击的通用防御策略。
2021-12-02 cs.CR cs.LG
To compress or not to compress: Understanding the Interactions between Adversarial Attacks and Neural Network Compression
University of Cambridge（剑桥大学）
随着深度神经网络（DNN）的广泛使用，修剪和量化模型在边缘设备上变得无处不在;这种压缩的DNN因降低计算要求而流行。与此同时，最近的研究表明，对抗性样本可以有效地使DNN错误分类。因此，我们研究对抗样本在未压缩和压缩DNN之间的可转移程度。我们发现，对抗样本仍然可转移的修剪和量化模型。对于修剪，从严重修剪的模型生成的对抗样本在未压缩的模型上仍然有效。对于量化，我们发现对抗样本的可转移性对整数精度高度敏感。
2020-04-16 cs.CR cs.LG
Latent Adversarial Defence with Boundary-guided Generation
University of Technology Sydney（悉尼科技大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；The University of Sydney（悉尼大学）
深度神经网络（DNN）最近在许多任务中取得了巨大的成功，这鼓励DNN在模型共享场景中作为机器学习服务被广泛使用。然而，攻击者可以很容易地生成带有小扰动的对抗性示例，以欺骗DNN模型来预测错误的标签。为了提高共享DNN模型对对抗攻击的鲁棒性，我们提出了一种称为潜在对抗防御（LAD）的新方法。所提出的LAD方法通过对生成的对抗性示例进行对抗性训练来提高DNN模型的鲁棒性。与目前流行的攻击方法只在输入空间中生成重复模式的对抗样本不同，LAD方法通过对带有注意力机制的SVM构造的决策边界的法线方向的潜在特征进行扰动，生成大量的对抗样本。一旦生成了对抗性示例，我们就通过用生成的对抗性示例增强训练数据来对抗性地训练模型。在MNIST、SVHN和CelebA数据集上的大量实验证明了我们的模型在防御不同类型的对抗攻击方面的有效性。
2019-07-16 cs.CR cs.LG
DNNShield: Dynamic Randomized Model Sparsification, A Defense Against Adversarial Machine Learning
The Ohio State University（俄亥俄州立大学）
已知DNN容易受到所谓的对抗攻击的攻击，这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。最近的工作提出了近似计算作为防御机制对机器学习攻击。我们表明，这些方法，虽然成功的一系列输入，是不够的，以解决更强大的，高信心的对抗攻击。为了解决这个问题，我们提出了DNNSHIELD，这是一种硬件加速的防御方法，可以根据对抗性输入的置信度来调整响应的强度。我们的方法依赖于DNN模型的动态和随机稀疏化，以有效地实现推理近似，并对近似误差进行细粒度控制。DNNSHIELD使用稀疏推理的输出分布特征与密集参考相比来检测对抗性输入。当应用于VGG 16时，我们显示出86%的对抗检测率，当应用于ResNet 50时，我们显示出88%的对抗检测率，这超过了最先进方法的检测率，并且开销要低得多。我们展示了一个软件/硬件加速的FPGA原型，它降低了DNNSHIELD相对于纯软件CPU和GPU实现的性能影响。
2022-07-31 cs.AR cs.CR cs.LG
Adversarial Parameter Attack on Deep Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种新的DNN参数扰动攻击，称为对抗性参数攻击，即对DNN的参数进行小的扰动，使得被攻击DNN的精度不会降低太多，但其鲁棒性会降低很多。对抗性参数攻击比以前的参数扰动攻击更强，因为攻击更难被用户识别，并且被攻击的DNN以高概率对任何修改的样本输入给出错误的标签。证明了对抗参数的存在性。对于一个DNN $F_Θ$与参数集$Θ$满足一定的条件，它表明，如果DNN的深度是足够大的，那么存在一个敌对的参数集$Θ_a$ $Θ$，使$F_{Θ_a}$的准确性是等于$F_Θ$，但$F_{Θ_a}$的鲁棒性措施小于任何给定的界限。给出了一种有效的训练算法来计算对抗参数，并通过数值实验证明了该算法能够有效地产生高质量的对抗参数。
2022-03-20 cs.CR cs.LG
Adversarial Laser Beam: Effective Physical-World Attack to DNNs in a Blink
Swinburne University of Technology（斯威本科技大学）；Alibaba Group（阿里巴巴集团）；EPFL（洛桑联邦理工学院）
虽然众所周知，深度神经网络（DNN）的性能在某些光照条件下会下降，但还没有研究从某些物理源发出的光束在现实世界场景中作为对抗性攻击者对DNN的威胁。在这项工作中，我们通过简单地使用激光束来证明DNN很容易被愚弄。为此，我们提出了一种新的攻击方法称为对抗激光束（$AdvLB$），它使操纵激光束的物理参数来执行对抗攻击。实验表明，我们提出的方法在数字和物理设置的有效性。我们进一步实证分析了评估结果，并揭示了所提出的激光束攻击可能会导致一些有趣的预测错误的国家的最先进的DNN。我们设想，所提出的$AdvLB$方法丰富了当前的对抗攻击家族，并为未来的光鲁棒性研究奠定了基础。
2021-03-11 cs.AI cs.CR cs.LG
HashTran-DNN: A Framework for Enhancing Robustness of Deep Neural Networks against Adversarial Malware Samples
Nanjing University of Science and Technology（南京理工大学）；Florida International University（佛罗里达国际大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在图像处理和相关应用的背景下的对抗性机器学习已经受到了大量的关注。然而，对抗性机器学习，特别是对抗性深度学习，在恶意软件检测的背景下，尽管其明显的重要性，但受到的关注要少得多。在本文中，我们提出了一个用于增强深度神经网络（DNN）对对抗性恶意软件样本的鲁棒性的框架，称为哈希变换深度神经网络（HashTran-DNN）。其核心思想是使用具有一定局部保持特性的哈希函数来转换样本，以增强DNN在恶意软件分类中的鲁棒性。该框架进一步使用去噪自动编码器（DAE）正则化器来重建样本的哈希表示，使生成的DNN分类器能够获得潜在空间中的位置信息。我们用HashTran-DNN框架的两个具体实例来对Android恶意软件进行分类。实验结果表明，四种已知的攻击可以使标准DNN在分类Android恶意软件时变得无用，已知的防御最多可以防御四种攻击中的三种，而HashTran-DNN可以有效地防御所有四种攻击。
2018-09-18 cs.CR cs.LG stat.ML
EagleEye: Attack-Agnostic Defense against Adversarial Inputs (Technical Report)
Lehigh University（理海大学）
深度神经网络（DNN）天生容易受到对抗性输入的影响：这种恶意制作的样本会触发DNN行为不端，从而对DNN驱动的系统造成不利后果。缓解敌对性投入的根本挑战来自其适应性和可变性。现有的解决方案试图提高DNN对特定攻击的弹性;然而，这种静态防御通常可以通过自适应工程输入或新的攻击变体来规避。在这里，我们介绍了一个用于DNN系统的攻击不可知对抗篡改分析引擎。我们的设计利用了许多攻击背后的{ \em最小原则}：为了最大限度地提高攻击的规避性，对手通常会寻求最小可能的失真来将真实输入转换为对抗性输入。我们表明，这种做法需要在输入空间中的对抗性输入的独特的分布特性。通过以原则性的方式利用这些属性，QualleEye可以有效地区分对抗性输入，甚至发现它们正确的分类输出。通过使用一系列基准数据集和DNN模型进行广泛的实证评估，我们验证了QuilleEye的有效性。我们进一步调查对手的可能的对策，这意味着一个困难的困境，她：逃避的检测，过度的失真是必要的，从而显着减少攻击的逃避其他检测机制。
2018-08-01 cs.CR cs.LG
Sparse DNNs with Improved Adversarial Robustness
Intel Labs China（英特尔中国研究院）；Tsinghua University（清华大学）；Peking University（北京大学）
深度神经网络（DNN）是计算/内存密集型的，容易受到对抗攻击的攻击，这使得它们在一些现实世界的应用中受到限制。通过将密集模型转换为稀疏模型，修剪似乎是一个很有前途的解决方案，以减少计算/内存成本。本文研究了分类模型，特别是基于DNN的分类模型，以证明它们的稀疏性和对抗鲁棒性之间存在内在的关系。我们的分析表明，无论是理论上还是经验上，基于DNN的非线性分类器在$l_2$攻击下的行为与一些线性分类器不同。我们进一步证明，适当较高的模型稀疏性意味着非线性DNN具有更好的鲁棒性，而过度稀疏的模型可能更难以抵抗对抗性示例。
2019-11-06 cs.CR cs.CV cs.LG
Variational Autoencoder-Based Black-Box Adversarial Attack on Collaborative DNN Inference
City University of New York（纽约市立大学）
本文提出AdVAR-DNN攻击，利用变分自编码器生成不可追溯的操纵样本，针对协作DNN推理中的敏感信息交换漏洞，实现高攻击成功率且难以检测。
2026-04-27 cs.CR cs.DC
Deep-Dup: An Adversarial Weight Duplication Attack Framework to Crush Deep Neural Network in Multi-Tenant FPGA
Arizona State University（亚利桑那州立大学）；Northeastern University（东北大学）
深度神经网络（DNN）在高性能云计算平台中的广泛部署使多租户云现场可编程门阵列（FPGA）成为加速器的热门选择，以提高性能，因为其硬件重编程灵活性。这种用于DNN加速的多租户FPGA设置可能会在恶意用户的严重威胁下暴露DNN干扰任务。据我们所知，这项工作是第一次探索多租户FPGA中的DNN模型漏洞。我们提出了一种新的对抗攻击框架：Deep-Dup，其中对抗租户可以将对抗故障注入到FPGA受害租户的DNN模型中。具体来说，她可以通过恶意的功率掠夺电路来使FPGA的共享功率分配系统过载，实现对抗性权重复制（AWD）硬件攻击，在片外存储器和片上缓冲区之间的数据传输期间复制某些DNN权重包，以劫持受害者租户的DNN功能。此外，为了识别给定恶意目标的最脆弱DNN权重包，我们提出了一种通用的脆弱权重包搜索算法，称为渐进差分进化搜索（P-DES），这是第一次，适应于深度学习白盒和黑盒攻击模型。所提出的Deep-Dup在开发的多租户FPGA原型中进行了实验验证，用于两个流行的深度学习应用，即，目标检测与图像分类。成功的攻击在六种流行的DNN架构（例如，YOLOv 2、ResNet-50、MobileNet等）
2021-10-08 cs.CR cs.CV
AdvDrop: Adversarial Attack to DNNs by Dropping Information
Alibaba Group（阿里巴巴集团）；Swinburne University of Technology（斯威本科技大学）；University of California, Berkeley（加州大学伯克利分校）
人类可以很容易地识别丢失信息的视觉对象：甚至只保留轮廓而丢失大部分细节，例如卡通。然而，在深度神经网络（DNN）的视觉感知方面，识别抽象对象（具有丢失信息的视觉对象）的能力仍然是一个挑战。在这项工作中，我们从对抗的角度研究这个问题：DNN的性能是否会下降，即使图像只丢失了一点信息？为此，我们提出了一种新的对抗攻击，命名为\textit{AdvDrop}，工艺对抗的例子，通过丢弃现有的图像信息。以前，大多数对抗攻击都会在干净的图像上显式地添加额外的干扰信息。与以前的工作相反，我们提出的工作从一个新的角度探索了DNN模型的对抗性鲁棒性，通过丢弃不可感知的细节来制作对抗性示例。我们通过大量的实验证明了\textit{AdvDrop}的有效性，并表明这种新型的对抗性示例更难被当前的防御系统防御。
2021-08-20 cs.CR cs.CV cs.LG
Robustness Against Adversarial Attacks via Learning Confined Adversarial Polytopes
University of Waterloo（滑铁卢大学）
本文提出通过学习受限对抗多面体（CAP）约束范数有界扰动下的可达输出，使对抗多面体避开决策边界，从而提升 DNN 对 AutoAttack 等攻击的鲁棒性。
2024-01-20 cs.CR cs.LG
Exploiting Vulnerabilities in Deep Neural Networks: Adversarial and Fault-Injection Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
从微小的起搏器芯片到飞机防撞系统，最先进的网络物理系统（CPS）越来越多地开始依赖深度神经网络（DNN）。然而，正如各种研究所得出的结论，DNN非常容易受到安全威胁，包括对抗攻击。在本文中，我们首先讨论了不同的漏洞，可以利用生成安全攻击的神经网络为基础的系统。然后，我们概述了DNN上现有的对抗性和基于故障注入的攻击。我们还进行了简短的分析，以强调实际实施对抗攻击时面临的不同挑战。最后，我们还讨论了开发健壮的基于DNN的系统的各种潜在方法，这些系统可以抵御对抗性攻击和故障注入攻击。
2021-05-05 cs.CR cs.LG
Defending Against Adversarial Attacks Using Random Forests
University of Central Florida（中佛罗里达大学）；University of California, Los Angeles（加州大学洛杉矶分校）；JD AI Research（京东AI研究院）；Google（谷歌）
随着深度神经网络（DNN）变得越来越重要和流行，DNN的鲁棒性是互联网和物理世界安全的关键。不幸的是，最近的一些研究表明，很难与真实示例区分开来的对抗性示例可以很容易地欺骗DNN并操纵它们的预测。在观察到对抗性示例主要是通过基于梯度的方法生成的之后，在本文中，我们首先提出使用一种简单但非常有效的不可微混合模型，该模型结合了DNN和随机森林，而不是隐藏攻击者的梯度，以抵御攻击。我们的实验表明，我们的模型可以成功地和完全防御白盒攻击，具有较低的可移植性，并且对三种代表性的黑盒攻击具有很强的抵抗力;同时，我们的模型达到了与原始DNN相似的分类精度。最后，我们研究并提出了一个标准来定义在DNN中生长随机森林的位置。
2019-06-16 cs.CR cs.CV
Exploring the Effect of DNN Depth on Adversarial Attacks in Network Intrusion Detection Systems
Computer Engineering Carleton University Ottawa, Canada（计算机工程 卡尔顿大学渥太华加拿大）；School of Information Technology Carleton University Ottawa, Canada（信息科技学院 卡尔顿大学渥太华加拿大）
本文研究NIDS领域中DNN深度对对抗攻击鲁棒性的影响，发现增加层数反而可能显著降低NIDS中DNN的对抗鲁棒性，而在计算机视觉领域影响较温和，为鲁棒NIDS模型开发提供指导。
2025-10-22 cs.CR cs.LG
Joint Universal Adversarial Perturbations with Interpretations
The Hong Kong Polytechnic University（香港理工大学）；Huawei Hong kong Research Center（华为香港研究中心）
针对DNN分类与归因解释可能被通用对抗扰动同时破坏的问题，提出JUAP框架生成联合通用对抗扰动，并在多数据集上验证其攻击有效性。
2024-08-03 cs.AI cs.CR
Adversarial Zoom Lens: A Novel Physical-World Attack to DNNs
University of Electronic Science and Technology of China（电子科技大学）
本文提出了一种名为对抗变焦镜头（AdvZL）的新型物理对抗攻击技术，通过变焦镜头放大和缩小图像而不改变目标特征来欺骗深度神经网络，并验证了其在数字和物理环境中的有效性，同时提供了对抗训练防御指南。
2023-05-23 cs.AI cs.CR cs.CV
Amplification trojan network: Attack deep neural networks by amplifying their inherent weakness
Tsinghua University（清华大学）；Chinese Institute for Brain Research, Beijing（北京脑科学与类脑研究中心）
本文提出放大木马攻击（ATAttack），通过在目标DNN前插入一个仅变换输入的木马网络来放大模型固有弱点，使模型在干净数据上正常但对微小对抗噪声更脆弱，揭示了DNN流水线中的新型安全威胁。
2023-05-28 cs.AI cs.CR
Breaking Transferability of Adversarial Samples with Randomness
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Purdue University（普渡大学）
我们研究了对抗攻击的可转移性在深度神经网络（DNN）所观察到的漏洞中的作用。我们证明，引入随机性的DNN模型足以击败对抗攻击，因为对手没有无限的攻击预算。不是让一个特定的DNN模型对完美的知识攻击（也就是白盒攻击）具有鲁棒性，而是在DNN大军中创建随机性，完全消除了完美的知识获取的可能性，从而导致DNN集成对最强形式的攻击具有更强的鲁棒性。我们还表明，当对手有一个无限的预算的数据扰动，所有的防御技术将最终打破预算的增加。因此，重要的是要了解对手不会进一步追求这一努力的博弈鞍点。此外，我们探讨了版本空间中攻击严重性与决策边界鲁棒性之间的关系。我们的经验表明，通过简单地向学习的权重添加一个小的高斯随机噪声，DNN模型可以将其对对抗攻击的弹性提高74.2%。更重要的是，我们表明，通过在每个查询请求中随机激活/揭示预训练DNN池中的模型，我们可以对对手的攻击策略施加巨大的压力。我们将我们的随机化技术与Encourage Adversarial Training技术进行了比较，并表明我们的随机化技术在不同的攻击预算约束下更优越。
2018-06-17 cs.CR cs.LG
DLA: Dense-Layer-Analysis for Adversarial Example Detection
Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与综合安全研究所）
近年来，深度神经网络（DNN）取得了令人瞩目的成果，甚至在广泛的领域显示出超人的能力。这使得人们信任DNN的分类和由此产生的操作，即使在自动驾驶等安全敏感的环境中也是如此。尽管DNN取得了令人印象深刻的成就，但众所周知，DNN容易受到对抗性示例的影响。这些输入包含小的扰动，以故意欺骗被攻击的模型。在本文中，我们提出了一种新的端到端的框架来检测这种攻击在分类过程中，而不影响目标模型的性能。受最近神经元覆盖引导测试研究的启发，我们发现DNN的密集层携带安全敏感信息。通过二级DNN，我们在分类运行时分析密集层的激活模式，从而实现对抗性示例的有效和实时检测。我们的原型实现成功地检测了图像，自然语言和音频处理中的对抗性示例。因此，我们涵盖了各种目标DNN，包括长短期记忆（LSTM）架构。此外，为了有效地防御最先进的攻击，我们的方法在不同的对抗性示例集之间进行了推广。因此，我们的方法最有可能使我们能够检测到未来，但未知的攻击。最后，在白盒自适应攻击中，我们证明了我们的方法不能被轻易绕过。
2019-11-05 cs.CR cs.LG
Enhance DNN Adversarial Robustness and Efficiency via Injecting Noise to Non-Essential Neurons
Rensselaer Polytechnic Institute（伦斯勒理工学院）；T. J. Watson Research Center, IBM（IBM TJ·沃森研究中心）
本文提出一种非均匀噪声注入方法，通过识别并保护必要神经元、向非必要神经元注入噪声，同时增强DNN的对抗鲁棒性和执行效率，并在多种攻击、架构和数据集上验证了有效性。
2024-02-06 cs.AI cs.CR cs.LG
ActiveGuard: An Active DNN IP Protection Technique via Adversarial Examples
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
ActiveGuard利用对抗样本作为用户指纹实现主动式DNN知识产权保护，通过授权控制、指纹管理和权重水印验证所有权，实验表明其能显著区分授权与未授权用户并抵御多种攻击。
2021-03-02 cs.CR cs.LG
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Tübingen（图宾根大学）
深度神经网络（DNN）加速器近年来受到了相当大的关注，因为与主流硬件相比，它具有节能的潜力。DNN加速器的低电压操作允许进一步降低能量消耗，然而，在存储量化权重的存储器中引起比特级故障。此外，DNN加速器容易受到电压控制器或单个比特的对抗攻击。在本文中，我们证明了鲁棒定点量化，权重裁剪以及随机比特错误训练（RandBET）或对抗性比特错误训练（AdvBET）的组合显着提高了量化DNN权重中对随机或对抗性比特错误的鲁棒性。这不仅为低电压操作和低精度量化带来了高节能，而且还提高了DNN加速器的安全性。与相关工作相比，我们的方法概括了整个工作电压和加速器，不需要硬件的变化。此外，我们提出了一种新的对抗性比特错误攻击，并能够获得针对有针对性和无针对性的比特级攻击的鲁棒性。在不损失超过0.8%/2%的测试精度的情况下，我们可以在CIFAR 10上减少20%/30%的8/4位量化能耗。允许多达320个对抗性比特错误，我们将测试错误从90%以上（机会水平）降低到26.22%。
2022-06-07 cs.AR cs.CR cs.CV
Massif: Interactive Interpretation of Adversarial Attacks on Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；GTRI（佐治亚技术研究所）
深度神经网络（DNN）越来越多地为自动驾驶汽车和医疗保健等高风险应用提供动力;然而，在这些应用中，DNN通常被视为“黑匣子”。最近的研究还表明，DNN极易受到对抗攻击的攻击，这引起了人们对在现实世界中部署DNN的严重担忧。为了克服这些缺陷，我们正在开发Massif，这是一种用于破译对抗攻击的交互式工具。Massif识别并交互式可视化DNN内被对抗攻击强烈激活或抑制的神经元及其连接。Massif提供了攻击对DNN影响的高层次、可解释的概述，以及受影响神经元的低层次、详细描述。Massif中的这些紧密耦合的视图帮助人们更好地了解哪些输入特征对于正确的预测最脆弱或最重要。
2020-02-16 cs.CR cs.LG stat.ML
NATTACK: Learning the Distributions of Adversarial Examples for an Improved Black-Box Attack on Deep Neural Networks
University of Central Florida（中佛罗里达大学）；Hong Kong University of Science and Technology（香港科技大学）；Google（谷歌）
强大的对抗攻击方法对于理解如何构建强大的深度神经网络（DNN）和彻底测试防御技术至关重要。在本文中，我们提出了一个黑盒对抗攻击算法，可以击败香草DNN和最近开发的各种防御技术产生的。我们的算法不是为目标DNN的良性输入搜索“最佳”对抗性示例，而是在以输入为中心的小区域上找到概率密度分布，因此从该分布中提取的样本可能是对抗性示例，而无需访问DNN的内部层或权重。我们的方法是通用的，因为它可以成功地攻击不同的神经网络由一个单一的算法。它也是强大的;通过对2个vanilla DNN和13个防御DNN的测试，对于大多数测试用例，它的性能优于最先进的黑盒或白盒攻击方法。此外，我们的研究结果表明，对抗性训练仍然是最好的防御技术之一，并且对抗性示例在防御DNN之间的可转移性不如在普通DNN之间的可转移性。
2019-12-09 cs.CR cs.CV cs.LG
Towards Adversarial-Resilient Deep Neural Networks for False Data Injection Attack Detection in Power Grids
The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；University of Illinois Springfield（伊利诺伊大学斯普林菲尔德分校）
提出一种在训练和推理阶段采用随机输入填充的对抗鲁棒DNN框架，用于检测电力系统中的虚假数据注入攻击，显著降低对抗攻击有效性且对检测性能影响极小。
2023-05-10 cs.CR cs.LG
Detecting Adversarial Examples
Department of Electrical Engineering University of South Florida（电气工程系 美国佛罗里达州立大学）
针对现有DNN对抗样本防御方法易随攻击技术进步失效的问题，提出一种通过分析DNN层输出、用轻量回归模型预测误差检测对抗样本的通用轻量方法，经理论和实验验证有效且跨领域适用。
2025-06-16 cs.CR cs.LG
Targeted Adversarial Attacks against Neural Network Trajectory Predictors
Washington University in St. Louis（圣路易斯华盛顿大学）
轨迹预测是现代自主系统的一个组成部分，因为它允许设想附近移动代理的未来意图。由于缺乏其他智能体的动力学和控制策略，深度神经网络（DNN）模型通常用于轨迹预测任务。虽然存在大量的文献，提高这些模型的准确性，有一个非常有限的数量的工程研究其鲁棒性对adversarially精心制作的输入轨迹。为了弥补这一差距，在本文中，我们提出了一种针对DNN模型的有针对性的对抗攻击，用于轨迹预测任务。我们将所提出的攻击称为针对轨迹预测的有针对性的对抗攻击TA 4 TP。我们的方法生成了对抗性的输入轨迹，这些轨迹能够欺骗DNN模型来预测用户指定的目标/期望轨迹。我们的攻击依赖于解决一个非线性约束优化问题，其中目标函数捕获预测轨迹与目标轨迹的偏差，而约束则对对抗性输入应满足的物理要求进行建模。后者确保输入看起来自然并且它们可以安全地执行（例如，它们接近标称输入并且远离障碍物）。我们在两个最先进的DNN模型和两个数据集上证明了TA 4 TP的有效性。据我们所知，我们提出了针对用于轨迹预测的DNN模型的第一个有针对性的对抗攻击。
2022-12-08 cs.CR cs.LG
Adversarial Color Projection: A Projector-based Physical Attack to DNNs
本文提出了一种基于投影仪的黑盒物理攻击方法AdvCP，通过操纵颜色投影的物理参数生成对抗样本，在数字和物理环境中均表现出高攻击成功率、隐蔽性和鲁棒性。
2023-05-23 cs.CR cs.CV
Challenging the adversarial robustness of DNNs based on error-correcting output codes
Xidian University（西安电子科技大学）；University of Siena（锡耶纳大学）
对抗性示例的存在及其生成的容易性引发了关于深度学习系统的几个安全问题，促使研究人员开发合适的防御机制。最近提出了使用采用纠错输出码（ECOC）的网络来对抗白盒设置中对抗性示例的创建。在本文中，我们对ECOC方法所实现的对抗鲁棒性进行了深入的研究。我们提出了一种新的对抗攻击，专门为多标签分类架构，如基于ECOC的，并通过应用两个现有的攻击。与以前的研究结果相比，我们的分析表明，基于ECOC的网络可以通过引入一个小的对抗扰动很容易地被攻击。此外，可以以这样的方式生成对抗性示例，以实现预测目标类别的高概率，因此难以使用预测置信度来检测它们。我们的研究结果证明了MNIST，CIFAR-10和GTSRB分类任务的实验结果。
2020-10-09 cs.CR cs.LG
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加利福尼亚大学戴维斯分校）；The Cooper Union（库伯联盟）
最近的研究强调了深度神经网络（DNN）对对抗性示例的脆弱性-视觉上无法区分的对抗性图像很容易被制作出来，导致训练有素的模型错误分类。用于制作对抗性示例的现有方法基于$L_2$和$L_\infty$失真度量。然而，尽管事实上$L_1$失真解释了总的变化并鼓励扰动中的稀疏性，但几乎没有开发用于制作基于$L_1$的对抗性示例。在本文中，我们将通过对抗性示例攻击DNN的过程表述为弹性网正则化优化问题。我们对DNN（EAD）的弹性网攻击具有面向$L_1$的对抗性示例，并包括最先进的$L_2$攻击作为特例。在MNIST、CIFAR 10和ImageNet上的实验结果表明，EAD可以产生一组具有小$L_1$失真的对抗性示例，并在不同的攻击场景下获得与现有方法相似的攻击性能。更重要的是，EAD提高了攻击的可转移性，并补充了DNN的对抗性训练，提出了在对抗性机器学习和DNN的安全性影响中利用$L_1$失真的新见解。
2018-02-10 cs.CR cs.LG stat.ML
DeepCloak: Masking Deep Neural Network Models for Robustness Against Adversarial Samples
University of Virginia（弗吉尼亚大学）
最近的研究表明，深度神经网络（DNN）很容易受到对抗性样本的攻击：恶意干扰的样本会产生错误的模型输出。这种攻击可能会严重破坏DNN系统，特别是在安全敏感的环境中。据观察，对手可以通过对当前分类任务不必要的不相关特征维度进行小扰动来轻松生成对抗样本。为了克服这个问题，我们引入了一种名为DeepCloak的防御机制。通过识别和删除DNN模型中不必要的特征，DeepCloak限制了攻击者生成对抗样本的能力，从而提高了对此类输入的鲁棒性。与其他防御方法相比，DeepCloak易于实现，计算效率高。实验结果表明，DeepCloak可以提高最先进的DNN模型对对抗性样本的性能。
2017-04-17 cs.AI cs.CR cs.LG
Feature Distillation: DNN-Oriented JPEG Compression Against Adversarial Examples
Flordia International University（佛罗里达国际大学）；Northeastern University（东北大学）
基于图像压缩的方法来防御对抗性的例子攻击，威胁到深度神经网络（DNN）的安全使用，最近已经研究。然而，现有的工作主要依赖于直接调整压缩率等参数，盲目地减少图像特征，从而在应用防御方法后，缺乏对防御效率（即污染图像的准确性）和良性图像的分类准确性的保证。为了克服这些限制，我们提出了一个基于JPEG的防御性压缩框架，即“特征蒸馏”，以有效地纠正对抗性的例子，而不会影响良性数据的分类准确性。我们的框架使用两步方法显着提升了防御效率和边际精度降低：首先，我们通过在JPEG压缩或解压缩的频域中开发防御性量化来最大化恶意输入扰动的恶意特征过滤，由半解析方法指导;其次，我们通过面向DNN的量化细化过程来抑制良性特征的失真以恢复分类精度。我们的实验结果表明，提出的“特征蒸馏”可以显着超过最新的输入转换为基础的缓解，如绗缝和电视最小化在三个方面，包括防御效率（提高分类精度从$\sim20\%$到$\sim90\%$对抗的例子），防御后的良性图像的准确性（$\le1\%$准确性下降），和处理时间每幅图像（$\sim259\times$加速）。此外，我们的解决方案也可以提供最好的防御效率（$\sim60\%$准确性）对最近的适应性攻击与最小的准确性降低（$\sim1\%$）良性图像相比，其他基于输入变换的防御方法。
2019-04-16 cs.CR cs.CV
Simple iterative method for generating targeted universal adversarial perturbations
Kyushu Institute of Technology（九州工业大学）
深度神经网络（DNN）容易受到对抗攻击的攻击。特别是，被称为通用对抗扰动（UAP）的单个扰动可以挫败DNN执行的大多数分类任务。因此，需要用于生成UAP的不同方法来充分评估DNN的脆弱性。一个现实的评估将是考虑有针对性的攻击的情况;其中生成的UAP导致DNN将输入分类到特定类别。然而，针对目标攻击的UAP的发展在很大程度上落后于针对非目标攻击的UAP。因此，我们提出了一个简单的迭代法来生成针对目标攻击的UAP。我们的方法结合了简单的迭代法生成非目标的UAP和快速梯度符号法生成有针对性的对抗性扰动的输入。我们将所提出的方法应用于最先进的DNN模型进行图像分类，并证明了针对目标攻击的几乎不可感知的UAP的存在;此外，我们证明了这种UAP很容易生成。
2019-11-18 cs.CR cs.CV cs.LG
An Explainable Adversarial Robustness Metric for Deep Learning Neural Networks
Department of Electrical and Computer Engineering, University of Illinois at Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）；Kitware Inc.（Kitware公司）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度神经网络（DNN）通过在各种视觉任务中实现最先进的性能，极大地推进了计算机视觉领域。这些结果不仅限于视觉领域，还可以在语音识别和机器翻译任务中看到。最近，DNN被发现在使用通过对原始输入图像进行不可察觉的更改而制作的样本进行测试时失败率很低。这导致了DNN的验证和对抗性能之间的差距。一个有效的和可推广的鲁棒性指标，用于评估DNN对这些对抗性输入的性能仍然缺乏文献。在本文中，我们提出了噪声敏感度得分（NSS），这是一种量化DNN在不同形式的固定方向攻击下对特定输入的性能的度量。一个有见地的数学解释提供了深入理解所提出的度量。通过利用NSS，我们还提出了一个基于偏度的数据集鲁棒性度量，用于评估DNN在给定数据集上的对抗性能。使用广泛使用的最先进的架构以及流行的分类数据集，如MNIST，CIFAR-10，CIFAR-100和ImageNet，进行了广泛的实验，以验证我们提出的指标的有效性和通用性。与以前的工作不同，所提出的NSS不是简单地测量DNN在输入域中的对抗鲁棒性，而是建立在对对抗攻击的深刻数学理解之上，并对鲁棒性给出了更明确的解释。
2018-06-06 cs.CR cs.LG stat.ML
Practical Black-Box Attacks against Machine Learning
Google（谷歌）；Pennsylvania State University（宾夕法尼亚州立大学）；OpenAI；University of Wisconsin（威斯康星大学）；US Army Research Laboratory（美国陆军研究实验室）
机器学习（ML）模型，例如，深度神经网络（DNN）容易受到对抗性示例的影响：恶意输入被修改以产生错误的模型输出，而对人类观察者来说似乎没有修改。潜在的攻击包括将恶意内容（如恶意软件）识别为合法或控制车辆行为。然而，所有现有的对抗性示例攻击都需要了解模型内部或其训练数据。我们介绍了攻击者在没有此类知识的情况下控制远程托管DNN的第一个实际演示。事实上，我们的黑盒对手的唯一能力是观察DNN为选定输入提供的标签。我们的攻击策略包括训练一个本地模型来代替目标DNN，使用由对手合成生成并由目标DNN标记的输入。我们使用本地替代来制作对抗性示例，并发现它们被目标DNN错误分类。为了执行真实世界和适当盲化的评估，我们攻击了MetaMind托管的DNN，MetaMind是一种在线深度学习API。我们发现他们的DNN错误分类了84.24%的对抗性示例。我们通过使用逻辑回归替代品对Amazon和Google托管的模型进行相同的攻击，证明了我们的策略对许多ML技术的普遍适用性。它们产生了亚马逊和谷歌错误分类的对抗性示例，错误率分别为96.19%和88.94%。我们还发现，这种黑盒攻击策略能够逃避防御策略，以前发现，使对抗性的例子制作更难。
2017-03-19 cs.CR cs.LG
DNN-Defender: A Victim-Focused In-DRAM Defense Mechanism for Taming Adversarial Weight Attack on DNNs
New Jersey Institute of Technology（新泽西理工学院）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
本文提出 DNN-Defender，一种面向量化 DNN 的 DRAM 内以受害者为中心的防御，通过交换与优先级保护将定向 RowHammer 权重比特翻转削弱为随机攻击水平，且无准确率损失、训练或硬件开销。
2024-09-10 cs.AI cs.CR
Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks
Penn State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；United States Army Research Laboratory（美国陆军研究实验室）
深度学习算法已被证明在许多经典的机器学习问题上表现非常出色。然而，最近的研究表明，深度学习与其他机器学习技术一样，容易受到对抗性样本的影响：精心设计的输入迫使深度神经网络（DNN）提供对抗性选择的输出。这种攻击可能会严重破坏DNN支持的系统的安全性，有时会造成毁灭性的后果。例如，自动驾驶汽车可能会被撞毁，非法或非法内容可能会绕过内容过滤器，或者生物识别认证系统可能会被操纵以允许不正确的访问。在这项工作中，我们引入了一种称为防御蒸馏的防御机制，以降低DNN上对抗样本的有效性。我们分析研究了在训练DNN时使用防御蒸馏所授予的泛化性和鲁棒性。我们还实证研究了我们的防御机制在对抗环境中放置的两个DNN上的有效性。研究表明，防御性蒸馏可以将DNN上的样本创建效率从95%降低到0.5%以下。这种巨大的收益可以解释为，蒸馏导致对抗性样本创建中使用的梯度减少了10^30倍。我们还发现，在我们测试的一个DNN上，蒸馏将需要修改以创建对抗样本的平均最小特征数量增加了约800%。
2016-03-14 cs.CR cs.LG cs.NE
Adversarial Training Using Feedback Loops
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
针对深度神经网络易受对抗攻击的问题，提出基于控制理论的反馈神经网络架构及反馈环对抗训练（FLAT）方法，实验证明其抵御攻击效果优于现有最优方法。
2023-08-24 cs.CR cs.LG
Adversarial Catoptric Light: An Effective, Stealthy and Robust Physical-World Attack to DNNs
University of Electronic Science and Technology of China（电子科技大学）
本文提出了一种名为对抗性反射光（AdvCL）的新型物理世界攻击方法，利用自然反射光现象在黑盒设置下对DNNs生成隐蔽且鲁棒的对抗扰动，实验证明其在物理场景中攻击成功率达83.5%，超越基线且鲁棒性强。
2023-05-23 cs.CR cs.CV cs.LG
2-in-1 Accelerator: Enabling Random Precision Switch for Winning Both Adversarial Robustness and Efficiency
Rice University（莱斯大学）
本文提出算法与硬件协同设计的 2-in-1 Accelerator，通过 RPS 随机量化防御和精度可扩展架构，在多种攻击下同时提升 DNN 加速器鲁棒性与效率。
2025-01-04 cs.AR cs.CR cs.LG
HAWKEYE: Adversarial Example Detector for Deep Neural Networks
Purdue University（普渡大学）；Google（谷歌）
对抗性样本（AE）是可以通过向原始图像中引入轻微扰动来误导深度神经网络（DNN）分类器的图像。最近的工作表明，检测AE可能比防止AE产生更有效。然而，最先进的AE检测仍然显示出较高的假阳性率，从而拒绝了相当数量的正常图像。为了解决这个问题，我们提出了HAWKEYE，这是一个单独的神经网络，它分析DNN的输出层，并检测AE。HAWKEYE的AE检测器利用输入图像的量化版本作为参考，并经过训练以区分输入图像上的DNN输出与其参考图像上的DNN输出的变化特性。我们还表明，级联针对不同量化步长训练的AE检测器可以大大降低误报率，同时保持较高的检测率。
2019-09-22 cs.CR cs.LG
Nowhere to Hide: A Lightweight Unsupervised Detector against Adversarial Examples
Wuhan University（武汉大学）；Chinese University of Hong Kong（香港中文大学）；Pennsylvania State University（宾夕法尼亚州立大学）
尽管深度神经网络（DNN）在许多感知任务上表现出令人印象深刻的性能，但它们很容易受到对抗性示例的影响，这些示例是通过向良性图像添加轻微但恶意的扰动而生成的。对抗性检测是在将对抗性样本输入目标DNN之前识别它们的重要技术。以前检测对抗性示例的研究要么针对特定的攻击，要么需要昂贵的计算。如何设计一个轻量级的无监督检测器仍然是一个具有挑战性的问题。在本文中，我们提出了一种基于自动编码器的对抗性示例（AEAE）检测器，它可以通过以无监督的方式检测低计算量的对抗性示例来保护DNN模型。AEAE只包括一个浅层自动编码器，但扮演两个角色。首先，一个训练有素的自动编码器已经学会了良性例子的多样性。这种自动编码器可以为具有大扰动的对抗图像产生大的重建误差，因此我们可以基于重建误差检测显著扰动的对抗示例。其次，自动编码器可以过滤掉小噪声，并改变DNN对具有小扰动的对抗性示例的预测。它有助于根据预测距离检测轻微扰动的对抗性样本。为了覆盖这两种情况下，我们利用重建误差和预测距离良性图像构建一个二元组的特征集和训练使用隔离森林算法的对抗检测器。我们的经验表明，AEAE是无监督和廉价的最先进的攻击。通过这两种情况下的检测，没有地方隐藏敌对的例子。
2022-10-16 cs.CR cs.LG
Learning Defense Transformers for Counterattacking Adversarial Examples
South China University of Technology（华南理工大学）；ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
深度神经网络（DNN）容易受到具有小扰动的对抗性示例的影响。因此，对抗性防御已经成为通过防御对抗性示例来提高DNN鲁棒性的重要手段。现有的防御方法集中在一些特定类型的对抗性示例上，在现实世界的应用中可能无法很好地防御。在实践中，我们可能会面临许多类型的攻击，其中实际应用中的对抗性示例的确切类型甚至可能是未知的。本文基于对抗样本更容易出现在分类边界附近的观点，从一个新的角度研究对抗样本，即是否可以通过将其拉回到原始的干净分布来防御对抗样本。我们从理论上和经验上验证了防御仿射变换的存在，恢复对抗性的例子。在此基础上，我们学习了一个防御Transformer，通过参数化仿射变换和利用DNN的边界信息来反击对抗性示例。在玩具和真实世界数据集上的大量实验证明了我们的防御Transformer的有效性和通用性。
2021-03-13 cs.CR cs.LG
AdvParams: An Active DNN Intellectual Property Protection Technique via Adversarial Perturbation Based Parameter Encryption
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出AdvParams框架，通过对抗性扰动加密极少量DNN参数以主动防止模型侵权，无需额外训练且对微调、剪枝和自适应攻击具有鲁棒性。
2021-05-28 cs.CR cs.LG
T-BFA: Targeted Bit-Flip Adversarial Weight Attack
传统的深度神经网络（DNN）安全性主要与众所周知的对抗性输入示例攻击有关。最近，对抗攻击的另一个维度，即对DNN权重参数的攻击，已经被证明是非常强大的。作为一种典型的攻击方法，基于位翻转的对抗性权重攻击（BFA）通过在权重参数中注入极少量的错误来劫持DNN函数。BFA以前的工作集中在非目标攻击，可以通过翻转存储在计算机内存中的非常少量的权重位来将所有输入破解为随机输出类。本文提出了针对DNN的基于目标BFA（T-BFA）的对抗性权重攻击的第一项工作，该攻击可以故意将选定的输入误导到目标输出类。该目的是通过识别权重位，通过类相关的权重位排序算法与目标输出的分类高度相关。我们提出的T-BFA性能成功地证明了多个DNN架构的图像分类任务。例如，通过仅仅翻转ResNet-18的8800万个权重位中的27个，我们的T-BFA可以将所有图像从“母鸡”类错误分类为“鹅”类（即，100%攻击成功率），同时保持59. 35%的验证准确率。此外，我们成功地证明了我们的T-BFA攻击在一个真正的计算机原型系统运行DNN计算，与常春藤桥为基础的英特尔i7 CPU和8 GB的DDR3内存。
2021-01-08 cs.CR cs.LG stat.ML
Blind Adversarial Network Perturbations
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
深度神经网络（DNN）通常用于各种流量分析问题，例如网站指纹和流相关性，因为它们优于传统的（例如，统计学）技术。然而，众所周知，深度神经网络容易受到对抗性示例的影响：由于小的对抗性扰动，模型的对抗性输入被模型错误地标记。在本文中，我们第一次表明，对手可以击败基于DNN的流量分析技术，通过应用\emph{adversarial perturbations}的模式，\emph{live}网络流量。
2020-02-16 cs.CR cs.LG
