Beneficial Perturbations Network for Defending Adversarial Examples
University of Southern California(南加州大学)
深度神经网络可能被对抗攻击愚弄:将精心计算的小对抗扰动添加到干净的输入中可能会导致最先进的机器学习模型的错误分类。其原因是神经网络无法适应由对抗性扰动引起的输入数据的分布漂移。在这里,我们提出了一种新的解决方案-有益扰动网络(BPN)-通过固定分布漂移来防御对抗攻击。在训练过程中,BPN通过添加新的网络外偏置单元来生成和利用有益的扰动(与众所周知的对抗性扰动有点相反)。偏置单元影响网络的参数空间,以抢占和中和输入数据样本上的未来对抗性扰动。为了实现这一点,BPN在训练过程中通过回收已经计算的训练梯度,以非常小的成本创建反向对抗攻击。反向攻击被偏置单元捕获,而偏置反过来又可以有效地防御未来的对抗性示例。反向攻击是一种捷径,即,它们会影响网络的参数,而不需要实例化可以帮助训练的对抗性示例。我们提供了全面的经验证据,表明1)BPN对对抗性示例具有鲁棒性,并且与经典的对抗性训练相比,具有更高的运行内存和计算效率。2)与只在干净样本上训练相比,BPN可以以可忽略的额外计算和参数成本来防御对抗性样本; 3)BPN对干净样本的准确性的损害比经典对抗性训练小得多; 4)BPN可以提高网络的泛化能力5)仅使用快速梯度符号攻击训练的BPN可以泛化以防御PGD攻击。
2021-09-13 cs.CR cs.LG stat.ML
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Robust Weight Perturbation for Adversarial Training
The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);JD Explore Academy(京东探索研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Wuhan University(武汉大学)
过拟合广泛存在于深度网络的对抗性鲁棒训练中。一种有效的补救方法是对抗性权重扰动,它通过最大化对抗性样本的分类损失来在网络训练期间注入最坏情况的权重扰动。对抗性权重扰动有助于减少鲁棒泛化差距;然而,它也破坏了鲁棒性的提高。因此,调节权重扰动的标准对于对抗训练至关重要。在本文中,我们提出了这样一个准则,即损失平稳条件(LSC)的约束扰动。在LSC中,我们发现对具有小分类损失的对抗数据进行权重扰动以消除鲁棒过拟合是必要的。对具有大分类损失的对抗数据进行权重扰动是不必要的,甚至可能导致鲁棒性差。基于这些观察,我们提出了一个强大的扰动策略,以约束的权重扰动的程度。扰动策略防止深度网络过度拟合,同时避免过度权重扰动的副作用,显著提高对抗训练的鲁棒性。大量的实验证明了所提出的方法优于最先进的对抗训练方法。
2022-05-30 cs.LG
Transfer of Adversarial Robustness Between Perturbation Types
OpenAI;Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);UC Berkeley(加州大学伯克利分校)
研究了深度神经网络对抗鲁棒性在不同扰动类型之间的转移。虽然大多数对抗性示例的工作都集中在$L_\infty$和$L_2$有界扰动上,但这些并不能捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32种攻击,这些攻击针对的是在ImageNet的100类子集上进行对抗训练的模型。我们的实证结果表明,评估范围广泛的扰动大小是必要的,以了解是否对抗鲁棒性扰动类型之间的转移。我们进一步证明,对一个扰动类型的鲁棒性可能并不总是意味着,有时可能会伤害对其他扰动类型的鲁棒性。根据这些结果,我们建议在各种扰动类型和大小上进行对抗性防御的评估。
2019-05-03 cs.AI cs.CR cs.LG
Regional Image Perturbation Reduces $L_p$ Norms of Adversarial Examples While Maintaining Model-to-model Transferability
Ghent University(根特大学);VIB Inflammation Research Center(VIB炎症研究中心);imec(比利时微电子研究中心)
区域性的对抗攻击通常依赖于复杂的方法来产生对抗性扰动,因此很难将其效果与已知的攻击进行比较。在这项研究中,我们表明,有效的区域扰动可以产生不诉诸复杂的方法。我们开发了一种非常简单的区域对抗扰动攻击方法,使用交叉熵符号,这是对抗机器学习中最常用的损失之一。我们在ImageNet上使用多个模型进行的实验表明,平均而言,当扰动应用于局部图像区域时,生成的对抗性示例的$76\%$保持了模型到模型的可转移性。根据所选区域,这些局部对抗性示例与其非局部对应物相比需要显著更少的$L_p$范数失真(对于$p \in \{0, 2, \infty\}$)。因此,这些本地化攻击有可能破坏根据上述规范要求鲁棒性的防御。
2020-07-18 cs.CV cs.LG stat.ML
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
分类器,如深度神经网络,已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性,但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中,我们证明了对抗性训练在防止通用扰动方面更有效,其中相同的扰动需要在许多输入上欺骗分类器。此外,我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡,并提出了一种对抗性训练的扩展,可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果,以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见,并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
Perturbations are not Enough: Generating Adversarial Examples with Spatial Distortions
Monash University(莫纳什大学);Defence Science and Technology Group, Department of Defence(国防部国防科学与技术集团)
据报道,深度神经网络图像分类器容易受到对抗性规避攻击的影响,这种攻击使用精心制作的图像来误导分类器。近年来,各种各样的对抗攻击方法被提出,其中大部分集中在对输入图像添加小的扰动。尽管现有方法取得了成功,但如何生成具有小扰动的逼真对抗图像仍然是一个具有挑战性的问题。在本文中,我们的目标是通过提出一种新的对抗方法来解决这个问题,该方法不仅通过对输入图像施加扰动,还通过对输入图像施加空间扭曲(包括缩放、旋转、剪切和平移)来生成对抗示例。由于人类不太容易受到小的空间失真的影响,因此所提出的方法可以产生视觉上更逼真的攻击,具有更小的扰动,能够欺骗分类器而不影响人类的预测。我们通过神经网络的摊销技术来学习我们的方法,并通过网络的前向传递有效地生成对抗性示例。对不同类型的非鲁棒分类器和具有防御的鲁棒分类器进行攻击的实验表明,与先进的攻击方法相比,我们的方法具有最先进的性能。
2019-10-03 cs.CR cs.LG stat.ML
Reliably fast adversarial training via latent adversarial perturbation
KAIST(韩国科学技术院)
虽然多步对抗训练作为对抗强对抗攻击的有效防御方法而广泛流行,但与标准训练相比,其计算成本非常昂贵。已经提出了几种单步对抗训练方法来减轻上述开销成本;然而,根据优化设置,它们的性能并不足够可靠。为了克服这些限制,我们偏离了现有的基于输入空间的对抗训练机制,并提出了一种单步潜在对抗训练方法(SLAT),该方法利用潜在表示的梯度作为潜在对抗扰动。我们证明了特征梯度的L1范数通过所采用的潜在扰动被隐式正则化,从而恢复局部线性并确保可靠的性能,与现有的单步对抗训练方法相比。由于潜在扰动是基于潜在表示的梯度,而这些梯度可以在输入梯度计算过程中免费获得,因此所提出的方法与快速梯度符号方法的时间大致相同。实验结果表明,尽管该方法结构简单,但性能优于最先进的加速对抗训练方法。
2021-11-29 cs.LG
Adversarial Weight Perturbation Helps Robust Generalization
Tsinghua University(清华大学);PCL Research Center of Networks and Communications, Peng Cheng Laboratory(鹏城实验室网络通信PCL研究中心);Key Lab. of Machine Perception (MoE), School of EECS, Peking University(北京大学信息科学技术学院机器感知教育部重点实验室)
提高深度神经网络对对抗性样本鲁棒性的研究近年来发展迅速。其中,对抗性训练是最有前途的一种,它通过对对抗性扰动样本进行训练来评估输入损失景观(相对于输入的损失变化)。然而,广泛使用的减肥景观(相对于体重的损失变化)在对抗训练中的表现却很少被探讨。本文从一个新的角度研究了权重损失景观,并确定了权重损失景观的平坦性与鲁棒泛化差距之间的明显相关性。几个公认的对抗性训练改进,如提前停止,设计新的目标函数,或利用未标记的数据,都隐含地使减肥前景变得平坦。基于这些观察结果,我们提出了一个简单而有效的对抗性权重扰动(AWP)来显式地正则化权重损失景观的平坦性,在对抗性训练框架中形成了一个双扰动机制,对抗性地扰动输入和权重。大量的实验表明,AWP确实带来了更平坦的减肥景观,并且可以很容易地融入各种现有的对抗训练方法中,以进一步提高其对抗鲁棒性。
2020-10-13 cs.CV cs.LG stat.ML
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen(图宾根大学)
近年来,已经提出了几种对抗攻击和防御。通常,当使用更复杂的攻击时,看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来,我们表明,他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal,它增强了$l_1$和$l_\infty$扰动的鲁棒性,并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Playing the Game of Universal Adversarial Perturbations
DeepMind(深度思维);Google Brain(谷歌大脑)
我们研究了学习分类器对普遍对抗扰动的鲁棒性问题。虽然之前的工作通过鲁棒优化,对抗训练或输入转换来解决这个问题,但我们将其称为两人零和游戏。在这个新的公式中,两个玩家同时玩同一个游戏,其中一个玩家选择一个分类器,使分类损失最小化,而另一个玩家创建一个对抗性扰动,当应用于训练集中的每个样本时,增加相同的损失。通过观察,执行分类(分别创建对抗样本)是对其他玩家的最佳反应,我们提出了一种新的扩展博弈论算法,即虚构的游戏,训练鲁棒分类器的域。最后,我们经验性地展示了我们的方法在两种防御场景中的鲁棒性和多功能性,其中在几个图像分类数据集-CIFAR 10,CIFAR 100和ImageNet上执行通用攻击。
2018-09-25 cs.CV cs.LG stat.ML
Interpretable Adversarial Perturbation in Input Embedding Space for Text
Preferred Networks, Inc.(优选网络公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进智能项目中心);Tohoku University(东北大学);NTT Communication Science Laboratories(日本电信电话通信科学实验室)
在图像处理领域取得巨大成功之后,对抗训练的思想已被应用于自然语言处理(NLP)领域的任务。一种有前途的方法直接将图像处理领域中开发的对抗训练应用于输入词嵌入空间,而不是文本的离散输入空间。然而,这种方法放弃了生成对抗性文本的可解释性,以显着提高NLP任务的性能。本文通过限制输入嵌入空间中现有单词的扰动方向来恢复这些方法的可解释性。因此,我们可以通过将扰动视为句子中单词的替换,同时保持甚至提高任务性能,来直接重建具有对实际文本的扰动的每个输入。
2018-05-08 cs.CL cs.LG stat.ML
Generalizable Adversarial Attacks with Latent Variable Perturbation Modelling
McGill University(麦吉尔大学);Mila
对深度神经网络的对抗攻击传统上依赖于约束优化范式,其中优化过程用于获得给定输入示例的单个对抗性扰动。在这项工作中,我们将问题定义为学习对抗性扰动的分布,使我们能够在给定未扰动输入的情况下生成不同的对抗性分布。我们表明,这个框架是域不可知的,在相同的框架可以用来攻击不同的输入域,以最小的修改。在三个不同的领域-图像,文本和图形-我们的方法生成白盒攻击的成功率是有竞争力的或优于现有的方法,与一个新的国家的最先进的实现在图形域。最后,我们证明了我们的框架可以有效地生成一个不同的攻击集为一个单一的输入,甚至能够攻击\textit{unseen}测试实例中的zero-shot的方式,表现出攻击泛化。
2020-01-20 cs.CR cs.LG stat.ML
Purifying Adversarial Perturbation with Adversarially Trained Auto-encoders
Iowa State University(爱荷华州立大学)
机器学习模型容易受到对抗性样本的影响。迭代对抗训练在对抗强大的白盒攻击方面表现出了良好的效果。然而,对抗训练非常昂贵,每次需要保护模型时,都需要执行这种昂贵的训练方案。在本文中,我们提出将迭代对抗训练方案应用于外部自动编码器,一旦训练好,就可以直接用于保护其他模型。我们的经验表明,我们的模型优于其他净化为基础的方法对白盒攻击,并转移直接保护其他基础模型与不同的架构。
2019-05-26 cs.CR cs.CV cs.LG
Adaptive Smoothness-weighted Adversarial Training for Multiple Perturbations with Its Stability Analysis
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent AI Lab(腾讯AI实验室);Shenzhen Research Institute of Big Data(深圳大数据研究院)
对抗性训练(AT)已被证明是对抗性示例最有效的方法之一。虽然大多数现有的工作集中在AT与单一类型的扰动,$\ell_\infty$攻击),DNN正面临来自不同类型的对抗性示例的威胁。因此,提出了针对多个扰动的对抗训练(ATMP)来推广不同扰动类型($\ell_1$,$\ell_2$和$\ell_\infty$范数有界扰动)的对抗鲁棒性。然而,由此产生的模型表现出不同的攻击之间的权衡。同时,ATMP缺乏理论分析,限制了它的进一步发展。在本文中,我们首先提供了ATMP的平滑性分析,并表明$\ell_1$,$\ell_2$,和$\ell_\infty$对手给不同的贡献,平滑的损失函数的ATMP。在此基础上,我们开发了基于稳定性的超额风险界限,并提出了针对多重扰动的自适应平滑加权对抗训练。从理论上讲,我们的算法产生更好的界限。实验结果表明,CIFAR10和CIFAR100算法在抵抗多重扰动混合攻击方面达到了最佳性能。
2022-10-02 cs.LG
Adversarial Perturbations Prevail in the Y-Channel of the YCbCr Color Space
The Department of Computer Science, The University of Western Australia(西澳大学计算机科学系)
深度学习为图像识别提供了最先进的解决方案。然而,深度模型很容易受到图像中的对抗性扰动的影响,这些扰动很微妙,但会显著改变模型的预测。在白盒攻击中,这些扰动通常是针对在RGB图像上操作的深度模型学习的,因此,扰动在RGB颜色空间中均匀分布。在本文中,我们表明,对抗扰动盛行的Y通道的YCbCr空间。我们的发现是出于这样一个事实,即人类视觉和深度模型对形状和纹理的反应比颜色更敏感。基于我们的发现,我们提出了一种对抗性图像的防御方法。我们的防御,创造了ResUpNet,通过利用上采样框架中的ResNet功能,仅从Y通道中去除扰动,而不需要瓶颈。在最后阶段,将未触及的CbCr通道与细化的Y通道组合以恢复干净的图像。请注意,ResUpNet是模型不可知的,因为它不会修改DNN结构。ResUpNet在Pytorch中进行端到端的训练,并将结果与输入转换类别中的现有防御技术进行比较。我们的研究结果表明,我们的方法在抵御FGSM,PGD和DDN等对抗攻击和保持VGG-16,ResNet 50和DenseNet 121在干净图像上的原始准确性之间实现了最佳平衡。我们进行了另一个实验,以表明仅针对Y通道学习对抗性扰动会导致相同扰动幅度的更高愚弄率。
2020-02-25 cs.CV cs.LG stat.ML
Asymptotic Behavior of Adversarial Training Estimator under $\ell_\infty$-Perturbation
Georgia Institute of Technology(佐治亚理工学院)
本文研究广义线性模型中 $\ell_\infty$-扰动下对抗训练估计量的渐近行为,证明其稀疏恢复能力,并提出自适应对抗训练方法以实现变量选择一致性与无偏性。
2025-03-03 cs.LG math.ST stat.ME
How many perturbations break this model? Evaluating robustness beyond adversarial accuracy
Carnegie Mellon University(卡内基梅隆大学)
本文提出对抗稀疏性指标,用于量化在给定输入和扰动方向约束下找到成功扰动的难度,从而揭示准确率无法反映的鲁棒性差异,并证明数据增强可独立提升对抗鲁棒性。
2023-08-10 cs.CR cs.LG stat.ML
Sparse-PGD: A Unified Framework for Sparse Adversarial Perturbations Generation
City University of Hong Kong(香港城市大学)
稀疏PGD框架通过高效生成稀疏对抗扰动并提升模型鲁棒性,实现对不同场景下的强性能表现。
2025-11-20 cs.LG
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
在本文中,我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同,本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后,我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能,但它导致了自然扰动样本的性能下降,除了干净的样本。相比之下,自然扰动,如弹性变形,闭塞和波不仅提高了对自然扰动的性能,而且还导致对抗性扰动的性能的改善。此外,它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
On Detecting Adversarial Perturbations
Bosch Center for Artificial Intelligence(博世人工智能中心);Robert Bosch GmbH(罗伯特·博世有限公司)
近年来,机器学习和深度学习在感知任务方面取得了巨大的进步。然而,它仍然容易受到输入的对抗性扰动的影响,这些扰动是专门为了欺骗系统而设计的,同时对人类来说几乎是不可感知的。在这项工作中,我们提出用一个小的“检测器”子网络来增强深度神经网络,该子网络在区分真实数据和包含对抗扰动的数据的二进制分类任务上进行训练。我们的方法与之前解决对抗性扰动的工作是正交的,后者主要集中在使分类网络本身更鲁棒。我们的经验表明,对抗性扰动可以检测到令人惊讶的是,即使他们是准察觉不到的人类。此外,虽然检测器已经被训练成只检测特定的对手,但它们可以推广到类似和较弱的对手。此外,我们提出了一种对抗性攻击,欺骗分类器和检测器,以及一种新的训练过程,检测器抵消这种攻击。
2017-02-21 cs.AI cs.CV cs.LG
How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness
Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy
本文通过概率分析探讨对抗攻击与扰动鲁棒性之间的联系,提出浓度因子κ量化风险,并通过实验揭示对抗攻击在不同扰动模型下的有效性。
2026-01-25 cs.AI cs.LG
Accelerating Adversarial Perturbation by 50% with Semi-backward Propagation
对抗扰动在对抗鲁棒性研究中起着重要的作用,它解决了输入数据的最大化问题。我们表明,这种优化的反向传播可以加速$2\times$(因此,包括前向传播的整体优化可以加速$1.5\times$),没有任何效用下降,如果我们只计算输出梯度,而不是参数梯度在反向传播。
2022-11-09 cs.LG math.OC
Democratic Training Against Universal Adversarial Perturbations
Singapore Management University(新加坡管理大学)
针对深度神经网络易受通用对抗扰动(UAP)攻击的问题,本研究提出“民主训练”方法,通过基于熵的模型增强抑制UAP影响,在多模型、多数据集和多攻击方法上验证了其降低攻击成功率、提升鲁棒性并保留干净样本准确率的效果。
2025-02-08 cs.LG
Constant Random Perturbations Provide Adversarial Robustness with Minimal Effect on Accuracy
Bar-Ilan University(巴伊兰大学);Carnegie Mellon University(卡内基梅隆大学);Technion(以色列理工学院)
本文提出了一种攻击无关(非对抗性训练)技术,用于提高神经网络模型的对抗性鲁棒性,同时使标准精度损失最小。我们建议在每个训练样本周围创建一个邻域,这样该邻域内的所有输入的标签都保持不变。与以前的工作,遵循类似的原则,我们应用这个想法,扩展训练集与多个扰动的每个训练样本,从附近。这些扰动与模型无关,并且在整个训练过程中保持恒定。在不同的攻击和条件下,我们对MNIST,SVHN和CIFAR-10进行了经验分析。结果表明,与其他防御方法相比,所提出的方法提高了标准准确性,同时与普通对抗训练相比具有更高的鲁棒性。
2021-07-27 cs.LG
Scaling Adversarial Training to Large Perturbation Bounds
Indian Institute of Science(印度科学学院);Indian Institute of Technology (BHU) Varanasi(瓦拉纳西印度理工学院(贝拿勒斯印度教大学))
深度神经网络对对抗攻击的脆弱性推动了对构建鲁棒模型的研究。虽然大多数对抗性训练算法的目标是防御限制在低幅度Lp范数范围内的攻击,但现实世界的对手并不受这些约束的限制。在这项工作中,我们的目标是在更大的范围内实现对抗性鲁棒性,对抗可能可以感知的扰动,但不会改变人类(或Oracle)的预测。翻转Oracle预测的图像的存在和那些不翻转的图像的存在使得这对于对抗鲁棒性来说是一个具有挑战性的设置。我们讨论了超越感知极限的对抗性防御算法的理想目标,并进一步强调了天真地将现有训练算法扩展到更高扰动界的缺点。为了克服这些缺点,我们提出了一种新的防御,Oracle对齐的对抗训练(OA-AT),在对抗训练期间将网络的预测与Oracle的预测对齐。所提出的方法实现了最先进的性能在大的边界(如CIFAR-10上的L-inf边界为16/255),同时优于现有的防御(AWP,TRADES,PGD-AT)在标准边界(8/255)。
2022-10-18 cs.CR cs.CV cs.LG
Improving Transformation-based Defenses against Adversarial Examples with First-order Perturbations
本研究针对神经网络易受对抗攻击的问题,提出一种基于一阶扰动的推理阶段防御增强方法,无需重训练,可有效提升多种变换类防御对强对抗样本的抵御能力。
2024-01-28 cs.CV cs.LG
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University(上海交通大学)
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用,并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明,经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外,与正常训练的DNN相比,对抗训练的DNN具有更多的成分,这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
Universal Adversarial Training with Class-Wise Perturbations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
尽管卷积神经网络(CNN)在广泛的应用中取得了压倒性的成功,但人们普遍认为它容易受到对抗性样本的影响。这种有趣的现象导致了对抗攻击和防御技术之间的竞争。到目前为止,对抗性训练是防御对抗攻击最广泛使用的方法。它还被扩展到防御普遍对抗性扰动(UAP)。SOTA通用对抗训练(UAT)方法为小批量中的所有训练样本优化了单个扰动。在这项工作中,我们发现,一个UAP不攻击所有类平等。受此观察的启发,我们将其确定为具有不平衡鲁棒性的模型的来源。为此,我们建议在对抗训练期间利用类明智的UAP来改进SOTA UAT。在多个基准数据集上,我们的类UAT在干净的准确性和对抗通用攻击的对抗性鲁棒性方面都具有优异的性能。
2021-04-07 cs.CV cs.LG
Universal Adversarial Perturbations and Image Spam Classifiers
San Jose State University(圣何塞州立大学)
顾名思义,图像垃圾邮件是嵌入图像中的垃圾电子邮件。图像垃圾邮件是为了逃避基于文本的过滤器而开发的。现代基于深度学习的分类器在检测野外常见的典型图像垃圾邮件方面表现良好。在本章中,我们评估了许多对抗性技术,以攻击基于深度学习的图像垃圾邮件分类器。测试的技术,我们发现,普遍扰动性能最好。使用通用的对抗扰动,我们提出并分析了一种新的基于转换的对抗攻击,使我们能够在图像垃圾邮件中创建量身定制的“自然扰动”。由此产生的垃圾邮件图像受益于集中的自然特征和普遍的对抗性扰动的存在。我们表明,该技术优于现有的对抗攻击的准确性降低,每个例子的计算时间,和扰动距离。我们应用我们的技术来创建一个对抗性垃圾邮件图像的数据集,它可以作为未来图像垃圾邮件检测研究的挑战数据集。
2021-03-07 cs.CR cs.CV cs.LG
Non-Singular Adversarial Robustness of Neural Networks
National Chiao Tung University(国立交通大学);IBM Research(IBM研究院)
由于神经网络对小输入扰动过于敏感,对抗鲁棒性已成为神经网络面临的一个新挑战。虽然是关键的,我们认为,解决这个单一的问题本身无法提供一个全面的鲁棒性评估。更糟糕的是,从奇异鲁棒性中得出的结论可能会给人一种错误的整体模型鲁棒性的感觉。具体来说,我们的研究结果表明,与标准模型相比,对输入扰动具有鲁棒性的对抗训练模型仍然(甚至更容易)受到权重扰动的影响。在本文中,我们形式化的非奇异对抗鲁棒性的概念,神经网络通过镜头的联合扰动的数据输入以及模型的权重。据我们所知,这项研究是第一个考虑同时输入权重对抗扰动的工作。基于一个具有ReLU激活函数和标准分类损失的多层前馈神经网络模型,建立了误差分析,用于量化数据输入和模型权重对$\ell_\infty$范数有界扰动的损失敏感性。基于误差分析,我们提出了新的正则化函数的鲁棒训练,并证明了改进的非奇异鲁棒性对联合输入权重对抗扰动。
2021-02-23 cs.LG
Enabling Fast and Universal Audio Adversarial Attack Using Generative Model
Rutgers University(罗格斯大学);The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
近年来,基于DNN的音频系统对抗性攻击的脆弱性得到了越来越多的关注。然而,现有的音频对抗性攻击允许对手拥有整个用户的音频输入,并给予足够的时间预算来生成对抗性扰动。然而,这些理想化的假设使得现有的音频对抗性攻击在实践中几乎不可能及时发起(例如,与用户的流输入一起播放不明显的对抗性扰动)。为了克服这些限制,在本文中,我们提出了快速音频对抗扰动生成器(FAPG),它使用生成模型在单个前向传递中为音频输入生成对抗扰动,从而大大提高扰动生成速度。在FAPG的基础上,我们进一步提出了通用音频对抗扰动生成器(UAPG),这是一种制作通用对抗扰动的方案,可以对任意良性音频输入施加扰动以引起错误分类。大量的实验表明,我们提出的FAPG可以实现高达167倍的加速比最先进的音频对抗攻击方法。此外,我们提出的UAPG可以产生通用的对抗扰动,实现更好的攻击性能比最先进的解决方案。
2021-02-07 cs.LG cs.SD eess.AS
Encoding Robustness to Image Style via Adversarial Feature Perturbations
University of Maryland, College Park(马里兰大学帕克分校);Fudan University(复旦大学);New York University(纽约大学)
对抗性训练是产生对小对抗性扰动具有鲁棒性的模型的行业标准。然而,机器学习从业者需要对自然发生的其他类型的变化(例如输入图像的风格或照明的变化)具有鲁棒性的模型。输入分布的这种变化已经被有效地建模为深度图像特征的均值和方差的偏移。我们通过直接扰动特征统计而不是图像像素来适应对抗训练,以产生对各种看不见的分布变化具有鲁棒性的模型。我们通过可视化对抗特征来探索这些扰动和分布变化之间的关系。我们提出的方法,对抗性批量归一化(AdvBN),是一个单一的网络层,在训练过程中产生最坏情况的特征扰动。通过对神经网络的对抗性特征分布进行微调,我们观察到网络对各种看不见的分布变化(包括风格变化和图像损坏)的鲁棒性有所提高。此外,我们表明,我们提出的对抗性特征扰动可以补充现有的图像空间数据增强方法,从而提高性能。源代码和预训练模型在\url{https://github.com/azshue/AdvBN}上发布。
2021-10-31 cs.CV cs.LG
Approximate Manifold Defense Against Multiple Adversarial Perturbations
National University of Singapore(新加坡国立大学)
针对对抗攻击的现有防御通常针对特定的扰动类型进行定制。使用对抗性训练来防御多种类型的扰动,需要在每个训练步骤中使用来自不同扰动类型的昂贵的对抗性示例。相比之下,基于流形的防御采用生成网络将输入样本投影到干净的数据流形上。这种方法消除了生成昂贵的对抗性示例的需要,同时实现了对多种扰动类型的鲁棒性。然而,这种方法的成功依赖于生成网络是否能够捕获完整的干净数据流形,这对于复杂的输入域仍然是一个悬而未决的问题。在这项工作中,我们设计了一个近似流形防御机制,称为RBF-CNN,用于图像分类。我们使用RBF层来学习小图像块的密度,而不是捕获完整的数据流形。RBF-CNN还利用重建层来减轻任何微小的对抗性扰动。此外,将我们提出的重建过程用于训练提高了我们的RBF-CNN模型的对抗鲁棒性。在MNIST和CIFAR-10数据集上的实验结果表明,RBF-CNN对多种扰动具有鲁棒性,而无需昂贵的对抗训练。
2020-10-15 cs.CR cs.CV cs.LG
Perturbation Analysis of Learning Algorithms: A Unifying Perspective on Generation of Adversarial Examples
RWTH Aachen University(亚琛工业大学)
尽管深度神经网络在各种学习问题中取得了巨大的成功,但已经观察到,向这些架构的输入添加有意设计的对抗性扰动会导致在预测中具有高置信度的错误分类。在这项工作中,我们提出了一个一般框架的基础上扰动分析的学习算法,其中包括凸规划,并能够恢复许多当前的对抗攻击的特殊情况。该框架可以用来提出新的攻击学习算法的分类和回归任务下的各种新的约束条件下,在许多情况下,封闭形式的解决方案。特别是,我们得到新的攻击分类算法,以实现可比的性能显着的现有攻击。然后,该框架被用来生成对抗扰动的回归任务,其中包括单像素和单子集攻击。通过将该方法应用于自动编码和图像着色任务,表明对抗性扰动也可以有效地扰动回归任务的输出。
2018-12-15 cs.AI cs.IT cs.LG
Taming the Long Tail: Rebalancing Adversarial Training via Adaptive Perturbation
Sichuan University(四川大学);Dongfang Electric (Chengdu) Innovation Research Co., Ltd.(东方电子(成都)创新研究院有限公司);Southwest China Research Institute of Electronic Equipment(西南中国电子设备研究院)
本文针对长尾数据中的对抗训练问题,提出RobustLT框架,通过自适应调整扰动提升模型鲁棒性和类别平衡。
2026-05-13 cs.CV cs.LG
Robust Deep Learning Models Against Semantic-Preserving Adversarial Attack
HKUST(香港科技大学);SUSTech(南方科技大学);University of Technology, Sydney(悉尼科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出语义保持对抗(SPA)攻击机制,通过结合属性操纵器和噪声生成器生成联合扰动样本进行对抗训练,有效提升了深度学习模型抵御联合扰动的鲁棒性。
2023-04-08 cs.LG
Improving Adversarial Training using Vulnerability-Aware Perturbation Budget
Iowa State University(爱荷华州立大学)
针对固定扰动预算限制对抗训练效能的问题,提出两种基于样本脆弱性分配扰动半径的轻量重加权方法,有效提升了模型对多种对抗攻击的鲁棒性。
2024-03-06 cs.AI cs.CR cs.CV
Searching for the Essence of Adversarial Perturbations
National Taiwan University(台湾大学)
神经网络已经在各种机器学习领域中展示了最先进的性能。然而,在输入数据中引入恶意扰动(称为对抗性示例)已被证明会欺骗神经网络预测。这对自动驾驶和文本识别等现实应用构成了潜在风险。为了减轻这些风险,全面了解对抗性例子的机制至关重要。在这项研究中,我们证明了对抗性扰动包含人类可识别的信息,这是神经网络错误预测的关键同谋者,与人们普遍认为人类无法识别的特征在愚弄网络方面发挥着关键作用相反。这种人类可识别特征的概念使我们能够解释对抗性扰动的关键特征,包括它们的存在,不同神经网络之间的可转移性,以及对抗性训练的可解释性。我们还发现了欺骗神经网络的对抗扰动的两个独特性质:掩蔽和生成。另外,当神经网络对输入图像进行分类时,识别出一个特殊的类,即互补类。对抗性扰动中人类可识别信息的存在使研究人员能够深入了解神经网络的工作原理,并可能导致检测和防御对抗攻击的技术的发展。
2023-02-03 cs.CV cs.LG cs.NE
Adversarial Robustness with Non-uniform Perturbations
Imperial College London(帝国理工学院);Amazon Web Services(亚马逊云服务)
机器学习模型的鲁棒性对于与安全相关的应用至关重要,其中现实世界的对手唯一地专注于逃避基于神经网络的检测器。以前的工作主要集中在制作对抗性示例(AE),这些示例具有跨特征的小的均匀范数有界扰动,以保持不可感知性的要求。然而,均匀扰动不会在诸如恶意软件、金融和社交网络等领域中产生真实的AE。对于这些类型的应用程序,功能通常具有一些语义上有意义的依赖关系。我们提出的方法的关键思想是启用非均匀扰动,可以在对抗训练期间充分表示这些特征依赖性。我们建议使用经验数据分布的特征,无论是在特征之间的相关性和特征本身的重要性。使用恶意软件分类,信用风险预测和垃圾邮件检测的实验数据集,我们表明,我们的方法是更强大的现实世界的攻击。最后,我们提出了利用非均匀扰动界的鲁棒性认证,并表明非均匀界实现更好的认证。
2021-10-29 cs.AI cs.CR cs.LG
Towards Transferable Adversarial Attacks with Centralized Perturbation
Beijing Institute of Technology(北京理工大学)
提出一种在频域动态集中扰动于主导频率系数的对抗攻击方法,以增强对抗样本的迁移性并绕过防御。
2023-12-23 cs.CR cs.CV cs.LG
Double Targeted Universal Adversarial Perturbations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
尽管深度神经网络(DNN)具有令人印象深刻的性能,但众所周知,它容易受到对抗攻击的攻击,这使得将其部署在安全敏感的应用中具有挑战性,例如自动驾驶。依赖于图像的扰动可以欺骗一个特定图像的网络,而通用的对抗性扰动能够欺骗所有类别的样本的网络,而无需选择。我们引入了一个双目标通用对抗扰动(DT-UAPs),以弥合实例判别图像相关扰动和通用通用扰动之间的差距。这种通用扰动攻击一个目标源类到sink类,同时对其他非目标源类具有有限的对抗效果,以避免引起怀疑。同时攻击源类和目标类,我们称之为双目标攻击(DTA)。这为攻击者提供了对DNN模型进行精确攻击的自由,同时几乎不会引起怀疑。我们在广泛的数据集上展示了所提出的DTA算法的有效性,并展示了其作为物理攻击的潜力。
2020-10-07 cs.CR cs.CV cs.LG
Generalizing Universal Adversarial Attacks Beyond Additive Perturbations
University of Exeter(埃克塞特大学);University of Liverpool(利物浦大学)
先前的研究表明,通用对抗攻击可以通过一个人类不可见的扰动在大量输入图像上欺骗深度神经网络。然而,目前的通用对抗攻击的方法是基于加性扰动,当扰动直接添加到输入图像时会导致误分类。在本文中,我们第一次证明了通用的对抗攻击也可以通过非加性扰动来实现(例如,空间变换)。更重要的是,为了统一加性扰动和非加性扰动,我们提出了一种新的统一而灵活的通用对抗攻击框架,称为GUAP,它能够通过加性扰动,非加性扰动或两者的组合发起攻击。在CIFAR-10和ImageNet数据集上进行了广泛的实验,使用了六个深度神经网络模型,包括GoogleLeNet,VGG 16/19,ResNet 101/152和DenseNet 121。实验结果表明,GUAP在CIFAR-10和ImageNet数据集上的成功攻击率分别达到90.9%和99.24%,比目前最先进的通用对抗攻击分别提高了15%和19%以上。用于再现本文中的实验的代码可在https://github.com/TrustAI/GUAP上获得。
2020-10-29 cs.CR cs.CV cs.LG
Robustness of Rotation-Equivariant Networks to Adversarial Perturbations
Rakuten Institute of Technology Paris(乐天技术研究院巴黎分院)
深度神经网络已被证明容易受到对抗性示例的影响:输入的非常小的扰动对预测产生巨大影响。已经提出了大量的对抗攻击和距离度量来量化自然图像和对抗图像之间的相似性,最近扩大了对抗示例的范围,其中几何变换超出了像素攻击。在这种情况下,我们研究了新的卷积神经网络架构提供等方差旋转对抗攻击的鲁棒性。我们发现,在MNIST、CIFAR-10和ImageNet数据集中,旋转等变网络比常规网络更不容易受到基于几何的攻击。
2018-05-17 cs.CR cs.CV cs.LG
Attribute-Guided Adversarial Training for Robustness to Natural Perturbations
LLNL(劳伦斯利弗莫尔国家实验室)
虽然鲁棒深度学习中的现有工作集中在基于小像素级范数的扰动上,但这可能无法解释在几个现实世界设置中遇到的扰动。在许多这样的情况下,尽管可能无法获得测试数据,但可以知道关于扰动类型的广泛规范(例如未知的旋转度)。我们考虑一个设置,其中鲁棒性是预期在一个看不见的测试域,不是独立同分布。但是偏离了训练域。虽然这种偏离可能并不确切,但其广泛的特征是先验的,在属性方面。我们提出了一种对抗性训练方法,该方法学习生成新样本,以便最大限度地暴露分类器的属性空间,而无需访问测试域的数据。我们的对抗性训练解决了一个最小-最大优化问题,内部最大化生成对抗性扰动,外部最小化通过优化内部最大化生成的对抗性扰动的损失来寻找模型参数。我们证明了我们的方法对三种自然发生的扰动的适用性--与对象相关的位移、几何变换和常见的图像损坏。我们的方法使深度神经网络能够抵御各种自然发生的扰动。我们通过展示使用我们在MNIST,CIFAR-10和CLEVR数据集的新变体上进行对抗训练的深度神经网络的鲁棒性增益来证明所提出的方法的有用性。
2021-04-08 cs.CV cs.LG
Universal Adversarial Attack on Deep Learning Based Prognostics
TCS Research(TCS研究院)
基于深度学习的时间序列模型正在工程和制造业中广泛用于过程控制和优化、资产监控、诊断和预测性维护。这些模型在预测工业设备的剩余使用寿命(RUL)方面有很大的改进,但存在固有的对抗攻击脆弱性。这些攻击很容易被利用,并可能导致关键工业设备的灾难性故障。通常,针对输入数据的每个实例计算不同的对抗性扰动。然而,由于更高的计算要求和缺乏对输入数据的不间断访问,这对于攻击者来说难以实时的实现。因此,我们提出了通用对抗性扰动的概念,这是一种特殊的不可感知的噪声,用于欺骗基于回归的RUL预测模型。攻击者可以很容易地利用通用对抗扰动进行实时攻击,因为连续访问输入数据和对抗扰动的重复计算不是其先决条件。我们使用NASA涡轮风扇发动机数据集评估通用对抗攻击的效果。我们发现,除了普遍对抗扰动的任何情况下的输入数据增加了模型预测的输出误差。据我们所知,我们是第一个研究普遍对抗扰动对时间序列回归模型的影响。我们进一步证明了扰动强度的变化对RUL预测模型的影响,并发现模型精度随着通用对抗攻击扰动强度的增加而降低。我们还展示了通用对抗扰动可以在不同的模型中转移。
2021-09-15 cs.AI cs.CR cs.LG
Boosting the Transferability of Adversarial Attacks with Reverse Adversarial Perturbation
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));JD Explore Academy(京东探索研究院);Tencent AI Lab(腾讯人工智能实验室)
深度神经网络(DNN)已被证明容易受到对抗性示例的影响,这些示例可能会通过注入不可感知的扰动来产生错误的预测。在这项工作中,我们研究了对抗性示例的可移植性,这一点非常重要,因为它对模型架构或参数通常未知的现实应用构成了威胁。许多现有的工作表明,对抗性示例可能会过拟合生成它们的代理模型,从而限制其针对不同目标模型的转移攻击性能。为了减轻过拟合的代理模型,我们提出了一种新的攻击方法,称为反向对抗扰动(RAP)。具体来说,我们主张通过为优化过程的每一步注入最坏情况的扰动(反向对抗扰动)来寻找位于具有统一低损失值的区域的对抗示例,而不是最小化单个对抗点的损失。RAP的对抗攻击是一个最小-最大双层优化问题。通过将RAP融入到攻击的迭代过程中,我们的方法可以找到更稳定的对抗性样本,这些样本对决策边界的变化不太敏感,从而减轻了代理模型的过拟合。全面的实验比较表明,RAP可以显着提高对抗转移性。此外,RAP可以自然地与许多现有的黑盒攻击技术相结合,以进一步提高可移植性。当攻击一个真实世界的图像识别系统Google Cloud Vision API时,我们获得了比比较方法更高的22%的性能。我们的代码可在https://github.com/SCLBD/Transfer_attack_RAP上获得。
2022-10-12 cs.CR cs.CV cs.LG
Explainability-Based Adversarial Attack on Graphs Through Edge Perturbation
本文提出一种基于可解释性的图对抗攻击方法,通过识别重要节点并扰动边,发现跨类别加边比同类删边更具破坏性。
2023-12-28 cs.CR cs.LG
POBA-GA: Perturbation Optimized Black-Box Adversarial Attacks via Genetic Algorithm
Zhejiang University of Technology(浙江工业大学)
大多数深度学习模型很容易受到对抗攻击的攻击。设计了各种对抗攻击来评估模型的鲁棒性,并建立防御模型。目前,对抗攻击被提出来攻击他们自己的目标模型与他们自己的评估指标。与白盒攻击相比,大多数黑盒对抗攻击算法都不能达到预期的成功率。针对不同的对抗攻击方法,提出了综合评价指标。提出了一种基于遗传算法的扰动优化黑盒对抗攻击算法(POBA-GA),以获得与白盒攻击相当的攻击性能。通过初始化、选择、交叉和变异等进化操作,得到近似最优对抗样本。设计了适应度函数,从攻击能力和扰动控制两个方面对样本个体进行评价。在进化过程中引入种群多样性策略,保证获得近似最优扰动。通过大量实验验证了POBA-GA的性能。仿真和应用结果表明,该方法在攻击能力和扰动控制方面优于现有的黑箱攻击方法。
2019-05-01 cs.CR cs.LG cs.NE
Defending Quantum Classifiers against Adversarial Perturbations through Quantum Autoencoders
University of Florida, Gainesville, Florida, USA(佛罗里达大学,盖恩斯维尔,佛罗里达州,美国)
本文提出一种无需对抗训练的防御框架,利用量子自编码器净化对抗样本,提升预测准确性,对抗攻击下性能提升达68%。
2026-04-30 cs.LG quant-ph
Reverse Engineering of Imperceptible Adversarial Image Perturbations
Northeastern University(东北大学);Michigan State University(密歇根州立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
人们已经很好地认识到,基于神经网络的图像分类器很容易被对手精心制作的具有微小扰动的图像所欺骗。已经有大量的研究来生成和防御这种对抗攻击。然而,以下问题尚未探索:如何从对抗性图像中反向工程对抗性扰动?这导致了一种新的对抗性学习范式--欺骗的逆向工程(RED)。如果成功,RED允许我们估计对抗扰动并恢复原始图像。然而,精心设计的微小对抗性扰动很难通过优化单边RED目标来恢复。例如,纯图像去噪方法可能过拟合以最小化重建误差,但很难保持真实对抗扰动的分类特性。为了应对这一挑战,我们将RED问题正式化,并确定了一套对RED方法设计至关重要的原则。特别是,我们发现,预测对齐和适当的数据增强(在空间变换方面)是实现可推广的RED方法的两个标准。通过将这些RED原则与图像去噪相结合,我们提出了一种新的基于类别判别去噪的RED框架,称为CDD-RED。大量的实验证明了CDD-RED在不同评估指标(从像素级,预测级到属性级对齐)和各种攻击生成方法(例如,FGSM、PGD、CW、AutoAttack和自适应攻击)。
2022-04-01 cs.AI cs.CV cs.LG
Art of singular vectors and universal adversarial perturbations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
深度神经网络(DNN)对对抗攻击的脆弱性在最近的研究中引起了广泛的关注。已经表明,对于执行图像分类的许多现有技术DNN,存在普遍的对抗性扰动-图像不可知扰动,仅仅将其以高概率添加到自然图像就导致其误分类。在这项工作中,我们提出了一个新的算法来构建这样的普遍扰动。我们的方法是基于计算所谓的$(p, q)$ -奇异向量的雅可比矩阵的隐藏层的网络。由此产生的扰动呈现有趣的视觉模式,并通过仅使用64张图像,我们能够构建通用的扰动与超过60%的愚弄率的数据集上由50000张图像。我们还研究了雅可比矩阵的最大奇异值和相应奇异向量的愚弄率之间的相关性,并证明了所构造的扰动在网络中的推广。
2017-11-20 cs.AI cs.CV cs.LG
Transcending Adversarial Perturbations: Manifold-Aided Adversarial Examples with Legitimate Semantics
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);Foshan Graduate School, Northeastern University(东北大学佛山研究生院);College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
本文提出监督式语义变换生成模型,构建无约束对抗流形生成合法语义对抗样本,在MNIST和工业缺陷数据集上实现更优视觉质量、攻击可迁移性和可解释性。
2024-02-05 cs.CR cs.CV cs.LG
Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
人们对对抗攻击的兴趣日益高涨,这源于人类视觉与深度神经网络(DNN)之间的不一致,即人类难以察觉的扰动欺骗了DNN。此外,可以生成通常称为通用对抗扰动(UAP)的单个扰动来欺骗大多数图像的DNN。最近在深度隐写任务中也观察到了类似的错位现象,其中解码器网络可以从稍微扰动的封面图像中检索出秘密图像。我们试图从傅立叶的角度来解释两者的成功。我们进行了特定于任务的联合分析,并揭示了(a)频率是影响其性能的关键因素,基于所提出的用于量化频率分布的熵度量;(b)他们的成功可以归因于DNN对高频内容高度敏感。我们还执行特征层分析,以深入了解模型的泛化和鲁棒性。此外,我们还提出了两种新的通用扰动变体:(1)通用秘密对抗扰动(USAP),同时实现攻击和隐藏;(2)高通UAP(HP-UAP),人眼不太可见。
2021-02-12 cs.CV cs.LG