Measuring the Transferability of Adversarial Examples
University of Edinburgh（爱丁堡大学）
对抗性示例由于其对当代机器学习系统的可靠性的影响而受到广泛关注。有效的对抗性例子大多是通过白盒攻击发现的。然而，在某些情况下，它们可以跨模型传输，从而使它们能够攻击黑盒模型。在这项工作中，我们评估了三种对抗攻击的可转移性-快速梯度符号法，基本迭代法和Carlini & Wagner方法，跨两类模型-VGG类（使用VGG 16，VGG 19和VGG 16和VGG 19的集成）和Inception类（Inception V3，Xception，Inception Resnet V2，以及三者的集成）。我们还概述了在目前的研究机构的可转移性评估的问题，并试图通过挑选特定的“强”参数的攻击，并通过使用L-Infinity裁剪技术和SSIM度量的攻击可转移性的最终评估来修改它们。
2019-07-14 cs.CR cs.CV cs.LG
Enhancing Adversarial Example Transferability with an Intermediate Level Attack
Cornell University（康奈尔大学）；Facebook AI（脸书人工智能研究院）
神经网络容易受到对抗性示例的攻击，这些示例是精心设计的恶意输入，用于欺骗训练模型。对抗性示例通常表现出黑盒传输，这意味着一个模型的对抗性示例可以欺骗另一个模型。然而，对抗性示例通常过拟合以利用源模型的特定架构和特征表示，从而导致对其他目标模型的次优黑盒转移攻击。我们介绍了中级攻击（ILA），它试图通过在源模型的预定层上增加其扰动来微调现有的对抗性示例，以获得更大的黑盒可转移性，从而改进最先进的方法。我们表明，我们可以选择一层的源模型进行扰动，而无需任何知识的目标模型，同时实现高的可移植性。此外，我们还提供了一些关于我们的方法的解释性见解，以及使用中间特征映射优化对抗性示例的效果。我们的代码可在https://github.com/CUVL/Intermediate-Level-Attack上获得。
2020-02-27 cs.CR cs.CV cs.LG
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而，在黑箱设置下，大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中，从将对抗性示例生成视为一个优化过程的角度出发，我们提出了两种新的方法来提高对抗性示例的可移植性，即Nesterov迭代快速梯度符号方法（NI-FGSM）和尺度不变攻击方法（SIM）。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击，以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现，我们利用它来优化输入图像的尺度副本上的对抗性扰动，以避免白盒模型受到攻击的“过拟合”，并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成，以构建一个强大的基于梯度的攻击，从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明，我们的攻击方法具有更高的可移植性，并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
Regularized Ensembles and Transferability in Adversarial Learning
Vanderbilt University（范德堡大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
尽管卷积神经网络在广泛的领域取得了相当大的成功，但最近的研究表明，这些网络容易受到小的对抗性扰动的影响，通常被称为对抗性示例。此外，这样的例子已经被证明是非常便携的，或可转移的，从一个模型到另一个，使非常成功的黑盒攻击。我们从两个维度探讨了可转移性和鲁棒性问题：首先，考虑传统$l_p$正则化的影响，以及用线性支持向量机（SVM）替换顶层，其次，将正则化模型组合成集成的价值。我们发现，用不同的正则化器训练的模型存在可转移性的障碍，组成集成的模型的部分信息也是如此。
2018-12-05 cs.CV cs.LG stat.ML
TREND: Transferability based Robust ENsemble Design
Purdue University（普渡大学）
深度学习模型在许多领域都具有最先进的性能，但它们对对抗性示例的脆弱性对其在实际环境中的普遍部署构成了威胁。此外，在一个分类器上生成的对抗性输入已经被证明可以转移到在类似数据上训练的其他分类器，这使得即使模型参数没有向对手透露，攻击也是可能的。这种可转移性尚未得到系统的研究，导致我们对神经网络对抗性输入的鲁棒性的理解存在差距。在这项工作中，我们研究了网络结构，初始化，优化器，输入，权重和激活量化对对抗样本可转移性的影响。我们还研究了不同的攻击对可转移性的影响。我们的实验表明，可转移性显着阻碍输入量化和源和目标之间的架构不匹配，是不受初始化，但优化器的选择是至关重要的。我们观察到，可转移性是依赖于架构的重量和激活量化模型。为了量化可转移性，我们使用简单的度量，并展示了该度量在设计一种方法来构建具有改进的对抗鲁棒性的集合时的实用性。当攻击集成时，我们观察到单个集成成员模型的“梯度支配”阻碍了现有的攻击。为了解决这个问题，我们提出了一种新的最先进的合奏攻击。我们将所提出的攻击与现有的攻击技术进行比较，以显示其有效性。最后，我们证明了由精心选择的不同网络组成的集合比单个网络具有更好的对抗鲁棒性。
2021-03-30 cs.LG stat.ML
Adversarial Perturbation Intensity Achieving Chosen Intra-Technique Transferability Level for Logistic Regression
Independent Researcher, Bordeaux, France
机器学习模型已被证明容易受到对抗性示例的影响，即。攻击者在测试时操纵数据以击败防御者的分类器。我们提出了一种新的概率定义的对抗性的例子在完美的或有限的知识设置使用先验概率分布的防御者的分类。使用的逻辑斯谛回归的渐近性质，我们推导出一个封闭形式的表达的强度的任何对抗扰动，以达到一个给定的预期的误分类率。该技术在已知模型规范和未知训练数据的威胁模型中是相关的。据我们所知，这是第一种允许攻击者直接选择攻击成功概率的方法。我们在两个真实世界的数据集上评估我们的方法。
2018-01-06 cs.LG stat.ML
Intermediate Level Adversarial Attack for Enhanced Transferability
Cornell University（康奈尔大学）；Facebook AI（脸书人工智能研究院）
神经网络容易受到对抗性示例的攻击，这些示例是精心设计的恶意输入，用于欺骗训练模型。对抗性示例通常表现出黑盒传输，这意味着一个模型的对抗性示例可以欺骗另一个模型。然而，对抗性示例可能会过度拟合以利用源模型的特定架构和特征表示，从而导致对其他目标模型的次优黑盒转移攻击。这导致我们引入中间级攻击（ILA），它试图通过在源模型的预定义层上增加其扰动来微调现有的对抗性示例，以获得更大的黑盒可转移性。我们表明，我们的方法可以有效地实现这一目标，并且我们可以在不了解目标模型的情况下决定对源模型的近最佳层进行扰动。
2018-11-20 cs.CV cs.LG stat.ML
Adversarial Training Reduces Information and Improves Transferability
University of Padova（帕多瓦大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
最近的研究结果表明，用于分类的逆向训练网络的特征除了具有鲁棒性外，还具有理想的特性，如可逆性。后一个属性可能看起来违反直觉，因为社区广泛接受分类模型应该只捕获任务所需的最小信息（特征）。基于这种差异，我们研究了对抗训练和信息论之间的双重关系。我们表明，对抗训练可以提高新任务的线性可转移性，从而在表示的可转移性和源任务的准确性之间产生新的权衡。我们使用在CIFAR-10，CIFAR-100和ImageNet上训练的强大网络在几个数据集上验证了我们的结果。此外，我们表明对抗训练减少了关于输入和任务权重的表示的Fisher信息，并且我们提供了一个理论论据，解释了确定性网络的可逆性，而不违反最小性原则。最后，我们利用我们的理论见解，通过反演显着提高重建图像的质量。
2020-12-15 cs.CV cs.LG stat.ML
Skip Connections Matter: On the Transferability of Adversarial Examples Generated with ResNets
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）；The University of Melbourne（墨尔本大学）
跳跃连接是当前最先进的深度神经网络（DNN）的重要组成部分，如ResNet，WideResNet，DenseNet和ResNeXt。尽管他们在构建更深入，更强大的DNN方面取得了巨大的成功，但我们在本文中发现了跳过连接的一个令人惊讶的安全弱点。使用跳过连接可以更容易地生成高度可转移的对抗性示例。具体来说，在类ResNet（具有跳过连接）神经网络中，梯度可以通过跳过连接或剩余模块反向传播。我们发现，根据衰减因子，使用更多来自跳过连接的梯度，而不是剩余模块，可以制作具有高可移植性的对抗性示例。我们的方法被称为跳过梯度法（SGM）。我们对最先进的DNN进行全面的转移攻击，包括ResNets，DenseNets，Inceptions，Inception-ResNet，挤压和激励网络（SENet）和经过鲁棒训练的DNN。我们表明，在梯度流上使用SGM可以大大提高几乎所有情况下精心制作的攻击的可转移性。此外，SGM可以很容易地与现有的黑盒攻击技术相结合，并获得比最先进的可移植性方法的高度改善。我们的研究结果不仅激发了对DNN架构脆弱性的新研究，也为安全DNN架构的设计带来了进一步的挑战。
2020-02-14 cs.CR cs.CV cs.LG
On the transferability of adversarial examples between convex and 01 loss models
New Jersey Institute of Technology（新泽西理工学院）
在存在离群值的情况下，01损失给出了与凸损失模型不同且更准确的边界。边界的差异是否可以转化为在01损失模型和凸模型之间不可转移的对抗性示例？我们在本文中通过研究线性01损失和凸（铰链）损失模型之间以及具有符号激活和01损失的双层神经网络与sigmoid激活和logistic损失之间的对抗性示例的可转移性来经验性地探索这一点。我们首先证明了白盒对抗性例子在凸模型和01损失模型之间以及01损失模型之间不能有效地转移。由于这种不可转移性，我们看到凸替代模型黑盒攻击对01损失的有效性低于凸模型。有趣的是，我们还看到01损失替代模型攻击在凸模型和01损失模型上都是无效的，这很可能是由于01损失模型的非唯一性。我们直观地展示了异常值的存在如何导致01和凸损失模型之间的不同决策边界，从而产生不可转移的对手。事实上，我们在MNIST上看到，对手在01损失和凸模型之间的转移比在CIFAR10和ImageNet上更容易，后者可能包含离群值。我们直观地展示了01损失的非连续性如何使对手在双层神经网络中不可转移。我们将CIFAR10特征离散化，使其更像MNIST，并发现它并没有提高可转移性，因此表明由于离群值而导致的不同边界更可能是不可转移性的原因。由于这种不可转移性，我们表明，我们的双层符号激活网络与01损失可以达到与简单的卷积网络相当的鲁棒性。
2020-07-29 cs.LG stat.ML
Regional Image Perturbation Reduces $L_p$ Norms of Adversarial Examples While Maintaining Model-to-model Transferability
Ghent University（根特大学）；VIB Inflammation Research Center（VIB炎症研究中心）；imec（比利时微电子研究中心）
区域性的对抗攻击通常依赖于复杂的方法来产生对抗性扰动，因此很难将其效果与已知的攻击进行比较。在这项研究中，我们表明，有效的区域扰动可以产生不诉诸复杂的方法。我们开发了一种非常简单的区域对抗扰动攻击方法，使用交叉熵符号，这是对抗机器学习中最常用的损失之一。我们在ImageNet上使用多个模型进行的实验表明，平均而言，当扰动应用于局部图像区域时，生成的对抗性示例的$76\%$保持了模型到模型的可转移性。根据所选区域，这些局部对抗性示例与其非局部对应物相比需要显著更少的$L_p$范数失真（对于$p \in \{0, 2, \infty\}$）。因此，这些本地化攻击有可能破坏根据上述规范要求鲁棒性的防御。
2020-07-18 cs.CV cs.LG stat.ML
A Geometric Perspective on the Transferability of Adversarial Directions
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
最先进的机器学习模型经常对以对抗方式扰动的输入进行错误分类。针对给定输入和特定分类器生成的对抗性扰动通常似乎对其他输入甚至不同的分类器有效。换句话说，对抗性扰动似乎在不同的输入、模型甚至不同的神经网络架构之间转移。在这项工作中，我们证明了在线性分类器和双层ReLU网络的背景下，可以证明存在同时引起许多分类器和数据点对抗性扰动的方向。我们证明了这些“可转移的对抗方向”对于给定集合的线性分离器是保证存在的，并且对于在来自相同分布的独立集合上训练的线性分类器将以很高的概率存在。我们将我们的结果扩展到大类的双层ReLU网络。我们进一步表明，ReLU网络的对抗方向转移到线性分类器，而相反的方向不需要保持，这表明更复杂模型的对抗扰动更有可能转移到其他分类器。我们通过经验验证了我们的发现，即使是更深层次的ReLU网络。
2018-11-08 cs.LG stat.ML
Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability
University of Luxembourg（卢森堡大学）；Parameter Lab（帕拉米特实验室）
本文反驳了早停提升对抗样本可迁移性的鲁棒特征假设，转而从损失景观锐度角度解释，并证明SAM等锐度感知最小化器可超越早停法，最高提升28.8个百分点。
2024-02-20 cs.CV cs.LG stat.ML
Improving Transferability of Adversarial Examples with Input Diversity
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Oxford（牛津大学）；Baidu Research（百度研究院）；Wormpex AI Research（Wormpex人工智能研究院）
尽管CNN在各种视觉任务上都取得了最先进的性能，但它们很容易受到对抗性示例的影响--这些示例是通过在干净的图像中添加人类无法察觉的扰动来制作的。然而，大多数现有的对抗攻击只能在具有挑战性的黑盒设置下实现相对较低的成功率，其中攻击者不知道模型结构和参数。为此，我们建议通过创建不同的输入模式来提高对抗性示例的可转移性。我们的方法不是只使用原始图像来生成对抗性示例，而是在每次迭代时对输入图像进行随机变换。在ImageNet上进行的大量实验表明，所提出的攻击方法可以生成对抗性示例，这些示例可以比现有基线更好地传输到不同的网络。通过对顶级防御解决方案和NIPS 2017对抗性竞赛的官方基线进行评估，增强型攻击的平均成功率达到73.0%，比NIPS竞赛中的顶级攻击提交高出6.6%。我们希望我们提出的攻击策略可以作为一个强大的基准基线评估网络的鲁棒性对手和不同的防御方法的有效性在未来。代码可在https://github.com/cihangxie/DI-2-FGSM上获得。
2019-06-01 cs.CV cs.LG stat.ML
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Cross-Representation Transferability of Adversarial Attacks: From Spectrograms to Audio Waveforms
McGill University（麦吉尔大学）；École de Technologie Superiéure, Université du Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
本文展示了基于频谱图的音频分类器对对抗攻击的敏感性以及这种攻击对音频波形的可转移性。一些常用的对图像的对抗攻击已经应用于Mel频率和短时傅立叶变换频谱图，并且这种扰动频谱图能够欺骗2D卷积神经网络（CNN）。这样的攻击会产生人类视觉上无法察觉的干扰频谱图。此外，从扰动的频谱图重建的音频波形也能够欺骗在原始音频上训练的1D CNN。在西方音乐数据集上的实验结果表明，2D CNN在合法样本上的平均准确率高达81.87%，而在对抗样本上的平均准确率下降到12.09%。同样，1D CNN在原始音频样本上实现了高达78.29%的平均准确度，并且在从扰动的频谱图重建的对抗音频波形上，这种性能下降到27.91%。
2020-07-29 cs.LG cs.MM cs.SD
