Cycle-Consistent Adversarial GAN: the integration of adversarial attack and defense
National Digital Switching System Engineering and Technological Research Center（国家数字交换系统工程技术研究中心）
在深度学习的图像分类中，输入旨在添加小幅度扰动的对抗性示例可能会误导深度神经网络（DNN）获得错误的结果，这意味着DNN很容易受到它们的影响。为了更好地研究深度学习的机制，人们提出了不同的攻击和防御策略。然而，这些网络的研究都只是针对攻击或防御的一个方面，没有考虑到攻击和防御应该是相互依存、相互促进的，就像矛和盾的关系一样。本文提出了循环一致的对抗性GAN（CycleAdvGAN）算法来生成对抗性实例，该算法能够学习和近似原始实例和对抗性实例的分布。对于CycleAdvGAN，一旦Generator和被训练，可以针对任何实例高效地生成对抗扰动，从而使DNN预测错误，并恢复对抗示例以清洁实例，从而使DNN预测正确。我们在两个公共数据集MNIST和CIFAR10上应用半白盒和黑盒设置下的CycleAdvGAN。实验表明，该方法在实现了对抗攻击方法的同时，有效地提高了防御能力，实现了对抗攻击与防御的一体化。此外，它还提高了只在任何类型的对抗攻击生成的对抗数据集上训练的攻击效果。
2019-04-12 cs.CV
Attention, Please! Adversarial Defense via Activation Rectification and Preservation
Beijing Jiaotong University（北京交通大学）
本研究通过考察对抗攻击与视觉注意变化之间的相关性，为对抗攻击问题提供了新的认识。特别地，我们观察到：（1）具有不完整注意区域的图像更容易受到对抗攻击的影响;（2）成功的对抗攻击导致偏离和分散的注意力地图。因此，基于注意力的对抗防御框架被设计为同时校正注意力地图以进行预测，并保留对抗图像和原始图像之间的注意力区域。在视觉注意力变化的背景下，增加迭代攻击样本的问题也进行了讨论。我们希望在这项研究中的注意力相关的数据分析和防御解决方案将揭示一些对抗攻击背后的机制，也有助于未来的对抗防御/攻击模型的设计。
2022-12-29 cs.CV
Scale-Invariant Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。投影梯度下降（PGD）攻击已被证明是最成功的对抗攻击之一。然而，标准PGD攻击的效果可以很容易地通过重新缩放logits来削弱，而不会改变每个输入的原始决策。为了缓解这个问题，在本文中，我们提出了尺度不变的对抗攻击（SI-PGD），它利用倒数第二层中的特征与softmax层中的权重之间的角度来指导对手的生成。余弦角矩阵用于学习角度鉴别表示，且不随logits的重新缩放而改变，从而使SI-PGD攻击稳定有效。我们评估我们的攻击对多个防御，并显示改进的性能相比，现有的攻击。此外，我们提出了基于余弦角矩阵的尺度不变（SI）对抗防御机制，它可以嵌入到流行的对抗防御。实验结果表明，与我们的SI机制的防御方法实现了最先进的性能之间的多步和单步防御。
2022-01-29 cs.CV
On Trace of PGD-Like Adversarial Attacks
Johns Hopkins University（约翰斯·霍普金斯大学）
对抗攻击给深度学习应用带来了安全问题，但其特征尚未得到充分研究。然而，在一个对抗性的例子中，类似PGD的攻击可能留下了很强的痕迹，这在很大程度上是难以察觉的。回想一下，类似PGD的攻击会触发网络的“局部线性”，这意味着良性或敌对示例的线性程度不同。受此启发，我们构建了一个对抗性响应特征（ARC）特征来反映模型在输入周围的梯度一致性，以指示线性程度。在一定条件下，它定性地表现为从良性样本到敌对样本的逐渐变化的模式，因为后者导致了后续攻击效应（SAE）。为了定量评估ARC的有效性，我们在CIFAR-10和ImageNet上进行了实验，以在具有挑战性的环境中进行攻击检测和攻击类型识别。结果表明，SAE是通过ARC特征反映的PGD样攻击的有效且独特的痕迹。ARC功能直观、轻量级、非侵入性且数据要求不高。
2022-11-05 cs.CV
Robustness Of Saak Transform Against Adversarial Attacks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
图像分类易受对抗攻击的影响。本文研究了Saak变换在高性能图像分类中对抗攻击的鲁棒性。我们开发了一个完整的基于多级Saak变换的图像分类系统。在Saak变换域中，干净图像和对抗图像在不同的光谱维度上表现出不同的分布。在每个阶段的光谱维度的选择可以被看作是一个自动去噪过程。受此观察的启发，我们仔细设计了特征提取，表示和分类策略，以提高对抗鲁棒性。广泛的实验评估证明了与知名的数据集和攻击的性能。
2019-02-07 cs.CV
Visual Adversarial Attacks and Defenses in the Physical World: A Survey
Institute of Artificial Intelligence, Beihang University（北航人工智能研究院）；The Chinese University of HongKong（香港中文大学）
本文综述了物理世界中视觉对抗攻击与防御，分析了攻击类型、防御方法及未来研究方向。
2026-01-12 cs.CV
Exploiting Vulnerability of Pooling in Convolutional Neural Networks by Strict Layer-Output Manipulation for Adversarial Attacks
卷积神经网络（CNN）在智能车辆等移动机器人领域得到了越来越多的应用。CNN在机器人应用中的安全性是一个重要的问题，对CNN的潜在对抗攻击值得研究。池化是CNN降维和信息丢弃的一个典型步骤。这种信息丢弃可能导致数据特征的误删除和误保存，这在很大程度上影响了网络的输出。这可能会加剧CNN对对抗攻击的脆弱性。在本文中，我们进行对抗攻击CNN从网络结构的角度，通过调查和利用池的脆弱性。首先，提出了一种新的对抗攻击方法--严格层输出操纵（SLOM）。然后设计了一种基于严格池操作（SPM）的攻击方法，该方法是SLOM思想的一种实例化，有效地实现了对目标CNN的I类和II类对抗攻击。研究和比较了不同深度下基于SPM的攻击性能。此外，通过实例化的SLOM精神与不同的操作层的CNN设计的攻击方法的性能进行了比较。实验结果表明，池化比CNN中的其他操作更容易受到对抗攻击。
2020-12-21 cs.CV
A Perturbation-Constrained Adversarial Attack for Evaluating the Robustness of Optical Flow
University of Stuttgart（斯图加特大学）
最近的光流方法几乎完全根据精度来判断，而它们的鲁棒性常常被忽略。虽然对抗攻击提供了一个有用的工具来执行这样的分析，目前的攻击光流方法集中在现实世界的攻击场景，而不是最坏情况下的鲁棒性评估。因此，在这项工作中，我们提出了一种新的对抗攻击-扰动约束流攻击（PCFA）-作为一个现实世界的攻击，强调破坏性的适用性。PCFA是一种全局攻击，它优化对抗性扰动以将预测流向指定的目标流移动，同时保持扰动的L2范数低于选定的界限。我们的实验证明了PCFA在白盒和黑盒设置中的适用性，并表明它比以前的攻击找到了更强的对抗性样本。基于这些强样本，我们提供了第一个联合排名的光流方法，同时考虑到预测质量和对抗鲁棒性，这表明最先进的方法是特别脆弱的。代码可在https://github.com/cv-stuttgart/PCFA上获得。
2022-07-18 cs.CV
AdvGen: Physical Adversarial Attack on Face Presentation Attack Detection Systems
IIIT Hyderabad（印度国际信息技术学院）；Michigan State University（密歇根州立大学）
本文提出AdvGen，一种自动化的生成对抗网络，用于模拟打印和重放攻击，生成对抗图像以欺骗最先进的人脸呈现攻击检测系统，攻击成功率达82.01%，并在四个数据集和真实物理环境中验证了其有效性。
2023-11-20 cs.CV
AdvSmo: Black-box Adversarial Attack by Smoothing Linear Structure of Texture
Ocean University of China（中国海洋大学）
黑盒攻击通常面临两个问题：可转移性差和无法逃避对抗性防御。为了克服这些缺点，我们创建了一种原始方法，通过平滑良性图像中纹理的线性结构来生成对抗性示例，称为AdvSmo。在不依赖于目标模型内部信息的情况下构造对抗样本，并设计了不可感知的高攻击成功率约束，引导Gabor滤波器选择合适的角度和尺度对输入图像中的线性纹理进行平滑处理，生成对抗样本。得益于上述设计理念，AdvSmo将生成具有强大可移植性和可靠规避性的对抗性示例。最后，与四种先进的黑盒对抗攻击方法相比，对于八种目标模型，结果表明，与这些攻击方法中的最佳方法相比，AdvSmo在CIFAR-10上的平均攻击成功率提高了9%，在Tiny-ImageNet数据集上提高了16%。
2022-06-22 cs.CV
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science（印度科学学院）
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降（PGD）在约束集内最大化标准损失（诸如交叉熵损失或最大余量损失）来生成。在这项工作中，我们在标准损失中引入了一个松弛项，找到了更合适的梯度方向，提高了攻击效率，并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击（GAMA），它利用干净图像的函数映射来引导对手的生成，从而产生更强的攻击。我们评估我们的攻击对多种防御，并显示出改进的性能相比，现有的攻击。此外，我们提出了引导对抗训练（GAT），它通过利用所提出的松弛项进行攻击生成和训练，在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University（杜克大学）；Hewlett Packard Labs（惠普实验室）；Air Force Research Lab（美国空军研究实验室）
最近的一些研究表明，深度神经网络（DNN）很容易受到所谓的对抗攻击的攻击，其中输入示例被故意扰动以欺骗DNN。在这项工作中，我们重新审视了DNN训练过程，将对抗性示例包含到训练数据集中，以提高DNN对对抗攻击的弹性，即对抗性训练。我们的实验表明，不同的对抗强度，即，对抗性例子的扰动水平，有不同的工作区来抵抗攻击。在此基础上，提出了一种多强度对抗训练方法（MAT），该方法将具有不同对抗强度的对抗训练样本结合起来，以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发，以促进训练时间和内存占用之间的权衡。我们的研究结果表明，MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
Delving into the pixels of adversarial samples
Aalto University（阿尔托大学）
尽管对对抗攻击进行了广泛的研究，但我们不知道对抗攻击如何影响图像像素。了解图像像素如何受到对抗攻击的影响有可能引导我们更好地进行对抗防御。受我们发现的强攻击不会转移的实例的启发，我们深入研究了像素级的对抗示例，以仔细研究对抗攻击如何影响图像像素值。我们考虑了几种ImageNet架构，InceptionV3，VGG19和ResNet50，以及几种强大的攻击。我们发现，攻击可以有不同的效果，在像素级取决于分类器架构。特别是，输入预处理在攻击对像素的影响中起着以前被忽视的作用。基于像素级检查的见解，我们找到了新的方法来检测一些最强的当前攻击。
2021-06-21 cs.CV cs.LG
Attribution of Gradient Based Adversarial Attacks for Reverse Engineering of Deceptions
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Mayachitra Inc（玛雅奇特拉公司）
机器学习（ML）算法在训练和部署过程中容易受到对抗攻击和欺骗。这些对抗性机器学习攻击背后的工具链的自动逆向工程将有助于恢复这些攻击中使用的工具和流程。在本文中，我们提出了两种技术，支持使用共生像素统计和Laplacian Resistance自动识别和归因对抗性ML攻击工具链。我们的实验表明，所提出的技术可以识别用于生成对抗样本的参数。据我们所知，这是第一种基于属性梯度的对抗攻击方法，并估计它们的参数。源代码和数据可在https://github.com/michael-goebel/ei_red上获得
2021-03-19 cs.CR cs.CV
Exploring Adversarial Attacks and Defenses in Vision Transformers trained with DINO
ETH Zurich（苏黎世联邦理工学院）
本文首次分析了使用DINO训练的自监督视觉Transformer对对抗攻击的鲁棒性。首先，我们评估通过自我监督学习的特征是否比从监督学习中学习的特征对对抗攻击更鲁棒。然后，我们提出了在潜在空间中的攻击所产生的属性。最后，我们评估了三种著名的防御策略是否可以通过微调分类头来提高下游任务的对抗鲁棒性，即使在有限的计算资源下也能提供鲁棒性。这些防御策略是：对抗性训练，强化对抗性训练和强化专业网络。
2022-09-08 cs.AI cs.CV
Imperceptible Adversarial Attack via Invertible Neural Networks
National University of Defense Technology（国防科技大学）
通过利用辅助梯度信息添加扰动或丢弃良性图像的现有细节是生成对抗性示例的两种常见方法。虽然视觉不可感知性是对抗性示例的期望属性，但是传统的对抗攻击仍然生成可追踪的对抗性扰动。在本文中，我们介绍了一种新的对抗攻击通过可逆神经网络（AdvINN）的方法来产生强大的和不可感知的对抗的例子。具体来说，AdvINN充分利用了可逆神经网络的信息保存特性，从而通过同时添加目标类的类特定语义信息和丢弃原始类的判别信息来生成对抗性示例。在CIFAR-10、CIFAR-100和ImageNet-1 K上进行的大量实验表明，与现有方法相比，所提出的AdvINN方法可以产生更少的不可感知的对抗图像，并且与其他对抗攻击相比，AdvINN可以产生更强大的对抗示例，具有更高的置信度。
2023-01-17 cs.CV eess.IV
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
Composite Adversarial Attacks
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
对抗攻击是一种欺骗机器学习（ML）模型的技术，它提供了一种评估对抗鲁棒性的方法。在实践中，攻击算法是由人类专家人工选择和调整的，以破坏ML系统。然而，手动选择攻击者往往是次优的，导致错误的评估模型的安全性。提出了一种新的复合对抗攻击算法（CAA），用于从\textbf{32 base attackers}的候选池中自动搜索攻击算法及其超参数的最佳组合。我们设计了一个搜索空间，其中攻击策略表示为攻击序列，即，前一个攻击者的输出被用作后继者的初始化输入。采用多目标NSGA-II遗传算法寻找复杂度最小的最强攻击策略。实验结果表明，CAA在11种不同的攻击中以更少的时间（\textbf{6 $\times$ faster than AutoAttack}）击败了10个顶级攻击者，并在$l_{\infty}$、$l_{2}$和无限制对抗攻击上达到了新的水平。
2020-12-10 cs.CR cs.CV
CAG: A Real-time Low-cost Enhanced-robustness High-transferability Content-aware Adversarial Attack Generator
Rutgers University - School of Engineering（罗格斯大学工程学院）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院麻省理工学院-IBM沃森人工智能实验室）
尽管深度神经网络（DNN）在许多人工智能领域取得了巨大的成功，但它很容易受到对抗攻击的攻击。对抗攻击是一种通过向合法输入添加不可感知的扰动来引起预期的误分类的方法。研究人员已经开发出多种类型的对抗攻击方法。然而，从实际部署的角度来看，这些方法遭受的几个缺点，如攻击生成时间长，内存成本高，鲁棒性不足和低可移植性。提出了一种基于内容的对抗攻击生成器（CAG），以实现实时的【形】、低成本、增强鲁棒性和高可移植性的对抗攻击。首先，作为一种基于生成模型的攻击，与PGD和C\&W等最先进的攻击相比，CAG在生成对抗性示例方面表现出显着的加速（至少500倍）。CAG只需要一个生成模型就可以对任何目标类进行有针对性的攻击。由于CAG将标签信息编码到可训练的嵌入层中，因此它不同于先前的基于生成模型的对抗攻击，后者针对$n$不同的目标类使用生成模型的$n$不同副本。因此，CAG显著降低了生成对抗性示例所需的内存成本。CAG可以通过在训练过程中整合类激活图信息来生成专注于输入关键区域的对抗性扰动，从而提高CAG攻击对最新对抗性防御的鲁棒性。此外，通过在生成扰动的过程中引入随机丢弃，CAG在黑盒攻击场景中表现出在不同DNN分类器模型之间的高可移植性。在不同数据集和DNN模型上的大量实验已经验证了CAG的实时的【形】、低成本、增强的鲁棒性和高可移植性的优点。
2019-12-16 cs.CR cs.CV
A Multi-objective Memetic Algorithm for Auto Adversarial Attack Optimization Design
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）
对抗性例子的现象已经在不同的场景中被揭示出来。最近的研究表明，精心设计的对抗性防御策略可以提高深度学习模型对对抗性示例的鲁棒性。然而，随着防御技术的快速发展，现有的人工设计的对抗攻击性能较弱，使得评估防御模型的鲁棒性变得越来越困难。为了应对这一挑战，在防御模型的基础上，需要进一步开发计算量小、鲁棒精度低的高效对抗攻击。为此，本文提出了一种多目标模因自动对抗攻击优化设计算法，实现了对防御模型的近优对抗攻击的自动搜索。首先，建立了更一般的自动对抗攻击优化设计的数学模型，其中搜索空间不仅包括攻击操作、攻击大小、迭代次数和损失函数，还包括多个对抗攻击的连接方式。此外，我们开发了一个多目标模因算法结合NSGA-II和局部搜索来解决优化问题。最后，为了减少搜索过程中的评估成本，我们提出了一种基于模型输出的每幅图像的交叉熵损失值排序的代表性数据选择策略。在CIFAR 10、CIFAR 100和ImageNet数据集上的实验表明了该方法的有效性。
2022-08-15 cs.AI cs.CV
ZIUM: Zero-Shot Intent-Aware Adversarial Attack on Unlearned Models
Chung-Ang University（Chung-Ang 大学）；Korea University（韩国大学）；Hongik University（弘国大学）
针对现有对抗攻击难以生成符合意图内容且计算成本高的问题，提出ZIUM零样本意图感知对抗攻击方法，可灵活定制攻击图像，对已攻击过的未学习概念无需再优化，在多种场景下攻击成功率更高且耗时更短。
2025-07-29 cs.CR cs.CV
Defense Against Adversarial Attacks using Convolutional Auto-Encoders
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
针对深度学习模型易受对抗扰动影响的问题，提出基于卷积自编码器的防御方法，通过重建输入图像消除扰动并恢复分类准确率。
2023-12-06 cs.AI cs.CV
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University（乔治梅森大学）
神经网络以其良好的准确性和可行性，在新型智能应用和系统中得到了广泛的应用。然而，随着对抗攻击的出现，基于神经网络的系统性能变得非常脆弱：图像分类结果可以被对抗样本任意误导，这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题，我们实施了一系列的调查对抗攻击在这项工作中：我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布，提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上，提出了一种新的对抗性显著性预测方法，并提出了一种快速对抗性示例生成框架ASP，该框架显著提高了攻击效率，降低了计算开销。实验结果表明，与已有方法相比，ASP的对抗性示例生成速度最多提高了12倍，扰动率降低了2倍，在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率，ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University（上海交通大学）
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用，并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明，经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外，与正常训练的DNN相比，对抗训练的DNN具有更多的成分，这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
Deflecting Adversarial Attacks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
有一个正在进行的循环，即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环，我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此，我们首先提出了一种基于Capsule Networks的更强大的防御，该防御结合了三种检测机制，以在标准和防御感知攻击中实现最先进的检测性能。然后，我们通过进行一项人类研究，要求参与者标记攻击产生的图像，表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”，因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
Adversarial attacks on an optical neural network
Peng Cheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
针对数字领域的深度学习等机器学习系统，人们已经广泛研究了对抗攻击。然而，针对光学神经网络的对抗攻击却很少被研究。在这项工作中，我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪（MZI）。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似，但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明，对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
Towards Feature Space Adversarial Attack
我们提出了一种新的针对深度神经网络的对抗攻击，用于图像分类。与大多数直接干扰输入像素的现有攻击不同，我们的攻击侧重于干扰抽象特征，更具体地说，表示样式的特征，包括可解释的样式，如鲜艳的颜色和清晰的轮廓，以及不可解释的样式。它通过优化过程注入不可察觉的风格变化来诱导模型错误分类。我们表明，我们的攻击可以生成比最先进的无界攻击更自然的对抗样本。实验还表明，现有的像素空间对抗攻击检测和防御技术很难保证在风格相关特征空间的鲁棒性。
2020-12-16 cs.CV cs.LG eess.IV
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时，这是非常具有挑战性的，因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性，则更有可能将攻击能力转移到其他模型的假设，基于集合的对抗攻击方法是一种有效的黑盒攻击方法，被广泛应用。然而，集成攻击的方式是相当少的研究，和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中，我们把迭代集成攻击作为一个随机梯度下降优化过程，在不同的模型上的梯度的方差可能会导致不良的局部最优。为此，我们提出了一种新的攻击方法称为随机方差减少集成（SVRE）攻击，它可以减少集成模型的梯度方差，并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明，该方法可以提高对抗性可转移性，并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University（莫纳什大学）；Defence Science and Technology Group, Department of Defence（国防部国防科学技术集团）
据报道，深度神经网络图像分类器容易受到对抗性规避攻击的影响，这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴，它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动，最近已经开发了稀疏攻击，其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击，导致攻击效率降低。在本文中，我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动，基于这样一个事实，我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此，我们提出了一个概率事后框架，细化给定的密集攻击，通过显着减少扰动像素的数量，但保持其攻击能力，训练与互信息最大化。在任意密集攻击下，该模型具有吸引人的兼容性，使其对抗图像更逼真，并且在更少的扰动下不易被检测到。此外，我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Towards Adversarial Attack on Vision-Language Pre-training Models
Beijing Jiaotong University（北京交通大学）；Peng Cheng Lab（鹏城实验室）
虽然视觉语言预训练模型（VLP）在各种视觉语言（V+L）任务上显示出革命性的改进，但关于其对抗鲁棒性的研究在很大程度上尚未探索。本文研究了VLP模型和V+L任务的对抗攻击。首先，我们分析了对抗攻击在不同设置下的性能。通过研究不同扰动对象和攻击目标的影响，我们得出了一些关键的意见，设计强大的多模态对抗攻击和构建强大的VLP模型的指导。其次，我们提出了一种新的多模态攻击的VLP模型称为协同多模态对抗攻击（Co-Attack），它共同进行攻击的图像模态和文本模态。实验结果表明，该方法在不同的V+L下游任务和VLP模型上均能获得较好的攻击性能.分析观察和新的攻击方法，希望提供新的理解VLP模型的对抗鲁棒性，从而有助于他们在更多的现实世界中的安全和可靠的部署。代码可在https://github.com/adversarial-for-goodness/Co-Attack上获得。
2022-10-20 cs.CL cs.CV cs.LG
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine（缅因大学）
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题，提出对抗判别器集成网络（ADE-Net），通过判别器按攻击类型分配数据至专家集成网络，在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
PDPGD: Primal-Dual Proximal Gradient Descent Adversarial Attack
Nanyang Technological University（南洋理工大学）
最先进的深度神经网络对小的输入扰动很敏感。自从发现这个有趣的漏洞以来，已经提出了许多防御方法，试图提高对抗性噪声的鲁棒性。需要快速准确的攻击来比较各种防御方法。然而，评估对抗鲁棒性已被证明是极具挑战性的。现有的范数最小化对抗攻击需要数千次迭代（例如Carlini和Wagner攻击），限于特定的范数（例如快速自适应边界），或者产生次优结果（例如Brendel和Bethge攻击）。另一方面，PGD攻击，这是快速，通用和准确的，忽略了范数最小化惩罚，并解决了一个更简单的扰动约束问题。在这项工作中，我们引入了一种快速，通用和准确的对抗攻击，优化了原来的非凸约束最小化问题。我们将优化对抗攻击优化问题的拉格朗日量解释为两个玩家的游戏：第一个玩家最小化对抗噪声的拉格朗日量;第二个玩家最大化正则化惩罚的拉格朗日量。我们的攻击算法同时优化原始和对偶变量，以找到最小的对抗扰动。此外，对于非光滑$l_p$ -范数最小化，如$l_{\infty}$ -，$l_1$ -和$l_0$ -范数，我们引入原始-对偶近端梯度下降攻击。我们在实验中表明，我们的攻击优于当前最先进的$l_{\infty}$ -，$l_2$ -，$l_1$-和$l_0$ -攻击MNIST，CIFAR-10和限制ImageNet数据集对非正则化和对抗训练模型。
2021-06-03 cs.CR cs.CV cs.LG
SemiAdv: Query-Efficient Black-Box Adversarial Attack with Unlabeled Images
East China Normal University（华东师范大学）；Xidian University（西安电子科技大学）；Fuzhou University（福州大学）
本文提出SemiAdv，一种利用无标签图像和半监督学习的黑盒对抗攻击方法，仅需数百次查询即可达到90%以上成功率，并节省多达12倍查询开销。
2024-07-13 cs.CR cs.CV cs.LG
Adversarial Attacks on Variational Autoencoders
University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp））
对抗攻击是破坏机器学习模型的恶意输入。我们提出了一个方案来攻击自动编码器，以及一个定量的评估框架，以及相关的定性评估的攻击。我们评估-统计验证实验-三个变分自编码器（简单，卷积，和DRAW）在三个数据集（MNIST，SVHN，CelebA）的攻击的抵抗力，表明DRAW的复发和注意力机制导致更好的抵抗力。由于自动编码器被提出用于压缩数据-在这种情况下，它们的安全性是至关重要的-我们预计更多的关注将给予对它们的对抗攻击。
2018-06-12 cs.CV cs.LG cs.NE
Adversarial Attack Type I: Cheat Classifiers by Significant Changes
Shanghai Jiao Tong University（上海交通大学）
尽管深度神经网络取得了巨大的成功，但对抗攻击可以通过小的排列来欺骗一些训练有素的分类器。在本文中，我们提出了另一种类型的对抗攻击，可以欺骗分类器的显着变化。例如，我们可以显著地改变一张脸，但训练有素的神经网络仍然可以将敌对的和原始的例子识别为同一个人。从统计学上看，现有的对抗攻击增加了第二类错误，而提出的攻击则针对第一类错误，因此分别将其命名为第二类和第一类对抗攻击。这两种类型的攻击同样重要，但本质上是不同的，这是直观的解释和数值评估。为了实现所提出的攻击，监督变异自动编码器的设计，然后分类器进行攻击，通过更新的潜在变量使用梯度信息。{此外，使用预训练的生成模型，还研究了对潜在空间的I型攻击。实验结果表明，该方法在大规模图像数据集上生成I类对抗样本是实用和有效的。这些生成的例子中的大多数可以通过为防御II型攻击而设计的检测器，并且加强策略仅对特定类型的攻击有效，这两者都意味着I型和II型攻击的根本原因是不同的。
2019-07-22 cs.CV cs.LG stat.ML
Defense-PointNet: Protecting PointNet Against Adversarial Attacks
University of Kentucky（肯塔基大学）；Miami University（迈阿密大学）
尽管在广泛的任务中表现出色，但神经网络已被证明容易受到对抗攻击的影响。许多工作集中在二维图像上的对抗攻击和防御，但很少关注三维点云。在本文中，我们的目标是增强PointNet的对抗鲁棒性，PointNet是最广泛使用的3D点云模型之一。我们将快速梯度符号攻击方法（FGSM）应用于3D点云，发现FGSM不仅可以用于生成对抗图像，而且可以生成对抗点云。为了最大限度地减少PointNet对对抗攻击的脆弱性，我们提出了Defense-PointNet。我们将我们的模型与两种基线方法进行了比较，结果表明Defense-PointNet显著提高了网络对对抗性样本的鲁棒性。
2020-02-27 cs.CV cs.LG eess.IV
Boosting the Transferability of Adversarial Attacks with Reverse Adversarial Perturbation
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）
深度神经网络（DNN）已被证明容易受到对抗性示例的影响，这些示例可能会通过注入不可感知的扰动来产生错误的预测。在这项工作中，我们研究了对抗性示例的可移植性，这一点非常重要，因为它对模型架构或参数通常未知的现实应用构成了威胁。许多现有的工作表明，对抗性示例可能会过拟合生成它们的代理模型，从而限制其针对不同目标模型的转移攻击性能。为了减轻过拟合的代理模型，我们提出了一种新的攻击方法，称为反向对抗扰动（RAP）。具体来说，我们主张通过为优化过程的每一步注入最坏情况的扰动（反向对抗扰动）来寻找位于具有统一低损失值的区域的对抗示例，而不是最小化单个对抗点的损失。RAP的对抗攻击是一个最小-最大双层优化问题。通过将RAP融入到攻击的迭代过程中，我们的方法可以找到更稳定的对抗性样本，这些样本对决策边界的变化不太敏感，从而减轻了代理模型的过拟合。全面的实验比较表明，RAP可以显着提高对抗转移性。此外，RAP可以自然地与许多现有的黑盒攻击技术相结合，以进一步提高可移植性。当攻击一个真实世界的图像识别系统Google Cloud Vision API时，我们获得了比比较方法更高的22%的性能。我们的代码可在https://github.com/SCLBD/Transfer_attack_RAP上获得。
2022-10-12 cs.CR cs.CV cs.LG
Defense Against Adversarial Attacks Using Feature Scattering-based Adversarial Training
Horizon Robotics（地平线机器人）；Baidu Research（百度研究院）
我们引入了一种基于特征分散的对抗性训练方法，以提高模型对对抗攻击的鲁棒性。传统的对抗性训练方法利用监督方案（有针对性或非有针对性）来生成用于训练的攻击，这通常会遇到标签泄漏等问题，如最近的工作中所指出的。因此，该方法通过在潜在空间中进行特征分散来生成用于训练的对抗图像，这在本质上是无监督的，并且避免了标签泄漏。更重要的是，这种新方法以协作方式生成扰动图像，并考虑到样本间的关系。我们对模型的鲁棒性进行了分析，并通过在不同数据集上的大量实验，与最先进的方法相比，证明了所提出的方法的有效性。
2019-11-21 cs.CR cs.CV cs.LG
An ADMM-Based Universal Framework for Adversarial Attacks on Deep Neural Networks
Northeastern University（东北大学）；IBM Research AI（IBM研究院人工智能部门）
深度神经网络（DNN）是已知的易受对抗攻击的攻击。也就是说，通过在原始合法输入上添加精心制作的扭曲而获得的对抗性示例可以误导DNN将其分类为任何目标标签。在一个成功的对抗攻击中，目标误分类应该以最小的失真来实现。在文献中，增加的失真通常通过L0、L1、L2和L无穷范数来测量，即分别为L0、L1、L2和L无穷攻击。然而，缺乏一个通用的框架，所有类型的对抗攻击。这项工作首次统一了利用ADMM（交替方向乘法器）生成对抗性示例的方法，ADMM是一种算子分裂优化方法，因此L0，L1，L2和L无穷大攻击可以通过这个通用框架有效地实现。与每一类最先进的攻击相比，我们基于ADMM的攻击是迄今为止最强大的，达到了100%的攻击成功率和最小的失真。
2018-04-09 cs.CV cs.LG stat.ML
Superpixel Attack: Enhancing Black-box Adversarial Attack with Image-driven Division Areas
Graduate School of Mathematics, Kyushu University（九州大学数学研究生院）；Institute of Mathematics for Industry, Kyushu University（九州大学工业数学研究所）
本文提出超像素攻击，通过使用超像素和通用搜索方法提升黑盒对抗攻击的成功率，平均提高2.10%。
2025-11-29 cs.AI cs.CR cs.CV
Identification of Attack-Specific Signatures in Adversarial Examples
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）
对抗攻击文献中包含了无数的算法，用于制作在神经网络中产生病态行为的扰动。在许多情况下，多个算法针对相同的任务，甚至执行相同的约束。在这项工作中，我们表明，不同的攻击算法产生的对抗性的例子是不同的，不仅在他们的有效性，而且在他们如何定性地影响他们的受害者。我们首先展示了一个可以确定的攻击算法，制作了一个对抗性的例子。然后，我们利用参数空间显着性图的最新进展，从视觉和定量两个方面显示，对抗攻击算法的不同之处在于它们针对网络和图像的哪些部分。我们的研究结果表明，预期的对抗攻击不仅应该通过他们愚弄模型的成功率来比较，而且还应该通过他们对受害者的更深层次的下游影响来比较。
2021-10-13 cs.CR cs.CV cs.LG
Can the state of relevant neurons in a deep neural networks serve as indicators for detecting adversarial attacks?
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
我们提出了一种基于稀疏神经元集检测的对抗攻击检测方法。我们遵循这样的假设，即对抗攻击在输入中引入了不可感知的扰动，并且这些扰动改变了与被攻击模型所建模的概念相关的神经元的状态。因此，监测这些神经元的状态将能够检测到对抗攻击。专注于图像分类任务，我们的方法确定的神经元是相关的模型预测的类。对这些稀疏神经元集进行更深入的定性检查表明，它们的状态在对抗样本存在时会发生变化。此外，我们的实证评估的定量结果表明，我们的方法能够识别由最先进的攻击方法产生的对抗性样本，其准确度与最先进的检测器相当。
2020-10-29 cs.CR cs.CV cs.LG
Adversarial RAW: Image-Scaling Attack Against Imaging Pipeline
深度学习技术已经成为计算机视觉发展的支柱。随着进一步的探索，人们发现深度神经网络容易受到精心设计的对抗攻击的攻击。大多数视觉设备都配备了图像信号处理（ISP）流水线来实现RAW到RGB的转换，并嵌入到数据预处理模块中以进行高效的图像处理。实际上，ISP管道可以将对抗行为引入到捕获后的图像中，而数据预处理可能会破坏攻击模式。然而，现有的对抗攻击都没有考虑ISP管道和数据预处理的影响。在本文中，我们开发了一种针对ISP管道的图像缩放攻击，其中制作的对抗RAW可以转换为攻击图像，一旦缩放到特定大小的图像，则会呈现完全不同的外观。我们首先考虑梯度可用的ISP管道，即，梯度信息可以直接用于对抗RAW的生成过程中来发起攻击。为了使对抗攻击更适用，我们进一步考虑梯度不可用的ISP管道，其中提出了一个很好地学习RAW到RGB变换的代理模型作为梯度预言机。大量的实验表明，所提出的对抗攻击可以针对目标ISP管道制造对抗RAW数据，具有高攻击率。
2022-06-02 cs.CR cs.CV cs.LG
Sparse and Imperceivable Adversarial Attacks
University of Tübingen（图宾根大学）
神经网络已被证明易受各种对抗攻击的攻击。从安全的角度来看，高度稀疏的对抗攻击尤其危险。另一方面，稀疏攻击的像素级扰动通常很大，因此可以潜在地检测到。我们提出了一种新的黑盒技术来制作对抗性的例子，旨在最大限度地减少$l_0$距离原始图像。大量的实验表明，我们的攻击是更好的或竞争的最先进的。此外，我们可以集成额外的边界上的分量扰动。允许像素仅在高变化区域中变化，并避免沿轴对齐边缘的变化，这使得我们的对抗性示例几乎不可感知。此外，我们适应投影梯度下降攻击的$l_0$ -范数集成组件的约束。这使我们能够进行对抗训练，以增强分类器对稀疏和不可感知的对抗操作的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
A Statistical Method for Attack-Agnostic Adversarial Attack Detection with Compressive Sensing Comparison
School of Electrical, Computer, and Biomedical Engineering Southern Illinois University Carbondale IL, USA（电气、计算机与生物医学工程学院 布鲁克林伊利诺伊大学卡本达莱分校）
针对现有对抗攻击检测方法难应对未知攻击、精度不足的问题，提出基于压缩与未压缩神经网络对行为对比的统计检测方法，部署前建基线，实现多攻击类型近乎完美的检测且误报率低。
2025-10-03 cs.CR cs.CV cs.LG
Sparse Adversarial Attack to Object Detection
Tsinghua University（清华大学）
近年来，对抗性的例子引起了大量的关注。许多对抗攻击已经被提出来攻击图像分类器，但很少有人将注意力转移到对象检测器上。在本文中，我们提出了稀疏对抗攻击（SAA），使对手执行有效的规避攻击检测器与有界\emph{l$_{0}$}范数扰动。我们选择了图像的脆弱位置，并设计了规避损失函数。在YOLOv4和FasterRCNN上的实验结果表明了该方法的有效性。此外，我们的SAA显示出很大的可转移性在不同的检测器在黑盒攻击设置。代码可从\emph{https://github.com/THUrssq/Tianchi04}获得。
2020-12-26 cs.CV
3D Adversarial Attacks Beyond Point Cloud
Tsinghua University（清华大学）；Guangxi University（广西大学）；Samsung Research China - Beijing (SRC-B)（中国三星研究院北京分院）
最近，3D深度学习模型被证明像2D模型一样容易受到对抗攻击的影响。大多数最先进的（SOTA）3D对抗攻击对3D点云执行扰动。为了在物理场景中重现这些攻击，需要将生成的对抗性3D点云重建为网格，这导致其对抗效果显着下降。在本文中，我们提出了一个强大的三维对抗攻击命名为网格攻击，以解决这个问题，直接执行扰动的网格上的三维物体。为了利用最有效的基于梯度的攻击，可微采样模块，反向传播点云的梯度网格。为了进一步确保对抗网格示例没有离群值和3D打印，采用了三种网格损失。大量的实验表明，该方案优于SOTA 3D攻击的显着保证金。我们还在各种防御下实现了SOTA性能。我们的代码可在https://github.com/cuge1995/Mesh-Attack上获得。
2021-11-16 cs.CV
Attack Type Agnostic Perceptual Enhancement of Adversarial Images
Middle East Technical University（中东技术大学）
对抗性图像是故意修改以欺骗机器学习系统的样本。它们广泛用于CAPTHA等应用程序中，以帮助区分合法的人类用户和机器人。然而，在对抗性图像生成过程中引入的噪声降低了感知质量并引入了人工颜色;使人类也难以对图像进行分类和识别对象。在这封信中，我们提出了一种增强这些对抗图像的感知质量的方法。所提出的方法是攻击类型不可知的，可以与现有的攻击文献中使用。实验结果表明，生成的对抗图像具有较低的欧氏距离值，同时保持相同的对抗攻击性能。距离减少了5.88%至41.27%，不同攻击和网络类型的平均减少22%。
2019-05-10 cs.CV
Data-Free Adversarial Perturbations for Practical Black-Box Attack
Nanjing University（南京大学）；Ant Financial Services Group（蚂蚁金融服务集团）；Tsinghua university（清华大学）
神经网络容易受到对抗性示例的攻击，这些示例是恶意输入，用于欺骗预先训练的模型。对抗性示例通常表现出黑盒攻击的可转移性，这使得为一个模型制作的对抗性示例可以欺骗另一个模型。然而，现有的黑盒攻击方法需要来自训练数据分布的样本，以提高对抗性样本在不同模型之间的可移植性。由于数据依赖性，对抗扰动的欺骗能力仅在训练数据可访问时适用。在本文中，我们提出了一种无数据的方法来制作对抗性扰动，该方法可以在不了解训练数据分布的情况下欺骗目标模型。在黑盒攻击场景的实际设置中，攻击者无法访问目标模型和训练数据，我们的方法在目标模型上实现了高欺骗率，并优于其他通用的对抗扰动方法。我们的方法经验表明，即使攻击者无法访问训练数据，当前的深度学习模型仍然存在风险。
2020-03-03 cs.CV
SkeleVision: Towards Adversarial Resiliency of Person Tracking with Multi-Task Learning
Georgia Institute of Technology（佐治亚理工学院）
使用计算机视觉技术的人员跟踪具有广泛的应用，例如自动驾驶、家庭安全和体育分析。然而，日益增长的对抗攻击威胁引起了人们对这种技术的安全性和可靠性的严重关切。在这项工作中，我们研究了多任务学习（MTL）对广泛使用的SiamRPN跟踪器的对抗鲁棒性的影响，在人跟踪的背景下。具体来说，我们调查的效果，共同学习与语义类似的任务的人跟踪和人类的关键点检测。我们进行了广泛的实验，更强大的对抗攻击，可以在物理上实现，证明了我们的方法的实用价值。我们对模拟和真实世界数据集的实证研究表明，与通常只对人跟踪的单一任务进行训练相比，使用MTL进行训练始终使攻击SiamRPN跟踪器变得更加困难。
2022-04-02 cs.CV cs.LG
