Attack Agnostic Adversarial Defense via Visual Imperceptible Bound
IIIT-Delhi（德里印度理工学院）；Texas A&M University, Kingsville（金斯维尔得克萨斯农工大学）；IIT Jodhpur（焦特布尔印度理工学院）
深度学习算法对结构化和非结构化扰动的高度敏感性激发了高效对抗防御算法的开发。然而，现有的防御算法缺乏通用性和针对不同数据库的攻击算法的性能的高度可变性对防御算法的有效性提出了几个问题。在这项研究中，我们的目标是设计一个防御模型，在一定范围内对可见和不可见的对抗攻击都是鲁棒的。这个界限与图像的视觉外观有关，我们称之为\textit{Visual Imperceptible Bound (VIB)}。为了计算这个界限，我们提出了一种新的方法，使用数据库的特点。另外，还利用VIB来度量攻击算法的有效性。在MNIST，CIFAR-10和Tiny ImageNet数据库上评估了所提出的防御模型的性能，包括C\&W（$l_2$）和DeepFool。该防御模型不仅能够提高对多种攻击的鲁棒性，而且能够保持或提高原始干净测试集上的分类精度。所提出的算法是攻击不可知的，即它不需要任何知识的攻击算法。
2020-10-25 cs.CR cs.CV
AdvAD: Exploring Non-Parametric Diffusion for Imperceptible Adversarial Attacks
Sun Yat-Sen University（中山大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出AdvAD，将对抗攻击建模为非参数扩散过程，仅利用被攻击模型逐步生成不可感知对抗样本，在多个DNN上以更低扰动实现更高攻击成功率。
2025-03-12 cs.CV cs.LG
Towards Imperceptible Universal Attacks on Texture Recognition
Arizona State University（亚利桑那州立大学）；Lebanese American University（黎巴嫩美国大学）
虽然深度神经网络（DNN）已被证明容易受到对自然图像分类问题的图像不可知对抗攻击，但这种攻击对基于DNN的纹理识别的影响尚未被探索。作为我们工作的一部分，我们发现，在空间域中限制扰动的$l_p$规范可能不是一个合适的方式来限制纹理图像的普遍对抗扰动的感知。基于人的感知受局部视觉频率特性影响的事实，我们提出了一种频率调谐的通用攻击方法，在频域中计算通用扰动。我们的实验表明，与现有的通用攻击技术相比，我们提出的方法可以在各种DNN纹理分类器和纹理数据集上产生更少的可感知扰动，但具有类似或更高的白盒欺骗率。我们还表明，我们的方法可以提高对防御模型的攻击鲁棒性，以及纹理识别问题的跨数据集可转移性。
2020-11-24 cs.CV
Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏对抗攻击可以通过仅扰动几个像素（由l_0范数正则化）来欺骗深度神经网络（DNN）。最近的努力将它与另一个在微扰幅度上难以察觉的l_infty结合起来。由此产生的稀疏和不可感知的攻击实际上是相关的，并且表明DNN的脆弱性比我们通常想象的还要高。然而，由于通过将l_0正则化器和框约束与非凸目标耦合而产生的优化困难，因此这种攻击更具挑战性。在本文中，我们提出了一个同伦算法，共同解决稀疏性和扰动界在一个统一的框架，以应对这一挑战。每次迭代，我们算法的主要步骤是优化l_0正则化的对抗损失，通过利用非单调加速邻近梯度方法（nmAPG）进行非凸规划;其次是l_0变化控制步骤，以及一个可选的后攻击步骤，旨在逃避坏的局部极小值。我们还扩展了算法处理的结构稀疏正则化。我们在CIFAR-10和ImageNet数据集上广泛地研究了我们提出的同伦攻击对目标和非目标攻击场景的有效性。与最先进的方法相比，我们的同伦攻击导致显著更少的扰动，例如，在CIFAR-10上减少42.91%，在ImageNet上减少75.03%（平均情况，有针对性的攻击），在类似的最大扰动幅度下，仍然实现100%的攻击成功率。我们的代码可在https://github.com/VITA-Group/SparseADV_Homotopy上获得。
2021-06-10 cs.AI cs.CV cs.LG
Towards Imperceptible Query-limited Adversarial Attacks with Perceptual Feature Fidelity Loss
University of California（加利福尼亚大学）；The Chinese University of Hong Kong（香港中文大学）
最近，有大量的工作是通过视觉上类似于良性样本的对抗性输入来欺骗基于深度学习的分类器，特别是对于图像。然而，研究人员通常使用Lp范数最小化作为不可感知性的代理，这过度简化了真实世界图像和人类视觉感知的多样性和丰富性。在这项工作中，我们提出了一种新的感知度量，利用低级别图像特征保真度和人类视觉敏感度之间的良好联系，我们称之为感知特征保真度损失。我们证明了我们的度量可以鲁棒地反映和描述在各种条件下验证的生成的对抗图像的不可感知性。此外，我们证明了该度量是高度灵活的，可以方便地集成到不同的现有优化框架中，以指导噪声分布，以获得更好的不可感知性。该度量在具有挑战性的黑盒攻击中特别有用，其中由于非平凡的扰动功率而难以实现不可感知性。
2021-01-31 cs.CR cs.CV cs.LG
Localizing Adversarial Attacks To Produces More Imperceptible Noise
The George Washington University（乔治·华盛顿大学）
本文通过二值掩码将 FGSM、PGD 和 C&W 对抗噪声限制在局部区域，证明其扰动更小、PSNR 与 SSIM 更高，但计算成本上升且 ASR 略降，迭代方法表现更稳健。
2025-09-23 cs.AI cs.CV cs.LG
Exploring Frequency Adversarial Attacks for Face Forgery Detection
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
各种各样的面部操作技术已经引起了道德，安全和隐私方面的严重公众关注。虽然现有的人脸伪造分类器在检测虚假图像方面取得了很好的性能，但这些方法容易受到对抗性样本的影响，这些样本在像素上注入了不可感知的扰动。同时，许多人脸伪造检测器总是利用真实和虚假人脸之间的频率差异作为一个重要的线索。在本文中，而不是注入对抗扰动到空间域中，我们提出了一种频率对抗攻击方法对人脸伪造检测器。具体地说，我们对输入图像进行离散余弦变换（DCT），并在频域中引入融合模块来捕获对手的显著区域。与空间域中现有的对抗攻击（例如FGSM、PGD）相比，我们的方法对人类观察者来说更加不可感知，并且不会降低原始图像的视觉质量。此外，受元学习思想的启发，我们还提出了一种混合对抗攻击，在空间和频率域进行攻击。大量的实验表明，该方法不仅欺骗空间为基础的检测器，但也是最先进的频率为基础的检测器有效。此外，所提出的频率攻击增强了黑盒攻击在人脸伪造检测器之间的可转移性。
2022-03-29 cs.CV
Imperceptible Adversarial Attack on Deep Neural Networks from Image Boundary
University of Nebraska Omaha（内布拉斯加大学奥马哈分校）
本研究提出一种从图像边界进行不可感知的对抗性攻击方法，仅用32%边界内容即可高效攻击多种DNN模型，平均成功率95.2%，并揭示边界对模型行为的主导作用。
2023-08-29 cs.CR cs.CV cs.LG
Saliency Attack: Towards Imperceptible Black-box Adversarial Attack
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）
深度神经网络很容易受到对抗性样本的攻击，即使在黑盒设置中，攻击者只能访问模型输出。最近的研究设计了有效的黑盒攻击，具有高查询效率。然而，这样的性能通常伴随着攻击不可感知性的妥协，阻碍了这些方法的实际使用。在本文中，我们建议将扰动限制在一个小的显著区域，以生成几乎无法感知的对抗性示例。该方法与现有的黑盒攻击兼容，可以显著提高黑盒攻击的不可感知性，而攻击成功率几乎没有下降。此外，我们提出了显着性攻击，一种新的黑盒攻击，旨在改善显着区域中的扰动，以实现更好的不可感知性。大量的实验表明，与最先进的黑盒攻击相比，我们的方法实现了更好的不可感知性分数，包括最明显的失真（MAD），$L_0$和$L_2$距离，也获得了显着更高的成功率，由一个类似于人类的阈值判断MAD。重要的是，我们的方法产生的扰动在一定程度上是可解释的。最后，它也被证明是强大的不同的检测为基础的防御。
2022-06-04 cs.CR cs.CV cs.LG
When Measures are Unreliable: Imperceptible Adversarial Perturbations toward Top-$k$ Multi-Label Learning
Peng Cheng Laboratory（鹏城实验室）
本文提出度量不可察觉性概念，设计新损失函数与高效凸优化算法，生成同时欺骗视觉与逃避度量监控的对抗扰动，在多个大型基准上验证了攻击top-$k$多标签系统的优越性。
2023-09-05 cs.CR cs.CV cs.LG
ReToMe-VA: Recursive Token Merging for Video Diffusion-based Unrestricted Adversarial Attack
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）
针对视频领域基于扩散的无限制对抗攻击研究不足的问题，提出ReToMe-VA框架，通过TALO策略实现空间不可感知性、ReToMe机制保障时间一致性，显著提升了对抗视频的迁移性。
2024-08-10 cs.CV
Attacking Perceptual Similarity Metrics
Portland State University（波特兰州立大学）
本研究系统评估感知相似性度量对不可感知对抗扰动的鲁棒性，发现常见攻击可翻转其判断，并提出结合空间与PGD攻击的迁移方法，为度量鲁棒性研究提供基准。
2023-05-15 cs.CV eess.IV
AdvBiom: Adversarial Attacks on Biometric Matchers
TECH5
随着深度学习模型的出现，人脸识别系统已经取得了令人印象深刻的识别率。这一成功背后的主力是卷积神经网络（CNN）和大型训练数据集的可用性。然而，我们表明，人类无法察觉的小变化，人脸样本可以逃避大多数流行的人脸识别系统。更令人担忧的是，同一个生成器将来可以扩展到其他特征。在这项工作中，我们提出了如何这样的生成器可以被训练，并扩展到其他生物识别方式，如指纹识别系统。
2023-01-10 cs.CV
ARIA: Adversarially Robust Image Attribution for Content Provenance
EPFL（洛桑联邦理工学院）；Adobe Research（Adobe研究院）；University of Surrey（萨里大学）
图像归属-将图像与可信来源进行匹配-是打击在线错误信息的新兴工具。深度视觉指纹模型最近已被探索用于此目的。然而，它们对被称为对抗性示例的微小输入扰动不鲁棒。首先，我们说明如何生成有效的对抗图像，这很容易导致不正确的图像属性。然后，我们描述了一种通过鲁棒的对比学习来防止对深度视觉指纹模型的不可感知的对抗攻击的方法。所提出的训练过程利用在$\ell_\infty$有界对抗示例上的训练，它在概念上简单并且仅引起小的计算开销。由此产生的模型更加强大，即使在未受干扰的图像上也是准确的，并且即使在具有数百万图像的数据库上也表现良好。特别是，我们实现了91.6%的标准和85.1%的对抗召回下$\ell_\infty$有界扰动操作的图像相比，80.1%和0.0%，从以前的工作。我们还表明，鲁棒性推广到其他类型的不可感知的扰动在训练过程中看不见。最后，我们展示了如何训练一个对抗强大的图像比较器模型，用于检测匹配图像中的编辑变化。
2022-02-25 cs.CV cs.LG
Adversarial Examples in Environment Perception for Automated Driving (Review)
School of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
本文系统综述了自动驾驶环境感知中对抗样本的攻击与防御方法及其应用，梳理了近十年对抗鲁棒性研究的发展脉络和重要文献。
2025-04-11 cs.CV
Frequency Regularization for Improving Adversarial Robustness
The University of Hong Kong（香港大学）
深度神经网络非常容易受到精心设计的、人类无法察觉的对抗性扰动的影响。虽然对抗训练（AT）已被证明是一种有效的防御方法，但我们发现AT训练的模型严重依赖于输入的低频内容进行判断，导致标准准确率较低。为了缩小AT过程中标准精度和鲁棒精度之间的巨大差距，我们研究了干净输入和对抗输入之间的频率差异，并提出了一种频率正则化（FR）来调整谱域中的输出差异。此外，我们发现随机加权平均（SWA），通过平滑的内核在历元，进一步提高了鲁棒性。在各种防御方案中，我们的方法在CIFAR-10上训练的WideResNet上实现了对PGD-20，C\&W和Autoattack攻击的最强鲁棒性，无需任何额外数据。
2022-12-24 cs.CV
ANCHOR: Integrating Adversarial Training with Hard-mined Supervised Contrastive Learning for Robust Representation Learning
Department of Computer Science and Engineering, Jadavpur University, Kolkata, India（计算机科学与工程系，贾瓦德普大学，加尔各答，印度）
本文提出ANCHOR框架，结合对抗训练与困难正样本挖掘的监督对比学习，使模型聚焦稳定模式，在CIFAR-10上提升了干净与鲁棒准确率。
2025-10-31 cs.CV
SCOOTER: A Human Evaluation Framework for Unrestricted Adversarial Examples
University of Luxembourg（卢森堡大学）；CAIMed – Lower Saxony Center for AI & Causal Methods in Medicine（下萨克森人工智能与因果方法医学中心）
本文提出SCOOTER框架，通过大规模人类与模型对比验证无限制对抗示例的不可察觉性，发现部分攻击方法无法生成不可察觉图像，并展示了基于ImageNet的基准数据集。
2026-05-14 cs.CV
RANDOM MASK: Towards Robust Convolutional Neural Networks
Peking University（北京大学）；University of Southern California（南加州大学）
神经网络的鲁棒性最近已经通过对抗性的例子来强调，即，输入加上精心设计的扰动，这些扰动是人类无法察觉的，但可能导致网络给出不正确的输出。在本文中，我们设计了一个新的CNN架构，本身具有良好的鲁棒性。我们引入了一种简单但功能强大的技术，随机掩码，以修改现有的CNN结构。我们证明了具有随机掩码的CNN在不应用任何对抗训练的情况下实现了对抗黑盒对抗攻击的最先进性能。接下来，我们研究用随机掩码“愚弄”CNN的对抗性示例。令人惊讶的是，我们发现这些对抗性的例子也经常“愚弄”人类。这就提出了如何正确定义对抗性示例和鲁棒性的基本问题。
2020-07-27 cs.CV
AdvSmo: Black-box Adversarial Attack by Smoothing Linear Structure of Texture
Ocean University of China（中国海洋大学）
黑盒攻击通常面临两个问题：可转移性差和无法逃避对抗性防御。为了克服这些缺点，我们创建了一种原始方法，通过平滑良性图像中纹理的线性结构来生成对抗性示例，称为AdvSmo。在不依赖于目标模型内部信息的情况下构造对抗样本，并设计了不可感知的高攻击成功率约束，引导Gabor滤波器选择合适的角度和尺度对输入图像中的线性纹理进行平滑处理，生成对抗样本。得益于上述设计理念，AdvSmo将生成具有强大可移植性和可靠规避性的对抗性示例。最后，与四种先进的黑盒对抗攻击方法相比，对于八种目标模型，结果表明，与这些攻击方法中的最佳方法相比，AdvSmo在CIFAR-10上的平均攻击成功率提高了9%，在Tiny-ImageNet数据集上提高了16%。
2022-06-22 cs.CV
On Detecting Adversarial Perturbations
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
近年来，机器学习和深度学习在感知任务方面取得了巨大的进步。然而，它仍然容易受到输入的对抗性扰动的影响，这些扰动是专门为了欺骗系统而设计的，同时对人类来说几乎是不可感知的。在这项工作中，我们提出用一个小的“检测器”子网络来增强深度神经网络，该子网络在区分真实数据和包含对抗扰动的数据的二进制分类任务上进行训练。我们的方法与之前解决对抗性扰动的工作是正交的，后者主要集中在使分类网络本身更鲁棒。我们的经验表明，对抗性扰动可以检测到令人惊讶的是，即使他们是准察觉不到的人类。此外，虽然检测器已经被训练成只检测特定的对手，但它们可以推广到类似和较弱的对手。此外，我们提出了一种对抗性攻击，欺骗分类器和检测器，以及一种新的训练过程，检测器抵消这种攻击。
2017-02-21 cs.AI cs.CV cs.LG
Boosting Adversarial Attacks on Neural Networks with Better Optimizer
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
卷积神经网络在图像识别任务中的表现优于人类，但它们仍然容易受到来自对抗性样本的攻击。由于这些数据是通过向正常图像添加难以察觉的噪声来制作的，因此它们的存在对深度学习系统构成了潜在的安全威胁。具有强大攻击性能的复杂对抗性示例也可以用作评估模型鲁棒性的工具。然而，对抗攻击的成功率可以在黑盒环境中进一步提高。因此，本研究将修正的Adam梯度下降演算法与迭代梯度攻击法结合。然后使用所提出的Adam迭代快速梯度方法来提高对抗性示例的可移植性。在ImageNet上的大量实验表明，该方法比现有的迭代法具有更高的攻击成功率。通过扩展我们的方法，我们在防御模型上实现了95.0%的最先进的攻击成功率。
2021-06-09 cs.CV
A Study for Universal Adversarial Attacks on Texture Recognition
Arizona State University（亚利桑那州立大学）；Lebanese American University（黎巴嫩美国大学）
鉴于卷积神经网络（CNN）在自然图像分类和对象识别问题上取得的突出进展，表明深度学习方法可以在许多纹理数据集上实现非常好的识别性能。然而，虽然用于自然图像分类/对象识别任务的CNN已被发现非常容易受到各种类型的对抗攻击方法的攻击，但用于纹理识别的深度学习方法的鲁棒性还有待研究。在我们的论文中，我们证明了存在小的图像不可知/通用扰动，可以欺骗深度学习模型，在所有测试的纹理数据集上的测试欺骗率超过80%。在测试数据集上使用各种攻击方法计算的扰动通常是准不可感知的，包含具有低，中和高频分量的结构化模式。
2020-10-04 cs.CV
On Trace of PGD-Like Adversarial Attacks
Johns Hopkins University（约翰斯·霍普金斯大学）
对抗攻击给深度学习应用带来了安全问题，但其特征尚未得到充分研究。然而，在一个对抗性的例子中，类似PGD的攻击可能留下了很强的痕迹，这在很大程度上是难以察觉的。回想一下，类似PGD的攻击会触发网络的“局部线性”，这意味着良性或敌对示例的线性程度不同。受此启发，我们构建了一个对抗性响应特征（ARC）特征来反映模型在输入周围的梯度一致性，以指示线性程度。在一定条件下，它定性地表现为从良性样本到敌对样本的逐渐变化的模式，因为后者导致了后续攻击效应（SAE）。为了定量评估ARC的有效性，我们在CIFAR-10和ImageNet上进行了实验，以在具有挑战性的环境中进行攻击检测和攻击类型识别。结果表明，SAE是通过ARC特征反映的PGD样攻击的有效且独特的痕迹。ARC功能直观、轻量级、非侵入性且数据要求不高。
2022-11-05 cs.CV
Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（矢量人工智能研究院）
针对医学影像数据稀缺下现有对抗攻击的局限，提出语言引导的P2P方法，通过可学习文本提示生成自然且有效的乳腺超声对抗样本，性能优于现有技术。
2024-12-13 cs.CV
GreedyFool: Multi-Factor Imperceptibility and Its Application to Designing a Black-box Adversarial Attack
Wuhan University（武汉大学）；Pennsylvania State University（宾夕法尼亚州立大学）
对抗样本是精心设计的输入样本，其中的扰动对人眼来说是不可感知的，但很容易误导深度神经网络（DNN）的输出。现有的作品通过利用简单的度量来惩罚扰动来合成对抗性示例，这些扰动缺乏对人类视觉系统（HVS）的充分考虑，从而产生明显的伪影。为了探讨为什么扰动是可见的，本文总结了四个主要因素影响人眼的感知能力。在此基础上，我们设计了一个多因素的度量MulFactorLoss来衡量良性样本和敌对样本之间的感知损失。为了测试多因素度量的不可感知性，我们提出了一种新的黑盒对抗攻击，称为GreedyFool。GreedyFool应用差分进化来评估扰动像素对目标DNN置信度的影响，并引入贪婪近似来自动生成对抗性扰动。我们对ImageNet和CIFRA-10数据集进行了广泛的实验，并对60名参与者进行了全面的用户研究。实验结果表明，MulFactorLoss是一个比现有的像素度量更不易察觉的度量，GreedyFool以黑盒方式实现了100%的成功率。
2021-11-29 cs.CR cs.CV cs.LG
Defense Against Adversarial Attacks using Convolutional Auto-Encoders
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
针对深度学习模型易受对抗扰动影响的问题，提出基于卷积自编码器的防御方法，通过重建输入图像消除扰动并恢复分类准确率。
2023-12-06 cs.AI cs.CV
Developing Imperceptible Adversarial Patches to Camouflage Military Assets From Computer Vision Enabled Technologies
University of New South Wales（新南威尔士大学）
卷积神经网络（CNN）在目标检测中已经显示出快速的进展和高水平的成功。然而，最近的证据突出表明，它们易受对抗攻击的伤害。这些攻击是计算图像扰动或对抗补丁，导致对象误分类或检测抑制。传统的伪装方法是不切实际的，当应用于伪装飞机和其他大型移动资产从自主检测的情报，监视和侦察技术和第五代导弹。在本文中，我们提出了一种独特的方法，产生难以察觉的补丁，能够从计算机视觉启用技术的大型军事资产。我们开发这些补丁最大限度地提高目标检测损失，同时限制补丁的颜色感知。这项工作还旨在进一步理解对抗性示例及其对目标检测算法的影响。
2022-05-11 cs.CV
Improving Visual Quality of Unrestricted Adversarial Examples with Wavelet-VAE
Institute of Image Communication and Network Engineering, Shanghai JiaoTong University（上海交通大学图像通信与网络工程研究所）
传统的对抗性示例通常是通过在小矩阵范数内向输入图像添加扰动噪声来生成的。在实践中，无限制的对抗攻击引起了人们的极大关注，对人工智能的安全构成了新的威胁。在本文中，我们提出了一个小波VAE结构来重建输入图像，并通过修改潜在的代码生成对抗性的例子。与基于扰动的攻击不同，该方法的修改不受限制，但人眼无法感知。实验表明，我们的方法可以在ImageNet数据集上生成高质量的对抗性示例。
2021-08-25 cs.AI cs.CV cs.LG
Protecting JPEG Images Against Adversarial Attacks
Brandeis University（布兰迪斯大学）
随着深度神经网络（DNN）被集成到关键系统中，已经开发了几种攻击这些系统的方法。这些对抗攻击对图像进行了难以察觉的修改，从而欺骗了DNN分类器。我们提出了一个自适应JPEG编码器，抵御许多这些攻击。实验表明，我们的方法可以产生高视觉质量的图像，同时大大降低了最先进的攻击的潜力。我们的算法只需要一个适度的增加编码时间，产生一个压缩的图像，可以解压缩的现成的JPEG解码器，并分类的一个未经修改的分类器
2018-03-02 cs.CV cs.GR
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore（新加坡南洋理工大学）
在深度神经网络（DNN）的普及应用道路上，对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测，并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型，以抵抗对抗性的例子。在本文中，我们从不同的角度调查了如何理解这种有趣的属性，即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后，我们研究了常用的基准测试，并提到了理论上证明的对抗鲁棒性界限。然后，我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后，我们介绍了最近的争论的潜在成本的对抗性训练，引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Identifying and Resisting Adversarial Videos Using Temporal Consistency
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Peng Cheng Laboratory（鹏城实验室）；Beihang University（北京航空航天大学）
视频分类是计算机视觉中一项具有挑战性的任务。尽管深度神经网络（DNN）在视频分类方面取得了优异的性能，但最近的研究表明，向干净的视频中添加不可察觉的扰动会使经过良好训练的模型以高置信度输出错误的标签。在本文中，我们提出了一个有效的防御框架来描述和防御对抗性视频。所提出的方法包括两个阶段：（1）利用相邻帧之间的时间一致性进行对抗性视频检测，以及（2）分别通过空域和时域的去噪器减少对抗性扰动。具体而言，由于DNN的线性性质，不可感知的扰动将随着DNN深度的增加而放大，这导致相邻帧之间DNN输出的不一致性。然而，由于这些微小的变化，良性视频帧通常与它们的相邻帧具有相同的输出。基于这一观察，我们可以区分敌对视频和良性视频。然后，我们针对不同的攻击采用不同的防御策略。我们提出的时间防御，重建污染的帧与其时间上相邻的清洁帧，处理具有稀疏污染帧的对抗性视频。对于具有密集污染帧的视频，我们使用有效的对抗去噪器在空间域中处理每一帧，从而净化扰动（我们称之为空间防御）。在UCF-101数据集上进行的一系列实验表明，该方法显著提高了视频分类器对对抗攻击的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
Perceptual Adversarial Robustness: Defense Against Unseen Threat Models
University of Maryland（马里兰大学）
对抗鲁棒性的一个关键挑战是缺乏人类感知的精确数学表征，用于人眼无法感知的对抗攻击的定义。大多数当前的攻击和防御试图通过考虑限制性对抗威胁模型（例如受$L_2$或$L_\infty$距离、空间扰动等限制的模型）来避免这个问题。然而，针对任何这些限制性威胁模型的鲁棒性模型对于其他威胁模型仍然很脆弱。为了解决这个问题，我们提出了针对所有不可感知的对抗性示例集的对抗性训练，使用深度神经网络进行近似。我们将这种威胁模型称为神经感知威胁模型（NPTM）;它包括与自然图像具有有限神经感知距离（基于神经网络的真实感知距离近似）的对抗性示例。通过广泛的感知研究，我们发现神经感知距离与人类对对抗性示例的感知能力的判断密切相关，从而验证了我们的威胁模型。在NPTM下，我们开发了新的感知对抗攻击和防御。由于NPTM非常广泛，我们发现针对感知攻击的感知对抗训练（PAT）对许多其他类型的对抗攻击具有鲁棒性。我们在CIFAR-10和ImageNet-100上测试PAT，以对抗五种不同的对抗攻击。我们发现，PAT对这五种攻击的联合实现了最先进的鲁棒性，比下一个最佳模型的准确性提高了一倍以上，而无需对其中任何一种进行训练。也就是说，PAT很好地推广到不可预见的扰动类型。这在无法假设特定威胁模型的敏感应用中至关重要，据我们所知，PAT是第一个具有此属性的对抗性训练防御。
2021-07-04 cs.CV cs.LG stat.ML
Towards Feature Space Adversarial Attack
我们提出了一种新的针对深度神经网络的对抗攻击，用于图像分类。与大多数直接干扰输入像素的现有攻击不同，我们的攻击侧重于干扰抽象特征，更具体地说，表示样式的特征，包括可解释的样式，如鲜艳的颜色和清晰的轮廓，以及不可解释的样式。它通过优化过程注入不可察觉的风格变化来诱导模型错误分类。我们表明，我们的攻击可以生成比最先进的无界攻击更自然的对抗样本。实验还表明，现有的像素空间对抗攻击检测和防御技术很难保证在风格相关特征空间的鲁棒性。
2020-12-16 cs.CV cs.LG eess.IV
L-RED: Efficient Post-Training Detection of Imperceptible Backdoor Attacks without Access to the Training Set
Anomalee Inc.（Anomalee公司）；School of EECS, Pennsylvania State University（宾夕法尼亚州立大学EECS学院）
后门攻击（BA）是一种新兴的对抗攻击形式，通常针对深度神经网络图像分类器。攻击者的目标是让分类器学习在来自一个或多个源类的测试图像包含后门模式时分类到目标类，同时在所有干净的测试图像上保持高准确性。针对BA的基于逆向工程的防御（RED）不需要访问训练集，而只需要访问独立的干净数据集。不幸的是，大多数现有的RED依赖于一个不切实际的假设，即除了目标类之外的所有类都是攻击的源类。不依赖于此假设的RED通常需要大量干净的图像和繁重的计算。在本文中，我们提出了一种基于拉格朗日的RED（L-RED），不需要知道源类的数量（或是否存在攻击）。我们的防御需要很少的干净图像来有效地检测BA，并且计算效率很高。值得注意的是，我们在CIFAR-10上的实验中，每类只使用两张干净的图像检测到60个BA中的56个。
2020-10-21 cs.CV cs.LG
Multitask Learning Strengthens Adversarial Robustness
Columbia University（哥伦比亚大学）
尽管深度网络在一系列计算机视觉基准测试中达到了很高的准确性，但它们仍然容易受到对抗攻击的影响，在这种攻击中，难以察觉的输入扰动会欺骗网络。我们提出了理论和实证分析，将模型的对抗鲁棒性与其训练的任务数量联系起来。在两个数据集上的实验表明，攻击难度随着目标任务数量的增加而增加。此外，我们的研究结果表明，当模型同时在多个任务上进行训练时，它们对单个任务的对抗攻击变得更加鲁棒。虽然对抗性防御仍然是一个公开的挑战，但我们的研究结果表明，深度网络是脆弱的，部分原因是它们接受的任务太少。
2020-09-11 cs.CR cs.CV cs.LG
Trace-Norm Adversarial Examples
University of Central Florida（中佛罗里达大学）；École Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）
白盒对抗性扰动是通过迭代优化算法来寻求的，最常见的是最小化原始图像的$l_p$邻域（所谓的失真集）上的对抗性损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里，我们探索几个失真集与结构增强算法。对抗性示例的这些新结构，在优化中普遍存在，例如，对于对抗性理论认证来说是一个挑战，该理论认证再次仅提供$l_p$证书。由于对抗鲁棒性仍然是一个经验领域，防御机制也应该合理地评估不同结构的攻击。此外，这些结构化对抗扰动可以允许比它们的$l_p$对应部分更大的失真大小，同时保持不可感知或可感知为图像的自然轻微失真。最后，它们允许对对抗性扰动的生成进行一些控制，如（局部）模糊。
2020-07-02 cs.CV cs.LG stat.ML
Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Youtu Lab, Tencent（腾讯优图实验室）；Fudan University（复旦大学）
深度神经网络，特别是人脸识别模型，已被证明容易受到数字和物理对抗性示例的影响。然而，现有的对抗人脸识别系统的例子要么缺乏可移植性的黑箱模型，或未能在实践中实现。本文提出了一种统一的对抗性人脸生成方法- Adv-Makeup，该方法可以在黑盒设置下实现不可感知和可转移的攻击。Adv-Makeup开发了一种任务驱动的化妆生成方法，该方法具有混合模块，可以在面部的眼眶区域合成难以察觉的眼影。为了实现可移植性，Adv-Makeup实现了细粒度的元学习对抗攻击策略，以从各种模型中学习更多的一般攻击特征。与现有技术相比，足够的可视化结果表明，Adv-Makeup能够在数字和物理场景下产生更多的不可感知攻击。同时，大量的定量实验表明，Adv-Makeup能够显著提高黑盒设置下的攻击成功率，甚至能够攻击商业系统。
2021-05-07 cs.CV
Adversarial attacks hidden in plain sight
Bielefeld University（比勒费尔德大学）；Honda Research Institute Europe GmbH（本田欧洲研究院有限公司）
近年来，卷积神经网络已被用于取得一系列成功，但其缺乏可解释性仍然是一个严重的问题。对抗性示例被设计成故意欺骗神经网络做出任何所需的错误分类，可能具有非常高的确定性。几种防御方法增加了对对抗攻击的鲁棒性，要求更大规模的攻击，这导致可见的伪影。通过考虑人类的视觉感知，我们组成了一个技术，允许隐藏这样的对抗攻击在高复杂性的区域，这样他们是察觉不到的，即使是一个精明的观察者。我们进行了一个用户研究分类adversarially修改的图像，以验证我们的方法的感知质量，并找到重要的证据，其隐藏与人类的视觉感知。
2020-04-26 cs.CV cs.LG stat.ML
Reversible Adversarial Attack based on Reversible Image Transformation
Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）
为了防止对人脸等图像数据的非法或未经授权的访问，确保合法用户能够使用受授权保护的数据，可逆对抗攻击技术应运而生。可逆对抗样本（RAE）同时具有攻击能力和可逆性。然而，现有技术在对抗性扰动较强时，图像失真严重，恢复失败，已不能满足应用要求。本文利用可逆图像变换技术生成RAE，实现可逆对抗攻击。实验结果表明，提出的RAE生成方案可以保证图像的不可感知的失真和原始图像可以重建的错误。而且，无论是攻击能力还是成像质量都不受扰动幅度的限制。
2021-05-25 cs.CV cs.MM eess.IV
Can the state of relevant neurons in a deep neural networks serve as indicators for detecting adversarial attacks?
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
我们提出了一种基于稀疏神经元集检测的对抗攻击检测方法。我们遵循这样的假设，即对抗攻击在输入中引入了不可感知的扰动，并且这些扰动改变了与被攻击模型所建模的概念相关的神经元的状态。因此，监测这些神经元的状态将能够检测到对抗攻击。专注于图像分类任务，我们的方法确定的神经元是相关的模型预测的类。对这些稀疏神经元集进行更深入的定性检查表明，它们的状态在对抗样本存在时会发生变化。此外，我们的实证评估的定量结果表明，我们的方法能够识别由最先进的攻击方法产生的对抗性样本，其准确度与最先进的检测器相当。
2020-10-29 cs.CR cs.CV cs.LG
Imperceptible and Reversible Adversarial Examples against Vision-Language Models for Privacy Protection
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院）；College of Computer Science, Chongqing University（重庆大学计算机科学学院）；School of Software and engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
研究针对视觉语言模型基于文本的隐私攻击问题，提出CloakDiff框架，结合扩散对抗编辑与可逆网络生成不可察觉的对抗性示例，设计EDM启发式采样提高保真度，实验证明该框架能实现多模态隐私保护且具高视觉质量和可逆性。
2026-07-14 cs.CV
Motion-Excited Sampler: Video Adversarial Attack with Sparked Prior
University of Technology Sydney（悉尼科技大学）；Amazon Web Services（亚马逊云科技）
众所周知，深度神经网络易受对抗性噪声的影响，这些噪声是微小且难以察觉的扰动。以往对对抗攻击的研究主要集中在图像模型上，而对视频模型的脆弱性研究较少。在本文中，我们的目标是攻击视频模型，利用内在的运动模式和区域之间的相对运动的视频帧。我们提出了一种有效的运动激励采样器，以获得运动感知噪声先验，我们称之为火花先验。我们的启发式先验强调帧相关性，并通过相对运动利用视频动态。通过在梯度估计中使用火花先验，我们可以用较少的查询次数成功地攻击各种视频分类模型。在四个基准数据集上的实验结果验证了该方法的有效性。
2020-10-06 cs.CV cs.LG eess.IV
Architectural Adversarial Robustness: The Case for Deep Pursuit
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
尽管具有无与伦比的性能，但深度神经网络仍然容易受到几乎无法察觉的对抗性噪声水平的有针对性的攻击。虽然这种敏感性的根本原因还没有得到很好的理解，理论分析可以通过重构前馈网络的每一层作为稀疏编码问题的近似解决方案来简化。使用基追踪的迭代解决方案在理论上更稳定，并且具有更好的对抗鲁棒性。然而，级联逐层追踪实现在更深的网络中遭受错误积累。相比之下，我们新的深度追踪方法将所有层的激活近似为一个全局优化问题，使我们能够考虑具有跳过连接的更深层次的真实世界架构，例如剩余网络。实验上，我们的方法证明了对对抗性噪声的鲁棒性。
2020-11-29 cs.CR cs.CV cs.LG
A New Kind of Adversarial Example
Quintic AI（昆蒂克人工智能公司）
几乎所有的对抗攻击都是为了欺骗模型而在图像上添加一个难以察觉的扰动。在这里，我们考虑相反的情况，即可以欺骗人类但不能欺骗模型的对抗性例子。一个足够大的和可感知的扰动被添加到图像中，使得模型保持其原始决定，而人类如果被迫决定（或选择根本不决定），则很可能会犯错误。现有的有针对性的攻击可以重新制定，以综合这种对抗性的例子。我们提出的攻击，被称为NKE，本质上类似于欺骗图像，但更有效，因为它使用梯度下降而不是进化算法。它还为对抗性脆弱性问题提供了一个新的统一视角。在MNIST和CIFAR-10数据集上的实验结果表明，我们的攻击在欺骗深度神经网络方面非常有效。代码可在https://github.com/aliborji/NKE上获得。
2022-08-25 cs.AI cs.CV cs.LG
Adversarially Robust Deepfake Detection via Adversarial Feature Similarity Learning
Research Center for Information Technology Innovation, Academia Sinica（中央研究院資訊科技創新研究中心）；National Chengchi University（國立政治大學）；National Taiwan University（國立臺灣大學）
针对深度伪造检测易受对抗攻击的问题，提出AFSL方法，通过整合特征学习范式并优化样本与权重相似性及正则化，在多个数据集上显著提升防御性能。
2024-02-06 cs.CV cs.LG cs.MM
Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning
深度神经网络容易受到能够欺骗网络的小但特定的对抗性扰动的影响。此漏洞可能会在安全关键型应用程序中导致潜在的有害后果。为了解决这个漏洞，我们提出了一个新的度量称为\emph{Gradient Similarity}，使我们能够捕捉测试输入的训练数据的影响。我们表明，\emph{Gradient Similarity}的行为不同的正常和敌对的输入，并使我们能够检测到各种对抗攻击与接近完美的ROC-AUC为95-100\%。即使是拥有系统完美知识的白盒对手也无法轻松绕过我们的检测器。在MNIST数据集上，白盒攻击要么以87- 96%的高ROC-AUC检测到，要么需要非常高的失真来绕过我们的检测器。
2018-06-27 cs.CR cs.CV cs.LG
Diffusion Models for Imperceptible and Transferable Adversarial Attack
Beihang University（北京航空航天大学）
本文提出DiffAttack，首次将扩散模型引入对抗攻击，通过在潜在空间构造内容保持的语义扰动并欺骗扩散模型的注意力，实现不可感知且可迁移的黑盒对抗攻击。
2023-11-30 cs.CV
CAP-GAN: Towards Adversarial Robustness with Cycle-consistent Attentional Purification
KAIST（韩国科学技术院）
对抗攻击的目的是利用不可感知的扰动欺骗目标分类器。恶意精心制作的对抗性示例可能会导致错误的预测，从而导致灾难性的事故。为了减轻对抗攻击的影响，我们提出了一种新的净化模型称为CAP-GAN。CAP-GAN考虑了像素级和特征级一致性的思想，在周期一致性学习下实现合理的净化。具体来说，我们利用引导注意模块和知识蒸馏来向净化模型传达有意义的信息。一旦模型被完全训练，输入将被投影到净化模型中，并转换为干净的图像。我们改变了对手的能力，认为对各种类型的攻击策略的鲁棒性。在CIFAR-10数据集上，CAP-GAN在黑盒和白盒设置下都优于其他基于预处理的防御。
2021-05-25 cs.CR cs.CV cs.LG
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Shift-tolerant Perceptual Similarity Metric
Portland State University（波特兰州立大学）
现有的感知相似性度量假设图像和其参考很好地对齐。因此，这些度量通常对人眼察觉不到的小对准误差敏感。本文研究了小错位的影响，特别是输入和参考图像之间的一个小的移位，对现有的度量，并相应地开发了一个移位容忍的相似性度量。本文建立在LPIPS，一个广泛使用的学习感知相似性度量，并探讨了架构设计考虑，使其对不可察觉的错位鲁棒。具体来说，我们研究了广泛的神经网络元素，如抗混叠滤波，池化，跨步，填充和跳过连接，并讨论了他们的角色，使一个强大的度量。基于我们的研究，我们开发了一种新的基于深度神经网络的感知相似性度量。我们的实验表明，我们的度量是宽容的不可察觉的变化，同时符合人类的相似性判断。
2022-07-27 cs.CV
Towards Large yet Imperceptible Adversarial Image Perturbations with Perceptual Color Distance
Radboud University（拉德堡德大学）
设计欺骗图像分类器的图像扰动的成功评估的对抗效果和视觉不可感知性。关于不可感知性的传统假设是，扰动应该争取RGB空间中的紧$L_p$范数界限。在这项工作中，我们放弃了这个假设，追求一种方法，利用人类的颜色感知，更具体地说，最小化扰动大小相对于感知颜色距离。我们的第一种方法，感知颜色距离C&W（PerC-C&W），扩展了广泛使用的C&W方法，并产生更大的RGB扰动。PerC-C&W能够保持对抗强度，同时有助于感知。我们的第二种方法，感知颜色距离交替损失（PerC-AL），实现了相同的结果，但这样做更有效地通过在更新扰动时在分类损失和感知色差之间交替。实验评估表明，PerC方法优于传统的$L_p$方法的鲁棒性和可转移性方面，还表明，PerC距离可以提供附加值的现有的基于结构的方法来创建图像扰动。
2020-03-31 cs.CV
Semi-Implicit Hybrid Gradient Methods with Application to Adversarial Robustness
KAIST（韩国科学技术院）；SI Analytics, Inc.（SI Analytics公司）
通过向自然输入添加难以察觉的扰动来制作的对抗性示例可以轻松地欺骗深度神经网络（DNN）。训练对抗鲁棒DNN的最成功的方法之一是使用对抗训练（AT）算法解决非凸-非凹极大极小问题。然而，在许多AT算法中，只有动态AT（DAT）和你只计算一次（YOPO）保证收敛到一个稳定点。在这项工作中，我们推广了随机原始-对偶混合梯度算法，发展半隐式混合梯度方法（SI-HGs），寻找非凸-非凹极大极小问题的稳定点。SI-HG具有收敛速率$O(1/K)$，其改进了DAT和YOPO的速率$O(1/K^{1/2})$。我们设计了一个实用的变体SI-HGs，并表明它优于其他AT算法的收敛速度和鲁棒性。
2022-02-21 cs.AI cs.CV cs.LG
