Imperceptible Adversarial Attack on Deep Neural Networks from Image Boundary
University of Nebraska Omaha（内布拉斯加大学奥马哈分校）
本研究提出一种从图像边界进行不可感知的对抗性攻击方法，仅用32%边界内容即可高效攻击多种DNN模型，平均成功率95.2%，并揭示边界对模型行为的主导作用。
2023-08-29 cs.CR cs.CV cs.LG
Saliency Attack: Towards Imperceptible Black-box Adversarial Attack
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）
深度神经网络很容易受到对抗性样本的攻击，即使在黑盒设置中，攻击者只能访问模型输出。最近的研究设计了有效的黑盒攻击，具有高查询效率。然而，这样的性能通常伴随着攻击不可感知性的妥协，阻碍了这些方法的实际使用。在本文中，我们建议将扰动限制在一个小的显著区域，以生成几乎无法感知的对抗性示例。该方法与现有的黑盒攻击兼容，可以显著提高黑盒攻击的不可感知性，而攻击成功率几乎没有下降。此外，我们提出了显着性攻击，一种新的黑盒攻击，旨在改善显着区域中的扰动，以实现更好的不可感知性。大量的实验表明，与最先进的黑盒攻击相比，我们的方法实现了更好的不可感知性分数，包括最明显的失真（MAD），$L_0$和$L_2$距离，也获得了显着更高的成功率，由一个类似于人类的阈值判断MAD。重要的是，我们的方法产生的扰动在一定程度上是可解释的。最后，它也被证明是强大的不同的检测为基础的防御。
2022-06-04 cs.CR cs.CV cs.LG
SAIF: Sparse Adversarial and Imperceptible Attack Framework
Northeastern University（东北大学）；Google（谷歌）
本研究提出稀疏对抗与可解释攻击框架SAIF，利用Frank-Wolfe算法优化低幅度、稀疏的不可感知扰动，揭示分类器脆弱性，并在ImageNet上优于现有稀疏攻击方法。
2025-09-12 cs.CV
Adversarial Training against Location-Optimized Adversarial Patches
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本研究提出了一种优化对抗补丁位置的方法，并对其应用对抗训练，在CIFAR10和GTSRB上显著提升鲁棒性且不降低准确率。
2020-12-14 cs.CR cs.CV cs.LG
PGD-Imp: Rethinking and Unleashing Potential of Classic PGD with Dual Strategies for Imperceptible Adversarial Attacks
Sun Yat-Sen University（中山大学）；Great Bay University（大湾区大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出 PGD-Imp 攻击方法，通过动态步长和自适应提前停止两种策略，从优化角度释放经典 PGD 在不可感知对抗攻击中的潜力，并在非目标与目标攻击场景下取得最优性能。
2025-03-10 cs.CR cs.LG
Attack Agnostic Adversarial Defense via Visual Imperceptible Bound
IIIT-Delhi（德里印度理工学院）；Texas A&M University, Kingsville（金斯维尔得克萨斯农工大学）；IIT Jodhpur（焦特布尔印度理工学院）
深度学习算法对结构化和非结构化扰动的高度敏感性激发了高效对抗防御算法的开发。然而，现有的防御算法缺乏通用性和针对不同数据库的攻击算法的性能的高度可变性对防御算法的有效性提出了几个问题。在这项研究中，我们的目标是设计一个防御模型，在一定范围内对可见和不可见的对抗攻击都是鲁棒的。这个界限与图像的视觉外观有关，我们称之为\textit{Visual Imperceptible Bound (VIB)}。为了计算这个界限，我们提出了一种新的方法，使用数据库的特点。另外，还利用VIB来度量攻击算法的有效性。在MNIST，CIFAR-10和Tiny ImageNet数据库上评估了所提出的防御模型的性能，包括C\&W（$l_2$）和DeepFool。该防御模型不仅能够提高对多种攻击的鲁棒性，而且能够保持或提高原始干净测试集上的分类精度。所提出的算法是攻击不可知的，即它不需要任何知识的攻击算法。
2020-10-25 cs.CR cs.CV
FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances
Alan Turing Institute（阿兰·图灵研究所）
说话人辨识模型容易受到精心设计的输入信号的对抗性扰动的影响，从而导致误分类。在这项工作中，我们提出了一个白盒隐写启发的对抗攻击，对说话人辨识模型产生不可感知的对抗性扰动。我们的方法，FoolHD，使用门控卷积自动编码器，在DCT域中操作，并使用多目标损失函数进行训练，以生成和隐藏原始音频文件中的对抗性扰动。除了阻碍说话人辨识性能之外，这种多目标损失通过从原始音频文件和对抗音频文件中提取的MFCC特征向量之间的逐帧余弦相似性来考虑人类感知。我们使用VoxCeleb训练的250-说话人辨识x向量网络验证了FoolHD在准确性、成功率和不可感知性方面的有效性。我们的研究结果表明，FoolHD生成高度不可感知的对抗性音频文件（平均PESQ分数高于4.30），同时在非目标和目标设置下分别实现了99.6%和99.2%的误导说话人辨识模型的成功率。
2021-02-20 cs.LG cs.SD eess.AS
AdvAD: Exploring Non-Parametric Diffusion for Imperceptible Adversarial Attacks
Sun Yat-Sen University（中山大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出AdvAD，将对抗攻击建模为非参数扩散过程，仅利用被攻击模型逐步生成不可感知对抗样本，在多个DNN上以更低扰动实现更高攻击成功率。
2025-03-12 cs.CV cs.LG
TSFool: Crafting Highly-Imperceptible Adversarial Time Series through Multi-Objective Attack
The Hong Kong Polytechnic University（香港理工大学）；East China Normal University（华东师范大学）
针对RNN时间序列分类，本文提出TSFool多目标攻击，利用伪装系数和表示模型构造高度不可感知的对抗样本，并在11个数据集上优于9种基准攻击。
2024-09-05 cs.CR cs.LG
Quality-Preserving Imperceptible Adversarial Attack on Skeleton-based Human Action Recognition
Durham University（杜伦大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）
针对骨架动作识别的对抗攻击常引入噪声扰动降低动作质量，本文提出一种基于分布的对抗攻击方法，通过最小化经验风险与真实风险的差距来保持动作质量，并设计新指标评估自然性，实验表明该方法在攻击成功率和动作质量上均优于现有方法。
2026-06-12 cs.CV cs.LG
Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏对抗攻击可以通过仅扰动几个像素（由l_0范数正则化）来欺骗深度神经网络（DNN）。最近的努力将它与另一个在微扰幅度上难以察觉的l_infty结合起来。由此产生的稀疏和不可感知的攻击实际上是相关的，并且表明DNN的脆弱性比我们通常想象的还要高。然而，由于通过将l_0正则化器和框约束与非凸目标耦合而产生的优化困难，因此这种攻击更具挑战性。在本文中，我们提出了一个同伦算法，共同解决稀疏性和扰动界在一个统一的框架，以应对这一挑战。每次迭代，我们算法的主要步骤是优化l_0正则化的对抗损失，通过利用非单调加速邻近梯度方法（nmAPG）进行非凸规划;其次是l_0变化控制步骤，以及一个可选的后攻击步骤，旨在逃避坏的局部极小值。我们还扩展了算法处理的结构稀疏正则化。我们在CIFAR-10和ImageNet数据集上广泛地研究了我们提出的同伦攻击对目标和非目标攻击场景的有效性。与最先进的方法相比，我们的同伦攻击导致显著更少的扰动，例如，在CIFAR-10上减少42.91%，在ImageNet上减少75.03%（平均情况，有针对性的攻击），在类似的最大扰动幅度下，仍然实现100%的攻击成功率。我们的代码可在https://github.com/VITA-Group/SparseADV_Homotopy上获得。
2021-06-10 cs.AI cs.CV cs.LG
Frequency-driven Imperceptible Adversarial Attack on Semantic Similarity
Shenzhen University（深圳大学）
当前的对抗攻击研究揭示了基于学习的分类器在面对精心设计的扰动时的脆弱性。然而，大多数现有的攻击方法在跨数据集泛化方面具有固有的局限性，因为它们依赖于具有封闭类别集的分类层。此外，这些方法产生的扰动可能出现在人类视觉系统（HVS）容易感知的区域。为了规避前一个问题，我们提出了一种新的算法，攻击特征表示的语义相似性。通过这种方式，我们能够欺骗分类器，而不会将攻击限制在特定的数据集上。对于不可感知性，我们引入低频约束来限制高频分量内的扰动，确保对抗性示例和原始示例之间的感知相似性。在三个数据集（CIFAR-10，CIFAR-100和ImageNet-1 K）和三个公共在线平台上进行的广泛实验表明，我们的攻击可以在架构和数据集之间产生误导性和可转移的对抗性示例。此外，可视化结果和定量性能（在四个不同的度量方面）表明，该算法比最先进的方法产生更多的不可察觉的扰动。代码可在。
2022-03-24 cs.CV
Reverse Engineering of Imperceptible Adversarial Image Perturbations
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
人们已经很好地认识到，基于神经网络的图像分类器很容易被对手精心制作的具有微小扰动的图像所欺骗。已经有大量的研究来生成和防御这种对抗攻击。然而，以下问题尚未探索：如何从对抗性图像中反向工程对抗性扰动？这导致了一种新的对抗性学习范式--欺骗的逆向工程（RED）。如果成功，RED允许我们估计对抗扰动并恢复原始图像。然而，精心设计的微小对抗性扰动很难通过优化单边RED目标来恢复。例如，纯图像去噪方法可能过拟合以最小化重建误差，但很难保持真实对抗扰动的分类特性。为了应对这一挑战，我们将RED问题正式化，并确定了一套对RED方法设计至关重要的原则。特别是，我们发现，预测对齐和适当的数据增强（在空间变换方面）是实现可推广的RED方法的两个标准。通过将这些RED原则与图像去噪相结合，我们提出了一种新的基于类别判别去噪的RED框架，称为CDD-RED。大量的实验证明了CDD-RED在不同评估指标（从像素级，预测级到属性级对齐）和各种攻击生成方法（例如，FGSM、PGD、CW、AutoAttack和自适应攻击）。
2022-04-01 cs.AI cs.CV cs.LG
Imperceptible Face Forgery Attack via Adversarial Semantic Mask
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出ASMA框架，通过对抗性语义掩码生成模型和自适应语义掩码选择策略，在局部语义区域生成扰动，实现兼具迁移性与不可见性的人脸伪造对抗攻击。
2024-06-16 cs.CV
Localizing Adversarial Attacks To Produces More Imperceptible Noise
The George Washington University（乔治·华盛顿大学）
本文通过二值掩码将 FGSM、PGD 和 C&W 对抗噪声限制在局部区域，证明其扰动更小、PSNR 与 SSIM 更高，但计算成本上升且 ASR 略降，迭代方法表现更稳健。
2025-09-23 cs.AI cs.CV cs.LG
D-CAPTCHA++: A Study of Resilience of Deepfake CAPTCHA under Transferable Imperceptible Adversarial Attack
School of Computer Science（计算机学院）；University College Dublin（都柏林大学学院）；School of Computer Science and Statistics（计算机与统计学院）；Trinity College Dublin（都柏林圣三一学院）；University of Science（科学大学）
本研究针对基于挑战-应答协议的D-CAPTCHA深度伪造验证系统，揭示其在可迁移不可感知对抗攻击下的漏洞，并通过对抗训练优化检测器与分类器，提出更鲁棒的D-CAPTCHA++系统以抵御伪造电话攻击。
2024-09-11 cs.CR cs.LG cs.SD
GreedyFool: Multi-Factor Imperceptibility and Its Application to Designing a Black-box Adversarial Attack
Wuhan University（武汉大学）；Pennsylvania State University（宾夕法尼亚州立大学）
对抗样本是精心设计的输入样本，其中的扰动对人眼来说是不可感知的，但很容易误导深度神经网络（DNN）的输出。现有的作品通过利用简单的度量来惩罚扰动来合成对抗性示例，这些扰动缺乏对人类视觉系统（HVS）的充分考虑，从而产生明显的伪影。为了探讨为什么扰动是可见的，本文总结了四个主要因素影响人眼的感知能力。在此基础上，我们设计了一个多因素的度量MulFactorLoss来衡量良性样本和敌对样本之间的感知损失。为了测试多因素度量的不可感知性，我们提出了一种新的黑盒对抗攻击，称为GreedyFool。GreedyFool应用差分进化来评估扰动像素对目标DNN置信度的影响，并引入贪婪近似来自动生成对抗性扰动。我们对ImageNet和CIFRA-10数据集进行了广泛的实验，并对60名参与者进行了全面的用户研究。实验结果表明，MulFactorLoss是一个比现有的像素度量更不易察觉的度量，GreedyFool以黑盒方式实现了100%的成功率。
2021-11-29 cs.CR cs.CV cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是，大多数现有的对抗攻击只能欺骗黑盒模型，成功率很低。为了提高黑盒对抗攻击的成功率，我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法，我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
Towards Imperceptible JPEG Image Hiding: Multi-range Representations-driven Adversarial Stego Generation
针对现有图像隐藏易被检测的问题，提出多范围表示驱动的对抗式隐写生成框架MRAG，融合卷积与Transformer特征，设计角度-范数解耦损失，实现JPEG图像隐藏的视觉与隐写分析不可感知性，性能达到最先进水平。
2025-08-05 cs.CV
ARIA: Adversarially Robust Image Attribution for Content Provenance
EPFL（洛桑联邦理工学院）；Adobe Research（Adobe研究院）；University of Surrey（萨里大学）
图像归属-将图像与可信来源进行匹配-是打击在线错误信息的新兴工具。深度视觉指纹模型最近已被探索用于此目的。然而，它们对被称为对抗性示例的微小输入扰动不鲁棒。首先，我们说明如何生成有效的对抗图像，这很容易导致不正确的图像属性。然后，我们描述了一种通过鲁棒的对比学习来防止对深度视觉指纹模型的不可感知的对抗攻击的方法。所提出的训练过程利用在$\ell_\infty$有界对抗示例上的训练，它在概念上简单并且仅引起小的计算开销。由此产生的模型更加强大，即使在未受干扰的图像上也是准确的，并且即使在具有数百万图像的数据库上也表现良好。特别是，我们实现了91.6%的标准和85.1%的对抗召回下$\ell_\infty$有界扰动操作的图像相比，80.1%和0.0%，从以前的工作。我们还表明，鲁棒性推广到其他类型的不可感知的扰动在训练过程中看不见。最后，我们展示了如何训练一个对抗强大的图像比较器模型，用于检测匹配图像中的编辑变化。
2022-02-25 cs.CV cs.LG
ExploreADV: Towards exploratory attack for Neural Networks
National University of Singapore（新加坡国立大学）
尽管深度学习在处理图像、文本和语音等各种类型的数据方面取得了显著进展，但众所周知，它们容易受到对抗性扰动的影响：专门设计并添加到输入中的扰动，使目标模型产生错误的输出。现有的大多数关于生成对抗扰动的研究都试图不加区别地扰动整个输入。在本文中，我们提出了ExploreADV，这是一个通用而灵活的对抗攻击系统，能够对区域性和不可感知的攻击进行建模，允许用户根据需要探索各种对抗示例。我们改编并结合两个现有的边界攻击方法，DeepFool和Brendel\&Bethge Attack，并提出了一个面具约束的对抗攻击系统，该系统在像素级约束下产生最小的对抗扰动，即"面具约束“。我们研究了不同的方式来产生这样的掩码的约束，考虑到输入功能的方差和重要性，并表明我们的对抗攻击系统为用户提供了良好的灵活性，专注于子区域的输入，探索不可察觉的扰动和理解的脆弱性像素/区域的对抗攻击。我们证明我们的系统是有效的基础上广泛的实验和用户研究。
2023-01-01 cs.CR cs.LG
Crafting Imperceptible On-Manifold Adversarial Attacks for Tabular Data
School of Information Systems, Queensland University of Technology（信息系统学院，昆士兰技术大学）；Research Centre for Information Systems Engineering (LIRIS), KU Leuven（信息系统工程研究中心（LIRIS），鲁汶大学）；Data Science Institute, University of Technology（数据科学研究院，技术大学）；INESC-ID/Instituto Superior Técnico, University of Lisboa（INESC-ID/理工学院，里斯本大学）
本文提出了一种基于混合输入VAE的对抗攻击方法，通过在潜在空间中生成统计一致的对抗示例，提升了表格数据中攻击的隐蔽性和有效性。
2025-11-21 cs.AI cs.LG
Multitask Learning Strengthens Adversarial Robustness
Columbia University（哥伦比亚大学）
尽管深度网络在一系列计算机视觉基准测试中达到了很高的准确性，但它们仍然容易受到对抗攻击的影响，在这种攻击中，难以察觉的输入扰动会欺骗网络。我们提出了理论和实证分析，将模型的对抗鲁棒性与其训练的任务数量联系起来。在两个数据集上的实验表明，攻击难度随着目标任务数量的增加而增加。此外，我们的研究结果表明，当模型同时在多个任务上进行训练时，它们对单个任务的对抗攻击变得更加鲁棒。虽然对抗性防御仍然是一个公开的挑战，但我们的研究结果表明，深度网络是脆弱的，部分原因是它们接受的任务太少。
2020-09-11 cs.CR cs.CV cs.LG
Identifying and Resisting Adversarial Videos Using Temporal Consistency
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Peng Cheng Laboratory（鹏城实验室）；Beihang University（北京航空航天大学）
视频分类是计算机视觉中一项具有挑战性的任务。尽管深度神经网络（DNN）在视频分类方面取得了优异的性能，但最近的研究表明，向干净的视频中添加不可察觉的扰动会使经过良好训练的模型以高置信度输出错误的标签。在本文中，我们提出了一个有效的防御框架来描述和防御对抗性视频。所提出的方法包括两个阶段：（1）利用相邻帧之间的时间一致性进行对抗性视频检测，以及（2）分别通过空域和时域的去噪器减少对抗性扰动。具体而言，由于DNN的线性性质，不可感知的扰动将随着DNN深度的增加而放大，这导致相邻帧之间DNN输出的不一致性。然而，由于这些微小的变化，良性视频帧通常与它们的相邻帧具有相同的输出。基于这一观察，我们可以区分敌对视频和良性视频。然后，我们针对不同的攻击采用不同的防御策略。我们提出的时间防御，重建污染的帧与其时间上相邻的清洁帧，处理具有稀疏污染帧的对抗性视频。对于具有密集污染帧的视频，我们使用有效的对抗去噪器在空间域中处理每一帧，从而净化扰动（我们称之为空间防御）。在UCF-101数据集上进行的一系列实验表明，该方法显著提高了视频分类器对对抗攻击的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
Towards Imperceptible Universal Attacks on Texture Recognition
Arizona State University（亚利桑那州立大学）；Lebanese American University（黎巴嫩美国大学）
虽然深度神经网络（DNN）已被证明容易受到对自然图像分类问题的图像不可知对抗攻击，但这种攻击对基于DNN的纹理识别的影响尚未被探索。作为我们工作的一部分，我们发现，在空间域中限制扰动的$l_p$规范可能不是一个合适的方式来限制纹理图像的普遍对抗扰动的感知。基于人的感知受局部视觉频率特性影响的事实，我们提出了一种频率调谐的通用攻击方法，在频域中计算通用扰动。我们的实验表明，与现有的通用攻击技术相比，我们提出的方法可以在各种DNN纹理分类器和纹理数据集上产生更少的可感知扰动，但具有类似或更高的白盒欺骗率。我们还表明，我们的方法可以提高对防御模型的攻击鲁棒性，以及纹理识别问题的跨数据集可转移性。
2020-11-24 cs.CV
On Detecting Adversarial Perturbations
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
近年来，机器学习和深度学习在感知任务方面取得了巨大的进步。然而，它仍然容易受到输入的对抗性扰动的影响，这些扰动是专门为了欺骗系统而设计的，同时对人类来说几乎是不可感知的。在这项工作中，我们提出用一个小的“检测器”子网络来增强深度神经网络，该子网络在区分真实数据和包含对抗扰动的数据的二进制分类任务上进行训练。我们的方法与之前解决对抗性扰动的工作是正交的，后者主要集中在使分类网络本身更鲁棒。我们的经验表明，对抗性扰动可以检测到令人惊讶的是，即使他们是准察觉不到的人类。此外，虽然检测器已经被训练成只检测特定的对手，但它们可以推广到类似和较弱的对手。此外，我们提出了一种对抗性攻击，欺骗分类器和检测器，以及一种新的训练过程，检测器抵消这种攻击。
2017-02-21 cs.AI cs.CV cs.LG
Reliable Adversarial Distillation with Unreliable Teachers
Hong Kong Baptist University（香港浸会大学）；Alibaba Group（阿里巴巴集团）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Sydney（悉尼大学）
在普通的蒸馏中，学生网络是用预先训练好的教师网络给出的软标签（SL）训练的，学生被期望在教师身上有所改进，因为SL比原来的硬标签有更强的监督。然而，在考虑对抗鲁棒性时，教师可能变得不可靠，对抗蒸馏可能无法工作：教师在自己的对抗数据上进行了预先训练，要求教师也擅长学生查询的每个对抗数据过于苛刻。因此，在本文中，我们提出了可靠的内省对抗蒸馏（IAD），学生部分而不是完全信任他们的老师。具体来说，IAD区分了三种情况：（a）如果教师擅长AD，则其SL是完全信任的;（b）如果教师擅长ND但不擅长AD，则其SL是部分信任的，并且学生也考虑了自己的SL;（c）否则，学生只依赖于自己的SL。实验证明了IAD在提高教师对抗鲁棒性方面的有效性。
2022-03-10 cs.LG
Attacking Perceptual Similarity Metrics
Portland State University（波特兰州立大学）
本研究系统评估感知相似性度量对不可感知对抗扰动的鲁棒性，发现常见攻击可翻转其判断，并提出结合空间与PGD攻击的迁移方法，为度量鲁棒性研究提供基准。
2023-05-15 cs.CV eess.IV
Can the state of relevant neurons in a deep neural networks serve as indicators for detecting adversarial attacks?
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
我们提出了一种基于稀疏神经元集检测的对抗攻击检测方法。我们遵循这样的假设，即对抗攻击在输入中引入了不可感知的扰动，并且这些扰动改变了与被攻击模型所建模的概念相关的神经元的状态。因此，监测这些神经元的状态将能够检测到对抗攻击。专注于图像分类任务，我们的方法确定的神经元是相关的模型预测的类。对这些稀疏神经元集进行更深入的定性检查表明，它们的状态在对抗样本存在时会发生变化。此外，我们的实证评估的定量结果表明，我们的方法能够识别由最先进的攻击方法产生的对抗性样本，其准确度与最先进的检测器相当。
2020-10-29 cs.CR cs.CV cs.LG
Transparency Attacks: How Imperceptible Image Layers Can Fool AI Perception
PeopleTec（PeopleTec公司）
本研究提出一种基于不可感知图像层的透明攻击方法，可误导多种主流视觉模型产生错误识别，揭示了视觉系统新的算法漏洞，也指出了其对背景层的依赖等局限性。
2024-01-29 cs.CR cs.CV cs.LG
CAP-GAN: Towards Adversarial Robustness with Cycle-consistent Attentional Purification
KAIST（韩国科学技术院）
对抗攻击的目的是利用不可感知的扰动欺骗目标分类器。恶意精心制作的对抗性示例可能会导致错误的预测，从而导致灾难性的事故。为了减轻对抗攻击的影响，我们提出了一种新的净化模型称为CAP-GAN。CAP-GAN考虑了像素级和特征级一致性的思想，在周期一致性学习下实现合理的净化。具体来说，我们利用引导注意模块和知识蒸馏来向净化模型传达有意义的信息。一旦模型被完全训练，输入将被投影到净化模型中，并转换为干净的图像。我们改变了对手的能力，认为对各种类型的攻击策略的鲁棒性。在CIFAR-10数据集上，CAP-GAN在黑盒和白盒设置下都优于其他基于预处理的防御。
2021-05-25 cs.CR cs.CV cs.LG
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗攻击旨在混淆机器学习系统，同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究，表明像素$p$ -规范的任何$0\le p \le \infty$，和几个替代措施，包括推土机的距离，结构相似性指数，和深网嵌入，不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
Feature-Filter: Detecting Adversarial Examples through Filtering off Recessive Features
Wuhan University（武汉大学）；Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）正受到对抗性示例攻击的威胁。攻击者可以通过向输入添加精心设计的小扰动来轻松改变DNN的输出。对抗性样本检测是基于DNNs的鲁棒服务的基础工作。对抗性例子显示了人类和DNN在图像识别方面的差异。从以人为中心的角度来看，图像特征可以分为人类可理解的显性特征和人类不可理解但被DNN利用的隐性特征。在本文中，我们发现，不可感知的对抗性的例子是产品的隐性特征误导神经网络，和一个对抗攻击本质上是一种方法，以丰富这些隐性特征的图像。对抗样本的不可感知性表明扰动丰富了隐性特征，但几乎不影响显性特征。因此，对抗性样本对过滤掉隐性特征很敏感，而良性样本对这种操作免疫。受这个想法的启发，我们提出了一种仅标签的对抗性检测方法，称为特征过滤器。突变滤波器利用离散余弦变换近似分离显性特征和隐性特征，得到滤除隐性特征的突变图像。通过只比较DNN在输入和其突变体上的预测标签，特征过滤器可以以高精度和低误报率实时检测不可感知的对抗性示例。
2021-11-29 cs.LG
Improving Visual Quality of Unrestricted Adversarial Examples with Wavelet-VAE
Institute of Image Communication and Network Engineering, Shanghai JiaoTong University（上海交通大学图像通信与网络工程研究所）
传统的对抗性示例通常是通过在小矩阵范数内向输入图像添加扰动噪声来生成的。在实践中，无限制的对抗攻击引起了人们的极大关注，对人工智能的安全构成了新的威胁。在本文中，我们提出了一个小波VAE结构来重建输入图像，并通过修改潜在的代码生成对抗性的例子。与基于扰动的攻击不同，该方法的修改不受限制，但人眼无法感知。实验表明，我们的方法可以在ImageNet数据集上生成高质量的对抗性示例。
2021-08-25 cs.AI cs.CV cs.LG
Untargeted, Targeted and Universal Adversarial Attacks and Defenses on Time Series
TCS Research（塔塔咨询服务研究院）
基于深度学习的模型容易受到对抗攻击的攻击。在有针对性的攻击中，这些攻击的危害可能会大得多，攻击者不仅试图欺骗深度学习模型，还试图误导模型预测特定的类。此类有针对性和无针对性的攻击是专门针对单个样本量身定制的，并且需要向样本添加难以察觉的噪音。相比之下，通用对抗攻击计算一种特殊的不可感知的噪声，可以将其添加到给定数据集的任何样本中，从而迫使深度学习模型预测错误的类。据我们所知，这些有针对性的和通用的攻击时间序列数据还没有研究在以前的任何作品。在这项工作中，我们对UCR时间序列数据集进行了无针对性、有针对性和通用的对抗攻击。我们的研究结果表明，基于深度学习的时间序列分类模型容易受到这些攻击。我们还表明，通用对抗攻击具有良好的泛化性能，因为它只需要一小部分的训练数据。我们还进行了基于对抗性防御的对抗性训练。我们的研究结果表明，使用快速梯度符号法（FGSM），一个单步的攻击，对抗训练的模型能够抵御FGSM以及基本迭代法（BIM），一种流行的迭代攻击。
2021-01-13 cs.LG
ReabsNet: Detecting and Revising Adversarial Examples
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
尽管深度神经网络在最近的研究和应用中取得了巨大的成功，但它仍然容易受到人类无法感知的对抗性扰动的影响。为了解决这个问题，我们提出了一种名为ReabsNet的新型网络，以在面对各种攻击时实现高分类精度。该方法是用监护人网络来增强现有的分类网络，以检测样本是自然的还是受到了不利的干扰。重要的是，我们不是简单地拒绝对抗性的例子，而是修改它们以获得它们的真实标签。我们利用的观察，一个样本含有对抗扰动有可能返回到其真实的类修改后。我们证明了我们的ReabsNet在各种对抗攻击下的性能优于最先进的防御方法。
2017-12-21 cs.CR cs.LG
Architectural Adversarial Robustness: The Case for Deep Pursuit
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
尽管具有无与伦比的性能，但深度神经网络仍然容易受到几乎无法察觉的对抗性噪声水平的有针对性的攻击。虽然这种敏感性的根本原因还没有得到很好的理解，理论分析可以通过重构前馈网络的每一层作为稀疏编码问题的近似解决方案来简化。使用基追踪的迭代解决方案在理论上更稳定，并且具有更好的对抗鲁棒性。然而，级联逐层追踪实现在更深的网络中遭受错误积累。相比之下，我们新的深度追踪方法将所有层的激活近似为一个全局优化问题，使我们能够考虑具有跳过连接的更深层次的真实世界架构，例如剩余网络。实验上，我们的方法证明了对对抗性噪声的鲁棒性。
2020-11-29 cs.CR cs.CV cs.LG
Exploring Frequency Adversarial Attacks for Face Forgery Detection
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
各种各样的面部操作技术已经引起了道德，安全和隐私方面的严重公众关注。虽然现有的人脸伪造分类器在检测虚假图像方面取得了很好的性能，但这些方法容易受到对抗性样本的影响，这些样本在像素上注入了不可感知的扰动。同时，许多人脸伪造检测器总是利用真实和虚假人脸之间的频率差异作为一个重要的线索。在本文中，而不是注入对抗扰动到空间域中，我们提出了一种频率对抗攻击方法对人脸伪造检测器。具体地说，我们对输入图像进行离散余弦变换（DCT），并在频域中引入融合模块来捕获对手的显著区域。与空间域中现有的对抗攻击（例如FGSM、PGD）相比，我们的方法对人类观察者来说更加不可感知，并且不会降低原始图像的视觉质量。此外，受元学习思想的启发，我们还提出了一种混合对抗攻击，在空间和频率域进行攻击。大量的实验表明，该方法不仅欺骗空间为基础的检测器，但也是最先进的频率为基础的检测器有效。此外，所提出的频率攻击增强了黑盒攻击在人脸伪造检测器之间的可转移性。
2022-03-29 cs.CV
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore（新加坡南洋理工大学）
在深度神经网络（DNN）的普及应用道路上，对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测，并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型，以抵抗对抗性的例子。在本文中，我们从不同的角度调查了如何理解这种有趣的属性，即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后，我们研究了常用的基准测试，并提到了理论上证明的对抗鲁棒性界限。然后，我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后，我们介绍了最近的争论的潜在成本的对抗性训练，引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Perceptual Adversarial Robustness: Defense Against Unseen Threat Models
University of Maryland（马里兰大学）
对抗鲁棒性的一个关键挑战是缺乏人类感知的精确数学表征，用于人眼无法感知的对抗攻击的定义。大多数当前的攻击和防御试图通过考虑限制性对抗威胁模型（例如受$L_2$或$L_\infty$距离、空间扰动等限制的模型）来避免这个问题。然而，针对任何这些限制性威胁模型的鲁棒性模型对于其他威胁模型仍然很脆弱。为了解决这个问题，我们提出了针对所有不可感知的对抗性示例集的对抗性训练，使用深度神经网络进行近似。我们将这种威胁模型称为神经感知威胁模型（NPTM）;它包括与自然图像具有有限神经感知距离（基于神经网络的真实感知距离近似）的对抗性示例。通过广泛的感知研究，我们发现神经感知距离与人类对对抗性示例的感知能力的判断密切相关，从而验证了我们的威胁模型。在NPTM下，我们开发了新的感知对抗攻击和防御。由于NPTM非常广泛，我们发现针对感知攻击的感知对抗训练（PAT）对许多其他类型的对抗攻击具有鲁棒性。我们在CIFAR-10和ImageNet-100上测试PAT，以对抗五种不同的对抗攻击。我们发现，PAT对这五种攻击的联合实现了最先进的鲁棒性，比下一个最佳模型的准确性提高了一倍以上，而无需对其中任何一种进行训练。也就是说，PAT很好地推广到不可预见的扰动类型。这在无法假设特定威胁模型的敏感应用中至关重要，据我们所知，PAT是第一个具有此属性的对抗性训练防御。
2021-07-04 cs.CV cs.LG stat.ML
Towards Feature Space Adversarial Attack
我们提出了一种新的针对深度神经网络的对抗攻击，用于图像分类。与大多数直接干扰输入像素的现有攻击不同，我们的攻击侧重于干扰抽象特征，更具体地说，表示样式的特征，包括可解释的样式，如鲜艳的颜色和清晰的轮廓，以及不可解释的样式。它通过优化过程注入不可察觉的风格变化来诱导模型错误分类。我们表明，我们的攻击可以生成比最先进的无界攻击更自然的对抗样本。实验还表明，现有的像素空间对抗攻击检测和防御技术很难保证在风格相关特征空间的鲁棒性。
2020-12-16 cs.CV cs.LG eess.IV
L-RED: Efficient Post-Training Detection of Imperceptible Backdoor Attacks without Access to the Training Set
Anomalee Inc.（Anomalee公司）；School of EECS, Pennsylvania State University（宾夕法尼亚州立大学EECS学院）
后门攻击（BA）是一种新兴的对抗攻击形式，通常针对深度神经网络图像分类器。攻击者的目标是让分类器学习在来自一个或多个源类的测试图像包含后门模式时分类到目标类，同时在所有干净的测试图像上保持高准确性。针对BA的基于逆向工程的防御（RED）不需要访问训练集，而只需要访问独立的干净数据集。不幸的是，大多数现有的RED依赖于一个不切实际的假设，即除了目标类之外的所有类都是攻击的源类。不依赖于此假设的RED通常需要大量干净的图像和繁重的计算。在本文中，我们提出了一种基于拉格朗日的RED（L-RED），不需要知道源类的数量（或是否存在攻击）。我们的防御需要很少的干净图像来有效地检测BA，并且计算效率很高。值得注意的是，我们在CIFAR-10上的实验中，每类只使用两张干净的图像检测到60个BA中的56个。
2020-10-21 cs.CV cs.LG
Harnessing the Vulnerability of Latent Layers in Adversarially Trained Models
Adobe Inc（奥多比公司）；IIT Hyderabad（印度理工学院海得拉巴分校）
神经网络很容易受到对抗攻击--视觉上难以察觉的精心制作的小噪声，当添加到输入中时，会大大改变输出。防御这些对抗攻击的最有效方法是使用对抗训练的方法。我们分析了对抗性训练的鲁棒模型，以研究它们在潜在层水平上对对抗攻击的脆弱性。我们的分析表明，相反的输入层，这是强大的对抗攻击，这些强大的模型的潜在层是非常容易受到小幅度的对抗扰动。利用这些信息，我们引入了一种新技术潜在对抗训练（LAT），该技术包括微调对抗训练的模型，以确保特征层的鲁棒性。我们还提出了潜在攻击（LA），一种用于构建对抗性示例的新算法。LAT导致测试准确性的微小改善，并导致针对MNIST，CIFAR-10，CIFAR-100数据集显示的通用一阶对抗PGD攻击的最先进的对抗准确性。
2019-06-25 cs.CR cs.CV cs.LG
AdvFlow: Inconspicuous Black-box Adversarial Attacks using Normalizing Flows
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
深度学习分类器容易受到精心设计的、难以察觉的输入变化的影响，这种变化被称为对抗攻击。在这方面，强大的攻击模型的研究揭示了这些分类器的脆弱性来源，希望能导致更强大的。在本文中，我们介绍了AdvFlow：一种新的黑盒对抗攻击方法的图像分类器，利用规范化流的力量来模拟一个给定的目标图像周围的对抗示例的密度。我们看到，所提出的方法生成的对手密切遵循干净的数据分布，这使得他们的检测不太可能。此外，我们的实验结果表明，所提出的方法与一些现有的攻击方法防御分类器的竞争力。该代码可在https://github.com/hmdolatabadi/AdvFlow上获得。
2020-10-23 cs.CR cs.CV cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
ReToMe-VA: Recursive Token Merging for Video Diffusion-based Unrestricted Adversarial Attack
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）
针对视频领域基于扩散的无限制对抗攻击研究不足的问题，提出ReToMe-VA框架，通过TALO策略实现空间不可感知性、ReToMe机制保障时间一致性，显著提升了对抗视频的迁移性。
2024-08-10 cs.CV
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside（加州大学河滨分校）
最近的研究表明，像深度神经网络（DNN）这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧，特别是在安全性是重要因素的领域。因此，设计针对对抗攻击的防御机制至关重要。对于图像分类任务，不明显的扰动大多发生在图像的高频频谱中。在本文中，我们利用张量分解技术作为预处理步骤，找到一个低秩近似的图像，可以显着丢弃高频扰动。最近，一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩，为卷积神经网络（CNN）接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent（FGSM）对抗攻击时比Shield的SLQ方法性能高14%，同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
Trace-Norm Adversarial Examples
University of Central Florida（中佛罗里达大学）；École Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）
白盒对抗性扰动是通过迭代优化算法来寻求的，最常见的是最小化原始图像的$l_p$邻域（所谓的失真集）上的对抗性损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里，我们探索几个失真集与结构增强算法。对抗性示例的这些新结构，在优化中普遍存在，例如，对于对抗性理论认证来说是一个挑战，该理论认证再次仅提供$l_p$证书。由于对抗鲁棒性仍然是一个经验领域，防御机制也应该合理地评估不同结构的攻击。此外，这些结构化对抗扰动可以允许比它们的$l_p$对应部分更大的失真大小，同时保持不可感知或可感知为图像的自然轻微失真。最后，它们允许对对抗性扰动的生成进行一些控制，如（局部）模糊。
2020-07-02 cs.CV cs.LG stat.ML
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University（东北大学）
最先进的深度神经网络（DNN）容易受到对抗性示例的攻击：精心设计的对输入的微小扰动，人类无法察觉，可能会误导DNN。为了了解对抗性示例的根本原因，我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量，我们提出了一个更实用的强对抗性示例的相关定义，该定义还单独限制了沿信号方向的扰动。我们表明，线性分类器可以强大的对抗性的例子攻击的情况下，没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机（SVM）分类器的数值实验，验证了定量公式的正确性.结果表明，设计一般的强对抗性鲁棒学习系统是可行的，但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
PPD: Permutation Phase Defense Against Adversarial Examples in Deep Learning
Univ. of Southern California（南加州大学）；Univ. of Nevada（内华达大学）；Docomo Innovations Inc.（都科摩创新公司）
深度神经网络已经在包括分类在内的各种任务上表现出了尖端的性能。然而，众所周知，对输入的不利设计的不可察觉的扰动会误导高级分类器。本文提出了一种新的抵抗对抗攻击的方法--排列相位防御（PPD）。PPD将图像的随机排列与其傅立叶变换的相位分量相结合。这种方法背后的基本思想是将对抗性防御问题类似地转化为对称密码学，后者仅依赖于密钥的安全性。在PPD中，所选排列的安全保存确保了对抗对抗攻击的有效性。在MNIST和CIFAR-10数据集上测试PPD，对目前最强大的对抗攻击产生了最先进的鲁棒性。
2020-01-04 cs.CR cs.LG stat.ML
End-to-End Adversarial White Box Attacks on Music Instrument Classification
Institute of Computational Perception, Johannes Kepler University Linz（林茨约翰内斯·开普勒大学计算感知研究所）
输入数据的微小对抗性扰动能够极大地改变机器学习系统的性能，从而挑战此类系统的有效性。我们提出了对乐器分类系统的第一个端到端对抗性攻击，允许直接向音频波形而不是频谱图添加扰动。我们的攻击能够将准确性降低到接近随机基线，同时保持扰动几乎不可察觉，并对任何所需的工具产生错误分类。
2020-07-29 cs.LG cs.SD eess.AS
Adversarial attacks hidden in plain sight
Bielefeld University（比勒费尔德大学）；Honda Research Institute Europe GmbH（本田欧洲研究院有限公司）
近年来，卷积神经网络已被用于取得一系列成功，但其缺乏可解释性仍然是一个严重的问题。对抗性示例被设计成故意欺骗神经网络做出任何所需的错误分类，可能具有非常高的确定性。几种防御方法增加了对对抗攻击的鲁棒性，要求更大规模的攻击，这导致可见的伪影。通过考虑人类的视觉感知，我们组成了一个技术，允许隐藏这样的对抗攻击在高复杂性的区域，这样他们是察觉不到的，即使是一个精明的观察者。我们进行了一个用户研究分类adversarially修改的图像，以验证我们的方法的感知质量，并找到重要的证据，其隐藏与人类的视觉感知。
2020-04-26 cs.CV cs.LG stat.ML
Generalizing Adversarial Examples by AdaBelief Optimizer
Beijing Jiaotong University（北京交通大学）
最近的研究已经证明，深度神经网络（DNN）容易受到对抗性示例的攻击，添加了不可感知和精心设计的扰动的合法输入可以在测试阶段轻易地欺骗DNN。然而，大多数现有的对抗攻击很难欺骗经过对抗训练的模型。为了解决这个问题，我们提出了AdaBelief迭代快速梯度符号方法（AB-FGSM）来推广对抗性示例。通过将AdaBelief优化算法集成到I-FGSM中，我们相信，依靠AdaBelief优化器的强大泛化能力，对抗性示例的泛化能力将得到提高。为了验证我们提出的AB-FGSM生成的对抗性示例的有效性和可移植性，我们对各种单个模型和集成模型进行了白盒和黑盒攻击。与现有的攻击方法相比，该方法在白盒环境下能够有效地生成对抗性样本，并且传送率比现有攻击方法提高了7%-21%.
2021-01-25 cs.AI cs.CR cs.LG
