LOTS about Attacking Deep Features
Vision and Security Technology (VAST) Lab（视觉与安全技术（VAST）实验室）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多泉分校）；UCCS（科罗拉多泉分校（UCCS））；University of Colorado, Colorado Springs, USA（美国科罗拉多大学科罗拉多泉分校）；Colorado Springs, USA（美国科罗拉多泉）
深度神经网络在各种任务上提供最先进的性能，因此广泛用于现实世界的应用。DNN在生物识别中越来越频繁地用于提取深度特征，这些特征可用于识别系统中，以注册和识别新的个体。据透露，深度神经网络存在一个基本问题，即它们可以意外地对通过轻微扰动正确识别的输入而形成的示例进行错误分类。已经开发了各种方法来生成这些所谓的对抗性示例，但它们的目标是攻击端到端网络。对于生物识别技术，人们自然会问，使用深度特征的系统是否对攻击免疫，或者至少比端到端网络更有弹性。在本文中，我们介绍了一种称为分层源目标合成（LOTS）的通用技术，该技术可有效地用于形成模仿目标深层特征的对抗性示例。我们分析并比较了端到端VGG Face网络与在图库模板和提取的深度特征之间使用欧几里得或余弦距离的系统的对抗鲁棒性。我们证明了迭代LOTS是非常有效的，并表明利用深度特征的系统比端到端网络更容易受到攻击。
2018-05-31 cs.CV
Heuristic Black-box Adversarial Attacks on Video Recognition Models
Jilin University（吉林大学）；Fudan University（复旦大学）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）
我们研究了黑盒环境下攻击视频识别模型的问题，在黑盒环境下，模型信息是未知的，对手只能进行查询来检测预测的前1类及其概率。与对图像的黑盒攻击相比，攻击视频更具挑战性，因为由于视频的高维性，搜索视频上的对抗性扰动的计算成本要高得多。为了克服这一挑战，我们提出了一种启发式黑盒攻击模型，该模型仅在选定的帧和区域上生成对抗性扰动。更具体地说，提出了一种基于竞争的算法来衡量视频中每个帧对生成对抗性示例的重要性。该算法根据框架的重要性，在生成的对抗样本具有较强的对抗攻击能力的框架子集中搜索一个子集，同时保持扰动小于给定的界。此外，为了进一步提高攻击效率，我们建议只在选定帧的显著区域上生成扰动。以这种方式，所生成的扰动在时间域和空间域中都是稀疏的。在UCF-101数据集和HMDB-51数据集上对两种主流视频识别方法进行攻击的实验结果表明，所提出的启发式黑盒对抗攻击方法可以显著降低计算开销，并使两种数据集上的非目标攻击的查询次数减少28%以上.
2019-11-21 cs.CV
Attacking Compressed Vision Transformers
New York University（纽约大学）
视觉Transformer因其卓越的性能而越来越多地嵌入到工业系统中，但其内存和功耗要求使得将其部署到边缘设备成为一项具有挑战性的任务。因此，模型压缩技术现在被广泛用于在边缘设备上部署模型，因为它们降低了资源需求并使模型推理非常快速和高效。但是，从安全角度来看，它们的可靠性和鲁棒性是安全关键型应用程序中的另一个主要问题。对抗攻击就像ML算法的光学错觉，它们会严重影响模型的准确性和可靠性。在这项工作中，我们研究了SOTA视觉Transformer模型中对抗样本在3个SOTA压缩版本中的可转移性，并推断出不同压缩技术对对抗攻击的影响。
2022-09-28 cs.CV cs.LG
Attacking Adversarial Defences by Smoothing the Loss Landscape
University of Edinburgh（爱丁堡大学）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）
本文研究了一系列防御对抗攻击的方法，这些方法的成功部分归功于创建一个嘈杂的、不连续的或其他崎岖的损失环境，使对手难以驾驭。一种常见但不通用的实现这种效果的方法是通过使用随机神经网络。我们证明了这是梯度混淆的一种形式，并提出了基于维尔斯特拉斯变换的基于梯度的对手的一般扩展，它平滑了损失函数的表面并提供了更可靠的梯度估计。我们进一步表明，同样的原则可以加强无梯度的对手。我们证明了我们的损失平滑方法对随机和非随机对抗性防御的有效性，这些防御由于这种类型的混淆而表现出鲁棒性。此外，我们还分析了它如何与期望转换相互作用;目前用于攻击随机防御的流行梯度采样方法。
2022-08-05 cs.CR cs.CV cs.LG
Emotion Loss Attacking: Adversarial Attack Perception for Skeleton based on Multi-dimensional Features
East China Normal University（华东师范大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对骨架动作识别提出一种结合多维动态距离函数与情感特征的对抗攻击方法，并利用ADMM优化生成不可感知性更强的对抗样本，在多个分类器和数据集上验证了有效性。
2024-06-28 cs.AI cs.CV
On the Robustness of Domain Adaption to Adversarial Attacks
Chongqing University（重庆大学）
最先进的深度神经网络（DNN）已被证明在无监督域自适应（UDA）方面具有出色的性能。然而，最近的工作表明，DNN在受到对抗性样本攻击时表现不佳，这些攻击是通过简单地向原始图像添加小干扰来实现的。虽然已有大量的工作致力于此，但据我们所知，还没有系统的研究无监督领域自适应模型的鲁棒性。因此，我们首次讨论了无监督域自适应对对抗性攻击的鲁棒性。对域自适应中的各种对抗攻击和防御设置进行了基准测试，提出了一种基于伪标签的跨域攻击方法。最重要的是，我们分析了不同的数据集，模型，攻击方法和防御方法的影响。我们的工作直接证明了无监督领域自适应模型的鲁棒性有限，我们希望我们的工作能够促使社会各界更加关注提高模型对攻击的鲁棒性。
2021-08-04 cs.CV
Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）
本文首次系统研究对抗样本对分割一切模型（SAM）的攻击，以掩码移除为基本目标，在白盒与黑盒设置下验证其脆弱性，并发现可生成任意目标掩码。
2023-05-08 cs.AI cs.CV
Attacking Bayes: On the Adversarial Robustness of Bayesian Neural Networks
New York University（纽约大学）
本文通过三类任务上的攻击实验，证明贝叶斯神经网络及其不确定性预测流程并不天然具备对抗鲁棒性，并纠正了先前工作中的概念与实验错误。
2024-04-27 cs.AI cs.CV cs.LG
Keep It Real: Challenges in Attacking Compression-Based Adversarial Purification
ETH Zürich（苏黎世联邦理工学院）
本文针对基于压缩的对抗性净化方法构建了白盒和自适应攻击，发现高真实感、高保真的图像重建能提供固有鲁棒性并显著增加攻击难度，指明克服真实感是未来安全评估的重要挑战。
2025-11-01 cs.CV cs.LG eess.IV
Attacking Perceptual Similarity Metrics
Portland State University（波特兰州立大学）
本研究系统评估感知相似性度量对不可感知对抗扰动的鲁棒性，发现常见攻击可翻转其判断，并提出结合空间与PGD攻击的迁移方法，为度量鲁棒性研究提供基准。
2023-05-15 cs.CV eess.IV
Boosting Adversarial Attacks on Neural Networks with Better Optimizer
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
卷积神经网络在图像识别任务中的表现优于人类，但它们仍然容易受到来自对抗性样本的攻击。由于这些数据是通过向正常图像添加难以察觉的噪声来制作的，因此它们的存在对深度学习系统构成了潜在的安全威胁。具有强大攻击性能的复杂对抗性示例也可以用作评估模型鲁棒性的工具。然而，对抗攻击的成功率可以在黑盒环境中进一步提高。因此，本研究将修正的Adam梯度下降演算法与迭代梯度攻击法结合。然后使用所提出的Adam迭代快速梯度方法来提高对抗性示例的可移植性。在ImageNet上的大量实验表明，该方法比现有的迭代法具有更高的攻击成功率。通过扩展我们的方法，我们在防御模型上实现了95.0%的最先进的攻击成功率。
2021-06-09 cs.CV
Attacking deep networks with surrogate-based adversarial black-box methods is easy
FiveAI
最近关于黑盒对抗攻击的一系列工作已经通过将其集成到基于查询的搜索中，重新使用了从代理模型的传输。然而，我们发现，现有的这种类型的方法低于其潜力，而且可能过于复杂。在这里，我们提供了一个简短而简单的算法，通过使用代理网络的类分数梯度的搜索来实现最先进的结果，而不需要其他先验或先验知识。该算法的指导假设是，所研究的网络在基本意义上学习类似的功能，因此从一个到另一个的转移攻击应该相当“容易”。这一假设通过极低的查询计数和失败率得到了验证：例如，使用ResNet-152作为代理对VGG-16 ImageNet网络进行无针对性攻击，其查询计数中位数为6，成功率为99.9%。代码可在https://github.com/fiveai/GFCS上获得。
2022-03-16 cs.CR cs.CV cs.LG
Adversarial Machine Learning: Attacking and Safeguarding Image Datasets
Saarland University（萨尔大学）
本文在四个常见图像数据集上评估CNN对FGSM对抗攻击的脆弱性，并通过对抗训练进行防护，发现对抗训练可提升鲁棒性但仍有性能损失，强调需构建更强的真实世界防御方法。
2025-01-31 cs.CV cs.LG
Feedback-based Modal Mutual Search for Attacking Vision-Language Pre-training Models
Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）
针对VLP模型黑盒攻击可迁移性受限问题，提出基于反馈的模态互搜索范式FMMS，通过模态互损失引导对抗样本更新并结合目标模型反馈迭代优化，在图文匹配任务上性能超越现有最优基线。
2024-08-27 cs.AI cs.CV cs.LG
Attacking the Loop: Adversarial Attacks on Graph-based Loop Closure Detection
School of Computer Science, University of Auckland（奥克兰大学计算机科学学院）；Institute for Medical Informatics, Statistics and Documentation, Medical University Graz（格拉茨医科大学医学信息学、统计学与文档学研究所）；Callaghan Innovation（卡拉汉创新公司）
针对基于图的回环检测存在的安全漏洞，提出采用特征向量中心性扰动与SVM-RBF代理模型的黑盒对抗攻击框架Adversarial-LCD，实验证明其攻击性能与扰动选择效率均优于现有方法。
2023-12-12 cs.CV cs.RO
Attention-Guided Black-box Adversarial Attacks with Large-Scale Multiobjective Evolutionary Optimization
Anhui University（安徽大学）；Anqing Normal University（安庆师范大学）
由于深度神经网络（DNN）的结构先验知识总是未知的，因此使用黑盒优化来欺骗DNN已经成为一种流行的对抗攻击方式。然而，最近的黑盒对抗攻击在处理高分辨率图像时可能难以平衡其攻击能力和生成的对抗示例（AE）的视觉质量。在本文中，我们提出了一个注意力引导的黑盒对抗攻击的基础上大规模多目标进化优化，称为LMOA。通过考虑图像的空间语义信息，我们首先利用注意图来确定扰动像素。利用注意力机制减少受干扰的像素，而不是攻击整个图像，可以帮助避免臭名昭著的维数灾难，从而提高攻击的性能。其次，采用大规模多目标进化算法遍历显著区域中的约简像素。受益于其特性，生成的AE有可能欺骗目标DNN，同时被人类视觉感知。大量的实验结果验证了所提出的LMOA在ImageNet数据集上的有效性。更重要的是，与现有的黑盒对抗攻击相比，它在生成具有更好视觉质量的高分辨率AE方面更具竞争力。
2022-01-13 cs.CV
Fashion-Guided Adversarial Attack on Person Segmentation
TEHTRIS；National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；University of Tokyo（东京大学）
本文提出了第一个基于对抗性实例的方法来攻击人类实例分割网络，简称人分割网络，这比分类网络更难欺骗。我们提出了一种新的时尚引导对抗攻击（FashionAdv）框架，自动识别目标图像中的可攻击区域，以尽量减少对图像质量的影响。它生成从时尚风格图像中学习的对抗性纹理，然后将它们覆盖在原始图像中的服装区域上，使图像中的所有人对人物分割网络不可见。合成的对抗性纹理是不显眼的，对人眼来说看起来很自然。通过鲁棒性训练和联合攻击目标网络的多个组件，增强了所提出方法的有效性。大量的实验证明了FashionAdv在网络空间中图像操作和存储的鲁棒性以及对人眼的自然表现方面的有效性。代码和数据在我们的项目页面https://github.com/nii-yamagishilab/fashion_adv上公开发布
2021-04-20 cs.CV
Boosting Adversarial Transferability of MLP-Mixer
Beijing Institute of Technology（北京理工大学）
基于MLP-Mixer和ViTs等新体系结构的模型的安全性亟待研究。然而，目前的研究主要是针对针对ViTs的对抗攻击，针对MLP-mixer的对抗研究还相对较少。我们提出了一种针对MLP混合器的对抗攻击方法，称为麦克斯韦恶魔攻击（MA）。MA通过控制MLP Mixer各层Mixer的部分输入，打破MLP Mixer的通道混合和标记混合机制，干扰MLP Mixer获取图像的主要信息。我们的方法可以屏蔽Mixer层的部分输入，避免对抗性示例对源模型的过拟合，并提高跨架构的可移植性。广泛的实验评估表明，所提出的MA的有效性和优越的性能。我们的方法可以很容易地与现有的方法相结合，并可以提高高达38.0%的基于MLP的ResMLP的可移植性。通过我们的方法在MLP-Mixer上生成的对抗性示例能够超过使用DenseNet生成的对抗性示例对CNN的可移植性。据我们所知，我们是第一个研究MLP-混合器的对抗可转移性的工作。
2022-04-26 cs.CV
Boosting Adversarial Transferability through Enhanced Momentum
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Microsoft Research Asia（微软亚洲研究院）
众所周知，深度学习模型容易受到通过在良性图像上添加人类无法察觉的扰动而制作的对抗性示例的影响。现有的许多对抗攻击方法都取得了很好的白盒攻击性能，但在攻击其他模型时表现出较低的可移植性。各种基于动量迭代梯度的方法被证明是有效的，以提高对抗性的可转移性。在下文中，我们提出了一种增强的基于动量迭代梯度的方法，以进一步增强对抗性可转移性。具体地说，我们不是在迭代过程中只累积梯度，而是额外地累积在前一次迭代的梯度方向上采样的数据点的平均梯度，以便稳定更新方向并摆脱差的局部最大值。在标准ImageNet数据集上的大量实验表明，我们的方法可以提高基于动量的方法的对抗性可转移性，平均提高11.1%。此外，通过结合各种输入转换方法，对抗性的可转移性可以进一步显着提高。我们还在整体模型设置下攻击了几个额外的高级防御模型，平均增强了至少7.8%。
2021-03-19 cs.CV
StyLess: Boosting the Transferability of Adversarial Examples
The Hong Kong Polytechnic University（香港理工大学）
针对可迁移攻击混淆风格与内容特征的问题，本文提出 StyLess，利用经自适应实例归一化扰动的风格化代理模型生成不依赖非鲁棒风格特征的对抗扰动，显著提升黑盒攻击可迁移性。
2023-04-23 cs.CV
Staircase Sign Method for Boosting Adversarial Attacks
University of Electronic Science and Technology of China（电子科技大学）
为基于传输的攻击制作对抗性示例具有挑战性，并且仍然是研究热点。目前，这样的攻击方法是基于替代模型和受害者模型学习相似的决策边界的假设，并且它们常规地应用符号方法（SM）来操纵梯度作为结果扰动。虽然SM是有效的，但它只提取梯度单元的符号，而忽略了它们的值的差异，这不可避免地导致偏差。因此，我们提出了一种新的阶梯符号方法（S $^2$ M）来缓解这个问题，从而提高攻击。从技术上讲，我们的方法根据梯度单元的值将梯度符号划分为几个部分，然后为每个部分分配一个阶梯权重，以便更好地制作对抗性扰动。因此，我们的对抗性示例在白盒和黑盒方式下都表现得更好，而不会更明显。由于S $^2$ M只对合成梯度进行操作，因此我们的方法可以被集成到FGSM算法族中，并且计算开销可以忽略不计。在ImageNet数据集上的大量实验证明了我们提出的方法的有效性，这些方法显着提高了可转移性（即，平均而言，\textbf{5.1\%}用于正常训练的模型，而\textbf{12.8\%}用于对抗训练的防御）。我们的代码可在\url{https://github.com/qilong-zhang/Staircase-sign-method}上找到。
2022-04-12 cs.CV
[Re] Boosting the Visual Interpretability of CLIP via Adversarial Fine-Tuning
University of Amsterdam（阿姆斯特丹大学）；student.uva.nl（阿姆斯特丹大学学生网络（注：此处为学生所属域名，实际机构为阿姆斯特丹大学））
本文复现ICLR 2025的CLIP对抗微调研究，提出带能量指向游戏损失的显著图引导正则化扩展，可提升定位指标且对零样本精度影响可控，重构代码库支持系统性实验。
2026-10-14 cs.CV
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University（上海交通大学）
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用，并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明，经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外，与正常训练的DNN相比，对抗训练的DNN具有更多的成分，这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
Curls & Whey: Boosting Black-Box Adversarial Attacks
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
基于深度神经网络的图像分类器受到对抗性样本的干扰。黑盒迭代攻击存在两个缺陷，即通过递增地调整每一步的噪声添加方向来生成对抗性样本。一方面，现有的迭代攻击沿梯度上升方向单调地添加噪声，导致生成的迭代轨迹缺乏多样性和适应性。另一方面，通过添加过多的噪声来执行对抗攻击是微不足道的，但是目前没有细化机制来挤压冗余噪声。在这项工作中，我们提出了Curls & Whey黑盒攻击来修复上述两个缺陷。在Curls迭代过程中，通过结合梯度上升和下降，我们将迭代轨迹“卷曲”起来，以将更多的多样性和可移植性集成到对抗性示例中。Curls迭代也验证了现有迭代攻击中的边际效应递减。乳清优化利用对抗扰动的鲁棒性，进一步挤压噪声的“乳清”。在Imagenet和Tiny-Imagenet上的大量实验表明，我们的方法在l2范数下实现了令人印象深刻的噪声幅度降低。Curls & Whey攻击也显示出对集成模型以及对抗训练模型的可移植性。此外，我们将攻击扩展到目标误分类，有效地降低了黑盒条件下目标攻击的难度。
2019-04-02 cs.CV
Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models
Zhejiang University（浙江大学）；Shanghai Maritime University（上海海事大学）；Zhejiang Gongshang University（浙江工商大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
针对大视觉模型对抗训练成本高、现有鲁棒微调方法效果不及全参数微调的问题，提出超对抗调优方法HyperAT，通过超网络生成不同防御的LoRA并融合，高效提升模型对抗鲁棒性，达到新的SOTA。
2024-10-08 cs.CV
Boosting Adversarial Transferability Against Defenses via Multi-Scale Transformation
Shantou University（汕头大学）
本文提出分段高斯金字塔（SGP）攻击方法，通过高斯滤波与多种下采样构建多尺度输入并平均梯度，以增强对抗样本对防御模型的迁移性，实验显示攻击成功率提升2.3%至32.6%。
2025-07-02 cs.CV
Boosting the Transferability of Video Adversarial Examples via Temporal Translation
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）
尽管基于深度学习的视频识别模型取得了显著的成功，但它们容易受到对抗性示例的影响，这些示例是通过在干净的视频样本上添加人类无法感知的扰动而生成的。正如最近的研究所表明的那样，对抗性示例是可转移的，这使得黑盒攻击在现实世界中的应用变得可行。然而，现有的大多数对抗攻击方法在攻击其他视频模型时具有较差的可移植性，并且对视频模型的基于移植的攻击仍然是未被探索的。为此，我们建议提高视频对抗示例的可转移性，以用于对视频识别模型的黑盒攻击。通过大量的分析，我们发现，不同的视频识别模型依赖于不同的歧视性时间模式，导致视频对抗性的例子的可移植性差。这促使我们引入一种时间翻译攻击方法，该方法优化了一组时间翻译视频片段上的对抗性扰动。通过在翻译的视频上生成对抗性示例，生成的对抗性示例对被攻击的白盒模型中存在的时间模式不太敏感，因此可以更好地传输。在Kinetics-400数据集和UCF-101数据集上的大量实验表明，我们的方法可以显着提高视频对抗示例的可移植性。针对视频识别模型的基于传输的攻击，它在Kinetics-400上的平均攻击成功率为61.56%，在UCF-101上的平均攻击成功率为48.60%。代码可在https://github.com/zhipeng-wei/TT上获得。
2021-12-28 cs.CV
Rethinking Model Ensemble in Transfer-based Adversarial Attacks
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；RealAI
本文重新审视迁移对抗攻击中的模型集成，从损失景观平坦性和局部最优邻近性定义共同弱点，并提出CWA以显著提升对抗样本跨模型迁移与黑盒攻击能力。
2024-03-04 cs.CV
Frequency Domain Model Augmentation for Adversarial Attack
University of Electronic Science and Technology of China（电子科技大学）；Beihang University（北京航空航天大学）；Hunan University（湖南大学）
对于黑盒攻击，替代模型和受害模型之间的差距通常很大，这表现为弱攻击性能。同时攻击不同的模型可以提高对抗性样本的可移植性，基于此，提出了利用变换图像模拟不同模型的模型增强方法。然而，现有的变换空间域不翻译显着不同的增强模型。为了解决这个问题，我们提出了一种新的频谱模拟攻击，以针对正常训练和防御模型制作更多可转移的对抗性示例。具体来说，我们对输入应用频谱变换，从而在频域中执行模型增强。我们从理论上证明了从频域得到的变换会导致不同的频谱显着图，我们提出了一个指标来反映替代模型的多样性。值得注意的是，我们的方法通常可以与现有的攻击相结合。在ImageNet数据集上进行的大量实验证明了我们的方法\textit{e.g.}的有效性，它攻击了9个最先进的防御模型，平均成功率为\textbf{95.4\%}。我们的代码在\url{https://github.com/yuyang-long/SSA}中可用。
2022-07-12 cs.CV
An Adaptive Model Ensemble Adversarial Attack for Boosting Adversarial Transferability
Fuzhou University（福州大学）；Yuan Ze University（元智大学）
本文提出自适应集成攻击AdaEA，通过监测各模型贡献差异比率自适应融合输出并引入差异缩减滤波器，从而显著提升对抗样本在不同架构模型间的迁移性。
2023-08-05 cs.CV
Attacking the Spike: On the Transferability and Security of Spiking Neural Networks to Adversarial Examples
Lehigh University（莱文大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；North Carolina State University（北卡罗来纳州立大学）；University of Rhode Island（罗德岛大学）；Northeastern University（东北大学）
本文研究了脉冲神经网络（SNN）在对抗示例中的鲁棒性，揭示了对抗攻击的转移性，并提出了混合动态脉冲估计（MDSE）攻击方法，以提高SNN和非SNN模型的对抗示例生成效果。
2026-05-21 cs.AI cs.CR cs.CV
Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems
Technische Universität Darmstadt（达姆施塔特工业大学）
对文本的视觉修改通常用于混淆社交媒体中的攻击性评论（例如，"! d10 t”）或作为写作风格（“leet speak”中的“1337”），以及其他场景。我们认为这是NLP中的一种新型对抗攻击，正如我们对简单和更困难的视觉输入扰动的实验所证明的那样，人类对这种环境非常鲁棒。然后，我们研究了视觉对抗攻击对当前NLP系统在字符，单词和单词级任务上的影响，结果表明，与人类相比，神经和非神经模型对这种攻击非常敏感，性能下降高达82%。然后，我们探索了三种屏蔽方法-视觉字符嵌入，对抗训练和基于规则的恢复-这大大提高了模型的鲁棒性。然而，屏蔽方法仍然落后于在非攻击场景中实现的性能，这表明了处理视觉攻击的难度。
2020-06-10 cs.CL cs.CR cs.CV
AutoZOOM: Autoencoder-based Zeroth Order Optimization Method for Attacking Black-box Neural Networks
University of Michigan（密歇根大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of California, Los Angeles（加州大学洛杉矶分校）；JD AI Research（京东人工智能研究院）；National Taiwan University of Science and Technology（台湾科技大学）
最近的研究表明，当目标模型对攻击者透明时，由深度神经网络（DNN）训练的最先进的图像分类器中的对抗性示例可以很容易地生成，称为白盒设置。然而，当攻击部署的机器学习服务时，只能获取目标模型的输入输出对应关系;这就是所谓的黑盒攻击设置。现有的黑盒攻击的主要缺点是需要过多的模型查询，这可能会给一个错误的感觉模型的鲁棒性，由于低效的查询设计。为了弥合这一差距，我们提出了一个通用的框架查询效率的黑盒攻击。我们的框架AutoZOOM是Autoencoder-based Zeroth Order Optimization Method的缩写，它有两个新的构建模块来实现高效的黑盒攻击：（i）一个自适应随机梯度估计策略来平衡查询计数和失真，以及（ii）一个自动编码器，它可以使用未标记的数据进行离线训练，也可以使用双线性递归操作来加速攻击。实验结果表明，通过将AutoZOOM应用于最先进的黑盒攻击（ZOO），可以在不牺牲攻击成功率和所产生的对抗性示例的视觉质量的情况下显著减少模型查询。特别是，与标准的ZOO方法相比，AutoZOOM在MNIST、CIFAR-10和ImageNet数据集上找到成功的对抗性示例（或达到相同的失真水平）时，可以将平均查询计数持续减少至少93%，从而对对抗性鲁棒性产生了新的见解。
2020-01-31 cs.CR cs.CV stat.ML
Boosting Adversarial Transferability via High-Frequency Augmentation and Hierarchical-Gradient Fusion
Shantou University（汕头大学）
本文提出FSA对抗攻击框架，通过融合频域高频增强与空间域分层梯度技术，显著提升对抗样本在黑盒模型间的可迁移性，平均攻击成功率较BSR提升23.6%。
2025-05-27 cs.CV eess.IV
Boosting Black-Box Adversarial Attacks with Meta Learning
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
深度神经网络（DNN）在不同领域取得了显著的成功。然而，已经证明DNN即使在黑盒设置中也非常容易受到对抗性示例的影响。大量的黑盒攻击方法已经被提出。然而，这些方法通常遭受低的成功率和大的查询计数，这不能完全满足实际目的。在本文中，我们提出了一种混合攻击方法，该方法在代理模型上训练Meta对抗扰动（MAP），并通过估计模型的梯度来执行黑盒攻击。我们的方法使用Meta对抗扰动作为初始化，随后训练任何黑盒攻击方法几个时期。此外，MAP具有良好的可移植性和通用性，在某种意义上，它们可以用来提高其他黑盒对抗攻击方法的性能。大量的实验表明，我们的方法不仅可以提高攻击成功率，但也减少了查询的数量相比，其他方法。
2022-03-28 cs.CR cs.CV cs.LG
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Boosting Adversarial Transferability with Spatial Adversarial Alignment
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（智能机器人与先进制造学院，复旦大学）；College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学）；China Southern Power Grid Artificial Intelligence Technology Co., Ltd.（中国南方电网人工智能技术有限公司）；School of Computer Science, Peking University（北京大学计算机学院）；vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司）
提出空间对抗对齐（SAA）方法，通过空间与对抗感知对齐微调替代模型，增强对抗样本跨架构（如CNN到ViT）的可迁移性，实验验证其在ImageNet上的有效性。
2025-10-24 cs.CR cs.CV
MUTEN: Boosting Gradient-Based Adversarial Attacks via Mutant-Based Ensembles
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）
深度神经网络（DNN）容易受到对抗性样本的攻击，这对安全关键型应用程序造成了严重威胁。这激发了许多关于提供机制以使模型对对抗攻击更鲁棒的研究。不幸的是，大多数防御措施（例如梯度掩蔽）都可以通过不同的攻击手段轻松克服。在本文中，我们提出了MUTEN，这是一种低成本的方法，可以提高针对梯度掩蔽模型的知名攻击的成功率。我们的想法是将攻击应用于通过在训练后突变原始模型元素而构建的集成模型。由于我们发现突变体的多样性是提高成功率的一个关键因素，我们设计了一个贪心算法来有效地产生多样的突变体。在MNIST、SVHN和CIFAR 10上的实验结果表明，MUTEN可以将四次攻击的成功率提高高达0.45。
2021-09-27 cs.CR cs.CV cs.LG
Boosting Adversarial Training with Hypersphere Embedding
Tsinghua University（清华大学）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合中心）；THBI Lab（清华大学高等研究院）
对抗训练（AT）是深度学习模型抵御对抗攻击的最有效方法之一。在这项工作中，我们提倡将超球嵌入（HE）机制纳入AT过程中，通过将特征正则化到紧凑流形上，这构成了一个轻量级但有效的模块，以融入表示学习的强度。我们广泛的分析表明，AT和HE很好地耦合，从几个方面有利于对抗训练模型的鲁棒性。我们通过将HE嵌入到流行的AT框架（包括PGD-AT、ALP和TRADES）以及FreeAT和FastAT策略中，验证了HE的有效性和适应性。在实验中，我们在CIFAR-10和ImageNet数据集上评估了各种对抗攻击下的方法，这验证了集成HE可以始终如一地增强每个AT框架的模型鲁棒性，并且只需很少的额外计算。
2020-11-25 cs.CR cs.CV cs.LG
SegPGD: An Effective and Efficient Adversarial Attack for Evaluating and Boosting Segmentation Robustness
University of Oxford（牛津大学）；University of Munich（慕尼黑大学）；The University of Hong Kong（香港大学）
本文提出高效分割对抗攻击 SegPGD，并通过收敛性分析证明其在相同迭代次数下优于 PGD，同时将其用于对抗训练以提升分割模型鲁棒性。
2023-08-14 cs.CV eess.IV
Boosting Adversarial Transferability via Fusing Logits of Top-1 Decomposed Feature
Xiamen University（厦门大学）；University of Trento（特伦托大学）
本文提出基于奇异值分解的特征级攻击方法，利用中间层Top-1奇异值相关特征计算logits并与原始logits融合，以低计算成本显著提升对抗样本对黑盒模型的迁移性。
2023-07-05 cs.CR cs.CV
Boosting Adversarial Training via Fisher-Rao Norm-based Regularization
University of Liverpool（利物浦大学）
本文利用Fisher-Rao范数分析模型复杂度并提出LOAT正则化框架，有效缓解了对抗训练中鲁棒性与准确性的权衡问题，显著提升了多种主流算法的性能。
2024-03-26 cs.CV cs.LG
LGV: Boosting Adversarial Example Transferability from Large Geometric Vicinity
University of Luxembourg（卢森堡大学）；University of California, Berkeley（加州大学伯克利分校）
我们提出了大几何邻域（LGV）的可转移性，这是一种增加黑盒对抗攻击可转移性的新技术。LGV从预训练的代理模型开始，并以恒定且高的学习率从几个额外的训练时期收集多个权重集。LGV利用了我们与可转移性相关的两个几何性质。首先，属于更广泛的权重最优值的模型是更好的替代品。其次，我们确定了一个子空间，能够产生一个有效的替代合奏之间的这个更广泛的最佳。通过大量的实验，我们表明，LGV单独优于所有（组合）四个既定的测试时间转换1.8至59.9个百分点。我们的研究结果揭示了权重空间的几何形状在解释对抗性示例的可转移性方面的重要性。
2022-07-26 cs.CR cs.CV cs.LG
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时，这是非常具有挑战性的，因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性，则更有可能将攻击能力转移到其他模型的假设，基于集合的对抗攻击方法是一种有效的黑盒攻击方法，被广泛应用。然而，集成攻击的方式是相当少的研究，和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中，我们把迭代集成攻击作为一个随机梯度下降优化过程，在不同的模型上的梯度的方差可能会导致不良的局部最优。为此，我们提出了一种新的攻击方法称为随机方差减少集成（SVRE）攻击，它可以减少集成模型的梯度方差，并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明，该方法可以提高对抗性可转移性，并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks
University of Notre Dame（圣母大学）
在许多具有现实后果的应用中，为人工智能决策系统所做的预测开发可靠的不确定性估计至关重要。针对估计不确定性的目标，已经提出了各种基于深度神经网络（DNN）的不确定性估计算法。然而，这些算法返回的不确定性的鲁棒性还没有被系统地探讨。在这项工作中，为了提高研究界对鲁棒不确定性估计的认识，我们表明，最先进的不确定性估计算法可能会在我们提出的对抗攻击下发生灾难性失败，尽管它们在不确定性估计方面表现出色。特别是，我们的目标是攻击域外不确定性估计：在我们的攻击下，不确定性模型将被愚弄，对域外数据进行高置信度的预测，而这些数据最初会被拒绝。在各种基准图像数据集上的大量实验结果表明，最先进的方法估计的不确定性很容易被我们的攻击破坏。
2022-10-12 cs.AI cs.CV cs.LG
Boosting the Transferability of Adversarial Attacks with Reverse Adversarial Perturbation
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）
深度神经网络（DNN）已被证明容易受到对抗性示例的影响，这些示例可能会通过注入不可感知的扰动来产生错误的预测。在这项工作中，我们研究了对抗性示例的可移植性，这一点非常重要，因为它对模型架构或参数通常未知的现实应用构成了威胁。许多现有的工作表明，对抗性示例可能会过拟合生成它们的代理模型，从而限制其针对不同目标模型的转移攻击性能。为了减轻过拟合的代理模型，我们提出了一种新的攻击方法，称为反向对抗扰动（RAP）。具体来说，我们主张通过为优化过程的每一步注入最坏情况的扰动（反向对抗扰动）来寻找位于具有统一低损失值的区域的对抗示例，而不是最小化单个对抗点的损失。RAP的对抗攻击是一个最小-最大双层优化问题。通过将RAP融入到攻击的迭代过程中，我们的方法可以找到更稳定的对抗性样本，这些样本对决策边界的变化不太敏感，从而减轻了代理模型的过拟合。全面的实验比较表明，RAP可以显着提高对抗转移性。此外，RAP可以自然地与许多现有的黑盒攻击技术相结合，以进一步提高可移植性。当攻击一个真实世界的图像识别系统Google Cloud Vision API时，我们获得了比比较方法更高的22%的性能。我们的代码可在https://github.com/SCLBD/Transfer_attack_RAP上获得。
2022-10-12 cs.CR cs.CV cs.LG
Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent AI Lab（腾讯人工智能实验室）
本文研究了针对深度神经网络（DNN）的黑盒对抗攻击，攻击者只能访问被攻击的DNN模型返回的查询反馈，而其他信息，如模型参数或训练数据集是未知的。一种改进攻击性能的有希望的方法是利用一些白盒代理模型和目标模型之间的对抗性可转移性（即，被攻击的模型）。然而，由于代理模型和目标模型之间在模型架构和训练数据集上可能存在差异，被称为“代理偏差”，对抗性可移植性对提高攻击性能的贡献可能会减弱。为了解决这个问题，我们创新性地提出了一种黑盒攻击方法，通过开发一种新的对抗性转移机制，该机制对代理偏差具有鲁棒性。该方法的基本思想是通过传递代理模型的条件对抗分布（CAD）的部分参数，同时根据对目标模型的查询学习未传递的参数，以保持对新的良性样本调整目标模型CAD的灵活性。在基准数据集上的大量实验和对真实世界API的攻击表明，该方法具有优越的攻击性能。
2021-03-18 cs.CR cs.CV cs.LG
Generalizable Black-Box Adversarial Attack with Meta Learning
Tsinghua University（清华大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）；University of Electronic Science and Technology of China（电子科技大学）
在黑盒对抗攻击场景中，目标模型的参数是未知的，攻击者的目标是在一定的查询预算下，根据查询反馈找到一个成功的对抗性扰动。由于反馈信息的有限性，现有的基于查询的黑盒攻击方法往往需要多次查询才能攻击出一个良性样本。为了降低查询成本，我们建议利用历史攻击的反馈信息，称为示例级对抗性可转移性。具体而言，通过将对每个良性示例的攻击视为一项任务，我们通过训练元生成器来生成以良性示例为条件的扰动，从而开发了一个元学习框架。当攻击一个新的良性示例时，Meta生成器可以根据新任务的反馈信息以及一些历史攻击来快速微调，以产生有效的扰动。此外，由于元训练过程消耗许多查询来学习可泛化的生成器，我们利用模型级对抗性可移植性，在白盒代理模型上训练元生成器，然后将其转移到帮助攻击目标模型。所提出的具有两种对抗性可转移性的框架可以自然地与任何现成的基于查询的攻击方法相结合，以提高其性能，这已经通过大量的实验得到了验证。
2023-01-01 cs.CR cs.CV cs.LG
Standard detectors aren't (currently) fooled by physical adversarial stop signs
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
对抗性示例是指在测试时被调整为在系统中显示错误标签的示例。如果存在可以欺骗检测器的对抗性例子，它们可以被用来（例如）在充满智能车辆的道路上造成严重破坏。最近，我们描述了我们在创建欺骗检测器的物理对抗性停止标志时遇到的困难。最近，Evtimov等人制作了一个物理对抗停止标志，欺骗了检测器的代理模型。在本文中，我们证明了这些物理对抗停止符号在标准配置中不会欺骗两个标准检测器（YOLO和Faster RCNN）。Evtimov等人的构造依赖于将图像裁剪到停止标志;然后调整此裁剪的大小并将其呈现给分类器。我们认为，裁剪和重绘程序在很大程度上消除了重新缩放和视角的影响。对抗攻击在重新缩放和改变视角方向的情况下是否鲁棒仍然没有定论。我们认为攻击分类器与攻击检测器是非常不同的，并且检测器的结构-必须搜索自己的限界框，并且不能非常准确地估计该框-可能使对抗模式变得困难。最后，一个物理对象上的对抗性模式，如果能够欺骗探测器，那么它在面对一系列参数失真（尺度、视角、探测器内部的框移位、照明等）时，必须是对抗性的。这种模式将具有重大的理论和实践意义。目前没有证据表明存在这种模式。
2017-10-26 cs.AI cs.CV cs.GR
RDA: Robust Domain Adaptation via Fourier Adversarial Attacking
Singtel Cognitive and Artificial Intelligence Lab for Enterprises（Singtel企业认知与人工智能实验室）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
无监督领域自适应（Unsupervised domain adaptation，UDA）是一种在有标记的源域中进行监督损失，在无标记的目标域中进行无监督损失的自适应算法，由于监督源域损失具有明显的域间隙，而无监督目标域损失由于缺乏标注而往往带有噪声，因此UDA算法通常面临比经典监督学习更严重的过拟合问题。本文提出了一种鲁棒的领域自适应技术RDA，该技术引入对抗性攻击来减轻UDA中的过拟合。我们实现了强大的领域自适应通过一种新的傅立叶对抗攻击（FAA）的方法，允许大幅度的扰动噪声，但具有最小的修改图像的语义，前者是至关重要的，其生成的对抗样本的有效性，由于“域间隙”的存在。具体来说，FAA将图像分解为多个频率分量（FC），并通过扰动某些捕获很少语义信息的FC来生成对抗样本。使用FAA生成的样本，训练可以继续“随机游走”并漂移到具有平坦损耗景观的区域，从而导致更鲁棒的领域自适应。在多个领域自适应任务上的大量实验表明，RDA可以以优异的性能与不同的计算机视觉任务一起工作。
2021-08-15 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT（麻省理工学院）；IBM Research（IBM研究院）；JD AI Research（京东人工智能研究院）；UC Davis（加州大学戴维斯分校）
视觉语言基础在现代神经图像描述系统中被广泛研究，其通常采用由两个主要组件组成的编码器-解码器框架：用于图像特征提取的卷积神经网络（CNN）和用于语言字幕生成的递归神经网络（RNN）。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性，我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法，检查神经图像描述系统是否会被误导，输出一些随机选择的标题或关键字。我们广泛的实验表明，我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例，并且对抗性示例可以高度转移到其他图像描述系统。因此，我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Attacking Motion Estimation with Adversarial Snow
University of Stuttgart（斯图加特大学）
当前用于运动估计（光流）的对抗攻击优化小的每像素扰动，这不太可能出现在现实世界中。相比之下，我们利用现实世界的天气现象进行新的攻击，并对雪进行了优化。在我们的攻击的核心是一个可区分的渲染器，一贯集成真实感雪花与现实运动到3D场景。通过优化，我们得到了对抗雪，显着影响光流，而从普通的雪是无法区分的。令人惊讶的是，我们的新攻击的影响是最大的方法，以前表现出高鲁棒性小L_p扰动。
2022-10-20 cs.CV cs.LG
Proving Common Mechanisms Shared by Twelve Methods of Boosting Adversarial Transferability
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Peking University（北京大学）
虽然已经提出了许多方法来增强对抗性扰动的可转移性，但这些方法都是以启发式方式设计的，并且提高对抗性可转移性的本质机制仍然不清楚。本文从统一的角度总结了先前12种可迁移性提升方法所共有的共同机制，即，这些方法都减少了区域对抗扰动之间的博弈论交互。为此，我们专注于区域对抗扰动之间的所有相互作用的攻击效用，我们首先发现并证明了对抗转移性和相互作用的攻击效用之间的负相关性。基于这一发现，我们从理论上证明并实证验证了12种先前的可转移性提升方法都减少了区域对抗性扰动之间的相互作用。更重要的是，我们认为减少相互作用是增强对抗性可转移性的根本原因。此外，我们设计的相互作用损失直接惩罚攻击过程中区域对抗扰动之间的相互作用。实验结果表明，交互损失显著提高了对抗扰动的可传递性。
2022-07-24 cs.AI cs.CV cs.LG
Attacking Important Pixels for Anchor-free Detectors
Chengdu University of Information Technology（成都信息工程大学）；Carnegie Mellon University（卡内基梅隆大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Microsoft Research Asia（微软亚洲研究院）
深度神经网络已被证明易受对抗攻击的攻击：细微的扰动可以完全改变预测结果。现有的对目标检测的对抗攻击集中于攻击基于锚点的检测器，这对于无锚点的检测器可能不能很好地工作。在本文中，我们提出了第一个专门针对无锚检测器的对抗攻击。它是一种类别攻击，同时攻击类别的所有实例的重要像素。我们的攻击表现在两种形式，稀疏类攻击（SCA）和密集类攻击（DCA），最小化$L_0$和$L_\infty$范数为基础的扰动，分别。对于DCA，我们提出了三种变体，DCA-G，DCA-L和DCA-S，分别选择一个全局区域，一个局部区域和一个语义区域进行攻击。我们在包括PascalVOC，MS-COCO和MS-COCO Keypoints在内的大规模基准数据集上的实验表明，我们提出的方法在目标检测和人体姿态估计任务上都达到了最先进的攻击性能和可移植性。
2023-01-26 cs.CV
