The Weaknesses of Adversarial Camouflage in Overhead Imagery
IQT Labs（IQT实验室）
机器学习对于分析不断增长的头顶图像语料库越来越重要。先进的计算机视觉目标检测技术在从卫星和无人机图像中识别船舶、汽车和飞机等感兴趣的目标方面取得了巨大成功。然而，依赖于计算机视觉会暴露出重大的漏洞，即目标检测算法对对抗攻击的敏感性。在本文中，我们探讨了对抗性伪装的有效性和缺点，在一个开销的图像背景下。虽然最近的一些论文已经证明了使用对抗补丁可靠地欺骗深度学习分类器和对象检测器的能力，但大多数工作都是在相对统一的数据集上进行的，并且只有一类对象。在这项工作中，我们利用VisDrone数据集，它具有广泛的视角和对象大小。我们探索四种不同的对象类：公共汽车，汽车，卡车，货车。我们构建了一个包含24个对抗性补丁的库来伪装这些对象，并为我们的补丁引入了一个补丁透明度变量。贴片的透明度（或α值）与其功效高度相关。此外，我们还表明，虽然对抗性补丁可能会欺骗对象检测器，但这种补丁的存在往往很容易被发现，补丁平均比补丁要隐藏的对象高出24%。这就提出了这样的补丁是否真正构成伪装的问题。源代码可在https://github.com/IQTLabs/camolo上获得。
2022-07-06 cs.CV
Budget-Aware Adaptive Adversarial Patches for Black-Box Object Detection
提出一种查询高效、预算自适应的黑盒攻击方法，结合上下文汤普森采样放置和NES像素更新，在严格纯图像抑制测试下，对CNN和Transformer检测器实现强抑制，并揭示查询-视觉足迹权衡。
2026-06-18 cs.CR cs.CV
Physically Adversarial Infrared Patches with Learnable Shapes and Locations
Beihang University（北京航空航天大学）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
由于红外目标检测器在安全关键任务中的广泛应用，有必要评估其对现实世界中对抗性示例的鲁棒性。然而，由于数字世界到物理世界的复杂转换，目前很少有物理红外攻击在实际应用中实现起来比较复杂。为了解决这个问题，在本文中，我们提出了一种物理上可行的红外攻击方法称为“对抗红外补丁”。考虑到红外摄像机通过捕获目标的热辐射成像的机理，对抗性红外贴片通过在目标物体上贴上一片隔热材料来操纵其热分布，从而进行攻击。为了增强对抗攻击，我们提出了一种新的聚合正则化，以指导同时学习补丁的形状和位置的目标对象。因此，可以采用简单的基于梯度的优化来求解它们。我们验证对抗红外补丁在不同的目标检测任务与各种目标检测器。实验结果表明，在不同角度、不同距离、不同姿态和不同场景下，与行人检测器和车辆检测器相比，该方法的攻击成功率（ASR）达到90%以上.更重要的是，对抗性红外贴片易于实现，在物理世界中构建仅需0.5小时，验证了其有效性和高效性。
2023-03-24 cs.CV
Attention Deficit is Ordered! Fooling Deformable Vision Transformers with Collaborative Adversarial Patches
University of California, Riverside（加州大学河滨分校）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国家工程师学院）；Queen’s University Belfast（贝尔法斯特女王大学）
针对可变形视觉Transformer的稀疏注意力结构，首次提出操纵其注意力的对抗攻击及协作攻击，仅修改不到1%的补丁区域即可使单视角和多视角目标检测性能完全失效。
2023-12-25 cs.CR cs.CV
Feasibility of Inconspicuous GAN-generated Adversarial Patches against Object Detection
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
对抗补丁生成的标准方法会导致嘈杂的明显模式，这些模式很容易被人类识别。最近的研究提出了几种使用生成对抗网络（GANs）生成自然斑块的方法，但只有其中一些在目标检测用例中进行了评估。此外，现有技术主要集中在通过将单个大的限界框与面片直接重叠来抑制输入中的单个大的边界框。抑制面片附近的对象是一项不同的、更复杂的任务。在这项工作中，我们评估了现有的方法来生成不显眼的补丁。我们已经调整了最初为不同计算机视觉任务开发的方法，以适应YOLOv3和COCO数据集的目标检测用例。我们已经评估了两种方法来生成自然的补丁：通过将补丁生成到GAN训练过程中，并通过使用预训练的GAN。对于这两种情况下，我们已经评估了性能和自然的补丁外观之间的权衡。我们的实验表明，使用预训练的GAN有助于获得逼真的补丁，同时保持与传统对抗补丁相似的性能。
2022-07-15 cs.CV cs.LG
Fool the Hydra: Adversarial Attacks against Multi-view Object Detection Systems
Ecole Nationale d’Ingénieurs de Sousse（苏塞国立工程师学院）；University of California Riverside（加州大学河滨分校）；Queen’s University Belfast（贝尔法斯特女王大学）
本文研究多视角目标检测系统对对抗补丁的鲁棒性，发现其并非天然安全，并提出两种新攻击方法，分别针对多视角CNN和Transformer框架，显著降低了检测性能。
2023-11-30 cs.CR cs.CV
Fight Fire with Fire: Combating Adversarial Patch Attacks using Pattern-randomized Defensive Patches
School of Information, Renmin University of China（中国人民大学信息学院）
本文提出一种以攻为守的对抗性补丁防御方法，通过注入随机化的金丝雀和啄木鸟补丁来探测和反击攻击，无需修改模型，且对未知和自适应攻击均表现出高鲁棒性和低开销。
2024-11-08 cs.CV
APRICOT: A Dataset of Physical Adversarial Attacks on Object Detection
The MITRE Corporation（米特公司）
本文提出包含1000多张标注照片的物理对抗攻击数据集APRICOT，分析了物理对抗补丁对目标检测模型的攻击效果，并建立了多种防御方法的基线，为相关研究提供基准。
2020-08-20 cs.CV
On Physical Adversarial Patches for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们展示了针对对象检测器的物理对抗补丁攻击，特别是YOLOv3检测器。与以前的工作物理目标检测攻击，这需要补丁被错误分类或避免检测的对象重叠，我们表明，一个适当设计的补丁可以抑制几乎所有检测到的对象在图像中。也就是说，我们可以将补丁放置在图像中的任何地方，导致图像中所有现有的物体都被检测器完全错过，即使是那些远离补丁本身的物体。这反过来又开辟了针对目标检测系统的新的物理攻击路线，该系统不需要修改场景中的对象。该系统的演示可以在https://youtu.be/WXnQjbZ1e7Y上找到。
2019-06-20 cs.CR cs.CV cs.LG
Adversarial YOLO: Defense Human Detection Patch Attacks via Detecting Adversarial Patches
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
目标检测系统的安全性越来越受到人们的关注，特别是在面对对抗性补丁攻击时。由于补丁攻击改变了对象上受限区域的像素，因此它们很容易在物理世界中实现，特别是对于攻击人类检测系统。现有的补丁攻击防御方法大多应用于图像分类问题，难以抵抗人为检测攻击。针对这一关键问题，我们提出了一个高效和有效的插件防御组件的YOLO检测系统，我们命名为广告YOLO。主要思想是在YOLO架构上添加一个补丁类，它的推理增量可以忽略不计。因此，Ad-YOLO有望直接检测感兴趣的对象和对抗性补丁。据我们所知，我们的方法是针对人类检测攻击的第一个防御策略。我们研究了Ad-YOLO在YOLOv 2基线上的性能。为了提高Ad-YOLO检测各种补丁的能力，我们首先使用对抗训练过程来开发基于Inria数据集的补丁数据集，我们将其命名为Inria-Patch。然后，我们通过Pascal VOC，Inria和Inria-Patch数据集的组合来训练Ad-YOLO。在VOC 2007测试集上，Ad-YOLO实现了人的$0.70\%$ AP，在面对白盒补丁攻击时，其性能远远优于YOLOv 2的$33.93\%$ AP。此外，与YOLOv 2相比，面对物理世界攻击的结果也被包括在内，以证明Ad-YOLO的优秀的泛化能力。
2021-03-16 cs.CV
Dynamic Adversarial Patch for Evading Object Detection Models
Ben-Gurion University of the Negev（本-古里安大学）
最近的研究表明，用于计算机视觉的神经网络模型（例如，YOLO和Fast R-CNN）容易受到对抗性规避攻击。大多数针对对象检测器的现有现实世界对抗攻击使用附着到目标对象的对抗补丁（例如，一个精心制作的贴纸放在一个停止标志）。这种方法可能对相机相对于目标对象的位置的变化不鲁棒;此外，当应用于诸如汽车的非平面对象时，它可能不起作用。在这项研究中，我们提出了一种针对对象检测器的创新攻击方法，该方法应用于现实世界的设置中，解决了现有攻击的一些局限性。我们的方法使用动态对抗补丁，这些补丁被放置在目标对象上的多个预定位置。应用对抗性学习算法以生成所使用的补丁。动态攻击是通过根据相机的位置（即，目标检测系统的位置）。为了在真实世界的设置中演示我们的攻击，我们通过将平面屏幕连接到目标对象来实现补丁;屏幕用于显示补丁并根据当前相机位置在它们之间切换。因此，攻击是动态的，并根据情况进行自我调整，以达到最佳效果。我们通过以汽车为目标对象攻击YOLOv 2对象检测器来评估我们的动态补丁方法，并在从宽视角范围拍摄汽车时成功地在高达90%的视频帧中误导它。我们通过生成考虑目标对象及其分类之间的语义距离的补丁来改进攻击。我们还检查了攻击在不同车型之间的可转移性，并能够在71%的时间内误导检测器。
2020-10-25 cs.CR cs.CV cs.LG
You Cannot Easily Catch Me: A Low-Detectable Adversarial Patch for Object Detectors
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
盲点或彻底的欺骗可能会困扰和欺骗机器学习模型。无法识别的物体，如数字“贴纸”，也被称为对抗补丁，可以欺骗面部识别系统，监控系统和自动驾驶汽车。幸运的是，大多数现有的对抗补丁都可以被称为对抗补丁检测器的简单分类网络所欺骗，禁用和拒绝，该网络将对抗补丁与原始图像区分开来。对象检测器对图像内的对象的类型进行分类和预测，例如通过区分摩托车手和摩托车，同时还通过在每个对象周围“绘制”所谓的边界框来定位每个对象在图像内的位置，再次将摩托车手和摩托车分开。然而，为了更好地训练检测器，我们需要在探测模型的盲点时，不断地让它们经历令人困惑或欺骗性的对抗补丁。对于这样的探测器，我们提出了一种新的方法，即低可检测的对抗补丁，它用小而纹理一致的对抗补丁攻击对象检测器，使这些对手不太可能被识别出来。具体地说，我们使用几个几何图元来模拟的形状和位置的补丁。为了提高我们的攻击性能，我们还分配不同的权重的边界框方面的损失函数。在常用检测数据集COCO和驾驶视频数据集D2-City上的实验表明，LDAP是一种有效的攻击方法，可以抵抗对抗性补丁检测器。
2021-09-30 cs.AI cs.CV
PAD: Patch-Agnostic Defense against Adversarial Patch Attacks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间安全学院）
本文提出PAD方法，利用对抗性补丁的语义独立性和空间异质性特性，无需先验知识或额外训练即可定位并移除对抗性补丁，兼容任意预训练目标检测器，在数字和物理实验中显著优于现有方法。
2024-04-25 cs.CV
Breaking the Illusion: Real-world Challenges for Adversarial Patches in Object Detection
Graz University of Technology（格拉茨工业大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
本研究针对YOLO目标检测网络，在现实世界中测试全局和局部两种对抗性补丁，分析补丁参数对攻击效果的影响，揭示现实条件下攻击面临的挑战，为开发更鲁棒的防御提供依据。
2024-11-26 cs.CV cs.LG
Adversarial Manhole: Challenging Monocular Depth Estimation and Semantic Segmentation Models with Patch Attack
Pusan National University（釜山国立大学）；SmartM2M（智能M2M）
本文提出一种模仿井盖的对抗性补丁攻击方法，通过Depth Planar Mapping精确定位以欺骗单目深度估计和语义分割模型，导致场景误判，在MDE中造成43%相对误差，在SS中达96%成功率，并验证了其物理有效性和跨模型适应性。
2024-08-27 cs.CV
SpaNN: Detecting Multiple Adversarial Patches on CNNs by Spanning Saliency Thresholds
KTH Royal Institute of Technology（皇家理工学院）
SpaNN是一种不依赖固定显著性阈值、计算复杂度与补丁数量无关的对抗性补丁检测器，通过集成二值化特征图聚类，在目标检测和分类上分别超越现有防御最多11和27个百分点。
2025-06-23 cs.CV cs.LG
DisPatch: Disarming Adversarial Patches in Object Detection with Diffusion Models
Clemson University（克莱姆森大学）
本文提出DisPatch，一种基于扩散模型的物体检测防御框架，通过再生和修正策略消除对抗性补丁，有效提升检测鲁棒性，实验表明其在隐藏攻击和生成攻击中均表现优异。
2026-03-23 cs.CV
Digital-to-Physical Transfer of Adversarial Patches for Aerial Vehicle Detection
School of Information Technology, Incheon National University（信息科技学院，Incheon国立大学）
本文通过数字优化和物理部署，评估了针对YOLOv3空中飞行器检测器的物理对抗性补丁攻击，发现ON补丁在物理环境中鲁棒性更强。
2026-05-29 cs.AI cs.CV
Learning Transferable 3D Adversarial Cloaks for Deep Trained Detectors
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种新的基于补丁的对抗攻击管道，在三维人体网格上训练对抗补丁。我们在参考人体网格上采样三角形面部，并在这些面部上创建对抗性纹理图谱。对抗性纹理被转移到各种姿势的人类网格中，这些网格被渲染到真实世界背景图像的集合上。与传统的基于补丁的对抗攻击相反，先前的工作试图使用附加的对抗补丁来欺骗训练的对象检测器，这种新形式的攻击被映射到3D对象世界，并通过可微分渲染反向传播到纹理图谱。因此，对抗补丁在与真实世界材料一致的变形下进行训练。此外，与现有的对抗补丁不同，我们的新3D对抗补丁被证明可以在不同的视图下稳健地欺骗最先进的深度对象检测器，这可能导致在物理世界中持续强大的攻击方案。
2021-04-22 cs.AI cs.CV
Evaluating the Robustness of Semantic Segmentation for Autonomous Driving against Real-World Adversarial Patch Attacks
Scuola Superiore Sant’Anna（圣安娜高等研究院）
深度学习和卷积神经网络可以在计算机视觉任务中实现令人印象深刻的性能，例如目标检测和语义分割（SS）。然而，最近的研究表明，这种模型对对抗性扰动的明显弱点。相反，在现实世界的场景中，比如自动驾驶，应该更多地关注现实世界的对抗性示例（RWAE），它们是物理对象（例如，广告牌和可打印的补丁）被优化为对抗整个感知管道。本文通过测试数字和现实世界对抗补丁的效果，对流行的SS模型的鲁棒性进行了深入评估。这些补丁是精心制作的强大的攻击与一个新的损失函数丰富。首先，通过扩展期望转换（EOT）范式来应对SS，对Cityscapes数据集进行了调查。然后，提出了一种新的攻击优化，称为场景特定攻击。这种攻击利用CARLA驾驶模拟器来提高所提出的基于EOT的攻击到真实3D环境的可转移性。最后，在户外驾驶场景中测试了包含对抗补丁的印刷物理广告牌，以评估所研究的攻击在现实世界中的可行性。详尽的实验表明，提出的攻击公式优于以前的工作，为SS制作数字和现实世界的对抗补丁。与此同时，实验结果表明，这些攻击在现实世界中的效果明显较差，因此质疑对抗攻击与SS模型的实际相关性。
2021-08-13 cs.CV
Adversarial Camera Patch: An Effective and Robust Physical-World Attack on Object Detectors
University of Electronic Science and Technology of China（电子科技大学）
针对现有相机物理攻击需在镜头部署多个贴片、复杂度高的问题，本文提出单一对抗性相机贴片 ADCP，以更简洁的方式对目标检测器实施隐蔽物理攻击。
2023-12-11 cs.CV
IPatch: A Remote Adversarial Patch
Ben-Gurion University（本-古里安大学）
自动驾驶汽车和医疗筛查等应用使用深度学习模型来定位和识别单个帧中的数百个对象。在过去，已经证明了攻击者如何通过在场景中放置对抗补丁来欺骗这些模型。但是，这些补丁必须放置在目标位置，并且不会显式地改变图像中其他位置的语义。在本文中，我们介绍了一种新型的对抗补丁，它改变了模型对图像语义的感知。这些补丁可以放置在图像中的任何地方，以改变远离补丁的位置的分类或语义。我们将这类新的对抗性示例称为“远程对抗补丁”（RAP）。我们实现了自己的RAP，称为IPatch，并使用CamVid街景数据集上的五种最先进的架构和八种不同的编码器对图像分割RAP攻击进行了深入分析。此外，我们证明了攻击可以扩展到对象识别模型与流行的YOLOv3模型的初步结果。我们发现，补丁可以改变远程目标区域的分类，平均成功率高达93%。
2021-06-02 cs.AI cs.CR cs.CV
PatchZero: Defending against Adversarial Patch Attacks by Detecting and Zeroing the Patch
对抗补丁攻击通过在局部区域内注入对抗像素来误导神经网络。补丁攻击可以在各种任务中非常有效，并且可以通过附着（例如贴纸）到现实世界的对象来物理实现。尽管攻击模式的多样性，对抗补丁往往是高度纹理化的，并且在外观上与自然图像不同。我们利用这一特性，并提出PatchZero，这是一种针对白盒对抗补丁的通用防御管道，无需重新训练下游分类器或检测器。具体来说，我们的防御检测在像素级的对手和“零”的补丁区域重新绘制的平均像素值。我们进一步设计了一个两阶段的对抗训练方案，以抵御更强的自适应攻击。PatchZero在图像分类（ImageNet，REISC 45），目标检测（PASCAL VOC）和视频分类（UCF 101）任务上实现了SOTA防御性能，而良性性能几乎没有下降。此外，PatchZero可以转移到不同的补丁形状和攻击类型。
2022-09-05 cs.CR cs.CV cs.LG
Segment and Complete: Defending Object Detectors against Adversarial Patch Attacks with Robust Patch Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）
目标检测在许多安全关键系统中起着关键作用。对抗性补丁攻击在物理世界中很容易实现，对最先进的对象检测器构成严重威胁。为对象检测器开发针对补丁攻击的可靠防御是至关重要的，但严重缺乏研究。在本文中，我们提出了分段和完全防御（SAC），一个通用的框架，通过检测和删除敌对补丁，保护对象检测器免受补丁攻击。我们首先训练一个补丁分割器，输出补丁掩模，提供像素级定位的对抗补丁。然后，我们提出了一种自对抗训练算法来增强补丁分割器的鲁棒性。此外，我们设计了一个强大的形状完成算法，这是保证从图像中删除整个补丁，如果补丁分割器的输出在一定的汉明距离的地面真理补丁掩模。我们在COCO和xView数据集上的实验表明，SAC即使在强自适应攻击下也具有出色的鲁棒性，并且在干净图像上的性能没有降低，并且可以很好地推广到看不见的补丁形状，攻击预算和看不见的攻击方法。此外，我们提出了APRICOT-Mask数据集，它通过对抗补丁的像素级注释来增强APRICOT数据集。我们表明SAC可以显着降低物理补丁攻击的目标攻击成功率。我们的代码可在https://github.com/joellliu/SegmentAndComplete上获得。
2022-05-02 cs.CR cs.CV eess.IV
ARMOR: Manifold-Oriented Training for Adversarially Robust Aerial Object Detection under Data Scarcity
Georgia Institute of Technology（佐治亚理工学院）；Khalifa University（哈利法大学）；Technology Innovation Institute（技术创新研究院）
ARMOR 是一种面向流形的新型防御方法，通过掩码图像背景、在目标上注入随机补丁，在数据稀缺时提升航拍目标检测器的对抗鲁棒性，维持强干净性能且优于现有最优防御。
2026-09-09 cs.CR cs.CV cs.LG
Environmental Matching Attack Against Unmanned Aerial Vehicles Object Detection
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；National University of Singapore（新加坡国立大学）；Sun Yat-Sen University（中山大学）
针对无人机目标检测对抗补丁自然性不足的问题，提出环境匹配攻击EMA，借助预训练stable diffusion的文本引导及色彩调整优化零初始化对抗扰动补丁，兼顾攻击性能与环境匹配的自然性。
2024-05-13 cs.AI cs.CV
IPG: Incremental Patch Generation for Generalized Adversarial Patch Training
Department of Software（软件系）
针对对抗补丁威胁AI模型鲁棒性的问题，提出增量式补丁生成方法IPG，其生成效率最高较现有方法提升11.1倍且攻击性能相当，生成的补丁泛化性强，相关数据集可支撑鲁棒模型构建与AI安全防御，应用前景广阔。
2025-08-13 cs.AI cs.CV eess.IV
CDUPatch: Color-Driven Universal Adversarial Patch Attack for Dual-Modal Visible-Infrared Detectors
Chinese Academy of Military Science（中国军事科学院）；Shanghai Jiao Tong University（上海交通大学）
本文提出CDUPatch，一种利用颜色热吸收差异并通过RGB到红外适配器统一优化跨模态补丁的通用攻击方法，结合多尺度裁剪和MSDrone数据集，在可见光-红外双模态检测器上实现了跨尺度、视角和场景的强攻击迁移性。
2025-07-18 cs.AI cs.CV
Enhancing Object Detection Robustness: Detecting and Restoring Confidence in the Presence of Adversarial Patch Attacks
Electrical and Computers Engineering（电气与计算机工程系）；Ben Gurion University of The Negev（本·古里安大学）
本研究针对YOLOv5目标检测模型面临的对抗性补丁攻击，提出结合EigenCAM与网格搜索优化补丁放置，并评估了SAC、Inpainting和潜在扩散模型三种防御方法。结果表明，潜在扩散模型能显著恢复并超越原始检测置信度，展现出最佳的防御效果。
2025-06-27 cs.AI cs.CV
Using Frequency Attention to Make Adversarial Patch Powerful Against Person Detector
Guilin University of Electronic Technology（桂林电子科技大学）
深度神经网络（DNN）容易受到对抗攻击的攻击。具体地，对象检测器可以通过将特定的对抗补丁应用于图像而被攻击。然而，由于补丁在预处理过程中收缩，大多数现有的方法，采用对抗补丁攻击对象检测器将降低攻击成功率的小型和中型目标。本文提出了一个频率模块（FRAN），一个频域注意力模块，用于指导补丁生成。这是第一个引入频域注意力来优化对抗补丁攻击能力的研究。我们的方法将小型和中型目标的攻击成功率分别提高了4.18%和3.89%，而不是在攻击YOLOv3的同时欺骗人类检测器的最先进的攻击方法，而不会降低大型目标的攻击成功率。
2022-05-11 cs.CV
Real-Time Robust Video Object Detection System Against Physical-World Adversarial Attacks
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Drexel University（德雷塞尔大学）；Northeastern University（东北大学）
基于DNN的视频目标检测（VOD）为自动驾驶和视频监控行业提供了越来越重要的支持和充满希望的机会。然而，对抗补丁攻击由于其实用性、可行性和强大的攻击效果，在实时视觉任务中受到了极大的关注。这项工作提出了Themis，一个软件/硬件系统，以抵御对抗补丁的实时的【形】鲁棒视频目标检测。我们观察到，对抗补丁表现出非常本地化的表面特征的重要性，在一个小的区域与非鲁棒的预测，从而提出了对抗区域检测算法的对抗效应消除。Themis还提出了一个系统化的设计，通过消除冗余计算和内存流量来有效地支持该算法。实验结果表明，该方法可以有效地恢复系统从对抗攻击与可忽略不计的硬件开销。
2022-08-19 cs.AR cs.CR cs.CV
PBCAT: Patch-based composite adversarial training against physically realizable attacks on object detection
Department of Computer Science and Technology, BNRist, IDG/McGovern Institute for Brain Research, THBI, Tsinghua University（清华大学计算机科学与技术系）；University of Science and Technology Beijing（北京科技大学）；Huawei Technologies（华为技术有限公司）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究院）
提出PBCAT，一种基于补丁的复合对抗训练方法，结合局部对抗补丁和全局扰动，统一防御多种物理可实现攻击，显著提升目标检测鲁棒性。
2025-07-09 cs.AI cs.CV cs.LG
Empirical Evaluation of Physical Adversarial Patch Attacks Against Overhead Object Detection Models
RAND Corporation（兰德公司）；Center for Security and Emerging Technology, Georgetown University（乔治城大学安全与新兴技术中心）
对抗补丁是设计用来欺骗其他性能良好的基于神经网络的计算机视觉模型的图像。虽然这些攻击最初是以数字方式构思和研究的，因为图像的原始像素值被扰动，但最近的工作表明，这些攻击可以成功地转移到物理世界。这可以通过打印补丁并将其添加到新捕获的图像或视频片段的场景中来实现。在这项工作中，我们进一步测试了在更具挑战性的条件下物理世界中对抗补丁攻击的有效性。我们考虑在通过航空或卫星摄像机获取的头顶图像上训练的目标检测模型，并测试插入沙漠环境场景中的物理对抗性补丁。我们的主要发现是，在这些条件下成功实施对抗补丁攻击比在先前考虑的条件下要困难得多。这对人工智能安全具有重要意义，因为对抗性例子构成的现实威胁可能被夸大了。
2022-06-25 cs.CV
Role of Spatial Context in Adversarial Robustness for Object Detection
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
在快速目标检测算法中利用空间上下文的好处已经被广泛研究。检测器通过对每个图像进行单次正向传递来提高推理速度，这意味着它们隐式地使用上下文推理进行预测。然而，我们可以证明，对手可以设计不与场景中任何感兴趣的对象重叠的对抗性补丁，并利用上下文推理来欺骗标准检测器。在本文中，我们研究了这个问题，并设计了特定于类别的对抗补丁，使广泛使用的对象检测器（如YOLO）对攻击者选择的对象类别视而不见。我们还表明，在对象检测器训练过程中限制空间上下文的使用可以提高对此类对手的鲁棒性。我们相信基于上下文的对抗攻击的存在是令人担忧的，因为对抗补丁可以在不靠近任何感兴趣对象的情况下影响预测。因此，防御此类攻击变得具有挑战性，我们敦促研究界关注此漏洞。
2020-04-18 cs.CV
Give Me Your Attention: Dot-Product Attention Considered Harmful for Adversarial Patch Robustness
University of Oxford（牛津大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗赖堡大学）
基于注意力的神经架构，如视觉Transformer，正在彻底改变图像识别。它们的主要好处是注意力允许对场景的所有部分进行联合推理。在本文中，我们展示了（缩放）点积注意力的全局推理如何在面对对抗性补丁攻击时成为主要漏洞的来源。我们提供了这个漏洞的理论理解，并将其与对手的能力，误导所有查询的注意力到一个单一的关键令牌的控制下的对抗补丁。我们提出了新的对抗性目标，用于制作明确针对此漏洞的对抗性补丁。我们提出的补丁攻击流行的图像分类（ViTs和DeiTs）和目标检测模型（DETR）的有效性。我们发现，占输入的0.5%的对抗补丁可以导致ImageNet上ViT的鲁棒准确率低至0%，并将MS COCO上DETR的mAP降低到3%以下。
2022-03-25 cs.CV
Adversarial Virtual Exemplar Learning for Label-Frugal Satellite Image Change Detection
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Theresis Thales（泰雷兹Theresis研究院）
卫星图像变化检测的目的是发现在不同时刻拍摄的给定场景中发生的目标变化。由于采购条件和变更的主观性，这项任务极具挑战性。在本文中，我们研究卫星图像变化检测使用主动学习。我们的方法是交互式的，并依赖于一个问答模型，该模型向Oracle（用户）询问有关最具信息性的显示（称为虚拟样本）的问题，并根据用户的响应，更新变化检测。我们的方法的主要贡献在于一个新的对抗模型，允许节俭地探测的神谕，只有最具代表性的，多样化的和不确定的虚拟样本。后者被学习以挑战大多数训练的改变决策标准，这最终导致在主动学习的后续迭代中更好地重新估计这些标准。进行的实验表明，我们提出的对抗性显示模型对其他显示策略以及相关工作的性能。
2022-12-28 cs.CV
Diffusion to Confusion: Naturalistic Adversarial Patch Generation Based on Diffusion Model for Object Detector
National Central University（中央大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
针对物理对抗补丁难以兼顾隐蔽性与攻击效果的问题，提出基于预训练扩散模型采样的自然对抗补丁生成方法，并通过实验验证其质量、自然性与攻击有效性。
2023-07-16 cs.CV
Can 3D Adversarial Logos Cloak Humans?
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science and Technology of China（中国科学技术大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
随着对抗攻击的趋势，研究人员试图在2D场景中欺骗训练有素的物体检测器。在其中许多攻击中，一种有趣的具有潜在现实世界用途的新攻击形式是将对抗性补丁（例如徽标）附加到图像中。然而，我们对3D渲染视图中的对抗攻击知之甚少，这对于攻击在物理世界中持续强大至关重要。本文提出了一种新的3D对抗性徽标攻击：我们从2D纹理图像构造一个任意形状的徽标，并通过称为徽标变换的纹理映射将该图像映射到3D对抗性徽标。然后将生成的3D对抗性徽标视为对抗性纹理，从而可以轻松操纵其形状和位置。这极大地扩展了计算机图形合成图像对抗训练的多功能性。与传统的对抗补丁相反，这种新形式的攻击被映射到3D对象世界，并通过可微渲染反向传播到2D图像域。此外，与现有的对抗补丁不同，我们的新3D对抗标志显示在模型旋转下可以稳健地欺骗最先进的深度对象检测器，从而进一步实现物理世界中的现实攻击。我们的代码可在https://github.com/TAMU-VITA/3D_Adversarial_Logo上获得。
2020-11-27 cs.CV cs.LG stat.ML
RADAP: A Robust and Adaptive Defense Against Diverse Adversarial Patches on Face Recognition
Nanjing University（南京大学）
本文提出RADAP防御机制，通过傅里叶空间采样、边缘感知损失和分割填充策略，提升人脸识别系统对多样化对抗补丁的鲁棒性，同时保持较高干净准确率。
2023-11-29 cs.CR cs.CV
Adversarial Training against Location-Optimized Adversarial Patches
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本研究提出了一种优化对抗补丁位置的方法，并对其应用对抗训练，在CIFAR10和GTSRB上显著提升鲁棒性且不降低准确率。
2020-12-14 cs.CR cs.CV cs.LG
NeRFTAP: Enhancing Transferability of Adversarial Patches on Face Recognition using Neural Radiance Fields
Nanjing University（南京大学）
本文提出NeRFTAP攻击方法，利用基于NeRF的3D-GAN生成新视角人脸图像并结合风格一致性损失，同时提升对抗补丁向FR模型和受害者人脸图像的迁移性，实验证明其优于现有攻击技术。
2023-11-29 cs.CR cs.CV
CapGen:An Environment-Adaptive Generator of Adversarial Patches
Tsinghua University（清华大学）
针对现有对抗补丁易被察觉、忽略元素动态的问题，提出环境自适应的CAPGen方法，发现模式比颜色对攻击性能影响更大，进而提出快速生成策略，实现隐身性与对抗性兼顾。
2024-12-10 cs.CV
Traversing the Subspace of Adversarial Patches
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IOSB（弗劳恩霍夫联合研究所）；Karlsruher Institute of Technology（卡尔斯鲁厄理工学院）
本文验证流形假说于对抗性补丁，分析三种降维方法的重建能力，发现复杂方法不优于主成分分析，并在两个行人检测数据集上评估。
2024-12-02 cs.CV
Jedi: Entropy-based Localization and Removal of Adversarial Patches
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国家工程师学院）；University of California Riverside（加州大学河滨分校）；Queen’s University Belfast（贝尔法斯特女王大学）；CNRS（法国国家科学研究中心）；Université Polytechnique Hauts-de-France（上法兰西综合理工大学）；Université de Jendouba（坚杜巴大学）；Institut National des Technologies et des Sciences du Kef（卡夫国家技术与科学学院）
本文提出模型无关的Jedi防御框架，利用高熵区域识别和自动编码器补全来定位并移除逼真对抗性补丁，在多个基准上实现90%平均检测率和最高94%攻击恢复率。
2023-04-20 cs.CR cs.CV cs.LG
PatchCleanser: Certifiably Robust Defense against Adversarial Patches for Any Image Classifier
Princeton University（普林斯顿大学）
针对图像分类模型的对抗性补丁攻击旨在将对抗性制作的像素注入受限图像区域内（即，补丁）用于引起模型误分类。这种攻击可以在物理世界中通过将补丁打印并附加到受害对象来实现;因此，它对计算机视觉系统构成了现实世界的威胁。为了应对这种威胁，我们设计了PatchCleanser作为对抗性补丁的可靠防御。在PatchCleanser中，我们对输入图像执行两轮像素掩蔽，以中和对抗性补丁的影响。这种图像空间操作使PatchCleanser与任何最先进的图像分类器兼容，以实现高精度。此外，我们可以证明PatchCleanser总是能够预测某些图像上的正确类别标签，以对抗我们的威胁模型中的任何自适应白盒攻击者，从而实现认证的鲁棒性。我们在ImageNet，ImageNet，CIFAR-10，CIFAR-100，SVHN和Flowers-102数据集上广泛评估了PatchCleanser，并证明我们的防御实现了与最先进的分类模型相似的干净准确性，并且还显着提高了先前工作的认证鲁棒性。值得注意的是，PatchCleanser针对1000级ImageNet数据集图像上任何位置2%像素的方形斑块，实现了83.9%的top-1清洁准确度和62.1%的top-1认证稳健准确度。
2022-04-08 cs.CR cs.CV
Design and Interpretation of Universal Adversarial Patches in Face Detection
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；TTIC（丰田工业大学芝加哥分校）
我们认为，通用的对抗补丁的脸-小的视觉元素，除了一张脸的图像可靠地破坏了性能的人脸检测器。与以前的工作主要集中在对抗性示例的算法设计方面，以提高攻击者的成功率不同，在这项工作中，我们展示了对这些补丁的解释，这些补丁可以阻止最先进的人脸检测器检测到真实的人脸。我们研究了一个现象：旨在抑制真实人脸检测的补丁出现人脸。这种现象通常适用于不同的初始化，位置，补丁规模，骨干和最先进的人脸检测框架。我们提出了新的基于优化的方法来自动设计通用对抗补丁，以适应不同的攻击目标，包括在不引入误报的情况下抑制真阳性的情况。我们提出的算法在真实世界的数据集上表现良好，在多个精度/召回指标和可转移性方面欺骗了最先进的人脸检测器。
2020-07-17 cs.CR cs.CV cs.LG
Inconspicuous Adversarial Patches for Fooling Image Recognition Systems on Mobile Devices
Nanyang Technological University（南洋理工大学）
基于深度学习的图像识别系统已被广泛部署在当今世界的移动设备上。然而，在最近的研究中，深度学习模型被证明容易受到对抗性示例的影响。对抗样本的一种变体，称为对抗补丁，由于其强大的攻击能力而引起研究人员的注意。虽然对抗补丁实现了高攻击成功率，但由于补丁和原始图像之间的视觉不一致性，它们很容易被检测到。此外，在文献中，它通常需要大量的数据来生成对抗补丁，这是计算昂贵和耗时的。为了解决这些挑战，我们提出了一种方法来生成不显眼的对抗补丁与一个单一的图像。在我们的方法中，我们首先根据受害者模型的感知灵敏度来确定补丁的位置，然后利用多尺度生成器和鉴别器以粗到细的方式生成对抗补丁。鼓励补丁与对抗训练的背景图像保持一致，同时保持强大的攻击能力。我们的方法显示了强大的攻击能力，在白盒设置和良好的可移植性，在黑盒设置通过广泛的实验，各种模型与不同的架构和训练方法。与其他对抗性补丁相比，我们的对抗性补丁具有最可忽略的检测风险，并且可以逃避人类观察，这得到了显着性图和用户评估结果的支持。最后，我们证明了我们的对抗补丁可以应用于物理世界。
2021-11-21 cs.AI cs.CV
DOEPatch: Dynamically Optimized Ensemble Model for Adversarial Patches Generation
School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）
本文提出DOEPatch方法，通过引入能量概念和动态优化集成模型生成通用对抗补丁，在多个目标检测模型及物理世界中验证了其攻击有效性。
2024-09-29 cs.CV
TnT Attacks! Universal Naturalistic Adversarial Patches Against Deep Neural Network Systems
The University of Adelaide（阿德莱德大学）；Rutgers University（罗格斯大学）
深度神经网络容易受到来自敌对输入的攻击，最近，特洛伊木马误导或劫持模型的决策。通过探索空间有界的对抗示例空间和生成对抗网络内的自然输入空间的超集，我们揭示了一类有趣的空间有界的、物理上可实现的对抗示例--通用自然对抗包--的存在。现在，对手可以用一个补丁来武装自己，这个补丁是自然的，看起来不那么恶意，物理上可实现的，高效的，实现高攻击成功率的，通用的。TnT是通用的，因为在场景中使用TnT捕获的任何输入图像将：i）误导网络（无目标攻击）;或ii）迫使网络做出恶意决定（有目标攻击）。有趣的是，现在，对抗性补丁攻击者有可能施加更高级别的控制-选择位置无关的，自然外观的补丁作为触发器的能力，而不是被限制到嘈杂的扰动-到目前为止，只有特洛伊木马攻击方法才有可能干扰模型构建过程，以嵌入后门风险发现;但是，仍然实现了可在物理世界中部署的补丁。通过对大规模视觉分类任务ImageNet的广泛实验，以及对整个50，000张图像验证集的评估，我们展示了TnTs的现实威胁和攻击的鲁棒性。我们展示了攻击的泛化，以创建补丁，实现比现有的最先进的方法更高的攻击成功率。我们的研究结果显示了攻击对不同视觉分类任务（CIFAR-10，GTSRB，PubFig）和多个最先进的深度神经网络（如WideResnet 50，Inception-V3和VGG-16）的可推广性。
2022-07-26 cs.CR cs.CV
ImageNet-Patch: A Dataset for Benchmarking Machine Learning Robustness against Adversarial Patches
University of Cagliari（卡利亚里大学）；University of Genova（热那亚大学）；Pluribus One（普里布斯一号公司）
针对对抗补丁优化成本高、鲁棒性评估易不理想的问题，提出可跨模型泛化的ImageNet-Patch数据集，经仿射变换后可快速评估鲁棒性，已在127个模型上验证有效性并开源。
2025-01-15 cs.CR cs.CV cs.LG
Distributional Modeling for Location-Aware Adversarial Patches
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
本文提出分布优化对抗补丁（DOPatch），通过优化对抗位置的多模态分布，实现高效黑盒查询攻击，并利用分布建模对抗训练提升模型鲁棒性。
2023-06-28 cs.CV
BadPatch: Diffusion-Based Generation of Physical Adversarial Patches
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（上海智能信息处理关键实验室，计算机科学学院，复旦大学）
提出BadPatch框架，基于扩散模型生成可定制且自然的物理对抗补丁，在保持攻击性能的同时提升隐蔽性，并构建了首个物理对抗T恤数据集AdvT-shirt-1K。
2025-08-10 cs.CV
Generating Adversarial yet Inconspicuous Patches with a Single Image
Nanyang Technological University（南洋理工大学）
深度神经网络已经被证明容易受到对抗补丁的攻击，其中外来模式可能导致模型错误预测。然而，现有的对抗性补丁生成方法很少考虑补丁与图像背景之间的上下文一致性，导致这种补丁很容易被检测到，从而导致对抗攻击失败。另一方面，这些方法需要大量的数据进行训练，这在计算上是昂贵的。为了克服这些挑战，我们提出了一种方法来生成对抗性但不显眼的补丁与一个单一的图像。在我们的方法中，对抗补丁是以一种由粗到细的方式产生的，具有多个尺度的生成器和鉴别器。在Min-Max训练过程中对上下文信息进行编码，以使匹配与环境一致。补丁位置的选择是基于受害者模型的感知灵敏度。通过大量的实验，我们的方法显示出强大的攻击能力，在白盒和黑盒设置。显著性检测实验和用户评价实验表明，该方法能有效地避免人工观察，具有较好的隐蔽性。最后，我们证明了我们的方法保留了物理世界中的攻击能力。
2021-04-21 cs.AI cs.CV
AngleRoCL: Angle-Robust Concept Learning for Physically View-Invariant T2I Adversarial Patches
NKIARI, Shenzhen Futian（深圳福田NKIARI）；VCIP, CS, Nankai University（南开大学VCIP研究所）；CRRC Zhuzhou Institute（株洲CRRC研究所）；CFAR and IHPC, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局CFAR和IHPC）
本文提出AngleRoCL方法，通过学习可泛化的文本嵌入概念，增强T2I扩散模型生成对抗补丁的角度鲁棒性，在多个视角下对五个SOTA检测器实现超过50%的平均攻击有效性提升。
2025-10-24 cs.CV
