Breaking the Limits of Quantization-Aware Defenses: QADT-R for Robustness Against Patch-Based Adversarial Attacks in QNNs
NYU Abu Dhabi（纽约大学阿布扎比分校）；Technology Innovation Institute（技术创新研究院）
本文针对量化神经网络中基于补丁的对抗攻击高可迁移性问题，提出 QADT-R 防御框架，通过自适应量化感知补丁生成、动态位宽训练和梯度不一致正则化，在 CIFAR-10 和 ImageNet 上将攻击成功率最多降低 25%。
2025-03-10 cs.CV
Adversarial Patch Generation for Visual-Infrared Dense Prediction Tasks via Joint Position-Color Optimization
Yanshan University（燕山大学）；University of Exeter（埃克塞特大学）
本文提出AP-PCO框架，通过联合优化位置和颜色生成对抗性补丁，提升视觉-红外密集预测任务中的攻击性能和隐蔽性。
2026-02-27 cs.CV
Robust Physical Adversarial Patches Using Dynamically Optimized Clusters
Australian Institute for Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）；UniSA STEM, University of South Australia（UniSA STEM，南澳大利亚大学）
本文提出了一种基于超像素的正则化方法，通过动态聚类提升对抗补丁在不同尺度下的鲁棒性，从而提高数字和物理领域的性能。
2025-11-23 cs.CV
Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting
Huazhong University of Science and Technology（华中科技大学）；Baidu Inc.（百度公司）；Illinois Institute of Technology（伊利诺伊理工学院）；Duke University（杜克大学）
人群计数由于其在安全关键监控系统中的重要性而受到广泛关注。特别是，深度神经网络（DNN）方法显著降低了人群计数任务的估计误差。最近的研究表明，DNN容易受到对抗攻击的攻击，即，具有人类无法察觉的扰动的正常图像可能会误导DNN做出错误的预测。在这项工作中，我们提出了一种鲁棒的攻击策略，称为动量对抗补丁攻击（APAM），以系统地评估人群计数模型的鲁棒性，其中攻击者的目标是创建一个对抗扰动，严重降低其性能，从而导致公共安全事故（例如，踩踏事故）。特别地，所提出的攻击利用输入图像的极端密度背景信息来经由一系列变换（例如，插值、旋转等）。我们观察到，通过扰动不到6%的图像像素，我们的攻击严重降低了人群计数系统的性能，无论是数字上还是物理上。为了更好地增强人群计数模型的对抗鲁棒性，我们提出了第一个基于回归模型的随机消融（RA），它比对抗训练（ADT）更充分（RA的平均绝对误差在干净样本上比ADT低5，在对抗样本上比ADT低30）。在五个人群计数模型上的实验结果表明了该方法的有效性和通用性。补充材料和证书再培训模型可在\url{https://www.dropbox.com/s/hc4fdx133vht0qb/ACM_MM2021_Supp.pdf?dl=0}上获得
2021-07-28 cs.CV
Sparse patches adversarial attacks via extrapolating point-wise information
Technion – Israel Institute of Technology（以色列理工学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出通过逐点修剪密集对抗扰动的方法，实现多个稀疏补丁位置与扰动的同时优化，并在稀疏对抗攻击多个设置中显著超越现有最先进水平。
2024-11-25 cs.CV cs.LG
Fooling automated surveillance cameras: adversarial patches to attack person detection
KU Leuven（鲁汶大学）
在过去的几年里，对机器学习模型的对抗攻击引起了越来越多的关注。通过对卷积神经网络的输入进行细微的改变，网络的输出可以被改变以输出完全不同的结果。第一次攻击通过稍微改变输入图像的像素值来欺骗分类器输出错误的类。其他方法试图学习可以应用于对象的“补丁”来欺骗检测器和分类器。其中一些方法也表明，这些攻击在现实世界中是可行的，即通过修改对象并用摄像机拍摄。然而，所有这些方法都针对几乎不包含类内变化（例如停止标志）的类。然后使用对象的已知结构在其上生成对抗补丁。在本文中，我们提出了一种针对具有大量类内变化的目标（即人）生成对抗补丁的方法。我们的目标是生成一个补丁，能够成功地隐藏一个人从人检测器。例如，这种攻击可以恶意地用来绕过监控系统，入侵者可以通过在身体前面拿着一个小纸板板瞄准监控摄像头而不被发现。从我们的结果可以看出，我们的系统能够显着降低人员检测器的准确性。我们的方法在现实生活中的场景中也能很好地工作，其中补丁是由相机拍摄的。据我们所知，我们是第一个尝试对具有高水平类内多样性的目标进行这种攻击的人。
2019-04-18 cs.CV
Patch-Fool: Are Vision Transformers Always Robust Against Adversarial Perturbations?
Rice University（莱斯大学）
本文提出 Patch-Fool 攻击框架，通过注意力感知的单 patch 优化欺骗自注意力机制，证明 ViTs 并非总比 CNNs 鲁棒，且扰动密度与强度决定二者鲁棒性排序。
2025-01-04 cs.CV
Generating Adversarial yet Inconspicuous Patches with a Single Image
Nanyang Technological University（南洋理工大学）
深度神经网络已经被证明容易受到对抗补丁的攻击，其中外来模式可能导致模型错误预测。然而，现有的对抗性补丁生成方法很少考虑补丁与图像背景之间的上下文一致性，导致这种补丁很容易被检测到，从而导致对抗攻击失败。另一方面，这些方法需要大量的数据进行训练，这在计算上是昂贵的。为了克服这些挑战，我们提出了一种方法来生成对抗性但不显眼的补丁与一个单一的图像。在我们的方法中，对抗补丁是以一种由粗到细的方式产生的，具有多个尺度的生成器和鉴别器。在Min-Max训练过程中对上下文信息进行编码，以使匹配与环境一致。补丁位置的选择是基于受害者模型的感知灵敏度。通过大量的实验，我们的方法显示出强大的攻击能力，在白盒和黑盒设置。显著性检测实验和用户评价实验表明，该方法能有效地避免人工观察，具有较好的隐蔽性。最后，我们证明了我们的方法保留了物理世界中的攻击能力。
2021-04-21 cs.AI cs.CV
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
深度学习图像分类容易受到对抗攻击的攻击，即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像，使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明，我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
Detecting Patch Adversarial Attacks with Image Residuals
Department of Electrical and Computer Engineering University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
我们介绍了一种基于图像残差的对抗性样本检测算法，专门用于防范基于补丁的攻击。图像残差是作为输入图像和它的去噪版本之间的差异获得的，并且训练一个神经网络来区分干净样本和对抗样本。更确切地说，我们使用小波域算法去噪图像，并证明所获得的残差作为数字指纹的对抗攻击。为了模拟物理对手的局限性，我们评估了我们的方法对本地化（基于补丁）对抗攻击的性能，包括在设置中的对手有完整的知识检测方案。我们的研究结果表明，所提出的检测方法推广到以前看不见的，更强的攻击，它能够降低成功率（相反，增加计算工作量）的自适应攻击。
2020-03-02 cs.CV eess.IV
On the interplay of adversarial robustness and architecture components: patches, convolution and attention
University of Tübingen（图宾根大学）
近年来，图像分类的新架构组件已经开发出来，从Transformers中使用的attention和patch开始。虽然先前的工作已经分析了架构组件的某些方面对对抗攻击的鲁棒性的影响，特别是对于视觉Transformer，但对主要因素的理解仍然有限。我们比较了几种具有不同架构的（非）鲁棒分类器，并研究了它们的特性，包括对抗性训练对学习特征的可解释性和对未知威胁模型的鲁棒性的影响。从ResNet到ConvNeXt的消融揭示了导致几乎$10\%$更高$\ell_\infty$ -稳健性的关键架构变化。
2022-09-14 cs.CV cs.LG
Ti-Patch: Tiled Physical Adversarial Patch for no-reference video quality metrics
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院系统编程研究所可信人工智能研究中心）；Ivannikov Institute for System Programming of the RAS（俄罗斯科学院伊万尼科夫系统编程研究所）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能学院）
针对基于学习的无参考质量指标易受对抗攻击的问题，提出物理空间测试方法Ti-Patch，通过像素与物理空间实验验证其有效性，可补充传统脆弱性评估，相关代码和数据已开源。
2024-04-15 cs.CV eess.IV
BB-Patch: BlackBox Adversarial Patch-Attack using Zeroth-Order Optimization
Netaji Subhas Institute of Technology（纳塔吉·苏巴斯技术学院）；Indraprastha Institute of Information Technology（因德拉普拉斯信息技术学院）
针对现实黑盒场景下仅有部分数据且仅能推测模型架构的限制，本文提出BB-Patch，利用零阶优化生成可放置于图像任意位置的对抗补丁。
2024-05-09 cs.CR cs.CV cs.LG
Physical Passive Patch Adversarial Attacks on Visual Odometry Systems
Technion（以色列理工学院）
众所周知，深度神经网络易受对抗性扰动的影响--这种小扰动会改变网络的输出，并存在于严格的范数限制下。虽然这样的扰动通常被讨论为针对特定的输入，但可以构造通用扰动来改变模型在一组输入上的输出。通用扰动呈现了一种更现实的对抗攻击情况，因为不需要知道模型的确切输入。此外，通用攻击设置提出了对未知数据的泛化问题，其中给定一组输入，通用扰动旨在改变模型对样本外数据的输出。在这项工作中，我们研究了物理被动补丁对抗攻击的视觉里程计为基础的自主导航系统。视觉里程计系统旨在推断两个对应视点之间的相对相机运动，并且经常被基于视觉的自主导航系统用于估计它们的状态。对于这样的导航系统，补丁对抗扰动造成了严重的安全问题，因为它可以被用来误导系统到一些碰撞过程中。据我们所知，我们第一次表明，视觉里程计模型的误差幅度可以显着增加部署补丁对抗攻击的场景。我们对合成闭环无人机导航数据进行了评估，并证明了真实数据中存在类似的漏洞。在https://github.com/patchadversarialattacks/patchadversarialattacks上提供了所提出的方法和所报告的实验的参考实现。
2022-10-04 cs.CV cs.LG
Decision-based Black-box Attack Against Vision Transformers via Patch-wise Adversarial Removal
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）；School of Cyberspace Science and Technology（网络空间安全学院）；Beijing Institute of Technology（北京理工大学）；National Key Laboratory of Science and Technology on Information System Security（信息系统安全科学与技术国家重点实验室）
与卷积神经网络（CNN）相比，视觉变换器（ViT）表现出令人印象深刻的性能和更强的对抗鲁棒性。一方面，ViTs对个体块之间的全局交互的关注降低了图像的局部噪声敏感性。另一方面，现有的基于决策的攻击忽略了图像区域之间的噪声敏感度差异，进一步损害了噪声压缩的效率，特别是对于ViT。因此，当目标模型只能被查询时，验证ViTs的黑盒对抗鲁棒性仍然是一个具有挑战性的问题。在本文中，我们从理论上分析了现有的基于决策的攻击的局限性，从图像的区域之间的噪声敏感性差异的角度来看，并提出了一种新的基于决策的黑盒攻击ViTs，称为Patch-wise对抗性删除（PAR）。PAR通过由粗到细的搜索过程将图像划分为小块，并分别压缩每个小块上的噪声。PAR记录每个补丁的噪声幅度和噪声敏感度，并选择具有最高查询值的补丁进行噪声压缩。此外，PAR可以用作其他基于决策的攻击的噪声初始化方法，以提高ViT和CNN的噪声压缩效率，而无需引入额外的计算。在三个数据集上进行的大量实验表明，PAR在相同的查询次数下实现了更低的噪声幅度。
2022-09-15 cs.CR cs.CV
Adversarial Patch Attacks and Defences in Vision-Based Tasks: A Survey
University of British Columbia（不列颠哥伦比亚大学）；University of Science and Technology of China（中国科学技术大学）；TrojAI Inc.（TrojAI公司）
由于对人工智能模型的安全性和鲁棒性缺乏信任，深度学习模型中的对抗攻击，特别是对于安全关键系统，近年来受到越来越多的关注。然而，更原始的对抗攻击可能在物理上不可行，或者需要一些难以访问的资源，如训练数据，这促使补丁攻击的出现。在本次调查中，我们提供了一个全面的概述，涵盖了对抗补丁攻击的现有技术，旨在帮助感兴趣的研究人员快速赶上这一领域的进展。我们还讨论了开发对抗性补丁的检测和防御的现有技术，旨在帮助社区更好地了解这一领域及其在现实世界中的应用。
2022-06-16 cs.CR cs.CV cs.LG
Fool the Stoplight: Realistic Adversarial Patch Attacks on Traffic Light Detectors
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Department of Technical Cognitive Systems（技术认知系统系）；FZI Research Center for Information Technology（信息技术研究所以）
本文提出在交通信号灯下方放置打印对抗补丁的攻击方法，实现对交通信号灯检测CNN的红转绿标签翻转和图形符号分类攻击，并通过真实世界实验验证其有效性。
2025-06-05 cs.CV cs.LG
Adversarial Patch Attacks on Vision-Based Cargo Occupancy Estimation via Differentiable 3D Simulation
Department of Informatics University of Hamburg（信息学院海德堡大学）
本文首次研究了在物理真实、完全模拟的3D场景中针对货物占用估计的对抗性补丁攻击，通过3D优化补丁在拒绝服务场景中达到84.94%的攻击成功率。
2025-11-24 cs.AI cs.CV
Vision Transformers: the threat of realistic adversarial patches
Vrije Universiteit Brussel（自由大学布鲁塞尔）；Open University of the Netherlands（荷兰开放大学）；Netherlands Defence Academy（荷兰国防学院）；Fraunhofer Institute of Optronics（弗劳恩霍夫光学研究所）；imec；Belgian Royal Military Academy（比利时皇家军事学院）
本研究设计现实对抗补丁，验证其从CNN到ViT的可迁移性，发现不同ViT模型攻击成功率差异显著，预训练规模影响鲁棒性。
2025-09-25 cs.AI cs.CV
STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs
Indian Institute of Technology, Guwahati, India（印度理工学院，古瓦哈蒂，印度）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
STRAP-ViT通过分离异常令牌并应用随机复合变换，有效防御对抗性补丁攻击，实现高鲁棒性。
2026-03-13 cs.CV cs.LG
Energy Attack: On Transferring Adversarial Examples
Shanghai Jiao Tong University（上海交通大学）
在这项工作中，我们提出了能量攻击，一个基于传输的黑盒$L_\infty$ -对抗攻击。该攻击是无参数的，不需要梯度近似。特别地，我们首先获得一个代理模型的白盒对抗扰动，并将这些扰动分成小块。然后，我们提取的单位分量向量和特征值的这些补丁的主成分分析（PCA）。基于特征值，我们可以模拟对抗扰动的能量分布。然后，我们通过根据扰动补丁的能量分布进行采样来执行黑盒攻击，并将采样的补丁平铺以形成全尺寸的对抗性扰动。这可以在没有访问受害者模型的情况下完成。大量的实验表明，所提出的能量攻击在各种模型和多个数据集上的黑盒攻击中达到了最先进的性能。此外，提取的分布能够在不同的模型架构和不同的数据集之间传输，因此是视觉架构所固有的。
2021-09-09 cs.CV cs.LG
Towards Transferable Adversarial Attacks on Vision Transformers
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Department of Computer Science, University of Maryland（马里兰大学计算机科学系）
视觉Transformer（ViTs）在一系列计算机视觉任务中表现出令人印象深刻的性能，但它们仍然受到对抗性示例的影响。%以与CNN类似的方式制作。在本文中，我们认为，对抗攻击Transformers应专门为他们的架构，共同考虑补丁和自我注意，以实现高的可转移性。更具体地说，我们引入了一个双重攻击框架，其中包含一个不注意（PNA）攻击和一个PatchOut攻击，以提高对抗样本在不同ViT之间的可转移性。我们表明，在反向传播过程中跳过注意力梯度可以生成具有高可移植性的对抗性示例。此外，通过在每次迭代中优化补丁的随机采样子集生成的对抗性扰动比使用所有补丁的攻击获得更高的攻击成功率。我们评估了对最先进的ViTs，CNN和经过鲁棒训练的CNN的攻击的可转移性。这些实验的结果表明，所提出的双重攻击可以大大提高ViTs之间以及从ViTs到CNN的可转移性。此外，该方法可以很容易地与现有的传输方法相结合，以提高性能。代码可在https://github.com/zhipeng-wei/PNA-PatchOut上获得。
2022-01-02 cs.AI cs.CV
Adversarial Purification of Information Masking
Nanjing University of Science and Technology（南京理工大学）
本文提出一种名为 IMPure 的新型对抗净化方法，通过掩蔽并重构图像块及混合样本等策略彻底消除对抗扰动，在 ImageNet 数据集上抵御九种攻击达到最先进水平。
2023-11-26 cs.CR cs.CV cs.LG
PatchGuard++: Efficient Provable Attack Detection against Adversarial Patches
Princeton University（普林斯顿大学）
对抗补丁可以任意操纵图像像素在一个有限的区域，以诱导模型误分类。这种局部化攻击的威胁已经引起了极大的关注，因为对手可以通过将补丁附加到受害者对象来发起物理上可实现的攻击。最近的可证明鲁棒的防御通常遵循PatchGuard框架，使用具有小感受野的CNN和安全特征聚合来进行鲁棒的模型预测。在本文中，我们将PatchGuard扩展到PatchGuard++，用于可证明地检测对抗补丁攻击，以提高可证明的鲁棒准确性和干净准确性。在PatchGuard++中，我们首先使用具有小感受野的CNN进行特征提取，以便限制被对抗补丁损坏的特征数量。接下来，我们在特征空间中应用掩码，并在所有可能的掩码特征映射上评估预测。最后，我们从所有掩码预测中提取一个模式来捕获对抗补丁攻击。我们在ImageNet（ImageNet的10类子集），ImageNet和CIFAR-10上评估了PatchGuard++，并证明PatchGuard++显着提高了可证明的鲁棒性和干净的性能。
2021-04-26 cs.CV
Random Position Adversarial Patch for Vision Transformers
Kahlert School of Computing（卡勒特计算学院）；University of Utah（犹他大学）
本文提出G-Patch方法，利用GAN结构生成无需与视觉Transformer线性投影补丁对齐的对抗补丁，可在任意位置实现数字与物理世界中的通用鲁棒攻击。
2023-07-09 cs.CV
Adversarial Patch
Google（谷歌公司）
我们提出了一种在现实世界中创建通用的，鲁棒的，有针对性的对抗图像补丁的方法。补丁是通用的，因为它们可以用来攻击任何场景，健壮的，因为它们在各种各样的变换下工作，有针对性的，因为它们可以导致分类器输出任何目标类。这些对抗补丁可以打印，添加到任何场景，拍照，并呈现给图像分类器;即使补丁很小，它们也会导致分类器忽略场景中的其他项目并报告所选的目标类别。为了重现论文中的结果，我们的代码可以在https://github.com/tensorflow/cleverhans/tree/master/examples/adversarial_patch上找到。
2018-05-17 cs.CV
PAD: Patch-Agnostic Defense against Adversarial Patch Attacks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间安全学院）
本文提出PAD方法，利用对抗性补丁的语义独立性和空间异质性特性，无需先验知识或额外训练即可定位并移除对抗性补丁，兼容任意预训练目标检测器，在数字和物理实验中显著优于现有方法。
2024-04-25 cs.CV
Adversarial YOLO: Defense Human Detection Patch Attacks via Detecting Adversarial Patches
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
目标检测系统的安全性越来越受到人们的关注，特别是在面对对抗性补丁攻击时。由于补丁攻击改变了对象上受限区域的像素，因此它们很容易在物理世界中实现，特别是对于攻击人类检测系统。现有的补丁攻击防御方法大多应用于图像分类问题，难以抵抗人为检测攻击。针对这一关键问题，我们提出了一个高效和有效的插件防御组件的YOLO检测系统，我们命名为广告YOLO。主要思想是在YOLO架构上添加一个补丁类，它的推理增量可以忽略不计。因此，Ad-YOLO有望直接检测感兴趣的对象和对抗性补丁。据我们所知，我们的方法是针对人类检测攻击的第一个防御策略。我们研究了Ad-YOLO在YOLOv 2基线上的性能。为了提高Ad-YOLO检测各种补丁的能力，我们首先使用对抗训练过程来开发基于Inria数据集的补丁数据集，我们将其命名为Inria-Patch。然后，我们通过Pascal VOC，Inria和Inria-Patch数据集的组合来训练Ad-YOLO。在VOC 2007测试集上，Ad-YOLO实现了人的$0.70\%$ AP，在面对白盒补丁攻击时，其性能远远优于YOLOv 2的$33.93\%$ AP。此外，与YOLOv 2相比，面对物理世界攻击的结果也被包括在内，以证明Ad-YOLO的优秀的泛化能力。
2021-03-16 cs.CV
CapGen:An Environment-Adaptive Generator of Adversarial Patches
Tsinghua University（清华大学）
针对现有对抗补丁易被察觉、忽略元素动态的问题，提出环境自适应的CAPGen方法，发现模式比颜色对攻击性能影响更大，进而提出快速生成策略，实现隐身性与对抗性兼顾。
2024-12-10 cs.CV
Benchmarking Adversarial Patch Against Aerial Detection
Northwestern Polytechnical University（西北工业大学）
DNN容易受到对抗性示例的攻击，这给安全关键系统带来了很大的安全问题。本文提出了一种新的基于自适应补丁的物理攻击（AP-PA）框架，其目的是生成在物理动力学和尺度变化方面都具有自适应性的对抗补丁，并通过该补丁隐藏特定目标以避免被检测到。此外，对抗性补丁还具有针对目标外部的补丁的同类所有目标的攻击有效性（无需涂抹目标对象），并且在物理世界中足够强大。此外，设计了一种新的损失，以考虑更多的检测对象的可用信息来优化对抗补丁，这可以显着提高补丁的攻击效率（白盒和黑盒设置的平均精度分别下降到87.86%和85.48%）和优化效率。我们还建立了第一个全面，连贯和严格的基准之一，以评估对抗补丁对空中探测任务的攻击效果。最后，几个比例缩放的实验进行了物理证明，精心制作的对抗补丁可以成功地欺骗空中检测算法在动态的物理环境。该代码可在https://github.com/JiaweiLian/AP-PA上获得。
2022-10-30 cs.CV
Using Frequency Attention to Make Adversarial Patch Powerful Against Person Detector
Guilin University of Electronic Technology（桂林电子科技大学）
深度神经网络（DNN）容易受到对抗攻击的攻击。具体地，对象检测器可以通过将特定的对抗补丁应用于图像而被攻击。然而，由于补丁在预处理过程中收缩，大多数现有的方法，采用对抗补丁攻击对象检测器将降低攻击成功率的小型和中型目标。本文提出了一个频率模块（FRAN），一个频域注意力模块，用于指导补丁生成。这是第一个引入频域注意力来优化对抗补丁攻击能力的研究。我们的方法将小型和中型目标的攻击成功率分别提高了4.18%和3.89%，而不是在攻击YOLOv3的同时欺骗人类检测器的最先进的攻击方法，而不会降低大型目标的攻击成功率。
2022-05-11 cs.CV
Defending Person Detection Against Adversarial Patch Attack by using Universal Defensive Frame
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
人物检测是计算机视觉领域的研究热点，也是以人为中心的计算机视觉的重要组成部分。虽然个人检测网络的预测性能已经得到了显着提高，但它们很容易受到对抗性补丁攻击。改变受限区域中的像素可以很容易地欺骗安全关键应用中的人员检测网络，例如自动驾驶和安全系统。尽管有必要对抗补丁攻击，但很少有人致力于防御对抗补丁攻击的人员检测。在本文中，我们提出了一种新的防御策略，通过优化防御帧的人检测来抵御对抗补丁攻击。防御框架在保持干净人的人检测性能的同时，消除了对抗补丁的效果。提出的防御框架是通过竞争学习算法在检测威胁模块和检测屏蔽模块之间进行迭代竞争来生成的。综合实验结果表明，该方法有效地抵御了对抗补丁攻击的人检测。
2022-10-20 cs.CV
Distributional Modeling for Location-Aware Adversarial Patches
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
本文提出分布优化对抗补丁（DOPatch），通过优化对抗位置的多模态分布，实现高效黑盒查询攻击，并利用分布建模对抗训练提升模型鲁棒性。
2023-06-28 cs.CV
Prompt-Guided Environmentally Consistent Adversarial Patch
Tsinghua University（清华大学）；Anhui University（安徽大学）
本文提出PG-ECAP方法，利用扩散模型生成视觉自然且与环境一致的对抗补丁，通过引入两种对齐损失保持对抗特性，在攻击成功率和环境一致性上优于现有方法。
2024-11-15 cs.CV
Higher-Order Adversarial Patches for Real-Time Object Detectors
Fraunhofer IOSB and Fraunhofer Center for Machine Learning（弗劳恩霍夫联合研究所和弗劳恩霍夫机器学习中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究了高阶对抗性补丁对实时目标检测器的影响，发现其具有更强的泛化能力，但单纯对抗训练不足以有效防御此类攻击。
2026-01-08 cs.CV
Empirical Evaluation of Physical Adversarial Patch Attacks Against Overhead Object Detection Models
RAND Corporation（兰德公司）；Center for Security and Emerging Technology, Georgetown University（乔治城大学安全与新兴技术中心）
对抗补丁是设计用来欺骗其他性能良好的基于神经网络的计算机视觉模型的图像。虽然这些攻击最初是以数字方式构思和研究的，因为图像的原始像素值被扰动，但最近的工作表明，这些攻击可以成功地转移到物理世界。这可以通过打印补丁并将其添加到新捕获的图像或视频片段的场景中来实现。在这项工作中，我们进一步测试了在更具挑战性的条件下物理世界中对抗补丁攻击的有效性。我们考虑在通过航空或卫星摄像机获取的头顶图像上训练的目标检测模型，并测试插入沙漠环境场景中的物理对抗性补丁。我们的主要发现是，在这些条件下成功实施对抗补丁攻击比在先前考虑的条件下要困难得多。这对人工智能安全具有重要意义，因为对抗性例子构成的现实威胁可能被夸大了。
2022-06-25 cs.CV
Suppress with a Patch: Revisiting Universal Adversarial Patch Attacks against Object Detection
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
基于补丁的对抗性攻击旨在用故意生成的噪声欺骗神经网络，这些噪声集中在输入图像的特定区域。在这项工作中，我们对不同的补丁生成参数进行了深入的分析，包括初始化，补丁大小，特别是在训练过程中在图像中定位补丁。我们专注于对象消失攻击，并在白盒设置中使用YOLOv3作为攻击模型进行实验，并使用COCO数据集的图像。我们的实验表明，在训练过程中，在一个大小不断增加的窗口内插入一个补丁，与固定位置相比，可以显著增加攻击强度。最好的结果时，得到一个补丁是随机定位在训练过程中，而补丁的位置另外在一批内变化。
2022-12-22 cs.CV
Traversing the Subspace of Adversarial Patches
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IOSB（弗劳恩霍夫联合研究所）；Karlsruher Institute of Technology（卡尔斯鲁厄理工学院）
本文验证流形假说于对抗性补丁，分析三种降维方法的重建能力，发现复杂方法不优于主成分分析，并在两个行人检测数据集上评估。
2024-12-02 cs.CV
Developing Imperceptible Adversarial Patches to Camouflage Military Assets From Computer Vision Enabled Technologies
University of New South Wales（新南威尔士大学）
卷积神经网络（CNN）在目标检测中已经显示出快速的进展和高水平的成功。然而，最近的证据突出表明，它们易受对抗攻击的伤害。这些攻击是计算图像扰动或对抗补丁，导致对象误分类或检测抑制。传统的伪装方法是不切实际的，当应用于伪装飞机和其他大型移动资产从自主检测的情报，监视和侦察技术和第五代导弹。在本文中，我们提出了一种独特的方法，产生难以察觉的补丁，能够从计算机视觉启用技术的大型军事资产。我们开发这些补丁最大限度地提高目标检测损失，同时限制补丁的颜色感知。这项工作还旨在进一步理解对抗性示例及其对目标检测算法的影响。
2022-05-11 cs.CV
Generating Visually Realistic Adversarial Patch
Huawei Singular Security Lab（华为奇安安全实验室）；Chinese University of Hong Kong（香港中文大学）
针对现有对抗补丁视觉突兀的问题，提出 VRAP 攻击，通过真实图像邻域约束、最差位置优化及可打印性增强生成逼真补丁，并在 ImageNet 上验证其数字与物理攻击效果。
2023-12-05 cs.CV
Eigenpatches -- Adversarial Patches from Principal Components
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IOSB（弗劳恩霍夫IOSB）
本文提出Eigenpatches方法，通过分析375个对抗补丁并计算其主成分，利用线性组合高效生成对抗补丁以欺骗目标检测器，解决了传统白盒攻击计算成本高的问题。
2023-06-19 cs.CV
Network transferability of adversarial patches in real-time object detection
Fraunhofer Center for Machine Learning, Fraunhofer IOSB（弗劳恩霍夫机器学习研究中心，弗劳恩霍夫IOSB）
本文研究对抗补丁在实时目标检测中的网络迁移性，发现用较大模型优化的补丁跨网络迁移效果更好。
2024-08-28 cs.CV
Diffusion to Confusion: Naturalistic Adversarial Patch Generation Based on Diffusion Model for Object Detector
National Central University（中央大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
针对物理对抗补丁难以兼顾隐蔽性与攻击效果的问题，提出基于预训练扩散模型采样的自然对抗补丁生成方法，并通过实验验证其质量、自然性与攻击有效性。
2023-07-16 cs.CV
Fight Fire with Fire: Combating Adversarial Patch Attacks using Pattern-randomized Defensive Patches
School of Information, Renmin University of China（中国人民大学信息学院）
本文提出一种以攻为守的对抗性补丁防御方法，通过注入随机化的金丝雀和啄木鸟补丁来探测和反击攻击，无需修改模型，且对未知和自适应攻击均表现出高鲁棒性和低开销。
2024-11-08 cs.CV
Give Me Your Attention: Dot-Product Attention Considered Harmful for Adversarial Patch Robustness
University of Oxford（牛津大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗赖堡大学）
基于注意力的神经架构，如视觉Transformer，正在彻底改变图像识别。它们的主要好处是注意力允许对场景的所有部分进行联合推理。在本文中，我们展示了（缩放）点积注意力的全局推理如何在面对对抗性补丁攻击时成为主要漏洞的来源。我们提供了这个漏洞的理论理解，并将其与对手的能力，误导所有查询的注意力到一个单一的关键令牌的控制下的对抗补丁。我们提出了新的对抗性目标，用于制作明确针对此漏洞的对抗性补丁。我们提出的补丁攻击流行的图像分类（ViTs和DeiTs）和目标检测模型（DETR）的有效性。我们发现，占输入的0.5%的对抗补丁可以导致ImageNet上ViT的鲁棒准确率低至0%，并将MS COCO上DETR的mAP降低到3%以下。
2022-03-25 cs.CV
Physically Adversarial Infrared Patches with Learnable Shapes and Locations
Beihang University（北京航空航天大学）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
由于红外目标检测器在安全关键任务中的广泛应用，有必要评估其对现实世界中对抗性示例的鲁棒性。然而，由于数字世界到物理世界的复杂转换，目前很少有物理红外攻击在实际应用中实现起来比较复杂。为了解决这个问题，在本文中，我们提出了一种物理上可行的红外攻击方法称为“对抗红外补丁”。考虑到红外摄像机通过捕获目标的热辐射成像的机理，对抗性红外贴片通过在目标物体上贴上一片隔热材料来操纵其热分布，从而进行攻击。为了增强对抗攻击，我们提出了一种新的聚合正则化，以指导同时学习补丁的形状和位置的目标对象。因此，可以采用简单的基于梯度的优化来求解它们。我们验证对抗红外补丁在不同的目标检测任务与各种目标检测器。实验结果表明，在不同角度、不同距离、不同姿态和不同场景下，与行人检测器和车辆检测器相比，该方法的攻击成功率（ASR）达到90%以上.更重要的是，对抗性红外贴片易于实现，在物理世界中构建仅需0.5小时，验证了其有效性和高效性。
2023-03-24 cs.CV
PatchScene: Patch-based Voxel Diffusion for Large-Scale Scene Completion
MEGVII Technology（MEGVII技术有限公司）；Qianli Technology（千利技术）；Peking University（北京大学）；Northeastern University, China（中国东北大学）；Northwest Polytechnical University, Xi’an（西北工业大学西安校区）
提出PatchScene，一种基于体素块扩散的框架，通过局部3D区域细粒度生成、置信度引导的时空融合和环形流扩散策略，实现大规模LiDAR场景补全，在SemanticKITTI上达到最优性能并展现强泛化能力。
2026-10-05 cs.CV
Convolutional Patch Networks with Spatial Prior for Road Detection and Urban Scene Understanding
Friedrich Schiller University of Jena（耶拿弗里德里希·席勒大学）
对单个图像块进行分类在许多不同的应用中是重要的，例如道路检测或场景理解。在本文中，我们提出了卷积补丁网络，这是一种学习来区分不同图像补丁的卷积网络，可用于逐像素标记。我们还展示了如何将补丁的空间信息作为网络的输入，这允许学习空间先验的某些类别与外观模型。特别是，我们专注于道路检测和城市场景理解，这两个应用领域，我们能够在KITTI以及LabelMeFacade数据集上实现最先进的结果。此外，我们的论文为在该领域工作的人们提供了一个指导方针，并拼命地徘徊在所有令图像补丁训练CN变得非常困难的艰苦细节中。
2015-02-23 cs.CV
Compact Scene Graphs for Layout Composition and Patch Retrieval
Intel AI Lab（英特尔人工智能实验室）
结构化表示（如场景图）是一种高效且紧凑的表示，可用于下游渲染或检索任务。然而，现有的努力，从场景图生成逼真的图像表现不佳的场景组成的混乱或复杂的场景。我们提出了两个贡献，以改善现场组成。首先，我们增强了场景图表示与基于关系，这增加了最小的存储开销。其次，我们使用极值点表示来监督场景组合网络的学习。这些方法实现了显着更高的性能比现有的工作（69.0%对51.2%的关系得分度量）。我们还演示了如何场景图可以用来检索姿势约束的图像补丁，语义相似的源查询。改进用于绘制或检索的结构化场景图表示是实现真实感图像生成的重要一步。
2019-04-19 cs.CV
Vax-a-Net: Training-time Defence Against Adversarial Patch Attacks
Centre for Vision Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉语音与信号处理中心）；Surrey Centre for Cyber Security (SCCS), University of Surrey（萨里大学萨里网络安全中心）
我们提出了Vax-a-Net;一种用于免疫卷积神经网络（CNN）对抗对抗补丁攻击（APA）的技术。APA将视觉上明显的局部区域（补丁）插入到图像中以引起错误分类。我们引入了一种条件生成对抗网络（GAN）架构，该架构同时学习合成用于APA的补丁，同时利用这些攻击来适应预先训练的目标CNN，以降低其对它们的敏感性。这种方法可以将针对APA的弹性赋予预先训练的模型，由于APA方法的收敛速度慢，这对于传统的对抗性训练是不切实际的。我们证明了这种保护的可转移性，以抵御现有的APA，并显示其在几个当代CNN架构的有效性。
2020-09-17 cs.CV
DOEPatch: Dynamically Optimized Ensemble Model for Adversarial Patches Generation
School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）
本文提出DOEPatch方法，通过引入能量概念和动态优化集成模型生成通用对抗补丁，在多个目标检测模型及物理世界中验证了其攻击有效性。
2024-09-29 cs.CV
Defending Against Physical Adversarial Patch Attacks on Infrared Human Detection
University of Freiburg（弗赖堡大学）；The University of Tokyo（东京大学）；National Institute of Informatics（情报学研究所）
本文首次研究红外人体检测的对抗补丁防御，提出基于补丁的遮挡感知检测方法POD，通过随机补丁增强训练，在高效检测人员的同时识别补丁位置，并能泛化到未知攻击且提升干净场景下的检测精度。
2024-06-10 cs.CV
Weakly Supervised PatchNets: Describing and Aggregating Local Patches for Scene Recognition
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）；ETH Zurich（苏黎世联邦理工学院）；Tongji University（同济大学）；Chinese University of Hong Kong（香港中文大学）
传统的特征编码方案（例如，Fisher向量）与局部描述符（例如，SIFT）和最近的卷积神经网络（CNN）是两类成功的图像识别方法。在本文中，我们提出了一种混合表示，它利用了CNN的鉴别能力和图像识别描述符编码模式的简单性，重点是场景识别。为此，我们主要从以下三个方面作出贡献。首先，我们提出了一个补丁级和端到端的架构来模拟本地补丁的外观，称为{ \em PatchNet}。PatchNet本质上是一个以弱监督方式训练的定制网络，它使用图像级监督来指导块级特征提取。其次，我们提出了一个混合的视觉表示，称为{ \em VSAD}，利用PatchNet的强大的功能表示来描述本地补丁和利用PatchNet的语义概率，这些本地补丁聚合成一个全球表示。第三，基于所提出的VSAD表示，我们提出了一种新的最先进的场景识别方法，它在两个标准的基准测试中取得了优异的性能：MIT Indoor 67（86.2%）和SUN 397（73.0%）。
2017-02-21 cs.CV
Adversarial Camera Patch: An Effective and Robust Physical-World Attack on Object Detectors
University of Electronic Science and Technology of China（电子科技大学）
针对现有相机物理攻击需在镜头部署多个贴片、复杂度高的问题，本文提出单一对抗性相机贴片 ADCP，以更简洁的方式对目标检测器实施隐蔽物理攻击。
2023-12-11 cs.CV
