The Importance of Image Interpretation: Patterns of Semantic Misclassification in Real-World Adversarial Images
Radboud University（拉德堡德大学）
创建对抗图像的目的是使图像分类器产生错误分类。在本文中，我们建议对抗图像应该基于语义不匹配进行评估，而不是像当前工作中使用的标签不匹配。换句话说，我们建议，如果将“马克杯”的图像分类为“萝卜”，则将其视为对抗性的，而不是像当前系统所假设的那样被分类为“杯子”。我们在评估对抗性图像时考虑语义误分类的新想法提供了两个好处。首先，它是一个更现实的概念化是什么使图像具有对抗性，这对于充分理解对抗性图像对安全和隐私的影响很重要。其次，它可以评估对抗图像到真实世界分类器的可转移性，而不需要分类器的标签集在图像创建期间可用。本文进行了一个真实世界的图像分类，这是可能的，我们的语义误分类方法的转移攻击的评估。该攻击揭示了对抗性错误分类的语义模式，这些模式无法使用传统的标签不匹配进行调查。
2022-12-13 cs.CR cs.CV cs.LG
Enhancing Real-World Adversarial Patches through 3D Modeling of Complex Target Scenes
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
对抗性示例已被证明是对深度学习模型的一个令人担忧的威胁，特别是在图像领域。然而，尽管许多研究都研究了现实世界中的对抗性例子，但大多数研究都依赖于攻击场景的2D照片。因此，所提出的攻击在具有3D对象或不同条件的现实环境中实施时可能具有有限的有效性。很少有关于使用3D对象的对抗性学习的研究，在许多情况下，其他研究人员无法复制真实世界的评估过程。在这项研究中，我们提出了一个框架，使用3D建模工艺对抗补丁现有的现实世界的场景。我们的方法使用3D数字近似的场景作为模拟现实世界。通过在数字场景中添加和操作任何元素的能力，我们的框架使攻击者能够提高对抗补丁在现实世界中的影响。我们使用该框架为日常场景创建一个补丁，并使用一个新颖的评估过程来评估其性能，该过程确保我们的结果在数字空间和现实世界中都是可复制的。我们的评估结果表明，该框架可以生成对抗补丁，在现实世界中的不同设置是强大的。
2021-09-02 cs.AI cs.CR cs.CV
On adversarial patches: real-world attack on ArcFace-100 face recognition system
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Intelligent Systems Lab（智能系统实验室）；Huawei Moscow Research Center（华为莫斯科研究中心）
最近的工作表明，在数字域的对抗攻击的图像分类的脆弱性。然而，大多数攻击涉及向图像添加小扰动以欺骗分类器。不幸的是，这样的程序不能用于进行现实世界的攻击，在现实世界中，向照片添加对抗属性是一种更实用的方法。在本文中，我们研究了现实世界中的人脸识别系统的攻击问题。我们研究了最好的公共人脸识别系统之一，LResNet 100 E-IR与ArcFace损失的安全性，并提出了一种简单的方法来攻击它在物理世界中。该方法建议创建一个可以打印的对抗补丁，添加为面部属性并拍照;然后将具有这种属性的人的照片传递给分类器，使得分类器的识别类从正确的变为所需的。所提出的生成过程允许不仅在面部的不同区域（例如鼻子或前额）上，而且在一些可穿戴配件（例如眼镜）上投射对抗性补丁。
2020-04-01 cs.CR cs.CV cs.LG
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector
Georgia Institute of Technology（佐治亚理工学院）；Intel Corporation（英特尔公司）
鉴于能够直接操纵数字输入空间中的图像像素，攻击者可以很容易地生成难以察觉的扰动来欺骗深度神经网络（DNN）图像分类器，如先前的工作所示。在这项工作中，我们提出了ShapeShifter，这是一种解决更具挑战性的问题的攻击，即制作物理对抗扰动来欺骗基于图像的对象检测器，如Faster R-CNN。攻击目标检测器比攻击图像分类器更困难，因为它需要在具有不同尺度的多个边界框中误导分类结果。将数字攻击扩展到物理世界增加了另一层难度，因为它需要扰动足够强大，以承受由于不同的观看距离和角度，照明条件和相机限制而导致的真实世界失真。我们表明，期望的变换技术，这是最初提出的，以提高对抗扰动的鲁棒性图像分类，可以成功地适应目标检测设置。ShapeShifter可以生成被Faster R-CNN错误检测为其他物体的逆向扰动停车标志，对自动驾驶汽车和其他安全关键型计算机视觉系统构成潜在威胁。
2019-05-01 cs.CR cs.CV cs.LG
Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors
University of Maryland, College Park（马里兰大学帕克分校）；Facebook AI（Facebook 人工智能研究院）
我们对最先进的目标检测框架进行了对抗攻击的系统研究。使用标准的检测数据集，我们训练模式，抑制了一系列常用的检测器和检测器的合奏产生的对象分数。通过大量的实验，我们对白盒和黑盒设置下的对抗训练补丁的有效性进行了基准测试，并量化了数据集，对象类和检测器模型之间的攻击可转移性。最后，我们提出了一个详细的研究物理世界的攻击使用印刷海报和可穿戴的衣服，并严格量化的性能，这种攻击与不同的指标。
2020-07-22 cs.CR cs.CV cs.LG
Can 3D Adversarial Logos Cloak Humans?
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science and Technology of China（中国科学技术大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
随着对抗攻击的趋势，研究人员试图在2D场景中欺骗训练有素的物体检测器。在其中许多攻击中，一种有趣的具有潜在现实世界用途的新攻击形式是将对抗性补丁（例如徽标）附加到图像中。然而，我们对3D渲染视图中的对抗攻击知之甚少，这对于攻击在物理世界中持续强大至关重要。本文提出了一种新的3D对抗性徽标攻击：我们从2D纹理图像构造一个任意形状的徽标，并通过称为徽标变换的纹理映射将该图像映射到3D对抗性徽标。然后将生成的3D对抗性徽标视为对抗性纹理，从而可以轻松操纵其形状和位置。这极大地扩展了计算机图形合成图像对抗训练的多功能性。与传统的对抗补丁相反，这种新形式的攻击被映射到3D对象世界，并通过可微渲染反向传播到2D图像域。此外，与现有的对抗补丁不同，我们的新3D对抗标志显示在模型旋转下可以稳健地欺骗最先进的深度对象检测器，从而进一步实现物理世界中的现实攻击。我们的代码可在https://github.com/TAMU-VITA/3D_Adversarial_Logo上获得。
2020-11-27 cs.CV cs.LG stat.ML
Real-World Adversarial Examples involving Makeup Application
National Yang Ming Chiao Tung University（国立阳明交通大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
深度神经网络发展迅速，在图像分类和自然语言处理等多项任务中表现突出。然而，最近的研究表明，数字和物理对抗性示例都可以欺骗神经网络。人脸识别系统用于各种涉及来自物理对抗性示例的安全威胁的应用中。在这里，我们提出了一个物理对抗攻击与使用全脸化妆。人脸上的化妆品是一种合理的可能性，这可能会增加攻击的不可察觉性。在我们的攻击框架中，我们结合了循环对抗生成网络（cycle-GAN）和受害分类器。Cycle-GAN用于生成对抗化妆，受害分类器的架构是VGG 16。实验结果表明，该攻击可以有效地克服化妆应用中的手动错误，如颜色和位置相关的错误。我们还证明了用于训练模型的方法可以影响物理攻击;从预训练模型中制作的对抗性扰动受到相应训练数据的影响。
2021-09-04 cs.CR cs.CV cs.LG
Invisible Perturbations: Physical Adversarial Examples Exploiting the Rolling Shutter Effect
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
到目前为止，基于摄像头的计算机视觉的物理对抗性例子是通过可见的人工制品实现的-停止标志上的贴纸，眼镜周围的彩色边框或具有彩色纹理的3D打印物体。这里隐含的假设是，扰动必须是可见的，以便相机可以感知它们。相比之下，我们贡献了一个程序来生成，第一次，物理对抗的例子是不可见的人眼。而不是修改受害者对象与可见的文物，我们修改光照亮的对象。我们演示了攻击者如何制作一个调制光信号，反向照亮场景，并在最先进的ImageNet深度学习模型上造成有针对性的错误分类。具体来说，我们利用商品相机的辐射卷帘快门效应来创建出现在图像上的精确条纹图案。对于人眼来说，它看起来像是物体被照亮了，但是相机创建了一个带有条纹的图像，这将导致ML模型输出攻击者想要的分类。我们对LED进行了一系列模拟和物理实验，证明目标攻击率高达84%。
2021-04-18 cs.CR cs.CV cs.LG
A Survey on Physical Adversarial Attacks against Face Recognition Systems
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Nanyang Technological University（南洋理工大学）
本文系统综述了针对人脸识别系统的物理对抗攻击，按物理介质对现有方法分类并梳理其应对关键挑战的演进过程，同时回顾防御策略并展望未来研究方向。
2024-10-10 cs.AI cs.CR cs.CV
Adversarial Zoom Lens: A Novel Physical-World Attack to DNNs
University of Electronic Science and Technology of China（电子科技大学）
本文提出了一种名为对抗变焦镜头（AdvZL）的新型物理对抗攻击技术，通过变焦镜头放大和缩小图像而不改变目标特征来欺骗深度神经网络，并验证了其在数字和物理环境中的有效性，同时提供了对抗训练防御指南。
2023-05-23 cs.AI cs.CR cs.CV
Real-Time Robust Video Object Detection System Against Physical-World Adversarial Attacks
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Drexel University（德雷塞尔大学）；Northeastern University（东北大学）
基于DNN的视频目标检测（VOD）为自动驾驶和视频监控行业提供了越来越重要的支持和充满希望的机会。然而，对抗补丁攻击由于其实用性、可行性和强大的攻击效果，在实时视觉任务中受到了极大的关注。这项工作提出了Themis，一个软件/硬件系统，以抵御对抗补丁的实时的【形】鲁棒视频目标检测。我们观察到，对抗补丁表现出非常本地化的表面特征的重要性，在一个小的区域与非鲁棒的预测，从而提出了对抗区域检测算法的对抗效应消除。Themis还提出了一个系统化的设计，通过消除冗余计算和内存流量来有效地支持该算法。实验结果表明，该方法可以有效地恢复系统从对抗攻击与可忽略不计的硬件开销。
2022-08-19 cs.AR cs.CR cs.CV
Detection of Adversarial Physical Attacks in Time-Series Image Data
University of Pennsylvania（宾夕法尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Vanderbilt University（范德堡大学）
针对自主系统时序图像易受对抗物理攻击的问题，本研究结合多数投票机制改进现有检测器VisionGuard，提出VisionGuard*，经实验验证其检测性能优于原有针对分布外数据和数字攻击的检测器。
2023-04-27 cs.CR cs.CV cs.LG
Adversarial T-shirt! Evading Person Detectors in A Physical World
Northeastern University（东北大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击。所谓的物理对抗示例通过将对抗补丁附加到真实对象来欺骗基于DNN的决策者。但现有的大多数关于物理对抗攻击的作品都集中在静态物体上，如玻璃框架、停车标志和贴在纸板上的图像。在这项工作中，我们提出了对抗性T恤，这是一个强大的物理对抗性例子，用于逃避人员检测器，即使它可能会由于移动的人的姿势变化而发生非刚性变形。据我们所知，这是第一个针对T恤等刚性物体设计物理对抗性示例的变形效果建模工作。我们表明，该方法在数字和物理世界中分别对YOLOv 2的攻击成功率为74%和57%。相比之下，最先进的物理攻击方法欺骗一个人检测器只达到18%的攻击成功率。此外，通过利用最小-最大优化，我们将我们的方法扩展到同时针对两个对象检测器YOLO-v2和Faster R-CNN的集成攻击设置。
2020-07-06 cs.AI cs.CV cs.LG
Physical Adversarial Examples for Object Detectors
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；Stony Brook University（石溪大学）；Stanford University（斯坦福大学）；Samsung Research America（三星美国研究院）
深度神经网络（DNN）容易受到对抗性示例的攻击-恶意制作的输入会导致DNN做出错误的预测。最近的研究表明，这些攻击可以推广到物理领域，在物理对象上创建扰动，从而在各种现实条件下欺骗图像分类器。这种攻击对安全关键型网络物理系统中使用的深度学习模型构成了风险。在这项工作中，我们将物理攻击扩展到更具挑战性的目标检测模型，这是一类广泛用于检测和标记场景中多个对象的更广泛的深度学习算法。改进以前的物理攻击图像分类器，我们创建扰动物理对象，被忽略或错误标记的目标检测模型。我们实现了一个消失攻击，其中我们导致停止标志“消失”根据检测器，无论是通过覆盖thesign与敌对停止标志海报，或通过添加对抗贴纸到标志。在受控实验室环境中录制的视频中，最先进的YOLOv 2检测器未能在超过85%的视频帧中识别出这些敌对的停止标志。在户外实验中，YOLO分别在72.5%和63.5%的视频帧中被海报和贴纸攻击欺骗。我们还使用Faster R-CNN，一种不同的目标检测模型，来证明我们对抗性扰动的可转移性。创建的海报扰动能够在受控实验室环境中的85.9%的视频帧和户外环境中的40.2%的视频帧中欺骗Faster R-CNN。最后，我们提出了一种新的创造攻击的初步结果，其中无害的物理贴纸欺骗模型检测不存在的对象。
2018-10-05 cs.CR cs.CV cs.LG
Robust Assessment of Real-World Adversarial Examples
我们探索了真实世界中对抗性示例的严格、系统和受控的实验评估，并提出了一种用于评估真实世界对抗性对象的测试方案。我们发现，对于小的场景/环境扰动，存在大的对抗性能差异。对抗性报道的当前状态主要是在动态场景集合上的频率计数。我们的工作强调了需要一个更完整的报告或分数，其中包含对抗开发人员测试的模型和环境的场景变化和基线性能。我们提出了一个分数，试图解决上述问题，在一个简单的范例应用程序多个生成的对手的例子。我们的贡献如下：1.对抗性评估的测试平台，2.对抗性示例的得分，以及3.对试验台数据的附加评估的集合。
2020-03-15 cs.CV
Adversarial Catoptric Light: An Effective, Stealthy and Robust Physical-World Attack to DNNs
University of Electronic Science and Technology of China（电子科技大学）
本文提出了一种名为对抗性反射光（AdvCL）的新型物理世界攻击方法，利用自然反射光现象在黑盒设置下对DNNs生成隐蔽且鲁棒的对抗扰动，实验证明其在物理场景中攻击成功率达83.5%，超越基线且鲁棒性强。
2023-05-23 cs.CR cs.CV cs.LG
Real-world Adversarial Defense against Patch Attacks based on Diffusion Model
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
该研究提出基于扩散模型的DIFFender防御框架，利用对抗异常感知现象定位并修复对抗补丁，通过少样本提示微调适配任务，在多任务及真实场景中表现鲁棒，还可扩展至红外域防御。
2024-09-14 cs.AI cs.CR cs.CV
Towards an End-to-End (E2E) Adversarial Learning and Application in the Physical World
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Fujitsu Limited（富士通公司）
针对数字域生成的对抗补丁迁移到物理域效果下降的问题，提出基于投影仪的物理域端到端PAPLA框架，经多场景验证可消除可迁移性问题，实现对目标检测器的有效规避。
2025-01-16 cs.CR cs.CV
Physical Adversarial Attacks For Camera-based Smart Systems: Current Trends, Categorization, Applications, Research Challenges, and Future Outlook
New York University (NYU)（纽约大学）；Technology Innovation Institute (TII)（技术创新研究所）
本文系统综述了针对摄像头智能系统的物理对抗攻击，按分类、检测、人脸识别、语义分割和深度估计等任务梳理攻击方法，评估其有效性、隐蔽性与鲁棒性，并展望防御机制、新型攻击策略和标准化评估等未来方向。
2023-08-11 cs.AI cs.CR cs.CV
Projecting Trouble: Light Based Adversarial Attacks on Deep Learning Classifiers
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Western Washington University（西华盛顿大学）
这项工作演示了使用投影光到物理场景上对深度学习图像分类系统的物理攻击。先前的工作主要是创建对抗性示例的技术，这些示例直接操纵分类器的数字输入。这种攻击仅限于对手可以直接更新分类器输入的场景。这可以通过拦截和修改在线API（如Clarifai或Cloud Vision）的输入来实现。这种限制导致了围绕物理攻击的研究，其中对象被构造为固有的对抗性或对抗性修改被添加以导致错误分类。我们的工作与其他物理攻击的不同之处在于，我们可以动态地造成错误分类，而不会永久地改变物理对象。我们构建了一个实验装置，其中包括一个光投影源，一个对象的分类，和一个摄像机捕捉场景。针对CIFAR-10的2D和3D对象进行实验。初步测试表明，通过差分进化选择的投影光模式可以分别将2D和3D目标的分类概率从98%降低到22%和89%到43%。随后的实验探讨了对物理设置的敏感性，并比较了所有10个CIFAR类别的两个额外的基线条件。有些物理目标更容易受到干扰。简单的攻击显示出几乎相同的成功率，10个类中有6个被光干扰。
2018-10-16 cs.CV cs.LG stat.ML
Physical-World Optical Adversarial Attacks on 3D Face Recognition
The Hong Kong Polytechnic University（香港理工大学）；Chongqing University（重庆大学）
2D人脸识别已被证明对于物理对抗攻击是不安全的。然而，很少有研究调查攻击真实世界3D人脸识别系统的可能性。最近提出的3D打印攻击无法在空中生成对抗点。在本文中，我们通过精心制作的光学噪声攻击三维人脸识别系统。我们将结构光3D扫描仪作为我们的攻击目标。端到端攻击算法被设计为通过固有的或附加的投影仪来生成3D人脸的对抗性照明，以在任意位置产生对抗性点。然而，面部反射是一个复杂的过程，因为皮肤是半透明的。为了将这个投影和捕获过程纳入优化循环，我们使用朗伯渲染模型对其进行建模，并使用SfSNet来估计最大值。此外，为了提高抵抗距离和角度变化的能力，同时保持扰动不明显，引入了3D变换不变损失和两种灵敏度图。实验在模拟和物理世界中进行。我们成功地攻击了基于点云和基于深度图像的3D人脸识别算法，同时比以前最先进的物理世界3D对抗攻击需要更少的扰动。
2022-11-13 cs.CR cs.CV eess.IV
Real-world adversarial attack on MTCNN face detection system
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Intelligent Systems Lab（智能系统实验室）；Huawei Moscow Research Center（华为莫斯科研究中心）
最近的研究证明，深度学习方法在人脸检测任务上取得了显著的效果。另一方面，这些进展引起了与深度卷积神经网络模型的安全性相关的新问题，揭示了基于DCNN的应用的潜在风险。即使是数字域中微小的输入变化也可能导致网络被愚弄。然后表明，一些基于深度学习的人脸检测器不仅在数字领域而且在现实世界中都容易受到对抗攻击。本文研究了著名的级联CNN人脸检测系统MT CNN的安全性，并提出了一种易于复制和鲁棒的攻击方法。我们的方法能够在现实世界中打破MTCNN检测器。
2020-04-02 cs.CR cs.CV cs.LG
Adversarial Camouflage: Hiding Physical-World Attacks with Natural Styles
Swinburne University of Technology（斯威本科技大学）；The University of Melbourne（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）
众所周知，深度神经网络（DNN）容易受到对抗性样本的攻击。现有的作品主要集中在通过小而不可感知的扰动创建的数字对抗示例，或者通过人类观察者很容易识别的大而不太现实的扭曲创建的物理世界对抗示例。在本文中，我们提出了一种名为对抗性伪装（\emph{AdvCam}）的新方法，可以将物理世界的对抗性示例制作和伪装成对人类观察者来说合法的自然风格。具体来说，\emph{AdvCam}将大的对抗性扰动转换为自定义样式，然后将其“隐藏”在目标对象或目标外背景中。实验评估表明，在数字和物理世界场景中，由\emph{AdvCam}制作的对抗性示例具有良好的隐蔽性和高度的隐蔽性，同时仍然有效地欺骗了最先进的DNN图像分类器。因此，\emph{AdvCam}是一种灵活的方法，可以帮助设计隐形攻击来评估DNN的鲁棒性。\emph{AdvCam}还可用于保护私人信息不被深度学习系统检测到。
2020-06-22 cs.CV
State-of-the-art optical-based physical adversarial attacks for deep learning computer vision systems
Jinan University（暨南大学）；Harbin Institute of Technology（哈尔滨工业大学）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）
本文综述面向深度学习计算机视觉系统的基于光学的非侵入式物理对抗攻击，强调其高隐蔽性、可执行性及现实安全威胁。
2023-03-22 cs.CR cs.CV eess.IV
Security of Deep Learning based Lane Keeping System under Physical-World Adversarial Attack
ByteDance AI Lab（字节跳动人工智能实验室）；Northeastern University（东北大学）
车道保持辅助系统（LKAS）是方便和广泛使用的今天，但也非常安全和安全的关键。在这项工作中，我们设计并实现了第一个系统化的方法来攻击现实世界中基于DNN的LKAS。我们确定肮脏的道路补丁作为一种新的和特定领域的威胁模型的实用性和隐蔽性。我们制定的攻击作为一个优化问题，并解决来自连续的相机帧的攻击之间的相互依赖性的挑战。我们在最先进的LKAS上评估了我们的方法，我们的初步结果表明，我们的攻击可以成功地使它在短短1.3秒内驶离车道边界。
2020-03-03 cs.CR cs.CV cs.LG
Adversarial Examples in the Physical World: A Survey
Zhongguancun Laboratory（中关村实验室）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Beihang University（北京航空航天大学）；Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防创新研究院）；University of Macau（澳门大学）
本文综述了物理对抗样本（PAEs），在包含训练、制造和重采样的实际工作流中分析其特征，构建了覆盖100多项研究的分类框架，并探讨了防御策略与未来挑战，以促进鲁棒对抗学习的发展。
2024-08-22 cs.AI cs.CV cs.LG
SLAP: Improving Physical Adversarial Examples with Short-Lived Adversarial Perturbations
University of Oxford（牛津大学）；armasuisse（瑞士国防采购局）
对抗性示例（AE）的研究发展迅速，但静态对抗补丁仍然是现实世界中进行攻击的主要技术，尽管它是显而易见的，半永久性的，一旦部署就无法修改。在本文中，我们提出了短寿命的对抗扰动（Sunday），一种新的技术，允许对手通过使用光投影仪实现物理上强大的现实世界的AE。攻击者可以将一个专门制作的对抗性扰动投射到现实世界的对象上，将其转换为AE。与对抗补丁相比，这允许对手对攻击进行更大的控制：（i）投影可以动态地打开和关闭或随意修改，（ii）投影不会受到补丁施加的局部约束，使其更难检测。我们研究了在自动驾驶场景中，目标对象检测器和交通标志识别任务的可行性，重点是停止标志的检测。我们在各种环境光线条件下进行实验，包括户外，展示了在非明亮环境下，所提出的方法如何生成非常强大的AE，导致最先进的网络上的错误分类，对于各种角度和距离，成功率高达99%。我们还证明了SLAP生成的AE不会呈现在对抗性补丁中看到的可检测行为，因此绕过了SentiNet，这是一种物理AE检测方法。我们评估了其他防御方法，包括使用对抗学习的自适应防御方法，即使在有利的攻击条件下，该方法也能够阻止高达80%的攻击有效性。
2021-01-06 cs.CV cs.LG
Breaking the Illusion: Real-world Challenges for Adversarial Patches in Object Detection
Graz University of Technology（格拉茨工业大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
本研究针对YOLO目标检测网络，在现实世界中测试全局和局部两种对抗性补丁，分析补丁参数对攻击效果的影响，揭示现实条件下攻击面临的挑战，为开发更鲁棒的防御提供依据。
2024-11-26 cs.CV cs.LG
NaturalAE: Natural and Robust Physical Adversarial Examples for Object Detectors
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在本文中，我们提出了一个自然和强大的物理对抗性的例子攻击方法，在现实世界的条件下，目标检测器。生成的对抗性示例对各种物理约束具有鲁棒性，并且在视觉上看起来与原始图像相似，因此这些对抗性示例对人类来说是自然的，不会引起任何怀疑。首先，为了确保对抗性示例在真实世界条件下的鲁棒性，所提出的方法利用不同的图像变换函数来模拟对抗性示例生成的迭代优化过程中的各种物理变化。其次，在构造自然对抗样本时，该方法采用自适应模板来约束扰动的面积和强度，并利用真实世界扰动分数（RPS）使扰动与真实世界中的噪声相似。与现有的研究相比，我们生成的对抗性示例可以在不太明显的扰动下实现高成功率。实验结果表明，生成的对抗性示例在各种室内和室外物理条件下都是鲁棒的，包括不同的距离，角度，光照和拍摄。具体而言，室内和室外生成的对抗示例的攻击成功率分别高达73.33%和82.22%。同时，该方法保证了生成对抗性样本的自然性，并且所增加的扰动量远小于现有方法中的扰动量。此外，所提出的物理对抗攻击方法可以从白盒模型转移到其他目标检测模型。
2021-03-17 cs.CV
A Survey on Physical Adversarial Attack in Computer Vision
Zhejiang University（浙江大学）；Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；National University of Defense Technology（国防科技大学）
本文综述了计算机视觉中物理对抗攻击的演进，提出分类体系并分析复杂物理环境下提升攻击鲁棒性的技术，同时指出待解决问题与未来方向。
2023-09-18 cs.CV
Physical Adversarial Attacks on an Aerial Imagery Object Detector
The University of Adelaide（阿德莱德大学）；University of South Australia（南澳大学）
深度神经网络（DNN）对于处理使用地球观测卫星平台收集的大量航空图像至关重要。然而，DNN容易受到对抗性示例的影响，预计这一弱点也会困扰DNN的航空图像。在这项工作中，我们展示了对航空图像进行物理对抗攻击的第一批努力之一，其中对抗补丁被优化，制造并安装在目标物体（汽车）上或附近，以显着降低应用于头顶图像的物体检测器的功效。对空中图像，特别是从卫星平台捕获的图像进行的物理对抗攻击受到大气因素（光照、天气、季节）和观察者与目标之间距离的挑战。为了研究这些挑战的影响，我们设计了新的实验和指标来评估空中场景中物体探测器的物理对抗攻击的有效性。我们的研究结果表明，物理对抗攻击对处理卫星图像的DNN构成了明显的威胁。
2021-10-20 cs.CV
Generalized Real-World Super-Resolution through Adversarial Robustness
Center for Research and Formation in Artificial Intelligence, Universidad de los Andes（安第斯大学人工智能研究与形成中心）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Computer Vision Lab, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）
传统上，现实世界的超分辨率（SR）是通过首先学习一个特定的退化模型来解决的，该模型类似于低分辨率图像中的噪声和腐败伪影。因此，当前的方法缺乏泛化能力，并且在对看不见的腐败类型进行测试时失去了准确性。与传统的建议相反，我们提出了鲁棒超分辨率（RSR），一种利用对抗性攻击的泛化能力来解决现实世界SR的方法。我们的新框架在现实世界SR方法的发展中带来了范式转变。我们没有学习特定于区块链的退化，而是采用对抗性攻击来创建针对模型弱点的困难示例。之后，我们在训练过程中使用这些对抗性示例来提高模型处理噪声输入的能力。我们对合成和真实世界的图像进行了广泛的实验，并根据经验证明，我们的RSR方法可以很好地推广到不同的数据集，而无需对特定的噪声先验进行重新训练。通过使用单一的鲁棒模型，我们在现实世界的基准测试中表现优于最先进的专业方法。
2021-08-25 cs.CV cs.LG eess.IV
Evaluating the Robustness of Semantic Segmentation for Autonomous Driving against Real-World Adversarial Patch Attacks
Scuola Superiore Sant’Anna（圣安娜高等研究院）
深度学习和卷积神经网络可以在计算机视觉任务中实现令人印象深刻的性能，例如目标检测和语义分割（SS）。然而，最近的研究表明，这种模型对对抗性扰动的明显弱点。相反，在现实世界的场景中，比如自动驾驶，应该更多地关注现实世界的对抗性示例（RWAE），它们是物理对象（例如，广告牌和可打印的补丁）被优化为对抗整个感知管道。本文通过测试数字和现实世界对抗补丁的效果，对流行的SS模型的鲁棒性进行了深入评估。这些补丁是精心制作的强大的攻击与一个新的损失函数丰富。首先，通过扩展期望转换（EOT）范式来应对SS，对Cityscapes数据集进行了调查。然后，提出了一种新的攻击优化，称为场景特定攻击。这种攻击利用CARLA驾驶模拟器来提高所提出的基于EOT的攻击到真实3D环境的可转移性。最后，在户外驾驶场景中测试了包含对抗补丁的印刷物理广告牌，以评估所研究的攻击在现实世界中的可行性。详尽的实验表明，提出的攻击公式优于以前的工作，为SS制作数字和现实世界的对抗补丁。与此同时，实验结果表明，这些攻击在现实世界中的效果明显较差，因此质疑对抗攻击与SS模型的实际相关性。
2021-08-13 cs.CV
Visual Adversarial Attacks and Defenses in the Physical World: A Survey
Institute of Artificial Intelligence, Beihang University（北航人工智能研究院）；The Chinese University of HongKong（香港中文大学）
本文综述了物理世界中视觉对抗攻击与防御，分析了攻击类型、防御方法及未来研究方向。
2026-01-12 cs.CV
Physically Realizable Adversarial Examples for LiDAR Object Detection
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）；Princeton University（普林斯顿大学）
现代自动驾驶系统严重依赖深度学习模型来处理点云传感数据;同时，深度模型已被证明容易受到视觉上无法感知的扰动的对抗攻击。尽管这给自动驾驶行业带来了安全问题，但在3D感知方面的探索很少，因为大多数对抗攻击只应用于2D平面图像。在本文中，我们解决了这个问题，并提出了一种方法来生成通用的3D对抗对象来欺骗LiDAR探测器。特别是，我们证明了在任何目标车辆的屋顶上放置一个对抗性物体，以使车辆完全隐藏在LiDAR探测器之外，成功率为80%。我们报告攻击结果的一套检测器使用各种输入表示的点云。我们还使用数据增强对对抗性防御进行了试点研究。这是在有限的训练数据中，在看不见的条件下实现更安全的自动驾驶的一步。
2020-04-02 cs.CR cs.CV cs.LG
Adversarial Wear and Tear: Exploiting Natural Damage for Generating Physical-World Adversarial Examples
Department of Computer Science and Engineering, Kyung Hee University（计算机科学与工程系，庆熙大学）；Technical University of Munich（慕尼黑技术大学）；Seoul National University of Science and Technology（首尔科学理工大学）；G-LAMP NEXUS Institute, Kyung Hee University（G-LAMP NEXUS研究所，庆熙大学）
本文提出AdvWT，通过模拟自然磨损生成更真实有效的物理世界对抗性示例，提升深度神经网络在现实环境中的鲁棒性。
2026-02-08 cs.AI cs.CV cs.LG
DePatch: Towards Robust Adversarial Patch for Evading Person Detectors in the Real World
Wuhan University（武汉大学）；WeChat, Tencent（腾讯微信）
针对现有对抗补丁自耦合导致真实场景鲁棒性差的问题，提出DePatch解耦攻击方法，通过分块随机擦除、边界偏移和渐进解耦提升攻击能力，实验证明其性能优于同类物理对抗攻击。
2024-08-13 cs.CV
Adversarial Color Projection: A Projector-based Physical Attack to DNNs
本文提出了一种基于投影仪的黑盒物理攻击方法AdvCP，通过操纵颜色投影的物理参数生成对抗样本，在数字和物理环境中均表现出高攻击成功率、隐蔽性和鲁棒性。
2023-05-23 cs.CR cs.CV
Analyzing Physical Adversarial Example Threats to Machine Learning in Election Systems
Department of Electrical, Computer and Biomedical Engineering, University of Rhode Island, Kingston, RI, USA（电气、计算机与生物医学工程系，罗德岛大学，金斯敦，RI，USA）；Department of Computer Science and Statistics, University of Rhode Island, Kingston, RI, USA（计算机科学与统计学系，罗德岛大学，金斯敦，RI，USA）；Voting Technology Center, University of Connecticut, Storrs, CT, USA（选举技术中心，康涅狄格大学，斯托尔斯，CT，USA）
研究分析了对抗示例对选举系统中机器学习模型的物理威胁，通过实验揭示数字与物理领域对抗攻击效果的差异。
2026-02-28 cs.CV cs.LG
Exploring the Physical World Adversarial Robustness of Vehicle Detection
Beihang University（北京航空航天大学）；National Key Laboratory for Complex Systems Simulation（复杂系统仿真国家重点实验室）
本文利用CARLA模拟器构建DCI数据集，系统评估三种检测模型在三种物理对抗攻击下的鲁棒性，发现Yolo v6表现最稳健而ASA攻击效果最强，为现实世界对抗鲁棒性研究提供了标准化基准和实证见解。
2023-08-07 cs.AI cs.CV cs.LG
Powerful Physical Adversarial Examples Against Practical Face Recognition Systems
NEC Corporation（日本电气股份有限公司）
众所周知，大多数现有的基于机器学习（ML）的安全关键应用程序都容易受到精心制作的输入实例（称为对抗性示例（AX））的攻击。对手可以方便地从数字和物理世界攻击这些目标系统。本文的目的是针对人脸识别系统的鲁棒物理AX的生成。我们提出了一种新的平滑损失函数和补丁噪声组合攻击实现强大的物理AX。平滑性损失在攻击生成过程中干扰了延迟约束的概念，从而导致更好地处理优化复杂性和物理域的平滑AX。补丁噪声组合攻击结合补丁噪声和来自不同分布的难以察觉的小噪声，以生成强大的基于配准的物理AX。一个广泛的实验分析发现，我们的平滑损失的结果在强大的和更可转移的数字和物理AX比传统的技术。值得注意的是，我们的平滑损失导致物理白盒和黑盒攻击的平均攻击成功率（ASR）分别提高了1.17和1.97倍。我们的补丁噪声组合攻击进一步提高了性能增益，在物理世界的白盒和黑盒攻击中，平均ASR分别比传统技术高2.39和4.74倍。
2022-03-23 cs.AI cs.CR cs.CV
Physical Adversarial Attack on Vehicle Detector in the Carla Simulator
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
在本文中，我们解决了野外对象检测器的物理对抗性示例问题。具体来说，我们建议生成应用于车辆表面的对抗模式，以便它无法被照片级逼真的Carla模拟器中的检测器识别。我们的方法包含两个主要技术，一个放大和重复过程和离散搜索方法，工艺马赛克般的对抗车辆纹理，既不访问检测器的模型权重，也不差分渲染过程。实验结果表明，我们的方法在模拟器的有效性。
2020-08-07 cs.CV
Physical Adversarial Attacks for Surveillance: A Survey
Queensland University of Technology（昆士兰科技大学）
本文综述了面向监控系统的物理对抗攻击，提出了分析框架，并系统总结了检测、识别、跟踪和动作识别任务上的攻击与防御方法，为增强监控系统安全性提供了重要见解。
2023-10-14 cs.AI cs.CV
Adversarial Color Film: Effective Physical-World Attack to DNNs
University of Electronic Science and Technology of China（电子科技大学）
本文提出了一种基于摄像头的物理对抗攻击方法 AdvCF，通过操控彩色胶片的物理参数生成对抗样本，在数字和物理环境中均有效，具备优异的黑盒攻击迁移性，并提供对抗训练防御指导。
2023-05-23 cs.CV
Adversarial Texture for Fooling Person Detectors in the Physical World
Tsinghua University（清华大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究所（CIBR））
如今，配备人工智能系统的相机可以捕获和分析图像，以自动检测人。然而，人工智能系统在现实世界中接收故意设计的模式时可能会出错，即，物理对抗的例子。之前的工作已经表明，可以在衣服上打印对抗性补丁，以逃避基于DNN的人员检测器。然而，当视角（即，相机朝向对象的角度）改变。为了执行多角度攻击，我们提出了对抗纹理（AdvTexture）。AdvTexture可以覆盖任意形状的衣服，这样穿着这种衣服的人就可以从不同的视角隐藏起来。我们提出了一种生成的方法，命名为基于环形裁剪的可扩展生成攻击（TC-EGA），工艺与重复结构的AdvTexture。我们用AdvTexure打印了几块布，然后在物理世界中制作了T恤，裙子和连衣裙。实验表明，这些衣服可以欺骗物理世界中的个人探测器。
2022-08-13 cs.CV
Adversarial Attacks on Event-Based Pedestrian Detectors: A Physical Approach
The University of Tokyo（东京大学）；Singapore Management University（新加坡管理大学）
本研究首次探索针对事件驱动行人检测器的物理对抗性攻击，提出端到端框架将对抗性服装纹理设计构建为2D纹理优化问题，通过反向传播生成最优纹理，并在真实场景中验证了物理对抗服装能显著降低检测模型性能。
2025-03-01 cs.CV
Adversarial Sticker: A Stealthy Attack Method in the Physical World
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Beihang University（北京航空航天大学）
为了评估深度学习在物理世界中的脆弱性，最近的工作引入了对抗补丁，并将它们应用于不同的任务。在本文中，我们提出了另一种对抗补丁：有意义的对抗贴纸，这是一种物理上可行的隐形攻击方法，使用我们生活中存在的真实贴纸。与以前通过设计扰动的对抗补丁不同，我们的方法操纵贴纸在对象上的粘贴位置和旋转角度来执行物理攻击。由于位置和旋转角度受印刷损失和颜色失真的影响较小，因此对抗性贴纸可以在物理世界中保持良好的攻击性能。此外，为了使对抗贴纸在真实场景中更实用，我们在黑盒设置中使用有限的信息进行攻击，而不是白盒设置中使用威胁模型的所有细节。为了有效地解决贴纸的参数，我们设计了基于区域的启发式差分进化算法，它利用新发现的区域聚集的有效解决方案和自适应调整策略的评价标准。我们的方法在人脸识别中得到了全面的验证，然后扩展到图像检索和交通标志识别。大量的实验表明，该方法在复杂的物理条件下是有效的和高效的，并具有很好的推广到不同的任务。
2022-12-19 cs.CV
Driving in Corner Case: A Real-World Adversarial Closed-Loop Evaluation Platform for End-to-End Autonomous Driving
School of Automotive Studies, Tongji University（同济大学汽车学院）；ZERON
本文提出一个现实对抗闭环评估平台，用于生成边缘情况以评估端到端自动驾驶系统，通过真实场景图像生成与对抗交通策略结合，验证模型在极端情况下的性能。
2026-04-19 cs.CV cs.RO
Imperceptible Adversarial Examples in the Physical World
Intel（英特尔公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）；HiddenLayer（HiddenLayer公司）
本文提出利用直通估计器克服物理世界图像失真不可微问题，首次实现受小ℓ∞范数约束的不可感知对抗样本，并在分类和目标检测任务中验证其严重威胁。
2024-11-25 cs.AI cs.CV
Learning Transferable 3D Adversarial Cloaks for Deep Trained Detectors
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种新的基于补丁的对抗攻击管道，在三维人体网格上训练对抗补丁。我们在参考人体网格上采样三角形面部，并在这些面部上创建对抗性纹理图谱。对抗性纹理被转移到各种姿势的人类网格中，这些网格被渲染到真实世界背景图像的集合上。与传统的基于补丁的对抗攻击相反，先前的工作试图使用附加的对抗补丁来欺骗训练的对象检测器，这种新形式的攻击被映射到3D对象世界，并通过可微分渲染反向传播到纹理图谱。因此，对抗补丁在与真实世界材料一致的变形下进行训练。此外，与现有的对抗补丁不同，我们的新3D对抗补丁被证明可以在不同的视图下稳健地欺骗最先进的深度对象检测器，这可能导致在物理世界中持续强大的攻击方案。
2021-04-22 cs.AI cs.CV
Physically Adversarial Infrared Patches with Learnable Shapes and Locations
Beihang University（北京航空航天大学）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
由于红外目标检测器在安全关键任务中的广泛应用，有必要评估其对现实世界中对抗性示例的鲁棒性。然而，由于数字世界到物理世界的复杂转换，目前很少有物理红外攻击在实际应用中实现起来比较复杂。为了解决这个问题，在本文中，我们提出了一种物理上可行的红外攻击方法称为“对抗红外补丁”。考虑到红外摄像机通过捕获目标的热辐射成像的机理，对抗性红外贴片通过在目标物体上贴上一片隔热材料来操纵其热分布，从而进行攻击。为了增强对抗攻击，我们提出了一种新的聚合正则化，以指导同时学习补丁的形状和位置的目标对象。因此，可以采用简单的基于梯度的优化来求解它们。我们验证对抗红外补丁在不同的目标检测任务与各种目标检测器。实验结果表明，在不同角度、不同距离、不同姿态和不同场景下，与行人检测器和车辆检测器相比，该方法的攻击成功率（ASR）达到90%以上.更重要的是，对抗性红外贴片易于实现，在物理世界中构建仅需0.5小时，验证了其有效性和高效性。
2023-03-24 cs.CV
Transferable Physical-World Adversarial Patches Against Object Detection in Autonomous Driving
Huazhong University of Science（华中科技大学）
本文提出AdvAD方法，通过统一框架优化多检测模型的对抗性补丁，提升其在不同架构中的鲁棒性和转移性，实验表明其在性能和可转移性上优于现有方法。
2026-04-25 cs.CV
Synthesizing Robust Adversarial Examples
Massachusetts Institute of Technology（麻省理工学院）；LabSix（第六实验室）
用于为神经网络生成对抗性示例的标准方法并不总是欺骗物理世界中的神经网络分类器，这是由于视点偏移、相机噪声和其他自然变换的组合，限制了它们与现实世界系统的相关性。我们证明了强大的3D对抗对象的存在，我们提出了第一个算法合成的例子，是对抗超过一个选定的分布变换。我们合成的二维对抗图像对噪声、失真和仿射变换具有鲁棒性。我们将我们的算法应用于复杂的三维对象，使用3D打印来制造第一个物理对抗对象。我们的研究结果证明了物理世界中存在3D对抗对象。
2018-06-07 cs.CV
Empirical Evaluation of Physical Adversarial Patch Attacks Against Overhead Object Detection Models
RAND Corporation（兰德公司）；Center for Security and Emerging Technology, Georgetown University（乔治城大学安全与新兴技术中心）
对抗补丁是设计用来欺骗其他性能良好的基于神经网络的计算机视觉模型的图像。虽然这些攻击最初是以数字方式构思和研究的，因为图像的原始像素值被扰动，但最近的工作表明，这些攻击可以成功地转移到物理世界。这可以通过打印补丁并将其添加到新捕获的图像或视频片段的场景中来实现。在这项工作中，我们进一步测试了在更具挑战性的条件下物理世界中对抗补丁攻击的有效性。我们考虑在通过航空或卫星摄像机获取的头顶图像上训练的目标检测模型，并测试插入沙漠环境场景中的物理对抗性补丁。我们的主要发现是，在这些条件下成功实施对抗补丁攻击比在先前考虑的条件下要困难得多。这对人工智能安全具有重要意义，因为对抗性例子构成的现实威胁可能被夸大了。
2022-06-25 cs.CV
