DRIFT: Divergent Response in Filtered Transformations for Robust Adversarial Defense
New York University Abu Dhabi（纽约大学阿布扎克分校）
本文提出 DRIFT 随机可学习滤波集成，通过制造 Jacobian 与 logit 空间的梯度失谐来阻断对抗迁移，在 ImageNet 的 CNN 与 ViT 上显著提升多类攻击下的鲁棒性。
2025-09-29 cs.CV cs.LG
Applying Tensor Decomposition to image for Robustness against Adversarial Attack
近年来，深度学习技术发展迅速，在计算机视觉领域表现突出。然而，事实证明，基于深度学习的模型非常容易受到称为对抗攻击的小扰动的影响。它可以通过添加小的扰动轻松地欺骗深度学习模型。另一方面，张量分解方法广泛用于压缩张量数据，包括数据矩阵，图像等。在本文中，我们建议结合张量分解，以保护模型免受对抗性的例子。验证了该方法简单有效，能够有效抵抗对抗攻击。此外，该方法很少降低干净数据的原始性能。我们在MNIST，CIFAR10和ImageNet数据上进行了实验，并证明了我们的方法对最先进的攻击方法具有鲁棒性。
2020-03-05 cs.CV cs.LG
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science（信息科学研究所）；Beijing Jiaotong University（北京交通大学）
最近的研究表明，深度神经网络容易受到对抗性样本的攻击，但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而，在实际计算中，这种神经网络不再保持任何上限，因此容易受到对抗性样本的影响。遵循类似的过程，我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外，我们证明了一个新的称为神经ODE的深度神经网络家族（Chen et al.，2018年）持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此，神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击（FGSM、PGD、DI 2-FGSM）和一种黑盒对抗攻击（边界攻击）下的性能。最后，我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法（如TRADES和YOPO）训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
Towards Understanding and Harnessing the Effect of Image Transformation in Adversarial Detection
Wuhan University（武汉大学）；Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）受到对抗性样本的威胁。对抗性检测将对抗性图像与良性图像区分开来，是基于DNN的鲁棒服务的基础。图像变换是检测敌对样本的最有效方法之一。在过去的几年中，各种图像变换已经被研究和讨论，以设计可靠的对抗检测器。在本文中，我们系统地综合了对抗检测的最新进展，通过图像变换与一种新的分类方法。然后，我们进行了广泛的实验，以测试对最先进的对抗攻击的图像变换的检测性能。此外，我们揭示了每个单独的变换都不能以稳健的方式检测对抗性示例，并提出了一种基于DNN的方法，称为\emph{AdvJudge}，它结合了9种图像变换的分数。在不知道哪个分数具有误导性或不具有误导性的情况下，AdvJudge可以做出正确的判断，并实现检测率的显著提高。最后，我们利用一个可解释的AI工具来展示每个图像变换对对抗检测的贡献。实验结果表明，图像变换对对抗性检测的贡献是显著不同的，两者的结合可以显著提高对抗对抗攻击的通用检测能力。
2022-05-26 cs.AI cs.CV
Natural and Adversarial Error Detection using Invariance to Image Transformations
Weizmann Institute of Science（魏茨曼科学研究所）；TTIC（芝加哥丰田技术研究所）；Toyoyta Technological Institute at Chicago（芝加哥丰田技术研究所）
我们提出了一种方法来区分正确和不正确的图像分类。我们的方法可以检测错误分类，无论是发生$\it{unintentionally}$（“自然错误”），或由于$\it{intentional~adversarial~attacks}$（“对抗性错误”），在一个单一的$\it{unified~framework}$。我们的方法是基于这样的观察，即正确分类的图像往往在某些图像变换下表现出鲁棒和一致的分类（例如，水平翻转、小图像平移等）。相比之下，不正确分类的图像（无论是由于对抗性错误还是自然错误）往往会在这种变换下表现出很大的分类结果变化。我们的方法不需要对分类器进行任何修改或重新训练，因此可以应用于任何预先训练的分类器。我们进一步使用最先进的有针对性的对抗攻击来证明，即使对手完全了解我们的方法，绕过我们的检测器所需的对抗性失真也是$\it{no~longer~imperceptible~to~the~human~eye}$。与以前的对抗性检测方法相比，我们的方法获得了最先进的结果，远远超过了它们。
2019-02-01 cs.CV cs.LG stat.ML
Detecting Adversarial Examples by Input Transformations, Defense Perturbations, and Voting
Scuola Superiore Sant’Anna（圣安娜高等学校）；Tecip Institute（特西普研究院）
在过去的几年里，卷积神经网络（CNN）已经被证明在视觉识别任务中达到了超人的性能。然而，CNN很容易被对抗性的例子愚弄，即，恶意制作的图像，迫使网络预测不正确的输出，同时与预测正确输出的图像非常相似。常规对抗性示例对输入图像变换不具有鲁棒性，然后可以使用输入图像变换来检测是否向网络呈现对抗性示例。尽管如此，仍然有可能生成对这种转换具有鲁棒性的对抗性示例。本文广泛探讨了通过图像变换检测对抗性示例，并提出了一种新的方法，称为\textit{defense perturbation}，检测具有相同的输入变换的对抗性示例是强大的。这种\textit{defense perturbation}被证明是一种有效的对抗措施，强大的对抗性的例子。此外，多网络对抗的例子。这种对抗性的例子可以用来同时欺骗多个网络，这在使用网络冗余的系统中至关重要，例如那些基于多个CNN多数投票的架构。最后报告了一组基于在Imagenet数据集上训练的最先进CNN的广泛实验。
2021-08-16 cs.CV
Generative Adversarial Networks with Inverse Transformation Unit
在本文中，我们介绍了一种新的结构，生成对抗网络通过添加一个逆变换单元后的发电机。我们提出了两个定理，声称该模型的收敛性，和两个插图的非理想的情况下，转换不是双射。在MNIST数据集和Fashion-MNIST数据集上对具有不同变换的模型进行了一般性调查，这表明变换不一定需要是双射。此外，通过某些模糊图像的变换，我们的模型成功地学会了锐化图像并恢复模糊图像，这也通过我们对锐度的测量得到了验证。
2017-09-27 cs.CV
Adversarial Image Color Transformations in Explicit Color Filter Space
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Radboud University（拉德堡德大学）
本文提出对抗性颜色滤波器（AdvCF），在显式颜色滤波空间中进行梯度优化，实现高效且可解释的颜色变换攻击，并系统分析模型鲁棒性，优于现有方法。
2023-06-16 cs.CR cs.CV cs.LG
Adaptive Image Transformations for Transfer-based Adversarial Attack
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Intelligent Computing Technology, Suzhou, CAS（中国科学院苏州智能计算技术研究所）
对抗攻击为研究深度学习模型的鲁棒性提供了一种很好的方法。基于迁移的黑盒攻击中的一类方法利用多个图像变换操作来提高对抗样本的迁移性，虽然有效，但没有考虑到输入图像的具体特征。在这项工作中，我们提出了一种新的架构，称为自适应图像变换学习器（AITL），它将不同的图像变换操作合并到一个统一的框架中，以进一步提高对抗性示例的可移植性。与现有作品中使用的固定组合变换不同，我们精心设计的变换学习器自适应地选择特定于输入图像的图像变换的最有效组合。在ImageNet上进行的大量实验表明，我们的方法在各种设置下显着提高了正常训练模型和防御模型的攻击成功率。
2022-09-28 cs.CV
Perceptual Adversarial Robustness: Defense Against Unseen Threat Models
University of Maryland（马里兰大学）
对抗鲁棒性的一个关键挑战是缺乏人类感知的精确数学表征，用于人眼无法感知的对抗攻击的定义。大多数当前的攻击和防御试图通过考虑限制性对抗威胁模型（例如受$L_2$或$L_\infty$距离、空间扰动等限制的模型）来避免这个问题。然而，针对任何这些限制性威胁模型的鲁棒性模型对于其他威胁模型仍然很脆弱。为了解决这个问题，我们提出了针对所有不可感知的对抗性示例集的对抗性训练，使用深度神经网络进行近似。我们将这种威胁模型称为神经感知威胁模型（NPTM）;它包括与自然图像具有有限神经感知距离（基于神经网络的真实感知距离近似）的对抗性示例。通过广泛的感知研究，我们发现神经感知距离与人类对对抗性示例的感知能力的判断密切相关，从而验证了我们的威胁模型。在NPTM下，我们开发了新的感知对抗攻击和防御。由于NPTM非常广泛，我们发现针对感知攻击的感知对抗训练（PAT）对许多其他类型的对抗攻击具有鲁棒性。我们在CIFAR-10和ImageNet-100上测试PAT，以对抗五种不同的对抗攻击。我们发现，PAT对这五种攻击的联合实现了最先进的鲁棒性，比下一个最佳模型的准确性提高了一倍以上，而无需对其中任何一种进行训练。也就是说，PAT很好地推广到不可预见的扰动类型。这在无法假设特定威胁模型的敏感应用中至关重要，据我们所知，PAT是第一个具有此属性的对抗性训练防御。
2021-07-04 cs.CV cs.LG stat.ML
Defense Against Adversarial Attacks Using Feature Scattering-based Adversarial Training
Horizon Robotics（地平线机器人）；Baidu Research（百度研究院）
我们引入了一种基于特征分散的对抗性训练方法，以提高模型对对抗攻击的鲁棒性。传统的对抗性训练方法利用监督方案（有针对性或非有针对性）来生成用于训练的攻击，这通常会遇到标签泄漏等问题，如最近的工作中所指出的。因此，该方法通过在潜在空间中进行特征分散来生成用于训练的对抗图像，这在本质上是无监督的，并且避免了标签泄漏。更重要的是，这种新方法以协作方式生成扰动图像，并考虑到样本间的关系。我们对模型的鲁棒性进行了分析，并通过在不同数据集上的大量实验，与最先进的方法相比，证明了所提出的方法的有效性。
2019-11-21 cs.CR cs.CV cs.LG
Metamorphic Detection of Adversarial Examples in Deep Learning Models With Affine Transformations
Fraunhofer CESE（弗劳恩霍夫实验软件工程中心）
对抗攻击是小的、精心制作的扰动，肉眼无法察觉;当添加到图像中时，会导致深度学习模型对图像进行错误分类，从而产生潜在的有害结果。随着人工智能模型在消费者安全和安全密集型行业（如自动驾驶汽车、摄像头监控和人脸识别）中的兴起，越来越需要防范对抗攻击。在本文中，我们提出了一种方法，使用变形测试的原则，自动检测这样的对抗攻击。该方法可以检测到图像操作是如此之小，他们是不可能检测到的人类通过视觉检查。通过应用基于距离比保持仿射图像变换的变形关系，比较原始图像和变换后图像的行为，我们表明，我们提出的方法可以确定输入图像是否具有高精度的对抗性。
2019-07-10 cs.CV cs.LG eess.IV
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）；Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德校区）
生成对抗网络（GANs）为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中，我们介绍了一种新的图像到图像变换网络，称为循环判别生成对抗网络（CDGAN），填补了上述空白。建议的CDGAN生成高质量和更逼真的图像，通过将额外的循环图像，除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析，并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
PBCAT: Patch-based composite adversarial training against physically realizable attacks on object detection
Department of Computer Science and Technology, BNRist, IDG/McGovern Institute for Brain Research, THBI, Tsinghua University（清华大学计算机科学与技术系）；University of Science and Technology Beijing（北京科技大学）；Huawei Technologies（华为技术有限公司）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究院）
提出PBCAT，一种基于补丁的复合对抗训练方法，结合局部对抗补丁和全局扰动，统一防御多种物理可实现攻击，显著提升目标检测鲁棒性。
2025-07-09 cs.AI cs.CV cs.LG
DiffDefense: Defending against Adversarial Attacks via Diffusion Models
University of Florence（佛罗伦萨大学）
本文提出DiffDefense，利用Diffusion Models在无需修改分类器的前提下防御对抗攻击，克服了扩散模型逆向过程慢的缺陷，在保持干净准确率、速度和即插即用兼容性的同时实现了鲁棒防御。
2023-09-07 cs.CR cs.CV cs.LG
Perceptual Adversarial Networks for Image-to-Image Transformation
University of Technology Sydney（悉尼科技大学）；University of Sydney（悉尼大学）；Université Paris-Est（巴黎东部大学）
在本文中，我们提出了一个原则性的感知对抗网络（PAN）的图像到图像的转换任务。与现有的特定于应用的算法不同，PAN提供了一个学习配对图像之间映射关系的通用框架（图1），例如将下雨图像映射到其去雨对应物，将对象边缘映射到其照片，将语义标签映射到场景图像等。通过结合生成对抗损失和提出的感知对抗损失，这两个网络可以交替训练来解决图像到图像的转换任务。其中，鉴别网络D的隐藏层和输出被升级，以连续且自动地发现变换图像与对应的地面实况之间的差异。同时，训练图像变换网络T以最小化由判别网络D探索的差异。通过对抗训练过程，图像变换网络T将不断缩小变换图像与地面实况图像之间的差距。在几个图像到图像转换任务上评估的实验（例如，图像去雨、图像修补等）结果表明，提出的PAN优于许多相关的国家的最先进的方法。
2019-04-03 cs.CV
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley（加州大学伯克利分校）；DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的，并且一旦训练就保持不变，即使攻击发生变化。我们认为，模型应该反击，并在测试时优化其对攻击的防御。我们提出了动态防御，以适应模型和测试过程中的输入，防御熵最小化（登特）。登特改变了测试，但没有训练，与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是，在$ε_\infty$ = 8/255的CIFAR-10上，Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
Denoising Diffusion Probabilistic Models as a Defense against Adversarial Attacks
Harvard University（哈佛大学）
神经网络对输入中的小扰动非常敏感，这使得它们容易受到对抗攻击。该项目评估了去噪扩散概率模型（DDPM）作为一种净化技术来抵御对抗攻击的性能。它的工作原理是在通过扩散模型的逆过程去除噪声之前，向对抗性示例添加噪声。我们评估的方法上的PatchCamelyon数据集的淋巴结切片的组织病理学扫描，并找到了高达88%的原始模型的准确性，构成了相当大的改进香草模型和我们的基线的鲁棒准确性的提高。项目代码位于https://github.com/ankile/Adversarial-Diffusion。
2023-01-17 cs.CR cs.CV cs.LG
Approximate Manifold Defense Against Multiple Adversarial Perturbations
National University of Singapore（新加坡国立大学）
针对对抗攻击的现有防御通常针对特定的扰动类型进行定制。使用对抗性训练来防御多种类型的扰动，需要在每个训练步骤中使用来自不同扰动类型的昂贵的对抗性示例。相比之下，基于流形的防御采用生成网络将输入样本投影到干净的数据流形上。这种方法消除了生成昂贵的对抗性示例的需要，同时实现了对多种扰动类型的鲁棒性。然而，这种方法的成功依赖于生成网络是否能够捕获完整的干净数据流形，这对于复杂的输入域仍然是一个悬而未决的问题。在这项工作中，我们设计了一个近似流形防御机制，称为RBF-CNN，用于图像分类。我们使用RBF层来学习小图像块的密度，而不是捕获完整的数据流形。RBF-CNN还利用重建层来减轻任何微小的对抗性扰动。此外，将我们提出的重建过程用于训练提高了我们的RBF-CNN模型的对抗鲁棒性。在MNIST和CIFAR-10数据集上的实验结果表明，RBF-CNN对多种扰动具有鲁棒性，而无需昂贵的对抗训练。
2020-10-15 cs.CR cs.CV cs.LG
3D Topology Transformation with Generative Adversarial Networks
Politecnico di Milano（米兰理工大学）；Northeastern University（东北大学）；IBM AI Research（IBM人工智能研究院）
使用人工智能生成和转换图像和视频在过去几年中蓬勃发展。然而，只有少数作品旨在产生创造性的3D形状，如雕塑。在这里，我们展示了一种新的3D到3D拓扑转换方法，使用生成对抗网络（GAN）。我们使用修改后的pix 2 pix GAN，我们称之为Vox 2 Vox，在保持原始对象形状的同时转换3D对象的体积样式。特别是，我们将展示如何将3D模型转换为两个新的体积拓扑结构-3D网络和Ghirigoro。我们描述了如何使用我们的方法来构建定制的3D表示。我们相信生成的3D形状是新颖和鼓舞人心的。最后，我们比较了我们的方法和直接转换3D形状的基线算法之间的结果，而不使用我们的GAN。
2020-07-07 cs.CV cs.LG eess.IV
Defense-PointNet: Protecting PointNet Against Adversarial Attacks
University of Kentucky（肯塔基大学）；Miami University（迈阿密大学）
尽管在广泛的任务中表现出色，但神经网络已被证明容易受到对抗攻击的影响。许多工作集中在二维图像上的对抗攻击和防御，但很少关注三维点云。在本文中，我们的目标是增强PointNet的对抗鲁棒性，PointNet是最广泛使用的3D点云模型之一。我们将快速梯度符号攻击方法（FGSM）应用于3D点云，发现FGSM不仅可以用于生成对抗图像，而且可以生成对抗点云。为了最大限度地减少PointNet对对抗攻击的脆弱性，我们提出了Defense-PointNet。我们将我们的模型与两种基线方法进行了比较，结果表明Defense-PointNet显著提高了网络对对抗性样本的鲁棒性。
2020-02-27 cs.CV cs.LG eess.IV
Enhancing Adversarial Robustness via Test-time Transformation Ensembling
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Center for Research and Formation in Artificial Intelligence, Universidad de los Andes（安第斯大学人工智能研究与培训中心）
深度学习模型很容易被称为对抗攻击的难以察觉的扰动所欺骗。在这项工作中，我们研究如何装备模型与测试时转换集成（TTE）可以作为一个可靠的防御这种攻击。虽然在训练和测试时对输入数据进行变换可以提高模型性能，但尚未研究其对对抗鲁棒性的影响。在这里，我们提出了一个全面的实证研究TTE的影响，在广泛使用的图像变换的形式，对抗鲁棒性。我们表明，TTE一致地提高了模型对各种强大攻击的鲁棒性，而无需重新训练，并且这种改进几乎没有与干净样本的准确性进行权衡。最后，我们表明，TTE转移的好处，甚至认证的鲁棒性域，TTE提供了相当大的和一致的改进。
2021-07-29 cs.CR cs.CV cs.LG
PatchZero: Defending against Adversarial Patch Attacks by Detecting and Zeroing the Patch
对抗补丁攻击通过在局部区域内注入对抗像素来误导神经网络。补丁攻击可以在各种任务中非常有效，并且可以通过附着（例如贴纸）到现实世界的对象来物理实现。尽管攻击模式的多样性，对抗补丁往往是高度纹理化的，并且在外观上与自然图像不同。我们利用这一特性，并提出PatchZero，这是一种针对白盒对抗补丁的通用防御管道，无需重新训练下游分类器或检测器。具体来说，我们的防御检测在像素级的对手和“零”的补丁区域重新绘制的平均像素值。我们进一步设计了一个两阶段的对抗训练方案，以抵御更强的自适应攻击。PatchZero在图像分类（ImageNet，REISC 45），目标检测（PASCAL VOC）和视频分类（UCF 101）任务上实现了SOTA防御性能，而良性性能几乎没有下降。此外，PatchZero可以转移到不同的补丁形状和攻击类型。
2022-09-05 cs.CR cs.CV cs.LG
VectorDefense: Vectorization as a Defense to Adversarial Examples
Auburn University（奥本大学）
在以像素网格表示的图像上训练深度神经网络揭示了一种有趣的现象，称为对抗性示例。受人类如何重构抽象概念的启发，我们试图将输入的位图图像编码为一组紧凑的、可解释的元素，以避免被对抗性结构所欺骗。我们在这个方向上迈出了第一步，尝试将图像矢量化作为输入变换步骤，将对抗性示例映射回MNIST手写数字的自然流形。我们比较了我们的方法与最先进的输入转换，并进一步讨论了手工设计和学习转换防御之间的权衡。
2018-04-23 cs.CR cs.CV cs.LG
Sparse Adversarial Video Attacks with Spatial Transformations
Lancaster University（兰卡斯特大学）；University of Exeter（埃克塞特大学）
近年来，大量的研究工作集中在图像上的对抗攻击，而对抗视频攻击很少被探索。我们提出了一种对视频的对抗攻击策略，称为DeepSAVA。我们的模型包括加性扰动和空间变换通过一个统一的优化框架，其中的结构相似性指数（SSIM）的措施，采用测量对抗距离。我们设计了一个有效的和新颖的优化方案，它交替利用贝叶斯优化，以确定最有影响力的帧中的视频和随机梯度下降（SGD）为基础的优化，以产生添加剂和空间变换的扰动。这样做使DeepSAVA能够对视频执行非常稀疏的攻击，以保持人类的不可感知性，同时在攻击成功率和对抗性可转移性方面仍然实现最先进的性能。我们在各种类型的深度神经网络和视频数据集上进行的密集实验证实了DeepSAVA的优越性。
2021-11-10 cs.CV
On Brightness Agnostic Adversarial Examples Against Face Recognition Systems
NEC Corporation（日本电气股份有限公司）；University of Tsukuba（筑波大学）
提出了一种针对人脸识别系统的对抗性样本生成方法。一个对抗性的例子（AX）是一个带有故意制造的噪声的图像，以引起目标系统的错误预测。从我们的方法生成的AX在真实世界的亮度变化下仍然是鲁棒的。我们的方法执行非线性亮度变换，同时利用攻击生成过程中的课程学习的概念。我们证明，我们的方法优于传统的技术，从全面的实验研究在数字和物理世界。此外，该方法使得能够针对亮度不可知AX对FRS进行实际风险评估。
2021-09-29 cs.AI cs.CV cs.LG
Adversarial Training against Location-Optimized Adversarial Patches
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本研究提出了一种优化对抗补丁位置的方法，并对其应用对抗训练，在CIFAR10和GTSRB上显著提升鲁棒性且不降低准确率。
2020-12-14 cs.CR cs.CV cs.LG
Random Transformation of Image Brightness for Adversarial Attack
深度神经网络容易受到对抗性样本的影响，这些样本是通过向原始图像添加人类无法感知的小扰动来制作的，但会使模型输出不准确的预测。因此，在部署深度神经网络之前，对抗攻击可以成为在安全关键型应用中评估和选择鲁棒模型的重要方法。然而，在具有挑战性的黑盒设置下，攻击成功率，即，对抗性示例的可移植性仍然需要改进。基于图像增强方法，我们发现图像亮度的随机变换可以消除生成对抗性样本中的过拟合，提高其可移植性。为此，我们提出了一种基于这种现象的对抗性示例生成方法，该方法可以与快速梯度符号方法（FGSM）相关的方法相结合，以构建更强大的基于梯度的攻击，并生成具有更好可移植性的对抗性示例。在ImageNet数据集上的大量实验证明了该方法的有效性。无论是在正常或对抗训练的网络，我们的方法有一个更高的成功率的黑盒攻击比其他攻击方法的基础上数据增强。我们希望这种方法可以帮助评估和提高模型的鲁棒性。
2021-01-12 cs.CV
Overcomplete Representations Against Adversarial Videos
Johns Hopkins University（约翰斯·霍普金斯大学）
深度神经网络的对抗鲁棒性是文献中广泛研究的问题，并且已经提出了各种方法来防御对抗图像。然而，只有少数的防御方法已被开发用于防御攻击的视频。在本文中，我们提出了一种新的Over-and-Under完全恢复网络，用于防御对抗性视频（OUDefend）。大多数恢复网络采用编码器-解码器架构，首先缩小空间维度，然后将其扩展回来。这种方法学习不完全表示，它有很大的接收域来收集全局信息，但忽略了局部细节。另一方面，过完备表示具有相反的性质。因此，OUDefend旨在通过学习这两种表示来平衡局部和全局特征。我们将OUDefend作为特征恢复块附加到目标视频识别模型，并对整个网络进行端到端的训练。实验结果表明，针对图像的防御可能对视频无效，而OUDefend增强了对不同类型对抗视频的鲁棒性，包括加法攻击、乘法攻击和物理可实现攻击。代码：https://github.com/shaoyuanlo/OUDefend
2021-06-14 cs.CV cs.LG eess.IV
What Doesn't Kill You Makes You Robust(er): How to Adversarially Train against Data Poisoning
University of Siegen（锡根大学）；University of Maryland（马里兰大学）
数据投毒是一种威胁模型，其中恶意行为者篡改训练数据以在推理时操纵结果。针对这种威胁模型提出了各种防御措施，但每一种都至少有以下缺陷之一：它们很容易被自适应攻击克服，它们严重降低测试性能，或者它们不能推广到不同的数据投毒威胁模型。对抗性训练及其变体目前被认为是唯一一种针对（推理时间）对抗攻击的经验性强的防御方法。在这项工作中，我们扩展了对抗性训练框架，以防御（训练时间）数据投毒，包括有针对性的和后门攻击。我们的方法通过在训练过程中创建毒药并将其注入训练批次来使网络对此类攻击的影响脱敏。我们证明了这种防御可以承受自适应攻击，推广到不同的威胁模型，并且比以前的防御（如DP-SGD或（逃避）对抗训练）具有更好的性能权衡。
2022-02-17 cs.CR cs.CV cs.LG
Fuzzy Unique Image Transformation: Defense Against Adversarial Attacks On Deep COVID-19 Models
IIT Guwahati（古瓦哈蒂印度理工学院）；IIT Madras（马德拉斯印度理工学院）
使用在胸部X射线和CT图像上训练的深度模型早期识别COVID-19已经得到了研究人员的极大关注，以加快识别活动性COVID-19病例的过程。这些深度模型可以帮助那些缺乏专家或放射科医生的医院，特别是偏远地区的医院。已经提出了各种深度模型来检测COVID-19病例，但是很少有工作被执行来防止深度模型对抗能够通过使用图像像素中的小扰动来欺骗深度模型的对抗性攻击。本文评估了深度COVID-19模型对抗对抗性攻击的性能。此外，它还提出了一种有效的模糊唯一图像变换（FUIT）技术，将图像像素降采样到一个区间。FUIT变换后获得的图像进一步用于训练安全的深度模型，该模型保持了COVID-19病例诊断的高准确性，并提供了对对抗性攻击的可靠防御。实验和结果表明，该模型能够有效地防止深度模型对六种对抗性攻击的攻击，并保持了对胸部X射线图像和CT图像数据集的COVID-19病例分类的高准确率。研究结果还建议，在实际应用深度模型诊断COVID-19病例之前，需要进行仔细检查。
2020-09-08 cs.CV cs.LG eess.IV
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
分类器，如深度神经网络，已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性，但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中，我们证明了对抗性训练在防止通用扰动方面更有效，其中相同的扰动需要在许多输入上欺骗分类器。此外，我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡，并提出了一种对抗性训练的扩展，可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果，以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见，并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
Adversarial Sparse Teacher: Defense Against Distillation-Based Model Stealing Attacks Using Adversarial Examples
Hacettepe University（哈杰泰佩大学）
提出对抗稀疏教师（AST）方法，利用对抗样本和EPD损失函数增加输出熵，有效防御基于蒸馏的模型窃取攻击，并在CIFAR数据集上保持高精度。
2024-07-20 cs.CR cs.CV cs.LG
FaceGuard: A Self-Supervised Defense Against Adversarial Face Images
Michigan State University（密歇根州立大学）
针对对抗性人脸图像的流行防御机制往往过拟合训练集中的对抗性扰动，并且无法推广到看不见的对抗攻击。我们提出了一个新的自监督对抗防御框架，即FaceGuard，它可以自动检测，定位和净化各种各样的对抗面孔，而无需使用预先计算的对抗训练样本。在训练过程中，FaceGuard会自动合成具有挑战性和多样性的对抗攻击，使分类器能够学习将它们与真实人脸区分开来，而净化器则会尝试去除图像空间中的对抗性扰动。在LFW数据集上的实验结果表明，FaceGuard对6种不可见对抗攻击的检测准确率达到99.81%.此外，该方法可以提高人脸识别性能的ArcFace从34.27%TAR@0.1%FAR无防御下的77.46%TAR@0.1%FAR。
2021-04-05 cs.CV
Defending against adversarial attacks on medical imaging AI system, classification or detection?
Wayne State University（韦恩州立大学）
疾病分类和分割等医学成像AI系统越来越多地受到基于计算机视觉的AI系统的启发和改造。尽管已经开发了一系列对抗性训练和/或基于损失函数的防御技术，并证明其在计算机视觉中是有效的，但由于以下独特的挑战，在医学图像上防御对抗攻击在很大程度上仍然是一个未知的领域：1）医学图像中的标签稀缺性显著限制了AI系统的对抗性泛化能力; 2）医学图像中的前、背景具有极大的相似性和优势性，这使得学习不同疾病类别之间的区分特征成为困难的样本;和3）与聚焦的器官目标相反，添加到整个医学图像中的精心制作的对抗性噪声可以使干净和对抗性的样本更具辨别力不同疾病类别之间的差异。在本文中，我们提出了一种新的基于半监督对抗训练（SSAT）和无监督对抗检测（UAD）的强大医学成像AI框架，然后设计了一种新的评估系统对抗风险的措施。我们使用基准OCT成像数据集，系统地展示了我们强大的医学成像AI系统在各种现实世界对抗攻击环境下与现有对抗性防御技术相比的优势。
2020-06-24 cs.CV cs.LG eess.IV
Adversarial Transformation Networks: Learning to Generate Adversarial Examples
Google Research（谷歌研究院）
已经提出了多种不同的生成对抗性示例的方法来攻击深度神经网络。这些方法涉及直接计算关于图像像素的梯度，或者直接求解图像像素上的优化。在这项工作中，我们提出了一种生成对抗性示例的全新方法，该方法执行速度快，并提供了异常多样的输出。我们以自监督的方式有效地训练前馈神经网络，以生成针对目标网络或一组网络的对抗性示例。我们将这种网络称为对抗转换网络（ATN）。ATN被训练来生成对抗性示例，这些示例在给定原始输入的情况下最小限度地修改分类器的输出，同时约束新分类以匹配对抗性目标类。我们提出了训练ATN的方法，并针对各种MNIST分类器以及最新的最先进的ImageNet分类器Inception ResNet v2分析了它们的有效性。
2017-03-28 cs.AI cs.CV cs.NE
Tropical Decision Boundaries for Neural Networks Are Robust Against Adversarial Attacks
本研究提出一种可嵌入任意模型的热带卷积神经网络架构，利用分段线性网络的热带特性在单隐藏层嵌入热带投影环面，经理论分析与图像数据集实验验证其对对抗攻击具有鲁棒性。
2024-02-01 cs.CR cs.CV cs.LG
Synthesizing Robust Adversarial Examples
Massachusetts Institute of Technology（麻省理工学院）；LabSix（第六实验室）
用于为神经网络生成对抗性示例的标准方法并不总是欺骗物理世界中的神经网络分类器，这是由于视点偏移、相机噪声和其他自然变换的组合，限制了它们与现实世界系统的相关性。我们证明了强大的3D对抗对象的存在，我们提出了第一个算法合成的例子，是对抗超过一个选定的分布变换。我们合成的二维对抗图像对噪声、失真和仿射变换具有鲁棒性。我们将我们的算法应用于复杂的三维对象，使用3D打印来制造第一个物理对抗对象。我们的研究结果证明了物理世界中存在3D对抗对象。
2018-06-07 cs.CV
Enhancing Adversarial Transferability via Component-Wise Transformation
Westlake University（西湖大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）
本文提出分量级变换（CWT）攻击方法，通过对图像块进行插值和选择性旋转以突出不同目标区域，有效提升了对抗样本在跨架构（CNN与Transformer）上的可迁移性，并在ImageNet上优于现有方法。
2025-03-30 cs.CV
Augmenting Model Robustness with Transformation-Invariant Attacks
Arizona State University（亚利桑那州立大学）
神经网络在对抗攻击下的脆弱性引起了人们的严重关注，并激发了广泛的研究。研究表明，神经网络和针对它们的对抗攻击都可能对输入变换（如线性平移和旋转）敏感，而对对抗攻击具有鲁棒性的人类视觉对自然输入变换是不变的。在此基础上，本文测试了假设，即模型的鲁棒性可以进一步提高时，它是对抗性训练对变换攻击和变换不变攻击。在MNIST、CIFAR-10和受限ImageNet上的实验表明，虽然单独的攻击变换不会影响鲁棒性，但变换不变攻击可以使MNIST上的模型鲁棒性提高2.5%，CIFAR-10上提高3.7%，受限ImageNet上提高1.1%。我们讨论这一现象背后的直觉。
2019-06-13 cs.CV
Chinese Typeface Transformation with Hierarchical Adversarial Network
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们探讨了自动生成字体通过图像风格转移，在自然图像生成显示出很大的希望。现有的自然图像风格转换方法通常假设源图像和目标图像具有相似的高频特征。然而，这种假设在字体转换中不再成立。受生成对抗网络（GANs）最新进展的启发，我们提出了一种用于字体转换的分层对抗网络（HAN）。HAN由两个子网络组成：一个传输网络和一个分层对抗网络。传输网络将字符从一种字体映射到另一种字体。字体的一个独特的特点是，即使在同一字体下，相同的偏旁在不同的字符中也可能有完全不同的外观。因此，转移网络采用阶段解码器来利用多个特征层，旨在捕获全局和局部特征。层次对抗性搜索隐式地测量生成的域和目标域之间的数据差异。为了充分利用不同特征层的互补鉴别能力，提出了一种分层结构。实验表明，HAN是一种有效的字体迁移和字符恢复框架。
2017-11-17 cs.CV
Robustness Of Saak Transform Against Adversarial Attacks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
图像分类易受对抗攻击的影响。本文研究了Saak变换在高性能图像分类中对抗攻击的鲁棒性。我们开发了一个完整的基于多级Saak变换的图像分类系统。在Saak变换域中，干净图像和对抗图像在不同的光谱维度上表现出不同的分布。在每个阶段的光谱维度的选择可以被看作是一个自动去噪过程。受此观察的启发，我们仔细设计了特征提取，表示和分类策略，以提高对抗鲁棒性。广泛的实验评估证明了与知名的数据集和攻击的性能。
2019-02-07 cs.CV
Robust Tracking against Adversarial Attacks
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
虽然深度卷积神经网络（CNN）容易受到对抗攻击的攻击，但在构建针对对抗攻击的鲁棒深度跟踪算法方面却付出了相当少的努力。目前对对抗攻击和防御的研究主要集中在单个图像上。在这项工作中，我们首先尝试在视频序列上生成对抗性示例，以提高对对抗攻击的跟踪鲁棒性。为此，我们考虑到时间运动时，生成轻量级的扰动估计跟踪结果逐帧。一方面，我们在原始视频序列中加入时间扰动作为对抗样本，大大降低了跟踪性能。另一方面，我们从输入序列中依次估计扰动，并学习消除它们的影响，以恢复性能。我们将所提出的对抗攻击和防御方法应用于最先进的深度跟踪算法。对基准数据集的广泛评估表明，我们的防御方法不仅消除了对抗攻击造成的大的性能下降，而且在深度跟踪器不受对抗攻击的情况下，还实现了额外的性能增益。
2020-07-29 cs.CV
Meta Adversarial Training against Universal Patches
Bosch Center for Artificial Intelligence（博世人工智能中心）
最近展示的物理世界对抗攻击暴露了感知系统中的漏洞，这些漏洞对自动驾驶等安全关键应用构成了严重风险。这些攻击在物理世界中放置对抗性工件，间接导致向模型的输入添加通用补丁，可以在各种上下文中欺骗它。对抗性训练是对抗图像依赖性对抗攻击的最有效的防御方法。然而，将对抗训练定制为通用补丁在计算上是昂贵的，因为最佳通用补丁取决于在训练期间改变的模型权重。我们提出了Meta对抗训练（MAT），一种对抗训练与元学习的新组合，它通过元学习通用补丁和模型训练克服了这一挑战。MAT需要很少的额外计算，同时不断适应当前模型的补丁的大集合。MAT大大提高了对图像分类和交通灯检测的通用补丁攻击的鲁棒性。
2021-06-22 cs.AI cs.CV cs.LG
Unsupervised Image Transformation Learning via Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）；the Chinese University of Hong Kong（香港中文大学）；University of California Los Angeles（加州大学洛杉矶分校）
在这项工作中，我们研究了图像变换问题，其目标是学习底层变换（例如，季节的过渡）。但现实世界中的变化数不胜数，尤其是在无人监督的情况下，这一任务的难度更大。为了解决这一障碍，我们提出了一种基于生成对抗网络（GANs）的新型学习框架，其中，生成器和生成器共享一个变换空间。在模型完全优化后，共享空间内的任何两个点都应该定义一个有效的转换。通过这种方式，在推理阶段，我们通过将两个图像投影到变换空间上来充分提取可定制图像对之间的变化因子。所得到的变换向量可以进一步指导图像合成，从而促进具有连续语义变化的图像编辑（例如，以秋季为中间步骤，将夏季变为冬季）。值得注意的是，学习的变换空间不仅支持传输图像风格（例如，从白天变到夜晚），而且还操纵图像内容（例如，在天空中添加云）。此外，我们对变换空间的性质进行了深入的分析，以帮助理解各种变换是如何组织的。项目页面位于https://genforce.github.io/trgan/。
2022-10-05 cs.CV
Error Diffusion Halftoning Against Adversarial Examples
Johns Hopkins University（约翰斯·霍普金斯大学）
对抗性示例包含精心制作的扰动，可以欺骗深度神经网络（DNN）做出错误的预测。近年来，增强DNN的对抗鲁棒性引起了人们的极大兴趣。虽然基于图像变换的防御在早期被广泛考虑，但大多数都被自适应攻击击败。本文提出了一种新的基于误差扩散半调的图像变换防御方法，并将其与对抗训练相结合，对对抗性样本进行防御。误差扩散半色调将图像投影到1位空间中，并将量化误差扩散到相邻像素。这个过程可以从给定的图像中去除对抗性扰动，同时保持可接受的图像质量，同时有利于识别。实验结果表明，该方法是能够提高对抗性的鲁棒性，即使在先进的自适应攻击，而大多数其他基于图像变换的防御没有。我们表明，适当的图像变换仍然可以是一种有效的防御方法。代码：https://github.com/shaoyuanlo/Halftoning-Defense
2021-07-24 cs.CR cs.CV cs.LG
Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp Adversarial Attacks
University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练是一种针对具有有界Lp范数的攻击威胁模型的流行防御策略。然而，它往往会降低正常图像上的模型性能，防御不能很好地推广到新的攻击。鉴于深度生成模型（如GANs和VAE）在表征图像的底层流形方面的成功，我们研究是否可以通过利用底层流形信息来解决上述问题。为此，我们通过将ImageNet样本投影到StyleGSN学习的流形上来构建“On-Manifold ImageNet”（OM-ImageNet）数据集。对于这个数据集，底层的流形信息是准确的。使用OM-ImageNet，我们首先展示了图像潜在空间中的对抗性训练提高了标准准确性和对流形攻击的鲁棒性。然而，由于没有实现流形外扰动，防御可以被Lp对抗攻击打破。我们进一步提出了双流形对抗训练（DMAT），其中潜在空间和图像空间中的对抗扰动用于模型的鲁棒性。我们的DMAT提高了正常图像的性能，并实现了与标准对抗训练对Lp攻击相当的鲁棒性。此外，我们观察到，由DMAT捍卫的模型实现了对新的攻击，通过全局颜色偏移或各种类型的图像过滤来操纵图像的鲁棒性提高。有趣的是，当在流形外的自然图像上测试被防御的模型时，也实现了类似的改进。这些结果证明了使用流形信息增强深度学习模型对各种新型对抗攻击的鲁棒性的潜在好处。
2020-09-05 cs.CV
Towards Defending against Adversarial Examples via Attack-Invariant Features
Xidian University（西安电子科技大学）；The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。它们的对抗性鲁棒性可以通过利用对抗性示例来提高。然而，考虑到不断演变的攻击，在已知类型的对抗性示例上训练的模型通常不能很好地推广到未知类型的对抗性示例。为了解决这个问题，在本文中，我们提出了通过学习保持语义分类信息的攻击中的可推广不变特征来去除对抗性噪声。具体来说，我们引入了一种对抗性特征学习机制，将不变特征从对抗性噪声中分离出来。在攻击不变特征的编码空间中提出了一个归一化项，以解决可见和不可见攻击类型之间的偏差问题。经验评估表明，我们的方法可以提供更好的保护相比，以前的国家的最先进的方法，特别是对看不见的类型的攻击和自适应攻击。
2021-06-09 cs.CV
Vax-a-Net: Training-time Defence Against Adversarial Patch Attacks
Centre for Vision Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉语音与信号处理中心）；Surrey Centre for Cyber Security (SCCS), University of Surrey（萨里大学萨里网络安全中心）
我们提出了Vax-a-Net;一种用于免疫卷积神经网络（CNN）对抗对抗补丁攻击（APA）的技术。APA将视觉上明显的局部区域（补丁）插入到图像中以引起错误分类。我们引入了一种条件生成对抗网络（GAN）架构，该架构同时学习合成用于APA的补丁，同时利用这些攻击来适应预先训练的目标CNN，以降低其对它们的敏感性。这种方法可以将针对APA的弹性赋予预先训练的模型，由于APA方法的收敛速度慢，这对于传统的对抗性训练是不切实际的。我们证明了这种保护的可转移性，以抵御现有的APA，并显示其在几个当代CNN架构的有效性。
2020-09-17 cs.CV
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
深度学习图像分类容易受到对抗攻击的攻击，即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像，使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明，我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside（加州大学河滨分校）
最近的研究表明，像深度神经网络（DNN）这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧，特别是在安全性是重要因素的领域。因此，设计针对对抗攻击的防御机制至关重要。对于图像分类任务，不明显的扰动大多发生在图像的高频频谱中。在本文中，我们利用张量分解技术作为预处理步骤，找到一个低秩近似的图像，可以显着丢弃高频扰动。最近，一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩，为卷积神经网络（CNN）接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent（FGSM）对抗攻击时比Shield的SLQ方法性能高14%，同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
AutoAugment Input Transformation for Highly Transferable Targeted Attacks
Huazhong University of Science and Technology（华中科技大学）
本文提出AutoAugment输入变换（AAIT）方法，通过自动搜索最优输入变换策略生成对抗样本，显著提升定向攻击的迁移性，在CIFAR-10和ImageNet-Compatible数据集上超越现有方法。
2023-12-21 cs.CV
Defending Person Detection Against Adversarial Patch Attack by using Universal Defensive Frame
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
人物检测是计算机视觉领域的研究热点，也是以人为中心的计算机视觉的重要组成部分。虽然个人检测网络的预测性能已经得到了显着提高，但它们很容易受到对抗性补丁攻击。改变受限区域中的像素可以很容易地欺骗安全关键应用中的人员检测网络，例如自动驾驶和安全系统。尽管有必要对抗补丁攻击，但很少有人致力于防御对抗补丁攻击的人员检测。在本文中，我们提出了一种新的防御策略，通过优化防御帧的人检测来抵御对抗补丁攻击。防御框架在保持干净人的人检测性能的同时，消除了对抗补丁的效果。提出的防御框架是通过竞争学习算法在检测威胁模块和检测屏蔽模块之间进行迭代竞争来生成的。综合实验结果表明，该方法有效地抵御了对抗补丁攻击的人检测。
2022-10-20 cs.CV
Bilateral Adversarial Training: Towards Fast Training of More Robust Models Against Adversarial Attacks
Baidu Research USA（百度美国研究院）
本文研究了对抗鲁棒模型的快速训练问题。从分析最先进的防御方法，即，在多步对抗训练中，我们假设梯度大小与模型的鲁棒性有关。受此启发，我们建议在训练过程中扰动图像和标签，我们称之为双边对抗训练（BAT）。为了生成对抗标签，我们推导出一个封闭形式的启发式解决方案。为了生成对抗图像，我们使用一步有针对性的攻击，目标标签是最容易混淆的类别。在实验中，我们首先证明了随机开始和最混乱的目标攻击有效地防止标签泄漏和梯度掩蔽问题。再加上对抗标签部分，我们的模型显着改善了最先进的结果。例如，针对具有交叉熵损失的PGD 100白盒攻击，在CIFAR 10上，我们实现了63.7%对47.2%;在SVHN上，我们实现了59.1%对42.1%。最后，在非常（计算上）具有挑战性的ImageNet数据集上的实验进一步证明了我们的快速方法的有效性。
2019-08-01 cs.CV
