Adversarial Attack and Defense in Deep Ranking
Xi’an Jiaotong University（西安交通大学）；Alibaba Group（阿里巴巴集团）；ABB Corporate Research Center（ABB企业研究中心）；Wormpex AI Research（Wormpex人工智能研究院）
深度神经网络分类器容易受到对抗攻击的攻击，其中不可感知的扰动可能导致错误分类。然而，基于DNN的图像排名系统的脆弱性仍然没有得到充分的探索。在本文中，我们提出了两种针对深度排名系统的攻击，即，候选攻击和查询攻击，可以通过对抗性扰动来提高或降低所选候选人的排名。具体地说，期望的排名顺序表示为一组不等式，然后一个三元组的目标函数的设计，以获得最佳的扰动。相反，提出了一种抗崩溃三元组防御来提高排名模型对所有提出的攻击的鲁棒性，其中模型学习防止正样本和负样本被对抗攻击拉得彼此靠近。为了全面衡量我们的防御排名模型的经验对抗鲁棒性，我们提出了一个经验鲁棒性分数，其中涉及一组对排名模型的代表性攻击。我们的对抗性排名攻击和防御在MNIST、Fashion-MNIST、CUB 200 -2011、CARS 196和斯坦福在线产品数据集上进行了评估。实验结果表明，一个典型的深度排名系统可以有效地损害我们的攻击。尽管如此，我们的防御可以显着提高排名系统的鲁棒性，同时减轻各种攻击。
2021-06-07 cs.CV cs.LG
Detection Defenses: An Empty Promise against Adversarial Patch Attacks on Optical Flow
Institute for Visualization and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）
本文检验了针对光流的检测并移除对抗性补丁防御方法 ILP 和 LGS，发现它们不仅降低良性场景下的光流质量，还损害除 FlowNetC 外所有测试方法的鲁棒性，揭示了现有防御无法兑现其安全承诺。
2023-11-02 cs.CV cs.LG
Adversarial Ranking Attack and Defense
Xidian University（西安电子科技大学）；Alibaba DAMO MIIL（阿里巴巴达摩院）；Xi’an Jiaotong University（西安交通大学）；HERE Technologies（HERE技术公司）；Wormpex AI Research（Wormpex人工智能研究院）
深度神经网络（DNN）分类器容易受到对抗攻击的攻击，其中不可感知的扰动可能导致错误分类。然而，基于DNN的图像排名系统的脆弱性仍然没有得到充分的探索。在本文中，我们提出了两种针对深度排名系统的攻击，即，候选攻击和查询攻击，可以通过对抗性扰动来提高或降低所选候选人的排名。具体地说，期望的排名顺序表示为一组不等式，然后一个三元组的目标函数的设计，以获得最佳的扰动。相反，还提出了一种防御方法，以提高排名系统的鲁棒性，这可以同时减轻所有提出的攻击。我们的对抗性排名攻击和防御在包括MNIST、Fashion-MNIST和Stanford-Online-Products在内的数据集上进行评估。实验结果表明，一个典型的深度排名系统可以有效地损害我们的攻击。同时，我们的防御可以适度提高系统的鲁棒性。此外，我们的对手的可转移性和普遍性说明了现实的黑盒攻击的可能性。
2020-07-06 cs.CV cs.LG
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley（加州大学伯克利分校）；DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的，并且一旦训练就保持不变，即使攻击发生变化。我们认为，模型应该反击，并在测试时优化其对攻击的防御。我们提出了动态防御，以适应模型和测试过程中的输入，防御熵最小化（登特）。登特改变了测试，但没有训练，与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是，在$ε_\infty$ = 8/255的CIFAR-10上，Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
LPF-Defense: 3D Adversarial Defense based on Frequency Analysis
Sharif University of Technology（谢里夫理工大学）
虽然三维点云分类最近已被广泛部署在不同的应用场景中，但它仍然非常容易受到对抗攻击。这增加了3D模型在面对对抗攻击时的鲁棒训练的重要性。基于我们对现有对抗攻击性能的分析，发现更多的对抗扰动出现在输入数据的中高频分量。因此，通过在训练阶段抑制高频内容，提高了模型对对抗性示例的鲁棒性。实验结果表明，该防御方法降低了PointNet、PointNet++、、和DGCNN模型上六种攻击的成功率。特别是，与最先进的方法相比，在drop 100攻击下分类准确率平均提高了3.8%，在drop 200攻击下提高了4.26%。与其他可用的方法相比，该方法还提高了原始数据集上的模型精度。
2022-08-24 cs.CR cs.CV cs.LG
Defense-PointNet: Protecting PointNet Against Adversarial Attacks
University of Kentucky（肯塔基大学）；Miami University（迈阿密大学）
尽管在广泛的任务中表现出色，但神经网络已被证明容易受到对抗攻击的影响。许多工作集中在二维图像上的对抗攻击和防御，但很少关注三维点云。在本文中，我们的目标是增强PointNet的对抗鲁棒性，PointNet是最广泛使用的3D点云模型之一。我们将快速梯度符号攻击方法（FGSM）应用于3D点云，发现FGSM不仅可以用于生成对抗图像，而且可以生成对抗点云。为了最大限度地减少PointNet对对抗攻击的脆弱性，我们提出了Defense-PointNet。我们将我们的模型与两种基线方法进行了比较，结果表明Defense-PointNet显著提高了网络对对抗性样本的鲁棒性。
2020-02-27 cs.CV cs.LG eess.IV
Immune Defense: A Novel Adversarial Defense Mechanism for Preventing the Generation of Adversarial Examples
Nanjing University of Information Science and Technology（南京信息工程大学）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）；Qilu University of Technology（齐鲁工业大学）
深度神经网络（DNN）对对抗性样本的脆弱性已经得到证实。现有的对抗性防御主要旨在防止对抗性示例成功攻击DNN，而不是防止它们的生成。如果对抗性示例的生成不受监管，那么可及范围内的图像将不再安全，并对非鲁棒DNN构成威胁。虽然梯度混淆试图解决这个问题，但它已被证明是可以规避的。因此，我们提出了一种新的对抗性防御机制，称为免疫防御，是基于示例的预防御。这种机制将精心设计的准不可感知的扰动应用于原始图像，以防止生成原始图像的对抗性示例，从而保护图像和DNN。这些扰动图像被称为免疫示例（IE）。在白盒免疫防御中，我们分别提出了基于梯度和基于优化的方法。此外，还考虑了更复杂的黑盒免疫防御。我们提出了掩蔽梯度符号下降（MGSD），以减少近似误差和稳定的更新，以提高可转移性的IE，从而确保其有效性对黑盒对抗攻击。实验结果表明，基于优化的方法在白盒免疫防御中具有优越的性能和更好的视觉质量。相比之下，基于梯度的方法具有更强的可转移性，建议的MGSD显着改善基线的可转移性。
2023-03-08 cs.CV
Evaluating the Adversarial Robustness of Adaptive Test-time Defenses
University of Tübingen（图宾根大学）；DeepMind（深度思维）；Everyday Robots（日常机器人公司）
自适应防御在测试时进行优化，有望提高对抗鲁棒性。我们对这种自适应测试时间防御进行分类，解释其潜在的优点和缺点，并评估图像分类的最新自适应防御的代表性品种。不幸的是，当我们仔细的案例研究评估时，没有一个显著改善静态防御。有些甚至削弱了底层的静态模型，同时增加了推理计算。虽然这些结果令人失望，但我们仍然相信自适应测试时间防御是一个有前途的研究途径，因此，我们提供了对其进行彻底评估的建议。我们扩展了Carlini et al.（2019）的清单，提供了适应性防御的具体步骤。
2022-07-13 cs.CR cs.CV cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Robust Adversarial Defense by Tensor Factorization
LANL（洛斯阿拉莫斯国家实验室）
本文提出将输入数据张量化与低秩分解及神经网络参数张量化相结合，构建鲁棒对抗防御方法，在最强自动攻击下保持高鲁棒准确率，并超越现有基于张量分解的防御策略。
2023-09-03 cs.CR cs.CV cs.LG
Attention, Please! Adversarial Defense via Activation Rectification and Preservation
Beijing Jiaotong University（北京交通大学）
本研究通过考察对抗攻击与视觉注意变化之间的相关性，为对抗攻击问题提供了新的认识。特别地，我们观察到：（1）具有不完整注意区域的图像更容易受到对抗攻击的影响;（2）成功的对抗攻击导致偏离和分散的注意力地图。因此，基于注意力的对抗防御框架被设计为同时校正注意力地图以进行预测，并保留对抗图像和原始图像之间的注意力区域。在视觉注意力变化的背景下，增加迭代攻击样本的问题也进行了讨论。我们希望在这项研究中的注意力相关的数据分析和防御解决方案将揭示一些对抗攻击背后的机制，也有助于未来的对抗防御/攻击模型的设计。
2022-12-29 cs.CV
Adversarial Attacks and Defenses: An Interpretation Perspective
Texas A&M University（得克萨斯农工大学）；Arizona State University（亚利桑那州立大学）
尽管最近在广泛的应用中取得了进展，但机器学习模型，特别是深度神经网络，已被证明容易受到对抗攻击的攻击。攻击者在输入中添加精心制作的扰动，这些扰动几乎是人类无法察觉的，但可能导致模型做出错误的预测。保护模型免受对抗性输入的技术称为对抗性防御方法。尽管已经提出了许多方法来研究不同场景下的对抗攻击和防御，但如何真正理解模型脆弱性仍然是一个有趣而关键的挑战。受“知己知彼，百战不殆”这句谚语的启发，我们可以在解释机器学习模型以打开黑匣子之后解决上述挑战。模型解释或可解释的机器学习的目标是为模型的工作机制提取人类可理解的术语。最近，一些方法开始将解释纳入对抗攻击和防御的探索中。同时，我们也观察到许多现有的对抗攻击和防御方法，虽然没有明确声明，但可以从解释的角度来理解。在本文中，我们回顾了最近的工作对抗攻击和防御，特别是从机器学习解释的角度。我们将解释分为两种类型，特征级解释和模型级解释。对于每种类型的解释，我们详细说明了它如何用于对抗攻击和防御。然后，我们简要说明解释和对手之间的其他相关性。最后，我们讨论了挑战和未来的方向，沿着解决对手的问题与解释。
2020-10-07 cs.CV cs.LG stat.ML
Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks
Tsinghua University（清华大学）
深度神经网络容易受到对抗性样本的影响，这些样本会通过添加不可察觉的扰动来误导分类器。对抗性示例的一个有趣特性是它们良好的可移植性，这使得黑盒攻击在现实世界的应用中可行。由于对抗攻击的威胁，人们提出了许多方法来提高鲁棒性。几种最先进的防御被证明对可转移的对抗性示例具有鲁棒性。在本文中，我们提出了一个防御不变的攻击方法，以产生更多的可转移的对抗性的例子对防御模型。通过优化翻译图像集合的扰动，生成的对抗性示例对被攻击的白盒模型不太敏感，并且具有更好的可移植性。为了提高攻击的效率，我们进一步证明了我们的方法可以通过将未翻译图像的梯度与预定义的内核进行卷积来实现。我们的方法一般适用于任何基于梯度的攻击方法。在ImageNet数据集上的大量实验验证了该方法的有效性。我们最好的攻击愚弄八个国家的最先进的防御，平均成功率为82%，仅基于可转移性，证明了当前防御技术的不安全性。
2019-04-05 cs.CR cs.CV cs.LG
Continual Adversarial Defense
针对对抗攻击动态演化、现有防御易被绕过的问题，提出遵循四项实用原则的持续对抗防御（CAD）框架，整合多领域前沿技术，实验验证其对多阶段攻击的防御效果优于基线，且性能随攻击数增加趋于饱和，开辟了持续防御适配新范式。
2025-08-03 cs.CR cs.CV cs.LG
Delving into Deep Image Prior for Adversarial Defense: A Novel Reconstruction-based Defense Framework
Xi’an Jiaotong University（西安交通大学）；University of British Columbia（不列颠哥伦比亚大学）；Beijing Normal University（北京师范大学）
基于深度学习的图像分类模型被证明容易受到对抗攻击的攻击，因为它们会向干净的图像注入故意制造的噪声。为了以免训练和攻击不可知的方式防御对抗攻击，这项工作通过深入研究深度图像先验（DIP），提出了一种新颖有效的基于重建的防御框架。从根本上不同于现有的基于重建的防御，所提出的方法分析，并明确纳入我们的防御模型的决策过程。给定一幅对抗图像，首先将其在DIP优化过程中的重建图像映射到模型决策空间，在该空间中可以检测跨边界图像，并进一步定位边界上的图像。然后，通过沿对抗图像的相反方向扰动边界上的图像来净化对抗噪声。最后，流形上的图像被拼接，以构建一个图像，可以正确预测的受害者分类器。大量的实验表明，该方法优于现有的国家的最先进的重建为基础的方法在防御白盒攻击和防御感知攻击。此外，该方法可以保持高的视觉质量在对抗图像重建。
2021-07-31 cs.CV
Scale-Invariant Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。投影梯度下降（PGD）攻击已被证明是最成功的对抗攻击之一。然而，标准PGD攻击的效果可以很容易地通过重新缩放logits来削弱，而不会改变每个输入的原始决策。为了缓解这个问题，在本文中，我们提出了尺度不变的对抗攻击（SI-PGD），它利用倒数第二层中的特征与softmax层中的权重之间的角度来指导对手的生成。余弦角矩阵用于学习角度鉴别表示，且不随logits的重新缩放而改变，从而使SI-PGD攻击稳定有效。我们评估我们的攻击对多个防御，并显示改进的性能相比，现有的攻击。此外，我们提出了基于余弦角矩阵的尺度不变（SI）对抗防御机制，它可以嵌入到流行的对抗防御。实验结果表明，与我们的SI机制的防御方法实现了最先进的性能之间的多步和单步防御。
2022-01-29 cs.CV
Defense-GAN: Protecting Classifiers Against Adversarial Attacks Using Generative Models
University of Maryland, College Park（马里兰大学帕克分校）；University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）
近年来，深度神经网络方法已被广泛用于机器学习任务，包括分类。然而，它们被证明容易受到对抗性扰动的影响：精心制作的小扰动可能会导致合法图像的错误分类。我们提出了Defense-GAN，这是一个利用生成模型的表达能力来保护深度神经网络免受此类攻击的新框架。Defense-GAN被训练来模拟未受干扰图像的分布。在推理时，它会找到一个与给定图像接近的输出，该输出不包含对抗性变化。然后将该输出馈送到分类器。我们提出的方法可以用于任何分类模型，不修改分类器结构或训练过程。它也可以用来防御任何攻击，因为它不假设生成对抗性示例的过程的知识。我们的经验表明，Defense-GAN对不同的攻击方法始终有效，并改进了现有的防御策略。我们的代码已在https://github.com/kabkabm/defensegan上公开发布
2018-05-18 cs.CV cs.LG stat.ML
Approximate Manifold Defense Against Multiple Adversarial Perturbations
National University of Singapore（新加坡国立大学）
针对对抗攻击的现有防御通常针对特定的扰动类型进行定制。使用对抗性训练来防御多种类型的扰动，需要在每个训练步骤中使用来自不同扰动类型的昂贵的对抗性示例。相比之下，基于流形的防御采用生成网络将输入样本投影到干净的数据流形上。这种方法消除了生成昂贵的对抗性示例的需要，同时实现了对多种扰动类型的鲁棒性。然而，这种方法的成功依赖于生成网络是否能够捕获完整的干净数据流形，这对于复杂的输入域仍然是一个悬而未决的问题。在这项工作中，我们设计了一个近似流形防御机制，称为RBF-CNN，用于图像分类。我们使用RBF层来学习小图像块的密度，而不是捕获完整的数据流形。RBF-CNN还利用重建层来减轻任何微小的对抗性扰动。此外，将我们提出的重建过程用于训练提高了我们的RBF-CNN模型的对抗鲁棒性。在MNIST和CIFAR-10数据集上的实验结果表明，RBF-CNN对多种扰动具有鲁棒性，而无需昂贵的对抗训练。
2020-10-15 cs.CR cs.CV cs.LG
AdvMS: A Multi-source Multi-cost Defense Against Adversarial Attacks
Boston University（波士顿大学）；Northeastern University（东北大学）；IBM Research（IBM研究院）
设计针对对抗攻击的有效防御是一个至关重要的话题，因为深度神经网络在许多安全关键领域（如恶意软件检测和自动驾驶汽车）中迅速扩散。传统的防御方法，虽然被证明是有前途的，但在很大程度上受到其单一来源单一成本性质的限制：当防御越来越强大时，鲁棒性的提升往往趋于平稳，而成本往往会放大。在本文中，我们研究的原则，设计多源和多成本的计划，防御性能的提高，从多个防御组件。基于这种动机，我们提出了一种多源多成本的防御方案，对抗训练模型切换（AdvMS），它继承了两种主要方案的优点：对抗训练和随机模型切换。我们发现，AdvMS的多源性质缓解了性能稳定问题，多成本性质使其能够在不同因素的灵活和可调整的成本组合下提高鲁棒性，从而更好地适应实践中的特定限制和需求。
2020-02-19 cs.CR cs.CV cs.LG
Cycle-Consistent Adversarial GAN: the integration of adversarial attack and defense
National Digital Switching System Engineering and Technological Research Center（国家数字交换系统工程技术研究中心）
在深度学习的图像分类中，输入旨在添加小幅度扰动的对抗性示例可能会误导深度神经网络（DNN）获得错误的结果，这意味着DNN很容易受到它们的影响。为了更好地研究深度学习的机制，人们提出了不同的攻击和防御策略。然而，这些网络的研究都只是针对攻击或防御的一个方面，没有考虑到攻击和防御应该是相互依存、相互促进的，就像矛和盾的关系一样。本文提出了循环一致的对抗性GAN（CycleAdvGAN）算法来生成对抗性实例，该算法能够学习和近似原始实例和对抗性实例的分布。对于CycleAdvGAN，一旦Generator和被训练，可以针对任何实例高效地生成对抗扰动，从而使DNN预测错误，并恢复对抗示例以清洁实例，从而使DNN预测正确。我们在两个公共数据集MNIST和CIFAR10上应用半白盒和黑盒设置下的CycleAdvGAN。实验表明，该方法在实现了对抗攻击方法的同时，有效地提高了防御能力，实现了对抗攻击与防御的一体化。此外，它还提高了只在任何类型的对抗攻击生成的对抗数据集上训练的攻击效果。
2019-04-12 cs.CV
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester（曼彻斯特大学）
本文建立解释集成对抗防御鲁棒性的误差理论，并据此提出 iGAT，通过全局对抗样本概率分配和弱点正则化，在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
Defense-VAE: A Fast and Accurate Defense against Adversarial Attacks
Georgia State University, USA（美国佐治亚州立大学）
深度神经网络（DNN）在各种预测任务中取得了巨大的成功。然而，最近的研究表明，DNN特别容易受到对抗攻击，这对其在安全敏感系统中的应用构成了严重威胁。在本文中，我们提出了一个简单而有效的防御算法Defense-VAE，它使用变分自编码器（VAE）来清除污染图像中的对抗性扰动。所提出的方法是通用的，可以防御白盒和黑盒攻击，而不需要重新训练原始的CNN分类器，并可以通过重新训练CNN或端到端微调整个管道进一步加强防御。此外，与基于优化的替代方案（如Defense-GAN）相比，所提出的方法非常有效，因为在线预测不需要迭代优化。在MNIST、Fashion-MNIST、CelebA和CIFAR-10上进行的大量实验表明，与Defense-GAN相比，Defense-VAE的防御精度更高，同时比后者快50倍。这使得Defense-VAE可广泛部署在实时安全敏感系统中。我们的源代码可以在https://github.com/lxuniverse/defense-vae上找到。
2019-08-01 cs.CV
Defense Against Adversarial Attacks Using Feature Scattering-based Adversarial Training
Horizon Robotics（地平线机器人）；Baidu Research（百度研究院）
我们引入了一种基于特征分散的对抗性训练方法，以提高模型对对抗攻击的鲁棒性。传统的对抗性训练方法利用监督方案（有针对性或非有针对性）来生成用于训练的攻击，这通常会遇到标签泄漏等问题，如最近的工作中所指出的。因此，该方法通过在潜在空间中进行特征分散来生成用于训练的对抗图像，这在本质上是无监督的，并且避免了标签泄漏。更重要的是，这种新方法以协作方式生成扰动图像，并考虑到样本间的关系。我们对模型的鲁棒性进行了分析，并通过在不同数据集上的大量实验，与最先进的方法相比，证明了所提出的方法的有效性。
2019-11-21 cs.CR cs.CV cs.LG
Detection based Defense against Adversarial Examples from the Steganalysis Point of View
CAS Key Laboratory of Electromagnetic Space Information（中国科学院电磁空间信息重点实验室）；University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。此外，对抗性示例可以用于对各种基于DNN的系统进行攻击，即使对手无法访问底层模型。已经提出了许多防御方法，例如混淆网络的梯度或检测对抗性示例。然而事实证明，这些防御方法都是无效的，或者不能抵抗二次对抗攻击。本文指出隐写分析可以应用于对抗性样本检测，并提出了一种通过估计对抗攻击引起的修改概率来增强隐写分析特征的方法。实验结果表明，该方法能够准确地检测出对抗性样本。此外，二次对抗攻击不能直接对我们的方法进行，因为我们的方法不是基于神经网络，而是基于高维人工特征和FLD（Fisher线性判别）集成。
2018-12-24 cs.CV cs.LG stat.ML
White-Box Adversarial Defense via Self-Supervised Data Estimation
Harvard University（哈佛大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
在本文中，我们研究了如何保护分类器免受对抗攻击的问题，这些攻击使用巧妙修改的输入数据来欺骗分类器。与以前的作品相比，这里我们关注的是白盒对抗防御，攻击者不仅可以完全访问分类器，还可以完全访问防御者，以产生尽可能强大的攻击。在这样的背景下，我们建议将防御者视为一个函数，一个高阶函数，它以函数作为其参数来表示函数空间，而不是传统的固定函数。从这个角度来看，防御者应该针对每个对抗性输入单独实现和优化。为此，我们提出了RIDE，一个有效的和可证明收敛的自监督学习算法，用于个人数据估计，以保护预测免受对抗攻击。我们证明了对抗防御性能在图像识别方面的显着改善，例如，在最先进的BPDA攻击者下，MNIST，CIFAR-10和ImageNet数据集上的测试准确率分别为98%，76%和43%。
2019-09-13 cs.CV cs.LG stat.ML
Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks
Chongqing University（重庆大学）；Peng Cheng Lab（鹏城实验室）；Zhejiang University（浙江大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对部署阶段未知攻击的零样本防御问题，本文提出MID，通过攻击者池采样任务和多层级多一致性元蒸馏学习攻击不变特征，在分类与图像再生上均取得可泛化鲁棒性。
2024-04-04 cs.CR cs.CV cs.LG
Deflecting Adversarial Attacks
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
有一个正在进行的循环，即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环，我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此，我们首先提出了一种基于Capsule Networks的更强大的防御，该防御结合了三种检测机制，以在标准和防御感知攻击中实现最先进的检测性能。然后，我们通过进行一项人类研究，要求参与者标记攻击产生的图像，表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”，因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
Adversarial Attacks and Defenses on 3D Point Cloud Classification: A Survey
Sharif University of Technology（谢里夫理工大学）；Simon Fraser University（西蒙弗雷泽大学）
本文综述了三维点云分类中的对抗攻击与防御技术，系统梳理了对抗样本生成方法及面向数据和模型的防御策略，并指出了当前挑战与未来研究方向。
2023-12-01 cs.CV cs.LG eess.IV
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
深度学习图像分类容易受到对抗攻击的攻击，即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像，使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明，我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
Denoising Diffusion Probabilistic Models as a Defense against Adversarial Attacks
Harvard University（哈佛大学）
神经网络对输入中的小扰动非常敏感，这使得它们容易受到对抗攻击。该项目评估了去噪扩散概率模型（DDPM）作为一种净化技术来抵御对抗攻击的性能。它的工作原理是在通过扩散模型的逆过程去除噪声之前，向对抗性示例添加噪声。我们评估的方法上的PatchCamelyon数据集的淋巴结切片的组织病理学扫描，并找到了高达88%的原始模型的准确性，构成了相当大的改进香草模型和我们的基线的鲁棒准确性的提高。项目代码位于https://github.com/ankile/Adversarial-Diffusion。
2023-01-17 cs.CR cs.CV cs.LG
GanDef: A GAN based Adversarial Training Defense for Neural Network Classifier
New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
机器学习模型，特别是神经网络（NN）分类器，被广泛用于包括自然语言处理、计算机视觉和网络安全的许多应用中。它们在无攻击场景的假设下提供高准确性。然而，这一假设已经被引入对抗性示例所挑战-精心扰动的输入样本通常被错误分类。许多研究人员试图开发一种防御对抗性例子的方法;然而，我们离实现这一目标还很远。在本文中，我们设计了一个基于生成对抗网络（GAN）的对抗训练防御，称为GanDef，它利用竞争游戏来调节训练过程中的特征选择。我们分析表明，GanDef可以训练分类器，使其能够抵御对抗性的例子。通过对不同白盒对抗示例的广泛评估，GanDef训练的分类器显示出与最先进的对抗训练防御训练的分类器相同的测试准确度。更重要的是，GanDef的变体GanDef-Comb可以利用GanDef来实现正确分类原始示例和对抗示例之间的动态权衡。因此，当对抗性示例的比例超过41.7%时，它实现了最高的整体测试准确率。
2019-03-06 cs.CR cs.CV cs.LG
Encryption Inspired Adversarial Defense for Visual Classification
Tokyo Metropolitan University（东京都立大学）
无论模型是否受到攻击，传统的对抗性防御都会降低分类准确性。此外，大多数基于图像处理的防御由于模糊梯度的问题而失败。在本文中，我们提出了一种新的对抗性防御，这是一个防御性的变换的训练和测试图像的启发感知图像加密方法。所提出的方法利用了一个秘密密钥的逐块像素洗牌方法。实验进行了自适应和非自适应最大范数有界白盒攻击，同时考虑混淆梯度。实验结果表明，该方法在CIFAR-10数据集上，在噪声距离为8/255的干净图像和对抗性样本上分别达到了91.55%和89.66%的准确率。因此，所提出的防御优于最先进的对抗性防御，包括潜在对抗性训练，对抗性训练和温度计编码。
2020-05-16 cs.CR cs.LG stat.ML
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside（加州大学河滨分校）
最近的研究表明，像深度神经网络（DNN）这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧，特别是在安全性是重要因素的领域。因此，设计针对对抗攻击的防御机制至关重要。对于图像分类任务，不明显的扰动大多发生在图像的高频频谱中。在本文中，我们利用张量分解技术作为预处理步骤，找到一个低秩近似的图像，可以显着丢弃高频扰动。最近，一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩，为卷积神经网络（CNN）接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent（FGSM）对抗攻击时比Shield的SLQ方法性能高14%，同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
Efficient Defenses Against Adversarial Attacks
IBM Research Ireland（IBM爱尔兰研究院）
随着深度神经网络（DNN）最近在广泛的应用中被采用，针对这些模型的对抗攻击已被证明是一个无可争议的威胁。对抗性样本是故意破坏系统的。在DNN的情况下，缺乏对其工作的更好理解阻碍了有效防御的发展。在本文中，我们提出了一种新的防御方法的基础上，实际的观察，这是很容易集成到模型中，比最先进的防御性能更好。我们提出的解决方案旨在加强DNN的结构，使其预测更加稳定，不太可能被对抗样本愚弄。我们进行了广泛的实验研究，证明我们的方法对多种攻击的效率，将其与白盒和黑盒设置中的众多防御进行比较。此外，我们的方法的实现几乎没有给训练过程带来任何开销，同时保持了原始模型在干净样本上的预测性能。
2017-08-30 cs.LG
ZK-GanDef: A GAN based Zero Knowledge Adversarial Training Defense for Neural Networks
New Jersey Institute of Technology（新泽西理工学院）
神经网络分类器已成功地应用于广泛的应用领域。然而，他们对无攻击环境的基本假设已经被对抗性的例子所挑战。研究人员试图开发防御措施;然而，现有的方法仍然远远不能为这个不断发展的问题提供有效的解决方案。在本文中，我们设计了一个基于生成对抗网（GAN）的零知识对抗训练防御，称为ZK-GanDef，它在训练过程中不消耗对抗样本。因此，ZK-GanDef不仅训练效率高，而且还能适应新的对抗性示例。与完全知识方法相比，这种优势是以测试精度的小降级为代价的。我们的实验表明，与零知识方法相比，ZK-GanDef将对抗性示例的测试准确率提高了49.17%。更重要的是，它的测试准确率接近最先进的全知识方法（最大降级为8.46%），同时训练时间更少。
2019-04-17 cs.CR cs.CV cs.LG
ATHENA: A Framework based on Diverse Weak Defenses for Building Adversarial Defense
University of South Carolina（南卡罗来纳大学）
针对对抗攻击的防御技术已经有了广泛的研究，但是，它们主要是针对特定的模型族或应用领域设计的，因此，它们不容易扩展。基于多种弱防御集成的设计思想，我们提出了ATHENA--一个灵活的、可扩展的框架，用于构建针对对抗攻击的通用而有效的防御。我们已经进行了一个全面的实证研究，评估ATHENA的几个实现与四个威胁模型，包括零知识，黑盒，灰盒和白盒。我们还解释了（i）为什么多样性很重要，（ii）防御框架的一般性，以及（iii）ATHENA产生的间接成本。
2020-10-16 cs.CR cs.LG stat.ML
DefenseVGAE: Defending against Adversarial Attacks on Graph Data via a Variational Graph Autoencoder
Peking University（北京大学）
图神经网络（GNNs）在处理图数据的任务时具有显著的性能。然而，最近的研究表明，它们非常容易受到对抗性结构扰动的影响，使得它们的结果不可靠。在本文中，我们提出了DefenseVGAE，这是一个利用变分图自编码器（VGAE）来保护GNN免受此类攻击的新框架。DefenseVGAE被训练来重建图结构。重构的邻接矩阵可以降低对抗干扰的影响，提高GCN在面对对抗攻击时的性能。我们在一些数据集上的实验表明，所提出的方法在各种威胁模型下的有效性。在某些情况下，它优于现有的防御策略。我们的代码已在https://github.com/zhangao520/defense-vgae上公开发布。
2020-06-16 cs.LG stat.ML
Exploring Adversarial Attacks and Defenses in Vision Transformers trained with DINO
ETH Zurich（苏黎世联邦理工学院）
本文首次分析了使用DINO训练的自监督视觉Transformer对对抗攻击的鲁棒性。首先，我们评估通过自我监督学习的特征是否比从监督学习中学习的特征对对抗攻击更鲁棒。然后，我们提出了在潜在空间中的攻击所产生的属性。最后，我们评估了三种著名的防御策略是否可以通过微调分类头来提高下游任务的对抗鲁棒性，即使在有限的计算资源下也能提供鲁棒性。这些防御策略是：对抗性训练，强化对抗性训练和强化专业网络。
2022-09-08 cs.AI cs.CV
Adversarial Parameter Defense by Multi-Step Risk Minimization
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
以前的研究表明DNN对对抗性示例的脆弱性，对抗性训练可以建立对抗性示例的防御。此外，最近的研究表明，深度神经网络也表现出对参数损坏的脆弱性。模型参数的易损性对于研究模型的鲁棒性和泛化能力具有重要的意义。在这项工作中，我们引入了参数腐败的概念，并提出利用损失变化指标来衡量损失盆地的平坦性和神经网络参数的参数鲁棒性。在此基础上，我们分析了参数腐败，并提出了多步对抗腐败算法。为了增强神经网络，我们提出了对抗性参数防御算法，最大限度地减少了多个对抗性参数损坏的平均风险。实验结果表明，该算法能提高神经网络的参数鲁棒性和准确性。
2022-04-14 cs.LG
Test-time Adversarial Defense with Opposite Adversarial Path and High Attack Time Cost
Institute of Information Science Academia Sinica（资讯研究所）
针对深度学习模型易受对抗攻击、训练时防御鲁棒性不足的问题，提出基于反向对抗路径与逆向扩散的测试时纯化防御方法，例证了AutoAttack（Rand）的应用陷阱，分析了攻击效果与时间成本的权衡，验证了方法有效性。
2025-05-19 cs.CR cs.LG
Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser
Tsinghua University（清华大学）
神经网络容易受到对抗性样本的攻击，这对它在安全敏感系统中的应用构成了威胁。我们提出了高层次的表示指导去噪（HGD）作为防御图像分类。标准的去噪算法存在误差放大效应，其中微小的残余对抗性噪声被逐步放大并导致错误的分类。HGD通过使用损失函数克服了这个问题，该损失函数被定义为由干净图像和去噪图像激活的目标模型的输出之间的差。与目前最先进的大规模图像防御方法集成对抗训练相比，HGD具有三大优势。首先，使用HGD作为防御，目标模型对白盒或黑盒对抗攻击都更鲁棒。其次，HGD可以在图像的一个小子集上训练，并且可以很好地推广到其他图像和看不见的类。第三，HGD可以移植到其他模型上，在NIPS对抗对抗攻击的比赛中，我们的HGD方案获得了第一名，并大幅优于其他模型。
2018-05-08 cs.CV
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University（密歇根州立大学）
在对抗攻击下，时间序列回归和分类是脆弱的。另一方面，对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中，各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行，具有三个对抗攻击和一个对抗防御。根据调查结果，所有模型，特别是GRU和RNN，似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
Local Gradients Smoothing: Defense against localized adversarial attacks
Australian National University (ANU)（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
深度神经网络（DNN）已经显示出对对抗攻击的脆弱性，即，精心扰动的输入，旨在误导网络在推理时间。最近引入的局部化攻击，局部化和可见对抗性噪声（LaVAN）和对抗性补丁，通过仅在特定区域内添加对抗性噪声而不影响图像中的显著对象，对深度学习安全性提出了新的挑战。由于观察到这种攻击在特定图像位置引入了集中的高频变化，我们开发了一种有效的方法来估计梯度域中的噪声位置，并在图像域中转换由对抗性噪声引起的高激活区域，同时对正确分类重要的显著对象具有最小的影响。我们提出的局部一致性平滑（LGS）方案通过在将图像馈送到DNN进行推理之前正则化估计的噪声区域中的梯度来实现这一点。我们已经证明了我们的方法与其他防御方法相比的有效性，包括数字水印，JPEG压缩，总方差最小化（TVM）和ImageNet数据集上的特征压缩。此外，我们还系统地研究了所提出的防御机制对回传可微近似（BPDA）的鲁棒性，BPDA是最近开发的一种最先进的攻击，用于破坏转换输入样本以最小化对抗效应的防御。与其他防御机制相比，LGS在局部对抗攻击环境中对BPDA的抵抗力最强。
2018-11-19 cs.CV
Adversarial Attack and Defense on Point Sets
Shanghai Jiao Tong University（上海交通大学）；Huawei Hisilicon（华为海思）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
3D点云数据在安全关键视觉任务中的实用性的出现（例如，ADAS）敦促研究人员更加关注3D表示和深度网络的鲁棒性。为此，我们开发了一个攻击和防御计划，致力于3D点云数据，防止3D点云操纵，以及追求噪声容忍的3D表示。通过逐点梯度扰动和对抗性点连接/分离，提出了一组新的3D点云攻击操作。然后，我们开发了一个灵活的扰动测量方案的三维点云数据检测潜在的攻击数据或噪声传感数据。值得注意的是，所提出的防御方法甚至可以有效地检测由直接针对防御的概念验证攻击生成的对抗性点云。针对对抗攻击在多个点云网络之间的可转移性问题，提出了一种动量增强的逐点梯度算法来提高攻击的可转移性.我们进一步分析了从对抗点云到网格CNN和逆的可转移性。在常见点云基准上的大量实验结果证明了所提出的3D攻击和防御框架的有效性。
2021-05-31 cs.AI cs.CR cs.CV
A Partial Break of the Honeypots Defense to Catch Adversarial Attacks
Google Brain（谷歌大脑）
最近的一项防御建议将“蜜罐”注入神经网络，以检测对抗攻击。我们通过将检测真阳性率降低到0%和检测AUC降低到0.02来打破这种防御的基线版本，保持原始的失真界限。原始论文的作者已经修改了CCS'20论文中的辩护，以减轻这种攻击。为了帮助进一步的研究，我们在https://nicholas.carlini.com/code/ccs_honeypot_break上发布了完整的2.5小时逐行扫描屏幕记录的攻击过程。
2020-09-23 cs.CR cs.LG
A Thorough Comparison Study on Adversarial Attacks and Defenses for Common Thorax Disease Classification in Chest X-rays
South China University of Technology（华南理工大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究所）；Chinese Academy of Sciences（中国科学院）
最近，深度神经网络（DNN）在胸部X射线图像的自动诊断方面取得了很大进展。然而，DNN容易受到对抗性示例的影响，这可能会在将基于DNN的方法应用于疾病检测时对患者造成误诊。近年来，针对攻击和防御方法对疾病检测的影响，特别是针对多标签分类问题的研究较少。本文旨在综述胸部X线片上的各种对抗性攻击和防御方法。首先，详细介绍了攻击和防御方法的动机和数学表示。其次，我们评估了几种最先进的攻击和防御方法对胸部X线常见胸部疾病分类的影响。我们发现，攻击和防御方法的性能较差，过多的迭代和大扰动。为了解决这个问题，我们提出了一种新的防御方法，是强大的不同程度的扰动。这项研究可以为社区的方法发展提供新的见解。
2020-03-31 cs.CV cs.LG eess.IV
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen（哥廷根乔治-奥古斯特大学）；University of Tübingen（图宾根大学）
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络（BNN）的主题，并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里，我分析了拟议的防御，并建议需要调整对抗攻击，以纳入贝叶斯网络的随机性，以执行其鲁棒性的准确评估。使用这种新型的攻击，我表明，似乎没有强有力的证据，更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Mel Frequency Spectral Domain Defenses against Adversarial Attacks on Speech Recognition Systems
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电子与计算机工程系）
最近的各种工作已经研究了深度神经网络对对抗性攻击的防御，特别是在图像处理领域。诸如自动语音识别（ASR）等语音处理应用越来越依赖于深度学习模型，因此也容易受到对抗性攻击。然而，许多针对ASR探索的防御只是适应图像域防御，这可能无法提供最佳的鲁棒性。本文探讨了使用梅尔频谱域的语音特定的防御，并介绍了一种新的防御方法称为梅尔域噪声淹没（MDNF）。MDNF在重新合成音频信号之前将加性噪声应用于语音话语的梅尔频谱图。我们测试了对强白盒对抗攻击（如投影梯度下降（PGD）和Carlini-Wagner（CW）攻击）的防御，并在强威胁模型中显示出比随机平滑基线更好的鲁棒性。
2022-03-29 cs.LG eess.AS
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
Department of Excellence in Robotics and AI, Sant’Anna School of Advanced Study（机器人与人工智能卓越部门、圣安娜高级研究学校）
研究视觉Transformer易受局部对抗攻击问题，提出对抗诱饵方法，通过独立优化图像补丁重定向注意力，解耦错误分类与防御规避目标，实验证明该方法能转移注意力并保留攻击效果，揭示相关指标局限性。
2026-07-10 cs.AI cs.CV
LanCe: A Comprehensive and Lightweight CNN Defense Methodology against Physical Adversarial Attacks on Embedded Multimedia Applications
George Mason University（乔治梅森大学）
最近，对抗攻击可以应用于物理世界，给各种卷积神经网络（CNN）驱动的应用带来实际问题。大多数现有的物理对抗攻击防御工作只关注从输入中消除显式扰动模式，忽略了对CNN内在脆弱性的解释。因此，它们缺乏对不同攻击的预期通用性，从而依赖于相当大的数据处理成本。在本文中，我们提出了LanCe --一种针对不同物理对抗攻击的全面而轻量级的CNN防御方法。通过解释CNN的脆弱性，我们发现，非语义对抗扰动可以激活CNN与显着异常激活，甚至压倒其他语义输入模式的激活。我们改进了CNN识别过程，增加了一个自我验证阶段，以检测潜在的敌对输入，只有一个CNN推理成本。基于检测结果，我们进一步提出了一种防御物理对抗攻击的数据恢复方法。我们将这种防御方法应用到图像和音频CNN识别场景中，并分别分析每个场景的计算复杂性。实验表明，我们的方法可以达到平均91%的成功率为攻击检测和89%的准确率恢复。此外，与最先进的防御方法相比，它最多快3倍，这使得它适用于资源受限的嵌入式系统，如移动设备。
2019-10-17 cs.CV
StratDef: Strategic Defense Against Adversarial Attacks in ML-based Malware Detection
King’s College London（伦敦国王学院）
提出基于移动目标防御的 StratDef 系统，通过动态策略化选择模型降低攻击可迁移性，并在多威胁级别下证明其优于现有恶意软件检测防御。
2023-04-24 cs.CR cs.LG
Benchmarking adversarial attacks and defenses for time-series data
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；TU Kaiserslautern（凯撒斯劳滕工业大学）
深度网络的对抗性脆弱性引起了全世界研究人员的兴趣。不出所料，与图像一样，对抗性示例也会转化为时间序列数据，因为它们是模型本身而不是模态的固有弱点。已经进行了几次尝试来防御这些对抗攻击，特别是针对视觉模态。在本文中，我们对时间序列数据进行了详细的基准测试。我们仅限于$L_{\infty}$威胁模型。我们还探讨了基于正则化的防御的平滑性和干净的准确性之间的权衡，以更好地理解它们提供的权衡。我们的分析表明，探索的对抗性防御提供了强大的白盒和黑盒攻击的鲁棒性。这为未来对抗攻击和防御方向的研究铺平了道路，特别是对于时间序列数据。
2020-08-30 cs.AI cs.LG stat.ML
Dynamic Stochastic Ensemble with Adversarial Robust Lottery Ticket Subnetworks
PLA Strategy Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）；University of Science and Technology of China（中国科学技术大学）
对抗攻击被认为是CNN固有的脆弱性。为攻击而设计的防御战略一直卡在对抗攻击-防御的军备竞赛中，反映出攻防不平衡。动态防御框架（DDF）最近改变了被动安全的现状，基于随机集成模型。子网络的多样性，在DDF的一个重要关注，可以有效地评估不同网络之间的对抗转移。针对不同剩余率的刮刮乐子网络间对抗性较差的可转移性，提出了一种动态随机集成防御策略的实现方法。我们发现了从不同的基本结构和稀疏性的鲁棒彩票子网络之间的对抗性可转移的多样性。实验结果表明，该方法通过对抗性的可转移多样性获得了更好的鲁棒性和干净的识别准确率，这将降低攻击的可靠性。
2022-10-06 cs.CV
Visual Adversarial Attacks and Defenses in the Physical World: A Survey
Institute of Artificial Intelligence, Beihang University（北航人工智能研究院）；The Chinese University of HongKong（香港中文大学）
本文综述了物理世界中视觉对抗攻击与防御，分析了攻击类型、防御方法及未来研究方向。
2026-01-12 cs.CV
