Improving Ensemble Robustness by Collaboratively Promoting and Demoting Adversarial Robustness
Monash University（莫纳什大学）；Defence Science and Technology Group（国防科技集团）
基于集合的对抗训练是实现对抗对抗攻击的鲁棒性的原则性方法。这种方法的一个重要技术是控制对抗性样本在集成成员之间的可转移性。在这项工作中，我们提出了一个简单而有效的策略，委员会模型之间的合奏模型进行合作。这是通过为给定样本上的每个模型成员定义的安全和不安全集合来实现的，因此有助于我们量化和规范可转移性。因此，我们提出的框架提供了灵活性，以减少对抗性的可转移性，以及促进合奏成员的多样性，这是我们的合奏方法更好的鲁棒性的两个关键因素。我们进行了广泛而全面的实验，以证明我们提出的方法优于最先进的集成基线，同时可以以近乎完美的准确度检测到各种各样的对抗性示例。我们的代码可在https://github.com/tuananhbui89/Crossing-Collaborative-Ensemble上获得。
2022-02-04 cs.CV cs.LG
Q-TART: Quickly Training for Adversarial Robustness and in-Transferability
原始的深度神经网络（DNN）性能是不够的;在现实世界中，计算负载、训练效率和对抗安全性同样重要，甚至更重要。我们建议同时解决性能，效率和鲁棒性，使用我们提出的算法Q-TART，快速训练对抗鲁棒性和不可转移性。Q-TART遵循的直觉是，对噪声高度敏感的样本会强烈影响DNN学习的决策边界，这反过来会降低DNN的性能和对抗敏感性。通过识别和删除这些样本，我们证明了改进的性能和对抗鲁棒性，同时只使用一个子集的训练数据。通过我们的实验，我们强调了Q-TART在多个数据集-DNN组合（包括ImageNet）中的高性能，并深入了解了Q-TART与现有对抗训练方法的互补行为，将鲁棒性提高了1.3%以上，同时减少了17.9%的训练时间。
2022-04-14 cs.CV cs.LG
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick（利默里克大学）；Computer Science and Information Systems（计算机科学与信息系统）
针对对抗训练存在的干净样本泛化差、类别性能失衡问题，研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性，同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
On Saliency Maps and Adversarial Robustness
IIT Hyderabad（海得拉巴印度理工学院）
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来，这与早期的努力不同，早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明，对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图，并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中，我们为这种耦合提供了一个不同的视角，并提供了一种方法，基于显着性的对抗训练（SAT），使用显着性图来提高模型的对抗鲁棒性。特别是，我们表明，使用注释，如边界框和分割掩模，已经提供了一个数据集，作为弱显着性图，足以提高对抗鲁棒性，没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法，即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型，以及如何将SAT与现有的对抗训练方法相结合，进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland（马里兰大学）
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而，在实践中，模型需要同时具有这两种类型的鲁棒性，以确保可靠性。在这项工作中，我们弥合了这一差距，并表明，事实上，对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下，通过理论和实证分析，我们表明：（i）$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;（ii）对于$\ell_\infty$对抗训练，虚假依赖只发生在虚假特征的规模大于核心特征的规模时;（iii）对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果，特别是当伪相关性在新的测试域中发生变化时。接下来，我们提出了广泛的经验证据，使用在五个基准数据集（ObjectNet，RIVAL 10，Salient ImageNet-1 M，ImageNet-9，Waterbirds）上评估的20个对抗训练模型的测试套件，对抗训练的分类器比标准训练的分类器更依赖于背景，验证了我们的理论结果。我们还表明，虚假的相关性在训练数据（当保存在测试域）可以提高对抗的鲁棒性，揭示了以前的说法，对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science（信息科学研究所）；Beijing Jiaotong University（北京交通大学）
最近的研究表明，深度神经网络容易受到对抗性样本的攻击，但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而，在实际计算中，这种神经网络不再保持任何上限，因此容易受到对抗性样本的影响。遵循类似的过程，我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外，我们证明了一个新的称为神经ODE的深度神经网络家族（Chen et al.，2018年）持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此，神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击（FGSM、PGD、DI 2-FGSM）和一种黑盒对抗攻击（边界攻击）下的性能。最后，我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法（如TRADES和YOPO）训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
本文提出ARBiBench基准，系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性，发现数据集相关性和黑盒优势，为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
The Pros and Cons of Adversarial Robustness
NUS（新加坡国立大学）；CNRS（法国国家科学研究中心）
本文针对机器学习模型的对抗鲁棒性，在梳理其研究重要性、评估方式及已有应用进展的基础上，揭示了现有全局与局部鲁棒性定义及鲁棒性认证工作的局限性，并探索了对抗样本的其他应用方向。
2023-12-18 cs.CV cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department（多特尔研究与创新中心，人工智能部门）；TRAIL – Trusted AI Labs（TRAIL——可信AI实验室）
研究安全关键应用中分类器的稳健性与可靠性，通过选择性分类视角探讨差距，引入统一基准，提出证据对抗训练方法，提升稳健性与不确定性权衡，优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
On the interplay of adversarial robustness and architecture components: patches, convolution and attention
University of Tübingen（图宾根大学）
近年来，图像分类的新架构组件已经开发出来，从Transformers中使用的attention和patch开始。虽然先前的工作已经分析了架构组件的某些方面对对抗攻击的鲁棒性的影响，特别是对于视觉Transformer，但对主要因素的理解仍然有限。我们比较了几种具有不同架构的（非）鲁棒分类器，并研究了它们的特性，包括对抗性训练对学习特征的可解释性和对未知威胁模型的鲁棒性的影响。从ResNet到ConvNeXt的消融揭示了导致几乎$10\%$更高$\ell_\infty$ -稳健性的关键架构变化。
2022-09-14 cs.CV cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Atos（源讯）
神经网络已被证明对常见的扰动敏感，如模糊，高斯噪声，旋转等，它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行，有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而，我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样，我们不知道对各种常见扰动（例如平移或对比度损失）的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验，我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明，增加鲁棒性精心挑选的共同扰动，可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信，神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明，以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外，我们还表明，通过强制深度神经网络（DNN）在变换后的输入和特征空间中保持线性，可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数，进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法，并在MNIST，CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中，我们还提出了一种新的对抗图像生成方法，该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Enhancing Adversarial Robustness for Deep Metric Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
由于对抗性漏洞的安全影响，深度度量学习模型的对抗性鲁棒性必须得到提高。为了避免由于过于困难的例子而导致模型崩溃，现有的防御方法忽略了最小-最大对抗训练，而是从弱对手那里学习效率低下。相反，我们提出了硬度操纵，根据更硬的良性三元组或伪硬度函数，有效地干扰训练三元组，直到指定的对抗训练硬度水平。它是灵活的，因为常规训练和最小-最大对抗训练是它的边界情况。此外，提出了一系列伪硬度函数，即渐进式Adjuster函数，用于在训练过程中逐渐增加指定的硬度水平，以便在性能和鲁棒性之间实现更好的平衡。此外，良性和对抗性样本之间的类内结构损失项进一步提高了模型的鲁棒性和效率。综合的实验结果表明，所提出的方法，虽然简单的形式，压倒性地优于国家的最先进的防御措施的鲁棒性，训练效率，以及性能良性的例子。
2022-03-02 cs.CR cs.CV cs.LG
Neural Architecture Dilation for Adversarial Robustness
University of Sydney（悉尼大学）；Huawei Technologies（华为技术有限公司）；Peking University（北京大学）
随着卷积神经网络（CNN）在过去几十年中在架构和规模上的巨大进步，它们可以轻松达到甚至超过人类在某些任务中的表现。然而，最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高，但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看，本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩张架构的引入有望与骨干CNN的标准性能友好，同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明，该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防御系统有限公司）
在本文中，我们介绍了一种新的神经网络训练框架，通过将对比学习（CL）与对抗训练（AT）相结合，提高了模型对对抗攻击的对抗鲁棒性，同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性，将对抗性示例视为另一个正面示例，并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性，同时不断更新分类头，以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间，同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗特征的对比学习（CLAF），在该数据集上，它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University（清华大学）；IBM Research（IBM研究院）；University of California, Los Angeles（加州大学洛杉矶分校）；SenseTime Research（商汤科技研究院）；Northeastern University（东北大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而，对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架，该框架在保持对抗鲁棒性的同时实现了模型压缩，从根本上解决了对抗训练的困境。此外，这项工作研究了两个假设的权重修剪在传统的设置，并发现权重修剪是必要的，以减少网络模型的大小在对抗设置，从头开始训练一个小的模型，即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen（蒂宾根大学）
神经网络在图像分类方面取得了重大进展，但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中，我们提出了RATIO，这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程，它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性，因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性，但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性，并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Enhancing Robustness of Indoor Robotic Navigation with Free-Space Segmentation Models Against Adversarial Attacks
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本研究针对室内机器人导航中深度学习分割模型易受对抗攻击的问题，提出了一种结合新颖距离损失函数的增强型对抗训练方法，通过最小化干净与对抗图像隐藏层间的差距，有效提升了模型抵御对抗扰动的鲁棒性。
2024-02-13 cs.CV
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos（阿托斯公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管人工神经网络具有很好的性能，但对于大多数工业应用来说，它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制，以防止各种干扰，包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略，称为M-TLAT，旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法，称为目标标记对抗训练（TLAT）。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明，M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性，而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Enhancing Intrinsic Adversarial Robustness via Feature Pyramid Decoder
Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东省计算中心（国家超级计算济南中心））；Nanyang Technological University（南洋理工大学）
对抗性训练是针对特定对抗性样本的主要防御策略，但它的泛化能力有限，并且会产生过多的时间复杂度。在本文中，我们提出了一个攻击不可知的防御框架，以提高神经网络的内在鲁棒性，而不损害推广干净样本的能力。我们的特征金字塔解码器（FPD）框架适用于所有基于块的卷积神经网络（CNN）。它将去噪和图像复原模块植入到目标CNN中，并且它还约束分类层的Lipschitz常数。此外，我们提出了一个两阶段的策略来训练FPD增强的CNN，利用$ε$ -邻域噪声图像与多任务和自监督学习。针对各种白盒和黑盒攻击进行评估，我们证明了FPD增强的CNN在MNIST，SVHN和CALTECH上对一般对抗样本具有足够的鲁棒性。此外，如果我们进一步进行对抗性训练，FPD增强的CNN比非增强版本的表现更好。
2020-05-06 cs.CV cs.LG stat.ML
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
在海量数据和计算资源重要进展的推动下，新的深度学习系统在大量应用中取得了出色的成果。然而，我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而，为了解决神经网络的脆弱性，对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中，我们对深度学习中的对抗鲁棒性领域进行了深入的回顾，并对其主要概念进行了完整的介绍。但是，与对抗鲁棒性的主流悲观观点相反，我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系，并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外，我们还展示了对抗鲁棒性的广泛适用性，概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习，并为他们提供直观的工具和见解，了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Squeeze Training for Adversarial Robustness
Harbin Institute of Technology（哈尔滨工业大学）；Tencent Security Big Data Lab（腾讯安全大数据实验室）；UC Davis（加州大学戴维斯分校）
深度神经网络（DNN）对对抗性样本的脆弱性在机器学习社区引起了极大的关注。这个问题与通常获得的损失景观的非平坦性和非平滑性有关。通过对抗性示例增强训练（也称为，对抗训练）被认为是一种有效的补救办法。在本文中，我们强调了一些协作示例，这些示例在感知上几乎无法与对抗性和良性示例区分开来，但预测损失极低，可以用来增强对抗性训练。因此，提出了一种新的方法，以实现新的最先进的对抗鲁棒性。代码：www.example.com.
2023-02-10 cs.CR cs.CV cs.LG
Biologically Inspired Mechanisms for Adversarial Robustness
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
卷积神经网络在合理的计算和性能成本下对对抗性扰动具有很强的鲁棒性还没有得到证明。灵长类动物的视觉腹侧流似乎是强大的视觉刺激的小扰动，但引起这种强大的感知的潜在机制还不清楚。在这项工作中，我们研究了两种生物学上合理的机制在对抗鲁棒性中的作用。我们证明了由灵长类动物视网膜进行的非均匀采样和在每个偏心率处具有一系列感受野大小的多个感受野的存在提高了神经网络对小的对抗性扰动的鲁棒性。我们验证了这两种机制不会受到梯度混淆的影响，并通过消融研究研究了它们对对抗鲁棒性的贡献。
2020-06-29 cs.CV cs.LG stat.ML
A Unified Game-Theoretic Interpretation of Adversarial Robustness
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Huawei technologies Inc.（华为技术有限公司）
本文提供了一个统一的观点来解释不同的对抗攻击和防御方法，即DNN的输入变量之间的多阶相互作用的观点。基于多阶交互，我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外，我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性，这可以从原理上解释现有的防御方法。此外，我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-09 cs.AI cs.CV cs.LG
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University（东北大学）；IBM Research（IBM研究院）
模式连通性为分析损失景观提供了新的几何见解，并能够在训练有素的神经网络之间构建高精度路径。在这项工作中，我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性，并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时，我们的研究结果表明，使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响，同时保持干净数据的原始准确性。因此，模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明，在连接常规和对抗训练模型的路径上，对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性，并给出了理论证明。我们的研究结果表明，模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
Language-Driven Anchors for Zero-Shot Adversarial Robustness
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Chinese Institute for Brain Research（中国脑科学研究院）
针对零样本对抗鲁棒性研究空白，提出语言驱动的基于锚点的对抗训练策略LAAT，通过文本编码器类别特征作锚点训练，结合扩展算法与对齐交叉熵损失解决特征相似度高的问题，显著提升零样本对抗鲁棒性，适用于无标注数据场景。
2024-03-10 cs.AI cs.CV cs.LG
A Unified Game-Theoretic Interpretation of Adversarial Robustness
本文提供了一个统一的视图来解释不同的对抗攻击和防御方法，\emph{i.e.}的DNN的输入变量之间的多阶相互作用的视图。基于多阶交互，我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外，我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性，这可以从原理上解释现有的防御方法。此外，我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-08 cs.AI cs.CV cs.LG
Adversarial Fine-tune with Dynamically Regulated Adversary
University of Alberta（阿尔伯塔大学）
对抗性训练是一种有效的方法，可以提高模型对恶意对抗攻击的鲁棒性。然而，模型鲁棒性的这种改进通常导致在干净图像上的标准性能的显著牺牲。在许多现实世界的应用中，如健康诊断和自主手术机器人，标准性能比模型鲁棒性更有价值。这就引出了一个问题：在不牺牲标准性能的情况下，我们可以在多大程度上提高模型的鲁棒性？这项工作解决了这个问题，并提出了一个简单而有效的基于迁移学习的对抗性训练策略，解开了对抗性样本对模型标准性能的负面影响。此外，我们引入了一个训练友好的对抗攻击算法，它有助于提高对抗鲁棒性，而不会引入显着的训练复杂度。大量的实验表明，该方法优于以前的对抗性训练算法的目标：提高模型的鲁棒性，同时保持模型的标准性能的清洁数据。
2022-04-28 cs.AI cs.CV cs.LG
Adversarial Robustness of Deep Sensor Fusion Models
Washington University in St. Louis（圣路易斯华盛顿大学）
我们通过实验研究了深度相机-LiDAR融合架构在自动驾驶中用于二维目标检测的鲁棒性。首先，我们发现融合模型通常比单传感器深度神经网络更准确，对单源攻击更鲁棒。此外，我们表明，在没有对抗性训练的情况下，早期融合比晚期融合更鲁棒，而在对抗性训练后两者的表现相似。然而，我们注意到，深度融合的单通道对抗性训练通常甚至对鲁棒性有害。此外，我们观察到跨通道外部性，其中单通道对抗训练降低了对其他通道攻击的鲁棒性。此外，我们观察到对抗训练中对抗模型的选择至关重要：使用限制在汽车边界框的攻击在对抗训练中更有效，并且表现出不太显著的跨通道外部性。最后，我们发现联合通道对抗训练有助于缓解上述许多问题，但不会显著提高对抗鲁棒性。
2022-04-11 cs.CV
Universal Adversarial Robustness of Texture and Shape-Biased Models
Imperial College London（帝国理工学院）；DataSpartan Research（DataSpartan研究院）
增加深度神经网络中的形状偏差已被证明可以提高对常见损坏和噪声的鲁棒性。在本文中，我们分析的对抗性鲁棒性的纹理和形状偏置模型的普遍对抗性扰动（UAP）。我们使用UAP来评估DNN模型的鲁棒性，这些模型具有不同程度的基于形状的训练。我们发现，形状偏置模型并没有显着提高对抗鲁棒性，我们表明，纹理和形状偏置模型的集合可以提高通用的对抗鲁棒性，同时保持强大的性能。
2021-08-31 cs.CV
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
AFD: Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对对抗微调中自然与对抗样本最后隐藏层特征差距增大的问题，本文提出AFD，通过特征解耦器分离并消除对抗样本的特定潜在特征，同时对齐干净特征，在三个基准上取得优于现有方法的鲁棒性。
2024-12-10 cs.AI cs.CV cs.LG
Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
University of Notre Dame（圣母大学）
本研究发现对抗样本生成时小批量大小增加会降低样本有效性，这与梯度消失有关，通过设计特定损失函数可消除该影响，避免低估攻击强度或高估模型鲁棒性。
2023-03-30 cs.CR cs.CV cs.LG
Enhancing Adversarial Robustness via Test-time Transformation Ensembling
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Center for Research and Formation in Artificial Intelligence, Universidad de los Andes（安第斯大学人工智能研究与培训中心）
深度学习模型很容易被称为对抗攻击的难以察觉的扰动所欺骗。在这项工作中，我们研究如何装备模型与测试时转换集成（TTE）可以作为一个可靠的防御这种攻击。虽然在训练和测试时对输入数据进行变换可以提高模型性能，但尚未研究其对对抗鲁棒性的影响。在这里，我们提出了一个全面的实证研究TTE的影响，在广泛使用的图像变换的形式，对抗鲁棒性。我们表明，TTE一致地提高了模型对各种强大攻击的鲁棒性，而无需重新训练，并且这种改进几乎没有与干净样本的准确性进行权衡。最后，我们表明，TTE转移的好处，甚至认证的鲁棒性域，TTE提供了相当大的和一致的改进。
2021-07-29 cs.CR cs.CV cs.LG
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong（香港城市大学）
针对传统对抗准确率无法全面衡量模型鲁棒性的问题，提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性，并采用新训练算法均匀增强鲁棒性，为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Robustness of Rotation-Equivariant Networks to Adversarial Perturbations
Rakuten Institute of Technology Paris（乐天技术研究院巴黎分院）
深度神经网络已被证明容易受到对抗性示例的影响：输入的非常小的扰动对预测产生巨大影响。已经提出了大量的对抗攻击和距离度量来量化自然图像和对抗图像之间的相似性，最近扩大了对抗示例的范围，其中几何变换超出了像素攻击。在这种情况下，我们研究了新的卷积神经网络架构提供等方差旋转对抗攻击的鲁棒性。我们发现，在MNIST、CIFAR-10和ImageNet数据集中，旋转等变网络比常规网络更不容易受到基于几何的攻击。
2018-05-17 cs.CR cs.CV cs.LG
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad（海得拉巴印度理工学院）；Microsoft Research India（微软研究院印度分院）；Chennai Mathematical Institue, Chennai（钦奈数学研究所）
神经网络对小的、对抗性的逐像素扰动的（非）鲁棒性，并且如最近所示，甚至对随机空间变换（例如，翻译，旋转）都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型（例如，StdCNN，GCNN）和训练增强，而对抗鲁棒性通常通过对抗训练来实现。在本文中，我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点：（a）随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高，它们的对抗鲁棒性逐渐下降，（b）随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练，它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优，我们提出了一种基于课程学习的方法，该方法逐渐训练更困难的扰动（空间和对抗），以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
Robustness Tokens: Towards Adversarial Robustness of Transformers
University of Geneva（日内瓦大学）
针对公开预训练 Transformer 作为下游骨干易受同源白盒对抗攻击的问题，本文提出仅低计算量微调少量私有 Robustness Tokens，在保持 Vision Transformer 下游性能的同时增强对抗鲁棒性。
2025-03-13 cs.AI cs.CV cs.LG
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine（缅因大学）
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题，提出对抗判别器集成网络（ADE-Net），通过判别器按攻击类型分配数据至专家集成网络，在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出，稳健和准确的模型都是不可能的，即，对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系，我们假设一个底层的，低维的数据流形，并表明：1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形，即，流形上对抗的例子，存在; 3.流形上对抗性示例是泛化误差，并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而，不同的模型（架构，培训策略等）可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张，我们提出了广泛的实验合成数据（与已知的流形），以及EMNIST，时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Adversarial Robustness of Discriminative Self-Supervised Learning in Vision
Department of Computer Engineering, Koç University（计算机工程系，科克大学）
本研究评估了七个判别式自监督模型与一个监督模型在多种视觉任务上的对抗鲁棒性，发现自监督模型在ImageNet分类和线性迁移学习中更具鲁棒性，但微调后差距缩小，分割检测中优势减弱。
2025-09-24 cs.CV
Scaleable input gradient regularization for adversarial robustness
McGill University（麦吉尔大学）
在这项工作中，我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先，我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次，我们实现了一个可扩展版本的输入梯度正则化，避免了双重反向传播：对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后，我们通过实验和理论证明，输入梯度正则化与对抗训练具有竞争力。此外，我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
Robustness Of Saak Transform Against Adversarial Attacks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
图像分类易受对抗攻击的影响。本文研究了Saak变换在高性能图像分类中对抗攻击的鲁棒性。我们开发了一个完整的基于多级Saak变换的图像分类系统。在Saak变换域中，干净图像和对抗图像在不同的光谱维度上表现出不同的分布。在每个阶段的光谱维度的选择可以被看作是一个自动去噪过程。受此观察的启发，我们仔细设计了特征提取，表示和分类策略，以提高对抗鲁棒性。广泛的实验评估证明了与知名的数据集和攻击的性能。
2019-02-07 cs.CV
Scale-Invariant Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。投影梯度下降（PGD）攻击已被证明是最成功的对抗攻击之一。然而，标准PGD攻击的效果可以很容易地通过重新缩放logits来削弱，而不会改变每个输入的原始决策。为了缓解这个问题，在本文中，我们提出了尺度不变的对抗攻击（SI-PGD），它利用倒数第二层中的特征与softmax层中的权重之间的角度来指导对手的生成。余弦角矩阵用于学习角度鉴别表示，且不随logits的重新缩放而改变，从而使SI-PGD攻击稳定有效。我们评估我们的攻击对多个防御，并显示改进的性能相比，现有的攻击。此外，我们提出了基于余弦角矩阵的尺度不变（SI）对抗防御机制，它可以嵌入到流行的对抗防御。实验结果表明，与我们的SI机制的防御方法实现了最先进的性能之间的多步和单步防御。
2022-01-29 cs.CV
Interpreting and Improving Adversarial Robustness of Deep Neural Networks with Neuron Sensitivity
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data-Based Precision Medicine（大数据精准医疗高精尖创新中心）
深度神经网络（DNN）容易受到对抗性示例的影响，其中具有不可感知扰动的输入会误导DNN得出错误的结果。尽管它们带来了潜在的风险，但对抗性示例对于深入了解DNN的弱点和盲点也很有价值。因此，DNN在对抗环境中的可解释性旨在解释其决策过程背后的原理，并进行更深入的理解，从而获得更好的实际应用。为了解决这个问题，我们试图从神经元敏感性的新角度来解释深度模型的对抗鲁棒性，神经元敏感性是通过神经元行为变化强度来衡量的。在本文中，我们首先绘制了对抗鲁棒性和神经元敏感性之间的密切联系，因为敏感神经元在对抗环境中对模型预测做出了最重要的贡献。在此基础上，我们进一步提出通过约束良性和对抗性样本之间敏感神经元的相似性来提高对抗性鲁棒性，从而稳定敏感神经元对对抗性噪声的行为。此外，我们证明了最先进的对抗训练方法通过降低神经元敏感性来提高模型的鲁棒性，这反过来又证实了对抗鲁棒性和神经元敏感性之间的紧密联系，以及使用敏感神经元构建鲁棒模型的有效性。在各种数据集上的实验表明，该算法有效地取得了优异的效果。
2020-11-30 cs.CV
Enhancing Adversarial Training with Feature Separability
Michigan State University（密歇根州立大学）
深度神经网络（DNN）容易受到对抗攻击的攻击。作为一种对策，对抗性训练旨在基于最小-最大优化问题实现鲁棒性，它已被证明是最有效的防御策略之一。然而，在这项工作中，我们发现，与自然训练相比，对抗性训练无法为干净或对抗性样本学习更好的特征表示，这可能是对抗性训练往往存在严重的过拟合问题和不太满意的泛化性能的原因之一。具体来说，我们观察到现有对抗训练方法学习的特征的两个主要缺点：（1）低类内特征相似性;（2）保守的类间特征方差。为了克服这些缺点，我们引入了对抗训练图（ATG）的新概念，提出的具有特征可分离性的对抗训练（ATFS）能够连贯地提高类内特征相似性并增加类间特征方差。通过全面的实验，我们证明了所提出的ATFS框架显着提高清洁和鲁棒性能。
2022-05-02 cs.AI cs.CV
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology（麻省理工学院）
我们评估了对抗性Logit配对的鲁棒性，这是最近提出的对抗性示例的防御方法。我们发现，使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明，以及我们攻击的方法和结果的讨论，这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
Enhancing the Transferability via Feature-Momentum Adversarial Attack
Ocean University of China（中国海洋大学）
可转移对抗攻击由于其对实际应用的威胁而受到越来越多的关注。特别地，特征级对抗攻击是一个最近的分支，其可以通过干扰中间特征来增强可转移性。现有的方法通常为特征创建一个指导图，其中值指示相应特征元素的重要性，然后采用迭代算法来相应地破坏特征。然而，现有的方法中的指导图是固定的，不能一致地反映网络的行为，随着图像在迭代过程中的变化。在本文中，我们描述了一种新的方法，称为攻击-动量对抗攻击（FMAA），以进一步提高可移植性。我们的方法的关键思想是，我们估计一个指导地图动态在每次迭代使用动量有效地干扰类别相关的功能。大量的实验表明，我们的方法显着优于其他国家的最先进的方法，在不同的目标模型上有很大的保证金。
2022-04-22 cs.CV
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI（北极光人工智能）
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中，我们证明了一个有趣的现象，在文献中最流行的鲁棒训练方法，对抗训练：对抗鲁棒性，不像干净的准确性，是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换，也会导致对抗性训练模型的鲁棒性显著不同，该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究，该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体，并表明标准训练的模型在它们上实现了相当的干净精度，但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明，输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性，而不一定是任务本身。最后，我们讨论了评估对抗鲁棒性的实际意义，并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence（海军人工智能应用研究中心）；U.S. Naval Research Laboratory（美国海军研究实验室）
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类：梯度掩蔽，鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分：（1）增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性，（2）边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题，我们提供了一个新的视角，可以深入了解能够训练更强大的网络的潜在因素，并有助于激发新的解决方案。此外，在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的，或者鲁棒性和准确性之间的权衡，但是，根据这个建议的分类法，我们假设这不是普遍的。我们在分类法的基础上，对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Improving Adversarial Robustness via Guided Complement Entropy
National Tsing-Hua University（国立清华大学）；Electronic and Optoelectronic System Research Laboratories, ITRI（工业技术研究院电子与光电系统研究实验室）；Google Research（谷歌研究院）
对抗鲁棒性已经成为深度学习中的一个重要主题，因为精心制作的攻击样本可以显著干扰模型的性能。许多最近的方法已经提出通过利用对抗训练或模型蒸馏来提高对抗鲁棒性，这为模型训练增加了额外的程序。在本文中，我们提出了一种新的训练范式，称为引导互补熵（GCE），能够实现“免费对抗防御”，在提高对抗鲁棒性的过程中不涉及额外的程序。除了最大化地面实况类（如交叉熵）上的模型概率外，我们还中和了不正确类上的概率，以及一个“引导”项来平衡这两个项。我们在实验中表明，我们的方法实现了更好的模型鲁棒性，甚至更好的性能相比，常用的交叉熵训练目标。我们还表明，我们的方法可以用于正交对抗训练跨众所周知的方法具有显着的鲁棒性增益。据我们所知，我们的方法是第一个提高模型鲁棒性而不影响性能的方法。
2019-08-07 cs.CV cs.LG cs.PF
Improving Adversarial Robustness with Self-Paced Hard-Class Pair Reweighting
University of Alberta（阿尔伯塔大学）
深度神经网络容易受到对抗攻击的攻击。在众多的防御策略中，无针对性攻击的对抗性训练是最有效的方法之一。理论上，非目标攻击中的对抗性扰动可以沿任意方向添加，并且非目标攻击的预测标签应该是不可预测的。然而，我们发现，自然不平衡的类间语义相似性，使这些硬类对成为对方的虚拟目标。本研究探讨了这种紧密耦合的类对对抗攻击的影响，并据此提出了一种对抗训练中的自定进度的权重调整策略。具体来说，我们建议在模型优化中增加硬类对损失的权重，这会促使从硬类中学习有区别的特征。我们进一步引入了一个术语来量化对抗训练中的硬类对一致性，这大大提高了模型的鲁棒性。大量的实验表明，所提出的对抗性训练方法实现了优越的鲁棒性性能超过国家的最先进的防御对广泛的对抗攻击。
2022-11-29 cs.CV
Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models
Zhejiang University（浙江大学）；Shanghai Maritime University（上海海事大学）；Zhejiang Gongshang University（浙江工商大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
针对大视觉模型对抗训练成本高、现有鲁棒微调方法效果不及全参数微调的问题，提出超对抗调优方法HyperAT，通过超网络生成不同防御的LoRA并融合，高效提升模型对抗鲁棒性，达到新的SOTA。
2024-10-08 cs.CV
