Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
University of Notre Dame(圣母大学)
本研究发现对抗样本生成时小批量大小增加会降低样本有效性,这与梯度消失有关,通过设计特定损失函数可消除该影响,避免低估攻击强度或高估模型鲁棒性。
2023-03-30 cs.CR cs.CV cs.LG
Robustness of Rotation-Equivariant Networks to Adversarial Perturbations
Rakuten Institute of Technology Paris(乐天技术研究院巴黎分院)
深度神经网络已被证明容易受到对抗性示例的影响:输入的非常小的扰动对预测产生巨大影响。已经提出了大量的对抗攻击和距离度量来量化自然图像和对抗图像之间的相似性,最近扩大了对抗示例的范围,其中几何变换超出了像素攻击。在这种情况下,我们研究了新的卷积神经网络架构提供等方差旋转对抗攻击的鲁棒性。我们发现,在MNIST、CIFAR-10和ImageNet数据集中,旋转等变网络比常规网络更不容易受到基于几何的攻击。
2018-05-17 cs.CR cs.CV cs.LG
Adversarial Feature Alignment: Balancing Robustness and Accuracy in Deep Learning via Adversarial Training
Graduate School of Information, Yonsei University(延世大学信息研究生院)
本文提出了一种新型对抗训练方法AFA,通过基于对比学习的优化算法缓解特征空间错位,在保持高鲁棒性的同时显著降低对干净样本准确率的影响,并与TRADES及扩散模型结合实现了最先进的性能。
2024-02-19 cs.CR cs.CV cs.LG
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine(缅因大学)
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题,提出对抗判别器集成网络(ADE-Net),通过判别器按攻击类型分配数据至专家集成网络,在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
Multitask Learning Strengthens Adversarial Robustness
Columbia University(哥伦比亚大学)
尽管深度网络在一系列计算机视觉基准测试中达到了很高的准确性,但它们仍然容易受到对抗攻击的影响,在这种攻击中,难以察觉的输入扰动会欺骗网络。我们提出了理论和实证分析,将模型的对抗鲁棒性与其训练的任务数量联系起来。在两个数据集上的实验表明,攻击难度随着目标任务数量的增加而增加。此外,我们的研究结果表明,当模型同时在多个任务上进行训练时,它们对单个任务的对抗攻击变得更加鲁棒。虽然对抗性防御仍然是一个公开的挑战,但我们的研究结果表明,深度网络是脆弱的,部分原因是它们接受的任务太少。
2020-09-11 cs.CR cs.CV cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong(香港城市大学)
针对传统对抗准确率无法全面衡量模型鲁棒性的问题,提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性,并采用新训练算法均匀增强鲁棒性,为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore(新加坡南洋理工大学)
在深度神经网络(DNN)的普及应用道路上,对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测,并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型,以抵抗对抗性的例子。在本文中,我们从不同的角度调查了如何理解这种有趣的属性,即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后,我们研究了常用的基准测试,并提到了理论上证明的对抗鲁棒性界限。然后,我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后,我们介绍了最近的争论的潜在成本的对抗性训练,引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami(迈阿密大学)
深度神经网络(DNN)容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略(即,噪声数据上的准确性)对抗对抗性噪声。然而,由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度(即,与通过标准方法在干净数据上训练的相同模型相比,这种现象被称为准确性和鲁棒性之间的权衡,并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用,例如医学图像分析,因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升(即,减轻或甚至避免)医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法,命名为增量边际对抗(IMA)训练,这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性,同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序,我们的方法提高了准确性和鲁棒性。我们的研究表明,我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出,稳健和准确的模型都是不可能的,即,对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系,我们假设一个底层的,低维的数据流形,并表明:1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形,即,流形上对抗的例子,存在; 3.流形上对抗性示例是泛化误差,并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而,不同的模型(架构,培训策略等)可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张,我们提出了广泛的实验合成数据(与已知的流形),以及EMNIST,时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University(西南交通大学)
卷积神经网络(CNN)在图像分类任务中已经实现了超越人类水平的准确性,并广泛应用于现实世界的环境中。然而,CNN显示出对抗性扰动的脆弱性,这些扰动是精心设计的噪声,旨在误导分类模型。为了抵御对抗性扰动,提出了对抗性训练的GAN(AT GAN),以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中,以去除模糊梯度,这可能导致在防御对抗性扰动时产生错误的感觉,并且在现有的基于GAN的对抗性防御方法中常见。此外,ATGAN采用图像到图像生成器作为数据增强,以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明,该方法不依赖于模糊梯度,并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
Scaleable input gradient regularization for adversarial robustness
McGill University(麦吉尔大学)
在这项工作中,我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先,我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次,我们实现了一个可扩展版本的输入梯度正则化,避免了双重反向传播:对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后,我们通过实验和理论证明,输入梯度正则化与对抗训练具有竞争力。此外,我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
On Model Robustness Against Adversarial Examples
我们研究了模型对对抗性示例的鲁棒性,这些示例被称为小扰动输入数据,但这些数据可能会欺骗许多最先进的深度学习模型。与以往的研究不同,我们建立了一个新的理论解决的鲁棒性问题的损失函数的稳定性的角度在小邻域的自然样本。我们建议利用一个能量函数来描述稳定性,并证明减少这种能量可以保证对对抗性示例的鲁棒性。我们还表明,传统的训练方法,包括对抗训练与$l_2$规范约束(AT)和虚拟对抗训练(VAT)往往最小化我们提出的能量函数的下限。我们做了一个分析表明,这种下限的最小化,但可能会导致输入样本周围的邻域内的鲁棒性不足。此外,我们设计了一个更合理的方法与能量正则化,证明了实现更好的鲁棒性比以前的方法。通过一系列的实验,我们证明了我们的模型在监督任务和半监督任务上的优越性。特别是,我们提出的对抗框架与以前的对抗训练方法相比,在基准数据集MNIST、CIFAR-10和SVHN上实现了最佳性能。重要的是,它们在对抗性示例中表现出比所有其他比较方法更好的鲁棒性。
2020-06-10 cs.CR cs.CV cs.LG
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology(麻省理工学院)
我们评估了对抗性Logit配对的鲁棒性,这是最近提出的对抗性示例的防御方法。我们发现,使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明,以及我们攻击的方法和结果的讨论,这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI(北极光人工智能)
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中,我们证明了一个有趣的现象,在文献中最流行的鲁棒训练方法,对抗训练:对抗鲁棒性,不像干净的准确性,是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换,也会导致对抗性训练模型的鲁棒性显著不同,该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究,该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体,并表明标准训练的模型在它们上实现了相当的干净精度,但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明,输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性,而不一定是任务本身。最后,我们讨论了评估对抗鲁棒性的实际意义,并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
Deakin University(迪肯大学)
对抗性训练是训练鲁棒的深度神经网络对抗对抗攻击的一种有效方法。虽然能够带来可靠的鲁棒性,但对抗训练(AT)方法通常倾向于高容量模型,即,模型越大,鲁棒性越好。这往往会限制它们在小模型上的有效性,而小模型在存储或计算资源非常有限的情况下更可取(例如,移动设备)。在本文中,我们利用知识蒸馏的概念,以提高小模型的鲁棒性,从对抗训练的大模型。我们首先从蒸馏的角度重新审视了几种最先进的AT方法,并确定了一种可以提高鲁棒性的常用技术:使用鲁棒的软标签-预测鲁棒的模型。根据这一观察,我们提出了一种新的对抗鲁棒性蒸馏方法称为鲁棒软标签对抗蒸馏(RSLAD)训练强大的小学生模型。RSLAD充分利用了由强大的(对抗训练的)大型教师模型产生的强大软标签,以指导学生在所有损失方面对自然和对抗示例的学习。我们通过经验证明了我们的RSLAD方法在现有对抗性训练和蒸馏方法中的有效性,以提高小模型对最先进攻击(包括AutoAttack)的鲁棒性。我们还提供了一组关于我们的RSLAD的理解,以及鲁棒软标签对对抗鲁棒性蒸馏的重要性。
2021-08-18 cs.CR cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心);U.S. Naval Research Laboratory(美国海军研究实验室)
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类:梯度掩蔽,鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分:(1)增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性,(2)边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题,我们提供了一个新的视角,可以深入了解能够训练更强大的网络的潜在因素,并有助于激发新的解决方案。此外,在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的,或者鲁棒性和准确性之间的权衡,但是,根据这个建议的分类法,我们假设这不是普遍的。我们在分类法的基础上,对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem
University of Exeter(埃克塞特大学)
最近对深度学习鲁棒性的研究表明,视觉Transformer(ViTs)在某些扰动下优于卷积神经网络(CNN),例如,自然腐败,对抗攻击等。一些论文认为,卓越的鲁棒性ViT来自其输入图像的分割;其他人说,多头自注意(MSA)是保持鲁棒性的关键。在本文中,我们的目标是引入一个原则性和统一的理论框架,调查这样一个论点ViT的鲁棒性。我们首先从理论上证明,与自然语言处理中的Transformers不同,ViTs是Lipschitz连续的。然后,我们从柯西问题的角度从理论上分析了ViT的对抗鲁棒性,通过柯西问题我们可以量化鲁棒性如何在层之间传播。我们证明了第一层和最后一层是影响ViTs鲁棒性的关键因素。此外,基于我们的理论,我们实证表明,与现有研究的说法不同,MSA仅在弱对抗攻击下有助于ViTs的对抗鲁棒性,例如,FGSM,令人惊讶的是,MSA实际上包括模型在更强攻击下的对抗鲁棒性,例如,PGD攻击
2022-08-01 cs.CV cs.LG
advertorch v0.1: An Adversarial Robustness Toolbox based on PyTorch
Borealis AI
advertorch是一个对抗鲁棒性研究的工具箱。它包含各种攻击,防御和强大的训练方法的实现。advertorch建立在PyTorch上(Paszke等人,2017),并利用动态计算图的优势,提供简洁高效的参考实现。该代码是在LGPL许可下授权的,并在https://github.com/BorealisAI/advertorch上开源。
2019-02-20 cs.CR cs.CV cs.LG
Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
South China Agricultural University(华南农业大学);Pazhou Lab(琶洲实验室)
由于卷积神经网络(CNN)的Lipschitz性质被广泛认为与对抗鲁棒性有关,本文从理论上刻画了二维多通道卷积层的$\ell_1$范数和$\ell_\infty$范数,并给出了计算精确$\ell_1$范数和$\ell_\infty$范数的有效方法.基于我们的定理,我们提出了一种新的正则化方法,称为范数衰减,它可以有效地减少卷积层和全连接层的范数。实验表明,范数正则化方法,包括范数衰减,权重衰减和奇异值裁剪,可以提高CNN的泛化能力。然而,它们可能会轻微损害对抗性鲁棒性。观察到这种意想不到的现象,我们计算了用三种不同的对抗训练框架训练的CNN中的层的范数,并惊讶地发现对抗鲁棒CNN具有与非对抗鲁棒CNN相当甚至更大的层范数。此外,我们证明了在一个温和的假设下,对抗鲁棒分类器可以实现使用神经网络,和对抗鲁棒神经网络可以有一个任意大的Lipschitz常数。出于这个原因,在CNN层上强制执行小规范对于实现对抗鲁棒性可能既不必要也不有效。该代码可在https://github.com/youweiliang/norm_robustness上获得。
2021-08-15 cs.CR cs.CV cs.LG
On the Importance of Backbone to the Adversarial Robustness of Object Detectors
Tsinghua University(清华大学);Chinese Institute for Brain Research(中国脑科学研究所);THU-Bosch JCML Center(清华-博世联合计算与机器学习中心)
针对现有目标检测器对抗鲁棒性提升工作存在安全错觉的问题,提出基于对抗预训练骨干的快速对抗微调方案,证实骨干网络对检测器鲁棒性的关键作用,为设计SOTA鲁棒检测器提供启发并树立新里程碑。
2025-02-13 cs.AI cs.CR cs.CV
Improving Ensemble Robustness by Collaboratively Promoting and Demoting Adversarial Robustness
Monash University(莫纳什大学);Defence Science and Technology Group(国防科技集团)
基于集合的对抗训练是实现对抗对抗攻击的鲁棒性的原则性方法。这种方法的一个重要技术是控制对抗性样本在集成成员之间的可转移性。在这项工作中,我们提出了一个简单而有效的策略,委员会模型之间的合奏模型进行合作。这是通过为给定样本上的每个模型成员定义的安全和不安全集合来实现的,因此有助于我们量化和规范可转移性。因此,我们提出的框架提供了灵活性,以减少对抗性的可转移性,以及促进合奏成员的多样性,这是我们的合奏方法更好的鲁棒性的两个关键因素。我们进行了广泛而全面的实验,以证明我们提出的方法优于最先进的集成基线,同时可以以近乎完美的准确度检测到各种各样的对抗性示例。我们的代码可在https://github.com/tuananhbui89/Crossing-Collaborative-Ensemble上获得。
2022-02-04 cs.CV cs.LG
Q-TART: Quickly Training for Adversarial Robustness and in-Transferability
原始的深度神经网络(DNN)性能是不够的;在现实世界中,计算负载、训练效率和对抗安全性同样重要,甚至更重要。我们建议同时解决性能,效率和鲁棒性,使用我们提出的算法Q-TART,快速训练对抗鲁棒性和不可转移性。Q-TART遵循的直觉是,对噪声高度敏感的样本会强烈影响DNN学习的决策边界,这反过来会降低DNN的性能和对抗敏感性。通过识别和删除这些样本,我们证明了改进的性能和对抗鲁棒性,同时只使用一个子集的训练数据。通过我们的实验,我们强调了Q-TART在多个数据集-DNN组合(包括ImageNet)中的高性能,并深入了解了Q-TART与现有对抗训练方法的互补行为,将鲁棒性提高了1.3%以上,同时减少了17.9%的训练时间。
2022-04-14 cs.CV cs.LG
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick(利默里克大学);Computer Science and Information Systems(计算机科学与信息系统)
针对对抗训练存在的干净样本泛化差、类别性能失衡问题,研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性,同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
On Saliency Maps and Adversarial Robustness
IIT Hyderabad(海得拉巴印度理工学院)
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来,这与早期的努力不同,早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明,对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图,并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中,我们为这种耦合提供了一个不同的视角,并提供了一种方法,基于显着性的对抗训练(SAT),使用显着性图来提高模型的对抗鲁棒性。特别是,我们表明,使用注释,如边界框和分割掩模,已经提供了一个数据集,作为弱显着性图,足以提高对抗鲁棒性,没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法,即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型,以及如何将SAT与现有的对抗训练方法相结合,进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland(马里兰大学)
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而,在实践中,模型需要同时具有这两种类型的鲁棒性,以确保可靠性。在这项工作中,我们弥合了这一差距,并表明,事实上,对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下,通过理论和实证分析,我们表明:(i)$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;(ii)对于$\ell_\infty$对抗训练,虚假依赖只发生在虚假特征的规模大于核心特征的规模时;(iii)对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果,特别是当伪相关性在新的测试域中发生变化时。接下来,我们提出了广泛的经验证据,使用在五个基准数据集(ObjectNet,RIVAL 10,Salient ImageNet-1 M,ImageNet-9,Waterbirds)上评估的20个对抗训练模型的测试套件,对抗训练的分类器比标准训练的分类器更依赖于背景,验证了我们的理论结果。我们还表明,虚假的相关性在训练数据(当保存在测试域)可以提高对抗的鲁棒性,揭示了以前的说法,对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Benchmarking Adversarial Robustness
Tsinghua University(清华大学);RealAI
深度神经网络容易受到对抗性样本的攻击,这成为深度学习发展中最重要的研究问题之一。虽然近年来已经做了很多努力,但对对抗攻击和防御算法进行正确和完整的评估具有重要意义。在本文中,我们建立了一个全面的,严格的,连贯的基准来评估对抗图像分类任务的鲁棒性。在简要回顾了大量具有代表性的攻击和防御方法后,以两条鲁棒性曲线作为公平的评价标准,进行了大规模的实验,以充分了解这些方法的性能。根据评估结果,我们得出了几个重要的发现,并为未来的研究提供见解。
2019-12-26 cs.CR cs.CV cs.LG
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而,进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准,对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中,我们提出了一个模型不可知的元攻击(MAMA)的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器,该网络在一类数据样本和防御上进行训练,以在对抗示例生成期间产生有效的更新方向。此外,我们开发了一个模型无关的训练算法,以提高学习优化器的泛化能力时,攻击看不见的防御。我们的方法可以灵活地与各种攻击,并不断提高性能,几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性,与对不同防御的最新攻击相比,可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同,对抗性训练旨在从本质上提高模型的鲁棒性。近几年来,对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展,然而,在现有的调查中被忽视。在这次调查中,我们首次系统地回顾了对抗训练的最新进展,并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后,我们强调尚未充分解决的挑战,并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
On the Adversarial Robustness of Quantized Neural Networks
Rochester Institute of Technology(罗切斯特理工学院)
减小神经网络模型的大小是将人工智能从以云为中心的计算模式转变为以边缘为中心的计算模式的关键一步。这种从云到边缘的转变是由许多因素推动的,包括减少延迟,提高安全性,以及跨多个应用领域(例如运输,医疗保健,国防等)的AI算法的更高灵活性。然而,目前尚不清楚模型压缩技术如何影响AI算法对对抗攻击的鲁棒性。本文探讨了量化的效果,最常见的压缩技术之一,对抗的鲁棒性的神经网络。具体来说,我们调查和建模的准确性量化神经网络的不利扰动图像。结果表明,对于简单的基于梯度的攻击,量化可以提高或降低对抗鲁棒性取决于攻击强度。
2021-05-01 cs.CR cs.LG
Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University(深圳大学);IBM(国际商业机器公司);University of Nottingham(诺丁汉大学)
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响,即,攻击者故意设计的机器学习模型的输入,以使模型出错。为了提高神经网络的对抗鲁棒性,对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而,对抗性训练可能过度适应特定类型的对抗攻击,并且还导致干净图像的标准准确度下降。为此,我们提出了一种新的类感知领域自适应(CADA)方法,用于对抗性防御,而不直接应用对抗性训练。具体来说,我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外,我们还将一个类感知组件引入到网络中,以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明,我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击,并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Improving Adversarial Transferability in MLLMs via Dynamic Vision-Language Alignment Attack
University of California, Irvine(加州大学欧文分校);University of Oxford(牛津大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对多模态大语言模型对抗攻击可迁移性有限的问题,提出动态视觉-语言对齐攻击,通过向视觉-语言连接器注入动态扰动,显著提升跨模型可迁移性。
2025-02-27 cs.CV cs.LG
Adversarial Robustness for Unsupervised Domain Adaptation
Dept. of Computer Science, Kyung-Hee University(庆熙大学计算机科学系);Dept. of Computer Science, The University of Hong Kong(香港大学计算机科学系)
广泛的无监督领域自适应(UDA)研究已经在实践中取得了巨大的成功,通过使用深度模型学习标记源域和未标记目标域的可转移表示。然而,以前的工作集中在提高UDA模型对干净样本的泛化能力,而没有考虑对抗鲁棒性,这在现实世界的应用中是至关重要的。传统的对抗训练方法不适用于UDA的未标记目标域上的对抗鲁棒性,因为它们使用由监督损失函数生成的对抗示例来训练模型。在这项工作中,我们利用多个强大的ImageNet模型学习的中间表示来提高UDA模型的鲁棒性。我们的方法通过将UDA模型的特征与ImageNet预训练模型以及领域自适应训练所学习的鲁棒特征进行对齐来工作。它利用标记和未标记的域,并在领域自适应训练期间注入鲁棒性,而无需任何对抗性干预或标签要求。实验结果表明,与基线相比,我们的方法显着提高了对抗鲁棒性,同时在各种UDA基准上保持了干净的准确性。
2021-09-02 cs.CV cs.LG
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science(信息科学研究所);Beijing Jiaotong University(北京交通大学)
最近的研究表明,深度神经网络容易受到对抗性样本的攻击,但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而,在实际计算中,这种神经网络不再保持任何上限,因此容易受到对抗性样本的影响。遵循类似的过程,我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外,我们证明了一个新的称为神经ODE的深度神经网络家族(Chen et al.,2018年)持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此,神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击(FGSM、PGD、DI 2-FGSM)和一种黑盒对抗攻击(边界攻击)下的性能。最后,我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法(如TRADES和YOPO)训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
本文提出ARBiBench基准,系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性,发现数据集相关性和黑盒优势,为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
The Pros and Cons of Adversarial Robustness
NUS(新加坡国立大学);CNRS(法国国家科学研究中心)
本文针对机器学习模型的对抗鲁棒性,在梳理其研究重要性、评估方式及已有应用进展的基础上,揭示了现有全局与局部鲁棒性定义及鲁棒性认证工作的局限性,并探索了对抗样本的其他应用方向。
2023-12-18 cs.CV cs.LG
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, Shenzhen, China(深圳市环域研究所)
本文提出AGFT框架,通过概率预测进行文本引导对抗训练,提升视觉-语言模型的零样本对抗鲁棒性,同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
Robustness Against Adversarial Attacks via Learning Confined Adversarial Polytopes
University of Waterloo(滑铁卢大学)
本文提出通过学习受限对抗多面体(CAP)约束范数有界扰动下的可达输出,使对抗多面体避开决策边界,从而提升 DNN 对 AutoAttack 等攻击的鲁棒性。
2024-01-20 cs.CR cs.LG
RegMix: Adversarial Mutual and Generalization Regularization for Enhancing DNN Robustness
School of Computing Newcastle University(计算学院新castle大学)
本文针对对抗训练中MSE正则化导致的过度均匀优化问题,提出加权对抗互正则化和对抗泛化正则化两种策略,显著提升模型对抗鲁棒性。
2025-10-06 cs.CV cs.LG
Advancing Adversarial Robustness Through Adversarial Logit Update
University of Alberta(阿尔伯塔大学);Northwestern Polytechnical University(西北工业大学)
提出对抗性Logit更新(ALU)原则,利用净化前后logit差异提升模型对抗鲁棒性,无需额外训练数据,在多个数据集上优于现有方法。
2023-08-29 cs.CR cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department(多特尔研究与创新中心,人工智能部门);TRAIL – Trusted AI Labs(TRAIL——可信AI实验室)
研究安全关键应用中分类器的稳健性与可靠性,通过选择性分类视角探讨差距,引入统一基准,提出证据对抗训练方法,提升稳健性与不确定性权衡,优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
CARE: Ensemble Adversarial Robustness Evaluation Against Adaptive Attackers for Security Applications
针对网络安全中集成防御能否抵御自适应攻击缺乏综合评估平台的问题,本文提出通用CARE平台以系统评估集成对抗攻击与防御。
2024-01-20 cs.CR cs.LG
On the interplay of adversarial robustness and architecture components: patches, convolution and attention
University of Tübingen(图宾根大学)
近年来,图像分类的新架构组件已经开发出来,从Transformers中使用的attention和patch开始。虽然先前的工作已经分析了架构组件的某些方面对对抗攻击的鲁棒性的影响,特别是对于视觉Transformer,但对主要因素的理解仍然有限。我们比较了几种具有不同架构的(非)鲁棒分类器,并研究了它们的特性,包括对抗性训练对学习特征的可解释性和对未知威胁模型的鲁棒性的影响。从ResNet到ConvNeXt的消融揭示了导致几乎$10\%$更高$\ell_\infty$ -稳健性的关键架构变化。
2022-09-14 cs.CV cs.LG
Neural Architecture Dilation for Adversarial Robustness
University of Sydney(悉尼大学);Huawei Technologies(华为技术有限公司);Peking University(北京大学)
随着卷积神经网络(CNN)在过去几十年中在架构和规模上的巨大进步,它们可以轻松达到甚至超过人类在某些任务中的表现。然而,最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高,但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看,本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下,扩张架构的引入有望与骨干CNN的标准性能友好,同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明,该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
It Is All About Data: A Survey on the Effects of Data on Adversarial Robustness
University of British Columbia(不列颠哥伦比亚大学)
本综述聚焦于训练数据对模型对抗鲁棒性的影响,总结导致脆弱性的数据属性,提出通过数据表示与学习过程增强鲁棒性的技术,并指出未来研究方向。
2023-10-17 cs.CR cs.LG
Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
本文综述了模型压缩与对抗鲁棒性之间关系的研究证据,分析了剪枝、量化等压缩技术对鲁棒性的影响,并针对已有实验中的矛盾结果讨论其可能原因。
2023-11-27 cs.CV cs.LG
Strength-Adaptive Adversarial Training
The University of Sydney(悉尼大学);Xidian University(西安电子科技大学);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学)
对抗训练(AT)被证明可以可靠地提高网络对对抗数据的鲁棒性。然而,具有预先指定的扰动预算的当前AT在学习鲁棒网络方面具有限制。首先,在不同模型容量的网络上应用预先指定的扰动预算将产生自然精度和鲁棒精度之间的鲁棒性差异程度的不同,这偏离了鲁棒网络的要求。第二,对抗性训练数据受预先设定的扰动预算约束,其攻击强度不能随着网络鲁棒性的提高而提高,导致鲁棒过拟合,进一步降低了对抗性鲁棒性。为了克服这些限制,我们提出了\emph{Strength-Adaptive Adversarial Training}(SAAT)。具体而言,对手采用对抗性损失约束来生成对抗性训练数据。在此约束下,扰动预算将根据对抗数据的训练状态进行自适应调整,可以有效避免鲁棒过拟合。此外,SAAT通过对抗损失明确约束训练数据的攻击强度,在训练过程中控制模型容量调度,从而灵活控制鲁棒性差异程度,调整自然精度和鲁棒性之间的权衡。大量的实验表明,我们的建议提高了对抗训练的鲁棒性。
2022-10-04 cs.CR cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen(蒂宾根大学)
神经网络在图像分类方面取得了重大进展,但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中,我们提出了RATIO,这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程,它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性,因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性,但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性,并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Metric Learning for Adversarial Robustness
Columbia University(哥伦比亚大学)
众所周知,深度网络对于对抗攻击是脆弱的。我们对最先进的攻击方法PGD下的深层表示进行了实证分析,发现攻击导致内部表示向“假”类靠拢。出于这一观察结果,我们建议使用度量学习来正则化受到攻击的表示空间,以产生更鲁棒的分类器。通过仔细采样用于度量学习的示例,我们学习的表示不仅提高了鲁棒性,而且还检测了以前未见过的对抗样本。定量实验表明,鲁棒性的准确性提高了4%,检测效率提高了6%,根据曲线下面积得分比以前的工作。我们的工作代码可在https://github.com/columbia/Metric_Learning_Adversarial_Robustness上获得。
2019-10-28 cs.CR cs.CV cs.IR
Adversarial Robustness in Financial Machine Learning: Defenses, Economic Impact, and Governance Evidence
Independent Researcher(独立研究者)
本研究评估金融机器学习模型的对抗鲁棒性,通过实验揭示对抗攻击对模型性能的影响,并探讨对抗训练的恢复效果。
2025-12-14 cs.AI cs.CR cs.LG
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
在本文中,我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同,本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后,我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能,但它导致了自然扰动样本的性能下降,除了干净的样本。相比之下,自然扰动,如弹性变形,闭塞和波不仅提高了对自然扰动的性能,而且还导致对抗性扰动的性能的改善。此外,它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
Alignment and Adversarial Robustness: Are More Human-Like Models More Secure?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过评估114个模型在105个基准上的表现及AutoAttack对抗鲁棒性,发现与人类视觉的平均对齐与鲁棒性整体相关性微弱,但特定对齐基准(如纹理或形状选择性)能强预测对抗鲁棒性,表明不同对齐形式对模型安全性作用不同。
2025-07-14 cs.CV
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要,因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性,并评估了潜在的防御。我们观察到,CNN架构中包含的瓶颈注意力模块(BAM)可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中,BAM增强的架构在推理过程中表现出更强的鲁棒性。最后,我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV