Improving Adversarial Robustness with Self-Paced Hard-Class Pair Reweighting
University of Alberta(阿尔伯塔大学)
深度神经网络容易受到对抗攻击的攻击。在众多的防御策略中,无针对性攻击的对抗性训练是最有效的方法之一。理论上,非目标攻击中的对抗性扰动可以沿任意方向添加,并且非目标攻击的预测标签应该是不可预测的。然而,我们发现,自然不平衡的类间语义相似性,使这些硬类对成为对方的虚拟目标。本研究探讨了这种紧密耦合的类对对抗攻击的影响,并据此提出了一种对抗训练中的自定进度的权重调整策略。具体来说,我们建议在模型优化中增加硬类对损失的权重,这会促使从硬类中学习有区别的特征。我们进一步引入了一个术语来量化对抗训练中的硬类对一致性,这大大提高了模型的鲁棒性。大量的实验表明,所提出的对抗性训练方法实现了优越的鲁棒性性能超过国家的最先进的防御对广泛的对抗攻击。
2022-11-29 cs.CV
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami(迈阿密大学)
深度神经网络(DNN)容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略(即,噪声数据上的准确性)对抗对抗性噪声。然而,由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度(即,与通过标准方法在干净数据上训练的相同模型相比,这种现象被称为准确性和鲁棒性之间的权衡,并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用,例如医学图像分析,因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升(即,减轻或甚至避免)医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法,命名为增量边际对抗(IMA)训练,这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性,同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序,我们的方法提高了准确性和鲁棒性。我们的研究表明,我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models
Zhejiang University(浙江大学);Shanghai Maritime University(上海海事大学);Zhejiang Gongshang University(浙江工商大学);Nanjing University of Information Science and Technology(南京信息工程大学)
针对大视觉模型对抗训练成本高、现有鲁棒微调方法效果不及全参数微调的问题,提出超对抗调优方法HyperAT,通过超网络生成不同防御的LoRA并融合,高效提升模型对抗鲁棒性,达到新的SOTA。
2024-10-08 cs.CV
Impact of Attention on Adversarial Robustness of Image Classification Models
Birla Institute of Technology and Science Pilani(比拉理工学院);Indian Institute of Information Technology Allahabad(印度信息技术学院阿拉哈巴德分校)
针对深度学习模型的对抗攻击已经引起了广泛的关注,最近的工作已经提出了对抗示例存在的解释和保护模型免受这些攻击的技术。计算机视觉中的注意力已被用于合并重要特征的集中学习,并导致准确性的提高。最近,已经提出了具有注意力机制的模型来增强对抗鲁棒性。在此背景下,这项工作旨在全面了解注意力对对抗鲁棒性的影响。本文对在CIFAR-10、CIFAR-100和Fashion MNIST数据集上训练的非注意和基于注意的图像分类模型在流行的白盒和黑盒攻击下的对抗鲁棒性进行了比较研究。实验结果表明,基于注意力的模型的鲁棒性可能取决于所使用的数据集,即分类中涉及的类的数量。与具有较少类别的数据集相比,观察到基于注意力的模型对分类表现出更好的鲁棒性。
2021-09-02 cs.CV
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University(西南交通大学)
卷积神经网络(CNN)在图像分类任务中已经实现了超越人类水平的准确性,并广泛应用于现实世界的环境中。然而,CNN显示出对抗性扰动的脆弱性,这些扰动是精心设计的噪声,旨在误导分类模型。为了抵御对抗性扰动,提出了对抗性训练的GAN(AT GAN),以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中,以去除模糊梯度,这可能导致在防御对抗性扰动时产生错误的感觉,并且在现有的基于GAN的对抗性防御方法中常见。此外,ATGAN采用图像到图像生成器作为数据增强,以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明,该方法不依赖于模糊梯度,并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem
University of Exeter(埃克塞特大学)
最近对深度学习鲁棒性的研究表明,视觉Transformer(ViTs)在某些扰动下优于卷积神经网络(CNN),例如,自然腐败,对抗攻击等。一些论文认为,卓越的鲁棒性ViT来自其输入图像的分割;其他人说,多头自注意(MSA)是保持鲁棒性的关键。在本文中,我们的目标是引入一个原则性和统一的理论框架,调查这样一个论点ViT的鲁棒性。我们首先从理论上证明,与自然语言处理中的Transformers不同,ViTs是Lipschitz连续的。然后,我们从柯西问题的角度从理论上分析了ViT的对抗鲁棒性,通过柯西问题我们可以量化鲁棒性如何在层之间传播。我们证明了第一层和最后一层是影响ViTs鲁棒性的关键因素。此外,基于我们的理论,我们实证表明,与现有研究的说法不同,MSA仅在弱对抗攻击下有助于ViTs的对抗鲁棒性,例如,FGSM,令人惊讶的是,MSA实际上包括模型在更强攻击下的对抗鲁棒性,例如,PGD攻击
2022-08-01 cs.CV cs.LG
Improving Ensemble Robustness by Collaboratively Promoting and Demoting Adversarial Robustness
Monash University(莫纳什大学);Defence Science and Technology Group(国防科技集团)
基于集合的对抗训练是实现对抗对抗攻击的鲁棒性的原则性方法。这种方法的一个重要技术是控制对抗性样本在集成成员之间的可转移性。在这项工作中,我们提出了一个简单而有效的策略,委员会模型之间的合奏模型进行合作。这是通过为给定样本上的每个模型成员定义的安全和不安全集合来实现的,因此有助于我们量化和规范可转移性。因此,我们提出的框架提供了灵活性,以减少对抗性的可转移性,以及促进合奏成员的多样性,这是我们的合奏方法更好的鲁棒性的两个关键因素。我们进行了广泛而全面的实验,以证明我们提出的方法优于最先进的集成基线,同时可以以近乎完美的准确度检测到各种各样的对抗性示例。我们的代码可在https://github.com/tuananhbui89/Crossing-Collaborative-Ensemble上获得。
2022-02-04 cs.CV cs.LG
Q-TART: Quickly Training for Adversarial Robustness and in-Transferability
原始的深度神经网络(DNN)性能是不够的;在现实世界中,计算负载、训练效率和对抗安全性同样重要,甚至更重要。我们建议同时解决性能,效率和鲁棒性,使用我们提出的算法Q-TART,快速训练对抗鲁棒性和不可转移性。Q-TART遵循的直觉是,对噪声高度敏感的样本会强烈影响DNN学习的决策边界,这反过来会降低DNN的性能和对抗敏感性。通过识别和删除这些样本,我们证明了改进的性能和对抗鲁棒性,同时只使用一个子集的训练数据。通过我们的实验,我们强调了Q-TART在多个数据集-DNN组合(包括ImageNet)中的高性能,并深入了解了Q-TART与现有对抗训练方法的互补行为,将鲁棒性提高了1.3%以上,同时减少了17.9%的训练时间。
2022-04-14 cs.CV cs.LG
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick(利默里克大学);Computer Science and Information Systems(计算机科学与信息系统)
针对对抗训练存在的干净样本泛化差、类别性能失衡问题,研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性,同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
On Saliency Maps and Adversarial Robustness
IIT Hyderabad(海得拉巴印度理工学院)
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来,这与早期的努力不同,早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明,对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图,并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中,我们为这种耦合提供了一个不同的视角,并提供了一种方法,基于显着性的对抗训练(SAT),使用显着性图来提高模型的对抗鲁棒性。特别是,我们表明,使用注释,如边界框和分割掩模,已经提供了一个数据集,作为弱显着性图,足以提高对抗鲁棒性,没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法,即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型,以及如何将SAT与现有的对抗训练方法相结合,进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland(马里兰大学)
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而,在实践中,模型需要同时具有这两种类型的鲁棒性,以确保可靠性。在这项工作中,我们弥合了这一差距,并表明,事实上,对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下,通过理论和实证分析,我们表明:(i)$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;(ii)对于$\ell_\infty$对抗训练,虚假依赖只发生在虚假特征的规模大于核心特征的规模时;(iii)对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果,特别是当伪相关性在新的测试域中发生变化时。接下来,我们提出了广泛的经验证据,使用在五个基准数据集(ObjectNet,RIVAL 10,Salient ImageNet-1 M,ImageNet-9,Waterbirds)上评估的20个对抗训练模型的测试套件,对抗训练的分类器比标准训练的分类器更依赖于背景,验证了我们的理论结果。我们还表明,虚假的相关性在训练数据(当保存在测试域)可以提高对抗的鲁棒性,揭示了以前的说法,对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Neural Architecture Dilation for Adversarial Robustness
University of Sydney(悉尼大学);Huawei Technologies(华为技术有限公司);Peking University(北京大学)
随着卷积神经网络(CNN)在过去几十年中在架构和规模上的巨大进步,它们可以轻松达到甚至超过人类在某些任务中的表现。然而,最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高,但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看,本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下,扩张架构的引入有望与骨干CNN的标准性能友好,同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明,该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.(拉斐尔先进防御系统有限公司)
在本文中,我们介绍了一种新的神经网络训练框架,通过将对比学习(CL)与对抗训练(AT)相结合,提高了模型对对抗攻击的对抗鲁棒性,同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性,将对抗性示例视为另一个正面示例,并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性,同时不断更新分类头,以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间,同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法,具有对抗特征的对比学习(CLAF),在该数据集上,它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University(清华大学);IBM Research(IBM研究院);University of California, Los Angeles(加州大学洛杉矶分校);SenseTime Research(商汤科技研究院);Northeastern University(东北大学)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击,这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而,对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架,该框架在保持对抗鲁棒性的同时实现了模型压缩,从根本上解决了对抗训练的困境。此外,这项工作研究了两个假设的权重修剪在传统的设置,并发现权重修剪是必要的,以减少网络模型的大小在对抗设置,从头开始训练一个小的模型,即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen(蒂宾根大学)
神经网络在图像分类方面取得了重大进展,但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中,我们提出了RATIO,这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程,它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性,因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性,但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性,并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science(信息科学研究所);Beijing Jiaotong University(北京交通大学)
最近的研究表明,深度神经网络容易受到对抗性样本的攻击,但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而,在实际计算中,这种神经网络不再保持任何上限,因此容易受到对抗性样本的影响。遵循类似的过程,我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外,我们证明了一个新的称为神经ODE的深度神经网络家族(Chen et al.,2018年)持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此,神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击(FGSM、PGD、DI 2-FGSM)和一种黑盒对抗攻击(边界攻击)下的性能。最后,我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法(如TRADES和YOPO)训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong(香港城市大学)
针对传统对抗准确率无法全面衡量模型鲁棒性的问题,提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性,并采用新训练算法均匀增强鲁棒性,为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad(海得拉巴印度理工学院);Microsoft Research India(微软研究院印度分院);Chennai Mathematical Institue, Chennai(钦奈数学研究所)
神经网络对小的、对抗性的逐像素扰动的(非)鲁棒性,并且如最近所示,甚至对随机空间变换(例如,翻译,旋转)都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型(例如,StdCNN,GCNN)和训练增强,而对抗鲁棒性通常通过对抗训练来实现。在本文中,我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点:(a)随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高,它们的对抗鲁棒性逐渐下降,(b)随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练,它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优,我们提出了一种基于课程学习的方法,该方法逐渐训练更困难的扰动(空间和对抗),以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos(阿托斯公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管人工神经网络具有很好的性能,但对于大多数工业应用来说,它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制,以防止各种干扰,包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略,称为M-TLAT,旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法,称为目标标记对抗训练(TLAT)。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明,M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性,而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出,稳健和准确的模型都是不可能的,即,对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系,我们假设一个底层的,低维的数据流形,并表明:1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形,即,流形上对抗的例子,存在; 3.流形上对抗性示例是泛化误差,并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而,不同的模型(架构,培训策略等)可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张,我们提出了广泛的实验合成数据(与已知的流形),以及EMNIST,时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Enhancing Adversarial Robustness for Deep Metric Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
由于对抗性漏洞的安全影响,深度度量学习模型的对抗性鲁棒性必须得到提高。为了避免由于过于困难的例子而导致模型崩溃,现有的防御方法忽略了最小-最大对抗训练,而是从弱对手那里学习效率低下。相反,我们提出了硬度操纵,根据更硬的良性三元组或伪硬度函数,有效地干扰训练三元组,直到指定的对抗训练硬度水平。它是灵活的,因为常规训练和最小-最大对抗训练是它的边界情况。此外,提出了一系列伪硬度函数,即渐进式Adjuster函数,用于在训练过程中逐渐增加指定的硬度水平,以便在性能和鲁棒性之间实现更好的平衡。此外,良性和对抗性样本之间的类内结构损失项进一步提高了模型的鲁棒性和效率。综合的实验结果表明,所提出的方法,虽然简单的形式,压倒性地优于国家的最先进的防御措施的鲁棒性,训练效率,以及性能良性的例子。
2022-03-02 cs.CR cs.CV cs.LG
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University(普渡大学)
我们介绍了一种基于噪声的先验学习(NoL)方法,用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现,隐式生成建模的随机噪声与相同的损失函数在后验最大化,提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性,并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明,一般来说,对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明,用我们的方法学习的模型在各种攻击中表现得非常好。此外,将NoL与最先进的对抗训练相结合,可以扩展模型的鲁棒性,甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
在海量数据和计算资源重要进展的推动下,新的深度学习系统在大量应用中取得了出色的成果。然而,我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而,为了解决神经网络的脆弱性,对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中,我们对深度学习中的对抗鲁棒性领域进行了深入的回顾,并对其主要概念进行了完整的介绍。但是,与对抗鲁棒性的主流悲观观点相反,我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系,并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外,我们还展示了对抗鲁棒性的广泛适用性,概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习,并为他们提供直观的工具和见解,了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Squeeze Training for Adversarial Robustness
Harbin Institute of Technology(哈尔滨工业大学);Tencent Security Big Data Lab(腾讯安全大数据实验室);UC Davis(加州大学戴维斯分校)
深度神经网络(DNN)对对抗性样本的脆弱性在机器学习社区引起了极大的关注。这个问题与通常获得的损失景观的非平坦性和非平滑性有关。通过对抗性示例增强训练(也称为,对抗训练)被认为是一种有效的补救办法。在本文中,我们强调了一些协作示例,这些示例在感知上几乎无法与对抗性和良性示例区分开来,但预测损失极低,可以用来增强对抗性训练。因此,提出了一种新的方法,以实现新的最先进的对抗鲁棒性。代码:www.example.com.
2023-02-10 cs.CR cs.CV cs.LG
Biologically Inspired Mechanisms for Adversarial Robustness
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
卷积神经网络在合理的计算和性能成本下对对抗性扰动具有很强的鲁棒性还没有得到证明。灵长类动物的视觉腹侧流似乎是强大的视觉刺激的小扰动,但引起这种强大的感知的潜在机制还不清楚。在这项工作中,我们研究了两种生物学上合理的机制在对抗鲁棒性中的作用。我们证明了由灵长类动物视网膜进行的非均匀采样和在每个偏心率处具有一系列感受野大小的多个感受野的存在提高了神经网络对小的对抗性扰动的鲁棒性。我们验证了这两种机制不会受到梯度混淆的影响,并通过消融研究研究了它们对对抗鲁棒性的贡献。
2020-06-29 cs.CV cs.LG stat.ML
Scaleable input gradient regularization for adversarial robustness
McGill University(麦吉尔大学)
在这项工作中,我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先,我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次,我们实现了一个可扩展版本的输入梯度正则化,避免了双重反向传播:对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后,我们通过实验和理论证明,输入梯度正则化与对抗训练具有竞争力。此外,我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
A Unified Game-Theoretic Interpretation of Adversarial Robustness
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Huawei technologies Inc.(华为技术有限公司)
本文提供了一个统一的观点来解释不同的对抗攻击和防御方法,即DNN的输入变量之间的多阶相互作用的观点。基于多阶交互,我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外,我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性,这可以从原理上解释现有的防御方法。此外,我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-09 cs.AI cs.CV cs.LG
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University(东北大学);IBM Research(IBM研究院)
模式连通性为分析损失景观提供了新的几何见解,并能够在训练有素的神经网络之间构建高精度路径。在这项工作中,我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性,并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时,我们的研究结果表明,使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响,同时保持干净数据的原始准确性。因此,模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明,在连接常规和对抗训练模型的路径上,对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性,并给出了理论证明。我们的研究结果表明,模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
Language-Driven Anchors for Zero-Shot Adversarial Robustness
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Chinese Institute for Brain Research(中国脑科学研究院)
针对零样本对抗鲁棒性研究空白,提出语言驱动的基于锚点的对抗训练策略LAAT,通过文本编码器类别特征作锚点训练,结合扩展算法与对齐交叉熵损失解决特征相似度高的问题,显著提升零样本对抗鲁棒性,适用于无标注数据场景。
2024-03-10 cs.AI cs.CV cs.LG
A Unified Game-Theoretic Interpretation of Adversarial Robustness
本文提供了一个统一的视图来解释不同的对抗攻击和防御方法,\emph{i.e.}的DNN的输入变量之间的多阶相互作用的视图。基于多阶交互,我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外,我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性,这可以从原理上解释现有的防御方法。此外,我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-08 cs.AI cs.CV cs.LG
Adversarial Fine-tune with Dynamically Regulated Adversary
University of Alberta(阿尔伯塔大学)
对抗性训练是一种有效的方法,可以提高模型对恶意对抗攻击的鲁棒性。然而,模型鲁棒性的这种改进通常导致在干净图像上的标准性能的显著牺牲。在许多现实世界的应用中,如健康诊断和自主手术机器人,标准性能比模型鲁棒性更有价值。这就引出了一个问题:在不牺牲标准性能的情况下,我们可以在多大程度上提高模型的鲁棒性?这项工作解决了这个问题,并提出了一个简单而有效的基于迁移学习的对抗性训练策略,解开了对抗性样本对模型标准性能的负面影响。此外,我们引入了一个训练友好的对抗攻击算法,它有助于提高对抗鲁棒性,而不会引入显着的训练复杂度。大量的实验表明,该方法优于以前的对抗性训练算法的目标:提高模型的鲁棒性,同时保持模型的标准性能的清洁数据。
2022-04-28 cs.AI cs.CV cs.LG
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology(麻省理工学院)
我们评估了对抗性Logit配对的鲁棒性,这是最近提出的对抗性示例的防御方法。我们发现,使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明,以及我们攻击的方法和结果的讨论,这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI(北极光人工智能)
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中,我们证明了一个有趣的现象,在文献中最流行的鲁棒训练方法,对抗训练:对抗鲁棒性,不像干净的准确性,是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换,也会导致对抗性训练模型的鲁棒性显著不同,该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究,该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体,并表明标准训练的模型在它们上实现了相当的干净精度,但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明,输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性,而不一定是任务本身。最后,我们讨论了评估对抗鲁棒性的实际意义,并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心);U.S. Naval Research Laboratory(美国海军研究实验室)
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类:梯度掩蔽,鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分:(1)增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性,(2)边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题,我们提供了一个新的视角,可以深入了解能够训练更强大的网络的潜在因素,并有助于激发新的解决方案。此外,在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的,或者鲁棒性和准确性之间的权衡,但是,根据这个建议的分类法,我们假设这不是普遍的。我们在分类法的基础上,对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Improving Adversarial Robustness via Guided Complement Entropy
National Tsing-Hua University(国立清华大学);Electronic and Optoelectronic System Research Laboratories, ITRI(工业技术研究院电子与光电系统研究实验室);Google Research(谷歌研究院)
对抗鲁棒性已经成为深度学习中的一个重要主题,因为精心制作的攻击样本可以显著干扰模型的性能。许多最近的方法已经提出通过利用对抗训练或模型蒸馏来提高对抗鲁棒性,这为模型训练增加了额外的程序。在本文中,我们提出了一种新的训练范式,称为引导互补熵(GCE),能够实现“免费对抗防御”,在提高对抗鲁棒性的过程中不涉及额外的程序。除了最大化地面实况类(如交叉熵)上的模型概率外,我们还中和了不正确类上的概率,以及一个“引导”项来平衡这两个项。我们在实验中表明,我们的方法实现了更好的模型鲁棒性,甚至更好的性能相比,常用的交叉熵训练目标。我们还表明,我们的方法可以用于正交对抗训练跨众所周知的方法具有显着的鲁棒性增益。据我们所知,我们的方法是第一个提高模型鲁棒性而不影响性能的方法。
2019-08-07 cs.CV cs.LG cs.PF
advertorch v0.1: An Adversarial Robustness Toolbox based on PyTorch
Borealis AI
advertorch是一个对抗鲁棒性研究的工具箱。它包含各种攻击,防御和强大的训练方法的实现。advertorch建立在PyTorch上(Paszke等人,2017),并利用动态计算图的优势,提供简洁高效的参考实现。该代码是在LGPL许可下授权的,并在https://github.com/BorealisAI/advertorch上开源。
2019-02-20 cs.CR cs.CV cs.LG
Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning
Australian Centre for Robotic Vision, The University of Adelaide(阿德莱德大学澳大利亚机器人视觉中心);Northwestern Polytechnical University(西北工业大学)
视觉对话任务要求智能体与人类进行关于图像的对话。它代表了可视问答任务的扩展,因为智能体需要回答关于图像的问题,但是它需要根据已经发生的先前对话来这样做。因此,视觉对话的关键挑战是保持一致和自然的对话,同时继续正确回答问题。我们提出了一种结合强化学习和生成对抗网络(GANs)的新方法,以生成更像人类的问题回答。GAN有助于克服训练数据的相对缺乏,以及典型的基于MLE的方法生成过于简洁的答案的趋势。重要的是,GAN紧密集成到注意力机制中,该机制为每个答案生成人类可解释的原因。这意味着GAN的判别模型具有评估候选答案是否由人类生成的任务,给出所提供的原因。这很重要,因为它驱动生成模型产生高质量的答案,这些答案得到相关推理的很好支持。该方法还在主要基准上生成最先进的结果。
2017-11-21 cs.AI cs.CL cs.CV
DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training
Keio University(庆应义塾大学)
本文提出DialMAT,通过基于矩的对抗训练和跨模态并行特征提取,在DialFRED任务中显著提升具身指令跟随的成功率,并在CVPR 2023挑战赛中夺冠。
2023-11-12 cs.CL cs.CV cs.RO
Exploiting Frequency Spectrum of Adversarial Images for General Robustness
Chiba University(千叶大学)
本文提出对抗幅度交换方法,通过交换干净与对抗图像的幅度谱生成新训练图像,使CNN在干净、对抗和常见损坏上获得通用鲁棒性。
2023-05-15 cs.CV
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明,以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外,我们还表明,通过强制深度神经网络(DNN)在变换后的输入和特征空间中保持线性,可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数,进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法,并在MNIST,CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中,我们还提出了一种新的对抗图像生成方法,该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University(深圳大学);IBM(国际商业机器公司);University of Nottingham(诺丁汉大学)
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响,即,攻击者故意设计的机器学习模型的输入,以使模型出错。为了提高神经网络的对抗鲁棒性,对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而,对抗性训练可能过度适应特定类型的对抗攻击,并且还导致干净图像的标准准确度下降。为此,我们提出了一种新的类感知领域自适应(CADA)方法,用于对抗性防御,而不直接应用对抗性训练。具体来说,我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外,我们还将一个类感知组件引入到网络中,以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明,我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击,并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Adversarial Robustness for Unsupervised Domain Adaptation
Dept. of Computer Science, Kyung-Hee University(庆熙大学计算机科学系);Dept. of Computer Science, The University of Hong Kong(香港大学计算机科学系)
广泛的无监督领域自适应(UDA)研究已经在实践中取得了巨大的成功,通过使用深度模型学习标记源域和未标记目标域的可转移表示。然而,以前的工作集中在提高UDA模型对干净样本的泛化能力,而没有考虑对抗鲁棒性,这在现实世界的应用中是至关重要的。传统的对抗训练方法不适用于UDA的未标记目标域上的对抗鲁棒性,因为它们使用由监督损失函数生成的对抗示例来训练模型。在这项工作中,我们利用多个强大的ImageNet模型学习的中间表示来提高UDA模型的鲁棒性。我们的方法通过将UDA模型的特征与ImageNet预训练模型以及领域自适应训练所学习的鲁棒特征进行对齐来工作。它利用标记和未标记的域,并在领域自适应训练期间注入鲁棒性,而无需任何对抗性干预或标签要求。实验结果表明,与基线相比,我们的方法显着提高了对抗鲁棒性,同时在各种UDA基准上保持了干净的准确性。
2021-09-02 cs.CV cs.LG
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
在本文中,我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同,本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后,我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能,但它导致了自然扰动样本的性能下降,除了干净的样本。相比之下,自然扰动,如弹性变形,闭塞和波不仅提高了对自然扰动的性能,而且还导致对抗性扰动的性能的改善。此外,它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
On Adversarial Robustness: A Neural Architecture Search perspective
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校);Microsoft(微软);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
深度学习模型的对抗鲁棒性在过去几年中获得了很大的关注。提出了各种攻击和防御来提高现代深度学习架构的对抗鲁棒性。虽然所有这些方法都有助于提高鲁棒性,但提高对抗鲁棒性的一个有希望的方向尚未探索,即,神经网络架构的复杂拓扑结构。在这项工作中,我们解决了以下问题:神经网络的复杂拓扑结构是否可以在没有任何形式的对抗训练的情况下提供对抗鲁棒性?我们通过实验不同的手工制作和基于NAS的架构来经验地回答这个问题。我们的研究结果表明,对于小规模攻击,基于NAS的架构对于小规模数据集和简单任务比手工构建的架构更强大。然而,随着数据集大小或任务复杂性的增加,手工构建的架构比基于NAS的架构更健壮。我们的工作是第一个纯粹从架构角度理解对抗鲁棒性的大规模研究。研究结果表明,在DARTS(一种流行的NAS方法)的搜索空间中随机抽样并进行简单的集成,可以使对PGD攻击的鲁棒性提高近12%.我们表明,NAS,这是流行的实现SoTA的准确性,可以提供对抗准确性作为一个免费的附加组件,没有任何形式的对抗训练。我们的研究结果表明,利用NAS方法的搜索空间和集成等方法可以在没有任何形式的对抗训练的情况下实现对抗鲁棒性。我们还引入了一个度量,可用于计算干净的准确性和对抗鲁棒性之间的权衡。代码和预训练模型将在\url{https://github.com/tdchaitanya/nas-robustness}上提供
2021-08-26 cs.CR cs.CV cs.LG
On Model Robustness Against Adversarial Examples
我们研究了模型对对抗性示例的鲁棒性,这些示例被称为小扰动输入数据,但这些数据可能会欺骗许多最先进的深度学习模型。与以往的研究不同,我们建立了一个新的理论解决的鲁棒性问题的损失函数的稳定性的角度在小邻域的自然样本。我们建议利用一个能量函数来描述稳定性,并证明减少这种能量可以保证对对抗性示例的鲁棒性。我们还表明,传统的训练方法,包括对抗训练与$l_2$规范约束(AT)和虚拟对抗训练(VAT)往往最小化我们提出的能量函数的下限。我们做了一个分析表明,这种下限的最小化,但可能会导致输入样本周围的邻域内的鲁棒性不足。此外,我们设计了一个更合理的方法与能量正则化,证明了实现更好的鲁棒性比以前的方法。通过一系列的实验,我们证明了我们的模型在监督任务和半监督任务上的优越性。特别是,我们提出的对抗框架与以前的对抗训练方法相比,在基准数据集MNIST、CIFAR-10和SVHN上实现了最佳性能。重要的是,它们在对抗性示例中表现出比所有其他比较方法更好的鲁棒性。
2020-06-10 cs.CR cs.CV cs.LG