Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore(新加坡南洋理工大学)
在深度神经网络(DNN)的普及应用道路上,对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测,并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型,以抵抗对抗性的例子。在本文中,我们从不同的角度调查了如何理解这种有趣的属性,即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后,我们研究了常用的基准测试,并提到了理论上证明的对抗鲁棒性界限。然后,我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后,我们介绍了最近的争论的潜在成本的对抗性训练,引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness
Northeastern University(东北大学)
我们研究了HSIC(Hilbert-Schmidt独立准则)瓶颈作为学习对抗鲁棒深度神经网络分类器的正则化器。除了通常的交叉熵损失外,我们还为每个中间层添加正则化项,以确保潜在表示保留输出预测的有用信息,同时减少冗余信息。我们证明了HSIC瓶颈增强了对对抗攻击的鲁棒性。特别是,我们证明了HSIC瓶颈正则化器降低了分类器对对抗性示例的敏感性。我们在多个基准数据集和架构上的实验表明,结合HSIC瓶颈正则化器可以获得具有竞争力的自然准确性,并提高对抗性鲁棒性,无论在训练过程中是否有对抗性示例。我们的代码和对抗性强大的模型是公开的。
2021-10-26 cs.LG
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami(迈阿密大学)
深度神经网络(DNN)容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略(即,噪声数据上的准确性)对抗对抗性噪声。然而,由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度(即,与通过标准方法在干净数据上训练的相同模型相比,这种现象被称为准确性和鲁棒性之间的权衡,并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用,例如医学图像分析,因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升(即,减轻或甚至避免)医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法,命名为增量边际对抗(IMA)训练,这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性,同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序,我们的方法提高了准确性和鲁棒性。我们的研究表明,我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
Adversarial Robustness Curves
Bielefeld University, Germany(德国比勒费尔德大学)
对抗性例子的存在导致人们对自动化系统产生的预测的信任存在相当大的不确定性。这种不确定性反过来又导致了在理解对抗鲁棒性方面的大量研究工作。在这项工作中,我们采取的第一步分离鲁棒性分析的鲁棒性阈值和范数的选择。我们提出的鲁棒性曲线作为一个更一般的观点的鲁棒性行为的模型,并调查在何种情况下,他们可以定性地依赖于所选择的规范。
2019-07-31 cs.LG stat.ML
Strengthening the Internal Adversarial Robustness in Lifted Neural Networks
Chalmers University of Technology(查尔姆斯理工大学)
本文研究提升神经网络的内部对抗鲁棒性,通过仅修改训练损失增强鲁棒性,并提出结合有目标与无目标对抗扰动的新型训练损失。
2025-03-10 cs.LG
Adversarial Robustness for Code
ETH Zürich(苏黎世联邦理工学院)
机器学习和深度学习最近已经被用于成功地解决代码领域中的许多任务,例如查找和修复错误、代码完成、反编译、类型推断和许多其他任务。然而,代码模型的对抗鲁棒性问题在很大程度上被忽视了。在这项工作中,我们通过以下方式探索这个问题:(i)为代码(具有离散和高度结构化输入的域)实例化对抗攻击,(ii)表明,与其他域类似,代码的神经模型容易受到对抗攻击,以及(iii)结合现有和新颖的技术来提高鲁棒性,同时保持高准确性。
2020-08-15 cs.LG cs.PL cs.SE
Scoring Black-Box Models for Adversarial Robustness
Stanford University(斯坦福大学)
深度神经网络易受对抗性输入的影响,并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入,然后在构造的对抗性输入上测试模型的性能,分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的,需要访问数据标签,并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法,表明其对对抗性输入的鲁棒性。我们发现,相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
On the Effects of Adversarial Perturbations on Distribution Robustness
Yipei Wang Equal Contribution(王毅沛等贡献);Zhaoying Pan(潘朝英);Xiaoqian Wang(王小谦)
本文探讨了对抗扰动对分布鲁棒性的影响,揭示了对抗训练与分布鲁棒性之间的权衡关系,并发现适度偏见数据上的ℓ∞扰动可提升分布鲁棒性。
2026-01-23 cs.LG
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University(西南交通大学)
卷积神经网络(CNN)在图像分类任务中已经实现了超越人类水平的准确性,并广泛应用于现实世界的环境中。然而,CNN显示出对抗性扰动的脆弱性,这些扰动是精心设计的噪声,旨在误导分类模型。为了抵御对抗性扰动,提出了对抗性训练的GAN(AT GAN),以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中,以去除模糊梯度,这可能导致在防御对抗性扰动时产生错误的感觉,并且在现有的基于GAN的对抗性防御方法中常见。此外,ATGAN采用图像到图像生成器作为数据增强,以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明,该方法不依赖于模糊梯度,并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
On the Convergence and Robustness of Adversarial Training
The University of Melbourne(墨尔本大学);The University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提高深度神经网络(DNN)对对抗性样本的鲁棒性是安全深度学习的一个重要但具有挑战性的问题。在现有的防御技术中,使用投影梯度下降(PGD)的对抗训练是最有效的。对抗性训练解决了最小-最大优化问题,其中\textit{inner maximization}通过最大化分类损失来生成对抗性示例,并且\textit{outer minimization}通过最小化从内部最大化生成的对抗性示例的损失来查找模型参数。因此,衡量内部最大化解决得如何的标准对于对抗训练至关重要。在本文中,我们提出了这样一个标准,即约束优化的一阶平稳条件(FOSC),以定量评估内部最大化中发现的对抗性例子的收敛质量。使用FOSC,我们发现为了确保更好的鲁棒性,在训练的\textit{later stages}上使用具有更好收敛质量的对抗性示例是至关重要的。然而,在早期阶段,高收敛质量的对抗性示例是不必要的,甚至可能导致鲁棒性差。基于这些观察,我们提出了一种\textit{dynamic}训练策略,以逐步提高生成的对抗性示例的收敛质量,从而显着提高对抗性训练的鲁棒性。我们的理论和实验结果表明,所提出的方法的有效性。
2022-04-23 cs.LG
Non-Singular Adversarial Robustness of Neural Networks
National Chiao Tung University(国立交通大学);IBM Research(IBM研究院)
由于神经网络对小输入扰动过于敏感,对抗鲁棒性已成为神经网络面临的一个新挑战。虽然是关键的,我们认为,解决这个单一的问题本身无法提供一个全面的鲁棒性评估。更糟糕的是,从奇异鲁棒性中得出的结论可能会给人一种错误的整体模型鲁棒性的感觉。具体来说,我们的研究结果表明,与标准模型相比,对输入扰动具有鲁棒性的对抗训练模型仍然(甚至更容易)受到权重扰动的影响。在本文中,我们形式化的非奇异对抗鲁棒性的概念,神经网络通过镜头的联合扰动的数据输入以及模型的权重。据我们所知,这项研究是第一个考虑同时输入权重对抗扰动的工作。基于一个具有ReLU激活函数和标准分类损失的多层前馈神经网络模型,建立了误差分析,用于量化数据输入和模型权重对$\ell_\infty$范数有界扰动的损失敏感性。基于误差分析,我们提出了新的正则化函数的鲁棒训练,并证明了改进的非奇异鲁棒性对联合输入权重对抗扰动。
2021-02-23 cs.LG
Benchmarking Adversarial Robustness of Compressed Deep Learning Models
University of California, Davis(加州大学戴维斯分校)
本文构建跨攻击与模型的基准,研究未经对抗训练模型在剪枝后的对抗鲁棒性,发现压缩保留泛化与推理优势且不降低鲁棒性。
2023-08-16 cs.LG
Clustering Effect of (Linearized) Adversarial Robust Models
Tsinghua University(清华大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
随着对抗性实例的研究,对抗性鲁棒性受到越来越多的关注。到目前为止,已有的工作表明,鲁棒模型不仅获得了对各种对抗攻击的鲁棒性,而且还提高了一些下游任务的性能。然而,对抗鲁棒性的潜在机制仍然不清楚。本文从线性分量的角度对对抗鲁棒性进行了解释,发现综合鲁棒模型存在一些统计性质。具体地说,鲁棒模型在其线性化的子网络上显示出明显的层次聚类效应,当去除或替换所有非线性分量(例如,批量归一化、最大池化或激活层)。基于这些观察,我们提出了一种对对抗鲁棒性的新理解,并将其应用于更多的任务,包括域自适应和鲁棒性增强。实验结果证明了该聚类策略的合理性和优越性。
2021-11-25 cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Dropping Pixels for Adversarial Robustness
University of Washington(华盛顿大学)
深度神经网络很容易受到对抗性样本的攻击。在本文中,我们提出了训练和测试的网络与随机子采样图像具有高的下降率。我们证明了这种方法在所有有界L0,L2和L_inf扰动的情况下显着提高了对抗性示例的鲁棒性,同时将标准精度降低了一个小值。我们认为,子采样像素可以被认为是为输入图像提供一组鲁棒的特征,从而提高了鲁棒性,而无需进行对抗性训练。
2019-05-01 cs.LG stat.ML
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park(马里兰大学帕克分校)
对抗性训练已被证明可以有效地强化网络对抗性示例。然而,所获得的鲁棒性受到网络容量和训练样本数量的限制。因此,为了构建更鲁棒的模型,通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性,我们提出了一个条件归一化模块,以适应网络在输入样本的条件。我们的自适应网络,一旦经过对抗训练,就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的,并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构,这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”,以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
Deakin University(迪肯大学)
对抗性训练是训练鲁棒的深度神经网络对抗对抗攻击的一种有效方法。虽然能够带来可靠的鲁棒性,但对抗训练(AT)方法通常倾向于高容量模型,即,模型越大,鲁棒性越好。这往往会限制它们在小模型上的有效性,而小模型在存储或计算资源非常有限的情况下更可取(例如,移动设备)。在本文中,我们利用知识蒸馏的概念,以提高小模型的鲁棒性,从对抗训练的大模型。我们首先从蒸馏的角度重新审视了几种最先进的AT方法,并确定了一种可以提高鲁棒性的常用技术:使用鲁棒的软标签-预测鲁棒的模型。根据这一观察,我们提出了一种新的对抗鲁棒性蒸馏方法称为鲁棒软标签对抗蒸馏(RSLAD)训练强大的小学生模型。RSLAD充分利用了由强大的(对抗训练的)大型教师模型产生的强大软标签,以指导学生在所有损失方面对自然和对抗示例的学习。我们通过经验证明了我们的RSLAD方法在现有对抗性训练和蒸馏方法中的有效性,以提高小模型对最先进攻击(包括AutoAttack)的鲁棒性。我们还提供了一组关于我们的RSLAD的理解,以及鲁棒软标签对对抗鲁棒性蒸馏的重要性。
2021-08-18 cs.CR cs.LG
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同,对抗性训练旨在从本质上提高模型的鲁棒性。近几年来,对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展,然而,在现有的调查中被忽视。在这次调查中,我们首次系统地回顾了对抗训练的最新进展,并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后,我们强调尚未充分解决的挑战,并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
Nash Equilibria and Pitfalls of Adversarial Training in Adversarial Robustness Games
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
对抗性训练是训练对抗性鲁棒模型的标准技术。在本文中,我们研究了对抗性训练作为2人零和游戏中的交替最佳反应策略。我们证明,即使在一个简单的情况下的线性分类器和统计模型,抽象的强大与非强大的功能,这种游戏的交替最佳对策策略可能不会收敛。另一方面,存在唯一的纯纳什均衡的游戏,是可证明的强大。我们用实验来支持我们的理论结果,展示了对抗训练的非收敛性和纳什均衡的鲁棒性。
2023-02-28 cs.GT cs.LG
Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem
University of Exeter(埃克塞特大学)
最近对深度学习鲁棒性的研究表明,视觉Transformer(ViTs)在某些扰动下优于卷积神经网络(CNN),例如,自然腐败,对抗攻击等。一些论文认为,卓越的鲁棒性ViT来自其输入图像的分割;其他人说,多头自注意(MSA)是保持鲁棒性的关键。在本文中,我们的目标是引入一个原则性和统一的理论框架,调查这样一个论点ViT的鲁棒性。我们首先从理论上证明,与自然语言处理中的Transformers不同,ViTs是Lipschitz连续的。然后,我们从柯西问题的角度从理论上分析了ViT的对抗鲁棒性,通过柯西问题我们可以量化鲁棒性如何在层之间传播。我们证明了第一层和最后一层是影响ViTs鲁棒性的关键因素。此外,基于我们的理论,我们实证表明,与现有研究的说法不同,MSA仅在弱对抗攻击下有助于ViTs的对抗鲁棒性,例如,FGSM,令人惊讶的是,MSA实际上包括模型在更强攻击下的对抗鲁棒性,例如,PGD攻击
2022-08-01 cs.CV cs.LG
A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness
University of Maine(缅因大学);Pacific Northwest National Lab(太平洋西北国家实验室)
本文提出半鲁棒性概念及理论框架,证明鲁棒子网络在足够层间依赖下可保证全网络鲁棒性,并通过多架构、多数据集和多攻击实验验证了该机制。
2023-07-07 cs.LG
Achieving Adversarial Robustness via Sparsity
Shanghai Jiao Tong University(上海交通大学)
已知网络修剪可以产生紧凑的模型,而不会降低精度。然而,修剪过程如何影响网络的鲁棒性和背后的工作机制仍然没有得到解决。在这项工作中,我们从理论上证明了网络权重的稀疏性与模型的鲁棒性密切相关。通过对各种对抗性剪枝方法的实验,我们发现权值稀疏性不会损害但会提高鲁棒性,其中从彩票继承的权值和对抗性训练都提高了网络剪枝中的模型鲁棒性。基于这些发现,我们提出了一种新的对抗训练方法,称为逆权重继承,它通过继承小网络的权重来对大网络施加稀疏权重分布,从而提高大网络的鲁棒性。
2020-09-11 cs.LG stat.ML
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University(乔治梅森大学);Clarkson University(克拉克森大学);Northeastern University(东北大学)
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而,我们证明了参数空间中的损失面与泛化没有明显的关系,特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化,我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后,我们提出了一个对抗鲁棒性指标,它可以评估神经网络的内在鲁棒性,而无需测试其准确性下的对抗攻击。在此基础上,我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下,我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Improving Ensemble Robustness by Collaboratively Promoting and Demoting Adversarial Robustness
Monash University(莫纳什大学);Defence Science and Technology Group(国防科技集团)
基于集合的对抗训练是实现对抗对抗攻击的鲁棒性的原则性方法。这种方法的一个重要技术是控制对抗性样本在集成成员之间的可转移性。在这项工作中,我们提出了一个简单而有效的策略,委员会模型之间的合奏模型进行合作。这是通过为给定样本上的每个模型成员定义的安全和不安全集合来实现的,因此有助于我们量化和规范可转移性。因此,我们提出的框架提供了灵活性,以减少对抗性的可转移性,以及促进合奏成员的多样性,这是我们的合奏方法更好的鲁棒性的两个关键因素。我们进行了广泛而全面的实验,以证明我们提出的方法优于最先进的集成基线,同时可以以近乎完美的准确度检测到各种各样的对抗性示例。我们的代码可在https://github.com/tuananhbui89/Crossing-Collaborative-Ensemble上获得。
2022-02-04 cs.CV cs.LG
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park(马里兰大学帕克分校)
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用,但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中,我们从理论上(对于一些简单的模型)和经验上(对于更复杂的模型)研究了基于流的生成模型的对抗鲁棒性。首先,我们考虑一个基于线性流的生成模型,并计算最佳的样本特定和通用对抗扰动,最大限度地降低似然分数。利用这一结果,我们研究了著名的对抗训练过程的鲁棒性,其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来,我们实证研究了两个突出的深度,非线性,基于流的生成模型的鲁棒性,即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分,而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后,使用混合对抗训练过程,我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
Q-TART: Quickly Training for Adversarial Robustness and in-Transferability
原始的深度神经网络(DNN)性能是不够的;在现实世界中,计算负载、训练效率和对抗安全性同样重要,甚至更重要。我们建议同时解决性能,效率和鲁棒性,使用我们提出的算法Q-TART,快速训练对抗鲁棒性和不可转移性。Q-TART遵循的直觉是,对噪声高度敏感的样本会强烈影响DNN学习的决策边界,这反过来会降低DNN的性能和对抗敏感性。通过识别和删除这些样本,我们证明了改进的性能和对抗鲁棒性,同时只使用一个子集的训练数据。通过我们的实验,我们强调了Q-TART在多个数据集-DNN组合(包括ImageNet)中的高性能,并深入了解了Q-TART与现有对抗训练方法的互补行为,将鲁棒性提高了1.3%以上,同时减少了17.9%的训练时间。
2022-04-14 cs.CV cs.LG
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick(利默里克大学);Computer Science and Information Systems(计算机科学与信息系统)
针对对抗训练存在的干净样本泛化差、类别性能失衡问题,研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性,同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
On Saliency Maps and Adversarial Robustness
IIT Hyderabad(海得拉巴印度理工学院)
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来,这与早期的努力不同,早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明,对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图,并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中,我们为这种耦合提供了一个不同的视角,并提供了一种方法,基于显着性的对抗训练(SAT),使用显着性图来提高模型的对抗鲁棒性。特别是,我们表明,使用注释,如边界框和分割掩模,已经提供了一个数据集,作为弱显着性图,足以提高对抗鲁棒性,没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法,即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型,以及如何将SAT与现有的对抗训练方法相结合,进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
Improving Calibration through the Relationship with Adversarial Robustness
Google Research(谷歌研究院)
神经网络缺乏对抗鲁棒性,即,它们容易受到对抗性示例的影响,这些示例通过对输入的小扰动导致不正确的预测。此外,当模型给出错误的预测时,信任就会受到破坏,即,预测的概率并不能很好地指示我们应该在多大程度上信任我们的模型。在本文中,我们研究了对抗鲁棒性和校准之间的联系,并发现模型对小扰动敏感(容易受到攻击)的输入更有可能具有校准不良的预测。基于这一见解,我们研究是否可以通过解决这些不利的不稳健的输入来改善校准。为此,我们提出了基于对抗鲁棒性的自适应标签平滑(AR-AdaLS),它将对抗鲁棒性和校准的相关性集成到训练中,根据对手攻击的容易程度自适应地软化标签。我们发现,我们的方法,考虑到分布数据的对抗性鲁棒性,导致更好的校准模型,即使在分布变化。此外,AR-AdaLS还可以应用于集合模型,以进一步改善模型校准。
2021-12-14 cs.LG stat.ML
How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness
Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy
本文通过概率分析探讨对抗攻击与扰动鲁棒性之间的联系,提出浓度因子κ量化风险,并通过实验揭示对抗攻击在不同扰动模型下的有效性。
2026-01-25 cs.AI cs.LG
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Texas, Austin(得克萨斯大学奥斯汀分校);IBM research AI(IBM研究院人工智能部门)
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而,它往往遭受的清洁和扰动数据的泛化能力差。在本文中,我们提出了一种新的算法,命名为定制的对抗训练(CAT),自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明,该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Oxford-Man Institute(牛津-曼学院)
机器学习模型对对抗性攻击具有鲁棒性是理想的,并且通常是必要的。贝叶斯模型尤其如此,因为它们非常适合安全关键型应用,在这些应用中,对抗性攻击可能会产生灾难性的后果。在这项工作中,我们深入研究了贝叶斯神经网络(BNN)的对抗鲁棒性。特别是,我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加,特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析,零均值高斯先验和后验近似通过平均场变分推断,我们发现证据表明,对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University(清华大学求真学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学auer数学科学中心)
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性,推导了Sobolev空间中的对抗回归最小最大最优速率,并证明了通过梯度流早停训练的NTK网络可达到该最优速率,但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham(诺丁汉大学)
卷积神经网络(CNN)以其在视觉相关任务中的良好性能和泛化能力而闻名,并且已经成为应用和研究领域的最新技术。然而,就像其他神经网络模型一样,它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层(WM)作为CNN的通用架构,并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明,WM层可以集成到按比例放大的模型中,以增加其噪声和对抗攻击的鲁棒性,同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland(马里兰大学)
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而,在实践中,模型需要同时具有这两种类型的鲁棒性,以确保可靠性。在这项工作中,我们弥合了这一差距,并表明,事实上,对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下,通过理论和实证分析,我们表明:(i)$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;(ii)对于$\ell_\infty$对抗训练,虚假依赖只发生在虚假特征的规模大于核心特征的规模时;(iii)对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果,特别是当伪相关性在新的测试域中发生变化时。接下来,我们提出了广泛的经验证据,使用在五个基准数据集(ObjectNet,RIVAL 10,Salient ImageNet-1 M,ImageNet-9,Waterbirds)上评估的20个对抗训练模型的测试套件,对抗训练的分类器比标准训练的分类器更依赖于背景,验证了我们的理论结果。我们还表明,虚假的相关性在训练数据(当保存在测试域)可以提高对抗的鲁棒性,揭示了以前的说法,对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Defending Collaborative Filtering Recommenders via Adversarial Robustness Based Edge Reweighting
Yongyu Wang(王 Yongyu)
本文提出了一种基于对抗鲁棒性的边重加权方法,用于防御协同过滤推荐系统中的资料注入攻击。
2025-12-12 cs.LG stat.ML
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而,进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准,对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中,我们提出了一个模型不可知的元攻击(MAMA)的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器,该网络在一类数据样本和防御上进行训练,以在对抗示例生成期间产生有效的更新方向。此外,我们开发了一个模型无关的训练算法,以提高学习优化器的泛化能力时,攻击看不见的防御。我们的方法可以灵活地与各种攻击,并不断提高性能,几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性,与对不同防御的最新攻击相比,可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University(比勒费尔德大学)
近年来,机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度,但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具,并在最近的对抗鲁棒性出版物中使用。在这项工作中,我们使用最近提出的鲁棒性曲线表明,逐点测量未能捕获重要的全局属性,这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法,并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外,我们的特点规模作为一种方式来区分小的和大的扰动,并将其与数据集的固有属性,表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验,其中包括一个Python模块,用于计算任意数据集和分类器的鲁棒性曲线,支持许多框架,包括TensorFlow,PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Evaluating adversarial robustness in simulated cerebellum
HKUST(香港科技大学)
人工神经网络在对抗性样本的攻击下表现出很强的鲁棒性。然而,这些例子通常是人类无法察觉的,因此它们对生物神经回路的影响在很大程度上是未知的。本文将研究模拟小脑中的对抗鲁棒性,小脑是计算神经科学中研究得很好的监督学习系统。具体而言,我们建议研究小脑中揭示的三个独特特征:(i)网络宽度;(ii)平行纤维-浦肯野细胞突触的长期抑制;(iii)颗粒层中的稀疏连接,并假设它们将有利于提高鲁棒性。据我们所知,这是第一次尝试在模拟小脑模型中研究对抗鲁棒性。结果是负面的,在实验阶段-没有显着的改善,从所提出的三种机制中发现的鲁棒性。因此,小脑预计将容易受到对抗性示例的影响,如批量训练下的深度神经网络。鼓励神经科学家在实验中用对抗攻击来欺骗生物系统。
2021-06-27 cs.LG cs.NE
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.(拉斐尔先进防御系统有限公司)
在本文中,我们介绍了一种新的神经网络训练框架,通过将对比学习(CL)与对抗训练(AT)相结合,提高了模型对对抗攻击的对抗鲁棒性,同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性,将对抗性示例视为另一个正面示例,并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性,同时不断更新分类头,以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间,同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法,具有对抗特征的对比学习(CLAF),在该数据集上,它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University(清华大学);IBM Research(IBM研究院);University of California, Los Angeles(加州大学洛杉矶分校);SenseTime Research(商汤科技研究院);Northeastern University(东北大学)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击,这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而,对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架,该框架在保持对抗鲁棒性的同时实现了模型压缩,从根本上解决了对抗训练的困境。此外,这项工作研究了两个假设的权重修剪在传统的设置,并发现权重修剪是必要的,以减少网络模型的大小在对抗设置,从头开始训练一个小的模型,即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen(蒂宾根大学)
神经网络在图像分类方面取得了重大进展,但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中,我们提出了RATIO,这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程,它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性,因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性,但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性,并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
On the Adversarial Robustness of Quantized Neural Networks
Rochester Institute of Technology(罗切斯特理工学院)
减小神经网络模型的大小是将人工智能从以云为中心的计算模式转变为以边缘为中心的计算模式的关键一步。这种从云到边缘的转变是由许多因素推动的,包括减少延迟,提高安全性,以及跨多个应用领域(例如运输,医疗保健,国防等)的AI算法的更高灵活性。然而,目前尚不清楚模型压缩技术如何影响AI算法对对抗攻击的鲁棒性。本文探讨了量化的效果,最常见的压缩技术之一,对抗的鲁棒性的神经网络。具体来说,我们调查和建模的准确性量化神经网络的不利扰动图像。结果表明,对于简单的基于梯度的攻击,量化可以提高或降低对抗鲁棒性取决于攻击强度。
2021-05-01 cs.CR cs.LG
Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University(深圳大学);IBM(国际商业机器公司);University of Nottingham(诺丁汉大学)
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响,即,攻击者故意设计的机器学习模型的输入,以使模型出错。为了提高神经网络的对抗鲁棒性,对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而,对抗性训练可能过度适应特定类型的对抗攻击,并且还导致干净图像的标准准确度下降。为此,我们提出了一种新的类感知领域自适应(CADA)方法,用于对抗性防御,而不直接应用对抗性训练。具体来说,我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外,我们还将一个类感知组件引入到网络中,以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明,我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击,并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Adversarial Robustness for Unsupervised Domain Adaptation
Dept. of Computer Science, Kyung-Hee University(庆熙大学计算机科学系);Dept. of Computer Science, The University of Hong Kong(香港大学计算机科学系)
广泛的无监督领域自适应(UDA)研究已经在实践中取得了巨大的成功,通过使用深度模型学习标记源域和未标记目标域的可转移表示。然而,以前的工作集中在提高UDA模型对干净样本的泛化能力,而没有考虑对抗鲁棒性,这在现实世界的应用中是至关重要的。传统的对抗训练方法不适用于UDA的未标记目标域上的对抗鲁棒性,因为它们使用由监督损失函数生成的对抗示例来训练模型。在这项工作中,我们利用多个强大的ImageNet模型学习的中间表示来提高UDA模型的鲁棒性。我们的方法通过将UDA模型的特征与ImageNet预训练模型以及领域自适应训练所学习的鲁棒特征进行对齐来工作。它利用标记和未标记的域,并在领域自适应训练期间注入鲁棒性,而无需任何对抗性干预或标签要求。实验结果表明,与基线相比,我们的方法显着提高了对抗鲁棒性,同时在各种UDA基准上保持了干净的准确性。
2021-09-02 cs.CV cs.LG
Adversarial Robustness in Financial Machine Learning: Defenses, Economic Impact, and Governance Evidence
Independent Researcher(独立研究者)
本研究评估金融机器学习模型的对抗鲁棒性,通过实验揭示对抗攻击对模型性能的影响,并探讨对抗训练的恢复效果。
2025-12-14 cs.AI cs.CR cs.LG
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong(香港城市大学)
针对传统对抗准确率无法全面衡量模型鲁棒性的问题,提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性,并采用新训练算法均匀增强鲁棒性,为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research(IBM研究院);IBM Research Ireland(IBM爱尔兰研究院);IBM Research India(IBM印度研究院)
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中,我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析,说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明,出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂,因此没有有效的一刀切的参数设置存在。然后,我们证明,我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现,我们提出了一种实用的方法,该方法利用超参数优化技术来调整对抗训练,以最大限度地提高鲁棒性,同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad(海得拉巴印度理工学院);Microsoft Research India(微软研究院印度分院);Chennai Mathematical Institue, Chennai(钦奈数学研究所)
神经网络对小的、对抗性的逐像素扰动的(非)鲁棒性,并且如最近所示,甚至对随机空间变换(例如,翻译,旋转)都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型(例如,StdCNN,GCNN)和训练增强,而对抗鲁棒性通常通过对抗训练来实现。在本文中,我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点:(a)随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高,它们的对抗鲁棒性逐渐下降,(b)随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练,它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优,我们提出了一种基于课程学习的方法,该方法逐渐训练更困难的扰动(空间和对抗),以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science(信息科学研究所);Beijing Jiaotong University(北京交通大学)
最近的研究表明,深度神经网络容易受到对抗性样本的攻击,但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而,在实际计算中,这种神经网络不再保持任何上限,因此容易受到对抗性样本的影响。遵循类似的过程,我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外,我们证明了一个新的称为神经ODE的深度神经网络家族(Chen et al.,2018年)持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此,神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击(FGSM、PGD、DI 2-FGSM)和一种黑盒对抗攻击(边界攻击)下的性能。最后,我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法(如TRADES和YOPO)训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
在本文中,我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同,本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后,我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能,但它导致了自然扰动样本的性能下降,除了干净的样本。相比之下,自然扰动,如弹性变形,闭塞和波不仅提高了对自然扰动的性能,而且还导致对抗性扰动的性能的改善。此外,它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
本文提出ARBiBench基准,系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性,发现数据集相关性和黑盒优势,为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院)
尽管最近取得了进展,但最先进的问答模型仍然容易受到各种对抗攻击的攻击。虽然动态对抗性数据汇集,其中人类注释者试图编写欺骗模型在环的示例,可以提高模型的鲁棒性,但这个过程是昂贵的,这限制了收集数据的规模。在这项工作中,我们是第一个使用合成对抗数据生成来使问答模型对人类对手更加强大的人。我们开发了一个数据生成管道,选择源段落,识别候选答案,生成问题,然后最终过滤或重新标记它们以提高质量。使用这种方法,我们将一个较小的人类书写的对抗数据集放大到一个更大的合成问答对集合。通过整合我们的合成数据,我们将AdversarialQA数据集的最新技术水平提高了3.7F1,并提高了12个MRQA数据集中9个数据集的模型泛化能力。我们进一步进行了一个新的人在回路评估,以表明我们的模型对新的人类编写的对抗性示例具有更强的鲁棒性:crowdworker平均只能欺骗我们的模型8.8%的时间,而没有合成数据训练的模型则为17.6%。
2022-03-15 cs.CL cs.LG