Improving Calibration through the Relationship with Adversarial Robustness
Google Research(谷歌研究院)
神经网络缺乏对抗鲁棒性,即,它们容易受到对抗性示例的影响,这些示例通过对输入的小扰动导致不正确的预测。此外,当模型给出错误的预测时,信任就会受到破坏,即,预测的概率并不能很好地指示我们应该在多大程度上信任我们的模型。在本文中,我们研究了对抗鲁棒性和校准之间的联系,并发现模型对小扰动敏感(容易受到攻击)的输入更有可能具有校准不良的预测。基于这一见解,我们研究是否可以通过解决这些不利的不稳健的输入来改善校准。为此,我们提出了基于对抗鲁棒性的自适应标签平滑(AR-AdaLS),它将对抗鲁棒性和校准的相关性集成到训练中,根据对手攻击的容易程度自适应地软化标签。我们发现,我们的方法,考虑到分布数据的对抗性鲁棒性,导致更好的校准模型,即使在分布变化。此外,AR-AdaLS还可以应用于集合模型,以进一步改善模型校准。
2021-12-14 cs.LG stat.ML
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Texas, Austin(得克萨斯大学奥斯汀分校);IBM research AI(IBM研究院人工智能部门)
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而,它往往遭受的清洁和扰动数据的泛化能力差。在本文中,我们提出了一种新的算法,命名为定制的对抗训练(CAT),自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明,该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Oxford-Man Institute(牛津-曼学院)
机器学习模型对对抗性攻击具有鲁棒性是理想的,并且通常是必要的。贝叶斯模型尤其如此,因为它们非常适合安全关键型应用,在这些应用中,对抗性攻击可能会产生灾难性的后果。在这项工作中,我们深入研究了贝叶斯神经网络(BNN)的对抗鲁棒性。特别是,我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加,特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析,零均值高斯先验和后验近似通过平均场变分推断,我们发现证据表明,对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University(清华大学求真学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学auer数学科学中心)
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性,推导了Sobolev空间中的对抗回归最小最大最优速率,并证明了通过梯度流早停训练的NTK网络可达到该最优速率,但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham(诺丁汉大学)
卷积神经网络(CNN)以其在视觉相关任务中的良好性能和泛化能力而闻名,并且已经成为应用和研究领域的最新技术。然而,就像其他神经网络模型一样,它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层(WM)作为CNN的通用架构,并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明,WM层可以集成到按比例放大的模型中,以增加其噪声和对抗攻击的鲁棒性,同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Defending Collaborative Filtering Recommenders via Adversarial Robustness Based Edge Reweighting
Yongyu Wang(王 Yongyu)
本文提出了一种基于对抗鲁棒性的边重加权方法,用于防御协同过滤推荐系统中的资料注入攻击。
2025-12-12 cs.LG stat.ML
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University(比勒费尔德大学)
近年来,机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度,但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具,并在最近的对抗鲁棒性出版物中使用。在这项工作中,我们使用最近提出的鲁棒性曲线表明,逐点测量未能捕获重要的全局属性,这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法,并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外,我们的特点规模作为一种方式来区分小的和大的扰动,并将其与数据集的固有属性,表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验,其中包括一个Python模块,用于计算任意数据集和分类器的鲁棒性曲线,支持许多框架,包括TensorFlow,PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research(IBM研究院);IBM Research Ireland(IBM爱尔兰研究院);IBM Research India(IBM印度研究院)
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中,我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析,说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明,出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂,因此没有有效的一刀切的参数设置存在。然后,我们证明,我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现,我们提出了一种实用的方法,该方法利用超参数优化技术来调整对抗训练,以最大限度地提高鲁棒性,同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University(亚琛工业大学)
最近,有大量关于设计深度神经网络(DNN)的工作,这些网络对对抗性示例具有鲁棒性。特别是,一个中心问题是DNN的哪些特征会影响对抗鲁棒性,因此可以用于设计鲁棒的DNN。在这项工作中,这个问题是研究通过镜头的压缩,这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上,当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时,神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时,它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争,但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们考虑在马尔可夫链蒙特卡罗(MCMC)和贝叶斯暗知识(BDK)推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性:快速梯度符号法(FGSM)和投影梯度下降(PGD)。我们证明了完全基于MCMC的推理具有出色的鲁棒性,显著优于基于标准点估计的学习。另一方面,BDK提供了边际改进。作为一个额外的贡献,我们提出了一个存储高效的方法来计算对抗的例子,大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Boosting Barely Robust Learners: A New Perspective on Adversarial Robustness
Toyota Technological Institute at Chicago(芝加哥丰田工学院);University of Waterloo(滑铁卢大学)
我们提出了一个预言机有效的算法,以提高几乎没有强大的学习者的对抗鲁棒性。几乎没有鲁棒性的学习算法只在数据分布的一小部分$β\ll 1$上学习对抗鲁棒的预测器。我们提出的概念,几乎没有强大的学习需要鲁棒性相对于一个“更大的”扰动集,我们表明这是必要的强鲁棒学习,弱松弛是不够的强鲁棒学习。我们的研究结果揭示了两个看似无关的问题之间的定性和定量等价性:强鲁棒学习和勉强鲁棒学习。
2022-02-11 cs.LG stat.ML
Stochastic Local Winner-Takes-All Networks Enable Profound Adversarial Robustness
Cyprus University of Technology(塞浦路斯理工大学);National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);Aalborg University(奥尔堡大学)
这项工作探讨了基于随机竞争的激活,即随机本地赢家通吃(LWTA),对抗强大的(基于梯度的)白盒和黑盒对抗攻击的潜力;我们特别关注对抗训练设置。在我们的工作中,我们取代了传统的基于ReLU的非线性块包括本地和随机竞争的线性单元。每个网络层的输出现在产生稀疏输出,这取决于每个块中赢家采样的结果。我们依靠变分贝叶斯框架进行训练和推理;我们结合了传统的基于PGD的对抗训练参数,以提高整体对抗鲁棒性。正如我们的实验表明,新兴的网络产生最先进的鲁棒性,对强大的对抗攻击,同时保持非常高的分类率在良性的情况下。
2021-12-05 cs.LG stat.ML
Breaking certified defenses: Semantic adversarial examples with spoofed robustness certificates
University of Maryland(马里兰大学)
为了转移对抗攻击,已经提出了一系列“认证”分类器。除了标记图像之外,认证分类器还(在可能的情况下)生成证书,保证输入图像不是$\ell_p$有界对抗示例。我们提出了一种新的攻击,不仅利用分类器的标签功能,但也证书生成器。该方法应用大的扰动,将图像放置在远离类边界的地方,同时保持对抗性示例的不可感知性。提出的“影子攻击”导致可证明鲁棒性的网络错误标记图像,同时产生一个“欺骗”的鲁棒性证书。
2020-03-19 cs.LG stat.ML
Improving adversarial robustness of deep neural networks by using semantic information
Sichuan University(四川大学)
深度神经网络(DNN)对对抗攻击的脆弱性,对抗攻击是一种可以通过故意扰动原始输入来误导最先进的分类器以高置信度进行不正确分类的攻击,引起了对DNN对此类攻击的鲁棒性的担忧。对抗性训练是提高对抗性鲁棒性的主要探试法,也是对抗对抗攻击的第一道防线,它需要大量的逐样本计算来增加训练规模,而且对于整个网络来说通常不够强大。本文提供了一个新的视角对抗鲁棒性的问题,一个转移的重点从网络作为一个整体的关键部分区域接近对应于一个给定的类的决策边界。从这个角度来看,我们提出了一种方法来生成一个单一的,但图像不可知的对抗性扰动,携带的语义信息,暗示方向的脆弱部分的决策边界,并导致输入被误分类为指定的目标。我们将基于这种扰动的对抗训练称为“区域对抗训练”(RAT),它类似于经典的对抗训练,但区别在于它加强了相关区域中缺失的语义信息。在MNIST和CIFAR-10数据集上的实验结果表明,即使使用来自训练数据的非常小的数据集,该方法也大大提高了对抗鲁棒性;此外,它可以防御与重新训练期间看到的模型具有完全不同模式的FGSM对抗攻击。
2021-06-17 cs.LG stat.ML
Free Lunch for Privacy Preserving Distributed Graph Learning
Indian Institute of Technology, Delhi(德里印度理工学院)
针对图学习中的隐私泄露问题,提出首个隐私保护分布式图学习框架,无需实际特征即可在服务器端学习特征与距离并保留原始结构属性,实验证明其有效性与基准结果相当。
2023-05-19 cs.CR cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University(乔治梅森大学);Clarkson University(克拉克森大学);Northeastern University(东北大学)
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而,我们证明了参数空间中的损失面与泛化没有明显的关系,特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化,我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后,我们提出了一个对抗鲁棒性指标,它可以评估神经网络的内在鲁棒性,而无需测试其准确性下的对抗攻击。在此基础上,我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下,我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明,以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外,我们还表明,通过强制深度神经网络(DNN)在变换后的输入和特征空间中保持线性,可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数,进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法,并在MNIST,CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中,我们还提出了一种新的对抗图像生成方法,该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen(蒂宾根大学)
神经网络在图像分类方面取得了重大进展,但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中,我们提出了RATIO,这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程,它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性,因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性,但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性,并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University(德克萨斯农工大学)
已经表明,深度神经网络(DNN)可能容易受到对抗攻击的攻击,这引起了人们对它们的鲁棒性的关注,特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性,我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说,我们提出了一种新的全局对抗性示例对的概念,其中每对两个示例彼此接近,但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法,并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外,我们证明了使用基于强投影梯度下降(PGD)的(局部)对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响,这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adversarial Training and Robustness for Multiple Perturbations
Stanford University(斯坦福大学)
对抗性示例的防御,例如对抗性训练,通常针对单个扰动类型(例如,小$\ell_\infty$噪声)。对于其他扰动,这些防御措施不能提供任何保证,有时甚至会增加模型的脆弱性。我们的目的是了解这种鲁棒性权衡的原因,并训练模型,同时强大的多种扰动类型。我们证明了权衡不同类型的$\ell_p$有界和空间扰动的鲁棒性必须存在于一个自然和简单的统计设置。我们证实了我们的正式分析,证明类似的鲁棒性权衡MNIST和CIFAR10。建立在新的多扰动对抗训练方案,和一种新的有效的攻击,寻找$\ell_1$有界的对抗的例子,我们表明,没有模型训练对多个攻击实现鲁棒性的竞争力与每个攻击单独训练的模型。特别是,我们发现了MNIST上的一个有害的梯度掩蔽现象,它导致一阶$\ell_\infty, \ell_1$和$\ell_2$对手的对抗训练仅达到$50\%$的准确性。我们的研究结果质疑扩展对抗鲁棒性和对抗训练到多种扰动类型的可行性和计算可扩展性。
2019-10-18 cs.CR cs.LG stat.ML
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos(阿托斯公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管人工神经网络具有很好的性能,但对于大多数工业应用来说,它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制,以防止各种干扰,包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略,称为M-TLAT,旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法,称为目标标记对抗训练(TLAT)。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明,M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性,而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training
Google(谷歌);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在本文中,我们研究了利用对抗训练诱导的置信度信息来增强给定对抗训练模型的对抗鲁棒性。置信度的自然度量是$\|F({\bf x})\|_\infty$(即,$F$对其预测的置信度如何?)。我们首先分析Madry等人提出的对抗训练公式。我们证明了,在各种实例下,他们的目标的一个唯一有点好的解决方案会导致信心是一个随机变量,它可以区分正确和错误的模型预测在一个点的邻域从底层分布采样。在此基础上,我们提出了高度置信近邻(${\tt HCNN}$),一个框架,结合置信信息和最近邻搜索,以加强对抗鲁棒性的基础模型。我们在这个框架中给出了算法,并进行了详细的实证研究。我们报告了支持我们分析的令人鼓舞的实验结果,并讨论了我们在现有对抗训练中观察到的问题。
2018-06-08 cs.CR cs.LG stat.ML
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University(普渡大学)
我们介绍了一种基于噪声的先验学习(NoL)方法,用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现,隐式生成建模的随机噪声与相同的损失函数在后验最大化,提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性,并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明,一般来说,对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明,用我们的方法学习的模型在各种攻击中表现得非常好。此外,将NoL与最先进的对抗训练相结合,可以扩展模型的鲁棒性,甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Biologically Inspired Mechanisms for Adversarial Robustness
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
卷积神经网络在合理的计算和性能成本下对对抗性扰动具有很强的鲁棒性还没有得到证明。灵长类动物的视觉腹侧流似乎是强大的视觉刺激的小扰动,但引起这种强大的感知的潜在机制还不清楚。在这项工作中,我们研究了两种生物学上合理的机制在对抗鲁棒性中的作用。我们证明了由灵长类动物视网膜进行的非均匀采样和在每个偏心率处具有一系列感受野大小的多个感受野的存在提高了神经网络对小的对抗性扰动的鲁棒性。我们验证了这两种机制不会受到梯度混淆的影响,并通过消融研究研究了它们对对抗鲁棒性的贡献。
2020-06-29 cs.CV cs.LG stat.ML
On Norm-Agnostic Robustness of Adversarial Training
Duke University(杜克大学);University at Buffalo, the State University of New York(纽约州立大学布法罗分校)
对抗性示例是精心扰动的输入,用于愚弄机器学习模型。对抗性训练是一种公认的防御方法,将对抗性示例注入训练数据以提高鲁棒性。在本文中,我们提出了一种新的攻击来揭示最先进的对抗训练的一个不希望的属性,即它不能同时获得对$\ell_2$和$\ell_\infty$范数扰动的鲁棒性。我们讨论了这个问题的可能解决方案及其局限性。
2019-05-15 cs.CR cs.LG stat.ML
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University(东北大学);IBM Research(IBM研究院)
模式连通性为分析损失景观提供了新的几何见解,并能够在训练有素的神经网络之间构建高精度路径。在这项工作中,我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性,并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时,我们的研究结果表明,使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响,同时保持干净数据的原始准确性。因此,模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明,在连接常规和对抗训练模型的路径上,对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性,并给出了理论证明。我们的研究结果表明,模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
Playing it Safe: Adversarial Robustness with an Abstain Option
University of Maryland(马里兰大学)
我们探讨对抗鲁棒性的设置中,它是可以接受的分类弃权-也就是说,输出没有类-对对抗的例子。对抗性示例是对分类器的正常输入的小扰动,导致分类器给出不正确的输出;它们对机器学习系统提出了安全性和安全性挑战。在许多安全关键型应用中,分类器放弃对抗性示例比为它们提供不正确的输出成本更低。首先,我们引入了一个新的目标函数的对抗性鲁棒性与弃权选项,其特征在于一个明确的鲁棒性和准确性之间的权衡。然后,我们提出了一个简单的基线,其中一个adversarially-trained分类器弃权的决策边界,我们理论和实验评估的一定距离内的所有输入。最后,我们提出了联合弃权鲁棒性学习(CARL),一种联合学习分类器和它应该弃权的输入空间区域的方法。我们探讨了在弃权设置中对CARL的PGD和DeepFool对抗攻击的不同变化。通过对这些攻击的评估,我们证明了使用CARL进行训练会产生比基线更准确,更强大和更有效的分类器。
2019-11-25 cs.AI cs.LG stat.ML
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab(Criteo人工智能实验室);Amazon(亚马逊);Meta AI Research(Meta人工智能研究院)
在本文中,我们研究了神经网络(NN)拓扑结构对对抗鲁棒性的影响。具体来说,我们研究了当输入遍历NN的所有层时产生的图,并表明这些图对于干净的和对抗性的输入是不同的。我们发现,来自干净输入的图形更集中在高速公路边缘,而来自对手的图形则更分散,利用了优化不足的边缘。通过在各种数据集和架构上的实验,我们证明了这些优化不足的边缘是对抗性脆弱性的来源,它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Adversarial Robustness via Label-Smoothing
Criteo AI Lab(科韬人工智能实验室)
我们研究标签平滑作为提高监督深度学习模型对抗鲁棒性的一种手段。在建立了一个彻底而统一的框架后,我们提出了这种通用方法的几种变体:对抗性方法、玻尔兹曼方法和次佳标签平滑方法,并解释了如何构建您自己的方法。在各种数据集(MNIST,CIFAR 10,SVHN)和模型(线性模型,MLP,LeNet,ResNet)上,我们通过更好地考虑数据集的几何形状,证明了标签平滑通常可以提高对抗各种攻击(FGSM,BIM,DeepFool,Carlini-Wagner)的鲁棒性。所提出的标签平滑方法有两个主要优点:它们可以作为修改的交叉熵损失来实现,因此不需要对网络架构进行任何修改,也不会导致训练时间增加,并且它们可以提高标准和对抗精度。
2019-10-15 cs.AI cs.LG stat.ML
Constraining Logits by Bounded Function for Adversarial Robustness
NTT Software Innovation Center(NTT软件创新中心);NTT Secure Platform Laboratories(NTT安全平台实验室);Kyoto University(京都大学)
我们提出了一种通过在softmax之前添加一个新的有界函数来提高对抗鲁棒性的方法。最近的研究假设通过logit正则化的小logits(softmax的输入)可以提高深度学习的对抗鲁棒性。根据这一假设,我们分析了范数的logit向量在最佳点的假设下的普遍逼近,并探索新的方法来约束logits的softmax之前添加一个有界函数。我们从理论上和经验上揭示,通过添加一个共同的激活函数,例如,双曲正切不能提高对抗鲁棒性,因为函数的输入向量(pre-logit向量)可以具有大的范数。从理论上,我们开发了新的有界函数。我们的函数的增加提高了对抗鲁棒性,因为它使logit和pre-logit向量具有较小的范数。由于我们的方法只在softmax之前添加了一个激活函数,因此很容易将我们的方法与对抗训练结合起来。我们的实验表明,我们的方法在没有对抗训练的对抗扰动数据集上的准确性方面与logit正则化方法相当。此外,在使用对抗训练时,它优于或可与logit正则化方法和最近的防御方法(TRADES)相媲美。
2020-10-06 cs.AI cs.LG stat.ML
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);University of Southern Queensland(南昆士兰大学)
深度学习无疑为最先进的语音情感识别(SER)系统的性能提供了巨大的改进。然而,最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战,因为它们只依赖于小而不可感知的扰动,因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中,我们评估了如何对抗的例子可以用来攻击SER系统,并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施,包括对抗训练和生成对抗网络(GAN),以增强鲁棒性。实验评估表明,有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性,为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Pareto Adversarial Robustness: Balancing Spatial Robustness and Sensitivity-based Robustness
Peking University(北京大学);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
该研究针对通用对抗鲁棒性问题,整合空间鲁棒性方法并引入帕累托准则提出帕累托对抗训练策略,实现自然准确率与多类鲁棒性的最优平衡,是首个用多目标优化研究通用对抗鲁棒性的工作。
2024-06-23 cs.LG
Non-Determinism in Neural Networks for Adversarial Robustness
Carnegie Mellon University(卡内基梅隆大学)
深度学习领域的最新突破推动了计算机视觉、音频处理、自然语言处理和其他领域的广泛任务。在大多数情况下,这些任务部署在现实世界的场景中,其中使用的模型已被证明容易受到对抗攻击的影响,这使得我们必须解决其对抗鲁棒性的挑战。对抗鲁棒性的现有技术分为三大类:防御性蒸馏技术、对抗性训练技术和基于随机或非确定性模型的技术。在本文中,我们提出了一种新的神经网络范例,属于对抗鲁棒性的随机模型的类别,但不同于所有现有的技术,在这一类别下,它模型的每个参数的网络作为一个统计分布与可学习的参数。我们的实验表明,该框架是高度鲁棒的各种白盒和黑盒对抗攻击,同时保留了传统的神经网络模型的特定于任务的性能。
2019-05-26 cs.CR cs.LG stat.ML
Achieving Adversarial Robustness Requires An Active Teacher
Stanford University(斯坦福大学)
通过解耦数据生成器和标签生成器(我们称之为教师),提出了对对抗性示例和对抗性鲁棒性的新理解。在我们的框架中,对抗鲁棒性是一个有条件的概念-学生模型不是绝对鲁棒的,但是相对于老师是鲁棒的。基于这种新的理解,我们认为对抗性例子的存在是因为学生不能从训练数据中获得教师的足够信息。实现鲁棒性的各种方法进行了比较。理论和数值证据表明,为了有效地实现鲁棒性,教师积极地向学生提供其信息可能是必要的。
2020-12-14 cs.LG
Towards Adversarial Robustness of Deep Vision Algorithms
National University of Singapore(新加坡国立大学)
深度学习方法在解决计算机视觉任务方面取得了巨大的成功,并且它们已被广泛用于人工智能系统的图像处理,分析和理解。然而,深度神经网络已被证明易受输入数据中的对抗性扰动的影响。深度神经网络的安全问题也因此浮出水面。因此,对深度视觉算法的对抗鲁棒性进行全面研究势在必行。本次演讲的重点是图像分类模型和图像去噪器的对抗鲁棒性。我们将从三个角度讨论深度视觉算法的鲁棒性:1)稳健性评价(我们提出了ObsAtk来评估去噪器的鲁棒性),2)鲁棒性改进(HAT、TisODE和CIFS是为了增强视觉模型而开发的),3)对抗鲁棒性与新领域推广能力之间的关系(我们发现,对抗性鲁棒去噪器可以处理看不见的真实世界噪声)。
2022-11-22 cs.LG
DARD: Dice Adversarial Robustness Distillation against Adversarial Attacks
Augusta University(奥古斯塔大学);Electrical Engineering Dept., Columbia University(哥伦比亚大学电子工程系)
本文提出DARD方法,通过定制的知识蒸馏范式将大型教师模型的鲁棒性转移到紧凑的学生模型中,并配合DPGD对抗样本泛化方法,在相同架构下实现了优于对抗训练网络的鲁棒性与标准准确率。
2025-09-15 cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Deep Repulsive Prototypes for Adversarial Robustness
Radboud University(拉德堡德大学);Leiden University(莱顿大学)
虽然已经提出了许多对抗性示例的防御措施,但找到鲁棒的机器学习模型仍然是一个悬而未决的问题。迄今为止,最引人注目的防御是对抗训练,包括用对抗示例补充训练数据集。然而,对抗性训练严重影响训练时间,并且依赖于找到有代表性的对抗性样本。在本文中,我们提出了训练模型的输出空间与大类分离,以获得鲁棒性,而无需对抗训练。我们引入了一种将输出空间划分为具有大分离度的类原型的方法,并通过训练模型来保持它。实验结果表明,用这些原型训练的模型-我们称之为深度排斥原型-获得了与对抗训练相竞争的鲁棒性,同时也保持了对自然样本的更高准确性。此外,该模型对大的扰动尺寸更有弹性。例如,我们在CIFAR-10上获得了超过50%的鲁棒性,在自然样本上的准确率为92%,在CIFAR-100上获得了超过20%的鲁棒性,在没有对抗训练的自然样本上的准确率为71%。对于这两个数据集,该模型保持了对大扰动的鲁棒性优于对抗训练的模型。
2021-05-26 cs.LG
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad(海得拉巴印度理工学院);Microsoft Research India(微软研究院印度分院);Chennai Mathematical Institue, Chennai(钦奈数学研究所)
神经网络对小的、对抗性的逐像素扰动的(非)鲁棒性,并且如最近所示,甚至对随机空间变换(例如,翻译,旋转)都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型(例如,StdCNN,GCNN)和训练增强,而对抗鲁棒性通常通过对抗训练来实现。在本文中,我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点:(a)随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高,它们的对抗鲁棒性逐渐下降,(b)随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练,它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优,我们提出了一种基于课程学习的方法,该方法逐渐训练更困难的扰动(空间和对抗),以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出,稳健和准确的模型都是不可能的,即,对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系,我们假设一个底层的,低维的数据流形,并表明:1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形,即,流形上对抗的例子,存在; 3.流形上对抗性示例是泛化误差,并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而,不同的模型(架构,培训策略等)可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张,我们提出了广泛的实验合成数据(与已知的流形),以及EMNIST,时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
A Closer Look at the Adversarial Robustness of Information Bottleneck Models
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google Research(谷歌研究院);DeepMind(深度思维)
研究了信息瓶颈分类模型的对抗鲁棒性。以前的工作表明,用信息瓶颈训练的模型的鲁棒性可以提高对抗性训练。我们在各种白盒$l_{\infty}$攻击下的评估表明,信息瓶颈本身并不是一个强大的防御策略,以前的结果可能受到梯度混淆的影响。
2021-07-12 cs.LG
Transfer of Adversarial Robustness Between Perturbation Types
OpenAI;Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);UC Berkeley(加州大学伯克利分校)
研究了深度神经网络对抗鲁棒性在不同扰动类型之间的转移。虽然大多数对抗性示例的工作都集中在$L_\infty$和$L_2$有界扰动上,但这些并不能捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32种攻击,这些攻击针对的是在ImageNet的100类子集上进行对抗训练的模型。我们的实证结果表明,评估范围广泛的扰动大小是必要的,以了解是否对抗鲁棒性扰动类型之间的转移。我们进一步证明,对一个扰动类型的鲁棒性可能并不总是意味着,有时可能会伤害对其他扰动类型的鲁棒性。根据这些结果,我们建议在各种扰动类型和大小上进行对抗性防御的评估。
2019-05-03 cs.AI cs.CR cs.LG
Scaleable input gradient regularization for adversarial robustness
McGill University(麦吉尔大学)
在这项工作中,我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先,我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次,我们实现了一个可扩展版本的输入梯度正则化,避免了双重反向传播:对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后,我们通过实验和理论证明,输入梯度正则化与对抗训练具有竞争力。此外,我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
On Adversarial Robustness: A Neural Architecture Search perspective
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校);Microsoft(微软);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
深度学习模型的对抗鲁棒性在过去几年中获得了很大的关注。提出了各种攻击和防御来提高现代深度学习架构的对抗鲁棒性。虽然所有这些方法都有助于提高鲁棒性,但提高对抗鲁棒性的一个有希望的方向尚未探索,即,神经网络架构的复杂拓扑结构。在这项工作中,我们解决了以下问题:神经网络的复杂拓扑结构是否可以在没有任何形式的对抗训练的情况下提供对抗鲁棒性?我们通过实验不同的手工制作和基于NAS的架构来经验地回答这个问题。我们的研究结果表明,对于小规模攻击,基于NAS的架构对于小规模数据集和简单任务比手工构建的架构更强大。然而,随着数据集大小或任务复杂性的增加,手工构建的架构比基于NAS的架构更健壮。我们的工作是第一个纯粹从架构角度理解对抗鲁棒性的大规模研究。研究结果表明,在DARTS(一种流行的NAS方法)的搜索空间中随机抽样并进行简单的集成,可以使对PGD攻击的鲁棒性提高近12%.我们表明,NAS,这是流行的实现SoTA的准确性,可以提供对抗准确性作为一个免费的附加组件,没有任何形式的对抗训练。我们的研究结果表明,利用NAS方法的搜索空间和集成等方法可以在没有任何形式的对抗训练的情况下实现对抗鲁棒性。我们还引入了一个度量,可用于计算干净的准确性和对抗鲁棒性之间的权衡。代码和预训练模型将在\url{https://github.com/tdchaitanya/nas-robustness}上提供
2021-08-26 cs.CR cs.CV cs.LG
On Model Robustness Against Adversarial Examples
我们研究了模型对对抗性示例的鲁棒性,这些示例被称为小扰动输入数据,但这些数据可能会欺骗许多最先进的深度学习模型。与以往的研究不同,我们建立了一个新的理论解决的鲁棒性问题的损失函数的稳定性的角度在小邻域的自然样本。我们建议利用一个能量函数来描述稳定性,并证明减少这种能量可以保证对对抗性示例的鲁棒性。我们还表明,传统的训练方法,包括对抗训练与$l_2$规范约束(AT)和虚拟对抗训练(VAT)往往最小化我们提出的能量函数的下限。我们做了一个分析表明,这种下限的最小化,但可能会导致输入样本周围的邻域内的鲁棒性不足。此外,我们设计了一个更合理的方法与能量正则化,证明了实现更好的鲁棒性比以前的方法。通过一系列的实验,我们证明了我们的模型在监督任务和半监督任务上的优越性。特别是,我们提出的对抗框架与以前的对抗训练方法相比,在基准数据集MNIST、CIFAR-10和SVHN上实现了最佳性能。重要的是,它们在对抗性示例中表现出比所有其他比较方法更好的鲁棒性。
2020-06-10 cs.CR cs.CV cs.LG
Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness
Northeastern University(东北大学)
我们研究了HSIC(Hilbert-Schmidt独立准则)瓶颈作为学习对抗鲁棒深度神经网络分类器的正则化器。除了通常的交叉熵损失外,我们还为每个中间层添加正则化项,以确保潜在表示保留输出预测的有用信息,同时减少冗余信息。我们证明了HSIC瓶颈增强了对对抗攻击的鲁棒性。特别是,我们证明了HSIC瓶颈正则化器降低了分类器对对抗性示例的敏感性。我们在多个基准数据集和架构上的实验表明,结合HSIC瓶颈正则化器可以获得具有竞争力的自然准确性,并提高对抗性鲁棒性,无论在训练过程中是否有对抗性示例。我们的代码和对抗性强大的模型是公开的。
2021-10-26 cs.LG
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology(麻省理工学院)
我们评估了对抗性Logit配对的鲁棒性,这是最近提出的对抗性示例的防御方法。我们发现,使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明,以及我们攻击的方法和结果的讨论,这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI(北极光人工智能)
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中,我们证明了一个有趣的现象,在文献中最流行的鲁棒训练方法,对抗训练:对抗鲁棒性,不像干净的准确性,是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换,也会导致对抗性训练模型的鲁棒性显著不同,该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究,该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体,并表明标准训练的模型在它们上实现了相当的干净精度,但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明,输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性,而不一定是任务本身。最后,我们讨论了评估对抗鲁棒性的实际意义,并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心);U.S. Naval Research Laboratory(美国海军研究实验室)
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类:梯度掩蔽,鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分:(1)增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性,(2)边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题,我们提供了一个新的视角,可以深入了解能够训练更强大的网络的潜在因素,并有助于激发新的解决方案。此外,在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的,或者鲁棒性和准确性之间的权衡,但是,根据这个建议的分类法,我们假设这不是普遍的。我们在分类法的基础上,对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Improving Adversarial Robustness via Guided Complement Entropy
National Tsing-Hua University(国立清华大学);Electronic and Optoelectronic System Research Laboratories, ITRI(工业技术研究院电子与光电系统研究实验室);Google Research(谷歌研究院)
对抗鲁棒性已经成为深度学习中的一个重要主题,因为精心制作的攻击样本可以显著干扰模型的性能。许多最近的方法已经提出通过利用对抗训练或模型蒸馏来提高对抗鲁棒性,这为模型训练增加了额外的程序。在本文中,我们提出了一种新的训练范式,称为引导互补熵(GCE),能够实现“免费对抗防御”,在提高对抗鲁棒性的过程中不涉及额外的程序。除了最大化地面实况类(如交叉熵)上的模型概率外,我们还中和了不正确类上的概率,以及一个“引导”项来平衡这两个项。我们在实验中表明,我们的方法实现了更好的模型鲁棒性,甚至更好的性能相比,常用的交叉熵训练目标。我们还表明,我们的方法可以用于正交对抗训练跨众所周知的方法具有显着的鲁棒性增益。据我们所知,我们的方法是第一个提高模型鲁棒性而不影响性能的方法。
2019-08-07 cs.CV cs.LG cs.PF
Strengthening the Internal Adversarial Robustness in Lifted Neural Networks
Chalmers University of Technology(查尔姆斯理工大学)
本文研究提升神经网络的内部对抗鲁棒性,通过仅修改训练损失增强鲁棒性,并提出结合有目标与无目标对抗扰动的新型训练损失。
2025-03-10 cs.LG
Adversarial Robustness for Code
ETH Zürich(苏黎世联邦理工学院)
机器学习和深度学习最近已经被用于成功地解决代码领域中的许多任务,例如查找和修复错误、代码完成、反编译、类型推断和许多其他任务。然而,代码模型的对抗鲁棒性问题在很大程度上被忽视了。在这项工作中,我们通过以下方式探索这个问题:(i)为代码(具有离散和高度结构化输入的域)实例化对抗攻击,(ii)表明,与其他域类似,代码的神经模型容易受到对抗攻击,以及(iii)结合现有和新颖的技术来提高鲁棒性,同时保持高准确性。
2020-08-15 cs.LG cs.PL cs.SE
Variational Randomized Smoothing for Sample-Wise Adversarial Robustness
Mitsubishi Electric Corporation(三菱电机株式会社);Mitsubishi Electric Research Laboratories(三菱电机研究所)
本文提出变分随机平滑框架,通过为每个样本选择合适噪声水平,增强模型对对抗攻击的鲁棒性,并验证了经验与认证鲁棒性。
2024-07-16 cs.AI cs.CR cs.LG