Robustification of deep net classifiers by key based diversified aggregation with pre-filtering
University of Geneva（日内瓦大学）
在本文中，我们解决了机器学习系统对对抗攻击的脆弱性问题。我们提出并研究了基于密钥的多样化聚合（KDA）机制作为防御策略。KDA假设攻击者（i）知道分类器的结构和使用的防御策略，（ii）可以访问训练数据集，但（iii）不知道秘密密钥。该系统的鲁棒性是通过一个专门设计的基于随机化的密钥来实现的。所提出的随机化防止梯度的反向传播或创建“旁路”系统。随机化在多个通道中同时执行，并且多通道聚合通过聚合来自多通道系统中的每个分类器的软输出来稳定随机化的结果。所进行的实验评估表明，高鲁棒性和通用性的KDA对最有效的梯度为基础的攻击，如N。Carlini和D. Wagner和基于非梯度的稀疏对抗扰动，如OnePixel攻击。
2019-05-14 cs.CR cs.LG stat.ML
Adversarial Attacks Neutralization via Data Set Randomization
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
提出一种基于超空间伪随机投影数据集并随机选择分类器的防御机制，在不牺牲合法输入准确率的前提下，将优化攻击成功率降低至少89%、生成攻击降低78%，显著提升模型鲁棒性。
2023-06-21 cs.AI cs.CR cs.LG
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adversarial Training and Robustness for Multiple Perturbations
Stanford University（斯坦福大学）
对抗性示例的防御，例如对抗性训练，通常针对单个扰动类型（例如，小$\ell_\infty$噪声）。对于其他扰动，这些防御措施不能提供任何保证，有时甚至会增加模型的脆弱性。我们的目的是了解这种鲁棒性权衡的原因，并训练模型，同时强大的多种扰动类型。我们证明了权衡不同类型的$\ell_p$有界和空间扰动的鲁棒性必须存在于一个自然和简单的统计设置。我们证实了我们的正式分析，证明类似的鲁棒性权衡MNIST和CIFAR10。建立在新的多扰动对抗训练方案，和一种新的有效的攻击，寻找$\ell_1$有界的对抗的例子，我们表明，没有模型训练对多个攻击实现鲁棒性的竞争力与每个攻击单独训练的模型。特别是，我们发现了MNIST上的一个有害的梯度掩蔽现象，它导致一阶$\ell_\infty, \ell_1$和$\ell_2$对手的对抗训练仅达到$50\%$的准确性。我们的研究结果质疑扩展对抗鲁棒性和对抗训练到多种扰动类型的可行性和计算可扩展性。
2019-10-18 cs.CR cs.LG stat.ML
Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training
Google（谷歌）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们研究了利用对抗训练诱导的置信度信息来增强给定对抗训练模型的对抗鲁棒性。置信度的自然度量是$\|F({\bf x})\|_\infty$（即，$F$对其预测的置信度如何？）。我们首先分析Madry等人提出的对抗训练公式。我们证明了，在各种实例下，他们的目标的一个唯一有点好的解决方案会导致信心是一个随机变量，它可以区分正确和错误的模型预测在一个点的邻域从底层分布采样。在此基础上，我们提出了高度置信近邻（${\tt HCNN}$），一个框架，结合置信信息和最近邻搜索，以加强对抗鲁棒性的基础模型。我们在这个框架中给出了算法，并进行了详细的实证研究。我们报告了支持我们分析的令人鼓舞的实验结果，并讨论了我们在现有对抗训练中观察到的问题。
2018-06-08 cs.CR cs.LG stat.ML
On Norm-Agnostic Robustness of Adversarial Training
Duke University（杜克大学）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）
对抗性示例是精心扰动的输入，用于愚弄机器学习模型。对抗性训练是一种公认的防御方法，将对抗性示例注入训练数据以提高鲁棒性。在本文中，我们提出了一种新的攻击来揭示最先进的对抗训练的一个不希望的属性，即它不能同时获得对$\ell_2$和$\ell_\infty$范数扰动的鲁棒性。我们讨论了这个问题的可能解决方案及其局限性。
2019-05-15 cs.CR cs.LG stat.ML
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab（Criteo人工智能实验室）；Amazon（亚马逊）；Meta AI Research（Meta人工智能研究院）
在本文中，我们研究了神经网络（NN）拓扑结构对对抗鲁棒性的影响。具体来说，我们研究了当输入遍历NN的所有层时产生的图，并表明这些图对于干净的和对抗性的输入是不同的。我们发现，来自干净输入的图形更集中在高速公路边缘，而来自对手的图形则更分散，利用了优化不足的边缘。通过在各种数据集和架构上的实验，我们证明了这些优化不足的边缘是对抗性脆弱性的来源，它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Towards Strong Certified Defense with Universal Asymmetric Randomization
University of Connecticut（康涅狄格大学）；Cisco Research（思科研究）；Illinois Institute of Technology（伊利诺伊理工学院）
提出UCAN通用非对称随机化技术，将各向同性噪声转为各向异性，增强任意随机平滑方法，在多个数据集上认证准确率大幅提升。
2025-10-22 cs.CR cs.LG
Breaking Transferability of Adversarial Samples with Randomness
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Purdue University（普渡大学）
我们研究了对抗攻击的可转移性在深度神经网络（DNN）所观察到的漏洞中的作用。我们证明，引入随机性的DNN模型足以击败对抗攻击，因为对手没有无限的攻击预算。不是让一个特定的DNN模型对完美的知识攻击（也就是白盒攻击）具有鲁棒性，而是在DNN大军中创建随机性，完全消除了完美的知识获取的可能性，从而导致DNN集成对最强形式的攻击具有更强的鲁棒性。我们还表明，当对手有一个无限的预算的数据扰动，所有的防御技术将最终打破预算的增加。因此，重要的是要了解对手不会进一步追求这一努力的博弈鞍点。此外，我们探讨了版本空间中攻击严重性与决策边界鲁棒性之间的关系。我们的经验表明，通过简单地向学习的权重添加一个小的高斯随机噪声，DNN模型可以将其对对抗攻击的弹性提高74.2%。更重要的是，我们表明，通过在每个查询请求中随机激活/揭示预训练DNN池中的模型，我们可以对对手的攻击策略施加巨大的压力。我们将我们的随机化技术与Encourage Adversarial Training技术进行了比较，并表明我们的随机化技术在不同的攻击预算约束下更优越。
2018-06-17 cs.CR cs.LG
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出，稳健和准确的模型都是不可能的，即，对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系，我们假设一个底层的，低维的数据流形，并表明：1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形，即，流形上对抗的例子，存在; 3.流形上对抗性示例是泛化误差，并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而，不同的模型（架构，培训策略等）可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张，我们提出了广泛的实验合成数据（与已知的流形），以及EMNIST，时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Toward Robust Image Classification
Taibah University（泰巴大学）；University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
神经网络经常用于图像分类，但容易受到由对抗性图像引起的误分类的影响。使神经网络图像分类更鲁棒的尝试包括预处理（裁剪，应用噪声，模糊），对抗训练和丢弃随机化的变化。在本文中，我们实现了一个模型的对抗检测的基础上结合了这两种技术：辍学随机化与预处理应用于图像在给定的贝叶斯不确定性。我们在MNIST数据集上评估了我们的模型，使用快速梯度符号方法（FGSM），基于雅可比的显着图攻击（JSMA）和基本迭代法（BIM）攻击生成的对抗图像。我们的模型实现了97%的平均敌对图像检测准确率，在丢弃标记为敌对的图像后，平均图像分类准确率为99%。我们的平均检测精度超过了最近使用类似技术的论文。
2019-09-19 cs.CV cs.LG eess.IV
Transfer of Adversarial Robustness Between Perturbation Types
OpenAI；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）
研究了深度神经网络对抗鲁棒性在不同扰动类型之间的转移。虽然大多数对抗性示例的工作都集中在$L_\infty$和$L_2$有界扰动上，但这些并不能捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32种攻击，这些攻击针对的是在ImageNet的100类子集上进行对抗训练的模型。我们的实证结果表明，评估范围广泛的扰动大小是必要的，以了解是否对抗鲁棒性扰动类型之间的转移。我们进一步证明，对一个扰动类型的鲁棒性可能并不总是意味着，有时可能会伤害对其他扰动类型的鲁棒性。根据这些结果，我们建议在各种扰动类型和大小上进行对抗性防御的评估。
2019-05-03 cs.AI cs.CR cs.LG
Scaleable input gradient regularization for adversarial robustness
McGill University（麦吉尔大学）
在这项工作中，我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先，我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次，我们实现了一个可扩展版本的输入梯度正则化，避免了双重反向传播：对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后，我们通过实验和理论证明，输入梯度正则化与对抗训练具有竞争力。此外，我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
Adversarial Robustness Curves
Bielefeld University, Germany（德国比勒费尔德大学）
对抗性例子的存在导致人们对自动化系统产生的预测的信任存在相当大的不确定性。这种不确定性反过来又导致了在理解对抗鲁棒性方面的大量研究工作。在这项工作中，我们采取的第一步分离鲁棒性分析的鲁棒性阈值和范数的选择。我们提出的鲁棒性曲线作为一个更一般的观点的鲁棒性行为的模型，并调查在何种情况下，他们可以定性地依赖于所选择的规范。
2019-07-31 cs.LG stat.ML
On Adversarial Robustness: A Neural Architecture Search perspective
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Microsoft（微软）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
深度学习模型的对抗鲁棒性在过去几年中获得了很大的关注。提出了各种攻击和防御来提高现代深度学习架构的对抗鲁棒性。虽然所有这些方法都有助于提高鲁棒性，但提高对抗鲁棒性的一个有希望的方向尚未探索，即，神经网络架构的复杂拓扑结构。在这项工作中，我们解决了以下问题：神经网络的复杂拓扑结构是否可以在没有任何形式的对抗训练的情况下提供对抗鲁棒性？我们通过实验不同的手工制作和基于NAS的架构来经验地回答这个问题。我们的研究结果表明，对于小规模攻击，基于NAS的架构对于小规模数据集和简单任务比手工构建的架构更强大。然而，随着数据集大小或任务复杂性的增加，手工构建的架构比基于NAS的架构更健壮。我们的工作是第一个纯粹从架构角度理解对抗鲁棒性的大规模研究。研究结果表明，在DARTS（一种流行的NAS方法）的搜索空间中随机抽样并进行简单的集成，可以使对PGD攻击的鲁棒性提高近12%.我们表明，NAS，这是流行的实现SoTA的准确性，可以提供对抗准确性作为一个免费的附加组件，没有任何形式的对抗训练。我们的研究结果表明，利用NAS方法的搜索空间和集成等方法可以在没有任何形式的对抗训练的情况下实现对抗鲁棒性。我们还引入了一个度量，可用于计算干净的准确性和对抗鲁棒性之间的权衡。代码和预训练模型将在\url{https://github.com/tdchaitanya/nas-robustness}上提供
2021-08-26 cs.CR cs.CV cs.LG
On Model Robustness Against Adversarial Examples
我们研究了模型对对抗性示例的鲁棒性，这些示例被称为小扰动输入数据，但这些数据可能会欺骗许多最先进的深度学习模型。与以往的研究不同，我们建立了一个新的理论解决的鲁棒性问题的损失函数的稳定性的角度在小邻域的自然样本。我们建议利用一个能量函数来描述稳定性，并证明减少这种能量可以保证对对抗性示例的鲁棒性。我们还表明，传统的训练方法，包括对抗训练与$l_2$规范约束（AT）和虚拟对抗训练（VAT）往往最小化我们提出的能量函数的下限。我们做了一个分析表明，这种下限的最小化，但可能会导致输入样本周围的邻域内的鲁棒性不足。此外，我们设计了一个更合理的方法与能量正则化，证明了实现更好的鲁棒性比以前的方法。通过一系列的实验，我们证明了我们的模型在监督任务和半监督任务上的优越性。特别是，我们提出的对抗框架与以前的对抗训练方法相比，在基准数据集MNIST、CIFAR-10和SVHN上实现了最佳性能。重要的是，它们在对抗性示例中表现出比所有其他比较方法更好的鲁棒性。
2020-06-10 cs.CR cs.CV cs.LG
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology（麻省理工学院）
我们评估了对抗性Logit配对的鲁棒性，这是最近提出的对抗性示例的防御方法。我们发现，使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明，以及我们攻击的方法和结果的讨论，这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI（北极光人工智能）
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中，我们证明了一个有趣的现象，在文献中最流行的鲁棒训练方法，对抗训练：对抗鲁棒性，不像干净的准确性，是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换，也会导致对抗性训练模型的鲁棒性显著不同，该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究，该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体，并表明标准训练的模型在它们上实现了相当的干净精度，但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明，输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性，而不一定是任务本身。最后，我们讨论了评估对抗鲁棒性的实际意义，并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence（海军人工智能应用研究中心）；U.S. Naval Research Laboratory（美国海军研究实验室）
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类：梯度掩蔽，鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分：（1）增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性，（2）边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题，我们提供了一个新的视角，可以深入了解能够训练更强大的网络的潜在因素，并有助于激发新的解决方案。此外，在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的，或者鲁棒性和准确性之间的权衡，但是，根据这个建议的分类法，我们假设这不是普遍的。我们在分类法的基础上，对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Dropping Pixels for Adversarial Robustness
University of Washington（华盛顿大学）
深度神经网络很容易受到对抗性样本的攻击。在本文中，我们提出了训练和测试的网络与随机子采样图像具有高的下降率。我们证明了这种方法在所有有界L0，L2和L_inf扰动的情况下显着提高了对抗性示例的鲁棒性，同时将标准精度降低了一个小值。我们认为，子采样像素可以被认为是为输入图像提供一组鲁棒的特征，从而提高了鲁棒性，而无需进行对抗性训练。
2019-05-01 cs.LG stat.ML
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练已被证明可以有效地强化网络对抗性示例。然而，所获得的鲁棒性受到网络容量和训练样本数量的限制。因此，为了构建更鲁棒的模型，通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性，我们提出了一个条件归一化模块，以适应网络在输入样本的条件。我们的自适应网络，一旦经过对抗训练，就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的，并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构，这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”，以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Variational Randomized Smoothing for Sample-Wise Adversarial Robustness
Mitsubishi Electric Corporation（三菱电机株式会社）；Mitsubishi Electric Research Laboratories（三菱电机研究所）
本文提出变分随机平滑框架，通过为每个样本选择合适噪声水平，增强模型对对抗攻击的鲁棒性，并验证了经验与认证鲁棒性。
2024-07-16 cs.AI cs.CR cs.LG
advertorch v0.1: An Adversarial Robustness Toolbox based on PyTorch
Borealis AI
advertorch是一个对抗鲁棒性研究的工具箱。它包含各种攻击，防御和强大的训练方法的实现。advertorch建立在PyTorch上（Paszke等人，2017），并利用动态计算图的优势，提供简洁高效的参考实现。该代码是在LGPL许可下授权的，并在https://github.com/BorealisAI/advertorch上开源。
2019-02-20 cs.CR cs.CV cs.LG
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
Deakin University（迪肯大学）
对抗性训练是训练鲁棒的深度神经网络对抗对抗攻击的一种有效方法。虽然能够带来可靠的鲁棒性，但对抗训练（AT）方法通常倾向于高容量模型，即，模型越大，鲁棒性越好。这往往会限制它们在小模型上的有效性，而小模型在存储或计算资源非常有限的情况下更可取（例如，移动设备）。在本文中，我们利用知识蒸馏的概念，以提高小模型的鲁棒性，从对抗训练的大模型。我们首先从蒸馏的角度重新审视了几种最先进的AT方法，并确定了一种可以提高鲁棒性的常用技术：使用鲁棒的软标签-预测鲁棒的模型。根据这一观察，我们提出了一种新的对抗鲁棒性蒸馏方法称为鲁棒软标签对抗蒸馏（RSLAD）训练强大的小学生模型。RSLAD充分利用了由强大的（对抗训练的）大型教师模型产生的强大软标签，以指导学生在所有损失方面对自然和对抗示例的学习。我们通过经验证明了我们的RSLAD方法在现有对抗性训练和蒸馏方法中的有效性，以提高小模型对最先进攻击（包括AutoAttack）的鲁棒性。我们还提供了一组关于我们的RSLAD的理解，以及鲁棒软标签对对抗鲁棒性蒸馏的重要性。
2021-08-18 cs.CR cs.LG
Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
South China Agricultural University（华南农业大学）；Pazhou Lab（琶洲实验室）
由于卷积神经网络（CNN）的Lipschitz性质被广泛认为与对抗鲁棒性有关，本文从理论上刻画了二维多通道卷积层的$\ell_1$范数和$\ell_\infty$范数，并给出了计算精确$\ell_1$范数和$\ell_\infty$范数的有效方法.基于我们的定理，我们提出了一种新的正则化方法，称为范数衰减，它可以有效地减少卷积层和全连接层的范数。实验表明，范数正则化方法，包括范数衰减，权重衰减和奇异值裁剪，可以提高CNN的泛化能力。然而，它们可能会轻微损害对抗性鲁棒性。观察到这种意想不到的现象，我们计算了用三种不同的对抗训练框架训练的CNN中的层的范数，并惊讶地发现对抗鲁棒CNN具有与非对抗鲁棒CNN相当甚至更大的层范数。此外，我们证明了在一个温和的假设下，对抗鲁棒分类器可以实现使用神经网络，和对抗鲁棒神经网络可以有一个任意大的Lipschitz常数。出于这个原因，在CNN层上强制执行小规范对于实现对抗鲁棒性可能既不必要也不有效。该代码可在https://github.com/youweiliang/norm_robustness上获得。
2021-08-15 cs.CR cs.CV cs.LG
Achieving Adversarial Robustness via Sparsity
Shanghai Jiao Tong University（上海交通大学）
已知网络修剪可以产生紧凑的模型，而不会降低精度。然而，修剪过程如何影响网络的鲁棒性和背后的工作机制仍然没有得到解决。在这项工作中，我们从理论上证明了网络权重的稀疏性与模型的鲁棒性密切相关。通过对各种对抗性剪枝方法的实验，我们发现权值稀疏性不会损害但会提高鲁棒性，其中从彩票继承的权值和对抗性训练都提高了网络剪枝中的模型鲁棒性。基于这些发现，我们提出了一种新的对抗训练方法，称为逆权重继承，它通过继承小网络的权重来对大网络施加稀疏权重分布，从而提高大网络的鲁棒性。
2020-09-11 cs.LG stat.ML
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park（马里兰大学帕克分校）
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用，但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中，我们从理论上（对于一些简单的模型）和经验上（对于更复杂的模型）研究了基于流的生成模型的对抗鲁棒性。首先，我们考虑一个基于线性流的生成模型，并计算最佳的样本特定和通用对抗扰动，最大限度地降低似然分数。利用这一结果，我们研究了著名的对抗训练过程的鲁棒性，其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来，我们实证研究了两个突出的深度，非线性，基于流的生成模型的鲁棒性，即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分，而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后，使用混合对抗训练过程，我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
Improving Calibration through the Relationship with Adversarial Robustness
Google Research（谷歌研究院）
神经网络缺乏对抗鲁棒性，即，它们容易受到对抗性示例的影响，这些示例通过对输入的小扰动导致不正确的预测。此外，当模型给出错误的预测时，信任就会受到破坏，即，预测的概率并不能很好地指示我们应该在多大程度上信任我们的模型。在本文中，我们研究了对抗鲁棒性和校准之间的联系，并发现模型对小扰动敏感（容易受到攻击）的输入更有可能具有校准不良的预测。基于这一见解，我们研究是否可以通过解决这些不利的不稳健的输入来改善校准。为此，我们提出了基于对抗鲁棒性的自适应标签平滑（AR-AdaLS），它将对抗鲁棒性和校准的相关性集成到训练中，根据对手攻击的容易程度自适应地软化标签。我们发现，我们的方法，考虑到分布数据的对抗性鲁棒性，导致更好的校准模型，即使在分布变化。此外，AR-AdaLS还可以应用于集合模型，以进一步改善模型校准。
2021-12-14 cs.LG stat.ML
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas, Austin（得克萨斯大学奥斯汀分校）；IBM research AI（IBM研究院人工智能部门）
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而，它往往遭受的清洁和扰动数据的泛化能力差。在本文中，我们提出了一种新的算法，命名为定制的对抗训练（CAT），自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明，该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Flow-based Domain Randomization for Learning and Sequencing Robotic Skills
Autodesk Research（奥多比研究）
本文提出基于归一化流的熵正则化域随机化方法，自动学习更灵活的环境采样分布，提升策略鲁棒性，并将其用于多步操作规划中的分布外检测。
2025-05-05 cs.AI cs.LG cs.RO
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学auer数学科学中心）
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性，推导了Sobolev空间中的对抗回归最小最大最优速率，并证明了通过梯度流早停训练的NTK网络可达到该最优速率，但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Defending Collaborative Filtering Recommenders via Adversarial Robustness Based Edge Reweighting
Yongyu Wang（王 Yongyu）
本文提出了一种基于对抗鲁棒性的边重加权方法，用于防御协同过滤推荐系统中的资料注入攻击。
2025-12-12 cs.LG stat.ML
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University（比勒费尔德大学）
近年来，机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度，但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具，并在最近的对抗鲁棒性出版物中使用。在这项工作中，我们使用最近提出的鲁棒性曲线表明，逐点测量未能捕获重要的全局属性，这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法，并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外，我们的特点规模作为一种方式来区分小的和大的扰动，并将其与数据集的固有属性，表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验，其中包括一个Python模块，用于计算任意数据集和分类器的鲁棒性曲线，支持许多框架，包括TensorFlow，PyTorch和JAX。
2020-10-15 cs.LG stat.ML
On the Adversarial Robustness of Quantized Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）
减小神经网络模型的大小是将人工智能从以云为中心的计算模式转变为以边缘为中心的计算模式的关键一步。这种从云到边缘的转变是由许多因素推动的，包括减少延迟，提高安全性，以及跨多个应用领域（例如运输，医疗保健，国防等）的AI算法的更高灵活性。然而，目前尚不清楚模型压缩技术如何影响AI算法对对抗攻击的鲁棒性。本文探讨了量化的效果，最常见的压缩技术之一，对抗的鲁棒性的神经网络。具体来说，我们调查和建模的准确性量化神经网络的不利扰动图像。结果表明，对于简单的基于梯度的攻击，量化可以提高或降低对抗鲁棒性取决于攻击强度。
2021-05-01 cs.CR cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Atos（源讯）
神经网络已被证明对常见的扰动敏感，如模糊，高斯噪声，旋转等，它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行，有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而，我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样，我们不知道对各种常见扰动（例如平移或对比度损失）的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验，我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明，增加鲁棒性精心挑选的共同扰动，可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信，神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research（IBM研究院）；IBM Research Ireland（IBM爱尔兰研究院）；IBM Research India（IBM印度研究院）
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中，我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析，说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明，出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂，因此没有有效的一刀切的参数设置存在。然后，我们证明，我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现，我们提出了一种实用的方法，该方法利用超参数优化技术来调整对抗训练，以最大限度地提高鲁棒性，同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University（亚琛工业大学）
最近，有大量关于设计深度神经网络（DNN）的工作，这些网络对对抗性示例具有鲁棒性。特别是，一个中心问题是DNN的哪些特征会影响对抗鲁棒性，因此可以用于设计鲁棒的DNN。在这项工作中，这个问题是研究通过镜头的压缩，这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上，当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时，神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时，它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争，但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们考虑在马尔可夫链蒙特卡罗（MCMC）和贝叶斯暗知识（BDK）推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性：快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们证明了完全基于MCMC的推理具有出色的鲁棒性，显著优于基于标准点估计的学习。另一方面，BDK提供了边际改进。作为一个额外的贡献，我们提出了一个存储高效的方法来计算对抗的例子，大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Robustness Against Adversarial Attacks via Learning Confined Adversarial Polytopes
University of Waterloo（滑铁卢大学）
本文提出通过学习受限对抗多面体（CAP）约束范数有界扰动下的可达输出，使对抗多面体避开决策边界，从而提升 DNN 对 AutoAttack 等攻击的鲁棒性。
2024-01-20 cs.CR cs.LG
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同，对抗性训练旨在从本质上提高模型的鲁棒性。近几年来，对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展，然而，在现有的调查中被忽视。在这次调查中，我们首次系统地回顾了对抗训练的最新进展，并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后，我们强调尚未充分解决的挑战，并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
Boosting Barely Robust Learners: A New Perspective on Adversarial Robustness
Toyota Technological Institute at Chicago（芝加哥丰田工学院）；University of Waterloo（滑铁卢大学）
我们提出了一个预言机有效的算法，以提高几乎没有强大的学习者的对抗鲁棒性。几乎没有鲁棒性的学习算法只在数据分布的一小部分$β\ll 1$上学习对抗鲁棒的预测器。我们提出的概念，几乎没有强大的学习需要鲁棒性相对于一个“更大的”扰动集，我们表明这是必要的强鲁棒学习，弱松弛是不够的强鲁棒学习。我们的研究结果揭示了两个看似无关的问题之间的定性和定量等价性：强鲁棒学习和勉强鲁棒学习。
2022-02-11 cs.LG stat.ML
Advancing Adversarial Robustness Through Adversarial Logit Update
University of Alberta（阿尔伯塔大学）；Northwestern Polytechnical University（西北工业大学）
提出对抗性Logit更新（ALU）原则，利用净化前后logit差异提升模型对抗鲁棒性，无需额外训练数据，在多个数据集上优于现有方法。
2023-08-29 cs.CR cs.LG
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）；Northeastern University（东北大学）
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而，我们证明了参数空间中的损失面与泛化没有明显的关系，特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化，我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后，我们提出了一个对抗鲁棒性指标，它可以评估神经网络的内在鲁棒性，而无需测试其准确性下的对抗攻击。在此基础上，我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下，我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明，以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外，我们还表明，通过强制深度神经网络（DNN）在变换后的输入和特征空间中保持线性，可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数，进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法，并在MNIST，CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中，我们还提出了一种新的对抗图像生成方法，该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Metric Learning for Adversarial Robustness
Columbia University（哥伦比亚大学）
众所周知，深度网络对于对抗攻击是脆弱的。我们对最先进的攻击方法PGD下的深层表示进行了实证分析，发现攻击导致内部表示向“假”类靠拢。出于这一观察结果，我们建议使用度量学习来正则化受到攻击的表示空间，以产生更鲁棒的分类器。通过仔细采样用于度量学习的示例，我们学习的表示不仅提高了鲁棒性，而且还检测了以前未见过的对抗样本。定量实验表明，鲁棒性的准确性提高了4%，检测效率提高了6%，根据曲线下面积得分比以前的工作。我们的工作代码可在https://github.com/columbia/Metric_Learning_Adversarial_Robustness上获得。
2019-10-28 cs.CR cs.CV cs.IR
Faster online calibration without randomization: interval forecasts and the power of two choices
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，使校准概率预测的二进制序列产生的对抗性。在Foster和Vohra（1998）的开创性论文之后，自然通常被建模为一个自适应的对手，他看到了预测者的所有活动，除了预测者可能部署的随机化。许多论文提出了随机预测策略，实现了$O(1/\sqrt{T})$的$ε$ -校准出错率，我们证明这是紧的一般。另一方面，众所周知，如果没有随机化，或者如果自然也看到预报员的随机化，则不可能进行校准;在这两种情况下，校准误差都可能是$Ω(1)$。同样开创性的作品的“两个选择的力量”和不精确的概率论的启发下，我们研究了一个小的变种的标准在线校准问题。对手给预报员两个附近的概率预测，或相当于一个小宽度的区间预测的选择，和最接近的端点显示的结果被用来判断校准。这种两个选择的力量，或不精确的预测，符合预测者与显着的权力-我们表明，一个更快的$ε$ -校准率的$O(1/T)$可以实现，即使没有部署任何随机化。
2022-07-26 cs.DS cs.GT cs.LG
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防御系统有限公司）
在本文中，我们介绍了一种新的神经网络训练框架，通过将对比学习（CL）与对抗训练（AT）相结合，提高了模型对对抗攻击的对抗鲁棒性，同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性，将对抗性示例视为另一个正面示例，并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性，同时不断更新分类头，以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间，同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗特征的对比学习（CLAF），在该数据集上，它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University（清华大学）；IBM Research（IBM研究院）；University of California, Los Angeles（加州大学洛杉矶分校）；SenseTime Research（商汤科技研究院）；Northeastern University（东北大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而，对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架，该框架在保持对抗鲁棒性的同时实现了模型压缩，从根本上解决了对抗训练的困境。此外，这项工作研究了两个假设的权重修剪在传统的设置，并发现权重修剪是必要的，以减少网络模型的大小在对抗设置，从头开始训练一个小的模型，即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen（蒂宾根大学）
神经网络在图像分类方面取得了重大进展，但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中，我们提出了RATIO，这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程，它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性，因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性，但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性，并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
