Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adversarial Training and Robustness for Multiple Perturbations
Stanford University（斯坦福大学）
对抗性示例的防御，例如对抗性训练，通常针对单个扰动类型（例如，小$\ell_\infty$噪声）。对于其他扰动，这些防御措施不能提供任何保证，有时甚至会增加模型的脆弱性。我们的目的是了解这种鲁棒性权衡的原因，并训练模型，同时强大的多种扰动类型。我们证明了权衡不同类型的$\ell_p$有界和空间扰动的鲁棒性必须存在于一个自然和简单的统计设置。我们证实了我们的正式分析，证明类似的鲁棒性权衡MNIST和CIFAR10。建立在新的多扰动对抗训练方案，和一种新的有效的攻击，寻找$\ell_1$有界的对抗的例子，我们表明，没有模型训练对多个攻击实现鲁棒性的竞争力与每个攻击单独训练的模型。特别是，我们发现了MNIST上的一个有害的梯度掩蔽现象，它导致一阶$\ell_\infty, \ell_1$和$\ell_2$对手的对抗训练仅达到$50\%$的准确性。我们的研究结果质疑扩展对抗鲁棒性和对抗训练到多种扰动类型的可行性和计算可扩展性。
2019-10-18 cs.CR cs.LG stat.ML
Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training
Google（谷歌）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们研究了利用对抗训练诱导的置信度信息来增强给定对抗训练模型的对抗鲁棒性。置信度的自然度量是$\|F({\bf x})\|_\infty$（即，$F$对其预测的置信度如何？）。我们首先分析Madry等人提出的对抗训练公式。我们证明了，在各种实例下，他们的目标的一个唯一有点好的解决方案会导致信心是一个随机变量，它可以区分正确和错误的模型预测在一个点的邻域从底层分布采样。在此基础上，我们提出了高度置信近邻（${\tt HCNN}$），一个框架，结合置信信息和最近邻搜索，以加强对抗鲁棒性的基础模型。我们在这个框架中给出了算法，并进行了详细的实证研究。我们报告了支持我们分析的令人鼓舞的实验结果，并讨论了我们在现有对抗训练中观察到的问题。
2018-06-08 cs.CR cs.LG stat.ML
Holistic Adversarial Robustness of Deep Learning Models
IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
对抗鲁棒性研究机器学习模型的最坏情况性能，以确保安全性和可靠性。随着基于深度学习的技术的普及，与模型开发和部署相关的潜在风险可能会被放大，并成为可怕的漏洞。本文全面概述了深度学习模型对抗鲁棒性的研究主题和研究方法的基本原理，包括攻击、防御、验证和新应用。
2023-01-05 cs.AI cs.CR cs.LG
On Norm-Agnostic Robustness of Adversarial Training
Duke University（杜克大学）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）
对抗性示例是精心扰动的输入，用于愚弄机器学习模型。对抗性训练是一种公认的防御方法，将对抗性示例注入训练数据以提高鲁棒性。在本文中，我们提出了一种新的攻击来揭示最先进的对抗训练的一个不希望的属性，即它不能同时获得对$\ell_2$和$\ell_\infty$范数扰动的鲁棒性。我们讨论了这个问题的可能解决方案及其局限性。
2019-05-15 cs.CR cs.LG stat.ML
Playing it Safe: Adversarial Robustness with an Abstain Option
University of Maryland（马里兰大学）
我们探讨对抗鲁棒性的设置中，它是可以接受的分类弃权-也就是说，输出没有类-对对抗的例子。对抗性示例是对分类器的正常输入的小扰动，导致分类器给出不正确的输出;它们对机器学习系统提出了安全性和安全性挑战。在许多安全关键型应用中，分类器放弃对抗性示例比为它们提供不正确的输出成本更低。首先，我们引入了一个新的目标函数的对抗性鲁棒性与弃权选项，其特征在于一个明确的鲁棒性和准确性之间的权衡。然后，我们提出了一个简单的基线，其中一个adversarially-trained分类器弃权的决策边界，我们理论和实验评估的一定距离内的所有输入。最后，我们提出了联合弃权鲁棒性学习（CARL），一种联合学习分类器和它应该弃权的输入空间区域的方法。我们探讨了在弃权设置中对CARL的PGD和DeepFool对抗攻击的不同变化。通过对这些攻击的评估，我们证明了使用CARL进行训练会产生比基线更准确，更强大和更有效的分类器。
2019-11-25 cs.AI cs.LG stat.ML
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab（Criteo人工智能实验室）；Amazon（亚马逊）；Meta AI Research（Meta人工智能研究院）
在本文中，我们研究了神经网络（NN）拓扑结构对对抗鲁棒性的影响。具体来说，我们研究了当输入遍历NN的所有层时产生的图，并表明这些图对于干净的和对抗性的输入是不同的。我们发现，来自干净输入的图形更集中在高速公路边缘，而来自对手的图形则更分散，利用了优化不足的边缘。通过在各种数据集和架构上的实验，我们证明了这些优化不足的边缘是对抗性脆弱性的来源，它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong（香港城市大学）
针对传统对抗准确率无法全面衡量模型鲁棒性的问题，提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性，并采用新训练算法均匀增强鲁棒性，为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Adversarial Robustness via Label-Smoothing
Criteo AI Lab（科韬人工智能实验室）
我们研究标签平滑作为提高监督深度学习模型对抗鲁棒性的一种手段。在建立了一个彻底而统一的框架后，我们提出了这种通用方法的几种变体：对抗性方法、玻尔兹曼方法和次佳标签平滑方法，并解释了如何构建您自己的方法。在各种数据集（MNIST，CIFAR 10，SVHN）和模型（线性模型，MLP，LeNet，ResNet）上，我们通过更好地考虑数据集的几何形状，证明了标签平滑通常可以提高对抗各种攻击（FGSM，BIM，DeepFool，Carlini-Wagner）的鲁棒性。所提出的标签平滑方法有两个主要优点：它们可以作为修改的交叉熵损失来实现，因此不需要对网络架构进行任何修改，也不会导致训练时间增加，并且它们可以提高标准和对抗精度。
2019-10-15 cs.AI cs.LG stat.ML
Constraining Logits by Bounded Function for Adversarial Robustness
NTT Software Innovation Center（NTT软件创新中心）；NTT Secure Platform Laboratories（NTT安全平台实验室）；Kyoto University（京都大学）
我们提出了一种通过在softmax之前添加一个新的有界函数来提高对抗鲁棒性的方法。最近的研究假设通过logit正则化的小logits（softmax的输入）可以提高深度学习的对抗鲁棒性。根据这一假设，我们分析了范数的logit向量在最佳点的假设下的普遍逼近，并探索新的方法来约束logits的softmax之前添加一个有界函数。我们从理论上和经验上揭示，通过添加一个共同的激活函数，例如，双曲正切不能提高对抗鲁棒性，因为函数的输入向量（pre-logit向量）可以具有大的范数。从理论上，我们开发了新的有界函数。我们的函数的增加提高了对抗鲁棒性，因为它使logit和pre-logit向量具有较小的范数。由于我们的方法只在softmax之前添加了一个激活函数，因此很容易将我们的方法与对抗训练结合起来。我们的实验表明，我们的方法在没有对抗训练的对抗扰动数据集上的准确性方面与logit正则化方法相当。此外，在使用对抗训练时，它优于或可与logit正则化方法和最近的防御方法（TRADES）相媲美。
2020-10-06 cs.AI cs.LG stat.ML
Non-Determinism in Neural Networks for Adversarial Robustness
Carnegie Mellon University（卡内基梅隆大学）
深度学习领域的最新突破推动了计算机视觉、音频处理、自然语言处理和其他领域的广泛任务。在大多数情况下，这些任务部署在现实世界的场景中，其中使用的模型已被证明容易受到对抗攻击的影响，这使得我们必须解决其对抗鲁棒性的挑战。对抗鲁棒性的现有技术分为三大类：防御性蒸馏技术、对抗性训练技术和基于随机或非确定性模型的技术。在本文中，我们提出了一种新的神经网络范例，属于对抗鲁棒性的随机模型的类别，但不同于所有现有的技术，在这一类别下，它模型的每个参数的网络作为一个统计分布与可学习的参数。我们的实验表明，该框架是高度鲁棒的各种白盒和黑盒对抗攻击，同时保留了传统的神经网络模型的特定于任务的性能。
2019-05-26 cs.CR cs.LG stat.ML
Causal Information Bottleneck Boosts Adversarial Robustness of Deep Neural Network
Tongji University（同济大学）；SmartMore. Co. Ltd.（思谋科技有限公司）
信息瓶颈（IB）方法是深度学习中对抗对抗攻击的一种可行的防御方案。然而，该方法存在虚假相关性，限制了其对抗鲁棒性的进一步提高。在本文中，我们将因果推理到IB框架，以减轻这样的问题。具体来说，我们通过工具变量将IB方法获得的特征分为稳健特征（内容信息）和非稳健特征（风格信息）来估计因果效应。利用这种框架，可以减轻非鲁棒特征的影响，以增强对抗鲁棒性。最后对该方法的有效性进行了分析。在MNIST、FashionMNIST和CIFAR-10上的大量实验表明，该方法对多个对抗攻击具有相当的鲁棒性。我们的代码将被释放。
2022-10-25 cs.AI cs.CR cs.LG
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出，稳健和准确的模型都是不可能的，即，对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系，我们假设一个底层的，低维的数据流形，并表明：1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形，即，流形上对抗的例子，存在; 3.流形上对抗性示例是泛化误差，并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而，不同的模型（架构，培训策略等）可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张，我们提出了广泛的实验合成数据（与已知的流形），以及EMNIST，时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Adversarial Robustness Curves
Bielefeld University, Germany（德国比勒费尔德大学）
对抗性例子的存在导致人们对自动化系统产生的预测的信任存在相当大的不确定性。这种不确定性反过来又导致了在理解对抗鲁棒性方面的大量研究工作。在这项工作中，我们采取的第一步分离鲁棒性分析的鲁棒性阈值和范数的选择。我们提出的鲁棒性曲线作为一个更一般的观点的鲁棒性行为的模型，并调查在何种情况下，他们可以定性地依赖于所选择的规范。
2019-07-31 cs.LG stat.ML
Bridging Adversarial Robustness and Gradient Interpretability
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Satrec Initiative（Satrec Initiative公司）；SI Analytics
对抗性训练是一种训练方案，旨在通过使用对抗性示例增强训练数据集来对抗对抗攻击。令人惊讶的是，一些研究已经观察到，来自对抗训练的DNN的损失梯度比来自标准DNN的损失梯度在视觉上更容易解释。虽然这种现象很有趣，但只有少数作品提供了解释。在本文中，我们试图弥合对抗鲁棒性和梯度可解释性之间的差距。为此，我们确定了来自对抗训练的DNN的损失梯度与人类感知更好地对齐，因为对抗训练限制了更接近图像流形的梯度。然后，我们证明了对抗性训练导致损失梯度具有定量意义。最后，我们证明了在对抗训练框架下，测试准确性和损失梯度可解释性之间存在经验权衡，并提出了两种解决这种权衡的潜在方法。
2019-04-19 cs.AI cs.LG stat.ML
Scoring Black-Box Models for Adversarial Robustness
Stanford University（斯坦福大学）
深度神经网络易受对抗性输入的影响，并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入，然后在构造的对抗性输入上测试模型的性能，分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的，需要访问数据标签，并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法，表明其对对抗性输入的鲁棒性。我们发现，相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
How many perturbations break this model? Evaluating robustness beyond adversarial accuracy
Carnegie Mellon University（卡内基梅隆大学）
本文提出对抗稀疏性指标，用于量化在给定输入和扰动方向约束下找到成功扰动的难度，从而揭示准确率无法反映的鲁棒性差异，并证明数据增强可独立提升对抗鲁棒性。
2023-08-10 cs.CR cs.LG stat.ML
Scaleable input gradient regularization for adversarial robustness
McGill University（麦吉尔大学）
在这项工作中，我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先，我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次，我们实现了一个可扩展版本的输入梯度正则化，避免了双重反向传播：对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后，我们通过实验和理论证明，输入梯度正则化与对抗训练具有竞争力。此外，我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
Certifying Joint Adversarial Robustness for Model Ensembles
University of Virginia（弗吉尼亚大学）
深度神经网络（DNN）通常容易受到对抗性样本的攻击。一些提出的防御方法部署了一个模型集合，希望尽管单个模型可能容易受到攻击，但对手将无法找到成功对抗集合的对抗性样本。根据集成的使用方式，攻击者可能需要找到一个对抗性的例子，成功地对抗集成中的所有或大多数模型。集成防御对强大对手的有效性取决于集成中模型的脆弱性空间是不相交的。我们认为，联合脆弱性的合奏模型，并提出了一种新的技术，用于证明合奏的联合鲁棒性，建立在以前的工作单模型的鲁棒性认证。我们评估了各种模型集成的鲁棒性，包括使用成本敏感鲁棒性训练的模型，以提高对集成模型作为对抗性示例防御的潜在有效性的理解。
2020-04-21 cs.CR cs.LG stat.ML
Rethinking Empirical Evaluation of Adversarial Robustness Using First-Order Attack Methods
Massachusetts Institute of Technology（麻省理工学院）
我们确定了三种常见的情况下，导致高估的对抗精度对有界一阶攻击方法，这是普遍使用的对抗鲁棒性在实证研究中的代理。对于每种情况下，我们提出的补偿方法，要么解决不准确的梯度计算的来源，如数值不稳定性接近零和不可微性，或通过近似二阶信息减少迭代攻击的反向传播的总数。这些补偿方法可以与现有的攻击方法相结合，以获得更精确的经验评估度量。我们通过具有实际意义的示例来说明这三种情况的影响，例如基准模型容量和鲁棒性正则化技术。总的来说，我们的工作表明，即使对于传统训练的深度神经网络，高估的对抗准确性也不代表鲁棒性，并强调了使用没有保证界限的经验评估的警告。
2020-06-01 cs.AI cs.LG stat.ML
On Adversarial Robustness: A Neural Architecture Search perspective
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Microsoft（微软）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
深度学习模型的对抗鲁棒性在过去几年中获得了很大的关注。提出了各种攻击和防御来提高现代深度学习架构的对抗鲁棒性。虽然所有这些方法都有助于提高鲁棒性，但提高对抗鲁棒性的一个有希望的方向尚未探索，即，神经网络架构的复杂拓扑结构。在这项工作中，我们解决了以下问题：神经网络的复杂拓扑结构是否可以在没有任何形式的对抗训练的情况下提供对抗鲁棒性？我们通过实验不同的手工制作和基于NAS的架构来经验地回答这个问题。我们的研究结果表明，对于小规模攻击，基于NAS的架构对于小规模数据集和简单任务比手工构建的架构更强大。然而，随着数据集大小或任务复杂性的增加，手工构建的架构比基于NAS的架构更健壮。我们的工作是第一个纯粹从架构角度理解对抗鲁棒性的大规模研究。研究结果表明，在DARTS（一种流行的NAS方法）的搜索空间中随机抽样并进行简单的集成，可以使对PGD攻击的鲁棒性提高近12%.我们表明，NAS，这是流行的实现SoTA的准确性，可以提供对抗准确性作为一个免费的附加组件，没有任何形式的对抗训练。我们的研究结果表明，利用NAS方法的搜索空间和集成等方法可以在没有任何形式的对抗训练的情况下实现对抗鲁棒性。我们还引入了一个度量，可用于计算干净的准确性和对抗鲁棒性之间的权衡。代码和预训练模型将在\url{https://github.com/tdchaitanya/nas-robustness}上提供
2021-08-26 cs.CR cs.CV cs.LG
On Model Robustness Against Adversarial Examples
我们研究了模型对对抗性示例的鲁棒性，这些示例被称为小扰动输入数据，但这些数据可能会欺骗许多最先进的深度学习模型。与以往的研究不同，我们建立了一个新的理论解决的鲁棒性问题的损失函数的稳定性的角度在小邻域的自然样本。我们建议利用一个能量函数来描述稳定性，并证明减少这种能量可以保证对对抗性示例的鲁棒性。我们还表明，传统的训练方法，包括对抗训练与$l_2$规范约束（AT）和虚拟对抗训练（VAT）往往最小化我们提出的能量函数的下限。我们做了一个分析表明，这种下限的最小化，但可能会导致输入样本周围的邻域内的鲁棒性不足。此外，我们设计了一个更合理的方法与能量正则化，证明了实现更好的鲁棒性比以前的方法。通过一系列的实验，我们证明了我们的模型在监督任务和半监督任务上的优越性。特别是，我们提出的对抗框架与以前的对抗训练方法相比，在基准数据集MNIST、CIFAR-10和SVHN上实现了最佳性能。重要的是，它们在对抗性示例中表现出比所有其他比较方法更好的鲁棒性。
2020-06-10 cs.CR cs.CV cs.LG
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology（麻省理工学院）
我们评估了对抗性Logit配对的鲁棒性，这是最近提出的对抗性示例的防御方法。我们发现，使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明，以及我们攻击的方法和结果的讨论，这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI（北极光人工智能）
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中，我们证明了一个有趣的现象，在文献中最流行的鲁棒训练方法，对抗训练：对抗鲁棒性，不像干净的准确性，是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换，也会导致对抗性训练模型的鲁棒性显著不同，该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究，该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体，并表明标准训练的模型在它们上实现了相当的干净精度，但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明，输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性，而不一定是任务本身。最后，我们讨论了评估对抗鲁棒性的实际意义，并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
A Useful Taxonomy for Adversarial Robustness of Neural Networks
Naval Center for Applied Research in Artificial Intelligence（海军人工智能应用研究中心）；U.S. Naval Research Laboratory（美国海军研究实验室）
对抗攻击和防御目前是深度学习社区的活跃研究领域。最近的一篇综述论文将防御方法分为三类：梯度掩蔽，鲁棒优化和对抗性示例检测。我们对梯度掩蔽和鲁棒优化进行了不同的划分：（1）增加特征向量的类内紧凑性和类间分离提高了对抗鲁棒性，（2）边缘化或去除非鲁棒图像特征也提高了对抗鲁棒性。通过以不同的方式重新构建这些主题，我们提供了一个新的视角，可以深入了解能够训练更强大的网络的潜在因素，并有助于激发新的解决方案。此外，在对抗性防御的文献中有几篇论文声称对抗性鲁棒性是有代价的，或者鲁棒性和准确性之间的权衡，但是，根据这个建议的分类法，我们假设这不是普遍的。我们在分类法的基础上，对建立在本文中的联系和见解基础上的深度学习研究社区提出了几个挑战。
2019-10-23 cs.CR cs.CV cs.LG
Dropping Pixels for Adversarial Robustness
University of Washington（华盛顿大学）
深度神经网络很容易受到对抗性样本的攻击。在本文中，我们提出了训练和测试的网络与随机子采样图像具有高的下降率。我们证明了这种方法在所有有界L0，L2和L_inf扰动的情况下显着提高了对抗性示例的鲁棒性，同时将标准精度降低了一个小值。我们认为，子采样像素可以被认为是为输入图像提供一组鲁棒的特征，从而提高了鲁棒性，而无需进行对抗性训练。
2019-05-01 cs.LG stat.ML
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Atos（源讯）
神经网络已被证明对常见的扰动敏感，如模糊，高斯噪声，旋转等，它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行，有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而，我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样，我们不知道对各种常见扰动（例如平移或对比度损失）的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验，我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明，增加鲁棒性精心挑选的共同扰动，可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信，神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练已被证明可以有效地强化网络对抗性示例。然而，所获得的鲁棒性受到网络容量和训练样本数量的限制。因此，为了构建更鲁棒的模型，通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性，我们提出了一个条件归一化模块，以适应网络在输入样本的条件。我们的自适应网络，一旦经过对抗训练，就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的，并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构，这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”，以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
Deakin University（迪肯大学）
对抗性训练是训练鲁棒的深度神经网络对抗对抗攻击的一种有效方法。虽然能够带来可靠的鲁棒性，但对抗训练（AT）方法通常倾向于高容量模型，即，模型越大，鲁棒性越好。这往往会限制它们在小模型上的有效性，而小模型在存储或计算资源非常有限的情况下更可取（例如，移动设备）。在本文中，我们利用知识蒸馏的概念，以提高小模型的鲁棒性，从对抗训练的大模型。我们首先从蒸馏的角度重新审视了几种最先进的AT方法，并确定了一种可以提高鲁棒性的常用技术：使用鲁棒的软标签-预测鲁棒的模型。根据这一观察，我们提出了一种新的对抗鲁棒性蒸馏方法称为鲁棒软标签对抗蒸馏（RSLAD）训练强大的小学生模型。RSLAD充分利用了由强大的（对抗训练的）大型教师模型产生的强大软标签，以指导学生在所有损失方面对自然和对抗示例的学习。我们通过经验证明了我们的RSLAD方法在现有对抗性训练和蒸馏方法中的有效性，以提高小模型对最先进攻击（包括AutoAttack）的鲁棒性。我们还提供了一组关于我们的RSLAD的理解，以及鲁棒软标签对对抗鲁棒性蒸馏的重要性。
2021-08-18 cs.CR cs.LG
advertorch v0.1: An Adversarial Robustness Toolbox based on PyTorch
Borealis AI
advertorch是一个对抗鲁棒性研究的工具箱。它包含各种攻击，防御和强大的训练方法的实现。advertorch建立在PyTorch上（Paszke等人，2017），并利用动态计算图的优势，提供简洁高效的参考实现。该代码是在LGPL许可下授权的，并在https://github.com/BorealisAI/advertorch上开源。
2019-02-20 cs.CR cs.CV cs.LG
Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
South China Agricultural University（华南农业大学）；Pazhou Lab（琶洲实验室）
由于卷积神经网络（CNN）的Lipschitz性质被广泛认为与对抗鲁棒性有关，本文从理论上刻画了二维多通道卷积层的$\ell_1$范数和$\ell_\infty$范数，并给出了计算精确$\ell_1$范数和$\ell_\infty$范数的有效方法.基于我们的定理，我们提出了一种新的正则化方法，称为范数衰减，它可以有效地减少卷积层和全连接层的范数。实验表明，范数正则化方法，包括范数衰减，权重衰减和奇异值裁剪，可以提高CNN的泛化能力。然而，它们可能会轻微损害对抗性鲁棒性。观察到这种意想不到的现象，我们计算了用三种不同的对抗训练框架训练的CNN中的层的范数，并惊讶地发现对抗鲁棒CNN具有与非对抗鲁棒CNN相当甚至更大的层范数。此外，我们证明了在一个温和的假设下，对抗鲁棒分类器可以实现使用神经网络，和对抗鲁棒神经网络可以有一个任意大的Lipschitz常数。出于这个原因，在CNN层上强制执行小规范对于实现对抗鲁棒性可能既不必要也不有效。该代码可在https://github.com/youweiliang/norm_robustness上获得。
2021-08-15 cs.CR cs.CV cs.LG
On the Importance of Backbone to the Adversarial Robustness of Object Detectors
Tsinghua University（清华大学）；Chinese Institute for Brain Research（中国脑科学研究所）；THU-Bosch JCML Center（清华-博世联合计算与机器学习中心）
针对现有目标检测器对抗鲁棒性提升工作存在安全错觉的问题，提出基于对抗预训练骨干的快速对抗微调方案，证实骨干网络对检测器鲁棒性的关键作用，为设计SOTA鲁棒检测器提供启发并树立新里程碑。
2025-02-13 cs.AI cs.CR cs.CV
Achieving Adversarial Robustness via Sparsity
Shanghai Jiao Tong University（上海交通大学）
已知网络修剪可以产生紧凑的模型，而不会降低精度。然而，修剪过程如何影响网络的鲁棒性和背后的工作机制仍然没有得到解决。在这项工作中，我们从理论上证明了网络权重的稀疏性与模型的鲁棒性密切相关。通过对各种对抗性剪枝方法的实验，我们发现权值稀疏性不会损害但会提高鲁棒性，其中从彩票继承的权值和对抗性训练都提高了网络剪枝中的模型鲁棒性。基于这些发现，我们提出了一种新的对抗训练方法，称为逆权重继承，它通过继承小网络的权重来对大网络施加稀疏权重分布，从而提高大网络的鲁棒性。
2020-09-11 cs.LG stat.ML
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park（马里兰大学帕克分校）
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用，但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中，我们从理论上（对于一些简单的模型）和经验上（对于更复杂的模型）研究了基于流的生成模型的对抗鲁棒性。首先，我们考虑一个基于线性流的生成模型，并计算最佳的样本特定和通用对抗扰动，最大限度地降低似然分数。利用这一结果，我们研究了著名的对抗训练过程的鲁棒性，其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来，我们实证研究了两个突出的深度，非线性，基于流的生成模型的鲁棒性，即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分，而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后，使用混合对抗训练过程，我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
Improving Calibration through the Relationship with Adversarial Robustness
Google Research（谷歌研究院）
神经网络缺乏对抗鲁棒性，即，它们容易受到对抗性示例的影响，这些示例通过对输入的小扰动导致不正确的预测。此外，当模型给出错误的预测时，信任就会受到破坏，即，预测的概率并不能很好地指示我们应该在多大程度上信任我们的模型。在本文中，我们研究了对抗鲁棒性和校准之间的联系，并发现模型对小扰动敏感（容易受到攻击）的输入更有可能具有校准不良的预测。基于这一见解，我们研究是否可以通过解决这些不利的不稳健的输入来改善校准。为此，我们提出了基于对抗鲁棒性的自适应标签平滑（AR-AdaLS），它将对抗鲁棒性和校准的相关性集成到训练中，根据对手攻击的容易程度自适应地软化标签。我们发现，我们的方法，考虑到分布数据的对抗性鲁棒性，导致更好的校准模型，即使在分布变化。此外，AR-AdaLS还可以应用于集合模型，以进一步改善模型校准。
2021-12-14 cs.LG stat.ML
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明，以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外，我们还表明，通过强制深度神经网络（DNN）在变换后的输入和特征空间中保持线性，可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数，进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法，并在MNIST，CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中，我们还提出了一种新的对抗图像生成方法，该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Benchmarking Adversarial Robustness
Tsinghua University（清华大学）；RealAI
深度神经网络容易受到对抗性样本的攻击，这成为深度学习发展中最重要的研究问题之一。虽然近年来已经做了很多努力，但对对抗攻击和防御算法进行正确和完整的评估具有重要意义。在本文中，我们建立了一个全面的，严格的，连贯的基准来评估对抗图像分类任务的鲁棒性。在简要回顾了大量具有代表性的攻击和防御方法后，以两条鲁棒性曲线作为公平的评价标准，进行了大规模的实验，以充分了解这些方法的性能。根据评估结果，我们得出了几个重要的发现，并为未来的研究提供见解。
2019-12-26 cs.CR cs.CV cs.LG
How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness
Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy
本文通过概率分析探讨对抗攻击与扰动鲁棒性之间的联系，提出浓度因子κ量化风险，并通过实验揭示对抗攻击在不同扰动模型下的有效性。
2026-01-25 cs.AI cs.LG
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas, Austin（得克萨斯大学奥斯汀分校）；IBM research AI（IBM研究院人工智能部门）
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而，它往往遭受的清洁和扰动数据的泛化能力差。在本文中，我们提出了一种新的算法，命名为定制的对抗训练（CAT），自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明，该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学auer数学科学中心）
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性，推导了Sobolev空间中的对抗回归最小最大最优速率，并证明了通过梯度流早停训练的NTK网络可达到该最优速率，但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Defending Collaborative Filtering Recommenders via Adversarial Robustness Based Edge Reweighting
Yongyu Wang（王 Yongyu）
本文提出了一种基于对抗鲁棒性的边重加权方法，用于防御协同过滤推荐系统中的资料注入攻击。
2025-12-12 cs.LG stat.ML
Neural Architecture Dilation for Adversarial Robustness
University of Sydney（悉尼大学）；Huawei Technologies（华为技术有限公司）；Peking University（北京大学）
随着卷积神经网络（CNN）在过去几十年中在架构和规模上的巨大进步，它们可以轻松达到甚至超过人类在某些任务中的表现。然而，最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高，但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看，本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩张架构的引入有望与骨干CNN的标准性能友好，同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明，该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University（比勒费尔德大学）
近年来，机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度，但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具，并在最近的对抗鲁棒性出版物中使用。在这项工作中，我们使用最近提出的鲁棒性曲线表明，逐点测量未能捕获重要的全局属性，这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法，并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外，我们的特点规模作为一种方式来区分小的和大的扰动，并将其与数据集的固有属性，表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验，其中包括一个Python模块，用于计算任意数据集和分类器的鲁棒性曲线，支持许多框架，包括TensorFlow，PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Adversarial Robustness of Deep Learning: Theory, Algorithms, and Applications
University of Exeter（埃克塞特大学）；University of Liverpool（利物浦大学）
本教程旨在介绍深度学习对抗性鲁棒性的基础知识，对最新技术进行结构良好的回顾，以评估各种类型的深度学习模型对对抗性示例的脆弱性。本教程将特别强调对抗攻击和深度神经网络（DNN）鲁棒性验证中的最新技术。我们还将介绍一些有效的对策来提高深度学习模型的鲁棒性，特别关注对抗训练。我们的目标是提供关于这一新兴方向的全面的整体图景，并使社区意识到在安全关键型数据分析应用程序中设计鲁棒的深度学习模型的紧迫性和重要性，最终使最终用户能够信任深度学习分类器。我们还将总结有关深度学习对抗性鲁棒性的潜在研究方向，以及其潜在的好处，以实现基于深度学习的可靠和可信的数据分析系统和应用程序。
2021-08-24 cs.AI cs.LG
On the Adversarial Robustness of Quantized Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）
减小神经网络模型的大小是将人工智能从以云为中心的计算模式转变为以边缘为中心的计算模式的关键一步。这种从云到边缘的转变是由许多因素推动的，包括减少延迟，提高安全性，以及跨多个应用领域（例如运输，医疗保健，国防等）的AI算法的更高灵活性。然而，目前尚不清楚模型压缩技术如何影响AI算法对对抗攻击的鲁棒性。本文探讨了量化的效果，最常见的压缩技术之一，对抗的鲁棒性的神经网络。具体来说，我们调查和建模的准确性量化神经网络的不利扰动图像。结果表明，对于简单的基于梯度的攻击，量化可以提高或降低对抗鲁棒性取决于攻击强度。
2021-05-01 cs.CR cs.LG
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防御系统有限公司）
在本文中，我们介绍了一种新的神经网络训练框架，通过将对比学习（CL）与对抗训练（AT）相结合，提高了模型对对抗攻击的对抗鲁棒性，同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性，将对抗性示例视为另一个正面示例，并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性，同时不断更新分类头，以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间，同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗特征的对比学习（CLAF），在该数据集上，它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research（IBM研究院）；IBM Research Ireland（IBM爱尔兰研究院）；IBM Research India（IBM印度研究院）
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中，我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析，说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明，出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂，因此没有有效的一刀切的参数设置存在。然后，我们证明，我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现，我们提出了一种实用的方法，该方法利用超参数优化技术来调整对抗训练，以最大限度地提高鲁棒性，同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University（清华大学）；IBM Research（IBM研究院）；University of California, Los Angeles（加州大学洛杉矶分校）；SenseTime Research（商汤科技研究院）；Northeastern University（东北大学）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击，这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而，对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架，该框架在保持对抗鲁棒性的同时实现了模型压缩，从根本上解决了对抗训练的困境。此外，这项工作研究了两个假设的权重修剪在传统的设置，并发现权重修剪是必要的，以减少网络模型的大小在对抗设置，从头开始训练一个小的模型，即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen（蒂宾根大学）
神经网络在图像分类方面取得了重大进展，但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中，我们提出了RATIO，这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程，它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性，因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性，但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性，并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
