Adversarial Training: embedding adversarial perturbations into the parameter space of a neural network to build a robust system
University of Southern California(南加州大学)
对抗性训练,即在对抗性和干净样本上对网络进行训练,是对抗对抗攻击最值得信赖的防御方法之一。然而,在实现和部署这种方法时存在三个主要的实际困难-在额外的内存和计算成本方面昂贵;干净和对抗性示例之间的准确性权衡;以及缺乏对抗性扰动的多样性。经典对抗训练在对抗样本(输入空间)中使用固定的、预先计算的扰动。相比之下,我们通过向深度卷积神经网络的全连接层添加扰动偏置,将动态对抗扰动引入网络的参数空间。在训练过程中,仅使用干净的图像,扰动偏差在快速梯度符号方向上更新,以通过回收计算的梯度信息自动创建和存储对抗扰动。网络会自动学习并调整自己以适应这些习得的对抗性扰动。因此,与需要对抗性示例图像的训练集相比,我们可以以微不足道的成本实现对抗性训练。此外,如果与经典的对抗性训练相结合,我们的扰动偏差可以减轻准确性权衡困难,并使对抗性扰动多样化。
2019-10-09 cs.LG stat.ML
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University(亚琛工业大学)
最近,有大量关于设计深度神经网络(DNN)的工作,这些网络对对抗性示例具有鲁棒性。特别是,一个中心问题是DNN的哪些特征会影响对抗鲁棒性,因此可以用于设计鲁棒的DNN。在这项工作中,这个问题是研究通过镜头的压缩,这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上,当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时,神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时,它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争,但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Adversarial Training for Probabilistic Spiking Neural Networks
New Jersey Institute of Technology(新泽西理工学院);King’s College London(伦敦国王学院)
已知使用常规经验风险最小化或极大似然方法训练的分类器在基于分类器的决策规则的知识对抗性地选择的示例上进行测试时遭受显著的性能降级。由于人工神经网络(ANN)作为分类器的突出性,它们对对抗性示例的敏感性以及鲁棒的训练方案最近一直是深入研究的主题。在本文中,第一次,尖峰神经网络(SNNs),或第三代神经网络,对抗性的例子的敏感性进行了研究。该研究考虑了速率和时间编码,以及速率和第一个尖峰解码。此外,提出了一种鲁棒的训练机制,证明可以提高SNN在白盒攻击下的性能。
2018-02-26 cs.LG cs.NE eess.SP
Evaluation of Adversarial Training on Different Types of Neural Networks in Deep Learning-based IDSs
Carleton University(卡尔顿大学)
包括深度神经网络的入侵检测系统在内的网络安全应用正在迅速增加,使得异常活动的检测任务更加准确和鲁棒。随着DNN的使用和系统中传输的数据量的快速增长,不同类型的对抗攻击对击败它们构成了严峻的挑战。在本文中,我们重点研究了不同规避攻击的有效性,以及如何使用不同的神经网络来训练一个弹性的基于深度学习的IDS,例如,卷积神经网络(CNN)和递归神经网络(RNN)。我们使用最小-最大的方法来制定的问题,训练鲁棒的IDS对抗对抗的例子,使用两个基准数据集。我们在不同的深度学习算法和不同的基准数据集上的实验表明,使用基于对抗训练的最小-最大方法进行防御可以提高对五种著名的对抗攻击方法的鲁棒性。
2020-07-08 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Oxford-Man Institute(牛津-曼学院)
机器学习模型对对抗性攻击具有鲁棒性是理想的,并且通常是必要的。贝叶斯模型尤其如此,因为它们非常适合安全关键型应用,在这些应用中,对抗性攻击可能会产生灾难性的后果。在这项工作中,我们深入研究了贝叶斯神经网络(BNN)的对抗鲁棒性。特别是,我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加,特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析,零均值高斯先验和后验近似通过平均场变分推断,我们发现证据表明,对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Neural Networks in Adversarial Setting and Ill-Conditioned Weight Space
Adobe Systems Inc(奥多比系统公司)
最近,神经网络由于其在各种任务上提供高精度的能力而在其采用中出现了巨大的激增。另一方面,对抗性例子的存在引起了人们对神经网络泛化能力的怀疑。在这项工作中,我们专注于学习的神经网络的权重矩阵,并假设病态的权重矩阵是神经网络的易感性对抗性的例子的贡献因素之一。为了保证学习的权矩阵的条件数保持足够低,我们建议使用正交正则化。我们表明,这确实有助于提高MNIST和F-MNIST数据集的对抗准确性。
2018-01-03 cs.CV cs.LG stat.ML
Efficient Two-Step Adversarial Defense for Deep Neural Networks
Texas A&M University(德州农工大学)
近年来,深度神经网络在许多机器学习任务中表现出了出色的性能。然而,研究人员发现,这些最先进的模型容易受到对抗性示例的影响:通过人眼无法察觉的小扰动添加的合法示例。对抗性训练在训练过程中使用对抗性示例来增强训练数据,是一种众所周知的防御方法,可以提高模型对对抗攻击的鲁棒性。然而,这种鲁棒性仅对用于对抗训练的相同攻击方法有效。Madry等人(2017)提出,迭代多步对抗攻击的有效性,特别是投影梯度下降(PGD)可以被认为是通用的一阶对手,并且使用PGD进行对抗训练意味着对许多其他一阶攻击的抵抗。然而,使用PGD和其他多步对抗示例进行对抗训练的计算成本远远高于使用其他简单攻击技术进行对抗训练的计算成本。在本文中,我们展示了如何强大的对抗性的例子可以产生的成本只有类似于两个运行的快速梯度符号方法(FGSM),允许防御对抗攻击的鲁棒性水平相媲美的对抗性训练与多步对抗性的例子。我们实证证明了所提出的两步防御方法对不同的攻击方法和现有的防御策略的改进的有效性。
2018-10-08 cs.LG stat.ML
Adversarial VC-dimension and Sample Complexity of Neural Networks
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
在神经网络测试阶段的对抗攻击对安全关键设置中的神经网络的部署构成了挑战。这些攻击可以通过在原始数据上添加人类无法感知的噪声来执行。通过这样做,攻击者可以创建一个对抗性样本,这将导致神经网络错误分类。在本文中,我们试图了解神经网络在对手存在的情况下可以学习的理论限制。首先定义了神经网络的假设空间,并给出了整个神经网络的增长数与每个神经元的增长数之间的关系。结合半空间分类器的对抗VC维,我们得到了具有符号激活函数的神经网络的对抗VC维。
2019-12-18 cs.LG math.ST stat.ML
Towards Stable and Comprehensive Domain Alignment: Max-Margin Domain-Adversarial Training
Nanyang Technological University(南洋理工大学);University of California, Berkeley(加州大学伯克利分校)
领域自适应解决了将知识从标签丰富的源领域转移到标签稀缺甚至未标记的目标领域的问题。最近,域对抗训练(DAT)已经显示出通过反转域分类器的梯度传播来学习域不变特征空间的有前途的能力。然而,DAT在几个方面仍然很脆弱,包括(1)由于对抗训练中领域分类器的压倒性区分能力而导致的训练不稳定性,(2)限制性特征级对齐,以及(3)缺乏对学习特征空间的可解释性或系统性解释。在本文中,我们提出了一种新的最大边缘域对抗训练(MDAT)通过设计一个对抗重建网络(ARN)。建议MDAT稳定ARN中的梯度反转通过用重建网络代替域分类器,并且以这种方式ARN进行特征级和像素级域对齐而不涉及额外的网络结构。此外,ARN对各种超参数设置表现出很强的鲁棒性,大大减轻了模型选择的任务。大量的实验结果验证了我们的方法优于其他国家的最先进的域对齐方法。此外,重构自适应特征揭示了符合我们直觉的域不变特征空间。
2020-03-30 cs.LG stat.ML
Impact of Low-bitwidth Quantization on the Adversarial Robustness for Embedded Neural Networks
CEA Tech(法国原子能与替代能源委员会技术中心);Mines Saint-Etienne(圣埃蒂安矿业学院)
随着将神经网络模型部署在嵌入式系统上的意愿的增长,并且考虑到相关的存储器占用和能量消耗问题,寻找更轻的解决方案来存储神经网络,例如权重量化和更有效的推理方法成为主要的研究主题。与此同时,对抗性机器学习最近兴起,引起了令人印象深刻的关注,揭示了机器学习模型的一些关键缺陷,特别是神经网络。特别是,被称为对抗性示例的扰动输入已被证明可以欺骗模型做出错误的预测。在这篇文章中,我们研究了对抗鲁棒性的量化神经网络在不同的威胁模型下的经典监督图像分类任务。我们发现,量化不提供任何强大的保护,在严重的形式的梯度掩蔽的结果,并提出一些假设来解释它。然而,我们实验观察到穷人的可转移能力,我们解释的量化值移位现象和梯度错位,并探讨如何利用这些结果与基于集合的防御。
2020-07-06 cs.LG stat.ML
Bandlimiting Neural Networks Against Adversarial Attacks
iFLYTEK Laboratory for Neural Computing and Machine Learning (iNCML)(科大讯飞神经计算与机器学习实验室(iNCML));York University(约克大学)
本文从傅立叶分析的角度研究了深度学习中的对抗攻击和防御问题。我们首先显式计算深度ReLU神经网络的傅立叶变换,并表明在神经网络的傅立叶谱中存在衰减但非零的高频分量。我们证明了神经网络对对抗样本的脆弱性可以归因于这些无关紧要但非零的高频分量。基于这一分析,我们建议使用一个简单的后平均技术来平滑这些高频分量,以提高神经网络对对抗攻击的鲁棒性。在ImageNet数据集上的实验结果表明,我们提出的方法对防御文献中提出的许多现有对抗性攻击方法都是普遍有效的,包括FGSM,PGD,DeepFool和C&W攻击。我们的后平均方法很简单,因为它不需要任何重新训练,同时它可以成功地防御这些方法生成的95%以上的对抗样本,而不会对原始干净图像造成任何显着的性能下降(小于1%)。
2019-05-30 cs.CR cs.CV cs.LG
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们考虑在马尔可夫链蒙特卡罗(MCMC)和贝叶斯暗知识(BDK)推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性:快速梯度符号法(FGSM)和投影梯度下降(PGD)。我们证明了完全基于MCMC的推理具有出色的鲁棒性,显著优于基于标准点估计的学习。另一方面,BDK提供了边际改进。作为一个额外的贡献,我们提出了一个存储高效的方法来计算对抗的例子,大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Improving the Generalization of Adversarial Training with Domain Adaptation
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Cornell University(康奈尔大学)
通过将对抗性示例注入训练数据,对抗性训练有望提高深度学习模型的鲁棒性。然而,大多数现有的对抗训练方法是基于特定类型的对抗攻击。它可能无法从对抗域提供足够有代表性的样本,导致对其他攻击的对抗样本的泛化能力较弱。此外,在对抗性训练过程中,输入的对抗性扰动通常由快速单步对手制作,以便扩展到大型数据集。这项工作主要集中在对抗训练,但有效的FGSM对手。在这种情况下,由于缺乏具有代表性的对抗样本,即样本无法准确反映对抗域,因此很难训练具有很大泛化能力的模型。为了缓解这个问题,我们提出了一种新的对抗训练与领域自适应(ATDA)方法。我们的直觉是将FGSM对手的对抗训练视为具有有限数量目标域样本的域适应任务。其主要思想是学习一种在干净域和对抗域上具有语义意义和域不变的表示。对Fashion-MNIST、SVHN、CIFAR-10和CIFAR-100的实证评估表明,ATDA可以大大提高对抗训练的泛化能力和学习模型的平滑度,并在标准基准数据集上优于最先进的方法。为了展示我们方法的迁移能力,我们还将ATDA扩展到迭代攻击的对抗训练,如PGD-Adversial Training(PAT),防御性能得到了显着提高。
2019-03-15 cs.CV cs.LG stat.ML
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab(Criteo人工智能实验室);Amazon(亚马逊);Meta AI Research(Meta人工智能研究院)
在本文中,我们研究了神经网络(NN)拓扑结构对对抗鲁棒性的影响。具体来说,我们研究了当输入遍历NN的所有层时产生的图,并表明这些图对于干净的和对抗性的输入是不同的。我们发现,来自干净输入的图形更集中在高速公路边缘,而来自对手的图形则更分散,利用了优化不足的边缘。通过在各种数据集和架构上的实验,我们证明了这些优化不足的边缘是对抗性脆弱性的来源,它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Convergence of Adversarial Training in Overparametrized Neural Networks
Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Princeton University(普林斯顿大学)
神经网络容易受到对抗性样本的影响,即输入被自然数据不知不觉地干扰,但网络却错误地分类。对抗训练是一种在最小化和最大化步骤之间交替的鲁棒优化的启发式形式,已被证明是训练网络对预定义的扰动族鲁棒的最成功的方法之一。本文提供了对抗训练成功的部分答案,通过证明它收敛到一个网络,其中相对于攻击算法的代理损失在最佳鲁棒损失的$ε$范围内。然后,我们证明了最佳鲁棒损失也接近于零,因此对抗训练找到了一个鲁棒的分类器。分析技术利用最近的工作,通过神经切线核(NTK)的神经网络的分析,结合从在线学习的动机时,最大化的启发式解决,和表现力的NTK内核中的$\ell_\infty$规范。此外,我们还证明了鲁棒插值需要更多的模型容量,支持对抗训练需要更广泛的网络的证据。
2019-11-09 cs.LG stat.ML
Adversarial Risk Bounds for Neural Networks through Sparsity based Compression
Institute for Theoretical Information Technology(理论信息技术研究所);RWTH Aachen University(亚琛工业大学)
神经网络已经被证明容易受到其输入的微小对抗性扰动的影响,特别是对于在$\ell_\infty$攻击下的高维数据。为了解决这个问题,已经采用了对抗训练等技术来获得在训练集上鲁棒的模型。然而,此类模型对对抗性扰动的鲁棒性可能无法推广到看不见的数据。为了研究鲁棒性如何推广,最近的工作假设输入具有有界$\ell_2$ -范数,以便在没有显式维度依赖的情况下约束$\ell_\infty$攻击的对抗风险。在这项工作中,我们专注于$\ell_\infty$攻击$\ell_\infty$有界的输入和证明基于边缘的界限。具体来说,我们使用基于压缩的方法,该方法依赖于有效压缩可调参数集,而不会扭曲对抗风险。为了实现这一点,我们将有效稀疏性和有效联合稀疏性的概念应用于神经网络的权重矩阵。这导致边界不显式依赖于输入维度,也不依赖于类的数量。我们的研究结果表明,具有近似稀疏权矩阵的神经网络不仅具有增强的鲁棒性,而且具有更好的泛化能力。
2019-06-03 cs.LG stat.ML
Adversarial Examples Detection with Bayesian Neural Network
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California Davis(加利福尼亚大学戴维斯分校);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出基于贝叶斯神经网络的对抗样本检测器BATer,利用随机性模拟隐藏层输出分布并以分布离散度区分自然样本与对抗样本,在多个基准数据集上取得优于现有检测器的性能。
2024-02-23 cs.CV cs.LG stat.ML
On the Adversarial Robustness of Neural Networks without Weight Transport
University of Toronto(多伦多大学);Triage
用反向传播训练的神经网络是使用权重传输的深度学习的标准算法,很容易被现有的基于梯度的对抗攻击愚弄。这类攻击是基于输入的某些小扰动,使网络错误分类它们。我们发现,用反馈对齐训练的生物学上不太难以置信的深度神经网络,不使用权重传输,可以更难被愚弄,提供实际的鲁棒性。在MNIST上进行测试,没有权重传输的深度神经网络(1)具有98%的对抗准确率,而使用反向传播训练的神经网络的准确率为0.03%,(2)生成不可转移的对抗示例。然而,这个差距减少CIFAR-10,但仍然是显着的,特别是小扰动幅度小于1/2。
2019-10-03 cs.CR cs.LG stat.ML
Domain Adversarial Fine-Tuning as an Effective Regularizer
National Technical University of Athens(雅典国立技术大学);University of Sheffield(谢菲尔德大学);LMU Munich(慕尼黑大学);Athens University of Economics and Business(雅典经济与商业大学)
在自然语言处理(NLP)中,最近已经证明,被转移到下游任务的预训练的语言模型(LM)可以实现最先进的结果。然而,标准的微调可能会降低预训练期间捕获的通用域表示。为了解决这个问题,我们引入了一种新的正则化技术,AFTER;域对抗性微调作为有效的正则化器。具体来说,我们用对抗性目标补充了微调过程中使用的特定于任务的损失。这个额外的损失项与对抗分类器有关,其目的是区分域内和域外文本表示。域内是指手头任务的标记数据集,而域外是指来自不同域的未标记数据。直观地说,对抗分类器充当正则化器,防止模型过度拟合特定于任务的域。对各种自然语言理解任务的实证结果表明,与标准微调相比,AFTER可以提高性能。
2020-10-05 cs.LG stat.ML
Improving the Robustness of Deep Neural Networks via Adversarial Training with Triplet Loss
Nanjing University(南京大学);JD AI Research(京东人工智能研究院)
最近的研究表明,深度神经网络(DNN)容易受到对抗性样本的影响。在本文中,我们通过利用距离度量学习技术来提高DNN的鲁棒性。具体来说,我们将最流行的距离度量学习方法之一Triplet Loss纳入对抗训练的框架中。我们提出的算法,对抗训练与三重损失(AT $^2$ L),替代对抗的例子对当前模型的锚三重损失,有效地平滑分类边界。此外,我们提出了一个集成版本的AT $^2$ L,聚合不同的攻击方法和模型结构,以更好的防御效果。我们的实证研究验证了所提出的方法可以显着提高DNN的鲁棒性,而不会牺牲准确性。最后,我们证明了我们专门设计的三重态损失也可以用作正则化项来增强其他防御方法。
2019-05-28 cs.LG stat.ML
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos(阿托斯公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管人工神经网络具有很好的性能,但对于大多数工业应用来说,它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制,以防止各种干扰,包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略,称为M-TLAT,旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法,称为目标标记对抗训练(TLAT)。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明,M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性,而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Adversarial Neural Pruning with Latent Vulnerability Suppression
KAIST(韩国科学技术院);AITRICS
尽管深度神经网络在各种计算机视觉任务上表现出色,但众所周知,它们容易受到对抗性扰动的影响,这使得将它们部署在现实世界的安全关键型应用中具有挑战性。在本文中,我们推测对抗脆弱性的主要原因是潜在特征空间的失真,并提供有效抑制它们的方法。解释一下,我们为每个潜在特征定义了\emph{vulnerability},然后提出了一个新的对抗学习损失,\emph{Vulnerability Suppression (VS)}损失,旨在最大限度地减少训练过程中的特征级漏洞。我们进一步提出了一个贝叶斯框架来修剪具有高脆弱性的特征,以减少对抗样本的脆弱性和损失。我们在多个基准数据集上验证了我们的\emph{Adversarial Neural Pruning with Vulnerability Suppression (ANP-VS)}方法,在这些数据集上,它不仅获得了最先进的对抗鲁棒性,而且还提高了干净示例的性能,仅使用了整个网络使用的一小部分参数。进一步的定性分析表明,这些改进来自对特征级脆弱性的抑制。
2020-07-02 cs.CR cs.CV cs.LG
Towards Adversarial Training with Moderate Performance Improvement for Neural Network Classification
Huawei Technologies Noah’s Ark Lab(华为技术诺亚方舟实验室);National University of Singapore(新加坡国立大学)
已有研究表明,深度神经网络在推理过程中容易受到噪声样本,特别是对抗样本的影响。现实世界应用中的强大深度学习系统与脆弱的神经网络之间的差距仍然很大。目前的对抗训练策略提高了对抗样本的鲁棒性。然而,这些方法会导致精度降低时,输入的例子是干净的,从而阻碍了实用性。在本文中,我们研究了一种方法,保护神经网络分类从敌对的样本,并提高其准确性时,输入的例子是干净的。我们在各种不同的网络和数据集上展示了我们所提出的方法的多功能性和有效性。
2018-07-01 cs.AI cs.CV cs.LG
Adversarial Reprogramming of Text Classification Neural Networks
University of California San Diego(加州大学圣地亚哥分校)
对抗性重编程已经成功地利用预先训练的神经网络分类器进行替代分类任务,而无需修改原始网络。这种攻击场景中的对手训练对输入的附加贡献,以将神经网络重新用于新的分类任务。虽然这种重编程方法适用于具有连续输入空间(例如图像)的神经网络,但它不直接适用于针对文本分类等任务训练的神经网络,其中输入空间是离散的。重新使用这样的分类网络需要攻击者学习一个对抗程序,将输入从一个离散空间映射到另一个离散空间。在这项工作中,我们引入了一个基于上下文的词汇重映射模型来重新编程神经网络训练的特定序列分类任务,一个新的序列分类任务所需的对手。我们提出了在白盒和黑盒设置中的对抗程序的训练程序。我们通过逆向地重新利用各种文本分类模型(包括LSTM、双向LSTM和CNN)来演示我们的模型的应用,以用于替代分类任务。
2019-08-15 cs.CR cs.LG stat.ML
Non-Determinism in Neural Networks for Adversarial Robustness
Carnegie Mellon University(卡内基梅隆大学)
深度学习领域的最新突破推动了计算机视觉、音频处理、自然语言处理和其他领域的广泛任务。在大多数情况下,这些任务部署在现实世界的场景中,其中使用的模型已被证明容易受到对抗攻击的影响,这使得我们必须解决其对抗鲁棒性的挑战。对抗鲁棒性的现有技术分为三大类:防御性蒸馏技术、对抗性训练技术和基于随机或非确定性模型的技术。在本文中,我们提出了一种新的神经网络范例,属于对抗鲁棒性的随机模型的类别,但不同于所有现有的技术,在这一类别下,它模型的每个参数的网络作为一个统计分布与可学习的参数。我们的实验表明,该框架是高度鲁棒的各种白盒和黑盒对抗攻击,同时保留了传统的神经网络模型的特定于任务的性能。
2019-05-26 cs.CR cs.LG stat.ML
Adversarial Attacks on Neural Network Policies
University of California, Berkeley(加州大学伯克利分校);Pennsylvania State University(宾夕法尼亚州立大学);OpenAI
已知机器学习分类器易受对手恶意构造的输入的攻击,以强制错误分类。这种对抗性的例子已经在计算机视觉应用的背景下被广泛研究。在这项工作中,我们证明了对抗攻击在强化学习中针对神经网络策略时也是有效的。具体来说,我们展示了现有的对抗性示例制作技术可以用于显着降低训练策略的测试时性能。我们的威胁模型认为对手能够引入小扰动的原始输入的政策。我们的特点的脆弱性程度的任务和训练算法,在白盒和黑盒设置的一个子类的对抗性的例子攻击。无论是学习任务还是训练算法,我们都观察到性能显著下降,即使是不干扰人类感知的小对抗性扰动。视频可在http://rll.berkeley.edu/adversarial上获得。
2017-02-08 cs.CR cs.LG stat.ML
Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks
Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学);Stanford University(斯坦福大学);Peking University(北京大学)
对抗性示例通常是针对特定模型的特定输入生成的,在神经网络中无处不在。在本文中,我们揭示了对抗性噪声放在一起时的一个令人惊讶的特性,即,如果配备有相应的标签,则由一步梯度方法制作的对抗性噪声是线性可分离的。我们从理论上证明了这个属性的两层网络随机初始化的条目和神经切线核设置的参数是不远处的初始化。证明的思想是表明标签信息可以有效地反向传播到输入,同时保持线性可分性。我们的理论和实验证据进一步表明,用训练数据的对抗性噪声训练的线性分类器能够很好地分类测试数据的对抗性噪声,说明对抗性噪声实际上对原始数据的分布注入了一种分布扰动。此外,我们的经验表明,当上述条件受到损害时,对抗性噪声可能变得不那么线性可分离,而它们仍然比原始特征更容易分类。
2022-06-09 cs.AI cs.LG stat.ML
Dual Adversarial Co-Learning for Multi-Domain Text Classification
Carleton University(卡尔顿大学)
在本文中,我们提出了一种新的双对抗的多域文本分类(MDTC)的共同学习方法。该方法学习共享私有网络进行特征提取,并在基于差异的协同学习框架下,采用双对抗正则化方法同时对齐不同领域以及标记和未标记数据之间的特征,旨在提高分类器的泛化能力。我们在多领域情感分类数据集上进行了实验。实验结果表明,该方法实现了最先进的MDTC性能。
2019-09-18 cs.IR cs.LG stat.ML
Instance adaptive adversarial training: Improved accuracy tradeoffs in neural nets
Facebook AI Research(Facebook人工智能研究院);University of Maryland(马里兰大学);Georgia Institute of Technology(佐治亚理工学院)
对抗性训练是迄今为止提高神经网络对对抗攻击鲁棒性的最成功的策略。尽管对抗性训练作为一种防御机制是成功的,但它不能很好地推广到未受干扰的测试集。我们假设这种较差的泛化能力是对抗训练的结果,每个训练样本周围的扰动半径都是均匀的。接近决策边界的样本可以在小的扰动预算下变形为不同的类,并且在这些样本周围强制执行大的裕度产生概括性差的差的决策边界。基于这一假设,我们提出了实例自适应对抗训练--一种在每个训练样本周围强制执行样本特定扰动裕度的技术。我们表明,使用我们的方法,未扰动样本的测试精度提高了鲁棒性的边际下降。在CIFAR-10、CIFAR-100和Imagenet数据集上的实验证明了该方法的有效性。
2019-10-17 cs.CV cs.LG stat.ML
Improving Neural Language Modeling via Adversarial Training
UT Austin(德克萨斯大学奥斯汀分校)
最近,通过使用深度神经网络在语言建模方面取得了实质性进展。然而,在实践中,大规模神经语言模型已被证明是容易过拟合。在本文中,我们提出了一个简单而高效的对抗训练机制,用于正则化神经语言模型。这个想法是在训练模型的同时将对抗性噪声引入输出嵌入层。我们证明了最佳对抗性噪声产生一个简单的封闭形式的解决方案,从而使我们能够开发一个简单和时间有效的算法。理论上,我们证明了我们的对抗机制有效地鼓励了嵌入向量的多样性,有助于提高模型的鲁棒性。从经验上讲,我们的方法改进了Penn Treebank(PTB)和Wikitext-2上语言建模的单一模型最先进的结果,分别达到了46.01和38.07的测试困惑分数。当应用于机器翻译时,我们的方法在WMT 14英语-德语和IWSLT 14德语-英语任务的BLEU分数中改善了各种基于transformer的翻译基线。
2019-09-09 cs.CL cs.LG stat.ML
Towards Imperceptible and Robust Adversarial Example Attacks against Neural Networks
The Chinese University of Hong Kong(香港中文大学)
基于深度神经网络的机器学习系统能够在各种感知任务上产生最先进的结果,已经在许多应用中获得主流采用。然而,它们被证明容易受到对抗性示例攻击,这种攻击通过向输入添加轻微的扰动来生成恶意输出。然而,以前的对抗性示例制作方法使用简单的度量来评估原始示例和对抗性示例之间的距离,这可以很容易地被人眼检测到。此外,由于物理世界中不可避免的噪声和偏差,这些攻击通常不鲁棒。在这项工作中,我们提出了一种新的对抗性示例攻击制作方法,该方法考虑了人类的感知系统,并最大限度地提高了制作的对抗性示例的噪声容忍度。实验结果证明了所提出的技术的有效性。
2018-01-15 cs.CR cs.LG stat.ML
Colored Noise Injection for Training Adversarially Robust Neural Networks
Technion – Israel Institute of Technology(以色列理工学院);Intel – Artificial Intelligence Products Group (AIPG)(英特尔人工智能产品事业部)
尽管深度学习在各种任务上表现出无与伦比的性能,但神经网络已被证明容易受到输入的小对抗性扰动的影响,从而导致性能显著下降。在这项工作中,我们扩展了在对抗训练(PNI)期间向网络权重和激活添加高斯白噪声的想法,以注入有色噪声来防御常见的白盒和黑盒攻击。我们表明,我们的方法在CIFAR-10和CIFAR-100数据集的对抗准确性方面优于PNI和各种以前的方法。此外,我们提供了一个广泛的消融研究所提出的方法证明所选择的配置。
2020-03-20 cs.CV cs.LG stat.ML
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College(康尼斯托加学院);Drexel University(德雷塞尔大学)
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中,首先,我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形,并攻击DeepSpeech,这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率(DeepSpeech分类成功率为零)。其次,我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度,并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类,这表明PCA不是音频域中的良好防御机制。最后,我们没有使用PCA作为防御机制,这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下,我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击,并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件,需要在攻击过程中的分类结果。在所有情况下,对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Deep Neural Networks based Modrec: Some Results with Inter-Symbol Interference and Adversarial Examples
深度神经网络(DNN)在机器视觉和自然语言处理(NLP)中的最新成功和进展促使其在传统信号处理和通信系统中的使用。在本文中,我们提出了这样的应用程序的自动调制识别问题的结果。无线通信信道的变化由统计信道模型表示,并且它们的参数化将随着5G的出现而增加。在本文中,我们报告了简单的双路径通道模型对我们基于朴素深度神经网络的实现的影响。我们还报告了对抗扰动对输入信号的影响。
2018-11-14 cs.LG eess.SP stat.ML
Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们考虑一个任意宽度的单隐藏层Leaky ReLU网络,该网络在任意初始化后通过随机梯度下降(SGD)进行训练。我们证明了SGD产生的神经网络具有竞争力的分类精度的最佳半空间分布的广泛的一类分布,包括日志凹各向同性和硬边缘分布。等价地,当数据分布是线性可分的但被对抗性标签噪声破坏时,这样的网络可以泛化,尽管有过拟合的能力。据我们所知,这是第一个表明SGD训练的过参数化神经网络在数据被对抗性标签噪声破坏时可以泛化的工作。
2021-02-15 cs.LG math.OC stat.ML
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
在这项工作中,我们研究了深度神经网络的输入梯度正则化,并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难,但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练,我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明,正则化模型是更强大的,图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
近年来,机器学习算法,更具体地说,深度学习算法,已经广泛应用于包括网络安全在内的许多领域。然而,机器学习系统容易受到对抗攻击,并且这限制了机器学习的应用,特别是在非静止的对抗性环境中,诸如网络安全领域,其中实际的对手(例如,恶意软件开发者)存在。本文全面总结了针对基于机器学习技术的安全解决方案的对抗攻击的最新研究,并说明了它们带来的风险。首先,对抗攻击方法的特点是基于他们的发生阶段,攻击者的目标和能力。然后,我们分类的对抗攻击和防御方法在网络安全领域的应用。最后,我们强调了最近研究中发现的一些特征,并讨论了其他对抗性学习领域的最新进展对网络安全领域未来研究方向的影响。本文首次讨论了在网络安全领域实施端到端对抗攻击的独特挑战,将其映射到统一的分类中,并使用分类突出未来的研究方向。
2021-03-13 cs.CR cs.LG stat.ML
Adversarial Neural Machine Translation
Sun Yat-sen University(中山大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文研究了一种新的神经机器翻译学习范式。我们不是像以前的作品那样最大化人工翻译的可能性,而是最小化人工翻译和NMT模型给出的翻译之间的区别。为了实现这一目标,受最近生成对抗网络(GANs)成功的启发,我们采用了一种对抗训练架构,并将其命名为对抗NMT。在Adversarial-NMT中,NMT模型的训练由对手辅助,对手是精心设计的卷积神经网络(CNN)。对手的目标是区分NMT模型生成的翻译结果与人类的翻译结果。NMT模型的目标是产生高质量的翻译,以欺骗对手。利用策略梯度方法来共同训练NMT模型和对手。在英语$\rightarrow$法语和德语$\rightarrow$英语翻译任务上的实验结果表明,与几个强基线相比,Adversarial-NMT可以实现更好的翻译质量。
2018-09-30 cs.CL cs.LG stat.ML
Deep adversarial neural decoding
Radboud University(拉德堡德大学)
在这里,我们提出了一种新的方法,通过结合概率推理和深度学习来解决从大脑反应中重建感知刺激的问题。我们的方法首先用最大后验估计反转从潜在特征到大脑响应的线性变换,然后用卷积神经网络的对抗训练反转从感知刺激到潜在特征的非线性变换。我们用功能性磁共振成像实验测试了我们的方法,并表明它可以从大脑激活中生成最先进的感知面部重建。
2017-06-15 cs.LG q-bio.NC stat.ML
Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network
UCLA(加州大学洛杉矶分校);UC Davis(加州大学戴维斯分校)
我们提出了一种新的算法来训练一个强大的神经网络对抗对抗攻击。我们的算法是由以下两个想法的动机。首先,尽管最近的工作已经证明融合随机性可以提高神经网络的鲁棒性(Liu 2017),但我们注意到,盲目地向所有层添加噪声并不是引入随机性的最佳方式。相反,我们在贝叶斯神经网络(BNN)的框架下对随机性进行建模,以可扩展的方式正式学习模型的后验分布。其次,我们制定了BNN的最小-最大问题,学习最好的模型分布下对抗攻击,导致一个对抗训练贝叶斯神经网络。实验结果表明,该算法在强攻击下具有较好的性能。在具有VGG网络的CIFAR-10上,与对抗训练(Madry 2017)和随机自集成(Liu 2017)相比,在具有$0.035$失真的PGD攻击下,我们的模型的准确率提高了14%,并且在ImageNet的子集上差距变得更大。
2019-05-04 cs.AI cs.CR cs.LG
Adversarial Examples: Attacks and Defenses for Deep Learning
University of Florida(佛罗里达大学)
深度学习在广泛的应用中取得了快速进展和重大成功,正在许多安全关键环境中应用。然而,最近发现深度神经网络容易受到精心设计的输入样本(称为对抗样本)的影响。对抗性示例对人类来说是不可感知的,但在测试/部署阶段可以很容易地欺骗深度神经网络。对抗性示例的脆弱性成为在安全关键环境中应用深度神经网络的主要风险之一。因此,对抗性样本的攻击和防御引起了人们的极大关注。在本文中,我们回顾了最近关于深度神经网络对抗性示例的研究结果,总结了生成对抗性示例的方法,并提出了这些方法的分类。根据分类法,对抗性的例子的应用程序进行了研究。我们进一步阐述了对抗性例子的对策,并探讨了挑战和潜在的解决方案。
2018-07-07 cs.CR cs.CV cs.LG
ZK-GanDef: A GAN based Zero Knowledge Adversarial Training Defense for Neural Networks
New Jersey Institute of Technology(新泽西理工学院)
神经网络分类器已成功地应用于广泛的应用领域。然而,他们对无攻击环境的基本假设已经被对抗性的例子所挑战。研究人员试图开发防御措施;然而,现有的方法仍然远远不能为这个不断发展的问题提供有效的解决方案。在本文中,我们设计了一个基于生成对抗网(GAN)的零知识对抗训练防御,称为ZK-GanDef,它在训练过程中不消耗对抗样本。因此,ZK-GanDef不仅训练效率高,而且还能适应新的对抗性示例。与完全知识方法相比,这种优势是以测试精度的小降级为代价的。我们的实验表明,与零知识方法相比,ZK-GanDef将对抗性示例的测试准确率提高了49.17%。更重要的是,它的测试准确率接近最先进的全知识方法(最大降级为8.46%),同时训练时间更少。
2019-04-17 cs.CR cs.CV cs.LG
Robust Design of Deep Neural Networks against Adversarial Attacks based on Lyapunov Theory
Booz Allen Hamilton(博思艾伦汉密尔顿)
深度神经网络(DNN)很容易受到施加到输入的细微对抗性扰动的影响。这些对抗性扰动虽然难以察觉,但很容易误导DNN。在这项工作中,我们采取控制理论的方法来解决DNN的鲁棒性问题。我们将DNN的每个单独层视为非线性动力系统,并使用李雅普诺夫理论证明局部稳定性和鲁棒性。然后,我们继续证明整个DNN的稳定性和鲁棒性。我们开发经验紧边界的输出层,或任何隐藏层的响应,对抗扰动添加到输入,或隐藏层的输入。最近的工作提出了谱范数正则化作为提高对l2对抗攻击的鲁棒性的解决方案。我们的研究结果为谱范数正则化如何减轻对抗效应提供了新的见解。最后,我们评估了我们的方法在各种数据集和网络架构上的能力,以及对一些著名的对抗攻击的能力。
2019-11-12 cs.LG cs.SY eess.SY
GanDef: A GAN based Adversarial Training Defense for Neural Network Classifier
New Jersey Institute of Technology(新泽西理工学院);Qatar Computing Research Institute(卡塔尔计算研究所)
机器学习模型,特别是神经网络(NN)分类器,被广泛用于包括自然语言处理、计算机视觉和网络安全的许多应用中。它们在无攻击场景的假设下提供高准确性。然而,这一假设已经被引入对抗性示例所挑战-精心扰动的输入样本通常被错误分类。许多研究人员试图开发一种防御对抗性例子的方法;然而,我们离实现这一目标还很远。在本文中,我们设计了一个基于生成对抗网络(GAN)的对抗训练防御,称为GanDef,它利用竞争游戏来调节训练过程中的特征选择。我们分析表明,GanDef可以训练分类器,使其能够抵御对抗性的例子。通过对不同白盒对抗示例的广泛评估,GanDef训练的分类器显示出与最先进的对抗训练防御训练的分类器相同的测试准确度。更重要的是,GanDef的变体GanDef-Comb可以利用GanDef来实现正确分类原始示例和对抗示例之间的动态权衡。因此,当对抗性示例的比例超过41.7%时,它实现了最高的整体测试准确率。
2019-03-06 cs.CR cs.CV cs.LG
Attacking Bayes: On the Adversarial Robustness of Bayesian Neural Networks
New York University(纽约大学)
本文通过三类任务上的攻击实验,证明贝叶斯神经网络及其不确定性预测流程并不天然具备对抗鲁棒性,并纠正了先前工作中的概念与实验错误。
2024-04-27 cs.AI cs.CV cs.LG
Towards Proving the Adversarial Robustness of Deep Neural Networks
Stanford University(斯坦福大学)
自动驾驶汽车是高度复杂的系统,需要在各种情况下可靠地运行。为这些车辆手动制作软件控制器是困难的,但在使用机器学习生成的深度神经网络方面取得了一些成功。然而,深度神经网络对人类工程师来说是不透明的,这使得它们的正确性很难手动证明;而现有的自动化技术,不是为了在神经网络上运行而设计的,无法扩展到大型系统。本文的重点是证明深度神经网络的对抗鲁棒性,即证明对网络正确分类的输入的小扰动不会导致它被错误分类。我们描述了我们最近和正在进行的一些验证网络对抗鲁棒性的工作,并讨论了我们遇到的一些开放性问题以及如何解决这些问题。
2017-09-08 cs.CR cs.LG cs.LO
Adversarial Robustness Guarantees for Random Deep Neural Networks
Scuola Normale Superiore(比萨高等师范学校);MIT(麻省理工学院)
深度学习算法的可靠性从根本上受到对抗性示例的挑战,这些示例是错误分类的输入,非常接近正确分类的输入。我们探索了具有随机权重和偏差的深度神经网络的对抗性示例的属性,并证明了对于任何$p\ge1$,任何给定输入到分类边界的$\ell^p$距离都是输入维度乘以输入$\ell^p$范数的平方根。结果是基于最近证明的高斯过程和深层神经网络之间的等价性在无限宽度的隐藏层的限制,并验证了随机深层神经网络和深层神经网络在MNIST和CIFAR10数据集上训练的实验。这些结果构成了对抗性示例的理论理解的根本性进步,并为网络架构与对抗性扰动鲁棒性之间关系的彻底理论表征开辟了道路。
2021-07-22 cond-mat.dis-nn cs.LG math-ph