Towards Resistant Audio Adversarial Examples
Fraunhofer AISEC(弗劳恩霍夫应用安全研究中心)
对抗性示例极大地威胁了基于机器学习的系统的可用性和完整性。虽然这种攻击的可行性首先在图像处理领域被观察到,但最近的研究表明,语音识别也容易受到对抗攻击的影响。然而,可靠地桥接气隙(即,使对抗性的例子在通过麦克风记录时起作用)迄今为止一直困扰着研究人员。我们发现,由于生成过程中的缺陷,最先进的对抗性示例生成方法由于目标语音识别系统中的分箱操作而导致过拟合(例如,Mozilla Deepspeech)。我们设计了一种方法来减轻这个缺陷,并发现我们的方法提高了具有不同偏移量的对抗性示例的生成。我们证实了显着的改善与我们的方法,在一个现实的空中设置的编辑距离的经验比较。我们的做法表明向空中攻击迈出了重要一步。我们发布代码和我们方法的适用实现。
2020-10-14 cs.CR cs.LG cs.SD
AIRRI: Towards a Human-Readable, Machine-Resistant Reading Interface
University of Rhode Island(罗德岛大学)
本研究提出AIRRI框架,结合图像变换与RayS等对抗攻击技术,可大幅降低Tesseract等图像文本提取系统的性能,减少AI辅助完成作业的可能性。
2026-10-14 cs.CV cs.HC cs.LG
Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks
ETAS GmbH(伊塔斯有限公司);Bosch Group(博世集团)
深度学习已经成为许多机器学习问题(如分类)的最先进方法。最近的研究表明,深度学习非常容易受到对抗性扰动的影响。以自动驾驶汽车的摄像头系统为例,微小的对抗性扰动可能会导致系统在重要任务中出错,例如对交通标志进行分类或检测行人。因此,为了在没有安全问题的情况下使用深度学习,需要适当的防御策略。我们建议使用集成方法作为对抗性扰动的防御策略。我们发现,导致一个模型错误分类的攻击并不意味着执行相同任务的其他网络也会发生同样的情况。这使得集成方法成为对抗性攻击的有吸引力的防御策略。我们的经验表明,MNIST和CIFAR-10数据集集成方法不仅提高了测试数据的准确性神经网络,但也增加了他们对对抗性扰动的鲁棒性。
2018-02-08 cs.LG stat.ML
Fast Training of Deep Neural Networks Robust to Adversarial Perturbations
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度神经网络能够在许多领域中快速训练和推广。尽管深度网络的性能很有希望,但它们对输入的扰动(例如,对抗性示例)及其学习的特征表示通常难以解释,从而引起了对其真实能力和可信度的担忧。对抗性训练是一种鲁棒优化的形式,其中模型针对对抗性示例进行了优化,最近的工作证明了提高对扰动的性能敏感性并产生更可解释的特征表示的能力。然而,对抗训练的计算成本比标准训练(即,非鲁棒性)训练,使得其不适用于大规模问题。最近的工作表明,对抗训练的快速近似显示出减少训练时间和在无穷范数约束的扰动存在下保持鲁棒性的希望。在这项工作中,我们证明了这种方法扩展到欧几里德规范,并保留了人类对齐的功能表示,这是常见的强大的模型。此外,我们还表明,使用分布式训练方案可以进一步缩短训练鲁棒深度网络的时间。快速对抗训练是一种很有前途的方法,它将在机器学习应用中提供更高的安全性和可解释性,而鲁棒优化以前被认为是不切实际的。
2020-07-08 cs.LG stat.ML
Transferable Perturbations of Deep Feature Distributions
Duke University(杜克大学)
目前几乎所有对CNN分类器的对抗攻击都依赖于从网络输出层获得的信息。这项工作提出了一种新的对抗攻击的基础上建模和开发类和层的深度特征分布。我们为不设防的ImageNet模型实现了最先进的基于黑盒传输的攻击结果。此外,我们优先考虑攻击过程的可解释性和可解释性。我们的方法提供了一个分析对抗攻击如何改变CNN的中间特征分布,以及逐层和逐类特征分布分离性/纠缠的措施。我们还在CNN架构中概念化了从任务/数据特定到模型特定特征的过渡,这直接影响了对抗性示例的可转移性。
2020-04-27 cs.LG stat.ML
Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise
UCLA(加州大学洛杉矶分校);UC Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
神经常微分方程(Neural ODE)已被提出作为ResNet架构的连续近似。离散神经网络中一些常用的正则化机制(如dropout,Gaussian noise)在当前的神经ODE网络中缺失。在本文中,我们提出了一个新的连续神经网络框架,称为神经随机微分方程(神经网络)网络,它自然地结合了各种常用的正则化机制的基础上随机噪声注入。我们的框架可以对离散网络中经常用于正则化目的的各种类型的噪声注入进行建模,例如每个块中的dropout和加性/乘性噪声。我们提供了理论分析,解释了神经网络模型对输入扰动/对抗攻击的鲁棒性提高。此外,我们证明了神经网络可以实现比神经ODE更好的泛化,并且对对抗性和非对抗性输入扰动具有更强的抵抗力。
2019-06-05 cs.AI cs.CV cs.LG
A Sublinear Adversarial Training Algorithm
University of Washington(华盛顿大学);UCSB(加州大学圣巴巴拉分校);Adobe Research(奥多比研究院);Yale University(耶鲁大学)
对抗性训练是一种广泛使用的策略,用于使神经网络抵抗对抗性扰动。对于宽度为$m$的神经网络,$n$输入的训练数据是$d$维的,每次训练迭代的前向和后向计算都需要花费$Ω(mnd)$时间。在本文中,我们分析了具有移位ReLU激活的双层神经网络上对抗训练过程的收敛保证,并表明每次迭代的每个输入数据仅激活$o(m)$神经元。此外,我们开发了一个算法的对抗训练的时间成本$o(m n d)$,每次迭代通过应用半空间报告数据结构。
2022-08-10 cs.LG
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore(新加坡南洋理工大学)
在深度神经网络(DNN)的普及应用道路上,对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测,并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型,以抵抗对抗性的例子。在本文中,我们从不同的角度调查了如何理解这种有趣的属性,即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后,我们研究了常用的基准测试,并提到了理论上证明的对抗鲁棒性界限。然后,我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后,我们介绍了最近的争论的潜在成本的对抗性训练,引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Robust Deep Learning Models Against Semantic-Preserving Adversarial Attack
HKUST(香港科技大学);SUSTech(南方科技大学);University of Technology, Sydney(悉尼科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出语义保持对抗(SPA)攻击机制,通过结合属性操纵器和噪声生成器生成联合扰动样本进行对抗训练,有效提升了深度学习模型抵御联合扰动的鲁棒性。
2023-04-08 cs.LG
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Piracy Resistant Watermarks for Deep Neural Networks
University of Chicago(芝加哥大学)
随着公司继续在更大、更准确、更强大的深度学习模型上投入巨资,他们正在探索在保护知识产权的同时将模型货币化的方法。模型许可是有前途的,但需要一个强大的工具,所有者声称模型的所有权,即水印。不幸的是,目前的设计还不能解决盗版攻击,其中第三方通过将他们自己的“盗版水印”嵌入到已经加水印的模型中来错误地声称模型所有权。我们观察到,对盗版攻击的抵抗从根本上与当前使用增量训练将水印嵌入模型不一致。在这项工作中,我们提出了空嵌入,这是一种将防盗版水印构建到DNN中的新方法,只能在模型的初始训练中进行。空嵌入将位串(水印值)作为输入,并在模型的正常分类精度和水印之间建立强依赖关系。因此,攻击者无法通过调整或增量训练来移除嵌入的水印,也无法向已加水印的模型添加新的盗版水印。我们的经验表明,我们提出的水印实现盗版阻力和其他水印属性,在广泛的任务和模型。最后,我们探索了一些自适应的对策,并显示我们的水印仍然对各种模型修改,包括模型微调,压缩和现有的方法来检测/删除后门强大。我们的水印模型也适合迁移学习,而不会失去其水印属性。
2020-12-02 cs.CR cs.LG stat.ML
Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
人们对对抗攻击的兴趣日益高涨,这源于人类视觉与深度神经网络(DNN)之间的不一致,即人类难以察觉的扰动欺骗了DNN。此外,可以生成通常称为通用对抗扰动(UAP)的单个扰动来欺骗大多数图像的DNN。最近在深度隐写任务中也观察到了类似的错位现象,其中解码器网络可以从稍微扰动的封面图像中检索出秘密图像。我们试图从傅立叶的角度来解释两者的成功。我们进行了特定于任务的联合分析,并揭示了(a)频率是影响其性能的关键因素,基于所提出的用于量化频率分布的熵度量;(b)他们的成功可以归因于DNN对高频内容高度敏感。我们还执行特征层分析,以深入了解模型的泛化和鲁棒性。此外,我们还提出了两种新的通用扰动变体:(1)通用秘密对抗扰动(USAP),同时实现攻击和隐藏;(2)高通UAP(HP-UAP),人眼不太可见。
2021-02-12 cs.CV cs.LG
DeepCert: Verification of Contextually Relevant Robustness for Neural Network Image Classifiers
University of York(约克大学);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了DeepCert,这是一种工具支持的方法,用于验证深度神经网络(DNN)图像分类器对模糊、雾度和图像对比度变化等上下文相关扰动的鲁棒性。虽然DNN分类器的鲁棒性近年来一直是深入研究的主题,但本研究提供的解决方案侧重于验证DNN对分类图像中小扰动的鲁棒性,扰动幅度使用已建立的Lp范数测量。这对于识别对DNN图像分类器的潜在对抗攻击是有用的,但不能验证DNN对上下文相关图像扰动的鲁棒性,当用Lp范数表示时,这些扰动通常不小。DeepCert通过支持以下内容解决了这个未充分探索的验证问题:(1)真实世界图像扰动的编码;(2)使用测试和形式化验证对上下文相关的DNN鲁棒性进行系统评估;(3)生成上下文相关的反例;通过这些,(4)选择适合于操作环境的DNN图像分类器(i)当设计潜在安全关键系统时设想,或(ii)由部署的系统观察到。我们展示了DeepCert的有效性,展示了它如何用于验证DNN图像分类器对两个基准数据集(“德国交通标志”和“CIFAR-10”)的鲁棒性。
2021-03-02 cs.LG
Collapse Resistant Deep Convolutional GAN for Multi-Object Image Generation
Stevens Institute of Technology(史蒂文斯理工学院)
这项工作介绍了一种新的系统,用于生成包含多个类别的对象的图像。最近在生成对抗网络中的工作已经产生了高质量的图像,但是许多工作集中在生成单个对象或一组对象的图像。我们的系统解决了图像生成的任务,条件是要包括在一个单一的图像所需的类的列表。这使我们的系统能够生成具有任何给定对象组合的图像,所有这些对象组合成视觉上逼真的自然图像。该系统学习数据集中表示的所有类的相互关系,并可以生成包括一组这些类的不同样本。它显示了将这些对象排列在一起的能力,考虑了复杂自然图像的遮挡和对象间空间关系。为了实现这一目标,我们引入了一种基于条件深度卷积GANs的新型架构,该架构相对于模式和条件都是稳定的,不会崩溃。系统学习在训练期间纠正模式坍塌,自我纠正以避免次优生成模式。
2019-11-08 cs.CV cs.LG eess.IV
Robust Classification of Financial Risk
Harvard University(哈佛大学)
算法越来越成为高影响力决策的常见组成部分,越来越多关于实验室环境中对抗性示例的文献表明,标准的机器学习模型并不稳健。这表明现实世界的系统也容易受到操纵或错误分类的影响,这对金融服务中使用的机器学习模型构成了挑战。我们使用贷款等级分类问题来探索机器学习模型如何对用户报告数据的微小变化敏感,使用文献中记录的对抗性攻击和原始的特定于域的攻击。我们的工作表明,一个强大的优化算法可以建立模型的金融服务,是抗误分类扰动。据我们所知,这是针对金融服务中深度学习的对抗性攻击和防御的首次研究。
2018-11-27 cs.CR cs.LG q-fin.RM
Multiple Perturbation Attack: Attack Pixelwise Under Different $\ell_p$-norms For Better Adversarial Performance
VinAI Research(VinAI研究院);Monash University(莫纳什大学)
对抗性机器学习一直是一个主要的关注点,也是最近的热门话题,特别是随着深度神经网络在当前环境中的普遍使用。对抗攻击和防御通常被比作猫捉老鼠的游戏,其中防御者和攻击者随着时间的推移而演变。一方面,目标是开发强大而强大的深度网络,以抵抗恶意行为者。另一方面,为了实现这一目标,我们需要设计更强大的对抗攻击来挑战这些防御模型。大多数现有的攻击采用单个$\ell_p$距离(通常为$p\in\{1,2,\infty\}$)来定义接近度的概念,并执行相对于.该$p$ -范数以相同的方式更新对抗示例中的所有像素。这些$\ell_p$攻击各有优缺点;没有一种攻击可以成功突破同时针对多个$\ell_p$规范的防御模型。受这些观察的启发,我们提出了一种自然的方法:在像素级上组合各种$\ell_p$梯度投影,以实现联合对抗扰动。具体来说,我们学习如何扰动每个像素以最大化攻击性能,同时保持对抗性示例的整体视觉不可感知性。最后,通过使用标准化基准的各种实验,我们表明,我们的方法在最先进的防御机制中优于当前大多数强大的攻击,同时保持其在视觉上保持干净的能力。
2022-12-07 cs.CR cs.CV cs.LG
Adversarial Training in Low-Label Regimes with Margin-Based Interpolation
University of Southern California(南加州大学);DEVCOM Army Research Office(DEVCOM陆军研究办公室)
针对低标签场景下对抗训练的鲁棒性与自然精度问题,本文提出样本感知的边际插值对抗样本生成与全局ε调度策略,有效提升模型对PGD等攻击的防御性能。
2024-11-27 cs.CR cs.CV cs.LG
CEAR: Certified Ensemble Adversarial Robustness in DNNs
University of California, Berkeley(加州大学伯克利分校)
提出CEAR方法,通过混合经验与认证防御机制,利用高斯噪声和温度混淆梯度与logits,并扩展随机平滑以验证集成分类器的鲁棒性,在多个数据集上取得更优的认证准确率和鲁棒半径。
2026-05-31 cs.AI cs.LG
An Estimator for the Sensitivity to Perturbations of Deep Neural Networks
University of Texas at Austin(德克萨斯大学奥斯汀分校);Advanced Micro Devices, Inc.(超威半导体公司)
针对安全关键场景下DNN需抗扰动的需求,本文通过不等式与矩阵范数推导了一种类似网络条件数的扰动敏感度估计器,并在ImageNet的AlexNet、VGG-19上验证了其紧致性。
2023-07-24 cs.LG cs.NA math.NA
Defending Malware Classification Networks Against Adversarial Perturbations with Non-Negative Weight Restrictions
Google(谷歌)
越来越多的文献表明,深度神经网络容易受到对抗性输入修改的影响。最近,这项工作已经从图像分类扩展到布尔特征上的恶意软件分类。在本文中,我们提出了几种在这个特定领域训练受限网络的新方法,这些方法在防止对抗性扰动方面非常有效。我们从一个完全抗对抗的神经网络开始,它具有严格的非负权重限制,相当于学习单调布尔函数,然后尝试放松约束以提高分类器的准确性。
2018-06-23 cs.CR cs.LG stat.ML
Deep-RBF Networks Revisited: Robust Classification with Rejection
University of Tehran(德黑兰大学);Massachusetts Institute of Technology(麻省理工学院)
与许多其他分类器一样,深度神经网络的主要缺点之一是它们容易受到对抗攻击的攻击。其脆弱性的一个重要原因是将高置信度分配给特征点很少甚至没有特征点的区域。通过特征点,我们指的是输入空间的非线性变换,其提取输入数据的有意义的表示。另一方面,深度RBF网络只对包含足够特征点的区域赋予高置信度,但由于人们普遍认为它们存在梯度消失问题,因此它们被低估了。在本文中,我们重新审视了深度RBF网络,首先给出了它们的一般公式,然后提出了一系列受度量学习启发的代价函数。在所提出的深度RBF学习算法中,不会出现消失梯度问题。我们通过在输出层添加拒绝选项,使这些网络对对抗攻击具有鲁棒性。通过在MNIST数据集上的几个实验,我们证明了我们提出的方法不仅达到了显着的分类精度,但也非常抵抗各种对抗攻击。
2018-12-07 cs.LG stat.ML
Exploring the Vulnerability of Deep Neural Networks: A Study of Parameter Corruption
Peking University(北京大学)
我们认为,模型参数的脆弱性是至关重要的价值,模型的鲁棒性和推广的研究,但很少有研究一直致力于了解这个问题。在这项工作中,我们提出了一个指标来衡量神经网络参数的鲁棒性,通过利用他们的脆弱性,通过参数腐败。所提出的指标描述了参数损坏情况下非平凡最坏情况下的最大损失变化。为了实用的目的,我们给出了一个基于梯度的估计,这是更有效的随机腐败试验,几乎不会引起最坏的精度下降。在理论支持和经验验证的基础上,我们能够系统地研究不同模型参数的鲁棒性,揭示以前很少关注的深层神经网络的脆弱性。此外,我们可以通过提出的对抗性抗腐蚀训练来相应地增强模型,这不仅提高了参数的鲁棒性,而且还转化为准确性的提升。
2020-12-10 cs.LG stat.ML
Spectral Norm Regularization for Improving the Generalizability of Deep Learning
National Institute of Informatics(国立信息学研究所);Preferred Networks, Inc.(Preferred Networks公司)
我们基于对输入扰动的敏感性来研究深度学习的可推广性。我们假设数据对扰动的高度敏感性会降低其性能,为了降低数据对扰动的敏感性,我们提出了一种简单有效的正则化方法,称为谱范数正则化,它惩罚神经网络中权矩阵的高谱范数。我们通过实验证实,使用谱范数正则化训练的模型比其他基线方法具有更好的泛化能力,从而为上述假设提供了支持性证据。
2017-05-31 cs.LG stat.ML
Assessing the Reliability of Visual Explanations of Deep Models with Adversarial Perturbations
UFMG(米纳斯吉拉斯联邦大学);Wildlife Studios;Kunumi;University of Cambridge(剑桥大学)
对用于计算机视觉应用的复杂深度神经网络的兴趣正在增加。这导致需要提高这些模型的可解释能力。最近的解释方法呈现来自输入图像的像素的相关性的可视化,从而使得能够直接解释导致特定输出的输入的属性。这些方法产生像素重要性的图,通常通过目视检查进行评估。这意味着解释方法的有效性是基于人的期望而不是实际特征重要性来评估的。因此,在这项工作中,我们提出了一个客观的措施来评估的可靠性解释的深层模型。具体来说,我们的方法是基于网络结果的变化,这些变化是由输入图像以对抗方式的扰动引起的。我们提出了一个广泛已知的解释方法之间的比较,使用我们提出的方法。最后,我们还提出了一个简单的应用程序,我们的方法来清理相关性地图,创建更多的可解释的地图,而不会损失任何基本的解释(根据我们提出的措施)。
2020-04-22 cs.LG stat.ML
Adversarial Perturbations Fool Deepfake Detectors
University of Southern California(南加州大学)
这项工作使用对抗性扰动来增强deepfake图像并欺骗常见的deepfake检测器。我们使用快速梯度符号方法和Carlini和Wagner L2范数攻击在黑盒和白盒设置中创建了对抗性扰动。探测器在未扰动的deepfake上达到了95%以上的准确率,但在扰动的deepfake上的准确率不到27%。我们还探索了对deepfake检测器的两种改进:(i)Lipschitz正则化,以及(ii)深度图像先验(DIP)。Lipschitz正则化约束检测器相对于输入的梯度,以增加对输入扰动的鲁棒性。DIP防御以无监督的方式使用生成卷积神经网络去除扰动。正则化平均提高了对受干扰的deepfake的检测,包括在黑盒情况下提高了10%的准确率。DIP防御在欺骗原始检测器的扰动deepfake上实现了95%的准确率,而在其他情况下,在100个图像子样本上保持了98%的准确率。
2020-05-15 cs.CV cs.LG cs.NE
Understanding Deep Networks via Extremal Perturbations and Smooth Masks
University of Oxford(牛津大学);Facebook AI Research(Facebook人工智能研究院)
归因问题涉及识别输入中负责模型输出的部分。一个重要的归因方法家族是基于测量应用于输入的扰动的影响。在本文中,我们讨论了一些现有的方法来扰动分析的缺点,并通过引入极值扰动,这是理论上的接地和解释的概念来解决这些问题。我们还引入了一些技术创新来计算极值扰动,包括一个新的面积约束和一个参数族的光滑扰动,这使我们能够从优化问题中删除所有可调的超参数。我们分析了扰动的影响,作为其面积的函数,表现出良好的敏感性,刺激下的深层神经网络的空间特性。我们还扩展了扰动分析网络的中间层。该应用程序允许我们识别分类所需的显着通道,当使用特征反演进行可视化时,可以用于阐明模型行为。最后,我们介绍了TorchRay,一个基于PyTorch构建的可解释性库。
2019-10-18 cs.CV cs.LG stat.ML
Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
The University of Tokyo(东京大学);RIKEN(理化学研究所)
神经网络对输入的恶意扰动的高敏感性引起安全问题。为了向鲁棒分类器迈出稳步的一步,我们的目标是创建可证明免受扰动的神经网络模型。以前的认证工作需要对网络结构和大量计算成本进行强有力的假设,因此其应用范围受到限制。从Lipschitz常数和预测裕度之间的关系出发,提出了一种计算效率高的计算方法,用于确定欺骗网络的对抗性扰动的大小下限,该方法广泛适用于各种复杂网络.此外,我们提出了一个有效的训练过程,使网络健壮,并显着提高数据点周围的可证明的保护区域。在实验评估中,我们的方法显示出它能够提供非平凡的保证,并增强即使是大型网络的鲁棒性。
2018-10-31 cs.CV cs.LG stat.ML
Adversarial Security Attacks and Perturbations on Machine Learning and Deep Learning Methods
Southern New Hampshire University(南新罕布什尔大学)
不断增长的大数据和新兴的人工智能(AI)需要使用机器学习(ML)和深度学习(DL)方法。网络安全也受益于ML和DL方法用于各种类型的应用。然而,这些方法容易受到安全攻击。攻击者可以利用学习模型的训练和测试数据,或者可以探索这些模型的工作原理,以发动未来的高级攻击。ML和DL领域内的对抗性安全攻击和扰动是最近的探索,安全研究人员和实践者对此表示了极大的兴趣。文献涵盖了ML和DL方法的不同对抗性安全攻击和扰动,这些攻击和扰动有自己的表现风格和优点。需要审查和巩固的知识,是理解这一日益集中和不断增长的研究课题;然而,是研究界目前的需求。在这篇综述论文中,我们专门针对网络安全领域的新研究人员,他们可能会寻求获得有关机器学习和深度学习模型和算法的一些基本知识,以及一些相关的对抗性安全攻击和扰动。
2019-07-17 cs.CR cs.LG stat.ML
Sensitivity Analysis of Deep Neural Networks
The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心);Didi Chuxing(滴滴出行)
深度神经网络(DNN)在各种预测任务中取得了优异的性能,但可能非常容易受到对抗性样本或扰动的影响。因此,在实际应用中测量DNN对各种形式扰动的敏感性至关重要。我们引入了一种新的扰动流形及其相关的影响措施,量化各种扰动对DNN分类器的影响。这种扰动包括对输入样本和网络参数的各种外部和内部扰动。所提出的度量是由信息几何驱动的,并提供了理想的不变性性质。我们证明了我们的影响力度量对四个模型构建任务是有用的:检测潜在的“离群点”,分析模型架构的敏感性,比较训练集和测试集之间的网络敏感性,以及定位脆弱区域。实验表明,在CIFAR10和MNIST数据集上,所提出的方法对于流行的DNN模型ResNet50和DenseNet121具有相当好的性能。
2019-01-22 cs.AI cs.LG stat.ML
Towards a Deep Unified Framework for Nuclear Reactor Perturbation Analysis
University of Lincoln(林肯大学);Paul Scherrer Institute(保罗·谢勒研究所);Chalmers University of Technology(查尔姆斯理工大学)
在本文中,我们采取的第一步,在时域和频域的扰动分析一个新的统一框架。这种扰动的类型和来源的识别是监测反应堆堆芯和保证安全,而在标称条件下运行的基础。采用3D卷积神经网络(3D-CNN)分析频域中发生的扰动,如强度可变的吸收体或传播扰动。递归神经网络(RNN),特别是长短期记忆(LSTM)网络被用来研究信号序列的扰动诱导在时域中,包括振动的燃料组件和在反应堆冷却剂回路的入口处的热工水力参数的波动。从3D-CNN和LSTM架构中提取了512维表示,并将其用作融合多S形分类层的输入,以识别扰动类型。如果扰动在频域中,则单独的全连接层利用所述表示来回归其源的坐标。结果表明,该方法在各种情况下都能高精度地识别扰动类型,并能高精度地定位频域场景源。
2018-09-08 cs.AI cs.LG stat.ML
Simple Black-Box Adversarial Perturbations for Deep Networks
Samsung Research America(三星美国研究院)
深度神经网络是功能强大且流行的学习模型,可在许多计算机视觉、语音和语言处理任务上实现最先进的模式识别性能。然而,这些网络也被证明容易受到精心设计的对抗性扰动的影响,这些扰动会导致输入的错误分类。对抗性示例使对手能够破坏预期的系统行为,从而导致不希望的后果,并且当这些系统部署在现实世界中时可能会造成安全风险。在这项工作中,我们专注于深度卷积神经网络,并证明即使没有目标网络的任何内部知识,对手也可以轻松地制作对抗性示例。我们的攻击将网络视为一个预言机(黑盒),并且只假设网络的输出可以在探测的输入上观察到。我们的第一次攻击是基于一个简单的想法,增加扰动随机选择的单个像素或一小部分。然后,我们提高了这种攻击的有效性,通过仔细构造一个小的像素集扰动使用贪婪的本地搜索的想法。我们提出的攻击也自然扩展到更强的错误分类概念。我们广泛的实验结果表明,即使是这些基本攻击也可以揭示深度神经网络的漏洞。我们提出的方案的简单性和有效性意味着它们可以作为设计鲁棒网络的试金石。
2016-12-19 cs.CR cs.LG stat.ML
Manifold Regularization for Locally Stable Deep Neural Networks
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
我们应用流形正则化的概念来开发新的正则化技术,用于训练局部稳定的深度神经网络。我们的正则化器基于图拉普拉斯算子的稀疏化,当数据在高维中稀疏时,这种稀疏化具有很高的概率,这在深度学习中很常见。从经验上讲,我们的网络在不同的扰动模型中表现出稳定性,包括$\ell_2$,$\ell_\infty$和基于Wasserstein的扰动;特别是,我们在CIFAR-10上实现了40%的对抗精度,对抗使用大小为$ε= 8/255$的$\ell_\infty$扰动的自适应PGD攻击,并且在相同的扰动模型中,最先进的验证精度为21%。此外,我们的技术是有效的,产生的开销与通过网络的两个额外的并行转发相同。
2020-09-22 cs.CV cs.LG cs.NE
Detecting anthropogenic cloud perturbations with deep learning
University of Oxford(牛津大学)
气候科学中最紧迫的问题之一是人为气溶胶对地球能量平衡的影响。气溶胶提供了形成云滴的“种子”,云可利用的气溶胶数量的变化可以改变其亮度和其他物理特性,如光学厚度和空间范围。云在调节全球温度方面发挥着关键作用,微小的扰动可能导致显着的冷却或变暖。这种影响的不确定性是如此之大,以至于目前还不知道它是否可以忽略不计,或者是否提供了足够大的冷却,以在很大程度上抵消目前二氧化碳造成的变暖。这项工作使用深度卷积神经网络来寻找由于人为气溶胶引起的云中的两种特殊扰动,并评估它们的性质和流行程度,为它们的气候影响提供有价值的见解。
2019-11-29 cs.CV cs.LG physics.ao-ph
Detecting structural perturbations from time series with deep learning
在复杂系统中,微小的扰动会引发功能性故障。一项具有挑战性的任务是推断网络系统中干扰的结构原因,以防止灾难的发生。我们提出了一种借鉴深度学习范式的图神经网络方法,用于从函数时间序列中推断结构扰动。我们表明,我们的数据驱动的方法优于典型的重建方法,同时满足贝叶斯推断的准确性。我们验证了我们的方法的通用性和性能与传染病传播,人口动力学和神经动力学,在各种网络结构:随机网络,无标度网络,25个真正的食物网系统,和C。优雅连接体。此外,我们报告说,我们的方法是强大的数据腐败。这项工作揭示了一个实用的途径来研究现实世界的复杂系统的弹性。
2020-06-09 cs.LG physics.soc-ph stat.AP
Robustness of classifiers to universal perturbations: a geometric perspective
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);ENS de Lyon(里昂高等师范学校);CNRS(法国国家科学研究中心);UCBL(里昂第一大学);INRIA(法国国家信息与自动化研究所);Université de Lyon(里昂大学)
深度网络最近被证明容易受到普遍扰动的影响:存在非常小的图像不可知扰动,导致大多数自然图像被此类分类器错误分类。本文首次定量分析了分类器对普遍扰动的鲁棒性,并将普遍扰动的鲁棒性与决策边界的几何形状联系起来。具体来说,我们建立两个决策边界模型(平坦和弯曲模型)下的分类器的鲁棒性的理论界。我们特别指出,深度网络对普遍扰动的鲁棒性是由其曲率的一个关键属性驱动的:存在共享方向,深度网络的决策边界沿着该方向系统地正弯曲。在这样的条件下,我们证明了小的普遍扰动的存在性。我们的分析进一步提供了一个新的几何方法来计算普遍扰动,除了解释他们的性质。
2021-03-01 cs.AI cs.CV cs.LG
Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);University of British Columbia(不列颠哥伦比亚大学);University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学)
深度学习中的不确定性计算对于设计鲁棒和可靠的系统至关重要。变分推断(VI)是一种很有前途的方法,这样的计算,但需要更多的努力来实现和执行相比,最大似然方法。在本文中,我们提出了新的自然梯度算法,以减少这种努力的高斯平均场VI。我们的算法可以通过在梯度评估期间扰动网络权重来在Adam优化器内实现,并且可以通过使用适应学习率的向量来廉价地获得不确定性估计。这需要较低的内存,计算和实施工作比现有的VI方法,同时获得可比质量的不确定性估计。我们的实验结果证实了这一点,并进一步表明,我们的算法中的权重扰动可能是有用的强化学习和随机最优化的探索。
2018-08-02 cs.AI cs.LG stat.CO