Self-recoverable Adversarial Examples: A New Effective Protection Mechanism in Social Networks
Nanjing University of Information Science and Technology(南京信息工程大学);Nanjing University of Science and Technology(南京理工大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室)
恶意智能算法通过检测和分析上传到社交网络平台的照片,极大地威胁了社交用户的隐私安全。对抗攻击对DNN的破坏激发了对抗性示例作为社交网络中隐私安全的新保护机制的潜力。然而,现有的对抗性示例不具有作为有效保护机制的可恢复性。为了解决这个问题,我们提出了一个可恢复的生成对抗网络来生成可自我恢复的对抗示例。通过将对抗攻击和恢复建模为一个统一的任务,该方法可以在最大化攻击能力的同时最小化恢复样本的错误,从而提高对抗样本的可恢复性。为了进一步提高这些示例的可恢复性,我们利用降维器来优化对抗性扰动的分布。实验结果表明,该方法生成的对抗性样本在不同数据集和网络结构下具有良好的可恢复性、攻击能力和鲁棒性,保证了其作为社交网络保护机制的有效性。
2022-04-26 cs.CV
NaturalAE: Natural and Robust Physical Adversarial Examples for Object Detectors
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
在本文中,我们提出了一个自然和强大的物理对抗性的例子攻击方法,在现实世界的条件下,目标检测器。生成的对抗性示例对各种物理约束具有鲁棒性,并且在视觉上看起来与原始图像相似,因此这些对抗性示例对人类来说是自然的,不会引起任何怀疑。首先,为了确保对抗性示例在真实世界条件下的鲁棒性,所提出的方法利用不同的图像变换函数来模拟对抗性示例生成的迭代优化过程中的各种物理变化。其次,在构造自然对抗样本时,该方法采用自适应模板来约束扰动的面积和强度,并利用真实世界扰动分数(RPS)使扰动与真实世界中的噪声相似。与现有的研究相比,我们生成的对抗性示例可以在不太明显的扰动下实现高成功率。实验结果表明,生成的对抗性示例在各种室内和室外物理条件下都是鲁棒的,包括不同的距离,角度,光照和拍摄。具体而言,室内和室外生成的对抗示例的攻击成功率分别高达73.33%和82.22%。同时,该方法保证了生成对抗性样本的自然性,并且所增加的扰动量远小于现有方法中的扰动量。此外,所提出的物理对抗攻击方法可以从白盒模型转移到其他目标检测模型。
2021-03-17 cs.CV
Robust Assessment of Real-World Adversarial Examples
我们探索了真实世界中对抗性示例的严格、系统和受控的实验评估,并提出了一种用于评估真实世界对抗性对象的测试方案。我们发现,对于小的场景/环境扰动,存在大的对抗性能差异。对抗性报道的当前状态主要是在动态场景集合上的频率计数。我们的工作强调了需要一个更完整的报告或分数,其中包含对抗开发人员测试的模型和环境的场景变化和基线性能。我们提出了一个分数,试图解决上述问题,在一个简单的范例应用程序多个生成的对手的例子。我们的贡献如下:1.对抗性评估的测试平台,2.对抗性示例的得分,以及3.对试验台数据的附加评估的集合。
2020-03-15 cs.CV
Synthesizing Robust Adversarial Examples
Massachusetts Institute of Technology(麻省理工学院);LabSix(第六实验室)
用于为神经网络生成对抗性示例的标准方法并不总是欺骗物理世界中的神经网络分类器,这是由于视点偏移、相机噪声和其他自然变换的组合,限制了它们与现实世界系统的相关性。我们证明了强大的3D对抗对象的存在,我们提出了第一个算法合成的例子,是对抗超过一个选定的分布变换。我们合成的二维对抗图像对噪声、失真和仿射变换具有鲁棒性。我们将我们的算法应用于复杂的三维对象,使用3D打印来制造第一个物理对抗对象。我们的研究结果证明了物理世界中存在3D对抗对象。
2018-06-07 cs.CV
Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples
Yunnan University(云南大学);Yunnan Normal University(云南师范大学)
针对现有对抗蒸馏未充分利用扰动邻域内教师偏好监督的问题,提出CGARD方法,联合优化学生对抗样本与教师协同样本,在CIFAR-10/100上的实验显示其鲁棒性优于强基线。
2026-10-09 cs.CV
Towards Defending against Adversarial Examples via Attack-Invariant Features
Xidian University(西安电子科技大学);The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
深度神经网络(DNN)容易受到对抗性噪声的影响。它们的对抗性鲁棒性可以通过利用对抗性示例来提高。然而,考虑到不断演变的攻击,在已知类型的对抗性示例上训练的模型通常不能很好地推广到未知类型的对抗性示例。为了解决这个问题,在本文中,我们提出了通过学习保持语义分类信息的攻击中的可推广不变特征来去除对抗性噪声。具体来说,我们引入了一种对抗性特征学习机制,将不变特征从对抗性噪声中分离出来。在攻击不变特征的编码空间中提出了一个归一化项,以解决可见和不可见攻击类型之间的偏差问题。经验评估表明,我们的方法可以提供更好的保护相比,以前的国家的最先进的方法,特别是对看不见的类型的攻击和自适应攻击。
2021-06-09 cs.CV
Adversarial Profiles: Detecting Out-Distribution & Adversarial Samples in Pre-trained CNNs
Oregon State University(俄勒冈州立大学)
尽管卷积神经网络(CNN)的准确性很高,但它们容易受到对抗性和外分布样本的影响。有许多建议的方法倾向于检测或使CNN对这些愚蠢的例子鲁棒。然而,大多数这样的方法需要访问大量的欺骗示例来重新训练网络或调整检测参数。在这里,我们提出了一种方法来检测对抗性和外分布的例子对一个预先训练的CNN,而不需要重新训练CNN或需要访问各种各样的愚弄的例子。为此,我们只使用一种对抗攻击生成技术为每个类创建对抗配置文件。然后,我们在预训练的CNN周围包裹一个检测器,将创建的对抗性配置文件应用于每个输入,并使用输出来决定输入是否合法。我们使用MNIST数据集对这种方法进行的初步评估表明,基于对抗性特征的检测在检测至少92个外分布示例和59%的对抗性示例方面是有效的。
2020-11-18 cs.CV
Towards Black-box Adversarial Example Detection: A Data Reconstruction-based Method
Beijing Jiaotong University(北京交通大学);Peng Cheng Lab(鹏城实验室)
本文针对黑盒对抗样本检测问题,提出利用 VAE 建模正常样本的像素与频率表示并依据重构误差识别对抗样本,显著提升了黑盒场景下的检测性能。
2023-06-03 cs.CV
Adversarial Examples Detection in Deep Networks with Convolutional Filter Statistics
Oregon State University(俄勒冈州立大学)
近年来,深度学习极大地改善了视觉识别。然而,最近的研究表明,存在许多对抗性的例子,可能会对这种架构的性能产生负面影响。本文通过分析敌对样本是否与正常样本来自相同的分布来检测敌对样本。不是直接训练深度神经网络来检测对抗性,而是基于卷积层输出的统计数据提出了一种更简单的方法。设计了一个级联分类器来有效地检测竞争对手。此外,从一个特定的对抗生成机制训练,得到的分类器可以成功地检测来自完全不同的机制的对抗。产生的分类器是不可细分的,因此给对手利用分类器的梯度进行攻击带来了困难。在检测到对抗性的例子后,我们证明了其中许多可以通过简单地对图像执行一个小的平均滤波器来恢复。这些发现应该会让我们对深度卷积神经网络的分类机制有更多的了解。
2017-10-26 cs.CV
Detecting and Recovering Adversarial Examples from Extracting Non-robust and Highly Predictive Adversarial Perturbations
Ningbo University(宁波大学)
深度神经网络(DNN)已被证明容易受到恶意设计以欺骗目标模型的对抗性示例(AE)的攻击。添加了不可感知的对抗性扰动的正常示例(NE)可能对DNN构成安全威胁。虽然现有的AE检测方法已经达到了很高的准确性,但它们未能利用检测到的AE的信息。因此,基于高维扰动提取,我们提出了一种无模型AE检测方法,其整个过程是免费的查询受害者模型。研究表明,DNN对高维特征敏感。隐藏在对抗样本中的对抗扰动属于高维特征,具有很强的预测性和非鲁棒性。DNN从高维数据中学习的细节比其他数据更多。在我们的方法中,扰动提取器可以从AE中提取对抗性扰动作为高维特征,然后训练的AE识别器确定输入是否是AE。实验结果表明,该方法不仅能检测出高准确率的对抗性实例,而且能检测出特定类别的AE。同时,提取的扰动可以用来恢复AE到NE。
2022-08-30 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
我们提出了一种新的方法,用于生成鲁棒的对抗性图像示例,该方法基于最近的“深度图像先验”(DIP),该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生,高频噪声引起图像误分类,但是对于随后的图像数字操作来说是脆弱的。我们表明,使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动,同时保持视觉上不可感知。此外,我们表明,我们的DIP方法也可以适应当地的对抗补丁(“对抗贴纸”)。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
Immune Defense: A Novel Adversarial Defense Mechanism for Preventing the Generation of Adversarial Examples
Nanjing University of Information Science and Technology(南京信息工程大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室);Qilu University of Technology(齐鲁工业大学)
深度神经网络(DNN)对对抗性样本的脆弱性已经得到证实。现有的对抗性防御主要旨在防止对抗性示例成功攻击DNN,而不是防止它们的生成。如果对抗性示例的生成不受监管,那么可及范围内的图像将不再安全,并对非鲁棒DNN构成威胁。虽然梯度混淆试图解决这个问题,但它已被证明是可以规避的。因此,我们提出了一种新的对抗性防御机制,称为免疫防御,是基于示例的预防御。这种机制将精心设计的准不可感知的扰动应用于原始图像,以防止生成原始图像的对抗性示例,从而保护图像和DNN。这些扰动图像被称为免疫示例(IE)。在白盒免疫防御中,我们分别提出了基于梯度和基于优化的方法。此外,还考虑了更复杂的黑盒免疫防御。我们提出了掩蔽梯度符号下降(MGSD),以减少近似误差和稳定的更新,以提高可转移性的IE,从而确保其有效性对黑盒对抗攻击。实验结果表明,基于优化的方法在白盒免疫防御中具有优越的性能和更好的视觉质量。相比之下,基于梯度的方法具有更强的可转移性,建议的MGSD显着改善基线的可转移性。
2023-03-08 cs.CV
Adversarial example generation with AdaBelief Optimizer and Crop Invariance
深度神经网络容易受到对抗性样本的影响,这些样本是通过对原始图像施加人类无法感知的小扰动来制作的,从而误导深度神经网络输出不准确的预测。因此,对抗攻击可以是在安全关键应用中评估和选择鲁棒模型的重要方法。然而,在具有挑战性的黑盒设置下,大多数现有的对抗攻击在对抗训练的网络和高级防御模型上的成功率往往相对较低。在本文中,我们提出AdaBelief迭代快速梯度方法(ABI-FGM)和作物不变攻击方法(CIM),以提高对抗性的例子的可移植性。ABI-FGM和CIM可以很容易地集成,以构建强大的基于梯度的攻击,进一步提高黑盒攻击的对抗性示例的成功率。此外,我们的方法也可以自然地与其他基于梯度的攻击方法相结合,以构建更强大的攻击,从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的大量实验证明了该方法的有效性。无论是在对抗训练的网络还是高级防御模型上,我们的方法都比最先进的基于梯度的攻击方法具有更高的成功率。
2021-02-07 cs.CV
APE-GAN: Adversarial Perturbation Elimination with GAN
Institute of Computing Technology Chinese Academy of Sciences(中国科学院计算技术研究所)
虽然神经网络在识别图像时可以实现最先进的性能,但它们经常遭受对抗性示例的巨大失败-通过利用不可察觉但故意的扰动来从数据集中清除样本而产生的输入。如何对对抗性实例进行防御是一个值得研究的重要问题。到目前为止,很少有方法能为对抗性示例提供有效的防御。本文提出了一种新的思想,并实现了一个有效的框架,基于生成的对抗网络命名为APE-GAN对抗的例子。在MNIST、CIFAR 10和ImageNet三个基准数据集上的实验结果表明,APE-GAN能够有效地抵抗由五种攻击生成的对抗性示例。
2017-09-26 cs.CV
Boosting the Transferability of Video Adversarial Examples via Temporal Translation
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市智能信息处理重点实验室);Shanghai Collaborative Innovation Center on Intelligent Visual Computing(上海智能视觉计算协同创新中心)
尽管基于深度学习的视频识别模型取得了显著的成功,但它们容易受到对抗性示例的影响,这些示例是通过在干净的视频样本上添加人类无法感知的扰动而生成的。正如最近的研究所表明的那样,对抗性示例是可转移的,这使得黑盒攻击在现实世界中的应用变得可行。然而,现有的大多数对抗攻击方法在攻击其他视频模型时具有较差的可移植性,并且对视频模型的基于移植的攻击仍然是未被探索的。为此,我们建议提高视频对抗示例的可转移性,以用于对视频识别模型的黑盒攻击。通过大量的分析,我们发现,不同的视频识别模型依赖于不同的歧视性时间模式,导致视频对抗性的例子的可移植性差。这促使我们引入一种时间翻译攻击方法,该方法优化了一组时间翻译视频片段上的对抗性扰动。通过在翻译的视频上生成对抗性示例,生成的对抗性示例对被攻击的白盒模型中存在的时间模式不太敏感,因此可以更好地传输。在Kinetics-400数据集和UCF-101数据集上的大量实验表明,我们的方法可以显着提高视频对抗示例的可移植性。针对视频识别模型的基于传输的攻击,它在Kinetics-400上的平均攻击成功率为61.56%,在UCF-101上的平均攻击成功率为48.60%。代码可在https://github.com/zhipeng-wei/TT上获得。
2021-12-28 cs.CV
VENOM: Text-driven Unrestricted Adversarial Example Generation with Diffusion Models
University of Oulu(奥卢大学)
针对现有扩散模型生成无限制对抗样本依赖参考图、难直接生成自然对抗样本的问题,提出文本驱动框架VENOM,统一内容生成与对抗合成,结合带动量自适应引导,实现高ASR与图像质量的对抗样本生成。
2025-01-14 cs.CV
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University(普渡大学)
我们介绍了一种基于噪声的先验学习(NoL)方法,用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现,隐式生成建模的随机噪声与相同的损失函数在后验最大化,提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性,并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明,一般来说,对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明,用我们的方法学习的模型在各种攻击中表现得非常好。此外,将NoL与最先进的对抗训练相结合,可以扩展模型的鲁棒性,甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Beating Attackers At Their Own Games: Adversarial Example Detection Using Adversarial Gradient Directions
Visa Research(维萨研究机构)
对抗性示例是专门用于欺骗机器学习分类器的输入示例。最先进的对抗性示例检测方法通过量化多个扰动下的特征变化幅度或通过测量其与估计的良性示例分布的距离来将输入示例表征为对抗性的。所提出的方法不是使用这样的度量,而是基于这样的观察:在制作(新的)对抗性示例时,对抗性梯度的方向在表征对抗性空间中起着关键作用。与使用多个扰动的检测方法相比,所提出的方法是有效的,因为它只对输入示例施加单个随机扰动。在CIFAR-10和ImageNet两个不同数据库上进行的实验表明,该检测方法在五种不同的对抗攻击上分别达到了97.9%和98.6%的AUC-ROC(平均),并且优于多种最先进的检测方法。结果表明,使用对抗梯度方向的对抗性的例子检测的有效性。
2020-12-31 cs.CV cs.LG
Image Transformation can make Neural Networks more robust against Adversarial Examples
Institute of Information Security(信息安全研究所)
神经网络正被应用于与物联网相关的许多任务中,并取得了令人鼓舞的成果。例如,神经网络可以通过监控摄像头精确地检测人、物体和动物,以达到安全目的。然而,最近发现神经网络容易受到被称为对抗性样本的精心设计的输入样本的攻击。这样的问题会导致神经网络对人类无法感知的对抗性样本进行错误分类。我们发现,对对抗性示例图像进行旋转可以击败对抗性示例的效果。以MNIST数字图像为原始图像,首先生成对抗性样本给神经网络识别器,完全被伪造的样本欺骗。然后,我们旋转了对抗图像,并将它们交给识别器,让识别器重新获得正确的识别。因此,我们经验性地证实了对图像的旋转可以保护基于神经网络的模式识别器免受对抗性示例攻击。
2019-01-10 cs.CV cs.LG
Adv-4-Adv: Thwarting Changing Adversarial Perturbations via Adversarial Domain Adaptation
Nanyang Technological University(南洋理工大学)
本文提出 Adv-4-Adv 对抗训练方法,将不同攻击视为不同域并利用对抗域适应学习域不变表示,从而提升模型对未见强攻击的泛化鲁棒性。
2023-12-07 cs.AI cs.CV
Efficient Adversarial Training with Transferable Adversarial Examples
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
对抗性训练是保护分类模型免受对抗攻击的有效防御方法。然而,这种方法的一个局限性是,由于在训练期间生成强对抗性示例的成本很高,它可能需要几个数量级的额外训练时间。在本文中,我们首先证明了在同一个训练过程中,来自相邻时期的模型之间具有很高的可移植性,即,来自一个时期的对抗性示例在随后的时期中继续是对抗性的。利用这一特性,我们提出了一种新的方法,可转移对抗性示例的对抗性训练(ATTA),它可以增强训练模型的鲁棒性,并通过历元积累对抗性扰动来大大提高训练效率。与最先进的对抗训练方法相比,ATTA在CIFAR 10上将对抗准确率提高了7.2%,在MNIST和CIFAR 10数据集上需要的训练时间减少了12~ 14倍,模型鲁棒性相当。
2020-07-02 cs.CV cs.LG
Mist: Towards Improved Adversarial Examples for Diffusion Models
cheer4creativity.ai;Shanghai Jiao Tong University(上海交通大学)
针对扩散模型版权侵权问题,现有对抗样本在跨方法可迁移性与鲁棒性上存在不足。本文提出 Mist 方法,利用融合且修改过的对抗损失项,在一致参数下显著增强对抗样本的跨方法可迁移性,并提升了对噪声净化等简单对抗防御的鲁棒性。
2023-05-22 cs.AI cs.CV
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University(台湾大学)
对抗性样本是故意制作的数据,目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时,我们通常指的是基于扰动的方法,该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观,但DNN模型可能完全无法识别,这反过来又导致了完全误导的预测。然而,在本文中,我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架,从类条件生成对抗网络中生成原生对抗样本。因此,生成的数据不会与任何现有数据相似,从而扩大了样本的多样性,提高了对抗防御的难度。然后,我们将这个框架扩展到预训练的条件GANs,在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验,并取得了令人满意的结果,表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Discretization based Solutions for Secure Machine Learning against Adversarial Attacks
Purdue University(普渡大学)
对抗性示例是被设计为(来自深度学习网络(DLN)的参数梯度)在测试期间误导DLN的扰动输入。直观地说,限制网络的输入或参数的维度减少了对抗性示例存在的“空间”。在这种直觉的指导下,我们证明了离散化大大提高了DLN对对抗攻击的鲁棒性。具体而言,离散化输入空间(或允许的像素级别从256个值或8位到4个值或2位)广泛地提高了DLN对于大范围扰动的对抗鲁棒性,以使测试准确性的损失最小化。此外,我们发现二进制神经网络(BNN)和相关变体本质上比对抗场景中的全精度对应物更强大。将输入离散化与BNN相结合,进一步提高了鲁棒性,甚至无需针对一定幅度的扰动值进行对抗性训练。我们评估了离散化对MNIST,CIFAR 10,CIFAR 100和Imagenet数据集的影响。在所有数据集中,我们观察到2位输入离散化的最大对抗性,与干净的测试准确度相比,对抗性准确度损失仅为~1-2%。
2019-02-11 cs.CR cs.CV cs.LG
Generating Unrestricted Adversarial Examples via Three Parameters
Sharif University of Technology(谢里夫理工大学)
深度神经网络已被证明容易受到故意构建的对抗性示例的影响,这些示例用于对受害者模型进行错误分类。由于大多数对抗性示例都将其扰动限制在$L_{p}$ -范数范围内,因此现有的防御方法都集中在这些类型的扰动上,而对不受限制的对抗性示例关注较少;这些示例可以创建更真实的攻击,能够欺骗模型而不影响人类预测。为了解决这个问题,所提出的对抗攻击生成一个不受限制的对抗的例子,具有有限数量的参数。该攻击在输入图像上选择三个点,并根据它们的位置将图像转换为对抗性示例。通过限制这三个点的移动范围和位置,并使用判别网络,所提出的无限制对抗性示例保留了图像外观。实验结果表明,在MNIST和SVHN数据集上,所提出的对抗性示例在人类评估方面的平均成功率为93.5%。它还将MNIST,FMNIST,SVHN,CIFAR 10,CIFAR 100和ImageNet六个数据集的模型准确性平均降低了73%。应该注意的是,在攻击的情况下,受害者模型中的较低准确度表示更成功的攻击。攻击的对抗性训练也提高了模型对随机变换图像的鲁棒性。
2021-03-13 cs.CV cs.LG
Adversarial Examples can be Effective Data Augmentation for Unsupervised Machine Learning
National Yang Ming Chiao Tung University(阳明交通大学);IBM Research(IBM研究院);Michigan State University(密歇根州立大学)
引起回避预测的对抗性示例被广泛用于评估和提高机器学习模型的鲁棒性。然而,目前的研究集中在监督学习任务,依赖于地面实况数据标签,有针对性的目标,或来自训练分类器的监督。在本文中,我们提出了一个为无监督模型生成对抗性示例的框架,并展示了数据增强的新应用。我们的框架利用互信息神经估计器作为信息理论相似性度量,在没有监督的情况下生成对抗性示例。我们提出了一种新的MinMax算法,具有可证明的收敛保证,可有效生成无监督对抗性示例。我们的框架也可以扩展到监督对抗的例子。当使用无监督对抗性示例作为模型再训练的简单插件数据增强工具时,在不同的无监督任务和数据集上都能观察到显著的改进,包括数据重建、表示学习和对比学习。我们的研究结果显示了新的方法和相当大的优势,在研究和改进无监督机器学习通过对抗性的例子。
2021-12-08 cs.CV cs.LG
Adversarial Examples on Segmentation Models Can be Easy to Transfer
University of Munich(慕尼黑大学);University of Oxford(牛津大学)
基于深度神经网络的图像分类可能会被具有小的和准不可感知的扰动的对抗性示例误导。此外,在一个分类模型上创建的对抗性示例也可以欺骗另一个不同的模型。对抗性示例的可转移性最近引起了越来越多的兴趣,因为它使得对分类模型的黑盒攻击变得可行。语义分割作为分类方法的一种扩展,其对抗鲁棒性也受到了广泛关注。然而,分割模型上的对抗性示例的可移植性尚未得到系统的研究。在本书中,我们深入研究了这一主题。首先,我们探讨了分类和分割模型上对抗性样本的过拟合现象。与对分类模型的观察相反,可转移性受到源模型过拟合的限制,我们发现分割上的对抗性示例并不总是过拟合源模型。即使没有过拟合,对抗性例子的可移植性也是有限的。我们将限制归因于分割模型的架构特征,即,多尺度目标识别然后,我们提出了一个简单而有效的方法,称为动态缩放,以克服限制。通过我们的方法实现的高可移植性表明,与以前的工作中的观察相反,分割模型上的对抗性示例可以很容易地转移到其他分割模型。我们的分析和建议得到了大量实验的支持。
2021-11-22 cs.CV eess.IV
Multi-stage Optimization based Adversarial Training
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学)
在对抗鲁棒性领域,通常的做法是采用单步对抗训练来快速开发对抗鲁棒模型。然而,单步对抗训练最有可能导致灾难性的过拟合,因为在几个训练时期之后,很难生成强大的对抗样本来持续提高对抗鲁棒性。在这项工作中,我们的目标是通过在单步对抗训练中引入多步对抗示例来避免灾难性的过拟合。然后,为了平衡生成多步对抗性示例的大量训练开销,我们提出了一种基于多阶段优化的对抗性训练(MOAT)方法,该方法定期在混合良性示例、单步对抗性示例和多步对抗性示例上逐步训练模型。通过这种方式,整体训练开销显着减少,同时,该模型可以避免灾难性的过拟合。在CIFAR-10和CIFAR-100数据集上的大量实验表明,在相似的训练开销下,所提出的MOAT比单步或多步对抗训练方法具有更好的鲁棒性。
2021-06-26 cs.CV cs.LG
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science(信息科学研究所);Beijing Jiaotong University(北京交通大学)
最近的研究表明,深度神经网络容易受到对抗性样本的攻击,但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而,在实际计算中,这种神经网络不再保持任何上限,因此容易受到对抗性样本的影响。遵循类似的过程,我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外,我们证明了一个新的称为神经ODE的深度神经网络家族(Chen et al.,2018年)持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此,神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击(FGSM、PGD、DI 2-FGSM)和一种黑盒对抗攻击(边界攻击)下的性能。最后,我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法(如TRADES和YOPO)训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
Unauthorized AI cannot Recognize Me: Reversible Adversarial Example
University of Science and Technology of China(中国科学技术大学);University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
在这项研究中,我们提出了一种新的方法来控制用户的数据如何通过利用对抗性示例的属性被AI识别和使用。为此,我们提出了一种新的对抗性示例,即可逆对抗性示例(RAE)。RAE的一个显著特点是,用户指定的AI模型可以正确地识别和使用图像,因为授权的AI可以通过消除对抗性扰动从RAE中准确地恢复原始图像。另一方面,其他未经授权的人工智能模型无法正确识别它,因为它是一个对抗性的例子。此外,RAE可以被认为是计算机视觉的一种类型的加密,因为可逆性保证了解密。为了实现RAE,我们结合了三种技术,对抗性的例子,可逆的数据隐藏的对抗性扰动的准确恢复,和加密的AI谁可以删除对抗性扰动的选择性控制。实验结果表明,该方法在白盒攻击和黑盒攻击下,均能获得与相应的对抗攻击方法相当的攻击能力和与原始图像相近的视觉质量。
2021-10-08 cs.CV cs.LG
The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training
Sun Yat-Sen University(中山大学);Imperial College London(帝国理工学院)
尽管目前的深度学习技术在各种计算机视觉任务上都取得了优异的性能,但它们仍然容易受到对抗性示例的影响。对抗性训练及其变体已被证明是防御对抗性示例的最有效方法。这些方法通常正则化对抗样本和其对应的自然样本的输出概率之间的差异。但是,如果模型对自然样本进行错误分类,则可能会产生负面影响。为了解决这个问题,我们提出了一种新的对抗训练方案,鼓励模型为对抗示例及其“逆对抗”对应物产生类似的输出。生成这些样本以最大化自然样本邻域中的可能性。在各种视觉数据集和架构上进行的大量实验表明,我们的训练方法具有最先进的鲁棒性和自然准确性。此外,使用逆对抗示例的通用版本,我们以较低的计算成本提高了单步对抗训练技术的性能。
2022-11-01 cs.CV cs.LG
Defensive Distillation is Not Robust to Adversarial Examples
University of California, Berkeley(加利福尼亚大学伯克利分校)
我们发现,防御蒸馏是不安全的:它是没有更多的抵抗有针对性的错误分类攻击比无保护的神经网络。
2016-07-14 cs.CR cs.CV
AdvDiff: Generating Unrestricted Adversarial Examples using Diffusion Models
The Hong Kong Polytechnic University(香港理工大学)
针对现有无限制对抗攻击方法生成样本不真实、缺乏理论支撑的问题,提出AdvDiff方法,通过两种对抗引导技术在扩散模型逆向生成过程中实现对抗采样,在攻击性能和生成质量上超越现有最优方法。
2024-07-14 cs.CV cs.LG
Imperceptible Adversarial Attack via Invertible Neural Networks
National University of Defense Technology(国防科技大学)
通过利用辅助梯度信息添加扰动或丢弃良性图像的现有细节是生成对抗性示例的两种常见方法。虽然视觉不可感知性是对抗性示例的期望属性,但是传统的对抗攻击仍然生成可追踪的对抗性扰动。在本文中,我们介绍了一种新的对抗攻击通过可逆神经网络(AdvINN)的方法来产生强大的和不可感知的对抗的例子。具体来说,AdvINN充分利用了可逆神经网络的信息保存特性,从而通过同时添加目标类的类特定语义信息和丢弃原始类的判别信息来生成对抗性示例。在CIFAR-10、CIFAR-100和ImageNet-1 K上进行的大量实验表明,与现有方法相比,所提出的AdvINN方法可以产生更少的不可感知的对抗图像,并且与其他对抗攻击相比,AdvINN可以产生更强大的对抗示例,具有更高的置信度。
2023-01-17 cs.CV eess.IV
AT-GAN: An Adversarial Generator Model for Non-constrained Adversarial Examples
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Cornell University(康奈尔大学)
尽管对抗机器学习发展迅速,但大多数对抗攻击和防御研究主要集中在受输入图像约束的基于扰动的对抗样本上。与现有的作品相比,我们提出了无约束的对抗示例,这些示例完全从头开始生成,对输入没有任何约束。与基于扰动的攻击或所谓的无限制对抗攻击不同,该攻击仍然受到输入噪声的约束,我们的目标是学习对抗示例的分布,以生成无约束但语义上有意义的对抗示例。遵循这一精神,我们提出了一个新的攻击框架,称为AT-GAN(生成对抗网络上的对抗转移)。具体来说,我们首先开发一个正常的GAN模型来学习良性数据的分布,然后转移预训练的GAN模型来估计目标模型的对抗性样本的分布。通过这种方式,AT-GAN可以学习非常接近真实数据分布的对抗性示例的分布。据我们所知,这是构建对抗生成器模型的第一项工作,该模型可以直接从任何输入噪声中生成对抗示例。大量的实验和可视化结果表明,所提出的AT-GAN可以非常有效地生成对人类感知更真实的各种对抗性示例。此外,AT-GAN在白盒攻击设置下对对抗训练模型产生更高的攻击成功率,并对黑盒模型表现出适度的可移植性。
2020-02-07 cs.CR cs.CV cs.LG
Adversarial Robustness through the Lens of Convolutional Filters
Offenburg University(奥芬堡大学);Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Fraunhofer Research Center ML(弗劳恩霍夫机器学习研究中心)
深度学习模型本质上对输入数据中的分布偏移敏感。特别是,对输入数据的小的、几乎不可感知的扰动可以迫使模型做出具有高置信度的错误预测。一种常见的防御机制是通过对抗训练进行正则化,将最坏情况的扰动注入训练中,以加强决策边界并减少过拟合。在这种情况下,我们对在逆向训练模型中形成的3x 3卷积滤波器进行了研究。过滤器是从linf-RobustBench CIFAR-10/100和ImageNet 1 k排行榜的71个公共模型中提取的,并与从构建在相同架构上但未经鲁棒正则化训练的模型中提取的过滤器进行比较。我们观察到,对抗性强的模型似乎形成更多样化,稀疏性更低,更正交的卷积滤波器比他们的正常同行。鲁棒模型和正常模型之间的最大差异存在于最深层和第一个卷积层中,该卷积层始终主要形成可以部分消除扰动的滤波器,而与架构无关。数据和项目网站:https://github.com/paulgavrikov/cvpr22w_RobustnessThroughTheLens
2022-04-05 cs.AI cs.CV cs.LG
Adversarial Transformation Networks: Learning to Generate Adversarial Examples
Google Research(谷歌研究院)
已经提出了多种不同的生成对抗性示例的方法来攻击深度神经网络。这些方法涉及直接计算关于图像像素的梯度,或者直接求解图像像素上的优化。在这项工作中,我们提出了一种生成对抗性示例的全新方法,该方法执行速度快,并提供了异常多样的输出。我们以自监督的方式有效地训练前馈神经网络,以生成针对目标网络或一组网络的对抗性示例。我们将这种网络称为对抗转换网络(ATN)。ATN被训练来生成对抗性示例,这些示例在给定原始输入的情况下最小限度地修改分类器的输出,同时约束新分类以匹配对抗性目标类。我们提出了训练ATN的方法,并针对各种MNIST分类器以及最新的最先进的ImageNet分类器Inception ResNet v2分析了它们的有效性。
2017-03-28 cs.AI cs.CV cs.NE
Transcending Adversarial Perturbations: Manifold-Aided Adversarial Examples with Legitimate Semantics
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);Foshan Graduate School, Northeastern University(东北大学佛山研究生院);College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
本文提出监督式语义变换生成模型,构建无约束对抗流形生成合法语义对抗样本,在MNIST和工业缺陷数据集上实现更优视觉质量、攻击可迁移性和可解释性。
2024-02-05 cs.CR cs.CV cs.LG
Not All Adversarial Examples Require a Complex Defense: Identifying Over-optimized Adversarial Examples with IQR-based Logit Thresholding
Ghent University(根特大学);Ghent University Global Campus(根特大学全球校区)
检测对抗性样本目前是深度学习领域最大的挑战之一。产生对抗性示例的对抗攻击增加了目标类对特定数据点的预测可能性。在这个过程中,对抗性示例可以进一步优化,即使它已经被错误地分类为100%置信度,从而使对抗性示例更难以检测。对于这种对抗性示例,我们称之为过度优化的对抗性示例,我们发现模型的logits为手头的数据点是对抗性的还是真实的提供了可靠的线索。在这种情况下,我们首先讨论softmax函数对预测的掩蔽效应,并解释为什么模型的logits在检测过度优化的对抗性示例时更有用。为了在实践中识别这种类型的对抗性示例,我们提出了一种依赖于四分位距的非参数和计算效率高的方法,随着图像分辨率的增加,这种方法变得更加有效。我们通过对不同数据集(MNIST,CIFAR-10和ImageNet)和几种架构的详细实验来支持我们在整篇论文中的观察。
2019-07-30 cs.CR cs.CV cs.LG
Hessian-Free Second-Order Adversarial Examples for Adversarial Learning
Zhejiang University of Science and Technology(浙江科技大学);Hikvision Digital Technology Co., Ltd(海康威视数字技术股份有限公司);Guangzhou University(广州大学);CY Cergy Paris University(CY塞尔吉-巴黎大学)
最近的研究表明,深度神经网络(DNN)非常容易受到精心设计的对抗性示例的影响。使用这些对抗性示例的对抗性学习已被证明是防御此类攻击的最有效方法之一。目前,大多数对抗性样本生成方法都是基于一阶梯度的,这很难进一步提高模型的鲁棒性,尤其是在面对二阶对抗攻击时。与一阶梯度相比,二阶梯度提供了关于自然示例的损失景观的更准确的近似。受此启发,我们的工作制作了二阶对抗示例,并使用它们来训练DNN。然而,二阶优化涉及耗时的海森逆计算。我们提出了一种近似方法,通过将问题转化为Krylov子空间中的优化问题,显著降低了计算复杂性,加快了训练过程。在MINIST和CIFAR-10数据集上进行的大量实验表明,我们使用二阶对抗性示例进行的对抗性学习优于其他一阶方法,这可以提高模型对各种攻击的鲁棒性。
2022-07-04 cs.CR cs.CV cs.LG
Adversarial Examples Are Not Easily Detected: Bypassing Ten Detection Methods
University of California, Berkeley(加州大学伯克利分校)
众所周知,神经网络容易受到对抗性样本的影响:输入接近自然输入,但分类错误。为了更好地理解对抗性示例的空间,我们调查了最近十个旨在检测的提案,并比较了它们的有效性。我们证明了所有这些都可以通过构造新的损失函数来克服。我们的结论是,对抗性示例比以前认识到的更难检测,并且被认为是对抗性示例固有的属性实际上不是。最后,我们提出了几个简单的准则,以评估未来提出的防御。
2017-11-01 cs.CR cs.CV cs.LG
AED-PADA:Improving Generalizability of Adversarial Example Detection via Principal Adversarial Domain Adaptation
Beihang University(北京航空航天大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本文提出 AED-PADA,通过识别覆盖主要对抗特征空间的 PADs 并引入多源无监督域适应,提升对抗样本检测在未知攻击和最小扰动场景下的泛化能力。
2024-12-04 cs.CR cs.CV cs.LG
Stable Neural ODE with Lyapunov-Stable Equilibrium Points for Defending Against Adversarial Attacks
Continental-NTU Corporate Lab(大陆-南洋理工大学联合实验室);Nanyang Technological University(南洋理工大学);Singapore University of Social Sciences(新跃社科大学)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击,其中恶意的人类无法感知的扰动被包含在深度网络的输入中,以欺骗它做出错误的分类。最近的研究表明,与普通DNN相比,神经常微分方程(ODE)本质上对对抗攻击更具鲁棒性。在这项工作中,我们提出了一个稳定的神经常微分方程与李雅普诺夫稳定平衡点防御对抗攻击(SODEF)。通过确保用作SODEF的一部分的ODE解的平衡点是Lyapunov稳定的,具有小扰动的输入的ODE解收敛到与未扰动输入相同的解。我们提供的理论结果,让深入了解的稳定性SODEF以及正则化选择,以确保其稳定性。我们的分析表明,我们提出的正则化迫使提取的特征点是在附近的Lyapunov稳定的平衡点的常微分方程。SODEF与许多防御方法兼容,可以应用于任何神经网络的最终回归层,以增强其对对抗攻击的稳定性。
2021-10-25 cs.CR cs.CV cs.LG
Gödel's Sentence Is An Adversarial Example But Unsolvable
Huazhong University of Science and Technology(华中科技大学);School of Cyber Science and Engineering(网络空间安全学院)
近年来,来自不同领域的不同类型的对抗性例子层出不穷,其中包括没有扰动的纯自然例子。提出了各种各样的防御措施,然后很快就被打破了。需要问两个基本问题:对抗性例子存在的原因是什么?对抗性例子是不可解的吗?在本文中,我们将展示对抗性例子存在的原因是存在可以解释所有数据集的非同构自然解释。具体来说,对于真实和可证明的两种自然解释,哥德尔的句子是一个对抗性的例子,但不可消除。它不能通过数据集的重新积累或学习算法的重新改进来解决。最后,从可计算性的角度,我们将证明对抗性例子的不可计算性,这是不可识别的。
2020-02-25 cs.CV cs.LG stat.ML
Are adversarial examples inevitable?
已经提出了各种各样的防御措施来加强神经网络对对抗攻击的防御。然而,出现了一种模式,即大多数对抗性防御很快被新的攻击打破。鉴于在生成强大防御方面缺乏成功,我们不禁要问一个基本问题:对抗攻击是不可避免的吗?本文从理论的角度分析了对抗性的例子,并确定了分类器对对抗攻击敏感性的基本界限。我们表明,对于某些类别的问题,对抗性的例子是不可避免的。通过实验,我们探索了理论保证对现实世界问题的影响,并讨论了维度和图像复杂性等因素如何限制分类器对对抗性示例的鲁棒性。
2020-02-03 cs.CV cs.LG stat.ML
Adversarial Examples: Attacks and Defenses for Deep Learning
University of Florida(佛罗里达大学)
深度学习在广泛的应用中取得了快速进展和重大成功,正在许多安全关键环境中应用。然而,最近发现深度神经网络容易受到精心设计的输入样本(称为对抗样本)的影响。对抗性示例对人类来说是不可感知的,但在测试/部署阶段可以很容易地欺骗深度神经网络。对抗性示例的脆弱性成为在安全关键环境中应用深度神经网络的主要风险之一。因此,对抗性样本的攻击和防御引起了人们的极大关注。在本文中,我们回顾了最近关于深度神经网络对抗性示例的研究结果,总结了生成对抗性示例的方法,并提出了这些方法的分类。根据分类法,对抗性的例子的应用程序进行了研究。我们进一步阐述了对抗性例子的对策,并探讨了挑战和潜在的解决方案。
2018-07-07 cs.CR cs.CV cs.LG
Generating Adversarial Examples with Better Transferability via Masking Unimportant Parameters of Surrogate Model
Tsinghua University(清华大学);RealAI(瑞莱智慧)
本文提出通过掩蔽代理模型中不重要参数(MUP)来精炼预训练模型,从而提升基于迁移攻击所生成对抗样本的迁移性,并可结合现有梯度优化器进一步增强攻击效果。
2023-04-14 cs.CR cs.CV cs.LG
AdvJND: Generating Adversarial Examples with Just Noticeable Difference
与传统的机器学习模型相比,深度神经网络的表现更好,尤其是在图像分类任务中。然而,他们很容易受到敌对的例子。在示例上添加小的扰动会导致性能良好的模型对精心制作的示例进行错误分类,而在人眼中没有类别差异,并成功地欺骗了深度模型。生成对抗性示例有两个要求:攻击成功率和图像保真度指标。一般情况下,增加扰动以保证对抗样本的高攻击成功率,但得到的对抗样本的隐蔽性较差。为了减轻攻击成功率和图像保真度之间的权衡,我们提出了一种名为AdvJND的方法,在生成对抗性示例时,在失真函数的约束中添加视觉模型系数,即可察觉的差异系数。实际上,人眼的视觉主观感觉被添加作为先验信息,决定扰动的分布,以提高对抗样本的图像质量。我们在FashionMNIST、CIFAR10和MiniImageNet数据集上测试了我们的方法。由我们的AdvJND算法生成的对抗性示例产生的梯度分布与原始输入的梯度分布相似。因此,精心制作的噪声可以隐藏在原始输入中,从而显着提高攻击隐蔽性。
2020-06-23 cs.CR cs.CV eess.IV
Improving Visual Quality of Unrestricted Adversarial Examples with Wavelet-VAE
Institute of Image Communication and Network Engineering, Shanghai JiaoTong University(上海交通大学图像通信与网络工程研究所)
传统的对抗性示例通常是通过在小矩阵范数内向输入图像添加扰动噪声来生成的。在实践中,无限制的对抗攻击引起了人们的极大关注,对人工智能的安全构成了新的威胁。在本文中,我们提出了一个小波VAE结构来重建输入图像,并通过修改潜在的代码生成对抗性的例子。与基于扰动的攻击不同,该方法的修改不受限制,但人眼无法感知。实验表明,我们的方法可以在ImageNet数据集上生成高质量的对抗性示例。
2021-08-25 cs.AI cs.CV cs.LG
Trace-Norm Adversarial Examples
University of Central Florida(中佛罗里达大学);École Normale Supérieure(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所)
白盒对抗性扰动是通过迭代优化算法来寻求的,最常见的是最小化原始图像的$l_p$邻域(所谓的失真集)上的对抗性损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里,我们探索几个失真集与结构增强算法。对抗性示例的这些新结构,在优化中普遍存在,例如,对于对抗性理论认证来说是一个挑战,该理论认证再次仅提供$l_p$证书。由于对抗鲁棒性仍然是一个经验领域,防御机制也应该合理地评估不同结构的攻击。此外,这些结构化对抗扰动可以允许比它们的$l_p$对应部分更大的失真大小,同时保持不可感知或可感知为图像的自然轻微失真。最后,它们允许对对抗性扰动的生成进行一些控制,如(局部)模糊。
2020-07-02 cs.CV cs.LG stat.ML
Generating Adversarial Examples with Adversarial Networks
University of California, Berkeley(加州大学伯克利分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Massachusetts Institute of Technology(麻省理工学院)
深度神经网络(DNN)已被发现易受对抗性示例的影响,这些示例是通过向输入添加小幅度扰动而产生的。这样的对抗性示例可能会误导DNN产生对抗性选择的结果。已经提出了不同的攻击策略来生成对抗性示例,但如何生成具有高感知质量和更有效的示例需要更多的研究工作。在本文中,我们提出了AdvGAN来生成具有生成对抗网络(GANs)的对抗示例,它可以学习和近似原始实例的分布。对于AdvGAN,一旦生成器被训练,它就可以为任何实例有效地生成对抗性扰动,从而潜在地加速对抗性训练作为防御。我们在半白盒和黑盒攻击设置中应用AdvGAN。在半白盒攻击中,与传统的白盒攻击相比,在生成器被训练之后不需要访问原始目标模型。在黑盒攻击中,我们动态训练一个蒸馏模型的黑盒模型,并优化相应的发生器。与其他攻击相比,AdvGAN在不同目标模型上生成的对抗示例在最先进的防御下具有较高的攻击成功率。我们的攻击在公开的MNIST黑盒攻击挑战中以92.76%的准确率排名第一。
2019-02-14 cs.CR cs.CV stat.ML
One Man's Trash is Another Man's Treasure: Resisting Adversarial Examples by Adversarial Examples
Columbia University(哥伦比亚大学)
现代图像分类系统通常建立在深度神经网络上,这些网络会受到对抗性示例的影响-图像带有故意制作的、难以察觉的噪声,以误导网络的分类。为了防御对抗性的例子,一个合理的想法是模糊网络相对于输入图像的梯度。这个总的想法激发了一长串的防御方法。然而,事实证明,几乎所有这些国家都是脆弱的。我们从一个完全不同的角度重新审视这个看似有缺陷的想法。我们接受无处不在的对抗性例子和制作它们的数字程序,并将这种有害的攻击过程转化为有用的防御机制。我们的防御方法在概念上很简单:在输入图像进行分类之前,通过在预训练的外部模型上找到对抗性示例来对其进行转换。我们评估我们的方法对广泛的可能的攻击。在CIFAR-10和Tiny ImageNet数据集上,我们的方法比最先进的方法更强大。特别是,与对抗训练相比,我们的方法提供了更低的训练成本和更强的鲁棒性。
2019-11-27 cs.CV cs.LG eess.IV
Spatially Transformed Adversarial Examples
University of Michigan(密歇根大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Berkeley(加州大学伯克利分校)
最近的研究表明,广泛使用的深度神经网络(DNN)容易受到精心制作的对抗性示例的影响。已经提出了许多先进的算法来通过利用$\mathcal{L}_p$距离来惩罚扰动来生成对抗性示例。研究人员探索了不同的防御方法来抵御这种对抗攻击。虽然$\mathcal{L}_p$距离作为感知质量的度量的有效性仍然是一个活跃的研究领域,但在本文中,我们将专注于不同类型的扰动,即空间变换,而不是像以前的作品那样直接操纵像素值。通过空间变换产生的扰动可能会导致大的$\mathcal{L}_p$距离度量,但我们的大量实验表明,这种空间变换的对抗性示例在感知上是真实的,并且更难以用现有的防御系统进行防御。这可能为对抗性示例生成和相应防御的设计提供了新的方向。我们可视化的空间变换为基础的扰动不同的例子,并表明我们的技术可以产生现实的对抗性的例子与平滑的图像变形。最后,我们用不同类型的对抗性示例来可视化深度网络的注意力,以更好地理解这些示例是如何被解释的。
2018-01-09 cs.CR cs.CV stat.ML
Adversarial Examples - A Complete Characterisation of the Phenomenon
Radboud University(拉德堡德大学);Software Improvement Group(软件改进集团)
我们提供了对抗性示例现象的完整特征-故意制作的输入来愚弄机器学习模型。我们的目标是涵盖这一研究领域的所有重要问题:(1)对抗性示例的存在,(2)安全性,安全性和鲁棒性的影响,(3)用于生成和(4)防止对抗性示例的方法,以及(5)对抗性示例在不同机器学习模型之间转移的能力。我们提供了大量的背景资料,以使本文件自成一体。因此,本文档可以用作调查,教程或作为使用对抗性示例的攻击和防御的目录。
2019-02-17 cs.CR cs.CV cs.LG