Blind Pre-Processing: A Robust Defense Method Against Adversarial Examples
Department of Computer Engineering, University of Central Flordia(中佛罗里达大学计算机工程系);Tencent AI Lab at Seattle(腾讯西雅图人工智能实验室)
深度学习算法和网络容易受到扰动输入的影响,这被称为对抗攻击。已经研究了许多防御方法来防御这种对抗攻击。在这项工作中,我们提出了一种新的方法来捍卫现有的强大的攻击模型。首次提出了一种新的攻击方案,并对白盒攻击提出了一个实用的约束条件。根据这个建议的攻击方案,我们提出了有史以来最好的防御报告,对最近的一些强大的攻击。它由一组非线性函数来处理输入数据,这将使它对对抗攻击更具鲁棒性。然而,我们使这个处理层对攻击者完全隐藏。盲预处理使MNIST的白盒攻击准确率从94.3%提高到98.7%。即使在其他防御完全失败的情况下增加防御,盲预处理仍然是有史以来报道的最强防御之一。我们防御的另一个优势是,它消除了对抗训练的需要,因为它可以显着提高MNIST的准确性,而无需对抗训练。此外,盲预处理还可以在面对对CIFAR-10和SVHN数据集的强大攻击时提高推理准确性,而不会牺牲干净的数据准确性。
2018-02-07 cs.AI cs.LG stat.ML
Harnessing adversarial examples with a surprisingly simple defense
我介绍了一个非常简单的方法来防御对抗性的例子。其基本思想是在测试时提高ReLU函数的斜率。在MNIST和CIFAR-10数据集上的实验证明了所提出的防御方法在非目标和目标环境中对许多强攻击的有效性。虽然这种方法可能不如最先进的对抗性防御有效,但它可以为理解和减轻对抗攻击提供见解。它也可以与其他防御措施结合使用。
2020-06-03 cs.CR cs.CV cs.LG
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester(曼彻斯特大学)
本文建立解释集成对抗防御鲁棒性的误差理论,并据此提出 iGAT,通过全局对抗样本概率分配和弱点正则化,在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
Encryption Inspired Adversarial Defense for Visual Classification
Tokyo Metropolitan University(东京都立大学)
无论模型是否受到攻击,传统的对抗性防御都会降低分类准确性。此外,大多数基于图像处理的防御由于模糊梯度的问题而失败。在本文中,我们提出了一种新的对抗性防御,这是一个防御性的变换的训练和测试图像的启发感知图像加密方法。所提出的方法利用了一个秘密密钥的逐块像素洗牌方法。实验进行了自适应和非自适应最大范数有界白盒攻击,同时考虑混淆梯度。实验结果表明,该方法在CIFAR-10数据集上,在噪声距离为8/255的干净图像和对抗性样本上分别达到了91.55%和89.66%的准确率。因此,所提出的防御优于最先进的对抗性防御,包括潜在对抗性训练,对抗性训练和温度计编码。
2020-05-16 cs.CR cs.LG stat.ML
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science(印度科学学院)
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降(PGD)在约束集内最大化标准损失(诸如交叉熵损失或最大余量损失)来生成。在这项工作中,我们在标准损失中引入了一个松弛项,找到了更合适的梯度方向,提高了攻击效率,并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击(GAMA),它利用干净图像的函数映射来引导对手的生成,从而产生更强的攻击。我们评估我们的攻击对多种防御,并显示出改进的性能相比,现有的攻击。此外,我们提出了引导对抗训练(GAT),它通过利用所提出的松弛项进行攻击生成和训练,在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models
Macquarie University(麦考瑞大学);Harvard University(哈佛大学);University of Sydney(悉尼大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
如今,自动驾驶已经引起了工业界和学术界的广泛关注。卷积神经网络(CNN)是自动驾驶中的关键组件,也越来越多地被智能手机、可穿戴设备和物联网网络等普适计算所采用。先前的工作表明,基于CNN的分类模型容易受到对抗性攻击。然而,目前还不确定回归模型(如驱动模型)在多大程度上容易受到对抗性攻击,现有防御技术的有效性以及对系统和中间件构建者的防御影响。本文深入分析了三种驱动模型的五种对抗性攻击和四种防御方法。实验表明,与分类模型类似,这些模型仍然非常容易受到对抗性攻击。这对自动驾驶构成了很大的安全威胁,因此在实践中应该加以考虑。虽然这些防御方法可以有效地防御不同的攻击,但没有一种能够对所有五种攻击提供足够的保护。我们得出了对系统和中间件构建者的几个启示:(1)当添加对抗性攻击的防御组件时,重要的是要串联部署多种防御方法以实现对各种攻击的良好覆盖,(2)与白盒攻击相比,黑盒攻击的有效性要低得多,这意味着重要的是要保留模型细节(例如,模型体系结构、超参数)通过模型混淆而机密,以及(3)如果计算资源允许,则优选驱动具有复杂体系结构的模型,因为它们比简单模型对对抗性攻击更有弹性。
2020-02-06 cs.CR cs.LG eess.SP
ATHENA: A Framework based on Diverse Weak Defenses for Building Adversarial Defense
University of South Carolina(南卡罗来纳大学)
针对对抗攻击的防御技术已经有了广泛的研究,但是,它们主要是针对特定的模型族或应用领域设计的,因此,它们不容易扩展。基于多种弱防御集成的设计思想,我们提出了ATHENA--一个灵活的、可扩展的框架,用于构建针对对抗攻击的通用而有效的防御。我们已经进行了一个全面的实证研究,评估ATHENA的几个实现与四个威胁模型,包括零知识,黑盒,灰盒和白盒。我们还解释了(i)为什么多样性很重要,(ii)防御框架的一般性,以及(iii)ATHENA产生的间接成本。
2020-10-16 cs.CR cs.LG stat.ML
Towards Model-Agnostic Adversarial Defenses using Adversarially Trained Autoencoders
Stony Brook University(石溪大学);IBM Research(IBM研究院);University of Michingan(密歇根大学)
对抗性机器学习是一个研究得很好的领域,其中对手通过对输入的精确操纵在机器学习算法中引起可预测的错误。已经提出了许多技术来强化机器学习算法并减轻对抗攻击的影响。在这些技术中,对抗性训练(其用对抗性样本来增强训练数据)已被证明是针对某类攻击的有效防御。然而,对抗性训练在计算上是昂贵的,其改进仅限于单个模型。在这项工作中,我们朝着创建模型不可知的对抗性防御迈出了第一步。我们提出了对抗训练的自动编码器增强(AAA),这是第一个与模型无关的对抗性防御,对某些自适应对手具有鲁棒性。我们表明,AAA允许我们通过训练单个自动编码器来保护多个预先训练的分类器,从而实现部分模型不可知的防御;在不修改分类器的情况下,实现与对抗训练相当或更好的对抗性能。此外,我们证明了AAA可以用于为MNIST和Fashion MNIST数据集创建完全模型不可知的防御,通过将从未见过的预训练分类器的对抗性能提高至少45%,而无需额外的训练。最后,使用自然图像损坏数据集,我们证明了我们的方法提高了对自然损坏图像的鲁棒性,这已被确定为真正的对抗鲁棒性的强烈指示。
2020-03-29 cs.CV cs.LG
DefenseVGAE: Defending against Adversarial Attacks on Graph Data via a Variational Graph Autoencoder
Peking University(北京大学)
图神经网络(GNNs)在处理图数据的任务时具有显著的性能。然而,最近的研究表明,它们非常容易受到对抗性结构扰动的影响,使得它们的结果不可靠。在本文中,我们提出了DefenseVGAE,这是一个利用变分图自编码器(VGAE)来保护GNN免受此类攻击的新框架。DefenseVGAE被训练来重建图结构。重构的邻接矩阵可以降低对抗干扰的影响,提高GCN在面对对抗攻击时的性能。我们在一些数据集上的实验表明,所提出的方法在各种威胁模型下的有效性。在某些情况下,它优于现有的防御策略。我们的代码已在https://github.com/zhangao520/defense-vgae上公开发布。
2020-06-16 cs.LG stat.ML
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley(加州大学伯克利分校);DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的,并且一旦训练就保持不变,即使攻击发生变化。我们认为,模型应该反击,并在测试时优化其对攻击的防御。我们提出了动态防御,以适应模型和测试过程中的输入,防御熵最小化(登特)。登特改变了测试,但没有训练,与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是,在$ε_\infty$ = 8/255的CIFAR-10上,Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
Exploring Adversarial Attacks and Defenses in Vision Transformers trained with DINO
ETH Zurich(苏黎世联邦理工学院)
本文首次分析了使用DINO训练的自监督视觉Transformer对对抗攻击的鲁棒性。首先,我们评估通过自我监督学习的特征是否比从监督学习中学习的特征对对抗攻击更鲁棒。然后,我们提出了在潜在空间中的攻击所产生的属性。最后,我们评估了三种著名的防御策略是否可以通过微调分类头来提高下游任务的对抗鲁棒性,即使在有限的计算资源下也能提供鲁棒性。这些防御策略是:对抗性训练,强化对抗性训练和强化专业网络。
2022-09-08 cs.AI cs.CV
Test-time Adversarial Defense with Opposite Adversarial Path and High Attack Time Cost
Institute of Information Science Academia Sinica(资讯研究所)
针对深度学习模型易受对抗攻击、训练时防御鲁棒性不足的问题,提出基于反向对抗路径与逆向扩散的测试时纯化防御方法,例证了AutoAttack(Rand)的应用陷阱,分析了攻击效果与时间成本的权衡,验证了方法有效性。
2025-05-19 cs.CR cs.LG
LPF-Defense: 3D Adversarial Defense based on Frequency Analysis
Sharif University of Technology(谢里夫理工大学)
虽然三维点云分类最近已被广泛部署在不同的应用场景中,但它仍然非常容易受到对抗攻击。这增加了3D模型在面对对抗攻击时的鲁棒训练的重要性。基于我们对现有对抗攻击性能的分析,发现更多的对抗扰动出现在输入数据的中高频分量。因此,通过在训练阶段抑制高频内容,提高了模型对对抗性示例的鲁棒性。实验结果表明,该防御方法降低了PointNet、PointNet++、、和DGCNN模型上六种攻击的成功率。特别是,与最先进的方法相比,在drop 100攻击下分类准确率平均提高了3.8%,在drop 200攻击下提高了4.26%。与其他可用的方法相比,该方法还提高了原始数据集上的模型精度。
2022-08-24 cs.CR cs.CV cs.LG
A Partial Break of the Honeypots Defense to Catch Adversarial Attacks
Google Brain(谷歌大脑)
最近的一项防御建议将“蜜罐”注入神经网络,以检测对抗攻击。我们通过将检测真阳性率降低到0%和检测AUC降低到0.02来打破这种防御的基线版本,保持原始的失真界限。原始论文的作者已经修改了CCS'20论文中的辩护,以减轻这种攻击。为了帮助进一步的研究,我们在https://nicholas.carlini.com/code/ccs_honeypot_break上发布了完整的2.5小时逐行扫描屏幕记录的攻击过程。
2020-09-23 cs.CR cs.LG
Defense against adversarial attacks on spoofing countermeasures of ASV
National Taiwan University(台湾大学);The Chinese University of Hong Kong(香港中文大学)
在ASVspoof 2019挑战赛中提出了各种最前沿的自动说话人验证(ASV)对抗方法,这些方法在反欺骗方面具有相当高的性能。然而,以前的工作表明,对策模型容易受到与自然数据无法区分的对抗性示例的影响。一个好的对策模型不仅应该对欺骗音频(包括合成、转换和重放音频)具有鲁棒性,而且还应该抵消恶意对手故意生成的示例。在这项工作中,我们引入了一种被动防御方法,空间平滑,和一种主动防御方法,对抗性训练,以减轻ASV欺骗对策模型对对抗性示例的脆弱性。本文是第一个使用防御方法来提高ASV欺骗对抗模型在对抗性攻击下的鲁棒性。实验结果表明,这两种防御方法对欺骗对抗模型对抗实例有积极的帮助。
2020-03-06 cs.LG cs.SD eess.AS
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen(哥廷根乔治-奥古斯特大学);University of Tübingen(图宾根大学)
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络(BNN)的主题,并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里,我分析了拟议的防御,并建议需要调整对抗攻击,以纳入贝叶斯网络的随机性,以执行其鲁棒性的准确评估。使用这种新型的攻击,我表明,似乎没有强有力的证据,更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Mel Frequency Spectral Domain Defenses against Adversarial Attacks on Speech Recognition Systems
USC Ming Hsieh Department of Electrical and Computer Engineering(南加州大学明谢电子与计算机工程系)
最近的各种工作已经研究了深度神经网络对对抗性攻击的防御,特别是在图像处理领域。诸如自动语音识别(ASR)等语音处理应用越来越依赖于深度学习模型,因此也容易受到对抗性攻击。然而,许多针对ASR探索的防御只是适应图像域防御,这可能无法提供最佳的鲁棒性。本文探讨了使用梅尔频谱域的语音特定的防御,并介绍了一种新的防御方法称为梅尔域噪声淹没(MDNF)。MDNF在重新合成音频信号之前将加性噪声应用于语音话语的梅尔频谱图。我们测试了对强白盒对抗攻击(如投影梯度下降(PGD)和Carlini-Wagner(CW)攻击)的防御,并在强威胁模型中显示出比随机平滑基线更好的鲁棒性。
2022-03-29 cs.LG eess.AS
Adversarial Attack and Defense on Point Sets
Shanghai Jiao Tong University(上海交通大学);Huawei Hisilicon(华为海思);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
3D点云数据在安全关键视觉任务中的实用性的出现(例如,ADAS)敦促研究人员更加关注3D表示和深度网络的鲁棒性。为此,我们开发了一个攻击和防御计划,致力于3D点云数据,防止3D点云操纵,以及追求噪声容忍的3D表示。通过逐点梯度扰动和对抗性点连接/分离,提出了一组新的3D点云攻击操作。然后,我们开发了一个灵活的扰动测量方案的三维点云数据检测潜在的攻击数据或噪声传感数据。值得注意的是,所提出的防御方法甚至可以有效地检测由直接针对防御的概念验证攻击生成的对抗性点云。针对对抗攻击在多个点云网络之间的可转移性问题,提出了一种动量增强的逐点梯度算法来提高攻击的可转移性.我们进一步分析了从对抗点云到网格CNN和逆的可转移性。在常见点云基准上的大量实验结果证明了所提出的3D攻击和防御框架的有效性。
2021-05-31 cs.AI cs.CR cs.CV
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
Department of Excellence in Robotics and AI, Sant’Anna School of Advanced Study(机器人与人工智能卓越部门、圣安娜高级研究学校)
研究视觉Transformer易受局部对抗攻击问题,提出对抗诱饵方法,通过独立优化图像补丁重定向注意力,解耦错误分类与防御规避目标,实验证明该方法能转移注意力并保留攻击效果,揭示相关指标局限性。
2026-11-13 cs.AI cs.CV
StratDef: Strategic Defense Against Adversarial Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院)
提出基于移动目标防御的 StratDef 系统,通过动态策略化选择模型降低攻击可迁移性,并在多威胁级别下证明其优于现有恶意软件检测防御。
2023-04-24 cs.CR cs.LG
Defense-friendly Images in Adversarial Attacks: Dataset and Metrics for Perturbation Difficulty
The University of Western Australia(西澳大学)
数据集偏差是对抗性机器学习中的一个问题,特别是在防御评估中。对抗攻击或防御算法在报告的数据集上显示的结果可能比在其他数据集上复制的结果更好。即使在比较两种算法时,它们的相对性能也会因数据集而异。深度学习为图像识别提供了最先进的解决方案,但深度模型甚至容易受到小扰动的影响。该领域的研究主要集中在对抗攻击和防御算法上。在本文中,我们报告的第一次,一类鲁棒的图像,既有弹性的攻击和恢复比随机图像下对抗攻击使用简单的防御技术。因此,具有高比例的鲁棒图像的测试数据集给出了关于对抗攻击或防御的性能的误导性印象。我们提出了三个指标来确定数据集中鲁棒图像的比例,并提供评分来确定数据集偏差。我们还提供了一个包含15000多个强大图像的ImageNet-R数据集,以便于进一步研究这种有趣的攻击下图像强度现象。我们的数据集,结合所提出的指标,是有价值的对抗攻击和防御算法的无偏基准。
2020-11-07 cs.CV cs.LG
Efficient Defenses Against Adversarial Attacks
IBM Research Ireland(IBM爱尔兰研究院)
随着深度神经网络(DNN)最近在广泛的应用中被采用,针对这些模型的对抗攻击已被证明是一个无可争议的威胁。对抗性样本是故意破坏系统的。在DNN的情况下,缺乏对其工作的更好理解阻碍了有效防御的发展。在本文中,我们提出了一种新的防御方法的基础上,实际的观察,这是很容易集成到模型中,比最先进的防御性能更好。我们提出的解决方案旨在加强DNN的结构,使其预测更加稳定,不太可能被对抗样本愚弄。我们进行了广泛的实验研究,证明我们的方法对多种攻击的效率,将其与白盒和黑盒设置中的众多防御进行比较。此外,我们的方法的实现几乎没有给训练过程带来任何开销,同时保持了原始模型在干净样本上的预测性能。
2017-08-30 cs.LG
Real-world Adversarial Defense against Patch Attacks based on Diffusion Model
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
该研究提出基于扩散模型的DIFFender防御框架,利用对抗异常感知现象定位并修复对抗补丁,通过少样本提示微调适配任务,在多任务及真实场景中表现鲁棒,还可扩展至红外域防御。
2024-09-14 cs.AI cs.CR cs.CV
Defense-PointNet: Protecting PointNet Against Adversarial Attacks
University of Kentucky(肯塔基大学);Miami University(迈阿密大学)
尽管在广泛的任务中表现出色,但神经网络已被证明容易受到对抗攻击的影响。许多工作集中在二维图像上的对抗攻击和防御,但很少关注三维点云。在本文中,我们的目标是增强PointNet的对抗鲁棒性,PointNet是最广泛使用的3D点云模型之一。我们将快速梯度符号攻击方法(FGSM)应用于3D点云,发现FGSM不仅可以用于生成对抗图像,而且可以生成对抗点云。为了最大限度地减少PointNet对对抗攻击的脆弱性,我们提出了Defense-PointNet。我们将我们的模型与两种基线方法进行了比较,结果表明Defense-PointNet显著提高了网络对对抗性样本的鲁棒性。
2020-02-27 cs.CV cs.LG eess.IV
Adversarial Defense via Neural Oscillation inspired Gradient Masking
University of Canterbury(坎特伯雷大学)
脉冲神经网络(SNN)由于其低功耗、低延迟和生物相容性而受到广泛关注。随着它们被广泛部署在用于低功耗脑启发计算的神经形态设备中,安全问题变得越来越重要。然而,与深度神经网络(DNN)相比,SNN目前缺乏专门设计的针对对抗攻击的防御方法。受神经膜电位振荡的启发,我们提出了一种新的神经模型,它结合了生物启发的振荡机制,以提高SNN的安全性。我们的实验表明,神经振荡神经元的SNN有更好的抵抗对抗攻击比普通的SNN与LIF神经元在各种架构和数据集。此外,我们提出了一种防御方法,通过替换振荡的形式来改变模型的梯度,这隐藏了原始的训练梯度,并混淆了攻击者使用“假”神经元的梯度来生成无效的对抗样本。我们的实验表明,所提出的防御方法可以有效地抵抗单步和迭代攻击,具有可比的防御效果和更少的计算成本比对抗性的DNN训练方法。据我们所知,这是第一个通过在SNN上掩蔽代理梯度来建立对抗性防御的工作。
2022-11-04 cs.LG cs.NE
DIFFender: Diffusion-Based Adversarial Defense against Patch Attacks
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Tsinghua-Bosch Joint ML Center, Tsinghua University(清华大学-博世联合机器学习中心);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Zhongguancun Laboratory(中关村实验室);RealAI
DIFFender利用文本引导扩散模型,通过发现对抗性异常感知现象,在单一框架内实现补丁定位与恢复,有效防御补丁攻击,并在图像分类和人脸识别任务中展现出良好鲁棒性与泛化能力。
2024-07-17 cs.AI cs.CR cs.CV
Textual Manifold-based Defense Against Natural Language Adversarial Examples
VinAI Research(VinAI研究院);Nanyang Technological University(南洋理工大学)
最近对对抗图像的研究表明,它们往往会留下底层的低维数据流形,这使得当前模型做出正确预测的挑战性大大增加。这种所谓的非流形猜想激发了一种新的防御图像对抗攻击的方法。在这项研究中,我们发现了一个类似的现象发生在由预训练的语言模型诱导的语境化嵌入空间中,其中敌对文本倾向于使其嵌入偏离自然文本的流形。基于这一发现,我们提出了基于文本流形的防御(TMD),一种防御机制,在分类之前将文本嵌入投影到近似的嵌入流形上。它降低了潜在对抗性示例的复杂性,最终增强了受保护模型的鲁棒性。通过大量的实验,我们的方法在各种攻击设置下始终显着优于以前的防御,而不会牺牲干净的准确性。据我们所知,这是第一个利用流形结构对抗对抗攻击的NLP防御。我们的代码可在\url{https://github.com/dangne/tmd}上获得。
2022-11-05 cs.CL cs.CR cs.LG
Adversarial Parameter Defense by Multi-Step Risk Minimization
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
以前的研究表明DNN对对抗性示例的脆弱性,对抗性训练可以建立对抗性示例的防御。此外,最近的研究表明,深度神经网络也表现出对参数损坏的脆弱性。模型参数的易损性对于研究模型的鲁棒性和泛化能力具有重要的意义。在这项工作中,我们引入了参数腐败的概念,并提出利用损失变化指标来衡量损失盆地的平坦性和神经网络参数的参数鲁棒性。在此基础上,我们分析了参数腐败,并提出了多步对抗腐败算法。为了增强神经网络,我们提出了对抗性参数防御算法,最大限度地减少了多个对抗性参数损坏的平均风险。实验结果表明,该算法能提高神经网络的参数鲁棒性和准确性。
2022-04-14 cs.LG
Adversarial Robustness for Machine Learning Cyber Defenses Using Log Data
DCI-Solutions;U.S. Army Combat Capabilities Development Command (CCDC), C5ISR Center(美国陆军作战能力发展司令部(CCDC)C5ISR中心)
人们对将机器学习应用于网络防御的兴趣越来越大。一种很有前途的方法是应用自然语言处理技术来分析日志数据以发现可疑行为。一个自然的问题是,这些系统对对抗攻击的鲁棒性如何。对复杂攻击的防御是网络防御特别关注的问题。在本文中,我们开发了一个测试框架来评估机器学习网络防御的对抗鲁棒性,特别是那些专注于日志数据的网络防御。我们的框架使用了深度强化学习和对抗性自然语言处理技术。我们使用公开的数据集验证了我们的框架,并证明了我们的对抗攻击确实成功地攻击了目标系统,揭示了一个潜在的漏洞。我们应用我们的框架来分析不同水平的dropout正则化的影响,发现更高的dropout水平增加了鲁棒性。此外,90%的丢弃概率表现出最高水平的鲁棒性,这表明异常高的丢弃率可能是适当防止对抗攻击所必需的。
2020-07-29 cs.LG stat.ML
Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院)
近年来,已经提出了几种对抗对抗ML攻击的移动目标防御(MTD)。MTD声称通过定期改变防御的某些元素(例如循环配置)来增加攻击者进行攻击的难度。为了检验这些说法,我们首次研究了几种最新的MTD对应用于恶意软件检测领域的对抗性ML攻击的有效性。在不同的威胁模型下,我们证明了可转移性和查询攻击策略可以通过跨Android和Windows的现有和新颖的攻击策略来实现对这些防御的高水平规避。我们还表明,指纹识别和侦察是可能的,并演示了攻击者如何获得关键的防御超参数以及如何产生预测的信息。基于我们的研究结果,我们提出了关键的建议,为今后的工作,有效的MTD的对抗攻击在ML为基础的恶意软件检测。
2023-02-01 cs.CR cs.LG
Evaluating the Adversarial Robustness of Adaptive Test-time Defenses
University of Tübingen(图宾根大学);DeepMind(深度思维);Everyday Robots(日常机器人公司)
自适应防御在测试时进行优化,有望提高对抗鲁棒性。我们对这种自适应测试时间防御进行分类,解释其潜在的优点和缺点,并评估图像分类的最新自适应防御的代表性品种。不幸的是,当我们仔细的案例研究评估时,没有一个显著改善静态防御。有些甚至削弱了底层的静态模型,同时增加了推理计算。虽然这些结果令人失望,但我们仍然相信自适应测试时间防御是一个有前途的研究途径,因此,我们提供了对其进行彻底评估的建议。我们扩展了Carlini et al.(2019)的清单,提供了适应性防御的具体步骤。
2022-07-13 cs.CR cs.CV cs.LG
A Multi-Model Hybrid Defense Approach Against White-box Adversarial Attacks in Computer Network Traffic
Aligarh Muslim University(阿里格尔穆斯林大学)
研究针对计算机网络流量白盒对抗攻击,提出多模型混合防御方法,结合对抗训练和高斯数据增强,有效减轻FGSM和C&W攻击影响,提升攻击后NIDS准确率,为对抗机器学习安全研究提供方向。
2026-07-21 cs.CR cs.LG
An Empirical Investigation of Randomized Defenses against Adversarial Attacks
Kiel University(基尔大学);Waterloo University(滑铁卢大学)
近年来,深度神经网络(DNN)对长期以来被认为非常困难的各种问题产生了巨大的影响,例如:例如,在一个实施例中,图像分类和自动语言翻译仅举几例。现代DNN在分类任务中的准确性确实非常出色。与此同时,攻击者已经设计出强大的方法来构建特制的恶意输入(通常称为对抗性示例),这些输入可以欺骗DNN对它们进行错误分类。更糟糕的是,尽管提出了许多防御机制来保护DNN免受对抗攻击,但攻击者通常能够绕过这些防御,使它们变得无用。这种状况非常令人担忧,特别是在机器学习系统被大规模采用的情况下。在本文中,我们提出了一种科学的评估方法,旨在评估随机防御的质量,有效性,鲁棒性和效率,以保护DNN免受对抗性示例的影响。使用这种方法,我们评估了各种防御机制。此外,我们还提出了一种防御机制,我们称之为随机扰动包围神经网络(RPENNs)。我们提供了一个彻底和全面的评估所考虑的防御机制对白盒攻击模型,六种不同的对抗攻击方法,并使用ILSVRC 2012验证数据集。
2019-09-12 cs.LG stat.ML
Internal Wasserstein Distance for Adversarial Attack and Defense
Shenzhen Youjia Innov Tech Co., Ltd(深圳佑驾创新科技有限公司);South China University of Technology(华南理工大学);Hong Kong University of Science and Technology(香港科技大学)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击,这些攻击会触发DNN的错误分类,但人类感知可能无法察觉。对抗性防御是提高DNN鲁棒性的重要途径。现有的攻击方法通常依赖于$\ell_p$距离等度量来构造对抗样本。然而,这些度量由于其有限的扰动而不足以进行对抗攻击。在本文中,我们提出了一个新的内部Wasserstein距离(IWD)来捕获两个样本的语义相似性,因此它有助于获得更大的扰动比目前使用的度量,如$\ell_p$距离。然后,我们应用内部Wasserstein距离来执行对抗攻击和防御。特别是,我们开发了一种新的攻击方法,依靠IWD来计算图像及其对抗性示例之间的相似性。通过这种方式,我们可以生成多样化和语义相似的对抗性示例,这些示例更难以通过现有的防御方法进行防御。此外,我们设计了一种新的防御方法,依靠IWD来学习鲁棒的模型来对抗未知的对抗性示例。我们提供了全面的理论和经验证据来支持我们的方法。
2023-02-21 cs.CR cs.LG
A Game Theoretic Analysis of Additive Adversarial Attacks and Defenses
Johns Hopkins University(约翰斯·霍普金斯大学)
对抗性学习的研究遵循攻击者和防御者之间的猫捉老鼠游戏,攻击被提出,它们被新的防御所缓解,然后提出新的攻击来打破先前的防御,等等。但是,是否存在无法提出更好的攻击或防御的条件仍然不清楚。在本文中,我们提出了一个博弈论的框架,研究攻击和防御存在于均衡。在二元分类器的局部线性决策边界模型下,证明了快速梯度法攻击和随机平滑法防御形成了一个纳什均衡.然后,我们将展示如何从数据生成分布中近似给定多个样本的均衡防御,并推导出我们近似性能的泛化界。
2020-11-11 cs.LG stat.ML
A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University(卡尔顿大学);Computer Engineering Carleton University Ottawa, Canada(计算机工程系卡尔顿大学渥太华加拿大);School of Information Technology Carleton University Ottawa, Canada(信息科技学院卡尔顿大学渥太华加拿大)
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络(DNN)基于网络入侵检测系统(NIDS),而无需额外显式防御。通过数千次实验,发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性,且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks
ETAS GmbH(伊塔斯有限公司);Bosch Group(博世集团)
深度学习已经成为许多机器学习问题(如分类)的最先进方法。最近的研究表明,深度学习非常容易受到对抗性扰动的影响。以自动驾驶汽车的摄像头系统为例,微小的对抗性扰动可能会导致系统在重要任务中出错,例如对交通标志进行分类或检测行人。因此,为了在没有安全问题的情况下使用深度学习,需要适当的防御策略。我们建议使用集成方法作为对抗性扰动的防御策略。我们发现,导致一个模型错误分类的攻击并不意味着执行相同任务的其他网络也会发生同样的情况。这使得集成方法成为对抗性攻击的有吸引力的防御策略。我们的经验表明,MNIST和CIFAR-10数据集集成方法不仅提高了测试数据的准确性神经网络,但也增加了他们对对抗性扰动的鲁棒性。
2018-02-08 cs.LG stat.ML
An Adaptive View of Adversarial Robustness from Test-time Smoothing Defense
Georgia Institute of Technology(佐治亚理工学院)
基于学习的决策系统的安全性和鲁棒性受到对抗性示例的威胁,因为不可感知的扰动会误导神经网络产生完全不同的输出。在本文中,我们提出了一个自适应的观点,通过评估各种测试时平滑防御白盒非目标对抗性的例子。通过在ImageNet上使用预训练的ResNet-152进行对照实验,我们首先说明了对抗攻击和平滑防御之间的非单调关系。然后在数据集级别,我们观察到样本之间的大方差,并表明很容易提高准确性(甚至达到100%)或建立大规模(即,大小约为10^4)的子集,指定的方法在这些子集上的性能远远优于其他方法。最后,在样本水平上,由于不同的对抗性例子需要不同程度的防御,迭代法的潜在优势也进行了讨论。我们希望本文揭示测试时防御的有用行为,这有助于改善未来对抗鲁棒性的评估过程。
2019-11-26 cs.CR cs.LG stat.ML
TREATED:Towards Universal Defense against Textual Adversarial Attacks
Guangzhou University(广州大学);Cyberspace Institute of Advanced Technology(网络空间先进技术研究院)
最近的研究表明,深度神经网络容易受到对抗性样本的影响。很多工作都研究对抗性示例生成,而很少有工作关注更关键的对抗性防御。现有的对抗性检测方法通常对对抗性示例和攻击方法做出假设(例如,敌对示例的词频、攻击方法的扰动水平)。然而,这限制了检测方法的适用性。为此,我们提出了TREATED,一种通用的对抗检测方法,可以在不做任何假设的情况下抵御各种扰动水平的攻击。TREATED通过一组精心设计的参考模型来识别对抗性示例。在三个有竞争力的神经网络和两个广泛使用的数据集上进行的大量实验表明,我们的方法比基线具有更好的检测性能。我们最后进行消融研究,以验证我们的方法的有效性。
2021-09-13 cs.CR cs.LG
Beware the Black-Box: on the Robustness of Recent Defenses to Adversarial Examples
University of Connecticut(康涅狄格大学);CWI(荷兰国家数学与计算机科学研究所);eBay
最近,NIPS、ICML、ICLR和CVPR等机构提出了许多防御措施。这些防御主要集中在减轻白盒攻击。他们没有正确地检查黑盒攻击。在本文中,我们扩展这些防御的分析,包括自适应黑盒对手。我们的评估是在九个防御上完成的,包括随机变换的弹幕,ComDefend,Enseminated多样性,特征蒸馏,赔率是奇数,纠错码,分布分类器防御,K-赢家通吃和缓冲区。我们的调查是使用两个黑盒对抗模型和六个广泛研究的CIFAR-10和Fashion-MNIST数据集的对抗攻击进行的。我们的分析表明,最新的防御(9个中的7个)提供的安全性($<25\%$)相比,未设防的网络,只有边际改善。对于每一种防御,我们还展示了对手拥有的数据量与自适应黑盒攻击的有效性之间的关系。总的来说,我们的结果描绘了一幅清晰的画面:防御需要彻底的白盒和黑盒分析才能被认为是安全的。我们提供这种大规模的研究和分析,以激励该领域朝着更强大的黑盒防御的发展。
2021-05-20 cs.LG stat.ML
Cortical Features for Defense Against Adversarial Audio Attacks
University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学)
我们建议使用听觉皮层的计算模型作为对音频的对抗攻击的防御。我们将几种基于白盒迭代优化的对抗攻击应用于Amazon Alexa硬件网络的实现,以及具有集成皮质表示的该网络的修改版本,并表明皮质特征有助于防御通用对抗示例。在相同的失真水平下,针对皮层网络发现的对抗性噪声对于通用音频攻击总是不太有效。我们在https://github.com/ilyakava/py3fst上公开发布我们的代码。
2021-11-17 cs.LG cs.SD eess.AS
PPD: Permutation Phase Defense Against Adversarial Examples in Deep Learning
Univ. of Southern California(南加州大学);Univ. of Nevada(内华达大学);Docomo Innovations Inc.(都科摩创新公司)
深度神经网络已经在包括分类在内的各种任务上表现出了尖端的性能。然而,众所周知,对输入的不利设计的不可察觉的扰动会误导高级分类器。本文提出了一种新的抵抗对抗攻击的方法--排列相位防御(PPD)。PPD将图像的随机排列与其傅立叶变换的相位分量相结合。这种方法背后的基本思想是将对抗性防御问题类似地转化为对称密码学,后者仅依赖于密钥的安全性。在PPD中,所选排列的安全保存确保了对抗对抗攻击的有效性。在MNIST和CIFAR-10数据集上测试PPD,对目前最强大的对抗攻击产生了最先进的鲁棒性。
2020-01-04 cs.CR cs.LG stat.ML
Defense of Word-level Adversarial Attacks via Random Substitution Encoding
North China Electric Power University(华北电力大学)
针对计算机视觉任务的深度神经网络的对抗攻击催生了许多新技术,有助于保护模型避免错误预测。最近,对自然语言处理(NLP)任务的深度模型的词级对抗攻击也表现出强大的力量,例如,欺骗情感分类神经网络做出错误的决定。不幸的是,以前的文献很少讨论防御这种词级的同义词替换为基础的攻击,因为他们很难被感知和检测。在本文中,我们揭示了这个问题,并提出了一种新的防御框架称为随机替代编码(RSE),它引入了一个随机替代编码器到原始神经网络的训练过程。文本分类任务的广泛实验证明了我们的框架防御单词级对抗攻击的有效性,在各种基础和攻击模型。
2020-06-12 cs.CL cs.LG
Rethinking Textual Adversarial Defense for Pre-trained Language Models
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
虽然预训练的语言模型(PrLM)已经取得了巨大的成功,但最近的研究表明,PrLM容易受到对抗攻击的攻击。通过在不同层次(句子/单词/字符)上生成具有轻微扰动的对抗性示例,对抗攻击可以欺骗PrLM生成不正确的预测,这对PrLM的鲁棒性提出了质疑。然而,我们发现,大多数现有的文本对抗性的例子是不自然的,这可以很容易地区分人类和机器。基于一般的异常检测器,我们提出了一种新的度量(异常度)作为约束,使当前的对抗攻击方法,以产生更自然和不可感知的对抗性的例子。在这个新的约束下,现有攻击的成功率急剧下降,这表明PrLM的鲁棒性并不像他们声称的那样脆弱。此外,我们发现四种类型的随机化可以使大部分文本对抗性示例无效。基于异常检测器和随机化,我们设计了一个通用的防御框架,这是第一个执行文本对抗性防御,而不知道具体的攻击。实验结果表明,我们的通用防御框架实现了与其他特定防御相当甚至更高的攻击后准确性,同时保持了更高的原始准确性。本文的工作揭示了文本对抗攻击的本质,指出(1)对抗攻击的进一步研究应该更多地关注如何克服检测性和抵抗随机性,否则其对抗攻击样本很容易被检测和失效;(2)与不自然的和可感知的对抗性示例相比,正是那些无法检测到的对抗性示例对PrLM构成了真正的风险,并需要对未来的鲁棒性增强策略给予更多关注。
2022-07-21 cs.AI cs.CL
Adversarial defenses via a mixture of generators
Warsaw University of Technology(华沙工业大学)
尽管神经网络取得了巨大的成功,但对抗性示例仍然是深度学习系统的一个相对薄弱的特征。在构建更强大的对抗攻击和设计对抗对抗示例影响的方法方面都有相当大的努力。我们提出了一种通过混合生成器转换对抗输入数据的方法,以恢复被对抗攻击混淆的正确类。一组规范的图像用于通过潜在的多个攻击生成对抗性示例。这种变换后的图像由一组生成器处理,这些生成器作为一个整体进行逆向训练,以竞争反转初始变换。据我们所知,这是第一次使用基于混合的对抗训练系统作为防御机制。我们表明,它是可能的训练这样一个系统,没有监督,同时对多个对抗攻击。我们的系统能够恢复以前看不见的例子的类信息,既没有攻击,也没有MNIST数据集上的数据标签。结果表明,这种多攻击方法与在单攻击环境中测试的对抗性防御相比具有竞争力。
2021-10-05 cs.CR cs.LG
Adversarial Attacks and Defenses: An Interpretation Perspective
Texas A&M University(得克萨斯农工大学);Arizona State University(亚利桑那州立大学)
尽管最近在广泛的应用中取得了进展,但机器学习模型,特别是深度神经网络,已被证明容易受到对抗攻击的攻击。攻击者在输入中添加精心制作的扰动,这些扰动几乎是人类无法察觉的,但可能导致模型做出错误的预测。保护模型免受对抗性输入的技术称为对抗性防御方法。尽管已经提出了许多方法来研究不同场景下的对抗攻击和防御,但如何真正理解模型脆弱性仍然是一个有趣而关键的挑战。受“知己知彼,百战不殆”这句谚语的启发,我们可以在解释机器学习模型以打开黑匣子之后解决上述挑战。模型解释或可解释的机器学习的目标是为模型的工作机制提取人类可理解的术语。最近,一些方法开始将解释纳入对抗攻击和防御的探索中。同时,我们也观察到许多现有的对抗攻击和防御方法,虽然没有明确声明,但可以从解释的角度来理解。在本文中,我们回顾了最近的工作对抗攻击和防御,特别是从机器学习解释的角度。我们将解释分为两种类型,特征级解释和模型级解释。对于每种类型的解释,我们详细说明了它如何用于对抗攻击和防御。然后,我们简要说明解释和对手之间的其他相关性。最后,我们讨论了挑战和未来的方向,沿着解决对手的问题与解释。
2020-10-07 cs.CV cs.LG stat.ML
DeepRobust: A PyTorch Library for Adversarial Attacks and Defenses
Michigan State University(密歇根州立大学)
DeepRobust是一个PyTorch对抗学习库,旨在构建一个全面且易于使用的平台来促进这一研究领域。目前包含图像域10余种攻击算法和8种防御算法,图域9种攻击算法和4种防御算法,多种深度学习架构下。在本手册中,我们介绍了DeepRobust的主要内容,并提供了详细的说明。该库不断更新,可以在https://github.com/DSE-MSU/DeepRobust上找到。
2020-05-13 cs.CR cs.LG stat.ML
Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks
Tsinghua University(清华大学)
深度神经网络容易受到对抗性样本的影响,这些样本会通过添加不可察觉的扰动来误导分类器。对抗性示例的一个有趣特性是它们良好的可移植性,这使得黑盒攻击在现实世界的应用中可行。由于对抗攻击的威胁,人们提出了许多方法来提高鲁棒性。几种最先进的防御被证明对可转移的对抗性示例具有鲁棒性。在本文中,我们提出了一个防御不变的攻击方法,以产生更多的可转移的对抗性的例子对防御模型。通过优化翻译图像集合的扰动,生成的对抗性示例对被攻击的白盒模型不太敏感,并且具有更好的可移植性。为了提高攻击的效率,我们进一步证明了我们的方法可以通过将未翻译图像的梯度与预定义的内核进行卷积来实现。我们的方法一般适用于任何基于梯度的攻击方法。在ImageNet数据集上的大量实验验证了该方法的有效性。我们最好的攻击愚弄八个国家的最先进的防御,平均成功率为82%,仅基于可转移性,证明了当前防御技术的不安全性。
2019-04-05 cs.CR cs.CV cs.LG
IDEA: Invariant Defense for Graph Adversarial Robustness
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对图神经网络对抗攻击防御方法在未知攻击下性能下降的问题,提出不变因果防御方法IDEA,从信息论角度推导基于节点和结构的不变性目标,在五种攻击和五个数据集上达到最先进的防御性能。
2024-04-25 cs.CR cs.LG
A Hybrid Training-time and Run-time Defense Against Adversarial Attacks in Modulation Classification
School of Electronic Engineering, Xidian University(西安电子科技大学电子工程学院);Wolfson School of Mechanical, Electrical and Manufacturing Engineering, Loughborough University(拉夫堡大学沃尔森机械、电气与制造工程学院);University of Cagliari(卡利亚里大学);University of Genova(热那亚大学)
针对调制分类易受对抗攻击的问题,提出结合对抗训练、标签平滑的训练时防御与基于支持向量机的神经拒绝运行时防御的混合机制,在白盒场景和真实数据集上性能优于现有最先进技术。
2024-07-09 cs.AI
RSD-GAN: Regularized Sobolev Defense GAN Against Speech-to-Text Adversarial Attacks
Fédération des Caisses Desjardins du Québec(魁北克德雅尔丹储蓄信贷联盟)
本文介绍了一种新的基于合成的防御算法,用于对抗各种对抗攻击,这些攻击是为了挑战尖端的语音到文本转录系统的性能而开发的。我们的算法实现了一个基于Sobolev的GAN,并提出了一种新的正则化器,用于有效地控制整个生成模型的功能,特别是在训练过程中的神经网络。我们在受害者DeepSpeech、Kaldi和Lingvo语音转录系统上进行了大量实验,取得的结果证实了我们的防御方法在针对性和非针对性对抗攻击方面的卓越性能。
2022-09-24 cs.LG cs.SD eess.AS
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学)
深度学习图像分类容易受到对抗攻击的攻击,即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像,使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明,我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
Open-set Adversarial Defense
Hong Kong Baptist University(香港浸会大学);AWS AI Labs(AWS 人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
开放集识别和对抗性防御研究了深度学习的两个关键方面,这对现实世界的部署至关重要。开集识别的目标是在测试期间从开集类中识别样本,而对抗性防御的目标是保护网络免受具有不可感知的对抗性扰动的图像的影响。在本文中,我们表明,开集识别系统容易受到对抗攻击。此外,我们表明,在已知类上训练的对抗性防御机制不能很好地推广到开集样本。基于这一观察,我们强调需要一个开放式对抗防御(OSAD)机制。本文提出了一种开放集防御网络(OSDN)作为解决OSAD问题。该网络使用具有特征去噪层的编码器与分类器相结合,以学习无噪声的潜在特征表示。采用两种技术来获得一个信息丰富的潜在特征空间,其目的是提高开集性能。首先,使用解码器来确保可以从所获得的潜在特征重建干净的图像。然后,自我监督,以确保潜在的功能是足够的信息进行辅助任务。我们介绍了一个测试协议,以评估OSAD的性能,并显示所提出的方法在多个对象分类数据集的有效性。所提出的方法的实现代码可在https://github.com/rshaojimmy/ECCV2020-OSAD上获得。
2020-09-02 cs.AI cs.CV
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation(微软公司);Stanford University(斯坦福大学)
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中,我们提出并分析了一种简单且计算效率高的防御策略:注入随机高斯噪声,离散化每个像素,然后将结果馈送到任何预训练的分类器中。从理论上讲,我们表明,我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧,导致任何分类器对任何(潜在的白盒)$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲,我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上,我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML