Membership Inference Attacks and Defenses in Classification Models
Purdue University(普渡大学)
我们研究了对分类器的成员推理(MI)攻击,攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估,我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后,我们提出了一种针对MI攻击的防御方法,旨在通过故意降低训练精度来缩小差距。更具体地说,训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度,该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明,将这种方法与另一种简单的防御(混合训练)相结合,可以显着提高对MI攻击的最先进的防御能力,同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
StratDef: Strategic Defense Against Adversarial Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院)
提出基于移动目标防御的 StratDef 系统,通过动态策略化选择模型降低攻击可迁移性,并在多威胁级别下证明其优于现有恶意软件检测防御。
2023-04-24 cs.CR cs.LG
A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
Deakin University(迪肯大学);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
针对联邦学习中难以检测的边缘情况模型投毒攻击,提出DataDefense方法,结合外部防御数据集与交替最小化策略训练检测器和客户端重要性模型,以极少样本实现显著的攻击成功率降低。
2024-08-14 cs.CR cs.LG
On Configurable Defense against Adversarial Example Attacks
The Chinese University of Hong Kong(香港中文大学)
基于深度神经网络(DNN)的机器学习系统已在许多应用中获得主流采用。然而,最近,DNN被证明容易受到对抗性示例攻击,并且对输入进行轻微扰动。现有的针对此类攻击的防御机制试图提高系统的整体鲁棒性,但它们不能区分不同的目标攻击,即使相应的影响可能会有很大的不同。为了解决这个问题,我们提出了一种新的可配置的防御机制,在这项工作中,我们能够灵活地调整系统的鲁棒性对不同的有针对性的攻击,以满足应用程序的要求。这是通过使用攻击敏感矩阵来细化DNN损失函数以表示不同目标攻击的影响来实现的。在CIFAR-10和GTSRB数据集上的实验结果证明了该方法的有效性。
2018-12-06 cs.CR cs.LG
Data Reconstruction Attacks and Defenses: A Systematic Evaluation
Stanford University(斯坦福大学);New York University(纽约大学);Peking University(北京大学)
该研究将机器学习数据重构攻击问题视为逆问题,推导了两层神经网络重构误差的算法上界与匹配的信息论下界,定义了效用-隐私权衡评估指标,并提出强重构攻击以更新对防御方法强度的认知。
2025-03-22 cs.CR cs.LG
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland(萨尔大学)
后门攻击旨在将隐藏的后门嵌入到深度神经网络(DNN)中,使得被攻击的模型在良性样本上表现良好,而如果隐藏的后门被攻击者定义的触发器激活,则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下,例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击,已经有很多研究和不同的防御方法,其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中,我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
Attack and Defense of Deep Learning Models in the Field of Web Attack Detection
Chinatelecom Research Institute(中国电信研究院);School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院)
针对Web攻击检测领域深度学习模型的后门攻击研究空白,提出5种后门攻击方法及对应防御策略,测试显示攻击成功率超87%且可通过微调降低,为该领域攻防研究提供参考。
2024-06-18 cs.CR cs.LG
Robust Multivariate Time-Series Forecasting: Adversarial Attacks and Defense Mechanisms
AWS AI Labs(亚马逊云科技人工智能实验室);Washington State University(华盛顿州立大学)
本文研究多元时间序列预测中的对抗攻击与防御,提出稀疏对抗攻击模式,并通过随机平滑扩展和对抗训练算法提升模型鲁棒性,实验验证其攻击有效且防御优于基线。
2023-04-14 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University(迪肯大学)
联邦学习(FL)能够在分布式客户端之间训练模型,而不会损害训练数据集的隐私,但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估,以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Certified Defenses for Data Poisoning Attacks
Stanford University(斯坦福大学)
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击,恶意用户注入虚假的训练数据,目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御,很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题,首先进行离群值删除,然后进行经验风险最小化的防御者。我们的近似依赖于两个假设:(1)数据集足够大,足以保持训练和测试误差之间的统计集中,以及(2)干净(非中毒)数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对,为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲,我们发现即使在简单的防御下,MNIST-1-7和Dogfish数据集也能抵御攻击,而相比之下,IMDB情感数据集只需添加3%的中毒数据,就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
Random Noise Defense Against Query-Based Black-Box Attacks
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室)
基于查询的黑盒攻击在实际应用中对机器学习模型造成了严重的威胁。在这项工作中,我们研究了一种轻量级的防御方法,称为随机噪声防御(RND),它添加适当的高斯噪声到每个查询。从理论上分析了RND算法对基于查询的黑盒攻击和相应的自适应攻击的有效性。我们的理论结果表明,RND的防御性能是由RND引起的噪声和攻击者的梯度估计或局部搜索添加的噪声之间的幅度比。大的幅度比导致RND更强的防御性能,这也是抵御自适应攻击的关键。基于我们的分析,我们进一步建议将RND与合理的高斯增强微调(RND-GF)相结合。它使RND能够向每个查询添加更大的噪声,同时保持干净的准确性,以在干净的准确性和防御性能之间获得更好的权衡。此外,RND可以灵活地与现有的防御方法相结合,以进一步提高对抗性鲁棒性,例如对抗性训练(AT)。在CIFAR-10和ImageNet上的大量实验验证了我们的理论发现以及RND和RND-GF的有效性。
2021-10-30 cs.CR cs.LG
Breaking the De-Pois Poisoning Defense
对机器学习模型的攻击,从它们的概念开始,就一直是一个非常持久和回避的问题,就像一个无休止的猫捉老鼠游戏。这种攻击的一个主要变体是中毒攻击,它可以间接操纵ML模型。多年来已经观察到,大多数提出的有效防御模型仅在攻击者不知道它们被使用时才有效。在本文中,我们表明,攻击不可知的德布瓦防御几乎是一个例外,这一规则。事实上,我们证明了它的脆弱性,最简单的白盒和黑盒攻击的攻击者知道的De-Pois防御模型的结构。从本质上讲,De-Pois防御依赖于批评者模型,该模型可用于在将有毒数据传递给目标模型之前检测有毒数据。在我们的工作中,我们通过复制批评者模型,然后同时对批评者和目标模型执行组合梯度符号攻击来打破这个中毒保护层-允许我们绕过批评者防火墙来毒害目标模型。
2022-04-03 cs.CR cs.LG
A Multi-Model Hybrid Defense Approach Against White-box Adversarial Attacks in Computer Network Traffic
Aligarh Muslim University(阿里格尔穆斯林大学)
研究针对计算机网络流量白盒对抗攻击,提出多模型混合防御方法,结合对抗训练和高斯数据增强,有效减轻FGSM和C&W攻击影响,提升攻击后NIDS准确率,为对抗机器学习安全研究提供方向。
2026-07-21 cs.CR cs.LG
The best defense is a good offense: Countering black box attacks by predicting slightly wrong labels
ETH Zurich(苏黎世联邦理工学院)
对机器学习模型的黑盒攻击发生在攻击者尽管无法访问模型的内部工作原理,但可以通过模型盗窃成功地进行攻击。攻击者将训练模仿要攻击的模型的自己的替代模型。然后可以使用替代品来设计针对原始模型的攻击,例如通过对抗性样本。我们站在防御者的立场上,提出了一种方法,可以通过反击成功避免模型盗窃。具体来说,对于任何传入的查询,我们都会以一种使替代训练不可行的方式稍微扰动我们的输出标签分布。我们证明,扰动不影响我们的模型的正常使用,但结果在一个有效的防御攻击的基础上模型盗窃。
2017-11-15 cs.CR cs.LG
PECAN: A Deterministic Certified Defense Against Backdoor Attacks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出 PECAN,通过对互不相交数据分区上训练的模型集合使用现成测试时规避认证,实现高效确定性后门防御,并在图像与恶意软件任务上显著提升防御强度、效率并降低攻击成功率。
2024-05-20 cs.CR cs.LG
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley(加州大学伯克利分校);DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的,并且一旦训练就保持不变,即使攻击发生变化。我们认为,模型应该反击,并在测试时优化其对攻击的防御。我们提出了动态防御,以适应模型和测试过程中的输入,防御熵最小化(登特)。登特改变了测试,但没有训练,与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是,在$ε_\infty$ = 8/255的CIFAR-10上,Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University(密歇根州立大学)
在对抗攻击下,时间序列回归和分类是脆弱的。另一方面,对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中,各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行,具有三个对抗攻击和一个对抗防御。根据调查结果,所有模型,特别是GRU和RNN,似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
MalProtect: Stateful Defense Against Adversarial Query Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院);Universitat Politècnica de València(瓦伦西亚理工大学)
本文提出MalProtect,一种针对恶意软件检测领域对抗性查询攻击的有状态防御方法,通过多威胁指标检测攻击,将Android和Windows恶意软件的规避率降低80+%,优于现有防御。
2023-06-30 cs.CR cs.LG
A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University(卡尔顿大学);Computer Engineering Carleton University Ottawa, Canada(计算机工程系卡尔顿大学渥太华加拿大);School of Information Technology Carleton University Ottawa, Canada(信息科技学院卡尔顿大学渥太华加拿大)
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络(DNN)基于网络入侵检测系统(NIDS),而无需额外显式防御。通过数千次实验,发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性,且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
Compilation as a Defense: Enhancing DL Model Attack Robustness via Tensor Optimization
Lancaster University(兰卡斯特大学);Mindgard(Mindgard公司)
针对对抗性机器学习侧信道攻击,本文提出利用模型编译中的张量优化作为无需重构模型的防御手段,并证明其可使攻击相对有效性最高降低 43%。
2023-09-20 cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现,我们可以构建对抗性的例子,只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明,这样的学习者是抵抗数据投毒攻击时,对手只能中毒少量的项目。然而,这种保护会随着对手毒害更多数据而降低。为了说明这一点,我们设计了针对目标和输出扰动学习器的攻击算法,这是差分私有机器学习的两种标准方法。实验表明,我们的方法是有效的,当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
On Adaptive Attacks to Adversarial Example Defenses
Stanford University(斯坦福大学);Google(谷歌);University of Tübingen(蒂宾根大学);MIT(麻省理工学院)
自适应攻击已经(理所当然地)成为评估对抗性示例防御的事实标准。然而,我们发现,典型的自适应评估是不完整的。我们证明了最近在ICLR,ICML和NeurIPS上发表的13种防御措施-并选择用于说明和教学目的-尽管试图使用自适应攻击进行评估,但仍然可以规避。虽然之前的评估论文主要集中在最终结果上-表明防御是无效的-但本文的重点是制定执行自适应攻击所需的方法和途径。我们希望这些分析能够指导如何正确地对对抗性示例进行自适应攻击,从而使社区能够在构建更强大的模型方面取得进一步的进展。
2020-10-23 cs.CR cs.LG stat.ML
Adversarial Learning in Statistical Classification: A Comprehensive Review of Defenses Against Attacks
School of EECS, Pennsylvania State University(宾夕法尼亚州立大学电气与计算机工程学院)
对抗性学习(AL)攻击对基于机器学习的系统造成损害的可能性很大。在本文中,我们提供了一个当代调查AL,特别是集中在防御攻击统计分类。在介绍了相关的术语和攻击者和防御者的目标和可能的知识范围后,我们调查了最近的工作,测试时间规避(TTE),数据投毒(DP),和逆向工程(RE)攻击,特别是对相同的防御。在这样做的时候,我们区分强大的分类从异常检测(AD),无监督的监督,和统计假设为基础的防御从那些没有明确的零(无攻击)假设;我们确定的超参数特定的方法需要,它的计算复杂性,以及性能指标,它被评估和获得的质量。然后,我们深入挖掘,提供新的见解,挑战传统的人工智能智慧和目标的未解决的问题,包括:1)强大的分类与AD作为一种防御策略; 2)攻击成功的信念与攻击强度增加,忽略了易感性AD; 3)小扰动测试时间逃避攻击:谬论或要求?4)TTE攻击者知道要攻击的示例的地面实况类的普遍假设的有效性; 5)黑盒、灰盒或白盒攻击作为防御评估的标准; 6)基于查询的RE对AD防御的敏感性。我们还讨论了对训练数据隐私的攻击。然后,我们提出了几个防御TTE,RE和后门DP攻击图像的基准比较。本文最后讨论了未来的工作。
2019-12-02 cs.CR cs.LG stat.ML
DeepRobust: A PyTorch Library for Adversarial Attacks and Defenses
Michigan State University(密歇根州立大学)
DeepRobust是一个PyTorch对抗学习库,旨在构建一个全面且易于使用的平台来促进这一研究领域。目前包含图像域10余种攻击算法和8种防御算法,图域9种攻击算法和4种防御算法,多种深度学习架构下。在本手册中,我们介绍了DeepRobust的主要内容,并提供了详细的说明。该库不断更新,可以在https://github.com/DSE-MSU/DeepRobust上找到。
2020-05-13 cs.CR cs.LG stat.ML
Malware Evasion Attack and Defense
McAfee(迈克菲)
机器学习(ML)分类器容易受到对抗性样本的影响。一个对抗性的例子是一个输入样本,它被稍微修改以在ML分类器中引起错误分类。在这项工作中,我们调查白盒和灰盒规避攻击ML为基础的恶意软件检测器,并在现实世界中进行性能评估。我们比较了防御方法在减轻攻击。我们提出了一个框架,部署灰盒和黑盒攻击的恶意软件检测系统。
2019-04-16 cs.CR cs.LG stat.ML
Mitigating Gradient-based Adversarial Attacks via Denoising and Compression
Purdue University(普渡大学)
对深度神经网络的基于恶意的对抗攻击构成了严重的威胁,因为它们可以通过向任何网络的测试数据添加不可察觉的扰动来部署,并且它们引入的风险无法通过网络的原始训练性能来评估。去噪和降维是两种不同的方法,已经被独立地研究来对抗这种攻击。虽然去噪提供了针对攻击的特定性质定制防御的能力,但降维提供了潜在地去除先前看不见的扰动的优势,同时减少了被防御网络的训练时间。我们提出的战略,结合这两种防御机制的优势。首先,我们提出了级联防御,其中包括去噪,然后降维。为了减少防御的训练时间,在性能上进行小的权衡,我们提出了隐藏层防御,它涉及将去噪自动编码器的编码器的输出馈送到网络中。此外,我们讨论了如何适应攻击这些防御可能会变得显着薄弱时,使用替代防御,或当没有使用防御。在这种情况下,我们提出了一个新的度量来评估防御措施的自适应攻击的敏感性修改的防御。最后,我们提出了一个指导方针,建立一个有序的剧目防御,又名。防御基础设施,在攻击策略不确定的情况下,适应有限的计算资源。
2021-04-03 cs.AI cs.CR cs.LG
An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models
Macquarie University(麦考瑞大学);Harvard University(哈佛大学);University of Sydney(悉尼大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
如今,自动驾驶已经引起了工业界和学术界的广泛关注。卷积神经网络(CNN)是自动驾驶中的关键组件,也越来越多地被智能手机、可穿戴设备和物联网网络等普适计算所采用。先前的工作表明,基于CNN的分类模型容易受到对抗性攻击。然而,目前还不确定回归模型(如驱动模型)在多大程度上容易受到对抗性攻击,现有防御技术的有效性以及对系统和中间件构建者的防御影响。本文深入分析了三种驱动模型的五种对抗性攻击和四种防御方法。实验表明,与分类模型类似,这些模型仍然非常容易受到对抗性攻击。这对自动驾驶构成了很大的安全威胁,因此在实践中应该加以考虑。虽然这些防御方法可以有效地防御不同的攻击,但没有一种能够对所有五种攻击提供足够的保护。我们得出了对系统和中间件构建者的几个启示:(1)当添加对抗性攻击的防御组件时,重要的是要串联部署多种防御方法以实现对各种攻击的良好覆盖,(2)与白盒攻击相比,黑盒攻击的有效性要低得多,这意味着重要的是要保留模型细节(例如,模型体系结构、超参数)通过模型混淆而机密,以及(3)如果计算资源允许,则优选驱动具有复杂体系结构的模型,因为它们比简单模型对对抗性攻击更有弹性。
2020-02-06 cs.CR cs.LG eess.SP
Continual Adversarial Defense
针对对抗攻击动态演化、现有防御易被绕过的问题,提出遵循四项实用原则的持续对抗防御(CAD)框架,整合多领域前沿技术,实验验证其对多阶段攻击的防御效果优于基线,且性能随攻击数增加趋于饱和,开辟了持续防御适配新范式。
2025-08-03 cs.CR cs.CV cs.LG
Defense Against Gradient Leakage Attacks via Learning to Obscure Data
Michigan State University(密歇根州立大学);The Hong Kong Polytechnic University(香港理工大学)
联邦学习被认为是一种有效的隐私保护学习机制,它将客户端的数据和模型训练过程分开。然而,联邦学习仍然面临着隐私泄露的风险,因为存在攻击者故意进行梯度泄漏攻击来重构客户端数据。近年来,一些流行的策略如梯度扰动方法和输入加密方法被提出来抵抗梯度泄漏攻击。然而,这些防御可能会极大地牺牲模型性能,或者被更高级的攻击所规避。在本文中,我们提出了一种新的防御方法来保护客户端的数据的隐私,通过学习模糊数据。我们的防御方法可以生成与原始样本完全不同的合成样本,但它们也可以最大限度地保留其预测特征并保证模型性能。此外,我们的防御策略使得梯度泄漏攻击及其变种非常难以重建客户端数据。通过大量的实验,我们表明,我们提出的防御方法获得更好的隐私保护,同时保持高准确性相比,国家的最先进的方法。
2022-06-01 cs.CR cs.LG stat.ML
Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks
Tsinghua University(清华大学)
深度神经网络容易受到对抗性样本的影响,这些样本会通过添加不可察觉的扰动来误导分类器。对抗性示例的一个有趣特性是它们良好的可移植性,这使得黑盒攻击在现实世界的应用中可行。由于对抗攻击的威胁,人们提出了许多方法来提高鲁棒性。几种最先进的防御被证明对可转移的对抗性示例具有鲁棒性。在本文中,我们提出了一个防御不变的攻击方法,以产生更多的可转移的对抗性的例子对防御模型。通过优化翻译图像集合的扰动,生成的对抗性示例对被攻击的白盒模型不太敏感,并且具有更好的可移植性。为了提高攻击的效率,我们进一步证明了我们的方法可以通过将未翻译图像的梯度与预定义的内核进行卷积来实现。我们的方法一般适用于任何基于梯度的攻击方法。在ImageNet数据集上的大量实验验证了该方法的有效性。我们最好的攻击愚弄八个国家的最先进的防御,平均成功率为82%,仅基于可转移性,证明了当前防御技术的不安全性。
2019-04-05 cs.CR cs.CV cs.LG
Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks
Chongqing University(重庆大学);Peng Cheng Lab(鹏城实验室);Zhejiang University(浙江大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对部署阶段未知攻击的零样本防御问题,本文提出MID,通过攻击者池采样任务和多层级多一致性元蒸馏学习攻击不变特征,在分类与图像再生上均取得可泛化鲁棒性。
2024-04-04 cs.CR cs.CV cs.LG
FDA3 : Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications
East China Normal University(华东师范大学);Tongji University(同济大学);Huawei(华为)
随着人工智能(AI)和物联网(IoT)技术的普及,各种各样的对抗攻击越来越多地出现,以欺骗工业物联网(IIoT)应用所使用的深度神经网络(DNN)。由于有偏见的训练数据或脆弱的底层模型,对抗攻击对输入进行的不可察觉的修改可能会导致毁灭性的后果。虽然现有的方法在防御此类恶意攻击方面很有希望,但大多数方法只能处理有限的现有攻击类型,这使得大规模IIoT设备的部署面临巨大挑战。为了解决这个问题,我们提出了一种名为FDA3的有效的联邦防御方法,它可以聚合来自不同来源的对抗性示例的防御知识。受联邦学习的启发,我们提出的基于云的架构可以在IIoT设备之间共享防御能力,以抵御不同的攻击。综合实验结果表明,通过我们的方法生成的DNN不仅可以比现有的特定于攻击的对抗训练方法抵御更多的恶意攻击,而且可以防止IIoT应用受到新的攻击。
2020-06-28 cs.CR cs.LG stat.ML
Adversarial Defense by Stratified Convolutional Sparse Coding
Peking University(北京大学);National Tsinghua University(国立清华大学);UC San Diego(加州大学圣地亚哥分校)
我们提出了一种对抗性防御方法,该方法在攻击不可知的对抗性防御方法中实现了最先进的性能,同时还保持了对输入分辨率、对抗性扰动规模和数据集大小的鲁棒性。基于卷积稀疏编码,我们构建了一个分层的低维准自然图像空间,它忠实地逼近自然图像空间,同时也去除了对抗性扰动。我们在输入图像和神经网络的第一层之间引入了一个新的稀疏变换层(STL),以有效地将图像投影到我们的准自然图像空间中。我们的实验显示了我们的方法在各种对抗环境中与其他攻击不可知的对抗防御方法相比的最先进性能。
2019-06-21 cs.CV cs.LG
A Survey on Model Extraction Attacks and Defenses for Large Language Models
University of Notre Dame(圣约翰大学);Florida State University(佛罗里达州立大学);Northwestern University(西北大学);Duke University(杜克大学);University of Southern California(南加州大学)
本综述系统梳理了针对大型语言模型的模型提取攻击与防御方法,提出分类体系与评估指标,并指出集成攻击与自适应防御等未来研究方向。
2025-06-26 cs.AI cs.CR cs.LG
Adversarial Examples on Graph Data: Deep Insights into Attack and Defense
University of New South Wales(新南威尔士大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);National University of Defense Technology(国防科技大学)
图深度学习模型,如图卷积网络(GCN),在图数据上的任务中实现了卓越的性能。与其他类型的深度模型类似,图深度学习模型经常遭受对抗攻击。然而,与非图数据相比,图数据的离散特征、图之间的连接以及不可感知扰动的不同定义,给图数据的对抗攻击和防御带来了独特的挑战和机遇。在本文中,我们提出了攻击和防御技术。对于攻击,我们表明,离散性问题可以很容易地解决,通过引入积分梯度,可以准确地反映扰动某些功能或边缘的影响,同时仍然受益于并行计算。对于防御,我们观察到,针对目标攻击的敌对操纵图在统计上不同于正常图。基于这一观察,我们提出了一种防御方法,该方法检查图并恢复潜在的对抗性扰动。我们在一些数据集上的实验表明了所提出的方法的有效性。
2019-05-22 cs.CR cs.LG stat.ML
Stronger Data Poisoning Attacks Break Data Sanitization Defenses
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
在外部世界数据上训练的机器学习模型可能会被数据中毒攻击破坏,这些攻击会将恶意点注入模型的训练集中。针对这些攻击的一种常见防御方法是数据清理:在训练模型之前,首先过滤掉异常的训练点。在本文中,我们开发了三种可以绕过广泛的常见数据清理防御的攻击,包括基于最近邻的异常检测器,训练丢失和奇异值分解。通过添加3%的中毒数据,我们的攻击成功地将安然垃圾邮件检测数据集的测试错误从3%增加到24%,并将IMDB情感分类数据集的测试错误从12%增加到29%。相比之下,没有明确说明这些数据清理防御的现有攻击被它们击败。我们的攻击基于两个想法:(i)我们协调我们的攻击,将中毒点彼此靠近,(ii)我们将每个攻击制定为约束优化问题,约束旨在确保中毒点逃避检测。由于这种优化涉及解决一个昂贵的双层问题,我们的三种攻击对应于不同的方法来近似这个问题,基于影响函数;极大极小对偶;和Karush-Kuhn-Tucker(KKT)条件。我们的研究结果强调了需要开发更强大的防御数据中毒攻击。
2021-12-03 cs.CR cs.LG stat.ML
LPF-Defense: 3D Adversarial Defense based on Frequency Analysis
Sharif University of Technology(谢里夫理工大学)
虽然三维点云分类最近已被广泛部署在不同的应用场景中,但它仍然非常容易受到对抗攻击。这增加了3D模型在面对对抗攻击时的鲁棒训练的重要性。基于我们对现有对抗攻击性能的分析,发现更多的对抗扰动出现在输入数据的中高频分量。因此,通过在训练阶段抑制高频内容,提高了模型对对抗性示例的鲁棒性。实验结果表明,该防御方法降低了PointNet、PointNet++、、和DGCNN模型上六种攻击的成功率。特别是,与最先进的方法相比,在drop 100攻击下分类准确率平均提高了3.8%,在drop 200攻击下提高了4.26%。与其他可用的方法相比,该方法还提高了原始数据集上的模型精度。
2022-08-24 cs.CR cs.CV cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology(华中科技大学);Wuhan University of Technology(武汉理工大学);Georgia Institute of Technology(佐治亚理工学院)
机器学习技术已经广泛应用于各种应用。然而,它们可能容易受到数据投毒攻击,其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的:它们是针对一种特定类型的攻击而设计的,但不适用于其他类型,主要是由于它们遵循的不同原则。然而,很少有一般的防御战略已经制定。在本文中,我们提出了De-Pois,一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型,其目的是模仿目标模型的行为。我们利用生成对抗网络(GANs)来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异,De-Pois因此能够区分中毒样本和干净样本,而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击,并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明,De-Pois算法能够有效地检测出四种类型的中毒攻击,其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Prediction Poisoning: Towards Defenses Against DNN Model Stealing Attacks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Saarland Informatics Campus, Germany(德国萨尔州信息学园区)
高性能深度神经网络(DNN)越来越多地部署在许多现实世界的应用中,例如,云预测API。通过黑盒访问(即,输入,预测)威胁到这种应用程序的商业模式,这种应用程序需要大量的时间、金钱和精力来开发。现有的防御措施对窃取攻击起着被动的作用,例如通过截断预测信息。我们发现这种被动防御对DNN窃取攻击无效。在本文中,我们提出了第一个防御,积极干扰预测,针对中毒的训练目标的攻击者。我们发现我们的防御在各种具有挑战性的数据集和DNN模型窃取攻击中有效,并且优于现有的防御。我们的防御是第一个可以抵御数万个查询的高度准确的模型窃取攻击,将攻击者的出错率放大到$\times$的85倍,对良性用户的实用程序的影响最小。
2020-03-03 cs.CR cs.CV cs.LG
Towards a Defense Against Federated Backdoor Attacks Under Continuous Training
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
在联邦学习(FL)中,后门攻击是危险且难以预防的,其中训练数据长时间来自不受信任的客户端。出现这些困难的原因是:(a)FL中的防御者无法访问原始训练数据,以及(b)我们发现的一种称为后门泄漏的新现象导致不断训练的模型最终由于防御机制中的累积错误而遭受后门。我们提出了影子学习,一个框架,用于抵御后门攻击在FL设置下的远程训练。影子学习并行训练两个模型:主干模型和影子模型。骨干是在没有任何防御机制的情况下训练的,以获得在主要任务上的良好表现。影子模型将恶意客户端的过滤与早期停止相结合,以控制攻击成功率,即使数据分布发生变化。我们从理论上激励我们的设计和实验表明,我们的框架显着提高现有的防御后门攻击。
2023-01-31 cs.AI cs.CR cs.LG
When Attackers Meet AI: Learning-empowered Attacks in Cooperative Spectrum Sensing
University of South Florida(南佛罗里达大学);University of Miami(迈阿密大学);Intelligent Automation Inc(智能自动化公司)
防御策略已经被很好地研究以对抗拜占庭攻击,拜占庭攻击旨在通过向融合中心发送频谱感测数据的伪造版本来破坏合作频谱感测。然而,现有的研究通常假设网络或攻击者是被动实体,例如,假设攻击的先验知识是已知的或固定的。在实践中,攻击者可以主动采取任意行为,避免防御策略使用的预设模式或假设。在本文中,我们重新审视这个安全漏洞作为一个对抗性的机器学习问题,并提出了一种新的学习授权攻击框架命名为学习评估殴打(LEB)误导融合中心。基于协作频谱感知中融合中心的黑箱性质,我们的新视角是对抗性地使用机器学习来构建融合中心决策模型的代理模型。我们提出了一个通用的算法来创建恶意传感数据使用这个代理模型。我们的真实世界的实验表明,LEB攻击是有效的,以高达82%的成功率击败了广泛的现有的防御策略。鉴于LEB攻击与现有防御之间的差距,我们引入了一种名为影响限制防御的非侵入性方法,它可以与现有的防御共存,以抵御LEB攻击或其他类似的攻击。我们表明,这种防御是非常有效的,并降低了高达80%的LEB攻击的整体中断率。
2020-07-28 cs.CR cs.LG cs.NI
Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks
Data Science Institute(数据科学研究所)
针对领域伪装注入攻击,评估五种基于提示的防御方法(如释义、重点标记等)在三个模型家族和三个部署领域中的有效性,发现释义法最有效,可将伪装攻击成功率降低55-84%。
2026-06-18 cs.CL cs.CR cs.LG
A Game Theoretic Analysis of Additive Adversarial Attacks and Defenses
Johns Hopkins University(约翰斯·霍普金斯大学)
对抗性学习的研究遵循攻击者和防御者之间的猫捉老鼠游戏,攻击被提出,它们被新的防御所缓解,然后提出新的攻击来打破先前的防御,等等。但是,是否存在无法提出更好的攻击或防御的条件仍然不清楚。在本文中,我们提出了一个博弈论的框架,研究攻击和防御存在于均衡。在二元分类器的局部线性决策边界模型下,证明了快速梯度法攻击和随机平滑法防御形成了一个纳什均衡.然后,我们将展示如何从数据生成分布中近似给定多个样本的均衡防御,并推导出我们近似性能的泛化界。
2020-11-11 cs.LG stat.ML
BagFlip: A Certified Defense against Data Poisoning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
机器学习模型容易受到数据中毒攻击,其中攻击者恶意修改训练集以改变学习模型的预测。在无后门攻击中,攻击者可以修改训练集,但不能修改测试输入,而在后门攻击中,攻击者还可以修改测试输入。现有的与模型无关的防御方法或者不能处理后门攻击或者不提供有效的证书(即,一个辩护的证据)。我们提出了BagFlip,一个模型无关的认证方法,可以有效地抵御无防火墙和后门攻击。我们在图像分类和恶意软件检测数据集上评估BagFlip。BagFlip等于或比最先进的方法更有效地用于无恶意攻击,并且比最先进的方法更有效地用于后门攻击。
2022-10-16 cs.LG
Intelligent Attacks and Defense Methods in Federated Learning-enabled Energy-Efficient Wireless Networks
School of Electrical Engineering and Computer Science, University of Ottawa(电气工程与计算机科学学院,渥太华大学);Ericsson(爱立信)
本文针对联邦学习赋能的无线网络,提出GAN增强与正则化两种模型投毒攻击,并设计自编码器与知识蒸馏两种防御方案,以提升网络能效并抵御恶意攻击。
2025-04-25 cs.LG
LLM Security: Vulnerabilities, Attacks, Defenses, and Countermeasures
Department of Computer Science and Artificial Intelligence, University of Granada(计算机科学与人工智能系,格拉纳达大学)
本综述系统分类了LLMs在训练与部署阶段面临的攻击及基于预防与检测的防御机制,评估了防御有效性,为保护LLMs提供了结构化框架并指出了未来研究方向。
2025-05-02 cs.AI cs.CR cs.LG
Adversarial Attack and Defense on Point Sets
Shanghai Jiao Tong University(上海交通大学);Huawei Hisilicon(华为海思);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
3D点云数据在安全关键视觉任务中的实用性的出现(例如,ADAS)敦促研究人员更加关注3D表示和深度网络的鲁棒性。为此,我们开发了一个攻击和防御计划,致力于3D点云数据,防止3D点云操纵,以及追求噪声容忍的3D表示。通过逐点梯度扰动和对抗性点连接/分离,提出了一组新的3D点云攻击操作。然后,我们开发了一个灵活的扰动测量方案的三维点云数据检测潜在的攻击数据或噪声传感数据。值得注意的是,所提出的防御方法甚至可以有效地检测由直接针对防御的概念验证攻击生成的对抗性点云。针对对抗攻击在多个点云网络之间的可转移性问题,提出了一种动量增强的逐点梯度算法来提高攻击的可转移性.我们进一步分析了从对抗点云到网格CNN和逆的可转移性。在常见点云基准上的大量实验结果证明了所提出的3D攻击和防御框架的有效性。
2021-05-31 cs.AI cs.CR cs.CV
Adversarial jamming attacks and defense strategies via adaptive deep reinforcement learning
Syracuse University(雪城大学)
随着深度强化学习(Deep Reinforcement Learning,DRL)在无线通信中应用的不断深入,基于DRL的无线通信策略对对抗性攻击的敏感性开始引起越来越多的关注。为了解决这种敏感性和减轻由此产生的安全问题,我们在本文中考虑受害者用户执行基于DRL的动态信道接入,和攻击者执行基于DRL的干扰攻击,以破坏受害者。因此,受害者和攻击者都是DRL代理,可以相互交互,重新训练他们的模型,并适应对手的策略。在这种情况下,我们首先开发了一个对抗性的干扰攻击策略,旨在最大限度地减少受害者的动态信道接入的决策的准确性。随后,我们设计的防御策略,对这样的攻击者,并提出了三种防御策略,即多样化的比例积分微分(PID)控制的防御,多样化的防御与模仿攻击者,防御通过正交的政策。我们设计这些策略,以最大限度地提高攻击受害者的准确性,并评估他们的表现。
2020-07-12 cs.LG eess.SP
Automated Discovery of Adaptive Attacks on Adversarial Defenses
ETH Zürich(苏黎世联邦理工学院);LatticeFlow(LatticeFlow公司)
对抗性防御的可靠评估是一项具有挑战性的任务,目前仅限于手动制造攻击的专家,这些攻击利用防御的内部工作原理或基于固定攻击集合的方法,其中没有一个可能对手头的特定防御有效。我们的关键观察是,自适应攻击是由可重用的构建块,可以在搜索空间中形式化,并用于自动发现未知防御的攻击。我们在24种对抗性防御上评估了我们的方法,并表明它优于AutoAttack,AutoAttack是目前最先进的对抗性防御可靠评估工具:我们的工具通过为10个模型生成3.0 - 50.8%的额外对抗性示例发现了更强的攻击,同时为其余模型获得了强度略强或相似的攻击。
2021-10-27 cs.CV cs.LG stat.ML
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science(印度科学学院)
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降(PGD)在约束集内最大化标准损失(诸如交叉熵损失或最大余量损失)来生成。在这项工作中,我们在标准损失中引入了一个松弛项,找到了更合适的梯度方向,提高了攻击效率,并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击(GAMA),它利用干净图像的函数映射来引导对手的生成,从而产生更强的攻击。我们评估我们的攻击对多种防御,并显示出改进的性能相比,现有的攻击。此外,我们提出了引导对抗训练(GAT),它通过利用所提出的松弛项进行攻击生成和训练,在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
ADAGIO: Interactive Experimentation with Adversarial Attack and Defense for Audio
Georgia Institute of Technology(佐治亚理工学院);Intel Corporation(英特尔公司)
对抗机器学习研究最近已经证明了通过向音频样本引入声学上不可感知的扰动来混淆自动语音识别(ASR)模型的可行性。为了帮助研究人员和从业人员更好地了解此类攻击的影响,并为他们提供工具,帮助他们更轻松地评估和为其模型制作强大的防御,我们介绍了ADAGIO,这是第一个旨在实时的ASR模型上的对抗攻击和防御的交互式实验工具,包括视觉和听觉。ADAGIO采用AMR和MP3音频压缩技术作为防御手段,用户可以交互式地将其应用于受攻击的音频样本。我们表明,这些技术,这是基于心理声学原理,有效地消除有针对性的攻击,攻击成功率从92.5%降低到0%。我们将演示ADAGIO,并邀请观众在Mozilla Common Voice数据集上试用。
2018-05-30 cs.CR cs.LG cs.SD
TrojanZoo: Towards Unified, Holistic, and Practical Evaluation of Neural Backdoors
Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学);Hong Kong Polytechnic University(香港理工大学)
神经后门是深度学习系统安全性的一个主要威胁。密集的研究产生了过多的后门攻击/防御,导致不断的军备竞赛。然而,由于缺乏评估基准,许多关键问题仍然没有得到充分探讨:(i)不同攻击/防御的优势和局限性是什么?(ii)什么是最佳操作方法?及(iii)如何进一步改善现有的攻击/防御措施?为了弥合这一差距,我们设计并实现了TROJANZOO,这是第一个以统一,整体和实用的方式评估神经后门攻击/防御的开源平台。到目前为止,专注于计算机视觉领域,它包含了8种代表性攻击,14种最先进的防御,6种攻击性能指标,10种防御效用指标,以及用于深入分析攻击-防御交互的丰富工具。利用TROJANZOO,我们对现有的攻击/防御进行了系统的研究,揭示了它们复杂的设计谱:两者都表现出多个需求之间的复杂权衡(例如,攻击的有效性、规避性和可转移性)。我们进一步探索改进现有的攻击/防御,导致一些有趣的发现:(i)一个像素的触发器往往足够;(ii)从头开始训练往往优于扰动良性模型来制作特洛伊木马模型;(iii)优化触发器和特洛伊木马模型联合大大提高了攻击的有效性和规避性;(iv)个体防御往往可以通过自适应攻击来规避;以及(v)利用模型可解释性显著提高了防御鲁棒性。我们设想TROJANZOO将作为一个有价值的平台,以促进未来对神经后门的研究。
2022-10-21 cs.LG
Sparse Coding Frontend for Robust Neural Networks
University of California Santa Barbara(加州大学圣塔芭芭拉分校)
众所周知,深度神经网络容易受到小的、恶意的干扰。目前对抗这些对抗攻击最有效的防御方法是对抗训练的变体。在本文中,我们介绍了一种完全不同的防御方法,只在干净的图像上训练:一种基于稀疏编码的前端,它可以在对抗攻击到达分类器之前显着衰减它们。我们在CIFAR-10数据集上评估了我们在各种攻击类型(包括Linf,L2和L1边界攻击)下的防御,证明了它作为通用防御方法的前景。
2021-04-12 cs.LG stat.ML