Why Do Adversarial Attacks Transfer? Explaining Transferability of Evasion and Poisoning Attacks
Northeastern University(东北大学);University of Cagliari(卡利亚里大学);Pluribus One
可转移性捕获了针对机器学习模型的攻击对不同的、可能未知的模型有效的能力。在以前的工作中已经显示了可转移性的经验证据,但是攻击转移或不转移的根本原因还没有很好地理解。在本文中,我们提出了一个全面的分析,旨在研究测试时逃避和训练时中毒攻击的可转移性。我们提供了一个统一的规避和中毒攻击的优化框架,以及这种攻击的可转移性的正式定义。我们强调了两个主要因素有助于攻击的可转移性:目标模型的内在对抗性脆弱性,以及用于优化攻击的代理模型的复杂性。基于这些见解,我们定义了三个影响攻击可转移性的指标。有趣的是,我们从理论分析中得出的结果适用于逃避和中毒攻击,并且使用广泛的线性和非线性分类器和数据集进行实验证实。
2019-06-13 cs.CR cs.LG stat.ML
Regularisation Can Mitigate Poisoning Attacks: A Novel Analysis Based on Multiobjective Bilevel Optimisation
Imperial College London(帝国理工学院);Defence Science and Technology Laboratory (Dstl)(国防科学技术实验室(Dstl))
机器学习(ML)算法容易受到中毒攻击,其中一小部分训练数据被操纵以故意降低算法的性能。最佳中毒攻击,这可以制定为双层优化问题,帮助评估在最坏情况下的学习算法的鲁棒性。然而,目前针对具有超参数的算法的攻击通常假设这些超参数保持恒定,忽略了攻击对它们的影响。我们表明,这种方法会导致一个过于悲观的看法的算法的鲁棒性。我们提出了一种新的最佳攻击配方,认为攻击的超参数的影响建模的攻击作为一个多目标的双层优化问题。我们应用这种新的攻击制定ML分类器使用$L_2$正则化,并表明,与以前报道的结果相比,$L_2$正则化增强了学习算法的稳定性,并有助于减轻攻击。我们对不同数据集的经验评估证实了以前策略的局限性,证明了使用$L_2$正则化来抑制中毒攻击的效果的好处,并显示了正则化超参数如何随着中毒点的分数而增加。
2020-06-20 cs.CR cs.LG stat.ML
ML Attack Models: Adversarial Attacks and Data Poisoning Attacks
University of South Florida(南佛罗里达大学);Fordham University(福特汉姆大学)
许多最先进的ML模型在各种任务中表现优于人类,例如图像分类。凭借如此出色的性能,ML模型今天被广泛使用。然而,对抗攻击和数据投毒攻击的存在确实质疑了ML模型的鲁棒性。例如,Engstrom等人证明了最先进的图像分类器可以很容易地被任意图像上的小旋转所欺骗。随着机器学习系统越来越多地集成到安全和安全敏感的应用程序中,对抗攻击和数据投毒攻击构成了相当大的威胁。本章重点介绍ML安全的两个广泛而重要的领域:对抗攻击和数据投毒攻击。
2021-12-06 cs.CR cs.LG
Poisoning Attacks with Generative Adversarial Nets
Imperial College London(帝国理工学院);Hasso Plattner Institut, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);Princeton University(普林斯顿大学)
机器学习算法容易受到中毒攻击:攻击者可以在训练数据集中注入恶意点,以影响学习过程并降低算法的性能。最优中毒攻击已经被提出来评估最坏的情况,将攻击建模为双层优化问题。解决这些问题在计算上要求很高,并且对于某些模型(如深度网络)的适用性有限。在本文中,我们引入了一种新的生成模型来制作针对机器学习分类器的系统中毒攻击,生成对抗性的训练样本,即看起来像真正的数据点,但用于训练时会降低分类器的准确性的样本。我们提出了一个生成对抗网络,它有三个组成部分:生成器,目标分类器和目标分类器。这种方法使我们能够自然地建模的可检测性约束,可以预期在现实的攻击,并确定潜在的数据分布的区域,可以更容易受到数据投毒。我们的实验评估表明,我们的攻击可以有效地破坏机器学习分类器,包括深度网络。
2019-09-25 cs.CR cs.LG stat.ML
Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks
University of Maryland, College Park(马里兰大学帕克分校)
数据投毒和后门攻击操纵训练数据,以导致模型在推理过程中失败。最近对行业从业者的一项调查发现,数据投毒是从模型窃取到对抗攻击等威胁中的头号问题。然而,考虑到这些方法,即使是目标相同的方法,也没有在一致或现实的环境中进行过测试,因此仍然不清楚投毒方法的危险程度以及哪些方法更有效。我们观察到,数据投毒和后门攻击是高度敏感的测试设置的变化。此外,我们发现,现有的方法可能无法推广到现实的设置。虽然这些现有的作品作为数据投毒的有价值的原型,我们应用严格的测试,以确定我们应该害怕他们的程度。为了促进公平比较,在未来的工作中,我们开发了标准化的基准数据投毒和后门攻击。
2021-06-17 cs.CR cs.CV cs.CY
A Framework of Randomized Selection Based Certified Defenses Against Data Poisoning Attacks
Shanghai JiaoTong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学)
神经网络分类器容易受到数据投毒攻击,因为攻击者可以通过仅几个训练样本的投毒来降低甚至操纵它们的预测。然而,启发式防御的鲁棒性很难衡量。基于随机选择的防御可以通过对分类器对从训练集中采样的子数据集的预测求平均值来实现经过认证的鲁棒性。提出了一种基于随机选择的数据投毒攻击认证防御框架。具体地说,我们证明了满足一定条件的随机选择方案对数据投毒攻击是鲁棒的。我们还导出了合格随机选择方案的认证半径的解析形式。我们的框架导出的bagging的认证半径比以前的工作更紧。我们的框架允许用户通过利用关于训练集和中毒模型的先验知识来提高鲁棒性。在更高的先验知识水平下,我们可以在理论和实践上获得更高的认证精度。在MNIST 1/7、MNIST和CIFAR-10三个基准数据集上的实验表明,该方法的性能优于现有方法。
2020-10-13 cs.CR cs.LG stat.ML
A Systematic Review of Poisoning Attacks Against Large Language Models
Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室)
本文系统梳理LLM投毒攻击文献,提出含四项攻击规范与六项指标的威胁模型,并按概念、隐蔽、持久及独特任务投毒四维分类,以统一术语并揭示安全风险。
2025-06-06 cs.CR cs.LG
Subpopulation Data Poisoning Attacks
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院)
机器学习系统部署在关键环境中,但它们可能会以意想不到的方式失败,影响其预测的准确性。针对机器学习的中毒攻击会导致对机器学习算法使用的数据进行对抗性修改,以在部署时选择性地改变其输出。在这项工作中,我们介绍了一种新的数据投毒攻击称为\emph{subpopulation attack},这是特别相关的数据集是大而多样的。我们设计了一个子群体攻击的模块化框架,用不同的构建块实例化它,并表明攻击对各种数据集和机器学习模型是有效的。我们进一步优化攻击在连续域中使用影响函数和梯度优化方法。与现有的后门中毒攻击相比,子群攻击具有在推理时在自然分布的数据点中诱导错误分类的优点,使得攻击非常隐蔽。我们还表明,我们的攻击策略可以用来改善现有的有针对性的攻击。我们证明,在某些假设下,亚群攻击是不可能防御的,并以经验证明了现有防御措施对我们的攻击的局限性,突出了保护机器学习免受这种威胁的困难。
2021-05-12 cs.CR cs.LG stat.ML
Data Poisoning Attacks in Contextual Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Brain(谷歌大脑)
我们研究离线数据投毒攻击上下文土匪,一类强化学习的问题,在在线推荐和自适应医疗等重要应用。我们提供了一个基于凸优化的通用攻击框架,并表明通过稍微操纵数据中的奖励,攻击者可以迫使强盗算法为目标上下文向量拉一个目标手臂。目标手臂和目标上下文向量都由攻击者选择。也就是说,攻击者可以劫持上下文强盗的行为。我们还调查了这种攻击的可行性和副作用,并确定了未来的防御方向。仿真和真实数据实验验证了算法的有效性。
2018-08-24 cs.CR cs.LG stat.ML
Data Poisoning Attacks Against Federated Learning Systems
Georgia Institute of Technology(佐治亚理工学院)
联邦学习(FL)是一种新兴的大规模深度神经网络分布式训练范例,其中参与者的数据保留在他们自己的设备上,只有模型更新与中央服务器共享。然而,FL的分布式性质引起了潜在的恶意参与者所造成的新的威胁。在本文中,我们研究了有针对性的数据投毒攻击FL系统中的恶意子集的参与者的目的是通过发送来自错误标记的数据的模型更新中毒的全局模型。我们首先证明,这种数据投毒攻击可能会导致分类准确性和召回率大幅下降,即使有一小部分恶意参与者。我们还表明,攻击可以有针对性,即,它们只对受到攻击的类有很大的负面影响。我们还研究了早期/后期训练中的攻击寿命、恶意参与者可用性的影响以及两者之间的关系。最后,我们提出了一种防御策略,可以帮助识别FL中的恶意参与者,以规避中毒攻击,并证明其有效性。
2020-08-11 cs.CR cs.LG stat.ML
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz(康斯坦茨大学)
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法,并介绍了一种新的方法,称为热图聚类。在那里,我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法,称为激活聚类,它也使用$k$均值聚类,但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击,标签一致的中毒攻击和标签一致的中毒攻击,减少幅度贴纸。我们表明,热图聚类始终优于激活聚类。然而,当考虑标签一致的中毒攻击,后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
A Separation Result Between Data-oblivious and Data-aware Poisoning Attacks
Columbia University(哥伦比亚大学);UC Berkeley(加州大学伯克利分校);NTT Research(NTT研究所);University of Wisconsin(威斯康星大学);Princeton(普林斯顿大学);University of Virginia(弗吉尼亚大学);Google Research - Brain Team(谷歌研究院 - 大脑团队)
中毒攻击已经成为机器学习算法的重大安全威胁。已经证明,对训练集进行微小更改的攻击者,例如添加特制的数据点,可能会损害输出模型的性能。一些较强的中毒攻击需要对训练数据的充分了解。这使得使用不完全了解干净训练集的中毒攻击实现相同攻击结果的可能性成为可能。本文对上述问题进行了理论研究。具体来说,对于LASSO的特征选择的情况下,我们证明了全信息的对手(工艺中毒的例子的基础上,其余的训练数据)是可证明的比最佳的攻击者,是无视的训练集,但有机会获得数据的分布。我们的分离结果表明,数据感知和数据无关这两种设置是根本不同的,我们不能希望在这些场景中总是实现相同的攻击或防御结果。
2021-12-13 cs.CR cs.LG stat.ML
Towards Class-Oriented Poisoning Attacks Against Neural Networks
Clemson University(克莱姆森大学)
对机器学习系统的中毒攻击通过故意在训练数据集中注入恶意样本来影响训练过程,从而损害模型性能。先前的工作集中在可用性攻击(即,降低整体模型精度)或完整性攻击(即,启用特定的基于实例的后门)。在本文中,我们提出了对抗性目标的可用性攻击,以每类的基础上,我们称之为面向类的中毒攻击。我们证明了所提出的攻击能够迫使损坏的模型以两种特定的方式进行预测:(i)将看不见的新图像分类为目标“替代者”类,以及(ii)将图像从“受害者”类中错误分类,同时保持其他非受害者类的分类准确性。为了最大限度地提高对抗效果,以及降低中毒数据生成的计算复杂性,我们提出了一个基于梯度的框架,工艺中毒图像与仔细操纵的特征信息,为每个场景。使用新定义的类级度量,我们证明了所提出的面向类的中毒攻击对各种模型的有效性(例如,LeNet-5、Vgg-9和ResNet-50)在大范围的数据集(例如,MNIST、CIFAR-10和ImageNet-ILSVRC 2012)。
2021-10-11 cs.CR cs.LG stat.ML
Exploring the Limits of Model-Targeted Indiscriminate Data Poisoning Attacks
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出模型投毒可达性与可计算阈值,刻画模型靶向无差别数据投毒的相变条件,并通过改进 Gradient Canceling 攻击验证理论、提升多数据集与模型上的攻击基线。
2023-06-06 cs.CR cs.LG
Regularization Can Help Mitigate Poisoning Attacks... with the Right Hyperparameters
Imperial College London(帝国理工学院);Defence Science and Technology Laboratory (Dstl)(国防科学技术实验室)
机器学习算法容易受到中毒攻击,其中一小部分训练数据被操纵以降低算法的性能。我们发现,目前的方法,通常假设正则化超参数保持不变,导致过于悲观的算法的鲁棒性和正则化的影响。我们提出了一种新的最佳攻击配方,考虑了超参数的攻击效果,建模攻击作为一个\emph{minimax bilevel optimization problem}。这允许制定最佳攻击,选择超参数并在最坏情况下评估鲁棒性。我们将此公式应用于使用$L_2$正则化的逻辑回归,经验表明以前的策略的局限性,并证明使用$L_2$正则化的好处,以抑制中毒攻击的影响。
2021-05-23 cs.CR cs.LG stat.ML
Efficient Action Poisoning Attacks on Linear Contextual Bandits
University of California, Davis(加州大学戴维斯分校)
上下文强盗算法在各种场景中有许多应用。为了开发可信的上下文强盗系统,了解各种对抗攻击对上下文强盗算法的影响是必不可少的。在本文中,我们提出了一类新的攻击:行动中毒攻击,对手可以改变代理选择的行动信号。我们设计了行动中毒攻击方案,对线性上下文强盗算法在白盒和黑盒设置。我们进一步分析了一个非常流行和广泛使用的强盗算法:LinUCB的建议的攻击策略的成本。我们表明,在白盒和黑盒设置,所提出的攻击方案可以迫使LinUCB代理拉目标手臂非常频繁,只花费对数成本。
2021-12-10 cs.CR cs.LG math.OC
Bullseye Polytope: A Scalable Clean-Label Poisoning Attack with Improved Transferability
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近关注神经网络安全性的一个来源是干净标签数据集中毒攻击的出现,其中正确标记的中毒样本被注入到训练数据集中。虽然这些有毒样本对人类观察者来说看起来是合法的,但它们包含恶意特征,这些特征会在推理过程中触发有针对性的错误分类。针对迁移学习,提出了一种可扩展、可转移的清洁标签中毒攻击方法,该方法在特征空间中创建中心靠近目标图像的中毒图像。我们的攻击Bullseye Polytope在端到端迁移学习中将当前最先进的攻击成功率提高了26.75%,同时将攻击速度提高了12倍。我们进一步将靶心多面体扩展到更实用的攻击模型,包括同一对象的多个图像(例如,从不同的角度)制作毒药样本时。我们证明,这种扩展提高了攻击的可转移性超过16%,看不见的图像(相同的对象),而不使用额外的毒药样本。
2021-03-14 cs.CR cs.LG stat.ML
Poisoning Attacks on Algorithmic Fairness
Universitat Pomepu Fabra(庞培法布拉大学);Università degli Studi di Cagliari(卡利亚里大学)
对抗性机器学习的研究已经表明,即使将一小部分中毒点注入训练数据,机器学习模型的性能也会受到严重影响。虽然这种中毒攻击对模型准确性的影响已被广泛研究,但其对其他模型性能指标的潜在影响仍有待评估。在这项工作中,我们引入了一个优化框架中毒攻击对算法公平性,并开发了一个基于梯度的中毒攻击,旨在引入不同群体之间的分类差异的数据。我们的经验表明,我们的攻击是有效的,不仅在白盒设置,其中攻击者可以完全访问目标模型,但也在一个更具挑战性的黑盒情况下,其中的攻击是针对替代模型进行优化,然后转移到目标模型。我们相信,我们的研究结果为定义一组全新的针对不同场景中算法公平性的对抗攻击铺平了道路,并且调查此类漏洞将有助于在未来设计更强大的算法和对策。
2020-06-26 cs.CR cs.CY cs.LG
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology(麻省理工学院)
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而,关于它们对无监督对比学习(CL)的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒(CP),第一个有效的这种攻击CL。我们的经验表明,对比中毒,不仅大大降低了CL算法的性能,但也攻击监督学习模型,使其成为最普遍的无差别中毒攻击。我们还表明,CL算法与动量编码器是更强大的不分青红皂白中毒,并提出了一个新的对策的基础上矩阵完成。代码可在:https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks Without an Accuracy Tradeoff
University of Maryland, College Park(马里兰大学帕克分校);University of Siegen(锡根大学)
数据投毒和后门攻击通过恶意修改训练数据来操纵受害者模型。鉴于这一日益严重的威胁,最近对行业专业人士进行的一项调查显示,私营部门对数据投毒的担忧加剧。许多以前的中毒防御要么在面对越来越强大的攻击时失败,要么它们显着降低性能。然而,我们发现强大的数据增强,如mixup和CutMix,可以显着减少中毒和后门攻击的威胁,而不会牺牲性能。我们进一步验证了这种简单的防御自适应中毒方法的有效性,我们比较基线,包括流行的差分私有SGD(DP-SGD)防御。在后门的背景下,CutMix大大减轻了攻击,同时将验证准确率提高了9%。
2020-11-18 cs.CR cs.LG
What Distributions are Robust to Indiscriminate Poisoning Attacks for Linear Learners?
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University California Los Angeles(加州大学洛杉矶分校)
本研究探究线性学习器对无差别投毒攻击的内在鲁棒性,证明在类间分布低方差且分离良好、投毒约束集较小时,线性学习器可天然抵抗投毒,并解释了基准数据集上攻击效果的差异。
2023-11-09 cs.CR cs.LG
Data Poisoning Attacks in Intelligent Transportation Systems: A Survey
Southwest Jiaotong University(西南交通大学);University of Washington(华盛顿大学)
本文综述了智能交通系统(ITS)中的数据投毒攻击,识别了易受攻击的数据源与应用场景,构建了通用分类框架,并探讨了当前局限与可信ITS的未来研究方向。
2024-07-06 cs.CR cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence(嵌入式智能公司)
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查,这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明,影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架,针对半监督学习方法,以更好地理解和利用其局限性,并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Understanding the Limits of Poisoning Attacks in Episodic Reinforcement Learning
University of California San Diego(加州大学圣地亚哥分校);University of Virginia(弗吉尼亚大学);University of Warwick(华威大学)
为了了解强化学习(RL)算法的安全威胁,本文研究了中毒攻击,以操纵\emph{any}顺序最优的学习算法在情节RL中的目标策略,并检查了两种自然类型的中毒攻击的潜在损害,即,\emph{reward}和\emph{action}的操作。我们发现攻击的效果主要取决于奖励是有界的还是无界的。在有界奖励设置中,我们证明了只有奖励操纵或只有动作操纵不能保证成功的攻击。然而,通过结合奖励和动作操纵,对手可以操纵任何顺序最优学习算法,以遵循具有$\tildeΘ(\sqrt{T})$总攻击成本的任何目标策略,这是顺序最优的,而不需要任何底层MDP的知识。相比之下,在无界奖励设置,我们表明,奖励操纵攻击是足够的对手成功地操纵任何顺序最优的学习算法,遵循任何有针对性的政策,使用$\tilde{O}(\sqrt{T})$量的污染。我们的研究结果揭示了关于中毒攻击可以或不能实现什么的有用见解,并将激励更多关于鲁棒RL算法设计的工作。
2022-08-29 cs.CR cs.LG stat.ML
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明,这样的学习者是抵抗数据投毒攻击时,对手只能中毒少量的项目。然而,这种保护会随着对手毒害更多数据而降低。为了说明这一点,我们设计了针对目标和输出扰动学习器的攻击算法,这是差分私有机器学习的两种标准方法。实验表明,我们的方法是有效的,当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University(迪肯大学)
联邦学习(FL)能够在分布式客户端之间训练模型,而不会损害训练数据集的隐私,但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估,以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学);IBM
联邦学习本质上容易受到模型中毒攻击,因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中,攻击者通过上传“中毒”更新来降低模型在目标子任务(例如将飞机分类为鸟类)上的性能。在这份报告中,我们介绍了\algoname{},一种新的防御,使用全局top-k更新稀疏化和设备级梯度裁剪,以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击,并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性,我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
Lethean Attack: An Online Data Poisoning Technique
Massachusetts Institute of Technology(麻省理工学院)
数据投毒是一种对抗性场景,攻击者将特制的样本序列提供给在线模型以破坏学习。我们介绍Lethean攻击,一种新的数据投毒技术,导致灾难性遗忘的在线模型。我们在测试时训练的背景下应用攻击,这是一个现代在线学习框架,旨在分布偏移下的泛化。我们提出的理论依据和经验比较,它对其他样本序列,自然会引起遗忘。我们的研究结果表明,使用lethean攻击,对手可以使用短样本序列将测试时训练模型恢复到抛硬币精度性能。
2020-11-24 cs.CR cs.LG
Data Poisoning Attacks against Online Learning
University of California, San Diego(加州大学圣迭戈分校)
我们考虑数据投毒攻击,这是对机器学习的一类对抗攻击,其中对手有能力改变一小部分训练数据,以使训练的分类器满足某些目标。虽然之前已经有很多关于数据投毒的工作,但大多数都是在离线环境中进行的,并且对于在线学习的攻击(其中训练数据以流式方式到达)还没有得到很好的理解。在这项工作中,我们发起了一个系统的调查数据投毒攻击的在线学习。我们正式的问题分为两个设置,我们提出了一个一般的攻击策略,制定为一个优化问题,适用于两者进行一些修改。我们提出了三种解决方案的策略,并进行了广泛的实验评估。最后,我们讨论了我们的研究结果对建立成功的防御的影响。
2018-08-27 cs.LG stat.ML
Indiscriminate Data Poisoning Attacks on Neural Networks
University of Waterloo(滑铁卢大学)
本文将数据投毒攻击与序列Stackelberg博弈算法相联系,利用二阶信息优化和自动微分包,设计了能同时生成数万个投毒点的高效攻击方法,并实证验证了其对神经网络的有效性。
2024-02-15 cs.CR cs.LG
Adaptive Reward-Poisoning Attacks against Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所(MPI-SWS))
在针对强化学习(RL)的奖励中毒攻击中,攻击者可以在每一步都将环境奖励$r_t$扰动为$r_t+δ_t$,目的是迫使RL代理学习恶意策略。我们分类这种攻击的无穷范数约束$δ_t$:我们提供了一个较低的阈值,低于该奖励中毒攻击是不可行的,RL被证明是安全的,我们提供了一个相应的上限阈值,高于该攻击是可行的。可行攻击可以进一步分类为非自适应攻击,其中$δ_t$仅取决于$(s_t,a_t, s_{t+1})$,或自适应攻击,其中$δ_t$进一步取决于RL代理在时间$t$的学习过程。非自适应攻击一直是先前工作的焦点。然而,我们表明,在温和的条件下,自适应攻击可以实现邪恶的政策在步骤多项式的状态空间大小$|S|$,而非自适应攻击需要指数步骤。我们提供了一个建设性的证明,一个快速自适应攻击策略达到多项式率。最后,我们表明,根据经验,攻击者可以使用最先进的深度RL技术找到有效的奖励中毒攻击。
2020-06-22 cs.AI cs.CR cs.LG
Detection of Adversarial Training Examples in Poisoning Attacks through Anomaly Detection
Imperial College London(帝国理工学院)
机器学习已经成为许多系统和应用的重要组成部分,包括计算机视觉、垃圾邮件过滤、恶意软件和网络入侵检测等。尽管机器学习算法能够从数据中提取有价值的信息并产生准确的预测,但已经表明这些算法容易受到攻击。数据中毒是针对机器学习系统的最相关的安全威胁之一,攻击者可以通过在训练数据中注入恶意样本来破坏学习过程。对抗性机器学习的最新研究表明,所谓的最佳攻击策略可以成功地毒害线性分类器,在损害一小部分训练数据集后,系统的性能会急剧下降。在本文中,我们提出了一种防御机制,以减轻这些最佳中毒攻击的影响,基于离群检测。我们的经验表明,这些攻击策略生成的对抗性示例与真正的点有很大不同,因为没有考虑可检测性约束来制作攻击。因此,可以通过对训练数据集进行适当的预过滤来检测它们。
2018-02-08 cs.CR cs.LG stat.ML
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University(杜克大学)
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器,使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外,每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻(kNN)和半径近邻(rNN)具有固有的多数表决机制。在这项工作中,我们表明,在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证,对数据投毒攻击和后门攻击。此外,我们对MNIST和CIFAR 10的评估结果表明,kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
Can't Boil This Frog: Robustness of Online-Trained Autoencoder-Based Anomaly Detectors to Adversarial Poisoning Attacks
Ben-Gurion University of the Negev(本-古里安大学)
近年来,各种有效的神经网络为基础的方法,在工业控制系统(ICS)的异常和网络攻击检测已在文献中被证明。鉴于它们的成功实施和广泛使用,有必要研究对这种检测方法的对抗攻击,以更好地保护依赖它们的系统。对图像和恶意软件分类的对抗攻击进行的广泛研究与大多数ICS攻击检测系统所属的物理系统状态预测域几乎没有相关性。此外,这种检测系统通常使用从被监视系统收集的新数据进行再训练,因此对抗性数据投毒的威胁是显著的,然而这种威胁尚未被研究界解决。在本文中,我们提出了第一个研究集中在中毒攻击在线训练的自动编码器为基础的攻击检测器。我们提出了两种算法,用于生成有毒样本,基于插值的算法和基于反向梯度优化的算法,我们评估合成和真实世界的ICS数据。我们证明,所提出的算法可以产生有毒样本,导致目标攻击去检测的自动编码器检测器,但中毒检测器的能力是有限的一小部分攻击类型和幅度。当将中毒生成算法应用于流行的SWaT数据集时,我们表明,在物理系统状态数据上训练的自动编码器检测器在面对数据集中的所有十种相关攻击时都能抵御中毒。这一发现表明,在网络物理领域中使用的基于神经网络的攻击检测器比在其他问题领域(例如恶意软件检测和图像处理)中更鲁棒。
2020-02-07 cs.CR cs.LG stat.ML
Uncertainty-Matching Graph Neural Networks to Defend Against Poisoning Attacks
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Labs(劳伦斯利弗莫尔国家实验室)
图神经网络(GNN)是神经网络对图结构数据的概括,通常使用图的实体之间的消息传递来实现。虽然GNN对于节点分类、链接预测和图分类是有效的,但它们容易受到对抗性攻击,即,对结构的小扰动可能导致非平凡的性能下降。在这项工作中,我们提出了不确定性匹配GNN(UM-GNN),旨在提高GNN模型的鲁棒性,特别是针对图结构的中毒攻击,通过利用消息传递框架中的认知不确定性。更具体地说,我们建议构建一个代理预测器,该预测器不直接访问图结构,而是通过一种新型的不确定性匹配策略从标准GNN中系统地提取可靠的知识。有趣的是,这种解耦使得UM-GNN通过设计对规避攻击免疫,并实现了对中毒攻击的显著提高的鲁棒性。使用标准基准和一套全球和目标攻击的实证研究,我们证明了UM-GNN与现有基线(包括最先进的强大GCN)相比的有效性。
2020-09-30 cs.CR cs.LG stat.ML
Excess Capacity and Backdoor Poisoning
Toyota Technological Institute Chicago(芝加哥丰田技术研究所)
后门数据投毒攻击是一种对抗攻击,其中攻击者将几个带水印的、错误标记的训练样本注入训练集中。水印不会影响模型在典型数据上的测试时性能;然而,模型在水印示例上可靠地出错。为了更好地了解后门数据投毒攻击的基础,我们提出了一个正式的理论框架内,可以讨论后门数据投毒攻击的分类问题。然后,我们使用它来分析围绕这些攻击的重要统计和计算问题。在统计方面,我们确定了一个参数,我们称之为记忆能力,它捕捉了学习问题对后门攻击的内在脆弱性。这使我们能够讨论几个自然学习问题对后门攻击的鲁棒性。我们的研究结果有利于攻击者提出明确的构造后门攻击,我们的鲁棒性结果表明,一些自然的问题设置不能产生成功的后门攻击。从计算的角度来看,我们证明了在某些假设下,对抗训练可以检测到训练集中后门的存在。然后,我们表明,在类似的假设下,两个密切相关的问题,我们称之为后门过滤和强大的推广几乎是等价的。这意味着,设计能够识别训练集中的水印示例的算法,以获得既能很好地推广到看不见的数据又对后门具有鲁棒性的学习算法,这是渐进必要的,也是足够的。
2021-11-03 cs.CR cs.LG stat.ML
Transferable Availability Poisoning Attacks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出可迁移投毒攻击方法,利用对比学习中的对齐性与均匀性特性及有监督、无监督梯度信息生成扰动,显著提升投毒样本在不同学习算法和范式间的攻击可迁移性。
2024-06-06 cs.CR cs.LG
Inverting Gradient Attacks Makes Powerful Data Poisoning
Meta;École polytechnique(巴黎综合理工学院)
本研究针对非凸场景下数据投毒能否达到梯度攻击危害的问题,利用梯度反转技术实现了数据投毒对梯度攻击的模拟,首次通过占比低至1%的投毒点将神经网络性能降至随机水平。
2024-12-11 cs.CR cs.LG
You Autocomplete Me: Poisoning Vulnerabilities in Neural Code Completion
Tel Aviv University(特拉维夫大学);Cornell Tech(康奈尔理工学院);Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
代码自动完成是现代代码编辑器和IDE不可或缺的特性。最新一代的自动补全器使用神经语言模型,在公共开源代码库上训练,在当前环境下建议可能的(不仅仅是静态可行的)补全。我们证明了神经代码自动完成程序容易受到中毒攻击。通过向自动完成器的训练语料库添加一些特制的文件(数据投毒),或者直接对这些文件微调自动完成器(模型中毒),攻击者可以影响其对攻击者选择的上下文的建议。例如,攻击者可以“教”自动完成程序建议AES加密使用不安全的ECB模式,SSL/TLS协议版本使用SSLv 3,或者基于密码的加密使用低迭代次数。此外,我们表明,这些攻击是有针对性的:一个自动完成中毒的有针对性的攻击更有可能建议不安全的完成文件从特定的存储库或特定的开发人员。我们量化了针对基于Pythia和GPT-2的最先进自动完成器的有针对性和无针对性的数据和模型中毒攻击的有效性。然后,我们评估现有的防御中毒攻击,并表明他们在很大程度上是无效的。
2020-10-08 cs.CL cs.CR cs.LG
SecureLearn -- An Attack-agnostic Defense for Multiclass Machine Learning Against Data Poisoning Attacks
College of Computing, Birmingham City University, Birmingham, United Kingdom(计算学院,伯明翰城市大学,伯明翰,英国)
针对多类机器学习模型的数据投毒攻击,提出两层与攻击无关的防御SecureLearn,结合数据清洗与特征对抗训练,在多种算法和数据集上保持高准确率与鲁棒性。
2025-10-25 cs.CR cs.LG
Towards Fair Classification against Poisoning Attacks
Michigan State University(密歇根州立大学)
公平分类的目的是强调分类模型在不同敏感群体之间实现平等(治疗或预测质量)。然而,公平分类可能面临中毒攻击的风险,这些攻击故意插入恶意训练样本以操纵训练好的分类器的性能。在这项工作中,我们研究了中毒的情况下,攻击者可以插入一小部分样本到训练数据,任意敏感属性以及其他预测功能。我们证明,经过良好训练的分类器很容易受到这种中毒攻击,即使我们应用了一些最有效的防御(最初是为了保护传统的分类任务),准确性和公平性的权衡也要差得多。作为防御公平分类任务的对策,我们提出了一个通用的和理论上有保证的框架,该框架可以容纳传统的防御方法,以公平分类对抗中毒攻击。通过大量实验,结果验证了所提出的防御框架在准确性和公平性方面比代表性基线方法具有更好的鲁棒性。
2022-10-18 cs.CR cs.LG
Sybil-based Virtual Data Poisoning Attacks in Federated Learning
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Sony AI(索尼人工智能)
针对联邦学习现有投毒攻击成本高的问题,提出基于Sybil的虚拟数据投毒攻击,结合梯度匹配虚拟数据生成与三类目标模型获取方案,可在非独立同分布数据下高效实现更强的全局投毒效果。
2025-05-15 cs.CR cs.LG
Poisoning Attacks on Cyber Attack Detectors for Industrial Control Systems
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of Cagliari(卡利亚里大学)
最近,已经提出了基于神经网络(NN)的方法,包括自动编码器,用于检测针对工业控制系统(ICS)的网络攻击。这种检测器通常使用在系统操作期间收集的数据来重新训练,以应对自然演变(即,概念漂移)。然而,通过利用这种机制,攻击者可以在训练时伪造由损坏的传感器提供的信号,并毒化检测器的学习过程,使得网络攻击在测试时未被检测到。通过这项研究,我们首次在ICS网络攻击在线NN检测器上展示了这种中毒攻击。我们提出了两种不同的攻击算法,即插值和反向梯度中毒,并证明其有效性的合成和真实世界的ICS数据。我们还讨论和分析了一些潜在的缓解策略。
2020-12-23 cs.CR cs.LG
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley(加州大学伯克利分校)
深度学习模型已经在许多任务上实现了高性能,因此已经应用于许多安全关键场景。例如,基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序,如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中,我们考虑了一种新型的攻击,称为后门攻击,攻击者的目标是创建一个后门到一个基于学习的认证系统,使他可以很容易地绕过系统利用后门。具体地说,攻击者的目的是创建后门实例,从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地,我们研究了后门中毒攻击,利用中毒策略实现后门攻击。与现有的所有工作不同的是,我们研究的中毒策略可以应用在一个非常弱的威胁模型下:(1)对手不知道受害者系统使用的模型和训练集;(2)攻击者只允许注入少量的中毒样本;(3)后门密钥即使是人类也很难注意到,以实现隐身。我们进行了评估,以证明后门攻击者只能注入大约50个中毒样本,同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明,后门中毒攻击对学习系统构成了真正的威胁,因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
Data Poisoning Attacks Against Multimodal Encoders
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);University of Lausanne(洛桑大学);University of Birmingham(伯明翰大学)
本文研究针对多模态编码器视觉与语言模态的数据投毒风险,提出三类攻击并比较模态脆弱性,同时给出训练前与训练后防御方法。
2023-06-05 cs.CR cs.LG
Provable Watermarking for Data Poisoning Attacks
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(数学科学国家重点实验室,数学与系统科学研究院,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Institute of AI for Industries, Nanjing, China(产业人工智能研究院,南京,中国)
本文针对数据投毒攻击提出可证明的水印方案,包括投毒后水印和投毒并发水印,在保证水印可检测性和投毒效用的同时,通过理论分析和实验验证了其实际可行性。
2025-10-10 cs.CR cs.LG
Bi-Level Poisoning Attack Model and Countermeasure for Appliance Consumption Data of Smart Homes
Jashore University of Science and Technology(杰索尔科技大学);Deakin University(迪肯大学);RMIT University(皇家墨尔本理工大学)
准确的建筑物能量预测在从建筑物能量自动化和管理到最佳存储控制的各种应用中是有用的。然而,在设计建筑物能源预测模型时应考虑漏洞,因为智能攻击者可以使用复杂的攻击模型故意影响模型性能。这些可能因此降低预测准确性,这可能影响建筑物能量管理系统的效率和性能。在本文中,我们调查的影响,从家用电器的能量使用的回归模型的双级中毒攻击。此外,针对预测模型的中毒攻击,本文提出了一种有效的对策。在基准数据集上评估攻击和防御。实验结果表明,智能网络攻击者可以毒化预测模型来操纵决策。然而,我们提出的解决方案成功地确保了防御这种中毒攻击有效地与其他基准技术相比。
2021-07-01 cs.CR cs.LG
Poison is Not Traceless: Fully-Agnostic Detection of Poisoning Attacks
The University of Auckland(奥克兰大学)
本文提出完全无关的污染攻击检测框架DIVA,仅通过分析潜在被污染数据集,利用Complexity Measures预训练元学习器估计干净数据上的准确率,从而检测通用污染攻击,并在label-flipping攻击上进行了验证。
2023-10-24 cs.CR cs.LG
Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院)
虽然最近的研究表明,联邦学习(FL)可能容易受到受损害的客户端的中毒攻击,但它们对生产FL系统的真正影响尚未完全了解。在这项工作中,我们的目标是通过列举所有可能的威胁模型,中毒的变化和对手的能力,对FL中毒攻击开发一个全面的系统化。我们特别把重点放在无针对性的中毒攻击上,因为我们认为它们与生产FL部署密切相关。我们提出了一个批判性的分析,无针对性的中毒攻击在实际的,生产FL环境下,仔细描述了一套现实的威胁模型和对抗能力。我们的研究结果是相当令人惊讶的:与既定的信念相反,我们表明,FL是非常强大的实践中,即使使用简单,低成本的防御。我们甚至更进一步,提出了新颖的,最先进的数据和模型中毒攻击,并通过在三个基准数据集上进行的一系列广泛的实验,展示了在存在简单防御机制的情况下,有效的中毒攻击是如何进行的。我们的目标是纠正以前的误解,并提供具体的指导方针,对这个主题进行更准确(和更现实)的研究。
2021-12-13 cs.CR cs.DC cs.LG
Manipulating Recommender Systems: A Survey of Poisoning Attacks and Countermeasures
Griffith University(格里菲斯大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Monash University(莫纳什大学);Humboldt-Universität zu Berlin(柏林洪堡大学);The University of Queensland(昆士兰大学)
本综述系统梳理了针对推荐系统的投毒攻击及其对策,提出新的攻击分类法整理30余种攻击,并评估40余种对策的有效性,为保护推荐系统提供参考。
2024-04-23 cs.CR cs.IR cs.LG
Empirical Evaluation of Data Poisoning Attacks in Supervised Learning
Minot State University(迈诺特州立大学)
本研究在MNIST和Fashion-MNIST上实证评估标签翻转与后门投毒攻击,发现后门攻击隐蔽且成功率高,需安全导向评估。
2026-09-11 cs.CR cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology(华中科技大学);Wuhan University of Technology(武汉理工大学);Georgia Institute of Technology(佐治亚理工学院)
机器学习技术已经广泛应用于各种应用。然而,它们可能容易受到数据投毒攻击,其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的:它们是针对一种特定类型的攻击而设计的,但不适用于其他类型,主要是由于它们遵循的不同原则。然而,很少有一般的防御战略已经制定。在本文中,我们提出了De-Pois,一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型,其目的是模仿目标模型的行为。我们利用生成对抗网络(GANs)来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异,De-Pois因此能够区分中毒样本和干净样本,而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击,并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明,De-Pois算法能够有效地检测出四种类型的中毒攻击,其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Using Anomaly Detection to Detect Poisoning Attacks in Federated Learning Applications
Honda Research Institute EU(本田欧洲研究所);University of Kent(肯特大学);University of Lille(里尔大学);ENSAIT;Dong A University(东亚大学);International Research Institute for Artificial Intelligence and Data Science(人工智能与数据科学国际研究院)
针对联邦学习中的模型投毒攻击,提出一种基于公共数据集参考模型和审计模型、使用一类支持向量机(OC-SVM)的检测框架,计算复杂度低至O(K),在ECG分类和HAR任务上优于现有SOTA检测方法。
2025-03-25 cs.CR cs.LG
PoisHygiene: Detecting and Mitigating Poisoning Attacks in Neural Networks
The University of Texas at Dallas(德克萨斯大学达拉斯分校);The Pennsylvania State University(宾夕法尼亚州立大学)
深度神经网络(DNN)的黑盒性质便于攻击者通过数据投毒来操纵DNN的行为。能够检测和减轻中毒攻击(通常分为后门和对抗性中毒(AP))对于在许多应用领域中安全采用DNN至关重要。虽然最近的工作表现出令人鼓舞的结果检测某些后门攻击,他们表现出固有的局限性,可能会显着限制的适用性。实际上,不存在用于检测AP攻击的技术,这代表了更困难的挑战,因为这种攻击没有表现出共同和明确的规则,而后门攻击表现出共同和明确的规则(即,将后门触发器嵌入到中毒数据中)。我们认为,检测和缓解AP攻击的关键是在受感染的DNN模型中观察和利用基本中毒诱导属性的能力。在本文中,我们提出PoisHygiene,第一个有效和强大的检测和缓解框架对AP攻击。PoisHygiene的基本动机是欧内斯特·卢瑟福博士的故事(即,1908年诺贝尔奖获得者),通过随机电子取样观察原子结构。
2020-06-19 cs.CR cs.CV cs.LG