Associative Poisoning to Generative Machine Learning
Norwegian University of Science and Technology, Department of Computer Science(挪威科学技术大学计算机科学系)
本文提出关联投毒攻击,仅扰动训练数据即可操纵生成模型中特定特征对的统计关联,无需控制训练过程,并在保持输出质量的同时规避检测,还提出了新的防御策略。
2025-11-07 cs.LG
Outlier-Oriented Poisoning Attack: A Grey-box Approach to Disturb Decision Boundaries by Perturbing Outliers in Multiclass Learning
College of Computing, Birmingham City University(伯明翰城市大学计算机学院)
本文提出面向离群点的投毒(OOP)灰盒攻击,通过篡改多分类任务中离决策边界最远样本的标签破坏模型,实验验证了不同算法的抗攻击差异及类别数、数据不平衡对攻击效果的影响。
2024-11-01 cs.LG
Towards Poisoning Fair Representations
Purdue University(普渡大学);Tencent AI Lab(腾讯AI实验室);Georgia Institute of Technology(佐治亚理工学院)
针对深度公平表示学习缺乏安全评估的问题,提出首个数据投毒框架,通过精心构造样本和双层优化近似诱导不公平表示,并给出投毒样本量理论分析。
2024-03-04 cs.LG
Poisoning $\times$ Evasion: Symbiotic Adversarial Robustness for Graph Neural Networks
Technical University of Munich(慕尼黑工业大学)
本文研究投毒与逃逸攻击的共生威胁,提出一种基于一阶优化、内存高效的自适应端到端结构扰动攻击,以评估GNN在联合威胁模型下的鲁棒性。
2023-12-09 cs.LG
A Systematic Review of Poisoning Attacks Against Large Language Models
Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室)
本文系统梳理LLM投毒攻击文献,提出含四项攻击规范与六项指标的威胁模型,并按概念、隐蔽、持久及独特任务投毒四维分类,以统一术语并揭示安全风险。
2025-06-06 cs.CR cs.LG
Provable Watermarking for Data Poisoning Attacks
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(数学科学国家重点实验室,数学与系统科学研究院,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Institute of AI for Industries, Nanjing, China(产业人工智能研究院,南京,中国)
本文针对数据投毒攻击提出可证明的水印方案,包括投毒后水印和投毒并发水印,在保证水印可检测性和投毒效用的同时,通过理论分析和实验验证了其实际可行性。
2025-10-10 cs.CR cs.LG
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz(康斯坦茨大学)
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法,并介绍了一种新的方法,称为热图聚类。在那里,我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法,称为激活聚类,它也使用$k$均值聚类,但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击,标签一致的中毒攻击和标签一致的中毒攻击,减少幅度贴纸。我们表明,热图聚类始终优于激活聚类。然而,当考虑标签一致的中毒攻击,后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
What Distributions are Robust to Indiscriminate Poisoning Attacks for Linear Learners?
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University California Los Angeles(加州大学洛杉矶分校)
本研究探究线性学习器对无差别投毒攻击的内在鲁棒性,证明在类间分布低方差且分离良好、投毒约束集较小时,线性学习器可天然抵抗投毒,并解释了基准数据集上攻击效果的差异。
2023-11-09 cs.CR cs.LG
Exploring the Limits of Model-Targeted Indiscriminate Data Poisoning Attacks
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出模型投毒可达性与可计算阈值,刻画模型靶向无差别数据投毒的相变条件,并通过改进 Gradient Canceling 攻击验证理论、提升多数据集与模型上的攻击基线。
2023-06-06 cs.CR cs.LG
Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks Without an Accuracy Tradeoff
University of Maryland, College Park(马里兰大学帕克分校);University of Siegen(锡根大学)
数据投毒和后门攻击通过恶意修改训练数据来操纵受害者模型。鉴于这一日益严重的威胁,最近对行业专业人士进行的一项调查显示,私营部门对数据投毒的担忧加剧。许多以前的中毒防御要么在面对越来越强大的攻击时失败,要么它们显着降低性能。然而,我们发现强大的数据增强,如mixup和CutMix,可以显着减少中毒和后门攻击的威胁,而不会牺牲性能。我们进一步验证了这种简单的防御自适应中毒方法的有效性,我们比较基线,包括流行的差分私有SGD(DP-SGD)防御。在后门的背景下,CutMix大大减轻了攻击,同时将验证准确率提高了9%。
2020-11-18 cs.CR cs.LG
Indiscriminate Data Poisoning Attacks on Neural Networks
University of Waterloo(滑铁卢大学)
本文将数据投毒攻击与序列Stackelberg博弈算法相联系,利用二阶信息优化和自动微分包,设计了能同时生成数万个投毒点的高效攻击方法,并实证验证了其对神经网络的有效性。
2024-02-15 cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明,这样的学习者是抵抗数据投毒攻击时,对手只能中毒少量的项目。然而,这种保护会随着对手毒害更多数据而降低。为了说明这一点,我们设计了针对目标和输出扰动学习器的攻击算法,这是差分私有机器学习的两种标准方法。实验表明,我们的方法是有效的,当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence(嵌入式智能公司)
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查,这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明,影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架,针对半监督学习方法,以更好地理解和利用其局限性,并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University(迪肯大学)
联邦学习(FL)能够在分布式客户端之间训练模型,而不会损害训练数据集的隐私,但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估,以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology(麻省理工学院)
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而,关于它们对无监督对比学习(CL)的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒(CP),第一个有效的这种攻击CL。我们的经验表明,对比中毒,不仅大大降低了CL算法的性能,但也攻击监督学习模型,使其成为最普遍的无差别中毒攻击。我们还表明,CL算法与动量编码器是更强大的不分青红皂白中毒,并提出了一个新的对策的基础上矩阵完成。代码可在:https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
Poison is Not Traceless: Fully-Agnostic Detection of Poisoning Attacks
The University of Auckland(奥克兰大学)
本文提出完全无关的污染攻击检测框架DIVA,仅通过分析潜在被污染数据集,利用Complexity Measures预训练元学习器估计干净数据上的准确率,从而检测通用污染攻击,并在label-flipping攻击上进行了验证。
2023-10-24 cs.CR cs.LG
Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks
University of Maryland, College Park(马里兰大学帕克分校)
数据投毒和后门攻击操纵训练数据,以导致模型在推理过程中失败。最近对行业从业者的一项调查发现,数据投毒是从模型窃取到对抗攻击等威胁中的头号问题。然而,考虑到这些方法,即使是目标相同的方法,也没有在一致或现实的环境中进行过测试,因此仍然不清楚投毒方法的危险程度以及哪些方法更有效。我们观察到,数据投毒和后门攻击是高度敏感的测试设置的变化。此外,我们发现,现有的方法可能无法推广到现实的设置。虽然这些现有的作品作为数据投毒的有价值的原型,我们应用严格的测试,以确定我们应该害怕他们的程度。为了促进公平比较,在未来的工作中,我们开发了标准化的基准数据投毒和后门攻击。
2021-06-17 cs.CR cs.CV cs.CY
ML Attack Models: Adversarial Attacks and Data Poisoning Attacks
University of South Florida(南佛罗里达大学);Fordham University(福特汉姆大学)
许多最先进的ML模型在各种任务中表现优于人类,例如图像分类。凭借如此出色的性能,ML模型今天被广泛使用。然而,对抗攻击和数据投毒攻击的存在确实质疑了ML模型的鲁棒性。例如,Engstrom等人证明了最先进的图像分类器可以很容易地被任意图像上的小旋转所欺骗。随着机器学习系统越来越多地集成到安全和安全敏感的应用程序中,对抗攻击和数据投毒攻击构成了相当大的威胁。本章重点介绍ML安全的两个广泛而重要的领域:对抗攻击和数据投毒攻击。
2021-12-06 cs.CR cs.LG
Provably effective detection of effective data poisoning attacks
本文提出数据集投毒攻击的数学定义,证明有效投毒可被检测,并引入共形可分性检验,实验验证了现实场景中的检测有效性。
2025-01-21 cs.CR cs.CV cs.LG
Empirical Evaluation of Data Poisoning Attacks in Supervised Learning
Minot State University(迈诺特州立大学)
本研究在MNIST和Fashion-MNIST上实证评估标签翻转与后门投毒攻击,发现后门攻击隐蔽且成功率高,需安全导向评估。
2026-09-11 cs.CR cs.LG
Data Poisoning Attacks in Intelligent Transportation Systems: A Survey
Southwest Jiaotong University(西南交通大学);University of Washington(华盛顿大学)
本文综述了智能交通系统(ITS)中的数据投毒攻击,识别了易受攻击的数据源与应用场景,构建了通用分类框架,并探讨了当前局限与可信ITS的未来研究方向。
2024-07-06 cs.CR cs.LG
The Effect of Data Poisoning on Counterfactual Explanations
Bielefeld University(比勒菲尔德大学);University of Cyprus(塞浦路斯大学);J.P. Morgan AI Research(摩根大通AI研究);Inria, Sophia Antipolis(法国国家信息与自动化研究所,索菲亚安蒂波利斯)
本文形式化反事实解释中的数据投毒问题,提出通用投毒机制,并在配水管网事件检测及多种先进方法上验证其可提高追索成本且现有防御难以检测。
2025-07-28 cs.AI cs.LG
Transferable Availability Poisoning Attacks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出可迁移投毒攻击方法,利用对比学习中的对齐性与均匀性特性及有监督、无监督梯度信息生成扰动,显著提升投毒样本在不同学习算法和范式间的攻击可迁移性。
2024-06-06 cs.CR cs.LG
Property Inference From Poisoning
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
属性推断攻击考虑可以访问训练模型的对手,并试图提取训练数据的一些全局统计信息。在这项工作中,我们研究的情况下,对手可以恶意控制部分的训练数据(中毒数据),以增加泄漏的属性推断。以前关于中毒攻击的工作集中在试图降低模型在整个群体或特定子群体或实例上的准确性。在这里,我们第一次研究中毒攻击,对手的目标是增加模型的信息泄漏。我们的研究结果表明,中毒攻击可以显着提高信息泄漏,并应被视为一个更强大的威胁模型在敏感的应用程序中,其中一些数据源可能是恶意的。我们描述了我们的\emph{property inference poisoning attack},它允许对手学习它选择的任何属性的训练数据中的流行率。我们从理论上证明了只要所使用的学习算法具有良好的泛化性能,我们的攻击总是可以成功的。然后,我们通过实验评估两个数据集:人口普查数据集和安然电子邮件数据集,验证我们的攻击的有效性。在我们所有的实验中,我们都能够在$9-10\%$中毒的情况下实现上述$90\%$攻击精度。
2021-01-26 cs.CR cs.LG
Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching
University of Siegen(锡根大学);University of Maryland(马里兰大学);US Naval Academy(美国海军学院)
数据投毒攻击修改训练数据,以恶意控制在此类数据上训练的模型。在这项工作中,我们专注于有针对性的中毒攻击,导致未修改的测试图像的重新分类,因此违反模型的完整性。我们考虑一个特别恶意的中毒攻击,这是“从头开始”和“干净的标签”,这意味着我们分析的攻击,成功地对新的,随机初始化的模型,几乎是人类无法察觉的,同时只扰动一小部分的训练数据。在这种情况下,以前针对深度神经网络的中毒攻击在范围和成功方面都受到限制,仅在简化的设置中工作,或者对于大型数据集来说过于昂贵。新攻击的核心机制是匹配恶意样本的梯度方向。我们分析了为什么这样做,并补充了实际考虑。并向现实世界的从业者展示了它的威胁,发现它是第一个在现代深度网络中导致有针对性的错误分类的中毒方法,这些深度网络是在全尺寸中毒的ImageNet数据集上从头开始训练的。最后,我们证明了现有的防御策略对这种攻击的局限性,得出的结论是,数据投毒是一个可信的威胁,即使是大规模的深度学习系统。
2021-05-10 cs.CV cs.LG
DMPA: Model Poisoning Attacks on Decentralized Federated Learning for Model Differences
armasuisse Science & Technology(瑞士Armasuisse科技公司)
本文针对去中心化联邦学习提出DMPA模型投毒攻击,通过计算多个恶意客户端模型的差分特征获取最优投毒策略并实施共谋攻击,在多个数据集上验证其优于现有最先进攻击方法。
2025-02-07 cs.AI cs.LG
Multi-Faceted Studies on Data Poisoning can Advance LLM Development
Michigan State University(密歇根州立大学);University of Arizona(亚利桑那大学);University of Georgia(佐治亚大学)
本文提出应超越将数据投毒仅视为安全威胁的视角,从威胁评估、可信性增强和机制理解三方面利用投毒研究推动更安全、鲁棒且可解释的 LLM 发展。
2025-02-20 cs.CR cs.LG
Towards Fair Classification against Poisoning Attacks
Michigan State University(密歇根州立大学)
公平分类的目的是强调分类模型在不同敏感群体之间实现平等(治疗或预测质量)。然而,公平分类可能面临中毒攻击的风险,这些攻击故意插入恶意训练样本以操纵训练好的分类器的性能。在这项工作中,我们研究了中毒的情况下,攻击者可以插入一小部分样本到训练数据,任意敏感属性以及其他预测功能。我们证明,经过良好训练的分类器很容易受到这种中毒攻击,即使我们应用了一些最有效的防御(最初是为了保护传统的分类任务),准确性和公平性的权衡也要差得多。作为防御公平分类任务的对策,我们提出了一个通用的和理论上有保证的框架,该框架可以容纳传统的防御方法,以公平分类对抗中毒攻击。通过大量实验,结果验证了所提出的防御框架在准确性和公平性方面比代表性基线方法具有更好的鲁棒性。
2022-10-18 cs.CR cs.LG
Poisoning Network Flow Classifiers
Northeastern University(东北大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文研究针对网络流量流分类器的干净标签后门投毒,利用模型可解释性及生成式贝叶斯网络构造低投毒率、高隐蔽性触发器。
2023-06-02 cs.CR cs.LG
Curie: A method for protecting SVM Classifier from Poisoning Attack
Syracuse University(雪城大学)
机器学习被用于许多安全相关的应用中,例如生物特征用户认证、说话人辨识等。一种类型的针对机器学习的因果完整性攻击称为中毒攻击,其通过在训练数据中注入特制的数据点来工作,以增加分类器的误报率。在生物测定认证的上下文中,这意味着更多的入侵者将被分类为有效用户,并且在说话人辨识系统的情况下,用户A将被分类为用户B。在本文中,我们研究中毒攻击对支持向量机和介绍-居里-一种方法来保护SVM分类器免受中毒攻击。我们的方法的基本思想是识别由对手注入的有毒数据点,并将其过滤掉。我们的方法重量轻,可以很容易地集成到现有的系统中。实验结果表明,该方法能很好地滤除有毒数据。
2016-06-07 cs.CR cs.LG
Data Poisoning Attacks against Online Learning
University of California, San Diego(加州大学圣迭戈分校)
我们考虑数据投毒攻击,这是对机器学习的一类对抗攻击,其中对手有能力改变一小部分训练数据,以使训练的分类器满足某些目标。虽然之前已经有很多关于数据投毒的工作,但大多数都是在离线环境中进行的,并且对于在线学习的攻击(其中训练数据以流式方式到达)还没有得到很好的理解。在这项工作中,我们发起了一个系统的调查数据投毒攻击的在线学习。我们正式的问题分为两个设置,我们提出了一个一般的攻击策略,制定为一个优化问题,适用于两者进行一些修改。我们提出了三种解决方案的策略,并进行了广泛的实验评估。最后,我们讨论了我们的研究结果对建立成功的防御的影响。
2018-08-27 cs.LG stat.ML
Boosting Backdoor Attack with A Learnable Poisoning Sample Selection Strategy
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);JD Explore Academy(京东探索研究院);Tencent AI Lab(腾讯人工智能实验室)
针对数据投毒后门攻击中样本随机选择效果差、成本高的问题,提出可学习投毒掩码与最小-最大优化策略,从全局数据中筛选高贡献困难样本,提升攻击性能与效率。
2023-07-14 cs.CR cs.LG
Lethean Attack: An Online Data Poisoning Technique
Massachusetts Institute of Technology(麻省理工学院)
数据投毒是一种对抗性场景,攻击者将特制的样本序列提供给在线模型以破坏学习。我们介绍Lethean攻击,一种新的数据投毒技术,导致灾难性遗忘的在线模型。我们在测试时训练的背景下应用攻击,这是一个现代在线学习框架,旨在分布偏移下的泛化。我们提出的理论依据和经验比较,它对其他样本序列,自然会引起遗忘。我们的研究结果表明,使用lethean攻击,对手可以使用短样本序列将测试时训练模型恢复到抛硬币精度性能。
2020-11-24 cs.CR cs.LG
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学);IBM
联邦学习本质上容易受到模型中毒攻击,因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中,攻击者通过上传“中毒”更新来降低模型在目标子任务(例如将飞机分类为鸟类)上的性能。在这份报告中,我们介绍了\algoname{},一种新的防御,使用全局top-k更新稀疏化和设备级梯度裁剪,以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击,并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性,我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
Model-Targeted Poisoning Attacks with Provable Convergence
University of Virginia(弗吉尼亚大学);Princeton University(普林斯顿大学)
在中毒攻击中,对手控制一小部分训练数据,试图以一种方式选择该数据,从而导致一个损坏的模型,该模型的行为有利于对手。我们考虑对凸机器学习模型的中毒攻击,并提出了一种有效的中毒攻击,旨在诱导指定的模型。与以前的模型为目标的中毒攻击不同,我们的攻击具有可证明收敛到{ \it any}可达到的目标分类器。从诱导分类器到目标分类器的距离与中毒点数量的平方根成反比。我们还提供了一个下限的最小数量的中毒点需要实现一个给定的目标分类器。我们的方法使用在线凸优化,所以发现中毒点增量。这比之前的攻击提供了更大的灵活性,之前的攻击需要先验假设中毒点的数量。我们的攻击是第一个针对模型的中毒攻击,它为凸模型提供了可证明的收敛性,在我们的实验中,它在攻击成功率和到目标模型的距离方面超过或匹配最先进的攻击。
2021-04-21 cs.AI cs.CR cs.LG
Inverting Gradient Attacks Makes Powerful Data Poisoning
Meta;École polytechnique(巴黎综合理工学院)
本研究针对非凸场景下数据投毒能否达到梯度攻击危害的问题,利用梯度反转技术实现了数据投毒对梯度攻击的模拟,首次通过占比低至1%的投毒点将神经网络性能降至随机水平。
2024-12-11 cs.CR cs.LG
Transferable Clean-Label Poisoning Attacks on Deep Neural Nets
University of Maryland, College Park(马里兰大学帕克分校);United States Naval Academy(美国海军学院);Cornell University(康奈尔大学)
干净标签中毒攻击将无害的(和“正确”标记的)有毒图像注入训练数据,导致模型在此数据上训练后对目标图像进行错误分类。我们考虑可转移的中毒攻击,成功没有访问受害者网络的输出,架构,或(在某些情况下)的训练数据。为了实现这一点,我们提出了一种新的“多面体攻击”,其中的毒图像被设计为包围在特征空间中的目标图像。我们还证明了在毒药创建过程中使用Dropout有助于增强这种攻击的可转移性。我们实现了超过50%的可转移攻击成功率,而中毒只有1%的训练集。
2019-05-16 cs.CR cs.LG stat.ML
PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning
Duke University(杜克大学)
对比学习使用大量未标记的数据来预训练图像编码器,使得图像编码器可以用作用于各种下游任务的通用特征提取器。在这项工作中,我们提出了PoisonedEncoder,一个数据投毒攻击对比学习。特别地,攻击者将精心制作的中毒输入注入到未标记的预训练数据中,使得基于中毒编码器为多个目标下游任务构建的下游分类器同时将攻击者选择的任意干净输入分类为攻击者选择的任意类。我们将数据投毒攻击描述为一个双层优化问题,其解是投毒输入的集合,并提出了一种对比学习定制的方法来近似求解。我们在多个数据集上的评估表明,PoisonedEncoder实现了高攻击成功率,同时保持了基于投毒编码器的下游分类器对非攻击者选择的输入的测试精度。我们还评估了五种针对PoisonedEncoder的防御,包括一种预处理,三种处理中和一种后处理防御。我们的研究结果表明,这些防御可以降低PoisonedEncoder的攻击成功率,但它们也牺牲了编码器的实用性或需要大量干净的预训练数据集。
2023-01-02 cs.CR cs.CV cs.LG
FairMean: Promoting Fairness in Distributed Learning under Label Poisoning Attacks
Sun Yat-Sen University(中山大学);Pengcheng Laboratory(鹏城实验室);Great Bay University(大湾区大学)
FairMean通过有界非递减损失权重协调公平性与鲁棒性,在标签投毒下实现公平性提升,并降低准确率方差、提高最差客户端性能。
2026-09-23 cs.AI cs.LG
Sybil-based Virtual Data Poisoning Attacks in Federated Learning
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Sony AI(索尼人工智能)
针对联邦学习现有投毒攻击成本高的问题,提出基于Sybil的虚拟数据投毒攻击,结合梯度匹配虚拟数据生成与三类目标模型获取方案,可在非独立同分布数据下高效实现更强的全局投毒效果。
2025-05-15 cs.CR cs.LG
Adversarial Attack on Network Embeddings via Supervised Network Poisoning
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院)
使用来自网络表示学习的技术来学习低级节点嵌入对于解决诸如节点分类和链接预测之类的下游任务是有用的。在这种应用中,一个重要的考虑因素是嵌入算法对对抗攻击的鲁棒性,这可以通过对原始网络进行扰动来检查。有效的扰动技术会降低下游任务的网络嵌入性能。在本文中,我们研究网络嵌入算法从对抗的角度来看,观察中毒的网络对下游任务的影响。我们提出了VIKING,一种监督网络中毒策略,其在原始网络结构上的性能优于最先进的中毒方法高达18%。我们还将VIKING扩展到半监督攻击设置,并表明它与其监督对应物相当。
2021-02-14 cs.CR cs.LG
Accumulative Poisoning Attacks on Real-time Data
Tsinghua University(清华大学);China Mobile Communications Group Co., Ltd.(中国移动通信集团有限公司);Bosch(博世);RealAI(瑞莱智慧)
从不受信任的来源收集训练数据会将机器学习服务暴露给中毒的对手,这些对手会恶意操纵训练数据以降低模型的准确性。当在离线数据集上训练时,中毒对手必须在训练之前提前注入中毒数据,并且将这些中毒批次送入模型的顺序是随机的。相比之下,实际的系统通常是在顺序捕获的实时的【形】数据上进行训练/微调,在这种情况下,中毒对手可以根据当前模型状态动态地毒害每个数据批次。本文针对实时的【形】设置,提出了一种新的攻击策略,将累积阶段与中毒攻击相结合,而不影响精度)放大了(中毒的)触发批次的破坏性效果。通过在MNIST和CIFAR-10上模拟在线学习和联邦学习,我们发现在累积阶段之后的触发批次上的单个更新步骤会显着降低模型精度。我们的工作验证了一个设计良好但简单的攻击策略可以显着放大中毒效果,而不需要探索复杂的技术。
2021-10-26 cs.CR cs.CV cs.LG
Cost-Minimized Label-Flipping Poisoning Attack to LLM Alignment
针对LLM对齐过程中数据投毒攻击理论基础不明的问题,提出最小成本标签翻转投毒攻击方法,通过凸优化推导攻击成本上下界并设计后处理策略,实证表明可显著降低投毒成本,为评估RLHF/DPO鲁棒性提供工具。
2025-11-12 cs.AI cs.LG
Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院)
虽然最近的研究表明,联邦学习(FL)可能容易受到受损害的客户端的中毒攻击,但它们对生产FL系统的真正影响尚未完全了解。在这项工作中,我们的目标是通过列举所有可能的威胁模型,中毒的变化和对手的能力,对FL中毒攻击开发一个全面的系统化。我们特别把重点放在无针对性的中毒攻击上,因为我们认为它们与生产FL部署密切相关。我们提出了一个批判性的分析,无针对性的中毒攻击在实际的,生产FL环境下,仔细描述了一套现实的威胁模型和对抗能力。我们的研究结果是相当令人惊讶的:与既定的信念相反,我们表明,FL是非常强大的实践中,即使使用简单,低成本的防御。我们甚至更进一步,提出了新颖的,最先进的数据和模型中毒攻击,并通过在三个基准数据集上进行的一系列广泛的实验,展示了在存在简单防御机制的情况下,有效的中毒攻击是如何进行的。我们的目标是纠正以前的误解,并提供具体的指导方针,对这个主题进行更准确(和更现实)的研究。
2021-12-13 cs.CR cs.DC cs.LG
Label Sanitization against Label Flipping Poisoning Attacks
Imperial College London(帝国理工学院)
许多机器学习系统依赖于从不可信来源收集的数据,从而使学习算法暴露于数据中毒。攻击者可以在训练数据集中注入恶意数据来破坏学习过程,从而损害算法的性能,从而以有针对性或不加选择的方式产生错误。标签翻转攻击是数据中毒的一种特殊情况,攻击者可以控制分配给一部分训练点的标签。即使攻击者的能力受到限制,这些攻击已被证明是有效的显着降低系统的性能。在本文中,我们提出了一个有效的算法来执行最佳的标签翻转中毒攻击和机制来检测和重新标记可疑的数据点,减轻这种中毒攻击的影响。
2018-10-02 cs.CR cs.LG stat.ML
Data Poisoning Attacks Against Multimodal Encoders
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);University of Lausanne(洛桑大学);University of Birmingham(伯明翰大学)
本文研究针对多模态编码器视觉与语言模态的数据投毒风险,提出三类攻击并比较模态脆弱性,同时给出训练前与训练后防御方法。
2023-06-05 cs.CR cs.LG
Autoregressive Perturbations for Data Poisoning
University of Maryland(马里兰大学);New York University(纽约大学)
从社交媒体上抓取数据作为获取数据集的一种手段的流行,导致人们越来越担心未经授权使用数据。数据投毒攻击已经被提出作为对抗抓取的堡垒,因为它们通过添加小的、不可感知的扰动来使数据“不可学习”。不幸的是,现有的方法需要目标体系结构和完整的数据集的知识,以便可以训练代理网络,其参数用于生成攻击。在这项工作中,我们介绍了自回归(AR)中毒,一种可以生成中毒数据而无需访问更广泛的数据集的方法。所提出的AR扰动是通用的,可以应用于不同的数据集,并且可以毒害不同的架构。与现有的不可学习方法相比,我们的AR毒药对对抗性训练和强大的数据增强等常见防御更具抵抗力。我们的分析进一步深入了解了什么是有效的数据毒药。
2022-10-13 cs.CR cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University(杜克大学)
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器,使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外,每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻(kNN)和半径近邻(rNN)具有固有的多数表决机制。在这项工作中,我们表明,在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证,对数据投毒攻击和后门攻击。此外,我们对MNIST和CIFAR 10的评估结果表明,kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley(加州大学伯克利分校)
深度学习模型已经在许多任务上实现了高性能,因此已经应用于许多安全关键场景。例如,基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序,如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中,我们考虑了一种新型的攻击,称为后门攻击,攻击者的目标是创建一个后门到一个基于学习的认证系统,使他可以很容易地绕过系统利用后门。具体地说,攻击者的目的是创建后门实例,从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地,我们研究了后门中毒攻击,利用中毒策略实现后门攻击。与现有的所有工作不同的是,我们研究的中毒策略可以应用在一个非常弱的威胁模型下:(1)对手不知道受害者系统使用的模型和训练集;(2)攻击者只允许注入少量的中毒样本;(3)后门密钥即使是人类也很难注意到,以实现隐身。我们进行了评估,以证明后门攻击者只能注入大约50个中毒样本,同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明,后门中毒攻击对学习系统构成了真正的威胁,因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
An Investigation of Data Poisoning Defenses for Online Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
数据投毒攻击--攻击者可以修改一小部分训练数据,目的是迫使训练好的分类器丢失大量数据--在许多应用中是机器学习的一个重要威胁。虽然先前的工作已经开发了攻击和防御,但对于各种攻击和防御何时有效并没有太多的一般性理解。在这项工作中,我们进行了严格的研究防御数据投毒的在线学习。首先,我们在一个强大的威胁模型中研究了四种标准防御,并提供了它们可以允许或抵抗快速中毒的条件。然后,我们考虑一个较弱的和更现实的威胁模型,并表明,对手的成功存在的数据投毒防御依赖于“轻松”的学习问题。
2020-02-19 cs.CR cs.LG stat.ML
Influence-Driven Data Poisoning in Graph-Based Semi-Supervised Classifiers
Université de Luxembourg(卢森堡大学)
基于图的半监督学习(GSSL)是一种实用的解决方案,可以从有限数量的标记数据和大量未标记数据中学习。然而,由于它们依赖于已知标签来推断未知标签,这些算法对数据质量敏感。因此,必须研究与标签数据相关的潜在威胁,更具体地说,标签中毒。在本文中,我们提出了一种新的数据投毒方法,有效地近似标签推理的结果,以确定输入,如果中毒,将产生最高数量的错误推断标签。我们广泛评估我们的方法在24个不同的实验设置下的三个分类问题。与现有技术相比,我们的影响驱动攻击产生的平均错误率增加了出错率50%,同时速度快了几个数量级。此外,我们的方法可以在训练学习模型之前通知工程师值得调查的输入(重新标记它们)。我们发现,重新标记三分之一的中毒输入(根据其影响力选择)减少50%的中毒效果。
2022-05-11 cs.LG cs.SE
Bi-Level Poisoning Attack Model and Countermeasure for Appliance Consumption Data of Smart Homes
Jashore University of Science and Technology(杰索尔科技大学);Deakin University(迪肯大学);RMIT University(皇家墨尔本理工大学)
准确的建筑物能量预测在从建筑物能量自动化和管理到最佳存储控制的各种应用中是有用的。然而,在设计建筑物能源预测模型时应考虑漏洞,因为智能攻击者可以使用复杂的攻击模型故意影响模型性能。这些可能因此降低预测准确性,这可能影响建筑物能量管理系统的效率和性能。在本文中,我们调查的影响,从家用电器的能量使用的回归模型的双级中毒攻击。此外,针对预测模型的中毒攻击,本文提出了一种有效的对策。在基准数据集上评估攻击和防御。实验结果表明,智能网络攻击者可以毒化预测模型来操纵决策。然而,我们提出的解决方案成功地确保了防御这种中毒攻击有效地与其他基准技术相比。
2021-07-01 cs.CR cs.LG
A Survey on Poisoning Attacks Against Supervised Machine Learning
University of Toronto(多伦多大学);Electrical and Computer Engineering(电子与计算机工程(此处为院系,按要求不提取,但原文中该部分是否为机构?根据规则,机构粒度提取到大学/学院/公司/研究院级别即可,不要细拆到系等,因此仅保留“University of Toronto”))
随着人工智能和机器学习在现代计算中的兴起,关于这些技术的主要关注点之一是提供针对对手的隐私和安全性。我们提出这篇调查论文,以涵盖针对监督机器学习模型的中毒攻击中最具代表性的论文。我们首先提供了一个分类法,对现有的研究进行分类,然后对选定的论文进行详细的总结。我们总结和比较现有文献的方法和局限性。我们总结了本文的潜在改进和未来的方向,以进一步利用和防止对监督模型的中毒攻击。我们提出了几个未回答的研究问题,以鼓励和启发研究人员未来的工作。
2022-02-08 cs.CR cs.LG
SecureLearn -- An Attack-agnostic Defense for Multiclass Machine Learning Against Data Poisoning Attacks
College of Computing, Birmingham City University, Birmingham, United Kingdom(计算学院,伯明翰城市大学,伯明翰,英国)
针对多类机器学习模型的数据投毒攻击,提出两层与攻击无关的防御SecureLearn,结合数据清洗与特征对抗训练,在多种算法和数据集上保持高准确率与鲁棒性。
2025-10-25 cs.CR cs.LG