Reinforcement Learning For Data Poisoning on Graph Neural Networks
University of Virginia（弗吉尼亚大学）
对抗机器学习已经成为计算机科学的一个重要子领域，这是由于我们训练的模型缺乏鲁棒性，以及使攻击者能够篡改数据的众包实践。在过去的两年里，人们对图上的对抗攻击的兴趣激增，但图分类设置几乎没有改变。由于图分类数据集由带有类标签的离散图组成，因此相关工作已经放弃了直接的梯度优化，转而采用间接的强化学习方法。我们将使用强化学习代理研究神经网络图分类的数据投毒（训练时间）攻击的新问题。
2021-02-12 cs.AI cs.CR cs.LG
A clean-label graph backdoor attack method in node classification task
School of Cyberspace, Hangzhou Dianzi University（杭州电子科技大学网络空间学院）；Army Engineering University of PLA Communication NCO Academy（中国人民解放军陆军工程大学通信士官学校）
本文提出一种名为CGBA的干净标签图后门攻击方法，通过不修改节点标签和图结构、精心挑选原始特征作为触发器来提高隐蔽性，在低中毒率下实现高攻击成功率。
2023-12-30 cs.CR cs.LG
Abstract Gradient Training: A Unified Certification Framework for Data Poisoning, Unlearning, and Differential Privacy
Imperial College London（帝国理工学院伦敦校区）；The Alan Turing Institute（艾伦·图灵研究所）
针对训练数据扰动验证不足的问题，本工作提出抽象梯度训练（AGT）统一框架，通过界定参数可达集，为数据投毒、机器遗忘和差分隐私场景下的模型鲁棒性提供形式化验证方法。
2025-11-12 cs.LG
Towards Poisoning Robustness Certification for Natural Language Generation
Department of Computing, Imperial College London, London, UK（计算系，伦敦帝国学院，伦敦，英国）
本文提出TPA算法，通过计算最小中毒预算认证自然语言生成的有效性和稳定性，为安全关键应用提供可证明的鲁棒性保障。
2026-02-10 cs.LG
Exact Certification of Neural Networks and Partition Aggregation Ensembles against Label Poisoning
Munich Center for Machine Learning（慕尼黑机器学习中心）；Australian Institute for Machine Learning, Adelaide University（阿德莱德大学澳大利亚机器学习研究所）
本文提出EnsembleCert框架，通过白盒知识提升分区聚合集成的认证鲁棒性，ScaLabelCert方法利用神经切线核实现神经网络对标签毒化攻击的精确认证，实验显示其在CIFAR-10上认证效果优于现有黑盒方法。
2026-04-13 cs.LG
Are LLM-Enhanced Graph Neural Networks Robust against Poisoning Attacks?
State Key Laboratory of Integrated Services Networks, School of Cyber Engineering, Xidian University（西安电子科技大学网络与信息安全学院综合业务网理论及关键技术国家重点实验室）；Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院）
本文研究了大语言模型增强的图神经网络在面对污染攻击时的鲁棒性，通过系统评估框架评估了24种模型，分析了影响鲁棒性的关键因素，并提出了新的攻击方法和防御策略。
2026-03-27 cs.LG
FullCert: Deterministic End-to-End Certification for Training and Inference of Neural Networks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University of Oxford（牛津大学）
针对机器学习模型缺乏训练阶段攻击可证明鲁棒性保证的问题，提出首个端到端确定性认证器FullCert，结合开源库BoundFlow实现训练与推理阶段的联合鲁棒性认证，并在两个数据集上验证了可行性。
2024-09-11 cs.AI cs.CR cs.LG
Label Sanitization against Label Flipping Poisoning Attacks
Imperial College London（帝国理工学院）
许多机器学习系统依赖于从不可信来源收集的数据，从而使学习算法暴露于数据中毒。攻击者可以在训练数据集中注入恶意数据来破坏学习过程，从而损害算法的性能，从而以有针对性或不加选择的方式产生错误。标签翻转攻击是数据中毒的一种特殊情况，攻击者可以控制分配给一部分训练点的标签。即使攻击者的能力受到限制，这些攻击已被证明是有效的显着降低系统的性能。在本文中，我们提出了一个有效的算法来执行最佳的标签翻转中毒攻击和机制来检测和重新标记可疑的数据点，减轻这种中毒攻击的影响。
2018-10-02 cs.CR cs.LG stat.ML
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz（康斯坦茨大学）
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法，并介绍了一种新的方法，称为热图聚类。在那里，我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法，称为激活聚类，它也使用$k$均值聚类，但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击，标签一致的中毒攻击和标签一致的中毒攻击，减少幅度贴纸。我们表明，热图聚类始终优于激活聚类。然而，当考虑标签一致的中毒攻击，后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
Robustness Certificates for Neural Networks Against Data Poisoning and Evasion Attacks
LMU Munich（慕尼黑大学）；Technical University of Munich（慕尼黑技术大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出一种形式化鲁棒性认证框架，通过将梯度训练建模为离散时间动力系统，并利用屏障证书概念，提供对抗攻击下的鲁棒性保证，实验表明其在MNIST、SVHN和CIFAR-10上有效。
2026-07-29 cs.LG cs.SY eess.SY
Transferable Clean-Label Poisoning Attacks on Deep Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
干净标签中毒攻击将无害的（和“正确”标记的）有毒图像注入训练数据，导致模型在此数据上训练后对目标图像进行错误分类。我们考虑可转移的中毒攻击，成功没有访问受害者网络的输出，架构，或（在某些情况下）的训练数据。为了实现这一点，我们提出了一种新的“多面体攻击”，其中的毒图像被设计为包围在特征空间中的目标图像。我们还证明了在毒药创建过程中使用Dropout有助于增强这种攻击的可转移性。我们实现了超过50%的可转移攻击成功率，而中毒只有1%的训练集。
2019-05-16 cs.CR cs.LG stat.ML
Certified Robustness to Clean-Label Poisoning Using Diffusion Denoising
本文提出一种基于扩散去噪模型的认证防御方法，用于抵御干净标签投毒攻击，在七种攻击下将成功率降至0-16%且几乎不影响测试准确率，优于现有对策。
2025-06-02 cs.CR cs.CV cs.LG
CRFL: Certifiably Robust Federated Learning against Backdoor Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；IBM Research（IBM研究院）
联邦学习（FL）作为一种分布式学习范式，它聚集来自不同客户端的信息来训练一个共享的全局模型，已经取得了巨大的成功。然而，恶意客户端可以执行中毒攻击和模型替换，将后门引入到训练好的全局模型中。虽然已经有大量的研究设计鲁棒的聚合方法和经验强大的联邦训练协议对后门，现有的方法缺乏鲁棒性认证。本文提供了第一个通用框架，可证明鲁棒联邦学习（CRFL），训练可证明鲁棒FL模型对后门。我们的方法利用模型参数的裁剪和平滑来控制全局模型的平滑性，这产生了对具有有限幅度的后门的样本稳健性认证。我们的认证还指定了与联邦学习参数的关系，例如实例级别的中毒率，攻击者数量和训练迭代。实际上，我们在一系列联邦数据集上进行了全面的实验，并为联邦学习中针对后门攻击的认证鲁棒性提供了第一个基准。我们的代码可在https://github.com/AI-secure/CRFL上获得。
2021-06-15 cs.LG
Adversarial Examples Make Strong Poisons
University of Maryland（马里兰大学）；University of Siegen（锡根大学）
对抗性机器学习文献主要分为对测试数据的规避攻击和对训练数据的中毒攻击。在这项工作中，我们表明，对抗性的例子，最初是为了攻击预先训练的模型，甚至更有效的数据投毒比最近专门设计的方法中毒。我们的研究结果表明，敌对的例子，当分配给他们的自然基础图像的原始标签，不能用于训练自然图像的分类器。此外，当对抗性样本被分配其对抗性类标签时，它们对训练很有用。这表明对抗性示例包含有用的语义内容，只是带有“错误”标签（根据网络，而不是人类）。我们的方法，对抗性中毒，比现有的安全数据集发布的中毒方法更有效，我们发布了ImageNet的中毒版本ImageNet-P，以鼓励研究这种形式的数据混淆的强度。
2021-06-21 cs.CR cs.LG
Bullseye Polytope: A Scalable Clean-Label Poisoning Attack with Improved Transferability
University of California, Santa Barbara（加州大学圣巴巴拉分校）
最近关注神经网络安全性的一个来源是干净标签数据集中毒攻击的出现，其中正确标记的中毒样本被注入到训练数据集中。虽然这些有毒样本对人类观察者来说看起来是合法的，但它们包含恶意特征，这些特征会在推理过程中触发有针对性的错误分类。针对迁移学习，提出了一种可扩展、可转移的清洁标签中毒攻击方法，该方法在特征空间中创建中心靠近目标图像的中毒图像。我们的攻击Bullseye Polytope在端到端迁移学习中将当前最先进的攻击成功率提高了26.75%，同时将攻击速度提高了12倍。我们进一步将靶心多面体扩展到更实用的攻击模型，包括同一对象的多个图像（例如，从不同的角度）制作毒药样本时。我们证明，这种扩展提高了攻击的可转移性超过16%，看不见的图像（相同的对象），而不使用额外的毒药样本。
2021-03-14 cs.CR cs.LG stat.ML
Poisoning Network Flow Classifiers
Northeastern University（东北大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文研究针对网络流量流分类器的干净标签后门投毒，利用模型可解释性及生成式贝叶斯网络构造低投毒率、高隐蔽性触发器。
2023-06-02 cs.CR cs.LG
Online AutoML: Evaluating Poisoning Attacks on Cost-Utility Adversarial Training Defence Strategy for IoT Networks
Ontario Tech University（安大略理工大学）；Alex Ekwueme Federal University（亚历克斯·埃克武梅联邦大学）
本研究通过在线AutoML管道评估对抗训练防御在物联网流式数据中应对投毒攻击（标签翻转和噪声注入）的有效性，发现AT-SRP和AT-LB分别在两类攻击下取得最佳F1分数。
2026-10-14 cs.CR cs.LG
A new Backdoor Attack in CNNs by training set corruption without label poisoning
University of Siena（锡耶纳大学）
针对CNN的后门攻击代表了对深度学习系统的新威胁，因为它可能会破坏训练集，从而在测试时引起不正确的行为。为了避免训练器识别出损坏样本的存在，训练集的损坏必须尽可能隐蔽。以前的工作主要集中在注入到训练样本的扰动的隐蔽性，但他们都假设损坏的样本的标签也中毒。这大大降低了攻击的隐蔽性，因为其内容与标签不一致的样本可以通过对训练集的视觉检查或通过运行预分类步骤来识别。在本文中，我们提出了一种新的后门攻击没有标签中毒由于攻击的工作原理，只破坏目标类的样本，它具有额外的优点，它不需要事先确定的类的样本进行攻击，在测试时。MNIST数字识别任务和交通标志分类任务获得的结果表明，没有标签中毒的后门攻击确实是可能的，从而对安全关键型应用中使用深度学习发出了新的警报。
2019-02-12 cs.CR cs.CV cs.LG
Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks
Duke University（杜克大学）
在\emph{data poisoning attack}中，攻击者修改、删除和/或插入一些训练样本以破坏学习的机器学习模型。\emph{Bootstrap Aggregating (bagging)}是一种众所周知的集成学习方法，其使用基础学习算法在训练数据集的随机子样本上训练多个基础模型，并使用多数投票来预测测试示例的标签。我们证明了内在的认证鲁棒性装袋对数据投毒攻击。具体而言，我们表明，装袋与任意基地学习算法可证明预测相同的标签时，修改，删除，和/或插入训练样本的数量是有界的阈值测试的例子。此外，我们表明，我们推导出的阈值是紧的，如果没有假设的基础学习算法。我们评估我们的方法上MNIST和CIFAR 10。例如，我们的方法在MNIST上实现了$91.1\%$的认证精度，当任意修改，删除和/或插入100个训练样本时。代码可从以下网址获得：\url{https://github.com/jjy1994/BaggingCertifyDataPoisoning}。
2020-12-09 cs.CR cs.LG
Label Flipping Data Poisoning Attack Against Wearable Human Activity Recognition System
Robert Morris University（罗伯特·莫里斯大学）；Southern Illinois University（南伊利诺伊大学）；Louisiana State University Shreveport（路易斯安那州立大学什里夫波特分校）
人类活动识别（HAR）是一个使用有效的机器学习（ML）方法将传感器数据解释为人类运动的问题。HAR系统依赖于来自不受信任用户的数据，这使得它们容易受到数据投毒攻击。在中毒攻击中，攻击者操纵传感器读数来污染训练集，误导HAR产生错误的结果。针对HAR系统，设计了一种标签翻转数据投毒攻击，在数据汇集阶段恶意更改传感器读数的标签。由于传感环境中的高噪声和不确定性，这种攻击对识别系统构成严重威胁。此外，当活动识别模型部署在安全关键型应用中时，标签翻转攻击的脆弱性是危险的。本文揭示了如何通过基于智能手机的传感器数据汇集应用程序在实践中进行攻击。据我们所知，这是一个早期的研究工作，探索通过标签翻转中毒攻击HAR模型。我们实现了所提出的攻击，并在基于以下机器学习算法的活动识别模型上进行了测试：多层感知器，决策树，随机森林和XGBoost。最后，我们评估的有效性K-最近邻（KNN）为基础的防御机制对建议的攻击。
2022-08-17 cs.CR cs.HC cs.LG
The Alignment Illusion: How BadReward Corrupts Text-to-Image Generation
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；KTH Royal Institute of Technology（皇家理工学院）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出BadReward，一种针对多模态RLHF奖励模型的隐蔽干净标签投毒攻击，通过特征碰撞破坏奖励模型，使T2I模型生成不当图像，揭示多模态RLHF安全威胁。
2026-11-03 cs.AI cs.CR cs.LG
FairMean: Promoting Fairness in Distributed Learning under Label Poisoning Attacks
Sun Yat-Sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；Great Bay University（大湾区大学）
FairMean通过有界非递减损失权重协调公平性与鲁棒性，在标签投毒下实现公平性提升，并降低准确率方差、提高最差客户端性能。
2026-09-23 cs.AI cs.LG
Chameleon: Increasing Label-Only Membership Leakage with Adaptive Poisoning
Northeastern University（东北大学）
针对仅标签场景下现有成员推理攻击在低假阳性率区间失效的问题，本文提出Chameleon攻击，通过自适应数据投毒与高效查询选择显著提升成员推理准确性。
2024-01-16 cs.LG
Cost-Minimized Label-Flipping Poisoning Attack to LLM Alignment
针对LLM对齐过程中数据投毒攻击理论基础不明的问题，提出最小成本标签翻转投毒攻击方法，通过凸优化推导攻击成本上下界并设计后处理策略，实证表明可显著降低投毒成本，为评估RLHF/DPO鲁棒性提供工具。
2025-11-12 cs.AI cs.LG
MetaPoison: Practical General-purpose Clean-label Data Poisoning
University of Maryland（马里兰大学）；University of Siegen（锡根大学）；United States Naval Academy（美国海军学院）
数据投毒-攻击者通过对训练数据的子集进行不可察觉的更改来控制模型的过程-是神经网络环境中的一种新兴威胁。针对数据投毒神经网络的现有攻击依赖于手工制作的算法，因为直接通过双层优化来解决中毒问题通常被认为是深度模型难以处理的。我们提出了MetaPoison，这是一种一阶方法，通过元学习和工艺毒药来近似双层问题，从而欺骗神经网络。MetaPoison是有效的：它比以前的清洁标签中毒方法有很大的优势。MetaPoison是健壮的：为一个模型制作的中毒数据可以传输到具有未知训练设置和架构的各种受害者模型。MetaPoison是通用的，它不仅适用于微调场景，还适用于从头开始的端到端训练，到目前为止，这对于使用深度网络的清洁标签攻击来说是不可行的。MetaPoison可以实现任意的对手目标--比如使用一个类别的毒药来使目标图像贴上另一个任意选择的类别的标签。最后，MetaPoison在现实世界中发挥作用。我们首次展示了在黑盒Google Cloud AutoML API上训练的模型的成功数据投毒。代码和预制毒药提供在https://github.com/wronnyhuang/metapoison
2021-02-21 cs.AI cs.CR cs.CV
Clean Label Attacks against SLU Systems
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究将干净标签后门投毒攻击适配于口语理解任务的语音识别模型，分析了多种因素对攻击效果的影响，发现针对难样本投毒仅需1.5%数据即可达99.3%成功率，且现有梯度类防御效果有限。
2024-09-13 cs.CR cs.LG eess.AS
Poison Frogs! Targeted Clean-Label Poisoning Attacks on Neural Networks
University of Maryland（马里兰大学）；Cornell University（康奈尔大学）
数据投毒是对机器学习模型的攻击，其中攻击者向训练集添加示例以在测试时操纵模型的行为。本文探讨了对神经网络的中毒攻击。所提出的攻击使用“干净标签”;它们不要求攻击者对训练数据的标签有任何控制。它们也是有针对性的;它们控制分类器在$\textit{specific}$测试实例上的行为，而不会降低分类器的整体性能。例如，攻击者可以将看似无害的图像（经过适当标记）添加到人脸识别引擎的训练集，并在测试时控制所选人员的身份。由于攻击者不需要控制标签功能，因此只需将毒药留在网络上并等待数据汇集机器人将其抓取即可将其输入训练集。我们提出了一种基于优化的方法来制作毒药，并表明，当使用迁移学习时，只有一个单一的毒药图像可以控制分类器的行为。对于完整的端到端训练，我们提出了一种“水印”策略，使用多个（$\approx$ 50）中毒训练实例使中毒可靠。我们通过从CIFAR数据集生成中毒青蛙图像并使用它们来操纵图像分类器来演示我们的方法。
2018-11-10 cs.CR cs.CV cs.LG
Influence-Driven Data Poisoning in Graph-Based Semi-Supervised Classifiers
Université de Luxembourg（卢森堡大学）
基于图的半监督学习（GSSL）是一种实用的解决方案，可以从有限数量的标记数据和大量未标记数据中学习。然而，由于它们依赖于已知标签来推断未知标签，这些算法对数据质量敏感。因此，必须研究与标签数据相关的潜在威胁，更具体地说，标签中毒。在本文中，我们提出了一种新的数据投毒方法，有效地近似标签推理的结果，以确定输入，如果中毒，将产生最高数量的错误推断标签。我们广泛评估我们的方法在24个不同的实验设置下的三个分类问题。与现有技术相比，我们的影响驱动攻击产生的平均错误率增加了出错率50%，同时速度快了几个数量级。此外，我们的方法可以在训练学习模型之前通知工程师值得调查的输入（重新标记它们）。我们发现，重新标记三分之一的中毒输入（根据其影响力选择）减少50%的中毒效果。
2022-05-11 cs.LG cs.SE
Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；Johns Hopkins University（约翰斯·霍普金斯大学）；Vietnam National University（越南国立大学）
本研究提出在仅知目标类数据的实际威胁模型下，通过选择性毒化少量训练样本，有效提升干净标签后门攻击的成功率，实验验证了策略的有效性。
2024-07-16 cs.CR cs.CV cs.LG
LSP Framework: A Compensatory Model for Defeating Trigger Reverse Engineering via Label Smoothing Poisoning
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；National Computer network Emergency Response technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）
提出LSP框架，通过标签平滑投毒操纵后门样本分类置信度，以击败触发器逆向工程防御，实验证明其有效性与兼容性。
2024-04-19 cs.CR cs.CV cs.LG
Deep Partition Aggregation: Provable Defense against General Poisoning Attacks
University of Maryland（马里兰大学）
对抗性中毒攻击扭曲训练数据，以破坏分类器的测试时行为。可证明的防御为每个测试样本提供了一个证书，这是训练集的任何对抗性失真的幅度的下限，可以破坏测试样本的分类。我们提出了两种新的针对中毒攻击的可证明防御：（i）深度分区聚合（DPA），针对一般中毒威胁模型的认证防御，定义为向训练集插入或删除有限数量的样本-通过暗示，该威胁模型还包括对有限数量的图像和/或标签的任意扭曲;以及（ii）半监督DPA（SS-DPA），一种针对标签翻转中毒攻击的认证防御。DPA是一种集成方法，其中基础模型在由散列函数确定的训练集的分区上训练。DPA与子集聚合（经典机器学习中一种研究得很好的集成方法）以及随机平滑（一种流行的可证明防御规避攻击的方法）有关。我们对标签翻转攻击的防御，SS-DPA，使用半监督学习算法作为其基本分类器模型：每个基本分类器除了使用分区的标签外，还使用整个未标记的训练集进行训练。SS-DPA在MNIST和CIFAR-10上的标签翻转攻击方面明显优于现有的认证防御：可以证明，对于至少一半的测试图像，MNIST上的标签翻转超过600次（相对于< 200次标签翻转），CIFAR-10上的标签翻转超过300次（相对于175次标签翻转）。针对一般中毒攻击，在没有事先认证的防御措施的情况下，DPA可以针对MNIST上的500多个中毒图像插入和CIFAR-10上的9个插入认证>= 50%的测试图像。这…
2021-03-18 cs.LG stat.ML
Deep k-NN Defense against Clean-label Data Poisoning Attacks
Center for Machine Learning, University of Maryland - College Park（马里兰大学帕克分校机器学习中心）
有针对性的干净标签数据投毒是对机器学习系统的一种对抗攻击，其中攻击者将一些正确标记的、最小扰动的样本注入训练数据中，导致模型在推理过程中错误分类特定的测试样本。虽然已经提出了一般中毒攻击的防御措施，但没有证明对清洁标签攻击的可靠防御，尽管攻击的有效性和现实应用。在这项工作中，我们提出了一种简单但高效的深度k-NN防御方法，可以抵御CIFAR-10数据集上的特征冲突和凸多面体清洁标签攻击。我们证明，我们提出的策略能够检测到超过99%的中毒的例子在这两种攻击，并删除它们，而不影响模型的性能。此外，通过消融研究，我们发现了选择k值以及在具有类别不平衡的真实世界数据集上实施深度k-NN防御的简单指南。我们提出的防御表明，目前的清洁标签中毒攻击策略可以被废除，并作为一个强大而简单的实现基线防御，以测试未来的清洁标签中毒攻击。我们的代码可在https://github.com/neeharperi/DeepKNNDefense上获得
2020-08-13 cs.CV cs.LG cs.NE
BRFID: Toward Byzantine-Robust Federated Intrusion Detection
Meharry Medical College（梅哈里医学院）
针对联邦入侵检测中单拜占庭客户端的标签翻转投毒攻击，实验表明该攻击会显著降低攻击者自身检测准确率，且无防御时全局集成仍稳定，其异常信号可用于识别拜占庭客户端。
2026-09-25 cs.CR cs.LG
Systematic Testing of the Data-Poisoning Robustness of KNN
University of Southern California（南加州大学）
提出一种结合抽象域过近似与具体域系统化测试的方法，可证明或证伪 KNN 的数据投毒鲁棒性，且比现有方法更快、更准确。
2023-07-17 cs.LG cs.SE
Mean Aggregator is More Robust than Robust Aggregators under Label Poisoning Attacks on Distributed Heterogeneous Data
School of Computer Science and Engineering（计算机科学与工程学院）；Sun Yat-Sen University（中山大学）；School of Engineering and Applied Science（工程与应用科学学院）；Harvard University（哈佛大学）；Imperial College London（伦敦帝国学院）
本文研究分布式异构数据下的标签投毒攻击，证明在数据充分异构时均值聚合器比最先进的鲁棒聚合器更鲁棒且学习误差阶最优，并通过实验验证其优越性。
2024-12-25 cs.LG
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University（东北大学）；FireEye Inc.（火眼公司）；Xailient Inc.（Xailient公司）
用于基于机器学习（ML）的恶意软件分类的训练管道通常依赖于众包威胁源，从而暴露出自然的攻击注入点。在本文中，我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性，特别关注具有挑战性的“干净标签”攻击，其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择，从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类，包括Windows PE文件，PDF和Android应用程序，我们展示了对各种机器学习模型的有效攻击，并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性，我们为Windows PE文件创建了一个水印实用程序，保留了二进制文件的功能，我们利用类似的行为保留更改方法为Android和PDF文件。最后，我们实验了潜在的防御策略，并展示了完全防御这些攻击的困难，特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University（杜克大学）
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器，使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外，每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻（kNN）和半径近邻（rNN）具有固有的多数表决机制。在这项工作中，我们表明，在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证，对数据投毒攻击和后门攻击。此外，我们对MNIST和CIFAR 10的评估结果表明，kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
The Care Label Concept: A Certification Suite for Trustworthy and Resource-Aware Machine Learning
TU Dortmund University（多特蒙德工业大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析和信息系统研究所）
机器学习应用已经变得无处不在。这导致人们越来越努力地使机器学习值得信赖。可解释和公平的人工智能已经成熟。它们面向知识渊博的用户和应用工程师。对于那些不想花时间去理解方法或学习模型的人，我们提供了护理标签：一目了然，允许方法或模型比较，同时，有科学依据。一方面，这改变了由例如，概况介绍或模型卡，转换成非常适合最终用户的形式。另一方面，护理标签是测试所述保证是否有效的认证套件的结果。在本文中，我们提出了两个实验，我们的认证套件。一个显示了马尔可夫随机场（MRF）的配置的护理标签。基于MRF的基本理论，每个选择都会导致其静态属性的特定评级，例如，表现力和可靠性。此外，实施测试和资源消耗的测量产生动态属性。这个两级过程之后是另一个验证深度神经网络（DNN）模型的实验。在那里，我们从文献中提取特定模型和数据集的静态属性。在第二个层次上，生成实验，提供对某些攻击的鲁棒性的测量。我们通过ResNet-18和MobileNetV 3应用于ImageNet来说明这一点。
2021-06-01 cs.LG
Label Poisoning is All You Need
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington, Seattle（华盛顿大学西雅图分校）
本文提出FLIP方法，首次证明仅通过破坏少量训练标签即可发动高效后门攻击，在多个数据集和架构上以2%标签破坏率实现99.4%攻击成功率，同时几乎不影响干净准确率。
2023-10-29 cs.CR cs.CV cs.LG
Topology-Independent Robustness of the Weighted Mean under Label Poisoning Attacks in Heterogeneous Decentralized Learning
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；School of Engineering and Applied Science, Harvard University（哈佛大学工程与应用科学学院）；Department of Electrical and Electronic Engineering, Imperial College London（伦敦帝国理工学院电子与电气工程系）
本文研究了在异构去中心化学习中，加权平均聚合器在标签污染攻击下的鲁棒性，发现其在特定网络拓扑条件下可优于鲁棒聚合器。
2026-01-06 cs.AI cs.LG
MRCert: Towards Post-deployment Patch Robustness Certification for Adversarially Patched Samples via Type-specific Masking
City University of Hong Kong（香港城市大学）；The Education University of Hong Kong（香港教育大学）
MRCert是首个基于掩码的认证恢复防御者，通过类型特定设计实现部署后对抗性修补样本的鲁棒性认证，在ImageNet修补尺寸16像素时获35.1%对抗性认证准确率，优于SOTA的PatchCURE。
2026-10-09 cs.AI cs.CR cs.LG
Adversarial Training for Defense Against Label Poisoning Attacks
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；EPFL（洛桑联邦理工学院）；Amazon（亚马逊）；AGI Foundations（AGI 基金会）
本文提出基于支持向量机和双层优化的对抗训练策略FLORAL，通过Stackelberg博弈框架防御标签投毒攻击，在多种分类任务上相比基线模型实现更高鲁棒准确率。
2025-02-24 cs.AI cs.LG
PoiCGAN: A Targeted Poisoning Based on Feature-Label Joint Perturbation in Federated Learning
College of Computer Science and Technology（计算机科学与技术学院）；Harbin Engineering University（哈尔滨工程大学）
本文提出PoiCGAN攻击方法，通过修改生成对抗网络中的判别器和生成器输入，生成理想的污染生成器，实现高成功率的定向污染攻击，同时保持主要任务的准确性。
2026-03-24 cs.AI cs.LG
Bait and Switch: Online Training Data Poisoning of Autonomous Driving Systems
New York University（纽约大学）
我们表明，通过控制预先训练的深度神经网络（DNN）在线微调的物理环境的一部分，对手可以发起微妙的数据投毒攻击，降低系统的性能。虽然这种攻击通常可以应用于任何感知任务，但我们考虑了一种基于DNN的交通灯分类器，用于在一个城市进行训练并在另一个城市进行在线微调的自动驾驶汽车。我们表明，通过注入不修改交通信号灯本身或地面实况标签的环境扰动，对手可以导致深度网络在在线学习阶段学习虚假概念。攻击者可以利用环境中引入的虚假概念，导致模型的准确性在操作期间降低;因此，导致系统故障。
2020-12-07 cs.CR cs.LG
LoMar: A Local Defense Against Poisoning Attack on Federated Learning
Mississippi State University（密西西比州立大学）；University of South Florida（南佛罗里达大学）；University of Oklahoma（俄克拉荷马大学）
联邦学习（FL）提供了高效的分散式机器学习框架，其中训练数据保持分布在网络中的远程客户端处。虽然FL使用物联网设备实现了隐私保护的移动边缘计算框架，但最近的研究表明，这种方法容易受到远程客户端的中毒攻击。针对FL上的中毒攻击，提出了一种\textit{two-phase}防御算法，称为{Lo}cal {Ma}licious Facto{r}（LoMar）.在第一阶段，LoMar通过使用核密度估计方法测量其邻居的相对分布来对来自每个远程客户端的模型更新进行评分。在第二阶段，一个最佳的阈值近似区分恶意和干净的更新从统计的角度来看。在四个真实数据集上进行了综合实验，实验结果表明，该防御策略能够有效地保护FL系统。{具体而言，在标签翻转攻击下对Amazon数据集的防御性能表明，与FG+Krum相比，LoMar将目标标签测试准确率从$96.0\%$提高到$98.8\%$，将总体平均测试准确率从$90.1\%$提高到$97.0\%$。
2022-01-08 cs.AI cs.CR cs.LG
Partner in Crime: Boosting Targeted Poisoning Attacks against Federated Learning
Virginia Tech（弗吉尼亚理工大学）；Kryptowire Labs（Kryptowire实验室）
本研究提出增强联邦学习定向投毒攻击的BoTPA方法，通过预训练阶段构建放大器集并篡改标签强化攻击，在多种防御机制下均显著提升攻击成功率。
2025-03-21 cs.CR cs.LG
Geometric Algorithms for $k$-NN Poisoning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出针对几何数据集的 $k$-最近邻分类的标签投毒攻击，利用多尺度随机划分在 $n\cdot 2^{2^{O(d+k/\varepsilon)}}$ 时间内计算最优投毒的 $\varepsilon n$-加法近似。
2023-06-21 cs.CG cs.CR cs.LG
PACOL: Poisoning Attacks Against Continual Learners
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）；EpiSys Science（EpiSys科学公司）
本文提出针对持续学习者的新型数据投毒攻击PACOL，通过生成不改变标签但引发灾难性遗忘的对抗样本，验证了常见持续学习方法在基准数据流上的脆弱性及防御机制的局限性。
2023-11-18 cs.LG
Provably Robust Adaptation for Language-Empowered Foundation Models
Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）；College of Systems and Engineering, National University of Defense Technology（国防科技大学系统工程学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）
针对语言赋能基础模型少样本分类器的投毒攻击问题，提出首个可证明鲁棒分类器LeFCert，通过双重修剪均值原型和自适应混合机制实现最坏情况下的认证，并扩展两种变体以应对更严格攻击预算，显著提升了准确率与计算效率。
2025-10-09 cs.AI cs.LG
Technical Report: When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks
University of Maryland, College Park（马里兰大学帕克分校）
最近的结果表明，对监督机器学习系统的攻击是非常有效的，而防御很容易被新的攻击绕过。然而，机器学习系统的规范目前缺乏精确的对手定义，现有的攻击对发起攻击的对手的实力做出了各种各样的、可能不切实际的假设。我们提出了FAIL攻击者模型，它描述了对手的知识和控制沿四个维度。我们的模型允许我们考虑各种较弱的对手，他们对所使用的功能、学习算法和训练实例的控制有限且知识不完整。为了评估FAIL模型的效用，我们考虑在现实环境中进行有针对性的中毒攻击的问题：精心制作的毒药样本必须有干净的标签，必须单独和集体不显眼，并且必须表现出FAIL模型定义的广义形式的可转移性。通过考虑这些约束，我们设计了StingRay，这是一种针对性的中毒攻击，可以针对4种机器学习应用程序，这些应用程序使用3种不同的学习算法，并且可以绕过2种现有的防御。相反，我们证明了在广义可转移性下，先验规避攻击的有效性较低。在失败对手模型下，这种攻击评估也可能为未来的防御提出有希望的方向。
2019-03-08 cs.CR cs.LG
Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
随着深度神经网络（DNN）的广泛应用，后门攻击逐渐引起关注。后门攻击是阴险的，中毒模型在良性样本上表现良好，只有在给定特定输入时才会触发，这会导致神经网络产生不正确的输出。现有技术的后门攻击工作是通过数据投毒来实现的，即，攻击者将有毒样本注入数据集，用该数据集训练的模型被后门感染。然而，目前研究中使用的大多数触发器都是修补在图像的一小部分上的固定模式，并且通常明显错误标记，这很容易被人类或神经清洗和SentiNet等防御方法检测到。此外，DNN很难在没有错误标记的情况下学习，因为它们可能会忽略小模式。本文提出了一种基于频域的广义后门攻击方法，该方法可以实现后门植入，而不需要错误标记和访问训练过程。它对人类来说是无形的，能够躲避常用的防御方法。我们评估了我们的方法在三个数据集（CIFAR-10，STL-10和GTSRB）的无标签和干净标签的情况下，两个流行的场景（自监督学习和监督学习）。实验结果表明，该方法在所有任务上都能获得较高的攻击成功率（90%以上），而主要任务的性能没有明显下降。此外，我们还评估了我们的方法在不同类型防御中的旁路性能，包括训练数据的检测（即，激活聚类）、输入的预处理（即，滤波）、输入的检测（即，SentiNet），以及模型的检测（即，神经净化）。实验结果表明，我们的方法表现出良好的鲁棒性，这样的防御。
2022-07-09 cs.CR cs.LG
Scalable and Precise Patch Robustness Certification for Deep Learning Models with Top-k Predictions
City University of Hong Kong（香港城市大学）；The Education University of Hong Kong（香港教育大学）
针对现有top-k预测补丁鲁棒性认证方法存在的精度不足或组合爆炸问题，提出可扩展且精确的基于投票的CostCert认证方法，实验证明其性能显著优于当前最优方法PatchGuard。
2025-07-31 cs.LG cs.SE
A Semantic and Clean-label Backdoor Attack against Graph Convolutional Networks
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
该研究针对图卷积网络的安全漏洞，提出语义干净标签后门攻击方法SCLBA，通过选取节点作为语义触发器生成投毒样本，在低投毒率下实现高攻击成功率且几乎不影响良性样本性能。
2025-03-19 cs.AI cs.CR cs.LG
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
Laurentian University（劳伦森大学）；Centennial College（百年学院）；The University of Osaka（大阪大学）
本文提出RAG-IDS三层多智能体入侵检测框架，通过软信任评分、LECC和提示净化的检索边界防御，可在知识投毒与提示注入攻击下恢复分类质量，在CIC-UNSW-NB15数据集上表现出良好的防御效果。
2026-08-11 cs.AI cs.CR cs.LG
