A Framework of Randomized Selection Based Certified Defenses Against Data Poisoning Attacks
Shanghai JiaoTong University（上海交通大学）；The Hong Kong Polytechnic University（香港理工大学）
神经网络分类器容易受到数据投毒攻击，因为攻击者可以通过仅几个训练样本的投毒来降低甚至操纵它们的预测。然而，启发式防御的鲁棒性很难衡量。基于随机选择的防御可以通过对分类器对从训练集中采样的子数据集的预测求平均值来实现经过认证的鲁棒性。提出了一种基于随机选择的数据投毒攻击认证防御框架。具体地说，我们证明了满足一定条件的随机选择方案对数据投毒攻击是鲁棒的。我们还导出了合格随机选择方案的认证半径的解析形式。我们的框架导出的bagging的认证半径比以前的工作更紧。我们的框架允许用户通过利用关于训练集和中毒模型的先验知识来提高鲁棒性。在更高的先验知识水平下，我们可以在理论和实践上获得更高的认证精度。在MNIST 1/7、MNIST和CIFAR-10三个基准数据集上的实验表明，该方法的性能优于现有方法。
2020-10-13 cs.CR cs.LG stat.ML
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Deep k-NN Defense against Clean-label Data Poisoning Attacks
Center for Machine Learning, University of Maryland - College Park（马里兰大学帕克分校机器学习中心）
有针对性的干净标签数据投毒是对机器学习系统的一种对抗攻击，其中攻击者将一些正确标记的、最小扰动的样本注入训练数据中，导致模型在推理过程中错误分类特定的测试样本。虽然已经提出了一般中毒攻击的防御措施，但没有证明对清洁标签攻击的可靠防御，尽管攻击的有效性和现实应用。在这项工作中，我们提出了一种简单但高效的深度k-NN防御方法，可以抵御CIFAR-10数据集上的特征冲突和凸多面体清洁标签攻击。我们证明，我们提出的策略能够检测到超过99%的中毒的例子在这两种攻击，并删除它们，而不影响模型的性能。此外，通过消融研究，我们发现了选择k值以及在具有类别不平衡的真实世界数据集上实施深度k-NN防御的简单指南。我们提出的防御表明，目前的清洁标签中毒攻击策略可以被废除，并作为一个强大而简单的实现基线防御，以测试未来的清洁标签中毒攻击。我们的代码可在https://github.com/neeharperi/DeepKNNDefense上获得
2020-08-13 cs.CV cs.LG cs.NE
SecureLearn -- An Attack-agnostic Defense for Multiclass Machine Learning Against Data Poisoning Attacks
College of Computing, Birmingham City University, Birmingham, United Kingdom（计算学院，伯明翰城市大学，伯明翰，英国）
针对多类机器学习模型的数据投毒攻击，提出两层与攻击无关的防御SecureLearn，结合数据清洗与特征对抗训练，在多种算法和数据集上保持高准确率与鲁棒性。
2025-10-25 cs.CR cs.LG
PROFL: A Privacy-Preserving Federated Learning Method with Stringent Defense Against Poisoning Attacks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出隐私保护联邦学习框架 PROFL，结合同态加密、盲化技术、安全 Multi-Krum 和基于 Pauta 准则的统计防御算法，在保护数据隐私的同时有效防御用户层与特征层投毒攻击，并在实验中显著提升了鲁棒性。
2023-12-02 cs.AI cs.CR cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology（华中科技大学）；Wuhan University of Technology（武汉理工大学）；Georgia Institute of Technology（佐治亚理工学院）
机器学习技术已经广泛应用于各种应用。然而，它们可能容易受到数据投毒攻击，其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的：它们是针对一种特定类型的攻击而设计的，但不适用于其他类型，主要是由于它们遵循的不同原则。然而，很少有一般的防御战略已经制定。在本文中，我们提出了De-Pois，一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型，其目的是模仿目标模型的行为。我们利用生成对抗网络（GANs）来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异，De-Pois因此能够区分中毒样本和干净样本，而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击，并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明，De-Pois算法能够有效地检测出四种类型的中毒攻击，其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST（韩国科学技术院计算机学院）；Samsung Research（三星研究院）；Data Science Group, Institute for Basic Science（基础科学研究院数据科学组）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文提出FedMID，一种无数据防御方法，通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击，实验证明其在多种计算条件和高级攻击下具有鲁棒性，促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
Dynamic Defense Against Byzantine Poisoning Attacks in Federated Learning
University of Granada（格拉纳达大学）
联邦学习作为一种在本地设备上进行训练而不访问训练数据的分布式学习，容易受到拜占庭中毒对抗攻击的攻击。我们认为，联邦学习模型必须避免这些类型的对抗攻击，通过过滤掉敌对的客户端通过联邦聚合运营商。我们提出了一个动态的联邦聚合运营商，动态丢弃这些敌对的客户端，并允许防止腐败的全球学习模型。我们评估它作为对抗攻击的防御，在Fed-EMNIST Digits，Fashion MNIST和CIFAR-10图像数据集上的联邦学习设置中部署深度学习分类模型。结果表明，动态选择的客户端聚合提高了性能的全球学习模型和丢弃的敌对和穷人（低质量的模型）的客户端。
2022-02-24 cs.AI cs.CR cs.LG
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）；IBM
联邦学习本质上容易受到模型中毒攻击，因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低模型在目标子任务（例如将飞机分类为鸟类）上的性能。在这份报告中，我们介绍了\algoname{}，一种新的防御，使用全局top-k更新稀疏化和设备级梯度裁剪，以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击，并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性，我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks Without an Accuracy Tradeoff
University of Maryland, College Park（马里兰大学帕克分校）；University of Siegen（锡根大学）
数据投毒和后门攻击通过恶意修改训练数据来操纵受害者模型。鉴于这一日益严重的威胁，最近对行业专业人士进行的一项调查显示，私营部门对数据投毒的担忧加剧。许多以前的中毒防御要么在面对越来越强大的攻击时失败，要么它们显着降低性能。然而，我们发现强大的数据增强，如mixup和CutMix，可以显着减少中毒和后门攻击的威胁，而不会牺牲性能。我们进一步验证了这种简单的防御自适应中毒方法的有效性，我们比较基线，包括流行的差分私有SGD（DP-SGD）防御。在后门的背景下，CutMix大大减轻了攻击，同时将验证准确率提高了9%。
2020-11-18 cs.CR cs.LG
Adversarial Poisoning Attacks and Defense for General Multi-Class Models Based On Synthetic Reduced Nearest Neighbors
University of California Merced（加州大学默塞德分校）；Tagliatela College of Engineering（塔利亚泰拉工程学院）；University of New Haven（纽黑文大学）
最先进的机器学习模型容易受到旨在破坏模型完整性的数据投毒攻击。然而，目前关于数据投毒攻击的文献主要集中在仅适用于特定机器学习模型的ad hoc技术上。此外，文献中现有的数据投毒攻击仅限于二进制分类器或基于梯度的算法。为了解决这些局限性，本文首先提出了一种新的无模型标签翻转攻击的基础上的多模态的数据，其中对手的目标是集群的类，而受标签翻转预算。我们提出的攻击算法的复杂性是线性的时间超过数据集的大小。此外，所提出的攻击可以增加错误高达两倍的相同的攻击预算。其次，提出了一种基于综合简化最近邻（SRNN）模型的防御技术。防御技术可以在训练过程中检测和排除翻转的样本。通过大量的实验分析，我们证明了（i）所提出的攻击技术可以大大降低几个模型的准确性，以及（ii）在所提出的攻击下，所提出的防御技术在恢复目标模型的准确性方面显着优于其他传统的机器学习模型。
2021-02-11 cs.CR cs.LG
A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
Deakin University（迪肯大学）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
针对联邦学习中难以检测的边缘情况模型投毒攻击，提出DataDefense方法，结合外部防御数据集与交替最小化策略训练检测器和客户端重要性模型，以极少样本实现显著的攻击成功率降低。
2024-08-14 cs.CR cs.LG
Certified Defenses for Data Poisoning Attacks
Stanford University（斯坦福大学）
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击，恶意用户注入虚假的训练数据，目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御，很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题，首先进行离群值删除，然后进行经验风险最小化的防御者。我们的近似依赖于两个假设：（1）数据集足够大，足以保持训练和测试误差之间的统计集中，以及（2）干净（非中毒）数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对，为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲，我们发现即使在简单的防御下，MNIST-1-7和Dogfish数据集也能抵御攻击，而相比之下，IMDB情感数据集只需添加3%的中毒数据，就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation
University of Maryland, College Park（马里兰大学帕克分校）
数据投毒攻击的目的是通过扭曲训练数据来操纵模型行为。以前，提出了一种基于聚合的认证防御，即深度分区聚合（DPA），以减轻这种威胁。DPA通过在不相交的数据子集上训练的基础分类器的聚合进行预测，从而限制了其对数据集失真的敏感性。在这项工作中，我们提出了一种改进的认证防御一般中毒攻击，即有限聚合。与直接将训练集分割成不相交子集的DPA相反，我们的方法首先将训练集分割成较小的不相交子集，然后将它们的副本组合起来，为训练基分类器构建更大的（但不是不相交的）子集。这减少了有毒样本的最坏情况影响，从而提高了经认证的鲁棒性界限。此外，我们提供了一个替代的观点，我们的方法，桥接确定性和随机聚合为基础的认证防御的设计。从经验上讲，我们提出的有限聚合一致地改进了MNIST、CIFAR-10和GTSRB上的证书，将认证分数分别提高了3.05%、3.87%和4.77%，同时保持了与DPA相同的准确性，有效地建立了（逐点）认证鲁棒性的新技术水平，以对抗数据投毒。
2022-07-14 cs.CR cs.LG stat.ML
Poisoning Semi-supervised Federated Learning via Unlabeled Data: Attacks and Defenses
City University of Hong Kong（香港城市大学）；Monash University（莫纳什大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
半监督联邦学习（SSFL）由于其实用性而受到广泛关注，即，客户端可以仅具有未标记的数据。在实践中，这些SSFL系统通过将“猜测”标签分配给标记数据附近的未标记数据来实现半监督训练，以将无监督问题转换为全监督问题。然而，这种半监督训练技术的固有属性创建了一个新的攻击面。在本文中，我们发现并揭示了一个简单而强大的中毒攻击SSFL。我们的攻击利用半监督学习的自然特性，通过毒害未标记的数据来使模型中毒。具体来说，攻击者只需要插入少量恶意制作的未标记样本（例如，仅为数据集的0.1\ %）以影响模型性能和误分类。大量的案例研究表明，我们的攻击是有效的不同的数据集和常见的半监督学习方法。为了减轻攻击，我们提出了一种辩护，即，基于极小极大优化的客户端选择策略，使服务器能够选择持有正确标签信息和高质量更新的客户端。我们的防御进一步采用了基于质量的聚合规则，以加强所选更新的贡献。在不同攻击条件下的评估表明，所提出的防御可以很好地减轻这种未标记的中毒攻击。我们的研究揭示了SSFL对未标记中毒攻击的脆弱性，并为社区提供了潜在的防御方法。
2022-05-07 cs.CR cs.DC cs.LG
Be Kind, Rewrite: Benign Projections via Rewriting Defend Against LLM Data Poisoning Attacks
Leidos；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种基于重写的良性投影方法（OBBR），通过利用开放书本的良性样本来提高大语言模型对数据中毒攻击的防御能力，实验表明OBBR在多种已知攻击模式中表现出更高的安全性能，并且在计算效率和模型性能方面具有优势。
2026-05-18 cs.AI cs.CR cs.LG
From Theory to Practice: Evaluating Data Poisoning Attacks and Defenses in In-Context Learning on Social Media Health Discourse
University of Information Technology and Sciences (UITS)（信息科技与科学大学）
本研究针对公共卫生情感分析场景，验证了上下文学习易受小型数据投毒攻击破坏，并提出谱特征防御方法可有效过滤投毒样本、维持数据完整性，为高风险场景下的大语言模型鲁棒部署提供了参考。
2025-10-04 cs.CL cs.CR cs.LG
Find a Scapegoat: Poisoning Membership Inference Attack and Defense to Federated Learning
Yale University（耶鲁大学）；University of Louisville（路易斯维尔大学）；Guangdong Polytechnic Normal University（广东 polytechnic 正规大学）
本文提出针对联邦学习的投毒成员推理攻击FedPoisonMIA，通过恶意客户端构造本地更新推断成员信息，并设计鲁棒防御机制以减轻其影响。
2025-07-01 cs.CR cs.DC cs.LG
Friendly Noise against Adversarial Noise: A Powerful Defense against Data Poisoning Attacks
University of California, Los Angeles（加州大学洛杉矶分校）
针对现有数据投毒防御泛化损伤大、针对性强或速度慢的问题，提出结合优化友好噪声与随机噪声的轻量防御方法，可有效破解多种投毒攻击且泛化下降极小，噪声具备可迁移性且能抵御自适应攻击。
2023-07-20 cs.CR cs.LG
A BIC-based Mixture Model Defense against Data Poisoning Attacks on Classifiers
Pennsylvania State University（宾夕法尼亚州立大学）
数据投毒（DP）是一种有效的攻击，导致训练的分类器错误分类他们的输入。DP攻击通过隐蔽地将攻击样本注入训练集中来显著降低分类器的准确性。广泛适用于不同的分类器结构，在没有关于攻击者的强假设的情况下，本文提出了针对“错误通用”DP攻击的基于{ \it无监督}贝叶斯信息准则（BIC）的混合模型防御，其：1）解决了最具挑战性的{ \it embedded} DP场景，其中，如果存在DP，中毒样本是训练集的{ \it先验}未知子集，并且没有可用的干净验证集; 2）应用混合模型来很好地拟合潜在的多-模态类分布，并在混合成分的小子集内捕获中毒样本; 3）通过最小化在整个训练集上定义的BIC成本来联合识别中毒组件和样本，在分类器训练之前去除所识别的中毒数据。我们的实验结果，对各种分类器结构和基准数据集，证明了我们的防御的有效性和普遍性下的强大DP攻击，以及它的优越性比其他作品。
2022-05-12 cs.CR cs.LG
Data Poisoning Attacks and Defenses to Crowdsourcing Systems
Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
大数据分析的一个关键挑战是如何收集大量的（标记的）数据。众包旨在通过聚合和估计高质量数据（例如，文本的情感标签）。现有的众包研究集中在设计新的方法，以提高不可靠/嘈杂的客户端的聚合数据的质量。然而，这种众包系统的安全方面迄今为止仍然没有得到充分的探索。我们的目标是在这项工作中弥合这一差距。具体来说，我们表明，众包是容易受到数据投毒攻击，其中恶意客户端提供精心制作的数据，以破坏聚合数据。我们制定我们提出的数据投毒攻击作为一个优化问题，最大限度地提高聚合数据的错误。我们对一个合成数据集和两个真实世界基准数据集的评估结果表明，所提出的攻击可以大大增加聚合数据的估计误差。我们还提出了两种防御措施，以减少恶意客户端的影响。我们的实证结果表明，所提出的防御可以大大减少数据投毒攻击的估计误差。
2021-02-24 cs.CR cs.DC cs.HC
Stronger Data Poisoning Attacks Break Data Sanitization Defenses
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
在外部世界数据上训练的机器学习模型可能会被数据中毒攻击破坏，这些攻击会将恶意点注入模型的训练集中。针对这些攻击的一种常见防御方法是数据清理：在训练模型之前，首先过滤掉异常的训练点。在本文中，我们开发了三种可以绕过广泛的常见数据清理防御的攻击，包括基于最近邻的异常检测器，训练丢失和奇异值分解。通过添加3%的中毒数据，我们的攻击成功地将安然垃圾邮件检测数据集的测试错误从3%增加到24%，并将IMDB情感分类数据集的测试错误从12%增加到29%。相比之下，没有明确说明这些数据清理防御的现有攻击被它们击败。我们的攻击基于两个想法：（i）我们协调我们的攻击，将中毒点彼此靠近，（ii）我们将每个攻击制定为约束优化问题，约束旨在确保中毒点逃避检测。由于这种优化涉及解决一个昂贵的双层问题，我们的三种攻击对应于不同的方法来近似这个问题，基于影响函数;极大极小对偶;和Karush-Kuhn-Tucker（KKT）条件。我们的研究结果强调了需要开发更强大的防御数据中毒攻击。
2021-12-03 cs.CR cs.LG stat.ML
BagFlip: A Certified Defense against Data Poisoning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器学习模型容易受到数据中毒攻击，其中攻击者恶意修改训练集以改变学习模型的预测。在无后门攻击中，攻击者可以修改训练集，但不能修改测试输入，而在后门攻击中，攻击者还可以修改测试输入。现有的与模型无关的防御方法或者不能处理后门攻击或者不提供有效的证书（即，一个辩护的证据）。我们提出了BagFlip，一个模型无关的认证方法，可以有效地抵御无防火墙和后门攻击。我们在图像分类和恶意软件检测数据集上评估BagFlip。BagFlip等于或比最先进的方法更有效地用于无恶意攻击，并且比最先进的方法更有效地用于后门攻击。
2022-10-16 cs.LG
Securing NextG Systems against Poisoning Attacks on Federated Learning: A Game-Theoretic Solution
Virginia Tech（弗吉尼亚理工大学）；National Security Institute（国家安全研究所）；Commonwealth Cyber Initiative（联邦网络计划）
针对下一代通信联邦学习中的投毒攻击，本文提出博弈论主动防御机制，通过准入决策建模攻防交互，并在纳什均衡下量化双方性能界限，以保障系统安全。
2023-12-28 cs.AI cs.CR cs.DC
Defending Against Sophisticated Poisoning Attacks with RL-based Aggregation in Federated Learning
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
针对联邦学习中的复杂投毒攻击，本文提出基于强化学习的自适应聚合方法AdaAggRL，通过分布学习与MMD相似性计算，自适应确定聚合权重，在四个真实数据集上显著优于现有防御方法。
2024-12-15 cs.CR cs.LG
FL-WBC: Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a Client Perspective
Duke University（杜克大学）；Accenture（埃森哲）
联邦学习（FL）是一种流行的分布式学习框架，它通过中央服务器和边缘设备之间的迭代通信来训练全局模型。最近的工作表明，FL是容易受到模型中毒攻击。已经提出了几种基于服务器的防御方法（例如鲁棒聚合）来减轻此类攻击。然而，我们的经验表明，在非常强大的攻击下，这些防御方法无法保证FL的鲁棒性。更重要的是，我们观察到，只要全局模型被污染，即使没有后续的攻击，攻击对全局模型的影响也会保留在后续的轮次中。在这项工作中，我们提出了一个基于客户端的防御，命名为白血球联邦学习（FL-WBC），它可以减轻模型中毒攻击，已经污染了全局模型。FL-WBC的核心思想是识别对参数的长期攻击影响所在的参数空间，并在局部训练期间扰动该空间。此外，我们得到了一个认证的鲁棒性保证，对模型中毒攻击和收敛保证FedAvg后，应用我们的FL-WBC。我们在FasionMNIST和CIFAR10上进行实验，以评估对最先进的模型中毒攻击的防御。实验结果表明，该方法在5轮通信时间内有效地缓解了模型中毒攻击对全局模型的影响，且在IID和Non-IID设置下几乎没有精度下降.我们的防御也是对现有的基于服务器的鲁棒聚合方法的补充，可以进一步提高FL在极强攻击下的鲁棒性。
2021-10-26 cs.AI cs.CV cs.DC
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University（杜克大学）
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器，使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外，每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻（kNN）和半径近邻（rNN）具有固有的多数表决机制。在这项工作中，我们表明，在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证，对数据投毒攻击和后门攻击。此外，我们对MNIST和CIFAR 10的评估结果表明，kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
FLAegis: A Two-Layer Defense Framework for Federated Learning Against Poisoning Attacks
University of Murcia（穆尔西亚大学）
针对联邦学习中拜占庭客户端投毒攻击问题，本研究提出两阶段防御框架FLAegis，通过SAX放大模型差异、谱聚类检测对抗行为及FFT鲁棒聚合，在五种攻击场景下检测精度与模型准确率均优于现有防御。
2025-08-26 cs.AI cs.LG
A Mixture Model Based Defense for Data Poisoning Attacks Against Naive Bayes Spam Filters
The Pennsylvania State University（宾夕法尼亚州立大学）
朴素贝叶斯垃圾邮件过滤器非常容易受到数据投毒攻击。在这里，已知的垃圾邮件源/列入黑名单的IP利用了这样的事实，即它们接收到的电子邮件将被视为（地面实况）标记的垃圾邮件示例，并用于分类器训练（或重新训练）。因此，攻击源生成的电子邮件将扭曲垃圾邮件模型，可能导致分类器准确性的大幅下降。这种攻击之所以成功，主要是因为朴素贝叶斯（NB）模型的表现能力很差，只有一个单一的（组件）密度来表示垃圾邮件（加上可能的攻击）。我们提出了一种基于NB模型的混合使用的防御。我们证明，学习的混合物几乎完全隔离在第二NB组件的攻击，与原来的垃圾邮件组件基本上不变的攻击。我们的方法既解决了根据新数据重新训练分类器的情况，也解决了攻击嵌入原始垃圾邮件训练集中的更具挑战性的情况。即使对于较弱的攻击强度，基于BIC的模型顺序选择也会选择两个组件的解决方案，从而调用基于混合的防御。在TREC 2005垃圾邮件语料库上给出了有希望的结果。
2018-10-31 cs.CR cs.LG stat.ML
Partner in Crime: Boosting Targeted Poisoning Attacks against Federated Learning
Virginia Tech（弗吉尼亚理工大学）；Kryptowire Labs（Kryptowire实验室）
本研究提出增强联邦学习定向投毒攻击的BoTPA方法，通过预训练阶段构建放大器集并篡改标签强化攻击，在多种防御机制下均显著提升攻击成功率。
2025-03-21 cs.CR cs.LG
Data Poisoning Attacks on Regression Learning and Corresponding Defenses
Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）
对抗性数据投毒是一种针对机器学习的有效攻击，通过将中毒数据引入训练数据集来威胁模型完整性。到目前为止，它主要用于分类，尽管回归学习用于许多关键任务系统（如药物剂量，控制网络物理系统和管理电源）。因此，在本研究中，我们的目标是评估回归学习的数据投毒攻击的各个方面，在广度和深度方面都超过了以前的工作。我们提出了现实的情况下，数据投毒攻击威胁到生产系统，并介绍了一种新的黑盒攻击，然后将其应用到一个真实的字的医疗用例。结果，我们观察到，由于只插入了2%的有毒样本，回归量的均方误差（MSE）增加到150%。最后，我们提出了一种新的防御策略，以对抗新的和以前的攻击，并在26个数据集上进行了全面的评估。作为所进行的实验的结果，我们得出结论，所提出的防御策略有效地减轻了所考虑的攻击。
2020-09-15 cs.LG stat.ML
Sparsification Under Siege: Dual-Level Defense Against Poisoning in Communication-Efficient Federated Learning
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；School of Cyber Science and Technology at Beihang University（北京航空航天大学网络安全科学与技术学院）；School of Cyberspace Science and Technology, Beijing Jiaotong University（北京交通大学网络空间科学与技术学院）；Beijing Key Laboratory of Security and Privacy in Intelligent Transportation（北京智能交通安全与隐私重点实验室）；Zhongguancun Laboratory（中关村实验室）；School of Computing and Information,University of Pittsburgh（匹兹堡大学计算与信息学院）
SafeSparse通过双层防御机制，在通信高效联邦学习中有效对抗污染攻击，提升模型鲁棒性与准确性。
2026-02-28 cs.CR cs.LG
Concealing Backdoor Model Updates in Federated Learning by Trigger-Optimized Data Poisoning
Duke University（杜克大学）
针对联邦学习后门更新易被防御检测的问题，提出DPOT触发器优化数据投毒攻击，仅靠数据投毒即可隐藏恶意更新并突破现有防御。
2024-09-09 cs.AI cs.CR cs.LG
XFED: Non-Collusive Model Poisoning Attack Against Byzantine-Robust Federated Classifiers
Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学）；TigerIT Bangladesh Ltd.（TigerIT孟加拉有限公司）
XFED提出一种无需协调的模型污染攻击，通过独立恶意更新绕过现有防御，证明联邦学习系统存在重大安全漏洞。
2026-04-10 cs.AI cs.CR cs.DC
Like Oil and Water: Group Robustness Methods and Poisoning Defenses May Be at Odds
University of Maryland（马里兰大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
本文揭示群体鲁棒性方法与投毒防御因依赖相似启发式而产生冲突：前者会误放大投毒样本使攻击成功率升至97%以上，后者会误删少数样本使群体鲁棒性降至41%，且结合两者无法缓解该权衡。
2025-04-02 cs.CR cs.LG
On the Effectiveness of Mitigating Data Poisoning Attacks with Gradient Shaping
University of Maryland, College Park（马里兰大学帕克分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
机器学习算法容易受到数据投毒攻击。先前的分类法侧重于特定的场景，例如，不加区别的或有针对性的攻击，使防御相应的已知攻击的子集。然而，这不可避免地在对手和捍卫者之间引发了军备竞赛。在这项工作中，我们研究了依赖于所有中毒攻击所共有的工件的攻击不可知防御的可行性。具体来说，我们关注所有攻击之间的一个共同元素：它们修改计算的梯度以训练模型。我们确定了两个主要的文物的梯度计算中存在的毒药：（1）他们的$\ell_2$规范有显着更高的幅度比干净的梯度，（2）他们的方向不同于干净的梯度。基于这些观察，我们提出了一个通用的中毒防御的先决条件：它必须绑定梯度幅度和最小化方向的差异。我们称之为梯度成形。作为评估梯度成形可行性的示例工具，我们使用差分私有随机梯度下降（DP-SGD），它在训练期间剪辑和扰动个体梯度以获得隐私保证。我们发现，DP-SGD，即使在配置，不产生有意义的隐私保证，增加了模型的鲁棒性不分青红皂白的攻击。它还减轻了最坏情况下的有针对性的攻击，并增加了对手在多毒药场景中的成本。我们发现DP-SGD唯一无效的攻击是强大的，但不切实际的，不分青红皂白的攻击。我们的研究结果表明，虽然我们目前缺乏一个通用的中毒防御，梯度成形是未来研究的一个有前途的方向。
2020-02-27 cs.CR cs.LG
Untargeted Poisoning Attack Detection in Federated Learning via Behavior Attestation
Ryerson University（瑞尔森大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）
联邦学习（FL）是机器学习（ML）中的一种范式，它通过使用分布式节点训练全局模型来解决数据隐私、安全性、访问权和对异构信息的访问问题。尽管具有优势，但对基于FL的ML技术进行网络攻击的可能性越来越大，这可能会破坏其优势。对FL的模型中毒攻击以模型的可用性为目标。敌对的目标是破坏训练。我们提出了attestedFL，一种防御机制，通过状态持久性来监控单个节点的训练，以检测恶意工作者。对工人历史的细粒度评估允许及时评估其行为，并导致创新的检测策略。我们提出了三条防线，旨在通过观察节点是否真的在训练，朝着目标前进来评估工人是否可靠。我们的防御暴露了攻击者的恶意行为，并从聚合过程中删除了不可靠的节点，使FL过程收敛得更快。通过广泛的评估和各种对抗性设置，attestedFL在不同场景下将模型的准确性提高了12%至58%，例如在不同收敛阶段进行的攻击，攻击者勾结和连续攻击。
2022-01-16 cs.AI cs.CR cs.LG
Gradient Purification: Defense Against Poisoning Attack in Decentralized Federated Learning
Center for Data Science, Zhejiang University, Hangzhou 310000, China（数据科学中心，浙江大学，杭州）；College of Computer Science, Zhejiang University, Hangzhou 310000, China（计算机科学学院，浙江大学，杭州）
本文提出梯度净化防御方法GPD，通过记录历史聚合梯度精确检测并一次性减轻恶意邻居的梯度危害，同时保留模型权重中的有益成分，在去中心化联邦学习中显著提升抗投毒攻击能力和模型准确率。
2025-07-07 cs.LG
FedNIA: Noise-Induced Activation Analysis for Mitigating Data Poisoning in Federated Learning
University of Windsor（温莎大学）；University of New Brunswick（新不伦瑞克大学）
针对联邦学习中的数据投毒攻击，提出无需中央测试集的FedNIA防御框架，通过注入噪声并分析逐层激活模式来识别恶意客户端，实验验证其对多种攻击有效。
2026-09-23 cs.AI cs.CR cs.LG
Try to Avoid Attacks: A Federated Data Sanitization Defense for Healthcare IoMT Systems
South China University of Technology（华南理工大学）
医疗IoMT系统正在变得智能化、小型化，并且更加融入日常生活。对于IoMT中的分布式设备，联邦学习在满足数据安全性时已成为基于云的训练过程的热门领域。然而，IoMT的分发存在保护免受数据投毒攻击的风险。可以通过伪造医疗数据来制造有毒数据，这迫切需要对IoMT系统进行安全防御。由于缺乏特定的标签，恶意数据的过滤是一个独特的无监督场景。其中一个主要的挑战是找到强大的数据过滤方法的各种中毒攻击。本文介绍了一种新的方法，以保护系统免受数据投毒攻击的联邦数据净化防御。为了解决这个无监督的问题，我们首先使用联邦学习将所有数据投影到子空间域，由于数据存储在本地，因此可以建立统一的特征映射。然后，我们采用联邦聚类重新组合他们的功能，澄清中毒的数据。聚类是基于数据及其语义的一致性关联。在我们得到私有数据的聚类之后，我们用一个简单而有效的策略进行数据清理。最后，分布式ImOT的每个设备都可以根据联邦数据清理来过滤恶意数据。大量的实验进行评估的有效性，提出的防御方法对数据投毒攻击。此外，我们考虑我们的方法在不同的中毒率，并实现了较高的准确性和较低的攻击成功率。
2022-11-03 cs.CR cs.DC cs.LG
Mitigating Malicious Attacks in Federated Learning via Confidence-aware Defense
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）；Huazhong University of Science and Technology（华中科技大学）；Shandong University of Technology（山东理工大学）
针对联邦学习易受恶意投毒攻击、现有防御方法适配性不足的问题，提出置信度感知防御框架CAD，以本地模型置信度为判断依据，可有效抵御各类投毒攻击，提升系统鲁棒性与模型性能。
2024-08-16 cs.CR cs.CV cs.DC
Poisoning with A Pill: Circumventing Detection in Federated Learning
Purdue University（普渡大学）
本文提出一种通用的攻击无关增强方法，通过在联邦学习训练中构造、生成并注入毒害（由现有攻击生成）到一个药丸（一种新型子网络结构）中，以提升现有毒害攻击的隐蔽性和有效性，揭示现有防御的不足。
2026-04-13 cs.CR cs.DC cs.LG
Backdoor Federated Learning by Poisoning Backdoor-Critical Layers
Stony Brook University（石溪大学）；University of Delaware（特拉华大学）；South China University of Technology（华南理工大学）；Louisiana State University（路易斯安那州立大学）
该研究针对联邦学习的后门攻击风险，发现了主导模型脆弱性的后门关键（BC）层，提出从攻击者视角识别BC层并设计自适应平衡攻击效果与隐蔽性的后门攻击方法，实验证明仅10%恶意客户端即可突破7种当前最优防御，性能优于现有最新方法。
2024-04-15 cs.CR cs.CV cs.LG
Poisoning Attacks and Defenses to Federated Unlearning
ShanghaiTech University（上海科技大学）；Xidian University（西安电子科技大学）；North Carolina State University（北卡罗来纳州立大学）；University of North Texas（北德克萨斯大学）；University of Louisville（路易斯维尔大学）
本文提出首个针对联邦遗忘的投毒攻击BadUnlearn及可证明鲁棒的防御框架UnlearnGuard，通过服务器估计和过滤客户端更新，确保遗忘模型接近从头训练的模型。
2025-01-29 cs.CR cs.DC cs.LG
Poisoning Attacks on Federated Learning for Autonomous Driving
Umeå University（于默奥大学）；AI Sweden（瑞典人工智能研究院）；Royal Institute of Technology（皇家理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；Dakota State University（达科他州立大学）；Scaleout Systems（Scaleout系统公司）
本文针对自动驾驶联邦学习提出FLStealth和OTA两种投毒攻击，通过车辆轨迹预测实验证明其能有效绕过现有防御，揭示了面向自动驾驶FL中定向攻击防御的紧迫性。
2024-05-02 cs.AI cs.CR cs.CV
How Robust are Randomized Smoothing based Defenses to Data Poisoning?
Tulane University（杜兰大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
可证明的鲁棒分类器的预测在一个点的邻域中保持恒定，使它们能够保证抵抗测试时攻击。在这项工作中，我们提出了一个以前未被认识到的对强大的机器学习模型的威胁，强调了训练数据质量在实现高认证对抗鲁棒性方面的重要性。具体来说，我们提出了一种新的基于双层优化的数据投毒攻击，降低了可证明的鲁棒分类器的鲁棒性保证。与其他降低中毒模型在一小组目标点上的准确性的中毒攻击不同，我们的攻击降低了数据集中整个目标类的平均认证半径（ACR）。此外，即使受害者使用最先进的鲁棒训练方法从头开始训练模型，我们的攻击也是有效的，这些方法包括高斯数据增强\cite{cohen2019certified}，MACER \cite{zhai2020macer}和SmoothAdv \cite{salman2019provably}，这些方法可以实现高认证的对抗鲁棒性。为了使攻击更难被检测到，我们使用带有难以察觉的扭曲的干净标签中毒点。通过毒化MNIST和CIFAR10数据集并使用先前提到的训练方法训练深度神经网络并使用随机平滑验证鲁棒性来评估所提出的方法的有效性。对于在生成的毒物数据上训练的模型，目标类的ACR可以减少30%以上。此外，中毒数据可以转移到使用不同训练方法训练的模型和具有不同架构的模型。
2021-03-30 cs.LG
Run-Off Election: Improved Provable Defense against Data Poisoning Attacks
University of Maryland（马里兰大学）
针对数据投毒防御中多数投票未充分利用 logits 信息的问题，提出两轮选举聚合方法 ROE，结合 DPA 和 FA 显著提升了认证准确率和鲁棒性，创下新纪录。
2023-05-16 cs.LG
Pick your Poison: Undetectability versus Robustness in Data Poisoning Attacks
University of Waterloo（滑铁卢大学）
本文揭示了数据投毒攻击中不可检测性与鲁棒性之间的关键权衡，提出使用少量可信数据检测或修复投毒模型的防御方法，在CIFAR-10和ImageNet上有效缓解攻击且准确率损失极小，证明同时满足鲁棒与不可检测的攻击者威胁大幅降低。
2023-06-29 cs.CR cs.LG
Incompatibility Clustering as a Defense Against Backdoor Poisoning Attacks
MIT（麻省理工学院）
本研究提出一种基于训练中数据子集不相容性的聚类机制，用于防御深度神经网络图像分类任务中的后门投毒攻击，可有效识别移除投毒数据，在多数场景下大幅降低攻击成功率且对干净准确率影响极小。
2023-04-27 cs.CR cs.LG stat.ML
Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
在联邦学习中，多个客户端设备联合学习机器学习模型：每个客户端设备维护其本地训练数据集的本地模型，而主设备通过聚合来自客户端设备的本地模型来维护全局模型。机器学习社区最近提出了几种联邦学习方法，这些方法被声称对拜占庭式故障具有鲁棒性（例如，系统故障、对抗性操纵）。在这项工作中，我们进行了第一次系统的研究局部模型中毒攻击联邦学习。我们假设攻击者已经危害了一些客户端设备，并且攻击者在学习过程期间操纵被危害的客户端设备上的本地模型参数，使得全局模型具有大的测试出错率。我们制定我们的攻击优化问题，并将我们的攻击，最近拜占庭强大的联邦学习方法。我们在四个真实世界数据集上的实证结果表明，我们的攻击可以大大增加通过联邦学习方法学习的模型的出错率，这些方法声称对某些客户端设备的拜占庭故障具有鲁棒性。我们概括了两种防御数据投毒攻击，以抵御我们的本地模型中毒攻击。我们的评估结果表明，在某些情况下，一种防御可以有效地防御我们的攻击，但在其他情况下，防御不够有效，突出了对我们的本地模型中毒攻击联邦学习的新防御的需要。
2021-11-21 cs.CR cs.DC cs.LG
Protecting against simultaneous data poisoning attacks
University of Cambridge（剑桥大学）；Max Planck Institute, Tübingen（图宾根马克斯·普朗克研究所）
针对单一后门防御评估不切实际的问题，本文证明同时发生的数据投毒攻击能植入多个后门且现有防御失效，并提出新防御方法 BaDLoss，在多攻击场景下显著降低攻击成功率且保持较高干净准确率。
2024-08-23 cs.LG
Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
虽然最近的研究表明，联邦学习（FL）可能容易受到受损害的客户端的中毒攻击，但它们对生产FL系统的真正影响尚未完全了解。在这项工作中，我们的目标是通过列举所有可能的威胁模型，中毒的变化和对手的能力，对FL中毒攻击开发一个全面的系统化。我们特别把重点放在无针对性的中毒攻击上，因为我们认为它们与生产FL部署密切相关。我们提出了一个批判性的分析，无针对性的中毒攻击在实际的，生产FL环境下，仔细描述了一套现实的威胁模型和对抗能力。我们的研究结果是相当令人惊讶的：与既定的信念相反，我们表明，FL是非常强大的实践中，即使使用简单，低成本的防御。我们甚至更进一步，提出了新颖的，最先进的数据和模型中毒攻击，并通过在三个基准数据集上进行的一系列广泛的实验，展示了在存在简单防御机制的情况下，有效的中毒攻击是如何进行的。我们的目标是纠正以前的误解，并提供具体的指导方针，对这个主题进行更准确（和更现实）的研究。
2021-12-13 cs.CR cs.DC cs.LG
FLCert: Provably Secure Federated Learning against Poisoning Attacks
Meta Platforms（Meta平台公司）；University of Science and Technology of China（中国科学技术大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）
由于其分布式性质，联邦学习容易受到中毒攻击，其中恶意客户端通过操纵其本地训练数据和/或发送到云服务器的本地模型更新来中毒训练过程，使得中毒的全局模型错误分类许多不加区分的测试输入或攻击者选择的输入。现有的防御主要利用拜占庭健壮的联邦学习方法或检测恶意客户端。但是，这些防御措施不具有针对中毒攻击的可证明的安全保证，并且可能容易受到更高级的攻击。在这项工作中，我们的目标是弥合差距，提出FLCert，一个集成的联邦学习框架，这是可证明安全的中毒攻击与有限数量的恶意客户端。我们的核心思想是将客户端分成组，使用任何现有的联邦学习方法为每组客户端学习一个全局模型，并在全局模型中进行多数投票以分类测试输入。具体来说，我们考虑了两种方法来对客户端进行分组，并相应地提出了FLCert的两种变体，即，FLCert-P在每个组中随机抽样客户端，FLCert-D确定性地将客户端划分到不相交的组。我们在多个数据集上进行的大量实验表明，我们的FLCert为测试输入预测的标签可证明不受有限数量的恶意客户端的影响，无论他们使用什么中毒攻击。
2022-10-04 cs.AI cs.CR cs.LG
How to Defend Against Large-scale Model Poisoning Attacks in Federated Learning: A Vertical Solution
University of Electronic Science and Technology of China（电子科技大学）
针对联邦学习中大规模模型投毒攻击导致横向防御失效的问题，提出VERT方法，利用历史梯度训练预测器并比较相似度以高效选择最优聚合梯度，实现优异的大规模防御效果。
2024-11-16 cs.CR cs.LG
