Data Poisoning Attacks in Intelligent Transportation Systems: A Survey
Southwest Jiaotong University（西南交通大学）；University of Washington（华盛顿大学）
本文综述了智能交通系统（ITS）中的数据投毒攻击，识别了易受攻击的数据源与应用场景，构建了通用分类框架，并探讨了当前局限与可信ITS的未来研究方向。
2024-07-06 cs.CR cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence（嵌入式智能公司）
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查，这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明，影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架，针对半监督学习方法，以更好地理解和利用其局限性，并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University（迪肯大学）
联邦学习（FL）能够在分布式客户端之间训练模型，而不会损害训练数据集的隐私，但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估，以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University（杜克大学）
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器，使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外，每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻（kNN）和半径近邻（rNN）具有固有的多数表决机制。在这项工作中，我们表明，在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证，对数据投毒攻击和后门攻击。此外，我们对MNIST和CIFAR 10的评估结果表明，kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
Transferable Availability Poisoning Attacks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出可迁移投毒攻击方法，利用对比学习中的对齐性与均匀性特性及有监督、无监督梯度信息生成扰动，显著提升投毒样本在不同学习算法和范式间的攻击可迁移性。
2024-06-06 cs.CR cs.LG
SecureLearn -- An Attack-agnostic Defense for Multiclass Machine Learning Against Data Poisoning Attacks
College of Computing, Birmingham City University, Birmingham, United Kingdom（计算学院，伯明翰城市大学，伯明翰，英国）
针对多类机器学习模型的数据投毒攻击，提出两层与攻击无关的防御SecureLearn，结合数据清洗与特征对抗训练，在多种算法和数据集上保持高准确率与鲁棒性。
2025-10-25 cs.CR cs.LG
Sybil-based Virtual Data Poisoning Attacks in Federated Learning
Department of Automation, Shanghai Jiao Tong University（自动化系，上海交通大学）；Sony AI（索尼人工智能）
针对联邦学习现有投毒攻击成本高的问题，提出基于Sybil的虚拟数据投毒攻击，结合梯度匹配虚拟数据生成与三类目标模型获取方案，可在非独立同分布数据下高效实现更强的全局投毒效果。
2025-05-15 cs.CR cs.LG
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley（加州大学伯克利分校）
深度学习模型已经在许多任务上实现了高性能，因此已经应用于许多安全关键场景。例如，基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序，如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中，我们考虑了一种新型的攻击，称为后门攻击，攻击者的目标是创建一个后门到一个基于学习的认证系统，使他可以很容易地绕过系统利用后门。具体地说，攻击者的目的是创建后门实例，从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地，我们研究了后门中毒攻击，利用中毒策略实现后门攻击。与现有的所有工作不同的是，我们研究的中毒策略可以应用在一个非常弱的威胁模型下：（1）对手不知道受害者系统使用的模型和训练集;（2）攻击者只允许注入少量的中毒样本;（3）后门密钥即使是人类也很难注意到，以实现隐身。我们进行了评估，以证明后门攻击者只能注入大约50个中毒样本，同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明，后门中毒攻击对学习系统构成了真正的威胁，因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
Data Poisoning Attacks Against Multimodal Encoders
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；University of Lausanne（洛桑大学）；University of Birmingham（伯明翰大学）
本文研究针对多模态编码器视觉与语言模态的数据投毒风险，提出三类攻击并比较模态脆弱性，同时给出训练前与训练后防御方法。
2023-06-05 cs.CR cs.LG
Provable Watermarking for Data Poisoning Attacks
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（数学科学国家重点实验室，数学与系统科学研究院，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of AI for Industries, Nanjing, China（产业人工智能研究院，南京，中国）
本文针对数据投毒攻击提出可证明的水印方案，包括投毒后水印和投毒并发水印，在保证水印可检测性和投毒效用的同时，通过理论分析和实验验证了其实际可行性。
2025-10-10 cs.CR cs.LG
Empirical Evaluation of Data Poisoning Attacks in Supervised Learning
Minot State University（迈诺特州立大学）
本研究在MNIST和Fashion-MNIST上实证评估标签翻转与后门投毒攻击，发现后门攻击隐蔽且成功率高，需安全导向评估。
2026-09-11 cs.CR cs.LG
Using Anomaly Detection to Detect Poisoning Attacks in Federated Learning Applications
Honda Research Institute EU（本田欧洲研究所）；University of Kent（肯特大学）；University of Lille（里尔大学）；ENSAIT；Dong A University（东亚大学）；International Research Institute for Artificial Intelligence and Data Science（人工智能与数据科学国际研究院）
针对联邦学习中的模型投毒攻击，提出一种基于公共数据集参考模型和审计模型、使用一类支持向量机（OC-SVM）的检测框架，计算复杂度低至O(K)，在ECG分类和HAR任务上优于现有SOTA检测方法。
2025-03-25 cs.CR cs.LG
Partner in Crime: Boosting Targeted Poisoning Attacks against Federated Learning
Virginia Tech（弗吉尼亚理工大学）；Kryptowire Labs（Kryptowire实验室）
本研究提出增强联邦学习定向投毒攻击的BoTPA方法，通过预训练阶段构建放大器集并篡改标签强化攻击，在多种防御机制下均显著提升攻击成功率。
2025-03-21 cs.CR cs.LG
Data Poisoning Attacks on Federated Machine Learning
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）
联合机器学习使得资源受限的节点设备（例如，移动电话和IoT设备）学习共享模型，同时保持训练数据本地，可以通过设计有效的通信协议来提供隐私、安全和经济效益。然而，不同节点之间的通信协议可以被攻击者利用来发起数据投毒攻击，这已经被证明是对大多数机器学习模型的巨大威胁。在本文中，我们试图探讨联邦机器学习的脆弱性。更具体地说，我们专注于攻击一个联邦多任务学习框架，这是一个联邦学习框架，通过采用一个通用的多任务学习框架来处理统计挑战。我们制定了联邦多任务学习的最佳中毒攻击的计算问题作为一个双层计划，是适应于任意选择的目标节点和源攻击节点。然后提出了一种新的系统感知优化方法ATTack on联邦学习（AT2FL），该方法可以有效地推导出中毒数据的隐式梯度，并进一步计算联邦机器学习中的最优攻击策略。我们的工作是一个早期的研究，考虑数据投毒攻击的问题，联邦学习。最后，在真实数据集上的实验结果表明，联邦多任务学习模型对投毒攻击非常敏感，无论攻击者是直接投毒目标节点，还是利用通信协议间接投毒相关节点。
2020-04-19 cs.CR cs.LG
Adversarial Poisoning Attacks and Defense for General Multi-Class Models Based On Synthetic Reduced Nearest Neighbors
University of California Merced（加州大学默塞德分校）；Tagliatela College of Engineering（塔利亚泰拉工程学院）；University of New Haven（纽黑文大学）
最先进的机器学习模型容易受到旨在破坏模型完整性的数据投毒攻击。然而，目前关于数据投毒攻击的文献主要集中在仅适用于特定机器学习模型的ad hoc技术上。此外，文献中现有的数据投毒攻击仅限于二进制分类器或基于梯度的算法。为了解决这些局限性，本文首先提出了一种新的无模型标签翻转攻击的基础上的多模态的数据，其中对手的目标是集群的类，而受标签翻转预算。我们提出的攻击算法的复杂性是线性的时间超过数据集的大小。此外，所提出的攻击可以增加错误高达两倍的相同的攻击预算。其次，提出了一种基于综合简化最近邻（SRNN）模型的防御技术。防御技术可以在训练过程中检测和排除翻转的样本。通过大量的实验分析，我们证明了（i）所提出的攻击技术可以大大降低几个模型的准确性，以及（ii）在所提出的攻击下，所提出的防御技术在恢复目标模型的准确性方面显着优于其他传统的机器学习模型。
2021-02-11 cs.CR cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University（杜克大学）
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而，这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中，我们提出了第一个基于假客户端的模型中毒攻击，称为MPAF。具体来说，我们假设攻击者将假客户端注入联邦学习系统，并在训练期间将精心制作的假本地模型更新发送到云服务器，这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标，我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说，在每一轮联邦学习中，假客户端都会制作指向基础模型的假本地模型更新，并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明，MPAF可以显着降低测试精度的全球模型，即使采用经典的防御和范数裁剪，突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST（韩国科学技术院计算机学院）；Samsung Research（三星研究院）；Data Science Group, Institute for Basic Science（基础科学研究院数据科学组）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文提出FedMID，一种无数据防御方法，通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击，实验证明其在多种计算条件和高级攻击下具有鲁棒性，促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning
Technical University of Darmstadt（达姆施塔特工业大学）；University of Würzburg（维尔茨堡大学）
本文提出FreqFed，一种基于频域分析的联邦学习聚合机制，通过将模型更新变换到频域并识别核心频率分量来过滤恶意更新，从而在不依赖攻击类型和数据分布假设的情况下有效缓解定向与非定向投毒攻击，且对模型效用影响极小。
2024-01-16 cs.CR cs.LG
Enhancing the Antidote: Improved Pointwise Certifications against Poisoning Attacks
University of Melbourne（墨尔本大学）；Defence Science and Technology Group（国防科技集团）
本文提出利用差分隐私和采样高斯机制实现逐点认证防御，使模型对有限投毒样本的预测不变，鲁棒性保证较先前方法提升两倍以上。
2024-03-18 cs.CR cs.LG
FedRDF: A Robust and Dynamic Aggregation Function against Poisoning Attacks in Federated Learning
University of Murcia（穆尔西亚大学）
本文提出一种基于傅里叶变换的鲁棒聚合机制FedRDF，通过将客户端权重投影至频域选择最高频率密度函数以排除恶意权重，无需预知攻击者数量即可有效抵御复杂投毒攻击，性能优于现有方法。
2024-02-15 cs.CR cs.LG
Pick your Poison: Undetectability versus Robustness in Data Poisoning Attacks
University of Waterloo（滑铁卢大学）
本文揭示了数据投毒攻击中不可检测性与鲁棒性之间的关键权衡，提出使用少量可信数据检测或修复投毒模型的防御方法，在CIFAR-10和ImageNet上有效缓解攻击且准确率损失极小，证明同时满足鲁棒与不可检测的攻击者威胁大幅降低。
2023-06-29 cs.CR cs.LG
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）；IBM
联邦学习本质上容易受到模型中毒攻击，因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低模型在目标子任务（例如将飞机分类为鸟类）上的性能。在这份报告中，我们介绍了\algoname{}，一种新的防御，使用全局top-k更新稀疏化和设备级梯度裁剪，以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击，并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性，我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
Online Data Poisoning Attack
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们研究了在线环境下的数据投毒攻击，其中训练项目顺序到达，攻击者可能会干扰当前项目来操纵在线学习。重要的是，攻击者不知道未来的训练项目，也不知道数据生成分布。我们将在线数据投毒攻击描述为一个随机最优控制问题，并使用模型预测控制和深度强化学习解决该问题。我们还上限的次优攻击所遭受的不知道数据生成分布。实验验证了我们的控制方法在监督和无监督学习任务上产生接近最优的攻击。
2019-05-30 cs.CR cs.LG stat.ML
Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
虽然最近的研究表明，联邦学习（FL）可能容易受到受损害的客户端的中毒攻击，但它们对生产FL系统的真正影响尚未完全了解。在这项工作中，我们的目标是通过列举所有可能的威胁模型，中毒的变化和对手的能力，对FL中毒攻击开发一个全面的系统化。我们特别把重点放在无针对性的中毒攻击上，因为我们认为它们与生产FL部署密切相关。我们提出了一个批判性的分析，无针对性的中毒攻击在实际的，生产FL环境下，仔细描述了一套现实的威胁模型和对抗能力。我们的研究结果是相当令人惊讶的：与既定的信念相反，我们表明，FL是非常强大的实践中，即使使用简单，低成本的防御。我们甚至更进一步，提出了新颖的，最先进的数据和模型中毒攻击，并通过在三个基准数据集上进行的一系列广泛的实验，展示了在存在简单防御机制的情况下，有效的中毒攻击是如何进行的。我们的目标是纠正以前的误解，并提供具体的指导方针，对这个主题进行更准确（和更现实）的研究。
2021-12-13 cs.CR cs.DC cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology（华中科技大学）；Wuhan University of Technology（武汉理工大学）；Georgia Institute of Technology（佐治亚理工学院）
机器学习技术已经广泛应用于各种应用。然而，它们可能容易受到数据投毒攻击，其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的：它们是针对一种特定类型的攻击而设计的，但不适用于其他类型，主要是由于它们遵循的不同原则。然而，很少有一般的防御战略已经制定。在本文中，我们提出了De-Pois，一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型，其目的是模仿目标模型的行为。我们利用生成对抗网络（GANs）来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异，De-Pois因此能够区分中毒样本和干净样本，而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击，并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明，De-Pois算法能够有效地检测出四种类型的中毒攻击，其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Mixed Strategy Game Model Against Data Poisoning Attacks
McMaster University（麦克马斯特大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
在本文中，我们使用博弈论模型中毒攻击场景。证明了攻击者与防御者博弈中不存在纯策略纳什均衡。然后，我们提出了一个混合扩展我们的游戏模型和算法来近似的纳什均衡策略的后卫。然后，我们证明了该算法产生的混合防御策略的有效性，在实验中。
2019-06-07 cs.CR cs.LG stat.ML
HINT: Healthy Influential-Noise based Training to Defend against Data Poisoning Attacks
University of Arkansas（阿肯色大学）
本文提出基于影响函数的高效鲁棒训练方法 HINT，通过构造健康噪声增强模型对投毒攻击的防御且不损失泛化能力，仅需修改训练数据子集即可在多种场景下有效抵御无目标和有目标投毒攻击。
2023-11-21 cs.AI cs.CR cs.LG
PORE: Provably Robust Recommender Systems against Data Poisoning Attacks
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
数据投毒攻击通过向推荐系统中注入具有精心制作的评级分数的虚假用户来欺骗推荐系统，从而做出任意的、攻击者期望的推荐。对于这种数据投毒攻击及其防御，我们设想了一种猫捉老鼠的游戏，即，新的防御被设计来防御现有的攻击，而新的攻击被设计来打破它们。为了防止这样的猫捉老鼠的游戏，我们提出了PORE，第一个框架，以建立可证明的强大的推荐系统在这项工作中。PORE可以将任何现有的推荐系统转换为可证明鲁棒的，以抵抗任何非目标性的数据投毒攻击，其目的是降低推荐系统的整体性能。假设PORE在没有攻击时向用户推荐顶级$N$项目。我们证明了在任何数据投毒攻击下，PORE仍然向用户推荐至少$r$的$N$项目，其中$r$是攻击中的假用户数量的函数。此外，我们设计了一个有效的算法来计算每个用户的$r$。我们在流行的基准数据集上对PORE进行了经验评估。
2023-03-26 cs.CR cs.IR cs.LG
Provably effective detection of effective data poisoning attacks
本文提出数据集投毒攻击的数学定义，证明有效投毒可被检测，并引入共形可分性检验，实验验证了现实场景中的检测有效性。
2025-01-21 cs.CR cs.CV cs.LG
A Framework of Randomized Selection Based Certified Defenses Against Data Poisoning Attacks
Shanghai JiaoTong University（上海交通大学）；The Hong Kong Polytechnic University（香港理工大学）
神经网络分类器容易受到数据投毒攻击，因为攻击者可以通过仅几个训练样本的投毒来降低甚至操纵它们的预测。然而，启发式防御的鲁棒性很难衡量。基于随机选择的防御可以通过对分类器对从训练集中采样的子数据集的预测求平均值来实现经过认证的鲁棒性。提出了一种基于随机选择的数据投毒攻击认证防御框架。具体地说，我们证明了满足一定条件的随机选择方案对数据投毒攻击是鲁棒的。我们还导出了合格随机选择方案的认证半径的解析形式。我们的框架导出的bagging的认证半径比以前的工作更紧。我们的框架允许用户通过利用关于训练集和中毒模型的先验知识来提高鲁棒性。在更高的先验知识水平下，我们可以在理论和实践上获得更高的认证精度。在MNIST 1/7、MNIST和CIFAR-10三个基准数据集上的实验表明，该方法的性能优于现有方法。
2020-10-13 cs.CR cs.LG stat.ML
Sonic: Fast and Transferable Data Poisoning on Clustering Algorithms
University of Genoa（热那亚大学）；Università Sapienza di Roma（罗马智慧大学）；University of Cagliari（卡利亚里大学）
针对聚类算法数据投毒攻击可扩展性差的问题，本文提出新型遗传投毒攻击Sonic，以增量可扩展聚类算法为代理加速对HDBSCAN等方法的攻击，验证了其有效性，并分析了影响投毒可扩展性与可迁移性的因素及超参数鲁棒性。
2024-08-14 cs.CR cs.CV cs.LG
Subpopulation Data Poisoning Attacks
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
机器学习系统部署在关键环境中，但它们可能会以意想不到的方式失败，影响其预测的准确性。针对机器学习的中毒攻击会导致对机器学习算法使用的数据进行对抗性修改，以在部署时选择性地改变其输出。在这项工作中，我们介绍了一种新的数据投毒攻击称为\emph{subpopulation attack}，这是特别相关的数据集是大而多样的。我们设计了一个子群体攻击的模块化框架，用不同的构建块实例化它，并表明攻击对各种数据集和机器学习模型是有效的。我们进一步优化攻击在连续域中使用影响函数和梯度优化方法。与现有的后门中毒攻击相比，子群攻击具有在推理时在自然分布的数据点中诱导错误分类的优点，使得攻击非常隐蔽。我们还表明，我们的攻击策略可以用来改善现有的有针对性的攻击。我们证明，在某些假设下，亚群攻击是不可能防御的，并以经验证明了现有防御措施对我们的攻击的局限性，突出了保护机器学习免受这种威胁的困难。
2021-05-12 cs.CR cs.LG stat.ML
Data Poisoning Attacks Against Federated Learning Systems
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）是一种新兴的大规模深度神经网络分布式训练范例，其中参与者的数据保留在他们自己的设备上，只有模型更新与中央服务器共享。然而，FL的分布式性质引起了潜在的恶意参与者所造成的新的威胁。在本文中，我们研究了有针对性的数据投毒攻击FL系统中的恶意子集的参与者的目的是通过发送来自错误标记的数据的模型更新中毒的全局模型。我们首先证明，这种数据投毒攻击可能会导致分类准确性和召回率大幅下降，即使有一小部分恶意参与者。我们还表明，攻击可以有针对性，即，它们只对受到攻击的类有很大的负面影响。我们还研究了早期/后期训练中的攻击寿命、恶意参与者可用性的影响以及两者之间的关系。最后，我们提出了一种防御策略，可以帮助识别FL中的恶意参与者，以规避中毒攻击，并证明其有效性。
2020-08-11 cs.CR cs.LG stat.ML
Accumulative Poisoning Attacks on Real-time Data
Tsinghua University（清华大学）；China Mobile Communications Group Co., Ltd.（中国移动通信集团有限公司）；Bosch（博世）；RealAI（瑞莱智慧）
从不受信任的来源收集训练数据会将机器学习服务暴露给中毒的对手，这些对手会恶意操纵训练数据以降低模型的准确性。当在离线数据集上训练时，中毒对手必须在训练之前提前注入中毒数据，并且将这些中毒批次送入模型的顺序是随机的。相比之下，实际的系统通常是在顺序捕获的实时的【形】数据上进行训练/微调，在这种情况下，中毒对手可以根据当前模型状态动态地毒害每个数据批次。本文针对实时的【形】设置，提出了一种新的攻击策略，将累积阶段与中毒攻击相结合，而不影响精度）放大了（中毒的）触发批次的破坏性效果。通过在MNIST和CIFAR-10上模拟在线学习和联邦学习，我们发现在累积阶段之后的触发批次上的单个更新步骤会显着降低模型精度。我们的工作验证了一个设计良好但简单的攻击策略可以显着放大中毒效果，而不需要探索复杂的技术。
2021-10-26 cs.CR cs.CV cs.LG
Find a Scapegoat: Poisoning Membership Inference Attack and Defense to Federated Learning
Yale University（耶鲁大学）；University of Louisville（路易斯维尔大学）；Guangdong Polytechnic Normal University（广东 polytechnic 正规大学）
本文提出针对联邦学习的投毒成员推理攻击FedPoisonMIA，通过恶意客户端构造本地更新推断成员信息，并设计鲁棒防御机制以减轻其影响。
2025-07-01 cs.CR cs.DC cs.LG
Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks
University of Maryland, College Park（马里兰大学帕克分校）
数据投毒和后门攻击操纵训练数据，以导致模型在推理过程中失败。最近对行业从业者的一项调查发现，数据投毒是从模型窃取到对抗攻击等威胁中的头号问题。然而，考虑到这些方法，即使是目标相同的方法，也没有在一致或现实的环境中进行过测试，因此仍然不清楚投毒方法的危险程度以及哪些方法更有效。我们观察到，数据投毒和后门攻击是高度敏感的测试设置的变化。此外，我们发现，现有的方法可能无法推广到现实的设置。虽然这些现有的作品作为数据投毒的有价值的原型，我们应用严格的测试，以确定我们应该害怕他们的程度。为了促进公平比较，在未来的工作中，我们开发了标准化的基准数据投毒和后门攻击。
2021-06-17 cs.CR cs.CV cs.CY
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden（瑞典人工智能）；Beacom College（比科姆学院）；Dakota State University（达科他州立大学）
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测（AADD）。通过将每个客户端的准确度与所有客户端的平均准确度进行比较，AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单，从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果，在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
Poisoning Semi-supervised Federated Learning via Unlabeled Data: Attacks and Defenses
City University of Hong Kong（香港城市大学）；Monash University（莫纳什大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
半监督联邦学习（SSFL）由于其实用性而受到广泛关注，即，客户端可以仅具有未标记的数据。在实践中，这些SSFL系统通过将“猜测”标签分配给标记数据附近的未标记数据来实现半监督训练，以将无监督问题转换为全监督问题。然而，这种半监督训练技术的固有属性创建了一个新的攻击面。在本文中，我们发现并揭示了一个简单而强大的中毒攻击SSFL。我们的攻击利用半监督学习的自然特性，通过毒害未标记的数据来使模型中毒。具体来说，攻击者只需要插入少量恶意制作的未标记样本（例如，仅为数据集的0.1\ %）以影响模型性能和误分类。大量的案例研究表明，我们的攻击是有效的不同的数据集和常见的半监督学习方法。为了减轻攻击，我们提出了一种辩护，即，基于极小极大优化的客户端选择策略，使服务器能够选择持有正确标签信息和高质量更新的客户端。我们的防御进一步采用了基于质量的聚合规则，以加强所选更新的贡献。在不同攻击条件下的评估表明，所提出的防御可以很好地减轻这种未标记的中毒攻击。我们的研究揭示了SSFL对未标记中毒攻击的脆弱性，并为社区提供了潜在的防御方法。
2022-05-07 cs.CR cs.DC cs.LG
Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
在联邦学习中，多个客户端设备联合学习机器学习模型：每个客户端设备维护其本地训练数据集的本地模型，而主设备通过聚合来自客户端设备的本地模型来维护全局模型。机器学习社区最近提出了几种联邦学习方法，这些方法被声称对拜占庭式故障具有鲁棒性（例如，系统故障、对抗性操纵）。在这项工作中，我们进行了第一次系统的研究局部模型中毒攻击联邦学习。我们假设攻击者已经危害了一些客户端设备，并且攻击者在学习过程期间操纵被危害的客户端设备上的本地模型参数，使得全局模型具有大的测试出错率。我们制定我们的攻击优化问题，并将我们的攻击，最近拜占庭强大的联邦学习方法。我们在四个真实世界数据集上的实证结果表明，我们的攻击可以大大增加通过联邦学习方法学习的模型的出错率，这些方法声称对某些客户端设备的拜占庭故障具有鲁棒性。我们概括了两种防御数据投毒攻击，以抵御我们的本地模型中毒攻击。我们的评估结果表明，在某些情况下，一种防御可以有效地防御我们的攻击，但在其他情况下，防御不够有效，突出了对我们的本地模型中毒攻击联邦学习的新防御的需要。
2021-11-21 cs.CR cs.DC cs.LG
Energy-Latency Attacks via Sponge Poisoning
University of Genoa（热那亚大学）；University of Cagliari（卡利亚里大学）
本研究提出海绵投毒这一新型训练时攻击，在不影响分类精度的前提下恶化神经网络对任意测试输入的能耗和预测延迟，实验验证其有效性且修复成本高，凸显该问题亟待解决。
2025-04-18 cs.CR cs.CV cs.LG
Excess Capacity and Backdoor Poisoning
Toyota Technological Institute Chicago（芝加哥丰田技术研究所）
后门数据投毒攻击是一种对抗攻击，其中攻击者将几个带水印的、错误标记的训练样本注入训练集中。水印不会影响模型在典型数据上的测试时性能;然而，模型在水印示例上可靠地出错。为了更好地了解后门数据投毒攻击的基础，我们提出了一个正式的理论框架内，可以讨论后门数据投毒攻击的分类问题。然后，我们使用它来分析围绕这些攻击的重要统计和计算问题。在统计方面，我们确定了一个参数，我们称之为记忆能力，它捕捉了学习问题对后门攻击的内在脆弱性。这使我们能够讨论几个自然学习问题对后门攻击的鲁棒性。我们的研究结果有利于攻击者提出明确的构造后门攻击，我们的鲁棒性结果表明，一些自然的问题设置不能产生成功的后门攻击。从计算的角度来看，我们证明了在某些假设下，对抗训练可以检测到训练集中后门的存在。然后，我们表明，在类似的假设下，两个密切相关的问题，我们称之为后门过滤和强大的推广几乎是等价的。这意味着，设计能够识别训练集中的水印示例的算法，以获得既能很好地推广到看不见的数据又对后门具有鲁棒性的学习算法，这是渐进必要的，也是足够的。
2021-11-03 cs.CR cs.LG stat.ML
FLCert: Provably Secure Federated Learning against Poisoning Attacks
Meta Platforms（Meta平台公司）；University of Science and Technology of China（中国科学技术大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）
由于其分布式性质，联邦学习容易受到中毒攻击，其中恶意客户端通过操纵其本地训练数据和/或发送到云服务器的本地模型更新来中毒训练过程，使得中毒的全局模型错误分类许多不加区分的测试输入或攻击者选择的输入。现有的防御主要利用拜占庭健壮的联邦学习方法或检测恶意客户端。但是，这些防御措施不具有针对中毒攻击的可证明的安全保证，并且可能容易受到更高级的攻击。在这项工作中，我们的目标是弥合差距，提出FLCert，一个集成的联邦学习框架，这是可证明安全的中毒攻击与有限数量的恶意客户端。我们的核心思想是将客户端分成组，使用任何现有的联邦学习方法为每组客户端学习一个全局模型，并在全局模型中进行多数投票以分类测试输入。具体来说，我们考虑了两种方法来对客户端进行分组，并相应地提出了FLCert的两种变体，即，FLCert-P在每个组中随机抽样客户端，FLCert-D确定性地将客户端划分到不相交的组。我们在多个数据集上进行的大量实验表明，我们的FLCert为测试输入预测的标签可证明不受有限数量的恶意客户端的影响，无论他们使用什么中毒攻击。
2022-10-04 cs.AI cs.CR cs.LG
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology（麻省理工学院）
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而，关于它们对无监督对比学习（CL）的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒（CP），第一个有效的这种攻击CL。我们的经验表明，对比中毒，不仅大大降低了CL算法的性能，但也攻击监督学习模型，使其成为最普遍的无差别中毒攻击。我们还表明，CL算法与动量编码器是更强大的不分青红皂白中毒，并提出了一个新的对策的基础上矩阵完成。代码可在：https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
Systematic Evaluation of Backdoor Data Poisoning Attacks on Image Classifiers
Western Washington University（西华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
后门数据投毒攻击最近在计算机视觉研究中被证明是机器学习（ML）系统的潜在安全风险。传统的数据投毒攻击操纵训练数据以引起ML模型的不可靠性，而后门数据投毒攻击维持系统性能，除非ML模型呈现包含嵌入式“触发器”的输入，该输入提供对对手有利的预定响应。我们的工作建立在ML图像分类器的后门数据中毒研究的基础上，并系统地评估了不同的实验条件，包括触发模式的类型，再训练过程中触发模式的持续性，中毒策略，架构（ResNet-50，NasNet，NasNet-Mobile），数据集（Flowers，CIFAR-10）和潜在的防御正则化技术（对比损失，Logit挤压，流形混淆，软最近邻损失）。实验产生了四个关键发现。首先，后门中毒攻击的成功率差异很大，这取决于几个因素，包括模型架构，触发模式和正则化技术。其次，我们发现中毒模型很难通过性能检查单独检测。第三，正则化通常会降低后门成功率，尽管它可能没有影响，甚至会稍微增加它，这取决于正则化的形式。最后，通过数据投毒插入的后门可以在一小部分干净数据上进行几次额外训练后变得无效，而不会影响模型的性能。
2020-04-24 cs.CR cs.CV cs.LG
Label Flipping Data Poisoning Attack Against Wearable Human Activity Recognition System
Robert Morris University（罗伯特·莫里斯大学）；Southern Illinois University（南伊利诺伊大学）；Louisiana State University Shreveport（路易斯安那州立大学什里夫波特分校）
人类活动识别（HAR）是一个使用有效的机器学习（ML）方法将传感器数据解释为人类运动的问题。HAR系统依赖于来自不受信任用户的数据，这使得它们容易受到数据投毒攻击。在中毒攻击中，攻击者操纵传感器读数来污染训练集，误导HAR产生错误的结果。针对HAR系统，设计了一种标签翻转数据投毒攻击，在数据汇集阶段恶意更改传感器读数的标签。由于传感环境中的高噪声和不确定性，这种攻击对识别系统构成严重威胁。此外，当活动识别模型部署在安全关键型应用中时，标签翻转攻击的脆弱性是危险的。本文揭示了如何通过基于智能手机的传感器数据汇集应用程序在实践中进行攻击。据我们所知，这是一个早期的研究工作，探索通过标签翻转中毒攻击HAR模型。我们实现了所提出的攻击，并在基于以下机器学习算法的活动识别模型上进行了测试：多层感知器，决策树，随机森林和XGBoost。最后，我们评估的有效性K-最近邻（KNN）为基础的防御机制对建议的攻击。
2022-08-17 cs.CR cs.HC cs.LG
Exact Certification of Data-Poisoning Attacks Using Mixed-Integer Programming
Department of Computing, Imperial College London（帝国理工学院伦敦分校计算机系）；The Alan Turing Institute（阿兰·图灵研究院）
本文提出了一种基于混合整数规划的框架，用于精确认证神经网络训练期间的数据中毒攻击的鲁棒性。
2026-02-18 cs.LG
XFED: Non-Collusive Model Poisoning Attack Against Byzantine-Robust Federated Classifiers
Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学）；TigerIT Bangladesh Ltd.（TigerIT孟加拉有限公司）
XFED提出一种无需协调的模型污染攻击，通过独立恶意更新绕过现有防御，证明联邦学习系统存在重大安全漏洞。
2026-04-10 cs.AI cs.CR cs.DC
BagFlip: A Certified Defense against Data Poisoning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器学习模型容易受到数据中毒攻击，其中攻击者恶意修改训练集以改变学习模型的预测。在无后门攻击中，攻击者可以修改训练集，但不能修改测试输入，而在后门攻击中，攻击者还可以修改测试输入。现有的与模型无关的防御方法或者不能处理后门攻击或者不提供有效的证书（即，一个辩护的证据）。我们提出了BagFlip，一个模型无关的认证方法，可以有效地抵御无防火墙和后门攻击。我们在图像分类和恶意软件检测数据集上评估BagFlip。BagFlip等于或比最先进的方法更有效地用于无恶意攻击，并且比最先进的方法更有效地用于后门攻击。
2022-10-16 cs.LG
Poisoning Attack against Estimating from Pairwise Comparisons
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Jiangxi Normal University（江西师范大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
随着成对排名被广泛用于选举、体育比赛、推荐等，攻击者有很强的动机和动机来操纵排名列表。他们可以在训练数据中注入恶意的比较来欺骗受害者。这种技术在回归和分类任务中被称为中毒攻击。在本文中，据我们所知，我们发起了第一个系统的调查数据投毒攻击对成对排名算法，它可以被形式化为动态和静态之间的游戏排名和攻击者，可以建模为某些类型的整数规划问题。为了克服整数规划问题的计算障碍，我们将其转化为分布式鲁棒优化（DRO）问题。基于这样的DRO公式，我们提出了两个有效的中毒攻击算法，并建立相关的理论保证。一系列的玩具模拟和几个真实的数据实验证明了建议的中毒攻击策略的有效性。这些实验结果表明，所提出的方法可以显着降低排名的性能，在这个意义上，真实的排名列表和聚合结果之间的相关性可以显着降低。
2021-07-05 cs.AI cs.CR cs.GT
DMPA: Model Poisoning Attacks on Decentralized Federated Learning for Model Differences
armasuisse Science & Technology（瑞士Armasuisse科技公司）
本文针对去中心化联邦学习提出DMPA模型投毒攻击，通过计算多个恶意客户端模型的差分特征获取最优投毒策略并实施共谋攻击，在多个数据集上验证其优于现有最先进攻击方法。
2025-02-07 cs.AI cs.LG
Data Poisoning Attacks against Online Learning
University of California, San Diego（加州大学圣迭戈分校）
我们考虑数据投毒攻击，这是对机器学习的一类对抗攻击，其中对手有能力改变一小部分训练数据，以使训练的分类器满足某些目标。虽然之前已经有很多关于数据投毒的工作，但大多数都是在离线环境中进行的，并且对于在线学习的攻击（其中训练数据以流式方式到达）还没有得到很好的理解。在这项工作中，我们发起了一个系统的调查数据投毒攻击的在线学习。我们正式的问题分为两个设置，我们提出了一个一般的攻击策略，制定为一个优化问题，适用于两者进行一些修改。我们提出了三种解决方案的策略，并进行了广泛的实验评估。最后，我们讨论了我们的研究结果对建立成功的防御的影响。
2018-08-27 cs.LG stat.ML
TESSERACT: Gradient Flip Score to Secure Federated Learning Against Model Poisoning Attacks
Purdue University（普渡大学）
联邦学习--分散环境中的多方分布式学习-容易受到模型中毒攻击，甚至比集中式学习方法更容易受到攻击。这是因为恶意客户端可以串通并发送精心定制的模型更新，以使全局模型不准确。这推动了拜占庭弹性联邦学习算法的开发，例如Krum、Bulyan、FABA和FoolsGold。然而，最近开发的无目标模型中毒攻击表明，所有先前的防御都可以被绕过。这种攻击利用的直觉是，对于一组恶意客户端，只需改变优化器正在计算的梯度更新的符号，就可以使模型偏离最优值，从而增加测试出错率。在这项工作中，我们开发了TESSERACT-针对这种定向偏差攻击的防御，一种最先进的模型中毒攻击。TESSERACT基于一个简单的直觉，即在联邦学习设置中，某些梯度翻转模式表示攻击。这种直觉在不同的学习算法、模型和数据集上非常稳定。TESSERACT根据参与客户在训练阶段的行为为他们分配信誉分数，然后对客户的贡献进行加权。我们表明，TESSERACT提供了鲁棒性，即使是白盒版本的攻击。
2021-10-19 cs.LG
Data Poisoning Attacks on Neighborhood-based Recommender Systems
Sun Yat-Sen University（中山大学）；South China University of Technology（华南理工大学）
目前，协同过滤推荐系统已被广泛应用于商业企业中以获取利润。基于邻域的协同过滤是一种常见而有效的方法。到目前为止，尽管它的有效性，有很少的努力，以探讨其鲁棒性和数据投毒攻击对其性能的影响。基于邻域的推荐系统容易被愚弄吗？为此，我们揭示了基于邻域的推荐系统的鲁棒性，并提出了一种新的数据投毒攻击框架编码的攻击目的和约束。首先给出了如何计算最优的数据投毒攻击，即UNAttack。我们注入一些精心设计的假用户的推荐系统，使目标项目将推荐给尽可能多的正常用户。在三个真实数据集上进行了大量的实验，以验证我们提出的方法的有效性和可移植性。此外，还发现了一些有趣的现象，例如：1）基于邻域的推荐系统具有很强的鲁棒性。2)虚假用户可以被转移到攻击最先进的协同过滤推荐系统，如神经协同过滤和贝叶斯个性化排名矩阵分解。
2019-12-01 cs.CR cs.IR cs.LG
