Poisoning Federated Recommender Systems with Fake Users
University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）
本文提出了一种名为PoisonFRS的新型虚假用户投毒攻击方法，无需额外信息即可在联邦推荐系统中推广攻击者选定的目标项目，实验证明其效果优于依赖额外信息的现有基准。
2024-02-18 cs.CR cs.IR cs.LG
A Survey on Federated Learning Poisoning Attacks and Defenses
本文针对联邦学习中客户端数据与本地训练不可见带来的安全风险，系统调研投毒攻击及相应防御的最先进方案，并指出未来研究方向。
2023-06-06 cs.CR
Unveiling Vulnerabilities of Contrastive Recommender Systems to Poisoning Attacks
Chongqing University（重庆大学）；The University of Queensland（昆士兰大学）；Peking University（北京大学）
本文揭示对比推荐系统因InfoNCE损失导致的表示均匀分布而易受投毒攻击，提出双目标攻击框架（分散促进与排名提升），并在四个数据集上验证其威胁，旨在推动更鲁棒的CL推荐系统发展。
2024-05-25 cs.CR cs.IR cs.LG
An Investigation of Data Poisoning Defenses for Online Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
数据投毒攻击--攻击者可以修改一小部分训练数据，目的是迫使训练好的分类器丢失大量数据--在许多应用中是机器学习的一个重要威胁。虽然先前的工作已经开发了攻击和防御，但对于各种攻击和防御何时有效并没有太多的一般性理解。在这项工作中，我们进行了严格的研究防御数据投毒的在线学习。首先，我们在一个强大的威胁模型中研究了四种标准防御，并提供了它们可以允许或抵抗快速中毒的条件。然后，我们考虑一个较弱的和更现实的威胁模型，并表明，对手的成功存在的数据投毒防御依赖于“轻松”的学习问题。
2020-02-19 cs.CR cs.LG stat.ML
RECESS Vaccine for Federated Learning: Proactive Defense Against Model Poisoning Attacks
针对联邦学习中模型投毒攻击防御效果差、难区分良性离群值与恶意梯度的问题，提出主动防御方法RECESS，通过主动查询检测恶意客户端、多轮关联信任评分实现鲁棒聚合，实验证明其防御效果优于现有经典和前沿方法。
2023-10-09 cs.CR
Defense Strategies Toward Model Poisoning Attacks in Federated Learning: A Survey
分布式机器学习的进步可以增强未来的通信和网络。联邦学习（FL）的出现为分布式机器学习提供了一个有效的框架，但它仍然面临着许多安全挑战。其中，模型中毒攻击对FL的安全性和性能有着重要的影响。鉴于已经有许多研究专注于防御模型中毒攻击，有必要对现有工作进行调查，并提供见解，以启发未来的研究。在本文中，我们首先将模型中毒攻击的防御机制分为两类：局部模型更新的评估方法和全局模型的聚合方法。然后，我们详细分析了现有的一些防御策略。我们还讨论了一些潜在的挑战和未来的研究方向。据我们所知，我们是第一个调查模型中毒攻击在FL的防御方法。
2022-02-13 cs.CR cs.DC
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University（迪肯大学）
联邦学习（FL）能够在分布式客户端之间训练模型，而不会损害训练数据集的隐私，但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估，以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
VENOMREC: Cross-Modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommender Systems
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Alibaba Group（阿里巴巴集团）
VENOMREC通过跨模态交互性污染技术，在多模态大语言模型推荐系统中实现定向推广，有效提升推荐性能。
2026-07-22 cs.CR
Influence Function based Data Poisoning Attacks to Top-N Recommender Systems
Iowa State University（爱荷华州立大学）；Duke University（杜克大学）
推荐系统是Web服务吸引用户的重要组成部分。流行的推荐系统使用大量众包的用户-物品交互数据来对用户偏好和物品属性进行建模，例如，评级分数;然后向用户推荐与用户偏好最佳匹配的前$N$项目。在这项工作中，我们表明，攻击者可以发起一个数据投毒攻击的推荐系统，使建议，攻击者的愿望，通过注入假用户精心制作的用户项目交互数据。具体来说，攻击者可以欺骗推荐系统向尽可能多的普通用户推荐目标项目。我们专注于基于矩阵分解的推荐系统，因为他们已经被广泛部署在工业。给定攻击者可以注入的虚假用户的数量，我们将虚假用户的评级分数制定为优化问题。然而，这个优化问题是具有挑战性的解决，因为它是一个非凸整数规划问题。为了应对这一挑战，我们开发了几种技术来近似解决优化问题。例如，我们利用影响力函数来选择对推荐有影响力的正常用户的子集，并基于这些有影响力的用户来解决我们的公式化优化问题。我们的结果表明，我们的攻击是有效的，优于现有的方法。
2020-05-31 cs.CR cs.IR cs.LG
A Learning-Based Attack Framework to Break SOTA Poisoning Defenses in Federated Learning
本文提出一种基于优化的攻击框架，通过绕过裁剪或过滤策略打破联邦学习中新型鲁棒聚合器的SOTA投毒防御，并在多数据集和威胁模型下验证有效性，呼吁开发新型防御措施。
2024-07-25 cs.CR
IndirectAD: Practical Data Poisoning Attacks against Recommender Systems for Item Promotion
Luddy School of Informatics, Computing, and Engineering, Indiana University Bloomington（印第安纳大学布卢明顿分校卢迪信息、计算与工程学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院）；School of Cyberscience and Technology, Sun Yat-sen University（中山大学网络空间科学与技术学院）；Department of Computer Science, Worcester Polytechnic Institute（伍斯特理工学院计算机科学系）
本文提出IndirectAD数据投毒攻击，通过先推广触发物品再利用共现数据间接推广目标物品，仅需0.05%用户即可显著操纵推荐结果，揭示了对推荐系统更现实的威胁。
2026-09-23 cs.CR
APBench: A Unified Benchmark for Availability Poisoning Attacks and Defenses
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Macau（澳门大学）
APBench通过统一9种投毒攻击、8种防御算法和4种数据增强技术的评估基准，系统检验了可用性投毒在不同投毒比例、多数据集和跨模型架构下的攻防能力，揭示了现有攻击在隐私保护上的不足。
2023-08-07 cs.CR cs.CV
A Framework of Randomized Selection Based Certified Defenses Against Data Poisoning Attacks
Shanghai JiaoTong University（上海交通大学）；The Hong Kong Polytechnic University（香港理工大学）
神经网络分类器容易受到数据投毒攻击，因为攻击者可以通过仅几个训练样本的投毒来降低甚至操纵它们的预测。然而，启发式防御的鲁棒性很难衡量。基于随机选择的防御可以通过对分类器对从训练集中采样的子数据集的预测求平均值来实现经过认证的鲁棒性。提出了一种基于随机选择的数据投毒攻击认证防御框架。具体地说，我们证明了满足一定条件的随机选择方案对数据投毒攻击是鲁棒的。我们还导出了合格随机选择方案的认证半径的解析形式。我们的框架导出的bagging的认证半径比以前的工作更紧。我们的框架允许用户通过利用关于训练集和中毒模型的先验知识来提高鲁棒性。在更高的先验知识水平下，我们可以在理论和实践上获得更高的认证精度。在MNIST 1/7、MNIST和CIFAR-10三个基准数据集上的实验表明，该方法的性能优于现有方法。
2020-10-13 cs.CR cs.LG stat.ML
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Defending Against Neural Network Model Inversion Attacks via Data Poisoning
针对模型反转攻击的隐私威胁及现有防御效用损失大、需重训练的问题，提出基于数据投毒的LPA和LFP两种无需重训练的防御方法，其中LPA效果优于现有最优方案，可平衡隐私保护与模型效用。
2024-12-10 cs.CR
Unilateral Antidotes to DNS Cache Poisoning
我们调查防御DNS缓存中毒的机制，可以很容易地部署单方面的解决组织，最好是在一个单一的网关或代理。DNS中毒（仍然）是互联网安全的主要威胁;坚定的欺骗攻击者通常能够绕过当前部署的解毒剂，如端口随机化。DNSSEC的采用将阻止DNS中毒，这仍然是一个长期的挑战。我们讨论了突出的解析器防御的局限性，主要是端口和IP随机化，0x 20编码和生日保护。然后，我们提出了两个新的（单边）防御：三明治解毒剂和NAT解毒剂。该防御简单、有效且高效，并且可以在将解析器连接到Internet的网关中实现。三明治解毒剂由两个阶段组成：中毒-攻击检测和预防。NAT解毒剂通过将解析器的IP地址切换到随机地址（属于同一自治系统）来向DNS请求添加熵。最后，我们展示了如何在网关中实现生日保护机制，从而允许将具有相同查询的DNS请求的数量限制为1，即使解析器不支持此功能。
2012-09-07 cs.CR
Defending Against Beta Poisoning Attacks in Machine Learning Models
Department of Computer Engineering Acıbadem University Istanbul, Turkiye（计算机工程系 阿克萨德梅大学 伊斯坦布尔，土耳其）；Department of Computer Engineering Koç University Istanbul, Turkiye（计算机工程系 科大学 伊斯坦布尔，土耳其）
针对Beta投毒攻击，提出四种防御策略（KPB、NCC、CBD、MDT），基于投毒样本邻近性和均值中心特征，实验表明KPB和MDT达完美性能，CBD和NCC亦强效。
2025-08-02 cs.AI cs.CR
On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks
University of Maryland（马里兰大学）
本文针对数据投毒攻击，评估了Deep Partition Aggregation等聚合防御的实践表现，提出了提升模型扩展效率的方法，并揭示了投毒过拟合现象是增强鲁棒性的关键机制。
2023-06-28 cs.AI cs.CR cs.CV
Retrieval-Augmented Review Generation for Poisoning Recommender Systems
University of New South Wales and CSIRO’s Data61（新南威尔士大学和CSIRO的Data61）
本文提出RAGAN框架，利用多模态基础模型的上下文学习能力，结合演示检索和文本风格迁移，生成高质量虚假用户画像，以提升对黑盒推荐系统投毒攻击的可迁移性与隐蔽性。
2025-11-06 cs.CL cs.CR cs.IR
SteganoBackdoor: Evading Data-Poisoning Defenses via Steganographic Backdoors
UC San Diego（圣迭戈大学）
SteganoBackdoor通过隐写学方法在流畅句子中隐蔽地植入后门，实现对语言模型的高效隐蔽攻击。
2026-09-21 cs.CL cs.CR cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology（华中科技大学）；Wuhan University of Technology（武汉理工大学）；Georgia Institute of Technology（佐治亚理工学院）
机器学习技术已经广泛应用于各种应用。然而，它们可能容易受到数据投毒攻击，其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的：它们是针对一种特定类型的攻击而设计的，但不适用于其他类型，主要是由于它们遵循的不同原则。然而，很少有一般的防御战略已经制定。在本文中，我们提出了De-Pois，一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型，其目的是模仿目标模型的行为。我们利用生成对抗网络（GANs）来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异，De-Pois因此能够区分中毒样本和干净样本，而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击，并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明，De-Pois算法能够有效地检测出四种类型的中毒攻击，其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Benchmarking Poisoning Attacks against Retrieval-Augmented Generation
Nankai University（南开大学）；University of Louisville（路易斯安那大学）；University of North Texas（北卡罗来纳州立大学）
该研究提出首个针对检索增强生成（RAG）投毒攻击的综合性基准框架，涵盖5个标准QA数据集及10个扩展变体、13种攻击方法和7种防御机制，发现现有攻击在扩展数据集上效果显著下降，且多种先进RAG架构仍易受攻击，现有防御缺乏稳健性。
2025-05-24 cs.CR cs.IR cs.LG
SecureLearn -- An Attack-agnostic Defense for Multiclass Machine Learning Against Data Poisoning Attacks
College of Computing, Birmingham City University, Birmingham, United Kingdom（计算学院，伯明翰城市大学，伯明翰，英国）
针对多类机器学习模型的数据投毒攻击，提出两层与攻击无关的防御SecureLearn，结合数据清洗与特征对抗训练，在多种算法和数据集上保持高准确率与鲁棒性。
2025-10-25 cs.CR cs.LG
Breaking the De-Pois Poisoning Defense
对机器学习模型的攻击，从它们的概念开始，就一直是一个非常持久和回避的问题，就像一个无休止的猫捉老鼠游戏。这种攻击的一个主要变体是中毒攻击，它可以间接操纵ML模型。多年来已经观察到，大多数提出的有效防御模型仅在攻击者不知道它们被使用时才有效。在本文中，我们表明，攻击不可知的德布瓦防御几乎是一个例外，这一规则。事实上，我们证明了它的脆弱性，最简单的白盒和黑盒攻击的攻击者知道的De-Pois防御模型的结构。从本质上讲，De-Pois防御依赖于批评者模型，该模型可用于在将有毒数据传递给目标模型之前检测有毒数据。在我们的工作中，我们通过复制批评者模型，然后同时对批评者和目标模型执行组合梯度符号攻击来打破这个中毒保护层-允许我们绕过批评者防火墙来毒害目标模型。
2022-04-03 cs.CR cs.LG
Knowledge Base Poisoning Attacks and Defense for Policy-Aware LLM-RAG Framework
Tennessee Tech University（田纳西科技大学）；University of North Carolina at Pembroke（北卡罗来纳大学彭布罗克分校）；Texas A&M University - Central Texas（德克萨斯农工大学中央德州分校）
研究针对战场物联网任务控制的PA-LLM-RAG框架的对抗安全。提出查询无关语义检索中毒攻击，能注入规则致大语言模型上下文损坏。还提出CLD-KB防御框架，在检测中毒和知识保存方面性能优异。
2026-07-07 cs.CR
Data Poisoning Attacks to Deep Learning Based Recommender Systems
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；Duke University（杜克大学）；West Virginia University（西弗吉尼亚大学）
推荐系统在帮助用户在Amazon、YouTube和Google News等各种网络服务中找到感兴趣的信息方面发挥着至关重要的作用。各种推荐系统，从基于邻域、基于关联规则、基于矩阵分解到基于深度学习，已经被开发并部署在工业中。其中，基于深度学习的推荐系统由于其优越的性能而越来越受欢迎。在这项工作中，我们进行了第一次系统的研究数据投毒攻击的深度学习为基础的推荐系统。攻击者的目标是操纵推荐系统，以便将攻击者选择的目标项目推荐给许多用户。为了实现这一目标，我们的攻击注入虚假用户精心制作的评级推荐系统。具体来说，我们制定我们的攻击作为一个优化问题，这样注入的收视率将最大限度地提高正常用户的目标项目被推荐给谁。然而，它是具有挑战性的解决问题，因为它是一个非凸整数规划问题。为了应对这一挑战，我们开发了多种技术来近似解决优化问题。我们在三个真实世界的数据集，包括小型和大型数据集上的实验结果表明，我们的攻击是有效的，优于现有的攻击。此外，我们试图通过统计分析正常和虚假用户的评级模式来检测虚假用户。我们的研究结果表明，我们的攻击仍然是有效的，优于现有的攻击，即使这样的检测器部署。
2021-01-08 cs.AI cs.CR
SoK: Benchmarking Poisoning Attacks and Defenses in Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）；Jinan University（暨南大学）
本文提出统一基准FLPoison，系统分类并对比评估联邦学习中15种投毒攻击与17种防御策略，揭示其单独及相互有效性，为该领域提供设计原则与研究基础。
2025-02-06 cs.AI cs.CR cs.LG
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST（韩国科学技术院计算机学院）；Samsung Research（三星研究院）；Data Science Group, Institute for Basic Science（基础科学研究院数据科学组）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文提出FedMID，一种无数据防御方法，通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击，实验证明其在多种计算条件和高级攻击下具有鲁棒性，促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
Stealthy Poisoning Attacks Bypass Defenses in Regression Settings
IBM Research Europe, Portal, First Floor Trinity Business School, Trinity College Dublin（IBM欧洲研究院，波特尔大楼，特里尼蒂商务学校，特里尼蒂学院都柏林）；Imperial College London, South Kensington Campus（伦敦帝国理工学院，南肯辛顿校区）；Universidad de Alcalá de Henares, Escuela Politécnica Superior（阿尔卡萨大学，工程技术学院）；Defence Science and Technology Laboratory (DSTL), Porton Down, Salisbury（国防科学与技术实验室（DSTL），波特恩道，萨里）
本文提出了一种隐秘污染攻击的新方法，并开发了BayesClean防御机制，以提升回归模型在面对隐秘攻击时的鲁棒性。
2026-03-02 cs.AI cs.CR cs.LG
Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks Without an Accuracy Tradeoff
University of Maryland, College Park（马里兰大学帕克分校）；University of Siegen（锡根大学）
数据投毒和后门攻击通过恶意修改训练数据来操纵受害者模型。鉴于这一日益严重的威胁，最近对行业专业人士进行的一项调查显示，私营部门对数据投毒的担忧加剧。许多以前的中毒防御要么在面对越来越强大的攻击时失败，要么它们显着降低性能。然而，我们发现强大的数据增强，如mixup和CutMix，可以显着减少中毒和后门攻击的威胁，而不会牺牲性能。我们进一步验证了这种简单的防御自适应中毒方法的有效性，我们比较基线，包括流行的差分私有SGD（DP-SGD）防御。在后门的背景下，CutMix大大减轻了攻击，同时将验证准确率提高了9%。
2020-11-18 cs.CR cs.LG
Adversarial Poisoning Attacks and Defense for General Multi-Class Models Based On Synthetic Reduced Nearest Neighbors
University of California Merced（加州大学默塞德分校）；Tagliatela College of Engineering（塔利亚泰拉工程学院）；University of New Haven（纽黑文大学）
最先进的机器学习模型容易受到旨在破坏模型完整性的数据投毒攻击。然而，目前关于数据投毒攻击的文献主要集中在仅适用于特定机器学习模型的ad hoc技术上。此外，文献中现有的数据投毒攻击仅限于二进制分类器或基于梯度的算法。为了解决这些局限性，本文首先提出了一种新的无模型标签翻转攻击的基础上的多模态的数据，其中对手的目标是集群的类，而受标签翻转预算。我们提出的攻击算法的复杂性是线性的时间超过数据集的大小。此外，所提出的攻击可以增加错误高达两倍的相同的攻击预算。其次，提出了一种基于综合简化最近邻（SRNN）模型的防御技术。防御技术可以在训练过程中检测和排除翻转的样本。通过大量的实验分析，我们证明了（i）所提出的攻击技术可以大大降低几个模型的准确性，以及（ii）在所提出的攻击下，所提出的防御技术在恢复目标模型的准确性方面显着优于其他传统的机器学习模型。
2021-02-11 cs.CR cs.LG
With Great Dispersion Comes Greater Resilience: Efficient Poisoning Attacks and Defenses for Linear Regression Models
East China Normal University（华东师范大学）；The University of New South Wales（新南威尔士大学）；CSIRO-Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Adelaide（阿德莱德大学）；Northeastern University（东北大学）
随着机器学习管道中第三方的兴起，“机器学习即服务”（MLaaS）中的服务提供商，或在线学习中的外部数据贡献者，或现有模型的再训练，确保所产生的机器学习模型的安全性的需求已经成为越来越重要的话题。安全社区已经证明，如果数据和生成的模型不透明，就会存在许多潜在的安全风险，并且不断发现新的风险。在本文中，我们关注这些安全风险之一-中毒攻击。具体来说，我们分析了攻击者如何通过毒化训练数据集来干扰回归学习的结果。为此，我们分析并开发了一种新的中毒攻击算法。我们的攻击，称为Nopt，与以前的中毒攻击算法相比，可以产生更大的错误与相同比例的中毒数据点。此外，我们还通过将干净数据点的概率估计概念纳入算法，显着改进了Jagielsk等人提出的最先进的防御算法TRIM（IEEE S&P 2018）。我们的新防御算法，称为普罗达，证明了通过优化集成模型，减少中毒数据集所产生的错误的有效性。我们强调，TRIM的时间复杂度还没有估计，但是，我们推断，从他们的工作，TRIM可以采取指数时间复杂度在最坏的情况下，超过普罗达的对数时间。我们提出的攻击和防御算法的性能在房价，贷款，医疗保健和自行车共享服务的四个真实数据集上进行了广泛的评估。我们希望我们的工作将启发未来的研究，以开发更强大的学习算法免疫中毒攻击。
2021-05-19 cs.CR cs.LG
Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation
University of Maryland, College Park（马里兰大学帕克分校）
数据投毒攻击的目的是通过扭曲训练数据来操纵模型行为。以前，提出了一种基于聚合的认证防御，即深度分区聚合（DPA），以减轻这种威胁。DPA通过在不相交的数据子集上训练的基础分类器的聚合进行预测，从而限制了其对数据集失真的敏感性。在这项工作中，我们提出了一种改进的认证防御一般中毒攻击，即有限聚合。与直接将训练集分割成不相交子集的DPA相反，我们的方法首先将训练集分割成较小的不相交子集，然后将它们的副本组合起来，为训练基分类器构建更大的（但不是不相交的）子集。这减少了有毒样本的最坏情况影响，从而提高了经认证的鲁棒性界限。此外，我们提供了一个替代的观点，我们的方法，桥接确定性和随机聚合为基础的认证防御的设计。从经验上讲，我们提出的有限聚合一致地改进了MNIST、CIFAR-10和GTSRB上的证书，将认证分数分别提高了3.05%、3.87%和4.77%，同时保持了与DPA相同的准确性，有效地建立了（逐点）认证鲁棒性的新技术水平，以对抗数据投毒。
2022-07-14 cs.CR cs.LG stat.ML
Defense against Poisoning Attacks under Shuffle-DP
Nanyang Technological University（南洋理工大学）；OceanBase, Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
本文提出一种通用防御框架，可将任意Shuffle-DP协议转换为抗污染攻击的版本，同时保持高分析结果的效用。
2026-05-01 cs.CR cs.DB
A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
Deakin University（迪肯大学）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
针对联邦学习中难以检测的边缘情况模型投毒攻击，提出DataDefense方法，结合外部防御数据集与交替最小化策略训练检测器和客户端重要性模型，以极少样本实现显著的攻击成功率降低。
2024-08-14 cs.CR cs.LG
Poisoning Semi-supervised Federated Learning via Unlabeled Data: Attacks and Defenses
City University of Hong Kong（香港城市大学）；Monash University（莫纳什大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
半监督联邦学习（SSFL）由于其实用性而受到广泛关注，即，客户端可以仅具有未标记的数据。在实践中，这些SSFL系统通过将“猜测”标签分配给标记数据附近的未标记数据来实现半监督训练，以将无监督问题转换为全监督问题。然而，这种半监督训练技术的固有属性创建了一个新的攻击面。在本文中，我们发现并揭示了一个简单而强大的中毒攻击SSFL。我们的攻击利用半监督学习的自然特性，通过毒害未标记的数据来使模型中毒。具体来说，攻击者只需要插入少量恶意制作的未标记样本（例如，仅为数据集的0.1\ %）以影响模型性能和误分类。大量的案例研究表明，我们的攻击是有效的不同的数据集和常见的半监督学习方法。为了减轻攻击，我们提出了一种辩护，即，基于极小极大优化的客户端选择策略，使服务器能够选择持有正确标签信息和高质量更新的客户端。我们的防御进一步采用了基于质量的聚合规则，以加强所选更新的贡献。在不同攻击条件下的评估表明，所提出的防御可以很好地减轻这种未标记的中毒攻击。我们的研究揭示了SSFL对未标记中毒攻击的脆弱性，并为社区提供了潜在的防御方法。
2022-05-07 cs.CR cs.DC cs.LG
Certified Defenses for Data Poisoning Attacks
Stanford University（斯坦福大学）
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击，恶意用户注入虚假的训练数据，目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御，很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题，首先进行离群值删除，然后进行经验风险最小化的防御者。我们的近似依赖于两个假设：（1）数据集足够大，足以保持训练和测试误差之间的统计集中，以及（2）干净（非中毒）数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对，为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲，我们发现即使在简单的防御下，MNIST-1-7和Dogfish数据集也能抵御攻击，而相比之下，IMDB情感数据集只需添加3%的中毒数据，就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
Certified Robustness to Clean-Label Poisoning Using Diffusion Denoising
本文提出一种基于扩散去噪模型的认证防御方法，用于抵御干净标签投毒攻击，在七种攻击下将成功率降至0-16%且几乎不影响测试准确率，优于现有对策。
2025-06-02 cs.CR cs.CV cs.LG
Prediction Poisoning: Towards Defenses Against DNN Model Stealing Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Saarland Informatics Campus, Germany（德国萨尔州信息学园区）
高性能深度神经网络（DNN）越来越多地部署在许多现实世界的应用中，例如，云预测API。通过黑盒访问（即，输入，预测）威胁到这种应用程序的商业模式，这种应用程序需要大量的时间、金钱和精力来开发。现有的防御措施对窃取攻击起着被动的作用，例如通过截断预测信息。我们发现这种被动防御对DNN窃取攻击无效。在本文中，我们提出了第一个防御，积极干扰预测，针对中毒的训练目标的攻击者。我们发现我们的防御在各种具有挑战性的数据集和DNN模型窃取攻击中有效，并且优于现有的防御。我们的防御是第一个可以抵御数万个查询的高度准确的模型窃取攻击，将攻击者的出错率放大到$\times$的85倍，对良性用户的实用程序的影响最小。
2020-03-03 cs.CR cs.CV cs.LG
From Theory to Practice: Evaluating Data Poisoning Attacks and Defenses in In-Context Learning on Social Media Health Discourse
University of Information Technology and Sciences (UITS)（信息科技与科学大学）
本研究针对公共卫生情感分析场景，验证了上下文学习易受小型数据投毒攻击破坏，并提出谱特征防御方法可有效过滤投毒样本、维持数据完整性，为高风险场景下的大语言模型鲁棒部署提供了参考。
2025-10-04 cs.CL cs.CR cs.LG
Find a Scapegoat: Poisoning Membership Inference Attack and Defense to Federated Learning
Yale University（耶鲁大学）；University of Louisville（路易斯维尔大学）；Guangdong Polytechnic Normal University（广东 polytechnic 正规大学）
本文提出针对联邦学习的投毒成员推理攻击FedPoisonMIA，通过恶意客户端构造本地更新推断成员信息，并设计鲁棒防御机制以减轻其影响。
2025-07-01 cs.CR cs.DC cs.LG
LoMar: A Local Defense Against Poisoning Attack on Federated Learning
Mississippi State University（密西西比州立大学）；University of South Florida（南佛罗里达大学）；University of Oklahoma（俄克拉荷马大学）
联邦学习（FL）提供了高效的分散式机器学习框架，其中训练数据保持分布在网络中的远程客户端处。虽然FL使用物联网设备实现了隐私保护的移动边缘计算框架，但最近的研究表明，这种方法容易受到远程客户端的中毒攻击。针对FL上的中毒攻击，提出了一种\textit{two-phase}防御算法，称为{Lo}cal {Ma}licious Facto{r}（LoMar）.在第一阶段，LoMar通过使用核密度估计方法测量其邻居的相对分布来对来自每个远程客户端的模型更新进行评分。在第二阶段，一个最佳的阈值近似区分恶意和干净的更新从统计的角度来看。在四个真实数据集上进行了综合实验，实验结果表明，该防御策略能够有效地保护FL系统。{具体而言，在标签翻转攻击下对Amazon数据集的防御性能表明，与FG+Krum相比，LoMar将目标标签测试准确率从$96.0\%$提高到$98.8\%$，将总体平均测试准确率从$90.1\%$提高到$97.0\%$。
2022-01-08 cs.AI cs.CR cs.LG
Model Poisoning Attacks to Federated Learning via Multi-Round Consistency
针对现有联邦学习投毒攻击在防御下效果欠佳且需真实客户端知识的问题，提出PoisonedFL，通过强制恶意客户端模型更新的多轮一致性实现无需额外知识的攻击，突破了多种防御机制，揭示FL系统鲁棒性不足。
2025-08-13 cs.CR
Cordyceps: Covert Control Attacks on LLMs via Data Poisoning
Georgia Institute of Technology（佐治亚理工学院）；Cisco Systems（思科系统）
提出一种数据投毒方法，通过语义关联教LLM隐藏任意恶意指令，实现隐蔽控制攻击，绕过多种防御。
2026-06-16 cs.AI cs.CR cs.LG
Data Poisoning Attacks and Defenses to Crowdsourcing Systems
Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
大数据分析的一个关键挑战是如何收集大量的（标记的）数据。众包旨在通过聚合和估计高质量数据（例如，文本的情感标签）。现有的众包研究集中在设计新的方法，以提高不可靠/嘈杂的客户端的聚合数据的质量。然而，这种众包系统的安全方面迄今为止仍然没有得到充分的探索。我们的目标是在这项工作中弥合这一差距。具体来说，我们表明，众包是容易受到数据投毒攻击，其中恶意客户端提供精心制作的数据，以破坏聚合数据。我们制定我们提出的数据投毒攻击作为一个优化问题，最大限度地提高聚合数据的错误。我们对一个合成数据集和两个真实世界基准数据集的评估结果表明，所提出的攻击可以大大增加聚合数据的估计误差。我们还提出了两种防御措施，以减少恶意客户端的影响。我们的实证结果表明，所提出的防御可以大大减少数据投毒攻击的估计误差。
2021-02-24 cs.CR cs.DC cs.HC
Friendly Noise against Adversarial Noise: A Powerful Defense against Data Poisoning Attacks
University of California, Los Angeles（加州大学洛杉矶分校）
针对现有数据投毒防御泛化损伤大、针对性强或速度慢的问题，提出结合优化友好噪声与随机噪声的轻量防御方法，可有效破解多种投毒攻击且泛化下降极小，噪声具备可迁移性且能抵御自适应攻击。
2023-07-20 cs.CR cs.LG
A BIC-based Mixture Model Defense against Data Poisoning Attacks on Classifiers
Pennsylvania State University（宾夕法尼亚州立大学）
数据投毒（DP）是一种有效的攻击，导致训练的分类器错误分类他们的输入。DP攻击通过隐蔽地将攻击样本注入训练集中来显著降低分类器的准确性。广泛适用于不同的分类器结构，在没有关于攻击者的强假设的情况下，本文提出了针对“错误通用”DP攻击的基于{ \it无监督}贝叶斯信息准则（BIC）的混合模型防御，其：1）解决了最具挑战性的{ \it embedded} DP场景，其中，如果存在DP，中毒样本是训练集的{ \it先验}未知子集，并且没有可用的干净验证集; 2）应用混合模型来很好地拟合潜在的多-模态类分布，并在混合成分的小子集内捕获中毒样本; 3）通过最小化在整个训练集上定义的BIC成本来联合识别中毒组件和样本，在分类器训练之前去除所识别的中毒数据。我们的实验结果，对各种分类器结构和基准数据集，证明了我们的防御的有效性和普遍性下的强大DP攻击，以及它的优越性比其他作品。
2022-05-12 cs.CR cs.LG
Stronger Data Poisoning Attacks Break Data Sanitization Defenses
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
在外部世界数据上训练的机器学习模型可能会被数据中毒攻击破坏，这些攻击会将恶意点注入模型的训练集中。针对这些攻击的一种常见防御方法是数据清理：在训练模型之前，首先过滤掉异常的训练点。在本文中，我们开发了三种可以绕过广泛的常见数据清理防御的攻击，包括基于最近邻的异常检测器，训练丢失和奇异值分解。通过添加3%的中毒数据，我们的攻击成功地将安然垃圾邮件检测数据集的测试错误从3%增加到24%，并将IMDB情感分类数据集的测试错误从12%增加到29%。相比之下，没有明确说明这些数据清理防御的现有攻击被它们击败。我们的攻击基于两个想法：（i）我们协调我们的攻击，将中毒点彼此靠近，（ii）我们将每个攻击制定为约束优化问题，约束旨在确保中毒点逃避检测。由于这种优化涉及解决一个昂贵的双层问题，我们的三种攻击对应于不同的方法来近似这个问题，基于影响函数;极大极小对偶;和Karush-Kuhn-Tucker（KKT）条件。我们的研究结果强调了需要开发更强大的防御数据中毒攻击。
2021-12-03 cs.CR cs.LG stat.ML
Towards Fair Classification against Poisoning Attacks
Michigan State University（密歇根州立大学）
公平分类的目的是强调分类模型在不同敏感群体之间实现平等（治疗或预测质量）。然而，公平分类可能面临中毒攻击的风险，这些攻击故意插入恶意训练样本以操纵训练好的分类器的性能。在这项工作中，我们研究了中毒的情况下，攻击者可以插入一小部分样本到训练数据，任意敏感属性以及其他预测功能。我们证明，经过良好训练的分类器很容易受到这种中毒攻击，即使我们应用了一些最有效的防御（最初是为了保护传统的分类任务），准确性和公平性的权衡也要差得多。作为防御公平分类任务的对策，我们提出了一个通用的和理论上有保证的框架，该框架可以容纳传统的防御方法，以公平分类对抗中毒攻击。通过大量实验，结果验证了所提出的防御框架在准确性和公平性方面比代表性基线方法具有更好的鲁棒性。
2022-10-18 cs.CR cs.LG
Take up DNSSEC When Needed
缓存中毒攻击的威胁在很大程度上刺激了DNSSEC的部署。作为一种强大但要求苛刻的密码防御，DNSSEC的普遍采用预计将经历一个漫长的过渡。因此，DNSSEC从业者呼吁一个安全而轻量级的解决方案，以加快DNSSEC部署，同时提供可接受的DNSSEC般的防御。本文提出了一种新的防御缓存中毒攻击，仍然使用，但轻微使用DNSSEC。在该解决方案中，DNS在DNSSEC不经意模式下运行，除非检测到潜在的攻击并触发切换到DNSSEC感知模式。分析和验证了该防御的性能。模型检验结果表明，只需要很小的DNSSEC查询负载，以确保足够小的缓存中毒成功率。
2016-02-26 cs.CR
Influence Based Defense Against Data Poisoning Attacks in Online Learning
TCS Research（塔塔咨询服务研究院）
数据中毒是一种对训练数据的对抗攻击，攻击者操纵一小部分数据以降低机器学习模型的性能。因此，依赖外部数据源获取训练数据的应用程序面临的风险要高得多。有几种已知的防御机制可以帮助减轻这种攻击的威胁。例如，数据净化是一种流行的防御机制，其中学习器拒绝那些离训练实例集足够远的数据点。关于数据投毒防御的先前工作主要集中在离线设置上，其中所有数据都被假定为可用于分析。在线学习的防御措施，其中数据点顺序到达，没有获得类似的兴趣。在这项工作中，我们提出了一种防御机制，以尽量减少中毒的训练数据对学习者的模型在在线设置所造成的退化。我们提出的方法利用了影响函数，这是一个经典的技术，在强大的统计。此外，我们补充它与现有的数据净化方法过滤出一些中毒的数据点。我们研究了我们的防御机制对多个数据集和多个攻击策略对在线学习者的有效性。
2021-04-24 cs.AI cs.CR cs.LG
What Doesn't Kill You Makes You Robust(er): How to Adversarially Train against Data Poisoning
University of Siegen（锡根大学）；University of Maryland（马里兰大学）
数据投毒是一种威胁模型，其中恶意行为者篡改训练数据以在推理时操纵结果。针对这种威胁模型提出了各种防御措施，但每一种都至少有以下缺陷之一：它们很容易被自适应攻击克服，它们严重降低测试性能，或者它们不能推广到不同的数据投毒威胁模型。对抗性训练及其变体目前被认为是唯一一种针对（推理时间）对抗攻击的经验性强的防御方法。在这项工作中，我们扩展了对抗性训练框架，以防御（训练时间）数据投毒，包括有针对性的和后门攻击。我们的方法通过在训练过程中创建毒药并将其注入训练批次来使网络对此类攻击的影响脱敏。我们证明了这种防御可以承受自适应攻击，推广到不同的威胁模型，并且比以前的防御（如DP-SGD或（逃避）对抗训练）具有更好的性能权衡。
2022-02-17 cs.CR cs.CV cs.LG
Dynamic Defense Against Byzantine Poisoning Attacks in Federated Learning
University of Granada（格拉纳达大学）
联邦学习作为一种在本地设备上进行训练而不访问训练数据的分布式学习，容易受到拜占庭中毒对抗攻击的攻击。我们认为，联邦学习模型必须避免这些类型的对抗攻击，通过过滤掉敌对的客户端通过联邦聚合运营商。我们提出了一个动态的联邦聚合运营商，动态丢弃这些敌对的客户端，并允许防止腐败的全球学习模型。我们评估它作为对抗攻击的防御，在Fed-EMNIST Digits，Fashion MNIST和CIFAR-10图像数据集上的联邦学习设置中部署深度学习分类模型。结果表明，动态选择的客户端聚合提高了性能的全球学习模型和丢弃的敌对和穷人（低质量的模型）的客户端。
2022-02-24 cs.AI cs.CR cs.LG
Tracing Back the Malicious Clients in Poisoning Attacks to Federated Learning
Duke University（杜克大学）；University of Louisville（路易斯维尔大学）；University of California, Los Angeles（加州大学洛杉矶分校）
针对联邦学习投毒攻击，提出首个投毒取证方法FLForensics，在训练防御失效后追溯恶意客户端，理论保证区分良恶，实验验证五个基准数据集上的有效性。
2025-10-14 cs.CR cs.CV
