Data Poisoning Attacks in Intelligent Transportation Systems: A Survey
Southwest Jiaotong University（西南交通大学）；University of Washington（华盛顿大学）
本文综述了智能交通系统（ITS）中的数据投毒攻击，识别了易受攻击的数据源与应用场景，构建了通用分类框架，并探讨了当前局限与可信ITS的未来研究方向。
2024-07-06 cs.CR cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence（嵌入式智能公司）
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查，这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明，影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架，针对半监督学习方法，以更好地理解和利用其局限性，并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University（迪肯大学）
联邦学习（FL）能够在分布式客户端之间训练模型，而不会损害训练数据集的隐私，但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估，以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Lethean Attack: An Online Data Poisoning Technique
Massachusetts Institute of Technology（麻省理工学院）
数据投毒是一种对抗性场景，攻击者将特制的样本序列提供给在线模型以破坏学习。我们介绍Lethean攻击，一种新的数据投毒技术，导致灾难性遗忘的在线模型。我们在测试时训练的背景下应用攻击，这是一个现代在线学习框架，旨在分布偏移下的泛化。我们提出的理论依据和经验比较，它对其他样本序列，自然会引起遗忘。我们的研究结果表明，使用lethean攻击，对手可以使用短样本序列将测试时训练模型恢复到抛硬币精度性能。
2020-11-24 cs.CR cs.LG
Indiscriminate Data Poisoning Attacks on Neural Networks
University of Waterloo（滑铁卢大学）
本文将数据投毒攻击与序列Stackelberg博弈算法相联系，利用二阶信息优化和自动微分包，设计了能同时生成数万个投毒点的高效攻击方法，并实证验证了其对神经网络的有效性。
2024-02-15 cs.CR cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University（杜克大学）
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器，使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外，每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻（kNN）和半径近邻（rNN）具有固有的多数表决机制。在这项工作中，我们表明，在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证，对数据投毒攻击和后门攻击。此外，我们对MNIST和CIFAR 10的评估结果表明，kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
Transferable Availability Poisoning Attacks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出可迁移投毒攻击方法，利用对比学习中的对齐性与均匀性特性及有监督、无监督梯度信息生成扰动，显著提升投毒样本在不同学习算法和范式间的攻击可迁移性。
2024-06-06 cs.CR cs.LG
Inverting Gradient Attacks Makes Powerful Data Poisoning
Meta；École polytechnique（巴黎综合理工学院）
本研究针对非凸场景下数据投毒能否达到梯度攻击危害的问题，利用梯度反转技术实现了数据投毒对梯度攻击的模拟，首次通过占比低至1%的投毒点将神经网络性能降至随机水平。
2024-12-11 cs.CR cs.LG
SecureLearn -- An Attack-agnostic Defense for Multiclass Machine Learning Against Data Poisoning Attacks
College of Computing, Birmingham City University, Birmingham, United Kingdom（计算学院，伯明翰城市大学，伯明翰，英国）
针对多类机器学习模型的数据投毒攻击，提出两层与攻击无关的防御SecureLearn，结合数据清洗与特征对抗训练，在多种算法和数据集上保持高准确率与鲁棒性。
2025-10-25 cs.CR cs.LG
Towards Fair Classification against Poisoning Attacks
Michigan State University（密歇根州立大学）
公平分类的目的是强调分类模型在不同敏感群体之间实现平等（治疗或预测质量）。然而，公平分类可能面临中毒攻击的风险，这些攻击故意插入恶意训练样本以操纵训练好的分类器的性能。在这项工作中，我们研究了中毒的情况下，攻击者可以插入一小部分样本到训练数据，任意敏感属性以及其他预测功能。我们证明，经过良好训练的分类器很容易受到这种中毒攻击，即使我们应用了一些最有效的防御（最初是为了保护传统的分类任务），准确性和公平性的权衡也要差得多。作为防御公平分类任务的对策，我们提出了一个通用的和理论上有保证的框架，该框架可以容纳传统的防御方法，以公平分类对抗中毒攻击。通过大量实验，结果验证了所提出的防御框架在准确性和公平性方面比代表性基线方法具有更好的鲁棒性。
2022-10-18 cs.CR cs.LG
Sybil-based Virtual Data Poisoning Attacks in Federated Learning
Department of Automation, Shanghai Jiao Tong University（自动化系，上海交通大学）；Sony AI（索尼人工智能）
针对联邦学习现有投毒攻击成本高的问题，提出基于Sybil的虚拟数据投毒攻击，结合梯度匹配虚拟数据生成与三类目标模型获取方案，可在非独立同分布数据下高效实现更强的全局投毒效果。
2025-05-15 cs.CR cs.LG
Poisoning Attacks on Cyber Attack Detectors for Industrial Control Systems
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of Cagliari（卡利亚里大学）
最近，已经提出了基于神经网络（NN）的方法，包括自动编码器，用于检测针对工业控制系统（ICS）的网络攻击。这种检测器通常使用在系统操作期间收集的数据来重新训练，以应对自然演变（即，概念漂移）。然而，通过利用这种机制，攻击者可以在训练时伪造由损坏的传感器提供的信号，并毒化检测器的学习过程，使得网络攻击在测试时未被检测到。通过这项研究，我们首次在ICS网络攻击在线NN检测器上展示了这种中毒攻击。我们提出了两种不同的攻击算法，即插值和反向梯度中毒，并证明其有效性的合成和真实世界的ICS数据。我们还讨论和分析了一些潜在的缓解策略。
2020-12-23 cs.CR cs.LG
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley（加州大学伯克利分校）
深度学习模型已经在许多任务上实现了高性能，因此已经应用于许多安全关键场景。例如，基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序，如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中，我们考虑了一种新型的攻击，称为后门攻击，攻击者的目标是创建一个后门到一个基于学习的认证系统，使他可以很容易地绕过系统利用后门。具体地说，攻击者的目的是创建后门实例，从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地，我们研究了后门中毒攻击，利用中毒策略实现后门攻击。与现有的所有工作不同的是，我们研究的中毒策略可以应用在一个非常弱的威胁模型下：（1）对手不知道受害者系统使用的模型和训练集;（2）攻击者只允许注入少量的中毒样本;（3）后门密钥即使是人类也很难注意到，以实现隐身。我们进行了评估，以证明后门攻击者只能注入大约50个中毒样本，同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明，后门中毒攻击对学习系统构成了真正的威胁，因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
Data Poisoning Attacks Against Multimodal Encoders
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；University of Lausanne（洛桑大学）；University of Birmingham（伯明翰大学）
本文研究针对多模态编码器视觉与语言模态的数据投毒风险，提出三类攻击并比较模态脆弱性，同时给出训练前与训练后防御方法。
2023-06-05 cs.CR cs.LG
Provable Watermarking for Data Poisoning Attacks
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（数学科学国家重点实验室，数学与系统科学研究院，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of AI for Industries, Nanjing, China（产业人工智能研究院，南京，中国）
本文针对数据投毒攻击提出可证明的水印方案，包括投毒后水印和投毒并发水印，在保证水印可检测性和投毒效用的同时，通过理论分析和实验验证了其实际可行性。
2025-10-10 cs.CR cs.LG
Bi-Level Poisoning Attack Model and Countermeasure for Appliance Consumption Data of Smart Homes
Jashore University of Science and Technology（杰索尔科技大学）；Deakin University（迪肯大学）；RMIT University（皇家墨尔本理工大学）
准确的建筑物能量预测在从建筑物能量自动化和管理到最佳存储控制的各种应用中是有用的。然而，在设计建筑物能源预测模型时应考虑漏洞，因为智能攻击者可以使用复杂的攻击模型故意影响模型性能。这些可能因此降低预测准确性，这可能影响建筑物能量管理系统的效率和性能。在本文中，我们调查的影响，从家用电器的能量使用的回归模型的双级中毒攻击。此外，针对预测模型的中毒攻击，本文提出了一种有效的对策。在基准数据集上评估攻击和防御。实验结果表明，智能网络攻击者可以毒化预测模型来操纵决策。然而，我们提出的解决方案成功地确保了防御这种中毒攻击有效地与其他基准技术相比。
2021-07-01 cs.CR cs.LG
Poison is Not Traceless: Fully-Agnostic Detection of Poisoning Attacks
The University of Auckland（奥克兰大学）
本文提出完全无关的污染攻击检测框架DIVA，仅通过分析潜在被污染数据集，利用Complexity Measures预训练元学习器估计干净数据上的准确率，从而检测通用污染攻击，并在label-flipping攻击上进行了验证。
2023-10-24 cs.CR cs.LG
Empirical Evaluation of Data Poisoning Attacks in Supervised Learning
Minot State University（迈诺特州立大学）
本研究在MNIST和Fashion-MNIST上实证评估标签翻转与后门投毒攻击，发现后门攻击隐蔽且成功率高，需安全导向评估。
2026-09-11 cs.CR cs.LG
Using Anomaly Detection to Detect Poisoning Attacks in Federated Learning Applications
Honda Research Institute EU（本田欧洲研究所）；University of Kent（肯特大学）；University of Lille（里尔大学）；ENSAIT；Dong A University（东亚大学）；International Research Institute for Artificial Intelligence and Data Science（人工智能与数据科学国际研究院）
针对联邦学习中的模型投毒攻击，提出一种基于公共数据集参考模型和审计模型、使用一类支持向量机（OC-SVM）的检测框架，计算复杂度低至O(K)，在ECG分类和HAR任务上优于现有SOTA检测方法。
2025-03-25 cs.CR cs.LG
Property Inference From Poisoning
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
属性推断攻击考虑可以访问训练模型的对手，并试图提取训练数据的一些全局统计信息。在这项工作中，我们研究的情况下，对手可以恶意控制部分的训练数据（中毒数据），以增加泄漏的属性推断。以前关于中毒攻击的工作集中在试图降低模型在整个群体或特定子群体或实例上的准确性。在这里，我们第一次研究中毒攻击，对手的目标是增加模型的信息泄漏。我们的研究结果表明，中毒攻击可以显着提高信息泄漏，并应被视为一个更强大的威胁模型在敏感的应用程序中，其中一些数据源可能是恶意的。我们描述了我们的\emph{property inference poisoning attack}，它允许对手学习它选择的任何属性的训练数据中的流行率。我们从理论上证明了只要所使用的学习算法具有良好的泛化性能，我们的攻击总是可以成功的。然后，我们通过实验评估两个数据集：人口普查数据集和安然电子邮件数据集，验证我们的攻击的有效性。在我们所有的实验中，我们都能够在$9-10\%$中毒的情况下实现上述$90\%$攻击精度。
2021-01-26 cs.CR cs.LG
Curie: A method for protecting SVM Classifier from Poisoning Attack
Syracuse University（雪城大学）
机器学习被用于许多安全相关的应用中，例如生物特征用户认证、说话人辨识等。一种类型的针对机器学习的因果完整性攻击称为中毒攻击，其通过在训练数据中注入特制的数据点来工作，以增加分类器的误报率。在生物测定认证的上下文中，这意味着更多的入侵者将被分类为有效用户，并且在说话人辨识系统的情况下，用户A将被分类为用户B。在本文中，我们研究中毒攻击对支持向量机和介绍-居里-一种方法来保护SVM分类器免受中毒攻击。我们的方法的基本思想是识别由对手注入的有毒数据点，并将其过滤掉。我们的方法重量轻，可以很容易地集成到现有的系统中。实验结果表明，该方法能很好地滤除有毒数据。
2016-06-07 cs.CR cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击，仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略，并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Adversarial Attack on Network Embeddings via Supervised Network Poisoning
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）
使用来自网络表示学习的技术来学习低级节点嵌入对于解决诸如节点分类和链接预测之类的下游任务是有用的。在这种应用中，一个重要的考虑因素是嵌入算法对对抗攻击的鲁棒性，这可以通过对原始网络进行扰动来检查。有效的扰动技术会降低下游任务的网络嵌入性能。在本文中，我们研究网络嵌入算法从对抗的角度来看，观察中毒的网络对下游任务的影响。我们提出了VIKING，一种监督网络中毒策略，其在原始网络结构上的性能优于最先进的中毒方法高达18%。我们还将VIKING扩展到半监督攻击设置，并表明它与其监督对应物相当。
2021-02-14 cs.CR cs.LG
Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出黑盒对抗性MDP奖励投毒框架，仅需篡改少量训练时间步即可使在线DRL智能体学到低性能策略，并通过理论与实验验证其在多种环境和算法上的有效性。
2023-07-15 cs.CR cs.LG
Partner in Crime: Boosting Targeted Poisoning Attacks against Federated Learning
Virginia Tech（弗吉尼亚理工大学）；Kryptowire Labs（Kryptowire实验室）
本研究提出增强联邦学习定向投毒攻击的BoTPA方法，通过预训练阶段构建放大器集并篡改标签强化攻击，在多种防御机制下均显著提升攻击成功率。
2025-03-21 cs.CR cs.LG
Data Poisoning Attacks on Federated Machine Learning
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Rochester（罗切斯特大学）
联合机器学习使得资源受限的节点设备（例如，移动电话和IoT设备）学习共享模型，同时保持训练数据本地，可以通过设计有效的通信协议来提供隐私、安全和经济效益。然而，不同节点之间的通信协议可以被攻击者利用来发起数据投毒攻击，这已经被证明是对大多数机器学习模型的巨大威胁。在本文中，我们试图探讨联邦机器学习的脆弱性。更具体地说，我们专注于攻击一个联邦多任务学习框架，这是一个联邦学习框架，通过采用一个通用的多任务学习框架来处理统计挑战。我们制定了联邦多任务学习的最佳中毒攻击的计算问题作为一个双层计划，是适应于任意选择的目标节点和源攻击节点。然后提出了一种新的系统感知优化方法ATTack on联邦学习（AT2FL），该方法可以有效地推导出中毒数据的隐式梯度，并进一步计算联邦机器学习中的最优攻击策略。我们的工作是一个早期的研究，考虑数据投毒攻击的问题，联邦学习。最后，在真实数据集上的实验结果表明，联邦多任务学习模型对投毒攻击非常敏感，无论攻击者是直接投毒目标节点，还是利用通信协议间接投毒相关节点。
2020-04-19 cs.CR cs.LG
Online AutoML: Evaluating Poisoning Attacks on Cost-Utility Adversarial Training Defence Strategy for IoT Networks
Ontario Tech University（安大略理工大学）；Alex Ekwueme Federal University（亚历克斯·埃克武梅联邦大学）
本研究通过在线AutoML管道评估对抗训练防御在物联网流式数据中应对投毒攻击（标签翻转和噪声注入）的有效性，发现AT-SRP和AT-LB分别在两类攻击下取得最佳F1分数。
2026-10-14 cs.CR cs.LG
SleeperNets: Universal Backdoor Poisoning Attacks Against Reinforcement Learning Agents
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
本文提出通用后门投毒攻击框架SleeperNets，通过关联攻击目标与最优策略求解并利用动态奖励投毒，在多个环境中显著提升攻击成功率且不影响正常性能。
2024-10-21 cs.CR cs.LG
Label Sanitization against Label Flipping Poisoning Attacks
Imperial College London（帝国理工学院）
许多机器学习系统依赖于从不可信来源收集的数据，从而使学习算法暴露于数据中毒。攻击者可以在训练数据集中注入恶意数据来破坏学习过程，从而损害算法的性能，从而以有针对性或不加选择的方式产生错误。标签翻转攻击是数据中毒的一种特殊情况，攻击者可以控制分配给一部分训练点的标签。即使攻击者的能力受到限制，这些攻击已被证明是有效的显着降低系统的性能。在本文中，我们提出了一个有效的算法来执行最佳的标签翻转中毒攻击和机制来检测和重新标记可疑的数据点，减轻这种中毒攻击的影响。
2018-10-02 cs.CR cs.LG stat.ML
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）；IBM
联邦学习本质上容易受到模型中毒攻击，因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低模型在目标子任务（例如将飞机分类为鸟类）上的性能。在这份报告中，我们介绍了\algoname{}，一种新的防御，使用全局top-k更新稀疏化和设备级梯度裁剪，以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击，并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性，我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
With Great Dispersion Comes Greater Resilience: Efficient Poisoning Attacks and Defenses for Linear Regression Models
East China Normal University（华东师范大学）；The University of New South Wales（新南威尔士大学）；CSIRO-Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Adelaide（阿德莱德大学）；Northeastern University（东北大学）
随着机器学习管道中第三方的兴起，“机器学习即服务”（MLaaS）中的服务提供商，或在线学习中的外部数据贡献者，或现有模型的再训练，确保所产生的机器学习模型的安全性的需求已经成为越来越重要的话题。安全社区已经证明，如果数据和生成的模型不透明，就会存在许多潜在的安全风险，并且不断发现新的风险。在本文中，我们关注这些安全风险之一-中毒攻击。具体来说，我们分析了攻击者如何通过毒化训练数据集来干扰回归学习的结果。为此，我们分析并开发了一种新的中毒攻击算法。我们的攻击，称为Nopt，与以前的中毒攻击算法相比，可以产生更大的错误与相同比例的中毒数据点。此外，我们还通过将干净数据点的概率估计概念纳入算法，显着改进了Jagielsk等人提出的最先进的防御算法TRIM（IEEE S&P 2018）。我们的新防御算法，称为普罗达，证明了通过优化集成模型，减少中毒数据集所产生的错误的有效性。我们强调，TRIM的时间复杂度还没有估计，但是，我们推断，从他们的工作，TRIM可以采取指数时间复杂度在最坏的情况下，超过普罗达的对数时间。我们提出的攻击和防御算法的性能在房价，贷款，医疗保健和自行车共享服务的四个真实数据集上进行了广泛的评估。我们希望我们的工作将启发未来的研究，以开发更强大的学习算法免疫中毒攻击。
2021-05-19 cs.CR cs.LG
Boosting Backdoor Attack with A Learnable Poisoning Sample Selection Strategy
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）
针对数据投毒后门攻击中样本随机选择效果差、成本高的问题，提出可学习投毒掩码与最小-最大优化策略，从全局数据中筛选高贡献困难样本，提升攻击性能与效率。
2023-07-14 cs.CR cs.LG
Adversarial Poisoning Attacks and Defense for General Multi-Class Models Based On Synthetic Reduced Nearest Neighbors
University of California Merced（加州大学默塞德分校）；Tagliatela College of Engineering（塔利亚泰拉工程学院）；University of New Haven（纽黑文大学）
最先进的机器学习模型容易受到旨在破坏模型完整性的数据投毒攻击。然而，目前关于数据投毒攻击的文献主要集中在仅适用于特定机器学习模型的ad hoc技术上。此外，文献中现有的数据投毒攻击仅限于二进制分类器或基于梯度的算法。为了解决这些局限性，本文首先提出了一种新的无模型标签翻转攻击的基础上的多模态的数据，其中对手的目标是集群的类，而受标签翻转预算。我们提出的攻击算法的复杂性是线性的时间超过数据集的大小。此外，所提出的攻击可以增加错误高达两倍的相同的攻击预算。其次，提出了一种基于综合简化最近邻（SRNN）模型的防御技术。防御技术可以在训练过程中检测和排除翻转的样本。通过大量的实验分析，我们证明了（i）所提出的攻击技术可以大大降低几个模型的准确性，以及（ii）在所提出的攻击下，所提出的防御技术在恢复目标模型的准确性方面显着优于其他传统的机器学习模型。
2021-02-11 cs.CR cs.LG
MPAF: Model Poisoning Attacks to Federated Learning based on Fake Clients
Duke University（杜克大学）
现有的对联邦学习的模型中毒攻击假设攻击者可以访问大部分受损的真正客户端。然而，这种假设在涉及数百万客户端的生产联邦学习系统中是不现实的。在这项工作中，我们提出了第一个基于假客户端的模型中毒攻击，称为MPAF。具体来说，我们假设攻击者将假客户端注入联邦学习系统，并在训练期间将精心制作的假本地模型更新发送到云服务器，这样学习的全局模型对于许多不加选择的测试输入具有较低的准确性。为了实现这一目标，我们的攻击将全局模型拖向攻击者选择的具有低准确性的基础模型。具体来说，在每一轮联邦学习中，假客户端都会制作指向基础模型的假本地模型更新，并在将其发送到云服务器之前对其进行扩展以放大其影响。我们的实验表明，MPAF可以显着降低测试精度的全球模型，即使采用经典的防御和范数裁剪，突出需要更先进的防御。
2022-05-06 cs.CR cs.LG
Online Data Poisoning Attack
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们研究了在线环境下的数据投毒攻击，其中训练项目顺序到达，攻击者可能会干扰当前项目来操纵在线学习。重要的是，攻击者不知道未来的训练项目，也不知道数据生成分布。我们将在线数据投毒攻击描述为一个随机最优控制问题，并使用模型预测控制和深度强化学习解决该问题。我们还上限的次优攻击所遭受的不知道数据生成分布。实验验证了我们的控制方法在监督和无监督学习任务上产生接近最优的攻击。
2019-05-30 cs.CR cs.LG stat.ML
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST（韩国科学技术院计算机学院）；Samsung Research（三星研究院）；Data Science Group, Institute for Basic Science（基础科学研究院数据科学组）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文提出FedMID，一种无数据防御方法，通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击，实验证明其在多种计算条件和高级攻击下具有鲁棒性，促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
On the Effectiveness of Mitigating Data Poisoning Attacks with Gradient Shaping
University of Maryland, College Park（马里兰大学帕克分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
机器学习算法容易受到数据投毒攻击。先前的分类法侧重于特定的场景，例如，不加区别的或有针对性的攻击，使防御相应的已知攻击的子集。然而，这不可避免地在对手和捍卫者之间引发了军备竞赛。在这项工作中，我们研究了依赖于所有中毒攻击所共有的工件的攻击不可知防御的可行性。具体来说，我们关注所有攻击之间的一个共同元素：它们修改计算的梯度以训练模型。我们确定了两个主要的文物的梯度计算中存在的毒药：（1）他们的$\ell_2$规范有显着更高的幅度比干净的梯度，（2）他们的方向不同于干净的梯度。基于这些观察，我们提出了一个通用的中毒防御的先决条件：它必须绑定梯度幅度和最小化方向的差异。我们称之为梯度成形。作为评估梯度成形可行性的示例工具，我们使用差分私有随机梯度下降（DP-SGD），它在训练期间剪辑和扰动个体梯度以获得隐私保证。我们发现，DP-SGD，即使在配置，不产生有意义的隐私保证，增加了模型的鲁棒性不分青红皂白的攻击。它还减轻了最坏情况下的有针对性的攻击，并增加了对手在多毒药场景中的成本。我们发现DP-SGD唯一无效的攻击是强大的，但不切实际的，不分青红皂白的攻击。我们的研究结果表明，虽然我们目前缺乏一个通用的中毒防御，梯度成形是未来研究的一个有前途的方向。
2020-02-27 cs.CR cs.LG
FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning
Technical University of Darmstadt（达姆施塔特工业大学）；University of Würzburg（维尔茨堡大学）
本文提出FreqFed，一种基于频域分析的联邦学习聚合机制，通过将模型更新变换到频域并识别核心频率分量来过滤恶意更新，从而在不依赖攻击类型和数据分布假设的情况下有效缓解定向与非定向投毒攻击，且对模型效用影响极小。
2024-01-16 cs.CR cs.LG
Enhancing the Antidote: Improved Pointwise Certifications against Poisoning Attacks
University of Melbourne（墨尔本大学）；Defence Science and Technology Group（国防科技集团）
本文提出利用差分隐私和采样高斯机制实现逐点认证防御，使模型对有限投毒样本的预测不变，鲁棒性保证较先前方法提升两倍以上。
2024-03-18 cs.CR cs.LG
FedRDF: A Robust and Dynamic Aggregation Function against Poisoning Attacks in Federated Learning
University of Murcia（穆尔西亚大学）
本文提出一种基于傅里叶变换的鲁棒聚合机制FedRDF，通过将客户端权重投影至频域选择最高频率密度函数以排除恶意权重，无需预知攻击者数量即可有效抵御复杂投毒攻击，性能优于现有方法。
2024-02-15 cs.CR cs.LG
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology（麻省理工学院）
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而，关于它们对无监督对比学习（CL）的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒（CP），第一个有效的这种攻击CL。我们的经验表明，对比中毒，不仅大大降低了CL算法的性能，但也攻击监督学习模型，使其成为最普遍的无差别中毒攻击。我们还表明，CL算法与动量编码器是更强大的不分青红皂白中毒，并提出了一个新的对策的基础上矩阵完成。代码可在：https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
Pick your Poison: Undetectability versus Robustness in Data Poisoning Attacks
University of Waterloo（滑铁卢大学）
本文揭示了数据投毒攻击中不可检测性与鲁棒性之间的关键权衡，提出使用少量可信数据检测或修复投毒模型的防御方法，在CIFAR-10和ImageNet上有效缓解攻击且准确率损失极小，证明同时满足鲁棒与不可检测的攻击者威胁大幅降低。
2023-06-29 cs.CR cs.LG
Model-Targeted Poisoning Attacks with Provable Convergence
University of Virginia（弗吉尼亚大学）；Princeton University（普林斯顿大学）
在中毒攻击中，对手控制一小部分训练数据，试图以一种方式选择该数据，从而导致一个损坏的模型，该模型的行为有利于对手。我们考虑对凸机器学习模型的中毒攻击，并提出了一种有效的中毒攻击，旨在诱导指定的模型。与以前的模型为目标的中毒攻击不同，我们的攻击具有可证明收敛到{ \it any}可达到的目标分类器。从诱导分类器到目标分类器的距离与中毒点数量的平方根成反比。我们还提供了一个下限的最小数量的中毒点需要实现一个给定的目标分类器。我们的方法使用在线凸优化，所以发现中毒点增量。这比之前的攻击提供了更大的灵活性，之前的攻击需要先验假设中毒点的数量。我们的攻击是第一个针对模型的中毒攻击，它为凸模型提供了可证明的收敛性，在我们的实验中，它在攻击成功率和到目标模型的距离方面超过或匹配最先进的攻击。
2021-04-21 cs.AI cs.CR cs.LG
Transferable Clean-Label Poisoning Attacks on Deep Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
干净标签中毒攻击将无害的（和“正确”标记的）有毒图像注入训练数据，导致模型在此数据上训练后对目标图像进行错误分类。我们考虑可转移的中毒攻击，成功没有访问受害者网络的输出，架构，或（在某些情况下）的训练数据。为了实现这一点，我们提出了一种新的“多面体攻击”，其中的毒图像被设计为包围在特征空间中的目标图像。我们还证明了在毒药创建过程中使用Dropout有助于增强这种攻击的可转移性。我们实现了超过50%的可转移攻击成功率，而中毒只有1%的训练集。
2019-05-16 cs.CR cs.LG stat.ML
Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
虽然最近的研究表明，联邦学习（FL）可能容易受到受损害的客户端的中毒攻击，但它们对生产FL系统的真正影响尚未完全了解。在这项工作中，我们的目标是通过列举所有可能的威胁模型，中毒的变化和对手的能力，对FL中毒攻击开发一个全面的系统化。我们特别把重点放在无针对性的中毒攻击上，因为我们认为它们与生产FL部署密切相关。我们提出了一个批判性的分析，无针对性的中毒攻击在实际的，生产FL环境下，仔细描述了一套现实的威胁模型和对抗能力。我们的研究结果是相当令人惊讶的：与既定的信念相反，我们表明，FL是非常强大的实践中，即使使用简单，低成本的防御。我们甚至更进一步，提出了新颖的，最先进的数据和模型中毒攻击，并通过在三个基准数据集上进行的一系列广泛的实验，展示了在存在简单防御机制的情况下，有效的中毒攻击是如何进行的。我们的目标是纠正以前的误解，并提供具体的指导方针，对这个主题进行更准确（和更现实）的研究。
2021-12-13 cs.CR cs.DC cs.LG
Manipulating Recommender Systems: A Survey of Poisoning Attacks and Countermeasures
Griffith University（格里菲斯大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Monash University（莫纳什大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；The University of Queensland（昆士兰大学）
本综述系统梳理了针对推荐系统的投毒攻击及其对策，提出新的攻击分类法整理30余种攻击，并评估40余种对策的有效性，为保护推荐系统提供参考。
2024-04-23 cs.CR cs.IR cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology（华中科技大学）；Wuhan University of Technology（武汉理工大学）；Georgia Institute of Technology（佐治亚理工学院）
机器学习技术已经广泛应用于各种应用。然而，它们可能容易受到数据投毒攻击，其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的：它们是针对一种特定类型的攻击而设计的，但不适用于其他类型，主要是由于它们遵循的不同原则。然而，很少有一般的防御战略已经制定。在本文中，我们提出了De-Pois，一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型，其目的是模仿目标模型的行为。我们利用生成对抗网络（GANs）来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异，De-Pois因此能够区分中毒样本和干净样本，而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击，并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明，De-Pois算法能够有效地检测出四种类型的中毒攻击，其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Provably effective detection of effective data poisoning attacks
本文提出数据集投毒攻击的数学定义，证明有效投毒可被检测，并引入共形可分性检验，实验验证了现实场景中的检测有效性。
2025-01-21 cs.CR cs.CV cs.LG
Mixed Strategy Game Model Against Data Poisoning Attacks
McMaster University（麦克马斯特大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
在本文中，我们使用博弈论模型中毒攻击场景。证明了攻击者与防御者博弈中不存在纯策略纳什均衡。然后，我们提出了一个混合扩展我们的游戏模型和算法来近似的纳什均衡策略的后卫。然后，我们证明了该算法产生的混合防御策略的有效性，在实验中。
2019-06-07 cs.CR cs.LG stat.ML
PoisHygiene: Detecting and Mitigating Poisoning Attacks in Neural Networks
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；The Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）的黑盒性质便于攻击者通过数据投毒来操纵DNN的行为。能够检测和减轻中毒攻击（通常分为后门和对抗性中毒（AP））对于在许多应用领域中安全采用DNN至关重要。虽然最近的工作表现出令人鼓舞的结果检测某些后门攻击，他们表现出固有的局限性，可能会显着限制的适用性。实际上，不存在用于检测AP攻击的技术，这代表了更困难的挑战，因为这种攻击没有表现出共同和明确的规则，而后门攻击表现出共同和明确的规则（即，将后门触发器嵌入到中毒数据中）。我们认为，检测和缓解AP攻击的关键是在受感染的DNN模型中观察和利用基本中毒诱导属性的能力。在本文中，我们提出PoisHygiene，第一个有效和强大的检测和缓解框架对AP攻击。PoisHygiene的基本动机是欧内斯特·卢瑟福博士的故事（即，1908年诺贝尔奖获得者），通过随机电子取样观察原子结构。
2020-06-19 cs.CR cs.CV cs.LG
Why Do Adversarial Attacks Transfer? Explaining Transferability of Evasion and Poisoning Attacks
Northeastern University（东北大学）；University of Cagliari（卡利亚里大学）；Pluribus One
可转移性捕获了针对机器学习模型的攻击对不同的、可能未知的模型有效的能力。在以前的工作中已经显示了可转移性的经验证据，但是攻击转移或不转移的根本原因还没有很好地理解。在本文中，我们提出了一个全面的分析，旨在研究测试时逃避和训练时中毒攻击的可转移性。我们提供了一个统一的规避和中毒攻击的优化框架，以及这种攻击的可转移性的正式定义。我们强调了两个主要因素有助于攻击的可转移性：目标模型的内在对抗性脆弱性，以及用于优化攻击的代理模型的复杂性。基于这些见解，我们定义了三个影响攻击可转移性的指标。有趣的是，我们从理论分析中得出的结果适用于逃避和中毒攻击，并且使用广泛的线性和非线性分类器和数据集进行实验证实。
2019-06-13 cs.CR cs.LG stat.ML
HINT: Healthy Influential-Noise based Training to Defend against Data Poisoning Attacks
University of Arkansas（阿肯色大学）
本文提出基于影响函数的高效鲁棒训练方法 HINT，通过构造健康噪声增强模型对投毒攻击的防御且不损失泛化能力，仅需修改训练数据子集即可在多种场景下有效抵御无目标和有目标投毒攻击。
2023-11-21 cs.AI cs.CR cs.LG
PORE: Provably Robust Recommender Systems against Data Poisoning Attacks
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
数据投毒攻击通过向推荐系统中注入具有精心制作的评级分数的虚假用户来欺骗推荐系统，从而做出任意的、攻击者期望的推荐。对于这种数据投毒攻击及其防御，我们设想了一种猫捉老鼠的游戏，即，新的防御被设计来防御现有的攻击，而新的攻击被设计来打破它们。为了防止这样的猫捉老鼠的游戏，我们提出了PORE，第一个框架，以建立可证明的强大的推荐系统在这项工作中。PORE可以将任何现有的推荐系统转换为可证明鲁棒的，以抵抗任何非目标性的数据投毒攻击，其目的是降低推荐系统的整体性能。假设PORE在没有攻击时向用户推荐顶级$N$项目。我们证明了在任何数据投毒攻击下，PORE仍然向用户推荐至少$r$的$N$项目，其中$r$是攻击中的假用户数量的函数。此外，我们设计了一个有效的算法来计算每个用户的$r$。我们在流行的基准数据集上对PORE进行了经验评估。
2023-03-26 cs.CR cs.IR cs.LG
