What Distributions are Robust to Indiscriminate Poisoning Attacks for Linear Learners?
University of Virginia（弗吉尼亚大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University California Los Angeles（加州大学洛杉矶分校）
本研究探究线性学习器对无差别投毒攻击的内在鲁棒性，证明在类间分布低方差且分离良好、投毒约束集较小时，线性学习器可天然抵抗投毒，并解释了基准数据集上攻击效果的差异。
2023-11-09 cs.CR cs.LG
Fast, Private, and Protected: Safeguarding Data Privacy and Defending Against Model Poisoning Attacks in Federated Learning
Institute of Computing State University of Campinas（计算研究所 卡廷斯州立大学）
提出 FPP 方法，通过参与者评估、训练恢复和声誉机制，在保护数据隐私的安全聚合下防御联邦学习中的模型投毒攻击，实现快速收敛。
2025-11-04 cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Defending Against Knowledge Poisoning Attacks During Retrieval-Augmented Generation
Department of Computer Science, The City University of New York - College of Staten Island（纽约市立大学史泰登岛学院计算机科学系）；Department of Mathematics and Computer Science, Northern Michigan University（北密歇根大学数学与计算机科学系）；Department of Software Engineering, Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学软件工程系）；Energy and Bioproducts Research Institute, Aston University（阿斯顿大学能源与生物产品研究所）；Graduate School of Information, Yonsei University（延世大学信息研究生院）；Department of Computer Science, Sangmyung University（祥明大学计算机科学系）
本文提出FilterRAG和ML-FilterRAG方法，通过识别对抗性文本与清洁文本的差异特性，有效缓解PoisonedRAG攻击，实验表明其性能接近原始RAG系统。
2026-03-27 cs.IR cs.LG
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
Laurentian University（劳伦森大学）；Centennial College（百年学院）；The University of Osaka（大阪大学）
本文提出RAG-IDS三层多智能体入侵检测框架，通过软信任评分、LECC和提示净化的检索边界防御，可在知识投毒与提示注入攻击下恢复分类质量，在CIC-UNSW-NB15数据集上表现出良好的防御效果。
2026-08-11 cs.AI cs.CR cs.LG
Defending Against Poisoning Attacks in Federated Learning with Blockchain
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Imperial College London（帝国理工学院）；UiT The Arctic University of Norway（挪威北极大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对联邦学习依赖中心化服务器存在单点故障、易受恶意客户端投毒攻击的问题，提出基于区块链与分布式账本、由链上智能合约驱动点对点投票及奖惩机制的安全联邦学习系统，经理论与实验验证对恶意客户端行为具备鲁棒性。
2024-03-12 cs.AI cs.CR cs.GT
Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
我们研究了针对强化学习（RL）的黑箱奖励中毒攻击，其中对手的目的是操纵奖励来误导一系列具有未知算法的RL代理，以在对手先验未知的环境中学习邪恶的策略。也就是说，我们的攻击对对手的先验知识做了最少的假设：它对环境或学习者没有初始知识，除了它执行的动作之外，它也没有观察到学习者的内部机制。我们设计了一种新的黑盒攻击，U2，可以证明达到接近匹配的性能，以最先进的白盒攻击，证明了奖励中毒的可行性，即使在最具挑战性的黑盒设置。
2021-02-16 cs.AI cs.CR cs.LG
PACOL: Poisoning Attacks Against Continual Learners
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）；EpiSys Science（EpiSys科学公司）
本文提出针对持续学习者的新型数据投毒攻击PACOL，通过生成不改变标签但引发灾难性遗忘的对抗样本，验证了常见持续学习方法在基准数据流上的脆弱性及防御机制的局限性。
2023-11-18 cs.LG
Defending Pre-trained Language Models as Few-shot Learners against Backdoor Attacks
Stony Brook University（石溪大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
本文针对少样本场景下预训练语言模型易受后门攻击的问题，提出轻量可插拔的 MDP 防御框架，通过掩码敏感性差异识别投毒样本，并经实验验证其有效性。
2023-09-23 cs.AI cs.LG
Grimm: A Plug-and-Play Perturbation Rectifier for Graph Neural Networks Defending against Poisoning Attacks
School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院）；School of Cyber Science and Engineering, Chengdu University of Information Technology（成都信息工程大学网络空间安全学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院）
针对GNN在节点分类任务中易受投毒攻击且现有防御方法牺牲性能的问题，提出即插即用防御模型Grimm，利用特征轨迹检测并校正扰动，具有无害、并行、通用、可迁移的优势。
2024-12-19 cs.LG
Lethal Dose Conjecture on Data Poisoning
University of Maryland（马里兰大学）
数据投毒考虑的是出于恶意目的扭曲机器学习算法训练集的对手。在这项工作中，我们揭示了一个关于数据投毒的基本原理的猜想，我们称之为致死剂量猜想。该猜想指出：如果需要$n$干净的训练样本来进行准确的预测，则在大小- $N$训练集中，在确保准确性的同时，仅可以容忍$Θ(N/n)$中毒的样本。从理论上讲，我们在多个案例中验证了这一猜想。我们还提供了一个更一般的角度来看，这一猜想通过分布歧视。深度分区聚合（DPA）及其扩展，有限聚合（FA）是最近的可证明的防御数据投毒的方法，其中它们通过使用给定学习器从训练集的不同子集训练的许多基础模型的多数投票进行预测。这个猜想意味着DPA和FA都是（渐近）最优的--如果我们有最有效的数据学习器，他们可以把它变成对抗数据投毒的最强大的防御之一。这概述了一种实用的方法，通过寻找数据高效的学习者来开发更强大的防御中毒。经验上，作为概念证明，我们表明，通过简单地使用不同的数据增强的基础学习，我们可以分别增加一倍和三倍的认证的鲁棒性DPA CIFAR-10和GTSRB不牺牲准确性。
2022-10-18 cs.AI cs.CR cs.CV
Defending Against Adversarial Machine Learning
分析了一个对抗攻击的系统和一个防御攻击的作者归属系统。防御系统免受对抗性机器学习器的攻击可以通过在系统模型之间随机切换，通过检测和响应正常输入分布的变化，或通过使用其他方法来完成。对抗性机器学习用于识别用于将系统输入映射到输出的系统。三种类型的机器学习器用于被攻击的模型。用于对被攻击的系统建模的机器学习器是径向基函数支持向量机、线性支持向量机和前馈神经网络。使用准确度作为适应度度量来进化特征掩模。系统通过识别与正常输入的概率分布不匹配的输入来防御对抗性机器学习攻击。系统还通过在用于将系统输入映射到输出的特征掩码之间随机切换来防御对抗攻击。
2019-11-26 cs.AI cs.CR cs.LG
Adversarial Attacks are a Surprisingly Strong Baseline for Poisoning Few-Shot Meta-Learners
University of Cambridge（剑桥大学）
本文研究了部署的Few-Shot元学习系统的鲁棒性，当它们被馈送一个不可察觉的扰动Few-Shot数据集。我们攻击摊销的元学习者，这使我们能够精心设计输入的勾结集，这些输入被定制为在用作训练数据时欺骗系统的学习算法。联合制作的对抗性输入可能会协同操纵分类器，从而允许很难检测到的非常强大的数据中毒攻击。我们表明，在白盒设置中，这些攻击是非常成功的，可以导致目标模型的预测变得比机会更糟。然而，与一般对抗性示例的众所周知的可转移性相反，共谋集不能很好地转移到不同的分类器。我们探索两个假设来解释这一点：“过拟合”的攻击，和模型之间的不匹配的攻击产生的攻击和攻击转移。不管这些假设所提出的缓解策略如何，合谋输入的转移并不比以通常方式独立产生的对抗性输入更好。
2022-11-23 cs.CR cs.LG
Advancements in Recommender Systems: A Comprehensive Analysis Based on Data, Algorithms, and Evaluation
Nankai University（南开大学）；Beijing Xiaomi Mobile Software Co.（北京小米移动软件有限公司）；Jingdong Retail（京东零售）
基于286篇文献的系统综述，本文从数据、算法和评估三个维度分析了推荐系统面临的冷启动、数据中毒、兴趣漂移等挑战，并提出了融合生理信号、微调大模型、深度强化学习等可行解决方案以释放其潜力。
2024-07-10 cs.IR cs.LG
PiDAn: A Coherence Optimization Approach for Backdoor Attack Detection and Mitigation in Deep Neural Networks
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Tandon School of Engineering（坦登工程学院）
本文提出基于相干性优化的PiDAn算法，通过学习样本级权重向量区分真实与污染数据表征，在GTSRB和ILSVRC2012数据集上有效检测并缓解深度神经网络后门攻击。
2022-03-26 cs.CR cs.LG
Defending against Insertion-based Textual Backdoor Attacks via Attribution
University of Michigan（密歇根大学）；NVIDIA（英伟达）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Arizona State University（亚利桑那州立大学）
本文提出基于归因的防御流程AttDef，通过识别高归因词元作为潜在触发器并结合外部预训练语言模型检测投毒输入，在BadNL和InSent两种插入式文本后门攻击上取得最优防御效果。
2023-08-07 cs.AI cs.CL cs.CR
Active Learning Under Malicious Mislabeling and Poisoning Attacks
University of South Florida（南佛罗里达大学）；U.S. Air Force Research Laboratory（美国空军研究实验室）
深度神经网络通常需要大型标记数据集进行训练，以在许多任务中实现最先进的性能，例如图像分类和自然语言处理。尽管活跃的互联网用户每天都要创建大量数据，但这些数据中的大多数都是未标记的，容易受到数据投毒攻击。在本文中，我们开发了一种高效的主动学习方法，该方法需要较少的标记实例，并结合了对抗性再训练技术，在该技术中，在不增加标记预算的情况下生成额外的标记人工数据。生成的对抗性示例还提供了一种衡量模型脆弱性的方法。为了检查所提出的方法在对抗性设置下的性能，即，恶意错误标记和数据投毒攻击，我们进行了广泛的评估减少CIFAR-10数据集，其中只包含两个类：飞机和青蛙。实验结果表明，所提出的主动学习方法能够有效地抵御恶意标签和数据投毒攻击。具体而言，而基于随机采样策略的基线主动学习方法在恶意错误标记攻击下表现不佳（约50%），所提出的主动学习方法可以使用平均仅三分之一的数据集实现89%的期望准确度。
2021-09-02 cs.CR cs.LG stat.ML
Depth-2 Neural Networks Under a Data-Poisoning Attack
University of Florida（佛罗里达大学）；The University of Manchester（曼彻斯特大学）
在这项工作中，我们研究了在回归设置中训练浅神经网络时防御数据投毒攻击的可能性。我们专注于对一类深度为2的有限宽度神经网络进行监督学习，其中包括单滤波器卷积网络。在这类网络中，我们试图在存在恶意预言机的情况下学习网络权重，该恶意预言机在训练期间对真实输出进行随机、有界和加性对抗性扭曲。对于我们构造的非梯度随机算法，我们证明了对抗攻击的大小，权重近似精度和所提出的算法实现的置信度之间的最坏情况下的接近最优的权衡。由于我们的算法使用mini-batch，我们分析了mini-batch大小如何影响收敛。我们还展示了如何利用外层权重的缩放来对抗依赖于攻击概率的输出中毒攻击。最后，我们给出了实验证据，证明我们的算法如何在不同的输入数据分布，包括重尾分布的情况下优于随机梯度下降。
2022-06-29 cs.IT cs.LG math.IT
Influence Based Defense Against Data Poisoning Attacks in Online Learning
TCS Research（塔塔咨询服务研究院）
数据中毒是一种对训练数据的对抗攻击，攻击者操纵一小部分数据以降低机器学习模型的性能。因此，依赖外部数据源获取训练数据的应用程序面临的风险要高得多。有几种已知的防御机制可以帮助减轻这种攻击的威胁。例如，数据净化是一种流行的防御机制，其中学习器拒绝那些离训练实例集足够远的数据点。关于数据投毒防御的先前工作主要集中在离线设置上，其中所有数据都被假定为可用于分析。在线学习的防御措施，其中数据点顺序到达，没有获得类似的兴趣。在这项工作中，我们提出了一种防御机制，以尽量减少中毒的训练数据对学习者的模型在在线设置所造成的退化。我们提出的方法利用了影响函数，这是一个经典的技术，在强大的统计。此外，我们补充它与现有的数据净化方法过滤出一些中毒的数据点。我们研究了我们的防御机制对多个数据集和多个攻击策略对在线学习者的有效性。
2021-04-24 cs.AI cs.CR cs.LG
On Optimal Learning Under Targeted Data Poisoning
Purdue University（普渡大学）；Yale University（耶鲁大学）；Google Research（谷歌研究院）；University of Virginia（弗吉尼亚大学）；Technion（以色列理工学院）
考虑在存在对手的情况下学习假设类$\mathcal{H}$的任务，该对手可以用任意对抗性示例替换训练集中的示例的$η$部分。对手的目标是在一个特定的目标测试点$x$上让学习者失败，该目标测试点$x$是对手已知的，但学习者不知道。在这项工作中，我们的目标是表征最小的可实现的错误$ε=ε(η)$的学习者在存在这样一个对手在可实现和不可知的设置。我们完全实现了这一点，在可实现的设置，证明$ε=Θ(\mathtt{VC}(\mathcal{H})\cdot η)$，其中$\mathtt{VC}(\mathcal{H})$是VC维度的$\mathcal{H}$。值得注意的是，我们表明，上界可以达到一个确定性的学习。在不可知论的背景下，我们揭示了一个更复杂的景观：我们设计了一个确定性的学习者与$ε\leq C\cdot\mathtt{OPT} + O(\mathtt{VC}(\mathcal{H})\cdot η)$，其中$C > 1$是一个通用的数字常数乘法遗憾保证。我们补充这一点表明，对于任何确定性的学习有一个攻击，它的错误，至少$2\cdot \mathtt{OPT}$。这意味着，在这种情况下，后悔的倍增恶化是不可避免的。最后，我们为实现最佳速率而开发的算法本质上是不正确的。然而，我们表明，对于各种自然的概念类，如线性分类器，它是可以保留的依赖$ε=Θ_{\mathcal{H}}(η)$…
2022-10-12 cs.CR cs.LG
Towards Poisoning Fair Representations
Purdue University（普渡大学）；Tencent AI Lab（腾讯AI实验室）；Georgia Institute of Technology（佐治亚理工学院）
针对深度公平表示学习缺乏安全评估的问题，提出首个数据投毒框架，通过精心构造样本和双层优化近似诱导不公平表示，并给出投毒样本量理论分析。
2024-03-04 cs.LG
Agnostic Learning under Targeted Poisoning: Optimal Rates and the Role of Randomness
Department of Mathematics, Technion（技术学院数学系）；Departments of Mathematics, Computer Science, and Data and Decision Sciences, Technion and Google Research（技术学院数学系、计算机科学系和数据与决策科学系，以及谷歌研究）
本文在不可知设定下研究定向投毒攻击的最优学习速率，证明最优超额误差为Θ̃(√(dη))，并揭示随机化学习器对达到该速率的关键作用。
2025-06-03 cs.LG math.PR
Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）
本文实证评估了11种增量学习器在3种场景下对基于投毒的后门攻击的脆弱性，揭示了极低投毒比例（低至0.1%）下的跨任务攻击与后门知识泛化效应，并验证了基于激活聚类的防御机制可有效检测触发模式以缓解安全风险。
2023-05-28 cs.AI cs.CR cs.LG
SHERLOC: Statistical Hypothesis Evaluation and Recovery for Learning Opponent Characteristics
Vanderbilt University（范德比大学）；Amherst College（阿默斯特学院）
本文提出了一种领域无关的框架，用于从观察到的攻击中识别攻击者特征，以提高自动化决策系统中的安全性。
2026-11-10 cs.LG
Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses
University of Maryland（马里兰大学）；Massachussetts Institute of Technology（麻省理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
随着机器学习系统规模的增长，其训练数据需求也在增长，迫使从业者自动化和外包训练数据的管理，以实现最先进的性能。在数据汇集过程中缺乏可靠的人工监督会使组织暴露于安全漏洞;训练数据可以被操纵以控制和降低学习模型的下游行为。这项工作的目标是系统地分类和讨论广泛的数据集漏洞和利用，防御这些威胁的方法，以及该领域的一系列开放问题。除了描述各种中毒和后门威胁模型以及它们之间的关系之外，我们还开发了它们的统一分类法。
2021-03-31 cs.AI cs.CR cs.CV
Defending via strategic ML selection
IBM Research（IBM研究）；Bar Ilan University（巴伊兰大学）；Western Digital（西部数据）
学习过程的结果取决于输入数据。在某些情况下，对手可以策略性地篡改输入数据以影响学习过程的结果。虽然有些数据集很难攻击，但许多其他数据集很容易被操纵。足智多谋的攻击者可以篡改大部分数据集并影响它们。攻击者还可以策略性地关注数据集中属性的首选子集，以最大限度地提高攻击的有效性，并最大限度地减少分配给数据操作的资源。鉴于这一漏洞，我们引入了一个解决方案，根据该方案，防御者实现了一系列学习者，并策略性地执行其激活。防御者计算（博弈论）策略空间，并相应地在可能的情况下应用优势策略，否则应用纳什稳定策略。在本文中，我们提供了这种方法的细节。我们分析了这种策略学习环境下的纳什均衡，并通过具体的例子说明了我们的解决方案。
2019-01-16 cs.CR cs.LG stat.ML
BrainWash: A Poisoning Attack to Forget in Continual Learning
Vanderbilt University（范德堡大学）；University of California, Davis（加州大学戴维斯分校）
本文提出了一种名为BrainWash的新型数据投毒攻击方法，仅需模型当前参数和最新任务数据即可诱发持续学习模型对先前任务的灾难性遗忘。
2023-11-24 cs.AI cs.CR cs.LG
Defending against the Label-flipping Attack in Federated Learning
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）
联邦学习（FL）通过设计为参与的对等体提供自主性和隐私性，这些对等体合作构建机器学习（ML）模型，同时将其私有数据保存在其设备中。然而，同样的自治为恶意对等点打开了大门，通过进行无目标或有目标的中毒攻击来毒害模型。标签翻转（LF）攻击是一种有针对性的中毒攻击，其中攻击者通过翻转来自一个类的一些示例的标签（即，源类）到另一个（即，目标类）。不幸的是，这种攻击很容易执行，很难检测到，它对全局模型的性能产生了负面影响。针对LF的现有防御受到对对等体数据分布的假设的限制，并且/或者在高维模型中表现不佳。在本文中，我们深入研究了LF攻击行为，发现攻击者和诚实的对等体对源类示例的矛盾目标反映在输出层中源类和目标类神经元对应的参数梯度中，使这些梯度成为攻击检测的良好区分特征。因此，我们提出了一种新的防御，首先动态地提取这些梯度从同行的本地更新，然后聚类提取的梯度，分析产生的集群和过滤掉潜在的坏更新模型聚合之前。在三个数据集上的大量实证分析表明，无论数据分布或模型维数如何，所提出的防御方法都能有效地抵御LF攻击。此外，所提出的防御优于几个国家的最先进的防御，提供更低的测试误差，更高的整体准确性，更高的源类准确性，更低的攻击成功率，和更高的稳定性的源类准确性。
2022-07-05 cs.CR cs.LG
Learning and Certification under Instance-targeted Poisoning
University of Virginia（弗吉尼亚大学）；Yale（耶鲁大学）
在本文中，我们研究了PAC的可学习性和认证的预测下，以实例为目标的中毒攻击，其中知道测试实例的对手可能会改变一小部分的训练集，目的是愚弄学习者在测试实例。我们的第一个贡献是在各种环境下将问题形式化，并明确地建模微妙的方面，例如学习的正确或不正确的性质，学习者的随机性，以及对手的攻击是否可以依赖于它。我们的主要结果表明，当对手的预算与样本复杂度呈次线性关系时，（不正确）PAC的可学习性和认证是可以实现的;相反，当对手的预算随着样本复杂度线性增长时，对手可能会将预期的0-1损失提高到1。我们还研究了分布特定的PAC学习在相同的攻击模型，并表明适当的学习与认证是可能的学习半空间下的自然分布。最后，我们实证研究的鲁棒性K近邻，逻辑回归，多层感知器，和卷积神经网络对目标中毒攻击的真实数据集。我们的实验结果表明，许多模型，特别是最先进的神经网络，确实容易受到这些强大的攻击。有趣的是，我们观察到具有高标准准确度的方法可能更容易受到以实例为目标的中毒攻击。
2021-08-09 cs.CR cs.LG
Robustly-reliable learners under poisoning attacks
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Purdue University（普渡大学）
数据投毒攻击，其中对手破坏训练集，目的是诱导特定的期望错误，已经引起了很大的关注：即使只是这种攻击的可能性也可以使用户不再信任学习系统的结果。在这项工作中，我们展示了如何在面对多轴攻击时实现强大的鲁棒性保证。我们提供了鲁棒可靠的预测，其中预测的标签是保证是正确的，只要对手还没有超过给定的腐败预算，即使在存在的实例有针对性的攻击，其中对手知道测试的例子，并旨在导致特定的失败的例子。我们的保证比以前的方法要强得多，以前的方法只能证明学习算法的预测不会改变，而不是证明预测是正确的，因为我们能够在我们的工作中实现。值得注意的是，我们提供了一个完整的表征在这种情况下的可学习性，特别是，近紧匹配的上限和下限的区域，可以被认证，以及有效的算法计算这个区域的ERM预言。此外，对于对数凹分布上的线性分离器的情况，我们提供了有效的真正多项式时间算法（即，非预言算法）用于这种鲁棒可靠的预测。我们还将这些结果扩展到主动设置，其中算法自适应地要求特定信息示例的标签，困难在于对手甚至可能适应这种交互，以及不可知的学习设置，即使在未损坏的数据上也没有完美的分类器。
2022-03-08 cs.AI cs.CR cs.DS
FLock: Defending Malicious Behaviors in Federated Learning with Blockchain
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；McGill University（麦吉尔大学）
联邦学习（FL）是一种很有前途的方法，允许多个数据所有者（客户端）协作训练机器学习模型，而不会损害数据隐私。然而，现有的FL解决方案通常依赖于集中式聚合器来进行模型权重聚合，同时假设客户端是诚实的。即使数据隐私仍然可以保留，单点故障和来自恶意客户端的数据投毒攻击的问题仍然没有得到解决。为了应对这一挑战，我们建议使用分布式账本技术（DLT）来实现Flock，这是一个建立在区块链上的安全可靠的分散式联邦学习系统。为了保证模型质量，我们设计了一种新型的点对点（P2P）审查和奖励/斜线机制，以检测和阻止恶意客户端，由链上智能合约提供支持。此外，奖励/削减机制还可以激励参与者诚实地上传和审查Flock系统中的模型参数。因此，Flock以完全P2P的方式提高了FL系统的性能和鲁棒性。
2022-11-05 cs.AI cs.CR cs.GT
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University（东北大学）；FireEye Inc.（火眼公司）；Xailient Inc.（Xailient公司）
用于基于机器学习（ML）的恶意软件分类的训练管道通常依赖于众包威胁源，从而暴露出自然的攻击注入点。在本文中，我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性，特别关注具有挑战性的“干净标签”攻击，其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择，从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类，包括Windows PE文件，PDF和Android应用程序，我们展示了对各种机器学习模型的有效攻击，并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性，我们为Windows PE文件创建了一个水印实用程序，保留了二进制文件的功能，我们利用类似的行为保留更改方法为Android和PDF文件。最后，我们实验了潜在的防御策略，并展示了完全防御这些攻击的困难，特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
On Defending Against Label Flipping Attacks on Malware Detection Systems
Shiraz University of Technology（设拉子理工大学）；University of Padua（帕多瓦大学）；Ryerson University（瑞尔森大学）
标签操纵攻击是对抗性机器学习中针对不同应用（例如恶意软件检测）的数据投毒攻击的子类。这些类型的攻击对具有高噪声率或不确定性的环境中的检测系统构成了严重威胁，例如复杂网络和物联网（IoT）。最近的工作在文献中建议使用$K$ -最近邻（KNN）算法来抵御这种攻击。然而，这种方法可能遭受低到错误的检测精度。在本文中，我们设计了一个架构来解决物联网系统中的Android恶意软件检测问题。我们开发了一种基于Silhouette聚类方法的攻击机制，针对移动Android平台进行了修改。我们提出了两个卷积神经网络（CNN）类型的深度学习算法来对抗这个\emph{Silhouette Clustering-based Label Flipping Attack (SCLFA)}。我们证明了这两种防御算法- \emph{Label-based Semi-supervised Defense (LSD)}和\emph{clustering-based Semi-supervised Defense (CSD)} -在纠正标签被攻击的有效性。我们通过改变三个Android数据集上的各种机器学习参数来评估所提出的算法的性能：Drebin，Contagio和Genome以及三种类型的功能：API，意图和权限。我们的评估表明，使用随机森林特征选择和不同比例的功能，可以导致高达19%的准确性相比，在文献中的最先…
2020-06-16 cs.AI cs.LG stat.ML
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击，仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略，并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Regularized Robustly Reliable Learners and Instance Targeted Attacks
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文针对实例定向投毒攻击，提出正则化鲁棒可靠学习器以解决原定义在灵活假设类下失效的问题，并利用动态算法设计技术实现亚线性训练时间的输出，弥补了Balcan等人（2022）工作的不足。
2025-05-08 cs.CR cs.DS cs.LG
Adaptive and Robust Data Poisoning Detection and Sanitization in Wearable IoT Systems using Large Language Models
Southern Illinois University（辛辛那提大学）；Florida Atlantic University（佛罗里达 Atlantic 大学）；Jazan University（贾兹安大学）
本文提出利用大语言模型进行可穿戴物联网系统中的数据污染检测与净化，通过角色扮演和逐步推理策略提升系统安全性和可靠性。
2025-11-21 cs.CR cs.LG
Broadly Applicable Targeted Data Sample Omission Attacks
Bar Ilan University（巴伊兰大学）；IBM Haifa Research（IBM海法研究院）
我们介绍了一种新的清洁标签有针对性的中毒攻击的学习机制。虽然传统的中毒攻击通常通过添加，修改和遗漏来破坏数据，但我们的攻击只关注数据遗漏。我们的攻击错误分类了一个单一的，有针对性的测试样本的选择，而不操纵该样本。我们使用包括MNIST、IMDB和CIFAR在内的多个数据集，证明了针对各种学习器（包括深度神经网络、SVM和决策树）的遗漏攻击的有效性。我们攻击数据遗漏的重点也是有益的，因为它更容易实现和分析。我们表明，在低攻击预算的情况下，我们的攻击成功率超过80%，在某些情况下，白盒学习的成功率为100%。它系统地高于黑盒学习的参考基准。对于白盒和黑盒情况，模型准确性的变化可以忽略不计，无论特定的学习者和数据集如何。我们还从理论上证明，在一个简化的不可知PAC学习框架，受数据集的大小和分布，我们的遗漏攻击成功的概率很高，对任何成功的简化不可知PAC学习者。
2021-05-05 cs.LG
Poison is Not Traceless: Fully-Agnostic Detection of Poisoning Attacks
The University of Auckland（奥克兰大学）
本文提出完全无关的污染攻击检测框架DIVA，仅通过分析潜在被污染数据集，利用Complexity Measures预训练元学习器估计干净数据上的准确率，从而检测通用污染攻击，并在label-flipping攻击上进行了验证。
2023-10-24 cs.CR cs.LG
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology（香港科技大学）
联邦学习容易受到各种攻击，如模型中毒和后门攻击，即使使用一些现有的防御策略。为了应对这一挑战，我们提出了一种攻击自适应聚合策略，以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制，学习联邦学习模型的脆弱性，从一组看似合理的攻击。据我们所知，我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中，我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
FedCom: A Byzantine-Robust Local Model Aggregation Rule Using Data Commitment for Federated Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society (AIRS)（深圳市人工智能与机器人研究院）
联邦学习（FL）是一种有前途的隐私保护分布式机器学习方法，其允许多个客户端（即，工人）协作地训练统计模型，而不公开私有训练数据。由于数据局部化和训练过程不受检查的特点，可能存在Byzantine worker发起数据投毒和模型投毒攻击，严重影响模型性能或导致模型无法收敛。大多数现有的拜占庭鲁棒FL方案要么对几种高级中毒攻击无效，要么需要集中一个公共验证数据集，这在FL中是棘手的。此外，据我们所知，没有一个现有的拜占庭鲁棒分布式学习方法可以很好地发挥其在客户端之间的非独立和相同分布（Non-IID）数据中的作用。为了解决这些问题，我们提出了FedCom，一个新的拜占庭健壮的联邦学习框架，结合承诺的思想，从密码学，它可以实现数据投毒和模型中毒容忍FL下实际的非IID数据分区。具体来说，在FedCom中，每个客户端首先需要对其本地训练数据分发做出承诺。然后，我们通过比较不同客户端提交的承诺之间的Wasserstein距离来识别中毒数据集。此外，我们区分异常的本地模型更新，从良性的，通过测试每个本地模型的行为，其相应的数据提交。我们对FedCom进行广泛的性能评估。实验结果表明，在实际的非IID数据分布下，该方案能够有效抵御典型的数据投毒和模型中毒攻击，性能优于现有的拜占庭鲁棒方案.
2021-04-16 cs.LG
Be Kind, Rewrite: Benign Projections via Rewriting Defend Against LLM Data Poisoning Attacks
Leidos；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种基于重写的良性投影方法（OBBR），通过利用开放书本的良性样本来提高大语言模型对数据中毒攻击的防御能力，实验表明OBBR在多种已知攻击模式中表现出更高的安全性能，并且在计算效率和模型性能方面具有优势。
2026-05-18 cs.AI cs.CR cs.LG
Transferable Availability Poisoning Attacks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出可迁移投毒攻击方法，利用对比学习中的对齐性与均匀性特性及有监督、无监督梯度信息生成扰动，显著提升投毒样本在不同学习算法和范式间的攻击可迁移性。
2024-06-06 cs.CR cs.LG
Filter, Obstruct and Dilute: Defending Against Backdoor Attacks on Semi-Supervised Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
针对半监督学习（SSL）易受数据投毒后门攻击的问题，本研究提出后门无效器（BI），通过高斯滤波、互补学习和触发器混合破坏触发器与目标类的虚假相关性，显著降低攻击成功率且不影响清洁数据准确率。
2025-02-09 cs.LG
Towards Understanding How Self-training Tolerates Data Backdoor Poisoning
University of Alberta（阿尔伯塔大学）；Illinois Institute of Technology（伊利诺伊理工学院）；Michigan State University（密歇根州立大学）
最近对模型训练中的后门攻击的研究表明，污染一小部分训练数据就足以在中毒的测试时间数据上产生不正确的操纵预测，同时在下游任务中保持高的干净精度。后门攻击的隐蔽性给当今的机器学习范式带来了巨大的防御挑战。在本文中，我们探索了通过额外的未标记数据进行自我训练以减轻后门攻击的潜力。我们首先进行了一项试点研究，以表明香草自我训练在后门缓解中无效。受此启发，我们建议通过在自训练伪标签阶段利用强大但适当的数据增强来防御后门攻击。我们发现，新的自我训练机制在很大程度上有助于抵御后门攻击。通过在CIFAR-10和CIFAR-10与额外的未标记的500 K TinyImages数据集的组合上针对不同后门触发器的实验，证明了其有效性。最后，我们探索了将自我监督表示学习与自我训练相结合的方向，以进一步改进后门防御。
2023-01-20 cs.AI cs.CR cs.CY
Defending against Backdoor Attack on Deep Neural Networks
Xi’an Jiaotong University（西安交通大学）；Northeastern University（东北大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对深度神经网络的后门攻击，提出基于ℓ∞范数的神经元剪枝方法，有效降低攻击成功率并保持高分类准确率。
2025-03-26 cs.CR cs.LG
Data Poisoning Attacks on Factorization-Based Collaborative Filtering
Vanderbilt University（范德堡大学）；Carnegie Mellon University（卡内基梅隆大学）
推荐和协同过滤系统在现代信息和电子商务应用中非常重要。随着这些系统在行业中越来越受欢迎，它们的输出可能会影响业务决策，从而促使敌对方损害这些系统的可用性或完整性。我们介绍了一个数据投毒攻击的协同过滤系统。我们展示了一个强大的攻击者如何充分了解学习者可以生成恶意数据，以最大限度地提高他/她的恶意目标，同时模仿正常的用户行为，以避免被检测到。虽然完整的知识假设似乎是极端的，它使一个强大的评估的脆弱性的协同过滤方案，以高度动机的攻击。我们提出了有效的解决方案，两个流行的基于因子分解的协同过滤算法：\emph{alternative minimization}制定和\emph{nuclear norm minimization}方法。最后，我们测试了我们提出的算法对真实世界的数据的有效性，并讨论了潜在的防御策略。
2016-10-05 cs.CR cs.IR cs.LG
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在离线多智能体强化学习（MARL）中，智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下，外源攻击者修改奖励数据集之前，代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略，同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同，我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡（MPDSE），保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明，攻击工作在各种MARL代理，包括不确定性意识的学习者，我们表现出线性规划，有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
Detecting Backdoors in Deep Text Classifiers
University of Melbourne（墨尔本大学）
深度神经网络容易受到对抗攻击的攻击，例如后门攻击，其中恶意对手在训练期间破坏模型，使得可以在测试时通过将特定单词或短语附加到输入来触发特定行为。本文考虑了诊断模型是否已被破坏的问题，如果是，确定后门触发器。我们提出了第一个强大的防御机制，概括为几个后门攻击对文本分类模型，没有攻击类型的先验知识，我们的方法也不需要访问任何（潜在的妥协）的训练资源。我们的实验表明，我们的技术是高度准确地抵御最先进的后门攻击，包括数据投毒和重量中毒，在一系列的文本分类任务和模型架构。我们的代码将在接受后公开提供。
2022-10-11 cs.AI cs.CR cs.LG
Better Safe than Sorry: Pre-training CLIP against Targeted Data Poisoning and Backdoor Attacks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出 SAFECLIP，通过单模态对比学习预热、基于高斯混合模型划分安全与风险数据，并在预训练中逐步扩大安全集合，从而在不损害 CLIP 性能的前提下将定向数据投毒和后门攻击成功率降至 0%。
2024-06-10 cs.AI cs.CR cs.CV
Online AutoML: Evaluating Poisoning Attacks on Cost-Utility Adversarial Training Defence Strategy for IoT Networks
Ontario Tech University（安大略理工大学）；Alex Ekwueme Federal University（亚历克斯·埃克武梅联邦大学）
本研究通过在线AutoML管道评估对抗训练防御在物联网流式数据中应对投毒攻击（标签翻转和噪声注入）的有效性，发现AT-SRP和AT-LB分别在两类攻击下取得最佳F1分数。
2026-10-14 cs.CR cs.LG
Circumventing Backdoor Defenses That Are Based on Latent Separability
Princeton University（普林斯顿大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
最近的研究表明，深度学习容易受到后门中毒攻击。攻击者可以在模型中嵌入隐藏的后门，通过修改少量训练数据来操纵模型的预测，而无需控制训练过程。目前，在各种各样的后门中毒攻击中已经广泛观察到了一个有形的签名--在中毒数据集上训练的模型倾向于学习有毒样本和干净样本的可分离的潜在表示。这种潜在分离是如此普遍，以至于一系列后门防御直接将其作为默认假设（称为潜在分离性假设），基于此通过潜在空间中的聚类分析来识别有毒样本。一个有趣的问题随之而来：潜在的分离是不可避免的后门中毒攻击？这个问题对于理解潜在可分性的假设是否为防御后门中毒攻击提供了可靠的基础至关重要。在本文中，我们设计了自适应后门中毒攻击，提出反例反对这一假设。我们的方法包括两个关键组成部分：（1）一组正确标记到其语义类（而不是目标类）的有毒样本，可以规范后门学习;（2）非对称触发器种植策略，有助于提高攻击成功率（ASR）以及多样化有毒样本的潜在表示。在基准数据集上的大量实验验证了我们的自适应攻击绕过现有的基于潜在分离的后门防御的有效性。此外，我们的攻击仍然保持了很高的攻击成功率，可以忽略不计的干净的准确性下降。我们的研究呼吁防御设计者在利用潜在分离作为防御假设时要谨慎。
2023-03-04 cs.CR cs.CV cs.LG
Security of Distributed Machine Learning: A Game-Theoretic Approach to Design Secure DSVM
New York University（纽约大学）
分布式机器学习算法在处理大型网络上的海量数据集方面发挥着重要作用。然而，信息和通信技术（ICT）对机器学习的日益依赖使其在本质上容易受到网络威胁。本文的工作旨在开发安全的分布式算法，以保护学习免受数据投毒和网络攻击。我们建立了一个博弈论的框架，以捕捉冲突的目标，学习者使用分布式支持向量机（SVM）和攻击者谁是能够修改训练数据和标签。我们开发了一个完全分布式的迭代算法来捕获学习者在每个节点上对对抗行为的实时反应。数值结果表明，分布式SVM在不同类型的攻击下容易失效，其影响与网络结构和攻击能力有很强的依赖性。
2020-04-26 cs.CR cs.LG stat.ML
Towards Attack-tolerant Federated Learning via Critical Parameter Analysis
Microsoft Research Asia（微软亚洲研究院）；GIST（光州科学技术院）；KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
针对联邦学习在 non-IID 场景下难以抵御恶意客户端投毒更新的问题，提出基于关键参数分析的 FedCPA 聚合防御方法，并通过多数据集实验验证其优于现有策略。
2023-08-18 cs.AI cs.CR cs.LG
Can Adversarially Robust Learning Leverage Computational Hardness?
University of Virginia（弗吉尼亚大学）
使学习器在测试时对对抗性扰动具有鲁棒性（即，逃避攻击）或训练时间（即，中毒攻击）已经成为一项具有挑战性的任务。众所周知，对于某些自然环境，训练阶段或测试阶段的次线性扰动会大大降低预测的质量。然而，这些否定的结果是信息论的，只证明了这种成功的对抗扰动的存在。这些设置的一个自然问题是，我们是否可以使分类器在计算上对多项式时间攻击具有鲁棒性。在这项工作中，我们证明了强大的障碍，实现这种设想的计算鲁棒性逃避和中毒攻击。特别是，我们表明，如果测试实例来自产品分布（例如，在$\{0,1\}^n$或$[0,1]^n$上均匀，或各向同性$n$ -变量高斯）并且存在初始恒定误差，则存在找到汉明距离$O(\sqrt n)$的对抗性示例的多项式时间攻击。对于中毒攻击，我们证明了对于任何具有样本复杂度$m$和任何有效可计算的“谓词”的学习算法，为所产生的假设定义了一些“坏”属性$B$（例如，在特定测试中失败），存在多项式时间在线中毒攻击，其篡改$O (\sqrt m)$许多示例，用其它正确标记的示例替换它们，并将坏事件$B$的概率增加到$\approx 1$。我们的中毒和逃避攻击在如何访问系统的相应组件方面都是黑盒的（即，假设、概念和学习算法），并且不对分类器或产生分类器的学习算法做出进一步的假设。
2018-11-06 cs.CC cs.CR cs.LG
