Certified Robustness to Label-Flipping Attacks via Randomized Smoothing
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
已知机器学习算法易受数据投毒攻击的影响，其中对手操纵训练数据以降低所得分类器的性能。在这项工作中，我们提出了一个统一的观点，随机平滑任意函数，我们利用这种新的特性，提出了一种新的策略，用于建立分类器，逐点可证明的鲁棒性一般数据投毒攻击。作为一个具体的实例，我们利用我们的框架来构建线性分类器，这些分类器对标签翻转的强变体具有鲁棒性，其中每个测试示例都是独立的。换句话说，对于每个测试点，我们的分类器都包括一个认证，即如果一些训练标签被反向改变，它的预测将是相同的。随机平滑以前已被用来保证-高概率-测试时的鲁棒性对抗操纵的输入到分类器，我们推导出一个变种，提供了一个确定性的，分析的界限，回避了传统上从抽样子程序的概率证书。此外，我们得到这些认证的界限，最小的额外的运行时复杂性超过标准分类，没有假设的训练或测试分布。我们将我们的结果推广到多类的情况下，提供了第一个多类分类算法，是证明标签翻转攻击的鲁棒性。
2020-08-11 cs.AI cs.CR cs.LG
LoMar: A Local Defense Against Poisoning Attack on Federated Learning
Mississippi State University（密西西比州立大学）；University of South Florida（南佛罗里达大学）；University of Oklahoma（俄克拉荷马大学）
联邦学习（FL）提供了高效的分散式机器学习框架，其中训练数据保持分布在网络中的远程客户端处。虽然FL使用物联网设备实现了隐私保护的移动边缘计算框架，但最近的研究表明，这种方法容易受到远程客户端的中毒攻击。针对FL上的中毒攻击，提出了一种\textit{two-phase}防御算法，称为{Lo}cal {Ma}licious Facto{r}（LoMar）.在第一阶段，LoMar通过使用核密度估计方法测量其邻居的相对分布来对来自每个远程客户端的模型更新进行评分。在第二阶段，一个最佳的阈值近似区分恶意和干净的更新从统计的角度来看。在四个真实数据集上进行了综合实验，实验结果表明，该防御策略能够有效地保护FL系统。{具体而言，在标签翻转攻击下对Amazon数据集的防御性能表明，与FG+Krum相比，LoMar将目标标签测试准确率从$96.0\%$提高到$98.8\%$，将总体平均测试准确率从$90.1\%$提高到$97.0\%$。
2022-01-08 cs.AI cs.CR cs.LG
A Backdoor Approach with Inverted Labels Using Dirty Label-Flipping Attacks
INRS-EMT, University of Québec（魁北克大学INRS-EMT学院）
针对音频 DNN 的数据投毒风险，提出 DirtyFlipping 后门攻击，通过 label-on-label 脏标签技术与拍手触发器实现隐蔽植入。
2024-04-07 cs.AI cs.CL cs.CR
Breaking Fair Binary Classification with Optimal Flipping Attacks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在公平性约束下最小化风险是学习公平分类器的流行方法之一。最近的工作表明，如果训练集被损坏，这种方法会产生不公平的分类器。在这项工作中，我们研究了一个成功的翻转攻击所需的数据损坏的最小量。首先，我们找到了这个量的上/下界，并证明了当目标模型是唯一的无约束风险最小化时，这些界是紧的。其次，我们提出了一个计算效率高的数据投毒攻击算法，可以妥协的公平学习算法的性能。
2022-05-09 cs.CR cs.CY cs.LG
Physics-Attested Federated Learning: Securing Collaborative Anomaly Detection in Critical Water Infrastructure
RMIT University（皇家墨尔本理工大学）；Auckland University of Technology（奥克兰理工大学）
该研究提出物理认证的联邦学习，利用自动挖掘的网络物理不变量作为准入门控，抵御遥测伪造和重放投毒，在多个水测试平台上验证了有效性，并采用零知识证明保护数据隐私。
2026-11-06 cs.CR cs.LG
PACOL: Poisoning Attacks Against Continual Learners
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）；EpiSys Science（EpiSys科学公司）
本文提出针对持续学习者的新型数据投毒攻击PACOL，通过生成不改变标签但引发灾难性遗忘的对抗样本，验证了常见持续学习方法在基准数据流上的脆弱性及防御机制的局限性。
2023-11-18 cs.LG
Federated Learning Under Attack: Exposing Vulnerabilities through Data Poisoning Attacks in Computer Networks
Ravensbourne University London (RUL)（伦敦 Ravensbourne 大学）；Bahcesehir University (BAU)（巴赫切谢希尔大学）；University of Portsmouth（朴茨茅斯大学）；University of Padua（帕多瓦大学）；Delft University of Technology（代尔夫特理工大学）
本研究针对计算机网络领域联邦学习易受数据投毒攻击的问题，以新颖方式实施标签翻转和特征投毒攻击，在CIC、UNSW数据集上实验发现特征投毒攻击隐蔽性强、欺骗效果显著，暴露了联邦学习的相关脆弱性。
2024-03-05 cs.AI cs.CR cs.CY
A Linear Approach to Data Poisoning
Mathematical Institute, Oxford（牛津数学研究所）
本文提出了一种线性方法，通过分析岭最小二乘法在高维情况下的表现，推导出数据污染的闭式极限，并展示了污染强度、过参数化和正则化之间的联系。
2026-01-05 cs.CR cs.LG math.ST
Defending against the Label-flipping Attack in Federated Learning
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）
联邦学习（FL）通过设计为参与的对等体提供自主性和隐私性，这些对等体合作构建机器学习（ML）模型，同时将其私有数据保存在其设备中。然而，同样的自治为恶意对等点打开了大门，通过进行无目标或有目标的中毒攻击来毒害模型。标签翻转（LF）攻击是一种有针对性的中毒攻击，其中攻击者通过翻转来自一个类的一些示例的标签（即，源类）到另一个（即，目标类）。不幸的是，这种攻击很容易执行，很难检测到，它对全局模型的性能产生了负面影响。针对LF的现有防御受到对对等体数据分布的假设的限制，并且/或者在高维模型中表现不佳。在本文中，我们深入研究了LF攻击行为，发现攻击者和诚实的对等体对源类示例的矛盾目标反映在输出层中源类和目标类神经元对应的参数梯度中，使这些梯度成为攻击检测的良好区分特征。因此，我们提出了一种新的防御，首先动态地提取这些梯度从同行的本地更新，然后聚类提取的梯度，分析产生的集群和过滤掉潜在的坏更新模型聚合之前。在三个数据集上的大量实证分析表明，无论数据分布或模型维数如何，所提出的防御方法都能有效地抵御LF攻击。此外，所提出的防御优于几个国家的最先进的防御，提供更低的测试误差，更高的整体准确性，更高的源类准确性，更低的攻击成功率，和更高的稳定性的源类准确性。
2022-07-05 cs.CR cs.LG
Mitigating Sybils in Federated Learning Poisoning
University of British Columbia（不列颠哥伦比亚大学）
各种领域都需要分布式多方数据上的机器学习（ML）。现有的方法，如联邦学习，收集由一组设备在中央聚合器计算的输出，并运行迭代算法来训练全局共享模型。不幸的是，这种方法容易受到各种攻击，包括模型中毒，这在sybil的存在下变得更糟。在本文中，我们首先评估联邦学习的脆弱性，以sybil为基础的中毒攻击。然后，我们描述了\emph{FoolsGold}，一种新的防御这个问题，确定中毒sybils的基础上的客户端更新的多样性，在分布式学习过程中。与以前的工作不同，我们的系统不限制预期的攻击者数量，不需要学习过程之外的辅助信息，并且对客户端及其数据的假设较少。在我们的评估中，我们表明FoolsGold超过了现有最先进的方法来对抗基于sybil的标签翻转和后门中毒攻击的能力。我们的研究结果适用于不同分布的客户端数据，不同的中毒目标，和各种sybil策略。代码可以在：https://github.com/DistributedML/FoolsGold上找到
2020-07-15 cs.CR cs.DC cs.LG
FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning
Purdue University（普渡大学）；IBM Research（IBM研究院）；Rutgers University（罗格斯大学）
联邦学习（FL）是一种分布式学习范式，它使不同的各方能够一起训练模型，以实现高质量和强大的隐私保护。在这种情况下，单个参与者可能会受到危害，并通过毒化数据（或梯度）来执行后门攻击。现有的工作健壮的聚合和认证的FL鲁棒性不研究如何硬化良性客户端可以影响全局模型（和恶意客户端）。在这项工作中，我们从理论上分析了交叉熵损失，攻击成功率和清洁精度之间的联系。此外，我们提出了一个触发逆向工程为基础的防御，并表明我们的方法可以实现鲁棒性的改善与保证（即，降低攻击成功率）而不影响良性准确性。我们在不同的数据集和攻击设置中进行了全面的实验。我们的研究结果对8个竞争SOTA防御方法显示，我们的方法在单发和连续FL后门攻击的经验优势。代码可在https://github.com/KaiyuanZh/FLIP上获得。
2023-02-27 cs.AI cs.CR cs.LG
PoiCGAN: A Targeted Poisoning Based on Feature-Label Joint Perturbation in Federated Learning
College of Computer Science and Technology（计算机科学与技术学院）；Harbin Engineering University（哈尔滨工程大学）
本文提出PoiCGAN攻击方法，通过修改生成对抗网络中的判别器和生成器输入，生成理想的污染生成器，实现高成功率的定向污染攻击，同时保持主要任务的准确性。
2026-03-24 cs.AI cs.LG
Semi-Targeted Model Poisoning Attack on Federated Learning via Backward Error Analysis
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；University of Tsukuba（筑波大学）
针对联邦学习（FL）的模型中毒攻击通过破坏边缘模型侵入整个系统，导致机器学习模型失效。这些受损的模型被篡改以执行对手期望的行为。特别是，我们考虑了一个半有针对性的情况下，源类是预先确定的，但目标类不是。目标是使全局分类器对源类的数据进行错误分类。虽然已采用标签翻转等方法将中毒参数注入FL，但已表明其性能通常对应用的不同目标类别敏感。通常情况下，当攻击转移到不同的目标类别时，攻击的效果会降低。为了克服这一挑战，我们提出了攻击距离感知攻击（ADA），通过在特征空间中找到优化的目标类来增强中毒攻击。此外，我们研究了一种更具挑战性的情况，即对手对客户数据的先验知识有限。为了解决这个问题，ADA推导出成对的潜在特征空间中的不同类之间的距离从共享的模型参数的基础上向后误差分析。我们在三个不同的图像分类任务中通过改变攻击频率的因素对ADA进行了广泛的实证评估。结果，ADA在最具挑战性的情况下成功地将攻击性能提高了1.8倍，攻击频率为0.01。
2022-05-10 cs.CR cs.LG
A Unified Framework for Data Poisoning Attack to Graph-based Semi-supervised Learning
UCLA（加州大学洛杉矶分校）；Google Research（谷歌研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对基于图的半监督学习（G-SSL）提出了一种数据投毒攻击的通用框架。在这个框架中，我们首先统一不同的任务，目标和约束到一个单一的公式，数据投毒攻击在G-SSL，然后我们提出了两个专门的算法，有效地解决两个重要的情况下-中毒回归任务下$\ell_2$ -范数约束和分类任务下$\ell_0$ -范数约束。在前一种情况下，我们将其转化为一个非凸的信赖域问题，并表明我们的基于梯度的算法与微妙的初始化和更新计划发现（全球）最优扰动。对于后一种情况，虽然它是一个NP-难整数规划问题，我们提出了一个概率求解器，比经典的贪婪方法更好地工作。最后，我们在真实数据集上测试了我们的框架，并评估了G-SSL算法的鲁棒性。例如，在MNIST二元分类问题（50000个训练数据，50个标记）上，翻转两个标记数据足以使模型像随机猜测一样执行（大约50%的误差）。
2019-10-30 cs.LG stat.ML
FLAegis: A Two-Layer Defense Framework for Federated Learning Against Poisoning Attacks
University of Murcia（穆尔西亚大学）
针对联邦学习中拜占庭客户端投毒攻击问题，本研究提出两阶段防御框架FLAegis，通过SAX放大模型差异、谱聚类检测对抗行为及FFT鲁棒聚合，在五种攻击场景下检测精度与模型准确率均优于现有防御。
2025-08-26 cs.AI cs.LG
From Theory to Practice: Evaluating Data Poisoning Attacks and Defenses in In-Context Learning on Social Media Health Discourse
University of Information Technology and Sciences (UITS)（信息科技与科学大学）
本研究针对公共卫生情感分析场景，验证了上下文学习易受小型数据投毒攻击破坏，并提出谱特征防御方法可有效过滤投毒样本、维持数据完整性，为高风险场景下的大语言模型鲁棒部署提供了参考。
2025-10-04 cs.CL cs.CR cs.LG
Histopathological Image Classification and Vulnerability Analysis using Federated Learning
Anglia Ruskin University（安格利亚鲁斯金大学）；Radford University（拉德福德大学）
本研究针对皮肤癌数据集开发隐私保护的联邦学习技术，发现模型易受标签翻转数据投毒攻击，并采用随机梯度下降优化准确性，强调FL在保护隐私的同时需应对数据投毒风险。
2023-10-11 cs.AI cs.LG
Label Sanitization against Label Flipping Poisoning Attacks
Imperial College London（帝国理工学院）
许多机器学习系统依赖于从不可信来源收集的数据，从而使学习算法暴露于数据中毒。攻击者可以在训练数据集中注入恶意数据来破坏学习过程，从而损害算法的性能，从而以有针对性或不加选择的方式产生错误。标签翻转攻击是数据中毒的一种特殊情况，攻击者可以控制分配给一部分训练点的标签。即使攻击者的能力受到限制，这些攻击已被证明是有效的显着降低系统的性能。在本文中，我们提出了一个有效的算法来执行最佳的标签翻转中毒攻击和机制来检测和重新标记可疑的数据点，减轻这种中毒攻击的影响。
2018-10-02 cs.CR cs.LG stat.ML
Try to Avoid Attacks: A Federated Data Sanitization Defense for Healthcare IoMT Systems
South China University of Technology（华南理工大学）
医疗IoMT系统正在变得智能化、小型化，并且更加融入日常生活。对于IoMT中的分布式设备，联邦学习在满足数据安全性时已成为基于云的训练过程的热门领域。然而，IoMT的分发存在保护免受数据投毒攻击的风险。可以通过伪造医疗数据来制造有毒数据，这迫切需要对IoMT系统进行安全防御。由于缺乏特定的标签，恶意数据的过滤是一个独特的无监督场景。其中一个主要的挑战是找到强大的数据过滤方法的各种中毒攻击。本文介绍了一种新的方法，以保护系统免受数据投毒攻击的联邦数据净化防御。为了解决这个无监督的问题，我们首先使用联邦学习将所有数据投影到子空间域，由于数据存储在本地，因此可以建立统一的特征映射。然后，我们采用联邦聚类重新组合他们的功能，澄清中毒的数据。聚类是基于数据及其语义的一致性关联。在我们得到私有数据的聚类之后，我们用一个简单而有效的策略进行数据清理。最后，分布式ImOT的每个设备都可以根据联邦数据清理来过滤恶意数据。大量的实验进行评估的有效性，提出的防御方法对数据投毒攻击。此外，我们考虑我们的方法在不同的中毒率，并实现了较高的准确性和较低的攻击成功率。
2022-11-03 cs.CR cs.DC cs.LG
Poisoning Attacks on Federated Learning-based Wireless Traffic Prediction
North Carolina State University（北卡罗来纳州立大学）；University of Louisville（路易斯维尔大学）
本文研究基于联邦学习的无线流量预测系统的安全问题，提出新型伪造流量注入投毒攻击及全局-局部不一致检测防御机制，实验验证二者均优于现有基线。
2025-01-14 cs.CR cs.LG cs.NI
FedTrident: Resilient Road Condition Classification Against Poisoning Attacks in Federated Learning
Networked Systems Security Group, KTH Royal Institute of Technology（网络系统安全组，皇家理工学院）
FedTrident通过神经元级分析、自适应客户端评分和机器去学习方法，有效对抗针对道路状况分类的定向标签翻转攻击，提升模型鲁棒性。
2026-03-19 cs.AI cs.CR cs.DC
Defending Distributed Classifiers Against Data Poisoning Attacks
University of Melbourne（墨尔本大学）
支持向量机（SVM）容易受到有针对性的训练数据操纵，例如中毒攻击和标签翻转。通过仔细地操纵训练样本的子集，攻击者迫使学习者计算不正确的决策边界，从而导致错误分类。考虑到支持向量机在工程和生命关键型应用中的重要性日益增加，我们开发了一种新的防御算法，提高了对此类攻击的抵抗能力。局部内在孤立性（LID）是一个很有前途的度量，它可以表征数据样本的离群性。在这项工作中，我们引入了一个新的近似LID称为K-LID，使用核距离的LID计算，这使得LID计算在高维变换空间。我们引入了一个加权支持向量机对这种攻击使用K-LID作为一个显着的特点，不强调可疑的数据样本的SVM决策边界的影响。每个样本都根据其K-LID值来自良性K-LID分布而不是受攻击的K-LID分布的可能性进行加权。然后，我们演示了如何提出的防御可以应用到分布式SVM框架，通过一个基于SDR的监控系统的案例研究。基准数据集的实验表明，所提出的防御大大降低了分类出错率（平均10%）。
2020-08-21 cs.LG stat.ML
Federated Art Chase: Privacy Leakage and Data Poisoning in Federated Fine-Tuning
Indigma Innovations（因迪格玛创新公司）
本研究针对联邦微调场景，通过可复现流程评估联邦学习的隐私与完整性，发现诚实但好奇的服务器可恢复私有标签，数据投毒会影响模型，FLTrust可缓解部分攻击。
2026-10-16 cs.CR cs.LG
Recursive Euclidean Distance Based Robust Aggregation Technique For Federated Learning
Institute for Digital Technologies, Loughborough University（拉夫堡大学数字技术研究所）
联邦学习作为解决机器学习中数据可用性和隐私挑战的解决方案已经越来越受欢迎。然而，在联邦学习中，局部模型更新以获得全局模型的聚合过程容易受到恶意攻击，例如后门中毒、标签翻转和成员推断。恶意用户的目标是通过使用恶意数据训练本地模型来破坏协作学习过程。本文提出了一种基于递归欧氏距离计算的鲁棒聚集方法。我们的方法测量局部模型与先前全局模型的距离，并相应地分配权重。远离全局模型的局部模型被分配较小的权重，以最小化聚合期间的数据投毒效应。我们的实验表明，该算法优于国家的最先进的算法，至少$5\%$的准确性，而减少时间复杂度小于$55\%$。我们的贡献是重要的，因为它解决了联邦学习中恶意攻击的关键问题，同时提高了全局模型的准确性。
2023-03-20 cs.AI cs.LG
On Defending Against Label Flipping Attacks on Malware Detection Systems
Shiraz University of Technology（设拉子理工大学）；University of Padua（帕多瓦大学）；Ryerson University（瑞尔森大学）
标签操纵攻击是对抗性机器学习中针对不同应用（例如恶意软件检测）的数据投毒攻击的子类。这些类型的攻击对具有高噪声率或不确定性的环境中的检测系统构成了严重威胁，例如复杂网络和物联网（IoT）。最近的工作在文献中建议使用$K$ -最近邻（KNN）算法来抵御这种攻击。然而，这种方法可能遭受低到错误的检测精度。在本文中，我们设计了一个架构来解决物联网系统中的Android恶意软件检测问题。我们开发了一种基于Silhouette聚类方法的攻击机制，针对移动Android平台进行了修改。我们提出了两个卷积神经网络（CNN）类型的深度学习算法来对抗这个\emph{Silhouette Clustering-based Label Flipping Attack (SCLFA)}。我们证明了这两种防御算法- \emph{Label-based Semi-supervised Defense (LSD)}和\emph{clustering-based Semi-supervised Defense (CSD)} -在纠正标签被攻击的有效性。我们通过改变三个Android数据集上的各种机器学习参数来评估所提出的算法的性能：Drebin，Contagio和Genome以及三种类型的功能：API，意图和权限。我们的评估表明，使用随机森林特征选择和不同比例的功能，可以导致高达19%的准确性相比，在文献中的最先…
2020-06-16 cs.AI cs.LG stat.ML
Analysis of Label-Flip Poisoning Attack on Machine Learning Based Malware Detector
随着机器学习（ML）在不同领域应用的增加，欺骗这些模型的动机比以往任何时候都要多。由于数据是ML算法的核心支柱，攻击者将他们的兴趣转向污染训练数据。随着开放设计原则、联邦学习和众包等最新研究主题的兴起，数据可信度面临更高的风险。由于机器学习模型依赖于不同的利益相关者来获取数据，因此没有可靠的自动化机制来验证来自每个来源的数据的准确性。恶意软件检测是艰巨的，由于其恶意的性质，加上变形和多态性的能力，在不断发展的样本。ML已被证明可以解决零日恶意软件检测问题，这是传统的基于签名的方法无法解决的问题。恶意软件训练数据的中毒可以允许恶意软件文件不被基于ML的恶意软件检测器检测到，从而帮助攻击者实现其恶意目标。恶意软件检测领域中的数据投毒威胁的可行性分析仍然缺乏。我们的工作将集中在两个主要部分：训练基于ML的恶意软件检测器和中毒的训练数据使用标签中毒的方法。我们将分析不同机器学习模型对不同中毒数据量的数据投毒的鲁棒性。
2023-01-03 cs.CR
FedUP: Efficient Pruning-based Federated Unlearning for Model Poisoning Attacks
New Jersey Institute of Technology（新泽西理工学院）
FedUP提出一种基于剪枝的轻量级联邦遗忘方法，通过置零良性与恶意客户端更新差异最大的高幅值权重，在模型投毒攻击下高效移除恶意影响，实验证明其有效、鲁棒且比SOTA更快更省存储。
2025-08-19 cs.LG
Robust Industrial Cyber Physical Classification Using Neuromorphic Temporal Embeddings and Hybrid SNN XGBoost Under Machine Unlearning Attacks
RMIT University（皇家墨尔本理工大学）；Powercor（Powercor公司）
提出混合SNN与XGBoost架构，利用神经形态时间编码实现轻量级鲁棒入侵检测，在电力系统数据集上达99.9%准确率，并有效抵御机器遗忘攻击。
2026-09-10 cs.CR cs.LG cs.NE
Online AutoML: Evaluating Poisoning Attacks on Cost-Utility Adversarial Training Defence Strategy for IoT Networks
Ontario Tech University（安大略理工大学）；Alex Ekwueme Federal University（亚历克斯·埃克武梅联邦大学）
本研究通过在线AutoML管道评估对抗训练防御在物联网流式数据中应对投毒攻击（标签翻转和噪声注入）的有效性，发现AT-SRP和AT-LB分别在两类攻击下取得最佳F1分数。
2026-10-14 cs.CR cs.LG
Model Poisoning Against Federated Model Adaptation with Chain of Bit-Flips
CEA-Leti, Mines Saint-Etienne, Equipe Commune SAS（CEA-莱蒂， Mines圣艾蒂安， 共同团队SAS）；Univ. Grenoble Alpes, CEA-Leti（格勒诺布尔阿尔卑斯大学， CEA-莱蒂）；Mines Saint-Etienne, CEA-Leti, Centre CMP, Equipe commune SAS（Mines圣艾蒂安， CEA-莱蒂， CMP中心， 共同团队SAS）
提出一种结合硬件故障攻击的模型中毒方法，在联邦学习训练阶段通过比特翻转注入后门，实现任务无关的后门攻击，在ResNet-18上仅需少量故障即可达到94%攻击成功率。
2026-06-08 cs.AI cs.CR
A Bayesian Incentive Mechanism for Poison-Resilient Federated Learning
1 Department of Multidisciplinary Engineering, Texas A\&M University, College Station, TX, USA；2 Department of Statistics；3 Department of Computer Engineering, KNUST, Kumasi, Ghana；4 Department of Computer Science, George Washington University, Washington, DC, USA；5 Department of Engineering Technology；Industrial Distribution, Texas A\&M University, College Station, TX, USA
本文提出一种轻量级贝叶斯激励机制，通过将联邦学习每轮训练建模为不完全信息博弈，利用私有验证集评估更新质量并实施支付，使投毒成为经济劣策略，在半数恶意客户端下仍保持高准确率。
2025-07-16 cs.CR cs.GT cs.LG
Layer of Truth: Probing Belief Shifts under Continual Pre-Training Poisoning
Centre for Trusted Internet \& Community, National University of Singapore, Singapore
本研究揭示了持续预训练中虚假信息如何取代模型内部事实表示，通过实验发现中毒对模型信念的影响及可逆性，强调了对事实完整性进行监控的重要性。
2026-02-06 cs.CR cs.LG
BRFID: Toward Byzantine-Robust Federated Intrusion Detection
Meharry Medical College（梅哈里医学院）
针对联邦入侵检测中单拜占庭客户端的标签翻转投毒攻击，实验表明该攻击会显著降低攻击者自身检测准确率，且无防御时全局集成仍稳定，其异常信号可用于识别拜占庭客户端。
2026-09-25 cs.CR cs.LG
Lethean Attack: An Online Data Poisoning Technique
Massachusetts Institute of Technology（麻省理工学院）
数据投毒是一种对抗性场景，攻击者将特制的样本序列提供给在线模型以破坏学习。我们介绍Lethean攻击，一种新的数据投毒技术，导致灾难性遗忘的在线模型。我们在测试时训练的背景下应用攻击，这是一个现代在线学习框架，旨在分布偏移下的泛化。我们提出的理论依据和经验比较，它对其他样本序列，自然会引起遗忘。我们的研究结果表明，使用lethean攻击，对手可以使用短样本序列将测试时训练模型恢复到抛硬币精度性能。
2020-11-24 cs.CR cs.LG
Dynamic Meta-Layer Aggregation for Byzantine-Robust Federated Learning
APC Roy Government College（APC罗伊政府学院）；Department of Computer Science（计算机科学系）；P.R. Thakur Government College（P.R.塔库尔政府学院）
本文提出FedAOT，通过元学习启发的自适应聚合框架，有效防御多标签翻转和未针对攻击，提升联邦学习的鲁棒性和效率。
2026-03-17 cs.LG
Honest Score Client Selection Scheme: Preventing Federated Learning Label Flipping Attacks in Non-IID Scenarios
针对非独立同分布场景下联邦学习易受标签翻转攻击的问题，提出诚实评分客户端选择（HSCS）方案，通过风险向量与准确率向量点积筛选客户端，有效提升模型鲁棒性。
2023-11-10 cs.CR
Performance Weighting for Robust Federated Learning Against Corrupted Sources
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
联邦学习已经成为分布式机器学习的主要计算范例。其独特的数据隐私属性使我们能够协同训练模型，同时为参与客户提供某些隐私保护保证。然而，在实际应用中，联邦环境可能由善意和恶意客户端组成，后者的目的是破坏和降低联邦模型的性能。可以应用不同的损坏方案，例如模型中毒和数据损坏。在这里，我们关注后者，即联邦学习对各种数据破坏攻击的敏感性。我们发现，标准的全球聚合计划的本地权重是低效的，在存在损坏的客户端。为了缓解这个问题，我们提出了一类面向任务的基于性能的方法计算的分布式验证数据集的目标是检测和减轻损坏的客户端。具体来说，我们构建了一个强大的重量聚合计划的基础上几何平均值，并证明其有效性下的随机标签洗牌和有针对性的标签翻转攻击。
2022-05-02 cs.CR cs.LG
ARFED: Attack-Resistant Federated averaging based on outlier elimination
Graduate School of Informatics, Middle East Technical University（中东技术大学信息学研究生院）
针对联邦学习中全局模型易受投毒等攻击且现有防御算法存在强假设、实验不全面的问题，提出无分布假设、基于分层离群点消除的防御算法ARFED，经多场景实验验证其防御稳健性，还提出并验证了更具威胁的有组织部分知识攻击。
2023-06-16 cs.CR cs.LG
Federated Learning based on Defending Against Data Poisoning Attacks in IoT
物联网（IoT）设备数量的迅速增长产生了大量的数据，但物联网设备中的数据隐私和安全暴露，特别是在自动驾驶系统中。联邦学习（FL）是一种通过集成基于分布式节点的全局模型来解决数据隐私、安全性、访问权限和对异构消息的访问问题的范例。然而，对FL的数据投毒攻击可能会破坏这些好处，破坏全局模型的可用性并中断模型训练。为了避免上述问题，我们建立了一个层次化防御数据投毒（HDDP）系统框架来防御FL中的数据投毒攻击，通过异常检测来监控各个节点的本地模型，从而清除恶意客户端。无论中毒防御服务器是否具有可信测试数据集，我们设计了\underline{l}局部\underline{m}模型\underline{t} est \underline{v} oting（LMTV）和\underline{k} ullback- \underline{l} eibler divergence \underline{a} normaly parameters \underline{d} etection（KLAD）算法来防御标签翻转中毒攻击。具体而言，可信测试数据集被用来获得每个分类的评估结果，以识别LMTV中的恶意客户端。更重要的是，我们采用kullback leibler散度来衡量KLAD中没有可信测试数据集的局部模型之间的相似性。最后，通过广泛的评估，针对各种标签翻转中毒攻击，LMTV和KLAD算法在不同…
2022-09-14 cs.CR
Poison is Not Traceless: Fully-Agnostic Detection of Poisoning Attacks
The University of Auckland（奥克兰大学）
本文提出完全无关的污染攻击检测框架DIVA，仅通过分析潜在被污染数据集，利用Complexity Measures预训练元学习器估计干净数据上的准确率，从而检测通用污染攻击，并在label-flipping攻击上进行了验证。
2023-10-24 cs.CR cs.LG
FedBayes: A Zero-Trust Federated Learning Aggregation to Defend Against Adversarial Attacks
Deloitte & Touche LLP（德勤咨询有限责任公司）
针对联邦学习中恶意客户端通过数据投毒破坏全局模型的问题，本文提出零信任聚合方法 FedBayes，利用贝叶斯统计评估客户端权重，从而抵御对抗攻击并保护联邦性能。
2023-12-04 cs.CR cs.LG
Privacy, Robustness, and Fairness Trade-offs in Federated Intrusion Detection: Geometric Indistinguishability at the Aggregation Interface
Bangladesh University of Business and Technology (BUBT)（孟加拉国商业与技术大学（BUBT））；Jagannath University（贾格纳特大学）；University of New South Wales (UNSW)（新南威尔士大学（UNSW））
本文挑战了联邦入侵检测中隐私、鲁棒性等属性可独立组合的假设，发现隐私与鲁棒聚合的结合会降低稀有攻击检测性能，提出应将三者作为整体研究。
2026-09-04 cs.AI cs.CR cs.LG
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
Laurentian University（劳伦森大学）；Centennial College（百年学院）；The University of Osaka（大阪大学）
本文提出RAG-IDS三层多智能体入侵检测框架，通过软信任评分、LECC和提示净化的检索边界防御，可在知识投毒与提示注入攻击下恢复分类质量，在CIC-UNSW-NB15数据集上表现出良好的防御效果。
2026-08-11 cs.AI cs.CR cs.LG
Securing Contrastive mmWave-based Human Activity Recognition against Adversarial Label Flipping
Purdue University（普渡大学）；Arizona State University（亚利桑那州立大学）
本文针对基于毫米波的对比学习人体活动识别系统，识别出三种标签翻转投毒攻击并提出防御措施，经原型系统验证有效，可扩展至其他无线HAR系统以强化安全设计。
2026-08-06 cs.CR
A New Implementation of Federated Learning for Privacy and Security Enhancement
Utah State University（犹他州立大学）；University of Wisconsin-Whitewater（威斯康星大学怀特沃特分校）；University of Nebraska–Lincoln（内布拉斯加大学林肯分校）
受个人数据隐私日益受到关注以及本地客户数据量快速增长的推动，联邦学习（FL）已成为一种新的机器学习环境。FL系统由中央参数服务器和多个本地客户端组成。它将数据保存在本地客户端，并通过共享本地学习的模型参数来学习集中式模型。无需共享本地数据，隐私可以得到很好的保护。然而，由于共享的是模型而不是原始数据，因此系统可能会受到恶意客户端发起的中毒模型攻击。此外，由于服务器上没有可用的本地客户端数据，因此识别恶意客户端具有挑战性。此外，仍然可以通过使用上传的模型来估计客户端的本地数据来执行成员推断攻击，从而导致隐私泄露。在这项工作中，我们首先提出了一个基于模型更新的联邦平均算法，以抵御拜占庭攻击，如加性噪声攻击和符号翻转攻击。提出了个体客户端模型初始化方法，通过隐藏个体本地机器学习模型，进一步隐私保护免受成员推断攻击。当结合这两种方案时，可以有效地增强隐私和安全性。实验证明，所提出的方案收敛于非IID数据分布时，没有攻击。在Byzantine攻击下，该方案的性能优于经典的基于模型的FedAvg算法.
2022-08-03 cs.CR cs.LG
Explainable Data Poison Attacks on Human Emotion Evaluation Systems based on EEG Signals
Khalifa University（哈利法大学）；Università degli Studi di Milano（米兰大学）
本文的主要目的是从攻击者的角度来解释在基于脑电信号（EEG）的人类情绪评估系统的训练阶段使用标签翻转的数据投毒攻击，该系统部署了机器学习模型。利用脑电信号进行人类情绪评估一直吸引着大量的研究关注。基于脑电信号的人类情绪状态识别可以有效地检测由内部个体引起的潜在内部威胁。然而，基于EEG信号的人类情感评估系统已经显示出对数据毒药攻击的几个漏洞。实验结果表明，建议的数据毒药攻击是模型独立的成功，虽然各种模型表现出不同程度的弹性攻击。此外，基于EEG信号的人类情绪评估系统的数据毒药攻击解释与几个解释人工智能（XAI）的方法，包括Shapley加法解释（SHAP）值，本地可解释模型不可知推理（LIME），和生成的决策树。本文的代码在GitHub上公开。
2023-01-17 cs.LG eess.SP
Visualizing the Shadows: Unveiling Data Poisoning Behaviors in Federated Learning
本文提出一个可视化系统，通过标签翻转模拟数据投毒攻击，分析其对联邦学习性能的影响，并揭示系统脆弱性，提供缓解见解。
2024-05-26 cs.CR
Chameleon: Adapting to Peer Images for Planting Durable Backdoors in Federated Learning
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
本文提出联邦学习后门攻击方法 Chameleon，通过分析良性图像与被投毒图像的关系，利用对比学习增强后门持久性，使后门寿命较基线延长1.2至4倍。
2023-05-25 cs.CR cs.CV cs.LG
Label Poisoning is All You Need
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington, Seattle（华盛顿大学西雅图分校）
本文提出FLIP方法，首次证明仅通过破坏少量训练标签即可发动高效后门攻击，在多个数据集和架构上以2%标签破坏率实现99.4%攻击成功率，同时几乎不影响干净准确率。
2023-10-29 cs.CR cs.CV cs.LG
ADMIT: Few-shot Knowledge Poisoning Attacks on RAG-based Fact Checking
Deakin University（德金大学）；Fudan University（复旦大学）；City University of Hong Kong（香港城市大学）
ADMIT提出一种无需访问目标模型的少样本攻击方法，通过注入真实证据来翻转事实核查决策，实验显示其在多种系统中成功率达86%，揭示了RAG事实核查系统的重大漏洞。
2026-05-15 cs.AI cs.CL cs.CR
Understanding Variation in Subpopulation Susceptibility to Poisoning Attacks
University of Virginia（弗吉尼亚大学）
本文研究了投毒攻击对不同子群体有效性的影响属性，发现数据集可分离性及干净模型与目标模型间的损失差异是关键因素，该结论在合成与高维基准数据集上均得到验证。
2023-11-20 cs.CR cs.LG
KeTS: Kernel-based Trust Segmentation against Model Poisoning Attacks
本文提出基于核密度估计的防御机制 KeTS，通过分析客户端更新演变来分割恶意客户端，在多个数据集上有效抵御模型投毒攻击，性能优于现有防御方案且不增加客户端开销。
2025-06-29 cs.CR
Hidden in Memory: Sleeper Memory Poisoning in LLM Agents
SPAR；ELLIS Institute Tübingen（图宾根ELLIS研究所）；MPI for Intelligent Systems（智能系统马克斯·普朗克研究所）；Tübingen AI Center（图宾根人工智能中心）；APTA；CISPA Helmholtz Center for Information Security（信息安全海德堡中心）
研究探讨了LLM代理中由于持久化内存带来的安全风险，提出并研究了潜伏记忆污染攻击，该攻击通过操控外部上下文使代理存储伪造的记忆，影响后续交互，实验显示攻击可跨多次对话持续生效。
2026-05-18 cs.AI cs.CR
Deep Learning Model Security: Threats and Defenses
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Indiana University（印第安纳大学）；The University of Texas at Dallas（德州大学达拉斯分校）；Purdue University（普渡大学）；National Tsing Hua University（国立清华大学）；National Taiwan Normal University（国立台湾师范大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Hawaii（夏威夷大学）；AppCubic；Kyoto University（京都大学）；Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）；National University of Singapore（新加坡国立大学）；Pingtan Research Institute of Xiamen University（厦门大学平潭研究院）；University of Manchester（曼彻斯特大学）；Aarhus University（奥胡斯大学）；Imperial College London（伦敦帝国学院）；School of Visual Arts（视觉艺术学院）；Zhejiang University（浙江大学）；University of Edinburgh（爱丁堡大学）
本综述系统梳理深度学习面临的安全威胁（对抗攻击、数据投毒等）及防御手段，并展望自动化防御与大型模型安全等未来方向。
2024-12-16 cs.CR cs.LG cs.SE
