Be Kind, Rewrite: Benign Projections via Rewriting Defend Against LLM Data Poisoning Attacks
Leidos；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种基于重写的良性投影方法（OBBR），通过利用开放书本的良性样本来提高大语言模型对数据中毒攻击的防御能力，实验表明OBBR在多种已知攻击模式中表现出更高的安全性能，并且在计算效率和模型性能方面具有优势。
2026-05-18 cs.AI cs.CR cs.LG
Defending against the Label-flipping Attack in Federated Learning
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）
联邦学习（FL）通过设计为参与的对等体提供自主性和隐私性，这些对等体合作构建机器学习（ML）模型，同时将其私有数据保存在其设备中。然而，同样的自治为恶意对等点打开了大门，通过进行无目标或有目标的中毒攻击来毒害模型。标签翻转（LF）攻击是一种有针对性的中毒攻击，其中攻击者通过翻转来自一个类的一些示例的标签（即，源类）到另一个（即，目标类）。不幸的是，这种攻击很容易执行，很难检测到，它对全局模型的性能产生了负面影响。针对LF的现有防御受到对对等体数据分布的假设的限制，并且/或者在高维模型中表现不佳。在本文中，我们深入研究了LF攻击行为，发现攻击者和诚实的对等体对源类示例的矛盾目标反映在输出层中源类和目标类神经元对应的参数梯度中，使这些梯度成为攻击检测的良好区分特征。因此，我们提出了一种新的防御，首先动态地提取这些梯度从同行的本地更新，然后聚类提取的梯度，分析产生的集群和过滤掉潜在的坏更新模型聚合之前。在三个数据集上的大量实证分析表明，无论数据分布或模型维数如何，所提出的防御方法都能有效地抵御LF攻击。此外，所提出的防御优于几个国家的最先进的防御，提供更低的测试误差，更高的整体准确性，更高的源类准确性，更低的攻击成功率，和更高的稳定性的源类准确性。
2022-07-05 cs.CR cs.LG
Active Learning Under Malicious Mislabeling and Poisoning Attacks
University of South Florida（南佛罗里达大学）；U.S. Air Force Research Laboratory（美国空军研究实验室）
深度神经网络通常需要大型标记数据集进行训练，以在许多任务中实现最先进的性能，例如图像分类和自然语言处理。尽管活跃的互联网用户每天都要创建大量数据，但这些数据中的大多数都是未标记的，容易受到数据投毒攻击。在本文中，我们开发了一种高效的主动学习方法，该方法需要较少的标记实例，并结合了对抗性再训练技术，在该技术中，在不增加标记预算的情况下生成额外的标记人工数据。生成的对抗性示例还提供了一种衡量模型脆弱性的方法。为了检查所提出的方法在对抗性设置下的性能，即，恶意错误标记和数据投毒攻击，我们进行了广泛的评估减少CIFAR-10数据集，其中只包含两个类：飞机和青蛙。实验结果表明，所提出的主动学习方法能够有效地抵御恶意标签和数据投毒攻击。具体而言，而基于随机采样策略的基线主动学习方法在恶意错误标记攻击下表现不佳（约50%），所提出的主动学习方法可以使用平均仅三分之一的数据集实现89%的期望准确度。
2021-09-02 cs.CR cs.LG stat.ML
Adaptive and Robust Data Poisoning Detection and Sanitization in Wearable IoT Systems using Large Language Models
Southern Illinois University（辛辛那提大学）；Florida Atlantic University（佛罗里达 Atlantic 大学）；Jazan University（贾兹安大学）
本文提出利用大语言模型进行可穿戴物联网系统中的数据污染检测与净化，通过角色扮演和逐步推理策略提升系统安全性和可靠性。
2025-11-21 cs.CR cs.LG
Better Safe than Sorry: Pre-training CLIP against Targeted Data Poisoning and Backdoor Attacks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出 SAFECLIP，通过单模态对比学习预热、基于高斯混合模型划分安全与风险数据，并在预训练中逐步扩大安全集合，从而在不损害 CLIP 性能的前提下将定向数据投毒和后门攻击成功率降至 0%。
2024-06-10 cs.AI cs.CR cs.CV
Depth-2 Neural Networks Under a Data-Poisoning Attack
University of Florida（佛罗里达大学）；The University of Manchester（曼彻斯特大学）
在这项工作中，我们研究了在回归设置中训练浅神经网络时防御数据投毒攻击的可能性。我们专注于对一类深度为2的有限宽度神经网络进行监督学习，其中包括单滤波器卷积网络。在这类网络中，我们试图在存在恶意预言机的情况下学习网络权重，该恶意预言机在训练期间对真实输出进行随机、有界和加性对抗性扭曲。对于我们构造的非梯度随机算法，我们证明了对抗攻击的大小，权重近似精度和所提出的算法实现的置信度之间的最坏情况下的接近最优的权衡。由于我们的算法使用mini-batch，我们分析了mini-batch大小如何影响收敛。我们还展示了如何利用外层权重的缩放来对抗依赖于攻击概率的输出中毒攻击。最后，我们给出了实验证据，证明我们的算法如何在不同的输入数据分布，包括重尾分布的情况下优于随机梯度下降。
2022-06-29 cs.IT cs.LG math.IT
Towards Poisoning Fair Representations
Purdue University（普渡大学）；Tencent AI Lab（腾讯AI实验室）；Georgia Institute of Technology（佐治亚理工学院）
针对深度公平表示学习缺乏安全评估的问题，提出首个数据投毒框架，通过精心构造样本和双层优化近似诱导不公平表示，并给出投毒样本量理论分析。
2024-03-04 cs.LG
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology（香港科技大学）
联邦学习容易受到各种攻击，如模型中毒和后门攻击，即使使用一些现有的防御策略。为了应对这一挑战，我们提出了一种攻击自适应聚合策略，以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制，学习联邦学习模型的脆弱性，从一组看似合理的攻击。据我们所知，我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中，我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Have You Poisoned My Data? Defending Neural Networks against Data Poisoning
Sapienza University of Rome（罗马第一大学）
本文提出一种在迁移学习设置下检测和过滤中毒数据点的新方法，通过定义新的特征向量表示有效捕捉数据分布内在属性，实验证明其在多种架构、数据集和中毒预算下防御率和最终模型性能均优于现有方法。
2024-03-20 cs.AI cs.CR cs.LG
Towards Attack-tolerant Federated Learning via Critical Parameter Analysis
Microsoft Research Asia（微软亚洲研究院）；GIST（光州科学技术院）；KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
针对联邦学习在 non-IID 场景下难以抵御恶意客户端投毒更新的问题，提出基于关键参数分析的 FedCPA 聚合防御方法，并通过多数据集实验验证其优于现有策略。
2023-08-18 cs.AI cs.CR cs.LG
Defending SVMs against Poisoning Attacks: the Hardness and DBSCAN Approach
University of Science and Technology of China（中国科学技术大学）
对抗性机器学习近年来吸引了大量的关注。在投毒攻击中，攻击者可以向训练数据中注入少量特制样本，使决策边界严重偏离，从而导致意外的误分类。由于支持向量机（SVM）的重要性和广泛的应用，我们考虑防止中毒攻击的SVM在本文中。我们研究了两种常用的防御策略：设计鲁棒的SVM算法和数据净化。虽然以前已经提出了一些鲁棒的SVM算法，但它们中的大多数要么缺乏对抗弹性，要么依赖于对数据分布或攻击者行为的强假设。此外，对它们的复杂性的研究还相当有限。据我们所知，我们是第一个证明，即使是最简单的硬边缘单类SVM与离群值问题是NP完全的，并没有完全PTAS，除非P $=$ NP（这意味着它是很难实现一个甚至近似算法）。对于数据净化防御，我们将其与数据的内在维度联系起来;特别是，我们提供了一个采样定理，用于解释DBSCAN（作为一种基于密度的离群值去除方法）防御中毒攻击的有效性。在我们的实证实验中，我们比较了包括DBSCAN和鲁棒SVM方法在内的几种防御方法，并研究了固有维数和数据密度对其性能的影响。
2021-02-20 cs.CG cs.CR cs.LG
GFL: A Decentralized Federated Learning Framework Based On Blockchain
Polytechnic Institute, Zhejiang University（浙江大学理工学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Public Affairs, Zhejiang University（浙江大学公共管理学院）
联邦学习（FL）是一个快速发展的领域，已经提出了许多集中式和分散式的FL框架。然而，如何提高FL框架的通信性能，保持FL框架在恶意节点攻击下的安全性和鲁棒性，是当前FL框架面临的一大挑战。在本文中，我们提出了银河联邦学习框架（GFL），一个基于区块链的去中心化FL框架。GFL引入了一致性哈希算法来提高通信性能，并提出了一种新的环形分散FL算法（RDFL）来提高分散FL的性能和带宽利用率。此外，GFL引入星际文件系统（IPFS）和区块链，进一步提升通信效率和FL安全性。实验结果表明，GFL在恶意节点和非独立同分布（Non-IID）数据集的数据投毒下，提高了通信性能和分散FL性能.
2021-04-13 cs.CR cs.DC cs.LG
Krum Federated Chain (KFC): Using blockchain to defend against adversarial attacks in Federated Learning
Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所（DaSCI））；University of Granada（格拉纳达大学）
针对联邦学习易受对抗性攻击的问题，本文测试了联邦学习证明机制的防御效果，并提出结合Krum与该机制的KFC策略，实验验证了所提方法能有效抵御拜占庭和后门攻击。
2025-02-10 cs.AI cs.LG
Latency Optimization for Blockchain-Empowered Federated Learning in Multi-Server Edge Computing
Purdue University（普渡大学）；Deakin University（迪肯大学）
本文研究了多服务器边缘计算中基于区块链的联邦学习（BFL）的延迟优化问题。在该系统模型中，分布式移动设备（MD）与一组边缘服务器（ES）通信，以同时处理机器学习（ML）模型训练和块挖掘。为了帮助资源受限的MD进行ML模型训练，我们开发了一种卸载策略，使MD能够将其数据传输到关联的ES之一。然后，我们提出了一种新的基于共识机制的边缘层分散ML模型聚合解决方案，通过基于点对点（P2P）的区块链通信构建全局ML模型。区块链在MD和ES之间建立信任，以促进可靠的ML模型共享和合作共识形成，并能够快速消除由中毒攻击引起的操纵模型。我们制定延迟感知BFL作为一种优化，旨在通过联合考虑数据卸载决策，MD的发射功率，MD的数据卸载的信道带宽分配，MD的计算分配和哈希功率分配，以最大限度地减少系统延迟。给定离散卸载和连续分配变量的混合动作空间，我们提出了一种新的深度强化学习方案与参数化的优势演员评论算法。我们从理论上描述了BFL的聚合延迟，小批量大小，和P2P通信轮数方面的收敛特性。我们的数值评估表明，我们提出的方案在模型训练效率，收敛速度，系统延迟和对模型中毒攻击的鲁棒性方面优于基线。
2022-07-04 cs.LG eess.SP
On Defending Against Label Flipping Attacks on Malware Detection Systems
Shiraz University of Technology（设拉子理工大学）；University of Padua（帕多瓦大学）；Ryerson University（瑞尔森大学）
标签操纵攻击是对抗性机器学习中针对不同应用（例如恶意软件检测）的数据投毒攻击的子类。这些类型的攻击对具有高噪声率或不确定性的环境中的检测系统构成了严重威胁，例如复杂网络和物联网（IoT）。最近的工作在文献中建议使用$K$ -最近邻（KNN）算法来抵御这种攻击。然而，这种方法可能遭受低到错误的检测精度。在本文中，我们设计了一个架构来解决物联网系统中的Android恶意软件检测问题。我们开发了一种基于Silhouette聚类方法的攻击机制，针对移动Android平台进行了修改。我们提出了两个卷积神经网络（CNN）类型的深度学习算法来对抗这个\emph{Silhouette Clustering-based Label Flipping Attack (SCLFA)}。我们证明了这两种防御算法- \emph{Label-based Semi-supervised Defense (LSD)}和\emph{clustering-based Semi-supervised Defense (CSD)} -在纠正标签被攻击的有效性。我们通过改变三个Android数据集上的各种机器学习参数来评估所提出的算法的性能：Drebin，Contagio和Genome以及三种类型的功能：API，意图和权限。我们的评估表明，使用随机森林特征选择和不同比例的功能，可以导致高达19%的准确性相比，在文献中的最先…
2020-06-16 cs.AI cs.LG stat.ML
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
Laurentian University（劳伦森大学）；Centennial College（百年学院）；The University of Osaka（大阪大学）
本文提出RAG-IDS三层多智能体入侵检测框架，通过软信任评分、LECC和提示净化的检索边界防御，可在知识投毒与提示注入攻击下恢复分类质量，在CIC-UNSW-NB15数据集上表现出良好的防御效果。
2026-08-11 cs.AI cs.CR cs.LG
FedCom: A Byzantine-Robust Local Model Aggregation Rule Using Data Commitment for Federated Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society (AIRS)（深圳市人工智能与机器人研究院）
联邦学习（FL）是一种有前途的隐私保护分布式机器学习方法，其允许多个客户端（即，工人）协作地训练统计模型，而不公开私有训练数据。由于数据局部化和训练过程不受检查的特点，可能存在Byzantine worker发起数据投毒和模型投毒攻击，严重影响模型性能或导致模型无法收敛。大多数现有的拜占庭鲁棒FL方案要么对几种高级中毒攻击无效，要么需要集中一个公共验证数据集，这在FL中是棘手的。此外，据我们所知，没有一个现有的拜占庭鲁棒分布式学习方法可以很好地发挥其在客户端之间的非独立和相同分布（Non-IID）数据中的作用。为了解决这些问题，我们提出了FedCom，一个新的拜占庭健壮的联邦学习框架，结合承诺的思想，从密码学，它可以实现数据投毒和模型中毒容忍FL下实际的非IID数据分区。具体来说，在FedCom中，每个客户端首先需要对其本地训练数据分发做出承诺。然后，我们通过比较不同客户端提交的承诺之间的Wasserstein距离来识别中毒数据集。此外，我们区分异常的本地模型更新，从良性的，通过测试每个本地模型的行为，其相应的数据提交。我们对FedCom进行广泛的性能评估。实验结果表明，在实际的非IID数据分布下，该方案能够有效抵御典型的数据投毒和模型中毒攻击，性能优于现有的拜占庭鲁棒方案.
2021-04-16 cs.LG
Enhancing Split Learning with Sharded and Blockchain-Enabled SplitFed Approaches
University of Manitoba, Canada（曼尼托巴大学）
针对 SFL 的可扩展性、性能与安全问题，提出 SSFL 并行分片架构及基于区块链和委员会共识的 BSFL，显著提升性能、扩展性与抗数据投毒能力。
2025-09-29 cs.DC cs.LG
Secure Decentralized Learning with Blockchain
University of California Santa Cruz（加州大学圣克鲁兹分校）
针对去中心化联邦学习存在的投毒攻击风险与客户端参与激励不足问题，提出基于区块链的BDFL框架，含审计、激励、声誉等机制，在30%恶意客户端场景下仍实现快速收敛与高准确率。
2024-03-11 cs.CR cs.LG
Defending Regression Learners Against Poisoning Attacks
University of Melbourne（墨尔本大学）；Northrop Grumman Corporation（诺斯罗普·格鲁曼公司）
从工程应用到金融预测广泛使用的回归模型容易受到有针对性的恶意攻击，例如训练数据中毒，攻击者可以通过这种攻击操纵其预测。以前的作品，试图解决这个问题依赖于假设的性质的攻击/攻击者或高估的知识的学习者，使他们不切实际。我们引入了一种新的局部内在相似性（LID）为基础的措施称为N-LID，衡量一个给定的数据点的LID相对于其邻居的局部偏差。然后，我们表明，N-LID可以区分中毒样本正常样本，并提出了一个N-LID为基础的防御方法，使攻击者没有假设。通过对基准数据集的大量数值实验，我们表明，所提出的防御机制在预测精度（与未防御的岭模型相比，MSE降低了76%）和运行时间方面优于最先进的防御。
2020-08-21 cs.LG stat.ML
Trustworthy Blockchain-based Federated Learning for Electronic Health Records: Identity-Gated Participation against Sybil Attacks
Federal Institute of Education, Science, and Technology of Rio Grande do Norte (IFRN)（里约格兰德北教育科学和技术联邦学院）
本文提出基于区块链的可信联邦学习框架，利用去中心化标识符和可验证凭证保障医疗数据安全，有效抵御Sybil攻击，提升模型预测性能。
2026-11-03 cs.AI cs.CR cs.LG
Proof of Reasoning for Privacy Enhanced Federated Blockchain Learning at the Edge
Department of Computing（计算系）；Department of Surgery and Cancer（外科与癌症系）；Hamlyn Centre（哈姆林中心）；Imperial College London（帝国理工学院伦敦分校）
本文提出PoR共识机制，通过屏蔽自动编码器和边缘端分类器提升边缘联邦学习的隐私保护与聚合效率。
2026-01-12 cs.CR cs.CV cs.LG
Does Differential Privacy Prevent Backdoor Attacks in Practice?
Emory University（埃默里大学）；Zhejiang University（浙江大学）
本文首次评估DP-SGD与PATE在后门攻击下的实际防御效果，并提出更快更准的Label-DP替代方案，发现超参数调优可使Label-DP在保持精度的同时更有效防御后门攻击。
2023-11-10 cs.CR cs.LG
VerifBFL: Leveraging zk-SNARKs for A Verifiable Blockchained Federated Learning
University of La Rochelle（拉罗谢尔大学）
本文提出 VerifBFL 框架，结合区块链、zk-SNARKs、IVC 与差分隐私，实现联邦学习本地训练和聚合的链上可验证性，并通过概念验证证明其高效性。
2025-01-08 cs.CR cs.DC cs.ET
Reputation-Based Federated Learning Defense to Mitigate Threats in EEG Signal Classification
Deakin University（迪肯大学）；Khalifa University（哈利法大学）
本文提出基于声誉的联邦学习防御框架，通过协作训练保护隐私并识别受损参与者，有效减轻EEG信号分类中的数据投毒攻击威胁。
2023-10-22 cs.CR cs.LG eess.SP
A Secure Federated Learning Framework for 5G Networks
Heilongjiang University（黑龙江大学）；Nanyang Technological University（南洋理工大学）；Prince Sattam Bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹亲王大学）；Tokyo Institute of Technology（东京工业大学）；Changchun University of Science and Technology（长春理工大学）；Menoufia University（梅努菲亚大学）；Nile University（尼罗河大学）
联邦学习（FL）最近被提出作为一种新兴范式，用于使用分布式训练数据集构建机器学习模型，这些数据集在5G网络中的不同设备上本地存储和维护，同时为参与者提供隐私保护。在FL中，中央聚合器累积参与者上传的本地更新以更新全局模型。但是，存在两个关键的安全威胁：中毒和成员推断攻击。这些攻击可能由恶意或不可靠的参与者实施，导致全局模型的构建失败或FL模型的隐私泄露。因此，发展安全防御手段对FL至关重要。在这篇文章中，我们提出了一个基于区块链的安全FL框架来创建智能合约，并防止恶意或不可靠的参与者参与FL。在这样做的过程中，中央聚合器通过自动执行智能合约来识别恶意和不可靠的参与者，以抵御中毒攻击。此外，我们使用局部差分隐私技术来防止成员推断攻击。仿真结果表明，该框架能够有效地抵御投毒攻击和成员推断攻击，从而提高FL在5G网络中的安全性。
2020-05-12 cs.CR cs.LG cs.NI
Defending Against Knowledge Poisoning Attacks During Retrieval-Augmented Generation
Department of Computer Science, The City University of New York - College of Staten Island（纽约市立大学史泰登岛学院计算机科学系）；Department of Mathematics and Computer Science, Northern Michigan University（北密歇根大学数学与计算机科学系）；Department of Software Engineering, Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学软件工程系）；Energy and Bioproducts Research Institute, Aston University（阿斯顿大学能源与生物产品研究所）；Graduate School of Information, Yonsei University（延世大学信息研究生院）；Department of Computer Science, Sangmyung University（祥明大学计算机科学系）
本文提出FilterRAG和ML-FilterRAG方法，通过识别对抗性文本与清洁文本的差异特性，有效缓解PoisonedRAG攻击，实验表明其性能接近原始RAG系统。
2026-03-27 cs.IR cs.LG
2CP: Decentralized Protocols to Transparently Evaluate Contributivity in Blockchain Federated Learning Environments
Imperial College London（伦敦帝国学院）；Vodafone（沃达丰）；Technical University of Munich（慕尼黑工业大学）；ConsenSys Health
联邦学习利用来自多个源的数据构建单个模型。虽然初始模型可能只属于将其带到网络进行训练的参与者，但确定由联邦学习产生的训练模型的所有权仍然是一个悬而未决的问题。在本文中，我们将探讨如何使用区块链（特别是以太坊）来确定使用联邦学习训练的模型的不断演变的所有权。首先，我们使用逐步评估指标来评估参与者在联邦学习过程中的相对贡献。接下来，我们介绍2CP，这是一个框架，包括两个用于区块链联邦学习的新协议，这两个协议都根据贡献者的相对贡献度在最终模型中奖励贡献者。众包协议允许参与者提出一个模型进行训练，并使用他们自己的数据来评估对模型的贡献。即使在不信任的环境中，潜在的训练者也可以公平地分享结果模型。即使没有任何一方拥有初始模型，也没有评估人员，联合会议定书也向培训人员提供同样的保证。我们用MNIST数据集进行实验，通过奖励在模型中具有更大份额的较大数据集，揭示了两种协议产生的良好贡献分数。我们的实验还表明，有必要将2CP与一个强大的模型聚合机制配对，以丢弃来自模型中毒攻击的低质量输入。
2020-11-15 cs.DC cs.LG
An Efficient and Reliable Asynchronous Federated Learning Scheme for Smart Public Transportation
Deakin University（迪肯大学）；Commonwealth Scientific and Industrial Research Organization（澳大利亚联邦科学与工业研究组织）；Xidian University（西安电子科技大学）；Qilu University of Technology（齐鲁工业大学）；Shandong Computer Science Center（山东省计算中心）
由于交通状况会随时间而变化，因此在智能公共交通中，预测交通流量的机器学习模型必须持续有效地更新。联邦学习（FL）是一种分布式机器学习方案，允许总线接收模型更新，而无需等待云上的模型训练。然而，FL很容易受到中毒或DDoS攻击，因为公共汽车在公共场所行驶。异步联邦学习（AFL）是一种通过减少聚合延迟来提高效率的方案，但由于局部模型权重不合理，导致学习性能不稳定。为了解决上述挑战，本文提出了一种基于区块链的具有动态缩放因子的异步联邦学习方案（DBAFL）。具体来说，区块链的新型基于委员会的共识算法以尽可能低的时间成本提高了可靠性。同时，设计的动态缩放因子允许AFL分配合理的权重到陈旧的本地模型。在异构设备上进行的大量实验验证了DBAFL的学习性能，效率和可靠性。
2022-12-26 cs.DC cs.LG
Defending against Insertion-based Textual Backdoor Attacks via Attribution
University of Michigan（密歇根大学）；NVIDIA（英伟达）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Arizona State University（亚利桑那州立大学）
本文提出基于归因的防御流程AttDef，通过识别高归因词元作为潜在触发器并结合外部预训练语言模型检测投毒输入，在BadNL和InSent两种插入式文本后门攻击上取得最优防御效果。
2023-08-07 cs.AI cs.CL cs.CR
Scaling Decentralized Learning with FLock
Department of Computer Science, University of Oxford, Oxford, UK；Newcastle University, UK；Hong Kong University of Science；HongKong Generative AI Research \& Development Center, Hong Kong SAR
本文提出去中心化框架FLock，结合区块链信任层与经济激励实现安全高效的LLM协作微调，首次验证700亿参数模型在无信任多域环境下的训练，可抵御后门攻击并提升跨域泛化能力。
2025-08-27 cs.AI cs.DC cs.LG
Grimm: A Plug-and-Play Perturbation Rectifier for Graph Neural Networks Defending against Poisoning Attacks
School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院）；School of Cyber Science and Engineering, Chengdu University of Information Technology（成都信息工程大学网络空间安全学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院）
针对GNN在节点分类任务中易受投毒攻击且现有防御方法牺牲性能的问题，提出即插即用防御模型Grimm，利用特征轨迹检测并校正扰动，具有无害、并行、通用、可迁移的优势。
2024-12-19 cs.LG
Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses
University of Maryland（马里兰大学）；Massachussetts Institute of Technology（麻省理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
随着机器学习系统规模的增长，其训练数据需求也在增长，迫使从业者自动化和外包训练数据的管理，以实现最先进的性能。在数据汇集过程中缺乏可靠的人工监督会使组织暴露于安全漏洞;训练数据可以被操纵以控制和降低学习模型的下游行为。这项工作的目标是系统地分类和讨论广泛的数据集漏洞和利用，防御这些威胁的方法，以及该领域的一系列开放问题。除了描述各种中毒和后门威胁模型以及它们之间的关系之外，我们还开发了它们的统一分类法。
2021-03-31 cs.AI cs.CR cs.CV
Implicit Model Specialization through DAG-based Decentralized Federated Learning
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）；Charité – Universitätsmedizin Berlin（夏里特医学院）
联邦学习允许一组分布式客户端在私有数据上训练公共机器学习模型。模型更新的交换由中央实体或分散的方式（例如区块链）管理。然而，所有客户端的强泛化使得这些方法不适合非独立和同分布（非IID）数据。我们提出了一个统一的方法，分散和个性化的联邦学习，是基于有向无环图（DAG）的模型更新。客户端不是训练单个全局模型，而是专注于其本地数据，同时根据其各自数据的相似性使用来自其他客户端的模型更新。这种专门化隐含地出现在基于DAG的通信和模型更新的选择中。因此，我们实现了专门模型的发展，这些模型专注于数据的一个子集，因此比集中式或基于区块链的设置中的联邦学习更好地覆盖非IID数据。据我们所知，所提出的解决方案是第一个在完全分散的联邦学习中将个性化和中毒鲁棒性结合起来的解决方案。我们的评估表明，模型的专业化直接来自三个不同数据集上基于DAG的模型更新通信。此外，与联邦平均相比，我们显示了稳定的模型准确性和更小的客户端方差。
2021-11-03 cs.DC cs.LG
Biscotti: A Ledger for Private and Secure Peer-to-Peer Machine Learning
University of British Columbia（不列颠哥伦比亚大学）
联邦学习是支持安全多方机器学习（ML）的最新技术：数据保存在所有者的设备上，模型的更新通过安全协议聚合。但是，此过程假设有一个可信的集中式基础设施来进行协调，并且客户端必须相信中心服务不会使用客户端数据的副产品。除此之外，一组恶意客户端还可以通过执行中毒攻击来损害模型的性能。作为回应，我们提出了Biscotti：一种用于多方ML的完全分散的对等（P2P）方法，它使用区块链和加密原语来协调对等客户端之间的隐私保护ML过程。我们的评估表明，Biscotti是可扩展的，容错的，并抵御已知的攻击。例如，当30%的对手试图毒害模型时，Biscotti能够保护单个客户端更新的隐私和全局模型的大规模性能。该实现可以在以下网址找到：https://github.com/DistributedML/Biscotti
2019-12-12 cs.CR cs.DC cs.LG
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University（东北大学）；FireEye Inc.（火眼公司）；Xailient Inc.（Xailient公司）
用于基于机器学习（ML）的恶意软件分类的训练管道通常依赖于众包威胁源，从而暴露出自然的攻击注入点。在本文中，我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性，特别关注具有挑战性的“干净标签”攻击，其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择，从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类，包括Windows PE文件，PDF和Android应用程序，我们展示了对各种机器学习模型的有效攻击，并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性，我们为Windows PE文件创建了一个水印实用程序，保留了二进制文件的功能，我们利用类似的行为保留更改方法为Android和PDF文件。最后，我们实验了潜在的防御策略，并展示了完全防御这些攻击的困难，特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
Detecting Backdoors in Deep Text Classifiers
University of Melbourne（墨尔本大学）
深度神经网络容易受到对抗攻击的攻击，例如后门攻击，其中恶意对手在训练期间破坏模型，使得可以在测试时通过将特定单词或短语附加到输入来触发特定行为。本文考虑了诊断模型是否已被破坏的问题，如果是，确定后门触发器。我们提出了第一个强大的防御机制，概括为几个后门攻击对文本分类模型，没有攻击类型的先验知识，我们的方法也不需要访问任何（潜在的妥协）的训练资源。我们的实验表明，我们的技术是高度准确地抵御最先进的后门攻击，包括数据投毒和重量中毒，在一系列的文本分类任务和模型架构。我们的代码将在接受后公开提供。
2022-10-11 cs.AI cs.CR cs.LG
Towards Understanding How Self-training Tolerates Data Backdoor Poisoning
University of Alberta（阿尔伯塔大学）；Illinois Institute of Technology（伊利诺伊理工学院）；Michigan State University（密歇根州立大学）
最近对模型训练中的后门攻击的研究表明，污染一小部分训练数据就足以在中毒的测试时间数据上产生不正确的操纵预测，同时在下游任务中保持高的干净精度。后门攻击的隐蔽性给当今的机器学习范式带来了巨大的防御挑战。在本文中，我们探索了通过额外的未标记数据进行自我训练以减轻后门攻击的潜力。我们首先进行了一项试点研究，以表明香草自我训练在后门缓解中无效。受此启发，我们建议通过在自训练伪标签阶段利用强大但适当的数据增强来防御后门攻击。我们发现，新的自我训练机制在很大程度上有助于抵御后门攻击。通过在CIFAR-10和CIFAR-10与额外的未标记的500 K TinyImages数据集的组合上针对不同后门触发器的实验，证明了其有效性。最后，我们探索了将自我监督表示学习与自我训练相结合的方向，以进一步改进后门防御。
2023-01-20 cs.AI cs.CR cs.CY
RepuNet: A Reputation System for Mitigating Malicious Clients in DFL
University of Murcia（穆尔西亚大学）
本文提出去中心化声誉系统RepuNet，通过模型相似度等指标动态评估节点行为并调整其在聚合中的影响力，有效检测和缓解DFL中的模型投毒等恶意行为。
2025-06-24 cs.AI cs.CR cs.DC
FL-Defender: Combating Targeted Attacks in Federated Learning
Universitat Rovira i Virgili, Department of Computer Engineering
FL-Defender通过分析深度学习模型最后一层梯度的特征，提出了一种有效防御联邦学习中针对性攻击的方法，降低了攻击成功率并保持模型性能。
2022-07-02 cs.CR cs.LG
Blockchain for Large Language Model Security and Safety: A Holistic Survey
Lehigh University（利哈伊大学）；University of Idaho（爱达荷大学）；Boise State University（博伊西州立大学）
本综述全面评估了如何利用区块链技术增强大型语言模型的安全与保障，提出了BC4LLMs分类法系统梳理相关工作，并明确了该交叉领域的潜在研究方向与挑战。
2024-11-17 cs.AI cs.CR cs.DC
Defending against Backdoor Attack on Deep Neural Networks
Xi’an Jiaotong University（西安交通大学）；Northeastern University（东北大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对深度神经网络的后门攻击，提出基于ℓ∞范数的神经元剪枝方法，有效降低攻击成功率并保持高分类准确率。
2025-03-26 cs.CR cs.LG
Adaptive Trust Consensus for Blockchain IoT: Comparing RL, DRL, and MARL Against Naive, Collusive, Adaptive, Byzantine, and Sleeper Attacks
Artificial Intelligence Northeastern University（人工智能东北大学）；Information Technology Dwarkadas J. Sanghvi College of Engineering（信息技术达沃拉吉·桑格维工程学院）
本文通过比较RL、DRL和MARL在区块链物联网中对抗不同攻击的效果，发现MARL在对抗攻击中表现最佳，而所有智能体均能抵御Byzantine攻击，但时间延迟污染攻击对所有智能体均造成严重威胁。
2025-12-28 cs.CR cs.LG cs.MA
FR-Train: A Mutual Information-Based Approach to Fair and Robust Training
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
值得信赖的人工智能是机器学习中的一个关键问题，除了训练一个准确的模型外，还必须考虑在存在数据偏见和中毒的情况下进行公平和稳健的训练。然而，现有的模型公平性技术错误地将中毒数据视为需要修复的额外偏差，导致严重的性能下降。为了解决这个问题，我们提出了FR-Train，它全面执行公平和强大的模型训练。我们提供了一个基于互信息的解释现有的对抗训练为基础的公平的唯一的方法，并应用这个想法来架构一个额外的过滤器，可以识别中毒的数据使用一个干净的验证集，并减少其影响。在我们的实验中，FR-Train在存在数据投毒的情况下，通过减轻偏见和防御中毒，几乎没有降低公平性和准确性。我们还演示了如何使用众包构建干净的验证集，并发布新的基准数据集。
2020-07-03 cs.LG stat.ML
Circumventing Backdoor Defenses That Are Based on Latent Separability
Princeton University（普林斯顿大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
最近的研究表明，深度学习容易受到后门中毒攻击。攻击者可以在模型中嵌入隐藏的后门，通过修改少量训练数据来操纵模型的预测，而无需控制训练过程。目前，在各种各样的后门中毒攻击中已经广泛观察到了一个有形的签名--在中毒数据集上训练的模型倾向于学习有毒样本和干净样本的可分离的潜在表示。这种潜在分离是如此普遍，以至于一系列后门防御直接将其作为默认假设（称为潜在分离性假设），基于此通过潜在空间中的聚类分析来识别有毒样本。一个有趣的问题随之而来：潜在的分离是不可避免的后门中毒攻击？这个问题对于理解潜在可分性的假设是否为防御后门中毒攻击提供了可靠的基础至关重要。在本文中，我们设计了自适应后门中毒攻击，提出反例反对这一假设。我们的方法包括两个关键组成部分：（1）一组正确标记到其语义类（而不是目标类）的有毒样本，可以规范后门学习;（2）非对称触发器种植策略，有助于提高攻击成功率（ASR）以及多样化有毒样本的潜在表示。在基准数据集上的大量实验验证了我们的自适应攻击绕过现有的基于潜在分离的后门防御的有效性。此外，我们的攻击仍然保持了很高的攻击成功率，可以忽略不计的干净的准确性下降。我们的研究呼吁防御设计者在利用潜在分离作为防御假设时要谨慎。
2023-03-04 cs.CR cs.CV cs.LG
Filter, Obstruct and Dilute: Defending Against Backdoor Attacks on Semi-Supervised Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
针对半监督学习（SSL）易受数据投毒后门攻击的问题，本研究提出后门无效器（BI），通过高斯滤波、互补学习和触发器混合破坏触发器与目标类的虚假相关性，显著降低攻击成功率且不影响清洁数据准确率。
2025-02-09 cs.LG
Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks
Nanyang Technological University（南洋理工大学）
深度学习模型最近被证明容易受到后门中毒的攻击，这是一种阴险的攻击，受害者模型正确预测干净的图像，但在添加触发毒药模式时将相同的图像分类为目标类。这种有毒模式可以被对手嵌入到训练数据集中。现有的防御在某些条件下是有效的，例如小尺寸的中毒模式，关于中毒训练样本的比例的知识，或者当经过验证的干净数据集可用时。由于防御者可能没有这样的先验知识或资源，我们提出了一种防御后门中毒，即使在这些先决条件不满足时也是有效的。它由几个部分组成：一个是提取后门中毒信号，检测中毒目标和基类，并从干净的样本中过滤出中毒。我们防御的最后一部分涉及在一个用提取的中毒信号增强的数据集上重新训练中毒模型，并对中毒样本进行纠正性重新标记以中和后门。我们的方法已被证明是有效的防御后门攻击，使用小型和大型的毒药模式对九个不同的目标为基础的类对从CIFAR10数据集。
2019-11-19 cs.CR cs.CV cs.LG
A Knowledge Distillation-Based Backdoor Attack in Federated Learning
University of Science and Technology of China（中国科学技术大学）
联邦学习（FL）是一种新型的分散式机器学习框架。由于FL的分散特性，它在训练过程中容易受到对抗攻击，例如后门攻击。后门攻击旨在将后门注入到机器学习模型中，使得该模型将使用某些特定的后门触发器对测试样本做出任意不正确的行为。尽管已经介绍了FL的一系列后门攻击方法，但也有防御它们的方法。许多防御方法都是利用带后门模型的异常特征或带后门模型与正常模型的差异来进行防御的。为了绕过这些防御，我们需要减少差异和异常特征。我们发现这种异常的一个根源是后门攻击在毒化数据时会直接翻转数据的标签。然而，目前对FL中的后门攻击的研究主要集中在减少带有后门的模型与常规模型之间的差异上。本文提出了对抗性知识蒸馏（ADVKD）方法，该方法将知识蒸馏和后门攻击相结合，通过知识蒸馏减少标签翻转导致的模型结果中的异常特征，从而使模型能够绕过防御。与现有的方法相比，我们表明，ADVKD不仅可以达到更高的攻击成功率，但也成功地绕过防御时，其他方法失败。为了进一步探索ADVKD的性能，我们测试了不同场景下参数对ADVKD性能的影响。根据实验结果，总结了在不同场景下如何调整参数以获得更好的性能。我们还使用了几种方法来可视化不同的攻击效果，并解释ADVKD的有效性。
2022-08-12 cs.CR cs.LG
PECAN: A Deterministic Certified Defense Against Backdoor Attacks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出 PECAN，通过对互不相交数据分区上训练的模型集合使用现成测试时规避认证，实现高效确定性后门防御，并在图像与恶意软件任务上显著提升防御强度、效率并降低攻击成功率。
2024-05-20 cs.CR cs.LG
PiDAn: A Coherence Optimization Approach for Backdoor Attack Detection and Mitigation in Deep Neural Networks
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Tandon School of Engineering（坦登工程学院）
本文提出基于相干性优化的PiDAn算法，通过学习样本级权重向量区分真实与污染数据表征，在GTSRB和ILSVRC2012数据集上有效检测并缓解深度神经网络后门攻击。
2022-03-26 cs.CR cs.LG
Launching Adversarial Attacks against Network Intrusion Detection Systems for IoT
Edinburgh Napier University（爱丁堡龙比亚大学）；University of Hertfordshire（赫特福德大学）
随着互联网上不断出现新设备和新兴技术，攻击面呈指数级增长。技术正在转向利润驱动的物联网市场，安全性是事后的想法。传统的防御方法已不足以高精度地检测已知和未知的攻击。机器学习入侵检测系统已经证明了它们在以高精度识别未知攻击方面的成功。然而，机器学习模型也容易受到攻击。对抗性示例可用于在部署之前评估设计模型的鲁棒性。此外，使用对抗性示例对于创建针对对抗性环境设计的鲁棒模型至关重要。我们的工作使用Bot-IoT数据集评估了传统机器学习和深度学习模型的鲁棒性。我们的方法包括两个主要途径。一是标签中毒，用于造成模型分类错误。二是快速梯度标志法，用于规避检测措施。实验表明，攻击者可以操纵或规避检测具有显着的概率。
2021-04-26 cs.CR cs.LG cs.NI
Adversarial Machine Learning and Defense Game for NextG Signal Classification with Deep Learning
National Security Institute（国家安全研究所）；Virginia Tech（弗吉尼亚理工大学）
本文提出了一个博弈论框架来研究基于深度学习的NextG信号分类的攻击和防御的相互作用。NextG系统（诸如为大量IoT设备设想的系统）可以采用深度神经网络（DNN）来执行各种任务，诸如用户设备识别、物理层认证和现任用户的检测（诸如在公民宽带无线电服务（CBRS）频带中）。通过训练另一个DNN作为代理模型，攻击者可以发起推理（探索性）攻击以学习受害者模型的行为，预测成功的操作模式（例如，信道接入），并干扰它们。防御机制可以通过在受害者模型的决策中引入受控错误来增加对手的不确定性（即，毒化对手的训练数据）。这种防御对攻击是有效的，但在没有攻击时会降低性能。防御者和对手之间的交互被公式化为非合作博弈，其中防御者选择防御的概率或防御水平本身（即，伪造决策的比率），并且对手选择攻击的概率。防御者的目标是最大化其回报（例如，吞吐量或传输成功率），而对手的目标是最小化该奖励及其攻击成本。纳什均衡策略被确定为一种操作模式，使得在另一方的策略固定的情况下，任何一方都不能单方面提高自己的效用。一个虚构的发挥制定为每个球员反复玩游戏，以响应对手的行动的经验频率。将纳什均衡下的性能与固定攻击和防御情况下的性能进行了比较，并量化了NextG信号分类对攻击的弹性。
2022-12-22 cs.AI cs.CR cs.GT
Reverse Engineering Imperceptible Backdoor Attacks on Deep Neural Networks for Detection and Training Set Cleansing
Anomalee Inc.（阿 nomali 公司）；Pennsylvania State University（宾夕法尼亚州立大学）
后门数据投毒是一种新兴的对抗攻击形式，通常针对深度神经网络图像分类器。攻击者使用来自一个（或多个）源类的相对较小的图像集来毒化训练集，这些图像嵌入后门模式并标记为目标类。对于成功的攻击，在操作期间，经训练的分类器将：1）每当存在相同的后门模式时，将测试图像从源类别误分类为目标类别; 2）对于无后门的测试图像保持高分类精度。在本文中，我们在防御后门攻击不可察觉的后门模式（如水印）之前/期间的训练阶段的突破。这是一个具有挑战性的问题，因为它是先验未知的训练集的哪个子集（如果有的话）已经中毒。我们提出了一个基于优化的逆向工程防御，联合：1）检测训练集是否中毒; 2）如果是，识别目标类和嵌入后门模式的训练图像; 3）此外，逆向工程师估计攻击者使用的后门模式。在CIFAR-10的基准实验中，对于各种各样的攻击，我们的防御在删除检测到的可疑训练图像后将攻击成功率降低到不超过4.9%，从而达到了新的最先进水平。
2020-10-15 cs.LG
Backdoor Attack and Defense in Federated Generative Adversarial Network-based Medical Image Synthesis
The University of British Columbia（不列颠哥伦比亚大学）
针对联邦GAN医学图像合成中的后门攻击，本文揭示其通过判别器过拟合破坏均衡的机理，并提出FedDetect依据客户端损失识别和阻断恶意客户端。
2023-07-16 cs.AI cs.CR cs.CV
