Similarity Is Not Validity: Defending LLM Semantic Caches Against Poisoning
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
针对LLM语义缓存投毒攻击,提出基于删除增益和答案检查的防御方法,从缓存键原始文本恢复信息,在5%误报率下阻断82.0%-98.2%投毒条目,开销可忽略。
2026-09-30 cs.AI cs.CR
AGRAMPLIFIER: Defending Federated Learning Against Poisoning Attacks Through Local Update Amplification
Griffith University(格里菲斯大学);The University of Queensland(昆士兰大学);University of Technology Sydney(悉尼科技大学);Deakin University(迪肯大学)
本文提出AGRAMPLIFIER方法,通过放大本地更新的道德性来区分恶意与良性更新,与现有拜占庭鲁棒聚合规则结合,显著提升了联邦学习抵御投毒攻击的鲁棒性、保真度与效率。
2023-11-23 cs.AI cs.CR
Defending SVMs against Poisoning Attacks: the Hardness and DBSCAN Approach
University of Science and Technology of China(中国科学技术大学)
对抗性机器学习近年来吸引了大量的关注。在投毒攻击中,攻击者可以向训练数据中注入少量特制样本,使决策边界严重偏离,从而导致意外的误分类。由于支持向量机(SVM)的重要性和广泛的应用,我们考虑防止中毒攻击的SVM在本文中。我们研究了两种常用的防御策略:设计鲁棒的SVM算法和数据净化。虽然以前已经提出了一些鲁棒的SVM算法,但它们中的大多数要么缺乏对抗弹性,要么依赖于对数据分布或攻击者行为的强假设。此外,对它们的复杂性的研究还相当有限。据我们所知,我们是第一个证明,即使是最简单的硬边缘单类SVM与离群值问题是NP完全的,并没有完全PTAS,除非P $=$ NP(这意味着它是很难实现一个甚至近似算法)。对于数据净化防御,我们将其与数据的内在维度联系起来;特别是,我们提供了一个采样定理,用于解释DBSCAN(作为一种基于密度的离群值去除方法)防御中毒攻击的有效性。在我们的实证实验中,我们比较了包括DBSCAN和鲁棒SVM方法在内的几种防御方法,并研究了固有维数和数据密度对其性能的影响。
2021-02-20 cs.CG cs.CR cs.LG
Defending against Data Poisoning Attacks in Federated Learning via User Elimination
针对联邦学习中的数据投毒攻击,提出一种通过战略性地消除对抗性用户来防御的框架,利用本地训练元数据与差分隐私结合检测异常,实验证明能显著降低投毒风险并保持隐私与性能平衡。
2024-04-19 cs.CR
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
Laurentian University(劳伦森大学);Centennial College(百年学院);The University of Osaka(大阪大学)
本文提出RAG-IDS三层多智能体入侵检测框架,通过软信任评分、LECC和提示净化的检索边界防御,可在知识投毒与提示注入攻击下恢复分类质量,在CIC-UNSW-NB15数据集上表现出良好的防御效果。
2026-08-11 cs.AI cs.CR cs.LG
Defending Against Neural Network Model Inversion Attacks via Data Poisoning
针对模型反转攻击的隐私威胁及现有防御效用损失大、需重训练的问题,提出基于数据投毒的LPA和LFP两种无需重训练的防御方法,其中LPA效果优于现有最优方案,可平衡隐私保护与模型效用。
2024-12-10 cs.CR
Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
提出统一的后验防御框架,通过影响函数分析或行为审计检测微调阶段的数据投毒,并利用梯度上升遗忘恢复模型性能,在多种攻击下实现85-92%检测精度和96%行为恢复。
2026-06-25 cs.CL cs.CR
Defending Against Sophisticated Poisoning Attacks with RL-based Aggregation in Federated Learning
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
针对联邦学习中的复杂投毒攻击,本文提出基于强化学习的自适应聚合方法AdaAggRL,通过分布学习与MMD相似性计算,自适应确定聚合权重,在四个真实数据集上显著优于现有防御方法。
2024-12-15 cs.CR cs.LG
Defending Against Poisoning Attacks in Federated Learning with Blockchain
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Imperial College London(帝国理工学院);UiT The Arctic University of Norway(挪威北极大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对联邦学习依赖中心化服务器存在单点故障、易受恶意客户端投毒攻击的问题,提出基于区块链与分布式账本、由链上智能合约驱动点对点投票及奖惩机制的安全联邦学习系统,经理论与实验验证对恶意客户端行为具备鲁棒性。
2024-03-12 cs.AI cs.CR cs.GT
RouteGuard: Internal-Signal Detection of Skill Poisoning in LLM Agents
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本文提出RouteGuard,通过响应条件注意力和隐藏状态对齐检测LLM代理中的技能中毒,实验证明其在真实和合成数据上表现优异,有效恢复被词法筛选遗漏的攻击。
2026-04-24 cs.AI cs.CR
Defending against Insertion-based Textual Backdoor Attacks via Attribution
University of Michigan(密歇根大学);NVIDIA(英伟达);University of Wisconsin Madison(威斯康星大学麦迪逊分校);Arizona State University(亚利桑那州立大学)
本文提出基于归因的防御流程AttDef,通过识别高归因词元作为潜在触发器并结合外部预训练语言模型检测投毒输入,在BadNL和InSent两种插入式文本后门攻击上取得最优防御效果。
2023-08-07 cs.AI cs.CL cs.CR
Defense Strategies Toward Model Poisoning Attacks in Federated Learning: A Survey
分布式机器学习的进步可以增强未来的通信和网络。联邦学习(FL)的出现为分布式机器学习提供了一个有效的框架,但它仍然面临着许多安全挑战。其中,模型中毒攻击对FL的安全性和性能有着重要的影响。鉴于已经有许多研究专注于防御模型中毒攻击,有必要对现有工作进行调查,并提供见解,以启发未来的研究。在本文中,我们首先将模型中毒攻击的防御机制分为两类:局部模型更新的评估方法和全局模型的聚合方法。然后,我们详细分析了现有的一些防御策略。我们还讨论了一些潜在的挑战和未来的研究方向。据我们所知,我们是第一个调查模型中毒攻击在FL的防御方法。
2022-02-13 cs.CR cs.DC
Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses
University of Maryland(马里兰大学);Massachussetts Institute of Technology(麻省理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
随着机器学习系统规模的增长,其训练数据需求也在增长,迫使从业者自动化和外包训练数据的管理,以实现最先进的性能。在数据汇集过程中缺乏可靠的人工监督会使组织暴露于安全漏洞;训练数据可以被操纵以控制和降低学习模型的下游行为。这项工作的目标是系统地分类和讨论广泛的数据集漏洞和利用,防御这些威胁的方法,以及该领域的一系列开放问题。除了描述各种中毒和后门威胁模型以及它们之间的关系之外,我们还开发了它们的统一分类法。
2021-03-31 cs.AI cs.CR cs.CV
SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing
North China Electric Power University(华北电力大学);Southeast University(东南大学);Soochow University(苏州大学)
针对恶意微调侵蚀大模型拒绝行为的问题,提出SLDR防御方法,通过选择性层恢复和动态路由,在保持下游性能的同时大幅降低有害输出。
2026-10-08 cs.AI cs.CR
D-ADD: An Effective Plug-In for Defending Against Model Stealing
Zhejiang University of Technology(浙江工业大学)
本文提出D-ADD,一种基于账户感知分布差异的非参数检测器,结合预测中毒,作为即插即用模块有效防御模型窃取攻击,同时保持对良性用户的服务质量。
2026-09-09 cs.AI cs.CR
FLock: Defending Malicious Behaviors in Federated Learning with Blockchain
University of Oxford(牛津大学);Imperial College London(帝国理工学院);McGill University(麦吉尔大学)
联邦学习(FL)是一种很有前途的方法,允许多个数据所有者(客户端)协作训练机器学习模型,而不会损害数据隐私。然而,现有的FL解决方案通常依赖于集中式聚合器来进行模型权重聚合,同时假设客户端是诚实的。即使数据隐私仍然可以保留,单点故障和来自恶意客户端的数据投毒攻击的问题仍然没有得到解决。为了应对这一挑战,我们建议使用分布式账本技术(DLT)来实现Flock,这是一个建立在区块链上的安全可靠的分散式联邦学习系统。为了保证模型质量,我们设计了一种新型的点对点(P2P)审查和奖励/斜线机制,以检测和阻止恶意客户端,由链上智能合约提供支持。此外,奖励/削减机制还可以激励参与者诚实地上传和审查Flock系统中的模型参数。因此,Flock以完全P2P的方式提高了FL系统的性能和鲁棒性。
2022-11-05 cs.AI cs.CR cs.GT
CoProtector: Protect Open-Source Code against Unauthorized Training Usage with Data Poisoning
Monash University(蒙纳士大学);ShanghaiTech University(上海科技大学);University of Technology Sydney(悉尼科技大学)
Github Copilot,在数十亿行公共代码上训练,最近已经成为计算机科学研究和实践社区的流行语。虽然它旨在帮助开发人员实现具有强大智能的安全有效的代码,但实践者和研究人员对其道德和安全问题表示担忧,例如,是否应该自由地使用copyleft许可的代码,或者首先考虑使用不安全的代码进行培训?随着人工智能的快速发展,Copilot等旨在通过深度学习模型从大规模开源代码中学习知识的类似产品不可避免地会受到这些问题的严重影响。为了减轻这种影响,我们认为有必要发明有效的机制来保护开源代码不被深度学习模型利用。在这里,我们设计并实现了一个原型,CoProtector,它利用数据投毒技术来武装源代码存储库防御这种漏洞。我们的大规模实验经验表明,CoProtector可以有效地实现其目的,显著降低Copilot类深度学习模型的性能,同时能够稳定地揭示秘密嵌入的水印后门。
2022-02-14 cs.AI cs.CR cs.SE
Be Kind, Rewrite: Benign Projections via Rewriting Defend Against LLM Data Poisoning Attacks
Leidos;University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种基于重写的良性投影方法(OBBR),通过利用开放书本的良性样本来提高大语言模型对数据中毒攻击的防御能力,实验表明OBBR在多种已知攻击模式中表现出更高的安全性能,并且在计算效率和模型性能方面具有优势。
2026-05-18 cs.AI cs.CR cs.LG
Privacy-Preserving Federated Learning Scheme with Mitigating Model Poisoning Attacks: Vulnerabilities and Countermeasures
该研究发现双服务器隐私保护联邦学习方案在防御模型投毒时存在隐私泄露漏洞,提出含双陷门FHE、安全归一化判断、安全余弦相似度检测的PBFL方案,兼具隐私保护与抗投毒能力,效率优于现有方案。
2025-07-30 cs.CR
Defending against the Label-flipping Attack in Federated Learning
Universitat Rovira i Virgili(罗维拉-威尔吉利大学)
联邦学习(FL)通过设计为参与的对等体提供自主性和隐私性,这些对等体合作构建机器学习(ML)模型,同时将其私有数据保存在其设备中。然而,同样的自治为恶意对等点打开了大门,通过进行无目标或有目标的中毒攻击来毒害模型。标签翻转(LF)攻击是一种有针对性的中毒攻击,其中攻击者通过翻转来自一个类的一些示例的标签(即,源类)到另一个(即,目标类)。不幸的是,这种攻击很容易执行,很难检测到,它对全局模型的性能产生了负面影响。针对LF的现有防御受到对对等体数据分布的假设的限制,并且/或者在高维模型中表现不佳。在本文中,我们深入研究了LF攻击行为,发现攻击者和诚实的对等体对源类示例的矛盾目标反映在输出层中源类和目标类神经元对应的参数梯度中,使这些梯度成为攻击检测的良好区分特征。因此,我们提出了一种新的防御,首先动态地提取这些梯度从同行的本地更新,然后聚类提取的梯度,分析产生的集群和过滤掉潜在的坏更新模型聚合之前。在三个数据集上的大量实证分析表明,无论数据分布或模型维数如何,所提出的防御方法都能有效地抵御LF攻击。此外,所提出的防御优于几个国家的最先进的防御,提供更低的测试误差,更高的整体准确性,更高的源类准确性,更低的攻击成功率,和更高的稳定性的源类准确性。
2022-07-05 cs.CR cs.LG
Blockchain-based Federated Learning with SMPC Model Verification Against Poisoning Attack for Healthcare Systems
针对联邦学习易受恶意更新与投毒攻击且难以兼顾隐私保护的问题,本文提出结合区块链、SMPC 加密推理验证和安全聚合的医疗系统框架,并在多个医学数据集上评估。
2023-04-26 cs.CR
Secure Federated Learning against Model Poisoning Attacks via Client Filtering
针对联邦学习中的后门攻击,提出基于余弦相似度的CosDefense算法,通过计算全局模型与客户端更新最后一层权重的余弦相似度来过滤恶意客户端,无需额外信息且兼容客户端采样,有效抵御模型投毒攻击。
2023-04-09 cs.CR cs.DC
Detecting Backdoors in Deep Text Classifiers
University of Melbourne(墨尔本大学)
深度神经网络容易受到对抗攻击的攻击,例如后门攻击,其中恶意对手在训练期间破坏模型,使得可以在测试时通过将特定单词或短语附加到输入来触发特定行为。本文考虑了诊断模型是否已被破坏的问题,如果是,确定后门触发器。我们提出了第一个强大的防御机制,概括为几个后门攻击对文本分类模型,没有攻击类型的先验知识,我们的方法也不需要访问任何(潜在的妥协)的训练资源。我们的实验表明,我们的技术是高度准确地抵御最先进的后门攻击,包括数据投毒和重量中毒,在一系列的文本分类任务和模型架构。我们的代码将在接受后公开提供。
2022-10-11 cs.AI cs.CR cs.LG
Defense against Poisoning Attacks under Shuffle-DP
Nanyang Technological University(南洋理工大学);OceanBase, Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
本文提出一种通用防御框架,可将任意Shuffle-DP协议转换为抗污染攻击的版本,同时保持高分析结果的效用。
2026-05-01 cs.CR cs.DB
Towards Understanding How Self-training Tolerates Data Backdoor Poisoning
University of Alberta(阿尔伯塔大学);Illinois Institute of Technology(伊利诺伊理工学院);Michigan State University(密歇根州立大学)
最近对模型训练中的后门攻击的研究表明,污染一小部分训练数据就足以在中毒的测试时间数据上产生不正确的操纵预测,同时在下游任务中保持高的干净精度。后门攻击的隐蔽性给当今的机器学习范式带来了巨大的防御挑战。在本文中,我们探索了通过额外的未标记数据进行自我训练以减轻后门攻击的潜力。我们首先进行了一项试点研究,以表明香草自我训练在后门缓解中无效。受此启发,我们建议通过在自训练伪标签阶段利用强大但适当的数据增强来防御后门攻击。我们发现,新的自我训练机制在很大程度上有助于抵御后门攻击。通过在CIFAR-10和CIFAR-10与额外的未标记的500 K TinyImages数据集的组合上针对不同后门触发器的实验,证明了其有效性。最后,我们探索了将自我监督表示学习与自我训练相结合的方向,以进一步改进后门防御。
2023-01-20 cs.AI cs.CR cs.CY
Active Learning Under Malicious Mislabeling and Poisoning Attacks
University of South Florida(南佛罗里达大学);U.S. Air Force Research Laboratory(美国空军研究实验室)
深度神经网络通常需要大型标记数据集进行训练,以在许多任务中实现最先进的性能,例如图像分类和自然语言处理。尽管活跃的互联网用户每天都要创建大量数据,但这些数据中的大多数都是未标记的,容易受到数据投毒攻击。在本文中,我们开发了一种高效的主动学习方法,该方法需要较少的标记实例,并结合了对抗性再训练技术,在该技术中,在不增加标记预算的情况下生成额外的标记人工数据。生成的对抗性示例还提供了一种衡量模型脆弱性的方法。为了检查所提出的方法在对抗性设置下的性能,即,恶意错误标记和数据投毒攻击,我们进行了广泛的评估减少CIFAR-10数据集,其中只包含两个类:飞机和青蛙。实验结果表明,所提出的主动学习方法能够有效地抵御恶意标签和数据投毒攻击。具体而言,而基于随机采样策略的基线主动学习方法在恶意错误标记攻击下表现不佳(约50%),所提出的主动学习方法可以使用平均仅三分之一的数据集实现89%的期望准确度。
2021-09-02 cs.CR cs.LG stat.ML
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University(东北大学);FireEye Inc.(火眼公司);Xailient Inc.(Xailient公司)
用于基于机器学习(ML)的恶意软件分类的训练管道通常依赖于众包威胁源,从而暴露出自然的攻击注入点。在本文中,我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性,特别关注具有挑战性的“干净标签”攻击,其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择,从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类,包括Windows PE文件,PDF和Android应用程序,我们展示了对各种机器学习模型的有效攻击,并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性,我们为Windows PE文件创建了一个水印实用程序,保留了二进制文件的功能,我们利用类似的行为保留更改方法为Android和PDF文件。最后,我们实验了潜在的防御策略,并展示了完全防御这些攻击的困难,特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
Better Safe than Sorry: Pre-training CLIP against Targeted Data Poisoning and Backdoor Attacks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出 SAFECLIP,通过单模态对比学习预热、基于高斯混合模型划分安全与风险数据,并在预训练中逐步扩大安全集合,从而在不损害 CLIP 性能的前提下将定向数据投毒和后门攻击成功率降至 0%。
2024-06-10 cs.AI cs.CR cs.CV
Robust Federated Learning with Attack-Adaptive Aggregation
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习容易受到各种攻击,如模型中毒和后门攻击,即使使用一些现有的防御策略。为了应对这一挑战,我们提出了一种攻击自适应聚合策略,以抵御各种攻击的鲁棒联邦学习。所提出的方法是基于训练一个神经网络的注意力机制,学习联邦学习模型的脆弱性,从一组看似合理的攻击。据我们所知,我们的聚合策略是第一个可以以数据驱动的方式防御各种攻击的策略。在图像和文本数据集上的联邦学习任务中,我们的方法在防御模型中毒和后门攻击方面取得了有竞争力的性能。
2021-08-06 cs.CR cs.LG
Towards Attack-tolerant Federated Learning via Critical Parameter Analysis
Microsoft Research Asia(微软亚洲研究院);GIST(光州科学技术院);KAIST(韩国科学技术院);Institute for Basic Science(基础科学研究院)
针对联邦学习在 non-IID 场景下难以抵御恶意客户端投毒更新的问题,提出基于关键参数分析的 FedCPA 聚合防御方法,并通过多数据集实验验证其优于现有策略。
2023-08-18 cs.AI cs.CR cs.LG
Defending against Backdoor Attack on Deep Neural Networks
Xi’an Jiaotong University(西安交通大学);Northeastern University(东北大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对深度神经网络的后门攻击,提出基于ℓ∞范数的神经元剪枝方法,有效降低攻击成功率并保持高分类准确率。
2025-03-26 cs.CR cs.LG
Honest Score Client Selection Scheme: Preventing Federated Learning Label Flipping Attacks in Non-IID Scenarios
针对非独立同分布场景下联邦学习易受标签翻转攻击的问题,提出诚实评分客户端选择(HSCS)方案,通过风险向量与准确率向量点积筛选客户端,有效提升模型鲁棒性。
2023-11-10 cs.CR
Prototype-Guided Robust Learning against Backdoor Attacks
University of Cagliari(卡利亚里大学);CINI, Consorzio Interuniversitario Nazionale per l’Informatica(意大利国家信息学大学联盟)
本文提出原型引导鲁棒学习方法,通过验证良性样本和特征距离估计,提升模型对后门攻击的鲁棒性,实验显示其在多种架构和攻击场景中表现优异。
2026-04-26 cs.CR
The Role of Client Isolation in Protecting Wi-Fi Users from ARP Spoofing Attacks
本研究探讨了客户端隔离技术公共安全数据包转发(PSPF)在保护连接到公共无线接入点的802.11无线(Wi-Fi)客户端免受地址解析协议(ARP)缓存中毒攻击或ARP欺骗中的作用。利用诸如此类的无线攻击媒介一直在上升,有些已经成为国内和国际新闻。尽管客户端隔离技术在大多数无线接入点中很常见,但它们很少在默认情况下启用。由于一般用户对IP网络概念的理解有限,因此在接入点配置期间很少启用IP网络。在未加密的无线网络上将无线客户端彼此隔离是一种简单且可能有效的保护方法。本研究的目的是确定一个常见的和易于实现的无线客户端隔离安全技术,如PSPF,是一种有效的方法来保护无线客户端免受攻击。
2014-04-08 cs.CR cs.NI
Circumventing Backdoor Defenses That Are Based on Latent Separability
Princeton University(普林斯顿大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
最近的研究表明,深度学习容易受到后门中毒攻击。攻击者可以在模型中嵌入隐藏的后门,通过修改少量训练数据来操纵模型的预测,而无需控制训练过程。目前,在各种各样的后门中毒攻击中已经广泛观察到了一个有形的签名--在中毒数据集上训练的模型倾向于学习有毒样本和干净样本的可分离的潜在表示。这种潜在分离是如此普遍,以至于一系列后门防御直接将其作为默认假设(称为潜在分离性假设),基于此通过潜在空间中的聚类分析来识别有毒样本。一个有趣的问题随之而来:潜在的分离是不可避免的后门中毒攻击?这个问题对于理解潜在可分性的假设是否为防御后门中毒攻击提供了可靠的基础至关重要。在本文中,我们设计了自适应后门中毒攻击,提出反例反对这一假设。我们的方法包括两个关键组成部分:(1)一组正确标记到其语义类(而不是目标类)的有毒样本,可以规范后门学习;(2)非对称触发器种植策略,有助于提高攻击成功率(ASR)以及多样化有毒样本的潜在表示。在基准数据集上的大量实验验证了我们的自适应攻击绕过现有的基于潜在分离的后门防御的有效性。此外,我们的攻击仍然保持了很高的攻击成功率,可以忽略不计的干净的准确性下降。我们的研究呼吁防御设计者在利用潜在分离作为防御假设时要谨慎。
2023-03-04 cs.CR cs.CV cs.LG
Does Differential Privacy Prevent Backdoor Attacks in Practice?
Emory University(埃默里大学);Zhejiang University(浙江大学)
本文首次评估DP-SGD与PATE在后门攻击下的实际防御效果,并提出更快更准的Label-DP替代方案,发现超参数调优可使Label-DP在保持精度的同时更有效防御后门攻击。
2023-11-10 cs.CR cs.LG
Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks
Nanyang Technological University(南洋理工大学)
深度学习模型最近被证明容易受到后门中毒的攻击,这是一种阴险的攻击,受害者模型正确预测干净的图像,但在添加触发毒药模式时将相同的图像分类为目标类。这种有毒模式可以被对手嵌入到训练数据集中。现有的防御在某些条件下是有效的,例如小尺寸的中毒模式,关于中毒训练样本的比例的知识,或者当经过验证的干净数据集可用时。由于防御者可能没有这样的先验知识或资源,我们提出了一种防御后门中毒,即使在这些先决条件不满足时也是有效的。它由几个部分组成:一个是提取后门中毒信号,检测中毒目标和基类,并从干净的样本中过滤出中毒。我们防御的最后一部分涉及在一个用提取的中毒信号增强的数据集上重新训练中毒模型,并对中毒样本进行纠正性重新标记以中和后门。我们的方法已被证明是有效的防御后门攻击,使用小型和大型的毒药模式对九个不同的目标为基础的类对从CIFAR10数据集。
2019-11-19 cs.CR cs.CV cs.LG
Membership Inference Attacks Against Semantic Segmentation Models
成员推断攻击旨在通过观察其预测来推断数据记录是否已被用于训练目标模型。在医疗保健等敏感领域,这可能构成严重的隐私侵犯。在这项工作中,我们试图解决现有的知识差距进行了详尽的研究,成员推断攻击和防御领域的语义图像分割。我们的研究结果表明,对于某些威胁模型,这些学习设置可能比以前考虑的分类设置更容易受到攻击。我们还调查了一个威胁模型,一个不诚实的对手可以执行模型中毒,以帮助他们的推理和评估的影响,这些适应成员推断攻击的成功。我们定量评估了一些流行的模型架构在各种语义分割任务的攻击,证明在这个领域的成员推断攻击可以达到很高的成功率和防御他们可能会导致不利的隐私效用权衡或增加计算成本。
2022-12-02 cs.CR
Activation Gradient based Poisoned Sample Detection Against Backdoor Attacks
针对后门攻击中的中毒样本检测,提出基于激活梯度循环分布(GCD)的三阶段检测方法AGPD,利用目标类GCD分散度差异识别目标类,并依据GCD中中毒与干净样本的分离过滤中毒样本,实验验证其优于现有方法。
2024-05-28 cs.CR
A Knowledge Distillation-Based Backdoor Attack in Federated Learning
University of Science and Technology of China(中国科学技术大学)
联邦学习(FL)是一种新型的分散式机器学习框架。由于FL的分散特性,它在训练过程中容易受到对抗攻击,例如后门攻击。后门攻击旨在将后门注入到机器学习模型中,使得该模型将使用某些特定的后门触发器对测试样本做出任意不正确的行为。尽管已经介绍了FL的一系列后门攻击方法,但也有防御它们的方法。许多防御方法都是利用带后门模型的异常特征或带后门模型与正常模型的差异来进行防御的。为了绕过这些防御,我们需要减少差异和异常特征。我们发现这种异常的一个根源是后门攻击在毒化数据时会直接翻转数据的标签。然而,目前对FL中的后门攻击的研究主要集中在减少带有后门的模型与常规模型之间的差异上。本文提出了对抗性知识蒸馏(ADVKD)方法,该方法将知识蒸馏和后门攻击相结合,通过知识蒸馏减少标签翻转导致的模型结果中的异常特征,从而使模型能够绕过防御。与现有的方法相比,我们表明,ADVKD不仅可以达到更高的攻击成功率,但也成功地绕过防御时,其他方法失败。为了进一步探索ADVKD的性能,我们测试了不同场景下参数对ADVKD性能的影响。根据实验结果,总结了在不同场景下如何调整参数以获得更好的性能。我们还使用了几种方法来可视化不同的攻击效果,并解释ADVKD的有效性。
2022-08-12 cs.CR cs.LG
PECAN: A Deterministic Certified Defense Against Backdoor Attacks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出 PECAN,通过对互不相交数据分区上训练的模型集合使用现成测试时规避认证,实现高效确定性后门防御,并在图像与恶意软件任务上显著提升防御强度、效率并降低攻击成功率。
2024-05-20 cs.CR cs.LG
Adaptive Trust Consensus for Blockchain IoT: Comparing RL, DRL, and MARL Against Naive, Collusive, Adaptive, Byzantine, and Sleeper Attacks
Artificial Intelligence Northeastern University(人工智能东北大学);Information Technology Dwarkadas J. Sanghvi College of Engineering(信息技术达沃拉吉·桑格维工程学院)
本文通过比较RL、DRL和MARL在区块链物联网中对抗不同攻击的效果,发现MARL在对抗攻击中表现最佳,而所有智能体均能抵御Byzantine攻击,但时间延迟污染攻击对所有智能体均造成严重威胁。
2025-12-28 cs.CR cs.LG cs.MA
Launching Adversarial Attacks against Network Intrusion Detection Systems for IoT
Edinburgh Napier University(爱丁堡龙比亚大学);University of Hertfordshire(赫特福德大学)
随着互联网上不断出现新设备和新兴技术,攻击面呈指数级增长。技术正在转向利润驱动的物联网市场,安全性是事后的想法。传统的防御方法已不足以高精度地检测已知和未知的攻击。机器学习入侵检测系统已经证明了它们在以高精度识别未知攻击方面的成功。然而,机器学习模型也容易受到攻击。对抗性示例可用于在部署之前评估设计模型的鲁棒性。此外,使用对抗性示例对于创建针对对抗性环境设计的鲁棒模型至关重要。我们的工作使用Bot-IoT数据集评估了传统机器学习和深度学习模型的鲁棒性。我们的方法包括两个主要途径。一是标签中毒,用于造成模型分类错误。二是快速梯度标志法,用于规避检测措施。实验表明,攻击者可以操纵或规避检测具有显着的概率。
2021-04-26 cs.CR cs.LG cs.NI
Backdoor Attack and Defense in Federated Generative Adversarial Network-based Medical Image Synthesis
The University of British Columbia(不列颠哥伦比亚大学)
针对联邦GAN医学图像合成中的后门攻击,本文揭示其通过判别器过拟合破坏均衡的机理,并提出FedDetect依据客户端损失识别和阻断恶意客户端。
2023-07-16 cs.AI cs.CR cs.CV
FL-Defender: Combating Targeted Attacks in Federated Learning
Universitat Rovira i Virgili, Department of Computer Engineering
FL-Defender通过分析深度学习模型最后一层梯度的特征,提出了一种有效防御联邦学习中针对性攻击的方法,降低了攻击成功率并保持模型性能。
2022-07-02 cs.CR cs.LG