FedBlock: A Blockchain Approach to Federated Learning against Backdoor Attacks
Hanoi University of Science and Technology(河内理工大学);National Institute of Advanced Industrial Science and Technology(日本国立先进工业科学技术研究所);VinUniversity(范安大学)
FedBlock提出基于区块链的联邦学习框架,利用智能合约同时抵御服务器和客户端攻击,经真实数据集验证,其抗后门攻击性能与现有防御相当。
2024-11-05 cs.CR cs.CV
SCRUB-FL: Sanitizing and Cleansing Representations via Unlearning of Backdoors
Polytechnique Montréal(蒙特利尔综合理工学院);Khalifa University(哈利法大学)
提出SCRUB-FL,一种两阶段后门移除方法,在训练时通过谱分析和激活聚类检测可疑样本并训练WGAN-GP捕获触发分布,收敛后利用机器遗忘合成近似触发样本并消除触发-目标关联,在CIFAR-10和GTSRB上后门攻击成功率降至3.88%,正常任务准确率超91%。
2026-06-23 cs.AI cs.CR cs.CV
Forging the Unforgeable: On the Feasibility of Counterfeit Watermarks in Backdoor-Based Dataset Ownership Verification
College of Cyber Security, Jinan University(济南大学网络安全学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);School of Advanced Technology, Xi’an Jiaotong-Liverpool University(西交利物浦大学前沿技术学院)
本文研究了在基于后门的数据集所有权验证中伪造水印的可行性,提出了一种生成伪造水印的框架,揭示了现有水印方案的漏洞,并指出需要更 robust 的数据集保护方案。
2026-03-11 cs.CR
On Certifying Robustness against Backdoor Attacks via Randomized Smoothing
Duke University(杜克大学)
后门攻击是对深度神经网络(DNN)的严重安全威胁。我们设想,就像对抗性的例子一样,后门攻击将是一场猫捉老鼠的游戏,即,开发了新的经验防御来防御后门攻击,但是它们很快就被强适应性后门攻击打破。为了防止这种猫捉老鼠的游戏,我们采取了第一步,对后门攻击认证防御。具体来说,在这项工作中,我们研究的可行性和有效性,证明对后门攻击使用最近的技术称为随机平滑的鲁棒性。随机平滑最初是为了证明对抗性样本的鲁棒性而开发的。我们推广了随机平滑来抵御后门攻击。我们的研究结果表明,使用随机平滑证明对后门攻击的鲁棒性的理论可行性。然而,我们也发现,现有的随机平滑方法在抵御后门攻击的有效性有限,这突出了新的理论和方法的需求,以证明对后门攻击的鲁棒性。
2020-07-20 cs.CR cs.LG
Cooperative Decentralized Backdoor Attacks on Vertical Federated Learning
Elmore Family School of Electrical and Computer Engineering, Purdue University(电子工程学院,普渡大学);Department of Electrical and Computer Engineering, University of Akron(电气与计算机工程系,阿克隆大学);Department of Electrical Engineering, University at Buffalo-SUNY(电气工程系,布法罗大学)
针对垂直联邦学习提出一种不依赖服务器梯度、支持多攻击者串通的去中心化后门攻击,通过度量学习增强的变分自编码器推断标签并共识选择投毒样本,实验证明其成功率显著高于现有方法。
2025-10-06 cs.CR cs.LG
SafeSplit: A Novel Defense Against Client-Side Backdoor Attacks in Split Learning (Full Version)
Technical University of Darmstadt(达姆施塔特工业大学)
SafeSplit是针对分割学习中客户端后门攻击的首个防御方法,通过循环反向分析和双重检测(频域静态分析与旋转距离动态度量)识别并过滤恶意客户端,在保持模型效用的同时有效缓解后门攻击。
2025-02-24 cs.CR cs.DC cs.LG
On the critical path to implant backdoors and the effectiveness of potential mitigation techniques: Early learnings from XZ
本文针对XZ Utils后门引发的新型供应链攻击,梳理其关键攻击路径,并结合攻击各阶段介绍对应的潜在缓解技术,为供应链攻击防护提供参考。
2024-04-13 cs.CR
Persistent Backdoor Attacks under Continual Fine-Tuning of LLMs
本文提出P-Trojan算法,研究在LLM持续微调中后门的持久性问题,实验显示其在保持清洁任务准确性的同时实现高持久性。
2025-12-12 cs.AI cs.CR
Watermarking in Secure Federated Learning: A Verification Framework Based on Client-Side Backdooring
Peking University(北京大学);Central South University(中南大学);Fuzhou University(福州大学);Jinan University(暨南大学);Loughborough University(拉夫堡大学)
联邦学习(FL)允许多个参与者在不直接共享数据的情况下协作构建深度学习(DL)模型。因此,FL中的版权保护问题变得重要,因为不可靠的参与者可能会访问联合训练的模型。在安全FL框架中应用同态加密(HE)技术,防止中心服务器访问明文模型。因此,使用现有的水印方案在中央服务器处嵌入水印不再可行。在本文中,我们提出了一种新的客户端FL水印方案,以解决版权保护问题的安全FL与HE。据我们所知,这是第一个在安全FL环境下将水印嵌入到模型中的方案。我们设计了一个基于客户端后门的黑盒水印方案,通过梯度增强的嵌入方法将预先设计的触发器集嵌入到FL模型中。此外,我们提出了一个触发器集的建设机制,以确保水印不能伪造。实验结果表明,我们提出的方案提供了出色的保护性能和鲁棒性对各种水印去除攻击和歧义攻击。
2023-03-03 cs.AI cs.CR cs.LG
On the Vulnerability of Backdoor Defenses for Federated Learning
Tongji University(同济大学);Pennsylvania State University(宾夕法尼亚州立大学)
联邦学习(FL)是一种流行的分布式机器学习范例,它能够在不共享客户端数据的情况下联合训练全局模型。然而,其重复的服务器-客户端通信为后门攻击提供了空间,目的是在呈现特定触发模式时误导全局模型进入有针对性的错误预测。为了应对这种对联邦学习的后门威胁,已经提出了各种防御措施。在本文中,我们研究了当前的防御机制是否真正中和后门的威胁,从联邦学习在一个实际的设置,提出了一个新的联邦后门攻击方法可能的对策。与传统的基于后门注入的训练(在触发数据上)和重新缩放(恶意客户端模型)不同,所提出的后门攻击框架(1)直接修改(小比例)局部模型权重以通过符号翻转注入后门触发器;(2)与客户端模型联合优化触发模式,从而更持久和隐蔽地规避现有防御。在一个案例研究中,我们从三个主要类别研究了最近的联邦后门防御的优点和缺点,并在实践中训练联邦模型时为从业者提供建议。
2023-01-19 cs.AI cs.CR cs.LG
Dullahan: Stealthy Backdoor Attack against Without-Label-Sharing Split Learning
本文提出SBAT,一种针对无标签共享分割学习的隐蔽后门攻击策略,通过训练后向服务器网络注入触发器嵌入,在不修改训练中间参数的情况下实现高隐蔽性攻击,揭示了分割学习的安全漏洞。
2024-10-21 cs.CR
Claim-Guided Textual Backdoor Attack for Practical Applications
KAIST(韩国科学技术院)
针对现有后门攻击需在模型分发后操作输入的局限性,提出声明引导后门攻击(CGBA),利用固有文本声明作为触发器,通过声明提取、聚类和定向训练诱导模型在特定声明上异常,同时保持干净数据性能,显著提升实际攻击的可行性与隐蔽性。
2024-09-25 cs.AI cs.CL cs.CR
FL-PLAS: Federated Learning with Partial Layer Aggregation for Backdoor Defense Against High-Ratio Malicious Clients
Beijing Electronic Science and Technology Institute(北京电子科学技术研究所);University of Louisiana at Lafayette(路易斯安那大学拉弗雷特分校)
针对高比例恶意客户端后门攻击,本文提出FL-PLAS,仅聚合特征提取器并保留本地分类器,在90%恶意用户下无需辅助数据集即可保持高主任务准确率和低后门准确率。
2025-05-17 cs.CR cs.LG
Backdoor Attack and Defense in Federated Generative Adversarial Network-based Medical Image Synthesis
The University of British Columbia(不列颠哥伦比亚大学)
针对联邦GAN医学图像合成中的后门攻击,本文揭示其通过判别器过拟合破坏均衡的机理,并提出FedDetect依据客户端损失识别和阻断恶意客户端。
2023-07-16 cs.AI cs.CR cs.CV
BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Pennsylvania State University(宾夕法尼亚州立大学)
最近的研究证实了后门攻击在深度强化学习(RL)系统中的可行性。然而,现有的攻击需要能够任意修改代理的观察,限制了应用范围简单的RL系统,如雅达利游戏。在本文中,我们将后门攻击迁移到涉及多个代理的更复杂的RL系统中,并探索在不直接操纵代理观察的情况下触发后门的可能性。作为概念证明,我们证明了对手代理可以在两人竞争RL系统中通过自己的行动触发受害代理的后门。我们在四种竞争环境中对EPDOOORL进行原型设计和评估。结果显示,当后门被激活时,受害者的中奖率比未激活时下降了17%至37%。
2021-12-12 cs.CR cs.LG
Coward: Collision-based Watermark for Proactive Federated Backdoor Detection
Tsinghua University(清华大学);East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学)
Coward通过多后门碰撞效应提出主动检测方法,利用分布外数据的双映射学习注入水印,有效缓解OOD偏见并提升检测性能。
2026-01-05 cs.AI cs.CR
ProtoGuard-SL: Prototype Consistency Based Backdoor Defense for Vertical Split Learning
Wenzhou-Kean University(温州肯恩大学);International Frontier Interdisciplinary Research Institute (IFIRI), Wenzhou-Kean University(温州肯恩大学国际前沿交叉研究院);Case Western Reserve University(凯斯西储大学)
针对垂直分割学习中易受中毒攻击的问题,提出基于原型一致性的后门防御方法,通过构建鲁棒类原型和原型一致性表示,有效识别并移除异常嵌入,实验表明性能优异。
2026-04-04 cs.CR
BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection
Princeton University(普林斯顿大学);Zhejiang University(浙江大学)
本研究提出新型后门防御方法BaDExpert,通过逆向工程微调后门模型提取仅识别后门输入的后门专家模型,结合辅助模型集成策略,可有效缓解17种主流后门攻击且对干净样本效用影响极小,已在多数据集和模型架构上验证有效。
2023-10-05 cs.AI cs.CR cs.CV
FedLSG: LLM-Enhanced Semantic Calibration for Federated Graph Backdoor Defense
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Institute of AI for Industries(人工智能产业研究院);Chinese Academy of Sciences(中国科学院)
针对联邦图神经网络易受后门攻击问题,提出FedLSG框架,将大语言模型集成防御,通过图与行为到文本的转换及轻量级师生架构,在不损图完整性时显著提升对后门攻击的抵抗力。
2026-07-23 cs.AI cs.CR cs.LG
Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis
Huazhong University of Science and Technology(华中科技大学)
与数据中心的服务器相比,联邦学习中的边缘设备通常具有更有限的计算和通信资源。最近,先进的模型压缩方法,如彩票假设,已经在联邦学习上实现,以减少模型大小和通信成本。然而,后门攻击可能会危及其在联邦学习场景中的实现。恶意边缘设备使用中毒的私有数据训练客户端模型,并将参数上传到中心,在不知情的聚合优化后向全局共享模型嵌入后门。在推理阶段,带有后门的模型将具有特定触发器的样本分类为一个目标类别,而清洁样本的推理精度略有下降。在这项工作中,我们的经验表明,彩票模型同样容易受到后门攻击的原始密集模型,和后门攻击可以影响提取的门票的结构。基于票据之间的相似性,我们为联邦学习提供了一种可行的防御后门攻击的各种数据集。
2021-09-22 cs.CR cs.LG
CrowdGuard: Federated Backdoor Detection in Federated Learning
Technical University of Darmstadt(达姆施塔特工业大学);University of Würzburg(维尔茨堡大学)
针对联邦学习易受后门攻击且现有防护存在局限的问题,提出CrowdGuard防御机制,结合客户端反馈、隐藏层神经元分析与迭代剪枝,依托TEE保障隐私,在多场景下实现100%检测准确率且可抵御自适应攻击。
2023-08-22 cs.CR cs.LG
Lurking in the shadows: Unveiling Stealthy Backdoor Attacks against Personalized Federated Learning
Beijing Jiaotong University(北京交通大学);INRIA(法国国家信息与自动化研究所);Tianjin University(天津大学);University of Notre Dame(圣母大学)
本文针对个性化联邦学习提出隐蔽后门攻击方法PFedBA,通过优化触发器生成将后门任务与主任务对齐,在10种先进PFL算法上击败6种现有防御,揭示了PFL的深层安全脆弱性。
2024-06-10 cs.CR cs.LG
FL-CLEANER: byzantine and backdoor defense by CLustering Errors of Activation maps in Non-iid fedErated leaRning
Inserm(法国国家医学研究院);IMT Atlantique(IMT阿蒂旺学院)
针对非独立同分布联邦学习下现有投毒防御失效的问题,提出FL-CLEANER方法,通过激活图重构误差得分与信任传播聚类识别攻击者,在两类数据集上实现极低误判率与优于前沿方法的防御性能。
2025-09-01 cs.AI cs.CR
RFLBAT: A Robust Federated Learning Algorithm against Backdoor Attack
联邦学习(FL)是一种分布式机器学习范例,其中大量分散的客户端(例如,移动设备或IoT设备)在中央服务器(例如,服务提供商)的编排下协作地训练模型,同时保持训练数据分散。不幸的是,FL容易受到各种攻击,包括后门攻击,在存在恶意攻击者的情况下,后门攻击会变得更糟。大多数算法通常假设恶意攻击者不超过良性客户端或数据分布是独立同分布(IID)。然而,没有人知道恶意攻击者的数量,并且数据分布通常是非同分布(Non-IID)。在本文中,我们提出了RFLBAT,利用主成分分析(PCA)技术和Kmeans聚类算法来抵御后门攻击。我们的算法RFLBAT不限制后门攻击者的数量和数据分布,并且不需要学习过程之外的辅助信息。我们进行了广泛的实验,包括各种类型的后门攻击。实验结果表明,RFLBAT算法的性能优于现有的最先进的算法,能够抵抗各种后门攻击场景,包括不同数量的攻击者(DNA),不同的非IID场景(DNS),不同数量的客户端(DNC)和分布式后门攻击(DBA)。
2022-01-11 cs.CR cs.DC
Mind Your Heart: Stealthy Backdoor Attack on Dynamic Deep Neural Network in Edge Computing
Shanghai Jiao Tong University(上海交通大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
将现成的深度神经网络(DNN)模型转换为动态多出口架构可以通过在边缘计算场景(例如,边缘设备和云服务器)。在本文中,我们提出了一种新的后门攻击专门针对动态多出口DNN模型。特别是,我们通过毒化一个DNN模型的浅隐藏层来注入后门,目标不是这个普通的DNN模型,而是它的动态部署的多出口架构。我们的后门vanilla模型在性能上表现正常,即使使用正确的触发器也无法激活。然而,当受害者获得此模型并将其转换为动态多出口架构时,后门将被激活。我们进行了广泛的实验,以证明我们对三种结构(ResNet-56,VGG-16和MobileNet)的攻击的有效性和四个数据集(CIFAR-10,SVHN,GTSRB和Tiny-ImageNet),我们的后门是隐形的,以逃避多种最先进的后门检测或删除方法。
2022-12-22 cs.CR cs.LG
STAIN-FL: Stealthy Targeted Attack Injection with Contextual Triggers in Federated Learning
Singapore Institute of Technology (SIT)(新加坡理工学院(SIT));SingHealth Duke-NUS AI in Medicine Institute(新加坡保健服务集团杜克-新加坡国立大学医学院AI研究所);SingHealth AI Office(新加坡保健服务集团AI办公室)
本文提出STAIN-FL框架,利用自然监控场景作为上下文触发器,在联邦视频异常检测中实现隐蔽定向后门攻击,稀疏攻击兼具低检测率与高持续性,可在保持低干净准确率下降的同时达成较高后门准确率。
2026-08-26 cs.AI cs.CR
Backdoor Defense in Federated Learning Using Differential Testing and Outlier Detection
University of California, San Diego(加州大学圣地亚哥分校)
联邦学习(FL)的目标是通过聚合在边缘设备上独立更新的模型参数来训练一个全局模型,而无需访问用户的私有数据。然而,FL容易受到后门攻击,其中一小部分恶意代理通过将污染的模型更新上传到服务器来在全局模型中注入有针对性的误分类行为。在这项工作中,我们提出了DiffFense,一个自动化的防御框架,以保护FL系统从后门攻击,利用差分测试和两步MAD离群值检测,而不需要任何以前的知识的攻击场景或直接存取本地模型参数。我们的经验表明,我们的检测方法可以防止各种数量的潜在攻击者,同时始终实现全局模型的收敛,与联邦平均(FedAvg)下训练的模型相当。我们进一步证实了我们的方法对以前的防御技术,如多克鲁姆和坐标明智的中位数聚合的有效性和普遍性。我们的检测方法将全局模型的平均后门准确率降低到4%以下,并实现了零的误报率。
2022-02-21 cs.CR cs.LG
Robust Client-Server Watermarking for Split Federated Learning
East China Normal University(华东师范大学);Hunan University(湖南大学);China University of Petroleum(中国石油大学)
针对拆分联邦学习中客户端与服务器共同训练导致的知识产权归属模糊问题,提出RISE非对称协同水印方案,实现双方所有权验证,水印检测率超95%且抗攻击、无互扰。
2025-11-17 cs.AI cs.CR
Data and Model Poisoning Backdoor Attacks on Wireless Federated Learning, and the Defense Mechanisms: A Comprehensive Survey
Deakin University(迪肯大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));University of Manitoba(曼尼托巴大学)
本综述针对无线联邦学习中因非独立同分布数据易被恶意参与者注入后门的鲁棒性问题,按攻击目标、阶段和防御阶段分类梳理最新后门攻击与防御机制,分析其优劣并指出未来研究方向。
2023-12-14 cs.AI cs.CR
Backdoor Attacks for In-Context Learning with Language Models
针对语言模型上下文学习信任集中的风险,提出一种在提示执行特定任务时引发定向错误分类的后门攻击,验证了其在13亿至60亿参数模型上的可行性,并评估了微调与提示工程防御措施。
2023-07-27 cs.CR
Let's Focus: Focused Backdoor Attack against Federated Transfer Learning
University of Pavia(帕维亚大学);Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学)
本文针对联邦迁移学习中特征固定导致传统后门攻击失效的问题,提出结合可解释AI与数据集蒸馏的聚焦后门攻击方法FB-FTL,在图像分类场景下取得平均80%攻击成功率,并能绕过现有联邦学习防御。
2024-04-30 cs.CR cs.LG
Delayed Backdoor Attacks: Exploring the Temporal Dimension as a New Attack Surface in Pre-Trained Models
本文提出延迟后门攻击,通过引入时间维度作为新的攻击面,展示了在预训练模型中使用常见词汇作为触发器的可行性,并验证了其在不同基准上的有效性。
2026-03-12 cs.AI cs.CR
Genetic Algorithm-Based Dynamic Backdoor Attack on Federated Learning-Based Network Traffic Classification
New Jersey Institute of Technology(新泽西理工学院);King Faisal University(费萨尔国王大学);Alfaisal University(阿尔法萨尔大学)
本文提出GABAttack,一种基于遗传算法的动态后门攻击方法,针对联邦学习网络流量分类,通过优化触发模式提高攻击隐蔽性和有效性,并警示需加强防御。
2023-09-27 cs.AI cs.CR cs.LG
Chameleon: Adapting to Peer Images for Planting Durable Backdoors in Federated Learning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
本文提出联邦学习后门攻击方法 Chameleon,通过分析良性图像与被投毒图像的关系,利用对比学习增强后门持久性,使后门寿命较基线延长1.2至4倍。
2023-05-25 cs.CR cs.CV cs.LG
Get Rid Of Your Trail: Remotely Erasing Backdoors in Federated Learning
New York University Abu Dhabi(纽约大学阿布扎比分校);École nationale supérieure d’informatique(国立高等计算机学院)
本文面向联邦学习中的攻击者,提出基于机器遗忘的远程后门擦除方法,在保持模型性能、避免无关信息过度遗忘的同时隐蔽消除最先进攻击注入的后门。
2023-04-20 cs.CR cs.LG
The last Dance : Robust backdoor attack via diffusion models and bayesian approach
INRS-EMT, University of Québec(INRS-EMT大学)
本文提出一种名为BacKBayDiffMod的后门攻击方法,利用扩散模型和贝叶斯方法投毒音频Transformer的训练数据,实现对Hugging Face音频模型的有效攻击。
2025-04-20 cs.AI cs.CR cs.LG
Mingling with the Good to Backdoor Federated Learning
LASIGE, Faculdade de Ciências, Universidade de Lisboa(里斯本大学科学学院LASIGE实验室)
本文提出MIGO攻击策略,通过生成与合法更新微妙融合的恶意模型更新,在联邦学习中隐蔽植入持久后门,在五个数据集上实现超90%后门准确率并成功规避十种防御机制,即使仅控制0.1%客户端也能在足够轮次后完成攻击。
2025-01-03 cs.AI cs.CR cs.DC
Defending against Backdoors in Federated Learning with Robust Learning Rate
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
联邦学习(FL)允许一组代理协作训练模型,而无需共享其潜在的敏感数据。这使得FL适合隐私保护应用。同时,由于数据的分散性和不可见性,FL容易受到对抗攻击的影响。针对FL的一种重要攻击是后门攻击。在后门攻击中,攻击者试图在训练期间将后门功能嵌入模型,该后门功能稍后可以被激活以引起期望的错误分类。为了防止后门攻击,我们提出了一个轻量级的防御,需要最小的变化FL协议。在一个高层次上,我们的防御是基于仔细调整聚合服务器的学习率,每维和每轮,基于代理的更新的标志信息。我们首先推测在FL设置中进行成功的后门攻击的必要步骤,然后,明确地制定基于我们的推测的防御。通过实验,我们提供了支持我们的猜想的经验证据,我们测试我们的防御后门攻击在不同的设置。我们观察到,要么后门被完全消除,要么其准确性显着降低。总的来说,我们的实验表明,我们的防御显着优于一些最近提出的防御文献。我们通过对训练模型的准确性产生最小的影响来实现这一点。此外,我们还提供了我们提出的计划的收敛速度分析。
2021-07-29 cs.CR cs.LG stat.ML
Backdoor Attacks on Federated Meta-Learning
University of Southern California(南加州大学)
联邦学习允许多个用户协作训练共享的分类模型,同时保护数据隐私。这种方法,模型更新由中央服务器聚合,被证明容易受到中毒后门攻击:恶意用户可以改变共享模型,任意分类来自给定类的特定输入。在本文中,我们分析了后门攻击对联邦元学习的影响,用户训练一个模型,该模型可以适应不同的输出类集,只使用几个例子。虽然原则上,适应能力可以使联邦学习框架对后门攻击更加鲁棒(当新的训练样本是良性的时),但我们发现即使是一次性攻击也可以非常成功,并且在额外的训练后仍然存在。为了解决这些漏洞,我们提出了一个防御机制的灵感来自匹配网络,其中输入的类是从其特征的相似性与支持集的标记的例子预测。通过从与联邦共享的模型中删除决策逻辑,后门攻击的成功率和持久性大大降低。
2020-12-16 cs.CR cs.DC cs.LG
Mitigating Backdoor Attacks in Federated Learning
Pennsylvania State University(宾夕法尼亚州立大学);North Carolina State University(北卡罗来纳州立大学)
恶意客户端可以在训练阶段使用恶意数据(包括后门样本)攻击联邦学习系统。受损的全局模型将在为任务设计的验证数据集上表现良好,但具有后门模式的一小部分数据可能会触发模型做出错误的预测。在服务器端训练的聚合阶段,试图隐藏攻击的攻击者和试图检测攻击的防御者之间一直存在军备竞赛。在这项工作中,我们提出了一种新的和有效的方法来减轻后门攻击后的训练阶段。具体而言,我们设计了一种联邦剪枝方法来删除网络中的冗余神经元,然后调整模型的极端权重值。我们在分布式Fashion-MNIST上进行的实验表明,我们的方法可以将平均攻击成功率从99.7%降低到1.9%,在验证数据集上的测试准确性损失为5.5%。为了尽量减少剪枝对测试准确率的影响,我们可以在剪枝后进行微调,攻击成功率下降到6.4%,测试准确率仅损失1.7%。在CIFAR-10上进行的分布式后门攻击下的进一步实验也显示了有希望的结果,平均攻击成功率下降了70%以上,验证数据集上的测试准确性损失不到2%。
2021-01-14 cs.CR cs.LG
Backdoor Attacks in Peer-to-Peer Federated Learning
Northeastern University(东北大学);Khoury College of Computer Sciences(科里计算机科学学院)
针对对等网络联邦学习(P2PFL)的投毒攻击抵御能力未被研究的问题,提出利用图结构选恶意节点的高隐蔽性后门攻击,验证其在多种真实场景下的有效性,并设计出不影响模型准确率的新型防御方案。
2024-09-17 cs.CR cs.LG
BackFed: An Efficient & Standardized Benchmark Suite for Backdoor Attacks in Federated Learning
VinUni-Illinois Smart Health Center, VinUniversity, Hanoi, Vietnam(VinUniversity医院,河内,越南);College of Engineering & Computer Science, VinUniversity, Hanoi, Vietnam(VinUniversity工程与计算机科学学院,河内,越南);Vanderbilt University, Nashville, TN 37235(范德比尔特大学,纳什维尔,田纳西州)
BackFed 提出了一种标准化的基准套件,用于评估联邦学习中的后门攻击,揭示现有方法的局限性并挑战其有效性。
2025-11-25 cs.AI cs.CR cs.DC
XMAM:X-raying Models with A Matrix to Reveal Backdoor Attacks for Federated Learning
联邦学习(FL)由于其隐私保护能力而受到越来越多的关注。然而,基本算法FedAvg在遭受所谓的后门攻击时是脆弱的。以前的研究人员提出了几个强大的聚集方法。不幸的是,这些聚合方法中有许多无法防御后门攻击。此外,攻击者最近提出了一些隐藏方法,进一步提高了后门攻击的隐蔽性,使得现有的鲁棒聚合方法都失效了。为了解决后门攻击的威胁,我们提出了一种新的聚合方法,X射线模型与矩阵(XMAM),揭示恶意的本地模型更新提交的后门攻击者。由于我们观察到Softmax层的输出在恶意和良性更新之间表现出可区分的模式,因此我们专注于Softmax层的输出,其中后门攻击者难以隐藏其恶意行为。具体来说,就像X射线检查一样,我们通过使用矩阵作为输入来研究局部模型更新,以获得Softmax层的输出。然后,我们排除更新的输出是异常的聚类。在服务器中没有任何训练数据集的情况下,广泛的评估表明,我们的XMAM可以有效地区分恶意的本地模型更新和良性的。例如,当其他方法无法抵御不超过20%的恶意客户端的后门攻击,我们的方法可以容忍45%的恶意客户端在黑盒模式和约30%的投影梯度下降(PGD)模式。此外,在自适应攻击下,实验结果表明,即使有40%的恶意客户端,XMAM仍然可以完成全局模型训练任务。最后,我们分析了我们的方法的筛选复杂度,结果表明,XMAM是约10-10000倍,比现有的方法。
2022-12-28 cs.CR cs.DC
Backdoor Attacks Against Deep Learning Systems in the Physical World
University of Chicago(芝加哥大学)
后门攻击将隐藏的恶意行为嵌入到深度学习模型中,仅激活并导致包含特定触发器的模型输入的错误分类。然而,现有的关于后门攻击和防御的工作主要集中在使用数字生成的模式作为触发器的数字攻击上。一个关键的问题仍然没有答案:后门攻击能否成功使用物理对象作为触发器,从而使它们成为现实世界中对深度学习系统的可信威胁?我们进行了详细的实证研究,以探索这个问题的面部识别,一个关键的深度学习任务。使用七个物理对象作为触发器,我们收集了一个自定义数据集的3205图像的10名志愿者,并使用它来研究物理后门攻击的可行性在各种现实世界的条件下。我们的研究揭示了两个关键发现。首先,物理后门攻击可以非常成功,如果它们被仔细配置以克服物理对象施加的约束。特别是,成功触发器的放置在很大程度上受到目标模型对关键面部特征的依赖性的限制。第二,当今针对(数字)后门的四种最先进的防御措施对物理后门无效,因为物理对象的使用打破了用于构建这些防御的核心假设。我们的研究证实,(物理)后门攻击不是一个假设的现象,而是对关键的分类任务构成了严重的现实威胁。我们需要新的、更强大的防御手段来抵御物理世界中的后门。
2021-09-07 cs.CR cs.CV cs.LG
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University(东北大学);FireEye Inc.(火眼公司);Xailient Inc.(Xailient公司)
用于基于机器学习(ML)的恶意软件分类的训练管道通常依赖于众包威胁源,从而暴露出自然的攻击注入点。在本文中,我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性,特别关注具有挑战性的“干净标签”攻击,其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择,从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类,包括Windows PE文件,PDF和Android应用程序,我们展示了对各种机器学习模型的有效攻击,并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性,我们为Windows PE文件创建了一个水印实用程序,保留了二进制文件的功能,我们利用类似的行为保留更改方法为Android和PDF文件。最后,我们实验了潜在的防御策略,并展示了完全防御这些攻击的困难,特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
Backdoor Attacks against Voice Recognition Systems: A Survey
Xidian University(西安电子科技大学)
本文综述了针对语音识别系统的后门攻击,提出评估标准与分类法,分析现有攻击与防御方法,并指出开放问题和未来研究方向。
2023-07-23 cs.CR cs.SD eess.AS
DarkFed: A Data-Free Backdoor Attack in Federated Learning
DarkFed通过模拟虚假客户端并使用无数据的影子数据集构造隐蔽后门更新,在联邦学习中实现实用且难以防御的后门攻击。
2024-05-06 cs.CR cs.DC
Harmless Backdoor-based Client-side Watermarking in Federated Learning
针对联邦学习中模型水印存在的所有权模糊和恶意利用问题,提出服务器端方法Sanitizer,通过识别子网、提取后门并限制其在无害输入子空间激活,实现客户端贡献的高效验证并降低风险。
2025-04-17 cs.CR
Memory Backdoor Attacks on Neural Networks
Ben-Gurion University, Institute of Software Systems and Security(本·加隆大学软件系统与安全研究所);University of Würzburg(魏泽堡大学)
本文提出了一种神经网络的记忆后门攻击方法,通过恶意服务器系统性地提取客户端训练样本,揭示了联邦学习中的隐私安全漏洞。
2025-12-18 cs.CR cs.CV cs.LG
Jigsaw Puzzle: Selective Backdoor Attack to Subvert Malware Classifiers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
恶意软件分类器容易受到训练时间的利用,因为需要定期使用从野外收集的样本进行重新训练。最近的工作已经证明了针对恶意软件分类器的后门攻击的可行性,但这种攻击的隐蔽性还没有得到很好的理解。在本文中,我们在清洁标签设置(即,攻击者不能完全控制训练或标记过程)。从经验上讲,我们表明,现有的后门攻击的恶意软件分类仍然是检测到最近的防御,如MNTD。为了提高隐蔽性,我们提出了一种新的攻击,拼图(JP),基于恶意软件作者几乎没有动机保护任何其他作者的恶意软件,但他们自己的关键观察。因此,Jigsaw Puzzle学习触发器以补充恶意软件作者的样本的潜在模式,并且仅当触发器和潜在模式在样本中拼凑在一起时才激活后门。我们进一步关注问题空间中可实现的触发器(例如,软件代码)使用广泛从良性软件中获取的字节码小工具。我们的评估证实,拼图是一个有效的后门,仍然隐形对国家的最先进的防御,是一个威胁,在现实的设置,远离推理功能空间只有攻击。最后,我们探索有前途的方法来提高后门防御。
2022-02-11 cs.CR cs.LG
Neural Network Laundering: Removing Black-Box Backdoor Watermarks from Deep Neural Networks
Sungkyunkwan University(成均馆大学)
创建一个最先进的深度学习系统需要大量的数据、专业知识和硬件,但对神经网络嵌入版权保护的研究一直很有限。实现这种保护的主要方法之一是依赖于神经网络对后门攻击的敏感性,但这些策略的鲁棒性主要是针对修剪、微调和模型反演攻击进行评估的。在这项工作中,我们提出了一个神经网络的“清洗”算法,以消除黑盒后门水印从神经网络,即使对手没有先验知识的水印结构。我们能够有效地去除用于最近的防御或版权保护机制的水印,同时分别实现MNIST和CIFAR-10的测试准确率超过97%和80%。对于所有后门水印方法在本文中,我们发现,水印的鲁棒性显着弱于原来的索赔。我们还证明了我们的算法在更复杂的任务中的可行性,以及在更现实的场景中,对手能够使用不到1%的原始训练集大小进行有效的洗钱攻击,这表明现有的后门水印不足以达到他们的要求。
2020-04-22 cs.CR cs.LG stat.ML
AnywhereDoor: Multi-Target Backdoor Attacks on Object Detection
本文提出 AnywhereDoor 多目标后门攻击,通过目标解耦、触发器马赛克化和策略性批处理,在推理时灵活控制目标检测输出,攻击成功率较现有方法改造方案提升 26%。
2025-03-13 cs.AI cs.CR cs.CV
BackDFL: A Unified Benchmark For Backdoor Attacks and Defenses In Decentralized Federated Learning
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(萨莫瓦尔实验室、南巴黎电信学院、巴黎综合理工学院);PIRAT, INRIA Rennes(皮拉特实验室、法国国家信息与自动化研究所雷恩分部)
BackDFL是评估去中心化联邦学习(DFL)在自适应后门攻击下安全性的统一基准,实验表明现有鲁棒方法在15%恶意参与率下即失效,且性能随通信拓扑变化大。
2026-08-25 cs.CR cs.DC cs.LG
AnywhereDoor: Multi-Target Backdoor Attacks on Object Detection
本文提出 AnywhereDoor 多目标后门攻击,通过目标解耦、触发器马赛克和策略性批处理,在目标检测推理时灵活实现目标消失、伪造与错标,攻击成功率较现有方法改造提升 26%。
2025-03-14 cs.AI cs.CR cs.CV