Can You Really Backdoor Federated Learning?
Cornell University(康奈尔大学);Google(谷歌)
联邦学习的分散性使得检测和防御对抗攻击成为一项具有挑战性的任务。本文重点研究联邦学习环境中的后门攻击,其中对手的目标是降低模型在目标任务上的性能,同时保持主任务的良好性能。与现有的作品不同,我们允许非恶意客户端从目标任务中正确标记样本。我们进行了全面的研究后门攻击和防御的EMNIST数据集,现实生活中,用户分区,和非iid数据集。我们观察到,在没有防御的情况下,攻击的性能在很大程度上取决于对手的存在和目标任务的“复杂性”。此外,我们表明,范数裁剪和"弱"差分隐私减轻攻击,而不损害整体性能。我们已经在TensorFlow Federated(TFF)中实现了攻击和防御,TFF是一个用于联邦学习的TensorFlow框架。通过开源我们的代码,我们的目标是鼓励研究人员贡献新的攻击和防御,并在标准的联邦数据集上对其进行评估。
2019-12-02 cs.CR cs.LG stat.ML
Learning to Backdoor Federated Learning
Tulane University(杜兰大学);Penn State University(宾夕法尼亚州立大学)
本文提出一种基于强化学习的通用联邦学习后门攻击框架,通过模拟器训练非短视攻击策略,在自适应和灵活性上超越现有启发式攻击,并能有效对抗最先进防御。
2023-05-28 cs.CR cs.DC cs.LG
Defending against Backdoors in Federated Learning with Robust Learning Rate
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
联邦学习(FL)允许一组代理协作训练模型,而无需共享其潜在的敏感数据。这使得FL适合隐私保护应用。同时,由于数据的分散性和不可见性,FL容易受到对抗攻击的影响。针对FL的一种重要攻击是后门攻击。在后门攻击中,攻击者试图在训练期间将后门功能嵌入模型,该后门功能稍后可以被激活以引起期望的错误分类。为了防止后门攻击,我们提出了一个轻量级的防御,需要最小的变化FL协议。在一个高层次上,我们的防御是基于仔细调整聚合服务器的学习率,每维和每轮,基于代理的更新的标志信息。我们首先推测在FL设置中进行成功的后门攻击的必要步骤,然后,明确地制定基于我们的推测的防御。通过实验,我们提供了支持我们的猜想的经验证据,我们测试我们的防御后门攻击在不同的设置。我们观察到,要么后门被完全消除,要么其准确性显着降低。总的来说,我们的实验表明,我们的防御显着优于一些最近提出的防御文献。我们通过对训练模型的准确性产生最小的影响来实现这一点。此外,我们还提供了我们提出的计划的收敛速度分析。
2021-07-29 cs.CR cs.LG stat.ML
Mitigating Backdoors in Federated Learning with FLD
针对联邦学习难以审查客户端数据且现有后门防御受限于攻击模型和模型维度的问题,提出 FLD 层级模型过滤方法,实现收敛保证并在几乎不影响主任务准确率的情况下防御先进后门攻击。
2023-12-18 cs.CR cs.LG
Dynamic backdoor attacks against federated learning
WeBank AI Lab(微众银行人工智能实验室)
联邦学习(FL)是一种新的机器学习框架,它使数百万参与者能够协作训练机器学习模型,而不会损害数据隐私和安全。由于每个客户端的独立性和保密性,FL并不保证所有客户端都是诚实的设计,这使得它容易受到对抗攻击自然。本文重点研究了FL设置下的动态后门攻击,攻击者的目标是在保持主任务性能的同时降低模型在目标任务上的性能,目前已有的研究主要集中在静态后门攻击上,即注入的毒药模式是不变的,然而FL是一个在线学习框架,攻击者可以动态地改变对抗目标,传统算法需要从头开始学习新的目标任务,这可能是计算昂贵的,并且需要大量的对抗训练样本,为了避免这一点,我们在FL设置下桥接元学习和后门攻击,在这种情况下,我们可以从以前的经验中学习一个通用的模型,并通过一些例子快速适应新的对抗性任务。我们在不同的数据集上对我们的算法进行了评估,并证明了我们的算法可以在动态后门攻击方面取得良好的效果。据我们所知,这是第一篇专注于FL环境下动态后门攻击研究的论文。
2020-11-15 cs.CR cs.DC cs.LG
Client-Side Patching against Backdoor Attacks in Federated Learning
针对联邦学习中的后门攻击,提出结合对抗学习与模型补丁的客户端防御机制,在MNIST和Fashion-MNIST上有效降低后门准确率并保持干净数据准确率,优于现有防御方法。
2024-12-20 cs.AI cs.CR cs.LG
DeTrigger: A Gradient-Centric Approach to Backdoor Attack Mitigation in Federated Learning
School of Integrated Technology, College of Computing, Yonsei University(延世大学整合技术学院,计算学院);School of Electrical Engineering, KAIST(韩国科学技术院电子工程学院)
本文提出DeTrigger,一种高效的联邦学习框架,通过梯度分析和温度缩放检测并隔离后门触发器,实现快速检测和高抑制率的后门攻击防御。
2026-05-07 cs.AI cs.CR cs.LG
How To Backdoor Federated Learning
Cornell Tech, Cornell University(康奈尔大学康奈尔科技校区)
联邦学习使成千上万的参与者能够构建一个深度学习模型,而无需彼此共享他们的私人训练数据。例如,多个智能手机可以联合训练键盘的下一个单词预测器,而不会泄露单个用户键入的内容。我们证明了联邦学习的任何参与者都可以将隐藏的后门功能引入联合全局模型,例如,以确保图像分类器将攻击者选择的标签分配给具有某些特征的图像,或者单词预测器用攻击者选择的单词完成某些句子。我们设计并评估了一种新的基于模型替换的模型中毒方法。在单轮联邦学习中选择的攻击者可以使全局模型在后门任务上立即达到100%的准确率。我们在不同的假设下对标准的联邦学习任务进行了评估,结果表明它大大优于数据投毒。我们的通用约束和规模的技术也规避异常检测为基础的防御,将规避到攻击者的损失函数在训练过程中。
2019-08-06 cs.CR cs.LG
CRFL: Certifiably Robust Federated Learning against Backdoor Attacks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学);IBM Research(IBM研究院)
联邦学习(FL)作为一种分布式学习范式,它聚集来自不同客户端的信息来训练一个共享的全局模型,已经取得了巨大的成功。然而,恶意客户端可以执行中毒攻击和模型替换,将后门引入到训练好的全局模型中。虽然已经有大量的研究设计鲁棒的聚合方法和经验强大的联邦训练协议对后门,现有的方法缺乏鲁棒性认证。本文提供了第一个通用框架,可证明鲁棒联邦学习(CRFL),训练可证明鲁棒FL模型对后门。我们的方法利用模型参数的裁剪和平滑来控制全局模型的平滑性,这产生了对具有有限幅度的后门的样本稳健性认证。我们的认证还指定了与联邦学习参数的关系,例如实例级别的中毒率,攻击者数量和训练迭代。实际上,我们在一系列联邦数据集上进行了全面的实验,并为联邦学习中针对后门攻击的认证鲁棒性提供了第一个基准。我们的代码可在https://github.com/AI-secure/CRFL上获得。
2021-06-15 cs.LG
BadFU: Backdoor Federated Learning through Adversarial Machine Unlearning
University of Newcastle(新castle大学);Shanghai Jiao Tong University(上海交通大学)
BadFU首次揭示联邦遗忘中的后门攻击:恶意客户端利用后门与伪装样本正常训练,待请求遗忘伪装样本后使全局模型进入后门状态,暴露现有联邦遗忘机制的关键安全漏洞。
2025-08-21 cs.CR cs.LG
Bad-PFL: Exploring Backdoor Attacks against Personalized Federated Learning
Deakin University(迪肯大学)
针对PFL中现有后门攻击失效的问题,提出Bad-PFL方法,利用自然数据特征作为触发器,通过相互强化训练确保后门在个性化模型中持久存在,并在多个基准数据集上验证了其优越的攻击性能。
2025-01-22 cs.CR cs.CV cs.LG
Backdoor Defense in Federated Learning Using Differential Testing and Outlier Detection
University of California, San Diego(加州大学圣地亚哥分校)
联邦学习(FL)的目标是通过聚合在边缘设备上独立更新的模型参数来训练一个全局模型,而无需访问用户的私有数据。然而,FL容易受到后门攻击,其中一小部分恶意代理通过将污染的模型更新上传到服务器来在全局模型中注入有针对性的误分类行为。在这项工作中,我们提出了DiffFense,一个自动化的防御框架,以保护FL系统从后门攻击,利用差分测试和两步MAD离群值检测,而不需要任何以前的知识的攻击场景或直接存取本地模型参数。我们的经验表明,我们的检测方法可以防止各种数量的潜在攻击者,同时始终实现全局模型的收敛,与联邦平均(FedAvg)下训练的模型相当。我们进一步证实了我们的方法对以前的防御技术,如多克鲁姆和坐标明智的中位数聚合的有效性和普遍性。我们的检测方法将全局模型的平均后门准确率降低到4%以下,并实现了零的误报率。
2022-02-21 cs.CR cs.LG
More is Better (Mostly): On the Backdoor Attacks in Federated Graph Neural Networks
Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学)
该研究首次探究联邦图神经网络的后门攻击鲁棒性,对比中心化与分布式两类后门攻击的性能及影响因素,发现两类攻击对现有防御均具抗性,需定制化防御方案。
2024-12-09 cs.CR cs.LG
FL-PBM: Pre-Training Backdoor Mitigation for Federated Learning
Polytechnique Montréal(蒙特利尔理工学院);Khalifa University(哈利法大学);Concordia Institute for Information Systems Engineering, Concordia University(康考迪亚大学康考迪亚信息系统工程研究所)
本文提出FL-PBM,一种在联邦学习中预训练阶段主动过滤恶意数据的机制,通过PCA提取特征、GMM聚类识别恶意样本及针对性模糊技术,有效降低后门攻击成功率,同时保持模型准确率。
2026-03-30 cs.CR cs.DC cs.LG
Towards a Defense Against Federated Backdoor Attacks Under Continuous Training
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
在联邦学习(FL)中,后门攻击是危险且难以预防的,其中训练数据长时间来自不受信任的客户端。出现这些困难的原因是:(a)FL中的防御者无法访问原始训练数据,以及(b)我们发现的一种称为后门泄漏的新现象导致不断训练的模型最终由于防御机制中的累积错误而遭受后门。我们提出了影子学习,一个框架,用于抵御后门攻击在FL设置下的远程训练。影子学习并行训练两个模型:主干模型和影子模型。骨干是在没有任何防御机制的情况下训练的,以获得在主要任务上的良好表现。影子模型将恶意客户端的过滤与早期停止相结合,以控制攻击成功率,即使数据分布发生变化。我们从理论上激励我们的设计和实验表明,我们的框架显着提高现有的防御后门攻击。
2023-01-31 cs.AI cs.CR cs.LG
Securing Federated Learning against Backdoor Threats with Foundation Model Integration
Renmin University of China(中国人民大学);The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
针对联邦学习集成基础模型引入的新型后门攻击,提出无数据防御策略,通过约束模型聚合时隐藏特征空间的异常激活,有效抵御经典与新型后门攻击,性能优于现有方法。
2025-05-27 cs.CR cs.LG
Backdoor Federated Learning by Poisoning Backdoor-Critical Layers
Stony Brook University(石溪大学);University of Delaware(特拉华大学);South China University of Technology(华南理工大学);Louisiana State University(路易斯安那州立大学)
该研究针对联邦学习的后门攻击风险,发现了主导模型脆弱性的后门关键(BC)层,提出从攻击者视角识别BC层并设计自适应平衡攻击效果与隐蔽性的后门攻击方法,实验证明仅10%恶意客户端即可突破7种当前最优防御,性能优于现有最新方法。
2024-04-15 cs.CR cs.CV cs.LG
BackDFL: A Unified Benchmark For Backdoor Attacks and Defenses In Decentralized Federated Learning
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(萨莫瓦尔实验室、南巴黎电信学院、巴黎综合理工学院);PIRAT, INRIA Rennes(皮拉特实验室、法国国家信息与自动化研究所雷恩分部)
BackDFL是评估去中心化联邦学习(DFL)在自适应后门攻击下安全性的统一基准,实验表明现有鲁棒方法在15%恶意参与率下即失效,且性能随通信拓扑变化大。
2026-08-25 cs.CR cs.DC cs.LG
Concealing Backdoor Model Updates in Federated Learning by Trigger-Optimized Data Poisoning
Duke University(杜克大学)
针对联邦学习后门更新易被防御检测的问题,提出DPOT触发器优化数据投毒攻击,仅靠数据投毒即可隐藏恶意更新并突破现有防御。
2024-09-09 cs.AI cs.CR cs.LG
Backdoor Attack on Vertical Federated Graph Neural Network Learning
Fudan University(复旦大学);Nanjing University of Information Science and Technology(南京信息工程大学);Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学)
本文提出BVG后门攻击方法,针对垂直联邦图神经网络,利用多跳触发器和后门保留,仅需四个目标节点即可实现近100%攻击成功率,且对主任务影响小,现有防御难以抵御。
2025-01-24 cs.AI cs.CR cs.LG
SDBA: A Stealthy and Long-Lasting Durable Backdoor Attack in Federated Learning
Department of Information and Communication Engineering, Major in Information Security, Chosun University(信息与通信工程系,信息安全专业,全州大学);AI Data Security Research Section, Electronics and Telecommunications Research Institute(人工智能数据安全研究部,电子电信研究院);Department of Convergence Science, Kongju National University(融合科学系, Kongju国立大学)
针对联邦学习NLP任务易受后门攻击且相关研究有限的问题,提出SDBA新型后门攻击,通过逐层和top-k%梯度掩码实现隐蔽持久,实验证明其在多模型多任务上优于现有攻击且能绕过防御,凸显相关防御的紧迫性。
2025-07-30 cs.CR cs.LG
Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated Learning
University of Maryland(马里兰大学);Google(谷歌);Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
联邦学习特别容易受到模型中毒和后门攻击的影响,因为个人用户可以直接控制训练数据和模型更新。与此同时,单个用户的攻击能力是有限的,因为他们的更新很快就会被许多其他用户的更新淹没。现有的攻击不考虑其他用户的未来行为,因此需要多次连续更新,其影响很快就会被消除。我们提出了一种攻击,它可以预测和解释整个联邦学习管道,包括其他客户端的行为,并确保后门快速有效,即使在多轮社区更新后也能持续存在。我们表明,这种新的攻击是有效的,在现实的情况下,攻击者只贡献了一小部分的随机抽样轮,并证明这种攻击的图像分类,下一个词的预测,和情感分析。
2022-10-17 cs.CR cs.LG
BaFFLe: Backdoor detection via Feedback-based Federated Learning
NEC Labs Europe(NEC欧洲研究院);TU Darmstadt(达姆施塔特工业大学)
最近的研究表明,联邦学习(FL)容易受到向全局模型注入后门的中毒攻击。这些攻击即使由单个客户端执行也是有效的,并且大多数现有的防御技术都无法检测到。在本文中,我们提出了后门检测通过基于反馈的联邦学习(BAFFLE),一种新的防御,以确保FL对后门攻击。BAFFLE背后的核心思想是利用多个客户端的数据,不仅用于训练,还用于发现模型中毒。我们通过将反馈循环纳入FL过程,利用各种客户端的不同数据集的可用性,在决定给定模型更新是否真实时整合这些客户端的视图。我们表明,即使依赖简单的方法来验证模型,这种强大的结构也可以对最先进的后门攻击实现非常高的检测率。通过使用CIFAR-10和FEMNIST数据集进行实证评估,我们表明,通过将反馈回路与通过评估更新模型的每类分类性能来怀疑中毒尝试的方法相结合,BAFFLE可靠地检测到最先进的后门攻击,检测准确率为100%,误报率低于5%。此外,我们证明了我们的解决方案可以检测到旨在绕过防御的自适应攻击。
2021-04-18 cs.CR cs.LG
Mitigating Backdoor Attacks in Federated Learning
Pennsylvania State University(宾夕法尼亚州立大学);North Carolina State University(北卡罗来纳州立大学)
恶意客户端可以在训练阶段使用恶意数据(包括后门样本)攻击联邦学习系统。受损的全局模型将在为任务设计的验证数据集上表现良好,但具有后门模式的一小部分数据可能会触发模型做出错误的预测。在服务器端训练的聚合阶段,试图隐藏攻击的攻击者和试图检测攻击的防御者之间一直存在军备竞赛。在这项工作中,我们提出了一种新的和有效的方法来减轻后门攻击后的训练阶段。具体而言,我们设计了一种联邦剪枝方法来删除网络中的冗余神经元,然后调整模型的极端权重值。我们在分布式Fashion-MNIST上进行的实验表明,我们的方法可以将平均攻击成功率从99.7%降低到1.9%,在验证数据集上的测试准确性损失为5.5%。为了尽量减少剪枝对测试准确率的影响,我们可以在剪枝后进行微调,攻击成功率下降到6.4%,测试准确率仅损失1.7%。在CIFAR-10上进行的分布式后门攻击下的进一步实验也显示了有希望的结果,平均攻击成功率下降了70%以上,验证数据集上的测试准确性损失不到2%。
2021-01-14 cs.CR cs.LG
Meta Federated Learning
University of Maryland(马里兰大学);IBM Research(IBM研究院);University of Virginia(弗吉尼亚大学)
由于其分布式方法及其隐私保护功能,联邦学习(FL)容易受到训练时间对抗攻击的影响。在这项研究中,我们的重点是后门攻击,其中对手的目标是造成有针对性的错误分类的输入嵌入了一个对抗性的触发器,同时保持一个可接受的性能在手头的主要学习任务。针对联邦学习中后门攻击的当代防御需要直接存取每个客户端的更新,这在最近部署安全聚合的FL设置中是不可行的。在这项研究中,我们试图回答以下问题,当安全聚合到位时,是否有可能防御后门攻击?,这是现有技术尚未解决的问题。为此,我们提出了Meta联邦学习(Meta-FL),一种新的变体的联邦学习,它不仅是兼容的安全聚合协议,但也有利于防御后门攻击。我们在两个分类数据集:SVHN和GTSRB上对Meta-FL进行了系统的评估。实验结果表明,Meta-FL不仅比经典FL具有更好的实用性,而且在抵抗对抗攻击的鲁棒性方面也提高了现代防御系统的性能.
2021-02-10 cs.CR cs.DC cs.LG
Beyond Corner Patches: Semantics-Aware Backdoor Attack in Federated Learning
Purdue University(普渡大学)
本文提出SABLE,一种在联邦学习中考虑语义的后门攻击方法,通过构建自然且内容一致的触发器,优化恶意目标以保持攻击更新与良性更新接近,实验证明语义驱动的触发器在不同聚合规则下具有高攻击成功率。
2026-04-07 cs.AI cs.CR cs.CV
Detecting Backdoor Attacks in Federated Learning via Direction Alignment Inspection
University of Nevada, Reno(内华达大学雷诺分校)
针对联邦学习易受后门攻击且现有防御忽略更新方向不一致的问题,提出AlignIns防御方法,通过方向对齐检测过滤恶意更新,理论与实验均验证其鲁棒性优于现有方法。
2025-03-18 cs.CR cs.DC cs.LG
Revisiting Personalized Federated Learning: Robustness Against Backdoor Attacks
Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团)
本文首次系统评估个性化联邦学习对后门攻击的鲁棒性,发现部分模型共享更安全,并提出轻量防御 Simple-Tuning 与开源黑盒攻击基准。
2023-06-05 cs.CR cs.LG
Neurotoxin: Durable Backdoors in Federated Learning
Southeast University(东南大学);Princeton University(普林斯顿大学);University of California at Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所)
由于其分散的性质,联邦学习(FL)系统在训练过程中对对抗性后门攻击具有固有的脆弱性。在这种类型的攻击中,攻击者的目标是使用中毒更新将所谓的后门植入到学习模型中,以便在测试时,模型的输出可以固定为特定输入的给定目标。(As一个简单的玩具示例,如果用户将“people from New York”键入到使用后门下一单词预测模型的移动键盘应用中,则该模型可以将句子自动完成为“people from New York are rude”)。先前的工作已经表明,后门可以插入到FL模型中,但是这些后门通常不耐用,即,在攻击者停止上载中毒更新之后,它们不会保留在模型中。因此,由于训练通常在生产FL系统中逐步继续,因此插入的后门可能无法存活直到部署。在这里,我们提出了神经毒素,一个简单的一行修改现有的后门攻击,通过攻击参数,在训练过程中变化较小的幅度。我们对十个自然语言处理和计算机视觉任务进行了详尽的评估,我们发现我们可以将最先进的后门的耐久性提高一倍。
2022-06-12 cs.AI cs.CR cs.LG
Get Rid Of Your Trail: Remotely Erasing Backdoors in Federated Learning
New York University Abu Dhabi(纽约大学阿布扎比分校);École nationale supérieure d’informatique(国立高等计算机学院)
本文面向联邦学习中的攻击者,提出基于机器遗忘的远程后门擦除方法,在保持模型性能、避免无关信息过度遗忘的同时隐蔽消除最先进攻击注入的后门。
2023-04-20 cs.CR cs.LG
Beyond Traditional Threats: A Persistent Backdoor Attack on Federated Learning
College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);Southampton Ocean Engineering Joint Institute, Harbin Engineering University(哈尔滨工程大学南安普顿海洋工程联合学院)
针对联邦学习后门易被良性更新稀释的问题,提出全组合后门攻击方法FCBA,通过聚合更多组合触发器信息构建更完整的后门模式,显著提升了攻击持久性和成功率,优于SOTA方法。
2024-04-26 cs.AI cs.CR cs.CV
A Knowledge Distillation-Based Backdoor Attack in Federated Learning
University of Science and Technology of China(中国科学技术大学)
联邦学习(FL)是一种新型的分散式机器学习框架。由于FL的分散特性,它在训练过程中容易受到对抗攻击,例如后门攻击。后门攻击旨在将后门注入到机器学习模型中,使得该模型将使用某些特定的后门触发器对测试样本做出任意不正确的行为。尽管已经介绍了FL的一系列后门攻击方法,但也有防御它们的方法。许多防御方法都是利用带后门模型的异常特征或带后门模型与正常模型的差异来进行防御的。为了绕过这些防御,我们需要减少差异和异常特征。我们发现这种异常的一个根源是后门攻击在毒化数据时会直接翻转数据的标签。然而,目前对FL中的后门攻击的研究主要集中在减少带有后门的模型与常规模型之间的差异上。本文提出了对抗性知识蒸馏(ADVKD)方法,该方法将知识蒸馏和后门攻击相结合,通过知识蒸馏减少标签翻转导致的模型结果中的异常特征,从而使模型能够绕过防御。与现有的方法相比,我们表明,ADVKD不仅可以达到更高的攻击成功率,但也成功地绕过防御时,其他方法失败。为了进一步探索ADVKD的性能,我们测试了不同场景下参数对ADVKD性能的影响。根据实验结果,总结了在不同场景下如何调整参数以获得更好的性能。我们还使用了几种方法来可视化不同的攻击效果,并解释ADVKD的有效性。
2022-08-12 cs.CR cs.LG
Identify Backdoored Model in Federated Learning via Individual Unlearning
University of Nevada, Reno(内华达大学雷诺分校)
针对联邦学习中后门攻击隐蔽性强难检测的问题,提出基于个体遗忘的MASA方法,结合预遗忘模型融合与新型异常检测指标,在多种攻击和数据分布下有效识别恶意模型,为FL后门防御提供新思路。
2024-11-01 cs.CR cs.DC cs.LG
Invariant Aggregator for Defending against Federated Backdoor Attacks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Azure Research(微软Azure研究院)
针对联邦学习中后门攻击防御难的问题,本文分析现有防御在平坦损失景观下的失效模式,提出不变聚合器,通过选择性掩蔽更新元素重定向聚合方向,可证缓解后门攻击,且模型实用性损失极小。
2024-03-08 cs.CR cs.LG
Backdoor Attacks in Peer-to-Peer Federated Learning
Northeastern University(东北大学);Khoury College of Computer Sciences(科里计算机科学学院)
针对对等网络联邦学习(P2PFL)的投毒攻击抵御能力未被研究的问题,提出利用图结构选恶意节点的高隐蔽性后门攻击,验证其在多种真实场景下的有效性,并设计出不影响模型准确率的新型防御方案。
2024-09-17 cs.CR cs.LG
Anomaly Localization in Model Gradients Under Backdoor Attacks Against Federated Learning
Arcelik Research(Arcelik研究)
在联邦学习(FL)的联合模型中插入后门是最近引起关注的威胁。现有的研究主要集中在开发有效的对策来应对这种威胁,假设后门的本地模型,如果有的话,以某种方式揭示自己的梯度异常。然而,这一假设需要详细说明,具体确定哪些梯度更有可能在何种条件下指示异常到何种程度。这是一个重要的问题,因为神经网络模型通常具有巨大的参数空间,并且由大量的权重组成。在这项研究中,我们做了一个深入的梯度水平上的预期变化的模型梯度在几个后门攻击的情况下对FL。我们的主要新发现是,后门引起的异常的本地模型更新(权重或梯度)出现在最后一层的偏见权重的恶意本地模型。我们支持和验证我们的研究结果,在不同的外语设置的理论和实验分析。我们还调查了恶意客户端的数量,学习率,恶意数据率上观察到的异常的影响。我们的实现是公开可用的\footnote{\url{ https://github.com/ArcelikAcikKaynak/Federated_Learning.git}}。
2021-11-29 cs.AI cs.CR cs.LG
TrojanDam: Detection-Free Backdoor Defense in Federated Learning through Proactive Model Robustification utilizing OOD Data
Southeast University(东南大学);HKUST(GZ)(香港科技大学(广州));Nanyang Technological University(南洋理工大学)
提出TrojanDam,一种联邦学习后门防御机制,通过利用OOD数据主动激活模型冗余神经元以抵消后门更新,无需检测,实验证明优于现有SOTA方法。
2025-04-22 cs.CR cs.LG
FedLSG: LLM-Enhanced Semantic Calibration for Federated Graph Backdoor Defense
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Institute of AI for Industries(人工智能产业研究院);Chinese Academy of Sciences(中国科学院)
针对联邦图神经网络易受后门攻击问题,提出FedLSG框架,将大语言模型集成防御,通过图与行为到文本的转换及轻量级师生架构,在不损图完整性时显著提升对后门攻击的抵抗力。
2026-07-23 cs.AI cs.CR cs.LG
Chameleon: Adapting to Peer Images for Planting Durable Backdoors in Federated Learning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
本文提出联邦学习后门攻击方法 Chameleon,通过分析良性图像与被投毒图像的关系,利用对比学习增强后门持久性,使后门寿命较基线延长1.2至4倍。
2023-05-25 cs.CR cs.CV cs.LG
EmInspector: Combating Backdoor Attacks in Federated Self-Supervised Learning Through Embedding Inspection
本文针对联邦自监督学习(FSSL)中的后门攻击,提出EmInspector方法,通过检查本地模型嵌入空间检测恶意客户端,利用少量检查图像评估嵌入相似性,有效缓解各类对手设置下的后门攻击。
2024-05-21 cs.CR cs.LG
Practical and General Backdoor Attacks against Vertical Federated Learning
University of Chinese Academy of Sciences(中国科学院大学)
针对纵向联邦学习中攻击者无法访问标签的挑战,提出BadVFL方法,通过SDD模块追踪数据类别和SDP模块增强决策依赖,实现仅1%投毒率下超过93%的后门攻击成功率。
2023-06-19 cs.CR cs.LG
DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning
The Hong Kong University of Science and Technology(香港科技大学)
本研究针对联邦学习易受后门攻击的问题,提出服务器端数据无关后门攻击模型DABS,直接修改全局模型实现攻击,实验显示其攻击成功率高于基线方法且不影响干净数据准确率。
2023-05-02 cs.CR cs.CV cs.LG
FedBAP: Backdoor Defense via Benign Adversarial Perturbation in Federated Learning
School of Cyber Science and Engineering, Wuhan University(武汉大学计算机科学与工程学院);Department of Computer and Artificial Intelligence, Wuhan University of Technology(武汉理工大学计算机与人工智能学院);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件工程学院)
针对联邦学习中的后门攻击,提出FedBAP框架,通过生成与触发器匹配的良性对抗扰动并自适应调整强度,减少模型对触发器的依赖,显著降低攻击成功率。
2025-07-26 cs.CR cs.LG
CACTUS: Mask-Guided Semantic Clean-Label Backdoors in Decentralized Federated Learning
University of Zurich(苏黎世大学)
CACTUS针对去中心化联邦学习的后门植入问题,通过掩码引导的语义操作实现了高攻击成功率,可在多模态任务中通过联邦聚合传播后门。
2026-09-03 cs.DC cs.LG
Fedward: Flexible Federated Backdoor Defense Framework with Non-IID Data
Fuzhou University(福州大学);Deakin University(迪肯大学)
针对联邦后门攻击,提出灵活防御框架Fedward,通过AmGrad和AutoOPTICS应对各类攻击,并利用自适应裁剪维持Non-IID场景性能,在多个数据集上显著降低攻击成功率。
2023-07-01 cs.CR cs.LG
Byzantine-Robust Federated Learning: An Overview With Focus on Developing Sybil-based Attacks to Backdoor Augmented Secure Aggregation Protocols
本文综述拜占庭鲁棒联邦学习的现有方法并分类,深入分析RoFL协议的优缺点,提出两种利用其漏洞的新型Sybil攻击,给出攻击实现细节与未来测试及框架改进方向。
2024-10-30 cs.CR cs.LG
How to Backdoor HyperNetwork in Personalized Federated Learning?
SUNY-Albany(纽约州立大学奥尔巴尼分校);New Jersey Institute of Technology(新泽西理工学院);Qatar Computing Research Institute(卡塔尔计算研究所);University of Arkansas(阿肯色大学)
针对 HyperNetFL 的后门风险,论文提出 HNTroj 模型转移攻击,利用多客户端一致恶意梯度将后门扩散至个性化局部模型,并证明其隐蔽性、低攻陷需求及绕过鲁棒防御的能力。
2023-12-11 cs.CR cs.LG
DeepSight: Mitigating Backdoor Attacks in Federated Learning Through Deep Model Inspection
Technical University of Darmstadt(达姆施塔特工业大学)
联邦学习(FL)允许多个客户端在其私有数据上协作训练神经网络(NN)模型,而不会泄露数据。最近,针对FL的几次有针对性的中毒攻击已经被引入。这些攻击在最终模型中注入了后门,允许对手控制的输入被错误分类。针对后门攻击的现有对策是低效的,并且通常仅仅旨在从聚合中排除偏离模型。然而,这种方法也删除了具有偏差数据分布的客户端的良性模型,导致聚合模型对于此类客户端的性能较差。为了解决这个问题,我们提出了DeepSight,一种新的模型过滤方法,用于减轻后门攻击。它是基于三种新的技术,允许表征用于训练模型更新的数据的分布,并寻求测量细粒度的差异,在内部结构和输出的神经网络。使用这些技术,DeepSight可以识别可疑的模型更新。我们还开发了一个计划,可以准确地聚类模型更新。结合这两个组件的结果,DeepSight能够识别和消除包含具有高攻击影响的中毒模型的模型集群。我们还表明,可能未被检测到的中毒模型的后门贡献,可以有效地减轻现有的重量裁剪为基础的防御。我们评估了DeepSight的性能和有效性,并表明它可以减轻最先进的后门攻击,对良性数据的模型性能的影响可以忽略不计。
2022-01-03 cs.CR cs.LG
BoBa: Boosting Backdoor Detection through Data Distribution Inference in Federated Learning
University of South Florida(南佛罗里达大学);University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校);Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);University of Kentucky(肯塔基大学)
本文提出BoBa机制,通过数据分布聚类和投票检测提升联邦学习中后门攻击检测的鲁棒性,有效降低攻击成功率至0.001以下。
2026-04-09 cs.CR cs.LG
Enhancing the Effectiveness and Durability of Backdoor Attacks in Federated Learning through Maximizing Task Distinction
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Trustworthy and General Artificial Intelligence Laboratory, School of Engineering, Westlake University(西湖大学工程学院可信与通用人工智能实验室)
针对联邦学习中现有后门攻击因主任务与后门任务耦合易被防御稀释的问题,提出min-max框架动态优化触发器解耦任务的方法,在多任务及防御下实现良好攻击性能且易集成。
2025-09-23 cs.LG
Backdoor Attacks in Federated Learning by Rare Embeddings and Gradient Ensembling
Seoul National University(首尔国立大学)
联邦学习的最新进展已经证明了它在分散数据集上学习的潜力。然而,大量的工作引起了人们的担忧,因为参与框架的对手可能会出于敌对目的毒化全球模型。本文研究了通过NLP模型的稀有词嵌入来对后门攻击进行模型中毒的可行性。在文本分类中,少于1%的对手客户端足以操纵模型输出,而不会降低对干净句子的性能。对于一个不太复杂的数据集,仅仅0.1%的对手客户端就足以有效地毒害全局模型。我们还提出了一种专门用于联邦学习方案的技术,称为梯度增强,它增强了我们所有实验设置中的后门性能。
2022-10-24 cs.AI cs.CL cs.LG
Foundation Models in Federated Learning: Assessing Backdoor Vulnerabilities
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Meta;The Pennsylvania State University(宾夕法尼亚州立大学)
本研究评估联邦学习中利用基础模型的后门攻击,指出其一次性外部性特点使现有防御失效,并通过图像和文本实验证实了该威胁的严重性。
2025-04-19 cs.CR cs.DC cs.LG
VFLIP: A Backdoor Defense for Vertical Federated Learning via Identification and Purification
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学)
针对纵向联邦学习(VFL)特有的后门攻击漏洞,提出首个VFL专用防御方法VFLIP,在推理阶段通过逐参与者异常检测识别恶意嵌入并重构净化,有效提升防御鲁棒性。
2024-08-29 cs.LG
FTA: Stealthy and Adaptive Backdoor Attack with Flexible Triggers on Federated Learning
Delft University of Technology(代尔夫特理工大学)
针对联邦学习后门易被范数裁剪和参数差异检测的问题,提出FTA,利用可跨轮次自适应学习的生成式灵活触发器隐藏目标标签特征,在八种防御下验证了攻击的有效性与隐蔽性。
2023-09-28 cs.CR cs.LG