On the Efficiency of Privacy Attacks in Federated Learning
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；University of Hong Kong（香港大学）；Florida International University（佛罗里达国际大学）
针对联邦学习现有隐私攻击计算成本高、实用性弱的问题，提出EPAFL框架，通过三种早停技术在保持攻击成功率的同时显著降低计算开销，并公开代码。
2024-04-15 cs.CR cs.LG
Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis
Huazhong University of Science and Technology（华中科技大学）
与数据中心的服务器相比，联邦学习中的边缘设备通常具有更有限的计算和通信资源。最近，先进的模型压缩方法，如彩票假设，已经在联邦学习上实现，以减少模型大小和通信成本。然而，后门攻击可能会危及其在联邦学习场景中的实现。恶意边缘设备使用中毒的私有数据训练客户端模型，并将参数上传到中心，在不知情的聚合优化后向全局共享模型嵌入后门。在推理阶段，带有后门的模型将具有特定触发器的样本分类为一个目标类别，而清洁样本的推理精度略有下降。在这项工作中，我们的经验表明，彩票模型同样容易受到后门攻击的原始密集模型，和后门攻击可以影响提取的门票的结构。基于票据之间的相似性，我们为联邦学习提供了一种可行的防御后门攻击的各种数据集。
2021-09-22 cs.CR cs.LG
Characterizing Internal Evasion Attacks in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
本文首次表征了联邦学习中对抗性客户端在测试时发起的内部规避攻击，发现对抗训练防御效果有限，但将其与个性化联邦学习框架结合可使相对鲁棒性提升60%。
2023-10-21 cs.CR cs.LG
Leveraging Soft Prompts for Privacy Attacks in Federated Prompt Tuning
CISE, University of Florida, FL, USA（佛罗里达大学计算机与信息科学系）；North Carolina State University, NC, USA（北卡罗来纳州立大学）；Washington State University, WA, USA（华盛顿州立大学）；Seoul National University of Science and Technology, South Korea（韩国科学技术大学）
本文提出PromptMIA，一种针对联邦提示微调的隐私攻击方法，揭示了该方法在隐私保护方面的潜在风险。
2026-11-05 cs.CR cs.LG
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST（韩国科学技术院计算机学院）；Samsung Research（三星研究院）；Data Science Group, Institute for Basic Science（基础科学研究院数据科学组）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文提出FedMID，一种无数据防御方法，通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击，实验证明其在多种计算条件和高级攻击下具有鲁棒性，促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated Learning
University of Maryland（马里兰大学）；Google（谷歌）；Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
联邦学习特别容易受到模型中毒和后门攻击的影响，因为个人用户可以直接控制训练数据和模型更新。与此同时，单个用户的攻击能力是有限的，因为他们的更新很快就会被许多其他用户的更新淹没。现有的攻击不考虑其他用户的未来行为，因此需要多次连续更新，其影响很快就会被消除。我们提出了一种攻击，它可以预测和解释整个联邦学习管道，包括其他客户端的行为，并确保后门快速有效，即使在多轮社区更新后也能持续存在。我们表明，这种新的攻击是有效的，在现实的情况下，攻击者只贡献了一小部分的随机抽样轮，并证明这种攻击的图像分类，下一个词的预测，和情感分析。
2022-10-17 cs.CR cs.LG
Sybil-based Virtual Data Poisoning Attacks in Federated Learning
Department of Automation, Shanghai Jiao Tong University（自动化系，上海交通大学）；Sony AI（索尼人工智能）
针对联邦学习现有投毒攻击成本高的问题，提出基于Sybil的虚拟数据投毒攻击，结合梯度匹配虚拟数据生成与三类目标模型获取方案，可在非独立同分布数据下高效实现更强的全局投毒效果。
2025-05-15 cs.CR cs.LG
White-box Inference Attacks against Centralized Machine Learning and Federated Learning
Donghua University（东华大学）
随着信息科学技术的发展，各行各业产生了海量的数据，机器学习被广泛应用于大数据的分析。但如果机器学习应用的客户隐私无法得到保障，则会对用户个人隐私信息和服务提供商造成安全威胁和损失。因此，机器学习的隐私保护问题受到广泛关注。对于集中式机器学习模型，我们评估了不同神经网络层、梯度、梯度范数和微调模型对先验知识下成员推理攻击性能的影响;对于联邦学习模型，我们讨论了攻击者在目标模型中的位置及其攻击模式。结果表明，集中式机器学习模型在各方面都表现出更严重的成员信息泄露，攻击者在中心参数服务器上作为参与者进行的攻击准确率明显高于本地推理攻击。
2022-12-15 cs.CR cs.LG
Practical and General Backdoor Attacks against Vertical Federated Learning
University of Chinese Academy of Sciences（中国科学院大学）
针对纵向联邦学习中攻击者无法访问标签的挑战，提出BadVFL方法，通过SDD模块追踪数据类别和SDP模块增强决策依赖，实现仅1%投毒率下超过93%的后门攻击成功率。
2023-06-19 cs.CR cs.LG
Mitigating Backdoor Attacks in Federated Learning
Pennsylvania State University（宾夕法尼亚州立大学）；North Carolina State University（北卡罗来纳州立大学）
恶意客户端可以在训练阶段使用恶意数据（包括后门样本）攻击联邦学习系统。受损的全局模型将在为任务设计的验证数据集上表现良好，但具有后门模式的一小部分数据可能会触发模型做出错误的预测。在服务器端训练的聚合阶段，试图隐藏攻击的攻击者和试图检测攻击的防御者之间一直存在军备竞赛。在这项工作中，我们提出了一种新的和有效的方法来减轻后门攻击后的训练阶段。具体而言，我们设计了一种联邦剪枝方法来删除网络中的冗余神经元，然后调整模型的极端权重值。我们在分布式Fashion-MNIST上进行的实验表明，我们的方法可以将平均攻击成功率从99.7%降低到1.9%，在验证数据集上的测试准确性损失为5.5%。为了尽量减少剪枝对测试准确率的影响，我们可以在剪枝后进行微调，攻击成功率下降到6.4%，测试准确率仅损失1.7%。在CIFAR-10上进行的分布式后门攻击下的进一步实验也显示了有希望的结果，平均攻击成功率下降了70%以上，验证数据集上的测试准确性损失不到2%。
2021-01-14 cs.CR cs.LG
Evaluating Gradient Inversion Attacks and Defenses in Federated Learning
Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
梯度反转攻击（Gradient Inversion Attack）是联邦学习安全性和隐私保护面临的一种新威胁，恶意窃听者或协议参与者可以利用梯度反转攻击恢复（部分）客户端的隐私数据。本文评估了现有的攻击和防御。我们发现，一些攻击对设置做出了强烈的假设。放松这些假设可以大大削弱这些攻击。然后，我们评估了三个建议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄露和数据效用的权衡，并发现以适当的方式将它们结合起来会使攻击变得不那么有效，即使在最初的强假设下。我们还估计了每个评估防御下单个图像的端到端恢复的计算成本。我们的研究结果表明，目前可以通过轻微的数据实用程序损失来防御最先进的攻击，如潜在策略列表所示。我们的代码可在https://github.com/Princeton-SysML/GradAttack上获得。
2021-11-30 cs.CR cs.LG
Hiding in Plain Sight: Disguising Data Stealing Attacks in Federated Learning
INSAIT；Sofia University "St. Kliment Ohridski"（索非亚大学"圣·克莱门特·奥赫里德斯基"）；ETH Zurich（苏黎世联邦理工学院）
针对联邦学习中现有恶意服务器数据窃取攻击易被客户端检测的问题，提出了带秘密解码器的SEER攻击框架，可在大批次与安全聚合下隐蔽窃数，为评估联邦学习真实脆弱性提供参考。
2024-04-15 cs.CR cs.LG
Covert Communication Based on the Poisoning Attack in Federated Learning
Sichuan Normal University（四川师范大学）
针对联邦学习模型聚合破坏客户端嵌入信息的问题，提出一种基于投毒攻击的隐蔽通信方法，实现两客户端间100%准确传输，并证明其隐蔽、鲁棒且现有防御难以应对。
2023-06-02 cs.CR cs.LG
Byzantine-Robust Federated Learning: An Overview With Focus on Developing Sybil-based Attacks to Backdoor Augmented Secure Aggregation Protocols
本文综述拜占庭鲁棒联邦学习的现有方法并分类，深入分析RoFL协议的优缺点，提出两种利用其漏洞的新型Sybil攻击，给出攻击实现细节与未来测试及框架改进方向。
2024-10-30 cs.CR cs.LG
Vera Verto: Multimodal Hijacking Attack
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Microsoft（微软公司）
本文提出多模态模型劫持攻击 Blender，可将 NLP 任务植入图像分类模型，并在多个数据集上实现最高 95% 的攻击成功率。
2024-07-31 cs.CR cs.LG
Exploring adversarial attacks in federated learning for medical imaging
Harvard University（哈佛大学）；Google（谷歌）；University Medical Center Groningen（格罗宁根大学医学中心）；University of Groningen（格罗宁根大学）
本文评估联邦学习在医学图像分析中面对对抗性攻击的脆弱性，发现领域特定配置可显著提高攻击成功率，强调亟需有效防御机制并重新评估现有安全协议。
2023-10-10 cs.CR cs.LG eess.IV
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）；IBM
联邦学习本质上容易受到模型中毒攻击，因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低模型在目标子任务（例如将飞机分类为鸟类）上的性能。在这份报告中，我们介绍了\algoname{}，一种新的防御，使用全局top-k更新稀疏化和设备级梯度裁剪，以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击，并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性，我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
Survey on Federated Learning Threats: concepts, taxonomy on attacks and defences, experimental study and challenges
Andalusian Research Institute in Data Science and Computational Intelligence（安达卢西亚数据科学与计算智能研究院）；University of Granada（格拉纳达大学）
联邦学习是一种机器学习范式，它作为人工智能中隐私保护需求的解决方案而出现。作为机器学习，联邦学习受到对抗攻击的威胁，这些攻击针对学习模型的完整性和数据的隐私，通过分布式方法来处理局部和全局学习。联邦学习中数据的不可访问性加剧了这一弱点，这使得对抗攻击的保护更加困难，并证明需要进一步研究防御方法，使联邦学习成为保护数据隐私的真正解决方案。在本文中，我们对联邦学习的威胁，以及相应的对策，攻击与防御进行了广泛的审查。本调查提供了对抗性攻击的分类和防御方法的分类，描述了联邦学习的这种脆弱性的一般情况以及如何克服它。同样，我们阐述了根据对抗攻击的类别选择最适当的防御方法的指导方针。此外，我们进行了广泛的实验研究，从中我们得出进一步的结论，攻击和防御的行为和准则，选择最适当的防御方法，根据类别的对抗攻击。这项研究完成后，导致冥想的经验教训和挑战。
2022-01-20 cs.AI cs.CR cs.LG
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）是一种新兴的分布式机器学习框架，用于与客户端（边缘设备）网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而，最近的研究表明，即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击，并侵犯客户端关于其训练数据的隐私。在本文中，我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析，以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据（例如，局部梯度或权重更新向量）。然后，我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量，评估和分析客户端隐私泄漏攻击的有效性时，使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略，以强调提供系统的攻击评估框架的重要性，以深入了解联邦学习中各种形式的客户端隐私泄露威胁，并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
Local Model Reconstruction Attacks in Federated Learning and their Uses
本文提出联邦学习中的局部模型重建攻击，使诚实但好奇的对手窃听客户端与服务器通信以重建受害者局部模型，并据此提出基于模型的属性推断攻击，在异构数据下实现更高重建精度，为量化隐私风险提供新视角。
2024-05-27 cs.AI cs.CR cs.LG
Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
在联邦学习中，多个客户端设备联合学习机器学习模型：每个客户端设备维护其本地训练数据集的本地模型，而主设备通过聚合来自客户端设备的本地模型来维护全局模型。机器学习社区最近提出了几种联邦学习方法，这些方法被声称对拜占庭式故障具有鲁棒性（例如，系统故障、对抗性操纵）。在这项工作中，我们进行了第一次系统的研究局部模型中毒攻击联邦学习。我们假设攻击者已经危害了一些客户端设备，并且攻击者在学习过程期间操纵被危害的客户端设备上的本地模型参数，使得全局模型具有大的测试出错率。我们制定我们的攻击优化问题，并将我们的攻击，最近拜占庭强大的联邦学习方法。我们在四个真实世界数据集上的实证结果表明，我们的攻击可以大大增加通过联邦学习方法学习的模型的出错率，这些方法声称对某些客户端设备的拜占庭故障具有鲁棒性。我们概括了两种防御数据投毒攻击，以抵御我们的本地模型中毒攻击。我们的评估结果表明，在某些情况下，一种防御可以有效地防御我们的攻击，但在其他情况下，防御不够有效，突出了对我们的本地模型中毒攻击联邦学习的新防御的需要。
2021-11-21 cs.CR cs.DC cs.LG
Client-Side Patching against Backdoor Attacks in Federated Learning
针对联邦学习中的后门攻击，提出结合对抗学习与模型补丁的客户端防御机制，在MNIST和Fashion-MNIST上有效降低后门准确率并保持干净数据准确率，优于现有防御方法。
2024-12-20 cs.AI cs.CR cs.LG
Towards Attack-tolerant Federated Learning via Critical Parameter Analysis
Microsoft Research Asia（微软亚洲研究院）；GIST（光州科学技术院）；KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
针对联邦学习在 non-IID 场景下难以抵御恶意客户端投毒更新的问题，提出基于关键参数分析的 FedCPA 聚合防御方法，并通过多数据集实验验证其优于现有策略。
2023-08-18 cs.AI cs.CR cs.LG
Can You Really Backdoor Federated Learning?
Cornell University（康奈尔大学）；Google（谷歌）
联邦学习的分散性使得检测和防御对抗攻击成为一项具有挑战性的任务。本文重点研究联邦学习环境中的后门攻击，其中对手的目标是降低模型在目标任务上的性能，同时保持主任务的良好性能。与现有的作品不同，我们允许非恶意客户端从目标任务中正确标记样本。我们进行了全面的研究后门攻击和防御的EMNIST数据集，现实生活中，用户分区，和非iid数据集。我们观察到，在没有防御的情况下，攻击的性能在很大程度上取决于对手的存在和目标任务的“复杂性”。此外，我们表明，范数裁剪和"弱"差分隐私减轻攻击，而不损害整体性能。我们已经在TensorFlow Federated（TFF）中实现了攻击和防御，TFF是一个用于联邦学习的TensorFlow框架。通过开源我们的代码，我们的目标是鼓励研究人员贡献新的攻击和防御，并在标准的联邦数据集上对其进行评估。
2019-12-02 cs.CR cs.LG stat.ML
Learning to Detect Malicious Clients for Robust Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
联邦学习系统容易受到恶意客户端的攻击。由于系统中的中央服务器无法控制客户端的行为，因此流氓客户端可以通过向服务器发送恶意模型更新来发起攻击，从而降低学习性能或实施有针对性的模型中毒攻击（也称为“攻击”）。后门攻击）。因此，及时检测这些恶意模型更新和底层攻击者变得至关重要。在这项工作中，我们提出了一个新的框架，强大的联邦学习，中央服务器学习检测和删除恶意模型更新使用一个强大的检测模型，导致有针对性的防御。我们评估我们的解决方案在图像分类和情感分析任务与各种机器学习模型。实验结果表明，我们的解决方案确保了强大的联邦学习，是弹性的拜占庭攻击和有针对性的模型中毒攻击。
2020-02-01 cs.CR cs.LG stat.ML
Resilience of Wireless Ad Hoc Federated Learning against Model Poisoning Attacks
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息科学技术研究生院）
无线自组织联邦学习（WAFL）是一种完全分散的协作式机器学习框架，由机会主义遇到的移动节点组织。与传统的联邦学习相比，WAFL通过弱同步模型参数来执行模型训练，这对攻击者注入的中毒模型表现出很大的弹性。在本文中，我们提供了我们的WAFL的弹性对模型中毒攻击的理论分析，通过制定中毒模型和合法模型之间的力量平衡。根据我们的实验，我们证实了直接遇到攻击者的节点已经在某种程度上妥协到中毒模型，但其他节点表现出很大的弹性。更重要的是，在攻击者离开网络后，所有节点最终都找到了与中毒模型相结合的更强的模型参数。大多数有攻击经历的病例比无攻击经历的病例获得了更高的准确性。
2022-11-07 cs.CR cs.LG cs.NI
Poisoning Deep Learning Based Recommender Model in Federated Learning Scenarios
Zhejiang University（浙江大学）
本文针对联邦学习场景下的深度学习推荐模型，提出基于随机近似与困难用户挖掘的投毒梯度生成攻击方法，实验证明其攻击效果达到当前最优，揭示了联邦推荐系统仍存在安全脆弱性。
2022-06-08 cs.CR cs.IR cs.LG
Detection and Prevention Against Poisoning Attacks in Federated Learning
AI Sweden（瑞典人工智能）；Beacom College（比科姆学院）；Dakota State University（达科他州立大学）
本文提出并研究了一种新的方法来检测和防止几种不同类型的中毒攻击影响集中式联邦学习模型通过平均精度偏差检测（AADD）。通过将每个客户端的准确度与所有客户端的平均准确度进行比较，AADD可以检测出存在准确度偏差的客户端。该实现还能够将被认为中毒的客户端列入黑名单，从而保护全局模型不受中毒节点的影响。所提出的实施方案显示出可喜的成果，在检测中毒的客户端和防止全球模型的准确性恶化。
2022-10-24 cs.AI cs.CR cs.LG
Bad-PFL: Exploring Backdoor Attacks against Personalized Federated Learning
Deakin University（迪肯大学）
针对PFL中现有后门攻击失效的问题，提出Bad-PFL方法，利用自然数据特征作为触发器，通过相互强化训练确保后门在个性化模型中持久存在，并在多个基准数据集上验证了其优越的攻击性能。
2025-01-22 cs.CR cs.CV cs.LG
Mitigating Data Injection Attacks on Federated Learning
Bar-Ilan University（巴伊兰大学）；Rutgers University--New Brunswick（罗格斯大学新布朗斯维克分校）
本文针对联邦学习中的数据注入攻击，提出一种由协调节点在训练过程中执行的局部检测与缓解方案，通过动态忽略可疑智能体数据，在诚实智能体占多数时保证最终隔离所有攻击者并使模型收敛到真实模型。
2024-01-14 cs.CR cs.LG eess.SP
Dynamic Defense Against Byzantine Poisoning Attacks in Federated Learning
University of Granada（格拉纳达大学）
联邦学习作为一种在本地设备上进行训练而不访问训练数据的分布式学习，容易受到拜占庭中毒对抗攻击的攻击。我们认为，联邦学习模型必须避免这些类型的对抗攻击，通过过滤掉敌对的客户端通过联邦聚合运营商。我们提出了一个动态的联邦聚合运营商，动态丢弃这些敌对的客户端，并允许防止腐败的全球学习模型。我们评估它作为对抗攻击的防御，在Fed-EMNIST Digits，Fashion MNIST和CIFAR-10图像数据集上的联邦学习设置中部署深度学习分类模型。结果表明，动态选择的客户端聚合提高了性能的全球学习模型和丢弃的敌对和穷人（低质量的模型）的客户端。
2022-02-24 cs.AI cs.CR cs.LG
Try to Avoid Attacks: A Federated Data Sanitization Defense for Healthcare IoMT Systems
South China University of Technology（华南理工大学）
医疗IoMT系统正在变得智能化、小型化，并且更加融入日常生活。对于IoMT中的分布式设备，联邦学习在满足数据安全性时已成为基于云的训练过程的热门领域。然而，IoMT的分发存在保护免受数据投毒攻击的风险。可以通过伪造医疗数据来制造有毒数据，这迫切需要对IoMT系统进行安全防御。由于缺乏特定的标签，恶意数据的过滤是一个独特的无监督场景。其中一个主要的挑战是找到强大的数据过滤方法的各种中毒攻击。本文介绍了一种新的方法，以保护系统免受数据投毒攻击的联邦数据净化防御。为了解决这个无监督的问题，我们首先使用联邦学习将所有数据投影到子空间域，由于数据存储在本地，因此可以建立统一的特征映射。然后，我们采用联邦聚类重新组合他们的功能，澄清中毒的数据。聚类是基于数据及其语义的一致性关联。在我们得到私有数据的聚类之后，我们用一个简单而有效的策略进行数据清理。最后，分布式ImOT的每个设备都可以根据联邦数据清理来过滤恶意数据。大量的实验进行评估的有效性，提出的防御方法对数据投毒攻击。此外，我们考虑我们的方法在不同的中毒率，并实现了较高的准确性和较低的攻击成功率。
2022-11-03 cs.CR cs.DC cs.LG
DeTrigger: A Gradient-Centric Approach to Backdoor Attack Mitigation in Federated Learning
School of Integrated Technology, College of Computing, Yonsei University（延世大学整合技术学院，计算学院）；School of Electrical Engineering, KAIST（韩国科学技术院电子工程学院）
本文提出DeTrigger，一种高效的联邦学习框架，通过梯度分析和温度缩放检测并隔离后门触发器，实现快速检测和高抑制率的后门攻击防御。
2026-05-07 cs.AI cs.CR cs.LG
FLCert: Provably Secure Federated Learning against Poisoning Attacks
Meta Platforms（Meta平台公司）；University of Science and Technology of China（中国科学技术大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）
由于其分布式性质，联邦学习容易受到中毒攻击，其中恶意客户端通过操纵其本地训练数据和/或发送到云服务器的本地模型更新来中毒训练过程，使得中毒的全局模型错误分类许多不加区分的测试输入或攻击者选择的输入。现有的防御主要利用拜占庭健壮的联邦学习方法或检测恶意客户端。但是，这些防御措施不具有针对中毒攻击的可证明的安全保证，并且可能容易受到更高级的攻击。在这项工作中，我们的目标是弥合差距，提出FLCert，一个集成的联邦学习框架，这是可证明安全的中毒攻击与有限数量的恶意客户端。我们的核心思想是将客户端分成组，使用任何现有的联邦学习方法为每组客户端学习一个全局模型，并在全局模型中进行多数投票以分类测试输入。具体来说，我们考虑了两种方法来对客户端进行分组，并相应地提出了FLCert的两种变体，即，FLCert-P在每个组中随机抽样客户端，FLCert-D确定性地将客户端划分到不相交的组。我们在多个数据集上进行的大量实验表明，我们的FLCert为测试输入预测的标签可证明不受有限数量的恶意客户端的影响，无论他们使用什么中毒攻击。
2022-10-04 cs.AI cs.CR cs.LG
Genetic Algorithm-Based Dynamic Backdoor Attack on Federated Learning-Based Network Traffic Classification
New Jersey Institute of Technology（新泽西理工学院）；King Faisal University（费萨尔国王大学）；Alfaisal University（阿尔法萨尔大学）
本文提出GABAttack，一种基于遗传算法的动态后门攻击方法，针对联邦学习网络流量分类，通过优化触发模式提高攻击隐蔽性和有效性，并警示需加强防御。
2023-09-27 cs.AI cs.CR cs.LG
CRFL: Certifiably Robust Federated Learning against Backdoor Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；IBM Research（IBM研究院）
联邦学习（FL）作为一种分布式学习范式，它聚集来自不同客户端的信息来训练一个共享的全局模型，已经取得了巨大的成功。然而，恶意客户端可以执行中毒攻击和模型替换，将后门引入到训练好的全局模型中。虽然已经有大量的研究设计鲁棒的聚合方法和经验强大的联邦训练协议对后门，现有的方法缺乏鲁棒性认证。本文提供了第一个通用框架，可证明鲁棒联邦学习（CRFL），训练可证明鲁棒FL模型对后门。我们的方法利用模型参数的裁剪和平滑来控制全局模型的平滑性，这产生了对具有有限幅度的后门的样本稳健性认证。我们的认证还指定了与联邦学习参数的关系，例如实例级别的中毒率，攻击者数量和训练迭代。实际上，我们在一系列联邦数据集上进行了全面的实验，并为联邦学习中针对后门攻击的认证鲁棒性提供了第一个基准。我们的代码可在https://github.com/AI-secure/CRFL上获得。
2021-06-15 cs.LG
SplitGuard: Detecting and Mitigating Training-Hijacking Attacks in Split Learning
Koç University（科奇大学）；Bilkent University（比尔肯特大学）
分布式深度学习框架（如分裂学习）在训练深度神经网络的计算成本和一组数据持有者的集体数据的隐私意识利用方面提供了巨大的好处。具体来说，分裂学习通过在客户端和服务器之间划分神经网络来实现这一目标，这样客户端计算初始层集合，服务器计算其余部分。然而，这种方法为试图窃取客户端私有数据的恶意服务器引入了一个独特的攻击向量：服务器可以引导客户端模型学习其选择的任何任务，例如输出容易可逆的值。通过已经提出的具体示例（Pasquini等人，CCS '21），这种训练劫持攻击对分裂学习客户端的数据隐私构成了重大风险。在本文中，我们提出了SplitGuard，这是一种分裂学习客户端可以检测其是否被训练劫持攻击的方法。我们通过实验评估我们的方法的有效性，将其与潜在的替代品进行比较，并详细讨论与其使用相关的各个点。我们的结论是，SplitGuard可以有效地检测训练劫持攻击，同时最大限度地减少由对手恢复的信息量。
2022-09-16 cs.CR cs.LG
Krum Federated Chain (KFC): Using blockchain to defend against adversarial attacks in Federated Learning
Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所（DaSCI））；University of Granada（格拉纳达大学）
针对联邦学习易受对抗性攻击的问题，本文测试了联邦学习证明机制的防御效果，并提出结合Krum与该机制的KFC策略，实验验证了所提方法能有效抵御拜占庭和后门攻击。
2025-02-10 cs.AI cs.LG
Free-rider Attacks on Model Aggregation in Federated Learning
Université Côte d’Azur（蔚蓝海岸大学）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚安蒂波利斯研究中心）；Accenture Labs（埃森哲实验室）
针对联邦学习的搭便车攻击包括伪装对联邦学习过程的参与，其目标是获得最终的聚合模型，而实际上没有贡献任何数据。这种攻击在联邦学习的敏感应用中至关重要，因为这些应用中数据稀缺，模型具有很高的商业价值。本文首次对基于迭代参数聚合的联邦学习方案（如FedAvg或FedProx）的搭便车攻击进行了理论和实验分析，并为这些攻击收敛到公平参与者的聚合模型提供了形式化的保证。我们首先表明，这种攻击的一个简单的实现可以简单地实现在迭代联邦优化过程中不更新局部参数。由于这种攻击可以通过在服务器级采取简单的对策来检测，因此我们随后研究了基于随机更新搭便车参数的更复杂的伪装方案。我们证明了一些实验方案，在iid和非iid设置所提出的策略。最后，我们提供了建议，以避免搭便车攻击在现实世界中的应用程序的联邦学习，特别是在敏感领域的数据和模型的安全性是至关重要的。
2021-02-22 cs.LG stat.ML
TESSERACT: Gradient Flip Score to Secure Federated Learning Against Model Poisoning Attacks
Purdue University（普渡大学）
联邦学习--分散环境中的多方分布式学习-容易受到模型中毒攻击，甚至比集中式学习方法更容易受到攻击。这是因为恶意客户端可以串通并发送精心定制的模型更新，以使全局模型不准确。这推动了拜占庭弹性联邦学习算法的开发，例如Krum、Bulyan、FABA和FoolsGold。然而，最近开发的无目标模型中毒攻击表明，所有先前的防御都可以被绕过。这种攻击利用的直觉是，对于一组恶意客户端，只需改变优化器正在计算的梯度更新的符号，就可以使模型偏离最优值，从而增加测试出错率。在这项工作中，我们开发了TESSERACT-针对这种定向偏差攻击的防御，一种最先进的模型中毒攻击。TESSERACT基于一个简单的直觉，即在联邦学习设置中，某些梯度翻转模式表示攻击。这种直觉在不同的学习算法、模型和数据集上非常稳定。TESSERACT根据参与客户在训练阶段的行为为他们分配信誉分数，然后对客户的贡献进行加权。我们表明，TESSERACT提供了鲁棒性，即使是白盒版本的攻击。
2021-10-19 cs.LG
Fingerprint Attack: Client De-Anonymization in Federated Learning
The University of Melbourne（墨尔本大学）
本文提出一种针对联邦学习梯度的新型指纹攻击，证明梯度聚类可轻易打破洗牌匿名化，并验证差分隐私训练可有效防御该攻击。
2023-09-12 cs.AI cs.CL cs.CR
Attack-Resistant Federated Learning with Residual-based Reweighting
HKUST（香港科技大学）；Zhejiang University（浙江大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
联邦学习通过利用存储在不同设备上的私有训练数据在多个领域中具有各种应用。然而，联邦学习中的聚合过程极易受到对抗攻击的攻击，使得全局模型可能在攻击下表现异常。为了应对这一挑战，我们提出了一种新的聚合算法与基于残差的重新加权捍卫联邦学习。我们的聚合算法结合了重复中值回归和迭代加权最小二乘法的加权方案。我们的实验表明，我们的聚合算法优于其他替代算法的标签翻转和后门攻击的存在。我们还提供了我们的聚合算法的理论分析。
2021-01-08 cs.LG stat.ML
Osmosis Distillation: Model Hijacking with the Fewest Samples
Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；College of Cyber Security, Jinan University（济南大学网络安全学院）；The University of Sydney（悉尼大学）
本文提出渗透蒸馏攻击，通过最少样本实现模型劫持，揭示迁移学习中使用合成数据集的安全威胁。
2026-03-05 cs.CR cs.LG
Jamming Attacks on Federated Learning in Wireless Networks
联邦学习（FL）提供了一个分散的学习环境，使一组客户端可以合作，训练在服务器上的全球模型，同时保持他们的训练数据保密。本文研究了如何发动空中干扰攻击，以破坏FL过程时，它是通过无线网络执行。作为无线示例，FL被应用于学习如何对由客户端（频谱传感器）在不同位置（例如在协作感测中）收集的无线信号进行分类。攻击者可以干扰从客户端到服务器的本地模型更新的传输（上行链路攻击），或者干扰从服务器到客户端的全局模型更新的传输（下行链路攻击），或者两者兼而有之。给定对每FL轮可以被攻击的客户端的数量施加的预算，根据在没有攻击的情况下预期的或经由频谱观测排名的客户端的本地模型准确度来选择用于（上行链路/下行链路）攻击的客户端。通过考虑客户端不同的处理速度和攻击成功概率，这种新型攻击被扩展到一般设置。与基准攻击方案相比，这种攻击方法显著降低了FL的性能，从而揭示了FL在无线网络中对干扰攻击的新弱点。
2022-01-13 cs.LG cs.NI
DRAGD: A Federated Unlearning Data Reconstruction Attack Based on Gradient Differences
Beijing Jiaotong University（北京交通大学）
本文提出DRAGD及其增强版DRAGDP，通过利用联邦遗忘前后梯度差异重构被删除数据，揭示隐私漏洞并显著优于现有方法。
2025-07-13 cs.AI cs.LG
Two-in-One: A Model Hijacking Attack Against Text Generation Models
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Microsoft（微软）
本研究提出模型劫持攻击Ditto，将文本分类任务劫持为生成任务，在多个基准数据集上验证其有效性且不损害模型效用。
2023-05-12 cs.CL cs.CR cs.LG
RobustFed: A Truth Inference Approach for Robust Federated Learning
Emory University（埃默里大学）
联邦学习是一个突出的框架，它使客户端（例如，移动设备或组织）来在中央服务器的编排下训练协作的全局模型，同时保持本地训练数据集的隐私。然而，联邦学习中的聚合步骤容易受到对抗攻击，因为中央服务器无法管理客户端的行为。因此，全局模型的性能和训练过程的收敛性将受到影响，在这种攻击下，为了减轻这个脆弱性问题，我们提出了一种新的鲁棒聚合算法的启发，在众包的真理推理方法，通过将工人的可靠性到聚合。我们评估我们的解决方案在三个现实世界的数据集与各种机器学习模型。实验结果表明，我们的解决方案确保了强大的联邦学习，是弹性的各种类型的攻击，包括噪声数据攻击，拜占庭攻击，标签翻转攻击。
2021-07-18 cs.AI cs.DC cs.LG
Adversarial Robustness Unhardening via Backdoor Attacks in Federated Learning
University of Michigan, Michigan, USA（密歇根大学）；Carnegie Mellon University, Pittsburgh, Pennsylvania, USA（卡内基梅隆大学）
提出ARU方法防御联邦学习中的后门攻击，显著提升模型对抗鲁棒性。
2025-06-29 cs.AI cs.LG
CAMH: Advancing Model Hijacking Attack in Machine Learning
本文提出了一种新颖的模型劫持攻击方法CAMH，通过同步训练层、随机噪声优化和双循环优化解决类别不匹配和分布差异问题，在保证原始任务性能的同时有效执行劫持任务。
2024-12-20 cs.CR
HASSLE: A Self-Supervised Learning Enhanced Hijacking Attack on Vertical Federated Learning
本文提出HASSLE劫持攻击框架，结合梯度方向标签推断与自监督学习增强的对抗嵌入生成，仅需单个已知实例即可精准识别私有样本，在多数据集上实现超99%攻击成功率，揭示了VFL系统的重大安全威胁。
2025-07-14 cs.CR
A Wolf in Sheep's Clothing: Targeted Routing Hijacking in Federated RAG
Politecnico di Milano（米兰理工大学）；Aalborg University（奥胡斯大学）
本文提出路由劫持攻击，恶意客户端伪造语义配置文件以吸引目标查询，导致检索结果被篡改，并设计了一种基于信任的后路由框架来缓解该攻击。
2026-08-31 cs.CL cs.CR cs.IR
BlockJack: Towards Improved Prevention of IP Prefix Hijacking Attacks in Inter-Domain Routing Via Blockchain
我们提出了BlockJack，这是一个基于分布式和防篡改联盟区块链的系统，旨在阻止边界网关协议（BGP）中的IP前缀劫持。从本质上讲，BlockJack通过确保操作独立性的接口在BlockChain和BGP网络之间提供同步，这种方法保留了遗留系统，并在Blockchain进程超过BGP更新间隔时适应竞争条件的影响。在路由表中发生IP前缀劫持期间，BlockJack还对动态路由路径变化具有弹性。我们使用Hyperledger Fabric Blockchain和Quagga软件包实现BlockJack，并进行初始实验以评估其有效性。我们评估了BlockJack在各种攻击场景中的性能和弹性，包括单路径攻击，多路径攻击和随机网络拓扑中的随机源攻击。评估结果表明，BlockJack能够处理BGP前缀劫持过程中AS路径变化引起的多种攻击。在50个随机路由器的实验设置中，BlockJack平均需要0.08秒（标准差为0.04秒）来阻止BGP前缀劫持攻击。测试结果表明，BlockJack保守方法处理边界网关协议中的IP前缀劫持是可行的。
2021-07-15 cs.CR cs.DC
Secure Split Learning against Property Inference, Data Reconstruction, and Feature Space Hijacking Attacks
Nanjing University（南京大学）；University of California San Diego（加州大学圣迭戈分校）
本文针对分割学习面临的三类攻击，提出基于R3eLU激活函数的隐私保护隧道和细粒度隐私预算分配方案，在保证模型可用性的同时实现严格隐私保护。
2023-04-19 cs.CR cs.LG
Inception Attacks: Immersive Hijacking in Virtual Reality Systems
本文提出针对VR系统的沉浸式劫持攻击，在Meta Quest上实现并通过IRB批准的用户研究验证其有效性与隐蔽性，同时分析防御权衡并给出多层面防御流水线。
2024-09-09 cs.CR
