CRFL: Certifiably Robust Federated Learning against Backdoor Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；IBM Research（IBM研究院）
联邦学习（FL）作为一种分布式学习范式，它聚集来自不同客户端的信息来训练一个共享的全局模型，已经取得了巨大的成功。然而，恶意客户端可以执行中毒攻击和模型替换，将后门引入到训练好的全局模型中。虽然已经有大量的研究设计鲁棒的聚合方法和经验强大的联邦训练协议对后门，现有的方法缺乏鲁棒性认证。本文提供了第一个通用框架，可证明鲁棒联邦学习（CRFL），训练可证明鲁棒FL模型对后门。我们的方法利用模型参数的裁剪和平滑来控制全局模型的平滑性，这产生了对具有有限幅度的后门的样本稳健性认证。我们的认证还指定了与联邦学习参数的关系，例如实例级别的中毒率，攻击者数量和训练迭代。实际上，我们在一系列联邦数据集上进行了全面的实验，并为联邦学习中针对后门攻击的认证鲁棒性提供了第一个基准。我们的代码可在https://github.com/AI-secure/CRFL上获得。
2021-06-15 cs.LG
Multimodal Federated Learning: A Survey through the Lens of Different FL Paradigms
University of Florida（佛罗里达大学）
本文从水平、垂直和混合三种联邦学习范式视角系统综述了多模态联邦学习，梳理了各范式的问题表述、代表性算法及多模态数据带来的独特挑战，并指出了未来研究方向。
2025-05-27 cs.AI cs.LG
FedEAT: A Robustness Optimization Framework for Federated LLMs
National Engineering Research Center for Big Data Technology and System（国家大数据技术与系统工程研究中心）；Huazhong University of Science and Technology（华中科技大学）
针对联邦LLM面临的数据异质性、恶意客户端与对抗攻击问题，本文提出FedEAT框架，通过嵌入空间对抗训练和几何中位数聚合提升鲁棒性，并以极小性能损失验证其有效性。
2025-02-17 cs.AI cs.LG
Federated Robustness Propagation: Sharing Robustness in Heterogeneous Federated Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
联邦学习（FL）是一种流行的分布式学习模式，它从一组参与用户中学习模型，而无需共享原始数据。FL的一个主要挑战来自异构用户，这些用户可能具有分布不同（或非iid）的数据和不同的计算资源。由于联邦用户将使用模型进行预测，他们通常要求训练的模型在测试时对恶意攻击者具有鲁棒性。尽管对抗训练（AT）为集中式学习提供了一个良好的解决方案，但将其用于联合用户带来了重大挑战，因为许多用户可能只有非常有限的训练数据和紧张的计算预算，以负担数据饥饿和昂贵的AT。在本文中，我们研究了一种新的FL策略：在联邦学习过程中，将对抗鲁棒性从能够负担得起AT的资源丰富的用户传播到那些资源贫乏的用户。我们发现，现有的FL技术不能有效地集成与非iid用户之间的传播鲁棒性的策略，并提出了一个有效的传播方法，通过正确使用批量归一化。通过大量的实验证明了该方法的合理性和有效性。特别是，所提出的方法被证明是授予联邦模型显着的鲁棒性，即使只有一小部分用户在学习过程中支付AT。源代码将被释放。
2022-07-07 cs.DC cs.LG stat.ML
Low-Resource Machine Translation through the Lens of Personalized Federated Learning
Skoltech（斯科尔科沃科技学院）；HSE University（高等经济大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；MIPT（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Universität Hamburg（汉堡大学）
提出基于个性化联邦学习算法MeritFed的MeritOpt方法，解决低资源机器翻译任务，具有高度可解释性且易于应用。
2024-12-20 cs.CL cs.LG
Understanding the Interplay between Privacy and Robustness in Federated Learning
Kyoto University（京都大学）
联邦学习（FL）正在成为隐私保护机器学习的一个有前途的范例，它在多个客户端之间训练算法，而无需交换它们的数据样本。最近的工作突出了FL中的几个隐私和鲁棒性弱点，并分别使用局部差分隐私（LDP）和传统ML中使用的一些经过充分研究的方法来解决这些问题。然而，目前还不清楚LDP如何影响FL中的对抗鲁棒性。为了填补这一空白，这项工作试图全面了解LDP对FL中对抗鲁棒性的影响。澄清相互作用是重要的，因为这是实现私有和强大FL系统的原则性设计的第一步。通过理论分析和实证验证，证明了局部差分隐私对对抗鲁棒性既有积极的影响，也有消极的影响。
2021-06-13 cs.CR cs.LG
Delving into the Adversarial Robustness of Federated Learning
Zhejiang University（浙江大学）；Youtu Lab, Tencent（腾讯优图实验室）；Sony AI（索尼AI）
在联邦学习（FL）中，模型与集中训练的模型一样脆弱。然而，联邦学习的对抗鲁棒性在很大程度上仍未得到探索。本文阐述了联邦学习对抗鲁棒性的挑战。为了更好地理解现有FL方法的对抗脆弱性，我们对各种攻击和对抗训练方法进行了全面的鲁棒性评估。此外，我们揭示了直接采用对抗性训练在外语中所产生的负面影响，这严重损害了测试的准确性，特别是在非IID设置。在这项工作中，我们提出了一种新的算法称为基于决策边界的联邦对抗训练（DBFAT），它由两个组件（局部重新加权和全局正则化），以提高FL系统的准确性和鲁棒性。在多个数据集上进行的大量实验表明，DBFAT在IID和非IID设置下的性能始终优于其他基线。
2023-02-19 cs.AI cs.CR cs.LG
Robust Federated Learning via Over-The-Air Computation
Imperial College London（帝国理工学院）
本文研究了空中联邦学习对拜占庭攻击的鲁棒性。通过空中计算对模型更新进行简单平均，使得学习任务容易受到某些恶意客户端对本地模型更新的随机或有意修改的影响。我们提出了一个强大的传输和聚合框架，这样的攻击，同时保留了联邦学习的空中计算的好处。对于所提出的鲁棒联邦学习，参与的客户端被随机分成组，并为每个组分配一个传输时隙。参数服务器使用鲁棒的聚合技术聚合不同组的结果，并将结果传送给客户端以进行另一轮训练。我们还分析了所提出的算法的收敛性。数值模拟证实了所提出的方法的拜占庭攻击的鲁棒性。
2022-06-23 cs.LG
DART: A Server-side Plug-in for Resource-efficient Robust Federated Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
DART是一种服务器端插件，通过在不增加客户端开销的情况下提升联邦学习的鲁棒性，适用于资源受限环境下的稳健联邦学习部署。
2026-03-25 cs.LG
Ditto: Fair and Robust Federated Learning Through Personalization
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
公平性和鲁棒性是联邦学习系统的两个重要问题。在这项工作中，我们确定，数据和模型中毒攻击和公平性的鲁棒性，衡量跨设备的性能的均匀性，在统计异构网络的竞争约束。为了解决这些限制，我们建议采用一个简单的，通用的框架个性化的联邦学习，Ditto，可以提供内在的公平性和鲁棒性的好处，并开发一个可扩展的solver为it.Theoretically，我们分析的能力，Ditto实现公平性和鲁棒性同时对一类线性问题。从经验上讲，在一套联合数据集上，我们表明Ditto不仅相对于最近的个性化方法实现了具有竞争力的性能，而且相对于最先进的公平或稳健的基线，还实现了更准确，稳健和公平的模型。
2021-06-15 cs.LG stat.ML
Adaptive Gradient Clipping for Robust Federated Learning
EPFL（苏黎世联邦理工学院）；University of Copenhagen（哥本哈根大学）
针对联邦学习中静态梯度裁剪对不同攻击鲁棒性不一致的问题，本文提出自适应鲁棒裁剪方法ARC，动态调整裁剪阈值，在保持理论鲁棒性保证的同时改善收敛性，并通过图像分类实验验证其在异构对抗环境下的有效性。
2025-05-09 cs.LG
Balancing Energy Efficiency and Distributional Robustness in Over-the-Air Federated Learning
Centre of Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心）；King Fahd University of Petroleum and Minerals (KFUPM)（法赫德国王石油矿产大学）
针对无线边缘设备带来的能量、带宽等挑战，本文提出一种结合确定性与概率性客户端选择的方法，在基于空中计算的分布鲁棒联邦学习中平衡能量效率与鲁棒性，实现超3倍能量节省。
2023-12-22 cs.LG eess.SP
Enhancing Robustness of Federated Learning via Server Learning
National Institute of Standards and Technology (NIST)（美国国家标准与技术研究院）；University of Maryland, College Park（马里兰大学帕克分校）；Tata Consultancy Services Research（塔塔咨询服务公司研究院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出结合服务器学习与客户端更新过滤的启发式算法，通过几何中位数聚合提升联邦学习在恶意攻击下的模型准确率，即使在恶意客户端比例高达50%且服务器数据集较小的情况下也有效。
2026-04-03 cs.AI cs.LG
Analyzing Federated Learning through an Adversarial Lens
Princeton University（普林斯顿大学）；I.B.M T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
联邦学习将模型训练分布在众多代理之间，这些代理在隐私问题的指导下，使用其本地数据执行训练，但仅共享模型参数更新，以便在服务器上进行迭代聚合。在这项工作中，我们探讨了模型中毒攻击对联邦学习的威胁，这种攻击是由一个单一的、非合谋的恶意代理发起的，其对抗性目标是使模型对一组具有高置信度的选定输入进行错误分类。我们探索了一些策略来进行这种攻击，从简单的提升恶意代理的更新，以克服其他代理的更新的影响。为了提高攻击的隐蔽性，我们提出了一种交替最小化策略，该策略交替优化训练损失和对抗目标。我们跟进使用参数估计的良性代理的更新，以提高攻击的成功。最后，我们使用一套可解释性技术来生成良性和恶意模型的模型决策的视觉解释，并表明这些解释几乎在视觉上无法区分。我们的研究结果表明，即使是一个高度受限的对手可以进行模型中毒攻击，同时保持隐形，从而突出了联邦学习设置的脆弱性和需要制定有效的防御策略。
2019-11-25 cs.AI cs.CR cs.LG
Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark
Wuhan University（武汉大学）；Hong Kong University of Science and Technology（香港科技大学）
该综述系统梳理了联邦学习在泛化性、鲁棒性和公平性三方面的研究进展，并基于多个数据集进行基准测试，同时提供公开平台以持续追踪领域发展。
2023-11-12 cs.AI cs.LG
DiPSeN: Differentially Private Self-normalizing Neural Networks For Adversarial Robustness in Federated Learning
Carleton School of Information Technology（卡尔顿信息技术学院）
对强大、安全和私有的机器学习的需求是实现物联网（IoT）全部潜力的重要目标。联邦学习已被证明有助于防止隐私侵犯和信息泄露。然而，它引入了新的风险向量，这使得机器学习模型更难以抵御对抗性样本。在这项研究中，我们研究了差分隐私和自我规范化在降低对抗性样本风险方面的作用，特别是在联邦学习环境中。我们介绍了DiPSeN，一个差分隐私自规范化神经网络，它结合了差分隐私噪声与自规范化技术的元素。我们在三个公开数据集上的实证结果表明，DiPSeN成功地提高了深度学习分类器在基于几个评估指标的联邦学习环境中的对抗鲁棒性。
2021-01-08 cs.AI cs.CY cs.LG
A Survey of Trustworthy Federated Learning with Perspectives on Security, Robustness, and Privacy
The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
值得信赖的人工智能（AI）技术彻底改变了日常生活，极大地造福了人类社会。在各种人工智能技术中，联邦学习（FL）脱颖而出，成为各种现实世界场景的有前途的解决方案，从金融风险评估系统到生命科学中的药物发现等尖端技术。然而，围绕数据隔离和隐私的挑战威胁着FL系统的可信度。针对数据隐私、学习算法稳定性和系统机密性的对抗攻击在联邦学习中的分布式训练环境中尤其令人担忧。因此，以值得信赖的方式开发FL至关重要，重点是安全性，鲁棒性和隐私性。在这项调查中，我们提出了一个全面的路线图，用于开发值得信赖的FL系统，并从三个关键方面总结了现有的努力：安全性，鲁棒性和隐私。我们概述了在不同的开发阶段（包括数据处理、模型训练和部署）对可信的联邦学习构成漏洞的威胁。为了指导选择最合适的防御方法，我们讨论了实现可信FL（TFL）的各个方面的具体技术解决方案。我们的方法不同于以往的工作，主要是从法律的角度来讨论TFL或从高层次的，非技术的角度来介绍FL。
2023-02-21 cs.CR cs.LG
Boosting Fairness and Robustness in Over-the-Air Federated Learning
Technische Universität Berlin（柏林工业大学）；Exzellenzcluster Science of Intelligence（科学智能卓越集群）
针对超5G场景下空中联邦学习的效率与公平鲁棒性需求，提出基于极小极大优化的算法，借上境图形式证明收敛性，无需复杂编解码重建信道系数，兼顾效率、隐私、公平性与鲁棒性。
2024-03-07 cs.CY cs.LG
Enhanced Byzantine-Robust Federated Learning Via Truncated-Quadratic Loss for Heterogeneous Data
Ocean College, Zhejiang University（浙江大学海洋学院）；City University of Hong Kong（香港城市大学）；Aalto University（阿尔托大学）
针对联邦学习中恶意攻击和数据异构性问题，提出利用截断二次损失的新鲁棒聚合规则，减轻现有方法偏差，在非凸损失函数和异构数据下实现最优阶拜占庭鲁棒学习，实验证明该聚合器鲁棒性优于其他技术。
2026-07-14 cs.LG
FedBEns: One-Shot Federated Learning based on Bayesian Ensemble
University of Milano-Bicocca（米兰比可卡大学）；Inria（法国国家信息与自动化研究所）
针对单次联邦学习问题，提出基于贝叶斯集成的FedBEns算法，利用局部损失多模态特性，通过客户端局部后验的拉普拉斯近似混合经服务器聚合得到全局模型，性能优于单模态近似基线。
2025-03-19 cs.LG
How Robust is Federated Learning to Communication Error? A Comparison Study Between Uplink and Downlink Channels
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文从理论和实验上比较了联邦学习在上行与下行链路通信错误下的鲁棒性，揭示了客户端数量与参数数值范围的关键影响，并量化了上行链路可容忍更高误码率的差异。
2024-01-12 cs.LG
A Reputation Mechanism Is All You Need: Collaborative Fairness and Adversarial Robustness in Federated Learning
University of Singapore（新加坡大学）；Ant financial（蚂蚁金融）
联邦学习（FL）是一种新兴的实用框架，用于在多个参与者（如最终用户、组织和公司）之间进行有效和可扩展的机器学习。然而，大多数现有的FL或分布式学习框架都没有很好地解决两个重要问题：协作公平性和对抗鲁棒性（例如搭便车者和恶意参与者）。在传统的FL中，所有参与者都获得全局模型（平等奖励），这可能对高贡献的参与者不公平。此外，由于缺乏一个安全机制，搭便车者或恶意advertisers可以游戏的系统访问的全球模型免费或破坏it. In本文中，我们提出了一种新的鲁棒性和公平的联邦学习（RFFL）框架，通过信誉机制，同时实现合作的公平性和对抗性的鲁棒性。RFFL通过经由其上传的梯度（使用向量相似性）检查其贡献来维护每个参与者的声誉，从而识别要移除的非贡献或恶意参与者。我们的方法与众不同，不需要任何辅助/验证数据集。在基准数据集上的大量实验表明，RFFL可以实现高公平性，对不同类型的对手具有很强的鲁棒性，同时实现有竞争力的预测精度。
2021-07-27 cs.LG stat.ML
Analysis of Total Variation Minimization for Clustered Federated Learning
Aalto University（阿尔托大学）
本文针对联邦学习中本地数据统计异质性问题，分析了广义全变分最小化（GTVMin）方法，并在聚类假设下推导出其解与簇内平均值偏差的上界，为该方法在聚类联邦学习中的有效性和鲁棒性提供了理论依据。
2024-07-31 cs.LG
Adversarial Robustness Unhardening via Backdoor Attacks in Federated Learning
University of Michigan, Michigan, USA（密歇根大学）；Carnegie Mellon University, Pittsburgh, Pennsylvania, USA（卡内基梅隆大学）
提出ARU方法防御联邦学习中的后门攻击，显著提升模型对抗鲁棒性。
2025-06-29 cs.AI cs.LG
An Experimental Study of Byzantine-Robust Aggregation Schemes in Federated Learning
Uppsala University（乌普萨拉大学）；The University of Hong Kong（香港大学）；RISE, the Research Institutes of Sweden（瑞典研究院（RISE））
Byzantine-robust联邦学习旨在减少联邦训练过程中的Byzantine故障，其中恶意参与者可以将任意本地更新上传到中央服务器以降低全局模型的性能。近年来，一些鲁棒聚集方案被提出来抵御来自拜占庭客户端的恶意更新，提高联邦学习的鲁棒性。在某些假设下，这些解决方案被认为是拜占庭式的稳健。除此之外，新的攻击策略正在出现，试图绕过防御计划。但是，目前还缺乏对这两种模式的系统比较和实证研究。本文使用联邦学习中的两种流行算法FedSGD和FedAvg，对不同攻击下的拜占庭鲁棒聚集方案进行了实验研究。我们首先调查现有的拜占庭攻击策略和拜占庭强大的聚合计划，旨在抵御拜占庭攻击。我们还提出了一个新的计划，ClippedClustering，自动裁剪更新，以提高基于聚类的计划的鲁棒性。然后，我们提供了一个实验评估的情况下，五种不同的拜占庭攻击的八个聚合方案。我们的研究结果表明，这些聚合计划在某些情况下保持相对较高的精度，但在其他情况下是无效的。特别是，我们提出的ClippedClustering成功地抵御了独立和IID本地数据集下的大多数攻击。然而，当本地数据集是非IID的，所有的聚合方案的性能显着下降。对于非IID数据，即使完全没有拜占庭客户端，这些聚合方案中的一些也会失败。我们的结论是，所有的聚合方案的鲁棒性是有限的，强调需要新的防御策略，特别是非IID数据集。
2023-02-14 cs.LG
Adversarial Robustness through Bias Variance Decomposition: A New Perspective for Federated Learning
Instacart（Instacart公司）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
联邦学习通过在隐私保护约束下聚合来自一组分布式客户端的知识来学习神经网络模型。在这项工作中，我们表明这种范式可能继承了集中式神经网络的对抗性脆弱性，即，当部署该模型时，它已经恶化了对抗性示例的性能。当联邦学习范式被设计为近似集中式神经网络的更新行为时，这一点更加令人担忧。为了解决这个问题，我们提出了一个对抗强大的联邦学习框架，命名为美联储_BVA，改进的服务器和客户端更新机制。这是因为我们观察到，联邦学习中的泛化误差可以自然地分解为多个客户端预测触发的偏差和方差。因此，我们建议通过在服务器更新期间最大化偏差和方差来生成对抗性示例，并在客户端更新期间使用这些示例学习对抗性鲁棒模型更新。结果，可以从这些改进的本地客户端的模型更新中聚合对抗鲁棒的神经网络。在多个基准数据集上使用几种流行的神经网络模型进行了实验，实验结果表明，该框架在IID和非IID环境下对白盒和黑盒对抗性腐败都具有鲁棒性。
2022-09-18 cs.LG stat.ML
Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning
University of Nevada, Reno（内华达大学里诺分校）；IBM Research（IBM研究院）；University of Virginia（弗吉尼亚大学）
数据异构性已被确定为联邦学习的关键特征之一，但在对对抗攻击的鲁棒性方面往往被忽视。本文通过使用合成和LEAF基准测试的综合实验，重点描述和理解其对联邦学习中后门攻击的影响。我们的实验结果驱动的初步印象表明，数据异构性是攻击有效性的主导因素，它可能是防御后门的救赎，因为它使攻击效率降低，设计有效的攻击策略更具挑战性，攻击结果也变得更难预测。然而，通过进一步的调查，我们发现数据异构性更像是一种诅咒而不是救赎，因为只需调整客户端后门定时就可以显着提高攻击效率。更重要的是，数据异构性可能导致在良性客户端的本地训练中过度拟合，攻击者可以利用这些过度拟合来伪装自己并欺骗基于倾斜特征的防御。此外，还可以通过调整攻击数据分布来制定有效的攻击策略。最后，我们讨论了防御数据异构带来的诅咒的潜在方向。从我们广泛的实验和分析中获得的结果和经验教训为设计健壮的联邦学习方法和系统提供了新的见解
2021-02-01 cs.DC cs.LG
The Impact of Data Distribution on Fairness and Robustness in Federated Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
联邦学习（FL）是一种分布式机器学习协议，它允许一组代理在不共享数据集的情况下协作训练模型。这使得FL特别适合需要数据隐私的设置。然而，据观察，FL的性能是密切相关的代理的本地数据分布的相似性。特别是，由于代理的数据分布不同，训练模型的准确性下降。在这项工作中，我们研究了局部数据分布的变化如何影响训练模型的公平性和鲁棒性以及准确性。我们的实验结果表明，训练后的模型表现出更高的偏见，并变得更容易受到攻击的局部数据分布不同。重要的是，公平性和鲁棒性的退化可能比准确性严重得多。因此，我们发现，如果训练模型要部署在公平/安全关键环境中，那么对准确性影响不大的小变化仍然很重要。
2021-11-29 cs.AI cs.LG
RoFL: Robustness of Secure Federated Learning
ETH Zurich（苏黎世联邦理工学院）
尽管近年来已经看到许多攻击暴露了联邦学习（FL）中的严重漏洞，但仍然缺乏对这些攻击的原因以及如何有效缓解这些攻击的全面理解。在这项工作中，我们揭开了现有（有针对性的）攻击的内部运作。我们提供了新的见解，为什么这些攻击是可能的，为什么一个明确的解决方案，FL的鲁棒性是具有挑战性的。我们表明，需要ML算法记住尾部数据有显着的影响FL的完整性。这种现象在很大程度上是在隐私的背景下研究的;我们的分析揭示了它对ML完整性的影响。我们表明，某些类别的严重攻击可以有效地减轻强制执行的约束，如客户端的更新范数界。我们研究如何有效地将这些限制到安全FL协议中的单服务器设置。在此基础上，我们提出了RoFL，一个新的安全FL系统，扩展了隐私保护输入验证的安全聚合。具体而言，RoFL可以对高维加密模型更新实施诸如$L_2$和$L_\infty$边界之类的约束。
2023-01-26 cs.CR cs.LG
Revisiting Personalized Federated Learning: Robustness Against Backdoor Attacks
Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）
本文首次系统评估个性化联邦学习对后门攻击的鲁棒性，发现部分模型共享更安全，并提出轻量防御 Simple-Tuning 与开源黑盒攻击基准。
2023-06-05 cs.CR cs.LG
Towards Causal Federated Learning For Enhanced Robustness and Privacy
MILA（MILA研究所）；University of Montreal（蒙特利尔大学）
联邦学习是一种新兴的隐私保护分布式机器学习方法，通过在参与设备（客户端）上本地执行分布式训练并将本地模型聚合为全局模型来构建共享模型。由于这种方法可以防止数据汇集和汇总，因此有助于在很大程度上降低相关的隐私风险。然而，所有参与客户端的数据样本通常不是独立和相同分布的（非iid），并且学习模型的分布外（OOD）泛化可能很差。除了这个挑战之外，联邦学习还容易受到各种安全攻击，其中一些恶意参与实体致力于插入后门，降低生成的聚合模型以及推断参与实体拥有的数据。在本文中，我们提出了一种学习联邦学习设置中所有参与客户端共有的不变（因果）特征的方法，并实证分析了它如何提高分布（OOD）准确性以及最终学习模型的隐私性。
2021-04-14 cs.AI cs.CR cs.LG
Improving the Robustness of Federated Learning for Severely Imbalanced Datasets
随着数据量的不断增加和深度神经网络的成功，分布式深度学习的研究变得越来越重要。实现这种分布式学习的两种常见方法是同步和异步权重更新。在本文中，我们探索了非常简单的同步权重更新机制。已经看到，随着工作节点数量的增加，性能急剧下降。这种效应已经在极端不平衡分类（例如离群值检测）的背景下进行了研究。在实际情况下，i.i.d.可能无法实现。还可能出现全局类不平衡的情况，如离群值检测，其中本地服务器接收严重不平衡的数据，并且可能无法从少数类中获得任何样本。在这种情况下，本地服务器中的DNN将完全偏向于它们接收的多数类。这将严重影响参数服务器的学习（实际上看不到任何数据）。已经观察到，在并行设置中，如果在参数服务器处使用现有的联合权重更新机制，则性能随着工作节点的数量的增加而急剧下降。这主要是因为，随着节点数量的增加，一个工作节点很有可能获得非常小的数据部分，要么不足以在不过度拟合的情况下训练模型，要么具有高度不平衡的类分布。因此，本章提出了一个解决这个问题的方法，引入自适应成本敏感的动量平均的概念。可以看出，对于所提出的系统，没有到最小的性能下降，而大多数其他方法在此之前达到了它们的最低性能。
2022-04-28 cs.LG
Robustness and Personalization in Federated Learning: A Unified Approach via Regularization
IBM Research（IBM研究院）
我们提出了一类用于健壮的、个性化的联邦学习的方法，称为Fed+，它统一了许多联邦学习算法。这类方法的主要优点是更好地适应联邦训练中发现的真实世界特征，例如缺乏跨各方的IID数据，需要对离群值或掉队者具有鲁棒性，以及需要在特定于各方的数据集上表现良好。我们实现这一目标，通过一个问题的制定，允许中央服务器采用强大的方式聚合本地模型，同时保持本地计算的结构完整。在不对各方本地数据的异质性程度进行任何统计假设的情况下，我们为Fed+在不同（鲁棒）聚合方法下的凸和非凸损失函数提供了收敛保证。美联储+理论还配备了处理异构计算环境，包括掉队者没有额外的假设;具体而言，收敛结果涵盖了一般设置的本地更新步骤的数量跨各方可以有所不同。我们通过在标准基准数据集上的广泛实验证明了Fed+的好处。
2022-07-12 cs.DC cs.LG math.OC
Test-Time Robust Personalization for Federated Learning
EPFL（洛桑联邦理工学院）；Westlake University（西湖大学）
针对联邦学习部署中测试时分布偏移的鲁棒性问题，提出FedTHE+方法，通过测试时头部集成与微调实现个性化，并在多种架构和数据集上验证其优于现有方法。
2023-06-23 cs.LG
zPROBE: Zero Peek Robustness Checks for Federated Learning
Purdue University（普渡大学）；San Diego State University（圣地亚哥州立大学）；University of California San Diego（加州大学圣地亚哥分校）
zPROBE提出首个基于高崩溃点秩统计与零知识证明的联邦学习隐私鲁棒性检查框架，通过随机聚类提升可扩展性，在不泄露用户更新的前提下检测并移除拜占庭恶意更新，实现低开销防御。
2023-09-05 cs.CR cs.LG
MedFL-Stress: A Systematic Robustness Evaluation of Federated Brain Tumor Segmentation under Cross-Hospital MRI Appearance Shift
University of Gujrat, Pakistan（瓜尔杰特大学，巴基斯坦）
本文提出MedFL-Stress框架，通过模拟四个医院的MRI外观偏移，评估FedAvg、FedProx和FedBN在不同医院的鲁棒性，发现FedBN在提升最差医院性能方面表现更优。
2026-11-03 cs.CV cs.LG
SplitFed: When Federated Learning Meets Split Learning
CSIRO Data61（联邦科学与工业研究组织Data61）；Lehigh University（理海大学）
联邦学习（FL）和分裂学习（SL）是两种流行的分布式机器学习方法。两者都遵循模型到数据的场景;客户端训练和测试机器学习模型，而无需共享原始数据。由于客户端和服务器之间的机器学习模型架构分离，SL提供了比FL更好的模型隐私。此外，拆分模型使SL成为资源受限环境的更好选择。然而，由于跨多个客户端的基于中继的训练，SL比FL执行得慢。在这方面，本文提出了一种新的方法，命名为splitfed学习（SFL），合并这两种方法消除其固有的缺点，以及一个完善的架构配置，结合差分隐私和PixelDP，以提高数据隐私和模型的鲁棒性。我们的分析和实证结果表明，（纯）SFL提供了类似的测试精度和通信效率的SL，同时显着降低其计算时间比在SL的多个客户端的每个全球性的时代。此外，如在SL中，其在FL上的通信效率随着客户端的数量而提高。此外，在扩展的实验环境下，进一步评估了SFL的隐私性和鲁棒性。
2022-02-16 cs.LG
PRECAD: Privacy-Preserving and Robust Federated Learning via Crypto-Aided Differential Privacy
University of Arizona（亚利桑那大学）；Emory University（埃默里大学）
联邦学习（FL）允许多个参与客户端通过将其数据集保持在本地并且仅交换模型更新来协作地训练机器学习模型。现有的FL协议设计已被证明容易受到旨在损害数据隐私和/或模型鲁棒性的攻击。最近提出的防御措施集中在确保隐私或鲁棒性，但不是两者兼而有之。在本文中，我们开发了一个框架称为PRECAD，同时实现差分隐私（DP），并提高了对模型中毒攻击的鲁棒性与密码学的帮助。使用安全多方计算（MPC）技术（例如，秘密共享），噪声被诚实但好奇的服务器（而不是每个客户端）添加到模型更新中，而不泄露客户端的输入，这在提供比基于本地DP的解决方案更好的隐私-效用权衡方面实现了集中式DP的益处。同时，设计了一个密码辅助的安全验证协议，验证了每个客户端对模型更新的贡献是有界的，并且不会泄露隐私。我们分析表明，噪声增加，以确保DP也提供了增强的鲁棒性，对恶意模型提交。我们通过实验证明，我们的PRECAD框架实现了更高的隐私-效用权衡，并增强了训练模型的鲁棒性。
2021-10-22 cs.CR cs.LG
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning
Hong Kong Baptist University（香港浸会大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）；Tsinghua University（清华大学）
在现实世界的应用程序中的隐私和安全问题，导致了对抗强大的联邦模型的发展。然而，对抗训练和联邦学习在一个框架中的直接组合可能会导致不希望的鲁棒性恶化。我们发现，这种现象背后的归因是，生成的对抗性数据可能会加剧本地客户端之间的数据异构性，使包装的联邦学习表现不佳。为了解决这个问题，我们提出了一个名为Slack Federated Adversarial Training（SFAT）的新框架，在聚合过程中分配客户端松弛以对抗加剧的异质性。理论上，我们分析了所提出的方法的收敛性，以适当放宽目标时，结合联邦学习和对抗训练。在实验上，我们使用不同的对抗训练和联邦优化方法在各种基准数据集和真实世界数据集上验证了SFAT的合理性和有效性。该代码可在https://github.com/ZFancy/SFAT上公开获取。
2023-03-01 cs.LG
Window-based Model Averaging Improves Generalization in Heterogeneous Federated Learning
Politecnico di Torino（都灵理工大学）
针对联邦学习数据异构导致的噪声、不稳定和收敛慢问题，提出基于窗口的模型平均方法WIMA，聚合多轮全局模型以减少偏差，提升泛化，且无额外开销，实验验证其鲁棒性和有效性。
2023-10-10 cs.LG
Cellular Traffic Prediction via Byzantine-robust Asynchronous Federated Learning
School of Software, Xinjiang University（新疆大学软件学院）；Department of Computer Science, Tongji University（同济大学计算机学院）
针对联邦学习易受拜占庭攻击的问题，提出基于分布鲁棒优化的异步差分联邦学习框架，利用多客户端协同训练并采用本地差分隐私与正则化，在三个真实数据集上验证了其优于现有方法的性能。
2025-05-25 cs.AI cs.LG
Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework
University of Warwick, Department of Computer Science, Coventry, United Kingdom（沃里克大学计算机科学系）；University of Warwick, Department of Statistics, Coventry, United Kingdom（沃里克大学统计系）
本文提出概率联邦学习框架 FedGVI，以鲁棒共轭更新推广 Partitioned Variational Inference，并提供收敛性、最优性与鲁棒性理论保证及多数据集实证验证。
2025-06-10 cs.LG stat.ML
Quantization in Federated Learning: Methods, Challenges and Future Directions
DIMES - University of Calabria（卡拉布里亚大学 DIMES）
本文首次以联邦学习为中心系统综述量化方法，提出面向FL特性的新分类法，分析量化与客户端漂移、聚合一致性、非IID鲁棒性等核心行为的交互，并给出设计指南。
2026-06-26 cs.LG
DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning
East China Normal University（华东师范大学）
针对数据与模型双异构联邦学习中鲁棒全局模型难训练的问题，提出无数据鲁棒蒸馏方法DFRD，通过服务器端条件生成器、生成器指数移动平均、动态加权与标签采样实现知识提取，在图像分类任务上性能优于现有SOTA基线。
2023-10-07 cs.CV cs.LG
A study on performance limitations in Federated Learning
University of Toronto（多伦多大学）
本文研究联邦学习中的通信瓶颈与Non-IID数据问题，通过基线模型刻画其对性能的影响并评估，进而讨论改进途径。
2025-01-07 cs.LG
FedPCA: Noise-Robust Fair Federated Learning via Performance-Capacity Analysis
The Hong Kong Polytechnic University（香港理工大学）；Huazhong University of Science and Technology（华中科技大学）
针对公平联邦学习中稀有客户端与错误标注客户端损失模式同质、公平性和鲁棒性相互冲突的问题，提出FedPCA，利用损失与特征离散度进行性能-容量分析并识别噪声客户端，从而同时提升公平性与鲁棒性。
2025-03-13 cs.LG
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design（新加坡科技设计大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sichuan University（四川大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习（FL）作为一种新型的分布式学习范式，在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入，以提高FL的鲁棒性。其中，原始-对偶算法，如交替方向的方法乘数（ADMM）已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而，背后的原因仍然是一个谜。在本文中，我们首先揭示了一个事实，即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性，但它的普通版本缺乏适应客户机异构程度的能力。此外，在客户端采样的服务器端的全局模型是有偏的，这减缓了实际收敛。为了超越ADMM，我们提出了一种新的原始-对偶FL算法，称为FedVRA，它允许一个自适应控制方差减少水平和全局模型的偏差。此外，FedVRA统一了几种典型的FL算法，它们要么是FedVRA的特殊实例，要么是接近FedVRA的实例，并将FedVRA扩展到半/无监督学习。基于（半）监督图像分类任务的实验表明，FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
Beyond Trade-offs: A Unified Framework for Privacy, Robustness, and Communication Efficiency in Federated Learning
School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；Electrical Engineering and Computer Science Department, Technische Universität Berlin（电气工程与计算机科学系，柏林技术大学）
本文提出RobAJoL框架，结合JL压缩与鲁棒平均，实现联邦学习中隐私、鲁棒性和通信效率的统一，实验验证其在拜占庭攻击下的优越性能。
2025-12-25 cs.DC cs.IT cs.LG
Integrating Asynchronous AdaBoost into Federated Learning: Five Real World Applications
Institute for Informatics and Automation Problems（信息学与自动化问题研究所）；Universidad Politécnica de Madrid（马德里理工大学）
本文提出融合自适应通信调度与延迟权重补偿的异步 AdaBoost 联邦学习框架，并通过五类真实应用验证其在效率、收敛和鲁棒性上的提升。
2025-06-10 cs.LG
Enabling Trustworthy Federated Learning in Industrial IoT: Bridging the Gap Between Interpretability and Robustness
Mepco Schlenk Engineering College（梅普科施伦克工程学院）；Fordham University（福特汉姆大学）；University of South Florida（南佛罗里达大学）；Hung Yen University of Technology and Education（兴安工业大学）；Royal Military College of Canada（加拿大皇家军事学院）
本文研究工业物联网中联邦学习面临的可解释性与鲁棒性挑战，提出弥合二者差距的设计策略以实现可信联邦学习，并通过案例研究验证其在增强信任、改进决策和保障安全经济影响方面的作用。
2024-09-01 cs.AI cs.LG
FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion
Hong Kong Baptist University（香港浸会大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
该研究从因果视角揭示一次性联邦学习因本地孤立训练导致虚假相关拟合的问题，并提出 FuseFL，通过自底向上的渐进式分块训练与融合实现低成本高性能。
2024-10-27 cs.AI cs.DC cs.LG
A Decentralized Federated Learning Framework via Committee Mechanism with Convergence Guarantee
Sun Yat-sen University（中山大学）
联邦学习允许多个参与者协作训练有效的模型，而不会暴露数据隐私。但这种分布式机器学习训练方法容易受到来自拜占庭客户端的攻击，通过修改模型或上传虚假梯度来干扰全局模型的训练。本文提出了一种新的无服务器联邦学习框架--基于委员会机制的联邦学习（CMFL），该框架在保证算法收敛的同时保证了算法的鲁棒性。在CMFL中，建立了一个委员会系统来筛选上传的本地梯度。委员会系统通过选择策略选择由当选成员评分的局部梯度进行聚集过程，并通过选举策略替换委员会成员。基于对模型性能和防御性的不同考虑，设计了两种相反的选择策略，以兼顾准确性和鲁棒性。实验结果表明，CMFL算法以分散的方式，比典型的联邦学习算法具有更快的收敛速度和更高的精度，同时比传统的拜占庭容错算法具有更好的鲁棒性。此外，我们从理论上分析和证明了CMFL在不同选举和选择策略下的收敛性，这与实验结果相吻合。
2022-09-08 cs.CR cs.DC cs.LG
Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization
Michigan State University（密歇根州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习（FL）为多个参与者提供了一个分布式的学习框架，使他们可以在不共享原始数据的情况下进行协作学习。在许多实际FL场景中，由于硬件和推理动态的差异，参与者具有异构资源，需要快速加载不同大小和鲁棒性级别的模型。异质性和动态性共同对现有的FL方法提出了重大挑战，从而极大地限制了FL的适用性。在本文中，我们提出了一种新的分裂混合FL策略的异构参与者，一旦训练完成，提供原位定制的模型大小和鲁棒性。具体来说，我们通过学习一组不同大小和鲁棒性水平的基础子网络来实现定制，然后根据推理要求按需聚合这些子网络。这种拆分混合策略实现了定制，在通信，存储和推理方面具有高效率。大量的实验表明，我们的方法提供了更好的原位定制比现有的异构架构FL方法。代码和预训练模型可在https://github.com/illidanlab/SplitMix上找到。
2022-03-18 cs.DC cs.LG
On Evaluating the Poisoning Robustness of Federated Learning under Local Differential Privacy
Nanjing University（南京大学）
针对本地差分隐私联邦学习（LDPFL）抗模型投毒攻击鲁棒性研究不足的问题，提出适配LDPFL的自适应投毒攻击框架，实验验证其能显著降低全局模型性能，凸显了强化相关防御的必要性。
2025-09-05 cs.CR cs.LG
