FedNoRo: Towards Noise-Robust Federated Learning by Addressing Class Imbalance and Label Noise Heterogeneity
Huazhong University of Science and Technology（华中科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Hong Kong University of Science and Technology（香港科技大学）
本文针对全局数据类别不平衡且标签噪声异质的现实联邦学习场景，提出两阶段框架FedNoRo，通过逐类损失指标与高斯混合模型识别噪声客户端，并结合知识蒸馏与距离感知聚合更新模型，在ICH和ISIC2019数据集上显著优于现有FNLL方法。
2023-08-01 cs.AI cs.LG
FedNIA: Noise-Induced Activation Analysis for Mitigating Data Poisoning in Federated Learning
University of Windsor（温莎大学）；University of New Brunswick（新不伦瑞克大学）
针对联邦学习中的数据投毒攻击，提出无需中央测试集的FedNIA防御框架，通过注入噪声并分析逐层激活模式来识别恶意客户端，实验验证其对多种攻击有效。
2026-09-23 cs.AI cs.CR cs.LG
FedNET: Federated Learning for Proactive Traffic Management and Network Capacity Planning
Department of Electronics and Communication Engineering, National Institute of Technology Rourkela, Odisha, India（电子与通信工程系，印度那瓦卡利国家理工学院，奥里萨）
FedNET利用联邦学习进行分布式多步流量预测，在不泄露敏感数据的前提下提前识别高风险链路，实验表明其精度接近集中式训练，可提前三天预警网络压力状态。
2025-11-10 cs.LG
Decoding Federated Learning: The FedNAM+ Conformal Revolution
UC San Diego（加州大学圣地亚哥分校）；ECE（电子工程系）；CSE（计算机科学与工程系）
本文提出FedNAM+框架，通过集成NAMs与共形预测方法，利用梯度敏感度图实现可解释且高效的像素级不确定性估计，在多个数据集上验证了其高精度与低计算开销的优势。
2025-06-28 cs.CV cs.LG
FedNC: A Secure and Efficient Federated Learning Method with Network Coding
Tsinghua University（清华大学）；HKUST（香港科技大学）；Huawei Technologies（华为技术有限公司）
本文从网络信息理论视角提出基于网络编码的联邦学习通信框架FedNC，通过在上传前对本地模型参数进行随机线性组合，提升了传统联邦学习在安全性、效率和鲁棒性方面的表现。
2024-01-09 cs.CR cs.IT cs.LG
FedNAMs: Performing Interpretability Analysis in Federated Learning Context
Department of Electrical and Computer Engineering University of California San Diego（电气与计算机工程系加州大学圣地亚哥分校）；Department of Computer Science and Engineering University of California San Diego（计算机科学与工程系加州大学圣地亚哥分校）
针对联邦学习可解释性不足的问题，提出FedNAMs方法，融合神经加性模型与联邦学习，在保护隐私的同时实现特征级可解释分析，实验表明在多个数据集上以极小准确率损失换取强可解释性。
2025-06-20 cs.AI cs.LG
FedNorm: Modality-Based Normalization in Federated Learning for Multi-Modal Liver Segmentation
Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）；Technical University of Munich（慕尼黑工业大学）；University of Freiburg（弗莱堡大学）；University of Bonn（波恩大学）
鉴于肝脏疾病的高发病率和有效的治疗选择，它们具有重要的社会经济意义。分析CT和MRI图像以进行诊断和后续治疗的最常见方法之一是肝脏分割。深度学习的最新进展已经证明了自动肝脏分割的令人鼓舞的结果。尽管如此，他们的成功主要取决于注释数据库的可用性，而由于隐私问题，这一数据库往往不可用。联邦学习最近被提出作为一种解决方案，以减轻这些挑战，通过训练一个共享的全球模型的分布式客户端，而无需访问其本地数据库。然而，当联合学习在由于多模式成像（例如CT和MRI）以及多种扫描仪类型而导致的高度异质性的图像数据上进行训练时，联合学习的表现并不好。为此，我们提出Fednorm及其扩展\fednormp，两个联邦学习算法，使用基于模态的规范化技术。具体而言，Fednorm在客户端级别上对特征进行归一化，而Fednorm+在特征归一化中采用单个切片的模态信息。我们的方法使用来自六个公开数据库的428名患者进行了验证，并与最先进的联合学习算法和异质环境中的基线模型（多机构，多模式数据）进行了比较。实验结果表明，我们的方法显示出整体可接受的性能，每个患者的Dice得分高达0.961，始终优于本地训练的模型，并且与集中式模型相当或略好于集中式模型。
2022-05-23 cs.CV cs.LG eess.IV
Taming Gradient Variance in Federated Learning with Networked Control Variates
Southwestern University of Finance and Economics（西南财经大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出FedNCV框架，在客户端和服务器双侧引入RLOO控制变量以降低异构数据导致的梯度方差，并通过理论证明和多数据集实验验证其优于六种SOTA方法。
2023-10-26 cs.AI cs.DC cs.LG
FedNLP: Benchmarking Federated Learning Methods for Natural Language Processing Tasks
University of Southern California（南加州大学）；Amazon Alexa AI（亚马逊Alexa AI）
对数据隐私和稀疏性的日益关注和监管需要研究用于自然语言处理（NLP）任务的隐私保护，分散学习方法。联邦学习（FL）为大量客户提供了有前途的方法（例如，个人设备或组织）协作学习共享的全局模型，以使所有客户机受益，同时允许用户将其数据保存在本地。尽管有兴趣研究自然语言处理任务的外语方法，但在文献中缺乏系统的比较和分析。在这里，我们提出了FedNLP，一个基准框架，用于评估联邦学习方法在四个不同的任务制定：文本分类，序列标记，问答，和seq2seq。我们提出了一个基于transformer的语言模型之间的通用接口（例如，BERT、BART）和FL方法（例如，FedAvg、FedOPT等）在各种非IID分区策略下。我们对FedNLP的大量实验提供了FL方法之间的经验比较，并帮助我们更好地理解这个方向的固有挑战。全面的分析指出，有趣的和令人兴奋的未来研究，旨在发展FL方法的NLP任务。
2022-05-06 cs.AI cs.CL cs.LG
Achieving Linear Speedup for Composite Federated Learning
KTH Royal Institute of Technology（皇家理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出基于法向映射的FedNMap方法，通过法向映射更新处理非光滑项并采用局部校正策略减轻数据异质性，在非凸损失下首次实现关于客户端数和本地更新次数的线性加速。
2026-05-28 cs.LG math.OC
FedNSAM:Consistency of Local and Global Flatness for Federated Learning
College of Intelligence；Computing, Tianjin University Tianjin China；College of Management；Economics, Tianjin University Tianjin China；Medical College, Tianjin University\ Cheng Laboratory Tianjin China；School of Artificial Intelligence, Xidian University Xian China；Computing, Tianjin University；Economics, Tianjin University；Medical College, Tianjin University\ Cheng Laboratory；School of Artificial Intelligence, Xidian University
FedNSAM通过引入全局Nesterov动量提升SAM效果，解决高数据异质性下局部平坦度不保证全局模型平坦度的问题，理论证明收敛界更紧，实验验证性能优越。
2026-02-27 cs.AI cs.LG
FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）；University of Washington, Seattle（西雅图华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）；Hong Kong Baptist University（香港浸会大学）
联邦学习（FL）的目标是在服务器端训练全局模型，而训练数据在本地设备上收集和定位。因此，在实践中，标签通常由不同专业知识或标准的客户端注释，因此包含不同数量的噪声。噪声标签上的局部训练很容易导致对噪声标签的过拟合，这对聚合的全局模型是毁灭性的。虽然最近的强大FL方法考虑到恶意客户端，但它们没有解决每个设备上的本地噪声标签以及对全局模型的影响。在本文中，我们开发了一个简单的两级抽样方法“FedNoiL”，该方法（1）选择客户端，以便在服务器上进行更强大的全局聚合;（2）在客户端选择干净的标签和正确的伪标签，以便进行更强大的本地训练。采样概率建立在全局模型的干净标签检测上。此外，我们研究了不同的时间表，改变本地历元之间的聚合过程中的FL，显着提高了通信和计算效率，在嘈杂的标签设置。在同质/异质数据分布和噪声比的实验中，我们观察到SOTA FL方法与SOTA噪声标签学习方法的直接组合很容易失败，但我们的方法始终实现更好和更鲁棒的性能。
2022-05-20 cs.LG
FedAdapter: Efficient Federated Learning for Modern NLP
Beiyou Shenzhen Institute（北邮深圳研究院）；University of Virginia（弗吉尼亚大学）
针对FedNLP训练缓慢的问题，提出FedAdapter框架，通过渐进式适配器配置升级和持续配置评估，将收敛时间缩短至数小时，速度提升最高达155.5倍。
2023-05-08 cs.LG
Federated Learning with Nesterov Accelerated Gradient
联邦学习（FL）是一种快速发展的技术，允许多个工作人员训练基于分布式数据集的全局模型。传统的FL（FedAvg）采用梯度下降算法，其效率可能不够。Momentum能够通过添加额外的动量步骤来加速收敛，从而改善这种情况，并且已经在集中式和FL环境中证明了其优势。众所周知，Nesterov加速梯度（NAG）是一种更有利的动量形式，但目前尚不清楚如何量化NAG在FL中的好处。这促使我们提出FedNAG，它在每个工作者中使用NAG，以及在聚合器中使用NAG动量和模型聚合。我们提供了一个详细的收敛性分析FedNAG，并比较它与FedAvg。基于真实世界数据集和跟踪驱动的仿真进行了大量的实验，表明FedNAG在广泛的设置下，与基准相比，学习精度提高了3-24%，总训练时间减少了11-70%。
2022-10-26 cs.DC cs.LG stat.ML
FedNet2Net: Saving Communication and Computations in Federated Learning with Model Growing
University of Maryland（马里兰大学）
联邦学习（Federated learning，FL）是机器学习的一个新发展的领域，它利用大量分布式客户端的私有数据，在中央服务器的协调下开发一个全局模型，而不显式地暴露数据。标准的FL策略有许多显著的瓶颈，包括大量的沟通需求和对客户资源的高影响。文献中描述了试图解决这些问题的几种策略。在本文中，一个新的方案的基础上的概念“模型生长”的建议。最初，服务器部署一个低复杂度的小模型，该模型经过训练以捕获初始轮集期间的数据复杂度。当这样的模型的性能饱和时，服务器在功能保持转换的帮助下切换到更大的模型。随着客户端处理更多数据，模型复杂性会增加，整个过程会继续，直到达到所需的性能。因此，在我们的方法中，最复杂的模型仅在最后阶段广播，从而大大降低了通信成本和客户端计算需求。所提出的方法进行了广泛的测试，在三个标准的基准，并实现大幅减少通信和客户端的计算，同时实现可比的准确性相比，目前最有效的策略。
2022-07-19 cs.CR cs.DC cs.LG
Federated Learning with Extremely Noisy Clients via Negative Distillation
Xiamen University（厦门大学）；Hong Kong Baptist University（香港浸会大学）
本文针对联邦学习中客户端标签噪声比例极高的问题，提出负蒸馏方法FedNed，通过识别噪声客户端并利用其作为“坏教师”进行知识蒸馏，同时结合伪标签逐步提升模型可信度，实验表明其性能优于现有基线。
2024-02-23 cs.LG
FedNE: Surrogate-Assisted Federated Neighbor Embedding for Dimensionality Reduction
The Ohio State University（俄亥俄州立大学）
本文提出FedNE，一种将FedAvg框架与对比NE技术结合的联邦邻居嵌入方法，通过代理损失函数和数据混合策略解决联邦环境下客户端间排斥力缺失及本地kNN图构建错误邻居的问题，有效保留了邻域数据结构并增强了全局嵌入空间的对齐。
2024-10-14 cs.AI cs.LG
Unlocking FedNL: Self-Contained Compute-Optimized Implementation
KAUST（阿卜杜拉国王科技大学）
针对现有FedNL原型运行慢、仅模拟多节点、难集成的问题，研究者提出单/多节点场景下的自包含FedNL系列实现，提速千倍并优于多个主流框架，还提出两种符合理论的实用压缩器。
2024-12-12 cs.AI cs.LG cs.MS
On the Convergence of Decentralized Federated Learning Under Imperfect Information Sharing
Purdue University（普渡大学）；College of Engineering, Purdue University（普渡大学工程学院）
分散式学习和优化是控制中的一个核心问题，它包括几个现有的和新兴的应用程序，如联邦学习。虽然有大量的文献关于这个话题，大多数方法围绕着著名的平均共识范式，较少关注的情况下，代理之间的通信可能是不完善的。为此，本文提出了三种不同的算法的分散式联邦学习（DFL）在存在不完善的信息共享建模为嘈杂的通信信道。第一种算法，联邦噪声分散学习（FedNDL1），来自文献，其中噪声被添加到它们的参数中，以模拟存在噪声通信信道的场景。该算法通过噪声通信信道，基于通信图拓扑与客户端共享参数以形成共识。提出的第二种算法（FedNDL 2）与第一种算法类似，但参数中添加了噪声，并且在梯度优化之前执行八卦平均。另一方面，所提出的第三种算法（FedNDL3）通过噪声通信信道而不是参数来共享梯度。理论和实验结果表明，在不完美的信息共享下，混合梯度的第三种方案是更强大的存在噪声信道相比，从文献中的算法，混合参数。
2023-03-19 cs.LG cs.SY eess.SY
Federated Learning with Neural Graphical Models
Microsoft Research（微软研究院）
本文提出FedNGM框架，将神经图模型与联邦学习结合，通过全局模型平均本地信息并利用拼接算法处理本地额外变量，在保护数据隐私的同时实现高效、鲁棒的分布式概率建模。
2024-10-22 cs.AI cs.LG
Preservation of the Global Knowledge by Not-True Distillation in Federated Learning
KAIST（韩国科学技术院）
在联邦学习中，通过聚合客户端的本地训练模型来协作学习强大的全局模型。虽然这排除了直接访问客户端数据的需要，但全局模型的收敛通常会受到数据异构性的影响。这项研究从一个类比的持续学习，并提出遗忘可能是联邦学习的瓶颈。我们观察到全局模型忘记了前几轮的知识，而局部训练导致忘记了局部分布之外的知识。根据我们的研究结果，我们假设解决遗忘问题将缓解数据异质性问题。为此，我们提出了一种新的和有效的算法，联邦非真蒸馏（FedNTD），它保留了全球的角度来看，本地可用的数据只为不真实的类。在实验中，FedNTD在各种设置上显示出最先进的性能，而不会损害数据隐私或产生额外的通信成本。
2022-11-29 cs.AI cs.CV cs.LG
Federated Nearest Neighbor Machine Translation
Tencent AI Lab（腾讯人工智能实验室）；University of Science and Technology of China（中国科学技术大学）
为了保护用户隐私并满足法律法规的要求，联邦学习（FL）引起了人们的极大关注。用传统FL算法训练神经机器翻译（NMT）模型（例如，FedAvg）通常依赖于基于多轮模型的交互。然而，由于巨大的通信开销和繁重的同步，对于机器翻译任务来说，它是不切实际的和低效的。在本文中，我们提出了一种新的联邦最近邻（FedNN）机器翻译框架，而不是多轮基于模型的交互，利用一轮基于记忆的交互，在不同的客户端之间共享知识，构建低开销的隐私保护系统。整个方法为在大规模可访问数据上训练的公共NMT模型配备了$k$ -最近邻（$$kNN）分类器，并将所有客户端中的私有文本数据构造的外部分类器集成在一起，形成最终的FL模型。在此过程中，引入了两阶段加密策略来实现隐私保护。大量的实验表明，FedNN显着降低计算和通信成本相比，FedAvg，同时保持有前途的性能在不同的FL设置。
2023-02-23 cs.AI cs.CL cs.LG
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Sony AI（索尼人工智能研究院）；Huawei Cloud & AI（华为云与计算）
本地客户端的非独立同分布（non-IID）数据的统计异质性极大地限制了联邦学习的性能。以前的尝试，如FedProx，SCAFFOLD，MOON，FedNova和FedDyn诉诸于优化的角度，这需要一个辅助项或重新加权本地更新来校准学习偏差或目标不一致性。然而，除了以前对联邦平均改进的探索之外，我们的分析表明，另一个关键瓶颈是在更异构的条件下客户端模型的最优值较差。因此，我们引入了一种名为FedSkip的数据驱动方法，通过定期跳过联邦平均和将本地模型分散到跨设备来改善客户端优化。我们从理论上分析了FedSkip可能带来的好处，并在一系列数据集上进行了广泛的实验，以证明FedSkip实现了更高的准确性，更好的聚合效率和竞争的通信效率。源代码可在https://github.com/MediaBrain-SJTU/FedSkip上获得。
2022-12-14 cs.DC cs.LG
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
在联邦优化中，客户端的本地数据集和计算速度的异构性导致每个客户端在每个通信回合中执行的本地更新的数量变化很大。这种模型的朴素加权聚合导致目标不一致，即全局模型收敛到不匹配目标函数的稳定点，该目标函数可以与真实目标任意不同。本文提供了一个通用的框架来分析联邦异构优化算法的收敛性。它包含了以前提出的方法，如FedAvg和FedProx，并提供了第一个原则性的理解解决方案的偏见和收敛速度放缓，由于客观的不一致性。利用这种分析的见解，我们提出了FedNova，一种归一化的平均方法，消除了客观的不一致性，同时保持快速的误差收敛。
2020-07-15 cs.DC cs.LG stat.ML
Collaboratively Learning Federated Models from Noisy Decentralized Data
Eindhoven University of Technology（埃因霍温理工大学）；Delft University of Technology（代尔夫特理工大学）
本文针对联邦学习中输入空间噪声数据问题，提出基于梯度范数分布差异的客户端质量评估方法和噪声感知聚合方法FedNS，可即插即用并显著提升全局模型性能。
2024-09-03 cs.LG
Toward Data Heterogeneity of Federated Learning
University of Minnesota（明尼苏达大学）
联邦学习是机器学习的一种流行范式。理想情况下，当所有客户端共享类似的数据分布时，联邦学习工作得最好。然而，在现实世界中并不总是如此。因此，异构数据上的联邦学习得到了学术界和工业界越来越多的关注。在这个项目中，我们首先做了大量的实验，以显示数据偏斜和数量偏斜将如何影响最先进的联邦学习算法的性能。然后，我们提出了一个新的算法FedMix，调整现有的联邦学习算法，我们展示了它的性能。我们发现，现有的国家的最先进的算法，如FedProx和FedNova没有在所有的测试情况下有显着的改善。但是通过测试现有的和新的算法，似乎调整客户端比调整服务器端更有效。
2022-12-17 cs.LG
Tackling Data Heterogeneity in Federated Learning with Class Prototypes
Lehigh University（理海大学）；Salesforce Research（Salesforce研究院）
针对联邦学习中的数据异质性，提出FedNH方法，结合类原型的均匀性与语义，提升本地模型泛化与个性化性能，实验验证其有效性。
2023-12-26 cs.AI cs.LG
Boosting Resource-Constrained Federated Learning Systems with Guessed Updates
EPFL（瑞士联邦理工学院）
针对联邦学习中边缘设备资源受限、系统异构导致收敛慢及超参数调优耗资源的问题，提出无梯度推测更新算法GEL，可结合多种前沿算法，在学习率未最优调优时提升性能，资源受限网络中收敛速度最高提升40%，降低调优需求。
2025-06-14 cs.DC cs.LG
FedECADO: A Dynamical System Model of Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
针对联邦学习中异构数据分布和计算负载导致的更新不一致与性能受限问题，提出受动力系统表示启发的FedECADO算法，通过聚合敏感度模型和多速率积分方法同步客户端更新，在多种异构场景下实现了比FedProx等方法更高的分类准确率。
2024-10-13 cs.LG cs.SY eess.SY
Learning Federated Neural Graph Databases for Answering Complex Queries from Distributed Knowledge Graphs
The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；Zhongguancun Laboratory（中关村实验室）；WeBank；Beihang University（北航大学）
针对现有神经图数据库无法跨分布式图推理且隐私风险高的问题，提出联邦神经图数据库框架，利用联邦学习实现多源图数据的隐私保护推理与复杂查询。
2025-07-08 cs.AI cs.CR cs.DB
On Vessel Location Forecasting and the Effect of Federated Learning
University of Piraeus（比雷埃夫斯大学）；Kpler（Kpler公司）；University of the Aegean（爱琴海大学）
本文针对船舶位置预测（VLF）问题，提出了基于LSTM神经网络的集中式Nautilus和联邦式FedNautilus两种解决方案，验证了集中式方法的优越性并分析了联邦学习与集中式方法的优缺点。
2024-05-30 cs.LG
Federated Learning Framework for Scalable AI in Heterogeneous HPC and Cloud Environments
本文提出一种适用于异构HPC和云环境的联邦学习框架，解决系统异构性、通信开销和资源调度问题，实现高可扩展性和容错性，适用于非独立和相同分布数据。
2025-11-22 cs.DC cs.LG
FedNoisy: Federated Noisy Label Learning Benchmark
University of Michigan（密歇根大学）；Artifical Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与产业研究院）；Michigan State University（密歇根州立大学）
本研究推出首个标准化联邦噪声标签学习基准FedNoisy，涵盖6个数据集的20种基础设置、标准化模拟流程及9种基线实现，通过全面实验为该领域方法开发提供参考与验证支持。
2025-02-22 cs.AI cs.LG
Blockchain-based Framework for Scalable and Incentivized Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对中心化联邦学习的信任、单点故障与激励不足问题，提出融合智能合约和混合激励机制的区块链FL框架，并通过gas分析验证其可扩展性。
2025-02-20 cs.DC cs.LG
Federated Learning on Non-iid Data via Local and Global Distillation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Ant Group（蚂蚁集团）
针对非独立同分布数据下联邦学习通信成本高、性能不佳的问题，提出结合客户端自蒸馏与服务端带噪声样本全局蒸馏的FedND框架，实现了更优性能与更高通信效率。
2023-06-26 cs.CR cs.LG
Scalable and Low-Latency Federated Learning with Cooperative Mobile Edge Networking
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
联邦学习（FL）支持协作模型训练，而无需集中数据。然而，传统的FL框架是基于云的，并且具有高通信延迟。另一方面，依赖于与移动基站共置的边缘服务器用于模型聚合的基于边缘的FL框架具有低通信延迟，但是由于边缘服务器的有限覆盖而遭受降低的模型准确性。针对基于云的高精度高延迟FL和基于边缘的低延迟低精度FL，提出了一种基于协作移动边缘网络的FL框架--协作联邦边缘学习（CFEL），以实现移动边缘网络的高精度和低延迟分布式智能。考虑到CFEL独特的两层网络架构，进一步开发了一种新的联邦优化方法，称为基于合作边缘的联邦平均（CE-FedAvg），其中每个边缘服务器既协调其自身覆盖范围内的设备之间的协作模型训练，又与其他边缘服务器合作，通过分散的共识来学习共享的全局模型。基于基准数据集的实验结果表明，CFEL可以大大减少训练时间，以达到目标模型的精度相比，以前的FL框架。
2022-10-27 cs.DC cs.LG
TornadoAggregate: Accurate and Scalable Federated Learning via the Ring-Based Architecture
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Chungnam National University（忠南大学）
联邦学习已经成为协作机器学习的一种新范式;然而，许多先前的研究都使用沿着星型拓扑的全局聚合，而没有太多地考虑通信可扩展性或依赖于客户端的本地时间变化的昼夜属性。相比之下，环形架构可以解决可扩展性问题，甚至通过迭代节点而无需聚合来满足昼夜属性。然而，这种基于环的算法可能固有地遭受高方差问题。为此，我们提出了一种新的算法称为龙卷风聚合，提高了准确性和可扩展性，促进环架构。特别是，为了提高准确性，我们重新制定的损失最小化到一个方差减少问题，并建立三个原则，以减少方差：环感知的，小环，环链。实验结果表明，TornadoAggregate将测试准确率提高了26.7%，并实现了近线性的可扩展性。
2021-10-02 cs.DC cs.LG
FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
在经典的联邦学习中，客户端通过将其私有数据上的底层模型的本地更新传达给协调服务器来对整体训练做出贡献。然而，当资源受限的客户端共同旨在训练大型机器学习模型时，更新和通信整个模型变得极其昂贵。在这种情况下，分裂学习提供了一种自然的解决方案，其中只有一小部分模型在客户端存储和训练，而其余大部分模型仅停留在服务器上。然而，分裂学习中采用的模型划分引入了大量的通信成本。本文解决了这个问题，通过压缩额外的通信使用一种新的聚类方案伴随着梯度校正方法。对图像和文本基准测试的大量经验评估表明，该方法可以实现高达$490\times$的通信成本降低，精度下降最小，并实现理想的性能与通信权衡。
2022-02-16 cs.DC cs.LG
Towards Federated Foundation Models: Scalable Dataset Pipelines for Group-Structured Learning
Google Research（谷歌研究院）
本文提出Dataset Grouper库，用于创建大规模分组结构数据集，支持基础模型规模的联邦学习模拟，实验表明其能训练数十亿参数模型，且FedAvg在此规模下更似元学习方法。
2023-12-22 cs.DC cs.LG
FedRings: A Scalable and Topology-Aware Federated Learning Framework for LEO Satellite Constellations
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对低轨卫星网络联邦学习的动态拓扑与通信限制，提出FedRings环形去中心化框架，通过感知链路的路由调度、自适应聚合及历史补偿实现高效稳定学习，性能优于现有方法。
2026-08-05 cs.DC cs.LG
GCA: Global Centroid Alignment in Federated Learning
该研究提出GCA协议，通过潜在代码介导的联邦学习，无需传输AE参数或梯度，可防御数据提取攻击，降低通信开销，提升测试准确率。
2026-08-25 cs.DC cs.LG
Papaya: Practical, Private, and Scalable Federated Learning
Meta AI
跨设备联邦学习（FL）是一种分布式学习范式，它具有与传统分布式学习不同的几个挑战，每个设备上的系统特性的可变性，以及与中央服务器协调的数百万客户端是主要的。文献中描述的大多数FL系统是同步的-它们执行来自各个客户端的模型更新的同步聚合。扩展同步FL具有挑战性，因为增加并行训练的客户端数量会导致训练速度的收益递减，类似于大批量训练。此外，掉队者阻碍同步外语训练。在这项工作中，我们概述了生产异步FL系统设计。我们的工作解决了上述问题，概述了一些系统设计挑战及其解决方案，并触及了为数百万客户构建生产FL系统所产生的原则。从经验上讲，我们证明了在近一亿台设备上训练时，异步FL比同步FL收敛得更快。特别是，在高并发设置中，异步FL比同步FL快5倍，通信开销几乎少8倍。
2022-04-25 cs.DC cs.LG
FedQAS: Privacy-aware machine reading comprehension with federated learning
Uppsala University, Sweden（瑞典乌普萨拉大学）；Scaleout Systems, Sweden（瑞典Scaleout Systems公司）；Department of Information Technology（信息技术系）；Division of Scientific Computing（科学计算部）
文本数据的机器阅读理解（MRC）是自然语言理解的一个重要任务。这是一个复杂的NLP问题，随着斯坦福问答数据集（SQuAD）和会话式问答（CoQA）的发布，许多研究正在进行中。它被认为是教计算机如何“理解”文本，然后能够使用深度学习回答有关文本的问题的努力。然而，到目前为止，关于私人文本数据和知识共享的大规模培训一直缺乏这个NLP任务。因此，我们提出了FedQAS，这是一个保护隐私的机器阅读系统，能够利用大规模的私有数据，而不需要将这些数据集集中在一个中心位置。该方法结合了Transformer模型和联邦学习技术。该系统使用FEDn框架开发，并作为概念验证联盟计划部署。FedQAS是灵活的，语言无关的，并允许直观的参与和执行本地模型训练。此外，我们提出了该系统的架构和实现，以及提供一个基于SQUAD数据集的参考评估，以展示它如何克服数据隐私问题，并在联邦学习环境中实现联盟成员之间的知识共享。
2022-02-09 cs.AI cs.CL cs.LG
Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing
University of Connecticut（康涅狄格大学）；University of California Irvine（加州大学欧文分校）
针对动态IoT场景下差分隐私联邦学习噪声累积致准确率下降的问题，提出融合神经符号计算与DP的FedHDPrivacy框架，主动监控累积噪声仅按需补充，在制造监测场景中性能优于主流联邦框架最高37%。
2025-03-22 cs.AI cs.CR cs.LG
FedShuffle: Recipes for Better Use of Local Work in Federated Learning
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Meta AI；KAUST（阿卜杜拉国王科技大学）
在跨客户端聚合之前应用几个本地更新的实践已被经验证明是克服联邦学习（FL）中的通信瓶颈的成功方法。这种方法通常是通过让客户端在每轮中执行一个或多个局部训练时期，同时在每个时期中随机重新洗牌他们的有限数据集来实现的。数据不平衡，即客户端具有不同数量的本地训练样本，在FL应用中普遍存在，导致不同的客户端在每一轮中执行不同数量的本地更新。在这项工作中，我们提出了一个通用的配方，FedShuffle，更好地利用FL中的本地更新，特别是在这个制度包括随机改组和异质性。FedShuffle是第一个具有理论收敛保证的本地更新方法，该方法结合了随机重新洗牌，数据不平衡和客户端采样-这些功能在大规模跨设备FL中至关重要。我们对FedShuffle进行了全面的理论分析，并从理论和经验上表明，它不会遭受在假设异构FL设置中的同质更新的FL方法中存在的目标函数失配，例如FedAvg（McMahan等人，2017年）。此外，通过组合上述成分，FedShuffle改进了FedNova（Wang等人，2020年），这是以前提出来解决这个不匹配。类似于Mime（Karimireddy等人，2020），我们证明了具有动量方差减少的FedShuffle（Cutkosky & Orabona，2019）在Hessian相似性假设下改进了非局部方法。
2022-09-27 cs.DC cs.LG math.OC
Statistical Limits and Efficient Algorithms for Differentially Private Federated Learning
Department of Statistics（统计系）
本文研究了差分隐私联邦学习中估计精度、隐私约束和通信成本之间的权衡，提出了FedHybrid和FedNewton两种高效算法，通过减少通信成本提升准确性，并建立了均方误差的上界和下界以评估算法性能。
2026-05-18 cs.AI cs.LG stat.ME
Auxo: Efficient Federated Learning via Scalable Client Clustering
University of Michigan（密歇根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Southern California（南加州大学）
针对联邦学习中客户端数据非独立同分布导致的收敛慢、精度低等问题，提出Auxo框架，通过可扩展聚类识别数据分布相似的客户端群并自适应训练群专属模型，有效提升了现有联邦学习方案的精度、收敛速度并降低偏差。
2023-09-30 cs.DC cs.LG
Client Contribution Normalization for Enhanced Federated Learning
Indian Institute of Technology Jodhpur（印度焦特布尔理工学院）；Teradata India Private Limited（Teradata印度私人有限公司）
本文针对联邦学习中非独立同分布数据导致的统计异构性问题，提出利用本地模型的均值潜在表示对客户端贡献进行归一化的方法，显著提升了全局模型在多种FL方案下的准确性与一致性。
2024-11-10 cs.LG
FLUTE: A Scalable, Extensible Framework for High-Performance Federated Learning Simulations
Microsoft Research（微软研究院）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们介绍了“联邦学习实用程序和工具的实验”（FLUTE），一个高性能的开源平台的联邦学习的研究和离线模拟。FLUTE的目标是实现大规模新联邦学习算法的快速原型设计和仿真，包括新的优化、隐私和通信策略。我们描述了FLUTE的体系结构，使任意联邦建模方案得以实现。我们将该平台与其他最先进的平台进行比较，并描述了FLUTE的可用功能，用于在积极研究的核心领域进行实验，如优化，隐私和可扩展性。与其他已建立的平台相比，速度提高了42倍，内存占用节省了3倍。还为一系列任务提供了平台功能的示例，以及其他功能，例如参与客户端数量的线性缩放，以及各种联合优化器，包括FedAdam，DGA等。
2022-11-14 cs.LG
Optimizing Federated Learning for Scalable Power-demand Forecasting in Microgrids
Department of Computational and Data Sciences, Indian Institute of Science (IISc), Bangalore, India（计算与数据科学系，印度科学研究院（IISc），班加罗尔，印度）；Department of Electrical Engineering, Indian Institute of Science (IISc), Bangalore, India（电气工程系，印度科学研究院（IISc），班加罗尔，印度）；Accenture, India（印度德勤）
针对微电网电力需求预测中数据隐私风险、非独立同分布数据及大规模客户端扩展难题，提出指数加权损失等联邦学习优化方案，经千级客户端实验验证，其精度和可扩展性优于传统基线方法。
2025-09-03 cs.DC cs.LG
Spectral Sentinel: Scalable Byzantine-Robust Decentralized Federated Learning via Sketched Random Matrix Theory on Blockchain
Department of Computer Science \& Engineering
Spectral Sentinel通过在区块链上应用简化的随机矩阵理论，实现对大规模非IID数据的拜占庭鲁棒性联邦学习，提供高效的检测与聚合框架。
2025-12-14 cs.DC cs.LG
Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Columbia University（哥伦比亚大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）
联邦学习的规范公式将其视为分布式优化问题，其中模型参数针对全局损失函数进行优化，该全局损失函数在客户端损失函数之间进行分解。最近的替代公式将联邦学习视为分布式推理问题，其中目标是从分区的客户端数据推断全局后验（Al-Shedivat et al.，2021年）。本文扩展了推理视图，并描述了变分推理公式的联邦学习的目标是找到一个全局变分后验，以及近似的真实后验。这自然激发了联邦学习（FedEP）的期望传播方法，其中通过中央服务器和客户端之间的概率消息传递迭代地细化全局后验的近似值。我们进行了广泛的实证研究，在各种算法的考虑，并描述了实际的战略，扩大期望传播到现代联邦设置。我们将FedEP应用于标准的联邦学习基准测试，发现它在收敛速度和准确性方面都优于强基线。
2023-02-08 cs.LG
Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））
针对二阶联邦学习计算存储成本高、通信开销大的问题，提出结合稀疏海森矩阵估计与空中聚合的可扩展二阶FL算法，相比基线方法节省超67%的通信资源与能耗。
2025-01-14 cs.LG
Internal Cross-layer Gradients for Extending Homogeneity to Heterogeneity in Federated Learning
The University of Hong Kong（香港大学）
本文提出InCo Aggregation方法，利用服务器模型内部跨层梯度混合增强深层相似性，从而将模型同质化联邦学习方法扩展至系统异质场景，无需额外客户端通信。
2024-02-26 cs.AI cs.LG
