Convergence of Agnostic Federated Averaging
Department of ECE---Yale University（耶鲁大学电子工程系）
针对客户端间歇性且概率未知参与的实际挑战，本文严格证明了一般非均匀随机参与下agnostic FedAvg算法在凸非光滑损失上的O(1/√T)收敛性，并实验证实其优于加权聚合变体。
2025-07-14 cs.DC cs.LG eess.SP
Riemannian Federated Learning via Averaging Gradient Streams
Xiamen University（厦门大学）；Indian Institute of Technology Bombay（印度孟买理工学院）；Microsoft（微软公司）
针对黎曼联邦学习中部分参与与数据异构性难题，提出RFedAGS算法，通过平均梯度流实现服务器聚合，并证明其全局与邻域收敛性，实验验证了良好性能。
2025-10-19 cs.LG math.OC
A Unified Analysis of Federated Learning with Arbitrary Client Participation
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；University of Utah（犹他大学）
本文针对联邦学习中任意客户端参与模式提出统一收敛性分析，通过引入广义FedAvg更新机制和单一项刻画参与影响，获得了匹配SGD下界或现有最优结果的收敛上界。
2024-12-29 cs.DC cs.IT cs.LG
Mitigating the Participation Bias by Balancing Extreme Ratings
Peking University（北京大学）
本文针对评分聚合中的参与偏差问题，提出平衡极端聚合器和极化平均聚合器两种鲁棒方法，分别适用于样本量已知和未知场景，并通过数值实验与真实数据验证其优于简单平均和谱方法。
2025-02-06 cs.GT cs.LG
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
在联邦优化中，客户端的本地数据集和计算速度的异构性导致每个客户端在每个通信回合中执行的本地更新的数量变化很大。这种模型的朴素加权聚合导致目标不一致，即全局模型收敛到不匹配目标函数的稳定点，该目标函数可以与真实目标任意不同。本文提供了一个通用的框架来分析联邦异构优化算法的收敛性。它包含了以前提出的方法，如FedAvg和FedProx，并提供了第一个原则性的理解解决方案的偏见和收敛速度放缓，由于客观的不一致性。利用这种分析的见解，我们提出了FedNova，一种归一化的平均方法，消除了客观的不一致性，同时保持快速的误差收敛。
2020-07-15 cs.DC cs.LG stat.ML
Stochastic Controlled Averaging for Federated Learning with Communication Compression
LinkedIn（领英）；University of Pennsylvania（宾夕法尼亚大学）
针对压缩联邦学习在数据异构、部分参与和压缩误差条件下的性能瓶颈，提出高效随机受控平均实现及 SCALLION、SCAFCOM 两种算法，将上行通信成本减半并取得更优复杂度与实验表现。
2024-04-09 cs.DC cs.LG math.OC
Tackling Data Heterogeneity in Federated Learning through Knowledge Distillation with Inequitable Aggregation
School of Computer Science and Technology（计算机科学与技术学院）；Harbin University of Science and Technology（哈尔滨理工大学）
针对大规模客户端中少部分参与训练的联邦学习场景，提出师生不均等聚合知识蒸馏（KDIA）策略，通过加权聚合构建教师模型并结合服务器生成器辅助本地训练，有效利用全局知识，显著提升异构环境下的准确率与收敛速度。
2025-06-25 cs.LG
Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
我们引入了一个框架- Artemis -来解决在分布式或联邦设置与通信约束和设备部分参与的学习问题。几个工人（随机抽样）使用中央服务器执行优化过程，以聚合他们的计算。为了减轻通信成本，Artemis允许压缩在两个方向（从工作者到服务器，反之亦然）发送的信息，并结合内存机制。它改进了现有的算法，这些算法只考虑单向压缩（到服务器），或者对压缩算子使用非常强的假设，并且通常不考虑设备的部分参与。我们提供快速的收敛速度（线性阈值）弱假设下的随机梯度（噪声的方差界仅在最佳点）在非独立同分布。设置，突出显示单向和双向压缩的内存影响，分析Polyak-Ruppert平均值。我们使用收敛分布，以获得一个下限的渐近方差，突出了实际的限制压缩。我们提出了两种方法来解决具有挑战性的情况下，设备部分参与，并提供实验结果来证明我们的分析的有效性。
2022-06-19 cs.LG stat.ML
FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
UC Santa Barbara（加州大学圣巴巴拉分校）；UT Austin（德克萨斯大学奥斯汀分校）；UPenn（宾夕法尼亚大学）；MIT（麻省理工学院）
联邦学习是一种分布式框架，根据该框架，在一组设备上训练模型，同时保持数据本地化。该框架面临着几个面向系统的挑战，其中包括（i）由于大量设备将其本地更新上传到参数服务器而产生的通信瓶颈，以及（ii）由于联合网络由数百万个设备组成而产生的可扩展性。由于这些系统挑战以及与数据的统计异质性和隐私问题相关的问题，设计一种可证明有效的联邦学习方法具有重要意义，但它仍然具有挑战性。在本文中，我们提出了FedPAQ，一个通信效率高的联邦学习方法与周期平均和量化。FedPAQ依赖于三个关键特性：（1）定期平均，其中模型在设备上本地更新，并且仅在服务器上定期平均;（2）部分设备参与，其中只有一小部分设备参与每轮训练;以及（3）量化消息传递，其中边缘节点在上传到参数服务器之前对其更新进行验证。这些特性解决了联邦学习中的通信和可伸缩性挑战。我们还表明，FedPAQ实现了近最佳的理论保证强凸和非凸损失函数和经验证明我们的方法提供的通信计算权衡。
2020-06-07 cs.DC cs.LG math.OC
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）；Duke University（杜克大学）
针对不完整客户端参与问题，本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性，并提出SAFARI算法，享有线性收敛加速保证，实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Achieving Linear Speedup with Partial Worker Participation in Non-IID Federated Learning
The Ohio State University（俄亥俄州立大学）
联邦学习（FL）是一种分布式机器学习架构，它利用大量工作者来联合学习具有分散数据的模型。FL由于其数据隐私保护、通信效率和训练收敛的线性加速（即，收敛性能相对于工作器的数量线性增加）。然而，现有的线性加速收敛的研究仅限于假设的独立同分布。工人之间的数据集和/或工人的充分参与，这两种情况在实践中很少成立。到目前为止，它仍然是一个悬而未决的问题，是否线性加速收敛是在非独立同分布下实现的。在本文中，我们表明，答案是肯定的。具体来说，我们表明，联邦平均（FedAvg）算法（双侧学习率）对非独立同分布。非凸设置中的数据集实现了对于全部工作者参与的收敛速率$\mathcal{O}(\frac{1}{\sqrt{mKT}} + \frac{1}{T})$和对于部分工作者参与的收敛速率$\mathcal{O}(\frac{\sqrt{K}}{\sqrt{nT}} + \frac{1}{T})$，其中$K$是局部步骤的数目，$T$是总通信轮的数目，$m$是总工作者数目，以及$n$是如果部分工作者参与的话在一个通信轮中的工作者数目。我们的研究结果还表明，在FL的本地步骤可以帮助收敛，并表明，本地步骤的最大数量可以提高到$T/m$在充分的工人参与。我们在MNIST和CIFAR-10上进行了大量的实验来验证我们的理论结果。
2021-05-04 cs.DC cs.LG
Debiasing Federated Learning with Correlated Client Participation
Northwestern University（西北大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对跨设备联邦学习中客户端非均匀、跨轮相关参与导致的偏差，本文用马尔可夫链建模并分析最小间隔机制，提出可在未知可用性分布下收敛至无偏最优解的 FedAvg 去偏算法。
2024-10-02 cs.DC cs.LG
Tackling System and Statistical Heterogeneity for Federated Learning with Adaptive Client Sampling
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Yale University（耶鲁大学）
当参与者数量较多且服务器的通信带宽有限时，联邦学习（FL）算法通常在每轮中对一小部分客户端进行采样（部分参与）。最近关于FL收敛性分析的工作集中在无偏客户抽样上，例如，随机均匀采样，由于高度的系统异质性和统计异质性，收敛的时钟时间很慢。本文旨在设计一种自适应客户端采样算法，解决系统和统计异质性，以最大限度地减少挂钟收敛时间。我们得到了一个新的易于处理的收敛界FL算法与任意客户端采样概率。在此基础上，我们解析地建立了总学习时间和采样概率之间的关系，从而得到了一个非凸优化问题的训练时间最小化。我们设计了一个有效的算法来学习收敛界中的未知参数，并开发了一个低复杂度的算法来近似解决非凸问题。从硬件原型和仿真的实验结果表明，我们提出的采样方案显着减少收敛时间相比，几个基线采样方案。值得注意的是，我们的方案在硬件原型上花费的时间比均匀采样基线少73%，以达到相同的目标损失。
2021-12-21 cs.AI cs.DC cs.LG
SAGDA: Achieving $\mathcal{O}(ε^{-2})$ Communication Complexity in Federated Min-Max Learning
The Ohio State University（俄亥俄州立大学）；Iowa State University（爱荷华州立大学）
为了降低联邦最小-最大学习的通信复杂性，一种自然的方法是利用与传统联邦学习相同的不频繁通信的想法（通过多次局部更新）。然而，由于联邦min-max学习中的内部-外部问题结构更为复杂，文献中对联邦min-max学习在通信不频繁的情况下的通信复杂性的理论理解仍然非常有限。这对于具有非i.i.d.的设置尤其如此。数据集和部分客户参与。为了解决这一挑战，在本文中，我们提出了一个新的算法框架，称为随机采样平均梯度下降上升（SAGDA），其中i）组装随机梯度估计从随机采样的客户端作为控制变量和ii）利用两个学习率在服务器和客户端。我们表明，SAGDA实现了客户端和本地更新步骤的数量方面的线性加速，这产生了比现有技术低几个数量级的$\mathcal{O}(ε^{-2})$通信复杂性。有趣的是，注意到标准的联邦随机梯度下降上升（FSGDA）实际上是SAGDA的无控制变量特殊版本，我们立即得到FSGDA的$\mathcal{O}(ε^{-2})$通信复杂性结果。因此，通过SAGDA的镜头，我们也推进了目前对联邦最小-最大学习的标准FSGDA方法的通信复杂性的理解。
2022-12-26 cs.AI cs.LG
FedAvg-Based CTMC Hazard Model for Federated Bridge Deterioration Assessment
Yachiyo Engineering Co., Ltd.（山阳工程公司）
本文提出基于FedAvg的CTMC危险模型，用于联邦桥梁劣化评估，通过本地优化和联邦学习实现协同训练，保护数据隐私并提升生命周期规划的准确性。
2026-02-22 cs.LG stat.ML
FedeRage: Provably Convergent Agnostic Federated Learning under General Client Drift
针对客户端参与概率未知且数据异构的联邦学习，提出风险规避平均算法FedeRage，嵌入CVaR提升高损失和低频客户端权重，实现可证明收敛并在准确率、公平性和速度上超越现有方法。
2026-09-21 cs.DC cs.LG cs.SY
Distributed Perceptron under Bounded Staleness, Partial Participation, and Noisy Communication
Indian Institute of Science（印度科学研究院）
本文研究了在联邦和分布式部署中，通过迭代参数混合（IPM风格平均）训练的半异步客户端-服务器感知机，考虑了延迟更新、部分参与和通信噪声的影响，并提出了基于陈旧度的聚合规则。
2026-05-16 cs.LG
FedSPDnet: Geometry-Aware Federated Deep Learning with SPDnet
本文提出两种联邦学习框架，用于在对称正定矩阵上运行经典SPDnet模型，通过ProjAvg和RLAvg策略保持几何结构，提升信号处理应用的联邦学习性能。
2026-09-02 cs.LG stat.ML
FedCM: Federated Learning with Client-level Momentum
Peking University（北京大学）；Tsinghua University（清华大学）
联邦学习是一种分布式机器学习方法，它可以在没有数据共享的情况下进行模型训练。本文提出了一种新的联邦学习算法Federated Averaging with Client Level Momentum（FedCM），以解决实际联邦学习应用中的部分参与和客户端异构问题。FedCM聚合了前几轮通信中的全局梯度信息，并使用类似动量项修改客户端梯度下降，可以有效地纠正偏差，提高局部SGD的稳定性。我们提供了理论分析，以突出FedCM的好处。我们还进行了广泛的实证研究，并证明FedCM在各种任务中取得了优异的性能，并对不同级别的客户数量，参与率和客户异质性具有鲁棒性。
2021-06-21 cs.LG
Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network
York University（约克大学）
针对联邦学习中设备计算异构性问题，提出FedPMT方法，让低算力设备训练全局模型子集，实现与FedAvg相近的收敛速率，并显著优于FedDrop，在精度与完成时间间取得更优平衡。
2023-11-16 cs.AI cs.DC cs.LG
STAGE: Tackling Semantic Drift in Multimodal Federated Graph Learning
Beijing Institute of Technology（北京理工大学）；Minzu University of China（民族大学）
STAGE提出一种协议优先框架，通过构建共享语义空间解决多模态联邦图学习中的语义漂移问题，提升跨客户端语义校准并减少图学习中的不一致性风险。
2026-05-12 cs.LG
Optimal Client Sampling for Federated Learning
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
众所周知，客户机-主机通信可能是联邦学习中的主要瓶颈。在这项工作中，我们解决了这个问题，一个新的客户端二次抽样方案，我们限制了客户端的数量允许他们的更新通信回主节点。在每一轮通信中，所有参与的客户端都计算它们的更新，但只有那些具有“重要”更新的客户端才与主服务器通信。我们表明，重要性可以衡量，只使用规范的更新，并给出了一个公式，最佳的客户端参与。这个公式最小化了完全更新（所有客户端都参与）和有限更新（参与客户端的数量受到限制）之间的距离。此外，我们提供了一个简单的算法，近似的客户端参与，这只需要安全的聚合，从而不会损害客户端的隐私的最佳公式。我们从理论上和经验上表明，对于分布式SGD（DSGD）和联邦平均（FedAvg），我们的方法的性能可以接近充分参与，并优于参与客户端均匀采样的基线。此外，我们的方法是正交的，并与现有的方法，以减少通信开销，如本地方法和通信压缩方法兼容。
2022-08-22 cs.DC cs.LG
Entropy-Regularized Probabilistic Gates for Sparse Model Discovery in Scarce-Data Federated Learning
Department of Engineering and Information Technology, Åbo Akademi University（奥布大学工程与信息技术系）
针对数据稀缺联邦学习中稀疏模型发现困难，提出熵正则化概率门方法，通过维持门分布不确定性避免过早稀疏承诺，在异质性和稀疏性下提升统计性能与稀疏恢复精度。
2026-07-02 cs.AI cs.DC cs.LG
Characterizing Client-Independent Stationary Bias for SCAFFOLD and FedAvg in Federated Learning
National Chung Hsing University（国立中兴大学）
本文针对随机SCAFFOLD，在一维同质客户端等条件下证明客户端平均无法消除系数非零时的客户端无关O(γ²)稳态偏差，数值实验验证了相关结论。
2026-10-20 cs.LG math.ST stat.TH
Heterogeneous federated collaborative filtering using FAIR: Federated Averaging in Random Subspaces
Rice University（莱斯大学）；ThirdAI Corp（ThirdAI 公司）
针对联邦推荐中嵌入表超出异构设备内存的问题，本文提出 FAIR，利用基于哈希随机投影的一致可坍缩子空间实现任意压缩和全设备协同训练，并验证其效果与收敛性。
2023-11-03 cs.LG
Federated Learning of a Mixture of Global and Local Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一种新的优化配方训练联邦学习模型。标准公式具有经验风险最小化问题的形式，该问题被构造为找到从存储在所有参与设备中的私有数据训练的单个全局模型。相比之下，我们的公式寻求这种传统的全局模型和本地模型之间的明确权衡，每个设备都可以从自己的私有数据中学习，而无需任何通信。此外，我们开发了几个有效的变种SGD（有和没有部分参与，有和没有方差减少）解决新的配方和证明通信复杂性保证。值得注意的是，我们的方法与联邦平均/局部SGD相似但不完全相同，因此可以了解局部步骤在联邦学习中的作用。特别是，我们是第一个i）表明，本地步骤可以改善与异构数据的问题的沟通，和ii）指出，个性化产生降低通信复杂性。
2021-02-12 cs.DC cs.LG math.OC
Robust and Communication-Efficient Federated Learning from Non-IID Data
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
联邦学习允许多方在其组合数据上联合训练深度学习模型，而无需任何参与者将其本地数据透露给集中式服务器。然而，这种形式的隐私保护协作学习是以训练期间的显著通信开销为代价的。为了解决这个问题，在分布式训练文献中已经提出了几种压缩方法，可以将所需的通信量减少多达三个数量级。然而，这些现有的方法在联邦学习设置中仅具有有限的效用，因为它们或者仅压缩从客户端到服务器的上游通信（使下游通信未压缩），或者仅在理想化条件（诸如客户端数据的iid分布）下表现良好，这通常不能在联邦学习中找到。在这项工作中，我们提出了稀疏三进制压缩（STC），一个新的压缩框架，专门设计，以满足要求的联邦学习环境。我们在四个不同的学习任务上的实验表明，STC在常见的联邦学习场景中明显优于联合平均，其中客户端a）持有非iid数据，b）在训练期间使用小批量，或者c）客户端数量很大，每个通信回合的参与率很低。我们还表明，即使客户端持有iid数据并使用中等规模的批次进行训练，STC仍然表现出Pareto优于Federated Averaging，因为它在更少的训练迭代和更小的通信预算内实现了我们的基准测试的固定目标精度。
2019-03-07 cs.AI cs.DC cs.LG
Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA
School of Software Engineering（软件工程学院）
GLoRA通过估计共识更新子空间和共享参考坐标，实现语义化的低秩更新聚合，优于联邦LoRA基线，在数据、资源和任务异质性下表现更优。
2026-05-07 cs.AI cs.LG
Fractional Order Federated Learning for Battery Electric Vehicle Energy Consumption Modeling
Electrical Engineering and Computer Science, University of California at Merced（加州大学默塞德分校电气工程与计算机科学系）；Department of Applied Mathematics, University of California at Merced（加州大学默塞德分校应用数学系）；Department of Innovation and Research, North Carolina State University（北卡罗来纳州立大学创新与研究系）；Mechatronics, Embedded Systems and Automation (MESA) Lab, Department of Mechanical Engineering, School of Engineering, University of California, Merced（加州大学默塞德分校机械工程系机电一体化与嵌入式系统自动化实验室）
本文提出分数阶联邦学习方法FO-RI-FedAvg，通过自适应正则化和非整数阶优化提升BEV能耗建模的稳定性与准确性。
2026-02-13 cs.LG
Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Imperial College London（伦敦帝国理工学院）
客户端到参数服务器（PS）的间歇性连接是联合边缘学习框架中的主要瓶颈。缺乏恒定的连接性会导致很大的泛化差距，特别是当客户端之间的本地数据分布表现出异质性时。为了克服客户端和中央PS之间的间歇性通信中断，我们引入了协作中继的概念，其中参与的客户端将其邻居的本地更新中继到PS，以提高与PS的连接性差的客户端的参与。我们提出了一个半分散的联邦学习框架，在每个通信回合中，每个客户端最初计算其相邻客户端更新的子集的本地共识，并最终将其自己的更新和其邻居的更新的加权平均值传输到PS。我们适当地优化这些局部共识权重，以确保PS的全局更新是无偏的，方差最小-从而提高收敛速度。对CIFAR-10数据集的数值评估表明，我们的协作中继方法优于基于联邦平均的基准，用于在不连续连接的网络上进行学习，例如当客户端通过毫米波信道进行通信时，间歇性阻塞。
2022-10-21 cs.DC cs.LG cs.MA
pFedSOP : Accelerating Training Of Personalized Federated Learning Using Second-Order Optimization
Department of Artificial Intelligence, Indian Institute of Technology, Hyderabad（人工智能系，印度理工学院，海得拉巴）
针对个性化联邦学习一阶优化收敛慢、通信轮次多及额外局部计算问题，提出pFedSOP，用Gompertz归一化夹角和正则化FIM近似Hessian实现二阶优化，实验性能优于现有方法。
2025-06-08 cs.DC cs.LG
Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization
KAUST（阿卜杜拉国王科技大学）；Inria Sierra（法国国家信息与自动化研究所塞拉实验室）
本文对联邦学习中的服务器端优化进行了理论研究。我们的研究结果是第一个表明，广泛流行的启发式扩展客户端更新与一个额外的参数是非常有用的背景下，联邦平均（FedAvg）与本地通过客户端数据。每次本地传递都使用随机重排执行，无需替换，这是我们可以显示出更高复杂性的关键原因。特别是，我们证明，每当局部步长很小，更新方向是由FedAvg与随机重排在所有客户端，可以采取一个大的飞跃，在获得的方向和提高率凸，强凸，非凸目标。特别地，在非凸区域中，我们得到了从$\mathcal{O}\left(\varepsilon^{-3}\right)$到$\mathcal{O}\left(\varepsilon^{-2}\right)$的收敛速度的增强。这个结果甚至对于在单个节点上执行的随机重排也是新的。相比之下，如果本地步长较大，我们证明了客户端采样的噪声可以通过使用一个小的服务器端步长来控制。据我们所知，这是第一次证明地方步骤有助于克服沟通瓶颈。总之，我们的研究结果的优势，大，小的服务器端步长提供了一个正式的理由的做法，自适应服务器端优化联邦学习。此外，我们认为我们的算法的一个变种，支持部分客户端的参与，这使得该方法更实用。
2022-01-26 cs.LG math.OC
Stratify: Rethinking Federated Learning for Non-IID Data through Balanced Sampling
Department of Artificial Intelligence, Universiti Malaya（人工智能系，马来亚大学）
针对非IID数据下联邦学习性能下降的问题，本文提出Stratify框架，通过分层标签调度平衡类别和特征分布，结合标签感知客户端选择与高频更新，在多种数据集上实现与IID基线相当的性能并降低计算成本。
2025-04-18 cs.LG
