Class-Wise Federated Averaging for Efficient Personalization
SAKAK Inc.（SAKAK公司）；The Cyber University of Korea（韩国网络大学）
针对联邦学习在异构数据下个性化不足的问题，提出类级联邦平均（cwFedAvg）框架及权重分布正则化器（WDR），通过类级聚合与分布对齐实现高效个性化，保持通信成本并避免额外计算。
2025-08-02 cs.DC cs.LG
On Principled Local Optimization Methods for Federated Learning
Stanford University（斯坦福大学）
本论文围绕联邦学习局部优化方法的理论缺口，分析 FedAvg 的迭代偏差与紧致收敛界，提出可证明加速且更省通信的 FedAc，并设计 Federated Dual Averaging 解决复合优化中的原始平均诅咒。
2024-01-24 cs.DC cs.LG math.OC
Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms
CMU（卡内基梅隆大学）；Google（谷歌）
联邦学习通常作为优化问题来处理，其中目标是通过跨拥有本地数据并指定全局目标的不同部分的客户端设备分布计算来最小化全局损失函数。我们提出了另一种观点，并将联邦学习表述为后验推理问题，其目标是通过让客户端设备各自推断其本地数据的后验来推断全局后验分布。虽然精确的推理通常是棘手的，但这种观点提供了一种在联邦设置中搜索全局最优值的原则性方法。此外，从联邦二次目标的分析，我们开发了一个计算和通信效率的近似后验推理算法-联邦后验平均（FedPA）。我们的算法使用MCMC对客户端的局部后验进行近似推断，并有效地将其统计信息传达给服务器，后者使用它们来改进后验模式的全局估计。最后，我们证明了FedPA概括了联邦平均（FedAvg），可以同样受益于自适应优化器，并在四个现实和具有挑战性的基准测试中产生最先进的结果，收敛速度更快，达到更好的最优。
2021-01-30 cs.AI cs.LG stat.ML
Federated Asymptotics: a model to compare federated learning algorithms
Stanford University（斯坦福大学）
我们提出了一个渐进的框架来分析（个性化）联邦学习算法的性能。在这个新的框架中，我们将联邦学习制定为多标准目标，其目标是使用来自所有客户端的信息最小化每个客户端的损失。我们分析一个线性回归模型，对于一个给定的客户端，我们可以在理论上比较各种算法在高维渐近极限的性能。这种渐进多准则方法自然地模拟了联邦学习的高维、多设备性质。这些工具对联邦场景中个性化和信息共享的好处做出了相当精确的预测-至少在我们的（程式化）模型中-包括具有简单客户端微调的联邦平均实现了与更复杂的元学习和近似正则化方法相同的渐近风险，并且优于没有个性化的联邦平均。我们在EMNIST、CIFAR-100、Shakespeare和Stack Overflow数据集的联邦版本上评估了这些预测，实验证实了理论预测，表明这些框架可能为实际算法开发提供有用的指导。
2022-02-18 cs.DC cs.LG math.OC
FedCostWAvg: A new averaging for better Federated Learning
École Normale Supérieure（巴黎高等师范学院）；Technical University Munich（慕尼黑工业大学）；Klinikum rechts der Isar（伊萨尔河右岸医院）；Helmholtz Zentrum Muenchen（亥姆霍兹慕尼黑中心）
我们为联邦学习提出了一种简单的新聚合策略，该策略赢得了MICCAI联合肿瘤分割挑战赛2021（FETS），这是机器学习社区中首次关于联邦学习的挑战。我们的方法解决了如何聚合在不同数据集上训练的多个模型的问题。从概念上讲，我们提出了一种新的方法来选择权重时，平均不同的模型，从而扩展了目前的最先进的（FedAvg）。实证验证表明，我们的方法达到了显着的改善分割性能相比，FedAvg。
2021-11-16 cs.LG
WAFFLE: Weighted Averaging for Personalized Federated Learning
EPFL（洛桑联邦理工学院）
在联邦学习中，模型个性化是处理客户端异构训练数据的非常有效的策略。我们介绍WAFFLE（加权平均联邦学习），一个个性化的协作机器学习算法，利用随机控制变量更快的收敛。WAFFLE使用客户端更新之间的欧几里德距离来衡量他们的个人贡献，从而最大限度地减少感兴趣的特定代理的个性化模型损失。通过一系列的实验，我们将我们的新方法与最近的两种个性化联邦学习方法-权重侵蚀和APFL-以及两种通用FL方法-联邦平均和SCAFFOLD进行了比较。性能评估使用两个类别的不相同的客户端数据分布-概念转移和标签倾斜-在两个图像数据集（MNIST和CIFAR 10）。我们的实验证明了WAFFLE的相对有效性，因为它实现或提高了精度，收敛速度更快。
2021-12-13 cs.LG
Stochastic Controlled Averaging for Federated Learning with Communication Compression
LinkedIn（领英）；University of Pennsylvania（宾夕法尼亚大学）
针对压缩联邦学习在数据异构、部分参与和压缩误差条件下的性能瓶颈，提出高效随机受控平均实现及 SCALLION、SCAFCOM 两种算法，将上行通信成本减半并取得更优复杂度与实验表现。
2024-04-09 cs.DC cs.LG math.OC
Federated Learning with Fair Averaging
Xiamen University（厦门大学）；University of Melbourne（墨尔本大学）
公平性已成为联邦学习（FL）中的一个关键问题。在这项工作中，我们确定了FL不公平的原因-冲突的梯度与幅度的巨大差异。为了解决这个问题，我们提出了联邦公平平均（FedFV）算法，以减轻客户端之间的潜在冲突之前，平均其梯度。我们首先使用余弦相似度来检测梯度冲突，然后通过修改梯度的方向和幅度来迭代地消除这种冲突。我们进一步展示了FedFV的理论基础，以减轻冲突的梯度问题，并收敛到帕累托平稳的解决方案。在一组联邦数据集上进行的大量实验证实，FedFV在公平性、准确性和效率方面优于最先进的方法。源代码可在https://github.com/WwZzz/easyFL上获得。
2021-06-16 cs.LG
Benchmarking federated strategies in Peer-to-Peer Federated learning for biomedical data
CUNEF Universidad（库内夫大学）；Universidad Autónoma de Chile（智利自治大学）；Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）；Universidad de Extremadura（埃斯特雷马杜拉大学）
本研究针对生物医学数据，在对等联邦学习环境中测试了多种聚合策略，发现基于准确率的加权平均方法优于经典的联邦平均方法。
2024-02-15 cs.AI cs.DC cs.LG
Riemannian Federated Learning via Averaging Gradient Streams
Xiamen University（厦门大学）；Indian Institute of Technology Bombay（印度孟买理工学院）；Microsoft（微软公司）
针对黎曼联邦学习中部分参与与数据异构性难题，提出RFedAGS算法，通过平均梯度流实现服务器聚合，并证明其全局与邻域收敛性，实验验证了良好性能。
2025-10-19 cs.LG math.OC
Compositional federated learning: Applications in distributionally robust averaging and meta learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
本文提出ComFedL算法解决组合联邦学习框架，通过将分布鲁棒FL和MAML等极小极大优化问题转化为组合优化问题，并证明其$O(1/\sqrt{T})$的收敛速率。
2023-07-26 cs.DC cs.LG math.OC
An Accurate, Scalable and Verifiable Protocol for Federated Differentially Private Averaging
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）
从多方拥有的数据中学习，如在联邦学习中，会对提供给参与者的隐私保证以及在存在恶意方的情况下计算的正确性提出挑战。我们在分布式平均的背景下解决这些挑战，分布式平均是联邦学习算法的一个重要组成部分。我们的第一个贡献是一个可扩展的协议，在该协议中，参与者沿着网络图的边缘交换相关的高斯噪声，并由各方添加的独立噪声补充。我们分析了我们的协议的差分隐私保证和图拓扑的影响下勾结恶意方，表明我们几乎可以匹配的效用的可信馆长模型，即使每个诚实的一方通信，只有对数的其他方随机选择。这与本地隐私模型（具有较低的效用）或基于安全聚合（其中所有用户对都需要交换消息）的协议形成对比。我们的第二个贡献，使用户能够证明他们的计算的正确性，而不损害协议的效率和隐私保证。我们的验证协议依赖于标准的密码原语，如承诺计划和零知识证明。
2022-10-28 cs.CR cs.DC cs.LG
FAVANO: Federated AVeraging with Asynchronous NOdes
Isep, Sorbonne University（索邦大学ISEP）；CMAP, Ecole Polytechnique（巴黎综合理工学院CMAP）；Mathematical and Algorithmic Sciences Lab, Huawei Technologies（华为技术数学与算法科学实验室）
本文提出了一种新颖的集中式异步联邦学习框架FAVANO，用于在资源受限环境中训练深度神经网络，提供了非凸环境下的收敛保证，并在标准基准上优于现有方法。
2023-11-22 cs.LG stat.ML
Communication-Efficient Agnostic Federated Averaging
Google Inc.（谷歌公司）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
在分布式学习环境中，如联邦学习，训练算法可能会偏向不同的客户端。Mohri等人（2019）提出了一种领域不可知的学习算法，其中模型针对由客户端分布混合形成的任何目标分布进行了优化，以克服这种偏差。他们进一步提出了一种跨筒仓联邦学习设置的算法，其中客户端的数量很少。我们在跨设备设置中考虑这个问题，其中客户端数量要大得多。我们提出了一种称为不可知联邦平均（或不可知Federated Averaging）的通信高效分布式算法，以最大限度地减少Mohri等人（2019）提出的域不可知目标，该目标适用于其他私有机制，如安全聚合。我们强调了两种类型的自然发生的领域在联邦学习，并认为不可知FedAvg表现良好。为了证明不可知FedAvg的实际有效性，我们在模拟和现场实验中报告了大规模语言建模任务的积极结果，后者涉及为数百万用户设备训练西班牙语虚拟键盘的语言模型。
2021-06-16 cs.LG
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
联邦学习（Federated learning，FL）是一种新兴的处理大规模分布式数据的学习范式。在联邦学习中，一组客户端在服务器的协调下联合执行机器学习任务。FedAvg算法是解决联邦学习问题最广泛使用的方法之一。在FedAvg中，学习率是一个常数，而不是自适应地变化。自适应梯度方法表现出优越的性能超过恒定的学习率调度，但是，仍然没有一个通用的框架，将自适应梯度方法纳入联邦设置。在本文中，我们提出了\textbf{FedDA}，一个新的框架，局部自适应梯度方法。该框架采用了重新启动的双平均技术，具有灵活的各种梯度估计方法和自适应学习率公式。特别是，我们分析\textbf{FedDA-MVR}，我们的框架的实例，并表明，它实现梯度复杂性$\tilde{O}(ε^{-1.5})$和通信复杂性$\tilde{O}(ε^{-1})$找到一个固定点$ε$。这与一阶FL算法的最佳已知速率相匹配，并且\textbf{FedDA-MVR}是实现该速率的第一个自适应FL算法。我们还进行了大量的数值实验，以验证我们的方法的有效性。
2023-02-13 cs.DC cs.LG math.OC
Federated Learning with Communication Delay in Edge Networks
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
联邦学习作为通过边缘网络分布机器学习（ML）模型训练的潜在解决方案已经受到了极大的关注。这项工作解决了联邦学习在网络边缘的一个重要考虑因素：边缘节点和聚合器之间的通信延迟。开发了一种称为FedDelAvg（联合延迟平均）的技术，该技术概括了标准的联合平均算法，以在同步步骤期间在每个设备处接收到的当前本地模型和延迟的全局模型之间加入权重。通过理论分析，得到了FedDelAvg全局模型损失的上界，揭示了学习性能对权值和学习率的强烈依赖性.在一个流行的ML任务上的实验结果表明，在优化加权方案以考虑延迟时，收敛速度有了显着提高。
2020-08-21 cs.DC cs.LG stat.ML
Incentive-Aware Federated Averaging with Performance Guarantees under Strategic Participation
Department of Industrial and Systems Engineering, Rutgers University（工业与系统工程系，罗格斯大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出一种激励感知联邦平均方法，通过客户端传输模型参数和数据集大小，利用纳什均衡规则动态调整数据集规模，确保在凸和非凸目标下实现性能保证，并在单调博弈下实现福利损失最小化。
2026-05-17 cs.LG math.OC
Iterated Vector Fields and Conservatism, with Applications to Federated Learning
Google Research（谷歌研究院）
研究了迭代向量场（由自身合成的向量场）是否保守。我们给出明确的例子向量场，这种自组合保持保守性。值得注意的是，这包括与某些广义线性模型相关的损失函数的梯度向量场。正如我们所示，描述满足这个条件的向量场的集合会导致非平凡的几何问题。在联邦学习的背景下，我们表明，当客户端的损失函数的梯度满足这个条件，联邦平均相当于梯度下降的代理损失函数。我们利用这一点来获得联邦学习的新收敛结果。相比之下，我们证明，当客户端损失违反此属性时，联合平均可以产生与集中式优化根本不同的行为。最后，我们讨论了我们的分析框架为联邦学习提出的理论和实践问题。
2021-11-13 cs.DC cs.LG math.CA
DWFL: Enhancing Federated Learning through Dynamic Weighted Averaging
Georgia State University（佐治亚州立大学）；Lahore University of Management Science（拉合尔管理科学大学）
针对联邦学习在蛋白质序列分类中精度不足的问题，提出基于深度前馈神经网络的动态加权联邦学习（DWFL），按性能加权平均局部模型权重以优化全局模型，实验表明显著提升准确性。
2024-11-07 cs.LG
Convergence of Agnostic Federated Averaging
Department of ECE---Yale University（耶鲁大学电子工程系）
针对客户端间歇性且概率未知参与的实际挑战，本文严格证明了一般非均匀随机参与下agnostic FedAvg算法在凸非光滑损失上的O(1/√T)收敛性，并实验证实其优于加权聚合变体。
2025-07-14 cs.DC cs.LG eess.SP
FedExP: Speeding Up Federated Averaging via Extrapolation
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
Federated Averaging（FedAvg）仍然是联邦学习（FL）优化的最流行算法，因为它实现简单、无状态、隐私保证以及安全聚合。最近的工作试图通过将客户端更新视为伪梯度并使用服务器步长，将FedAvg中的香草平均推广到广义梯度下降步骤。虽然服务器步长的使用已被证明在理论上提供性能改进，但在大多数现有作品中尚未看到服务器步长的实际益处。在这项工作中，我们提出了FedExP，一种方法来自适应地确定服务器的步长在FL的基础上动态变化的伪梯度在整个FL过程。我们首先考虑overparameterized凸政权，在那里我们揭示了一个有趣的相似性FedAvg和投影到凸集（POCS）算法。然后，我们展示了如何FedExP可以动机作为一个新的扩展外推机制，用于加快POCS。我们的理论分析稍后还讨论了FedExP在欠参数化和非凸设置中的影响。实验结果表明，FedExP在一系列现实FL数据集上始终比FedAvg和竞争基线收敛得更快。
2023-03-06 cs.LG
Federated Learning System without Model Sharing through Integration of Dimensional Reduced Data Representations
University of Tsukuba（筑波大学）
简化是机器学习管道中的常用元素，有助于从高维数据中提取重要特征。在这项工作中，我们探索了一种替代的联邦学习系统，该系统能够在监督学习任务之前集成分布式数据的降维表示，从而避免各方之间的模型共享。我们将这种方法在图像分类任务上的性能与三种替代框架进行了比较：集中式机器学习，个体机器学习和联邦平均，并分析了没有模型共享的联邦学习系统的潜在用例。我们的研究结果表明，我们的方法可以实现类似的准确性，联邦平均和性能优于联邦平均在小用户设置。
2020-11-13 cs.LG
FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and Accurate Federated Learning
Kyoto University（京都大学）
联邦学习（Federated learning，FL）是一种分布式学习协议，服务器需要将一些独立的客户机学习到的模型集合在一起进行学习。目前，模型平均（称为FedAvg）是最广泛采用的聚合技术之一。然而，它是已知的，以产生具有降低的预测精度和缓慢的收敛的模型。在这项工作中，我们发现，平均模型从不同的客户端显着减少了规范的更新向量，导致缓慢的学习率和低预测精度。因此，我们提出了一种新的聚合方法称为FedNNNN。而不是简单的模型平均，我们调整的更新向量的范数，并引入动量控制技术，以提高聚合效率的FL。作为一个演示，我们评估FedNNNN在多个数据集和不同的神经网络模型的情况下，并观察到高达5.4%的精度提高。
2020-08-11 cs.LG stat.ML
Gradient Masked Averaging for Federated Learning
Massachussetts Institute of Technology（麻省理工学院）；Universite de Montreal（蒙特利尔大学）；Mila, Quebec AI Institute（魁北克人工智能研究所）；Sorbonne University（索邦大学）；Concordia University（康考迪亚大学）
针对联邦学习中数据异构导致平均聚合性能退化的问题，提出梯度掩码平均聚合方法，忽略虚假机制，在多个数据集上持续提升异构客户端性能。
2023-11-14 cs.AI cs.LG
Federated Learning for Keyword Spotting
Snips（Snips公司）
我们提出了一种基于联邦学习的实用方法，以解决连续运行的嵌入式基于语音的模型（如唤醒词检测器）的域外问题。我们进行了广泛的实证研究的联邦平均算法的“嘿Snips”唤醒词的基础上众包的数据集，模仿联邦唤醒词用户。我们的经验表明，使用自适应平均策略的灵感来自亚当的标准加权模型平均大大减少了通信轮数，以达到我们的目标性能。每个用户的相关上行通信成本估计为8 MB，这在智能家居语音助理的背景下是合理的。此外，用于这些实验的数据集正在开源，旨在促进联邦学习应用于语音数据的进一步透明研究。
2019-02-18 cs.CL cs.LG cs.SD
Delayed Random Partial Gradient Averaging for Federated Learning
College of Information and Electronic Engineering（信息与电子工程学院）；Zhejiang University（浙江大学）
本文提出延迟随机部分梯度平均（DPGA）方法，通过客户端仅共享部分梯度并动态调整更新率，同时并行计算与通信，以缓解联邦学习中的带宽和延迟瓶颈，并在非IID CIFAR-10/100上验证了有效性。
2024-12-28 cs.AI cs.DC cs.LG
FedSPDnet: Geometry-Aware Federated Deep Learning with SPDnet
本文提出两种联邦学习框架，用于在对称正定矩阵上运行经典SPDnet模型，通过ProjAvg和RLAvg策略保持几何结构，提升信号处理应用的联邦学习性能。
2026-09-02 cs.LG stat.ML
Heterogeneous federated collaborative filtering using FAIR: Federated Averaging in Random Subspaces
Rice University（莱斯大学）；ThirdAI Corp（ThirdAI 公司）
针对联邦推荐中嵌入表超出异构设备内存的问题，本文提出 FAIR，利用基于哈希随机投影的一致可坍缩子空间实现任意压缩和全设备协同训练，并验证其效果与收敛性。
2023-11-03 cs.LG
Decentralized Federated Learning via Mutual Knowledge Transfer
Tsinghua University（清华大学）；Syracuse University（雪城大学）
在本文中，我们研究了物联网（IoT）系统中的分散式联邦学习（DFL）问题，其中许多IoT客户端训练模型共同完成一项共同任务，而无需在没有中央服务器的情况下共享其私有训练数据。大多数现有的DFL方案由两个交替步骤组成，即，模型更新和模型平均。然而，直接平均模型参数以在本地客户端融合不同模型会遭受客户端漂移，特别是当训练数据在不同客户端上是异构的时。这导致收敛速度慢和学习性能下降。作为一种可能的解决方案，我们提出了分散式联合学习通过相互知识转移（Def-KT）算法，其中本地客户端通过相互转移他们的学习知识来融合模型。我们在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验表明，所提出的Def-KT算法显著优于具有模型平均的基线DFL方法，即，Combo和FullAvg，特别是当训练数据在不同客户端之间不是独立和相同分布（非IID）时。
2021-05-12 cs.DC cs.LG
Adaptive Federated Optimization
Google Research（谷歌研究院）
联邦学习是一种分布式机器学习范例，其中大量客户端与中央服务器协调以学习模型，而无需共享它们自己的训练数据。标准的联邦优化方法（如Federated Averaging（FedAvg））通常很难调优，并表现出不利的收敛行为。在非联邦设置中，自适应优化方法在解决这些问题方面取得了显着的成功。在这项工作中，我们提出了联邦版本的自适应优化器，包括Adagrad，Adam和Yogi，并分析其收敛性在一般非凸设置的异构数据的存在。我们的研究结果突出了客户端的异质性和通信效率之间的相互作用。我们还对这些方法进行了大量的实验，并表明使用自适应优化器可以显着提高联邦学习的性能。
2021-09-08 cs.DC cs.LG math.OC
Data Leakage in Federated Averaging
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
最近的攻击表明，可以从FedSGD更新中恢复用户数据，从而破坏隐私。然而，这些攻击的实际相关性有限，因为联邦学习通常使用FedAvg算法。与FedSGD相比，从FedAvg更新中恢复数据要困难得多，因为：（i）更新是以未观察到的中间网络权重计算的，（ii）使用了大量批次，以及（iii）标签和网络权重在客户端步骤中同时变化。在这项工作中，我们提出了一个新的基于优化的攻击，成功地攻击FedAvg通过解决上述挑战。首先，我们使用自动微分来解决优化问题，该自动微分强制模拟客户端的更新，该客户端的更新生成用于恢复的标签和输入的未观察参数以匹配接收到的客户端更新。其次，我们解决了大量的批次相关的图像从不同的时期与置换不变的先验。第三，我们通过估计每个FedAvg步骤中现有FedSGD攻击的参数来恢复标签。在流行的FEMNIST数据集上，我们证明，平均而言，我们成功地从实际的FedAvg更新中恢复了>45%的客户端图像，这些更新是在10个本地历元上计算的，每个历元有10个批次，每个批次有5个图像，相比之下，使用基线时只有<10%。我们的研究结果表明，许多基于FedAvg的真实联邦学习实现都是脆弱的。
2022-11-01 cs.CR cs.DC cs.LG
Window-based Model Averaging Improves Generalization in Heterogeneous Federated Learning
Politecnico di Torino（都灵理工大学）
针对联邦学习数据异构导致的噪声、不稳定和收敛慢问题，提出基于窗口的模型平均方法WIMA，聚合多轮全局模型以减少偏差，提升泛化，且无额外开销，实验验证其鲁棒性和有效性。
2023-10-10 cs.LG
Adaptive Personalized Federated Learning via Multi-task Averaging of Kernel Mean Embeddings
Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；University of Montpellier（蒙彼利埃大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文提出基于核均值嵌入的多任务平均方法，实现自适应个性化联邦学习，无需预设数据异质性，自动切换全局与局部学习模式，并通过随机傅里叶特征降低通信成本。
2026-02-13 cs.AI cs.LG
Device Heterogeneity in Federated Learning: A Superquantile Approach
UGA（格勒诺布尔阿尔卑斯大学）；University of Washington（华盛顿大学）；CNRS（法国国家科学研究中心）
针对联邦学习中不符合总体数据分布的异构设备问题，提出基于参数化超分数目标的优化框架，结合安全聚合与设备过滤实现，并在视觉和NLP任务上验证有效性。
2020-02-25 cs.DC cs.LG math.OC
How Much Regularization Survives Averaging? Update Masking in Federated Learning
Faculty of Science & Technology Sophia University（索菲亚大学科学技术学院）；Technical R&D Department Shendian Energy Co., Ltd.（申电能源有限公司技术研发部）
该研究针对联邦学习中更新掩码的正则化留存问题，证明了客户端掩码设置与联邦平均对正则化代价的影响，在CIFAR-10上开展实验并分析了相关因素的作用。
2026-08-26 cs.AI cs.LG
Deep Unfolding-based Weighted Averaging for Federated Learning in Heterogeneous Environments
Nagoya Institute of Technology（名古屋工业大学）
针对联邦学习中客户端异构性导致的性能下降问题，提出基于深度展开的聚合权重调优方法，可适配多种算法，提升未知类别平衡数据的测试准确率，支持大规模模型并给出收敛速率分析。
2023-08-28 cs.LG eess.SP
FedSWA: Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging
College of Intelligence and Computing, Tianjin University, Tianjin, China（天津大学智能学院）；Medical School, Tianjin University, Tianjin, China（天津大学医学院）；Peng Cheng Lab, Shenzhen, China（鹏城实验室）；School of Artificial Intelligence, Xidian University, Xi'an, China（西安电子科技大学人工智能学院）；School of Cyber Engineering, Xidian University, Xi'an, China（西安电子科技大学网络工程学院）
本文提出FedSWA和FedMoSWA算法，通过随机受控权重平均提升联邦学习在高度异质数据中的泛化能力，理论分析和实验验证其有效性。
2025-07-26 cs.AI cs.LG
Federated Learning with Only Positive Labels
Google Research（谷歌研究院）
我们考虑在联邦设置中学习多类分类模型，其中每个用户只能访问与单个类相关联的正数据。因此，在每一轮联邦学习中，用户需要在本地更新分类器，而不能访问负类的特征和模型参数。因此，天真地采用传统的分散式学习（如分布式SGD或联合平均）可能会导致微不足道或非常差的分类器。特别是，对于基于嵌入的分类器，所有的类嵌入可能会崩溃到一个点。为了解决这个问题，我们提出了一个仅使用正标签进行训练的通用框架，即Federated Averaging with Esclutout（FedAwS），其中服务器在每轮之后施加几何正则化器，以鼓励类在嵌入空间中展开。我们表明，无论是理论上还是经验上，FedAwS几乎可以匹配传统学习的性能，用户可以访问负面标签。我们进一步扩展所提出的方法的设置与大的输出空间。
2020-04-21 cs.LG stat.ML
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Vanishing Variance Problem in Fully Decentralized Neural-Network Systems
Delft University of Technology（代尔夫特理工大学）；IBM Infrastructure（IBM基础设施部门）
针对完全去中心化gossip学习中模型平均引发的“方差消失”问题，提出方差校正模型平均算法，在任意拓扑和非IID数据下保留最优方差，使gossip学习收敛效率媲美联邦学习。
2024-06-18 cs.DC cs.LG
Information-Theoretic Perspective of Federated Learning
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Monash University（莫纳什大学）
分布式机器学习的一种方法是在本地数据集上训练模型，并将这些模型聚合成单个更强大的模型。这种形式的并行化的一个流行实例是联邦学习，其中节点周期性地将其本地模型发送到协调器，该协调器聚合它们并将聚合重新分配回来以继续使用它进行训练。最常用的聚合形式是平均模型参数，例如，神经网络的权重。然而，由于神经网络的损失表面的非凸性，平均可能导致有害的影响，它仍然是一个悬而未决的问题，在何种条件下平均是有益的。在本文中，我们研究这个问题的信息论的角度来看：我们测量的互信息之间的表示和输入，以及表示和标签在本地模型，并将其与各自的信息中包含的平均模型的表示。我们的实证结果证实了之前关于神经网络平均的实际有用性的观察，即使局部数据集分布变化很大。此外，我们获得更多的见解的影响，聚合频率的信息流，从而对分布式学习的成功。这些见解将有助于改进当前的同步过程，并进一步了解模型聚合的效果。
2019-11-15 cs.DC cs.IT cs.LG
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Sony AI（索尼人工智能研究院）；Huawei Cloud & AI（华为云与计算）
本地客户端的非独立同分布（non-IID）数据的统计异质性极大地限制了联邦学习的性能。以前的尝试，如FedProx，SCAFFOLD，MOON，FedNova和FedDyn诉诸于优化的角度，这需要一个辅助项或重新加权本地更新来校准学习偏差或目标不一致性。然而，除了以前对联邦平均改进的探索之外，我们的分析表明，另一个关键瓶颈是在更异构的条件下客户端模型的最优值较差。因此，我们引入了一种名为FedSkip的数据驱动方法，通过定期跳过联邦平均和将本地模型分散到跨设备来改善客户端优化。我们从理论上分析了FedSkip可能带来的好处，并在一系列数据集上进行了广泛的实验，以证明FedSkip实现了更高的准确性，更好的聚合效率和竞争的通信效率。源代码可在https://github.com/MediaBrain-SJTU/FedSkip上获得。
2022-12-14 cs.DC cs.LG
Local Data Quantity-Aware Weighted Averaging for Federated Learning with Dishonest Clients
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；College of Computing and Data Science, Nanyang Technological University (NTU)（南洋理工大学计算与数据科学学院）
针对联邦学习中不诚实客户端虚报数据量导致加权平均聚合偏差的问题，提出FedDua方法，通过客户端上传的梯度准确预测其真实数据量以优化聚合，可无缝集成现有算法，在基准数据集上比四种流行方法平均提升3.17%性能。
2025-04-17 cs.AI cs.CR cs.LG
Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory
ByteDance Inc（字节跳动公司）；Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
该研究提出贝叶斯联邦学习新算法FA-HMC，在非独立同分布数据下建立严格收敛保证并验证分析紧致性，实验证明其性能优于现有FA-LD算法。
2024-07-09 cs.LG stat.CO stat.ML
FedSQ: Optimized Weight Averaging via Fixed Gating
Universitat Politècnica de València（瓦伦西亚理工大学）；Universitat Jaume I（海梅一世大学）；Openchip & Software Technologies（Openchip 软件技术公司）
FedSQ通过固定门控机制提升联邦学习的鲁棒性，减少训练轮次并保持迁移性能。
2026-04-03 cs.AI cs.DC cs.LG
The Built-In Robustness of Decentralized Federated Averaging to Bad Data
SoBigData RI PPP: SoBigData RI Preparatory Phase Project（SoBigData RI预研阶段项目）；PNRR - M4C2 - Investimento 1.3（PNRR-M4C2-投资1.3）；Telecommunications of the Future（未来电信）
本文通过模拟坏数据均匀分布和集中于单节点两种场景，发现基于FedAvg的去中心化联邦学习对局部低质量数据具有显著鲁棒性，且损坏数据集中于单节点时鲁棒性更强，其原因是平均过程限制了任何单个节点对整体学习的影响。
2025-06-04 cs.AI cs.DC cs.LG
Semi-Decentralized Federated Learning with Collaborative Relaying
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Imperial College London（伦敦帝国理工学院）
我们提出了一个半分散的联邦学习算法，其中客户端协作中继他们的邻居的本地更新到一个中央参数服务器（PS）。在到PS的每一轮通信中，每个客户端计算来自其相邻客户端的更新的本地共识，并最终将其自己的更新和其相邻客户端的更新的加权平均值发送到PS。我们适当地优化这些平均权重，以确保在PS的全局更新是无偏的，并减少在PS的全局更新的方差，从而提高收敛速度。数值模拟证实了我们的理论主张，并展示了客户端和PS之间的间歇性连接设置，我们提出的算法与联邦平均算法相比，显示出更高的收敛速度和准确性。
2022-05-23 cs.DC cs.LG cs.MA
Precision-Weighted Federated Learning
Concordia University（康考迪亚大学）；Imagia Cybernetics Inc.（Imagia控制论公司）
使用联合平均算法的联邦学习对于依赖协作学习的大规模应用显示出巨大的优势，特别是当训练数据由于隐私约束而不平衡或不可访问时。我们假设，联邦平均低估了全部程度的异质性的数据进行聚合时。我们提出了精确加权的联邦学习一种新的算法，该算法在计算在联邦学习设置中训练的模型的参数的加权平均值时考虑了随机梯度的方差。通过精确加权联邦学习，我们提供了一种替代的平均方案，当数据的组成具有很大的特征多样性时，该方案可以利用数据的异质性。我们的方法使用标准图像分类数据集进行评估，使用两种不同的数据划分策略（IID/非IID）来衡量我们的方法在资源受限环境中的性能和速度，例如移动和物联网设备。我们得到了一个很好的平衡之间的计算效率和收敛速度与精度加权联邦学习。我们的性能评估显示，在非IID设置中，MNIST的预测效果好9%，Fashion-MNIST好18%，CIFAR-10好5%。进一步的可靠性评估批准的稳定性，在我们的方法达到99%的可靠性指标与IID分区和96%的非IID分区。此外，我们在Fashion-MNIST上获得了20倍的加速，只有10个客户端，而在每个通信回合有100个客户端同时参与聚合的情况下，加速高达37倍。结果表明，精确加权联邦学习是一种有效的和更快的方法来聚合私人数据，特别是在数据高度异构的领域。
2021-07-20 cs.LG
Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks
Rice University（莱斯大学）
联邦学习使许多本地设备能够联合训练深度学习模型，而无需共享本地数据。目前，大多数联邦训练方案通过平均局部模型的参数来学习全局模型。然而，这些训练方案中的大多数遭受高的通信成本导致的传输全部本地模型参数。此外，由于不同设备上的类不平衡的非iid数据，直接平均模型参数会导致显著的性能下降。特别是对于涉及极端分类的现实生活中的联邦学习任务，（1）通信成为主要瓶颈，因为模型大小与输出类的数量成比例地增加;（2）极端分类（例如用户推荐）通常具有极不平衡的类和不同设备上的异构数据。为了克服这个问题，我们提出了联邦多标签哈希（FedMLH），它利用标签散列来同时减小模型大小（最多减少3.40倍），包括通信费用（最多减少18.75倍），并实现了更高的准确性（相对精度提高高达35.5%）和更快的收敛速度（最多增加5.5倍），与联邦平均算法相比，在联邦极端分类任务上免费使用。
2021-10-23 cs.LG
Federated Learning with Personalization Layers
Adobe Research（奥多比研究院）；Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
新兴的联邦学习范式致力于在网络边缘实现机器学习模型的协作训练，而无需集中聚合原始数据，从而提高数据隐私。这大大偏离了传统的机器学习，并且需要设计对各种异质性来源鲁棒的算法。具体而言，用户设备之间的数据统计异质性可能会严重降低传统机器学习应用（如使用深度学习进行个性化）的标准联邦平均的性能。本文提出了FedPer，一种用于深度前馈神经网络联邦训练的基础+个性化层方法，可以对抗统计异质性的不良影响。我们证明了FedPerfor非相同的数据分区的CIFARnets和个性化的图像美学数据集从Flickr的有效性。
2019-12-02 cs.DC cs.LG stat.ML
Over-the-Air Federated Averaging with Limited Power and Privacy Budgets
Queen Mary University of London（伦敦玛丽女王大学）；Brunel University London（伦敦布鲁内尔大学）；Southeast University（东南大学）；Hainan University（海南大学）；Nanjing University of Science and Technology（南京理工大学）；University of Kent（肯特大学）
针对无线联邦学习的通信与隐私问题，提出功率与隐私预算受限的DP-OTA-FedAvg系统，通过联合优化设备调度、对齐系数与聚合轮次提升学习性能，经收敛与隐私分析后高效求解，仿真验证有效。
2023-05-05 cs.CR cs.IT cs.LG
Federated Learning of a Mixture of Global and Local Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一种新的优化配方训练联邦学习模型。标准公式具有经验风险最小化问题的形式，该问题被构造为找到从存储在所有参与设备中的私有数据训练的单个全局模型。相比之下，我们的公式寻求这种传统的全局模型和本地模型之间的明确权衡，每个设备都可以从自己的私有数据中学习，而无需任何通信。此外，我们开发了几个有效的变种SGD（有和没有部分参与，有和没有方差减少）解决新的配方和证明通信复杂性保证。值得注意的是，我们的方法与联邦平均/局部SGD相似但不完全相同，因此可以了解局部步骤在联邦学习中的作用。特别是，我们是第一个i）表明，本地步骤可以改善与异构数据的问题的沟通，和ii）指出，个性化产生降低通信复杂性。
2021-02-12 cs.DC cs.LG math.OC
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich（慕尼黑工业大学）；University of Hamburg（汉堡大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习面临着性能和网络通信的挑战，特别是在数据在客户端之间不是独立和相同分布（IID）的环境中。为了解决前一个挑战，我们引入了联邦集中式一致性属性，并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者，我们提出了联邦多小批量的方法，并说明它可以建立一个性能和通信效率之间的权衡，并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
FedVeca: Federated Vectorized Averaging on Non-IID Data with Adaptive Bi-directional Global Objective
Hainan Blockchain Technology Engineering Research Center（海南区块链技术工程研究中心）；Temple University（天普大学）
针对联邦学习中非独立同分布数据及客户端本地更新步数差异影响模型性能的问题，提出带自适应双向全局目标的FedVeca方法，通过双向向量平均和步长自适应调整优化训练，实验验证了其有效性与高效性。
2024-09-18 cs.LG
