SwiftAgg+: Achieving Asymptotically Optimal Communication Loads in Secure Aggregation for Federated Learning
Technische Universität Berlin（柏林工业大学）；Sharif University of Technology（谢里夫理工大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了SwiftAgg+，一种新的安全聚合协议的联邦学习系统，其中中央服务器聚合本地模型的$N \in \mathbb{N}$分布式用户，每个大小$L \in \mathbb{N}$，训练他们的本地数据，在隐私保护的方式。SwiftAgg+可以在不影响安全性的情况下显著降低通信开销，并在减少间隙的情况下实现最佳通信负载。具体来说，在最多$D=o(N)$退出用户的情况下，SwiftAgg+实现了$(1+\mathcal{O}(\frac{1}{N}))L$符号的每用户通信负载和$(1+\mathcal{O}(\frac{1}{N}))L$符号的服务器通信负载，具有最坏情况的信息理论安全保证，针对可能与好奇服务器勾结的最多$T=o(N)$半诚实用户的任何子集。此外，所提出的SwiftAgg+允许在通信负载和活动通信链路的数量之间进行灵活的权衡。特别地，对于$T<N-D$和任何$K\in\mathbb{N}$，SwiftAgg+可以实现$(1+\frac{T}{K})L$符号的服务器通信负载，以及高达$(1+\frac{T+D}{K})L$符号的每用户通信负载，其中网络中成对活动连接的数量是$\frac{N}{2}(K+T+D+1)$。
2022-09-08 cs.DC cs.IT cs.LG
On the Effect of Defections in Federated Learning and How to Prevent Them
University of Chicago（芝加哥大学）；TTIC（丰田技术研究所（芝加哥））
本文研究联邦学习中智能体因对即时模型满意而永久退出协作的叛逃问题，揭示其对模型鲁棒性和泛化能力的危害，并提出一种具有理论保证的新型优化算法，在防止叛逃的同时保证所有参与智能体渐近收敛到有效解。
2023-11-28 cs.DC cs.GT cs.LG
Statistical Estimation and Inference via Local SGD in Federated Learning
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
联合学习（FL）使得大量的边缘计算设备（例如，移动电话）在没有数据共享的情况下共同学习全局模型。在FL中，数据以高度异构的分散方式生成。本文研究了如何在联邦环境下进行统计估计和推理。我们分析了所谓的本地SGD，一个多轮的估计过程，使用间歇性的通信，以提高通信效率。我们首先建立了一个{ \it泛函中心极限定理}，证明了局部SGD的平均迭代弱收敛于一个重标布朗运动。接下来，我们提供两种迭代推理方法：{ \it插件}和{ \it随机缩放}。随机尺度方法利用整个局部SGD路径上的信息构造一个渐近关键的统计量进行推理，这两种方法都是有效的，并且适用于在线数据。我们的理论和实证结果表明，本地SGD同时实现统计效率和通信效率。
2021-12-17 cs.LG stat.ML
Provably Personalized and Robust Federated Learning
University of California, Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
针对联邦学习个性化问题，论文将按聚类学习模型形式化为随机优化，提出可识别客户端聚类并训练每簇模型的迭代算法，取得最优收敛率且对 Byzantine 恶意客户端鲁棒。
2023-12-18 cs.DC cs.LG
Detailed comparison of communication efficiency of split learning and federated learning
Massachusetts Institute of Technology（麻省理工学院）
我们比较了两个引人注目的分布式机器学习方法的分裂学习和联邦学习的通信效率。我们展示了有用的设置下，每种方法优于其他方面的通信效率。我们考虑分布式学习设置的各种实际场景，并将这两种方法在各种现实生活中的场景下并列。我们考虑了小客户端和大客户端数量以及小模型（1 M-6 M参数），大模型（10 M-200 M参数）和超大模型（10亿-1000亿参数）的设置。我们发现，增加客户端的数量或增加模型的大小有利于分裂学习设置联邦，而增加数据样本的数量，同时保持客户端的数量或模型的大小低，使联邦学习更有效的沟通。
2019-09-18 cs.DC cs.LG stat.ML
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Federated Learning on Riemannian Manifolds
University of California, Davis（加州大学戴维斯分校）
联邦学习（FL）在基于智能手机APP的机器学习应用中有着重要的应用。虽然许多算法已经研究了FL，据我们所知，算法FL与非凸约束尚未研究。本文研究了黎曼流形上的FL，发现了联邦PCA和联邦kPCA等重要应用。提出了一种求解黎曼流形上联邦优化问题的黎曼联邦SVRG（RFedSVRG）方法.我们分析了它在不同情况下的收敛速度。数值实验进行比较RFedSVRG与黎曼对口的FedAvg和FedProx。我们观察到，从数值实验的RFedSVRG的优势是显着的。
2022-06-12 cs.LG math.OC
Federated Causal Inference: Multi-Study ATE Estimation beyond Meta-Analysis
Inria（法国国家信息与自动化研究所）；Université de Montpellier（蒙彼利埃大学）
本研究提出联邦因果推断框架，比较元分析、单轮及多轮联邦学习三类ATE估计器，推导线性模型下的渐近方差，为不同场景提供选择指导，并经模拟验证。
2025-03-25 cs.LG math.ST stat.ML
Subspace Optimization for Efficient Federated Learning under Heterogeneous Data
Peking University（北京大学）；Beihang University（北航）
本文提出子空间优化方法SSF，通过低维子空间进行异构性校正优化，降低通信和内存开销，实现非渐近收敛率和异构数据下的高效联邦学习。
2026-04-28 cs.LG math.OC
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近，出现了一种新的联邦学习算法范例--联邦蒸馏（Federated Distillation，FD），它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出，在中央服务器和参与的客户端之间，在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法，如联合平均（FA），通信与联合训练的模型的大小成比例，在FD通信中与蒸馏数据集大小成比例，导致有利的通信属性，特别是当训练大模型时。在这项工作中，我们调查FD从通信效率的角度来看，通过分析的影响，积极蒸馏数据整理，软标签量化和增量编码技术。基于从这种分析中收集的见解，我们提出了压缩联合蒸馏（CFD），一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明，我们的方法可以减少必要的通信量，以实现固定的性能目标超过两个数量级，相比FD和超过四个数量级相比，FA。
2020-12-01 cs.AI cs.LG stat.ML
FedHeN: Federated Learning in Heterogeneous Networks
Boston University（波士顿大学）
我们提出了一个新的训练配方联邦学习与异构网络，其中每个设备可以有不同的架构。我们将训练与一个侧面目标引入到更高复杂性的设备中，以在联合设置中联合训练不同的架构。我们的经验表明，我们的方法提高了不同架构的性能，并导致高通信节省相比，国家的最先进的方法。
2022-07-07 cs.DC cs.LG
Federated Learning Algorithms for Generalized Mixed-effects Model (GLMM) on Horizontally Partitioned Data from Distributed Sources
UTHealth（德克萨斯大学休斯顿健康科学中心）；University of Pennsylvania（宾夕法尼亚大学）；University of Manitoba（曼尼托巴大学）
目的：本文开发了两种算法来实现联邦广义线性混合效应模型（GLMM），并比较了所开发的模型的结果彼此，以及从标准R包（`lme 4 '）。研究方法：GLMM的对数似然函数用两种数值方法（拉普拉斯近似和高斯埃尔米特近似）来近似，支持GLMM的联邦分解，将计算量带到数据上。结果如下：我们开发的方法可以处理GLMM，以适应分层数据与多个非独立的观察水平，在联邦设置。实验结果表明，与模拟和真实世界的数据相当（拉普拉斯）和优越的（高斯-厄米特）性能。结论：我们开发并比较了具有不同近似值的联邦GLP-D，这可以支持研究人员分析生物医学数据，以适应混合效应并解决由于分层结构（即，机构、地区、国家等）。
2022-06-07 cs.LG stat.ML
Federated Learning of Neural ODE Models with Different Iteration Counts
Keio University（庆应义塾大学）
本文提出一种基于神经ODE模型的灵活联邦学习方法，可聚合不同迭代次数或深度的模型，减少通信开销，并在CIFAR-10上相比ResNet降低通信量达92.4%。
2023-09-05 cs.DC cs.LG
Applied Federated Learning: Improving Google Keyboard Query Suggestions
Google（谷歌）
联邦学习是机器学习的一种分布式形式，其中训练数据和模型训练都是分散的。在本文中，我们使用联邦学习在商业，全球规模的设置训练，评估和部署一个模型，以提高虚拟键盘搜索建议的质量，而无需直接存取底层用户数据。我们描述了我们在联合训练中的观察结果，将指标与实时部署进行比较，并提出了由此产生的质量提高。总之，我们展示了如何端到端地应用联邦学习来改善用户体验并增强用户隐私。
2018-12-07 cs.LG stat.ML
Multi-objective Evolutionary Federated Learning
University of Surrey（萨里大学）
联邦学习是一种新兴的技术，用于防止私人信息的泄漏。与需要从用户收集数据并将其集中存储在云服务器上的集中式学习不同，联邦学习可以在数据分布在用户设备上的同时学习全局模型。然而，与传统的集中式方法相比，联邦设置消耗了大量的客户端通信资源，这是更新全局模型所不可或缺的，并阻碍了该技术的广泛应用。在本文中，我们的目标是使用多目标进化算法优化联邦学习中的神经网络模型的结构，同时最小化通信成本和全局模型测试误差。一种用于编码网络连接性的可扩展方法适用于联邦学习，以提高进化深度神经网络的效率。在多层感知器和卷积神经网络上的实验结果表明，所提出的优化方法能够找到优化的神经网络模型，与标准的全连接神经网络相比，不仅能够显著降低通信开销，而且能够提高联邦学习的学习性能.
2019-06-08 cs.AI cs.LG stat.ML
Federated Pruning: Improving Neural Network Efficiency with Federated Learning
Emory University（埃默里大学）；Google LLC（谷歌有限责任公司）
自动语音识别模型需要大量的语音数据进行训练，而这些数据的收集往往会导致隐私问题。联邦学习已经被广泛使用，并且被认为是一种有效的分散技术，通过协作学习共享的预测模型，同时将数据保持在不同客户端设备上的本地。然而，客户端设备上有限的计算和通信资源为大型模型带来了实际困难。为了克服这些挑战，我们提出了联邦修剪训练联邦设置下的简化模型，同时保持类似的性能相比，完整的模型。此外，与集中式训练相比，还可以利用大量的客户端数据来改善修剪结果。我们探索不同的修剪方案，并提供我们的方法的有效性的经验证据。
2022-09-14 cs.AI cs.LG
Federated Multi-Task Learning
Stanford（斯坦福大学）；USC（南加利福尼亚大学）；CMU（卡内基梅隆大学）
联邦学习在设备的分布式网络上训练机器学习模型时提出了新的统计和系统挑战。在这项工作中，我们证明了多任务学习自然适合处理这种设置的统计挑战，并提出了一种新的系统感知优化方法，MOCHA，对实际系统问题具有鲁棒性。我们的方法和理论第一次考虑分布式多任务学习的高通信成本，掉队者，和容错的问题。由此产生的方法实现了显着的加速比替代品在联邦设置，我们通过模拟真实世界的联邦数据集。
2018-02-27 cs.LG stat.ML
A Federated F-score Based Ensemble Model for Automatic Rule Extraction
Everbright Technology Co. LTD（光大科技有限公司）
在本文中，我们提出了一个联邦的F-分数为基础的集成树模型的自动规则提取，即Fed-FEARE。在数据隐私保护的前提下，Fed-FEARE使多个机构能够纵向和横向地联合提取规则集。与没有联邦学习的情况相比，模型性能的评价指标得到了很大的提高。目前，Fed-FEARE已在中国某全国性金融控股集团应用于反欺诈、精准营销等多项业务。
2020-07-17 cs.LG stat.ML
A Large-Dimensional Analysis of Least-Squares Federated Learning via Generalized Total Variation Minimization
Aalto University（阿尔托大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
该研究针对结合最小二乘模型的广义总变分最小化，通过高维分析揭示联邦学习中协作与偏差的权衡，利用随机矩阵理论推导性能表达式并经实验验证，为异构节点联邦学习的正则化平衡提供理论支撑。
2026-10-15 cs.LG stat.ML
Federated Learning with Nesterov Accelerated Gradient
联邦学习（FL）是一种快速发展的技术，允许多个工作人员训练基于分布式数据集的全局模型。传统的FL（FedAvg）采用梯度下降算法，其效率可能不够。Momentum能够通过添加额外的动量步骤来加速收敛，从而改善这种情况，并且已经在集中式和FL环境中证明了其优势。众所周知，Nesterov加速梯度（NAG）是一种更有利的动量形式，但目前尚不清楚如何量化NAG在FL中的好处。这促使我们提出FedNAG，它在每个工作者中使用NAG，以及在聚合器中使用NAG动量和模型聚合。我们提供了一个详细的收敛性分析FedNAG，并比较它与FedAvg。基于真实世界数据集和跟踪驱动的仿真进行了大量的实验，表明FedNAG在广泛的设置下，与基准相比，学习精度提高了3-24%，总训练时间减少了11-70%。
2022-10-26 cs.DC cs.LG stat.ML
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University（清华大学）；Jilin University（吉林大学）；Peng Cheng Laboratory（鹏城实验室）
对数据隐私和安全性的新担忧激发了联邦学习的提出，它允许节点只同步本地训练的模型，而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计，依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而，在现实世界的联邦学习场景中，节点之间的网络容量是高度均匀分布的，并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中，我们提出了一个模型段级分散联邦学习来解决这个问题。特别是，我们提出了一种分段的流言方法，它不仅充分利用了节点到节点的带宽，而且具有良好的训练收敛性。实验结果表明，与集中式联邦学习相比，即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data
Sungkyunkwan University（成均馆大学）
本文提出FedCKA框架，通过CKA识别神经网络重要层并施加逐层正则化，在异构数据联邦学习中超越现有方法，同时提升效率与可扩展性。
2021-12-01 cs.AI cs.DC cs.LG
FedCal: Achieving Local and Global Calibration in Federated Learning via Aggregated Parameterized Scaler
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（矢量研究院）
针对联邦学习中数据异构导致的模型校准问题，提出FedCal方法，利用客户端专属缩放器实现局部校准，并通过权重平均聚合生成全局缩放器，显著降低全局校准误差。
2024-06-04 cs.DC cs.LG
Pretraining Federated Text Models for Next Word Prediction
University of Washington（华盛顿大学）
联邦学习是一种在分布式设备上训练模型的分散方法，通过总结本地变化并将聚合参数从本地模型发送到云端，而不是数据本身。在这项研究中，我们采用了迁移学习的思想来进行下一个词预测（NWP）的联邦训练，并进行了一些实验，证明了对联邦NWP模型已经成功的当前基线的增强。具体来说，我们将随机初始化模型的联邦训练基线与预训练方法的各种组合进行比较，包括预训练的词嵌入和整个模型预训练，然后在Stack Overflow帖子数据集上对NWP进行联邦微调。我们使用预训练的嵌入实现性能提升，而不会加剧所需的训练轮数或内存占用。我们还观察到使用集中预训练网络的显着差异，特别是取决于所使用的数据集。我们的研究为联邦NWP提供了有效而廉价的改进，并为联邦学习的迁移学习技术的更严格实验铺平了道路。
2020-08-17 cs.LG stat.ML
Sharp Gaussian approximations for Decentralized Federated Learning
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
本文提出两种广义Gaussian近似结果，用于局部SGD，以提供更稳健的统计保证，并通过模拟验证理论结果。
2026-05-07 cs.LG math.ST stat.ML
Mix2FLD: Downlink Federated Learning After Uplink Federated Distillation With Two-Way Mixup
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Research, Samsung Electronics（三星电子三星研究院）；University of Oulu（奥卢大学）
这封信提出了一种新的通信高效和隐私保护的分布式机器学习框架，称为Mix 2FLD。为了解决上行链路-下行链路容量不对称，本地模型输出在上行链路中被上传到服务器，如在联合蒸馏（FD）中，而全局模型参数在下行链路中被下载，如在联邦学习（FL）中。这需要在从设备收集额外的数据样本后，在服务器上进行模型输出到参数的转换。为了在不影响准确性的同时保护隐私，上传线性混合的本地样本，并在服务器上的不同设备上反向混合。数值评估表明，Mix 2FLD实现高达16.7%的测试精度提高，同时减少收敛时间高达18.8%，在不对称的上行链路-下行链路信道相比，FL。
2020-06-17 cs.LG stat.ML
FedPop: A Bayesian Approach for Personalised Federated Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Criteo AI Lab（Criteo人工智能实验室）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Ecole Polytechnique（巴黎综合理工学院）
个性化联邦学习（FL）旨在协作学习为每个客户端定制的机器学习模型。尽管在这个方向上已经取得了令人鼓舞的进展，但大多数现有方法都不允许不确定性量化，而不确定性量化在许多应用中至关重要。此外，跨设备设置中的个性化仍然涉及重要问题，特别是对于新客户或观察次数较少的客户。本文旨在填补这些空白。为此，我们提出了一种新的方法FedPop重塑个性化FL到人口建模范式，客户端的模型涉及固定的共同人口参数和随机效应，旨在解释数据的异质性。为了获得我们的计划的收敛保证，我们引入了一类新的联邦随机优化算法，它依赖于马尔可夫链蒙特卡罗方法。与现有的个性化FL方法相比，所提出的方法具有重要的优点：它对客户端漂移具有鲁棒性，对于新客户端的推断具有实用性，最重要的是，能够在温和的计算和内存开销下进行不确定性量化。我们提供了非渐近收敛保证所提出的算法，并说明其性能的各种个性化的联邦学习任务。
2023-01-26 cs.LG stat.ME stat.ML
CSAFL: A Clustered Semi-Asynchronous Federated Learning Framework
College of Computer Science, Chongqing University（重庆大学计算机学院）
针对同步联邦学习的掉队者效应与异步联邦学习的模型质量下降等问题，本文提出聚类半异步联邦学习CSAFL框架，在非IID非平衡数据集上实现了准确率的显著提升。
2021-04-16 cs.DC cs.LG
Global Update Guided Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory of System Control and Information Processing, Ministry of Education of China（中国教育部系统控制与信息处理重点实验室）；Shanghai Engineering Research Center of Intelligent Control and Management（上海智能控制与管理工程技术研究中心）；Shanghai Dianji University（上海电机学院）
联邦学习通过交换模型而不是数据来保护数据隐私和安全。然而，参与客户端之间的不平衡数据分布损害了联邦学习算法的准确性和收敛速度。为了缓解这个问题，不同于以往的研究，限制局部模型的更新距离，我们提出了全球更新引导的联邦学习（FedGG），它引入了一个模型余弦损失到局部目标函数，使局部模型可以适应局部数据分布的指导下，全球模型的更新方向。此外，考虑到全局模型的更新方向在训练的早期阶段是有用的，我们提出了基于局部模型更新距离的自适应损失权重。数值仿真结果表明，与其他先进算法相比，FedGG算法在模型收敛精度和速度上都有显著提高。此外，与传统的固定损失权重相比，自适应损失权重使我们的算法更稳定，更容易在实践中实现。
2022-04-08 cs.DC cs.LG
Federated Learning via Inexact ADMM
Beijing Jiaotong University（北京交通大学）；Imperial College London（伦敦帝国理工学院）
本文针对联邦学习优化效率问题，提出一种非精确ADMM算法，在温和条件下实现收敛，兼具计算与通信效率并能对抗滞后效应，数值性能优于现有主流联邦学习算法。
2023-09-24 cs.LG math.OC
Federated Soft Clustering via Generalized Total Variation Minimization
Aalto University（阿尔托大学）
针对联邦学习中各设备持有私有数据并拟合个性化高斯混合模型的软聚类问题，提出广义全变差最小化框架，比较三种差异度量，并给出优化算法与收敛保证，评估了对数据异质性的鲁棒性。
2026-09-18 cs.LG stat.ML
Ground-Assisted Federated Learning in LEO Satellite Constellations
针对LEO巨型星座中卫星需在不共享本地数据的情况下协同训练模型的问题，提出基于FedAvg的新型异步联邦学习算法，实验证明其收敛更快、渐近测试准确率更优。
2021-12-16 cs.LG eess.SP
On-the-fly Resource-Aware Model Aggregation for Federated Learning in Heterogeneous Edge
Princeton University（普林斯顿大学）；Purdue University（普渡大学）
边缘计算以其灵活、安全和性能特点彻底改变了移动和无线网络世界。最近，我们见证了越来越多地使用它来更好地部署机器学习（ML）技术，如联邦学习（FL）。FL的首次亮相是为了提高通信效率相比，传统的分布式机器学习（ML）。原始FL假设一个中央聚合服务器来聚合本地优化的参数，可能会带来可靠性和延迟问题。在本文中，我们进行了深入的研究策略，以取代这个中央服务器的飞行大师，是动态选择的基础上，当前的参与者和/或可用的资源，在每一个FL轮的优化。具体来说，我们比较不同的指标来选择这个飞行大师和评估共识算法来执行选择。我们的结果表明，与在EdgeAI测试平台和使用可操作边缘测试平台的真实5G网络中进行的测量结果相比，使用我们的飞行大师FL框架的运行时间显着减少。
2021-12-21 cs.DC cs.LG
Learn Electronic Health Records by Fully Decentralized Federated Learning
University of Minnesota（明尼苏达大学）；IQVIA（艾昆纬）
联邦学习在星型网络中的分布式训练问题中具有很高的通信效率，这为联邦学习提供了许多研究机会。在本文中，我们专注于提高通信效率的完全分散的联邦学习在一个图，该算法执行本地更新几次迭代，然后使节点之间的通信。这样，在不损失解的最优性的情况下，可以显著地节省交换参数的共同兴趣的通信回合。基于大型真实世界电子健康记录数据库的多个数值模拟显示了分散式联邦学习与经典方法相比的优越性。
2019-12-10 cs.LG cs.NE stat.ML
Hierarchical Federated Learning with Momentum Acceleration in Multi-Tier Networks
在本文中，我们提出了具有动量加速的分层联邦学习（HierMo），这是一种三层工作边缘云联邦学习算法，它将动量应用于训练加速。动量在三个层次中计算和汇总。我们提供HierMo的收敛性分析，显示O（1/T）的收敛速度。在分析中，我们开发了一种新的方法来表征模型聚合，动量聚合，以及它们之间的相互作用。在此基础上，{我们证明了HierMo比没有动量的HierFAVG有更紧的收敛上界}。我们还提出了HierOPT，它优化了聚合周期（工人边缘和边缘云聚合周期），以在有限的训练时间内最大限度地减少损失。
2022-10-26 cs.DC cs.LG
Federated learning with hierarchical clustering of local updates to improve training on non-IID data
Keele University（基尔大学）
联邦学习（FL）是一种在大规模分布式数据上执行机器学习任务的成熟方法。然而，在数据以非iid（非独立和相同分布）方式分布的设置中-这在现实世界中是典型的-与iid数据上的训练相比，FL产生的联合模型在测试集准确性和/或通信成本方面受到影响。我们发现，在某些类型的非iid数据存在的情况下，学习单个联合模型往往不是最佳的。在这项工作中，我们提出了一个修改FL通过引入一个层次聚类步骤（FL+HC）来分离集群的客户端的相似性，他们的本地更新的全球联合模型。一旦分离，集群将在专门的模型上独立和并行地进行训练。我们提出了一个强大的经验分析的超参数FL+HC几个iid和非iid设置。我们展示了FL+HC如何允许模型训练在更少的通信回合中收敛（在某些非iid设置下显着），而FL没有聚类。此外，FL+HC允许更大比例的客户端达到目标精度相比，标准FL。最后，我们提出了良好的默认超参数，以促进卓越的性能专业化模型，而无需修改底层的联邦学习通信协议的建议。
2020-05-06 cs.LG stat.ML
Incentive-Aware Federated Averaging with Performance Guarantees under Strategic Participation
Department of Industrial and Systems Engineering, Rutgers University（工业与系统工程系，罗格斯大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出一种激励感知联邦平均方法，通过客户端传输模型参数和数据集大小，利用纳什均衡规则动态调整数据集规模，确保在凸和非凸目标下实现性能保证，并在单调博弈下实现福利损失最小化。
2026-05-17 cs.LG math.OC
Network Adaptive Federated Learning: Congestion and Lossy Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了实现分布式数据的隐私和学习的双重目标，联邦学习（FL）系统依赖于一组客户端和服务器之间频繁交换大文件（模型更新）。因此，FL系统暴露于跨广泛的网络资源集合的拥塞，或者实际上是跨广泛的网络资源集合的拥塞的原因。有损压缩可用于减少交换文件的大小和相关延迟，代价是向模型更新添加噪声。通过明智地调整客户端的压缩以适应不同的网络拥塞，FL应用程序可以减少挂钟训练时间。为此，我们提出了一个网络自适应压缩（NAC-FL）的政策，它动态地改变客户端的有损压缩选择网络拥塞的变化。在适当的假设下，我们证明了NAC-FL在直接最小化预期挂钟训练时间方面是渐近最优的。此外，我们通过模拟表明，NAC-FL实现了鲁棒的性能改进，在设置中具有更高的增益与时间上的正相关延迟。
2023-01-11 cs.LG cs.NI math.PR
Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information
Politecnico di Torino（都灵理工大学）
该研究针对联邦学习中缺乏利用客户端统计相似性优化方法的问题，提出基于相似图的带扰动局部梯度步框架，理论和实验均证明其相比FedAvg、FedProx能加速收敛并提升泛化性。
2024-10-07 cs.LG math.OC
Row-wise Fusion Regularization: An Interpretable Personalized Federated Learning Framework in Large-Scale Scenarios
Department of Statistics, University of Science and Technology of China（统计系，中国科学技术大学）
针对多变量响应个性化联邦学习中的异构建模与结构共享问题，提出 SROF 正则化和 RowFed 算法，实现可解释的行级聚类、稀疏恢复、收敛保证及更优预测性能。
2025-10-19 cs.LG stat.ML
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
The Hong Kong University of Science and Technology（香港科技大学）；Southeast University（东南大学）
针对异构客户端下FedAvg同步慢的问题，提出异步联邦学习框架DeFedAvg，允许客户端按自身节奏使用陈旧模型训练，在保证收敛速率的同时首次实现线性加速。
2024-02-17 cs.DC cs.LG
Minimax Demographic Group Fairness in Federated Learning
University College London（伦敦大学学院）；Duke University（杜克大学）；Apple Inc.（苹果公司）
联邦学习是一种越来越流行的范例，它使大量实体能够协作学习更好的模型。在这项工作中，我们研究了在联邦学习场景中的极大极小组公平性，在这种场景中，不同的参与实体在训练阶段可能只能访问人口组的一个子集。我们正式分析了我们提出的组公平性目标与现有的联邦学习公平性标准的不同之处，这些标准在参与者而不是人口统计组之间施加类似的性能。我们提供了一个优化算法- FedMinMax -解决所提出的问题，证明享有集中式学习算法的性能保证。我们通过实验将所提出的方法与其他最先进的方法在各种联邦学习设置中的组公平性进行比较，表明我们的方法具有竞争力或优越的性能。
2022-01-25 cs.DC cs.LG
Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Korea Advanced Institute of Science and Technology（韩国科学技术院）
联邦学习已经成为协作机器学习的一种新范式;然而，它也面临着一些挑战，例如非独立同分布（IID）数据和高通信成本。为此，我们提出了一种新的框架，IID和通信感知组联邦学习，同时最大限度地提高准确性和通信速度分组节点的基础上的数据分布和物理位置的节点。此外，我们提供了一个正式的收敛性分析和一个有效的优化算法称为FedAvg-IC。实验结果表明，与现有算法相比，FedAvg-IC测试精度提高了22.2%，同时通信时间缩短了12%。
2020-12-09 cs.DC cs.LG
Online federated learning framework for classification
School of Mathematics, Statistics and Actuarial Science, University of Essex（埃塞克斯大学数学、统计与精算科学学院）；Yunnan University（云南大学）；Department of Mathematical and Statistical Sciences, University of Alberta（阿尔伯塔大学数学与统计科学系）；School of Mathematics, Statistics and Physics, Newcastle University（纽卡斯尔大学数学、统计与物理学院）
本文提出一种面向分类的在线联邦学习框架，结合广义距离加权判别技术与基于Majorization-Minimization原理的优化算法，兼具隐私保护、计算高效的优势，在理论与实验上均验证了有效性。
2025-03-19 cs.LG stat.ML
FedControl: When Control Theory Meets Federated Learning
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
迄今为止，最流行的联邦学习算法使用模型参数的坐标平均。我们通过根据本地学习的表现及其演变来区分客户的贡献，从而偏离了这种方法。该技术的灵感来自控制理论，其分类性能进行了广泛的评估，在IID框架，并与FedAvg。
2022-05-27 cs.LG
QUIC-FL: Quick Unbiased Compression for Federated Learning
University College London（伦敦大学学院）；VMware Research（威睿研究院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Harvard University（哈佛大学）
针对联邦学习中基础模块分布式均值估计（DME）的通信效率问题，提出QUIC-FL方法，通过新颖的问题形式化结合现成数学求解器设计量化方案，渐近提升已有最优NMSE保证的DME技术的编解码复杂度。
2023-06-11 cs.AI cs.DS cs.LG
FedOS: using open-set learning to stabilize training in federated learning
联邦学习是一种在分布式数据集上训练统计模型而不违反隐私约束的最新方法。数据局部性原则通过在客户端和服务器之间共享模型而不是数据来保持。这带来了许多好处，但也带来了新的挑战。在本报告中，我们将探索这一新的研究领域，并进行几个实验，以加深我们对这些挑战的理解，以及不同的问题设置如何影响最终模型的性能。最后，我们提出了一种新的方法来应对这些挑战之一，并将其与文献中的其他方法进行比较。
2022-08-26 cs.LG stat.ML
Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.（百度公司）
联邦学习是一种新的分布式学习机制，它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练，而不会共享或泄漏原始数据。根据数据分发的特点，通常可以将其分为三大类：水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中，我们提出了一种解决方案，用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比，第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上，目的是在大容量训练数据的情况下，通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能，实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
Towards Federated Learning with On-device Training and Communication in 8-bit Floating Point
Texas A&M University（德克萨斯大学）；Arm（恩智浦）；Lund University（隆德大学）
本研究针对联邦学习场景，提出结合客户端FP8训练与服务器端FP32全局模型的新方法，在保证模型精度的同时实现至少2.9倍的通信量降低，并提供了收敛性分析。
2025-07-30 cs.DC cs.LG
Semi-Federated Learning for Collaborative Intelligence in Massive IoT Networks
Beijing University of Posts and Telecommunications（北京邮电大学）
在大规模物联网（IoT）网络中实施现有的联邦学习面临着关键挑战，例如不平衡和统计异构数据以及设备多样性。为此，我们提出了一个半联邦学习（SemiFL）框架，为实现智能物联网提供了一个潜在的解决方案。通过无缝集成集中式和联合式范例，我们的SemiFL框架在物联网设备数量方面显示出高度的可扩展性，即使在存在计算有限的传感器的情况下也是如此。此外，与传统的学习方法相比，由于边缘服务器和本地设备之间的协作模型训练，所提出的SemiFL可以更好地利用分布式数据和计算资源。仿真结果显示了我们的SemiFL框架对大规模物联网网络的有效性。代码可以在https://github.com/niwanli/SemiFL_IoT上找到。
2023-03-09 cs.DC cs.LG
Federated Learning Meets Multi-objective Optimization
University of Waterloo（滑铁卢大学）；Amazon Advertising（亚马逊广告）；Huawei Noah Ark’s Lab（华为诺亚方舟实验室）
联邦学习已经成为一种有前途的大规模分布式方式，可以在大量边缘设备上训练联合深度模型，同时将私有用户数据严格保存在设备上。在这项工作中，出于确保用户之间的公平性和对恶意对手的鲁棒性，我们制定了联邦学习多目标优化，并提出了一个新的算法FedMGDA+，保证收敛到Pareto平稳的解决方案。FedMGDA+易于实现，需要调整的超参数较少，并且不会牺牲任何参与用户的性能。我们建立了FedMGDA+的收敛特性，并指出其与现有方法的联系。在各种数据集上进行的广泛实验证实，FedMGDA+与最先进的相比是有利的。
2023-01-23 cs.LG stat.ML
Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
我们引入了一个框架- Artemis -来解决在分布式或联邦设置与通信约束和设备部分参与的学习问题。几个工人（随机抽样）使用中央服务器执行优化过程，以聚合他们的计算。为了减轻通信成本，Artemis允许压缩在两个方向（从工作者到服务器，反之亦然）发送的信息，并结合内存机制。它改进了现有的算法，这些算法只考虑单向压缩（到服务器），或者对压缩算子使用非常强的假设，并且通常不考虑设备的部分参与。我们提供快速的收敛速度（线性阈值）弱假设下的随机梯度（噪声的方差界仅在最佳点）在非独立同分布。设置，突出显示单向和双向压缩的内存影响，分析Polyak-Ruppert平均值。我们使用收敛分布，以获得一个下限的渐近方差，突出了实际的限制压缩。我们提出了两种方法来解决具有挑战性的情况下，设备部分参与，并提供实验结果来证明我们的分析的有效性。
2022-06-19 cs.LG stat.ML
FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning
IBM Research（IBM研究院）
我们解决了相对未探索的问题超参数优化（HPO）的联邦学习（FL-HPO）。我们介绍了联邦损失表面聚合（FLoRA），这是第一个FL-HPO解决方案框架，除了FL文献中常见的随机梯度下降/神经网络之外，还可以解决表格数据和梯度提升训练算法的用例。该框架通过首先识别用于 ** 单个 ** FL训练的一组良好的超参数来实现单次FL-HPO。因此，与没有HPO的FL训练相比，它使FL-HPO解决方案具有最小的额外通信开销。我们在七个OpenML数据集上对梯度提升决策树的FLoRA进行的实证评估表明，在考虑的基线上，模型准确性有了显着的提高，并且对参与FL-HPO训练的各方数量的增加具有鲁棒性。
2021-12-15 cs.DC cs.LG
Efficient Client Selection in Federated Learning
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出一种结合差分隐私与容错机制的自适应联邦学习客户端选择框架，在UNSW-NB15和ROAD数据集上实现准确率提升7%且训练时间减少25%。
2025-01-25 cs.AI cs.DC cs.LG
