Efficient Federated RLHF via Zeroth-Order Policy Optimization
University of Michigan（密歇根大学）
本文提出一种高效联邦RLHF算法Par-S$^2$ZPO，通过零阶优化和二进制扰动降低通信、计算和内存复杂度，理论分析证明其在样本复杂度上与集中式方法相当，但策略更新迭代更快，在MuJoCo任务中表现更优。
2026-04-20 cs.LG
Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies
Carnegie Mellon University（卡内基梅隆大学）
联邦学习是一种分布式优化范例，它使大量资源有限的客户端节点能够在没有数据共享的情况下协作训练模型。有几篇文章分析了联邦学习的收敛性，包括数据异构性、通信和计算限制以及部分客户端参与。然而，他们假设客户的参与是无偏见的，客户是随机选择的，或者是按照数据大小的比例选择的。在本文中，我们提出了第一个有偏见的客户端选择策略的联邦优化的收敛性分析，并量化选择偏见如何影响收敛速度。我们发现，偏置客户端的选择对客户端具有较高的本地损失实现更快的误差收敛。利用这一洞察力，我们提出了选择的力量，一个通信和计算效率的客户端选择框架，可以灵活地跨越收敛速度和解决方案之间的权衡。我们的实验表明，权力的选择策略收敛到3 $\times$更快，并给出$10$ %的测试精度比基线随机选择。
2020-10-03 cs.DC cs.LG stat.ML
Optimizing Quantum Federated Learning Based on Federated Quantum Natural Gradient Descent
Fudan University（复旦大学）；Georgia Institute of Technology（佐治亚理工学院）；Northwestern Polytechnical University（西北工业大学）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗-CEU大学）
量子联邦学习（QFL）是经典联邦学习模型在多个本地量子设备上的量子扩展。一个有效的优化算法总是期望最小化不同量子参与者之间的通信开销。在这项工作中，我们提出了一个有效的优化算法，即联邦量子自然梯度下降（FUNDERGED），并进一步将其应用到QFL框架，这是由一个变分量子线路（VQC）为基础的量子神经网络（QNN）。与Adam和Adagrad等随机梯度下降方法相比，该算法允许更少的训练迭代以使QFL收敛。此外，它可以显着减少本地量子设备之间的总通信开销。我们在手写体数字分类数据集上的实验证明了QFL框架的ONUNGD在训练集上更快的收敛速度和测试集上更高的准确性方面的有效性。
2023-02-27 cs.LG quant-ph
Federated Quantum Natural Gradient Descent for Quantum Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
量子联合学习（QFL）的核心与跨多个本地量子设备的分布式学习架构相关联，并且QFL的更有效的训练算法有望最大限度地减少不同量子参与者之间的通信开销。在这项工作中，我们提出了一个有效的学习算法，即联邦量子自然梯度下降（FUNDERED），应用于QFL框架，该框架由变分量子线路（VQC）为基础的量子神经网络（QNN）。该算法允许更少的训练迭代以使QFL模型收敛，并且它可以显着降低本地量子设备之间的总通信成本。与其他联邦学习算法相比，我们在手写体数字分类数据集上的实验证实了QFL的ARNGD算法在训练数据集上的收敛速度更快，在测试数据集上的准确率更高。
2022-08-15 cs.DC cs.LG quant-ph
Hierarchical Over-the-Air Federated Edge Learning
Bilkent University（比尔肯特大学）；Imperial College London（伦敦帝国理工学院）
考虑了无线通信信道上的联邦学习（FL），具体地，空中（OTA）模型聚合框架。在OTA无线设置中，可以通过增加执行模型聚合的参数服务器（PS）处的接收天线的数量来减轻不利的信道影响。然而，OTA FL的性能受到位于远离PS的移动用户（MU）的存在的限制。在本文中，为了减轻这一限制，我们提出了分层的空中联邦学习（HOTAFL），它利用中间服务器（IS）附近的MU形成集群。我们提供了一个收敛性分析，并通过理论和实验结果表明，在每个集群的局部聚合之前，全局聚合导致更好的性能和更快的收敛比OTA FL。
2021-12-21 cs.DC cs.LG
On the Convergence of Federated Averaging with Cyclic Client Participation
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；HKUST（香港科技大学）
联邦平均（Federated Averaging，FedAvg）及其变体是联邦学习（Federated Learning，FL）中最流行的优化算法。以前的FedAvg收敛分析要么假设完全的客户端参与，要么假设部分客户端参与，其中客户端可以被统一采样。然而，在实际的跨设备FL系统中，在给定时间，只有满足本地标准（例如电池状态、网络连接和最大参与频率要求（以确保隐私））的客户端的子集可用于训练。因此，客户端可用性遵循自然的循环模式。我们提供（据我们所知）的第一个理论框架来分析FedAvg与循环客户端参与的收敛与几个不同的客户端优化器，如GD，SGD和洗牌SGD。我们的分析发现，循环的客户端参与可以实现更快的渐近收敛速度比香草FedAvg与均匀的客户端参与在适当的条件下，客户端采样协议的设计提供了有价值的见解。
2023-02-06 cs.DC cs.LG
Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data
JD Finance America Corporation（京东金融美国公司）；School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Computer Science Department, Western University（西安大略大学计算机科学系）；University of Pittsburgh（匹兹堡大学）
在许多现实世界的数据采掘和机器学习应用程序中，数据由多个提供者提供，每个提供者都维护关于公共实体的不同特征集的私有记录。传统的数据采掘和机器学习算法很难有效地训练训练这些垂直划分的数据，同时又能保证数据的隐私性。在本文中，我们专注于非线性学习与核，并提出了一个联邦双随机核学习（FDSKL）算法垂直分区数据。具体来说，我们使用随机特征来近似核映射函数，并使用双随机梯度来更新解决方案，这些都是在没有数据泄露的情况下联合计算的。更重要的是，我们证明了FDSKL具有次线性收敛速度，并且在半诚实假设下能够保证数据的安全性。在各种基准数据集上的大量实验结果表明，FDSKL在处理内核时明显快于最先进的联邦学习方法，同时保持了相似的泛化性能。
2020-08-14 cs.LG stat.ML
Min-Max Optimization Is Strictly Easier Than Variational Inequalities
UPenn（宾夕法尼亚大学）
本文证明在无约束二次目标下，极小-极大问题的一阶算法最优收敛速率严格优于其对应的变分不等式，原因在于极小-极大算法可利用极小与极大变量的不对称性，并通过极值多项式、格林函数和共形映射给出精确刻画。
2025-11-04 cs.DS cs.LG math.OC
FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning
University of Maryland, College Park（马里兰大学帕克分校）
多任务学习（MTL）是一种新颖的框架，可以使用单个共享网络同时学习多个任务，其中每个任务都有其独特的个性化头部网络进行微调。MTL也可以在联邦学习设置中实现，其中任务分布在客户端上。在联邦环境中，由于不同的任务复杂性和数据异构性，由于本地数据集的非iid性质的统计异质性都可以降低系统的学习性能。此外，由于负迁移效应，任务会对彼此的学习表现产生负面影响。为了应对这些挑战，我们提出了FedGradNorm，它使用动态加权方法来规范化梯度范数，以平衡不同任务之间的学习速度。FedGradNorm提高了个性化联邦学习设置中的整体学习性能。我们提供了FedGradNorm的收敛性分析，表明它具有指数收敛速度。我们还进行了多任务面部标志（MTFL）和无线通信系统数据集（RadComDynamic）的实验。实验结果表明，我们的框架可以实现更快的训练性能相比，等权重的策略。除了提高训练速度外，FedGradNorm还补偿了客户端之间的不平衡数据集。
2022-03-24 cs.IT cs.LG eess.SP
Mobility Accelerates Learning: Convergence Analysis on Hierarchical Federated Learning in Vehicular Networks
Beijing Jiaotong University（北京交通大学）；Imperial College London（伦敦帝国理工学院）
针对车联网高移动性场景，本文通过收敛性分析证明设备移动可融合异构边缘数据并加速分层联邦学习，实验显示其在CIFAR-10上最高提升准确率15.1%。
2024-01-18 cs.AI cs.DC cs.LG
Federated Quantum Long Short-term Memory (FedQLSTM)
Virginia Tech（弗吉尼亚理工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出首个集成量子长短期记忆（QLSTM）与时序数据的联邦学习框架FedQLSTM，用于函数逼近，在三个用例中比经典LSTM联邦学习节省25%-33%通信轮次。
2023-12-21 cs.LG cs.NI quant-ph
Class-Grouped Normalized Momentum and Faster Hyperparameter Exploration to Tackle Class Imbalance in Federated Learning
提出FedCGNM客户端优化器，通过类分组归一化动量平衡梯度幅度并降低噪声，结合FedHOO算法高效优化重采样率，在长尾数据集上优于基线方法。
2026-07-03 cs.LG
WAFFLE: Weighted Averaging for Personalized Federated Learning
EPFL（洛桑联邦理工学院）
在联邦学习中，模型个性化是处理客户端异构训练数据的非常有效的策略。我们介绍WAFFLE（加权平均联邦学习），一个个性化的协作机器学习算法，利用随机控制变量更快的收敛。WAFFLE使用客户端更新之间的欧几里德距离来衡量他们的个人贡献，从而最大限度地减少感兴趣的特定代理的个性化模型损失。通过一系列的实验，我们将我们的新方法与最近的两种个性化联邦学习方法-权重侵蚀和APFL-以及两种通用FL方法-联邦平均和SCAFFOLD进行了比较。性能评估使用两个类别的不相同的客户端数据分布-概念转移和标签倾斜-在两个图像数据集（MNIST和CIFAR 10）。我们的实验证明了WAFFLE的相对有效性，因为它实现或提高了精度，收敛速度更快。
2021-12-13 cs.LG
Faster Federated Learning with Decaying Number of Local SGD Steps
University of Exeter（埃克塞特大学）
针对联邦学习中数据异构导致多步本地SGD训练收敛慢且性能受损的问题，提出随训练衰减本地SGD步数K的方法，并从理论和四个基准数据集实验上证明其能提升模型性能并降低时间与计算成本。
2023-05-16 cs.LG
Prototype Helps Federated Learning: Towards Faster Convergence
Kyung Hee University（庆熙大学）
联邦学习（FL）是一种分布式机器学习技术，其中多个客户端合作训练共享模型，而无需交换其原始数据。然而，客户端之间的数据分布的异构性通常会导致模型推理效果不佳。本文提出了一种基于原型的联邦学习框架，该框架只需对典型联邦学习过程的最后一次全局迭代进行少量修改，就可以获得更好的推理性能。在最后一次迭代中，服务器聚集从分布式客户端传输的原型，然后将它们发送回本地客户端，以进行各自的模型推理。在两个基线数据集上的实验表明，在不同的异构环境下，我们的建议可以实现更高的准确性（至少1%）和相对有效的通信比两个流行的基线。
2023-03-22 cs.AI cs.LG cs.MM
Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data
York University（约克大学）
联邦学习（FL）是一种分布式学习范式，它使大量资源有限的节点能够在没有数据共享的情况下协作训练模型。非独立同分布（non-i.i.d.）数据样本引起全局和局部目标之间的差异，使得FL模型收敛缓慢。本文提出了最优聚合算法，通过检查局部梯度与全局梯度的关系，识别并排除不利的局部更新，从而找出参与节点在每一轮全局更新中的最优局部更新子集。然后，我们提出了一个概率节点选择框架（FedPNS），根据最优聚合的输出动态地改变每个节点被选择的概率。FedPNS可以优先选择推动模型收敛更快的节点。该设计的无偏性的FedPNS和FedPNS的收敛速度的改善通常采用联邦平均（FedAvg）算法进行了理论分析。实验结果表明，FedPNS在加速FL收敛速度的有效性，相比FedAvg随机节点选择。
2022-02-03 cs.AI cs.LG
FedJAX: Federated learning simulation with JAX
Google Research（谷歌研究院）
联邦学习是一种机器学习技术，可以跨分散的数据进行训练。最近，联邦学习已经成为一个活跃的研究领域，因为人们越来越关注隐私和安全。有鉴于此，各种开源联邦学习库已经开发并发布。我们介绍FedJAX，一个基于JAX的开源库，用于联邦学习模拟，强调研究中的易用性。凭借其用于实现联邦学习算法的简单原语、预打包的数据集、模型和算法以及快速的仿真速度，FedJAX旨在使研究人员更快、更容易地开发和评估联邦算法。我们的基准测试结果表明，FedJAX可用于训练模型，在EMNIST数据集上进行联邦平均只需几分钟，在Stack Overflow数据集上使用TPU使用标准超参数大约需要一个小时。
2021-11-06 cs.LG
FedLion: Faster Adaptive Federated Optimization with Fewer Communication
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）
提出自适应联邦优化算法FedLion，将Lion关键元素融入FL框架，通过符号梯度减少通信开销，在收敛速度和性能上超越现有自适应算法。
2024-02-15 cs.AI cs.LG stat.ML
Applications of Federated Learning in IoT for Hyper Personalisation
针对物联网海量数据未被有效利用的问题，本文探讨利用联邦学习在多客户端上训练模型，以在不集中数据的情况下实现前所未有的超个性化。
2023-09-28 cs.LG
FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems
Eurecat（Eurecat技术中心）；Huawei UK Research Centre（华为英国研究中心）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
本文提出FedFNN算法，通过监督学习利用已采样用户的权重更新预测未采样用户的更新，在联邦推荐系统中实现比领先方法快5倍的训练收敛速度，并在客户端可用性有限时表现更优。
2023-09-14 cs.IR cs.LG
On Global Convergence Rates for Federated Softmax Policy Gradient under Heterogeneous Environments
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院CMAP实验室，法国国家科学研究中心）；Université Paris-Saclay, CNRS, LMO（巴黎萨克雷大学，法国国家科学研究中心，数学与建模实验室）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；LRE EPITA（EPITA 研究与工程实验室）
本文研究了在异构环境中联邦Softmax策略梯度算法的收敛率，证明了其在平均代理价值方面的近优策略收敛，并通过投影类操作符获得了熵正则化策略梯度的首次明确常数收敛率。
2026-04-01 cs.LG
Communication-Efficient Agnostic Federated Learning via Faster Convergence and Compression
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
针对不可知联邦学习通信瓶颈，提出AFL-BR与AFL-Com算法，通过加快收敛和双向压缩降低通信复杂度，实验验证了效率提升。
2026-09-30 cs.LG
Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks
Rice University（莱斯大学）
联邦学习使许多本地设备能够联合训练深度学习模型，而无需共享本地数据。目前，大多数联邦训练方案通过平均局部模型的参数来学习全局模型。然而，这些训练方案中的大多数遭受高的通信成本导致的传输全部本地模型参数。此外，由于不同设备上的类不平衡的非iid数据，直接平均模型参数会导致显著的性能下降。特别是对于涉及极端分类的现实生活中的联邦学习任务，（1）通信成为主要瓶颈，因为模型大小与输出类的数量成比例地增加;（2）极端分类（例如用户推荐）通常具有极不平衡的类和不同设备上的异构数据。为了克服这个问题，我们提出了联邦多标签哈希（FedMLH），它利用标签散列来同时减小模型大小（最多减少3.40倍），包括通信费用（最多减少18.75倍），并实现了更高的准确性（相对精度提高高达35.5%）和更快的收敛速度（最多增加5.5倍），与联邦平均算法相比，在联邦极端分类任务上免费使用。
2021-10-23 cs.LG
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization
Xidian University（西安电子科技大学）；JD Tech（京东科技）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JD Finance America Corporation（京东金融美国公司）；Simon Fraser University（西蒙弗雷泽大学）；University of Pittsburgh（匹兹堡大学）
垂直联邦学习（VFL）是培训新兴跨组织（例如，不同的公司、公司和组织）具有隐私保护的协作学习。随机梯度下降（SGD）方法是训练VFL模型的流行选择，因为每次迭代计算量低。然而，现有的基于SGD的VFL算法是通信昂贵的，由于大量的通信轮。同时，现有的VFL算法大多采用同步计算，严重影响了实际应用中计算资源的利用率。为了解决通信和计算资源利用率的挑战，我们提出了一个异步随机拟牛顿（AsySQN）框架VFL，在此框架下，提出了三个算法，即AsySQN-SGD，-SVRG和-SAGA。所提出的AsySQN型算法通过近似（不显式计算逆Hessian矩阵）Hessian信息来缩放下降步骤，在实践中比基于SGD的方法收敛得更快，从而可以显着减少通信轮数。此外，采用异步计算可以更好地利用计算资源。我们从理论上证明了我们所提出的算法的收敛速度强凸问题。在真实数据集上的大量数值实验表明，与现有的VFL算法相比，该算法具有更低的通信开销和更好的计算资源利用率。
2021-09-26 cs.DC cs.LG
Faster federated optimization under second-order similarity
Princeton University（普林斯顿大学）
本文研究二阶相似性与强凸性下的有限和联邦优化问题，提出SVRP与Catalyzed SVRP两种通信高效的新算法，后者均匀改进现有算法，并提供了对SPPM的新分析。
2023-05-23 cs.LG math.OC stat.ML
Communication-efficient Federated Learning with Single-Step Synthetic Features Compressor for Faster Convergence
Sichuan University（四川大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
降低联邦学习（FL）中的通信开销是一项挑战，但对于大规模分布式隐私保护机器学习至关重要。虽然利用稀疏化或其他方法可以大大降低通信开销，但收敛速度也大大降低。在本文中，我们提出了一种新的方法，命名为单步的【形】合成特征压缩器（3SFC），实现通信效率的FL直接构建一个微小的合成数据集的基础上的原始梯度。因此，当构造的数据集仅包含一个数据样本时，3SFC可以实现极低的压缩率。此外，3SFC的压缩阶段采用了基于相似性的目标函数，因此只需一步就可以优化，从而大大提高了其性能和鲁棒性。此外，为了最大限度地减少压缩误差，误差反馈（EF）也被纳入3SFC。在多个数据集和模型上的实验表明，与压缩率较低（高达0.02%）的竞争方法相比，3SFC具有更好的收敛速度。此外，消融研究和可视化显示，3SFC可以携带更多的信息比竞争的方法，为每一轮的沟通，进一步验证其有效性。
2023-03-19 cs.AI cs.DC cs.LG
Application of federated learning techniques for arrhythmia classification using 12-lead ECG signals
Sapienza University（罗马大学）
本研究采用联邦学习隐私保护方法，基于12导联ECG信号训练深度神经网络和长短期记忆模型进行心律失常分类，在IID和非IID数据上均达到与集中式学习相当的性能，且具有复杂度低、训练快、适合云边架构的优势。
2024-01-05 cs.LG
DPVS-Shapley:Faster and Universal Contribution Evaluation Component in Federated Learning
Software College. Zhejiang University Hangzhou China；Software College. Zhejiang University
本文提出DPVS-Shapley组件，通过动态剪枝数据集加速联邦学习中的Shapley值贡献评估，并通过样本加权奖励能区分困难样本的客户端，实现更快且通用的贡献评估。
2024-10-19 cs.AI cs.CR cs.GT
A Selective Homomorphic Encryption Approach for Faster Privacy-Preserving Federated Learning
A. Korkmaz Dept. of Electrical Engineering \& Computer Science, The University of Missouri, Columbia, USA P. Rao Dept. of Electrical Engineering \& Computer Science, The University of Missouri, Columbia, USA
FAS通过结合选择性同态加密、差分隐私和位操作，实现高效安全的联邦学习，比传统FHE快90%并提升实用性。
2025-06-05 cs.CR cs.DC cs.LG
Certified Robustness in Federated Learning
King Abdullah Univerity of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
联邦学习最近获得了极大的关注和普及，由于其在分布式数据上私下训练机器学习模型的有效性。然而，与单节点监督学习设置一样，在联邦学习中训练的模型容易受到被称为对抗攻击的不可感知的输入转换的影响，质疑它们在安全相关应用中的部署。在这项工作中，我们研究了联邦训练，个性化和认证的鲁棒性之间的相互作用。特别是，我们部署了随机平滑，这是一种广泛使用的可扩展的认证方法，用于认证在联邦设置上训练的深度网络，以防止输入扰动和转换。我们发现，简单的联邦平均技术是有效的，不仅更准确，而且更可靠的鲁棒性模型，相比，训练只在本地数据。我们进一步分析了个性化，这是联邦训练中的一种流行技术，它增加了模型对本地数据的偏见，增强了鲁棒性。我们展示了个性化的几个优势，在构建更强大的模型和更快的训练方面。最后，我们探讨了全局和局部（即个性化）模型混合的鲁棒性，发现局部模型的鲁棒性随着它们偏离全局模型而降低
2022-10-26 cs.LG
FedMuon: Federated Learning with Bias-corrected LMO-based Optimization
Kyoto University（京都大学）；OIST（国际先进科学研究院）；University of Zurich（苏黎世大学）；CISPA（网络安全研究所）；Saarland University（萨尔兰州立大学）
针对直接将Muon用于FedAvg局部优化因LMO有偏无法收敛的问题，提出带偏差校正的FedMuon联邦学习方法，其任意Newton-Schulz迭代次数均可收敛，求解越精确收敛越快，性能优于现有SOTA方法。
2025-09-30 cs.LG math.OC
Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））
针对二阶联邦学习计算存储成本高、通信开销大的问题，提出结合稀疏海森矩阵估计与空中聚合的可扩展二阶FL算法，相比基线方法节省超67%的通信资源与能耗。
2025-01-14 cs.LG
FedFetch: Faster Federated Learning with Adaptive Downstream Prefetching
Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系）；Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程系）
针对联邦学习因客户端采样与压缩结合导致的下行通信瓶颈，提出FedFetch自适应预取策略，可减少端到端训练时间1.26倍、下载时间4.49倍。
2025-04-21 cs.DC cs.LG
FedCluster: Boosting the Convergence of Federated Learning via Cluster-Cycling
University of Utah（犹他大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
本研究提出新型联邦学习框架FedCluster，通过集群循环多轮元更新提升收敛效率，理论和实验均证明其在设备数据异质场景下收敛速度优于传统FedAvg算法。
2020-09-22 cs.LG math.OC stat.ML
Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates
Argonne National Laboratory（阿贡国家实验室）
差分隐私（DP）技术可以应用于联邦学习模型，以统计地保证数据隐私免受推理攻击的学习代理之间的通信。然而，在确保强大的数据隐私的同时，DP技术阻碍了实现更好的学习性能。本文提出了一种用于联邦学习的DP不精确交替方向乘子算法，该算法的目标扰动为Laplace分布的随机噪声。我们表明，我们的算法提供了$\barε$ -DP的每次迭代，其中$\barε$是由用户控制的隐私预算。我们还提出了该算法的收敛性分析。使用MNIST和FEMNIST数据集的图像分类，我们表明，我们的算法减少了测试误差最多$31\%$与现有的DP算法相比，同时实现了相同的数据隐私水平。数值实验也表明，我们的算法收敛速度比现有的算法。
2022-02-18 cs.LG
Differentially Private Federated Learning via Inexact ADMM
Argonne National Laboratory（阿贡国家实验室）；Mathematics and Computer Science Division（数学与计算机科学部）；Lemont, IL 60439（美国伊利诺伊州莱蒙特市（60439））
差分隐私（DP）技术可以应用于联邦学习模型，以保护数据隐私免受推理攻击的学习代理之间的通信。然而，DP技术阻碍了在确保强大的数据隐私的同时实现更好的学习性能。本文提出了一种DP不精确交替方向乘子法，该算法求解目标为随机噪声扰动的子问题。我们表明，我们的算法提供了$\barε$ -DP的每次迭代，其中$\barε$是一个隐私参数由用户控制。使用MNIST和FEMNIST数据集的图像分类，我们表明，我们的算法减少了测试误差最多$22\%$与现有的DP算法相比，同时实现了相同的数据隐私水平。数值实验也表明，我们的算法收敛速度比现有的算法。
2021-10-06 cs.LG
Server Averaging for Federated Learning
University of Florida（佛罗里达大学）；Cognization Lab（认知实验室）
联邦学习允许分布式设备集体训练模型，而无需与中央服务器共享或公开本地数据集。通过训练和平均所有本地参与者的模型参数来优化全局模型。然而，联邦学习的改进隐私也带来了挑战，包括更高的计算和通信成本。特别是，联邦学习比集中式训练收敛得更慢。我们提出了服务器平均算法来加速收敛。服务平均通过周期性地平均一组先前的全局模型来构造共享全局模型。我们的实验表明，服务器平均不仅收敛速度更快，目标精度，比联邦平均（FedAvg），但也降低了计算成本的客户端级别通过历元衰减。
2021-03-22 cs.DC cs.LG
Faster Non-Convex Federated Learning via Global and Local Momentum
Amazon（亚马逊）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
我们提出了\texttt{FedGLOMO}，一种新的联邦学习（FL）算法，其迭代复杂度为$\mathcal{O}(ε^{-1.5})$，以收敛到$ε$稳定点（即，$\mathbb{E}[\|\nabla f(\bm{x})\|^2] \leq ε$）的光滑非凸函数-在任意客户端异构性和压缩通信-相比，$\mathcal{O}(ε^{-2})$的复杂性，大多数以前的作品。我们实现这种改进复杂性的关键算法思想是基于以下观察：FL中的收敛受到两个高方差来源的阻碍：（i）具有多个本地更新的全局服务器聚合步骤，由于客户端异构性而加剧，以及（ii）本地客户端级随机梯度的噪声。通过将服务器聚合步骤建模为广义梯度型更新，我们提出了一种基于方差减少动量的服务器全局更新，当与客户端的方差减少本地更新结合应用时，使\texttt{FedGLOMO}能够享受更好的收敛速度。此外，我们得出我们的结果下，一个新的和更现实的客户端的异质性假设，我们验证经验-不像以前的假设，很难验证。我们的实验说明了内在的方差减少效果的\texttt{FedGLOMO}，这隐含地抑制客户端漂移在异构数据分布设置，提高通信效率。
2021-10-24 cs.DC cs.LG math.OC
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
联邦学习（Federated learning，FL）是一种新兴的处理大规模分布式数据的学习范式。在联邦学习中，一组客户端在服务器的协调下联合执行机器学习任务。FedAvg算法是解决联邦学习问题最广泛使用的方法之一。在FedAvg中，学习率是一个常数，而不是自适应地变化。自适应梯度方法表现出优越的性能超过恒定的学习率调度，但是，仍然没有一个通用的框架，将自适应梯度方法纳入联邦设置。在本文中，我们提出了\textbf{FedDA}，一个新的框架，局部自适应梯度方法。该框架采用了重新启动的双平均技术，具有灵活的各种梯度估计方法和自适应学习率公式。特别是，我们分析\textbf{FedDA-MVR}，我们的框架的实例，并表明，它实现梯度复杂性$\tilde{O}(ε^{-1.5})$和通信复杂性$\tilde{O}(ε^{-1})$找到一个固定点$ε$。这与一阶FL算法的最佳已知速率相匹配，并且\textbf{FedDA-MVR}是实现该速率的第一个自适应FL算法。我们还进行了大量的数值实验，以验证我们的方法的有效性。
2023-02-13 cs.DC cs.LG math.OC
Layer-wise and Dimension-wise Locally Adaptive Federated Learning
Baidu Research（百度研究院）
在联邦学习（FL）的新兴范例中，大量的客户端，如移动设备，用于训练可能的高维模型在其各自的数据。将（维度方面）自适应梯度方法（例如Adam，AMSGrad）与FL相结合一直是一个积极的方向，在许多情况下，这被证明优于传统的基于SGD的FL。在本文中，我们专注于训练联邦深度神经网络的问题，并提出了一种新的FL框架，该框架进一步引入了逐层自适应局部模型更新。我们的框架可以应用于局部自适应FL方法，包括最近的两个算法，Mime和Fed-AMS。从理论上讲，我们提供了一个收敛性分析，我们的逐层FL方法，创造Fed-LAMB和Mime-LAMB，它匹配的收敛速度的状态的最先进的结果在FL和表现出线性加速的工人的数量。在IID和非IID局部数据设置下，在各种数据集和模型上的实验结果表明，与最近的各种自适应FL方法相比，Fed-LAMB和Mime-LAMB都具有更快的收敛速度和更好的泛化性能。
2022-06-23 cs.LG
Semi-Synchronous Federated Learning for Energy-Efficient Training and Accelerated Convergence in Cross-Silo Settings
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Imaging Genetics Center, Stevens Neuroimaging and Informatics Institute, University of Southern California（南加州大学史蒂文斯神经影像与信息学研究所影像遗传学中心）
在某些情况下，与机器学习问题相关的数据分布在多个位置，由于监管、竞争或隐私原因，这些位置无法共享数据。需要将数据复制到单个位置的机器学习方法受到数据共享挑战的阻碍。联邦学习（FL）是一种很有前途的方法，可以在所有可用的数据上学习联合模型。在许多情况下，参与联合的站点具有不同的数据分布和计算能力。在这些异构环境中，现有的方法表现出较差的性能：同步FL协议是通信有效的，但具有缓慢的学习收敛和高能量成本;相反，异步FL协议具有更快的收敛速度和更低的能量成本，但更高的通信。在这项工作中，我们介绍了一种新的节能半同步联邦学习协议，混合本地模型周期性地最小的空闲时间和快速收敛。我们通过对计算机视觉领域以及现实世界生物医学环境中已建立的基准数据集进行的广泛实验表明，我们的方法在数据和计算异构环境中的性能显着优于以前的工作。
2022-06-25 cs.LG
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架，证明N个智能体协作求解联合不动点问题可获得N倍线性加速，并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
Faster Rates for Compressed Federated Learning with Client-Variance Reduction
Princeton University（普林斯顿大学）；KAUST（阿卜杜拉国王科技大学）；Carnegie Mellon University（卡内基梅隆大学）
本文针对联邦学习中通信瓶颈与客户端方差问题，提出压缩且客户端方差缩减方法 COFIG 和 FRECON，在凸与非凸设定下均取得首个或更快的通信轮数收敛界，并通过实验验证其优于现有基线。
2023-09-24 cs.DC cs.DS cs.LG
Tackling Heterogeneity in Federated Learning via Variance-Reduced Boltzmann Sampling within Homogeneous Social Coalitions
Department of Mathematical Sciences, Politecnico di Torino（数学科学系，都灵理工学院）；Istituto Nazionale di Fisica Nucleare, Sezione di Torino（国家核物理研究所，都灵分所）；Department of Electronics and Telecommunications, Politecnico di Torino（电子与电信系，都灵理工学院）
针对联邦学习中客户端数据异质性问题，提出基于渐近一致性动态形成联盟并选代表最小化模型更新方差的算法，受社交网络建模启发，经理论保证和实验验证，该方法有更高准确性和更快收敛速度。
2026-07-24 cs.LG
Embedding Alignment for Unsupervised Federated Learning via Smart Data Exchange
Purdue University（普渡大学）；Zillow Group（Zillow集团）
联邦学习（FL）被认为是分布式机器学习（ML）最有前途的解决方案之一。在目前的大多数文献中，FL已经被研究用于监督ML任务，其中边缘设备收集标记数据。然而，在许多应用中，假设跨设备存在标记数据是不切实际的。为此，我们开发了一种新的方法，合作联邦无监督对比学习（CF-CL），FL跨边缘设备与未标记的数据集。CF-CL采用本地设备协作，其中通过设备到设备（D2 D）通信在设备之间交换数据，以避免由非独立和同分布（非i.i.d.）本地数据集。CF-CL引入了一种针对无监督FL设置的推拉式智能数据共享机制，其中，每个设备将其本地数据点的子集作为保留数据点推送到其邻居，并从其邻居拉取一组数据点，通过概率重要性采样技术进行采样。我们证明了CF-CL导致（i）跨设备对齐无监督学习的潜在空间，（ii）更快的全局收敛，允许更少的全局模型聚合;（iii）在极端非独立同分布中有效。跨设备的数据设置。
2022-08-04 cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
由于联邦学习中的通信约束和间歇性客户端可用性，只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择，最近的工作有偏见的客户端选择表明，选择具有较高的本地损失的客户端可以提高误差收敛速度。然而，以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失，或利用陈旧的本地损失，这甚至可以使模型发散。在本文中，我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS，实现了更快的收敛，降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Federated Meta-Learning with Fast Convergence and Efficient Communication
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在移动设备的分布式网络中协作训练机器学习模型的统计和系统挑战一直是联邦学习在现实世界中应用的瓶颈。在这项工作中，我们表明，元学习是一个自然的选择来处理这些问题，并提出了一个联邦元学习框架FedMeta，其中参数化算法（或元学习者）是共享的，而不是在以前的方法中的全局模型。我们对LEAF数据集和真实世界的生产数据集进行了广泛的实证评估，并证明FedMeta实现了所需的通信成本降低了2.82-4.33倍，收敛速度更快，准确率提高了3.23%-14.84%，而Federated Averaging（FedAvg）是联邦学习中领先的优化算法。此外，FedMeta保护用户隐私，因为只有参数化算法在移动设备和中央服务器之间传输，而没有原始数据收集到服务器上。
2019-12-14 cs.IR cs.LG
FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting
Harvard University（哈佛大学）
本文提出FedStaleWeight算法，通过平均陈旧度计算公平重加权，将异步联邦学习聚合重构为机制设计问题，激励真实计算速度报告，在实现更强公平性的同时加速收敛至更高的全局模型精度。
2024-06-05 cs.DC cs.LG
Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets
The University of British Columbia（不列颠哥伦比亚大学）；University of Minnesota（明尼苏达大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Shenzhen University（深圳大学）
本文研究了当数据样本在工人之间非均匀分布时的故障恢复联邦学习，并且中央服务器不知道故障工人的数量。在存在可能策略性地破坏数据集的不利故障工作器的情况下，交换的本地消息（例如，局部梯度和/或局部模型参数）可能是不可靠的，因此不能保证香草随机梯度下降（SGD）算法收敛。最近开发的算法通过以减慢收敛速度为代价为故障工人提供鲁棒性来改进香草SGD。为了弥补这一局限性，目前的工作介绍了故障弹性近端梯度（FRPG）算法，依赖于Nesterov的加速技术。为了减少FRPG的通信开销，还开发了本地（L）FRPG算法以允许间歇性的服务器-工作者参数交换。对于强凸损失函数，FRPG和LFRPG具有比基准鲁棒随机聚集算法更快的收敛速度。此外，LFRPG收敛速度比FRPG，而使用相同的通信轮。在各种真实数据集上进行的数值测试证实了FRPG和LFRPG在鲁棒随机聚合基准和竞争替代品上的加速收敛。
2020-08-19 cs.LG stat.ML
Efficient Adaptive Federated Optimization of Federated Learning for IoT
Beijing University of Posts and Telecommunications（北京邮电大学）
物联网（IoT）的激增和具有感测、计算和通信能力的设备的广泛使用已经激发了由人工智能授权的智能应用。经典的人工智能算法需要集中式数据汇集和处理，由于日益增长的数据隐私问题和分布式数据集，这在现实的智能物联网应用中具有挑战性。联邦学习（FL）已经成为一种分布式隐私保护学习框架，它使物联网设备能够通过共享模型参数来训练全局模型。然而，由于频繁的参数传输导致的低效率显著降低FL性能。现有的加速算法包括两种主要类型，包括考虑通信和计算之间的权衡的局部更新和考虑通信和精度之间的权衡的参数压缩。共同考虑这两个权衡和适应性平衡其对收敛的影响仍然没有得到解决。为解决这一问题，提出一种新的自适应联邦优化算法（EAFO），该算法通过联合考虑局部更新和参数压缩两个变量来最小化学习误差，使FL能够自适应地调整两个变量，并在计算、通信和精度之间取得平衡。实验结果表明，与现有算法相比，该算法能够在更短的时间内获得更高的精度。
2022-06-23 cs.AI cs.LG
Asynchronous Semi-Decentralized Federated Edge Learning for Heterogeneous Clients
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦边缘学习（FEEL）作为移动边缘网络的隐私保护分布式学习框架受到了广泛关注。在这项工作中，我们研究了一种新型的半分散FEEL（SD-FEEL）架构，其中多个边缘服务器协作以在训练中整合来自边缘设备的更多数据。尽管通过快速边缘聚合实现了低训练延迟，但计算资源中的设备异构性使效率恶化。本文提出了一种SD-FEEL的异步训练算法来克服这个问题，其中边缘服务器可以独立地为关联的客户端节点设置最后期限并触发模型聚合。针对不同程度的失效，设计了一种失效感知聚合方案，并分析了其收敛性能。仿真结果表明，我们提出的算法在实现更快的收敛速度和更好的学习性能的有效性。
2021-12-09 cs.LG cs.NI
Semi-supervised Federated Learning for Activity Recognition
Imperial College London（帝国理工学院）
在家庭物联网传感数据上训练深度学习模型通常用于识别人类活动。最近，使用边缘设备作为客户端来支持本地人类活动识别的联邦学习系统已经成为一种新的范式，可以将本地（个人级别）和全局（组级别）模型结合起来。与传统的集中式分析和学习模型相比，这种方法提供了更好的可扩展性和可推广性，也提供了更好的隐私性。然而，联邦学习背后的假设依赖于客户端的监督学习。这需要大量的标记数据，这在不受控制的物联网环境中很难收集，例如远程家庭监控。在本文中，我们提出了一个活动识别系统，使用半监督联邦学习，其中客户端进行无监督学习的自编码器与未标记的本地数据学习一般表示，和云服务器进行监督学习的活动分类器与标记的数据。我们的实验结果表明，使用长短期记忆自动编码器和Softmax分类器，我们提出的系统的准确性高于集中式系统和使用数据增强的半监督联邦学习。准确性也与监督式联邦学习系统相当。同时，我们证明了我们的系统可以减少所需的标签数量和局部模型的大小，并具有更快的局部活动识别速度比监督联邦学习。
2021-03-31 cs.AI cs.LG
On the Convergence Rates of Federated Q-Learning across Heterogeneous Environments
Northeastern University（东北大学）；Tsinghua University（清华大学）
本文研究了在异构环境中同步联邦Q学习的收敛速度，发现K增加时误差下降线性加速，但E>1会导致性能下降，证明了误差衰减速度为Θ(E/T)。
2026-05-14 cs.DC cs.LG
Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms
CMU（卡内基梅隆大学）；Google（谷歌）
联邦学习通常作为优化问题来处理，其中目标是通过跨拥有本地数据并指定全局目标的不同部分的客户端设备分布计算来最小化全局损失函数。我们提出了另一种观点，并将联邦学习表述为后验推理问题，其目标是通过让客户端设备各自推断其本地数据的后验来推断全局后验分布。虽然精确的推理通常是棘手的，但这种观点提供了一种在联邦设置中搜索全局最优值的原则性方法。此外，从联邦二次目标的分析，我们开发了一个计算和通信效率的近似后验推理算法-联邦后验平均（FedPA）。我们的算法使用MCMC对客户端的局部后验进行近似推断，并有效地将其统计信息传达给服务器，后者使用它们来改进后验模式的全局估计。最后，我们证明了FedPA概括了联邦平均（FedAvg），可以同样受益于自适应优化器，并在四个现实和具有挑战性的基准测试中产生最先进的结果，收敛速度更快，达到更好的最优。
2021-01-30 cs.AI cs.LG stat.ML
