AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation
Zhejiang University(浙江大学)
在异步联邦学习框架中,服务器在从客户端接收到更新后立即更新全局模型,而不是像同步设置中那样等待所有更新到达。这允许具有不同计算能力的异构设备在不暂停的情况下训练本地模型,从而加快训练过程。然而,它引入了陈旧模型问题,其中新到达的更新是基于比当前全局模型更旧的一组陈旧权重计算的,这可能会损害模型的收敛性。在本文中,我们提出了一个异步联邦学习框架,提出了自适应权重聚合算法,称为AsyncFedED。据我们所知,这种聚合方法是第一个考虑到达梯度的陈旧性的方法,通过陈旧模型和当前全局模型之间的欧几里得距离以及已经执行的局部时期的数量来测量。在一般非凸损失函数的假设下,我们从理论上证明了该方法的收敛性。数值结果验证了所提出的AsyncFedED在收敛速度和模型精度方面的有效性相比,现有的方法为三个考虑的任务。
2022-06-07 cs.DC cs.LG
SAFA: a Semi-Asynchronous Protocol for Fast Federated Learning with Low Overhead
University of Warwick(华威大学);South China University of Technology(华南理工大学);Shenzhen University(深圳大学)
联邦学习(FL)作为一种有前途的方法来驱动大量具有人工智能的终端设备,已经引起了越来越多的关注。然而,考虑到终端设备的不可靠性,同时设备-服务器通信的成本不可忽视,保证FL的效率是非常具有挑战性的。在本文中,我们提出了SAFA,一个半异步FL协议,以解决联邦学习中的问题,如轮效率低和极端情况下(例如,客户端经常掉线)。在模型分发、客户端选择和全局聚合等环节引入了新的设计,以减轻离散、崩溃和模型陈旧等因素对全局模型的影响,从而提高全局模型的效率和质量。我们对典型的机器学习任务进行了广泛的实验。实验结果表明,该协议能够有效地缩短联邦轮的持续时间,减少局部资源浪费,并在可接受的通信代价下提高全局模型的准确性.
2021-04-23 cs.DC cs.LG
Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning
College of Information Sciences and Technology, Pennsylvania State University(信息科学与技术学院,宾夕法尼亚州立大学)
FedEcho通过不确定性感知蒸馏,有效缓解异步联邦学习中滞后客户端和数据异质性带来的负面影响,提升模型性能。
2025-11-25 cs.DC cs.LG
Asynchronous Online Federated Learning for Edge Devices with Non-IID Data
George Mason University(乔治梅森大学);Stevens Institute of Technology(斯蒂文斯理工学院)
联邦学习(FL)是一种机器学习范例,其中跨分布式边缘设备学习共享的中心模型,而训练数据保留在这些设备上。Federated Averaging(FedAvg)是在此设置中使用同步协议训练非凸模型的领先优化方法。然而,由于设备的异构性,FedAvg做出的假设是不现实的。特别地,由于边缘设备的不同采样率,所收集的数据的量和分布在训练过程中变化。边缘设备本身的可用通信带宽和系统配置也各不相同,例如内存、处理器速度和功耗要求。这导致了训练时间以及模型/数据传输时间的巨大差异。此外,边缘设备的可用性问题可能导致特定边缘设备对联合模型的贡献不足。在本文中,我们提出了一个异步在线联邦学习(ASO-Fed)框架,其中边缘设备执行在线学习与连续流本地数据和中央服务器聚合来自客户端的模型参数。我们的框架以异步方式更新中心模型,以解决与异构边缘设备和落后或辍学的边缘设备的不同计算负载相关的挑战。我们进行了广泛的实验模拟基准图像数据集和三个真实世界的非IID流数据集。结果表明,\model ~在保持良好预测性能的同时,具有快速收敛的优点.
2020-10-20 cs.DC cs.LG
Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)是一种新兴的隐私保护范式,它使多个参与者能够协作训练一个全局模型,而无需上传原始数据。考虑到不同参与者的计算和通信能力的异构性,异步FL可以避免同步FL中的掉队者效应,并适应于具有大量参与者的场景。异步FL中的陈旧数据和非IID数据都会降低模型的实用性。然而,这两个问题的解决方案之间存在着内在的矛盾。也就是说,减轻陈旧性需要选择较少但一致的梯度,而处理非IID数据需要更全面的梯度。为了解决这个难题,本文提出了一种两阶段加权$K$异步FL与自适应学习率(WKAFL)。通过选择一致的梯度和自适应调整学习率,WKAFL利用陈旧的梯度和减轻非IID数据的影响,这可以实现训练速度,预测精度和训练稳定性的多方面增强。我们还提出了WKAFL的收敛性分析的假设下,无界陈旧,以了解陈旧和非IID数据的影响。在基准数据集和合成FL数据集上的实验表明,WKAFL算法具有更好的整体性能。
2022-03-02 cs.DC cs.LG
Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization
Inria - ENS Paris(法国国家信息与自动化研究所 - 巴黎高等师范学院);EPFL, Switzerland(瑞士洛桑联邦理工学院)
本文提出AGRAF SGD统一框架,在宽松假设下涵盖SGD、去中心化SGD、Local SGD和FedBuff等算法的异步版本,并给出更优的收敛速率。
2023-11-01 cs.DC cs.LG math.OC
Asynchronous Hierarchical Federated Learning
Splunk Inc.(Splunk公司);University of Illinois(伊利诺伊大学)
联邦学习是一个快速发展的研究领域,具有各种好处和行业应用。典型的联邦模式有一些固有的问题,比如服务器流量大、收敛时间长和准确性不可靠。在本文中,我们通过提出异步分层联邦学习来解决这些问题,在这种学习中,中央服务器使用网络拓扑或某种聚类算法来为工作者分配集群(即,客户端设备)。在每个集群中,选择一个特殊的聚合器设备,以实现分层学习,导致服务器和工人之间的有效通信,从而可以显着减少服务器的负担。此外,异步联邦学习模式用于容忍系统的异构性并实现快速收敛,即,服务器将来自工作者的梯度通过陈旧参数加权进行聚合以更新全局模型,并且在工作者中执行正则化随机梯度下降,从而可以减轻异步学习的不稳定性。在CIFAR-10图像分类任务上对所提算法进行了评估,实验结果证明了异步分层联邦学习的有效性。
2022-05-31 cs.LG
Federated Learning based on Pruning and Recovery
Beijing University of Posts and Telecommunications(北京邮电大学)
提出一种结合异步学习与剪枝技术的异构环境联邦学习框架,通过逐步恢复模型大小、引入缓冲机制及优化通信,显著减少训练时间并提升收敛精度,在异构和非独立同分布场景下优势更明显。
2024-03-16 cs.DC cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur(蔚蓝海岸大学);Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安提波利斯分部);Accenture Labs(埃森哲实验室)
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案,通过引入随机聚合权重来表示客户端更新时间的可变性,例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置,客户端具有异构数据集,并执行至少一个步骤的随机梯度下降(SGD)。我们证明了这样一个计划的收敛性,并提供了足够的条件,相关的最小是最佳的联邦问题。我们表明,我们的一般框架适用于现有的优化方案,包括集中式学习,FedAvg,异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是,我们在这项工作中开发FedFix,FedAvg的一个新的扩展,使高效的异步联邦训练,同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明,异步FedAvg导致快速收敛的稳定性为代价,我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
GAS: Generative Activation-Aided Asynchronous Split Federated Learning
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对异步分割联邦学习中激活异步传输导致的模型更新偏差问题,提出生成式激活辅助的异步SFL(GAS),通过生成激活来校正更新,并推导更紧的收敛界,实验验证有效性。
2024-12-14 cs.DC cs.LG
Asynchronous Federated Learning with non-convex client objective functions and heterogeneous dataset
Helmholtz Center for Environmental Research-UFZ(海德堡环境研究中心-UFZ);Department of Electrical Engineering and Information Technology, University of Naples(那不勒斯大学电气工程与信息技术系)
本文扩展异步联邦学习以处理非凸目标函数和异构数据,提出陈旧度感知聚合与动态学习率调度,并给出收敛性分析,实验验证了性能提升。
2025-08-03 cs.DC cs.LG
Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
本研究提出一种基于契约理论的异步联邦学习框架,通过自适应调整训练轮次和设计聚合权重与访问控制算法,在MNIST上实现了比FedAvg和FedProx更高的准确率,并减少了计算时间。
2023-10-10 cs.DC cs.LG
Asyn2F: An Asynchronous Federated Learning Framework with Bidirectional Model Aggregation
Tan Tao University(新涛大学);Singapore Institute of Technology(新加坡理工学院);Institute for Infocomm Research(资讯通信研究院);Agency for Science, Technology and Research(新加坡科技研究局)
针对联邦学习中的工作者异构性导致的延迟和过时信息问题,本文提出Asyn2F异步联邦学习框架,通过服务器与工作者间的双向模型聚合提升模型性能,实验验证其有效性、实用性和可扩展性。
2024-03-03 cs.DC cs.LG
Pisces: Efficient Federated Learning via Guided Asynchronous Training
HKUST(香港科技大学);University of Toronto(多伦多大学)
联邦学习(FL)通常以同步并行方式执行,其中慢客户端的参与延迟了训练迭代。当前FL系统采用参与者选择策略来在每次迭代中选择具有高质量数据的快速客户端。然而,这在实践中并不总是可能的,并且选择策略通常必须在客户端的速度和数据质量之间进行不愉快的权衡。在本文中,我们提出了双鱼座,一个异步FL系统,智能参与者选择和模型聚合加速训练。为了避免产生过多的资源成本和陈旧的训练计算,Pisces使用了一种新的评分机制来识别合适的客户端来参与训练迭代。它还调整模型聚合的速度,以动态限制所选客户端和服务器之间的进度差距,并在平滑的非凸设置中保证可证明的收敛性。我们在一个名为Plato的开源FL平台上实现了Pisces,并在流行视觉和语言模型的大规模实验中评估了其性能。Pisces的性能优于最先进的同步和异步方案,分别将达到精度的时间加快了2.0倍和1.9倍。
2022-06-18 cs.DC cs.LG
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Asynchronous Byzantine Federated Learning
Delft University of Technology(代尔夫特理工大学);University of Neuchâtel(纳沙泰尔大学)
针对现有拜占庭容错联邦学习多依赖同步、易受掉队客户端延迟等问题,提出无需辅助服务器数据集的异步拜占庭弹性联邦学习算法,在多种攻击下训练速度和准确率均优于现有方案。
2024-06-20 cs.DC cs.LG
Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
Delft University of Technology(代尔夫特理工大学)
针对传统单服务器同步联邦学习的服务器空闲与瓶颈问题,提出首个完全异步多服务器联邦学习架构,客户端仅连最近服务器、服务器间异步更新,在多数据集上精度相当或更高,地理分布场景下收敛时间缩短61%。
2024-06-20 cs.DC cs.LG
FedQS: Optimizing Gradient and Model Aggregation for Semi-Asynchronous Federated Learning
Shanghai Jiao Tong University(上海交通大学)
FedQS通过分而治之策略优化半异步联邦学习中的梯度与模型聚合,提升准确性、稳定性和收敛速度。
2025-11-25 cs.DC cs.LG
Asynchronous Personalized Federated Learning through Global Memorization
Durham University(杜伦大学);Newcastle University(纽卡斯尔大学)
提出异步个性化联邦学习框架(APFL),通过服务器端语义生成器生成已见和未见样本增强数据多样性,并引入解耦模型插值方法,有效解决非独立同分布和客户端退出问题,显著提升模型准确性和鲁棒性。
2025-03-01 cs.DC cs.LG
FedFa: A Fully Asynchronous Training Paradigm for Federated Learning
The Hong Kong Polytechnic University(香港理工大学);Argonne National Laboratory(阿贡国家实验室);The University of Hong Kong(香港大学);University of Bisha(比沙大学)
针对联邦学习中同步和半异步方法无法完全消除等待时间的问题,提出全异步训练范式FedFa,通过服务器缓存结果更新参数并给出收敛性证明,在IID和Non-IID场景下相比现有方法实现高达6倍和4倍的训练加速。
2024-04-20 cs.AI cs.DC cs.LG
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
The Hong Kong University of Science and Technology(香港科技大学);Southeast University(东南大学)
针对异构客户端下FedAvg同步慢的问题,提出异步联邦学习框架DeFedAvg,允许客户端按自身节奏使用陈旧模型训练,在保证收敛速率的同时首次实现线性加速。
2024-02-17 cs.DC cs.LG
Queuing dynamics of asynchronous Federated Learning
LISITE;Isep;Sorbonne Univ.(索邦大学);Huawei Tech.(华为技术有限公司);CNRS(法国国家科学研究中心);LAAS;IRIT;HSE University(高等经济大学);CMAP Ecole Polytechnique(巴黎综合理工学院CMAP)
本文针对节点计算速度不同的异步联邦学习,提出基于封闭Jackson网络结构的非均匀采样方案,以更低延迟和更好复杂度显著提升图像分类性能。
2024-02-12 cs.DC cs.LG stat.ML
Asynchronous Wireless Federated Learning with Probabilistic Client Selection
South China University of Technology(华南理工大学);Shanghai Jiao Tong University(上海交通大学);Xidian University(西安电子科技大学)
本文研究异步无线联邦学习中的落后节点问题,提出概率客户端选择与带宽分配联合优化方法,并设计迭代算法全局最优求解非凸问题,以权衡收敛速率与设备能耗。
2023-11-28 cs.DC cs.LG cs.NI
Orthogonal Calibration for Asynchronous Federated Learning
UC San Diego(加州大学圣地亚哥分校);UC Los Angeles(加州大学洛杉矶分校)
针对异步联邦学习中全局与局部更新冲突导致的模型漂移问题,提出正交校准框架OrthoFL,解耦全局与局部进展,在合并前调整全局变化以最小化干扰,实验显示准确率提升9.6%,速度提升12倍。
2025-02-21 cs.DC cs.LG
Asynchronous Federated Learning for Sensor Data with Concept Drift
George Mason University(乔治梅森大学)
联邦学习(FL)涉及多个分布式设备联合训练共享模型,而任何参与者都不必向集中式服务器透露他们的本地数据。大多数以前的FL方法假设设备上的数据在训练过程中是固定和静止的。然而,这种假设是不现实的,因为这些设备通常具有变化的采样率和不同的系统配置。此外,设备数据的底层分布可以随时间动态变化,这被称为概念漂移。概念漂移使学习过程变得复杂,因为现有数据和即将到来的数据之间的不一致性。由于本地设备的异构性,传统的概念漂移处理技术如基于组块和基于集成学习的方法不适合联邦学习框架。我们提出了一种新的方法,FedConD,来检测和处理本地设备上的概念漂移,并最大限度地减少对异步FL中模型性能的影响。漂移检测策略是基于一种自适应机制,该机制使用本地模型的历史性能。漂移自适应是通过调整各局部器件上目标函数的正则化参数来实现的。此外,我们在服务器端设计了一个通信策略,以谨慎的方式选择本地更新,加快模型收敛。在三个演化数据流和两个图像数据集上的实验结果表明,\model ~能够检测和处理概念漂移,与其他基线方法相比,还降低了整体通信开销。
2021-09-01 cs.DC cs.LG
AFLGuard: Byzantine-robust Asynchronous Federated Learning
The Ohio State University(俄亥俄州立大学);Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
联邦学习(FL)是一种新兴的机器学习范例,其中客户端在云服务器的帮助下联合学习模型。FL的一个基本挑战是客户端通常是异构的,例如,它们具有不同的计算能力,因此客户端可以以基本上不同的延迟向服务器发送模型更新。Asynchronous FL旨在通过使服务器能够在任何客户端的模型更新到达它时更新模型而无需等待其他客户端的模型更新来解决这个挑战。然而,与同步FL一样,异步FL也容易受到中毒攻击,其中恶意客户端通过中毒其本地数据和/或发送到服务器的模型更新来操纵模型。Byzantine-robust FL旨在防御中毒攻击。特别是,拜占庭健壮FL可以学习准确的模型,即使一些客户端是恶意的,并具有拜占庭行为。然而,大多数现有的研究拜占庭强大的FL集中在同步FL,离开异步FL在很大程度上尚未探索。在这项工作中,我们通过提出AFLGuard,拜占庭强大的异步FL方法来弥合这一差距。我们表明,无论是理论上还是经验上,AFLGuard对各种现有的和自适应的中毒攻击(无针对性和有针对性的)是强大的。此外,AFLGuard优于现有的拜占庭鲁棒异步FL方法。
2022-12-13 cs.CR cs.DC cs.LG
Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression
Norwegian University of Science and Technology(挪威科技大学);University of Notre Dame(圣母大学);University of Hawaii(夏威夷大学)
联邦学习文献中的许多假设都提供了最佳情况,但在大多数现实应用中无法满足。异步设置反映了联邦学习方法必须能够可靠运行的现实环境。除了参与者处的非IID数据的变化量之外,异步设置对由于可用计算能力和电池限制而导致的异构客户端参与进行建模,并且还考虑了客户端和服务器之间的延迟通信。为了减少与异步在线联邦学习(ASO-Fed)相关的通信开销,我们使用基于部分共享的通信原理。通过这种方式,我们减少了参与者的沟通负担,因此,使参与学习任务更容易。我们证明了所提出的ASO-Fed的收敛性,并提供了仿真来进一步分析其行为。仿真结果表明,在异步设置中,它是可能的,以实现相同的联邦随机梯度(在线FedSGD)的收敛,同时减少了十倍的通信。
2021-11-27 cs.DC cs.LG cs.MA
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization
本文提出DMA-FL框架,解决无线网络中多任务异步动态联邦学习问题,通过引入调度张量分析收敛性,并联合优化资源分配与设备调度,显著提升了性能与能效的权衡。
2024-02-15 cs.DC cs.LG
FedAT: A High-Performance and Communication-Efficient Federated Learning System with Asynchronous Tiers
George Mason University(乔治梅森大学);IBM Research - Almaden(IBM阿尔马登研究院);Emory University(埃默里大学)
联邦学习(FL)涉及在大规模分布式设备上训练模型,同时保持训练数据本地化。这种形式的协作学习暴露了模型收敛速度,模型准确性,跨客户端的平衡和通信成本之间的新权衡,新的挑战包括:(1)落伍者问题,其中客户端由于数据或(计算和网络)资源异构性而滞后,以及(2)通信瓶颈,其中大量客户端将其本地更新传送到中央服务器并使服务器瓶颈。许多现有的FL方法集中在优化沿权衡空间的只有一个维度。现有的解决方案使用异步模型更新或基于分层的同步机制来解决落伍者问题。然而,异步方法可以容易地创建网络通信瓶颈,而分层可能会引入偏差,因为分层倾向于具有较短响应延迟的更快的层。为了解决这些问题,我们提出了FedAT,一种新的联邦学习方法与异步层下非i.i.d.数据FedAT协同地结合了同步层内训练和异步跨层训练。通过分层桥接同步和异步训练,FedAT最大限度地减少了落伍者的影响,提高了收敛速度和测试精度。FedAT使用一种具有落伍者意识的加权聚合启发式方法来引导和平衡训练,以进一步提高准确性。FedAT使用高效的基于折线编码的压缩算法来压缩上行链路和下行链路通信,从而最小化通信成本。结果表明,FedAT的预测性能提高了21.09%,并降低了高达8.5倍的通信成本,相比最先进的FL方法。
2021-08-29 cs.DC cs.LG cs.NI
SecureAFL: Secure Asynchronous Federated Learning
University of Louisville(路易斯维尔大学);Northeastern University(东北大学);National University of Singapore(新加坡国立大学);University of North Texas(北德克萨斯大学)
本文提出SecureAFL框架,通过检测并丢弃异常更新、估计缺失客户端贡献以及采用坐标中位数聚合技术,提升异步联邦学习的安全性与鲁棒性。
2026-04-04 cs.CR cs.DC cs.LG
Mitigating Persistent Client Dropout in Asynchronous Decentralized Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
针对异步去中心化联邦学习中的持续性客户端掉线问题,提出基于客户端重建的自适应策略,有效恢复性能损失,增强联邦学习鲁棒性。
2025-08-03 cs.AI cs.DC cs.LG
Federated Learning with Buffered Asynchronous Aggregation
Meta AI
可扩展性和隐私性是跨设备联邦学习(FL)系统的两个关键问题。在这项工作中,我们确定,同步FL -同步聚合的客户端更新FL -不能有效地扩展到几百个客户端并行培训。它导致模型性能和训练速度的收益递减,类似于大批量训练。另一方面,FL中的客户端更新的异步聚合(即,异步FL)解决了可伸缩性问题。但是,聚合单个客户端更新与安全聚合不兼容,这可能导致系统的隐私级别不理想。为了解决这些问题,我们提出了一种新的缓冲异步聚合方法,FedBuff,这是不可知的优化器的选择,并结合了同步和异步FL的最佳属性。我们的经验表明,FedBuff是3.3倍以上的效率比同步FL和高达2.5倍以上的效率比异步FL,同时与诸如安全聚合和差分隐私之类的隐私保护技术兼容。我们在光滑非凸设置中提供理论收敛保证。最后,我们表明,在差异私人培训,FedBuff可以在低隐私设置优于FedAvgM,并实现较高的隐私设置相同的效用。
2022-03-07 cs.LG
Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning
Linköping University(林雪平大学)
联邦学习(FL)是一种新出现的分散式机器学习(ML)框架,它将设备上的本地训练与基于服务器的模型同步相结合,以在分布式节点上训练集中式ML模型。在本文中,我们提出了一个异步FL框架与定期聚集,以消除在FL系统中的掉队者的问题。对于所提出的模型,我们研究了几种设备调度和更新聚合策略,并比较它们的性能时,设备具有异构的计算能力和训练数据分布。从模拟结果中,我们得出结论,异步FL的调度和聚合设计可以是相当不同的同步情况。例如,基于范数的重要性感知调度策略在异步FL设置中可能不是有效的,并且用于模型聚合的适当的“年龄感知”加权设计可以极大地提高这样的系统的学习性能。
2021-07-23 cs.DC cs.IT cs.LG
Momentum Approximation in Asynchronous Private Federated Learning
Amazon(亚马逊);Apple(苹果公司)
针对异步联邦学习中直接套用动量会导致收敛慢、性能降的问题,提出通过历史模型更新最优加权平均最小化隐式偏差的动量近似方法,兼容隐私技术且开销低,可大幅提升收敛速度。
2024-12-06 cs.LG
A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学伯克利深圳研究院);Southern University of Science and Technology(南方科技大学);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对异步联邦学习中的设备异构、低带宽和更新陈旧问题,提出 FedLuck 框架联合自适应优化本地更新频率与梯度压缩率,显著降低通信与训练开销。
2024-07-06 cs.DC cs.LG
Enhancing Scalability and Reliability in Semi-Decentralized Federated Learning With Blockchain: Trust Penalization and Asynchronous Functionality
Bayes Solutions(Bayes Solutions公司);Vancouver Island University(温哥华岛大学)
本文提出SDFL-B系统,通过整合区块链技术、引入信任惩罚机制提升节点可信度,并启用异步功能实现高效鲁棒的模型更新,从而在保护数据隐私的同时解决分布式联邦学习的可扩展性与可靠性问题。
2023-10-30 cs.LG
Asynchronous Probability Ensembling for Federated Disaster Detection
Federal University of Espirito Santo(埃庇鲁斯联邦大学);Federal University of Rio Grande do Norte(北里奥格兰德联邦大学);University of Minho(明赫大学)
本文提出基于异步概率聚合和反馈蒸馏的去中心化融合框架,解决联邦学习在异构CNN架构中的通信成本高和同步要求严格的问题,提升灾害图像识别性能。
2026-04-15 cs.LG
FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler
Argonne National Laboratory(阿贡国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);VMWare Research(威睿研究院);The University of Chicago(芝加哥大学)
针对跨筒仓联邦学习中设备和数据异构导致的效率低、收敛慢、精度差问题,提出带算力感知调度器的半异步算法FedCompass,兼顾收敛速度、模型精度与训练效率。
2024-03-11 cs.DC cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出缓冲异步安全聚合协议BASA,使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合,并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
FedPSA: Modeling Behavioral Staleness in Asynchronous Federated Learning
School of Software Engineering(软件工程学院);State Key Laboratory of Integrated Services Networks(集成服务网络国家重点实验室);Guangdong Laboratory of Artificial Intelligence and Digital Economy(SZ)(广东人工智能与数字经济实验室)
FedPSA通过利用参数敏感性动态评估模型陈旧度,提升异步联邦学习的性能,实现6.37%的基线方法提升。
2026-02-20 cs.AI cs.LG
Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning
JD Finance America Corporation(京东金融美国公司);Department of Electrical & Computer Engineering, University of Pittsburgh(匹兹堡大学电气与计算机工程系);University of Pittsburgh(匹兹堡大学)
针对垂直分区数据的隐私保护联邦学习作为新兴的多方联合建模应用的解决方案已经显示出有希望的结果,其中数据持有者(如政府分支机构、私人金融和电子商务公司)在整个学习过程中进行协作,而不是依赖于可信的第三方来持有数据。然而,现有的垂直分区数据的联邦学习算法仅限于同步计算。在联邦学习系统中,当计算/通信资源不均衡时,为了提高系统的效率,需要在保证数据隐私的前提下,针对垂直分区数据开发异步训练算法。在本文中,我们提出了一个异步联邦SGD(AFSGD-VP)算法及其SVRG和SAGA变种的垂直分区数据。在强凸性条件下,给出了AFSGD-VP及其SVRG和SAGA变体的收敛性分析。我们还讨论了他们的模型隐私,数据隐私,计算复杂性和通信成本。据我们所知,AFSGD-VP及其SVRG和SAGA变体是垂直分区数据的第一个异步联邦学习算法。在多种垂直分区数据集上的实验结果不仅验证了AFSGD-VP及其SVRG和SAGA变体的理论结果,而且表明我们的算法比相应的同步算法具有更高的效率。
2020-08-14 cs.LG stat.ML
Semi-asynchronous Hierarchical Federated Learning for Cooperative Intelligent Transportation Systems
Wuhan University(武汉大学)
协同智能交通系统(C-ITS)是一个很有前途的网络,通过利用参与者的优势,为自动驾驶车辆和道路基础设施提供安全、高效、可持续和舒适的服务。然而,C-ITS的组件通常会产生大量的数据,这使得探索数据科学变得困难。目前,联邦学习已被提出作为一种有吸引力的方法,允许用户合作地从受过训练的参与者中获益。因此,在本文中,我们提出了一种新的半异步分层联邦学习(SHFL)框架的C-ITS,使弹性边缘云模型聚合数据传感。我们进一步制定了一个联合的边缘节点关联和资源分配问题,建议SHFL框架下,以防止个性的异构道路车辆,实现通信效率。针对混合整数非线性规划(MINLP)问题,提出了一种分布式的交替方向乘子法(ADMM)-块坐标更新(BCU)算法。利用该算法,在训练精度和传输延迟之间取得了折衷。数值结果表明,该算法的优势,在训练开销和模型性能。
2021-10-18 cs.LG
Asynchronous Federated Learning with Differential Privacy for Edge Intelligence
Imperial College London(帝国理工学院)
联邦学习因其在解决大规模机器学习中的数据隔离问题方面的巨大潜力,已成为打通人工智能最后一公里的有效方法。特别是考虑到实际边缘计算系统的异构性,基于异步边缘云协作的联邦学习可以显著降低离散者效应,进一步提高学习效率。尽管异步联邦学习(AFL)没有原始数据共享,但其开放的体系结构和广泛的协作仍然为一些恶意参与者提供了大量机会来推断其他参与者的训练数据,从而导致严重的隐私问题。为了实现具有高实用性的严格隐私保证,研究了具有差分隐私的异步边缘云协同联邦学习,重点研究了差分隐私对AFL模型收敛的影响.形式上,我们给出了第一次分析的模型收敛的AFL下DP和提出了一个多阶段的可调整的隐私算法(MAPA),以改善模型的效用和隐私之间的权衡,通过动态调整噪声规模和学习率。通过广泛的模拟和现实世界的实验与边缘可以测试床,我们证明,MAPA显着提高了模型的准确性和收敛速度,有足够的隐私保证。
2019-12-17 cs.LG math.OC stat.ML
Asynchronous Decentralized Federated Learning for Collaborative Fault Diagnosis of PV Stations
Shanghai Jiao Tong University(上海交通大学);Yanshan University(燕山大学)
由于光伏阵列的各种故障所造成的损失各不相同,准确诊断故障类型变得越来越重要。与单个光伏电站相比,多个光伏电站收集了足够的故障样本,但由于潜在的利益冲突,它们的数据不允许直接共享。因此,可以利用联邦学习训练协同故障诊断模型。然而,由于每个光伏电站具有不同的计算能力和数据量,模型更新机制严重影响建模效率。此外,为了光伏系统的安全稳定运行,必须保证协同建模的鲁棒性,而不是简单地在中央服务器上进行处理。为了解决这些问题,提出了一种新的异步分散式联邦学习(ADFL)框架。每个光伏电站不仅训练其本地模型,而且通过交换模型参数来参与协同故障诊断,以提高泛化能力而不损失准确性。全局模型采用分布式聚集,避免中心节点失效。通过设计异步更新机制,大大减少了通信开销和训练时间。通过实验和数值仿真验证了该方法的有效性。
2022-02-28 cs.AI cs.CE cs.DC
CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学);Nanjing University of Science and Technology(南京理工大学)
CaBaFL提出基于分层缓存聚合和特征平衡设备选择的异步联邦学习,缓解掉队者与数据不平衡,实现9.26倍加速和19.71%精度提升。
2024-07-17 cs.DC cs.LG
FAVANO: Federated AVeraging with Asynchronous NOdes
Isep, Sorbonne University(索邦大学ISEP);CMAP, Ecole Polytechnique(巴黎综合理工学院CMAP);Mathematical and Algorithmic Sciences Lab, Huawei Technologies(华为技术数学与算法科学实验室)
本文提出了一种新颖的集中式异步联邦学习框架FAVANO,用于在资源受限环境中训练深度神经网络,提供了非凸环境下的收敛保证,并在标准基准上优于现有方法。
2023-11-22 cs.LG stat.ML
Revisiting Gradient Staleness: Evaluating Distance Metrics for Asynchronous Federated Learning Aggregation
本文提出了一种基于不同距离度量的异步联邦学习聚合方法,通过评估梯度陈旧的影响,提升了模型收敛性和训练稳定性。
2026-03-09 cs.AI cs.LG
AFBS:Buffer Gradient Selection in Semi-asynchronous Federated Learning
School of Software Engineering(软件工程学院);State Key Laboratory of Integrated Services Networks(信息服务网络国家重点实验室)
AFBS提出首个在缓冲区中基于信息价值选择梯度的算法,通过客户端聚类和隐私保护,在半异步联邦学习中丢弃低价值梯度,在CIFAR-100上准确率提升4.8%,训练时间缩短75%。
2025-06-23 cs.AI cs.LG
Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout
Rice University(莱斯大学);Microsoft Research(微软研究院)
异步学习协议最近重新受到关注,特别是在联邦学习(FL)设置中,较慢的客户端可能会严重阻碍学习过程。在这里,我们提出了\texttt{AsyncDrop},一个新的异步FL框架,利用辍学正则化处理设备的异构性在分布式设置。总的来说,与最先进的异步方法相比,\texttt{AsyncDrop}实现了更好的性能,同时导致更少的通信和训练时间开销。其核心思想围绕着从全局模型中创建“子模型”,并根据设备的异构性将其培训分发给工人。我们严格证明,这种方法可以在理论上的特点。我们实现了我们的方法,并将其与其他异步基线进行比较,无论是通过设计还是通过调整现有的同步FL算法来适应异步场景。经验上,\texttt{AsyncDrop}减少了通信成本和训练时间,同时匹配或提高了各种非i.i.d. FL场景。
2022-10-28 cs.AI cs.IT cs.LG
DAG-ACFL: Asynchronous Clustered Federated Learning based on DAG-DLT
Information Countermeasure Technique Institute(信息对抗技术研究所);School of Cyberspace Science(网络空间科学学院);Faculty of Computing(计算学部);Harbin Institute of Technology(哈尔滨工业大学)
针对联邦学习非独立同分布数据问题及现有异步聚类框架成本高的缺陷,提出基于DAG-DLT的DAG-ACFL框架,通过余弦相似度与变点检测自适应tip选择算法实现高效鲁棒的去中心化隐私训练。
2023-08-25 cs.AI cs.DC cs.LG
PersA-FL: Personalized Asynchronous Federated Learning
Yahoo! Research(雅虎研究院)
针对异步更新下的个性化联邦学习问题,研究基于MAML和ME的两种框架,提出移除同步通信与梯度有界假设的方法,给出有界陈旧性异步FL的统一收敛证明,实验验证其性能与陈旧性容忍度。
2023-10-04 cs.AI cs.DC cs.LG
Analysis and Evaluation of Synchronous and Asynchronous FLchain
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)(加泰罗尼亚电信技术中心(CTTC/CERCA))
受参与大规模联邦学习(FL)优化的设备的异构性的启发,我们专注于由区块链技术授权的异步无服务器FL解决方案。与大多数采用的FL方法(假设同步操作)相反,我们提倡一种异步方法,即在客户端提交本地更新时进行模型聚合。异步设置非常适合具有异构客户端的实际大规模设置中的联邦优化思想。因此,它潜在地导致在通信开销和空闲时段方面的更高效率。为了评估支持BC的FL的学习完成延迟,我们提供了一个基于批服务排队理论的分析模型。此外,我们提供模拟结果来评估同步和异步机制的性能。在BC使能FL优化,如网络规模,链路容量,或用户的要求,涉及的重要方面放在一起,并进行了分析。正如我们的研究结果表明,同步设置导致更高的预测精度比异步的情况下。然而,异步联邦优化在许多情况下提供了更低的延迟,因此在处理大型数据集、严格的时间约束(例如,近实时应用)或高度变化的训练数据。
2022-09-05 cs.DC cs.LG cs.NI