Asynchronous Federated Optimization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
联邦学习支持在大量边缘设备上进行训练。为了提高算法的灵活性和可扩展性,提出了一种新的异步联邦优化算法。我们证明了所提出的方法具有近线性收敛到全局最优,强凸和限制家庭的非凸问题。实验结果表明,该算法收敛速度快,在各种应用中容忍陈旧。
2020-12-05 cs.DC cs.LG
Corrected with the Latest Version: Make Robust Asynchronous Federated Learning Possible
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于知识蒸馏的异步联邦学习版本修正算法FedADT,通过最新全局模型修正过时梯度并自适应调整蒸馏权重,在不显著增加计算开销的情况下提升模型精度与收敛速度。
2025-04-09 cs.DC cs.LG
Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression
Norwegian University of Science and Technology(挪威科技大学);University of Notre Dame(圣母大学);University of Hawaii(夏威夷大学)
联邦学习文献中的许多假设都提供了最佳情况,但在大多数现实应用中无法满足。异步设置反映了联邦学习方法必须能够可靠运行的现实环境。除了参与者处的非IID数据的变化量之外,异步设置对由于可用计算能力和电池限制而导致的异构客户端参与进行建模,并且还考虑了客户端和服务器之间的延迟通信。为了减少与异步在线联邦学习(ASO-Fed)相关的通信开销,我们使用基于部分共享的通信原理。通过这种方式,我们减少了参与者的沟通负担,因此,使参与学习任务更容易。我们证明了所提出的ASO-Fed的收敛性,并提供了仿真来进一步分析其行为。仿真结果表明,在异步设置中,它是可能的,以实现相同的联邦随机梯度(在线FedSGD)的收敛,同时减少了十倍的通信。
2021-11-27 cs.DC cs.LG cs.MA
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization
Inria - ENS Paris(法国国家信息与自动化研究所 - 巴黎高等师范学院);EPFL, Switzerland(瑞士洛桑联邦理工学院)
本文提出AGRAF SGD统一框架,在宽松假设下涵盖SGD、去中心化SGD、Local SGD和FedBuff等算法的异步版本,并给出更优的收敛速率。
2023-11-01 cs.DC cs.LG math.OC
Asynchronous Hierarchical Federated Learning
Splunk Inc.(Splunk公司);University of Illinois(伊利诺伊大学)
联邦学习是一个快速发展的研究领域,具有各种好处和行业应用。典型的联邦模式有一些固有的问题,比如服务器流量大、收敛时间长和准确性不可靠。在本文中,我们通过提出异步分层联邦学习来解决这些问题,在这种学习中,中央服务器使用网络拓扑或某种聚类算法来为工作者分配集群(即,客户端设备)。在每个集群中,选择一个特殊的聚合器设备,以实现分层学习,导致服务器和工人之间的有效通信,从而可以显着减少服务器的负担。此外,异步联邦学习模式用于容忍系统的异构性并实现快速收敛,即,服务器将来自工作者的梯度通过陈旧参数加权进行聚合以更新全局模型,并且在工作者中执行正则化随机梯度下降,从而可以减轻异步学习的不稳定性。在CIFAR-10图像分类任务上对所提算法进行了评估,实验结果证明了异步分层联邦学习的有效性。
2022-05-31 cs.LG
FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting
Harvard University(哈佛大学)
本文提出FedStaleWeight算法,通过平均陈旧度计算公平重加权,将异步联邦学习聚合重构为机制设计问题,激励真实计算速度报告,在实现更强公平性的同时加速收敛至更高的全局模型精度。
2024-06-05 cs.DC cs.LG
Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning
Linköping University(林雪平大学)
联邦学习(FL)是一种新出现的分散式机器学习(ML)框架,它将设备上的本地训练与基于服务器的模型同步相结合,以在分布式节点上训练集中式ML模型。在本文中,我们提出了一个异步FL框架与定期聚集,以消除在FL系统中的掉队者的问题。对于所提出的模型,我们研究了几种设备调度和更新聚合策略,并比较它们的性能时,设备具有异构的计算能力和训练数据分布。从模拟结果中,我们得出结论,异步FL的调度和聚合设计可以是相当不同的同步情况。例如,基于范数的重要性感知调度策略在异步FL设置中可能不是有效的,并且用于模型聚合的适当的“年龄感知”加权设计可以极大地提高这样的系统的学习性能。
2021-07-23 cs.DC cs.IT cs.LG
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates
Université Côte d’Azur(蔚蓝海岸大学);Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安提波利斯分部);Accenture Labs(埃森哲实验室)
我们提出了一个新的框架来研究异步联邦学习优化梯度更新延迟。我们的理论框架扩展了标准的FedAvg聚合方案,通过引入随机聚合权重来表示客户端更新时间的可变性,例如由于异构硬件功能。我们的形式主义适用于一般的联邦设置,客户端具有异构数据集,并执行至少一个步骤的随机梯度下降(SGD)。我们证明了这样一个计划的收敛性,并提供了足够的条件,相关的最小是最佳的联邦问题。我们表明,我们的一般框架适用于现有的优化方案,包括集中式学习,FedAvg,异步FedAvg和FedBuff。这里提供的理论可以为设计异质条件下的联邦学习实验提供有意义的指导。特别是,我们在这项工作中开发FedFix,FedAvg的一个新的扩展,使高效的异步联邦训练,同时保持同步聚合的收敛稳定性。我们经验证明我们的理论上的一系列实验表明,异步FedAvg导致快速收敛的稳定性为代价,我们最终证明了同步和异步FedAvg FedFix的改进。
2022-06-21 cs.LG
An Efficient and Reliable Asynchronous Federated Learning Scheme for Smart Public Transportation
Deakin University(迪肯大学);Commonwealth Scientific and Industrial Research Organization(澳大利亚联邦科学与工业研究组织);Xidian University(西安电子科技大学);Qilu University of Technology(齐鲁工业大学);Shandong Computer Science Center(山东省计算中心)
由于交通状况会随时间而变化,因此在智能公共交通中,预测交通流量的机器学习模型必须持续有效地更新。联邦学习(FL)是一种分布式机器学习方案,允许总线接收模型更新,而无需等待云上的模型训练。然而,FL很容易受到中毒或DDoS攻击,因为公共汽车在公共场所行驶。异步联邦学习(AFL)是一种通过减少聚合延迟来提高效率的方案,但由于局部模型权重不合理,导致学习性能不稳定。为了解决上述挑战,本文提出了一种基于区块链的具有动态缩放因子的异步联邦学习方案(DBAFL)。具体来说,区块链的新型基于委员会的共识算法以尽可能低的时间成本提高了可靠性。同时,设计的动态缩放因子允许AFL分配合理的权重到陈旧的本地模型。在异构设备上进行的大量实验验证了DBAFL的学习性能,效率和可靠性。
2022-12-26 cs.DC cs.LG
A Novel Optimized Asynchronous Federated Learning Framework
Hainan University(海南大学);Hainan Blockchain Technology Engineering Research Center(海南区块链技术工程研究中心)
联邦学习(Federated Learning,FL)自提出以来,已经在信用评估、医疗等领域得到了广泛的应用。由于网络或计算资源的差异,客户端可能不会同时更新其梯度,这可能需要花费大量的时间等待或空闲。这就是为什么需要异步联邦学习(AFL)方法。劳联的主要瓶颈是通讯。如何在模型性能和通信代价之间找到一个平衡点是AFL面临的一个挑战。提出了一种新的AFL框架VAFL。并通过大量实验验证了算法的性能。实验结果表明,VAFL在平均通信压缩率为48.23%的情况下,可减少通信次数约51.02%,并能使模型更快地收敛。代码可在\url{https://github.com/RobAI-Lab/VAFL}上获得
2021-11-18 cs.DC cs.LG
CSAFL: A Clustered Semi-Asynchronous Federated Learning Framework
College of Computer Science, Chongqing University(重庆大学计算机学院)
针对同步联邦学习的掉队者效应与异步联邦学习的模型质量下降等问题,本文提出聚类半异步联邦学习CSAFL框架,在非IID非平衡数据集上实现了准确率的显著提升。
2021-04-16 cs.DC cs.LG
FedAST: Federated Asynchronous Simultaneous Training
Carnegie Mellon University(卡内基梅隆大学)
本文提出FedAST,一种缓冲异步联邦同步训练算法,通过克服慢速模型瓶颈并自适应分配客户端资源,在多任务训练中实现高达46.0%的时间减少,并提供理论收敛保证。
2024-06-01 cs.DC cs.LG
AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation
Zhejiang University(浙江大学)
在异步联邦学习框架中,服务器在从客户端接收到更新后立即更新全局模型,而不是像同步设置中那样等待所有更新到达。这允许具有不同计算能力的异构设备在不暂停的情况下训练本地模型,从而加快训练过程。然而,它引入了陈旧模型问题,其中新到达的更新是基于比当前全局模型更旧的一组陈旧权重计算的,这可能会损害模型的收敛性。在本文中,我们提出了一个异步联邦学习框架,提出了自适应权重聚合算法,称为AsyncFedED。据我们所知,这种聚合方法是第一个考虑到达梯度的陈旧性的方法,通过陈旧模型和当前全局模型之间的欧几里得距离以及已经执行的局部时期的数量来测量。在一般非凸损失函数的假设下,我们从理论上证明了该方法的收敛性。数值结果验证了所提出的AsyncFedED在收敛速度和模型精度方面的有效性相比,现有的方法为三个考虑的任务。
2022-06-07 cs.DC cs.LG
SAFA: a Semi-Asynchronous Protocol for Fast Federated Learning with Low Overhead
University of Warwick(华威大学);South China University of Technology(华南理工大学);Shenzhen University(深圳大学)
联邦学习(FL)作为一种有前途的方法来驱动大量具有人工智能的终端设备,已经引起了越来越多的关注。然而,考虑到终端设备的不可靠性,同时设备-服务器通信的成本不可忽视,保证FL的效率是非常具有挑战性的。在本文中,我们提出了SAFA,一个半异步FL协议,以解决联邦学习中的问题,如轮效率低和极端情况下(例如,客户端经常掉线)。在模型分发、客户端选择和全局聚合等环节引入了新的设计,以减轻离散、崩溃和模型陈旧等因素对全局模型的影响,从而提高全局模型的效率和质量。我们对典型的机器学习任务进行了广泛的实验。实验结果表明,该协议能够有效地缩短联邦轮的持续时间,减少局部资源浪费,并在可接受的通信代价下提高全局模型的准确性.
2021-04-23 cs.DC cs.LG
Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits
University of Virginia(弗吉尼亚大学)
线性上下文强盗是一个流行的在线学习问题。它主要在集中学习环境中进行研究。随着大规模分散模型学习需求的激增,例如,在联邦学习中,如何在保持遗憾最小化的同时降低通信成本成为一个公开的挑战。在本文中,我们研究线性上下文强盗在联邦学习设置。我们提出了一个通用的框架,异步模型更新和通信的同构客户端和异构客户端的集合,分别。对该分布式学习框架下的后悔和沟通成本进行了严格的理论分析,并通过大量的实证分析验证了该解决方案的有效性.
2021-10-04 cs.LG
Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning
College of Information Sciences and Technology, Pennsylvania State University(信息科学与技术学院,宾夕法尼亚州立大学)
FedEcho通过不确定性感知蒸馏,有效缓解异步联邦学习中滞后客户端和数据异质性带来的负面影响,提升模型性能。
2025-11-25 cs.DC cs.LG
Asynchronous Online Federated Learning for Edge Devices with Non-IID Data
George Mason University(乔治梅森大学);Stevens Institute of Technology(斯蒂文斯理工学院)
联邦学习(FL)是一种机器学习范例,其中跨分布式边缘设备学习共享的中心模型,而训练数据保留在这些设备上。Federated Averaging(FedAvg)是在此设置中使用同步协议训练非凸模型的领先优化方法。然而,由于设备的异构性,FedAvg做出的假设是不现实的。特别地,由于边缘设备的不同采样率,所收集的数据的量和分布在训练过程中变化。边缘设备本身的可用通信带宽和系统配置也各不相同,例如内存、处理器速度和功耗要求。这导致了训练时间以及模型/数据传输时间的巨大差异。此外,边缘设备的可用性问题可能导致特定边缘设备对联合模型的贡献不足。在本文中,我们提出了一个异步在线联邦学习(ASO-Fed)框架,其中边缘设备执行在线学习与连续流本地数据和中央服务器聚合来自客户端的模型参数。我们的框架以异步方式更新中心模型,以解决与异构边缘设备和落后或辍学的边缘设备的不同计算负载相关的挑战。我们进行了广泛的实验模拟基准图像数据集和三个真实世界的非IID流数据集。结果表明,\model ~在保持良好预测性能的同时,具有快速收敛的优点.
2020-10-20 cs.DC cs.LG
Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data
Xi’an Jiaotong University(西安交通大学)
联邦学习(FL)是一种新兴的隐私保护范式,它使多个参与者能够协作训练一个全局模型,而无需上传原始数据。考虑到不同参与者的计算和通信能力的异构性,异步FL可以避免同步FL中的掉队者效应,并适应于具有大量参与者的场景。异步FL中的陈旧数据和非IID数据都会降低模型的实用性。然而,这两个问题的解决方案之间存在着内在的矛盾。也就是说,减轻陈旧性需要选择较少但一致的梯度,而处理非IID数据需要更全面的梯度。为了解决这个难题,本文提出了一种两阶段加权$K$异步FL与自适应学习率(WKAFL)。通过选择一致的梯度和自适应调整学习率,WKAFL利用陈旧的梯度和减轻非IID数据的影响,这可以实现训练速度,预测精度和训练稳定性的多方面增强。我们还提出了WKAFL的收敛性分析的假设下,无界陈旧,以了解陈旧和非IID数据的影响。在基准数据集和合成FL数据集上的实验表明,WKAFL算法具有更好的整体性能。
2022-03-02 cs.DC cs.LG
Energy Minimization for Federated Asynchronous Learning on Battery-Powered Mobile Devices via Application Co-running
George Mason University(乔治梅森大学);Old Dominion University(奥多明尼昂大学)
能源是大规模联邦系统中必不可少但经常被遗忘的方面。由于大多数研究集中在解决机器学习算法的计算和统计异质性,对移动系统的影响仍然不清楚。在本文中,我们设计和实现了一个在线优化框架,通过连接异步执行联邦训练与应用程序共同运行,以最大限度地减少电池供电的移动设备上的能源消耗。从一系列实验中,我们发现在后台与前台应用程序共同运行训练过程会给系统带来很大的能量折扣,而性能下降可以忽略不计。基于这些结果,我们首先研究了一个离线问题,假设所有未来发生的应用程序是可用的,并提出了一个基于动态规划的算法。然后,我们提出了一个在线算法,利用李雅普诺夫框架,探索通过能量老化权衡的解决方案空间。大量的实验表明,在线优化框架可以节省超过60%的能量,3倍的收敛速度比以前的计划。
2022-04-29 cs.DC cs.LG
FedFa: A Fully Asynchronous Training Paradigm for Federated Learning
The Hong Kong Polytechnic University(香港理工大学);Argonne National Laboratory(阿贡国家实验室);The University of Hong Kong(香港大学);University of Bisha(比沙大学)
针对联邦学习中同步和半异步方法无法完全消除等待时间的问题,提出全异步训练范式FedFa,通过服务器缓存结果更新参数并给出收敛性证明,在IID和Non-IID场景下相比现有方法实现高达6倍和4倍的训练加速。
2024-04-20 cs.AI cs.DC cs.LG
Federated Learning based on Pruning and Recovery
Beijing University of Posts and Telecommunications(北京邮电大学)
提出一种结合异步学习与剪枝技术的异构环境联邦学习框架,通过逐步恢复模型大小、引入缓冲机制及优化通信,显著减少训练时间并提升收敛精度,在异构和非独立同分布场景下优势更明显。
2024-03-16 cs.DC cs.LG
Pure Exploration in Asynchronous Federated Bandits
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Yale University(耶鲁大学);Oregon State University(俄勒冈州立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对联邦多臂老虎机和线性老虎机的纯探索问题,提出首个固定置信度下的异步算法,在完全异步环境中实现接近最优的样本复杂度与高效通信,并通过实验验证其有效性。
2024-09-30 cs.LG
Adaptive Task Allocation for Asynchronous Federated and Parallelized Mobile Edge Learning
University of Idaho(爱达荷大学);Queen’s University(女王大学)
本文提出了一种方案,以异步方式有效地执行分布式学习任务,同时最大限度地减少梯度老化的异构计算和通信能力的无线边缘节点。本文中考虑的方法确保所有设备在一定的持续时间内工作,该持续时间涵盖数据/模型分发、学习迭代、模型收集和全局聚合的时间。所得到的问题是一个整数非凸规划,二次等式约束以及线性等式和不等式约束。由于该问题是NP-难的,我们放松了整数约束,以便有效地解决它与可用的求解器。分析边界推导出使用KKT条件和拉格朗日分析结合的最佳和改进的方法。实验结果表明,该方法降低了梯度失效率,并能提供更好的准确性比同步计划和异步计划的平等任务分配。
2020-06-18 cs.DC cs.LG
Queuing dynamics of asynchronous Federated Learning
LISITE;Isep;Sorbonne Univ.(索邦大学);Huawei Tech.(华为技术有限公司);CNRS(法国国家科学研究中心);LAAS;IRIT;HSE University(高等经济大学);CMAP Ecole Polytechnique(巴黎综合理工学院CMAP)
本文针对节点计算速度不同的异步联邦学习,提出基于封闭Jackson网络结构的非均匀采样方案,以更低延迟和更好复杂度显著提升图像分类性能。
2024-02-12 cs.DC cs.LG stat.ML
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
GAS: Generative Activation-Aided Asynchronous Split Federated Learning
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对异步分割联邦学习中激活异步传输导致的模型更新偏差问题,提出生成式激活辅助的异步SFL(GAS),通过生成激活来校正更新,并推导更紧的收敛界,实验验证有效性。
2024-12-14 cs.DC cs.LG
Asynchronous Wireless Federated Learning with Probabilistic Client Selection
South China University of Technology(华南理工大学);Shanghai Jiao Tong University(上海交通大学);Xidian University(西安电子科技大学)
本文研究异步无线联邦学习中的落后节点问题,提出概率客户端选择与带宽分配联合优化方法,并设计迭代算法全局最优求解非凸问题,以权衡收敛速率与设备能耗。
2023-11-28 cs.DC cs.LG cs.NI
Quantized and Asynchronous Federated Learning
Center for Pervasive Communications & Computing(普适通信与计算中心);University of California, Irvine(加州大学欧文分校)
针对异步联邦学习缺乏量化机制以应对通信瓶颈的问题,提出带隐状态量化和更新缓冲的QAFeL算法,避免直接量化的误差传播,在非凸目标下实现最优遍历收敛率,且无需梯度有界或客户端均匀到达假设。
2024-09-30 cs.LG eess.SP math.OC
Asynchronous Federated Learning with Bidirectional Quantized Communications and Buffered Aggregation
University of California, Irvine(加州大学欧文分校)
针对带缓冲聚合的异步联邦学习(FedBuff)通信成本高的问题,提出新算法QAFeL,通过在服务器与客户端间建立共享“隐藏”状态的量化方案避免误差传播,在保证高精度的同时显著降低数据传输量,并提供了理论收敛保证和实验验证。
2023-08-01 cs.LG eess.SP math.OC
Asynchronous Federated Learning with non-convex client objective functions and heterogeneous dataset
Helmholtz Center for Environmental Research-UFZ(海德堡环境研究中心-UFZ);Department of Electrical Engineering and Information Technology, University of Naples(那不勒斯大学电气工程与信息技术系)
本文扩展异步联邦学习以处理非凸目标函数和异构数据,提出陈旧度感知聚合与动态学习率调度,并给出收敛性分析,实验验证了性能提升。
2025-08-03 cs.DC cs.LG
Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
本研究提出一种基于契约理论的异步联邦学习框架,通过自适应调整训练轮次和设计聚合权重与访问控制算法,在MNIST上实现了比FedAvg和FedProx更高的准确率,并减少了计算时间。
2023-10-10 cs.DC cs.LG
Asyn2F: An Asynchronous Federated Learning Framework with Bidirectional Model Aggregation
Tan Tao University(新涛大学);Singapore Institute of Technology(新加坡理工学院);Institute for Infocomm Research(资讯通信研究院);Agency for Science, Technology and Research(新加坡科技研究局)
针对联邦学习中的工作者异构性导致的延迟和过时信息问题,本文提出Asyn2F异步联邦学习框架,通过服务器与工作者间的双向模型聚合提升模型性能,实验验证其有效性、实用性和可扩展性。
2024-03-03 cs.DC cs.LG
Pisces: Efficient Federated Learning via Guided Asynchronous Training
HKUST(香港科技大学);University of Toronto(多伦多大学)
联邦学习(FL)通常以同步并行方式执行,其中慢客户端的参与延迟了训练迭代。当前FL系统采用参与者选择策略来在每次迭代中选择具有高质量数据的快速客户端。然而,这在实践中并不总是可能的,并且选择策略通常必须在客户端的速度和数据质量之间进行不愉快的权衡。在本文中,我们提出了双鱼座,一个异步FL系统,智能参与者选择和模型聚合加速训练。为了避免产生过多的资源成本和陈旧的训练计算,Pisces使用了一种新的评分机制来识别合适的客户端来参与训练迭代。它还调整模型聚合的速度,以动态限制所选客户端和服务器之间的进度差距,并在平滑的非凸设置中保证可证明的收敛性。我们在一个名为Plato的开源FL平台上实现了Pisces,并在流行视觉和语言模型的大规模实验中评估了其性能。Pisces的性能优于最先进的同步和异步方案,分别将达到精度的时间加快了2.0倍和1.9倍。
2022-06-18 cs.DC cs.LG
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
FAuNO: Semi-Asynchronous Federated Reinforcement Learning Framework for Task Offloading in Edge Systems
NOVA School of Science and Technology(诺瓦科学与技术学校);Instituto Superior Técnico(理工学院)
FAuNO通过半异步联邦强化学习框架,有效提升边缘系统任务卸载的效率和适应性。
2026-02-28 cs.AI cs.LG
AFLGuard: Byzantine-robust Asynchronous Federated Learning
The Ohio State University(俄亥俄州立大学);Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
联邦学习(FL)是一种新兴的机器学习范例,其中客户端在云服务器的帮助下联合学习模型。FL的一个基本挑战是客户端通常是异构的,例如,它们具有不同的计算能力,因此客户端可以以基本上不同的延迟向服务器发送模型更新。Asynchronous FL旨在通过使服务器能够在任何客户端的模型更新到达它时更新模型而无需等待其他客户端的模型更新来解决这个挑战。然而,与同步FL一样,异步FL也容易受到中毒攻击,其中恶意客户端通过中毒其本地数据和/或发送到服务器的模型更新来操纵模型。Byzantine-robust FL旨在防御中毒攻击。特别是,拜占庭健壮FL可以学习准确的模型,即使一些客户端是恶意的,并具有拜占庭行为。然而,大多数现有的研究拜占庭强大的FL集中在同步FL,离开异步FL在很大程度上尚未探索。在这项工作中,我们通过提出AFLGuard,拜占庭强大的异步FL方法来弥合这一差距。我们表明,无论是理论上还是经验上,AFLGuard对各种现有的和自适应的中毒攻击(无针对性和有针对性的)是强大的。此外,AFLGuard优于现有的拜占庭鲁棒异步FL方法。
2022-12-13 cs.CR cs.DC cs.LG
Asynchronous Byzantine Federated Learning
Delft University of Technology(代尔夫特理工大学);University of Neuchâtel(纳沙泰尔大学)
针对现有拜占庭容错联邦学习多依赖同步、易受掉队客户端延迟等问题,提出无需辅助服务器数据集的异步拜占庭弹性联邦学习算法,在多种攻击下训练速度和准确率均优于现有方案。
2024-06-20 cs.DC cs.LG
Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
Delft University of Technology(代尔夫特理工大学)
针对传统单服务器同步联邦学习的服务器空闲与瓶颈问题,提出首个完全异步多服务器联邦学习架构,客户端仅连最近服务器、服务器间异步更新,在多数据集上精度相当或更高,地理分布场景下收敛时间缩短61%。
2024-06-20 cs.DC cs.LG
Asynchronous Federated Clustering with Unknown Number of Clusters
Guangdong University of Technology(广东工业大学);Xiamen University(厦门大学);Shenzhen University(深圳大学);Hong Kong Baptist University(香港浸会大学)
本文针对联邦聚类中客户端通信异步与未知簇数 k* 的耦合难题,提出异步联邦聚类学习方法 AFCL,通过种子点分发协调与平衡更新机制自适应揭示合适簇数,实验验证其有效性。
2024-12-29 cs.DC cs.LG
FedAT: A High-Performance and Communication-Efficient Federated Learning System with Asynchronous Tiers
George Mason University(乔治梅森大学);IBM Research - Almaden(IBM阿尔马登研究院);Emory University(埃默里大学)
联邦学习(FL)涉及在大规模分布式设备上训练模型,同时保持训练数据本地化。这种形式的协作学习暴露了模型收敛速度,模型准确性,跨客户端的平衡和通信成本之间的新权衡,新的挑战包括:(1)落伍者问题,其中客户端由于数据或(计算和网络)资源异构性而滞后,以及(2)通信瓶颈,其中大量客户端将其本地更新传送到中央服务器并使服务器瓶颈。许多现有的FL方法集中在优化沿权衡空间的只有一个维度。现有的解决方案使用异步模型更新或基于分层的同步机制来解决落伍者问题。然而,异步方法可以容易地创建网络通信瓶颈,而分层可能会引入偏差,因为分层倾向于具有较短响应延迟的更快的层。为了解决这些问题,我们提出了FedAT,一种新的联邦学习方法与异步层下非i.i.d.数据FedAT协同地结合了同步层内训练和异步跨层训练。通过分层桥接同步和异步训练,FedAT最大限度地减少了落伍者的影响,提高了收敛速度和测试精度。FedAT使用一种具有落伍者意识的加权聚合启发式方法来引导和平衡训练,以进一步提高准确性。FedAT使用高效的基于折线编码的压缩算法来压缩上行链路和下行链路通信,从而最小化通信成本。结果表明,FedAT的预测性能提高了21.09%,并降低了高达8.5倍的通信成本,相比最先进的FL方法。
2021-08-29 cs.DC cs.LG cs.NI
SecureAFL: Secure Asynchronous Federated Learning
University of Louisville(路易斯维尔大学);Northeastern University(东北大学);National University of Singapore(新加坡国立大学);University of North Texas(北德克萨斯大学)
本文提出SecureAFL框架,通过检测并丢弃异常更新、估计缺失客户端贡献以及采用坐标中位数聚合技术,提升异步联邦学习的安全性与鲁棒性。
2026-04-04 cs.CR cs.DC cs.LG
Mitigating Persistent Client Dropout in Asynchronous Decentralized Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
针对异步去中心化联邦学习中的持续性客户端掉线问题,提出基于客户端重建的自适应策略,有效恢复性能损失,增强联邦学习鲁棒性。
2025-08-03 cs.AI cs.DC cs.LG
FedQS: Optimizing Gradient and Model Aggregation for Semi-Asynchronous Federated Learning
Shanghai Jiao Tong University(上海交通大学)
FedQS通过分而治之策略优化半异步联邦学习中的梯度与模型聚合,提升准确性、稳定性和收敛速度。
2025-11-25 cs.DC cs.LG
Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks
Department of Electrical Engineering (ISY), Linköping University(电气工程系(ISY),林奈大学)
本文提出了一种基于无线网络的异步联邦学习调度与聚合设计,通过信道感知数据重要性调度策略和年龄感知聚合设计,提升模型收敛性能和学习效果。
2025-12-03 cs.DC cs.IT cs.LG
Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文提出缓冲异步安全聚合协议BASA,使异步联邦学习在无需用户间同步交互和额外硬件条件下实现安全聚合,并在训练效率和可扩展性上优于现有协议。
2024-06-05 cs.AI cs.CR cs.LG
Asynchronous Personalized Federated Learning through Global Memorization
Durham University(杜伦大学);Newcastle University(纽卡斯尔大学)
提出异步个性化联邦学习框架(APFL),通过服务器端语义生成器生成已见和未见样本增强数据多样性,并引入解耦模型插值方法,有效解决非独立同分布和客户端退出问题,显著提升模型准确性和鲁棒性。
2025-03-01 cs.DC cs.LG
Asynchronous Federated Continual Learning
University of Padova(帕多瓦大学)
针对联邦学习中客户端异步且无序获取任务数据的现实问题,提出异步联邦持续学习设置(AFCL),并设计基于原型学习、表示损失、分形预训练与改进聚合策略的 FedSpace 方法,有效解决了多客户端异步持续学习任务。
2023-04-07 cs.CV cs.LG
Blind Federated Learning without initial model
CUNEF Universidad(CUNEF大学)
本文提出两种基于粒子群优化的模糊认知图联邦学习创新方法,其特点在于无需初始模型即可实现盲联邦学习,并在多个开放数据集上验证了其准确率和精确度的提升。
2024-04-24 cs.LG
Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout
Rice University(莱斯大学);Microsoft Research(微软研究院)
异步学习协议最近重新受到关注,特别是在联邦学习(FL)设置中,较慢的客户端可能会严重阻碍学习过程。在这里,我们提出了\texttt{AsyncDrop},一个新的异步FL框架,利用辍学正则化处理设备的异构性在分布式设置。总的来说,与最先进的异步方法相比,\texttt{AsyncDrop}实现了更好的性能,同时导致更少的通信和训练时间开销。其核心思想围绕着从全局模型中创建“子模型”,并根据设备的异构性将其培训分发给工人。我们严格证明,这种方法可以在理论上的特点。我们实现了我们的方法,并将其与其他异步基线进行比较,无论是通过设计还是通过调整现有的同步FL算法来适应异步场景。经验上,\texttt{AsyncDrop}减少了通信成本和训练时间,同时匹配或提高了各种非i.i.d. FL场景。
2022-10-28 cs.AI cs.IT cs.LG
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
The Hong Kong University of Science and Technology(香港科技大学);Southeast University(东南大学)
针对异构客户端下FedAvg同步慢的问题,提出异步联邦学习框架DeFedAvg,允许客户端按自身节奏使用陈旧模型训练,在保证收敛速率的同时首次实现线性加速。
2024-02-17 cs.DC cs.LG
Asynchronous Federated Learning with Differential Privacy for Edge Intelligence
Imperial College London(帝国理工学院)
联邦学习因其在解决大规模机器学习中的数据隔离问题方面的巨大潜力,已成为打通人工智能最后一公里的有效方法。特别是考虑到实际边缘计算系统的异构性,基于异步边缘云协作的联邦学习可以显著降低离散者效应,进一步提高学习效率。尽管异步联邦学习(AFL)没有原始数据共享,但其开放的体系结构和广泛的协作仍然为一些恶意参与者提供了大量机会来推断其他参与者的训练数据,从而导致严重的隐私问题。为了实现具有高实用性的严格隐私保证,研究了具有差分隐私的异步边缘云协同联邦学习,重点研究了差分隐私对AFL模型收敛的影响.形式上,我们给出了第一次分析的模型收敛的AFL下DP和提出了一个多阶段的可调整的隐私算法(MAPA),以改善模型的效用和隐私之间的权衡,通过动态调整噪声规模和学习率。通过广泛的模拟和现实世界的实验与边缘可以测试床,我们证明,MAPA显着提高了模型的准确性和收敛速度,有足够的隐私保证。
2019-12-17 cs.LG math.OC stat.ML
Timely Asynchronous Hierarchical Federated Learning: Age of Convergence
University of Maryland, College Park(马里兰大学帕克分校)
本研究针对客户端-边缘-云架构的异步分层联邦学习,提出在固定平均及时性下,将节点划分为常数个集群可概率性保证有限时间收敛,为密集客户端场景提供了收敛性分析。
2023-06-21 cs.DC cs.IT cs.LG
Orthogonal Calibration for Asynchronous Federated Learning
UC San Diego(加州大学圣地亚哥分校);UC Los Angeles(加州大学洛杉矶分校)
针对异步联邦学习中全局与局部更新冲突导致的模型漂移问题,提出正交校准框架OrthoFL,解耦全局与局部进展,在合并前调整全局变化以最小化干扰,实验显示准确率提升9.6%,速度提升12倍。
2025-02-21 cs.DC cs.LG