Federated Learning with Buffered Asynchronous Aggregation
Meta AI
可扩展性和隐私性是跨设备联邦学习(FL)系统的两个关键问题。在这项工作中,我们确定,同步FL -同步聚合的客户端更新FL -不能有效地扩展到几百个客户端并行培训。它导致模型性能和训练速度的收益递减,类似于大批量训练。另一方面,FL中的客户端更新的异步聚合(即,异步FL)解决了可伸缩性问题。但是,聚合单个客户端更新与安全聚合不兼容,这可能导致系统的隐私级别不理想。为了解决这些问题,我们提出了一种新的缓冲异步聚合方法,FedBuff,这是不可知的优化器的选择,并结合了同步和异步FL的最佳属性。我们的经验表明,FedBuff是3.3倍以上的效率比同步FL和高达2.5倍以上的效率比异步FL,同时与诸如安全聚合和差分隐私之类的隐私保护技术兼容。我们在光滑非凸设置中提供理论收敛保证。最后,我们表明,在差异私人培训,FedBuff可以在低隐私设置优于FedAvgM,并实现较高的隐私设置相同的效用。
2022-03-07 cs.LG
Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning
College of Information Sciences and Technology, Pennsylvania State University(信息科学与技术学院,宾夕法尼亚州立大学)
FedEcho通过不确定性感知蒸馏,有效缓解异步联邦学习中滞后客户端和数据异质性带来的负面影响,提升模型性能。
2025-11-25 cs.DC cs.LG
AsyncFedED: Asynchronous Federated Learning with Euclidean Distance based Adaptive Weight Aggregation
Zhejiang University(浙江大学)
在异步联邦学习框架中,服务器在从客户端接收到更新后立即更新全局模型,而不是像同步设置中那样等待所有更新到达。这允许具有不同计算能力的异构设备在不暂停的情况下训练本地模型,从而加快训练过程。然而,它引入了陈旧模型问题,其中新到达的更新是基于比当前全局模型更旧的一组陈旧权重计算的,这可能会损害模型的收敛性。在本文中,我们提出了一个异步联邦学习框架,提出了自适应权重聚合算法,称为AsyncFedED。据我们所知,这种聚合方法是第一个考虑到达梯度的陈旧性的方法,通过陈旧模型和当前全局模型之间的欧几里得距离以及已经执行的局部时期的数量来测量。在一般非凸损失函数的假设下,我们从理论上证明了该方法的收敛性。数值结果验证了所提出的AsyncFedED在收敛速度和模型精度方面的有效性相比,现有的方法为三个考虑的任务。
2022-06-07 cs.DC cs.LG
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University(莱斯大学)
一旦活动客户端的数量增加,同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(过时)来解决这个问题,这增强了训练的可扩展性,同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法,并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析,该算法的收敛速度时,异构数据,批量大小,并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Orthogonal Calibration for Asynchronous Federated Learning
UC San Diego(加州大学圣地亚哥分校);UC Los Angeles(加州大学洛杉矶分校)
针对异步联邦学习中全局与局部更新冲突导致的模型漂移问题,提出正交校准框架OrthoFL,解耦全局与局部进展,在合并前调整全局变化以最小化干扰,实验显示准确率提升9.6%,速度提升12倍。
2025-02-21 cs.DC cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Enhancing Convergence in Federated Learning: A Contribution-Aware Asynchronous Approach
Northern Arizona University(北亚利桑那大学);Universidad Internacional Isabel I de Castilla(卡斯蒂利亚伊莎贝尔一世国际大学);Indian Institute of Technology(印度理工学院)
针对异步联邦学习忽略更新相对贡献导致收敛变慢的问题,本文提出一种结合更新陈旧性与统计异质性、动态调整更新权重的贡献感知方法,以提升收敛速度。
2024-03-04 cs.AI cs.LG
Aggregation on Learnable Manifolds for Asynchronous Federated Optimization
Department of Engineering Science Oxford University(牛津大学工程科学系);Department of Computing Imperial College London(伦敦帝国理工学院计算机系);GlaxoSmithKline(葛兰素史克)
针对异步联邦学习中的损失屏障与陈旧更新干扰,提出基于黎曼流形曲线学习的AsyncBezier与OrthoDC方法,在多个数据集上提升准确率与公平性。
2025-10-10 cs.LG
Momentum Approximation in Asynchronous Private Federated Learning
Amazon(亚马逊);Apple(苹果公司)
针对异步联邦学习中直接套用动量会导致收敛慢、性能降的问题,提出通过历史模型更新最优加权平均最小化隐式偏差的动量近似方法,兼容隐私技术且开销低,可大幅提升收敛速度。
2024-12-06 cs.LG
Mitigating Participation Imbalance Bias in Asynchronous Federated Learning
University of California, Riverside(加州大学河滨分校);Indian Institute of Science(印度科学研究院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出ACE和ACED方法,通过立即非缓冲更新缓解异步联邦学习中的参与不平衡偏差,提升模型鲁棒性。
2025-11-24 cs.AI cs.LG
GAS: Generative Activation-Aided Asynchronous Split Federated Learning
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对异步分割联邦学习中激活异步传输导致的模型更新偏差问题,提出生成式激活辅助的异步SFL(GAS),通过生成激活来校正更新,并推导更紧的收敛界,实验验证有效性。
2024-12-14 cs.DC cs.LG
Asynchronous Byzantine Federated Learning
Delft University of Technology(代尔夫特理工大学);University of Neuchâtel(纳沙泰尔大学)
针对现有拜占庭容错联邦学习多依赖同步、易受掉队客户端延迟等问题,提出无需辅助服务器数据集的异步拜占庭弹性联邦学习算法,在多种攻击下训练速度和准确率均优于现有方案。
2024-06-20 cs.DC cs.LG
FedRAW: Preserving Rare-Label Influence in Asynchronous Federated Learning
School of Artificial Intelligence and Data Science, Indian Institute of Technology Jodhpur(印度焦特布尔印度理工学院人工智能与数据科学学院);Department of Computer Science and Engineering, Indian Institute of Technology Jodhpur(印度焦特布尔印度理工学院计算机科学与工程系);Laboratoire d’Informatique de Grenoble (LIG), University of Grenoble Alpes(格勒诺布尔阿尔卑斯大学格勒诺布尔计算机实验室)
FedRAW提出一种服务器端聚合方法,通过客户端更新去重和稀有标签感知加权,解决异步联邦学习中稀有标签客户端影响力不足导致的静默失败,提升稀有标签准确率并保持收敛。
2026-09-09 cs.AI cs.LG
Optimizing Asynchronous Federated Learning: A Delicate Trade-Off Between Model-Parameter Staleness and Update Frequency
EMINES, Mohammed VI Polytechnic University, Ben Guerir, Morocco(EMINES,摩洛哥穆莱·易斯大学,贝努埃里尔);LAAS-CNRS, Université de Toulouse, CNRS, Toulouse, France(LAAS-CNRS,图卢兹大学,CNRS,图卢兹)
针对异步联邦学习的参数陈旧性与更新吞吐量权衡问题,研究通过离散Little定律推导相对延迟闭式表达式,并提出兼顾速度的优化指标,实现10%-30%的准确率提升。
2025-10-22 cs.LG cs.PF math.OC
The Impact Analysis of Delays in Asynchronous Federated Learning with Data Heterogeneity for Edge Intelligence
Fudan University(复旦大学);Shanghai Institute of Intelligent Electronics and Systems(上海智能电子与系统研究院)
本文研究了数据异构性下异步联邦学习中延迟对训练性能的影响,提出了PSURDG方案重用延迟梯度,理论分析与仿真表明丢弃过时信息并非总是最佳方法。
2025-03-06 cs.LG
Empirical Analysis of Asynchronous Federated Learning on Heterogeneous Devices: Efficiency, Fairness, and Privacy Trade-offs
RISE Research Institutes of Sweden(瑞典RISE研究机构);Mälardalen University(马尔默大学)
本文通过五设备边缘测试平台比较FedAvg与FedAsync,结合LDP和Moments Accountant量化隐私损失,揭示异步FL提升效率但加剧公平性与隐私差异。
2025-05-11 cs.AI cs.DC cs.LG
Asynchronous Federated Learning with non-convex client objective functions and heterogeneous dataset
Helmholtz Center for Environmental Research-UFZ(海德堡环境研究中心-UFZ);Department of Electrical Engineering and Information Technology, University of Naples(那不勒斯大学电气工程与信息技术系)
本文扩展异步联邦学习以处理非凸目标函数和异构数据,提出陈旧度感知聚合与动态学习率调度,并给出收敛性分析,实验验证了性能提升。
2025-08-03 cs.DC cs.LG
DriftGuard: Mitigating Asynchronous Data Drift in Federated Learning
School of Computer Science, University of St Andrews, UK(圣安德鲁大学计算机科学学院)
DriftGuard通过混合专家架构分离共享与局部参数,采用全局和群体重训练策略,有效应对异步数据漂移,提升准确率并降低计算成本。
2026-03-19 cs.LG
Secure Aggregation for Buffered Asynchronous Federated Learning
University of Southern California (USC)(南加利福尼亚大学);University of California, Riverside(加州大学河滨分校)
联邦学习(FL)通常依赖于同步训练,由于离散者,这是缓慢的。虽然异步训练有效地处理了掉队者,但由于与安全聚合协议的不兼容性,它不能确保隐私。最近提出了一种称为FedBuff的缓冲异步训练协议,该协议弥合了同步和异步训练之间的差距,以减轻掉队者,同时也确保隐私。FedBuff允许用户异步发送他们的更新,同时通过将更新存储在支持可信执行环境(TEE)的私有缓冲区中来确保隐私。然而,TEE具有有限的存储器,这限制了缓冲区大小。出于这种限制,我们开发了一个缓冲的异步安全聚合(BASecAgg)协议,不依赖于TEE。传统的安全聚合协议不能应用于缓冲的异步设置中,因为缓冲器可能具有对应于不同轮次的本地模型,因此用户用来保护其模型的掩码可能不会抵消。BASecAgg通过仔细设计掩码来解决这一挑战,即使它们对应于不同的轮,它们也会相互抵消。我们的收敛性分析和实验表明,BASecAgg几乎有相同的收敛保证FedBuff不依赖于TEE。
2021-10-05 cs.CR cs.DC cs.IT
FedAST: Federated Asynchronous Simultaneous Training
Carnegie Mellon University(卡内基梅隆大学)
本文提出FedAST,一种缓冲异步联邦同步训练算法,通过克服慢速模型瓶颈并自适应分配客户端资源,在多任务训练中实现高达46.0%的时间减少,并提供理论收敛保证。
2024-06-01 cs.DC cs.LG
An Efficient and Reliable Asynchronous Federated Learning Scheme for Smart Public Transportation
Deakin University(迪肯大学);Commonwealth Scientific and Industrial Research Organization(澳大利亚联邦科学与工业研究组织);Xidian University(西安电子科技大学);Qilu University of Technology(齐鲁工业大学);Shandong Computer Science Center(山东省计算中心)
由于交通状况会随时间而变化,因此在智能公共交通中,预测交通流量的机器学习模型必须持续有效地更新。联邦学习(FL)是一种分布式机器学习方案,允许总线接收模型更新,而无需等待云上的模型训练。然而,FL很容易受到中毒或DDoS攻击,因为公共汽车在公共场所行驶。异步联邦学习(AFL)是一种通过减少聚合延迟来提高效率的方案,但由于局部模型权重不合理,导致学习性能不稳定。为了解决上述挑战,本文提出了一种基于区块链的具有动态缩放因子的异步联邦学习方案(DBAFL)。具体来说,区块链的新型基于委员会的共识算法以尽可能低的时间成本提高了可靠性。同时,设计的动态缩放因子允许AFL分配合理的权重到陈旧的本地模型。在异构设备上进行的大量实验验证了DBAFL的学习性能,效率和可靠性。
2022-12-26 cs.DC cs.LG
Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
Delft University of Technology(代尔夫特理工大学)
针对传统单服务器同步联邦学习的服务器空闲与瓶颈问题,提出首个完全异步多服务器联邦学习架构,客户端仅连最近服务器、服务器间异步更新,在多数据集上精度相当或更高,地理分布场景下收敛时间缩短61%。
2024-06-20 cs.DC cs.LG
LATTEO: A Framework to Support Learning Asynchronously Tempered with Trusted Execution and Obfuscation
Saint Louis University(圣路易斯大学);New Mexico State University(新墨西哥州立大学);Intel Labs(英特尔实验室)
针对异步联邦学习中的梯度泄漏隐私风险,提出结合梯度混淆与可信执行环境的LATTEO框架,并设计基于多授权方属性基加密的数据中心远程证明机制,显著降低数据重建相似性并提升证明效率。
2025-02-07 cs.CR cs.LG
Asynchronous Federated Learning: A Scalable Approach for Decentralized Machine Learning
Helmholtz Centre for Environmental Research - UFZ(环境保护研究赫尔姆霍兹中心)
本文提出异步联邦学习算法AFL,分析客户端延迟与模型陈旧性下的收敛性,并通过线性回归和SVM实验验证其在非IID数据场景中的可扩展性与效率。
2025-10-21 cs.LG cs.SY eess.SY
Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach
EMINES, Mohammed VI Polytechnic University(穆罕默德六世理工大学 EMINES 学院);LAAS-CNRS, Université de Toulouse, CNRS(法国国家科学研究中心图卢兹分析系统实验室,图卢兹大学)
本文提出一种随机网络框架,分析异步联邦学习中梯度滞后与收敛速度的权衡,并通过实验展示改进的收敛速度和能耗效率。
2026-03-27 cs.LG cs.PF math.OC
A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学伯克利深圳研究院);Southern University of Science and Technology(南方科技大学);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对异步联邦学习中的设备异构、低带宽和更新陈旧问题,提出 FedLuck 框架联合自适应优化本地更新频率与梯度压缩率,显著降低通信与训练开销。
2024-07-06 cs.DC cs.LG
Efficient Federated Learning with Timely Update Dissemination
Soochow University(苏州大学);HiThink Research(HiThink研究院);Auburn University(阿肯色大学欧文分校);North Carolina State University(北卡罗来纳州立大学);Fudan University(复旦大学)
本文提出利用额外下行带宽实现及时更新分发的联邦学习方法,通过异步(FedASMU)和同步(FedSSMU)框架中的动态聚合与模型调整,在六个模型和五个数据集上显著提升准确性和效率。
2025-07-08 cs.AI cs.DC cs.LG
Asynchronous Decentralized Federated Learning for Collaborative Fault Diagnosis of PV Stations
Shanghai Jiao Tong University(上海交通大学);Yanshan University(燕山大学)
由于光伏阵列的各种故障所造成的损失各不相同,准确诊断故障类型变得越来越重要。与单个光伏电站相比,多个光伏电站收集了足够的故障样本,但由于潜在的利益冲突,它们的数据不允许直接共享。因此,可以利用联邦学习训练协同故障诊断模型。然而,由于每个光伏电站具有不同的计算能力和数据量,模型更新机制严重影响建模效率。此外,为了光伏系统的安全稳定运行,必须保证协同建模的鲁棒性,而不是简单地在中央服务器上进行处理。为了解决这些问题,提出了一种新的异步分散式联邦学习(ADFL)框架。每个光伏电站不仅训练其本地模型,而且通过交换模型参数来参与协同故障诊断,以提高泛化能力而不损失准确性。全局模型采用分布式聚集,避免中心节点失效。通过设计异步更新机制,大大减少了通信开销和训练时间。通过实验和数值仿真验证了该方法的有效性。
2022-02-28 cs.AI cs.CE cs.DC
FedFa: A Fully Asynchronous Training Paradigm for Federated Learning
The Hong Kong Polytechnic University(香港理工大学);Argonne National Laboratory(阿贡国家实验室);The University of Hong Kong(香港大学);University of Bisha(比沙大学)
针对联邦学习中同步和半异步方法无法完全消除等待时间的问题,提出全异步训练范式FedFa,通过服务器缓存结果更新参数并给出收敛性证明,在IID和Non-IID场景下相比现有方法实现高达6倍和4倍的训练加速。
2024-04-20 cs.AI cs.DC cs.LG
Asynchronous Federated Learning for Edge-assisted Vehicular Networks
Jiangnan University(江南大学);State Key Laboratory of Integrated Services Networks (Xidian University)(综合业务网理论及关键技术国家重点实验室(西安电子科技大学));Qualcomm(高通公司);Tsinghua University(清华大学);University of Kent(肯特大学)
车辆网络使车辆能够通过训练数据支持实时车辆应用。由于计算能力有限,车辆通常将数据传输到网络边缘的路侧单元(RSU)来处理数据。然而,由于隐私问题,车辆通常不愿意彼此共享数据。传统的联邦学习算法通过车辆对数据进行局部训练得到局部模型,然后将局部模型上传到RSU更新全局模型,从而通过共享模型参数而不是共享数据来保护数据隐私。传统的FL同步更新全局模型,即,RSU需要等待所有车辆上传其模型以进行全局模型更新。然而,车辆通常可能会在通过训练获得其本地模型之前驶出RSU的覆盖范围,这降低了全局模型的准确性。有必要提出一种异步联邦学习(AFL)来解决这个问题,其中RSU一旦从车辆接收到局部模型就更新全局模型。然而,数据量、计算能力和车辆移动性可能会影响全球模型的准确性。在本文中,我们联合考虑的数据量,计算能力和车辆的机动性,设计一个AFL方案,以提高全球模型的精度。大量的仿真实验表明,我们的计划优于FL计划
2023-03-03 cs.LG cs.NI cs.RO
Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates
Stony Brook University(石溪大学);University of California Merced(加州大学默塞德分校);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
针对去中心化学习中同步更新易受掉队者影响、异步更新存在参数陈旧性的问题,提出带自适应异步更新的全去中心化算法DSGD-AAU,自适应确定通信邻居数,实现线性收敛加速且效果经实验验证。
2024-07-09 cs.DC cs.LG
Snowball: A Scalable All-to-All Ising Machine with Dual-Mode Markov Chain Monte Carlo Spin Selection and Asynchronous Spin Updates for Fast Combinatorial Optimization
ETH Zurich(苏黎世联邦理工学院)
Snowball通过双模式马尔可夫链蒙特卡洛自旋选择和异步自旋更新,实现快速组合优化的可扩展Ising机器。
2026-01-28 cs.LG
Reviving Stale Updates: Data-Free Knowledge Distillation for Asynchronous Federated Learning
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(NVIDIA公司);Northwestern University(西北大学)
FedRevive通过数据无关知识蒸馏缓解异步联邦学习中的过期更新问题,提升训练效率和模型准确率。
2026-10-14 cs.LG
Momentum Centering and Asynchronous Update for Adaptive Gradient Methods
Yale University(耶鲁大学);University of Central Florida(中佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了ACProp(Asynchronous-centering-Prop),一种自适应优化器,它结合了第二动量的中心和异步更新(例如,对于$t$ -th更新,分母使用直到步骤$t-1$的信息,而分子使用$t$ -th步骤的梯度)。ACProp具有很强的理论特性和经验性能。通过Reddi等人(2018)的例子,我们表明异步优化器(例如AdaShift,ACProp)的收敛条件比同步优化器(例如Adam,RMSProp,AdaBelief)弱;在异步优化器中,我们表明第二动量的中心进一步削弱了收敛条件。我们证明了ACProp具有$O(\frac{1}{\sqrt{T}})$的收敛速度的随机非凸的情况下,它匹配的预言率和优于$O(\frac{logT}{\sqrt{T}})$率的RMSProp和亚当。我们在广泛的实证研究中验证了ACProp:ACProp在使用CNN进行图像分类时优于SGD和其他自适应优化器,并且在各种GAN模型、强化学习和Transformers的训练中优于调优的自适应优化器。综上所述,ACProp具有良好的理论性质,包括弱收敛条件和最佳收敛速度,以及强大的经验性能,包括像SGD一样良好的推广性和像Adam一样的训练稳定性。我们在https://github.com/juntang-zhuang/ACProp-Optimizer上提供实现。
2021-12-01 cs.LG math.OC
A Block-wise, Asynchronous and Distributed ADMM Algorithm for General Form Consensus Optimization
Department of Electrical and Computer Engineering, University of Alberta(阿尔伯塔大学电气与计算机工程系);School of Computer Science, Wuhan University(武汉大学计算机学院)
许多机器学习模型,包括那些具有非光滑正则化器的模型,都可以表示为共识优化问题,可以通过交替方向乘法器(ADMM)来求解。最近已经做出了许多努力来开发异步分布式ADMM以处理大量的训练数据。然而,所有现有的异步分布式ADMM方法都基于完整的模型更新,并且需要锁定所有全局模型参数来处理并发,这实质上是序列化来自不同工作者的更新。在本文中,我们提出了一种新的分块,异步和分布式ADMM算法,它允许不同块的模型参数并行更新。无锁分块算法可以极大地加速稀疏优化问题,这是现实中常见的场景,其中大多数模型更新仅修改所有决策变量的子集。我们从理论上证明了我们提出的算法收敛到稳定点的非凸一般形式的共识问题可能非光滑正则化。我们实现了建议的ADMM算法的参数服务器框架,并证明其收敛性和近线性加速性能的工人数量的增加。
2018-02-24 cs.LG
Ordered Local Momentum for Asynchronous Distributed Learning under Arbitrary Delays
本文提出OrLoMo方法,通过有序局部动量实现异步分布式学习,在任意延迟下提升非凸问题的收敛性并优于同步和异步方法。
2026-01-18 cs.LG
An Efficient Asynchronous Method for Integrating Evolutionary and Gradient-based Policy Search
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
深度强化学习(DRL)算法和演化策略(ES)已被应用于各种任务,表现出优异的性能。它们具有相反的性质,DRL具有良好的样本效率和差的稳定性,而ES则相反。最近,有人试图将这些算法结合起来,但这些方法完全依赖于同步更新方案,使得它不理想,以最大限度地提高并行ES的好处。为了解决这一问题,引入了异步更新机制,该机制具有良好的时间效率和多样的策略探索能力。在本文中,我们介绍了一种异步演化策略-强化学习(AES-RL),最大限度地提高并行效率的ES,并将其与策略梯度方法。具体来说,我们提出了1)一个新的框架,合并ES和DRL异步和2)各种异步更新方法,可以采取所有的优势,并行性,ES,和DRL,这是勘探和时间效率,稳定性,和样本效率,分别。所提出的框架和更新方法在连续控制基准测试工作中进行了评估,与以前的方法相比,表现出优越的性能和时间效率。
2021-01-06 cs.AI cs.LG
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对有向对等网络上分布式强化学习(DisRL)的策略评估问题,提出了一种\emph{fully asynchronous}方案.无需等待网络的任何其他节点,每个节点可以通过使用来自其邻居的(可能延迟的)信息在任何时间本地更新其价值函数。这与一对节点同时更新的基于流言的方案形成鲜明对比。虽然完全异步设置涉及到一个困难的多时标决策问题,我们设计了一种新的随机平均梯度(SAG)为基础的分布式算法,并开发了一个推拉增广图的方法来证明其精确收敛的线性速率$\mathcal{O}(c^k)$,其中$c\in(0,1)$和$k$增加了一个无论在哪个节点更新。最后,数值实验验证了我们的方法的速度与节点数成线性关系,并且对离散节点具有鲁棒性。
2021-01-22 cs.LG cs.MA math.OC
Doubly-Asynchronous Value Iteration: Making Value Iteration Asynchronous in Actions
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
值迭代(VI)是一种基本的动态规划方法,对于最优控制和强化学习中的学习和规划非常重要。VI是分批进行的,其中每个状态值的更新必须在下一批更新开始之前完成。如果状态空间很大,那么完成单个批处理的成本非常高,这使得VI对于许多应用程序来说都是不切实际的。异步VI通过一次就地更新一个状态并以任意顺序更新,有助于解决大状态空间问题。然而,异步VI仍然需要在整个动作空间上最大化,这使得具有大动作空间的域不切实际。为了解决这个问题,我们提出了双异步值迭代(DAVI),一个新的算法,概括的思想,从状态到状态和动作的同步。更具体地说,DAVI最大化一个采样的动作子集,可以是任何用户定义的大小。这种使用采样来减少计算的简单方法保持了与VI相似的吸引人的理论属性,而无需在每次更新中等待整个动作空间的完整扫描。在本文中,我们表明DAVI收敛到最佳的价值函数的概率为1,收敛在一个接近几何率的概率为1-delta,并返回一个接近最佳的政策,在计算时间,几乎匹配先前建立的界限VI。我们还实证证明DAVI的有效性在几个实验中。
2022-11-27 cs.LG
AlphaAdam:Asynchronous Masked Optimization with Dynamic Alpha for Selective Updates
本文提出AlphaAdam优化框架,通过层内异步掩码和动态调整更新强度实现LLM参数选择性更新,在GPT-2、RoBERTa和Llama-7B等任务上相比AdamW提升收敛速度与计算效率。
2025-02-05 cs.LG
Zeno++: Robust Fully Asynchronous SGD
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了Zeno++,一个新的鲁棒的异步随机梯度下降~(SGD)过程,容忍拜占庭式的工人失败。与以前的工作相比,Zeno++删除了一些不切实际的工作者-服务器通信限制,允许来自匿名工作者的完全异步更新,任意陈旧的工作者更新,以及无限数量的拜占庭工作者的可能性。关键思想是在应用候选梯度之后估计损失值的下降,其中大的下降值指示更新导致优化进展。我们证明了Zeno++在拜占庭失败下对非凸问题的收敛性。实验结果表明,Zeno++优于现有的方法。
2021-05-09 cs.DC cs.LG stat.ML
Robustifying Asynchronous SGD via Soft Throttling
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);National University of Singapore(新加坡国立大学);Toyota Motor Corporation(丰田汽车公司);University of Zurich(苏黎世大学)
本文提出Throttle算法,通过指数降权快速客户端更新,统一了异步SGD与同步拜占庭鲁棒SGD,理论分析收敛性并实验验证了鲁棒性与性能提升。
2026-10-01 cs.DC cs.LG math.OC
Weight for Robustness: A Comprehensive Approach towards Optimal Fault-Tolerant Asynchronous ML
Technion(以色列理工学院)
本文提出加权鲁棒聚合框架,将鲁棒聚合器及元聚合器扩展至加权版本以缓解异步延迟影响,并结合方差缩减技术首次在异步拜占庭环境中实现最优收敛速率,有效提升异步机器学习系统的容错性与性能。
2025-06-04 cs.LG
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL(洛桑联邦理工学院)
通过实验观察到,随机梯度(SGD)分布式训练的效率决定性地取决于批量大小和(在异步实现中)梯度的陈旧性。特别地,已经观察到,超过一定的批量大小和/或当延迟变得太大时,加速饱和。我们确定了一个依赖于数据的参数,解释了这两种设置中的加速饱和。我们的全面的理论分析,强凸,凸和非凸设置,统一和推广以前的工作方向,往往只集中在这两个方面之一。特别是,我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针,如何学习率可以在实践中进行调整。我们表明,我们的结果是紧密的,并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
LAYUP: Asynchronous decentralized gradient descent with LAYer-wise UPdates
Center for Cognitive Interaction Technology, Universität Bielefeld, Germany(认知交互技术中心,比勒菲尔德大学,德国);Bielefeld University(比勒菲尔德大学);Department of Computer Science, Royal Holloway, University of London, United Kingdom(计算机科学系,伦敦大学皇家霍洛威学院,英国)
提出异步去中心化SGD方法LayUp,通过逐层更新和随机gossip通信减少参数漂移,理论证明收敛性,实验显示比同步训练快32%,比同类算法快27%。
2026-06-23 cs.AI cs.LG cs.NE
Synchronous vs Asynchronous Reinforcement Learning in a Real World Robot
University of Alberta(阿尔伯塔大学)
本研究针对实体机器人同步强化学习响应慢影响性能的问题,用Franka Emika Panda机械臂对比同步与异步RL,证实异步RL学习更快、回报更高,且响应速度比梯度更新次数更影响性能。
2025-03-17 cs.AI cs.CV cs.LG
Faster Asynchronous SGD
异步分布式随机梯度下降法由于梯度失效而难以收敛。如果用于计算梯度的参数已经在服务器上更新,则由客户端发送到参数服务器的梯度更新是陈旧的。已经提出了一些方法来规避这个问题,这些方法根据经过的更新的数量来量化陈旧性。在这项工作中,我们提出了一种新的方法,量化陈旧的梯度统计的移动平均值。我们表明,这种方法优于以前的方法在收敛速度和可扩展性,许多客户端。我们还讨论了如何扩展这种方法可以用来大大降低带宽成本的分布式训练环境。特别是,我们的方法可以减少总带宽使用的一个因素,5成本收敛的影响很小。我们还描述了(和链接到)一个软件库,我们已经用来模拟这些算法确定性在一台机器上。
2016-01-15 cs.LG stat.ML
Learning Approximate Nash Equilibria in Cooperative Multi-Agent Reinforcement Learning via Mean-Field Subsampling
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文研究了在通信受限条件下,通过均值场采样方法学习合作多智能体强化学习中的近似纳什均衡,证明了该方法能收敛到近似纳什均衡,并在多机器人控制中进行了验证。
2026-05-11 cs.AI cs.LG cs.MA
GAC: Stabilizing Asynchronous RL Training for LLMs via Gradient Alignment Control
School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学);Alibaba Group(阿里巴巴集团);Southeast University(东南大学)
针对异步策略梯度训练中梯度高余弦相似性导致的训练不稳定问题,提出梯度对齐控制(GAC)方法,通过梯度投影调节陈旧对齐方向,恢复稳定训练并匹配同步基线。
2026-06-23 cs.AI cs.LG
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而,强化学习的机器人应用通常会损害学习过程的自主性,以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制,但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务,因为它们明显具有较高的样本复杂度。在本文中,我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务,并且可以有效地学习深度神经网络策略,以便在真实的物理机器人上进行训练。我们证明,训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明,我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Asynchronous Sharpness-Aware Minimization For Fast and Accurate Deep Learning
Inha University(仁荷大学)
针对SAM计算成本高的问题,提出异步并行SAM,解除扰动与更新的数据依赖并隐藏扰动开销,在CIFAR-100上以接近SGD的训练时间达到与SAM相当的ViT微调精度。
2026-10-14 cs.LG
Asynchronous Local-SGD Training for Language Modeling
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文实证研究异步Local-SGD训练语言模型,针对梯度陈旧导致的动量加速挑战,提出延迟Nesterov动量更新及基于计算速度调整局部训练步的方法,在C4数据集上匹配同步方法困惑度并显著缩短实际时间。
2024-09-23 cs.CL cs.LG
AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism
Pluralis Research(Pluralis研究)
AsyncMesh通过引入异步更新和稀疏平均方法,在数据和流水线并行中实现高效优化,减少通信开销并保持性能
2026-01-30 cs.DC cs.LG
Asynchronous Message Passing for Addressing Oversquashing in Graph Neural Networks
Electronics and Communication Sciences Unit, Indian Statistical Institute, Kolkata, India(电子与通信科学单元,印度统计研究所,科希马,印度)
针对图神经网络的过度压缩问题,提出异步消息传递框架,通过中心性引导节点异步更新,在多个图分类基准上取得显著性能提升。
2026-08-19 cs.LG