A Distributed SGD Algorithm with Global Sketching for Deep Learning Training Acceleration
分布式训练是加速大规模深度学习模型训练过程的有效方法。然而,分布式随机梯度下降的参数交换和同步引入了大量的通信开销。梯度压缩是降低通信开销的有效方法。在同步SGD压缩方法中,已经提出了许多基于Top-k稀疏化的梯度压缩方法以减少通信。然而,基于参数服务器的集中式方法存在单点故障问题,可扩展性有限,而全局参数交换的分散式方法可能会降低训练的收敛速度。与基于$k$的方法相比,本文提出了一种基于全局梯度矢量草图的梯度压缩方法--全局草图SGD(global-sketching SGD,gs-SGD)。gs-SGD在深度学习模型上具有更好的收敛效率,通信复杂性为O($\log d*\log P$),其中$d$是模型参数的数量,P是工人的数量。在GPU集群上进行了实验,验证了该方法比全局$k$和基于Sketching的方法具有更好的收敛效率。此外,与gTop- $k$相比,gs-SGD的吞吐量高出1.3- 3.1倍,与原始Sketched-SGD相比,吞吐量高出1.1- 1.2倍。
2021-08-13 cs.DC
DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging
Alibaba Group(阿里巴巴集团);Peking University(北京大学)
最先进的深度学习算法依赖于分布式训练系统来处理不断增加的模型和训练数据集。小批量随机梯度下降(SGD)算法要求工作者停止前向/反向传播,等待所有工作者聚集的梯度,并在下一批任务之前接收权重更新。这种同步执行模型暴露了分布式训练系统中大量工作者之间的梯度/权重通信的开销。我们提出了一个新的SGD算法,DaSGD(本地SGD与延迟平均),并行SGD和前/后传播隐藏100%的通信开销。该算法通过调整梯度更新机制,有效地利用了硬件资源,减少了对低延迟高吞吐量互连的依赖。理论分析和实验结果表明,该算法的收敛速度为O(1/sqrt(K)),与SGD算法相同。性能评估表明,它可以实现随集群大小的线性性能扩展。
2020-05-31 cs.DC cs.LG
The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
研究分布式异构学习中局部随机梯度下降的局限性与潜力,在一阶数据异构性假设下给出其新下界,证明加速小批量SGD的极小极大最优性,考虑高阶假设给出新上界,强调需更好数据异构性模型理解其有效性。
2026-07-15 cs.DC cs.LG math.OC
Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training
University of Southern California(南加利福尼亚大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度网络的分布式训练是解决当今一些计算挑战(如内存消耗和计算需求)的重要技术。经典的分布式方法,同步或异步,都是基于参数服务器架构,即,工作者节点计算梯度,该梯度被传送到参数服务器,同时返回更新的参数。最近,使用AllReduce操作的分布式训练也很受欢迎。虽然这些操作中的许多看起来很有吸引力,但很少有关于挂钟训练时间改进的报道。在本文中,我们仔细分析了基于AllReduce的设置,提出了包括网络延迟,带宽,集群大小和计算时间的时序模型,并证明了宽度为2的流水线训练结合了同步和异步训练的最佳效果。具体来说,对于由四节点GPU集群组成的设置,我们显示了与传统方法相比高达5.4倍的挂钟时间训练改进。
2019-01-11 cs.DC cs.LG stat.ML
Distributed SGD Generalizes Well Under Asynchrony
The Ohio State University(俄亥俄州立大学)
在大数据时代,异步分布式系统以其强大的可扩展性成为主流,全同步分布式系统的性能面临瓶颈。本文研究了随机梯度下降算法在分布式异步系统上的推广性能。该系统由计算随机梯度的多个工作机器组成,这些随机梯度被进一步发送到公共参数服务器并在公共参数服务器上聚合以更新变量,并且系统中的通信遭受可能的延迟。在算法稳定性框架下,我们证明了分布式异步SGD在训练优化中,在足够的数据样本下具有很好的推广性。特别是,我们的研究结果表明,降低学习率,因为我们允许更多的分布式系统中的冗余。这种自适应学习率策略提高了分布式算法的稳定性,降低了相应的泛化误差。然后,我们通过数值实验证实了我们的理论研究结果。
2019-09-29 cs.DC cs.LG stat.ML
Efficient Distributed SGD with Variance Reduction
University of Maryland, College Park(马里兰大学学院市分校)
随机梯度下降(SGD)已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而,SGD具有两个主要缺点:(i)噪声梯度更新具有高方差,这在迭代接近最优时减慢了收敛,以及(ii)SGD在分布式设置中的扩展性差,通常随着工人数量的增加而经历快速降低的边际效益。在本文中,我们提出了一种高度并行的方法,CentralVR,它使用错误校正来减少SGD梯度更新的方差,并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度,可证明的线性收敛速度,并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较,发现我们提出的方法比其他SGD变体具有更强的扩展性。
2017-04-07 cs.DC cs.LG math.OC
CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation
National University of Defense Technology(国防科技大学)
通信开销是分布式训练的关键挑战。梯度压缩是一种广泛使用的减少通信流量的方法。梯度压缩技术与流水线等并行通信机制相结合,可以大大减轻通信开销的影响。然而,梯度压缩技术存在两个问题需要解决。首先,梯度压缩带来了额外的计算成本,这将延迟下一次训练迭代。其次,梯度压缩通常会导致收敛精度的下降。
2021-09-07 cs.DC cs.LG
Layer-wise Adaptive Gradient Sparsification for Distributed Deep Learning with Convergence Guarantees
Hong Kong Baptist University(香港浸会大学)
为了减少大型深度神经网络(DNN)模型的长训练时间,分布式同步随机梯度下降(S-SGD)通常用于一组工作者。然而,多个工作者带来的加速受到通信开销的限制。两种方法,即流水线和梯度稀疏化,已分别提出,以减轻通信开销的影响。然而,梯度稀疏化方法只能在反向传播之后发起通信,因此错过了流水线机会。在本文中,我们提出了一种新的分布式优化方法LAGS-SGD,它结合了S-SGD和一种新的分层自适应梯度稀疏化(LAGS)计划。在LAGS-SGD中,每个工作者独立地从每个层中选择一小组“显著”梯度,其大小可以自适应于该层的通信计算比率。LAGS-SGD的逐层性质开启了将通信与计算重叠的机会,而LAGS-SGD的自适应性质使其能够灵活地控制通信时间。我们证明了LAGS-SGD具有收敛保证,并且在较弱的分析假设下,它具有与vanilla S-SGD相同的收敛速度阶。大量的实验验证了分析假设和LAGS-SGD的收敛性能。在16 GPU集群上的实验结果表明,LAGS-SGD在不损失明显模型精度的情况下,性能优于原始S-SGD和现有的稀疏S-SGD。
2020-03-02 cs.DC cs.LG stat.ML
Truncated Non-Uniform Quantization for Distributed SGD
City University of Hong Kong(香港城市大学);The Hang Seng University of Hong Kong(香港恒生大学);University of Hawaii at Manoa(马诺阿夏威夷大学);Sun Yat-sen University(中山大学)
针对分布式学习通信瓶颈问题,提出含截断去噪与统计特征驱动非均匀量化的两阶段量化策略,推导最优闭式解,理论与实验验证其在通信效率和收敛性能间的更优平衡。
2024-02-02 cs.DC cs.LG
O(1) Communication for Distributed SGD through Two-Level Gradient Averaging
Florida State University(佛罗里达州立大学)
大型神经网络模型对分布式随机梯度下降(SGD)提出了巨大的通信挑战,对于n个参数的模型,每个工作者的通信复杂性为O(n)。已经提出了许多稀疏化和量化技术来压缩梯度,其中一些将通信复杂性降低到O(k),其中k <<n。在本文中,我们引入了一种称为两级梯度平均(A2SGD)的策略,在计算更新模型的两个全局平均值之前,将所有梯度合并为每个工人的两个局部平均值。A2SGD还保留了局部误差,以保持快速收敛的方差。我们的理论分析表明,A2SGD收敛类似于默认的分布式SGD算法。我们的评估验证了理论结论,并表明A2SGD显着降低了每个工人的通信流量,并将LSTM-PTB的总体训练时间分别提高了3.2倍和23.2倍,与Top-K和QSGD相比。据我们所知,A2 SGD是第一个实现O(1)通信复杂性的分布式SGD。
2020-06-16 cs.DC cs.LG stat.ML
S2 Reducer: High-Performance Sparse Communication to Accelerate Distributed Deep Learning
College of Computer, National University of Defense Technology(国防科技大学计算机学院)
分布式随机梯度下降(SGD)方法在大规模深度学习中得到了广泛应用,梯度集合方法是保证分布式深度学习系统训练可扩展性的关键。诸如AllReduce的集体通信已被广泛用于分布式SGD过程以减少通信时间。然而,AllReduce会占用大量带宽资源,而大多数梯度在许多情况下是稀疏的,因为许多梯度值为零,应该有效地压缩以节省带宽。为了减少稀疏梯度通信开销,我们提出了稀疏草图还原器(S2还原器),一种新的基于草图的稀疏梯度聚合方法,具有收敛保证。S2 Reducer通过仅使用计数草图和位图压缩非零梯度来降低通信成本,并支持高效的AllReduce操作符进行并行SGD训练。我们对五种训练模型中的四种最先进的方法进行了广泛的评估。我们的研究结果表明,S2 Reducer收敛到相同的精度,减少了81\%的稀疏通信开销,并实现了1.8 $ \times $的加速比相比,国家的最先进的方法。
2021-11-26 cs.AI cs.DC
FastSGD: A Fast Compressed SGD Framework for Distributed Machine Learning
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);School of Software Technology, Zhejiang University(浙江大学软件学院)
随着大数据的快速增长,分布式机器学习在大规模模型训练中得到了广泛应用。随机梯度下降(SGD)可以说是ML的主力算法。SGD训练的分布式ML模型涉及大量的梯度通信,这限制了分布式ML的可扩展性。因此,重要的是压缩梯度以减少通信。在本文中,我们提出了FastSGD,这是一个用于分布式ML的快速压缩SGD框架。为了以低成本实现高压缩比,FastSGD将梯度表示为键-值对,并以线性时间复杂度压缩梯度键和值。对于梯度值压缩,FastSGD首先使用倒数映射器将原始值转换为倒数值,然后使用对数量化将倒数值进一步减少到小整数。最后,FastSGD滤波器通过给定的阈值减少梯度整数。对于梯度密钥压缩,FastSGD提供了一种自适应细粒度增量编码方法,以更少的位存储梯度密钥。在实际ML模型和数据集上进行的大量实验表明,与最先进的方法相比,FastSGD实现了高达4个数量级的压缩比,并将收敛时间加快了8倍。
2021-12-08 cs.DC cs.LG
Communication-efficient distributed SGD with Sketching
Amazon(亚马逊);UC Berkeley(加州大学伯克利分校);Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络的大规模分布式训练通常受到网络带宽的限制,其中通信时间超过本地计算时间。灵感的草图方法在子线性/流算法的成功,我们介绍了草图SGD,一种算法进行分布式SGD通过通信草图,而不是全梯度。我们表明,草图SGD具有良好的几类功能的收敛速度。当考虑所有通信(梯度和更新的模型权重)时,与从$\mathcal{O}(d)$或$\mathcal{O}(W)$到$\mathcal{O}(\log d)$的其他梯度压缩方法相比,Sketched SGD减少了所需的通信量,其中$d$是模型参数的数量,而$W$是参与培训的工人数量。我们在一个Transformer模型、一个LSTM和一个残差网络上进行了实验,证明了总通信成本降低了40倍,而最终模型性能没有损失。我们还通过实验表明,Sketched SGD可扩展到至少256名工人,而不会增加通信成本或降低模型性能。
2020-01-23 cs.DC cs.LG math.OC
Holdout SGD: Byzantine Tolerant Federated Learning
The Blavatnik School of Computer Science(布拉瓦尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
针对随机梯度下降(SGD)优化问题,提出了一种新的分布式拜占庭容错联邦学习算法HoldOut SGD。HoldOut SGD以分布式方式使用众所周知的保持估计的机器学习技术,以便选择可能导致具有低损失值的模型的参数更新。这使得它在丢弃拜占庭工人输入方面比消除学习模型参数空间中的离群值的现有方法更有效。HoldOut SGD首先随机选择一组使用其私有数据的工作者,以便提出梯度更新。接下来,随机选择一个由工人组成的投票委员会,每个投票者使用其私人数据作为保留数据,以便通过投票方案选择最佳提案。我们提出了两种可能的机制,在分布式计算的HoldOut SGD工人的协调。第一种使用真实的中央服务器,对应于当前联邦学习的典型设置。第二种是完全分布式的,不需要中央服务器,为完全分散的联邦学习铺平了道路。完全分布式版本通过区块链领域的想法实现HoldOut SGD,特别是Algorand委员会的选择和共识过程。我们为HoldOut SGD流程提供了正式的保证,包括其收敛到最佳模型,以及其对拜占庭工人比例的弹性水平。实证评估表明,HoldOut SGD是拜占庭弹性的,并且只要参与的工人总数很大并且拜占庭工人的比例小于一半(对于完全分布式变体,<1/3),就可以有效地收敛到深度学习任务的有效模型。
2020-08-11 cs.DC cs.LG
Error Compensated Quantized SGD and its Applications to Large-scale Distributed Optimization
Tencent AI Lab(腾讯人工智能实验室)
大规模分布式优化在各种应用中具有重要意义。对于基于数据并行的分布式学习,节点间的梯度通信往往成为性能瓶颈。在本文中,我们提出了误差补偿量化随机梯度下降算法,以提高训练效率。局部梯度被量化以减少通信开销,并且累积量化误差被利用以加速收敛。此外,我们提出了理论分析的收敛行为,并证明了它的优势,竞争对手。大量的实验表明,我们的算法可以压缩梯度的一个因素高达两个数量级,而不会降低性能。
2018-06-21 cs.CV cs.DC
OD-SGD: One-step Delay Stochastic Gradient Descent for Distributed Training
National University of Defense Technology(国防科技大学)
现代深度学习神经网络的训练需要大量的计算,这些计算通常由GPU或其他特定的加速器提供。为了实现更快的训练速度,在分布式训练过程中主要采用两种更新算法,即同步SGD算法(SSGD)和异步SGD算法(ASGD)。SSGD算法在同步障碍降低训练速度的同时,仍能获得较好的收敛点。ASGD具有更快的训练速度,但与SSGD相比,收敛点较低。为了充分利用SSGD和ASGD的优点,我们提出了一种新的技术称为一步延迟SGD(OD-SGD),结合他们的优势在训练过程中。因此,我们可以分别实现与SSGD和ASGD相似的收敛点和训练速度。据我们所知,我们首次尝试结合SSGD和ASGD的特点,以提高分布式训练性能。OD-SGD算法的每一次迭代都包含参数服务器节点的全局更新和工作节点的局部更新,局部更新用于更新和补偿延迟的局部权值。我们在MNIST,CIFAR-10和ImageNet数据集上评估了我们提出的算法。实验结果表明,OD-SGD可以获得与SSGD相似甚至略好的准确率,而其训练速度要快得多,甚至超过ASGD的训练速度。
2020-05-14 cs.DC cs.LG cs.NE
Evaluation and Optimization of Gradient Compression for Distributed Deep Learning
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Baptist University(香港浸会大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有梯度压缩方法与S-SGD系统优化不兼容的问题,提出交替压缩低秩矩阵的ACP-SGD方法,可兼容系统优化,在保证精度的同时实现显著加速。
2023-06-15 cs.DC cs.LG
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services(亚马逊云科技);Hong Kong University of Science and Technology(香港科技大学)
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近,人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化,具有多数表决的signSGD实现了通信成本的32倍降低。然而,它的收敛是基于不切实际的假设,在实践中可能会出现分歧。在本文中,我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩,它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块,引入了逐块压缩器,使得每个梯度块以具有缩放因子的1位格式压缩和传输,从而导致通信减少近32倍。实验结果表明,该方法与全精度分布式动量SGD算法收敛速度相当,且测试精度相同。特别是,在ImageNet上使用7个工作人员进行分布式ResNet训练时,所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度,但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
Communication-Efficient, 2D Parallel Stochastic Gradient Descent for Distributed-Memory Optimization
Wake Forest University(维克森林大学);Oak Ridge National Laboratory(橡树岭国家实验室)
提出二维并行SGD方法HybridSGD,通过理论分析和实验验证,在通信效率与收敛性能间取得连续权衡,相比一维方法实现高达121倍加速。
2026-06-26 cs.DC stat.ML
Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑分布式学习中基于随机梯度下降(SGD)的分布式算法的弹性与潜在的拜占庭攻击者,谁可以发送任意信息到参数服务器,以破坏训练过程。为此,我们提出了一个新的Lipschitz启发的坐标明智的中位数方法(LICM-SGD),以减轻拜占庭攻击。我们证明了我们的LICM-SGD算法可以抵抗多达一半的拜占庭攻击者,同时在非凸设置中几乎肯定会收敛到一个固定区域。此外,我们的LICM-SGD方法不需要关于攻击者数量和Lipschitz常数的任何信息,这使得它对实际实现具有吸引力。此外,我们的LICM-SGD方法享有最佳的$O(md)$计算时间复杂度的意义上,时间复杂度是相同的标准SGD下没有攻击。我们进行了大量的实验,以表明我们的LICM-SGD算法在使用MNIST和CIFAR-10数据集训练多类逻辑回归和卷积神经网络方面始终优于现有方法。在我们的实验中,LICM-SGD还实现了更快的运行时间,这要归功于它的低计算时间复杂度。
2019-09-10 cs.DC cs.LG stat.ML
Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心)
在最近的集中式非凸分布式学习和联邦学习中,局部方法是减少通信时间的有前途的方法之一。然而,现有的工作主要集中在研究一阶最优性保证。另一方面,二阶最优性保证算法,即,逃逸鞍点的算法在非分布优化文献中已经被广泛研究。本文研究了一种新的局部算法--偏差方差降低局部扰动SGD(Bias-Variance Reduced Local Perturbed SGD,BVR-L-PSGD),它将已有的偏差方差降低梯度估计与参数扰动相结合,用于求解集中式非凸分布优化问题的二阶最优点。BVR-L-PSGD具有二阶最优性,但其通信复杂性与BVR-L-SGD的一阶最优性几乎相同。特别是当局部数据集的异质性小于局部损失的平滑性时,通信复杂性优于非局部方法。在极端情况下,当局部数据集的异质性为零时,通信复杂性度接近$\widetilde Θ(1)$。数值结果验证了我们的理论研究结果。
2022-10-12 cs.DC cs.LG
dSTAR: Straggler Tolerant and Byzantine Resilient Distributed SGD
University of California, Los Angeles(加州大学洛杉矶分校);University of Pennsylvania(宾夕法尼亚大学)
dSTAR通过选择前k个响应工作节点的梯度并基于集成中位数过滤,同时应对掉队和拜占庭攻击,实现线性收敛和高精度,优于现有方法。
2026-09-21 cs.AI cs.CR cs.DC
Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework
Tsinghua University(清华大学);Princeton University(普林斯顿大学)
本文提出基于随机延迟微分方程的框架,分析并优化异步分布式SGD的收敛性,揭示陈旧性对加速和收敛的影响,并用于调度策略优化。
2025-02-26 cs.DC cs.LG
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley(加州大学伯克利分校);UW Madison(威斯康星大学麦迪逊分校)
实验发现,小批量随机梯度下降(SGD)算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中,我们提出了一个分析暗示,并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念,衡量并发梯度更新之间的相异性,并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题,小批量SGD是适合更好的加速,同时保持串行(一个样本)SGD的泛化性能。我们进一步建立了收敛的下限,其中小批量SGD减慢超过特定的批量大小,仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用,并讨论了如何像dropout,Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent
Anhui Province Key Laboratory of Big Data Analysis and Application(安徽省大数据分析与应用重点实验室);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院)
随着数据量的增加和模型规模的扩大,分布式并行训练成为解决优化挑战的重要和成功的技术。然而,尽管分布式随机梯度下降(SGD)算法可以实现线性迭代加速,但它们在实践中受到通信成本的显著限制,使得难以实现线性时间加速。在本文中,我们提出了一个计算和通信解耦的随机梯度下降(CoCoD-SGD)算法,并行运行的计算和通信,以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比,该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进:在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时,CoCoD-SGD比传统同步SGD快2-3 $\times$。
2019-09-20 cs.DC cs.LG math.OC
MG-WFBP: Efficient Data Communication for Distributed Synchronous SGD Algorithms
分布式同步随机梯度下降算法已被广泛用于在计算机集群上训练深度神经网络。随着计算能力的提高,网络通信已经成为系统可扩展性的一个限制因素。在本文中,我们观察到许多深度神经网络有大量的层,只有少量的数据要通信。基于将一些短的通信任务合并为一个任务可以减少总的通信时间的事实,我们制定了一个优化问题,以最小化训练迭代时间。我们开发了一个名为合并梯度WFBP(MG-WFBP)的最佳解决方案,并在我们的开源深度学习平台B-Caffe中实现。在一个8节点10 GbE GPU集群上的实验结果和在一个64节点集群上的基于跟踪的仿真结果都表明,MG-WFBP算法比现有的WFBP和SyncEASGD算法具有更好的伸缩效率。
2018-12-01 cs.DC
Revisiting Distributed Synchronous SGD
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);OpenAI
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行,以最大化更新速率,代价是从随机性引入额外的噪声。相比之下,同步方法通常被认为是不切实际的,因为等待分散的工作者会浪费空闲时间。在本文中,我们重新审视这些传统的信念,并研究这两种方法的弱点。我们证明了第三种方法,同步优化与备份工人,可以避免异步噪声,同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快,更好的测试精度。
2017-03-21 cs.DC cs.LG cs.NE
Understanding Top-k Sparsification in Distributed Deep Learning
Hong Kong Baptist University(香港浸会大学);NVIDIA(英伟达)
分布式随机梯度下降(SGD)算法被广泛应用于大规模深度学习模型的训练,但工作者之间的通信开销成为新的系统瓶颈。最近提出的梯度稀疏化技术,特别是$k$稀疏化与误差补偿(TopK-SGD),可以显着减少通信流量,而不会对模型的准确性产生明显的影响。对TopK-SGD算法的收敛性进行了理论分析。然而,现有的研究没有深入到梯度稀疏化中的Top- $k$算子的细节,并且使用宽松的边界(例如,Random- $k$的精确界)进行分析;因此,导出的结果不能很好地描述TopK-SGD的真实收敛性能。为此,我们首先通过大量的实验研究了TopK-SGD在训练过程中的梯度分布。然后,我们从理论上推导出一个更严格的上限的顶部- $k$运营商。最后,我们利用梯度分布的性质,提出了一个近似的顶部- $k$选择算法,这是计算效率的GPU,以提高缩放效率的TopK-SGD显着减少计算开销。代码可从以下网址获得:\url{https://github.com/hclhkbu/GaussianK-SGD}。
2019-11-20 cs.DC cs.LG stat.ML
Cooperative SGD with Dynamic Mixing Matrices
Indian Institute of Technology Ropar(印度理工学院罗帕尔分校);Indian Institute of Science Bangalore(印度科学研究所班加罗尔分校)
本文提出一个统一框架,研究动态拓扑与非均匀聚合下的局部更新分布式 SGD 算法,并给出改进或匹配的收敛性理论保证。
2025-08-21 cs.DC cs.LG
Layered SGD: A Decentralized and Synchronous SGD Algorithm for Scalable Deep Neural Network Training
Brookhaven National Laboratory(布鲁克海文国家实验室)
随机梯度下降(SGD)是训练深度神经网络(DNN)最流行的算法。由于较大的网络和数据集会导致较长的训练时间,因此在分布式系统上进行训练很常见,并且分布式SGD变体(主要是异步和同步SGD)被广泛使用。异步SGD是通信高效的,但是由于延迟的参数更新而遭受精度降级。当节点数量增加时,同步SGD变得通信密集,而不管其优点如何。为了解决这些问题,我们引入分层SGD(LSGD),一个新的分散同步SGD算法。LSGD将计算资源划分为子组,每个子组包含一个通信层(communicator)和一个计算层(worker)。每个子组具有用于参数更新的集中式通信,而子组之间的通信由通信器处理。因此,通信时间与工作器的I/O延迟重叠。通过在ImageNet分类任务上训练深度网络来测试该算法的效率。
2019-06-13 cs.DC cs.LG stat.ML
Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)
EPFL(洛桑联邦理工学院);Georgetown University(乔治城大学)
本文研究了分布式随机梯度下降(D-SGD)方法中的拜占庭容错问题,D-SGD是分布式多智能体机器学习的一种流行算法。在这个问题中,每个代理独立于某个数据生成分布对数据点进行采样。在无故障的情况下,D-SGD方法允许所有代理学习最适合所有代理集体采样的数据的数学模型。我们考虑的情况下,当一小部分的代理可能是拜占庭式的故障。这种错误的代理可能不会正确地遵循规定的算法,并且可能通过共享任意不正确的随机梯度而使传统的D-SGD方法无效。我们提出了一个基于范数的梯度过滤器,命名为比较梯度消除(CGE),robustifies D-SGD方法对拜占庭代理。我们表明,CGE梯度过滤器保证容错对拜占庭代理的有界分数在标准的随机假设下,是计算上更简单的许多现有的梯度过滤器,如多KRUM,几何平均值,和频谱过滤器。我们的经验表明,通过模拟分布式学习神经网络,CGE的容错性与现有的梯度过滤器。我们还经验表明,随机梯度的指数平均提高了通用梯度滤波器的容错性。
2021-04-18 cs.DC cs.LG stat.ML
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology(佐治亚理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在分布式平台上训练大规模机器学习应用时,减少通信仍然是一个很大的挑战。为了解决这个问题,我们提出了一个分布式分层平均随机梯度下降(Hier-AVG)算法,通过引入局部约简,减少了全局约简。作为一种通用的并行SGD,Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明,Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外,我们还表明,更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG,我们表明,通过部署局部平均与更少的全局平均,Hier-AVG仍然可以达到相当的训练速度,同时经常得到更好的测试精度。这表明,局部平均可以作为一种替代的补救措施,以有效地减少通信开销时,学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验,以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
Empirical Analysis on Top-k Gradient Sparsification for Distributed Deep Learning in a Supercomputing Environment
Ajou University(亚洲大学)
为了更快地训练深度学习模型,在多个GPU上进行分布式训练是近年来非常流行的方案。然而,通信带宽仍然是训练性能的主要瓶颈。为了提高整体训练性能,最近的工作提出了梯度稀疏化方法,大大减少了通信流量。它们中的大多数需要梯度排序来选择有意义的梯度,例如Top-k梯度稀疏化(Top-k SGD)。然而,Top-k SGD在提高整体训练性能的速度方面存在限制,因为梯度排序在GPU上效率很低。在本文中,我们进行实验,显示Top-k SGD的效率低下,并提供了低性能的见解。基于我们的经验分析的观察,我们计划产生一个高性能的梯度稀疏化方法作为未来的工作。
2022-09-18 cs.AI cs.DC cs.LG
Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load
Technical University of Munich(慕尼黑工业大学);Aalto University(阿尔托大学)
本文针对分布式SGD中的滞后节点问题,提出一种在运行过程中同时自适应调整工作节点数量和计算负载的新方案,从而在略微增加通信负载的代价下显著降低计算负载并加快收敛。
2023-04-17 cs.DC cs.IT cs.LG
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习(ML)算法的实现归结为解决数值优化问题。在这种情况下,随机梯度下降(SGD)方法长期以来已被证明提供良好的结果,无论是在收敛性和准确性。最近,已经提出了几种并行化方法,以扩展SGD来解决非常大的ML问题。在其核心,这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD,它利用异步单边通信范式。与现有的方法相比,异步并行随机梯度下降(ASGD)提供更快(或至少相等)的收敛,接近线性缩放和稳定的精度。
2015-10-05 cs.DC
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
University of Liège(列日大学)
分布式异步SGD已被广泛用于大型系统中的深度学习,但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中,我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述,我们引入能量的概念来描述优化过程,并推导出一个充分条件,确保其稳定性,只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准,我们得到一个稳定的分布式异步优化程序,GEM,估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比,现有的计划,即使扩展到100个异步工人。结果还表明,更好的推广相比,有针对性的SGD动量。
2018-05-22 cs.DC cs.LG stat.ML
Adaptive Top-K in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);City University of Hong Kong(香港城市大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本文提出一种SGD框架中的自适应Top-K梯度稀疏化方法,通过动态调整稀疏化程度平衡通信成本与收敛误差,在MNIST和CIFAR-10上实现优于现有方法的收敛速率。
2023-09-11 cs.DC cs.LG math.OC
CSER: Communication-efficient SGD with Error Reset
Amazon Web Services(亚马逊云科技);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
分布式随机梯度下降(SGD)的可扩展性目前受到通信瓶颈的限制。我们提出了一种新的SGD变体:具有错误重置的通信高效SGD,或CSER。CSER中的关键思想首先是一种称为“错误重置”的新技术,该技术适用于SGD的任意压缩器,产生分叉的局部模型,并定期重置所产生的局部残余误差。其次,我们为梯度和模型引入部分同步,利用它们的优势。我们证明了CSER光滑非凸问题的收敛性。实证结果表明,当与高度积极的压缩器相结合时,CSER算法将CIFAR-100的分布式训练加速了近10倍,ImageNet加速了4.5倍。
2020-12-05 cs.DC cs.LG stat.ML
Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University(亚洲大学);Surromind;ETRI(韩国电子通信研究院);Korea Institute of Science and Technology(韩国科学技术研究院)
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而,由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题,基于流言的方法,表现出稳定的可扩展性,无论工人的数量已经提出。然而,为了在一般情况下使用基于流言的方法,需要验证大型小批量的验证准确性。为了验证这一点,我们首先实证研究的八卦方法在一个大的小批量问题的特点,并观察到八卦方法保持更高的验证精度比AllReduce-SGD(随机梯度下降)时,批量大小的数量增加,工人的数量是固定的。然而,基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题,我们提出了Crossover-SGD,它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性,我们进行了实证实验,并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP(随机梯度推)。
2022-10-17 cs.DC cs.LG
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine(威尔康奈尔医学院);IBM Research(IBM研究院)
由于深度学习模型通常庞大而复杂,分布式学习对于提高训练效率至关重要。此外,在许多现实世界的应用场景中,如医疗保健,分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习,其中存在存储全局模型的中央服务器和一组本地计算节点,所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器,这导致了沉重的通信成本。最近,异步分散式分布式学习被提出并被证明是一种更有效和实用的策略,其中没有中央服务器,因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输,但在通信过程中仍然存在信息泄漏的风险,以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD(ADPSGD)框架,简称A(DP)$^2$ SGD,它既保持了ADPSGD的通信效率,又防止了恶意参与者的干扰。具体地说,R{é}nyi差分隐私被用来提供更严格的隐私分析,我们的复合高斯机制,而收敛速度是一致的非隐私版本。理论分析表明,A(DP)$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上,A(DP)$^2$ SGD实现了与同步SGD(SSGD)的差分私有版本相当的模型精度,但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources
Amazon Web Services(亚马逊云科技)
随着对用于深度学习算法的训练能力的日益增长的需求以及数据中心中的计算资源的快速增长,期望动态地调度不同的分布式深度学习任务以最大化资源利用并降低成本。在这个过程中,不同的任务可能会在不同的时间接收不同数量的机器,我们称之为弹性分布式训练。尽管最近在大型小批量分布式训练中取得了成功,但这些方法很少在弹性分布式训练环境中进行测试,并且在我们的实验中,当我们立即相对于批量大小线性调整学习率时,性能会下降。我们观察到的一个困难是,随机动量估计中的噪声会随着时间的推移而累积,并且当批量大小变化时会产生延迟效应。因此,我们建议随着时间的推移平滑地调整学习率,以减轻噪声动量估计的影响。我们在图像分类,目标检测和语义分割的实验表明,我们提出的动态SGD方法达到稳定的性能时,不同的GPU数量从8到128。我们还提供了理论上的理解线性学习率调度的最优性和随机动量的影响。
2019-05-02 cs.CV cs.DC cs.LG
Adaptive Stochastic Gradient Descent for Fast and Communication-Efficient Distributed Learning
Technical University of Munich(慕尼黑工业大学);Indian Institute of Science(印度科学学院);US Army Research Laboratory(美国陆军研究实验室);Rutgers University(罗格斯大学)
我们考虑这样一种设置,其中主节点希望在$n$工作节点上运行分布式随机梯度下降(SGD)算法,每个工作节点都有一个数据子集。分布式SGD可能遭受离散者的影响,即,缓慢或反应迟钝的工人造成延误。文献中研究的一种解决方案是在每次迭代时等待最快的$k<n$工人的响应,然后更新模型,其中$k$是固定参数。对$k$的值的选择呈现了运行时间(即,收敛速度)和模型的误差。为了优化错误-运行时权衡,我们研究了具有自适应~ $k$的分布式SGD,即,在算法的整个运行时间内改变$k$。首先,我们设计了一个自适应的政策,为不同的$k$,优化这种权衡的基础上的误差上限作为一个函数的挂钟的时间,我们得出。然后,我们提出并实现了一个算法,自适应分布式SGD是基于统计启发式。我们的研究结果表明,自适应版本的分布式SGD可以达到更低的误差值在更短的时间相比,非自适应实现。此外,结果还表明,自适应版本是通信效率,其中所需的主和工人之间的通信量小于非自适应版本。
2022-08-04 cs.DC cs.IT cs.LG
A Distributed Synchronous SGD Algorithm with Global Top-$k$ Sparsification for Low Bandwidth Networks
Hong Kong Baptist University(香港浸会大学);Shenzhen District Block Technology Co., Ltd.(深圳区块科技有限公司)
分布式同步随机梯度下降(S-SGD)已被广泛用于训练大规模深度神经网络(DNN),但它通常需要计算工作者之间非常高的通信带宽(例如,GPU)迭代地交换梯度。最近,已经提出了$k$稀疏化技术以减少要在工作者之间交换的数据量。顶部- $k$稀疏化可以在不影响模型收敛的情况下将梯度的重要部分归零。然而,稀疏梯度必须以其不规则的索引进行传输,这使得稀疏梯度聚集困难。使用AllGather来累积稀疏梯度的当前方法具有$O(kP)$的通信复杂性,其中$P$是工作者的数量,这在具有大量工作者的低带宽网络上是低效的。我们观察到,并不是所有的顶部- $k$梯度从$P$工人需要的模型更新,因此,我们提出了一种新的全球顶部- $k$(gTop- $k$)稀疏化机制来解决这个问题。具体来说,我们从$P$工作者中选择全局最大的$k$梯度绝对值,而不是累积所有局部最大的$k$梯度来在每次迭代中更新模型。基于gTop- $k$稀疏化的梯度聚合方法将通信复杂性从$O(kP)$降为$O(k\log P)$。通过在不同DNN上的大量实验,我们验证了gTop- $k$ S-SGD与S-SGD具有几乎一致的收敛性能,并且在泛化性能上只有轻微的下降。在扩展效率方面,我们评估了gTop- $k$的集群与32 GPU机器互连1 Gbps以太网。实验结果表明,该方法实现了$2.7-12\times$比S-SGD更高的缩放效率,而…
2019-04-17 cs.DC cs.LG
MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times
King Abdullah University of Science and Technology(卡布斯大学)
针对分布式场景下工作节点计算时间异构且随机导致现有并行SGD性能下降的问题,提出专门适配该场景的MindFlayer SGD方法,经理论和实验验证其在重尾噪声环境下性能更优,具备鲁棒性与可扩展性。
2025-06-13 cs.DC cs.LG math.OC
DreamDDP: Accelerating Data Parallel Distributed LLM Training with Layer-wise Scheduled Partial Synchronization
针对低带宽地理分布 DDP 中通信瓶颈,本文提出 DreamDDP,通过逐层部分同步、无额外显存的通信计算重叠及细粒度调度,实现 1.49×–3.91× 加速。
2025-02-16 cs.DC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL(洛桑联邦理工学院);CISPA(亥姆霍兹信息安全中心)
我们研究了异步随机梯度下降算法的分布式训练$n$工人,随着时间的推移,具有不同的计算和通信频率。在该算法中,工作者以自己的速度并行计算随机梯度,并将其返回给服务器,而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代,其中$σ$表示随机梯度的方差。在这项工作中,(i)我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法,其中$τ_{avg}$是平均延迟,它可以显着小于$τ_{\max}$。我们还提供了(ii)一个简单的延迟自适应学习率计划,异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度,不需要任何额外的超参数调整,也不需要额外的通信。我们的结果允许第一次表明,异步SGD总是比小批量SGD更快。此外,(iii)我们考虑了由联邦学习应用程序驱动的异构函数的情况,并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是,我们表明,在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
分布式优化对于在大型数据集上训练大型模型至关重要。已经提出了多种方法来减少分布式训练中的通信开销,例如仅在执行多个本地SGD步骤之后进行同步,以及分散式方法(例如,使用流言算法)来解耦工作者之间的通信。虽然这些方法比基于AllReduce的方法运行得更快,后者在每次更新之前使用阻塞通信,但在相同数量的更新之后,生成的模型可能不太准确。受Chen & Huo(2016)的BMUF方法的启发,我们提出了一个慢动量(SlowMo)框架,其中工人在多次迭代基础优化算法后定期同步并执行动量更新。在图像分类和机器翻译任务上的实验表明,相对于基本优化器,SlowMo始终在优化和泛化性能方面有所改进,即使在许多更新中分摊了额外的开销,使得SlowMo运行时与基本优化器不相上下。我们提供了理论收敛保证表明,SlowMo收敛到平稳的非凸损失点。由于BMUF可以通过SlowMo框架表示,我们的结果也对应于BMUF的第一个理论收敛保证。
2020-02-19 cs.DC cs.LG math.OC
Generalized Byzantine-tolerant SGD
在一般拜占庭失效模型下,提出了三个新的分布式同步随机梯度下降~(SGD)鲁棒聚集规则。在参数服务器(PS)结构中,攻击者可以任意操纵服务器与工作者之间的数据传输。我们证明了这些聚合规则的拜占庭弹性属性。实证分析表明,所提出的技术优于当前的方法,为现实的用例和拜占庭攻击的情况下。
2018-03-23 cs.DC stat.ML
Distributed Sparse SGD with Majority Voting
Ozyegin University(厄兹耶金大学);Imperial College London(帝国理工学院)
分布式学习,特别是分布式随机梯度下降(DSGD)的变体,被广泛用于通过利用多个工作者的计算资源来加速训练。然而,在实践中,由于需要在工作器和参数服务器之间交换大量信息,通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而,top-K稀疏化需要额外的通信负载来表示稀疏模式,并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题,我们引入了一种新的基于多数表决的稀疏通信策略,在该策略中,工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载,并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟,我们证明了在测试精度没有任何损失的情况下,可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
Communication-Efficient Distributed Learning with Local Immediate Error Compensation
University of Science and Technology of China(中国科学技术大学);JD Explore Academy(京东探索研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对分布式学习中现有梯度压缩方法存在的通信成本高或收敛慢的问题,提出 LIEC-SGD 算法,通过双向压缩和局部即时误差补偿技术,在降低通信开销的同时加速收敛,理论分析与深度神经网络实验均验证了其有效性。
2024-02-19 cs.DC cs.LG
Shuffle-Exchange Brings Faster: Reduce the Idle Time During Communication for Decentralized Neural Network Training
分布式随机梯度下降(DSGD)作为加速深度神经网络(DNN)训练的重要方法,在实际应用中得到了广泛的应用。在大多数分布式深度学习(DL)框架中,DSGD采用Ring-AllReduce架构(Ring-SGD)实现,并使用计算-通信重叠策略来解决DSGD所需的大量通信的开销。然而,我们观察到,尽管Ring-SGD中每个工作者都需要传递$O(1)$梯度,但Ring-SGD所需的$O(n)$握手限制了其在与许多工作者一起训练或在高延迟网络中的使用。本文提出了洗牌交换SGD(SESGD)来解决Ring-SGD的困境。在具有0.1ms以太网延迟的16个工作者的集群中,SESGD可以加速DNN训练到$1.7 \times$,而不会损失模型准确性。此外,在高延迟网络(5 ms)中,该过程可以加速到$5\times$。
2020-07-16 cs.DC
A Hybrid-Order Distributed SGD Method for Non-Convex Optimization to Balance Communication Overhead, Computational Complexity, and Convergence Rate
Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM));Nokia Bell Labs(诺基亚贝尔实验室);Sharif University of Technology(谢里夫理工大学)
本文提出了一种分布式随机梯度下降(SGD)算法,该算法通信量小,计算复杂性低,收敛速度快。为了减少通信负载,在算法的每次迭代中,工作节点计算并传送一些缩放器,这些缩放器是一些\emph{pre-shared directions}中的样本函数的方向导数。然而,为了保持准确性,在每一个特定的迭代次数之后,它们都会传递随机梯度的向量。为了降低每次迭代中的计算复杂性,工作节点通过仅执行两个函数评估而不是计算一阶梯度向量来用零阶随机梯度估计来近似方向导数。所提出的方法大大提高了零阶方法的收敛速度,保证了逐阶更快的收敛。此外,与著名的通信有效的方法模型平均(执行局部模型更新和定期通信的梯度同步的局部模型)相比,我们证明了,对于一般类的非凸随机问题和合理的参数选择,所提出的方法保证了相同的顺序的通信负载和收敛速度,同时具有顺序较少的计算复杂性。在神经网络应用中的各种学习问题的实验结果表明,所提出的方法相比,各种国家的最先进的分布式SGD方法的有效性。
2020-03-27 cs.DC cs.IT cs.LG
Cooperative SGD: A unified Framework for the Design and Analysis of Communication-Efficient SGD Algorithms
Carnegie Mellon University(卡内基梅隆大学);Department of Electrical & Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系)
通信高效的SGD算法允许节点执行本地更新并定期同步本地模型,在提高分布式SGD的速度和可扩展性方面非常有效。然而,一个严格的收敛性分析和不同的通信减少战略的比较研究仍然是一个很大程度上开放的问题。本文提出了一个统一的框架,称为合作SGD,包括现有的通信效率的SGD算法,如平均,弹性平均和分散SGD。通过分析合作SGD,我们提供了新的收敛性保证现有的算法。此外,该框架使我们能够设计新的通信高效的SGD算法,在减少通信开销和实现快速错误收敛与低错误地板之间取得最佳平衡。
2019-01-25 cs.DC cs.LG stat.ML
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出Power-EF算法,通过误差反馈压缩通信,首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点,且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC