Layer-wise Adaptive Gradient Sparsification for Distributed Deep Learning with Convergence Guarantees
Hong Kong Baptist University（香港浸会大学）
为了减少大型深度神经网络（DNN）模型的长训练时间，分布式同步随机梯度下降（S-SGD）通常用于一组工作者。然而，多个工作者带来的加速受到通信开销的限制。两种方法，即流水线和梯度稀疏化，已分别提出，以减轻通信开销的影响。然而，梯度稀疏化方法只能在反向传播之后发起通信，因此错过了流水线机会。在本文中，我们提出了一种新的分布式优化方法LAGS-SGD，它结合了S-SGD和一种新的分层自适应梯度稀疏化（LAGS）计划。在LAGS-SGD中，每个工作者独立地从每个层中选择一小组“显著”梯度，其大小可以自适应于该层的通信计算比率。LAGS-SGD的逐层性质开启了将通信与计算重叠的机会，而LAGS-SGD的自适应性质使其能够灵活地控制通信时间。我们证明了LAGS-SGD具有收敛保证，并且在较弱的分析假设下，它具有与vanilla S-SGD相同的收敛速度阶。大量的实验验证了分析假设和LAGS-SGD的收敛性能。在16 GPU集群上的实验结果表明，LAGS-SGD在不损失明显模型精度的情况下，性能优于原始S-SGD和现有的稀疏S-SGD。
2020-03-02 cs.DC cs.LG stat.ML
Overlap Local-SGD: An Algorithmic Approach to Hide Communication Delays in Distributed SGD
Carnegie Mellon University（卡内基梅隆大学）
分布式随机梯度下降（SGD）对于将机器学习算法扩展到大量计算节点是必不可少的。然而，基础设施的变化，如高通信延迟或随机节点减速极大地阻碍了分布式SGD算法的性能，特别是在无线系统或传感器网络。在本文中，我们提出了一种算法方法，名为重叠本地SGD（及其动量变体）重叠的通信和计算，以加快分布式训练过程。这种方法也有助于减轻离散效应。我们通过在每个节点上添加锚模型来实现这一点。在多次本地更新之后，本地训练的模型将被拉回到同步的锚模型，而不是与其他模型通信。在CIFAR-10数据集上训练深度神经网络的实验结果证明了Overlap-Local-SGD的有效性。我们还提供了一个非凸目标函数下的算法的收敛性保证。
2020-02-21 cs.DC cs.LG math.OC
Variance Reduced Local SGD with Lower Communication Complexity
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology（香港科技大学）
为了加速机器学习模型的训练，分布式随机梯度下降（SGD）及其变体已被广泛采用，其并行应用多个工人以加速训练。其中，Local SGD因其较低的通讯成本而备受关注。然而，当工作者上的数据分布不相同时，本地SGD需要$O(T^{\frac{3}{4}} N^{\frac{3}{4}})$通信来维护其\emph{linear iteration speedup}属性，其中$T$是迭代的总数，$N$是工作者的数量。在本文中，我们提出了方差减少本地SGD（VRL-SGD），以进一步降低通信复杂性。从理论上证明了VRL-SGD算法消除了对工人间梯度方差的依赖，即使工人访问不同的数据集，也能以较低的通信复杂性度$O(T^{\frac{1}{2}} N^{\frac{3}{2}})$实现\emph{linear iteration speedup}.我们在三个机器学习任务上进行了实验，实验结果表明，当工人之间的数据非常多样化时，VRL-SGD的性能比Local SGD好得多。
2019-12-30 cs.DC cs.LG math.OC
Communication-efficient distributed SGD with Sketching
Amazon（亚马逊）；UC Berkeley（加州大学伯克利分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
神经网络的大规模分布式训练通常受到网络带宽的限制，其中通信时间超过本地计算时间。灵感的草图方法在子线性/流算法的成功，我们介绍了草图SGD，一种算法进行分布式SGD通过通信草图，而不是全梯度。我们表明，草图SGD具有良好的几类功能的收敛速度。当考虑所有通信（梯度和更新的模型权重）时，与从$\mathcal{O}(d)$或$\mathcal{O}(W)$到$\mathcal{O}(\log d)$的其他梯度压缩方法相比，Sketched SGD减少了所需的通信量，其中$d$是模型参数的数量，而$W$是参与培训的工人数量。我们在一个Transformer模型、一个LSTM和一个残差网络上进行了实验，证明了总通信成本降低了40倍，而最终模型性能没有损失。我们还通过实验表明，Sketched SGD可扩展到至少256名工人，而不会增加通信成本或降低模型性能。
2020-01-23 cs.DC cs.LG math.OC
Adaptive Communication Strategies to Achieve the Best Error-Runtime Trade-off in Local-Update SGD
Carnegie Mellon University（卡内基梅隆大学）
大规模机器学习训练，特别是分布式随机梯度下降，需要对固有的系统可变性（如节点离散和随机通信延迟）具有鲁棒性。这项工作考虑了一个分布式的训练框架，其中每个工作节点被允许执行本地模型更新，并定期平均得到的模型。我们分析了误差收敛的真实速度与挂钟时间（而不是迭代次数）的关系，并分析了它如何受到平均频率的影响。主要贡献是设计的AdaComm，一个自适应的通信策略，开始与不频繁的平均，以节省通信延迟和提高收敛速度，然后增加通信频率，以实现低错误平层。训练深度神经网络的严格实验表明，AdaComm可以比完全同步的SGD花费更少的时间$3 \times$，并且仍然达到相同的最终训练损失。
2019-03-07 cs.DC cs.LG stat.ML
Adaptive Periodic Averaging: A Practical Approach to Reducing Communication in Distributed Learning
The University of Iowa（爱荷华大学）；Augusta University（奥古斯塔大学）
随机梯度下降（SGD）是机器学习任务的关键学习算法。由于其计算成本，人们越来越有兴趣在GPU集群等HPC资源上加速SGD。然而，并行SGD的性能仍然受到高通信成本的影响，即使在机器之间具有快速连接。缓解这个问题的一个简单方法，在许多现有的努力中使用，是使用恒定的平均周期，每隔几次迭代执行通信。在本文中，我们表明，在收敛和通信成本方面的最佳平均周期不是一个常数，而是在执行过程中变化。具体来说，我们观察到，减少计算节点之间的模型参数的方差是至关重要的周期性参数平均SGD的收敛。给定一个固定的通信预算，我们表明，这是更有益的同步更频繁地在早期的迭代，以减少初始的大方差和同步频率较低的训练过程的后期阶段。我们提出了一种实用的算法，自适应周期参数平均SGD（ADPSGD），以实现更小的模型参数的整体方差，从而更好的收敛性相比，恒定周期参数平均SGD（CPSGD）。我们评估我们的方法与几个图像分类基准，并表明，我们的ADPSGD确实实现了较小的训练损失和更高的测试精度与较小的通信相比，CPSGD。与梯度量化SGD相比，我们的算法实现了更快的收敛速度，只有一半的通信。与全通信SGD相比，在100 Gbps的节点连接下，加速比为1：14 ~ 1：27倍;在10 Gbps的节点连接下，加速比为1：46 ~ 1：95倍。
2021-01-19 cs.DC cs.LG stat.ML
LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
KAUST（卡塔尔科技大学）
本文研究了在异构计算环境下结合通信压缩、局部训练和通信-计算重叠的局部SGD方法，提出LOSCAR-SGD通过仅通信稀疏模型坐标并持续优化来提高分布式学习效率，首次给出了这种组合方法的理论保证。
2026-05-20 cs.DC cs.LG math.OC
APMSqueeze: A Communication Efficient Adam-Preconditioned Momentum SGD Algorithm
Microsoft（微软）；University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）
Adam是保证训练BERT和ImageNet等许多重要任务的效率和准确性的重要优化算法。然而，Adam通常与信息（梯度）压缩技术不兼容。因此，通信通常成为并行化Adam的瓶颈。本文提出了一种通过压缩梯度的误差补偿方法来提高通信效率的{ \bf A}DAM { \bf p}修正{ \bf M}动量SGD算法--APMSqueeze。所提出的算法实现了类似的收敛效率亚当的时期，但显着减少了每个时期的运行时间。在端到端性能方面（包括全精度预处理步骤），APMSqueeze能够提供{有时根据网络带宽，最高可达$2-10\times$的速度提升。}并对算法的收敛性和效率进行了理论分析。
2020-08-28 cs.DC cs.LG stat.ML
Avoiding Communication in Logistic Regression
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Berkeley（加州大学伯克利分校）
随机梯度下降（SGD）是用于解决各种机器学习问题的最广泛使用的优化方法之一。SGD通过从输入数据中迭代采样几个数据点、计算所选数据点的梯度并更新解决方案来解决优化问题。然而，在并行设置中，SGD在每次迭代中都需要进程间通信。我们介绍了一种新的通信避免技术，解决逻辑回归问题，使用SGD。该技术将SGD计算重新组织为在每个$s$迭代而不是每次迭代中进行通信的形式，其中$s$是调整参数。我们证明了理论上的触发器，带宽和延迟的上限SGD和它的新的通信，避免变种。此外，我们的实验结果表明，新的通信避免SGD（CA-SGD）的方法可以实现加速高达$4.97\times$的高性能Infiniband集群，而不会改变收敛行为或准确性。
2020-11-16 cs.DC cs.LG
SPARQ-SGD: Event-Triggered and Compressed Communication in Decentralized Stochastic Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；US Army Research Lab（美国陆军研究实验室）
在本文中，我们提出并分析SPARQ-SGD，这是一个事件触发和压缩算法的大规模机器学习模型的分散训练。每个节点可以本地计算触发通信的条件（事件），其中发送量化和稀疏化的本地模型参数。在SPARQ-SGD中，每个节点至少采用固定数量（$H$）的局部梯度步长，然后检查模型参数与其上次更新相比是否发生了显著变化;只有当发生显著变化时，它才会进一步传输压缩的模型参数，如（设计）标准所规定的。我们证明了SPARQ-SGD分别在强凸和非凸设置下收敛为$O(\frac{1}{nT})$和$O(\frac{1}{\sqrt{nT}})$，表明这种积极的压缩，包括事件触发通信，模型稀疏化和量化，与未压缩的分散式训练相比，不会影响整体收敛速度;从而理论上产生“免费”的通信效率。我们在真实数据集上评估SPARQ-SGD，以证明在最先进的通信中节省了大量资金。
2020-02-24 cs.DC cs.LG math.OC
Local SGD With a Communication Overhead Depending Only on the Number of Workers
Boston University（波士顿大学）
我们考虑通过在多个工人之间并行化来加速随机梯度下降（SGD）。我们假设相同的数据集在$n$工作者之间共享，这些工作者可以采取SGD步骤并与中央服务器协调。不幸的是，这可能需要在工作者和服务器之间进行大量通信，这会极大地减少并行性带来的好处。在早期文献中提出和分析的本地SGD方法建议机器在这种通信之间进行许多本地步骤。虽然局部SGD的初始分析表明，为了使误差与$1/(nT)$成比例地缩放，它需要$T$局部梯度步长的$Ω( \sqrt{T} )$通信，但这已在一系列论文中得到连续改进，最新技术要求$Ω\left( n \left( \mbox{ polynomial in log } (T) \right) \right)$通信。在本文中，我们给出了一个新的分析本地SGD。我们分析的结果是，本地SGD可以实现与$1/(nT)$成比例的误差，而仅需要固定数量的独立于$T$的通信：具体而言，仅需要$Ω(n)$通信。
2020-06-03 cs.LG math.OC stat.ML
Moniqua: Modulo Quantized Communication in Decentralized SGD
Cornell University（康奈尔大学）
以分散的方式运行随机梯度下降（SGD）已经显示出有希望的结果。在本文中，我们提出了Moniqua，一种允许分散式SGD使用量化通信的技术。我们在理论上证明，Moniqua通信可证明有界的位数每次迭代，而收敛在相同的渐近速率与原算法与全精度通信。Moniqua改进了以前的工作，因为它（1）需要零额外内存，（2）使用1位量化，（3）适用于各种分散算法。我们的经验表明，Moniqua收敛速度比其他量化的分散算法的挂钟时间。我们还表明，Moniqua对非常低的比特预算具有鲁棒性，在CIFAR10上训练ResNet20和ResNet110时，允许每个参数1比特的通信，而不会影响验证准确性。
2020-06-30 cs.LG stat.ML
Quantized Epoch-SGD for Communication-Efficient Distributed Learning
Nanjing University（南京大学）
随机梯度下降（SGD）算法由于其高效性和易于实现性，在机器学习中得到了广泛的应用。特别是，SGD是分布式学习中最流行的优化方法之一。近年来，量化的SGD（QSGD），它采用量化来减少基于SGD的分布式学习的通信成本，引起了人们的广泛关注。虽然已经提出了几种QSGD方法，其中一些是启发式的，没有理论保证，和其他人有很大的量化方差，这使得收敛变慢。在本文中，我们提出了一种新的方法，称为量化时代SGD（QESGD），通信效率的分布式学习。QESGD对参数进行压缩（量化），降低了方差，从而可以以更少的通信代价获得与SGD几乎相同的性能。QESGD在Parameter Server框架上实现，分布式深度学习的实证结果表明，QESGD可以超越其他最先进的量化方法，以实现最佳性能。
2019-01-10 cs.LG math.OC stat.ML
The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
研究分布式异构学习中局部随机梯度下降的局限性与潜力，在一阶数据异构性假设下给出其新下界，证明加速小批量SGD的极小极大最优性，考虑高阶假设给出新上界，强调需更好数据异构性模型理解其有效性。
2026-07-15 cs.DC cs.LG math.OC
Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）
随着数据量的增加和模型规模的扩大，分布式并行训练成为解决优化挑战的重要和成功的技术。然而，尽管分布式随机梯度下降（SGD）算法可以实现线性迭代加速，但它们在实践中受到通信成本的显著限制，使得难以实现线性时间加速。在本文中，我们提出了一个计算和通信解耦的随机梯度下降（CoCoD-SGD）算法，并行运行的计算和通信，以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比，该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进：在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时，CoCoD-SGD比传统同步SGD快2-3 $\times$。
2019-09-20 cs.DC cs.LG math.OC
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services（亚马逊云科技）；Hong Kong University of Science and Technology（香港科技大学）
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近，人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化，具有多数表决的signSGD实现了通信成本的32倍降低。然而，它的收敛是基于不切实际的假设，在实践中可能会出现分歧。在本文中，我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩，它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块，引入了逐块压缩器，使得每个梯度块以具有缩放因子的1位格式压缩和传输，从而导致通信减少近32倍。实验结果表明，该方法与全精度分布式动量SGD算法收敛速度相当，且测试精度相同。特别是，在ImageNet上使用7个工作人员进行分布式ResNet训练时，所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度，但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
Communication-efficient SGD: From Local SGD to One-Shot Averaging
Boston University（波士顿大学）
我们考虑加速随机梯度下降（SGD）的多个工人并行化。我们假设相同的数据集在$N$工作者之间共享，这些工作者可以采取SGD步骤并与中央服务器协调。虽然可以通过对每一步的所有随机梯度进行平均来获得方差的线性减少，但这需要工作人员和服务器之间进行大量通信，这可能会显着减少并行性带来的收益。在早期文献中提出和分析的本地SGD方法建议机器在这种通信之间进行许多本地步骤。虽然局部SGD的初始分析表明，为了使误差与$1/(NT)$成比例地缩放，它需要$T$局部梯度步长的$Ω( \sqrt{T} )$通信，但这已在一系列论文中得到连续改进，最新技术要求$Ω\left( N \left( \mbox{ poly} (\log T) \right) \right)$通信。在本文中，我们提出了一个本地SGD方案，通信较少的整体通信不太频繁的迭代次数的增长。我们的分析表明，这可以实现一个错误，规模为$1/(NT)$与通信的数量是完全独立的$T$。特别是，我们表明，$Ω(N)$通信是足够的。经验证据表明，这个界限是接近紧，因为我们进一步表明，$\sqrt{N}$或$N^{3/4}$通信无法实现线性加速模拟。此外，我们表明，在温和的假设下，其中主要是两次可微的任何邻域的最优解，一次平均，只使用一轮的通信也可以达到最佳的收敛速度渐近。
2021-10-27 cs.DC cs.LG math.OC
Communication-Efficient Local Decentralized SGD Methods
Peking University（北京大学）；Stevens Institute of Technology（史蒂文斯理工学院）
近来，局部更新技术是集中设置中的一种强有力的工具，以通过定期通信来提高通信效率。对于去中心化的设置，目前还不清楚如何有效地结合本地更新和去中心化的通信。在这项工作中，我们提出了一个名为LD-SGD的算法，它采用了任意的更新方案，在多个本地更新和多个分散的SGD之间交替，并为LD-SGD提供了一个分析框架。在此框架下，我们给出了一个保证收敛的充分条件。我们发现，LD-SGD收敛到一个临界点，对于广泛的更新计划时，目标是非凸的，训练数据是非同独立分布。此外，我们的框架为分散优化的更新方案的设计带来了许多见解。作为例子，我们指定两个更新方案，并显示它们如何帮助提高通信效率。具体地，第一方案交替局部和全局更新步骤的数量。从我们的分析来看，本地更新数量与去中心化SGD的数量之比权衡了通信和计算。第二种方案是定期缩短本地更新的长度。我们从理论和实证两个方面证明了衰减策略有助于提高沟通效率。
2021-04-05 cs.LG math.OC stat.ML
Communication trade-offs for synchronized distributed SGD with large step size
IIT Kanpur（坎普尔印度理工学院）；EPFL（洛桑联邦理工学院）
同步小批量SGD是大规模分布式机器学习的最新技术。然而，在实践中，它的收敛性受到工作节点之间缓慢的通信轮次的影响。减少通信的自然解决方案是使用\emph{`local-SGD'}模型，其中工作者独立地训练他们的模型，并每隔一段时间进行同步。该算法改善了计算-通信权衡，但其收敛性不是很好理解。我们提出了一种非渐近误差分析，它可以与\emph{one-shot averaging}进行比较，即，独立工作者之间的单轮通信，以及\emph{mini-batch averaging}，即，沟通每一步。我们还提供了自适应下界的通信频率为大步长（$ t^{-α} $，$ α\in (1/2 , 1 ) $），并表明，\emph{Local-SGD}减少通信的一个因素，$O\Big(\frac{\sqrt{T}}{P^{3/2}}\Big)$，与$T$的梯度和$P$机的总数。
2019-04-25 cs.LG math.OC stat.ML
Communication-Efficient, 2D Parallel Stochastic Gradient Descent for Distributed-Memory Optimization
Wake Forest University（维克森林大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出二维并行SGD方法HybridSGD，通过理论分析和实验验证，在通信效率与收敛性能间取得连续权衡，相比一维方法实现高达121倍加速。
2026-06-26 cs.DC stat.ML
Asynchronous Decentralized SGD with Quantized and Local Updates
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；University of Surrey（萨里大学）；ETH Zurich（苏黎世联邦理工学院）
分散式优化正在成为可扩展的分布式机器学习的可行替代方案，但也在同步成本方面引入了新的挑战。为此，几个通信减少技术，如非阻塞通信，量化和本地步骤，已被探索在分散设置。由于在这样一个宽松的环境中分析优化的复杂性，这类工作通常假设\emph{global}通信轮，这需要额外的同步。在本文中，我们认为分散优化的简单，但很难分析，\emph{asynchronous gossip}模型，其中通信发生在离散的，随机选择的节点之间的配对。也许令人惊讶的是，我们表明，SGD的一个变种称为\emph{SwarmSGD}仍然收敛在这种设置，即使\emph{non-blocking communication}，\emph{quantization}，和\emph{local steps}都适用于\emph{in conjunction}，即使节点数据分布和底层图形拓扑结构都是\emph{heterogenous}。我们的分析是基于一个新的连接与多维负载平衡过程。我们实现了该算法，并将其部署在超级计算环境中，表明它在端到端训练时间方面优于以前的分散方法，甚至可以与精心调整的大批量SGD相媲美。
2022-03-25 cs.DC cs.LG stat.ML
The Error-Feedback Framework: Better Rates for SGD with Delayed Gradients and Compressed Communication
EPFL（洛桑联邦理工学院）
我们分析（随机）梯度下降（SGD）与光滑拟凸和非凸函数的延迟更新，并推导出简洁，非渐近，收敛速度。我们表明，在所有情况下的收敛速度包括两个方面：（i）一个随机项，这是不受影响的延迟，和（ii）一个高阶确定性项，这只是线性放缓的延迟。因此，在存在噪声的情况下，延迟的影响在几次迭代之后变得可以忽略不计，并且算法以与标准SGD相同的最佳速率收敛。这一结果扩展了一系列的研究，显示出类似的结果，在渐近制度或强凸二次函数。我们进一步显示了类似的结果，SGD与更复杂的形式的延迟梯度-压缩梯度下的误差补偿和本地~SGD，多个工人执行本地步骤之前，相互通信。在所有这些设置中，我们改进了最知名的费率。这些结果表明，SGD是压缩和/或延迟的随机梯度更新的鲁棒性。这对于分布式并行实现尤其重要，其中异步和通信高效的方法是实现多设备优化的线性加速的关键。
2021-06-16 cs.DC cs.LG math.OC
Trustworthy Efficient Communication for Distributed Learning using LQ-SGD Algorithm
提出LQ-SGD算法，结合低秩近似与对数量化压缩梯度通信，降低开销并保持精度，且比传统SGD更抗梯度反演，提升分布式学习效率与安全性。
2025-06-22 cs.LG
Elastic Gossip: Distributing Neural Network Training Using Gossip-like Protocols
分布式神经网络训练因以下几个原因而受到特别关注，包括使用计算集群进行扩展，在物联网设备和边缘服务器等数据源进行训练，跨异构环境利用未充分利用的资源等。大多数当代方法主要使用计算集群解决扩展问题，需要高网络带宽和频繁的通信。本文概述了分布式训练的标准方法，并提出了一种新的技术，涉及使用Gossip类协议的成对通信，称为弹性Gossip。这种方法建立在一种称为弹性平均SGD（EASGD）的现有技术之上，并且类似于另一种称为Gossiping SGD的技术，该技术也使用类似Gossip的协议。使用MNIST数字识别和CIFAR-10分类任务，使用跨越多层感知器（MLP）和卷积神经网络（CNN）的常用神经网络架构，对Elastic Gossip与Gossiping SGD进行经验评估。结果发现，弹性流言，流言SGD，和所有减少SGD执行相当的，即使后者需要一个更高的通信成本。虽然Elastic Gossip在这些实验中的表现优于Gossiping SGD，但有可能在特定于给定应用程序的超参数空间上进行更彻底的搜索，可能会产生比Elastic Gossip更好的Gossiping SGD配置。
2018-12-06 cs.DC cs.LG stat.ML
Mixed-Precision Communication-Avoiding SGD for Generalized Linear Models on GPUs
Department of Computer Science, Wake Forest University（沃杰福大学计算机科学系）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
提出混合精度通信避免SGD（CA-SGD），通过分析有限精度误差将精度选择分解为九个独立部分，在NVIDIA GPU上实现5.1-6.8倍加速，且损失与FP32 SGD匹配。
2026-06-18 cs.DC cs.LG cs.NA
CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation
National University of Defense Technology（国防科技大学）
通信开销是分布式训练的关键挑战。梯度压缩是一种广泛使用的减少通信流量的方法。梯度压缩技术与流水线等并行通信机制相结合，可以大大减轻通信开销的影响。然而，梯度压缩技术存在两个问题需要解决。首先，梯度压缩带来了额外的计算成本，这将延迟下一次训练迭代。其次，梯度压缩通常会导致收敛精度的下降。
2021-09-07 cs.DC cs.LG
Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
在最近的集中式非凸分布式学习和联邦学习中，局部方法是减少通信时间的有前途的方法之一。然而，现有的工作主要集中在研究一阶最优性保证。另一方面，二阶最优性保证算法，即，逃逸鞍点的算法在非分布优化文献中已经被广泛研究。本文研究了一种新的局部算法--偏差方差降低局部扰动SGD（Bias-Variance Reduced Local Perturbed SGD，BVR-L-PSGD），它将已有的偏差方差降低梯度估计与参数扰动相结合，用于求解集中式非凸分布优化问题的二阶最优点。BVR-L-PSGD具有二阶最优性，但其通信复杂性与BVR-L-SGD的一阶最优性几乎相同。特别是当局部数据集的异质性小于局部损失的平滑性时，通信复杂性优于非局部方法。在极端情况下，当局部数据集的异质性为零时，通信复杂性度接近$\widetilde Θ(1)$。数值结果验证了我们的理论研究结果。
2022-10-12 cs.DC cs.LG
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine（威尔康奈尔医学院）；IBM Research（IBM研究院）
由于深度学习模型通常庞大而复杂，分布式学习对于提高训练效率至关重要。此外，在许多现实世界的应用场景中，如医疗保健，分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习，其中存在存储全局模型的中央服务器和一组本地计算节点，所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器，这导致了沉重的通信成本。最近，异步分散式分布式学习被提出并被证明是一种更有效和实用的策略，其中没有中央服务器，因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输，但在通信过程中仍然存在信息泄漏的风险，以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD（ADPSGD）框架，简称A（DP）$^2$ SGD，它既保持了ADPSGD的通信效率，又防止了恶意参与者的干扰。具体地说，R{é}nyi差分隐私被用来提供更严格的隐私分析，我们的复合高斯机制，而收敛速度是一致的非隐私版本。理论分析表明，A（DP）$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上，A（DP）$^2$ SGD实现了与同步SGD（SSGD）的差分私有版本相当的模型精度，但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
Local SGD with Periodic Averaging: Tighter Analysis and Adaptive Synchronization
Penn State（宾夕法尼亚州立大学）
通信开销是影响分布式优化算法可扩展性的关键问题之一。在本文中，我们研究了本地分布式SGD，其中数据在计算节点之间进行分区，并且计算节点通过定期在工作者之间交换模型来执行平均来执行本地更新。虽然本地SGD经验表明，提供有前途的结果，其性能的理论理解仍然是开放的。我们加强了对局部SGD的收敛性分析，并表明局部SGD可以比当前理论所建议的更便宜，更广泛地应用。具体来说，我们表明，损失函数，满足Polyak-Jumojasiewicz条件，$O((pT)^{1/3})$轮的通信足以实现线性加速，也就是说，错误的$O(1/pT)$，其中$T$是在每个工人的模型更新的总数。这与以前的工作，需要更高的通信轮数，以及限于强凸损失函数，类似的渐近性能。我们还开发了一个自适应同步方案，提供了一个线性加速的一般条件。最后，我们通过在AWS EC2云和内部GPU集群上运行的实验结果验证了理论。
2020-05-14 cs.DC cs.LG stat.ML
Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of Pavia（帕维亚大学）
针对异步集中式分布式非凸随机优化中计算与通信异构的问题，提出基于无偏压缩的Shadowheart SGD，证明其时间复杂度优于现有集中式方法且在压缩通信集中式方法族中最优，同时拓展到双向场景给出对应方法。
2024-11-02 cs.LG math.OC
DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；George Washington University（乔治华盛顿大学）
梯度量化是分布式学习中降低通信成本的一种新兴技术。现有的梯度量化算法往往依赖于工程原理或经验观察，缺乏一个系统的方法来动态地识别梯度。本文提出了一种新的动态量化SGD（DQ-SGD）框架，使我们能够动态地调整量化方案的每一个梯度下降步骤，通过探索通信成本和收敛误差之间的权衡来解决这个问题。我们推导出一个上界，在某些情况下紧，收敛误差的量化方案和损失函数的限制家庭。在收敛误差约束下，通过最小化通信代价设计了DQ-SGD算法。最后，通过对AG-News，CIFAR-10和CIFAR-100数据集上的大规模自然语言处理和计算机视觉任务的广泛实验，我们证明了我们的量化方案比其他最先进的梯度量化方法在通信成本和学习性能之间实现了更好的权衡。
2021-07-30 cs.AI cs.LG
Decoupled SGDA for Games with Intermittent Strategy Communication
CISPA Helmholtz Center for Information Security（CISPA信息安全研究中心）
针对多人博弈中频繁交换策略不可行的问题，提出 Decoupled SGDA 方法，允许玩家基于过时策略独立更新并定期同步，在强凸-强凹及弱耦合博弈中显著降低通信成本并保持近最优收敛率。
2025-06-27 cs.LG
NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Institute of Science and Technology Austria（奥地利科学技术研究所）
随着模型和数据集的大小和复杂性的增长，对随机梯度下降的通信高效变体的需求也在增长，这些变体可以被部署来执行并行模型训练。用于数据并行SGD的一种流行的通信压缩方法是QSGD（Alistarh等人，2017），其量化和编码梯度以降低通信成本。QSGD的基线变体提供了强有力的理论保证，然而，出于实用目的，作者提出了一种启发式变体，我们称之为QSGDinf，它在大型神经网络的分布式训练中表现出令人印象深刻的经验收益。在本文中，我们在这项工作的基础上提出了一个新的梯度量化方案，并表明它具有比QSGD更强的理论保证，并匹配和超过QSGDinf启发式和其他压缩方法的经验性能。
2021-05-03 cs.LG stat.ML
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
大规模分布式机器学习应用的最新发展，例如，深度神经网络极大地受益于分布式非凸优化技术的进步，例如，随机梯度下降（SGD）最近的一系列工作研究了分布式SGD变体的线性加速特性，减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的，因为通信开销通常是分布式系统中的性能瓶颈。最近，动量方法越来越广泛地用于训练机器学习模型，并且通常可以更快地收敛和更好地推广。例如，许多从业者使用分布式SGD与动量，用大数据训练深度神经网络。然而，目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD，并降低了通信的复杂性。本文填补了这一空白，考虑分布式通信有效的动量SGD方法，并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Accelerating Gossip SGD with Periodic Global Averaging
Alibaba Group（阿里巴巴集团）
通信开销阻碍了大规模分布式训练的可扩展性。Gossip SGD，其中每个节点仅与其邻居平均，比流行的并行SGD更具通信效率。然而，其收敛速率与测量网络连通性的量$1-β$成正比。在使用$1-β\to 0$的大型稀疏网络上，Gossip SGD需要更多的迭代来收敛，这抵消了其通信优势。本文介绍了Gossip-PGA算法，它在GossipSGD算法的基础上增加了周期全局平均算法。其过渡阶段，即，对于非凸问题，达到渐近线性加速阶段所需的迭代从$Ω(β^4 n^3/(1-β)^4)$改进为$Ω(β^4 n^3 H^4)$。Gossip-PGA中网络拓扑的影响可以通过平均周期$H$来控制。其瞬态复杂度也优于具有$Ω(n^3 H^4)$阶的局部SGD。大规模图像分类（ResNet 50）和语言建模（BERT）训练的实验结果验证了我们的理论研究结果。
2021-05-19 cs.DC cs.LG
Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University（亚洲大学）；Surromind；ETRI（韩国电子通信研究院）；Korea Institute of Science and Technology（韩国科学技术研究院）
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而，由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题，基于流言的方法，表现出稳定的可扩展性，无论工人的数量已经提出。然而，为了在一般情况下使用基于流言的方法，需要验证大型小批量的验证准确性。为了验证这一点，我们首先实证研究的八卦方法在一个大的小批量问题的特点，并观察到八卦方法保持更高的验证精度比AllReduce-SGD（随机梯度下降）时，批量大小的数量增加，工人的数量是固定的。然而，基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题，我们提出了Crossover-SGD，它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性，我们进行了实证实验，并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP（随机梯度推）。
2022-10-17 cs.DC cs.LG
SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
分布式优化对于在大型数据集上训练大型模型至关重要。已经提出了多种方法来减少分布式训练中的通信开销，例如仅在执行多个本地SGD步骤之后进行同步，以及分散式方法（例如，使用流言算法）来解耦工作者之间的通信。虽然这些方法比基于AllReduce的方法运行得更快，后者在每次更新之前使用阻塞通信，但在相同数量的更新之后，生成的模型可能不太准确。受Chen & Huo（2016）的BMUF方法的启发，我们提出了一个慢动量（SlowMo）框架，其中工人在多次迭代基础优化算法后定期同步并执行动量更新。在图像分类和机器翻译任务上的实验表明，相对于基本优化器，SlowMo始终在优化和泛化性能方面有所改进，即使在许多更新中分摊了额外的开销，使得SlowMo运行时与基本优化器不相上下。我们提供了理论收敛保证表明，SlowMo收敛到平稳的非凸损失点。由于BMUF可以通过SlowMo框架表示，我们的结果也对应于BMUF的第一个理论收敛保证。
2020-02-19 cs.DC cs.LG math.OC
Truncated Non-Uniform Quantization for Distributed SGD
City University of Hong Kong（香港城市大学）；The Hang Seng University of Hong Kong（香港恒生大学）；University of Hawaii at Manoa（马诺阿夏威夷大学）；Sun Yat-sen University（中山大学）
针对分布式学习通信瓶颈问题，提出含截断去噪与统计特征驱动非均匀量化的两阶段量化策略，推导最优闭式解，理论与实验验证其在通信效率和收敛性能间的更优平衡。
2024-02-02 cs.DC cs.LG
On the Computation and Communication Complexity of Parallel SGD with Dynamic Batch Sizes for Stochastic Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
对于基于SGD的分布式随机最优化，计算复杂度和通信复杂度是两个最重要的性能度量，计算复杂度由随机梯度调用的数量方面的收敛速度来测量，通信复杂度由节点间通信循环的数量来测量。SGD在$N$工作者上的经典数据并行实现可以实现其收敛速度的线性加速，但在每批处理时会引起节点间通信轮。我们研究的好处，使用动态增加批量的并行SGD随机非凸优化的特点达到的收敛速度和所需的通信轮数。我们证明了对于P-L条件下的随机非凸优化问题，批规模呈指数增长的经典数据并行SGD算法仅使用$\log(T)$通信轮就能以线性加速比实现已知的最快$O(1/(NT))$收敛.对于一般的随机非凸优化问题，我们提出了一个类似催化剂的算法，该算法仅用$O(\sqrt{NT}\log(\frac{T}{N}))$通信轮就能实现已知最快的$O(1/\sqrt{NT})$收敛。
2019-05-10 cs.LG math.OC
NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization
随着模型和数据集的大小和复杂性的增长，对随机梯度下降的通信高效变体的需求也在增长，这些变体可以被部署来执行并行模型训练。用于数据并行SGD的一种流行的通信压缩方法是QSGD（Alistarh等人，2017），其量化和编码梯度以降低通信成本。QSGD的基线变体提供了强有力的理论保证，然而，出于实用目的，作者提出了一种启发式变体，我们称之为QSGDinf，它在大型神经网络的分布式训练中表现出令人印象深刻的经验收益。在本文中，我们在这项工作的基础上提出了一个新的梯度量化方案，并表明它具有比QSGD更强的理论保证，并匹配和超过QSGDinf启发式和其他压缩方法的经验性能。
2021-05-01 cs.LG math.OC stat.ML
Detached Error Feedback for Distributed SGD with Random Sparsification
University of Pittsburgh（匹兹堡大学）
通信瓶颈一直是大规模分布式深度学习中的关键问题。在这项工作中，我们研究了分布式SGD与随机块稀疏作为梯度压缩机，这是环allreduce兼容和高计算效率，但导致性能较差。为了解决这一重要问题，我们从一个新的方面，即方差和梯度的二阶矩之间的权衡，提高了通信效率的分布式SGD。基于这种动机，我们提出了一种新的分离式误差反馈（DEF）算法，该算法在非凸问题上显示出比误差反馈更好的收敛界。我们还提出了DEF-A在训练的早期阶段加速DEF的泛化，这表明了比DEF更好的泛化范围。此外，我们首次建立了通信高效的分布式SGD和具有平均值的SGD（SGD-IA）之间的联系。广泛的深度学习实验表明，在各种设置下，所提出的方法有显着的经验改进。
2022-06-13 cs.CV cs.LG stat.ML
Parallel Restarted SGD with Faster Convergence and Less Communication: Demystifying Why Model Averaging Works for Deep Learning
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）有限公司）
在深度神经网络的分布式训练中，并行小批量SGD被广泛用于通过使用多个工人来加速训练过程。它使用多个工人并行采样局部随机梯度，在单个服务器中聚合所有梯度以获得平均值，并使用平均梯度的SGD更新来更新每个工人的局部模型。理想情况下，与单个工作者上的SGD相比，并行小批量SGD可以实现训练时间的线性加速（相对于工作者的数量）。然而，这种线性可扩展性在实践中受到越来越多的工人参与的梯度通信需求的限制。模型平均，定期对在并行工作者上训练的单个模型进行平均，是自Zinkevich et al. 2010以来用于深度神经网络分布式训练的另一种常见做法（McDonald，Hall，and Mann 2010）。与并行小批量SGD相比，模型平均的通信开销显著降低。令人印象深刻的是，大量的实验工作已经证明，模型平均仍然可以实现良好的加速的训练时间，只要平均间隔是仔细控制。然而，为什么这样一个简单的启发式如此有效，在理论上仍然是一个谜。本文提供了一个彻底和严格的理论研究，为什么模型平均可以工作，以及并行小批量SGD显着减少通信开销。
2018-11-16 cs.DC cs.LG math.OC
Understanding Top-k Sparsification in Distributed Deep Learning
Hong Kong Baptist University（香港浸会大学）；NVIDIA（英伟达）
分布式随机梯度下降（SGD）算法被广泛应用于大规模深度学习模型的训练，但工作者之间的通信开销成为新的系统瓶颈。最近提出的梯度稀疏化技术，特别是$k$稀疏化与误差补偿（TopK-SGD），可以显着减少通信流量，而不会对模型的准确性产生明显的影响。对TopK-SGD算法的收敛性进行了理论分析。然而，现有的研究没有深入到梯度稀疏化中的Top- $k$算子的细节，并且使用宽松的边界（例如，Random- $k$的精确界）进行分析;因此，导出的结果不能很好地描述TopK-SGD的真实收敛性能。为此，我们首先通过大量的实验研究了TopK-SGD在训练过程中的梯度分布。然后，我们从理论上推导出一个更严格的上限的顶部- $k$运营商。最后，我们利用梯度分布的性质，提出了一个近似的顶部- $k$选择算法，这是计算效率的GPU，以提高缩放效率的TopK-SGD显着减少计算开销。代码可从以下网址获得：\url{https://github.com/hclhkbu/GaussianK-SGD}。
2019-11-20 cs.DC cs.LG stat.ML
Communication-Efficient Distributed Learning with Local Immediate Error Compensation
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对分布式学习中现有梯度压缩方法存在的通信成本高或收敛慢的问题，提出 LIEC-SGD 算法，通过双向压缩和局部即时误差补偿技术，在降低通信开销的同时加速收敛，理论分析与深度神经网络实验均验证了其有效性。
2024-02-19 cs.DC cs.LG
Adaptive Top-K in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）
本文提出一种SGD框架中的自适应Top-K梯度稀疏化方法，通过动态调整稀疏化程度平衡通信成本与收敛误差，在MNIST和CIFAR-10上实现优于现有方法的收敛速率。
2023-09-11 cs.DC cs.LG math.OC
AET-SGD: Asynchronous Event-triggered Stochastic Gradient Descent
University of Connecticut（康涅狄格大学）
通信开销是设计有效的分布式学习算法的主要瓶颈。最近，事件触发技术已经被提出来减少计算节点之间的信息交换，从而减轻通信成本。然而，大多数现有的事件触发的方法只考虑启发式事件触发的阈值。它们还忽略了计算和网络延迟的影响，这对训练性能起着重要作用。在本文中，我们提出了一个异步事件触发的随机梯度下降（SGD）框架，称为AET-SGD，i）减少计算节点之间的通信成本，ii）减轻延迟的影响。与基线事件触发方法相比，AET-SGD采用线性增加的事件触发阈值，在保持良好收敛性能的同时，显著降低了通信开销。我们实现了AET-SGD，并在多个代表性数据集上评估了其性能，包括MNIST，FashionMNIST，KMNIST和CIFAR 10。实验结果验证了设计的正确性，并显示了显着的通信成本降低从44倍到120倍，相比最先进的。我们的研究结果还表明，AET-SGD可以抵抗大延迟从掉队节点，同时获得体面的性能和期望的加速比。
2021-12-27 cs.LG
Local SGD Converges Fast and Communicates Little
EPFL（洛桑联邦理工学院）
小批量随机梯度下降（SGD）是大规模分布式训练的最新技术。该方案可以相对于工作人员的数量达到线性加速，但这在实践中很少见，因为该方案经常遭受较大的网络延迟和带宽限制。为了克服这种通信瓶颈，最近的工作提出减少通信频率。这种类型的算法是本地SGD，它在不同的工作者上并行地独立运行SGD，并偶尔对序列进行平均。该方案在实践中显示出良好的效果，但缺乏深入的理论分析。我们证明了简洁的收敛速度的局部SGD凸问题，并表明它收敛在相同的速度作为mini-batch SGD的数量的评估梯度，也就是说，该计划实现线性加速的工人和mini-batch大小。与小批量SGD相比，通信回合的数量可以减少到T^{1/2}的一个因子，其中T表示总步骤的数量。这也适用于异步实现。本地SGD也可以用于深度学习模型的大规模训练。这里所示的结果的目的是作为一个指导方针，以进一步探索本地SGD在这些应用中的理论和实践方面。
2019-05-03 cs.DC cs.LG math.OC
Evaluation and Optimization of Gradient Compression for Distributed Deep Learning
The Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Baptist University（香港浸会大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有梯度压缩方法与S-SGD系统优化不兼容的问题，提出交替压缩低秩矩阵的ACP-SGD方法，可兼容系统优化，在保证精度的同时实现显著加速。
2023-06-15 cs.DC cs.LG
Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies Co. Ltd（华为技术有限公司）
由于参与用户设备的带宽有限，因此传递梯度的高成本是联邦学习的主要瓶颈。现有的梯度压缩算法主要是针对高速网络的数据中心设计的，最多能达到$O(\sqrt{d} \log d)$的每次迭代通信开销，其中$d$为模型的大小。我们提出了超球量化（HSQ），一个通用的框架，可以配置为实现一个连续的通信效率和梯度精度之间的权衡。特别地，在高压缩比端，HSQ提供了$O(\log d)$的低的每次迭代通信成本，这有利于联邦学习。我们从理论上证明了HSQ的收敛性，并通过实验表明，HSQ显着降低了模型训练的通信成本，而不损害收敛精度。
2019-11-25 cs.IR cs.LG stat.ML
A Hybrid-Order Distributed SGD Method for Non-Convex Optimization to Balance Communication Overhead, Computational Complexity, and Convergence Rate
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；Nokia Bell Labs（诺基亚贝尔实验室）；Sharif University of Technology（谢里夫理工大学）
本文提出了一种分布式随机梯度下降（SGD）算法，该算法通信量小，计算复杂性低，收敛速度快。为了减少通信负载，在算法的每次迭代中，工作节点计算并传送一些缩放器，这些缩放器是一些\emph{pre-shared directions}中的样本函数的方向导数。然而，为了保持准确性，在每一个特定的迭代次数之后，它们都会传递随机梯度的向量。为了降低每次迭代中的计算复杂性，工作节点通过仅执行两个函数评估而不是计算一阶梯度向量来用零阶随机梯度估计来近似方向导数。所提出的方法大大提高了零阶方法的收敛速度，保证了逐阶更快的收敛。此外，与著名的通信有效的方法模型平均（执行局部模型更新和定期通信的梯度同步的局部模型）相比，我们证明了，对于一般类的非凸随机问题和合理的参数选择，所提出的方法保证了相同的顺序的通信负载和收敛速度，同时具有顺序较少的计算复杂性。在神经网络应用中的各种学习问题的实验结果表明，所提出的方法相比，各种国家的最先进的分布式SGD方法的有效性。
2020-03-27 cs.DC cs.IT cs.LG
DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
最先进的深度学习算法依赖于分布式训练系统来处理不断增加的模型和训练数据集。小批量随机梯度下降（SGD）算法要求工作者停止前向/反向传播，等待所有工作者聚集的梯度，并在下一批任务之前接收权重更新。这种同步执行模型暴露了分布式训练系统中大量工作者之间的梯度/权重通信的开销。我们提出了一个新的SGD算法，DaSGD（本地SGD与延迟平均），并行SGD和前/后传播隐藏100%的通信开销。该算法通过调整梯度更新机制，有效地利用了硬件资源，减少了对低延迟高吞吐量互连的依赖。理论分析和实验结果表明，该算法的收敛速度为O（1/sqrt（K）），与SGD算法相同。性能评估表明，它可以实现随集群大小的线性性能扩展。
2020-05-31 cs.DC cs.LG
The Role of Local Steps in Local SGD
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
本文研究了非独立同分布异构设置下Local SGD中任意局部步骤数对收敛速率和通信复杂度的影响，表征了不同凸性下的收敛率，并针对强凸函数提出递增局部步骤策略，对凸和非凸函数证明固定局部步骤最优。
2022-09-29 cs.DC cs.LG math.OC
Communication-Efficient Distributed SGD with Error-Feedback, Revisited
Ton Duc Thang University（孙德胜大学）；Meiji University（明治大学）；NICT（日本国立信息通信技术研究所）；National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
我们证明了最近一种名为dist-EF-SGD的分布式随机梯度下降算法的收敛性证明，该算法使用Zheng等人的错误反馈进行通信效率。（NeurIPS 2019）在数学上存在问题。具体地说，原来的误差界的任意序列的学习率是不幸的是不正确的，导致无效的上界的收敛定理的算法。作为证据，我们明确地提供了几个反例，凸和非凸的情况下，显示的误差界的不正确性。我们通过提供一个新的误差界及其相应的证明来解决这个问题，从而为dist-EF-SGD算法提供一个新的收敛定理，并因此恢复其数学分析。
2021-05-10 cs.LG math.OC
On Communication Compression for Distributed Optimization on Heterogeneous Data
EPFL（洛桑联邦理工学院）
有耗梯度压缩，无论是无偏或有偏压缩器，已成为一个关键的工具，以避免通信瓶颈集中协调分布式训练的机器学习模型。我们分析了两种标准和一般类型的方法的性能：（i）分布式量化SGD（D-QSGD）与任意无偏量化器和（ii）分布式SGD与错误反馈和有偏压缩器（D-EF-SGD）在异构（非iid）数据设置。我们的研究结果表明，D-EF-SGD比D-QSGD受非iid数据的影响要小得多，但如果数据偏度很高，这两种方法都会受到影响。我们进一步研究了两种替代方案，不（或少得多）受异质数据分布：首先，最近提出的方法，是有效的强凸问题，其次，我们指出了一个更一般的方法，适用于线性压缩机，但有效的所有考虑的情况。
2020-12-22 cs.DS cs.LG stat.ML
