通信高效的分布式SGD与草图

方差缩减的高效分布式SGD

Efficient Distributed SGD with Variance Reduction

随机梯度下降（SGD）已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而，SGD具有两个主要缺点：（i）噪声梯度更新具有高方差，这在迭代接近最优时减慢了收敛，以及（ii）SGD在分布式设置中的扩展性差，通常随着工人数量的增加而经历快速降低的边际效益。在本文中，我们提出了一种高度并行的方法，CentralVR，它使用错误校正来减少SGD梯度更新的方差，并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度，可证明的线性收敛速度，并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较，发现我们提出的方法比其他SGD变体具有更强的扩展性。

用于通信高效分布式学习的量化Epoch-SGD算法

Quantized Epoch-SGD for Communication-Efficient Distributed Learning

随机梯度下降（SGD）算法由于其高效性和易于实现性，在机器学习中得到了广泛的应用。特别是，SGD是分布式学习中最流行的优化方法之一。近年来，量化的SGD（QSGD），它采用量化来减少基于SGD的分布式学习的通信成本，引起了人们的广泛关注。虽然已经提出了几种QSGD方法，其中一些是启发式的，没有理论保证，和其他人有很大的量化方差，这使得收敛变慢。在本文中，我们提出了一种新的方法，称为量化时代SGD（QESGD），通信效率的分布式学习。QESGD对参数进行压缩（量化），降低了方差，从而可以以更少的通信代价获得与SGD几乎相同的性能。QESGD在Parameter Server框架上实现，分布式深度学习的实证结果表明，QESGD可以超越其他最先进的量化方法，以实现最佳性能。

具有误差反馈的通信高效分布式BMomentum SGD

Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback

通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近，人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化，具有多数表决的signSGD实现了通信成本的32倍降低。然而，它的收敛是基于不切实际的假设，在实践中可能会出现分歧。在本文中，我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩，它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块，引入了逐块压缩器，使得每个梯度块以具有缩放因子的1位格式压缩和传输，从而导致通信减少近32倍。实验结果表明，该方法与全精度分布式动量SGD算法收敛速度相当，且测试精度相同。特别是，在ImageNet上使用7个工作人员进行分布式ResNet训练时，所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度，但$46\%$的挂钟时间更少。

更快的分布式深度网络训练：计算和通信解耦的随机梯度下降

Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent

随着数据量的增加和模型规模的扩大，分布式并行训练成为解决优化挑战的重要和成功的技术。然而，尽管分布式随机梯度下降（SGD）算法可以实现线性迭代加速，但它们在实践中受到通信成本的显著限制，使得难以实现线性时间加速。在本文中，我们提出了一个计算和通信解耦的随机梯度下降（CoCoD-SGD）算法，并行运行的计算和通信，以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比，该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进：在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时，CoCoD-SGD比传统同步SGD快2-3 $\times$。

Learning Linear Models Using Distributed Iterative Hessian Sketching

This work considers the problem of learning the Markov parameters of a linear system from observed data. Recent non-asymptotic system identification results have characterized the sample complexity of this problem in the single and multi-rollout setting. In both instances, the number of samples required in order to obtain acceptable estimates can produce optimization problems with an intractably large number of decision variables for a second-order algorithm. We show that a randomized and distributed Newton algorithm based on Hessian-sketching can produce $ε$-optimal solutions and converges ge…

Debiasing Distributed Second Order Optimization with Surrogate Sketching and Scaled Regularization

In distributed second order optimization, a standard strategy is to average many local estimates, each of which is based on a small sketch or batch of the data. However, the local estimates on each machine are typically biased, relative to the full solution on all of the data, and this can limit the effectiveness of averaging. Here, we introduce a new technique for debiasing the local estimates, which leads to both theoretical and empirical improvements in the convergence rate of distributed second order methods. Our technique has two novel components: (1) modifying standard sketching techniqu…

具有稀疏全局约简的分布式分层SGD算法

A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction

在分布式平台上训练大规模机器学习应用时，减少通信仍然是一个很大的挑战。为了解决这个问题，我们提出了一个分布式分层平均随机梯度下降（Hier-AVG）算法，通过引入局部约简，减少了全局约简。作为一种通用的并行SGD，Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明，Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外，我们还表明，更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG，我们表明，通过部署局部平均与更少的全局平均，Hier-AVG仍然可以达到相当的训练速度，同时经常得到更好的测试精度。这表明，局部平均可以作为一种替代的补救措施，以有效地减少通信开销时，学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验，以验证我们的分析并显示其优越性。

Pipe-SGD：一种用于分布式深度网络训练的分散式流水线SGD框架

Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training

深度网络的分布式训练是解决当今一些计算挑战（如内存消耗和计算需求）的重要技术。经典的分布式方法，同步或异步，都是基于参数服务器架构，即，工作者节点计算梯度，该梯度被传送到参数服务器，同时返回更新的参数。最近，使用AllReduce操作的分布式训练也很受欢迎。虽然这些操作中的许多看起来很有吸引力，但很少有关于挂钟训练时间改进的报道。在本文中，我们仔细分析了基于AllReduce的设置，提出了包括网络延迟，带宽，集群大小和计算时间的时序模型，并证明了宽度为2的流水线训练结合了同步和异步训练的最佳效果。具体来说，对于由四节点GPU集群组成的设置，我们显示了与传统方法相比高达5.4倍的挂钟时间训练改进。

分布式SGD在异步情况下的推广性能

Distributed SGD Generalizes Well Under Asynchrony

在大数据时代，异步分布式系统以其强大的可扩展性成为主流，全同步分布式系统的性能面临瓶颈。本文研究了随机梯度下降算法在分布式异步系统上的推广性能。该系统由计算随机梯度的多个工作机器组成，这些随机梯度被进一步发送到公共参数服务器并在公共参数服务器上聚合以更新变量，并且系统中的通信遭受可能的延迟。在算法稳定性框架下，我们证明了分布式异步SGD在训练优化中，在足够的数据样本下具有很好的推广性。特别是，我们的研究结果表明，降低学习率，因为我们允许更多的分布式系统中的冗余。这种自适应学习率策略提高了分布式算法的稳定性，降低了相应的泛化误差。然后，我们通过数值实验证实了我们的理论研究结果。

分布式非凸优化通信有效动量SGD的线性加速比分析

On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization

大规模分布式机器学习应用的最新发展，例如，深度神经网络极大地受益于分布式非凸优化技术的进步，例如，随机梯度下降（SGD）最近的一系列工作研究了分布式SGD变体的线性加速特性，减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的，因为通信开销通常是分布式系统中的性能瓶颈。最近，动量方法越来越广泛地用于训练机器学习模型，并且通常可以更快地收敛和更好地推广。例如，许多从业者使用分布式SGD与动量，用大数据训练深度神经网络。然而，目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD，并降低了通信的复杂性。本文填补了这一空白，考虑分布式通信有效的动量SGD方法，并证明其线性加速性能。

RCD-SGD：异构环境下基于子模划分的资源受限分布式随机梯度下降

RCD-SGD: Resource-Constrained Distributed SGD in Heterogeneous Environment via Submodular Partitioning

本文提出RCD-SGD框架，通过基于子模优化的数据划分算法在异构计算环境中兼顾资源差异与类别级特征分布，可将现有SOTA分布式训练算法加速最高32%。

分布式深度学习的分层自适应梯度稀疏化算法

Layer-wise Adaptive Gradient Sparsification for Distributed Deep Learning with Convergence Guarantees

为了减少大型深度神经网络（DNN）模型的长训练时间，分布式同步随机梯度下降（S-SGD）通常用于一组工作者。然而，多个工作者带来的加速受到通信开销的限制。两种方法，即流水线和梯度稀疏化，已分别提出，以减轻通信开销的影响。然而，梯度稀疏化方法只能在反向传播之后发起通信，因此错过了流水线机会。在本文中，我们提出了一种新的分布式优化方法LAGS-SGD，它结合了S-SGD和一种新的分层自适应梯度稀疏化（LAGS）计划。在LAGS-SGD中，每个工作者独立地从每个层中选择一小组“显著”梯度，其大小可以自适应于该层的通信计算比率。LAGS-SGD的逐层性质开启了将通信与计算重叠的机会，而LAGS-SGD的自适应性质使其能够灵活地控制通信时间。我们证明了LAGS-SGD具有收敛保证，并且在较弱的分析假设下，它具有与vanilla S-SGD相同的收敛速度阶。大量的实验验证了分析假设和LAGS-SGD的收敛性能。在16 GPU集群上的实验结果表明，LAGS-SGD在不损失明显模型精度的情况下，性能优于原始S-SGD和现有的稀疏S-SGD。

O(1) Communication for Distributed SGD through Two-Level Gradient Averaging

Large neural network models present a hefty communication challenge to distributed Stochastic Gradient Descent (SGD), with a communication complexity of O(n) per worker for a model of n parameters. Many sparsification and quantization techniques have been proposed to compress the gradients, some reducing the communication complexity to O(k), where k << n. In this paper, we introduce a strategy called two-level gradient averaging (A2SGD) to consolidate all gradients down to merely two local averages per worker before the computation of two global averages for an updated model. A2SGD also retain…

表现最差的智能体会引领群体吗？分析统一分布式SGD中的智能体动力学

Does Worst-Performing Agent Lead the Pack? Analyzing Agent Dynamics in Unified Distributed SGD

该研究针对分布式学习场景，对统一分布式SGD开展渐近分析，探究不同通信模式与采样策略对收敛的影响，验证了现有理论并发现少数高效采样智能体可超越多数中度改进策略的效果，突破了传统聚焦最差智能体的分析视角。

基于Byzantine弹性随机梯度下降的分布式学习：一种Lipschitz启发的坐标中值方法

Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach

在这项工作中，我们考虑分布式学习中基于随机梯度下降（SGD）的分布式算法的弹性与潜在的拜占庭攻击者，谁可以发送任意信息到参数服务器，以破坏训练过程。为此，我们提出了一个新的Lipschitz启发的坐标明智的中位数方法（LICM-SGD），以减轻拜占庭攻击。我们证明了我们的LICM-SGD算法可以抵抗多达一半的拜占庭攻击者，同时在非凸设置中几乎肯定会收敛到一个固定区域。此外，我们的LICM-SGD方法不需要关于攻击者数量和Lipschitz常数的任何信息，这使得它对实际实现具有吸引力。此外，我们的LICM-SGD方法享有最佳的$O(md)$计算时间复杂度的意义上，时间复杂度是相同的标准SGD下没有攻击。我们进行了大量的实验，以表明我们的LICM-SGD算法在使用MNIST和CIFAR-10数据集训练多类逻辑回归和卷积神经网络方面始终优于现有方法。在我们的实验中，LICM-SGD还实现了更快的运行时间，这要归功于它的低计算时间复杂度。

大步长同步分布式SGD的通信权衡

Communication trade-offs for synchronized distributed SGD with large step size

同步小批量SGD是大规模分布式机器学习的最新技术。然而，在实践中，它的收敛性受到工作节点之间缓慢的通信轮次的影响。减少通信的自然解决方案是使用\emph{`local-SGD'}模型，其中工作者独立地训练他们的模型，并每隔一段时间进行同步。该算法改善了计算-通信权衡，但其收敛性不是很好理解。我们提出了一种非渐近误差分析，它可以与\emph{one-shot averaging}进行比较，即，独立工作者之间的单轮通信，以及\emph{mini-batch averaging}，即，沟通每一步。我们还提供了自适应下界的通信频率为大步长（$ t^{-α} $，$ α\in (1/2 , 1 ) $），并表明，\emph{Local-SGD}减少通信的一个因素，$O\Big(\frac{\sqrt{T}}{P^{3/2}}\Big)$，与$T$的梯度和$P$机的总数。

MindFlayer SGD：存在异构且随机的工作节点计算时间时的高效并行SGD

MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times

针对分布式场景下工作节点计算时间异构且随机导致现有并行SGD性能下降的问题，提出专门适配该场景的MindFlayer SGD方法，经理论和实验验证其在重尾噪声环境下性能更优，具备鲁棒性与可扩展性。

SlowMo：改进具有慢动量的通信高效的分布式SGD

SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum

分布式优化对于在大型数据集上训练大型模型至关重要。已经提出了多种方法来减少分布式训练中的通信开销，例如仅在执行多个本地SGD步骤之后进行同步，以及分散式方法（例如，使用流言算法）来解耦工作者之间的通信。虽然这些方法比基于AllReduce的方法运行得更快，后者在每次更新之前使用阻塞通信，但在相同数量的更新之后，生成的模型可能不太准确。受Chen & Huo（2016）的BMUF方法的启发，我们提出了一个慢动量（SlowMo）框架，其中工人在多次迭代基础优化算法后定期同步并执行动量更新。在图像分类和机器翻译任务上的实验表明，相对于基本优化器，SlowMo始终在优化和泛化性能方面有所改进，即使在许多更新中分摊了额外的开销，使得SlowMo运行时与基本优化器不相上下。我们提供了理论收敛保证表明，SlowMo收敛到平稳的非凸损失点。由于BMUF可以通过SlowMo框架表示，我们的结果也对应于BMUF的第一个理论收敛保证。

Sparsification as a Remedy for Staleness in Distributed Asynchronous SGD

Large scale machine learning is increasingly relying on distributed optimization, whereby several machines contribute to the training process of a statistical model. In this work we study the performance of asynchronous, distributed settings, when applying sparsification, a technique used to reduce communication overheads. In particular, for the first time in an asynchronous, non-convex setting, we theoretically prove that, in presence of staleness, sparsification does not harm SGD performance: the ergodic convergence rate matches the known result of standard SGD, that is $\mathcal{O} \left( 1…

Shadowheart SGD：任意计算与通信异构性下具有最优时间复杂度的分布式异步SGD

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity

针对异步集中式分布式非凸随机优化中计算与通信异构的问题，提出基于无偏压缩的Shadowheart SGD，证明其时间复杂度优于现有集中式方法且在压缩通信集中式方法族中最优，同时拓展到双向场景给出对应方法。

Detached Error Feedback for Distributed SGD with Random Sparsification

The communication bottleneck has been a critical problem in large-scale distributed deep learning. In this work, we study distributed SGD with random block-wise sparsification as the gradient compressor, which is ring-allreduce compatible and highly computation-efficient but leads to inferior performance. To tackle this important issue, we improve the communication-efficient distributed SGD from a novel aspect, that is, the trade-off between the variance and second moment of the gradient. With this motivation, we propose a new detached error feedback (DEF) algorithm, which shows better converg…

分布式非平衡负载训练系统的加权并行SGD

Weighted parallel SGD for distributed unbalanced-workload training system

随机梯度下降（SGD）是机器学习中一种流行的随机优化方法。传统的并行SGD算法，例如，SimuParallel SGD通常要求所有节点具有相同的性能或消耗等量的数据。然而，当并行SGD算法运行在异构计算环境中时，这些要求很难满足，低性能的节点会对最终结果产生负面影响。在本文中，我们提出了一种算法称为加权并行SGD（WP-SGD）。WP-SGD结合来自系统中不同节点的加权模型参数以产生最终输出。WP-SGD利用标准差的减少来补偿集群中节点性能不一致造成的损失，这意味着WP-SGD不要求所有节点消耗等量的数据。我们还分析了理论上的可行性，运行其他两个并行SGD算法结合WP-SGD在异构环境中。实验结果表明，WP-SGD算法在负载不均衡的分布式训练系统上的性能明显优于传统的并行SGD算法。

DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging

The state-of-the-art deep learning algorithms rely on distributed training systems to tackle the increasing sizes of models and training data sets. Minibatch stochastic gradient descent (SGD) algorithm requires workers to halt forward/back propagations, to wait for gradients aggregated from all workers, and to receive weight updates before the next batch of tasks. This synchronous execution model exposes the overheads of gradient/weight communication among a large number of workers in a distributed training system. We propose a new SGD algorithm, DaSGD (Local SGD with Delayed Averaging), which…

理解分布式深度学习中的Top-k稀疏化

Understanding Top-k Sparsification in Distributed Deep Learning

分布式随机梯度下降（SGD）算法被广泛应用于大规模深度学习模型的训练，但工作者之间的通信开销成为新的系统瓶颈。最近提出的梯度稀疏化技术，特别是$k$稀疏化与误差补偿（TopK-SGD），可以显着减少通信流量，而不会对模型的准确性产生明显的影响。对TopK-SGD算法的收敛性进行了理论分析。然而，现有的研究没有深入到梯度稀疏化中的Top- $k$算子的细节，并且使用宽松的边界（例如，Random- $k$的精确界）进行分析;因此，导出的结果不能很好地描述TopK-SGD的真实收敛性能。为此，我们首先通过大量的实验研究了TopK-SGD在训练过程中的梯度分布。然后，我们从理论上推导出一个更严格的上限的顶部- $k$运营商。最后，我们利用梯度分布的性质，提出了一个近似的顶部- $k$选择算法，这是计算效率的GPU，以提高缩放效率的TopK-SGD显着减少计算开销。代码可从以下网址获得：\url{https://github.com/hclhkbu/GaussianK-SGD}。

Layered SGD：一种用于可扩展深度神经网络训练的分散同步SGD算法

Layered SGD: A Decentralized and Synchronous SGD Algorithm for Scalable Deep Neural Network Training

随机梯度下降（SGD）是训练深度神经网络（DNN）最流行的算法。由于较大的网络和数据集会导致较长的训练时间，因此在分布式系统上进行训练很常见，并且分布式SGD变体（主要是异步和同步SGD）被广泛使用。异步SGD是通信高效的，但是由于延迟的参数更新而遭受精度降级。当节点数量增加时，同步SGD变得通信密集，而不管其优点如何。为了解决这些问题，我们引入分层SGD（LSGD），一个新的分散同步SGD算法。LSGD将计算资源划分为子组，每个子组包含一个通信层（communicator）和一个计算层（worker）。每个子组具有用于参数更新的集中式通信，而子组之间的通信由通信器处理。因此，通信时间与工作器的I/O延迟重叠。通过在ImageNet分类任务上训练深度网络来测试该算法的效率。

Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)

This paper considers the Byzantine fault-tolerance problem in distributed stochastic gradient descent (D-SGD) method - a popular algorithm for distributed multi-agent machine learning. In this problem, each agent samples data points independently from a certain data-generating distribution. In the fault-free case, the D-SGD method allows all the agents to learn a mathematical model best fitting the data collectively sampled by all agents. We consider the case when a fraction of agents may be Byzantine faulty. Such faulty agents may not follow a prescribed algorithm correctly, and may render tr…

SLowcal-SGD：慢查询点改进随机凸优化中的局部SGD

SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization

针对异构分布式学习，提出SLowcal-SGD方法，通过定制慢查询技术，首次在理论上证明优于Minibatch-SGD和Local-SGD，有效缓解局部更新偏差。

缓慢和陈旧的竞争者可以赢得比赛：分布式SGD中的错误-错误权衡

Slow and Stale Gradients Can Win the Race: Error-Runtime Trade-offs in Distributed SGD

分布式随机梯度下降（SGD）在以同步方式运行时，会在等待最慢的学习者（掉队者）时出现延迟。异步方法可以减少落伍者，但会导致梯度失效，从而对收敛产生不利影响。在这项工作中，我们提出了一个新的理论表征的异步方法提供的加速，通过分析训练模型中的错误和实际的训练运行时间（wallclock时间）之间的权衡。在我们的工作中的新颖之处在于，我们的运行时分析考虑随机离散延迟，这有助于我们设计和比较分布式SGD算法，在离散和陈旧之间取得平衡。我们还提出了一个新的异步SGD变量的收敛性分析，没有有界或指数延迟的假设，和一个新的学习率计划，以补偿梯度陈旧。

分布式异步梯度下降的梯度能量匹配

Gradient Energy Matching for Distributed Asynchronous Gradient Descent

分布式异步SGD已被广泛用于大型系统中的深度学习，但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中，我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述，我们引入能量的概念来描述优化过程，并推导出一个充分条件，确保其稳定性，只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准，我们得到一个稳定的分布式异步优化程序，GEM，估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比，现有的计划，即使扩展到100个异步工人。结果还表明，更好的推广相比，有针对性的SGD动量。

SGD中的自适应Top-K用于通信高效的分布式学习

Adaptive Top-K in SGD for Communication-Efficient Distributed Learning

本文提出一种SGD框架中的自适应Top-K梯度稀疏化方法，通过动态调整稀疏化程度平衡通信成本与收敛误差，在MNIST和CIFAR-10上实现优于现有方法的收敛速率。

CSER: Communication-efficient SGD with Error Reset

The scalability of Distributed Stochastic Gradient Descent (SGD) is today limited by communication bottlenecks. We propose a novel SGD variant: Communication-efficient SGD with Error Reset, or CSER. The key idea in CSER is first a new technique called "error reset" that adapts arbitrary compressors for SGD, producing bifurcated local models with periodic reset of resulting local residual errors. Second we introduce partial synchronization for both the gradients and the models, leveraging advantages from them. We prove the convergence of CSER for smooth non-convex problems. Empirical results sh…

LQ-SGD算法用于分布式学习的可信高效通信

Trustworthy Efficient Communication for Distributed Learning using LQ-SGD Algorithm

提出LQ-SGD算法，结合低秩近似与对数量化压缩梯度通信，降低开销并保持精度，且比传统SGD更抗梯度反演，提升分布式学习效率与安全性。

CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation

Communication overhead is the key challenge for distributed training. Gradient compression is a widely used approach to reduce communication traffic. When combining with parallel communication mechanism method like pipeline, gradient compression technique can greatly alleviate the impact of communication overhead. However, there exists two problems of gradient compression technique to be solved. Firstly, gradient compression brings in extra computation cost, which will delay the next training iteration. Secondly, gradient compression usually leads to the decrease of convergence accuracy.

A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy

As deep learning models are usually massive and complex, distributed learning is essential for increasing training efficiency. Moreover, in many real-world application scenarios like healthcare, distributed learning can also keep the data local and protect privacy. A popular distributed learning strategy is federated learning, where there is a central server storing the global model and a set of local computing nodes updating the model parameters with their corresponding data. The updated model parameters will be processed and transmitted to the central server, which leads to heavy communicati…

面向分布式随机梯度下降（SGD）的截断非均匀量化

Truncated Non-Uniform Quantization for Distributed SGD

针对分布式学习通信瓶颈问题，提出含截断去噪与统计特征驱动非均匀量化的两阶段量化策略，推导最优闭式解，理论与实验验证其在通信效率和收敛性能间的更优平衡。

Communication-Efficient Distributed SGD with Error-Feedback, Revisited

We show that the convergence proof of a recent algorithm called dist-EF-SGD for distributed stochastic gradient descent with communication efficiency using error-feedback of Zheng et al. (NeurIPS 2019) is problematic mathematically. Concretely, the original error bound for arbitrary sequences of learning rate is unfortunately incorrect, leading to an invalidated upper bound in the convergence theorem for the algorithm. As evidences, we explicitly provide several counter-examples, for both convex and non-convex cases, to show the incorrectness of the error bound. We fix the issue by providing a…

FastSGD: A Fast Compressed SGD Framework for Distributed Machine Learning

With the rapid increase of big data, distributed Machine Learning (ML) has been widely applied in training large-scale models. Stochastic Gradient Descent (SGD) is arguably the workhorse algorithm of ML. Distributed ML models trained by SGD involve large amounts of gradient communication, which limits the scalability of distributed ML. Thus, it is important to compress the gradients for reducing communication. In this paper, we propose FastSGD, a Fast compressed SGD framework for distributed ML. To achieve a high compression ratio at a low cost, FastSGD represents the gradients as key-value pa…

梯度噪声卷积（GNC）：分布式大批量SGD的平滑损失函数

Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD

大批量随机梯度下降（SGD）由于其训练时间效率而被广泛用于分布式深度学习中的训练，然而，极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值，这阻碍了朴素大规模数据并行SGD（DP-SGD）收敛到良好的最小值。为了克服这个困难，我们提出了梯度噪声卷积（GNC），它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD，GNC利用所谓的梯度噪声，其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行，因此非常容易实现。由于与梯度噪声的卷积，梯度噪声倾向于沿着损失函数的更尖锐的方向传播，GNC可以有效地平滑尖锐的最小值并实现更好的泛化，而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果，并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。

分布式SGDA的稳定性与泛化

Stability and Generalization for Distributed SGDA

本文提出了Distributed-SGDA基于稳定性的泛化分析框架，统一了Local-SGDA和Local-DSGDA算法，全面分析了多种设置下的稳定性误差、泛化差距与总体风险，揭示了泛化与优化的权衡并给出超参数选择建议。

Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent

Machine learning has made tremendous progress in recent years, with models matching or even surpassing humans on a series of specialized tasks. One key element behind the progress of machine learning in recent years has been the ability to train machine learning models in large-scale distributed shared-memory and message-passing environments. Many of these models are trained employing variants of stochastic gradient descent (SGD) based optimization. In this paper, we introduce a general consistency condition covering communication-reduced and asynchronous distributed SGD implementations. Our f…

Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning

We study the asynchronous stochastic gradient descent algorithm for distributed training over $n$ workers which have varying computation and communication frequency over time. In this algorithm, workers compute stochastic gradients in parallel at their own pace and return those to the server without any synchronization. Existing convergence rates of this algorithm for non-convex smooth objectives depend on the maximum gradient delay $τ_{\max}$ and show that an $ε$-stationary point is reached after $\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$ iterations, where $σ$ denotes the variance …

分布式深度学习中梯度压缩的评估与优化

Evaluation and Optimization of Gradient Compression for Distributed Deep Learning

针对现有梯度压缩方法与S-SGD系统优化不兼容的问题，提出交替压缩低秩矩阵的ACP-SGD方法，可兼容系统优化，在保证精度的同时实现显著加速。

面向分布式内存优化的通信高效二维并行随机梯度下降

Communication-Efficient, 2D Parallel Stochastic Gradient Descent for Distributed-Memory Optimization

提出二维并行SGD方法HybridSGD，通过理论分析和实验验证，在通信效率与收敛性能间取得连续权衡，相比一维方法实现高达121倍加速。

OD-SGD：一步延迟随机梯度下降分布式训练算法

OD-SGD: One-step Delay Stochastic Gradient Descent for Distributed Training

现代深度学习神经网络的训练需要大量的计算，这些计算通常由GPU或其他特定的加速器提供。为了实现更快的训练速度，在分布式训练过程中主要采用两种更新算法，即同步SGD算法（SSGD）和异步SGD算法（ASGD）。SSGD算法在同步障碍降低训练速度的同时，仍能获得较好的收敛点。ASGD具有更快的训练速度，但与SSGD相比，收敛点较低。为了充分利用SSGD和ASGD的优点，我们提出了一种新的技术称为一步延迟SGD（OD-SGD），结合他们的优势在训练过程中。因此，我们可以分别实现与SSGD和ASGD相似的收敛点和训练速度。据我们所知，我们首次尝试结合SSGD和ASGD的特点，以提高分布式训练性能。OD-SGD算法的每一次迭代都包含参数服务器节点的全局更新和工作节点的局部更新，局部更新用于更新和补偿延迟的局部权值。我们在MNIST，CIFAR-10和ImageNet数据集上评估了我们提出的算法。实验结果表明，OD-SGD可以获得与SSGD相似甚至略好的准确率，而其训练速度要快得多，甚至超过ASGD的训练速度。

Escaping Saddle Points with Compressed SGD

Stochastic gradient descent (SGD) is a prevalent optimization technique for large-scale distributed machine learning. While SGD computation can be efficiently divided between multiple machines, communication typically becomes a bottleneck in the distributed setting. Gradient compression methods can be used to alleviate this problem, and a recent line of work shows that SGD augmented with gradient compression converges to an $\varepsilon$-first-order stationary point. In this paper we extend these results to convergence to an $\varepsilon$-second-order stationary point ($\varepsilon$-SOSP), whi…

具有降低计算负载的快速且容忍滞后节点的分布式SGD

Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load

本文针对分布式SGD中的滞后节点问题，提出一种在运行过程中同时自适应调整工作节点数量和计算负载的新方案，从而在略微增加通信负载的代价下显著降低计算负载并加快收敛。

用于弹性分布式训练的动态小批量SGD：资源边界中的学习

Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources

随着对用于深度学习算法的训练能力的日益增长的需求以及数据中心中的计算资源的快速增长，期望动态地调度不同的分布式深度学习任务以最大化资源利用并降低成本。在这个过程中，不同的任务可能会在不同的时间接收不同数量的机器，我们称之为弹性分布式训练。尽管最近在大型小批量分布式训练中取得了成功，但这些方法很少在弹性分布式训练环境中进行测试，并且在我们的实验中，当我们立即相对于批量大小线性调整学习率时，性能会下降。我们观察到的一个困难是，随机动量估计中的噪声会随着时间的推移而累积，并且当批量大小变化时会产生延迟效应。因此，我们建议随着时间的推移平滑地调整学习率，以减轻噪声动量估计的影响。我们在图像分类，目标检测和语义分割的实验表明，我们提出的动态SGD方法达到稳定的性能时，不同的GPU数量从8到128。我们还提供了理论上的理解线性学习率调度的最优性和随机动量的影响。

Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning

In recent centralized nonconvex distributed learning and federated learning, local methods are one of the promising approaches to reduce communication time. However, existing work has mainly focused on studying first-order optimality guarantees. On the other side, second-order optimality guaranteed algorithms, i.e., algorithms escaping saddle points, have been extensively studied in the non-distributed optimization literature. In this paper, we study a new local algorithm called Bias-Variance Reduced Local Perturbed SGD (BVR-L-PSGD), that combines the existing bias-variance reduced gradient es…

平衡通信开销、计算复杂性和收敛速度的非凸优化混合阶分布式SGD方法

A Hybrid-Order Distributed SGD Method for Non-Convex Optimization to Balance Communication Overhead, Computational Complexity, and Convergence Rate

本文提出了一种分布式随机梯度下降（SGD）算法，该算法通信量小，计算复杂性低，收敛速度快。为了减少通信负载，在算法的每次迭代中，工作节点计算并传送一些缩放器，这些缩放器是一些\emph{pre-shared directions}中的样本函数的方向导数。然而，为了保持准确性，在每一个特定的迭代次数之后，它们都会传递随机梯度的向量。为了降低每次迭代中的计算复杂性，工作节点通过仅执行两个函数评估而不是计算一阶梯度向量来用零阶随机梯度估计来近似方向导数。所提出的方法大大提高了零阶方法的收敛速度，保证了逐阶更快的收敛。此外，与著名的通信有效的方法模型平均（执行局部模型更新和定期通信的梯度同步的局部模型）相比，我们证明了，对于一般类的非凸随机问题和合理的参数选择，所提出的方法保证了相同的顺序的通信负载和收敛速度，同时具有顺序较少的计算复杂性。在神经网络应用中的各种学习问题的实验结果表明，所提出的方法相比，各种国家的最先进的分布式SGD方法的有效性。

分布式学习中随机梯度下降的可信度

Trustworthiness of Stochastic Gradient Descent in Distributed Learning

本文评估了分布式学习中压缩与未压缩SGD的可信度，发现压缩SGD对梯度反转攻击具有更高的隐私泄露抵抗力，且MIA不适合作为评估该场景隐私风险的可靠指标。

分布式随机梯度下降中的陈旧性：基于随机延迟微分方程的框架

Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework

本文提出基于随机延迟微分方程的框架，分析并优化异步分布式SGD的收敛性，揭示陈旧性对加速和收敛的影响，并用于调度策略优化。

Exponential Convergence Rates of Classification Errors on Learning with SGD and Random Features

Although kernel methods are widely used in many learning problems, they have poor scalability to large datasets. To address this problem, sketching and stochastic gradient methods are the most commonly used techniques to derive efficient large-scale learning algorithms. In this study, we consider solving a binary classification problem using random features and stochastic gradient descent. In recent research, an exponential convergence rate of the expected classification error under the strong low-noise condition has been shown. We extend these analyses to a random features setting, analyzing …

梯度多样性：可扩展分布式学习的一个关键因素

Gradient Diversity: a Key Ingredient for Scalable Distributed Learning

实验发现，小批量随机梯度下降（SGD）算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中，我们提出了一个分析暗示，并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念，衡量并发梯度更新之间的相异性，并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题，小批量SGD是适合更好的加速，同时保持串行（一个样本）SGD的泛化性能。我们进一步建立了收敛的下限，其中小批量SGD减慢超过特定的批量大小，仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用，并讨论了如何像dropout，Langevin动力学和量化可以改善它。

基于自适应SGD的分布式随机最优化

Distributed Stochastic Optimization via Adaptive SGD

随机凸优化算法是在大规模数据上训练机器学习模型的最流行的方法。扩大这些模型的训练过程是至关重要的，但最流行的算法，随机梯度下降（SGD），是一个串行方法，令人惊讶地难以并行化。在本文中，我们提出了一个有效的分布式随机最优化方法相结合的自适应性和方差减少技术。我们的分析产生了线性加速的机器，恒定的内存占用的数量，只有对数数量的通信轮。至关重要的是，我们的方法是一个黑盒简化，并行化任何串行在线学习算法，简化先验分析，并允许我们利用在设计自适应算法方面取得的重大进展。特别是，我们实现了最佳的收敛速度，没有任何先验知识的平滑参数，产生一个更强大的算法，减少了超参数调整的需要。我们在Spark分布式框架中实现了我们的算法，并在大规模逻辑斯谛回归问题上表现出显着的性能增益。