Convergence Analysis of Decentralized ASGD
University of Luxembourg（卢森堡大学）
本文提出了一种无需节点间同步或限制网络拓扑的去中心化异步SGD收敛性分析，提供了在不同梯度约束下的收敛率界。
2023-09-07 cs.DC cs.LG
Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
KAUST（卡斯梅特大学）
本文提出重标异步SGD方法，通过调整工作节点的步长比例，解决异步SGD在数据分布异质性下的偏差问题，证明其在非凸情况下收敛于正确全局目标。
2026-05-13 cs.DC cs.LG math.OC
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
2015-10-05 cs.DC
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文理论证明梯度裁剪能消除异步SGD中最大延迟对复杂度的影响，基于次Weibull梯度噪声模型，首次实现异步优化的高概率收敛。
2026-06-12 cs.DC cs.LG math.OC
Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
KAUST（卡斯姆大学）
本文提出Ringmaster LMO，一种用于无约束随机非凸优化的异步线性最小化Oracle动量方法，通过延迟阈值机制改进传统同步方法，适用于异构分布式系统，实验表明其在系统异构性增强时表现更优。
2026-05-18 cs.DC cs.LG math.OC
Asynchronous Fully-Decentralized SGD in the Cluster-Based Model
本文面向结合消息传递与共享内存的集群模型，提出可容错的异步全去中心化SGD算法，针对强凸函数实现最大化分布式加速，对任意函数通过定制多维近似一致性算法达到接近串行的收敛速率，并证明多数集群含非故障进程的必要性。
2023-06-13 cs.DC
On the convergence properties of a $K$-step averaging stochastic gradient descent algorithm for nonconvex optimization
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
尽管异步随机梯度下降方法（ASGD）在解决大规模机器学习问题中很受欢迎，但其实际性能并不像理论结果所表明的那样好。我们采用并分析了一种同步K步平均随机梯度下降算法，我们称之为K-AVG。我们建立了非凸目标的K-AVG的收敛结果，并解释了为什么K步延迟是必要的，并导致更好的性能比传统的并行随机梯度下降，这是一个特殊的情况下，K-AVG与$K=1$。我们还表明，K-AVG规模优于ASGD。K-AVG相对于ASGD的另一个优点是它允许更大的步长。在$128$ GPU集群上，K-AVG比ASGD实现更快，并为\cifar数据集实现更好的精度和更快的收敛。
2018-05-16 cs.DC cs.LG stat.ML
Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization
Inria - ENS Paris（法国国家信息与自动化研究所 - 巴黎高等师范学院）；EPFL, Switzerland（瑞士洛桑联邦理工学院）
本文提出AGRAF SGD统一框架，在宽松假设下涵盖SGD、去中心化SGD、Local SGD和FedBuff等算法的异步版本，并给出更优的收敛速率。
2023-11-01 cs.DC cs.LG math.OC
Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays
DI ENS, Ecole normale supérieure（巴黎高等师范学院DI ENS）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
针对异步 SGD 受梯度延迟拖累的既有结论，论文提出基于虚拟迭代与延迟自适应步长的新递归分析，证明其保证仅取决于并行设备数且严格优于现有结果，并在凸与非凸目标上优于同步小批量 SGD。
2023-04-20 cs.DC cs.LG math.OC
Asynchronous COMID: the theoretic basis for transmitted data sparsification tricks on Parameter Server
异步FTRL-proximal和L2范数在服务器端完成是参数服务器中广泛使用的两个技巧，参数服务器是延迟SGD的实现。它们的共同点是将部分更新计算留在服务器上，通过使传输的数据稀疏化来减轻网络的负担。但上述技巧的收敛性并没有得到很好的证明。基于上述共性，本文提出了一种更为通用的异步COMID算法，并证明了其收敛性。我们证明了异步FTRL-proximal和L2范数是异步COMID的应用，证明了上述两个技巧的收敛性。然后，我们进行实验来验证理论结果。实验结果表明，与参数服务器上的延时SGD相比，异步COMID在不影响数学收敛速度和最终输出的情况下，减轻了网络负担。
2017-09-12 cs.DC
Robustifying Asynchronous SGD via Soft Throttling
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；National University of Singapore（新加坡国立大学）；Toyota Motor Corporation（丰田汽车公司）；University of Zurich（苏黎世大学）
本文提出Throttle算法，通过指数降权快速客户端更新，统一了异步SGD与同步拜占庭鲁棒SGD，理论分析收敛性并实验验证了鲁棒性与性能提升。
2026-10-01 cs.DC cs.LG math.OC
Zeno++: Robust Fully Asynchronous SGD
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了Zeno++，一个新的鲁棒的异步随机梯度下降~（SGD）过程，容忍拜占庭式的工人失败。与以前的工作相比，Zeno++删除了一些不切实际的工作者-服务器通信限制，允许来自匿名工作者的完全异步更新，任意陈旧的工作者更新，以及无限数量的拜占庭工作者的可能性。关键思想是在应用候选梯度之后估计损失值的下降，其中大的下降值指示更新导致优化进展。我们证明了Zeno++在拜占庭失败下对非凸问题的收敛性。实验结果表明，Zeno++优于现有的方法。
2021-05-09 cs.DC cs.LG stat.ML
First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本研究提出异步SGD方法，通过优化设计实现同质和异质数据下的最优时间复杂度，提升分布式学习效率。
2026-01-05 cs.DC cs.LG math.OC
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University（爱荷华州立大学）
异步随机梯度下降方法（Async-SGD）是机器学习的基础性方法，其收敛性能的研究近年来受到越来越多的关注。然而，到目前为止，大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中，我们专注于Async-SGD和它的变体Async-SGDI（它使用增加批量大小）的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外，建立了Async-SGD收敛的一个统一的充分条件，其中包括文献中的两个主要的梯度延迟模型作为特殊情况，并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
On the Convergence Analysis of Asynchronous SGD for Solving Consistent Linear Systems
在大数据和机器学习领域，数据并行，分布式随机算法在当今引起了极大的关注。虽然这些算法的同步版本是很好地理解其收敛性，其异步同行的收敛性分析没有得到广泛的研究。在本文中，我们提出并分析了一个{ \it分布式，异步并行} SGD解决一个任意一致的线性系，通过将系统转化为随机最优化问题，研究了Richtárik和Takác在[35]。我们比较了我们的异步SGD算法的收敛速度与同步并行算法提出的Richtárik和Takánik在[35]在不同的选择超参数--步长，阻尼因子，处理器的数量，和延迟因子。我们证明了我们的异步并行SGD算法也具有全局线性收敛速率，类似于{ \em basic}方法和[35]中的同步并行方法，用于通过随机重构求解任意相容线性系。我们还表明，我们的异步并行SGD改进后的{ \em基本}方法具有更好的收敛速度时，处理器的数量大于4。我们进一步表明，这种异步的方法比它的同步对应的某些线性系渐近更好。此外，对于某些线性系，我们计算所需的处理器的最小数量，我们的异步并行SGD是更好的，并发现这个数字可以低至两个病态的问题。
2020-04-05 cs.CC cs.DC cs.NA
Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
本文研究了同步SGD在异构计算场景中的近优性，证明其在多种情况下接近最优，尽管异步方法在某些情况下可能更合适。
2026-10-20 cs.AI cs.DC cs.NA
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
University of Liège（列日大学）
分布式异步SGD已被广泛用于大型系统中的深度学习，但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中，我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述，我们引入能量的概念来描述优化过程，并推导出一个充分条件，确保其稳定性，只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准，我们得到一个稳定的分布式异步优化程序，GEM，估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比，现有的计划，即使扩展到100个异步工人。结果还表明，更好的推广相比，有针对性的SGD动量。
2018-05-22 cs.DC cs.LG stat.ML
Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
Applied AI Institute（应用人工智能研究所）
本文提出Birch SGD框架，通过树图分析分布式SGD方法，揭示了优化动态的图论解释，并设计了八种新方法，展示了其在计算效率上的最优性。
2026-03-28 cs.DC cs.LG math.OC
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine（威尔康奈尔医学院）；IBM Research（IBM研究院）
由于深度学习模型通常庞大而复杂，分布式学习对于提高训练效率至关重要。此外，在许多现实世界的应用场景中，如医疗保健，分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习，其中存在存储全局模型的中央服务器和一组本地计算节点，所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器，这导致了沉重的通信成本。最近，异步分散式分布式学习被提出并被证明是一种更有效和实用的策略，其中没有中央服务器，因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输，但在通信过程中仍然存在信息泄漏的风险，以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD（ADPSGD）框架，简称A（DP）$^2$ SGD，它既保持了ADPSGD的通信效率，又防止了恶意参与者的干扰。具体地说，R{é}nyi差分隐私被用来提供更严格的隐私分析，我们的复合高斯机制，而收敛速度是一致的非隐私版本。理论分析表明，A（DP）$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上，A（DP）$^2$ SGD实现了与同步SGD（SSGD）的差分私有版本相当的模型精度，但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全中心）
我们研究了异步随机梯度下降算法的分布式训练$n$工人，随着时间的推移，具有不同的计算和通信频率。在该算法中，工作者以自己的速度并行计算随机梯度，并将其返回给服务器，而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代，其中$σ$表示随机梯度的方差。在这项工作中，（i）我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法，其中$τ_{avg}$是平均延迟，它可以显着小于$τ_{\max}$。我们还提供了（ii）一个简单的延迟自适应学习率计划，异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度，不需要任何额外的超参数调整，也不需要额外的通信。我们的结果允许第一次表明，异步SGD总是比小批量SGD更快。此外，（iii）我们考虑了由联邦学习应用程序驱动的异构函数的情况，并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是，我们表明，在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
Throughput Prediction of Asynchronous SGD in TensorFlow
University of Southern California（南加州大学）
现代机器学习框架可以并行地使用多个节点来训练神经网络，每个计算参数使用随机梯度下降（SGD）更新，并通过中央参数服务器异步地共享它们。由于通信开销和瓶颈，集群中SGD更新的总吞吐量呈次线性扩展，随着节点数量的增加而饱和。在本文中，我们提出了一个解决方案，预测从单节点配置收集的剖析跟踪训练吞吐量。我们的方法是能够模拟多个节点之间的交互和参数服务器和每个节点之间的并发传输的调度。通过考虑接收到的部件和待处理的计算之间的依赖关系，我们预测计算和通信之间的重叠，并生成合成的执行轨迹与多个节点的配置。我们使用配备GPU或仅配备CPU的节点，在AWS和我们的内部集群上，针对流行的图像分类神经网络的TensorFlow训练作业验证了我们的方法。我们还研究了TensorFlow中使用的数据传输策略的影响，以及我们的方法在与传输时间表优化相结合时的准确性。
2020-02-28 cs.DC cs.LG cs.PF
Asynchronous Byzantine Machine Learning (the case of SGD)
EPFL（洛桑联邦理工学院）
到目前为止，异步分布式机器学习解决方案已经被证明非常有效，但总是假设工作人员功能完美。然而，在实践中，一些工作者可能会表现出拜占庭式的行为，这是由硬件故障、软件错误、损坏的数据甚至恶意攻击造成的。我们介绍\emph{Kardam}，第一个分布式异步随机梯度下降（SGD）算法，应付拜占庭工人。Kardam由两个互补的组件组成：过滤组件和阻尼组件。第一个是基于标量的，确保对$\frac{1}{3}$拜占庭工人的弹性。从本质上讲，这个过滤器利用了成本函数的Lipschitzness，并充当了一个自我稳定器，以防止拜占庭工人试图破坏SGD的进程。阻尼组件通过通用梯度加权方案调整到陈旧信息来限制收敛速率。我们证明了Kardam在存在异步和拜占庭行为的情况下几乎保证了收敛，并推导出了它的收敛率。我们在CIFAR-100和EMNIST数据集上评估Kardam，并测量其相对于非拜占庭弹性解决方案的开销。我们的经验表明，Kardam并没有引入额外的噪音的学习过程，但确实会导致放缓（拜占庭弹性的成本），我们在理论上和经验表明，是小于$f/n$，其中$f$是拜占庭故障容忍的数量和$n$的工人总数。有趣的是，我们还根据经验观察到，阻尼组件本身很有趣，因为它能够构建一个SGD算法，在具有诚实工人的环境中，该算法的性能优于其他感知过期的异步竞争对手。
2018-07-09 cs.CR cs.DC cs.LG
GossipGraD: Scalable Deep Learning using Gossip Communication based Asynchronous Gradient Descent
Pacific Northwest National Laboratory（太平洋西北国家实验室）
在本文中，我们提出了GossipGraD -一种基于流言通信协议的随机梯度下降（SGD）算法，用于在大规模系统上扩展深度学习（DL）算法。GossipGraD的突出特点是：1）将总体通信复杂性从充分研究的SGD中的p个计算节点的θ（log（p））降低到O（1），2）模型扩散，使得计算节点交换它们的更新（梯度）在每个log（p）步之后间接地，3）通信伙伴的旋转以便于梯度的直接扩散，4）在SGD中的前馈阶段期间异步分布式混洗样本以防止过拟合，5）异步梯度通信以进一步降低SGD和GossipGraD的通信成本。我们为GPU和CPU集群实现了GossipGraD，并使用NVIDIA GPU（Pascal P100）与InfiniBand连接，以及Intel Knights Landing（KNL）与Aries网络连接。我们使用经过充分研究的数据集ImageNet-1 K（~ 250 GB）和广泛研究的神经网络拓扑结构（如GoogLeNet和ResNet 50（ImageNet大规模可视化研究挑战赛（ILSVRC）的当前获胜者）来评估GossipGraD。我们使用KNL和Pascal GPU的性能评估表明，GossipGraD可以实现这些数据集及其相关的神经网络拓扑结构的完美效率。具体而言，对于ResNet 50，GossipGraD能够使用128个NVIDIA Pascal P100 GP…
2018-03-15 cs.DC cs.LG
Asynchronous Decentralized SGD with Quantized and Local Updates
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；University of Surrey（萨里大学）；ETH Zurich（苏黎世联邦理工学院）
分散式优化正在成为可扩展的分布式机器学习的可行替代方案，但也在同步成本方面引入了新的挑战。为此，几个通信减少技术，如非阻塞通信，量化和本地步骤，已被探索在分散设置。由于在这样一个宽松的环境中分析优化的复杂性，这类工作通常假设\emph{global}通信轮，这需要额外的同步。在本文中，我们认为分散优化的简单，但很难分析，\emph{asynchronous gossip}模型，其中通信发生在离散的，随机选择的节点之间的配对。也许令人惊讶的是，我们表明，SGD的一个变种称为\emph{SwarmSGD}仍然收敛在这种设置，即使\emph{non-blocking communication}，\emph{quantization}，和\emph{local steps}都适用于\emph{in conjunction}，即使节点数据分布和底层图形拓扑结构都是\emph{heterogenous}。我们的分析是基于一个新的连接与多维负载平衡过程。我们实现了该算法，并将其部署在超级计算环境中，表明它在端到端训练时间方面优于以前的分散方法，甚至可以与精心调整的大批量SGD相媲美。
2022-03-25 cs.DC cs.LG stat.ML
Distributed SGD Generalizes Well Under Asynchrony
The Ohio State University（俄亥俄州立大学）
在大数据时代，异步分布式系统以其强大的可扩展性成为主流，全同步分布式系统的性能面临瓶颈。本文研究了随机梯度下降算法在分布式异步系统上的推广性能。该系统由计算随机梯度的多个工作机器组成，这些随机梯度被进一步发送到公共参数服务器并在公共参数服务器上聚合以更新变量，并且系统中的通信遭受可能的延迟。在算法稳定性框架下，我们证明了分布式异步SGD在训练优化中，在足够的数据样本下具有很好的推广性。特别是，我们的研究结果表明，降低学习率，因为我们允许更多的分布式系统中的冗余。这种自适应学习率策略提高了分布式算法的稳定性，降低了相应的泛化误差。然后，我们通过数值实验证实了我们的理论研究结果。
2019-09-29 cs.DC cs.LG stat.ML
MindTheStep-AsyncPSGD: Adaptive Asynchronous Parallel Stochastic Gradient Descent
Chalmers University of Technology（查尔姆斯理工大学）
随机梯度下降（SGD）在高维非凸目标函数优化问题中非常有用，因此构成了若干机器学习和数据分析方法的重要组成部分。最近，有重要的工作，了解固有的并行性SGD，其收敛性能。异步并行SGD（AsyncPSGD）由于其所观察到的性能优势而受到特别关注。另一方面，这意味着在理解算法的执行及其收敛性方面存在固有的挑战，这源于线程的贡献可能基于旧的（陈旧的）状态视图。在这项工作中，我们的目标是加深AsyncPSGD的理解，以提高统计效率，在存在陈旧的梯度。我们提出了新的模型，捕捉在实际环境中的陈旧分布的性质。使用所提出的模型，我们推导出一个陈旧的自适应SGD框架，MindTheStep-AsyncPSGD，用于以在线方式调整步长，这可证明减少了重复的负面影响。此外，我们提供了一般的收敛时间范围为广泛的一类过时的自适应步长策略凸目标函数。我们还提供了详细的实证研究，展示了我们的方法如何意味着深度学习应用程序的更快收敛。
2019-11-08 cs.DC cs.LG
Asynchronous Distributed Semi-Stochastic Gradient Optimization
Hong Kong University of Science and Technology（香港科技大学）
随着最近大规模学习问题的激增，人们对分布式机器学习算法产生了很大的兴趣，特别是那些基于随机梯度下降（SGD）及其变体的算法。然而，现有的算法要么由于随机梯度的固有方差而收敛缓慢，要么具有快速的线性收敛速度，但以较差的解质量为代价。在本文中，我们结合他们的优点，提出了一个快速的分布式异步SGD为基础的算法与方差减少。可以使用恒定的学习率，并且还保证线性地收敛到最优解。在Google云计算平台上的实验表明，该算法在挂钟时间和解的质量方面都优于最先进的分布式异步算法。
2015-12-04 cs.DC cs.LG
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
训练大规模神经网络的能力已经在计算机视觉的许多领域产生了最先进的性能。这些结果很大程度上来自两种形式的计算中断：模型并行，例如GPU加速训练，它已在计算机视觉界迅速采用，以及数据并行，例如A-SGD，其大规模主要用于工业。我们报告了早期的实验与系统，利用这两个模型并行和数据并行，我们称之为GPU A-SGD。我们表明，使用GPU A-SGD可以加速对计算机视觉有用的大型卷积神经网络的训练。我们相信GPU A-SGD将使在合理的时间内在更大的训练集上训练更大的网络成为可能。
2013-12-21 cs.CV cs.DC cs.LG
Revisiting Distributed Synchronous SGD
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-18 cs.AI cs.DC cs.LG
Stochastic Gradient Descent on Highly-Parallel Architectures
University of California Merced（加州大学默塞德分校）
在工业界和学术界，人们对构建具有高级代数功能的数据分析框架的兴趣越来越大。这些框架中的许多，例如，TensorFlow和BIDMach以两种方式实现其计算密集型原语-作为多核CPU的多线程例程和在GPU上执行的高度并行内核。随机梯度下降（SGD）是在现代数据分析平台上广泛实施的模型训练的最流行的优化方法。虽然SGD的数据密集型属性是众所周知的，但对于众多SGD变体中哪一个在实践中更好存在激烈的争论。在本文中，我们进行了全面的研究并行SGD训练广义线性模型。我们考虑了三个因素的影响-计算架构（多核CPU或GPU），同步或异步模型更新和数据稀疏性-对三个指标的影响-硬件效率，统计效率和收敛时间。在这个过程中，我们设计了一个优化的异步SGD算法的GPU，利用翘曲洗牌和缓存合并的数据和模型访问。我们从我们在五个真实数据集上使用逻辑回归（LR）和支持向量机（SVM）的广泛实验中得出了一些有趣的发现。对于同步SGD，GPU总是优于并行CPU-它们都比顺序CPU解决方案高出400倍以上。对于异步SGD，并行CPU是最安全的选择，而具有数据复制的GPU在某些情况下更好。同步GPU和异步CPU之间的选择取决于任务和数据的特征。作为参考，我们的最佳实现始终优于TensorFlow和BIDMach。我们希望我们的见解提供了一个有用的指导应用并行SGD广义线性模型。
2018-02-24 cs.DB cs.DC cs.LG
Revisiting Distributed Synchronous SGD
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）；OpenAI
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-21 cs.DC cs.LG cs.NE
Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）
本文提出基于随机延迟微分方程的框架，分析并优化异步分布式SGD的收敛性，揭示陈旧性对加速和收敛的影响，并用于调度策略优化。
2025-02-26 cs.DC cs.LG
Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training
University of Southern California（南加利福尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度网络的分布式训练是解决当今一些计算挑战（如内存消耗和计算需求）的重要技术。经典的分布式方法，同步或异步，都是基于参数服务器架构，即，工作者节点计算梯度，该梯度被传送到参数服务器，同时返回更新的参数。最近，使用AllReduce操作的分布式训练也很受欢迎。虽然这些操作中的许多看起来很有吸引力，但很少有关于挂钟训练时间改进的报道。在本文中，我们仔细分析了基于AllReduce的设置，提出了包括网络延迟，带宽，集群大小和计算时间的时序模型，并证明了宽度为2的流水线训练结合了同步和异步训练的最佳效果。具体来说，对于由四节点GPU集群组成的设置，我们显示了与传统方法相比高达5.4倍的挂钟时间训练改进。
2019-01-11 cs.DC cs.LG stat.ML
The Convergence of Stochastic Gradient Descent in Asynchronous Shared Memory
IST Austria（奥地利科学技术研究所）；Cornell（康奈尔大学）
随机梯度下降（SGD）是机器学习中的一个基本算法，代表了从回归到神经网络的几个经典模型的优化骨干。鉴于最近的实际重点分布式机器学习，显着的工作一直致力于该算法的收敛性能下，不一致的和嘈杂的更新所产生的执行在分布式环境中。然而，令人惊讶的是，这个经典算法在标准共享内存模型中的收敛特性仍然没有得到很好的理解。在这项工作中，我们解决这个差距，并提供新的无锁并发随机梯度下降，在经典的异步共享内存模型中执行的收敛界限，对一个强大的自适应对手。我们的研究结果给出了改进的上界和下界的“价格”时，在并发设置中执行的基本SGD算法。他们表明，这种经典的优化工具可以收敛得更快，并且比以前已知的异步迭代参数范围更广。在同一时间，我们表现出一个基本的权衡系统中的最大延迟和SGD可以收敛的速度，它管理的参数集下，该算法仍然可以有效地工作。
2018-06-22 cs.DC cs.LG stat.ML
Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches
New York University（纽约大学）；IBM Research（IBM研究院）
SOTA分散式SGD算法可以通过使用Ring All-Reduce等通信集体进行同步来克服参数服务器处的带宽瓶颈。虽然分布式SGD中的参数更新可能异步发生，但仍然存在同步障碍，以确保每个学习器的本地训练时期在学习器可以前进到下一个时期之前完成。等待最慢的学习者（掉队者）的延迟仍然是这些最先进的去中心化框架的同步步骤中的一个问题。在本文中，我们提出了（去）集中式非阻塞SGD（非阻塞SGD），它可以解决异构环境中的落伍问题。非阻塞SGD的主要思想是将原始批次分割成小批次，然后累积梯度并基于完成的小批次更新模型。非阻塞思想可以使用分散算法来实现，包括Ring All-reduce，D-PSGD和MATCHA来解决掉队者问题。此外，使用梯度累积来更新模型还保证了收敛性并避免了梯度失效。随机离散延迟和计算效率/设备吞吐量的运行时分析也显示了非阻塞SGD的优势。在一组数据集和深度学习网络上的实验验证了理论分析，并证明了非阻塞SGD加快了训练速度并改善了收敛性。与最先进的分散式异步算法（如D-PSGD和MACHA）相比，非阻塞SGD在异构环境中达到相同的训练损失所需的时间减少了2倍。
2022-11-09 cs.DC cs.LG
Slow and Stale Gradients Can Win the Race
Carnegie Mellon University（卡内基梅隆大学）
分布式随机梯度下降（SGD）在以同步方式运行时，由于等待最慢的工人（掉队者），因此会在运行时延迟。异步方法可以减少落伍者，但会导致梯度失效，从而对收敛误差产生不利影响。在这项工作中，我们提出了一个新的理论表征的异步方法提供的加速比通过分析训练模型中的错误和实际的训练运行时（wallclock时间）之间的权衡。在我们的工作中的主要新颖之处是，我们的运行时分析考虑随机离散延迟，这有助于我们设计和比较分布式SGD算法，在离散和陈旧之间取得平衡。我们还提供了一个新的误差收敛分析的异步SGD变量没有界或指数延迟的假设。最后，基于我们的理论表征的错误-运行时的权衡，我们提出了一种方法，逐渐变化的同步分布式SGD和CIFAR 10数据集上展示其性能。
2020-03-23 cs.DC cs.LG cs.PF
Asynchrony begets Momentum, with an Application to Deep Learning
Stanford University（斯坦福大学）；ETH, Zurich（苏黎世联邦理工学院）
异步方法广泛用于深度学习，但在应用于非凸问题时，理论依据有限。我们表明，以异步方式运行随机梯度下降（SGD）可以被看作是在SGD迭代中添加了一个动量项。我们的结果没有假设目标函数是凸的，因此它适用于深度学习系统。我们观察到，一个标准的排队模型导致了深度学习从业者常用的动量形式。这在深度学习系统中建立了排队论和排队论之间的联系，这对系统构建者来说可能很有用。对于卷积神经网络，我们通过实验验证了卷积的程度与动量直接相关，证实了我们的主要结果。一个重要的含义是，调整动量参数是重要的，当考虑不同层次的的能量。我们断言，适当调整的动量减少了收敛所需的步骤。最后，我们的理论提出了新的方法来抵消负的不利影响：一个简单的机制，如使用负的算法动量可以提高高负的性能。由于异步方法具有更好的硬件效率，因此这一结果可能会揭示异步执行何时对深度学习系统更有效。
2016-11-25 cs.DC cs.LG math.OC
The Error-Feedback Framework: Better Rates for SGD with Delayed Gradients and Compressed Communication
EPFL（洛桑联邦理工学院）
我们分析（随机）梯度下降（SGD）与光滑拟凸和非凸函数的延迟更新，并推导出简洁，非渐近，收敛速度。我们表明，在所有情况下的收敛速度包括两个方面：（i）一个随机项，这是不受影响的延迟，和（ii）一个高阶确定性项，这只是线性放缓的延迟。因此，在存在噪声的情况下，延迟的影响在几次迭代之后变得可以忽略不计，并且算法以与标准SGD相同的最佳速率收敛。这一结果扩展了一系列的研究，显示出类似的结果，在渐近制度或强凸二次函数。我们进一步显示了类似的结果，SGD与更复杂的形式的延迟梯度-压缩梯度下的误差补偿和本地~SGD，多个工人执行本地步骤之前，相互通信。在所有这些设置中，我们改进了最知名的费率。这些结果表明，SGD是压缩和/或延迟的随机梯度更新的鲁棒性。这对于分布式并行实现尤其重要，其中异步和通信高效的方法是实现多设备优化的线性加速的关键。
2021-06-16 cs.DC cs.LG math.OC
Consistent Lock-free Parallel Stochastic Gradient Descent for Fast and Stable Convergence
随机梯度下降（SGD）是机器学习（ML）算法中的基本元素。异步并行共享存储器SGD（AsyncSGD），包括无同步算法，例如HOGWILD！由于与同步并行化相比减少了开销，因此在某些上下文中受到了关注。尽管它们会导致陈旧和不一致，但它们在满足光滑，强凸目标和梯度稀疏性的问题上表现出了加速。最近的工作朝着理解并行SGD对于不符合这些强假设的问题的潜力迈出了重要的一步，特别是对于深度学习（DL）。然而，在理解AsyncSGD算法在实践中何时有用，特别是同步和一致性机制如何发挥作用方面，当前文献存在差距。我们重点关注保持一致性的非阻塞同步对SGD收敛的影响，以及对超参数调整的敏感性。我们提出了Leashed-SGD，一个可扩展的算法框架的AsyncSGD的一致性保持实现，采用无锁同步，有效地平衡吞吐量和延迟。我们争论分析的动态算法，内存消耗，线程的进展随着时间的推移，和预期的竞争。我们提供了一个全面的经验评估，验证分析索赔，基准测试拟议的租赁SGD框架，并比较训练多层感知器（MLP）和卷积神经网络（CNN）的基线。我们观察了争用、陈旧性和一致性的关键影响，并展示了与标准的基于锁的AsyncSGD算法和HOGWILD！相比，Leashed-SGD如何在稳定性和时钟收敛时间方面提供显着改进（从20-80%到4倍的改进），同时减少了总的存储器占用空间。
2021-02-17 cs.DC cs.DS
Improving Efficiency in Large-Scale Decentralized Distributed Training
IBM Research（IBM研究院）；University of Iowa（爱荷华大学）
分布式并行SGD（D-PSGD）及其异步变体异步并行SGD（AD-PSGD）是一系列分布式学习算法，已被证明可在大规模深度学习任务中表现良好。（A）D-PSGD的一个缺点是混合矩阵的谱间隙随着系统中学习器数量的增加而减小，这阻碍了收敛。在本文中，我们研究的技术，以加速（A）D-PSGD为基础的训练，提高频谱间隙，同时最大限度地减少通信成本。我们通过在2000小时的Switchboard语音识别任务和ImageNet计算机视觉任务上运行实验来证明我们提出的技术的有效性。在IBM P9超级计算机上，我们的系统能够在2.28小时内训练LSTM声学模型，其中使用64个V100 GPU在Hub 5 -2000 Switchboard（SWB）测试集上具有7.5% WER，在CallHome（CH）测试集上具有13.3% WER，并且使用128个V100 GPU在1.98小时内在SWB上具有7.7% WER，在CH上具有13.3% WER，最快的训练时间。
2020-02-04 cs.DC cs.LG stat.ML
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）
方差缩减（VR）方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降（SGD）的性能。然而，当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算（使用整个数据集）。这限制了VR方法在实际分布式环境中的使用。在本文中，我们提出了一种方差降低方法，称为VR-lite，不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种，可扩展的，保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法，并发现我们提出的算法表现良好，其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
