NOMAD: Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion
提出了一种高效的并行分布式矩阵补全算法NOMAD（Non-locking，stOstochastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion）。NOMAD是一种分散式算法，在处理器之间进行非阻塞通信。NOMAD的关键特性之一是变量的所有权以分散的方式在处理器之间异步转移。因此，它是一个无锁的并行算法。尽管是一个异步算法，NOMAD的变量更新是可串行化的，也就是说，在串行实现中有一个等效的更新顺序。NOMAD优于每次迭代后需要显式批量同步的同步算法：我们广泛的经验评估表明，我们的算法不仅在商品硬件上的分布式设置中表现良好，而且在多核和分布式内存设置中，在HPC集群上的性能也优于最先进的算法。
2014-04-24 cs.DC
Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI（人工智能研究所）
本文提出Ringmaster ASGD，首次在任意异构且动态波动的工作节点计算时间下实现异步SGD的最优时间复杂度，填补了现有方法无法达到理论下界的空白。
2025-06-03 cs.DC cs.LG math.OC
SQuARM-SGD: Communication-Efficient Momentum SGD for Decentralized Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；US Army Research Lab（美国陆军研究实验室）
在本文中，我们提出并分析了SQuARM-SGD，一个通信效率高的算法，用于在网络上分散训练大规模机器学习模型。在SQuARM-SGD中，每个节点使用Nesterov的动量执行固定数量的本地SGD步骤，然后将稀疏化和量化的更新发送到受本地可计算触发标准调节的邻居。我们为一般（非凸）和凸光滑目标提供了算法的收敛保证，据我们所知，这是第一次对压缩分散SGD进行动量更新的理论分析。我们证明了SQuARM-SGD的收敛速度与vanilla SGD相匹配。我们的经验表明，包括动量更新SQuARM-SGD可以导致更好的测试性能比目前的最先进的不考虑动量更新。
2021-10-11 cs.DC cs.LG stat.ML
Shuffle-Exchange Brings Faster: Reduce the Idle Time During Communication for Decentralized Neural Network Training
分布式随机梯度下降（DSGD）作为加速深度神经网络（DNN）训练的重要方法，在实际应用中得到了广泛的应用。在大多数分布式深度学习（DL）框架中，DSGD采用Ring-AllReduce架构（Ring-SGD）实现，并使用计算-通信重叠策略来解决DSGD所需的大量通信的开销。然而，我们观察到，尽管Ring-SGD中每个工作者都需要传递$O(1)$梯度，但Ring-SGD所需的$O(n)$握手限制了其在与许多工作者一起训练或在高延迟网络中的使用。本文提出了洗牌交换SGD（SESGD）来解决Ring-SGD的困境。在具有0.1ms以太网延迟的16个工作者的集群中，SESGD可以加速DNN训练到$1.7 \times$，而不会损失模型准确性。此外，在高延迟网络（5 ms）中，该过程可以加速到$5\times$。
2020-07-16 cs.DC
Asynchronous COMID: the theoretic basis for transmitted data sparsification tricks on Parameter Server
异步FTRL-proximal和L2范数在服务器端完成是参数服务器中广泛使用的两个技巧，参数服务器是延迟SGD的实现。它们的共同点是将部分更新计算留在服务器上，通过使传输的数据稀疏化来减轻网络的负担。但上述技巧的收敛性并没有得到很好的证明。基于上述共性，本文提出了一种更为通用的异步COMID算法，并证明了其收敛性。我们证明了异步FTRL-proximal和L2范数是异步COMID的应用，证明了上述两个技巧的收敛性。然后，我们进行实验来验证理论结果。实验结果表明，与参数服务器上的延时SGD相比，异步COMID在不影响数学收敛速度和最终输出的情况下，减轻了网络负担。
2017-09-12 cs.DC
Layered SGD: A Decentralized and Synchronous SGD Algorithm for Scalable Deep Neural Network Training
Brookhaven National Laboratory（布鲁克海文国家实验室）
随机梯度下降（SGD）是训练深度神经网络（DNN）最流行的算法。由于较大的网络和数据集会导致较长的训练时间，因此在分布式系统上进行训练很常见，并且分布式SGD变体（主要是异步和同步SGD）被广泛使用。异步SGD是通信高效的，但是由于延迟的参数更新而遭受精度降级。当节点数量增加时，同步SGD变得通信密集，而不管其优点如何。为了解决这些问题，我们引入分层SGD（LSGD），一个新的分散同步SGD算法。LSGD将计算资源划分为子组，每个子组包含一个通信层（communicator）和一个计算层（worker）。每个子组具有用于参数更新的集中式通信，而子组之间的通信由通信器处理。因此，通信时间与工作器的I/O延迟重叠。通过在ImageNet分类任务上训练深度网络来测试该算法的效率。
2019-06-13 cs.DC cs.LG stat.ML
On the Convergence Analysis of Asynchronous SGD for Solving Consistent Linear Systems
在大数据和机器学习领域，数据并行，分布式随机算法在当今引起了极大的关注。虽然这些算法的同步版本是很好地理解其收敛性，其异步同行的收敛性分析没有得到广泛的研究。在本文中，我们提出并分析了一个{ \it分布式，异步并行} SGD解决一个任意一致的线性系，通过将系统转化为随机最优化问题，研究了Richtárik和Takác在[35]。我们比较了我们的异步SGD算法的收敛速度与同步并行算法提出的Richtárik和Takánik在[35]在不同的选择超参数--步长，阻尼因子，处理器的数量，和延迟因子。我们证明了我们的异步并行SGD算法也具有全局线性收敛速率，类似于{ \em basic}方法和[35]中的同步并行方法，用于通过随机重构求解任意相容线性系。我们还表明，我们的异步并行SGD改进后的{ \em基本}方法具有更好的收敛速度时，处理器的数量大于4。我们进一步表明，这种异步的方法比它的同步对应的某些线性系渐近更好。此外，对于某些线性系，我们计算所需的处理器的最小数量，我们的异步并行SGD是更好的，并发现这个数字可以低至两个病态的问题。
2020-04-05 cs.CC cs.DC cs.NA
An Asynchronous, Decentralized Solution Framework for the Large Scale Unit Commitment Problem
随着对网络基础设施的日益依赖，大规模电力网络由于计算可扩展性而面临新的挑战。在本文中，我们专注于开发一个异步分散解决方案框架的机组组合（UC）问题的大规模电力网络。我们利用固有的基于区域的分解所产生的区域子问题的不平衡，以提高计算效率。提出了一种两阶段算法，该算法依赖于凸松弛和隐私保护有效不等式，以提供算法的改进。我们的算法采用了一种新的交错二进制机制，局部切换凸子问题，其二进制对应的一致的局部收敛行为的基础上。我们开发了一个面向高性能计算（HPC）的软件框架，使用消息传递接口（MPI）来驱动我们的基准测试研究。我们的模拟IEEE 3012总线的情况下进行基准对集中式和最先进的同步分散的方法。结果表明，异步方法提高了计算效率的显着数量，并提供了一个有竞争力的解决方案的质量媲美基准方法。
2019-04-12 cs.DC
Zeno++: Robust Fully Asynchronous SGD
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了Zeno++，一个新的鲁棒的异步随机梯度下降~（SGD）过程，容忍拜占庭式的工人失败。与以前的工作相比，Zeno++删除了一些不切实际的工作者-服务器通信限制，允许来自匿名工作者的完全异步更新，任意陈旧的工作者更新，以及无限数量的拜占庭工作者的可能性。关键思想是在应用候选梯度之后估计损失值的下降，其中大的下降值指示更新导致优化进展。我们证明了Zeno++在拜占庭失败下对非凸问题的收敛性。实验结果表明，Zeno++优于现有的方法。
2021-05-09 cs.DC cs.LG stat.ML
Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
本文研究了同步SGD在异构计算场景中的近优性，证明其在多种情况下接近最优，尽管异步方法在某些情况下可能更合适。
2026-10-20 cs.AI cs.DC cs.NA
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University（爱荷华州立大学）
异步随机梯度下降方法（Async-SGD）是机器学习的基础性方法，其收敛性能的研究近年来受到越来越多的关注。然而，到目前为止，大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中，我们专注于Async-SGD和它的变体Async-SGDI（它使用增加批量大小）的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外，建立了Async-SGD收敛的一个统一的充分条件，其中包括文献中的两个主要的梯度延迟模型作为特殊情况，并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
Fault-Tolerant Decentralized Distributed Asynchronous Federated Learning with Adaptive Termination Detection
本研究针对传统联邦学习的中心化瓶颈、单点故障及同步延迟问题，提出分两阶段的异步去中心化联邦学习方法，构建无严格同步的异步框架并扩展容错机制，还提出两项新技术让客户端自主确定终止点，保障异步及故障场景下的可靠收敛。
2025-09-02 cs.DC
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
University of Liège（列日大学）
分布式异步SGD已被广泛用于大型系统中的深度学习，但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中，我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述，我们引入能量的概念来描述优化过程，并推导出一个充分条件，确保其稳定性，只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准，我们得到一个稳定的分布式异步优化程序，GEM，估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比，现有的计划，即使扩展到100个异步工人。结果还表明，更好的推广相比，有针对性的SGD动量。
2018-05-22 cs.DC cs.LG stat.ML
Decentralized SGD with Controlled Disagreement Finds Flatter Minima
Division of Decision and Control Systems（决策与控制系统系）；KTH Royal Institute of Technology（皇家理工学院）
提出DSGD-AC算法，通过自适应共识机制平衡分歧方向，使分布式训练找到更平坦的极小值，提升泛化性能。
2026-06-24 cs.DC cs.LG
Ordered Momentum for Asynchronous SGD
School of Computer Science, Nanjing University（南京大学计算机科学学院）；National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）
本文提出有序动量（OrMo）方法，通过按迭代索引排序梯度将动量引入异步SGD，理论上证明了非凸问题下不依赖最大延迟的收敛性，实验显示其收敛性能优于现有异步动量方法。
2025-01-23 cs.DC cs.LG
Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学科学与技术学院）
Ringleader ASGD是首个在数据异质性下具有最优时间复杂度的异步SGD算法，克服了传统方法在异构计算和数据分布差异下的性能瓶颈。
2026-02-19 cs.DC cs.LG math.OC
Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
Applied AI Institute（应用人工智能研究所）
本文提出Birch SGD框架，通过树图分析分布式SGD方法，揭示了优化动态的图论解释，并设计了八种新方法，展示了其在计算效率上的最优性。
2026-03-28 cs.DC cs.LG math.OC
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine（威尔康奈尔医学院）；IBM Research（IBM研究院）
由于深度学习模型通常庞大而复杂，分布式学习对于提高训练效率至关重要。此外，在许多现实世界的应用场景中，如医疗保健，分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习，其中存在存储全局模型的中央服务器和一组本地计算节点，所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器，这导致了沉重的通信成本。最近，异步分散式分布式学习被提出并被证明是一种更有效和实用的策略，其中没有中央服务器，因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输，但在通信过程中仍然存在信息泄漏的风险，以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD（ADPSGD）框架，简称A（DP）$^2$ SGD，它既保持了ADPSGD的通信效率，又防止了恶意参与者的干扰。具体地说，R{é}nyi差分隐私被用来提供更严格的隐私分析，我们的复合高斯机制，而收敛速度是一致的非隐私版本。理论分析表明，A（DP）$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上，A（DP）$^2$ SGD实现了与同步SGD（SSGD）的差分私有版本相当的模型精度，但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降（SGD）是分散式联邦学习（DFL）的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中，我们提出了一个通用的DFL框架，它实现了多个本地更新和多个节点间的通信周期，以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证，而无需假设凸目标。DFL的收敛速度可以被优化，以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率，将压缩通信作为一种新的方案引入到DFL中，命名为DFL with compressed communication（C-DFL）。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明，DFL优于传统的分散SGD方法，并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
DC-S3GD: Delay-Compensated Stale-Synchronous SGD for Large-Scale Decentralized Neural Network Training
Cray Switzerland（克雷瑞士公司）
数据并行已经成为在多个处理单元上训练深度神经网络的事实标准。在这项工作中，我们提出了DC-S3 GD，一个分散的（没有参数服务器）延迟补偿异步随机梯度下降（DC-ASGD）算法的静态同步版本。在我们的方法中，我们允许计算和通信的重叠，并通过梯度的一阶校正来补偿固有误差。我们通过大批量训练卷积神经网络，并取得了最先进的结果，证明了我们的方法的有效性。
2019-11-06 cs.DC cs.LG stat.ML
A Unified Theory of Decentralized SGD with Changing Topology and Local Updates
EPFL（洛桑联邦理工学院）；Mila（米拉研究所）；DIRO, Université de Montréal（蒙特利尔大学信息与运筹学系）
分散随机优化方法近年来得到了广泛的关注，主要是因为其每次迭代成本低，数据局部性和通信效率。在本文中，我们介绍了一个统一的收敛分析，涵盖了各种分散SGD方法，到目前为止，需要不同的直觉，有不同的应用程序，并已分别在各个社区开发。我们的算法框架涵盖了自适应网络拓扑上的本地SGD更新和同步和成对的八卦更新。我们推导出普遍的收敛速度光滑（凸和非凸）的问题和利率之间的异构（非同分布的数据）和iid数据设置，恢复线性收敛速度在许多特殊情况下，例如过参数化模型。我们的证明依赖于弱假设（通常在几个方面比以前的工作有所改进），并恢复（和改进）许多重要场景的最知名的复杂性结果，例如合作SGD和联合平均（本地SGD）。
2021-03-02 cs.DC cs.LG math.OC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全中心）
我们研究了异步随机梯度下降算法的分布式训练$n$工人，随着时间的推移，具有不同的计算和通信频率。在该算法中，工作者以自己的速度并行计算随机梯度，并将其返回给服务器，而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代，其中$σ$表示随机梯度的方差。在这项工作中，（i）我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法，其中$τ_{avg}$是平均延迟，它可以显着小于$τ_{\max}$。我们还提供了（ii）一个简单的延迟自适应学习率计划，异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度，不需要任何额外的超参数调整，也不需要额外的通信。我们的结果允许第一次表明，异步SGD总是比小批量SGD更快。此外，（iii）我们考虑了由联邦学习应用程序驱动的异构函数的情况，并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是，我们表明，在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
Throughput Prediction of Asynchronous SGD in TensorFlow
University of Southern California（南加州大学）
现代机器学习框架可以并行地使用多个节点来训练神经网络，每个计算参数使用随机梯度下降（SGD）更新，并通过中央参数服务器异步地共享它们。由于通信开销和瓶颈，集群中SGD更新的总吞吐量呈次线性扩展，随着节点数量的增加而饱和。在本文中，我们提出了一个解决方案，预测从单节点配置收集的剖析跟踪训练吞吐量。我们的方法是能够模拟多个节点之间的交互和参数服务器和每个节点之间的并发传输的调度。通过考虑接收到的部件和待处理的计算之间的依赖关系，我们预测计算和通信之间的重叠，并生成合成的执行轨迹与多个节点的配置。我们使用配备GPU或仅配备CPU的节点，在AWS和我们的内部集群上，针对流行的图像分类神经网络的TensorFlow训练作业验证了我们的方法。我们还研究了TensorFlow中使用的数据传输策略的影响，以及我们的方法在与传输时间表优化相结合时的准确性。
2020-02-28 cs.DC cs.LG cs.PF
DecentLaM: Decentralized Momentum SGD for Large-batch Deep Training
Alibaba Group（阿里巴巴集团）；University of Pennsylvania（宾夕法尼亚大学）
当今深度学习的规模要求高效的分布式训练算法。去中心化动量SGD（DmSGD），其中每个节点仅与其邻居平均，比在所有计算节点上产生全局平均的vanilla并行动量SGD更有效。另一方面，大批量训练已被证明是实现运行时加速的关键。这促使我们研究DmSGD如何在大批量场景中执行。在这项工作中，我们发现动量项可以放大DmSGD中的不一致偏差。随着批量的增大，这种偏差变得更加明显，从而导致严重的性能下降。接下来，我们提出DecentLaM，一种新的分散的大批量动量SGD，以消除动量引起的偏差。建立了非凸和强凸情形下的收敛速度。我们的理论结果证明了DecentLaM的DmSGD的优越性，特别是在大批量的情况下。在各种计算机视觉任务和模型上的实验结果表明，DecentLaM保证了高效和高质量的训练。
2021-04-24 cs.DC cs.LG math.OC
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文理论证明梯度裁剪能消除异步SGD中最大延迟对复杂度的影响，基于次Weibull梯度噪声模型，首次实现异步优化的高概率收敛。
2026-06-12 cs.DC cs.LG math.OC
SPARQ-SGD: Event-Triggered and Compressed Communication in Decentralized Stochastic Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；US Army Research Lab（美国陆军研究实验室）
在本文中，我们提出并分析SPARQ-SGD，这是一个事件触发和压缩算法的大规模机器学习模型的分散训练。每个节点可以本地计算触发通信的条件（事件），其中发送量化和稀疏化的本地模型参数。在SPARQ-SGD中，每个节点至少采用固定数量（$H$）的局部梯度步长，然后检查模型参数与其上次更新相比是否发生了显著变化;只有当发生显著变化时，它才会进一步传输压缩的模型参数，如（设计）标准所规定的。我们证明了SPARQ-SGD分别在强凸和非凸设置下收敛为$O(\frac{1}{nT})$和$O(\frac{1}{\sqrt{nT}})$，表明这种积极的压缩，包括事件触发通信，模型稀疏化和量化，与未压缩的分散式训练相比，不会影响整体收敛速度;从而理论上产生“免费”的通信效率。我们在真实数据集上评估SPARQ-SGD，以证明在最先进的通信中节省了大量资金。
2020-02-24 cs.DC cs.LG math.OC
Asynchronous Stochastic Gradient Descent with Delay Compensation
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research（微软研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
随着深度学习的快速发展，使用大量训练数据来学习大型神经网络已经变得很普遍。异步随机梯度下降（ASGD）被广泛采用，以完成这一任务，其效率，但是，这是已知的遭受延迟梯度的问题。也就是说，当一个本地工作者将其梯度添加到全局模型时，全局模型可能已经被其他工作者更新，并且该梯度变得“延迟”。我们提出了一种新的技术来补偿这种延迟，使ASGD的优化行为更接近顺序SGD。这是通过利用梯度函数的泰勒展开和对损失函数的海森矩阵的有效近似来实现的。我们称之为延迟补偿ASGD（DC-ASGD）的新算法。我们在CIFAR-10和ImageNet数据集上对该算法进行了测试，实验结果表明DC-ASGD的性能优于同步SGD和异步SGD，并且接近于顺序SGD的性能。
2020-02-18 cs.DC cs.LG
A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data
Shanghai University of Electric Power（上海电力大学）
新兴的分布式应用最近推动了去中心化机器学习的发展，特别是在物联网和边缘计算领域。在现实世界中，非凸性和数据异构性的常见问题导致效率低下，性能下降和开发停滞。大部分研究集中在上述问题之一，而没有一个更普遍的框架，已被证明是最佳的。为此，我们提出了一个统一的范式称为UMP，其中包括两个算法，D-SUM和GT-DSUM，基于分散的随机梯度下降（SGD）的动量技术。前者为一般非凸目标提供了收敛保证。同时，通过引入梯度跟踪来扩展后者，该梯度跟踪估计全局优化方向以减轻数据异构性（即，分布漂移）。我们可以覆盖大多数基于动量的变量，基于经典的重球或Nesterov的加速度与UMP中的不同参数。在理论上，我们严格提供了这两种方法的收敛性分析非凸目标，并进行了广泛的实验，证明了显着提高模型的准确性高达57.6%相比，其他方法在实践中。
2023-03-01 cs.DC cs.LG
Asynchronous Decentralized SGD with Quantized and Local Updates
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；University of Surrey（萨里大学）；ETH Zurich（苏黎世联邦理工学院）
分散式优化正在成为可扩展的分布式机器学习的可行替代方案，但也在同步成本方面引入了新的挑战。为此，几个通信减少技术，如非阻塞通信，量化和本地步骤，已被探索在分散设置。由于在这样一个宽松的环境中分析优化的复杂性，这类工作通常假设\emph{global}通信轮，这需要额外的同步。在本文中，我们认为分散优化的简单，但很难分析，\emph{asynchronous gossip}模型，其中通信发生在离散的，随机选择的节点之间的配对。也许令人惊讶的是，我们表明，SGD的一个变种称为\emph{SwarmSGD}仍然收敛在这种设置，即使\emph{non-blocking communication}，\emph{quantization}，和\emph{local steps}都适用于\emph{in conjunction}，即使节点数据分布和底层图形拓扑结构都是\emph{heterogenous}。我们的分析是基于一个新的连接与多维负载平衡过程。我们实现了该算法，并将其部署在超级计算环境中，表明它在端到端训练时间方面优于以前的分散方法，甚至可以与精心调整的大批量SGD相媲美。
2022-03-25 cs.DC cs.LG stat.ML
Asynchronous Byzantine Machine Learning (the case of SGD)
EPFL（洛桑联邦理工学院）
到目前为止，异步分布式机器学习解决方案已经被证明非常有效，但总是假设工作人员功能完美。然而，在实践中，一些工作者可能会表现出拜占庭式的行为，这是由硬件故障、软件错误、损坏的数据甚至恶意攻击造成的。我们介绍\emph{Kardam}，第一个分布式异步随机梯度下降（SGD）算法，应付拜占庭工人。Kardam由两个互补的组件组成：过滤组件和阻尼组件。第一个是基于标量的，确保对$\frac{1}{3}$拜占庭工人的弹性。从本质上讲，这个过滤器利用了成本函数的Lipschitzness，并充当了一个自我稳定器，以防止拜占庭工人试图破坏SGD的进程。阻尼组件通过通用梯度加权方案调整到陈旧信息来限制收敛速率。我们证明了Kardam在存在异步和拜占庭行为的情况下几乎保证了收敛，并推导出了它的收敛率。我们在CIFAR-100和EMNIST数据集上评估Kardam，并测量其相对于非拜占庭弹性解决方案的开销。我们的经验表明，Kardam并没有引入额外的噪音的学习过程，但确实会导致放缓（拜占庭弹性的成本），我们在理论上和经验表明，是小于$f/n$，其中$f$是拜占庭故障容忍的数量和$n$的工人总数。有趣的是，我们还根据经验观察到，阻尼组件本身很有趣，因为它能够构建一个SGD算法，在具有诚实工人的环境中，该算法的性能优于其他感知过期的异步竞争对手。
2018-07-09 cs.CR cs.DC cs.LG
Removing Data Heterogeneity Influence Enhances Network Topology Dependence of Decentralized SGD
DAMO Academy, Alibaba (US) Group（阿里巴巴（美国）集团达摩院）；Kuwait University（科威特大学）
我们考虑分散随机优化问题，其中一个网络的$n$节点，每个拥有一个本地的成本函数，合作找到一个最小的全局平均成本。一个被广泛研究的分散算法是分散SGD（D-SGD），其中每个节点仅与其邻居求平均值。D-SGD在单次迭代通信中是有效的，但它对网络拓扑结构非常敏感。对于平滑目标函数，D-SGD的瞬态阶段（测量算法在实现线性加速阶段之前必须经历的迭代次数）分别为强凸和一般凸代价函数的$Ω(n/(1-β)^2)$和$Ω(n^3/(1-β)^4)$的量级，其中$1-β\in (0,1)$是一个拓扑相关量，对于大型稀疏网络接近$0$。因此，D-SGD在大型和稀疏网络中收敛缓慢。本文研究了D $^2$ /精确扩散算法的非渐近收敛性。通过消除节点之间的数据异质性的影响，D $^2$ /精确扩散被证明有一个增强的瞬态阶段，这是$\tildeΩ(n/(1-β))$和$Ω(n^3/(1-β)^2)$强，一般凸成本函数的顺序，分别。此外，当D $^2$ /精确扩散用梯度累积和多轮流言通信来实现时，其瞬态阶段可以进一步改进为分别针对强和一般凸代价函数的$\tildeΩ(1/(1-β)^{\frac{1}{2}})$和$\tildeΩ(n/(1-β))$。D $^2$ /精确扩散的这些确定结果具有最佳（即，最弱的）依赖于网络拓扑结构，以我们的知识相比，现有的分散式算法。我们还进行了数值模拟，以验证我们的理论。
2022-03-03 cs.DC cs.LG math.OC
Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training
University of Southern California（南加利福尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度网络的分布式训练是解决当今一些计算挑战（如内存消耗和计算需求）的重要技术。经典的分布式方法，同步或异步，都是基于参数服务器架构，即，工作者节点计算梯度，该梯度被传送到参数服务器，同时返回更新的参数。最近，使用AllReduce操作的分布式训练也很受欢迎。虽然这些操作中的许多看起来很有吸引力，但很少有关于挂钟训练时间改进的报道。在本文中，我们仔细分析了基于AllReduce的设置，提出了包括网络延迟，带宽，集群大小和计算时间的时序模型，并证明了宽度为2的流水线训练结合了同步和异步训练的最佳效果。具体来说，对于由四节点GPU集群组成的设置，我们显示了与传统方法相比高达5.4倍的挂钟时间训练改进。
2019-01-11 cs.DC cs.LG stat.ML
Decentralized SGD and Average-direction SAM are Asymptotically Equivalent
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；JD Explore Academy, JD.com, Inc.（京东探索研究院，京东集团）；Artificial Intelligence and its Applications Institute, School of Informatics, University of Edinburgh（爱丁堡大学信息学院人工智能及其应用研究所）；The University of Sydney（悉尼大学）
该研究挑战去中心化学习损害泛化的传统认知，证明去中心化随机梯度下降（D-SGD）与平均方向锐度感知最小化（SAM）渐近等价，揭示去中心化的三大优势，为其大批量场景下的泛化优势提供理论支撑。
2023-11-09 cs.CY cs.DC cs.LG
Distributed SGD Generalizes Well Under Asynchrony
The Ohio State University（俄亥俄州立大学）
在大数据时代，异步分布式系统以其强大的可扩展性成为主流，全同步分布式系统的性能面临瓶颈。本文研究了随机梯度下降算法在分布式异步系统上的推广性能。该系统由计算随机梯度的多个工作机器组成，这些随机梯度被进一步发送到公共参数服务器并在公共参数服务器上聚合以更新变量，并且系统中的通信遭受可能的延迟。在算法稳定性框架下，我们证明了分布式异步SGD在训练优化中，在足够的数据样本下具有很好的推广性。特别是，我们的研究结果表明，降低学习率，因为我们允许更多的分布式系统中的冗余。这种自适应学习率策略提高了分布式算法的稳定性，降低了相应的泛化误差。然后，我们通过数值实验证实了我们的理论研究结果。
2019-09-29 cs.DC cs.LG stat.ML
GossipGraD: Scalable Deep Learning using Gossip Communication based Asynchronous Gradient Descent
Pacific Northwest National Laboratory（太平洋西北国家实验室）
在本文中，我们提出了GossipGraD -一种基于流言通信协议的随机梯度下降（SGD）算法，用于在大规模系统上扩展深度学习（DL）算法。GossipGraD的突出特点是：1）将总体通信复杂性从充分研究的SGD中的p个计算节点的θ（log（p））降低到O（1），2）模型扩散，使得计算节点交换它们的更新（梯度）在每个log（p）步之后间接地，3）通信伙伴的旋转以便于梯度的直接扩散，4）在SGD中的前馈阶段期间异步分布式混洗样本以防止过拟合，5）异步梯度通信以进一步降低SGD和GossipGraD的通信成本。我们为GPU和CPU集群实现了GossipGraD，并使用NVIDIA GPU（Pascal P100）与InfiniBand连接，以及Intel Knights Landing（KNL）与Aries网络连接。我们使用经过充分研究的数据集ImageNet-1 K（~ 250 GB）和广泛研究的神经网络拓扑结构（如GoogLeNet和ResNet 50（ImageNet大规模可视化研究挑战赛（ILSVRC）的当前获胜者）来评估GossipGraD。我们使用KNL和Pascal GPU的性能评估表明，GossipGraD可以实现这些数据集及其相关的神经网络拓扑结构的完美效率。具体而言，对于ResNet 50，GossipGraD能够使用128个NVIDIA Pascal P100 GP…
2018-03-15 cs.DC cs.LG
MindTheStep-AsyncPSGD: Adaptive Asynchronous Parallel Stochastic Gradient Descent
Chalmers University of Technology（查尔姆斯理工大学）
随机梯度下降（SGD）在高维非凸目标函数优化问题中非常有用，因此构成了若干机器学习和数据分析方法的重要组成部分。最近，有重要的工作，了解固有的并行性SGD，其收敛性能。异步并行SGD（AsyncPSGD）由于其所观察到的性能优势而受到特别关注。另一方面，这意味着在理解算法的执行及其收敛性方面存在固有的挑战，这源于线程的贡献可能基于旧的（陈旧的）状态视图。在这项工作中，我们的目标是加深AsyncPSGD的理解，以提高统计效率，在存在陈旧的梯度。我们提出了新的模型，捕捉在实际环境中的陈旧分布的性质。使用所提出的模型，我们推导出一个陈旧的自适应SGD框架，MindTheStep-AsyncPSGD，用于以在线方式调整步长，这可证明减少了重复的负面影响。此外，我们提供了一般的收敛时间范围为广泛的一类过时的自适应步长策略凸目标函数。我们还提供了详细的实证研究，展示了我们的方法如何意味着深度学习应用程序的更快收敛。
2019-11-08 cs.DC cs.LG
Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates
Stony Brook University（石溪大学）；University of California Merced（加州大学默塞德分校）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
针对去中心化学习中同步更新易受掉队者影响、异步更新存在参数陈旧性的问题，提出带自适应异步更新的全去中心化算法DSGD-AAU，自适应确定通信邻居数，实现线性收敛加速且效果经实验验证。
2024-07-09 cs.DC cs.LG
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
训练大规模神经网络的能力已经在计算机视觉的许多领域产生了最先进的性能。这些结果很大程度上来自两种形式的计算中断：模型并行，例如GPU加速训练，它已在计算机视觉界迅速采用，以及数据并行，例如A-SGD，其大规模主要用于工业。我们报告了早期的实验与系统，利用这两个模型并行和数据并行，我们称之为GPU A-SGD。我们表明，使用GPU A-SGD可以加速对计算机视觉有用的大型卷积神经网络的训练。我们相信GPU A-SGD将使在合理的时间内在更大的训练集上训练更大的网络成为可能。
2013-12-21 cs.CV cs.DC cs.LG
Asynchronous Distributed Semi-Stochastic Gradient Optimization
Hong Kong University of Science and Technology（香港科技大学）
随着最近大规模学习问题的激增，人们对分布式机器学习算法产生了很大的兴趣，特别是那些基于随机梯度下降（SGD）及其变体的算法。然而，现有的算法要么由于随机梯度的固有方差而收敛缓慢，要么具有快速的线性收敛速度，但以较差的解质量为代价。在本文中，我们结合他们的优点，提出了一个快速的分布式异步SGD为基础的算法与方差减少。可以使用恒定的学习率，并且还保证线性地收敛到最优解。在Google云计算平台上的实验表明，该算法在挂钟时间和解的质量方面都优于最先进的分布式异步算法。
2015-12-04 cs.DC cs.LG
Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches
New York University（纽约大学）；IBM Research（IBM研究院）
SOTA分散式SGD算法可以通过使用Ring All-Reduce等通信集体进行同步来克服参数服务器处的带宽瓶颈。虽然分布式SGD中的参数更新可能异步发生，但仍然存在同步障碍，以确保每个学习器的本地训练时期在学习器可以前进到下一个时期之前完成。等待最慢的学习者（掉队者）的延迟仍然是这些最先进的去中心化框架的同步步骤中的一个问题。在本文中，我们提出了（去）集中式非阻塞SGD（非阻塞SGD），它可以解决异构环境中的落伍问题。非阻塞SGD的主要思想是将原始批次分割成小批次，然后累积梯度并基于完成的小批次更新模型。非阻塞思想可以使用分散算法来实现，包括Ring All-reduce，D-PSGD和MATCHA来解决掉队者问题。此外，使用梯度累积来更新模型还保证了收敛性并避免了梯度失效。随机离散延迟和计算效率/设备吞吐量的运行时分析也显示了非阻塞SGD的优势。在一组数据集和深度学习网络上的实验验证了理论分析，并证明了非阻塞SGD加快了训练速度并改善了收敛性。与最先进的分散式异步算法（如D-PSGD和MACHA）相比，非阻塞SGD在异构环境中达到相同的训练损失所需的时间减少了2倍。
2022-11-09 cs.DC cs.LG
First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本研究提出异步SGD方法，通过优化设计实现同质和异质数据下的最优时间复杂度，提升分布式学习效率。
2026-01-05 cs.DC cs.LG math.OC
Stochastic Gradient Descent on Highly-Parallel Architectures
University of California Merced（加州大学默塞德分校）
在工业界和学术界，人们对构建具有高级代数功能的数据分析框架的兴趣越来越大。这些框架中的许多，例如，TensorFlow和BIDMach以两种方式实现其计算密集型原语-作为多核CPU的多线程例程和在GPU上执行的高度并行内核。随机梯度下降（SGD）是在现代数据分析平台上广泛实施的模型训练的最流行的优化方法。虽然SGD的数据密集型属性是众所周知的，但对于众多SGD变体中哪一个在实践中更好存在激烈的争论。在本文中，我们进行了全面的研究并行SGD训练广义线性模型。我们考虑了三个因素的影响-计算架构（多核CPU或GPU），同步或异步模型更新和数据稀疏性-对三个指标的影响-硬件效率，统计效率和收敛时间。在这个过程中，我们设计了一个优化的异步SGD算法的GPU，利用翘曲洗牌和缓存合并的数据和模型访问。我们从我们在五个真实数据集上使用逻辑回归（LR）和支持向量机（SVM）的广泛实验中得出了一些有趣的发现。对于同步SGD，GPU总是优于并行CPU-它们都比顺序CPU解决方案高出400倍以上。对于异步SGD，并行CPU是最安全的选择，而具有数据复制的GPU在某些情况下更好。同步GPU和异步CPU之间的选择取决于任务和数据的特征。作为参考，我们的最佳实现始终优于TensorFlow和BIDMach。我们希望我们的见解提供了一个有用的指导应用并行SGD广义线性模型。
2018-02-24 cs.DB cs.DC cs.LG
Revisiting Distributed Synchronous SGD
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-18 cs.AI cs.DC cs.LG
Revisiting Distributed Synchronous SGD
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）；OpenAI
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-21 cs.DC cs.LG cs.NE
Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology
Zhejiang University（浙江大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
我们开发了一个通用的框架，统一了几个基于梯度的随机最优化方法的经验风险最小化问题，在集中式和分布式的情况下。该框架的关键在于引入一个增强图，该图由对样本进行建模的节点和对设备间通信和设备内随机梯度计算进行建模的边组成。通过适当设计的拓扑结构的增强图，我们能够恢复作为特殊情况下著名的本地SGD和DSGD算法，并提供了一个统一的视角方差减少（VR）和梯度跟踪（GT）的方法，如SAGA，本地SVRG和GT-SAGA。我们还提供了一个统一的收敛性分析光滑和（强）凸的目标依赖于一个适当的结构李雅普诺夫函数，所获得的速度可以恢复最好的已知结果，许多现有的算法。速率结果进一步表明，VR和GT方法可以分别有效地消除设备内和设备间的数据异构性，从而使算法精确收敛到最优解。数值实验证实了本文的研究结果。
2022-07-08 cs.DC cs.LG math.OC
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne（墨尔本大学）；University of Technology Sydney（悉尼科技大学）
针对无线网络下分散式联邦学习的选择偏差和更新过时问题，提出结合逆概率加权与信息年龄加权的DFL-AA方法，理论消除链路质量偏差，实验优于现有基线。
2026-06-17 cs.DC cs.LG
Optimality in Decentralized Optimization under Bandwidth Constraints
AXXX；Applied AI Institute（应用人工智能研究所）
本文研究带带宽限制的去中心化优化问题，推导非凸随机并行异步优化的最优时间复杂度，提出Grace SGD和Leon SGD方法，利用最小割/最大流和Gomory-Hu树等工具改进复杂度。
2026-03-21 cs.DC math.CO math.OC
Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）
本文提出基于随机延迟微分方程的框架，分析并优化异步分布式SGD的收敛性，揭示陈旧性对加速和收敛的影响，并用于调度策略优化。
2025-02-26 cs.DC cs.LG
Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices
Raven Protocol（雷文协议）
Ravnest提出一种面向异构设备的去中心化异步训练方法，通过集群划分和零气泡异步模型并行及多环全归约实现全局参数平均，并证明最优收敛速率与线性加速。
2024-05-23 cs.AI cs.DC cs.LG
Decentralized SGD with Over-the-Air Computation
Imperial College London（帝国理工学院）；NCTU（台湾交通大学）
我们研究了无线网络中分散式随机梯度下降（DSGD）的性能，其中节点使用其本地数据集协作优化目标函数。与传统的设置，其中的节点在无差错的正交通信链路进行通信，我们假设，传输是容易添加的噪声和interference.We首先考虑一个点对点（P2P）的传输策略，称为OAC-P2P计划，其中的节点对被调度在一个正交的方式，以最大限度地减少干扰。由于在DSGD框架中，每个节点在共识步骤需要相邻模型的线性组合，因此我们提出了OAC-MAC方案，该方案利用无线介质的信号叠加特性来实现空中计算（OAC）。对于这两种方案，我们投调度问题作为一个图着色问题。我们数值评估这两个计划的MNIST图像分类任务在各种网络条件下的性能。我们表明，OAC-MAC方案达到更好的收敛性能与更少的通信轮。
2020-03-06 cs.DC cs.IT cs.LG
The Convergence of Stochastic Gradient Descent in Asynchronous Shared Memory
IST Austria（奥地利科学技术研究所）；Cornell（康奈尔大学）
随机梯度下降（SGD）是机器学习中的一个基本算法，代表了从回归到神经网络的几个经典模型的优化骨干。鉴于最近的实际重点分布式机器学习，显着的工作一直致力于该算法的收敛性能下，不一致的和嘈杂的更新所产生的执行在分布式环境中。然而，令人惊讶的是，这个经典算法在标准共享内存模型中的收敛特性仍然没有得到很好的理解。在这项工作中，我们解决这个差距，并提供新的无锁并发随机梯度下降，在经典的异步共享内存模型中执行的收敛界限，对一个强大的自适应对手。我们的研究结果给出了改进的上界和下界的“价格”时，在并发设置中执行的基本SGD算法。他们表明，这种经典的优化工具可以收敛得更快，并且比以前已知的异步迭代参数范围更广。在同一时间，我们表现出一个基本的权衡系统中的最大延迟和SGD可以收敛的速度，它管理的参数集下，该算法仍然可以有效地工作。
2018-06-22 cs.DC cs.LG stat.ML
Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices
Yandex；HSE University（俄罗斯国立高等经济学院）；MIPT（莫斯科物理技术学院）；University of Toronto（多伦多大学）；Vector Institute
在大型数据集上训练深度神经网络通常可以通过使用多个计算节点来加速。这种方法被称为分布式训练，可以通过专门的消息传递协议（如Ring All-Reduce）利用数百台计算机。但是，大规模运行这些协议需要可靠的高速网络，而这种网络仅在专用群集中可用。相比之下，许多现实世界的应用程序，如联邦学习和基于云的分布式训练，运行在不可靠的设备上，网络带宽不稳定。因此，这些应用程序被限制使用参数服务器或基于流言的平均协议。在这项工作中，我们提出了Moshpit All-Reduce -一种迭代平均协议，以指数方式收敛到全局平均值，从而解除了这一限制。我们证明了我们的协议的分布式优化具有强有力的理论保证的效率。实验显示，与竞争性的基于流言的策略相比，ImageNet上ResNet-50训练的速度提高了1.3倍，使用可抢占计算节点从头开始训练ALBERT-large时的速度提高了1.5倍。
2022-01-11 cs.DC cs.LG math.OC
$\textbf{A}^2\textbf{CiD}^2$: Accelerating Asynchronous Communication in Decentralized Deep Learning
Concordia University（康考迪亚大学）；Mila（米拉研究所）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）
本文提出 $\ extbf{A}^2\ extbf{CiD}^2$，一种带连续局部动量的异步随机 gossip 优化算法，通过并行点对点平均减少空闲与通信成本，并在理论和 ImageNet 多拓扑实验中验证其加速效果。
2023-12-06 cs.AI cs.DC cs.LG
