Revisiting Distributed Synchronous SGD
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-18 cs.AI cs.DC cs.LG
Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学科学与技术学院）
Ringleader ASGD是首个在数据异质性下具有最优时间复杂度的异步SGD算法，克服了传统方法在异构计算和数据分布差异下的性能瓶颈。
2026-02-19 cs.DC cs.LG math.OC
Iterative Approximate Byzantine Consensus in Arbitrary Directed Graphs - Part II: Synchronous and Asynchronous Systems
本报告包含两组相关的结果，对同步性有不同的假设。第一部分是关于同步系统中的迭代算法。根据我们以前的工作同步迭代近似拜占庭共识（IABC）算法，我们提供了一个更直观的紧的必要和充分条件，这样的算法在同步网络1的存在。我们相信这个条件和以前的结果在部分异步算法模型中也成立。在报告的第二部分中，我们将探讨异步网络中的问题。虽然传统的拜占庭共识在异步系统中是不可解的，但近似拜占庭共识可以使用迭代算法来解决。
2012-03-16 cs.DC
DC-S3GD: Delay-Compensated Stale-Synchronous SGD for Large-Scale Decentralized Neural Network Training
Cray Switzerland（克雷瑞士公司）
数据并行已经成为在多个处理单元上训练深度神经网络的事实标准。在这项工作中，我们提出了DC-S3 GD，一个分散的（没有参数服务器）延迟补偿异步随机梯度下降（DC-ASGD）算法的静态同步版本。在我们的方法中，我们允许计算和通信的重叠，并通过梯度的一阶校正来补偿固有误差。我们通过大批量训练卷积神经网络，并取得了最先进的结果，证明了我们的方法的有效性。
2019-11-06 cs.DC cs.LG stat.ML
Revisiting Distributed Synchronous SGD
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）；OpenAI
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-21 cs.DC cs.LG cs.NE
Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
Applied AI Institute（应用人工智能研究所）
本文提出Birch SGD框架，通过树图分析分布式SGD方法，揭示了优化动态的图论解释，并设计了八种新方法，展示了其在计算效率上的最优性。
2026-03-28 cs.DC cs.LG math.OC
Zeno++: Robust Fully Asynchronous SGD
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了Zeno++，一个新的鲁棒的异步随机梯度下降~（SGD）过程，容忍拜占庭式的工人失败。与以前的工作相比，Zeno++删除了一些不切实际的工作者-服务器通信限制，允许来自匿名工作者的完全异步更新，任意陈旧的工作者更新，以及无限数量的拜占庭工作者的可能性。关键思想是在应用候选梯度之后估计损失值的下降，其中大的下降值指示更新导致优化进展。我们证明了Zeno++在拜占庭失败下对非凸问题的收敛性。实验结果表明，Zeno++优于现有的方法。
2021-05-09 cs.DC cs.LG stat.ML
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University（爱荷华州立大学）
异步随机梯度下降方法（Async-SGD）是机器学习的基础性方法，其收敛性能的研究近年来受到越来越多的关注。然而，到目前为止，大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中，我们专注于Async-SGD和它的变体Async-SGDI（它使用增加批量大小）的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外，建立了Async-SGD收敛的一个统一的充分条件，其中包括文献中的两个主要的梯度延迟模型作为特殊情况，并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
IS-ASGD: Accelerating Asynchronous SGD using Importance Sampling
近年来，方差缩减技术在随机梯度下降（SGD）算法中得到了广泛的应用。VR的两个变体，随机方差降低梯度（SVRG-SGD）和重要性采样（IS-SGD）已经取得了显著的进展。同时，由于优化问题规模的不断扩大，异步SGD（ASGD）变得越来越重要。因此，在ASGD中应用VR来加速其收敛速度引起了人们的极大兴趣，并因此提出了SVRG-ASGD。然而，我们发现，SVRG遭受不满意的性能加速ASGD时，数据集稀疏和大规模。在这种情况下，SVRG-ASGD的迭代计算成本比ASGD高很多，这使得它非常慢。另一方面，IS算法以较少的额外计算代价提高了收敛速度，并且对数据集的稀疏性具有不变性。这一优点使其非常适合于大规模稀疏数据集的ASGD加速。在本文中，我们提出了一种新的IS结合ASGD有效的收敛速度加速，即IS-ASGD。我们从理论上证明了IS-ASGD的上界收敛性。实验结果也证明了我们的说法。
2018-04-10 cs.DC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全中心）
我们研究了异步随机梯度下降算法的分布式训练$n$工人，随着时间的推移，具有不同的计算和通信频率。在该算法中，工作者以自己的速度并行计算随机梯度，并将其返回给服务器，而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代，其中$σ$表示随机梯度的方差。在这项工作中，（i）我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法，其中$τ_{avg}$是平均延迟，它可以显着小于$τ_{\max}$。我们还提供了（ii）一个简单的延迟自适应学习率计划，异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度，不需要任何额外的超参数调整，也不需要额外的通信。我们的结果允许第一次表明，异步SGD总是比小批量SGD更快。此外，（iii）我们考虑了由联邦学习应用程序驱动的异构函数的情况，并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是，我们表明，在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
University of Liège（列日大学）
分布式异步SGD已被广泛用于大型系统中的深度学习，但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中，我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述，我们引入能量的概念来描述优化过程，并推导出一个充分条件，确保其稳定性，只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准，我们得到一个稳定的分布式异步优化程序，GEM，估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比，现有的计划，即使扩展到100个异步工人。结果还表明，更好的推广相比，有针对性的SGD动量。
2018-05-22 cs.DC cs.LG stat.ML
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文理论证明梯度裁剪能消除异步SGD中最大延迟对复杂度的影响，基于次Weibull梯度噪声模型，首次实现异步优化的高概率收敛。
2026-06-12 cs.DC cs.LG math.OC
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine（威尔康奈尔医学院）；IBM Research（IBM研究院）
由于深度学习模型通常庞大而复杂，分布式学习对于提高训练效率至关重要。此外，在许多现实世界的应用场景中，如医疗保健，分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习，其中存在存储全局模型的中央服务器和一组本地计算节点，所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器，这导致了沉重的通信成本。最近，异步分散式分布式学习被提出并被证明是一种更有效和实用的策略，其中没有中央服务器，因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输，但在通信过程中仍然存在信息泄漏的风险，以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD（ADPSGD）框架，简称A（DP）$^2$ SGD，它既保持了ADPSGD的通信效率，又防止了恶意参与者的干扰。具体地说，R{é}nyi差分隐私被用来提供更严格的隐私分析，我们的复合高斯机制，而收敛速度是一致的非隐私版本。理论分析表明，A（DP）$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上，A（DP）$^2$ SGD实现了与同步SGD（SSGD）的差分私有版本相当的模型精度，但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
2015-10-05 cs.DC
Analysis and Evaluation of Synchronous and Asynchronous FLchain
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)（加泰罗尼亚电信技术中心（CTTC/CERCA））
受参与大规模联邦学习（FL）优化的设备的异构性的启发，我们专注于由区块链技术授权的异步无服务器FL解决方案。与大多数采用的FL方法（假设同步操作）相反，我们提倡一种异步方法，即在客户端提交本地更新时进行模型聚合。异步设置非常适合具有异构客户端的实际大规模设置中的联邦优化思想。因此，它潜在地导致在通信开销和空闲时段方面的更高效率。为了评估支持BC的FL的学习完成延迟，我们提供了一个基于批服务排队理论的分析模型。此外，我们提供模拟结果来评估同步和异步机制的性能。在BC使能FL优化，如网络规模，链路容量，或用户的要求，涉及的重要方面放在一起，并进行了分析。正如我们的研究结果表明，同步设置导致更高的预测精度比异步的情况下。然而，异步联邦优化在许多情况下提供了更低的延迟，因此在处理大型数据集、严格的时间约束（例如，近实时应用）或高度变化的训练数据。
2022-09-05 cs.DC cs.LG cs.NI
MG-WFBP: Efficient Data Communication for Distributed Synchronous SGD Algorithms
分布式同步随机梯度下降算法已被广泛用于在计算机集群上训练深度神经网络。随着计算能力的提高，网络通信已经成为系统可扩展性的一个限制因素。在本文中，我们观察到许多深度神经网络有大量的层，只有少量的数据要通信。基于将一些短的通信任务合并为一个任务可以减少总的通信时间的事实，我们制定了一个优化问题，以最小化训练迭代时间。我们开发了一个名为合并梯度WFBP（MG-WFBP）的最佳解决方案，并在我们的开源深度学习平台B-Caffe中实现。在一个8节点10 GbE GPU集群上的实验结果和在一个64节点集群上的基于跟踪的仿真结果都表明，MG-WFBP算法比现有的WFBP和SyncEASGD算法具有更好的伸缩效率。
2018-12-01 cs.DC
Throughput Prediction of Asynchronous SGD in TensorFlow
University of Southern California（南加州大学）
现代机器学习框架可以并行地使用多个节点来训练神经网络，每个计算参数使用随机梯度下降（SGD）更新，并通过中央参数服务器异步地共享它们。由于通信开销和瓶颈，集群中SGD更新的总吞吐量呈次线性扩展，随着节点数量的增加而饱和。在本文中，我们提出了一个解决方案，预测从单节点配置收集的剖析跟踪训练吞吐量。我们的方法是能够模拟多个节点之间的交互和参数服务器和每个节点之间的并发传输的调度。通过考虑接收到的部件和待处理的计算之间的依赖关系，我们预测计算和通信之间的重叠，并生成合成的执行轨迹与多个节点的配置。我们使用配备GPU或仅配备CPU的节点，在AWS和我们的内部集群上，针对流行的图像分类神经网络的TensorFlow训练作业验证了我们的方法。我们还研究了TensorFlow中使用的数据传输策略的影响，以及我们的方法在与传输时间表优化相结合时的准确性。
2020-02-28 cs.DC cs.LG cs.PF
Asynchronous Fully-Decentralized SGD in the Cluster-Based Model
本文面向结合消息传递与共享内存的集群模型，提出可容错的异步全去中心化SGD算法，针对强凸函数实现最大化分布式加速，对任意函数通过定制多维近似一致性算法达到接近串行的收敛速率，并证明多数集群含非故障进程的必要性。
2023-06-13 cs.DC
Perfectly Secure Synchronous MPC with Asynchronous Fallback Guarantees Against General Adversaries
在这项工作中，我们研究了完全安全的多方计算（MPC）对一般（非阈值）的对手。同步网络中的已知协议对于$Q^{(3)}$对手结构是安全的，而在异步网络中，已知协议对于$Q^{(4)}$对手结构是安全的。一个自然的问题是是否存在一个单一的协议，该协议分别在同步和异步网络中对$Q^{(3)}$和$Q^{(4)}$对手结构保持安全，其中各方不知道网络类型。我们设计了第一个这样的两全其美的协议来对抗一般的对手。我们的结果推广了Appan，Chandramouli和Choudhury（PODC 2022）的结果，该结果提出了一个两全其美的完全安全协议。为了设计我们的协议，我们提出了两个重要的积木是独立的利益。第一个构建块是用于$Q^{(3)}$对手结构的两全其美的完全安全的拜占庭协议（BA）协议，该协议在同步和异步网络中都保持安全。第二个构建块是一个两全其美的完全安全的可验证秘密共享（VSS）协议，该协议分别在同步网络和异步网络中对$Q^{(3)}$和$Q^{(4)}$攻击结构保持安全。
2022-08-12 cs.CR cs.DC cs.IT
Asynchronous Byzantine Machine Learning (the case of SGD)
EPFL（洛桑联邦理工学院）
到目前为止，异步分布式机器学习解决方案已经被证明非常有效，但总是假设工作人员功能完美。然而，在实践中，一些工作者可能会表现出拜占庭式的行为，这是由硬件故障、软件错误、损坏的数据甚至恶意攻击造成的。我们介绍\emph{Kardam}，第一个分布式异步随机梯度下降（SGD）算法，应付拜占庭工人。Kardam由两个互补的组件组成：过滤组件和阻尼组件。第一个是基于标量的，确保对$\frac{1}{3}$拜占庭工人的弹性。从本质上讲，这个过滤器利用了成本函数的Lipschitzness，并充当了一个自我稳定器，以防止拜占庭工人试图破坏SGD的进程。阻尼组件通过通用梯度加权方案调整到陈旧信息来限制收敛速率。我们证明了Kardam在存在异步和拜占庭行为的情况下几乎保证了收敛，并推导出了它的收敛率。我们在CIFAR-100和EMNIST数据集上评估Kardam，并测量其相对于非拜占庭弹性解决方案的开销。我们的经验表明，Kardam并没有引入额外的噪音的学习过程，但确实会导致放缓（拜占庭弹性的成本），我们在理论上和经验表明，是小于$f/n$，其中$f$是拜占庭故障容忍的数量和$n$的工人总数。有趣的是，我们还根据经验观察到，阻尼组件本身很有趣，因为它能够构建一个SGD算法，在具有诚实工人的环境中，该算法的性能优于其他感知过期的异步竞争对手。
2018-07-09 cs.CR cs.DC cs.LG
Balancing the Communication Load of Asynchronously Parallelized Machine Learning Algorithms
随机梯度下降（SGD）是用于解决绝大多数机器学习（ML）算法的核心优化问题的标准数值方法。在大规模学习的背景下，正如许多大数据应用所利用的那样，SGD的高效并行化是积极研究的焦点。最近，我们能够表明，异步通信范例可以应用于实现快速和可扩展的并行SGD。异步随机梯度下降（ASGD）优于其他大多基于MapReduce的并行算法，解决大规模机器学习问题。在本文中，我们研究了异步通信频率和消息大小对应用于HTC集群和云环境的大规模ML的ASGD性能的影响。我们介绍了一种新的算法，自动平衡的异步通信负载，它允许适应ASGD不断变化的网络带宽和延迟。
2015-10-05 cs.DC
Ordered Momentum for Asynchronous SGD
School of Computer Science, Nanjing University（南京大学计算机科学学院）；National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）
本文提出有序动量（OrMo）方法，通过按迭代索引排序梯度将动量引入异步SGD，理论上证明了非凸问题下不依赖最大延迟的收敛性，实验显示其收敛性能优于现有异步动量方法。
2025-01-23 cs.DC cs.LG
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Steelhead: Interleaving Partially Synchronous and Asynchronous Commit Rules on a Shared DAG
University College London (UCL)（伦敦大学学院）；Mysten Labs
Steelhead是一种双模式共识机制，在共享DAG上交错部分同步与异步提交规则，通过动态调整周期和公共硬币保持活性，经模拟验证性能优异。
2026-09-25 cs.CR cs.DC
First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本研究提出异步SGD方法，通过优化设计实现同质和异质数据下的最优时间复杂度，提升分布式学习效率。
2026-01-05 cs.DC cs.LG math.OC
Asynchronous Decentralized SGD with Quantized and Local Updates
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；University of Surrey（萨里大学）；ETH Zurich（苏黎世联邦理工学院）
分散式优化正在成为可扩展的分布式机器学习的可行替代方案，但也在同步成本方面引入了新的挑战。为此，几个通信减少技术，如非阻塞通信，量化和本地步骤，已被探索在分散设置。由于在这样一个宽松的环境中分析优化的复杂性，这类工作通常假设\emph{global}通信轮，这需要额外的同步。在本文中，我们认为分散优化的简单，但很难分析，\emph{asynchronous gossip}模型，其中通信发生在离散的，随机选择的节点之间的配对。也许令人惊讶的是，我们表明，SGD的一个变种称为\emph{SwarmSGD}仍然收敛在这种设置，即使\emph{non-blocking communication}，\emph{quantization}，和\emph{local steps}都适用于\emph{in conjunction}，即使节点数据分布和底层图形拓扑结构都是\emph{heterogenous}。我们的分析是基于一个新的连接与多维负载平衡过程。我们实现了该算法，并将其部署在超级计算环境中，表明它在端到端训练时间方面优于以前的分散方法，甚至可以与精心调整的大批量SGD相媲美。
2022-03-25 cs.DC cs.LG stat.ML
Perfectly-Secure Synchronous MPC with Asynchronous Fallback Guarantees
安全多方计算（MPC）是安全分布式计算中的一个基本问题。MPC协议允许一组相互不信任的$n$方执行其私有输入的任何联合计算，而不公开关于其输入的任何附加信息。具有信息理论安全性的MPC提供了最强的安全保证，即使对计算上无限的对手也是安全的。完全安全MPC协议是一类信息理论上安全的MPC协议，它以无差错的方式提供所有的安全保证。这项工作的重点是完全安全的MPC。已知的协议被设计为假定同步或异步通信网络。众所周知，只要攻击者能够破坏任何$t_s < n/3$方，完全安全的同步MPC协议是可能的。另一方面，完全安全的异步MPC协议可以容忍多达$t_a < n/4$破坏方。一个自然的问题是，是否存在一个单一的MPC协议，用于各方不知道确切的网络类型的设置，并且该协议可以容忍同步网络中高达$t_s < n/3$的破坏和异步网络中高达$t_a < n/4$的破坏。我们设计了这样一个两全其美的完全安全的MPC协议，提供了$3t_s + t_a < n$持有。为了设计我们的协议，我们设计了两个重要的构建块，这是独立的利益。第一个构建块是一个两全其美的拜占庭协议（BA）协议，它容忍$t < n/3$损坏，并且在同步和异步网络中都保持安全。第二个构建块是基于多项式的两全其美可验证秘密共享（VSS）协议，其可以分别在同步和异步网络中容忍高达$t_s$和$t_a$的破坏。
2022-08-09 cs.CR cs.DC cs.IT
Distributed SGD Generalizes Well Under Asynchrony
The Ohio State University（俄亥俄州立大学）
在大数据时代，异步分布式系统以其强大的可扩展性成为主流，全同步分布式系统的性能面临瓶颈。本文研究了随机梯度下降算法在分布式异步系统上的推广性能。该系统由计算随机梯度的多个工作机器组成，这些随机梯度被进一步发送到公共参数服务器并在公共参数服务器上聚合以更新变量，并且系统中的通信遭受可能的延迟。在算法稳定性框架下，我们证明了分布式异步SGD在训练优化中，在足够的数据样本下具有很好的推广性。特别是，我们的研究结果表明，降低学习率，因为我们允许更多的分布式系统中的冗余。这种自适应学习率策略提高了分布式算法的稳定性，降低了相应的泛化误差。然后，我们通过数值实验证实了我们的理论研究结果。
2019-09-29 cs.DC cs.LG stat.ML
A Distributed Synchronous SGD Algorithm with Global Top-$k$ Sparsification for Low Bandwidth Networks
Hong Kong Baptist University（香港浸会大学）；Shenzhen District Block Technology Co., Ltd.（深圳区块科技有限公司）
分布式同步随机梯度下降（S-SGD）已被广泛用于训练大规模深度神经网络（DNN），但它通常需要计算工作者之间非常高的通信带宽（例如，GPU）迭代地交换梯度。最近，已经提出了$k$稀疏化技术以减少要在工作者之间交换的数据量。顶部- $k$稀疏化可以在不影响模型收敛的情况下将梯度的重要部分归零。然而，稀疏梯度必须以其不规则的索引进行传输，这使得稀疏梯度聚集困难。使用AllGather来累积稀疏梯度的当前方法具有$O(kP)$的通信复杂性，其中$P$是工作者的数量，这在具有大量工作者的低带宽网络上是低效的。我们观察到，并不是所有的顶部- $k$梯度从$P$工人需要的模型更新，因此，我们提出了一种新的全球顶部- $k$（gTop- $k$）稀疏化机制来解决这个问题。具体来说，我们从$P$工作者中选择全局最大的$k$梯度绝对值，而不是累积所有局部最大的$k$梯度来在每次迭代中更新模型。基于gTop- $k$稀疏化的梯度聚合方法将通信复杂性从$O(kP)$降为$O(k\log P)$。通过在不同DNN上的大量实验，我们验证了gTop- $k$ S-SGD与S-SGD具有几乎一致的收敛性能，并且在泛化性能上只有轻微的下降。在扩展效率方面，我们评估了gTop- $k$的集群与32 GPU机器互连1 Gbps以太网。实验结果表明，该方法实现了$2.7-12\times$比S-SGD更高的缩放效率，而…
2019-04-17 cs.DC cs.LG
Synchrony vs. Causality in Asynchronous Petri Nets
给定一个同步系统，我们研究的问题，该系统的行为是否可以表现出一个（非平凡的）分布式，因此异步实现。在本文中，我们表明，通过反例，同步系统不能在一般情况下实现在异步的方式，而不引入一个无限的实现或改变因果结构的系统行为。
2011-08-23 cs.DC
GBA: A Tuning-free Approach to Switch between Synchronous and Asynchronous Training for Recommendation Model
Alibaba Group（阿里巴巴集团）
基于参数服务器（PS）架构的高并发异步训练和基于全归约（AR）架构的高性能同步训练是推荐模型最常用的分布式训练模式。虽然同步AR训练旨在提高训练效率，但当共享集群中存在落伍者（慢速工作者）时，异步PS训练将是训练速度的更好选择，特别是在有限的计算资源下。充分利用这两种训练模式的理想方法是根据群集状态在它们之间切换。然而，切换训练模式通常需要调整超参数，这非常耗时和消耗资源。我们发现两个障碍的调谐免费的方法：不同的分布的梯度值和陈旧的梯度从掉队者。本文提出了PS上的全局批量梯度聚合（GBA），它聚合并应用与同步训练相同的全局批量大小的梯度。一个令牌控制过程的实施，以组装的梯度和衰减的梯度严重陈旧。我们提供的收敛性分析，揭示GBA具有可比的同步训练的收敛性能，并证明GBA的推荐模型对梯度老化的鲁棒性。三个工业规模的推荐任务的实验表明，GBA是一种有效的无调谐切换方法。与最先进的异步训练相比，GBA在AUC指标上实现了高达0.2%的改进，这对于推荐模型来说是非常重要的。同时，在硬件资源紧张的情况下，GBA的速度至少是同步训练的2.4倍。
2022-10-09 cs.DC cs.IR cs.LG
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
训练大规模神经网络的能力已经在计算机视觉的许多领域产生了最先进的性能。这些结果很大程度上来自两种形式的计算中断：模型并行，例如GPU加速训练，它已在计算机视觉界迅速采用，以及数据并行，例如A-SGD，其大规模主要用于工业。我们报告了早期的实验与系统，利用这两个模型并行和数据并行，我们称之为GPU A-SGD。我们表明，使用GPU A-SGD可以加速对计算机视觉有用的大型卷积神经网络的训练。我们相信GPU A-SGD将使在合理的时间内在更大的训练集上训练更大的网络成为可能。
2013-12-21 cs.CV cs.DC cs.LG
Asynchronous Stochastic Gradient Descent with Delay Compensation
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research（微软研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
随着深度学习的快速发展，使用大量训练数据来学习大型神经网络已经变得很普遍。异步随机梯度下降（ASGD）被广泛采用，以完成这一任务，其效率，但是，这是已知的遭受延迟梯度的问题。也就是说，当一个本地工作者将其梯度添加到全局模型时，全局模型可能已经被其他工作者更新，并且该梯度变得“延迟”。我们提出了一种新的技术来补偿这种延迟，使ASGD的优化行为更接近顺序SGD。这是通过利用梯度函数的泰勒展开和对损失函数的海森矩阵的有效近似来实现的。我们称之为延迟补偿ASGD（DC-ASGD）的新算法。我们在CIFAR-10和ImageNet数据集上对该算法进行了测试，实验结果表明DC-ASGD的性能优于同步SGD和异步SGD，并且接近于顺序SGD的性能。
2020-02-18 cs.DC cs.LG
Let's Trace It: Fine-Grained Serverless Benchmarking using Synchronous and Asynchronous Orchestrated Applications
使无服务器计算广泛应用需要详细的性能理解。虽然存在当代基准测试方法，但它们只报告粗略的结果，不应用分布式跟踪，不考虑异步应用程序，并且提供有限的（根本原因）分析能力。为了解决这一差距，我们设计并实现了ServiBench，一个无服务器的基准测试套件。ServiBench（i）利用代表生产使用的同步和异步无服务器应用程序，（ii）推断云提供商数据以生成真实的工作负载，（iii）进行全面的端到端实验以捕获应用程序级性能，（iv）使用基于（分布式）无服务器跟踪的新方法分析结果，以及（v）全面支持无服务器性能分析。借助ServiBench，我们在AWS上进行了全面的实验，涵盖了五个常见的性能因素：中值延迟、冷启动、尾部延迟、可扩展性和动态工作负载。我们发现，无服务器应用程序的端到端延迟的中位数通常不是由函数计算控制的，而是由外部服务调用、编排或基于服务器的协调控制的。我们根据FAIR原则和ServiBench发布收集的实验数据，ServiBench是一个经过测试的，可扩展的开源工具。
2022-05-16 cs.DC cs.SE
Bullshark: The Partially Synchronous Version
这篇手稿的目的是以一种简单而干净的方式描述Bullshark的确定性部分同步版本。该结果发表在CCS 2022中，但是，由于它使用了完全异步Bullshark的术语，因此描述不太清楚。CCS版本将Bullshark的异步和部分同步版本的描述联系在一起，因为它面向学术受众。由于最近对基于DAG的BFT协议的兴趣，我们提供了针对更一般受众的部分同步版本的单独和简单的描述。我们在这里关注DAG排序逻辑。有关异步版本、垃圾回收、公平性、证明、相关工作、评估和高效DAG实现的更多详细信息，请参阅全文。一个直观的扩展总结可以在“DAG meets BFT”博客文章中找到。
2022-09-12 cs.CR cs.DC
DSAG: A mixed synchronous-asynchronous iterative method for straggler-resilient learning
我们考虑离散弹性学习。在许多以前的作品中，例如，在编码计算文献中，离散被建模为在工作者之间独立且相同地分布的随机延迟。然而，在许多实际场景中，给定的工人可能会在延长的时间段内掉队。我们提出了一个延迟模型，该模型可以捕获这种行为，并通过在Microsoft Azure，Amazon Web Services（AWS）和小型本地集群上收集的跟踪来证实。在此模型的基础上，我们提出了DSAG，一个混合的同步-异步迭代优化方法，基于随机平均梯度（SAG）方法，结合了及时和陈旧的结果。我们还提出了一个动态的负载平衡策略，以进一步减少离散工人的影响。我们评估了DSAG的主成分分析，铸造作为一个有限和优化问题，一个大型基因组数据集，并在AWS上的100名工人组成的集群上进行逻辑回归，并发现DSAG比SAG快约50%，超过两倍的编码计算方法，对于我们考虑的特定场景。
2021-11-27 cs.DC
GossipGraD: Scalable Deep Learning using Gossip Communication based Asynchronous Gradient Descent
Pacific Northwest National Laboratory（太平洋西北国家实验室）
在本文中，我们提出了GossipGraD -一种基于流言通信协议的随机梯度下降（SGD）算法，用于在大规模系统上扩展深度学习（DL）算法。GossipGraD的突出特点是：1）将总体通信复杂性从充分研究的SGD中的p个计算节点的θ（log（p））降低到O（1），2）模型扩散，使得计算节点交换它们的更新（梯度）在每个log（p）步之后间接地，3）通信伙伴的旋转以便于梯度的直接扩散，4）在SGD中的前馈阶段期间异步分布式混洗样本以防止过拟合，5）异步梯度通信以进一步降低SGD和GossipGraD的通信成本。我们为GPU和CPU集群实现了GossipGraD，并使用NVIDIA GPU（Pascal P100）与InfiniBand连接，以及Intel Knights Landing（KNL）与Aries网络连接。我们使用经过充分研究的数据集ImageNet-1 K（~ 250 GB）和广泛研究的神经网络拓扑结构（如GoogLeNet和ResNet 50（ImageNet大规模可视化研究挑战赛（ILSVRC）的当前获胜者）来评估GossipGraD。我们使用KNL和Pascal GPU的性能评估表明，GossipGraD可以实现这些数据集及其相关的神经网络拓扑结构的完美效率。具体而言，对于ResNet 50，GossipGraD能够使用128个NVIDIA Pascal P100 GP…
2018-03-15 cs.DC cs.LG
Stochastic Gradient Descent on Highly-Parallel Architectures
University of California Merced（加州大学默塞德分校）
在工业界和学术界，人们对构建具有高级代数功能的数据分析框架的兴趣越来越大。这些框架中的许多，例如，TensorFlow和BIDMach以两种方式实现其计算密集型原语-作为多核CPU的多线程例程和在GPU上执行的高度并行内核。随机梯度下降（SGD）是在现代数据分析平台上广泛实施的模型训练的最流行的优化方法。虽然SGD的数据密集型属性是众所周知的，但对于众多SGD变体中哪一个在实践中更好存在激烈的争论。在本文中，我们进行了全面的研究并行SGD训练广义线性模型。我们考虑了三个因素的影响-计算架构（多核CPU或GPU），同步或异步模型更新和数据稀疏性-对三个指标的影响-硬件效率，统计效率和收敛时间。在这个过程中，我们设计了一个优化的异步SGD算法的GPU，利用翘曲洗牌和缓存合并的数据和模型访问。我们从我们在五个真实数据集上使用逻辑回归（LR）和支持向量机（SVM）的广泛实验中得出了一些有趣的发现。对于同步SGD，GPU总是优于并行CPU-它们都比顺序CPU解决方案高出400倍以上。对于异步SGD，并行CPU是最安全的选择，而具有数据复制的GPU在某些情况下更好。同步GPU和异步CPU之间的选择取决于任务和数据的特征。作为参考，我们的最佳实现始终优于TensorFlow和BIDMach。我们希望我们的见解提供了一个有用的指导应用并行SGD广义线性模型。
2018-02-24 cs.DB cs.DC cs.LG
On Synchronous and Asynchronous Interaction in Distributed Systems
在考虑分布式系统时，如何处理组件之间的交互是一个核心问题。在本文中，我们调查的范例，同步和异步交互的背景下，分布式系统。我们调查在何种程度上或在何种条件下，同步互动是一个有效的概念，规范和实施这样的系统。我们选择Petri网作为我们的系统模型，并考虑不同的概念，通过关联的位置网元素的分布。首先，我们调查的概念，这是固有的Petri网的语义时，过渡有多个输入的地方。我们假设令牌只能在同一位置上通过转换瞬时获取。我们展示了一个层次结构的“异步”Petri网类的不同假设可能的分布。或者，我们假设在Petri网中指定的同步是至关重要的系统属性。因此，过渡词和它们的前置词可能不再放在单独的位置上。然后，我们回答的问题，哪些系统可以在不限制并发的情况下，以分布式的方式实现，假设位置是固有的顺序。事实证明，在这两种设置中，我们发现半结构化的Petri网描述的问题的情况下，在分布式系统中的相互作用。
2008-12-31 cs.DC cs.LO
Evaluating Abstract Asynchronous Schwarz solvers on GPUs
随着百亿亿次计算时代的开始，我们意识到大多数领先的超级计算机是异构的，即使在单个节点上也是大规模并行的，每个节点上有多个协处理器（如GPU）和多个内核。例如，ORNLs Summit在每个节点上积累了6个NVIDIA Tesla V100和42个核心IBM Power9。在单个节点甚至多个节点中的所有这些计算资源之间进行同步是非常昂贵的。因此，有必要开发和研究异步算法，以规避大规模并行的批量同步计算的问题。在这项研究中，我们研究的异步版本的抽象限制添加剂施瓦茨方法作为一个求解器，我们不明确同步，但允许通信的子域之间的数据是完全异步的，从而消除批量同步性质的算法。我们通过使用MPI标准的单边RMA函数来实现这一点。我们研究的好处，使用这样的异步求解器同步对应的多核架构和多个GPU上。我们还研究了通信模式和局部求解器及其对全局求解器的影响。最后，我们表明，这个概念可以呈现有吸引力的运行时的好处，同步同行。
2020-05-05 cs.DC cs.MS
Comparing the Expressive Power of the Synchronous and the Asynchronous pi-calculi
异步π演算由Honda和Tokoro（1991）以及Boudol（1992）独立提出，是π演算（Milner，1992）的一个子集，它不包含用于选择和输出前缀的显式运算符。然而，这种演算的通信机制足够强大，可以模拟输出前缀，如Honda和Tokoro（1991）和Boudol（1992）所示，以及输入保护选择，如Nestmann和Pierce（2000）所示。于是，一个自然的问题出现了，它是否和完整的π演算一样富有表现力。我们表明，这是不是这样的。更确切地说，我们表明，不存在任何统一的，完全分布式的翻译从π演算到异步π演算，任何“合理”的概念的等价性。这个结果是基于异步π演算无法打破可能存在于初始通信图中的某些对称性。通过类似的论点，我们证明了一个分离的结果之间的pi演算和CCS，和pi演算和pi演算与内部流动性，一个子集的pi演算提出的Sangiorgi的输出动作只能传输私有名称。
2013-07-08 cs.DC cs.LO
MindTheStep-AsyncPSGD: Adaptive Asynchronous Parallel Stochastic Gradient Descent
Chalmers University of Technology（查尔姆斯理工大学）
随机梯度下降（SGD）在高维非凸目标函数优化问题中非常有用，因此构成了若干机器学习和数据分析方法的重要组成部分。最近，有重要的工作，了解固有的并行性SGD，其收敛性能。异步并行SGD（AsyncPSGD）由于其所观察到的性能优势而受到特别关注。另一方面，这意味着在理解算法的执行及其收敛性方面存在固有的挑战，这源于线程的贡献可能基于旧的（陈旧的）状态视图。在这项工作中，我们的目标是加深AsyncPSGD的理解，以提高统计效率，在存在陈旧的梯度。我们提出了新的模型，捕捉在实际环境中的陈旧分布的性质。使用所提出的模型，我们推导出一个陈旧的自适应SGD框架，MindTheStep-AsyncPSGD，用于以在线方式调整步长，这可证明减少了重复的负面影响。此外，我们提供了一般的收敛时间范围为广泛的一类过时的自适应步长策略凸目标函数。我们还提供了详细的实证研究，展示了我们的方法如何意味着深度学习应用程序的更快收敛。
2019-11-08 cs.DC cs.LG
Hybrid Approach to Parallel Stochastic Gradient Descent
School of Computing；Augmented Intelligence Arizona State University Tempe AZ USA；Augmented Intelligence Arizona State University
本文提出一种结合同步与异步的数据并行混合方法，通过阈值函数逐步切换参数聚合方式，在相同时间内取得优于纯同步和纯异步的训练性能。
2024-06-27 cs.AI cs.CC cs.DC
Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training
University of Southern California（南加利福尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度网络的分布式训练是解决当今一些计算挑战（如内存消耗和计算需求）的重要技术。经典的分布式方法，同步或异步，都是基于参数服务器架构，即，工作者节点计算梯度，该梯度被传送到参数服务器，同时返回更新的参数。最近，使用AllReduce操作的分布式训练也很受欢迎。虽然这些操作中的许多看起来很有吸引力，但很少有关于挂钟训练时间改进的报道。在本文中，我们仔细分析了基于AllReduce的设置，提出了包括网络延迟，带宽，集群大小和计算时间的时序模型，并证明了宽度为2的流水线训练结合了同步和异步训练的最佳效果。具体来说，对于由四节点GPU集群组成的设置，我们显示了与传统方法相比高达5.4倍的挂钟时间训练改进。
2019-01-11 cs.DC cs.LG stat.ML
Generalized Byzantine-tolerant SGD
在一般拜占庭失效模型下，提出了三个新的分布式同步随机梯度下降~（SGD）鲁棒聚集规则。在参数服务器（PS）结构中，攻击者可以任意操纵服务器与工作者之间的数据传输。我们证明了这些聚合规则的拜占庭弹性属性。实证分析表明，所提出的技术优于当前的方法，为现实的用例和拜占庭攻击的情况下。
2018-03-23 cs.DC stat.ML
Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
KAUST（卡斯梅特大学）
本文提出重标异步SGD方法，通过调整工作节点的步长比例，解决异步SGD在数据分布异质性下的偏差问题，证明其在非凸情况下收敛于正确全局目标。
2026-05-13 cs.DC cs.LG math.OC
Asynchronous Distributed Semi-Stochastic Gradient Optimization
Hong Kong University of Science and Technology（香港科技大学）
随着最近大规模学习问题的激增，人们对分布式机器学习算法产生了很大的兴趣，特别是那些基于随机梯度下降（SGD）及其变体的算法。然而，现有的算法要么由于随机梯度的固有方差而收敛缓慢，要么具有快速的线性收敛速度，但以较差的解质量为代价。在本文中，我们结合他们的优点，提出了一个快速的分布式异步SGD为基础的算法与方差减少。可以使用恒定的学习率，并且还保证线性地收敛到最优解。在Google云计算平台上的实验表明，该算法在挂钟时间和解的质量方面都优于最先进的分布式异步算法。
2015-12-04 cs.DC cs.LG
A Discrete-time Reputation-based Resilient Consensus Algorithm for Synchronous or Asynchronous Communications
我们解决的问题，一组代理实现弹性的共识，在攻击代理的存在。我们提出了一个离散时间的基于信誉的共识算法，同步和异步网络开发的本地策略，在每一个时间，每个代理分配一个信誉（0和1之间），每个邻居。然后，在更新其状态时，使用信誉来权衡邻居的值。在温和的假设下，我们证明了：（i）所提出的方法以指数方式收敛于常规代理的共识;（ii）如果常规代理将邻居识别为受攻击节点，那么它确实是受攻击节点;（iii）如果正常节点的一致性值与任何被攻击节点的一致性值不同，则常规代理分配给受攻击邻居的信誉变为零。此外，我们扩展我们的方法，以实现弹性的情况下，有噪声节点，动态网络和随机节点选择。最后，我们用几个例子来说明我们的算法，我们描绘了一些攻击的情况下，可以处理当前的建议，但不是由国家的最先进的方法。
2021-07-01 cs.DC cs.MA cs.SY
Impact of Communication Delay on Asynchronous Distributed Optimal Power Flow Using ADMM
近年来，分布式优化在电力系统运行中引起了广泛的关注，它将一个大的区域分解为多个小的控制区域，每个控制区域通过与相邻区域的周期性信息交换来解决局部优化问题。然而，大多数分布式优化方法是迭代的，并且需要在每次迭代时同步所有区域，这在没有集中式协调器的情况下很难实现，并且由于区域的异构性可能导致计算资源的利用不足。为了解决同步方案的这些局限性，本文研究了异步分布式优化方法在电力系统优化中的适用性。特别是，我们专注于解决交流最优潮流问题，并提出了一个算法框架的基础上的交替方向乘法（ADMM）的方法，允许区域执行本地更新的信息从一个子集，但不是所有的邻居。通过实验研究，我们证明了所提出的异步方案的收敛性能是依赖于区域之间传递消息的通信延迟。在轻微的通信延迟下，该方案可以实现与同步算法相当甚至更快的收敛速度，这可以作为集中式或同步分布式优化方法的一个很好的替代方案。
2017-11-06 cs.DC math.OC
Multithreaded Fine-Grained Asynchronous BSP for Integer Sorting with LCI and OpenMP
Advanced Micro Devices, Inc.（超威半导体公司）
针对BSP模型在非规则负载下的通信瓶颈，提出结合LCI和OpenMP的多线程细粒度异步BSP方法，通过细粒度零拷贝主动消息实现计算通信重叠，在NAS整数排序基准测试中显著优于传统同步MPI实现。
2026-05-25 cs.DC
CSMAAFL: Client Scheduling and Model Aggregation in Asynchronous Federated Learning
针对异步联邦学习中的陈旧模型与异构客户端掉队问题，本文分析同步聚合系数的收敛影响，提出等效收敛的聚合方案及带客户端调度的改进方法，在保持同步FL精度的同时显著加速早期学习。
2023-06-01 cs.DC
The Convergence of Stochastic Gradient Descent in Asynchronous Shared Memory
IST Austria（奥地利科学技术研究所）；Cornell（康奈尔大学）
随机梯度下降（SGD）是机器学习中的一个基本算法，代表了从回归到神经网络的几个经典模型的优化骨干。鉴于最近的实际重点分布式机器学习，显着的工作一直致力于该算法的收敛性能下，不一致的和嘈杂的更新所产生的执行在分布式环境中。然而，令人惊讶的是，这个经典算法在标准共享内存模型中的收敛特性仍然没有得到很好的理解。在这项工作中，我们解决这个差距，并提供新的无锁并发随机梯度下降，在经典的异步共享内存模型中执行的收敛界限，对一个强大的自适应对手。我们的研究结果给出了改进的上界和下界的“价格”时，在并发设置中执行的基本SGD算法。他们表明，这种经典的优化工具可以收敛得更快，并且比以前已知的异步迭代参数范围更广。在同一时间，我们表现出一个基本的权衡系统中的最大延迟和SGD可以收敛的速度，它管理的参数集下，该算法仍然可以有效地工作。
2018-06-22 cs.DC cs.LG stat.ML
Asynchronous Gossip in Smartphone Peer-to-Peer Networks
在本文中，我们研究八卦算法的通信模型，描述了对等网络的功能，包括在大多数标准的智能手机操作系统。首先，我们描述和分析了一个新的同步八卦算法，在这种情况下，具有更快的轮复杂度和更简单的操作比最知名的现有解决方案。我们还证明了一个新的下限轮解决八卦，解决了一个未成年人的开放问题，建立现有的同步解决方案的最佳对数因子内。然后，我们调整我们的同步算法，以产生一个新的八卦策略的异步模型，直接捕获的接口的标准智能手机点对点网络库（使算法在此模型中描述的可以很容易地实现在真正的手机）。使用新的分析技术，我们证明了这种异步策略有效地解决了八卦。这是智能手机点对点设置的第一个已知的高效异步信息传播结果。我们认为，我们的新策略可以用来实现有效的信息传播子程序在现实世界中的智能手机点对点网络应用程序，我们开发的分析工具来分析它可以被用来产生其他广泛有用的算法策略，这个日益重要的设置。
2021-02-12 cs.DC
