Slow and Stale Gradients Can Win the Race
Carnegie Mellon University（卡内基梅隆大学）
分布式随机梯度下降（SGD）在以同步方式运行时，由于等待最慢的工人（掉队者），因此会在运行时延迟。异步方法可以减少落伍者，但会导致梯度失效，从而对收敛误差产生不利影响。在这项工作中，我们提出了一个新的理论表征的异步方法提供的加速比通过分析训练模型中的错误和实际的训练运行时（wallclock时间）之间的权衡。在我们的工作中的主要新颖之处是，我们的运行时分析考虑随机离散延迟，这有助于我们设计和比较分布式SGD算法，在离散和陈旧之间取得平衡。我们还提供了一个新的误差收敛分析的异步SGD变量没有界或指数延迟的假设。最后，基于我们的理论表征的错误-运行时的权衡，我们提出了一种方法，逐渐变化的同步分布式SGD和CIFAR 10数据集上展示其性能。
2020-03-23 cs.DC cs.LG cs.PF
MindTheStep-AsyncPSGD: Adaptive Asynchronous Parallel Stochastic Gradient Descent
Chalmers University of Technology（查尔姆斯理工大学）
随机梯度下降（SGD）在高维非凸目标函数优化问题中非常有用，因此构成了若干机器学习和数据分析方法的重要组成部分。最近，有重要的工作，了解固有的并行性SGD，其收敛性能。异步并行SGD（AsyncPSGD）由于其所观察到的性能优势而受到特别关注。另一方面，这意味着在理解算法的执行及其收敛性方面存在固有的挑战，这源于线程的贡献可能基于旧的（陈旧的）状态视图。在这项工作中，我们的目标是加深AsyncPSGD的理解，以提高统计效率，在存在陈旧的梯度。我们提出了新的模型，捕捉在实际环境中的陈旧分布的性质。使用所提出的模型，我们推导出一个陈旧的自适应SGD框架，MindTheStep-AsyncPSGD，用于以在线方式调整步长，这可证明减少了重复的负面影响。此外，我们提供了一般的收敛时间范围为广泛的一类过时的自适应步长策略凸目标函数。我们还提供了详细的实证研究，展示了我们的方法如何意味着深度学习应用程序的更快收敛。
2019-11-08 cs.DC cs.LG
Gap Aware Mitigation of Gradient Staleness
Technion - Israel Institute of Technology（以色列理工学院）
云计算作为深度神经网络的分布式训练平台正变得越来越流行。同步随机梯度下降（SSGD）在非专用环境中由于离散者而遭受实质性减速，这在云计算中是常见的。异步SGD（ASGD）方法不受这些减慢的影响，但由于梯度失效而很少使用，这会阻碍收敛过程。最近的技术在扩展到许多工作者（计算节点）时，缓解梯度陈旧性的成功有限。在本文中，我们定义的差距作为衡量梯度陈旧，并提出了间隙感知（GA），一种新的分布式方法，惩罚陈旧的梯度线性的差距，即使在扩展到大量的工人，表现良好。我们对CIFAR，ImageNet和WikiText-103数据集的评估表明，GA在最终测试准确性方面优于目前可接受的梯度惩罚方法。我们还提供了GA的收敛速度证明。尽管先前的信念，我们表明，如果GA的应用，势头变得有益的异步环境中，即使当工人的数量扩大。
2020-02-03 cs.LG stat.ML
Zeno++: Robust Fully Asynchronous SGD
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了Zeno++，一个新的鲁棒的异步随机梯度下降~（SGD）过程，容忍拜占庭式的工人失败。与以前的工作相比，Zeno++删除了一些不切实际的工作者-服务器通信限制，允许来自匿名工作者的完全异步更新，任意陈旧的工作者更新，以及无限数量的拜占庭工作者的可能性。关键思想是在应用候选梯度之后估计损失值的下降，其中大的下降值指示更新导致优化进展。我们证明了Zeno++在拜占庭失败下对非凸问题的收敛性。实验结果表明，Zeno++优于现有的方法。
2021-05-09 cs.DC cs.LG stat.ML
Asynchronous Byzantine Machine Learning (the case of SGD)
EPFL（洛桑联邦理工学院）
到目前为止，异步分布式机器学习解决方案已经被证明非常有效，但总是假设工作人员功能完美。然而，在实践中，一些工作者可能会表现出拜占庭式的行为，这是由硬件故障、软件错误、损坏的数据甚至恶意攻击造成的。我们介绍\emph{Kardam}，第一个分布式异步随机梯度下降（SGD）算法，应付拜占庭工人。Kardam由两个互补的组件组成：过滤组件和阻尼组件。第一个是基于标量的，确保对$\frac{1}{3}$拜占庭工人的弹性。从本质上讲，这个过滤器利用了成本函数的Lipschitzness，并充当了一个自我稳定器，以防止拜占庭工人试图破坏SGD的进程。阻尼组件通过通用梯度加权方案调整到陈旧信息来限制收敛速率。我们证明了Kardam在存在异步和拜占庭行为的情况下几乎保证了收敛，并推导出了它的收敛率。我们在CIFAR-100和EMNIST数据集上评估Kardam，并测量其相对于非拜占庭弹性解决方案的开销。我们的经验表明，Kardam并没有引入额外的噪音的学习过程，但确实会导致放缓（拜占庭弹性的成本），我们在理论上和经验表明，是小于$f/n$，其中$f$是拜占庭故障容忍的数量和$n$的工人总数。有趣的是，我们还根据经验观察到，阻尼组件本身很有趣，因为它能够构建一个SGD算法，在具有诚实工人的环境中，该算法的性能优于其他感知过期的异步竞争对手。
2018-07-09 cs.CR cs.DC cs.LG
Inherent Noise in Gradient Based Methods
以前的工作已经研究了能力较大的神经网络推广比较小的，即使没有明确的正则化，通过分析梯度为基础的算法，如GD和SGD。噪声的存在及其对参数扰动鲁棒性的影响与泛化有关。我们研究了GD和SGD的一个性质，即GD（和SGD）不是迭代网络中的所有标量权重并逐个更新它们，而是同时更新所有参数。结果，每个参数$w^i$计算其在旧参数$\mathbf{w_t}$处的偏导数，但是随后遭受损失$\hat{L}(\mathbf{w_{t+1}})$。我们表明，这将导致噪声被引入到优化。我们发现，这种噪声惩罚模型的权重扰动敏感。我们发现，对于当前用于更新的批次，惩罚最明显，对于较大的模型，惩罚更高。
2020-05-26 cs.LG stat.ML
Federated Stochastic Gradient Descent Begets Self-Induced Momentum
Zhejiang University/University of Illinois at Urbana-Champaign Institute（浙江大学-伊利诺伊大学厄巴纳香槟校区联合学院）；Hong Kong Metropolitan University（香港都会大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Princeton University（普林斯顿大学）
联邦学习（FL）是一种新兴的机器学习方法，可以应用于移动边缘系统，其中服务器和客户端主机利用客户端的数据和计算资源协作地训练统计模型，而不直接暴露其隐私敏感数据。我们表明，运行随机梯度下降（SGD）在这样的设置可以被视为添加一个动量项的全球聚集过程。基于这一发现，我们进一步分析了一个联邦学习系统的收敛速度，占参数陈旧和通信资源的影响。这些结果促进了对联邦SGD算法的理解，并且也在陈旧性分析和联邦计算系统之间建立了联系，这对系统设计者来说是有用的。
2022-02-17 cs.LG
Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum
Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）
本文提出一种基于动量的异步框架，旨在保留延迟梯度信息并缓解滞后影响，首次在凸和非凸光滑设置中获得数据依赖延迟的最优收敛率，并提出鲁棒的学习率调度方案。
2026-10-06 cs.LG
Taming Latency and Bandwidth: A Theoretical Framework and Adaptive Algorithm for Communication-Constrained Training
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；Shenzhen Technology University（深圳科技大学）；University of Science and Technology of China（中国科学技术大学）
DeCo-SGD通过动态调整压缩比率和陈旧性，解决了通信受限训练中的延迟与带宽问题，提升了分布式训练效率。
2025-12-17 cs.LG
First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本研究提出异步SGD方法，通过优化设计实现同质和异质数据下的最优时间复杂度，提升分布式学习效率。
2026-01-05 cs.DC cs.LG math.OC
Taming Momentum in a Distributed Asynchronous Environment
Technion – Israel Institute of Technology（以色列理工学院）；University of Toronto Scarborough（多伦多大学士嘉堡校区）
尽管分布式计算可以显著减少深度神经网络的训练时间，但在保持高效率和最终准确性的同时扩展训练过程具有挑战性。分布式异步训练可以获得接近线性的加速，但这会导致梯度失效--这是将随机梯度下降扩展到大型集群的主要困难。动量，这是经常用来加速收敛和逃避局部极小值，加剧了梯度陈旧，从而阻碍收敛。我们建议DANA：一种用于异步分布式SGD的新技术，其通过计算模型参数的估计未来位置上的梯度来减轻梯度陈旧。因此，我们第一次表明，动量可以完全纳入异步训练，几乎没有影响到最终的准确性。我们对CIFAR和ImageNet数据集的评估表明，DANA在最终准确性和收敛速度方面都优于现有方法，同时在64个异步工人上扩展到16 K的总批量大小。
2020-10-14 cs.DC cs.LG stat.ML
Making Asynchronous Stochastic Gradient Descent Work for Transformers
University of Edinburgh（爱丁堡大学）
异步随机梯度下降（SGD）从速度的角度来看是有吸引力的，因为工人不等待同步。然而，Transformer模型与异步SGD的收敛性较差，导致与同步SGD相比质量显著降低。为了研究为什么会出现这种情况，我们隔离了异步和同步方法之间的差异，以研究批量大小和过期效应。我们发现，总结几个异步更新，而不是立即应用它们，恢复收敛行为。通过这种混合方法，神经机器翻译任务的Transformer训练在单节点多GPU训练中达到了近1.36倍的收敛水平，而对模型质量没有影响。
2019-06-08 cs.CL cs.LG
On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
Cornell University（康奈尔大学）
本文研究了在强凸性和光滑性条件下，随机梯度下降及其动量变体（Polyak重球和Nesterov）在跟踪时间变化最优解时的性能，揭示了动量方法在分布偏移下导致的显式漂移放大惩罚，并证明了这种惩罚并非分析伪影，而是信息论障碍，为动量方法在动态环境中的经验不稳定性提供了理论依据。
2026-07-27 cs.LG math.OC stat.ML
Adapt or Forget: Provable Tradeoffs Between Adam and SGD in Nonstationary Optimization
Cornell University（康奈尔大学）
本文理论分析非平稳优化中Adam与SGD的权衡，揭示噪声-漂移权衡：噪声主导时Adam有利，漂移主导时SGD跟踪误差更小，并给出依赖超参数的显式界解释其稳定性。
2026-09-14 cs.LG stat.ML
AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms
Institut Polytechnique de Paris (IP Paris)（巴黎综合理工学院）；Institute of Science and Technology Austria (IST Austria)（奥地利科学技术学院）
本文提出AsGrad统一分析框架，为异构环境下异步SGD及其变体建立非凸收敛理论，并引入基于工作节点重排的新异步方法，其收敛速率与已知最优结果匹配。
2023-10-31 cs.AI cs.LG math.OC
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
Asynchronous Local-SGD Training for Language Modeling
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文实证研究异步Local-SGD训练语言模型，针对梯度陈旧导致的动量加速挑战，提出延迟Nesterov动量更新及基于计算速度调整局部训练步的方法，在C4数据集上匹配同步方法困惑度并显著缩短实际时间。
2024-09-23 cs.CL cs.LG
Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）
针对异步SGD在数据异构时性能下降的问题，提出双延迟异步SGD（DuDe-ASGD），利用双时间滞后与增量聚合，在光滑非凸问题上达到近最优收敛，实验验证其优于现有算法。
2024-05-27 cs.LG math.OC
Convergence Analysis of Decentralized ASGD
University of Luxembourg（卢森堡大学）
本文提出了一种无需节点间同步或限制网络拓扑的去中心化异步SGD收敛性分析，提供了在不同梯度约束下的收敛率界。
2023-09-07 cs.DC cs.LG
Curvature-Weighted Gradient Diversity: A Noise Measure for Geometry-Adaptive SGD Schedules
Indian Institute of Technology Kharagpur (IIT KGP)（印度理工学院卡格浦分校（IIT KGP））
提出曲率加权梯度多样性（CWGD），一种几何感知的噪声度量，通过Hessian逆平方根加权梯度多样性，并证明CWGD调制的余弦学习率调度可将渐近优化误差降低至标准余弦退火的一半。
2026-06-29 cs.LG math.OC stat.ML
LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California - Los Angeles（加利福尼亚大学洛杉矶分校）
本文的目标是以通信高效的方式解决分布式机器学习问题，如联邦学习。一类新的随机梯度下降（SGD）方法已经被开发出来，它可以被看作是最近开发的懒惰聚合梯度（LAG）方法的随机推广--证明LASG的名称。LAG自适应地预测每一轮通信的贡献，并只选择重要的通信来执行。它节省了通信，同时还保持了收敛速率。然而，LAG仅适用于确定性梯度，并且将其应用于随机梯度会产生较差的性能。LASG的关键组件是一组为随机梯度量身定制的新规则，可以实现以保存下载、上传或两者。新算法自适应地选择新鲜和陈旧的随机梯度和收敛速度与原来的SGD。LASG实现了令人印象深刻的经验性能-它通常节省了数量级的总通信量。
2020-02-26 cs.LG math.OC stat.ML
Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches
New York University（纽约大学）；IBM Research（IBM研究院）
SOTA分散式SGD算法可以通过使用Ring All-Reduce等通信集体进行同步来克服参数服务器处的带宽瓶颈。虽然分布式SGD中的参数更新可能异步发生，但仍然存在同步障碍，以确保每个学习器的本地训练时期在学习器可以前进到下一个时期之前完成。等待最慢的学习者（掉队者）的延迟仍然是这些最先进的去中心化框架的同步步骤中的一个问题。在本文中，我们提出了（去）集中式非阻塞SGD（非阻塞SGD），它可以解决异构环境中的落伍问题。非阻塞SGD的主要思想是将原始批次分割成小批次，然后累积梯度并基于完成的小批次更新模型。非阻塞思想可以使用分散算法来实现，包括Ring All-reduce，D-PSGD和MATCHA来解决掉队者问题。此外，使用梯度累积来更新模型还保证了收敛性并避免了梯度失效。随机离散延迟和计算效率/设备吞吐量的运行时分析也显示了非阻塞SGD的优势。在一组数据集和深度学习网络上的实验验证了理论分析，并证明了非阻塞SGD加快了训练速度并改善了收敛性。与最先进的分散式异步算法（如D-PSGD和MACHA）相比，非阻塞SGD在异构环境中达到相同的训练损失所需的时间减少了2倍。
2022-11-09 cs.DC cs.LG
Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
KAUST（卡斯梅特大学）
本文提出重标异步SGD方法，通过调整工作节点的步长比例，解决异步SGD在数据分布异质性下的偏差问题，证明其在非凸情况下收敛于正确全局目标。
2026-05-13 cs.DC cs.LG math.OC
The Convergence of Sparsified Gradient Methods
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；KTH（瑞典皇家理工学院）
通过随机梯度下降（SGD）对大规模机器学习模型（特别是深度神经网络）进行分布式训练正变得越来越普遍。已经提出了几种减少通信的方法，如量化、大批量方法和梯度稀疏化。到目前为止，梯度稀疏化方法-其中每个节点按大小对梯度进行排序，并且只传递分量的子集，在本地累积其余分量-被称为产生一些最大的实际收益。这种方法可以将每步的通信量减少多达三个数量级，同时保持模型的准确性。然而，这一系列的方法目前还没有理论依据。这就是我们在本文中要解决的问题。我们证明，在分析假设下，稀疏梯度的幅度与局部误差校正提供了收敛保证，凸和非凸光滑的目标，数据并行SGD。主要的见解是，稀疏化方法隐式地保持了陈旧更新的最大影响的界限，这要归功于按大小选择。我们的分析和实证验证也表明，这些方法确实需要分析条件收敛良好，证明现有的算法。
2018-09-27 cs.DC cs.LG stat.ML
Accelerating Deep Learning by Focusing on the Biggest Losers
Google Brain（谷歌大脑）；BrdgAI
本文介绍了Selective-Backprop，这是一种通过在每次迭代中优先考虑高损失的示例来加速深度神经网络（DNN）训练的技术。Selective-Backprop使用训练示例的前向传递的输出来决定是否使用该示例来计算梯度和更新参数，或者立即跳到下一个示例。通过减少计算昂贵的反向传播步骤的数量，Selective-Backprop加速了训练。对CIFAR 10、CIFAR 100和SVHN在各种现代图像模型上的评估表明，选择性反向传播收敛到目标出错率的速度比标准SGD快3.5倍，比最先进的重要性采样方法快1.02- 1.8倍。通过使用过时的前向传递结果进行选择，可以实现26%的进一步加速，从而也跳过低优先级示例的前向传递。
2019-10-02 cs.LG stat.ML
On the Convergence Theory of Pipeline Gradient-based Analog In-memory Training
Cornell University（康奈尔大学）；IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
本文研究了异步管道并行在类比在内存计算硬件上进行多层深度神经网络训练的收敛性，证明了Analog-SGD-AP在迭代复杂度上与数字SGD和同步管道SGD相当。
2026-04-26 cs.AR cs.LG math.OC
Probabilistic Synchronous Parallel
Computer Laboratory, University of Cambridge（剑桥大学计算机实验室）
大多数机器学习和深度神经网络算法依赖于某些迭代算法来优化其效用/成本函数，例如随机梯度下降。在分布式学习中，网络节点必须协同工作以更新模型参数，并且它们如何进行的方式被称为同步并行设计（或屏障控制）。同步并行协议是任何分布式学习框架的基石，其设计直接影响系统的性能和可扩展性。本文提出了一种新的屏障控制技术-概率同步并行（PSP）。该方案通过在系统中引入采样原语，有效地提高了SGD算法的收敛速度和可扩展性。此外，我们还表明，采样原语可以应用于现有的障碍控制机制，以获得完全分布式的基于PSP的同步并行。我们不仅对基于PSP的SGD算法的收敛性进行了深入的理论分析，而且实现了一个功能齐全的分布式学习框架Actor，并在其上进行了深入的评估。
2017-10-05 cs.DC cs.LG
Demystifying Pipeline Parallelism: First Theory for PipeDream
KAUST（卡斯土尼亚大学）
本文通过引入随机化 PipeDream (RPD) 抽象，首次为 PipeDream 风格方法提供了非凸收敛保证，并分析了其稳态延迟与阶段数的缩放关系，同时与 LocalSGD 进行了比较。
2026-06-02 cs.DC cs.LG
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL（洛桑联邦理工学院）
通过实验观察到，随机梯度（SGD）分布式训练的效率决定性地取决于批量大小和（在异步实现中）梯度的陈旧性。特别地，已经观察到，超过一定的批量大小和/或当延迟变得太大时，加速饱和。我们确定了一个依赖于数据的参数，解释了这两种设置中的加速饱和。我们的全面的理论分析，强凸，凸和非凸设置，统一和推广以前的工作方向，往往只集中在这两个方面之一。特别是，我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针，如何学习率可以在实践中进行调整。我们表明，我们的结果是紧密的，并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
Communication-Censored Distributed Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Sun Yat-Sen University（中山大学）
针对分布式机器学习等应用中通信量大的问题，提出了一种通信效率高的分布式随机最优化算法。与现有的基于量化和稀疏化的算法不同，本文引入了一种通信删失技术来减少变量的传输，这导致了我们的通信删失分布式随机梯度下降（CSGD）算法。具体来说，在CSGD中，当且仅当它是足够信息时，在工作者处的最新小批量随机梯度将被传输到服务器。当最新的渐变不可用时，旧的渐变将在服务器上重用。为了实现这种通信审查策略，批量大小增加，以减轻随机梯度噪声的影响。从理论上讲，CSGD具有与SGD相同的收敛速度，但有效地减少了通信量。数值实验表明，CSGD的通信节省相当大的。
2020-01-03 cs.LG math.OC stat.ML
CADA: Communication-Adaptive Distributed Adam
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度下降（SGD）已经成为大规模机器学习的主要工具。它通常与其自适应变体一起使用，如AdaGrad，Adam和AMSGrad。本文提出了一种用于分布式机器学习的自适应随机梯度下降方法，它可以被看作是著名的亚当方法的通信自适应对应物-证明其名称CADA。CADA的关键组成部分是一组新的规则，自适应随机梯度，可以实现节省通信上传量。新算法自适应地重用陈旧的亚当梯度，从而节省通信，并且仍然具有与原始亚当相当的收敛速度。在数值实验中，CADA实现了令人印象深刻的经验性能方面的总通信轮减少。
2020-12-31 cs.DC cs.LG math.OC
Convex and Non-convex Federated Learning with Stale Stochastic Gradients: Diminishing Step Size is All You Need
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California San Diego（加州大学圣迭戈分校）
本文提出了一种适用于具有滞后梯度模型的分布式随机优化框架，证明递减步长大小在凸和非凸优化中均能达到最优性能。
2026-03-03 cs.LG math.OC
Coordinating Distributed Example Orders for Provably Accelerated Training
Cornell University（康奈尔大学）
针对分布式训练中示例顺序优化问题，提出CD-GraB方法，利用核稀疏化思想将GraB的可证明加速优势扩展到分布式环境，实现线性加速并优于分布式RR。
2023-12-21 cs.DC cs.LG math.OC
Maximizing Communication Efficiency for Large-scale Training via 0/1 Adam
Cornell University（康奈尔大学）；Microsoft（微软）
1-比特梯度压缩和局部步骤是使得能够在分布式SGD中显著减少通信的两种代表性技术。然而，它们的好处在基于Adam的大型模型预训练（例如BERT和GPT）上仍然是一个悬而未决的问题。在本文中，我们证明了亚当的非线性导致缓慢的收敛，即使1位压缩或局部步骤单独应用。为了缓解这一限制，我们提出了0/1 Adam，它通过使用其陈旧估计和线性相关性来近似其优化器状态，从而线性化每个Adam步骤。0/1 Adam执行类似Adam的步骤以保持自适应性，而其线性允许同时利用1位压缩和本地步骤来加速挂钟时间。在光滑非凸目标上，我们给出了0/1 Adam算法的收敛保证。在BERT-Base、BERT-Large、GPT-2 pre-training和ImageNet等各种大规模基准测试中，我们在多达128个GPU上证明，与最先进的基线1-bit Adam相比，0/1 Adam能够减少高达87%的数据量，54%的通信轮次，并实现高达2 $\times$的训练吞吐量和端到端训练时间减少;同时在GLUE数据集和ImageNet验证集上享受相同的统计收敛速度和最终任务模型精度。
2022-05-22 cs.LG
Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
KAUST（卡斯姆大学）
本文提出Ringmaster LMO，一种用于无约束随机非凸优化的异步线性最小化Oracle动量方法，通过延迟阈值机制改进传统同步方法，适用于异构分布式系统，实验表明其在系统异构性增强时表现更优。
2026-05-18 cs.DC cs.LG math.OC
Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices
Raven Protocol（雷文协议）
Ravnest提出一种面向异构设备的去中心化异步训练方法，通过集群划分和零气泡异步模型并行及多环全归约实现全局参数平均，并证明最优收敛速率与线性加速。
2024-05-23 cs.AI cs.DC cs.LG
Sync-Switch: Hybrid Parameter Synchronization for Distributed Deep Learning
Worcester Polytechnic Institute（伍斯特理工学院）；State Key Lab of Computer Science, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）
随机梯度下降（SGD）已经成为分布式集群中训练深度神经网络的实际方法。确定训练吞吐量和模型精度的关键因素是参数同步协议的选择。例如，虽然批量同步并行（BSP）通常可以实现更好的收敛精度，但相应的训练吞吐量可能会受到落伍者的负面影响。相比之下，异步并行（ASP）可以具有更高的吞吐量，但其收敛性和准确性可能会受到陈旧梯度的影响。为了提高同步协议的性能，最近的工作往往集中在设计新的协议，严重依赖于难以调整的超参数。在本文中，我们设计了一种混合同步方法，利用BSP和ASP的优点，即，减少训练时间，同时保持收敛精度。基于广泛的经验分析，我们设计了一个自适应的政策，确定如何以及何时切换同步协议之间的集合。我们的策略既包括针对重复作业的离线策略，也包括用于处理瞬时掉队作业的在线策略。我们在TensorFlow之上的一个名为Sync-Switch的原型系统中实现了所提出的策略，并使用流行的深度学习模型和数据集评估了训练性能。实验表明，与BSP相比，Sync-Switch实现了高达5.13倍的吞吐量加速和相似的收敛精度。此外，我们观察到，与使用ASP进行训练相比，Sync-Switch仅用1.23倍的训练时间就实现了3.8%的高收敛精度。此外，当使用ASP训练导致发散错误时，可以在设置中使用Sync-Switch。Sync-Switch以非常低的开销实现了所有这些优点，例如，框架开销可以低至总训练时…
2021-04-20 cs.DC cs.LG cs.PF
Activation-Keyed Momentum: An Anisotropic Momentum Update via the Delta Rule
Carnegie Mellon University（卡内基梅隆大学）
DeltaMomentum将方向感知融入动量更新，可作为优化器动量缓冲器的即插即用替代，在预训练中减少AdamW步数，在多模型和数据集上验证了其有效性。
2026-10-30 cs.CL cs.LG math.OC
