Tighter Theory for Local SGD on Identical and Heterogeneous Data
Cairo University（开罗大学）；KAUST（阿卜杜拉国王科技大学）
我们提供了一个新的分析本地SGD，删除不必要的假设，并详细说明两个数据制度之间的差异：相同和异构。在这两种情况下，我们改进了现有的理论，并提供了最佳步长和最佳局部迭代次数的值。我们的界限是基于一个新的概念，方差是特定于本地SGD方法与不同的数据。当我们插入$H=1$时，通过恢复已知语句来保证结果的紧密性，其中$H$是局部步骤的数量。实证证据进一步验证了数据异质性对本地SGD绩效的严重影响。
2022-04-14 cs.DC cs.LG cs.NA
The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
研究分布式异构学习中局部随机梯度下降的局限性与潜力，在一阶数据异构性假设下给出其新下界，证明加速小批量SGD的极小极大最优性，考虑高阶假设给出新上界，强调需更好数据异构性模型理解其有效性。
2026-07-15 cs.DC cs.LG math.OC
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University（浙江大学）
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题，提出自适应批大小的延迟同步算法ABS-SGD，通过累积延迟梯度并充分利用计算资源，在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
On Communication Compression for Distributed Optimization on Heterogeneous Data
EPFL（洛桑联邦理工学院）
有耗梯度压缩，无论是无偏或有偏压缩器，已成为一个关键的工具，以避免通信瓶颈集中协调分布式训练的机器学习模型。我们分析了两种标准和一般类型的方法的性能：（i）分布式量化SGD（D-QSGD）与任意无偏量化器和（ii）分布式SGD与错误反馈和有偏压缩器（D-EF-SGD）在异构（非iid）数据设置。我们的研究结果表明，D-EF-SGD比D-QSGD受非iid数据的影响要小得多，但如果数据偏度很高，这两种方法都会受到影响。我们进一步研究了两种替代方案，不（或少得多）受异质数据分布：首先，最近提出的方法，是有效的强凸问题，其次，我们指出了一个更一般的方法，适用于线性压缩机，但有效的所有考虑的情况。
2020-12-22 cs.DS cs.LG stat.ML
Weighted parallel SGD for distributed unbalanced-workload training system
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随机梯度下降（SGD）是机器学习中一种流行的随机优化方法。传统的并行SGD算法，例如，SimuParallel SGD通常要求所有节点具有相同的性能或消耗等量的数据。然而，当并行SGD算法运行在异构计算环境中时，这些要求很难满足，低性能的节点会对最终结果产生负面影响。在本文中，我们提出了一种算法称为加权并行SGD（WP-SGD）。WP-SGD结合来自系统中不同节点的加权模型参数以产生最终输出。WP-SGD利用标准差的减少来补偿集群中节点性能不一致造成的损失，这意味着WP-SGD不要求所有节点消耗等量的数据。我们还分析了理论上的可行性，运行其他两个并行SGD算法结合WP-SGD在异构环境中。实验结果表明，WP-SGD算法在负载不均衡的分布式训练系统上的性能明显优于传统的并行SGD算法。
2017-08-16 cs.AI cs.LG stat.ML
Learning from Data with Heterogeneous Noise using SGD
University of California, San Diego（加州大学圣迭戈分校）；Rutgers University（罗格斯大学）
我们考虑从可能从不同异构源获得的可变质量的数据中学习。解决从异构数据中学习的全部通用性是一个具有挑战性的问题。在本文中，我们采用的模型，而不是通过异构噪声，噪声水平反映了数据源的质量观察数据。我们研究如何使用随机梯度算法在这个模型中学习。我们的研究是出于两个具体的例子，这个问题自然出现：学习与本地差分隐私的基础上，从多个来源的数据具有不同的隐私要求，并从数据学习与标签的可变质量。本文的主要贡献是确定异质噪声如何影响性能。我们表明，给定两个数据集的异质噪声，在标准SGD中使用它们的顺序取决于学习率。我们提出了一种方法来改变的学习率的异质性的函数，并证明了新的遗憾界我们的方法在两种情况下的利益。在真实数据集上的实验表明，当噪声水平为低到中等时，我们的方法比使用单个学习率和仅使用两个数据集中噪声较小的数据集表现得更好。
2014-12-17 cs.LG
Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）
针对异步SGD在数据异构时性能下降的问题，提出双延迟异步SGD（DuDe-ASGD），利用双时间滞后与增量聚合，在光滑非凸问题上达到近最优收敛，实验验证其优于现有算法。
2024-05-27 cs.LG math.OC
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在分布式平台上训练大规模机器学习应用时，减少通信仍然是一个很大的挑战。为了解决这个问题，我们提出了一个分布式分层平均随机梯度下降（Hier-AVG）算法，通过引入局部约简，减少了全局约简。作为一种通用的并行SGD，Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明，Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外，我们还表明，更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG，我们表明，通过部署局部平均与更少的全局平均，Hier-AVG仍然可以达到相当的训练速度，同时经常得到更好的测试精度。这表明，局部平均可以作为一种替代的补救措施，以有效地减少通信开销时，学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验，以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
Byzantine-Resilient SGD in High Dimensions on Heterogeneous Data
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了拜占庭攻击下主从架构中的分布式随机梯度下降（SGD）。我们考虑异构数据模型，其中不同的工作人员可能有不同的本地数据集，我们不对数据生成进行任何概率假设。在我们算法的核心，我们使用Steinhardt等人（ITCS 2018）提出的用于鲁棒均值估计的多项式时间离群值过滤程序来过滤掉损坏的梯度。为了能够在我们的{ \em异构}数据设置中应用他们的过滤过程，其中工人计算{ \em随机}梯度，我们推导出一个新的矩阵浓度结果，这可能是独立的兴趣。我们提供了光滑强凸和非凸目标的收敛性分析。我们得到我们的结果下的有界方差假设局部随机梯度和{ \em确定性}条件下的数据集，即梯度相异性，并为这些数量，我们提供具体的界限在统计异质数据模型。我们给出了随机梯度的小批量大小和近似误差之间的权衡。我们的算法可以容忍高达$\frac{1}{4}$分数拜占庭工人。该算法在强凸环境下能以指数速度找到近似最优参数，在非凸环境下能以线性速度到达近似稳定点，从而在Byzantine-free环境下与vanilla SGD算法的收敛速度相当.我们还提出并分析了拜占庭弹性SGD算法与梯度压缩，工人发送$k$随机坐标的梯度。在温和的条件下，我们展示了一个$\frac{d}{k}$因子节省通信比特以及解码复杂度超过我们的压缩免费算法，而不影响其收敛速度（顺序）和近似误差。
2020-05-16 cs.CR cs.DC cs.LG
HALoS: Hierarchical Asynchronous Local SGD over Slow Networks for Geo-Distributed Large Language Model Training
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta
HALoS通过区域局部参数服务器与全局参数服务器的分层异步优化框架，减少跨区域通信并缓解滞后效应，在地理分布式LLM训练中实现最高7.5倍加速且保持同步SGD的模型质量。
2025-06-05 cs.LG
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
Demystifying Why Local Aggregation Helps: Convergence Analysis of Hierarchical SGD
University of Utah（犹他大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文针对分层随机梯度下降（H-SGD）中局部聚合对收敛的影响缺乏理论解释的问题，提出上下散度概念分析其收敛上界，发现“三明治行为”并推广至多级别场景，为局部聚合的收敛增益提供理论洞见。
2024-04-11 cs.DC cs.IT cs.LG
Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI（人工智能研究所）
本文提出Ringmaster ASGD，首次在任意异构且动态波动的工作节点计算时间下实现异步SGD的最优时间复杂度，填补了现有方法无法达到理论下界的空白。
2025-06-03 cs.DC cs.LG math.OC
Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学科学与技术学院）
Ringleader ASGD是首个在数据异质性下具有最优时间复杂度的异步SGD算法，克服了传统方法在异构计算和数据分布差异下的性能瓶颈。
2026-02-19 cs.DC cs.LG math.OC
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Power-EF算法，通过误差反馈压缩通信，首次在异构联邦学习中无需数据同质性假设即可证明逃离鞍点并达到二阶驻点，且通信开销与一阶收敛几乎同阶。
2023-10-29 cs.DC cs.LG math.OC
Improved Convergence Analysis of Topology Dependence in Decentralized SGD
University of Washington（华盛顿大学）
提出更紧的收敛分析，揭示混合矩阵所有特征值影响收敛速率，并通过实验验证比仅用谱间隙的分析更准确。
2026-06-08 cs.LG
A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data
Shanghai University of Electric Power（上海电力大学）
新兴的分布式应用最近推动了去中心化机器学习的发展，特别是在物联网和边缘计算领域。在现实世界中，非凸性和数据异构性的常见问题导致效率低下，性能下降和开发停滞。大部分研究集中在上述问题之一，而没有一个更普遍的框架，已被证明是最佳的。为此，我们提出了一个统一的范式称为UMP，其中包括两个算法，D-SUM和GT-DSUM，基于分散的随机梯度下降（SGD）的动量技术。前者为一般非凸目标提供了收敛保证。同时，通过引入梯度跟踪来扩展后者，该梯度跟踪估计全局优化方向以减轻数据异构性（即，分布漂移）。我们可以覆盖大多数基于动量的变量，基于经典的重球或Nesterov的加速度与UMP中的不同参数。在理论上，我们严格提供了这两种方法的收敛性分析非凸目标，并进行了广泛的实验，证明了显着提高模型的准确性高达57.6%相比，其他方法在实践中。
2023-03-01 cs.DC cs.LG
First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本研究提出异步SGD方法，通过优化设计实现同质和异质数据下的最优时间复杂度，提升分布式学习效率。
2026-01-05 cs.DC cs.LG math.OC
AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms
Institut Polytechnique de Paris (IP Paris)（巴黎综合理工学院）；Institute of Science and Technology Austria (IST Austria)（奥地利科学技术学院）
本文提出AsGrad统一分析框架，为异构环境下异步SGD及其变体建立非凸收敛理论，并引入基于工作节点重排的新异步方法，其收敛速率与已知最优结果匹配。
2023-10-31 cs.AI cs.LG math.OC
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion（以色列理工学院）
针对异构分布式学习，提出SLowcal-SGD方法，通过定制慢查询技术，首次在理论上证明优于Minibatch-SGD和Local-SGD，有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
SGD learning on neural networks: leap complexity and saddle-to-saddle dynamics
EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）；Stanford University（斯坦福大学）
本文提出跳跃复杂度度量，证明两层神经网络在SGD下学习低维支撑函数的复杂度为~Θ(d^{max(Leap,2)})，并揭示鞍点至鞍点动力学，超越先前工作并匹配CSQ下界。
2023-08-31 cs.LG stat.ML
Hogwild! over Distributed Local Data Sets with Linearly Increasing Mini-Batch Sizes
CWI Amsterdam（荷兰阿姆斯特丹国家数学和计算机科学研究所）；IBM Research（IBM研究院）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；eBay（eBay公司）；University of Connecticut（康涅狄格大学）
霍格怀德！实现异步随机梯度下降（SGD），其中多个线程并行访问包含训练数据的公共存储库，执行SGD迭代并更新表示联合学习的（全局）模型的共享状态。我们考虑大数据分析，其中训练数据以异构方式分布在本地数据集之间-并且我们希望将SGD计算移动到本地数据驻留的本地计算节点。这些本地SGD计算的结果由模仿Hogwild！的中央“聚合器”聚合。我们展示了本地计算节点如何开始选择小的小批量，这些小批量会增加到更大的批量，以降低通信成本（与聚合器的轮交互）。我们改进了最先进的文献，并显示了强凸问题的异构数据的$O(\sqrt{K}$）通信轮次，其中$K$是所有本地计算节点上的梯度计算总数。对于我们的计划，我们证明了一个\textit{tight}和新的非平凡收敛分析强凸问题的{ \em异构}数据，不使用有界梯度假设，看到在许多现有的出版物。的紧密性是一个后果，我们的证据的下限和上限的收敛速度，这表明一个常数因子的差异。我们展示了有偏（即，异构）和无偏的本地数据集。
2021-02-27 cs.LG math.OC stat.ML
Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices
Yandex；HSE University（俄罗斯国立高等经济学院）；MIPT（莫斯科物理技术学院）；University of Toronto（多伦多大学）；Vector Institute
在大型数据集上训练深度神经网络通常可以通过使用多个计算节点来加速。这种方法被称为分布式训练，可以通过专门的消息传递协议（如Ring All-Reduce）利用数百台计算机。但是，大规模运行这些协议需要可靠的高速网络，而这种网络仅在专用群集中可用。相比之下，许多现实世界的应用程序，如联邦学习和基于云的分布式训练，运行在不可靠的设备上，网络带宽不稳定。因此，这些应用程序被限制使用参数服务器或基于流言的平均协议。在这项工作中，我们提出了Moshpit All-Reduce -一种迭代平均协议，以指数方式收敛到全局平均值，从而解除了这一限制。我们证明了我们的协议的分布式优化具有强有力的理论保证的效率。实验显示，与竞争性的基于流言的策略相比，ImageNet上ResNet-50训练的速度提高了1.3倍，使用可抢占计算节点从头开始训练ALBERT-large时的速度提高了1.5倍。
2022-01-11 cs.DC cs.LG math.OC
Local SGD: Unified Theory and New Efficient Methods
MIPT（莫斯科物理技术学院）；Yandex（Yandex公司）；Sirius（天狼星）；KAUST（阿卜杜拉国王科技大学）
我们提出了一个统一的框架，用于分析局部SGD方法在凸和强凸制度的分布式/联邦训练的监督机器学习模型。我们恢复了几种已知的方法作为我们的通用框架的特殊情况，包括Local-SGD/FedAvg，SCAFFOLD和几种最初不是为联邦学习设计的SGD变体。我们的框架涵盖了相同和异构的数据设置，支持随机和确定性数量的本地步骤，并可以与广泛的本地随机梯度估计，包括移位估计，能够调整本地迭代的不动点，以加快收敛。作为我们的框架的应用程序，我们开发了多个新的FL优化，优于现有的方法。特别是，我们开发了第一个线性收敛的本地SGD方法，不需要任何数据的同质性或其他强假设。
2020-11-03 cs.LG
Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees
North Carolina State University（北卡罗来纳州立大学）；Wuhan University（武汉大学）
本文提出 Stochastic-Sign SGD 及其误差反馈变体，在统一框架中同时实现联邦学习的通信高效、差分隐私和拜占庭弹性，并通过 MNIST 和 CIFAR-10 实验验证其有效性。
2021-09-27 cs.LG stat.ML
Does Worst-Performing Agent Lead the Pack? Analyzing Agent Dynamics in Unified Distributed SGD
North Carolina State University（北卡罗来纳州立大学）
该研究针对分布式学习场景，对统一分布式SGD开展渐近分析，探究不同通信模式与采样策略对收敛的影响，验证了现有理论并发现少数高效采样智能体可超越多数中度改进策略的效果，突破了传统聚焦最差智能体的分析视角。
2024-10-28 cs.LG math.OC stat.ML
Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
KAUST（卡塔尔科技大学）
本文提出Rennala MVR算法，通过基于动量的方差缩减技术，在异构系统中改进时间复杂度，验证了方差缩减对时间复杂度的提升效果。
2026-05-09 cs.DC cs.LG math.OC
A Unified Theory of Decentralized SGD with Changing Topology and Local Updates
EPFL（洛桑联邦理工学院）；Mila（米拉研究所）；DIRO, Université de Montréal（蒙特利尔大学信息与运筹学系）
分散随机优化方法近年来得到了广泛的关注，主要是因为其每次迭代成本低，数据局部性和通信效率。在本文中，我们介绍了一个统一的收敛分析，涵盖了各种分散SGD方法，到目前为止，需要不同的直觉，有不同的应用程序，并已分别在各个社区开发。我们的算法框架涵盖了自适应网络拓扑上的本地SGD更新和同步和成对的八卦更新。我们推导出普遍的收敛速度光滑（凸和非凸）的问题和利率之间的异构（非同分布的数据）和iid数据设置，恢复线性收敛速度在许多特殊情况下，例如过参数化模型。我们的证明依赖于弱假设（通常在几个方面比以前的工作有所改进），并恢复（和改进）许多重要场景的最知名的复杂性结果，例如合作SGD和联合平均（本地SGD）。
2021-03-02 cs.DC cs.LG math.OC
Elastic Gossip: Distributing Neural Network Training Using Gossip-like Protocols
分布式神经网络训练因以下几个原因而受到特别关注，包括使用计算集群进行扩展，在物联网设备和边缘服务器等数据源进行训练，跨异构环境利用未充分利用的资源等。大多数当代方法主要使用计算集群解决扩展问题，需要高网络带宽和频繁的通信。本文概述了分布式训练的标准方法，并提出了一种新的技术，涉及使用Gossip类协议的成对通信，称为弹性Gossip。这种方法建立在一种称为弹性平均SGD（EASGD）的现有技术之上，并且类似于另一种称为Gossiping SGD的技术，该技术也使用类似Gossip的协议。使用MNIST数字识别和CIFAR-10分类任务，使用跨越多层感知器（MLP）和卷积神经网络（CNN）的常用神经网络架构，对Elastic Gossip与Gossiping SGD进行经验评估。结果发现，弹性流言，流言SGD，和所有减少SGD执行相当的，即使后者需要一个更高的通信成本。虽然Elastic Gossip在这些实验中的表现优于Gossiping SGD，但有可能在特定于给定应用程序的超参数空间上进行更彻底的搜索，可能会产生比Elastic Gossip更好的Gossiping SGD配置。
2018-12-06 cs.DC cs.LG stat.ML
Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches
New York University（纽约大学）；IBM Research（IBM研究院）
SOTA分散式SGD算法可以通过使用Ring All-Reduce等通信集体进行同步来克服参数服务器处的带宽瓶颈。虽然分布式SGD中的参数更新可能异步发生，但仍然存在同步障碍，以确保每个学习器的本地训练时期在学习器可以前进到下一个时期之前完成。等待最慢的学习者（掉队者）的延迟仍然是这些最先进的去中心化框架的同步步骤中的一个问题。在本文中，我们提出了（去）集中式非阻塞SGD（非阻塞SGD），它可以解决异构环境中的落伍问题。非阻塞SGD的主要思想是将原始批次分割成小批次，然后累积梯度并基于完成的小批次更新模型。非阻塞思想可以使用分散算法来实现，包括Ring All-reduce，D-PSGD和MATCHA来解决掉队者问题。此外，使用梯度累积来更新模型还保证了收敛性并避免了梯度失效。随机离散延迟和计算效率/设备吞吐量的运行时分析也显示了非阻塞SGD的优势。在一组数据集和深度学习网络上的实验验证了理论分析，并证明了非阻塞SGD加快了训练速度并改善了收敛性。与最先进的分散式异步算法（如D-PSGD和MACHA）相比，非阻塞SGD在异构环境中达到相同的训练损失所需的时间减少了2倍。
2022-11-09 cs.DC cs.LG
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine（威尔康奈尔医学院）；IBM Research（IBM研究院）
由于深度学习模型通常庞大而复杂，分布式学习对于提高训练效率至关重要。此外，在许多现实世界的应用场景中，如医疗保健，分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习，其中存在存储全局模型的中央服务器和一组本地计算节点，所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器，这导致了沉重的通信成本。最近，异步分散式分布式学习被提出并被证明是一种更有效和实用的策略，其中没有中央服务器，因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输，但在通信过程中仍然存在信息泄漏的风险，以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD（ADPSGD）框架，简称A（DP）$^2$ SGD，它既保持了ADPSGD的通信效率，又防止了恶意参与者的干扰。具体地说，R{é}nyi差分隐私被用来提供更严格的隐私分析，我们的复合高斯机制，而收敛速度是一致的非隐私版本。理论分析表明，A（DP）$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上，A（DP）$^2$ SGD实现了与同步SGD（SSGD）的差分私有版本相当的模型精度，但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks
Xi’an Jiaotong University（西安交通大学）
学习率（LR）是训练深度神经网络（DNN）的随机梯度下降（SGD）算法中最重要的超参数之一。然而，目前手工设计的LR时间表需要手动预先指定一个固定的形式，这限制了他们的能力，以适应实际的非凸优化问题，由于显着多样化的训练动态。同时，它总是需要从零开始搜索合适的LR调度，然而，这些LR调度通常随着任务的变化而大不相同，如数据模态、网络架构或训练数据容量。为了解决这个学习率的时间表设置问题，我们建议参数LR时间表与明确的映射公式，称为\textit{MLR-SNet}。可学习的参数化结构为MLR-SNet带来了更大的灵活性，可以学习适当的LR调度，以符合DNN的训练动态。图像和文本分类基准实验证实了我们的方法实现适当的LR时间表的能力。此外，显式的参数化结构使得元学习LR调度能够被转移和即插即用，这可以很容易地推广到新的异构任务。我们将我们的元学习MLR-SNet转移到查询任务，如不同的训练时期，网络架构，数据模态，数据集大小，与专门为查询任务设计的手动设计的LR计划相比，实现了相当甚至更好的性能。当训练数据带有噪声时，MLR-SNet的鲁棒性也得到了证实。我们进一步证明了配备LR调度的SGD算法的收敛性，该算法的收敛速度与解决该问题的最知名的算法相当。
2021-05-13 cs.LG stat.ML
LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
KAUST（卡塔尔科技大学）
本文研究了在异构计算环境下结合通信压缩、局部训练和通信-计算重叠的局部SGD方法，提出LOSCAR-SGD通过仅通信稀疏模型坐标并持续优化来提高分布式学习效率，首次给出了这种组合方法的理论保证。
2026-05-20 cs.DC cs.LG math.OC
Buffered Asynchronous SGD for Byzantine Learning
Nanjing University（南京大学）
由于分布式学习在基于集群的大规模学习、联邦学习、边缘计算等领域的广泛应用，分布式学习已成为当前的研究热点。然而，在实际应用中，可能会发生许多意想不到的情况，如通信失败，甚至恶意攻击。因此，拜占庭学习（BL），这是指分布式学习失败或攻击，最近引起了人们的广泛关注。大多数现有的BL方法是同步的，这是不切实际的，在一些应用中，由于异构或离线工人。在这些情况下，异步BL（ABL）通常是首选。本文提出了一种新的ABL算法--缓冲异步随机梯度下降（BASGD）算法，该算法是第一个不需要在服务器上存储任何实例就能抵抗非全知攻击的ABL算法。此外，我们还提出了一个改进的变体BASGD，称为BASGD与动量（BASGDm），通过引入动量到BASGD。BASGDm可以抵抗非全知攻击和全知攻击。与需要在服务器上存储实例的方法相比，BASGD和BASGDm具有更广泛的应用范围。BASGD和BASGDm都与各种聚合规则兼容。此外，BASGD和BASGDm都被证明是收敛的，能够抵抗失败或攻击。实证结果表明，我们的方法显着优于现有的ABL基线时，存在故障或攻击工人。
2022-01-31 cs.LG stat.ML
Momentum Tracking: Momentum Acceleration for Decentralized Deep Learning on Heterogeneous Data
Kyoto University（京都大学）；Okinawa Institute of Science and Technology（冲绳科学技术研究所）；NTT Communication Science Laboratories（NTT通信科学实验室）
本文提出动量跟踪方法，通过使收敛速率与数据异构性无关，解决了带动量分散式学习在异构数据下性能下降的问题，并在非凸随机梯度设定下证明其优势，实验表明其鲁棒性和性能均优于现有方法。
2023-09-24 cs.LG
Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers
University of California Merced（加州大学默塞德分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
受极端多标签分类应用的启发，我们考虑在多GPU服务器中的稀疏数据上训练深度学习模型。训练批次中非零特征数量的变化和固有的GPU异构性结合起来限制了准确性并增加了收敛时间。我们使用自适应SGD来解决这些挑战，自适应SGD是一种用于异构多GPU的自适应弹性模型平均随机梯度下降算法，其特征在于动态调度，自适应批量大小缩放和归一化模型合并。不是静态地将批划分到GPU，而是基于相对处理速度来路由批。批量大小缩放将较大的批量分配给速度较快的GPU，较小的批量分配给速度较慢的GPU，目标是达到一个稳定状态，在这个状态下，所有GPU执行相同数量的模型更新。归一化模型合并基于分配的批次为每个GPU计算最佳权重，使得组合的模型实现更好的准确性。我们的实验表明，自适应SGD在时间准确性方面优于四种最先进的解决方案，并且可以随GPU数量的增加而扩展。
2021-10-13 cs.DC cs.LG
Hierarchical Weight Averaging for Deep Neural Networks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Pengcheng Laboratory（鹏城实验室）；Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）
本文提出 Hierarchical Weight Averaging（HWA）框架，首次融合在线与离线权重平均，在无需特殊学习率调整的情况下提升 DNN 收敛速度与泛化性能，并显著优于现有方法。
2023-04-23 cs.LG
Distributed Non-Convex Optimization with One-Bit Compressors on Heterogeneous Data: Efficient and Resilient Algorithms
Northeastern University（东北大学）
联邦学习（FL）是一个新兴的分散式学习框架，在这个框架下，大量的异构客户端协作训练一个模型，而不泄露他们的本地数据。通信不足、隐私泄露和拜占庭攻击是系统可扩展性的主要瓶颈。在本文中，我们专注于通信效率的分布式（随机）梯度下降的非凸优化，FL的驱动力。我们提出了两个算法，命名为{ \em自适应随机符号SGD（Ada-StoSign）}和{ \em $β$ -StoSign SGD（$β$ -StoSign）}，其中每一个压缩到位向量的局部梯度。为了处理无界梯度，Ada-StoSign使用了一种新颖的范数跟踪函数，该函数自适应地调整局部梯度的$\ell_{\infty}$上的粗略估计-梯度压缩中使用的关键参数。我们发现，Ada-StoSign收敛的期望率$O(\log T/\sqrt{T} + 1/\sqrt{M})$，其中$M$是客户端的数量。据我们所知，当$M$足够大时，Ada-StoSign优于最先进的基于符号的方法，其收敛速度为$O(T^{-1/4})$。在有界梯度假设下，$β$ -StoSign实现了可量化的拜占庭弹性和隐私保证，并与部分客户端参与和小批量梯度，这可能是无限的。我们通过MNIST和CIFAR-10数据集上的实验来证实和补充我们的理论。
2023-02-17 cs.CR cs.DC cs.LG
Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions
Allen-Zhu Research（Allen-Zhu 研究院）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
研究GANs如何通过前向超分辨率结构高效学习层次化分布，证明SGDA训练在样本和时间复杂度上有效，并验证该机制符合实际学习过程。
2023-04-02 cs.DS cs.LG cs.NE
Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；KAUST（阿卜杜拉国王科技大学）；Skoltech（斯科尔泰克科技大学）
针对分布式系统中工作节点异构异步导致的非凸有限和优化效率问题，提出Freya PAGE方法，通过鲁棒掉队节点、自适应忽略慢计算实现更优时间复杂度，并证明其在大规模场景下达到异步问题的紧下界，具有最优性。
2024-11-02 cs.LG math.OC stat.ML
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
KAUST（卡斯梅特大学）
本文提出重标异步SGD方法，通过调整工作节点的步长比例，解决异步SGD在数据分布异质性下的偏差问题，证明其在非凸情况下收敛于正确全局目标。
2026-05-13 cs.DC cs.LG math.OC
Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective
Stanford University（斯坦福大学）
Federated Averaging（FedAvg），也称为Local SGD，是联邦学习（FL）中最流行的算法之一。尽管FedAvg简单且流行，但它的收敛速度至今尚未确定。即使在最简单的假设下（凸、光滑、齐次和有界协方差），最著名的上界和下界也不匹配，并且不清楚现有的分析是否捕获了算法的能力。在这项工作中，我们首先解决这个问题，通过提供一个下限FedAvg匹配现有的上限，这表明现有的FedAvg上限分析是不可改进的。此外，我们建立了一个在异构环境中的下限，几乎匹配现有的上限。虽然我们的下界显示了FedAvg的局限性，但在三阶平滑的额外假设下，我们证明了在凸和非凸设置中更乐观的最先进的收敛结果。我们的分析源于一个我们称之为“随机偏差”的概念，它是由SGD轨迹的期望值与具有相同初始化的无噪声梯度下降轨迹的偏差定义的。我们证明了这个量的新的尖锐界限，并直观地展示了如何从随机微分方程（SDD）的角度来分析这个量。
2022-02-11 cs.DC cs.LG math.OC
The Minimax Complexity of Distributed Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本文主要研究分布式随机最优化的极大极小预言复杂性。首先，我提出了“图预言机模型”，经典的预言机复杂性框架的扩展，可以应用于研究分布式优化算法。接下来，我描述了一种通用的方法来证明任意随机化算法的优化下界（与更受限制的算法类别相反，例如，确定性或“零尊重”算法），这是广泛使用的整个论文。对于论文的其余部分，我专注于“间歇性通信设置”的具体情况下，多个计算设备并行工作，有限的通信之间。在这种情况下，我分析了流行的局部随机梯度下降（SGD）算法在凸设置的理论特性，无论是同质和异构的目标。我为Local SGD提供了第一个保证，它比简单的基线方法有所改进，但表明Local SGD通常不是最优的。在追求最佳的方法，在间歇性的通信设置，然后显示匹配的上界和下界的间歇性的通信设置均匀凸，异构凸，均匀非凸的目标。这些上界是通过SGD的简单变体获得的，因此它们是最优的。最后，我讨论了几个额外的假设的目标或更强大的神谕，可能是可利用的，以开发更好的间歇性通信算法，更好的保证比我们的下界允许。
2021-09-01 cs.LG math.OC
The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks
Mathematics Institute, EPFL（EPFL数学研究所）；Department of Electrical Engineering and Computer Science, MIT（MIT电气工程与计算机科学系）；Department of Statistics, Stanford University（斯坦福大学统计系）
研究平均场机制下两层神经网络通过SGD学习二元输入上潜在低维稀疏函数的可学习性，提出“合并阶梯性质”作为必要且几乎充分条件，并证明非线性训练的必要性。
2024-08-26 cs.DS cs.LG stat.ML
Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Univ Rennes（雷恩大学）；Ensai（法国国立统计与信息分析学校）；CNRS（法国国家科学研究中心）；CREST（统计研究中心）
本文研究两层浅层神经网络在高维多指数模型中的训练动力学，证明通过允许数据重复两次即可显著提升单遍梯度下降的计算效率，使几乎所有方向在至多O(d log d)步内被学习，并揭示困难函数可通过层次化机制顺序学习。
2025-02-10 cs.LG stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们研究分布式优化算法，最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能，重点是通信效率。在这样的设置中，天真地使用经典的随机梯度下降（SGD）或其变体（例如，SVRG）的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中，我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明，新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器，从而显着加快收敛。我们的实验表明，我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Distributed and Stochastic Optimization Methods with Gradient Compression and Local Steps
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在这篇论文中，我们提出了新的理论框架，用于分析具有误差补偿和局部更新的随机和分布式方法。使用这些框架，我们开发了20多个新的最优化方法，包括第一个线性收敛的误差补偿SGD和第一个线性收敛的局部SGD任意异构的局部函数。此外，本文还提出了几种新的求解分布式非凸优化问题的无偏压缩分布式算法。这些方法的复杂性结果优于以前最知名的结果所考虑的问题。最后，我们提出了一种新的可扩展的分散容错分布式方法，并在合理的假设下，我们推导出该方法的迭代复杂度界相匹配的集中式Local-SGD。
2021-12-20 cs.LG math.OC
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Ordered Momentum for Asynchronous SGD
School of Computer Science, Nanjing University（南京大学计算机科学学院）；National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）
本文提出有序动量（OrMo）方法，通过按迭代索引排序梯度将动量引入异步SGD，理论上证明了非凸问题下不依赖最大延迟的收敛性，实验显示其收敛性能优于现有异步动量方法。
2025-01-23 cs.DC cs.LG
Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University（亚洲大学）；Surromind；ETRI（韩国电子通信研究院）；Korea Institute of Science and Technology（韩国科学技术研究院）
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而，由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题，基于流言的方法，表现出稳定的可扩展性，无论工人的数量已经提出。然而，为了在一般情况下使用基于流言的方法，需要验证大型小批量的验证准确性。为了验证这一点，我们首先实证研究的八卦方法在一个大的小批量问题的特点，并观察到八卦方法保持更高的验证精度比AllReduce-SGD（随机梯度下降）时，批量大小的数量增加，工人的数量是固定的。然而，基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题，我们提出了Crossover-SGD，它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性，我们进行了实证实验，并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP（随机梯度推）。
2022-10-17 cs.DC cs.LG
Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究证明在浅层ReLU神经网络训练中，SGD类优化器（含Adam）以高概率不收敛于全局极小值，并构造了风险值不同的局部极小值层次结构，解释其训练成功的原因。
2024-02-07 cs.LG math.OC
Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；MILA - Quebec AI institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Samsung - SAIT AI Lab Montreal（三星SAIT人工智能实验室蒙特利尔分部）；Gatsby Computational Neuroscience Unit（加特兹计算神经科学中心）；SWC - University College London（伦敦大学学院威尔科姆神经科学中心）
本文通过师生模型与高斯混合模型解析了线性分类器在 SGD 训练中的偏差瞬态动力学，揭示了子群体属性在不同时间尺度对偏差的影响，并在合成与真实数据集上验证了理论结果。
2024-12-22 cond-mat.dis-nn cs.LG stat.ML
Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对异构计算与通信延迟下的去中心化非凸优化，本文提出改进 ADSGD 模型，并借助 ASBCD 证明其无需数据异构有界即可采用不依赖计算延迟的步长收敛，实验显示其挂钟时间更优。
2025-05-15 cs.LG math.OC
