On Distributed Adaptive Optimization with Gradient Compression
Baidu Research（百度研究院）
我们研究了COMP-AMS，一个基于梯度平均和自适应AMSGrad算法的分布式优化框架。在梯度传输过程中，采用带误差反馈的梯度压缩，以降低通信开销。我们对COMP-AMS算法的收敛性分析表明，这种压缩梯度平均策略与标准AMSGrad算法具有相同的收敛速度，并且具有线性加速比效应。当地工人的数量。与最近提出的分布式自适应方法的协议相比，COMP-AMS是简单和方便的。数值实验验证了理论分析的正确性，并表明该方法可以达到与全梯度AMSGrad相同的测试精度，同时节省了大量的通信开销。由于其简单和高效，COMP-AMS可以作为一个有用的自适应梯度方法的分布式训练框架。
2022-05-11 cs.LG stat.ML
Communication Compression for Distributed Learning without Control Variates
University of California, Irvine, CA, USA（加州大学尔湾分校）；University of British Columbia, Vancouver, BC, Canada（不列颠哥伦比亚大学）
本文提出CAFe框架，通过利用历史聚合更新实现无需控制变量的通信压缩，在非凸场景下证明其优于DCGD，并实验验证其有效性。
2025-09-10 cs.LG eess.SP math.OC
On the Utility of Gradient Compression in Distributed Training Systems
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
大量的前期工作突出了同步数据并行训练中存在的通信瓶颈。为了缓解这些瓶颈，最近的一系列工作提出了梯度和模型压缩方法。在这项工作中，我们评估梯度压缩方法的有效性，并将其可扩展性与200多种不同设置的同步数据并行SGD的优化实现进行比较。令人惊讶的是，我们观察到，在200多个案例中，只有6个案例中，梯度压缩方法在典型的数据中心设置中提供了优化的同步数据并行训练的加速。我们进行了广泛的调查，以确定这种现象的根本原因，并提供了一个性能模型，可用于确定梯度压缩的各种系统设置的好处。基于我们的分析，我们提出了梯度压缩方法应该满足的理想属性列表，以便它们提供有意义的端到端加速。
2021-06-29 cs.DC cs.LG
Distributed Methods with Absolute Compression and Error Compensation
Institute of Control Sciences of RAS（俄罗斯科学院控制科学研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
分布式最优化方法通常用于解决大规模问题，例如训练具有数百万甚至数十亿参数的神经网络。在这样的应用中，通信全矢量，例如，（随机）梯度迭代是非常昂贵的，特别是当工人的数量很大时。通信压缩是缓解这一问题的有力方法，特别是具有偏置压缩和误差补偿的方法由于其实际效率而非常受欢迎。Sahu等人（2021）提出了一种针对绝对压缩算子类的误差补偿SGD（EC-SGD）的新分析，表明在某种意义上，该类包含EC-SGD的最佳压缩器。然而，该分析仅在所谓的$(M,σ^2)$有界噪声假设下进行。本文将绝对压缩的EC-SGD方法推广到任意采样策略，首次提出了（强）凸问题的绝对压缩误差补偿无环随机方差约化梯度法（EC-LSVRG）方法。我们的利率提高了以前已知的在这种情况下。数值实验证实了我们的理论研究结果。
2022-05-29 cs.LG math.OC
AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training
IBM Research AI（IBM人工智能研究院）
深度神经网络（DNN）在未来计算平台（提供100 TeraOps/s的计算能力）上的高度分布式训练预计将受到严重的通信约束。为了克服这一限制，需要新的梯度压缩技术，这些技术在计算上是友好的，适用于深度神经网络中看到的各种各样的层，并适应网络架构及其超参数的变化。在本文中，我们介绍了一种新的技术-自适应残差梯度压缩（AdaComp）计划。AdaComp基于梯度残差的局部选择，并根据局部活动自动调整压缩率。我们在多个领域（视觉，语音，语言），数据集（MNIST，CIFAR 10，ImageNet，BN 50，Shakespeare），优化器（SGD with momentum，Adam）和网络参数（学习者数量，minibatch-size等）的各种最先进的深度学习模型上展示了出色的结果。利用稀疏性和量化，我们证明了全连接和递归层的端到端压缩率约为200倍，卷积层约为40倍，模型精度没有任何明显的下降。
2017-12-07 cs.LG stat.ML
Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Data Science, Peking University（北京大学数据科学中心）；School of Software, Beihang University（北航软件学院）；School of Life Sciences, Peking University（北京大学生命科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对分布式学习通信瓶颈，本文提出带误差反馈与半懒子空间更新的 GreedyLore 贪婪低秩梯度压缩算法，首次证明其在 MSGD、Adam 下具有线性加速收敛率。
2025-10-20 cs.LG math.OC
Communication-Efficient Distributed Learning with Local Immediate Error Compensation
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对分布式学习中现有梯度压缩方法存在的通信成本高或收敛慢的问题，提出 LIEC-SGD 算法，通过双向压缩和局部即时误差补偿技术，在降低通信开销的同时加速收敛，理论分析与深度神经网络实验均验证了其有效性。
2024-02-19 cs.DC cs.LG
On Communication Compression for Distributed Optimization on Heterogeneous Data
EPFL（洛桑联邦理工学院）
有耗梯度压缩，无论是无偏或有偏压缩器，已成为一个关键的工具，以避免通信瓶颈集中协调分布式训练的机器学习模型。我们分析了两种标准和一般类型的方法的性能：（i）分布式量化SGD（D-QSGD）与任意无偏量化器和（ii）分布式SGD与错误反馈和有偏压缩器（D-EF-SGD）在异构（非iid）数据设置。我们的研究结果表明，D-EF-SGD比D-QSGD受非iid数据的影响要小得多，但如果数据偏度很高，这两种方法都会受到影响。我们进一步研究了两种替代方案，不（或少得多）受异质数据分布：首先，最近提出的方法，是有效的强凸问题，其次，我们指出了一个更一般的方法，适用于线性压缩机，但有效的所有考虑的情况。
2020-12-22 cs.DS cs.LG stat.ML
Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；MetaCarbon Inc.（元碳公司）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文研究通信压缩分布式随机优化的性能极限，在六类设置下建立收敛下界，并提出近优算法 NEOLITHIC，在温和条件下达到仅差对数因子的下界。
2025-03-18 cs.DC cs.LG math.OC
PowerSGD: Practical Low-Rank Gradient Compression for Distributed Optimization
EPFL（洛桑联邦理工学院）
本文研究了梯度压缩方法来缓解数据并行分布优化中的通信瓶颈。尽管受到了很大的关注，但当前的压缩方案要么不能很好地扩展，要么不能达到目标测试精度。我们提出了一种新的基于幂迭代的低秩梯度压缩器，它可以i）快速压缩梯度，ii）使用all-reduce有效地聚合压缩的梯度，iii）实现与SGD相当的测试性能。所提出的算法是唯一的方法评估，实现一致的挂钟加速时，基准对常规SGD与优化的通信后端。我们证明了卷积网络和LSTM在常见数据集上的训练时间减少。我们的代码可在https://github.com/epfml/powersgd上获得。
2020-02-18 cs.DC cs.LG math.OC
Preserved central model for faster bidirectional compression in distributed settings
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
我们开发了一种新的方法来解决通信约束的分布式学习问题与中央服务器。我们提出并分析了一种新的算法，执行双向压缩，并实现相同的收敛速度的算法只使用上行链路（从本地工人到中央服务器）压缩。为了获得这种改进，我们设计了MCM，这是一种算法，使得下行链路压缩仅影响局部模型，而全局模型被保留。因此，与以前的工作相反，本地服务器上的梯度是在扰动模型上计算的。因此，收敛性证明更具挑战性，需要精确控制这种扰动。为了确保这一点，MCM还将模型压缩与内存机制相结合。这种分析打开了新的大门，例如，纳入工人依赖的随机化模型和部分参与。
2022-06-16 cs.DC cs.LG math.ST
Compressed Communication for Distributed Training: Adaptive Methods and System
The University of Hong Kong（香港大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云科技）；ByteDance Inc.（字节跳动有限公司）
通信开销严重阻碍了分布式机器学习系统的可扩展性。最近，人们对使用梯度压缩来减少分布式训练的通信开销越来越感兴趣。然而，对将梯度压缩应用于自适应梯度方法的理解很少。此外，其性能优势往往受到不可忽略的压缩开销的限制。在本文中，我们首先介绍了一种新的自适应梯度方法的梯度压缩。我们证明了该方法对非凸问题具有$\mathcal{O}(1/\sqrt{T})$的收敛速度。此外，我们开发了一个可扩展的系统，称为BytePS-Compress的双向压缩，其中梯度在工人和参数服务器之间的两个方向上压缩。BytePS-Compress在CPU上实现压缩和解压缩的流水线，并实现高度并行。经验评估表明，我们将ResNet 50，VGG 16和BERT-base的训练时间分别提高了5.0%，58.1%，23.3%，并且在25 Gb/s网络中没有任何准确性损失。此外，对于训练BERT模型，与混合精度训练相比，我们实现了333倍的压缩率。
2021-05-17 cs.DC cs.LG stat.ML
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
在对等网络分布式优化中，信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式（COLD）算法。通过压缩新息向量，这是决策向量和他们的估计之间的差异，COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度，并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机，包括二进制量化器，我们进一步设计了一种新的动态缩放机制，并获得线性收敛Dyna-COLD。重要的是，我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation
Institut Polytechnique de Paris（巴黎理工学院）；JD Explore Academy（京东探索研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
尽管牛顿型方法的计算和通信成本很高，但由于其对病态凸问题的鲁棒性，牛顿型方法仍然是分布式训练的一个有吸引力的选择。在这项工作中，我们研究了曲率信息的压缩和聚合机制，以减少这些成本，同时保持理论上优越的局部收敛保证。我们证明了Richtarik等人[2022]最近开发的用于梯度通信的三点压缩器（3 PC）类也可以推广到Hessian通信。这个结果开启了各种各样的通信策略，例如压缩压缩和惰性聚合，可用于我们的处理以压缩代价高昂的曲率信息。此外，我们发现了几个新的3 PC机制，如自适应阈值和伯努利聚合，这需要减少通信和偶尔的海森计算。此外，我们扩展和分析我们的双向通信压缩和部分设备参与设置的方法，以满足在联邦学习的应用程序的实际考虑。对于我们所有的方法，我们得到快速的条件数独立的局部线性和/或超线性收敛速度。最后，通过对凸优化问题的大量数值评估，我们说明了我们设计的方案与使用二阶信息的几个关键基线相比，实现了最先进的通信复杂性。
2022-06-07 cs.LG math.OC
Communication Compression for Distributed Learning with Aggregate and Server-Guided Feedback
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出两种新型框架，通过无状态客户端实现有偏压缩，提升分布式学习的通信效率。
2026-02-17 cs.LG eess.SP math.OC
Natural Compression for Distributed Deep Learning
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Dell Technologies（戴尔科技集团）；Comenius University（夸美纽斯大学）
现代深度学习模型通常在一组分布式机器上并行训练，以减少训练时间。在这样的设置中，机器之间的模型更新的通信成为显著的性能瓶颈，并且已经提出了各种有损更新压缩技术来缓解这个问题。在这项工作中，我们介绍了一种新的，简单的，但理论上和实际上有效的压缩技术：自然压缩（NC）。我们的技术被单独应用到所有条目的要压缩的更新向量和工程随机舍入到最近的（负或正）的权力，这可以计算在一个“自然”的方式忽略尾数。我们表明，相比没有压缩，NC增加了压缩向量的二阶矩不超过微小的因素$\frac{9}{8}$，这意味着NC对流行的训练算法，如分布式SGD的收敛速度的影响是可以忽略不计的。然而，NC实现的通信节省是相当大的，导致$3$ - $4\times$在总体理论运行时间上的改进。对于需要更积极的压缩的应用程序，我们推广NC自然抖动，我们证明是指数比常见的随机抖动技术。我们的压缩算子可以单独使用，也可以与现有算子结合使用，以获得更积极的综合效果，并在理论和实践中提供最先进的新技术。
2022-09-05 cs.LG math.OC stat.ML
CANITA: Faster Rates for Distributed Convex Optimization with Communication Compression
KAUST（阿卜杜拉国王科技大学）
由于分布式和联邦学习中的高通信成本，依赖于压缩通信的方法变得越来越流行。此外，理论上和实际上性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少通信的数量（更快的收敛），例如，Nesterov的加速梯度下降（Nesterov，1983，2004）和Adam（Kingma和Ba，2014）。为了结合通信压缩和收敛加速的优点，我们提出了一种基于ANITA（Li，2021）的\emph{compressed and accelerated}梯度方法用于分布式优化，我们称之为CANITA。我们的CANITA实现了\emph{first accelerated rate} $O\bigg(\sqrt{\Big(1+\sqrt{\frac{ω^3}{n}}\Big)\frac{L}ε} + ω\big(\frac{1}ε\big)^{\frac{1}{3}}\bigg)$，其改进了DIANA的现有技术的非加速速率$O\left((1+\fracω{n})\frac{L}ε + \frac{ω^2+ω}{ω+n}\frac{1}ε\right)$（Khaled等人，2020），其中$ε$是目标误差，$L$是目标的平滑参数，$n$是机器/设备的数量，$ω$是压缩参数（较大的$ω$意味着可以应用更多的压缩，没有压缩意味着$ω=0$）。我们的研究结果表明，只要设备$n$的数量很大（在分布式/联邦学…
2021-11-07 cs.DC cs.DS cs.LG
MARINA: Faster Non-Convex Distributed Learning with Compression
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们开发并分析了MARINA：一种新的通信高效的方法，用于异构数据集上的非凸分布式学习。MARINA采用了一种基于梯度差异压缩的新型通信压缩策略，这让人想起但不同于Mishchenko等人（2019）的DIANA方法中采用的策略。与几乎所有竞争的分布式一阶方法，包括DIANA，我们是基于一个精心设计的有偏梯度估计，这是其优越的理论和实际性能的关键。我们证明的通信复杂性界的MARINA是明显优于以往的一阶方法。此外，我们开发并分析了两个变体的MARINA：VR-MARINA和PP-MARINA。第一种方法是为客户端拥有的局部损失函数是有限和或期望形式的情况而设计的，第二种方法允许客户端部分参与-这是联邦学习中的一个重要特征。我们所有的方法都优于以前的国家的最先进的方法在oracle/通信复杂性。最后，我们提供了一个收敛性分析的所有方法的问题，满足Polyak-Lojasiewicz条件。
2022-01-07 cs.LG math.OC
LASER: Linear Compression in Wireless Distributed Optimization
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）；Department of Electrical and Computer Engineering, UT Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
本文提出LASER，一种利用梯度低秩结构在噪声信道上高效传输的无线分布式优化压缩方法，兼具理论保证并在视觉和语言任务上优于现有方案。
2024-02-06 cs.AI cs.IT cs.LG
A Double Residual Compression Algorithm for Efficient Distributed Learning
Michigan State University（密歇根州立大学）
大规模机器学习模型通常由并行随机梯度下降算法训练。然而，梯度聚合和模型同步之间的主和工人节点的通信成本成为有效的学习的主要障碍，随着工人的数量和模型的维数增加。在本文中，我们提出DORE，一个双重剩余压缩随机梯度下降算法，以减少超过$95\%$的整体通信，这样的障碍可以大大减轻。我们的理论分析表明，所提出的策略具有优越的收敛性能的强凸和非凸目标函数。实验结果验证了DORE实现了最佳的通信效率，同时保持类似的模型精度和收敛速度相比，开始的最先进的基线。
2019-10-16 cs.DC cs.LG stat.ML
On the Discrepancy between the Theoretical Analysis and Practical Implementations of Compressed Communication for Distributed Deep Learning
INRA（法国国家农业研究院）；KAUST（阿卜杜拉国王科技大学）
采用稀疏化或随机梯度量化形式的压缩通信来降低深度神经网络的分布式数据并行训练中的通信成本。然而，理论和实践之间存在差异：虽然大多数现有压缩方法的理论分析假设压缩应用于整个模型的梯度，但许多实际实现单独操作模型的每一层的梯度。在本文中，我们证明了逐层压缩，在理论上，更好的，因为收敛速度的上限是整个模型压缩的范围广泛的有偏和无偏压缩方法。然而，尽管有理论上的限制，我们对六种著名方法的实验研究表明，在实践中，收敛性可能会更好，也可能不会更好，这取决于实际的训练模型和压缩比。我们的研究结果表明，深度学习框架支持逐层和整个模型压缩是有利的。
2019-11-19 cs.DC cs.LG math.OC
Global Momentum Compression for Sparse Communication in Distributed Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
针对DMSGD稀疏通信的带宽瓶颈，本文提出使用全局动量的GMC及其增强版GMC+，证明二者收敛性，并在non-IID设置下取得更高准确率与更快收敛。
2024-04-03 cs.LG stat.ML
CompressedScaffnew: The First Theoretical Double Acceleration of Communication from Local Training and Compression in Distributed Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（SDAIA-KAUST数据科学与人工智能卓越中心）；Brno University of Technology（布尔诺理工大学）；Kempelen Institute of Intelligent Technologies (KInIT)（肯佩伦智能技术研究所）
本文提出CompressedScaffnew算法，结合减少通信频率和压缩信息传输两种策略，实现分布式优化的线性收敛与双重加速。
2026-04-02 cs.DC cs.LG math.OC
FastSGD: A Fast Compressed SGD Framework for Distributed Machine Learning
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）
随着大数据的快速增长，分布式机器学习在大规模模型训练中得到了广泛应用。随机梯度下降（SGD）可以说是ML的主力算法。SGD训练的分布式ML模型涉及大量的梯度通信，这限制了分布式ML的可扩展性。因此，重要的是压缩梯度以减少通信。在本文中，我们提出了FastSGD，这是一个用于分布式ML的快速压缩SGD框架。为了以低成本实现高压缩比，FastSGD将梯度表示为键-值对，并以线性时间复杂度压缩梯度键和值。对于梯度值压缩，FastSGD首先使用倒数映射器将原始值转换为倒数值，然后使用对数量化将倒数值进一步减少到小整数。最后，FastSGD滤波器通过给定的阈值减少梯度整数。对于梯度密钥压缩，FastSGD提供了一种自适应细粒度增量编码方法，以更少的位存储梯度密钥。在实际ML模型和数据集上进行的大量实验表明，与最先进的方法相比，FastSGD实现了高达4个数量级的压缩比，并将收敛时间加快了8倍。
2021-12-08 cs.DC cs.LG
Theoretically Better and Numerically Faster Distributed Optimization with Smoothness-Aware Quantization Techniques
Texas A&M University（德州农工大学）；KAUST（阿卜杜拉国王科技大学）
为了解决分布式机器学习的高通信成本，近年来已经投入了大量的工作来设计各种压缩策略，例如稀疏化和量化，以及能够使用它们的优化算法。最近，Safaryan等人（2021）开创了一种截然不同的压缩设计方法：他们首先使用局部训练数据来形成局部平滑度矩阵，然后提出设计一种能够利用其中包含的平滑度信息的压缩器。虽然这种新颖的方法导致通信的大量节省，但它仅限于稀疏化，因为它严重依赖于压缩算子的线性。在这项工作中，我们将他们的平滑感知压缩策略推广到任意无偏压缩算子，其中也包括稀疏化。专门我们的结果随机量化，我们保证显着节省通信复杂性相比，标准量化。特别是，我们证明了块量化与$n$块理论上优于单块量化，导致通信复杂性降低了$\mathcal{O}(n)$因子，其中$n$是分布式系统中的节点数。最后，我们提供了大量的数值证据与凸优化问题，我们的平滑感知量化策略优于现有的量化方案，以及上述平滑感知稀疏化策略的三个评估指标：迭代次数，通信的比特总量，和挂钟时间。
2022-10-12 cs.LG math.OC
Adaptive Compression for Communication-Efficient Distributed Training
KAUST（阿卜杜拉国王科技大学）；Institut Polytechnique de Paris（巴黎理工学院）；MIPT（莫斯科物理技术学院）
我们提出了自适应压缩梯度下降（AdaCGD）-一种新的优化算法，用于具有自适应压缩级别的监督机器学习模型的通信有效训练。我们的方法受到Richtarik等人（2022）最近提出的三点压缩器（3 PC）框架的启发，其中包括误差反馈（EF 21），惰性聚合梯度（LAG）及其组合作为特例，并在弱假设下提供了这些方法的当前最先进的速率。虽然上述机制提供了固定的压缩级别，或者仅在两个极端之间进行适应，但我们的建议是执行更精细的适应。特别地，我们允许用户选择任意数量的任意选择的压缩压缩机制，例如具有用户定义的稀疏化级别K的Top-K稀疏化，或者具有用户定义的量化级别选择的量化，或者它们的组合。AdaCGD在优化过程中自适应地选择合适的压缩器和压缩级别。除了i）提出一种理论上的多自适应通信压缩机制之外，我们还ii）将3 PC框架扩展到双向压缩，即，我们允许服务器也进行压缩，以及iii）在强凸、凸和非凸设置中提供尖锐的收敛边界。凸政权的结果是新的，即使是我们的一般机制，包括3 PC和EF 21的几个关键的特殊情况。在所有的制度，我们的利率优于所有现有的自适应压缩方法。
2022-10-31 cs.DC cs.IT cs.LG
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining
University of Pittsburgh（匹兹堡大学）
分布式数据采掘是一个新兴的研究课题，以有效和高效地解决硬数据采掘任务使用大数据，这是分区和计算在不同的工作节点，而不是一个集中的服务器。然而，当网络带宽有限或模型规模较大时，分布式学习方法往往会遇到通信瓶颈。为了解决这个关键问题，最近提出了许多梯度压缩方法来减少多个优化算法的通信成本。然而，梯度压缩到自适应梯度方法的当前应用，由于其对训练DNN的优异性能而被广泛采用，没有实现与Sketched-SGD相同的理想压缩率或收敛率。为了解决这个问题，在本文中，我们提出了一类新的分布式亚当型算法（\emph{i.e.}，SketchedAMSGrad）利用草图，这是一个很有前途的压缩技术，降低了通信成本从$O(d)$到$O(\log(d))$，其中$d$是参数尺寸。在我们的理论分析中，我们证明了我们的新算法实现了一个快速的收敛速度$O(\frac{1}{\sqrt{nT}} + \frac{1}{(k/d)^2 T})$与$O(k \log(d))$在每次迭代的通信成本。与单机AMSGrad算法相比，该算法可以获得与作业机数$n$成线性关系的加速比.在分布式范式中训练各种DNN的实验结果验证了我们算法的效率。
2022-10-14 cs.DC cs.LG
EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization
KAUST（阿卜杜拉国王科技大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
在分布式或联邦优化和学习中，不同计算单元之间的通信通常是瓶颈，并且梯度压缩被广泛用于减少迭代法的每个通信轮内发送的比特数。有两类压缩运算符和使用它们的单独算法。在具有有界方差的无偏随机压缩器的情况下（例如，rand-k），Mishchenko等人（2019）的DIANA算法，其实现了用于处理由压缩引入的方差的方差减小技术，是当前的技术水平。在有偏压缩器和收缩压缩器的情况下（例如，top-k），Richtárik等人的EF 21算法。（2021），它实现了错误反馈机制，是目前最先进的。这两类压缩方案和算法是不同的，具有不同的分析和证明技术。在本文中，我们统一到一个单一的框架，并提出了一个新的算法，恢复DIANA和EF 21的特殊情况。我们的一般方法适用于一个新的，更大的压缩机类，它有两个参数，偏差和方差，并包括无偏和有偏压缩机作为特殊情况。这使我们能够继承两个世界中最好的：像EF 21和不像DIANA，可以使用偏置压缩器，如top-k，其在实践中的良好性能是公认的。和DIANA一样，与EF 21不同的是，压缩器的独立随机性可以减轻压缩的影响，当并行工作器的数量很大时，收敛速度会提高。这是第一次提出一个算法，所有这些功能。在一定条件下证明了算法的线性收敛性。我们的方法朝着更好地理解两个不同的通信高效分布式学习世界迈出了一步。
2023-03-06 cs.DC cs.LG math.OC
Evaluation and Optimization of Gradient Compression for Distributed Deep Learning
The Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Baptist University（香港浸会大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有梯度压缩方法与S-SGD系统优化不兼容的问题，提出交替压缩低秩矩阵的ACP-SGD方法，可兼容系统优化，在保证精度的同时实现显著加速。
2023-06-15 cs.DC cs.LG
On Biased Compression for Distributed Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Institute of Science and Technology Austria（奥地利科学技术研究院）
本文研究分布式学习中的有偏压缩算子，首次证明其可实现线性收敛，给出分布式压缩 SGD 的收敛速率，并揭示有偏压缩优于无偏压缩的原因，同时提出多个新的有偏压缩器。
2024-01-14 cs.DC cs.LG math.OC
Unbiased Single-scale and Multi-scale Quantizers for Distributed Optimization
Indian Institute of Science（印度科学学院）
海量的数据导致了大规模机器学习模型在单个工人身上的训练效率低下。分布式机器学习方法，如Sparkel-SGD，作为解决这个问题的解决方案，已经受到了极大的关注。然而，由于用于同步梯度和参数的高网络通信成本，分布式系统的性能不随工人的数量线性地缩放。研究人员已经提出了量化和稀疏化等技术，通过压缩梯度来缓解这个问题。大多数压缩方案产生的压缩梯度不能直接与诸如all-reduce之类的高效协议聚合。在本文中，我们提出了一套全减少兼容的梯度压缩方案，显着减少通信开销，同时保持性能的香草SGD。我们提出了我们的实验结果与CIFAR 10数据集和观察过程中得出的。我们的压缩方法比深度学习框架目前提供的内置方法性能更好。代码可在存储库中获得：\url{https://github.com/vineeths96/Gradient-Compression}。
2022-03-30 cs.DC cs.IT cs.LG
Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance
INMA/ICTEAM, UCLouvain（比利时鲁汶大学INMA/ICTEAM研究所）
本研究提出FO-SGD梯度压缩算法，结合带抖动的单比特量化与随机快速沃尔什-哈达玛变换，解决单比特压缩方差爆炸等问题，在温和条件下有类SGD收敛保证，支持参数服务器框架下双向全通信压缩的分布式优化。
2024-05-17 cs.LG cs.NA math.NA
Domain Compression and its Application to Randomness-Optimal Distributed Goodness-of-Fit
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Indian Institute of Science（印度科学学院）
我们研究了离散分布的拟合优度在分布式环境中，样本被划分在多个用户之间，由于各种信息约束，这些用户只能发布有限的样本信息。最近，作者的一个子集表明，访问一个共同的随机种子（即，共享随机性）导致该问题的样本复杂性的显著降低。在这项工作中，我们提供了一个完整的理解之间的相互作用的共享随机性，严格的信息约束，和样本的复杂性的测试问题，通过表征这三个参数之间的紧密权衡。我们提供了一个通用的分布式拟合优度协议，该协议作为共享随机性的函数，在私人和公共硬币样本复杂度之间平滑插值。我们补充我们的上限与一个一般的框架来证明下限的样本复杂性有限的共享随机性下，这个测试问题。最后，我们实例化我们的两个原型的信息约束的通信和本地隐私的界限，并表明我们的样本复杂性的界限是最佳的所有参数的问题，包括共享的随机性的函数。我们的上界的一个关键组成部分是域压缩的一个新的原语，这是一个工具，允许我们使用有限的随机性将分布映射到更小的域大小，同时保留它们的成对距离。
2019-07-20 cs.DM cs.DS cs.IT
ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training
IBM
深度神经网络（DNN）在最先进的平台上的大规模分布式训练预计会受到严重的通信约束。为了克服这种限制，已经提出了许多梯度压缩技术，并且已经证明了高压缩比。然而，大多数现有的方法不能很好地扩展到大规模分布式系统（由于梯度积累）和/或无法评估大型数据集上的模型保真度（测试精度）。为了缓解这些问题，我们提出了一种新的压缩技术，可扩展稀疏梯度压缩（ScaleCom），利用学习者之间的梯度分布的相似性，以提供显着改善的可扩展性。使用理论分析，我们表明，ScaleCom提供了良好的收敛保证，是兼容的梯度所有减少技术。此外，我们通过实验证明ScaleCom具有较小的开销，直接减少了梯度流量，并在广泛的应用程序（图像，语言和语音）中提供了高压缩率（65- 400 X）和出色的可扩展性（最多64个学习者和8- 12倍的批量大小超过标准训练），而没有显着的准确性损失。
2021-04-21 cs.LG
Variance-based Gradient Compression for Efficient Distributed Deep Learning
The University of Tokyo（东京大学）；Preferred Networks, Inc.（优选网络公司）
由于大量的计算成本，为大规模数据集训练最先进的深度神经网络通常需要使用多个计算工作者进行分布式训练。然而，从本质上讲，工作人员需要频繁地进行梯度通信，这会导致严重的瓶颈，特别是在较低带宽的连接上。已经提出了几种方法来压缩梯度以实现有效的通信，但是它们要么压缩比低，要么严重损害所得到的模型精度，特别是当应用于卷积神经网络时。为了解决这些问题，我们提出了一种方法来减少分布式深度学习的通信开销。我们的关键观察是，梯度更新可以延迟，直到计算出一个明确的（高幅度，低方差）梯度。我们还提出了一个有效的算法来计算方差可以忽略不计的额外成本。实验结果表明，该方法可以实现很高的压缩比，同时保持结果模型的准确性。我们还使用计算和通信成本模型分析了效率，并提供了证据表明，这种方法可以在许多具有商品环境的场景中实现分布式深度学习。
2018-02-20 cs.LG
MergeComp: A Compression Scheduler for Scalable Communication-Efficient Distributed Training
Rice University（莱斯大学）
大规模的分布式训练越来越受到通信的限制。许多梯度压缩算法已经被提出来减少通信开销和提高可扩展性。然而，已经观察到，在某些情况下，梯度压缩甚至可能损害分布式训练的性能。在本文中，我们提出了MergeComp，压缩调度器，以优化通信高效的分布式训练的可扩展性。它自动安排压缩操作，以优化压缩算法的性能，而无需了解模型架构或系统参数。我们已经将MergeComp应用于九种流行的压缩算法。我们的评估表明，MergeComp可以将压缩算法的性能提高高达3.83倍，而不会损失准确性。它甚至可以在高速网络上实现高达99%的分布式训练比例。
2021-03-28 cs.DC cs.LG
Beyond Communication Overhead: A Multilevel Monte Carlo Approach for Mitigating Compression Bias in Distributed Learning
Viterby Faculty of Electrical and Computer Engineering（电气与计算机工程学院）
针对分布式学习中通信开销与压缩偏差的权衡，提出多层蒙特卡洛压缩方案，利用有偏压缩器构建无偏估计，并应用于Top-k和位级压缩器，在分布式深度学习任务上验证了有效性。
2025-07-07 cs.LG
Reconciling Communication Compression and Byzantine-Robustness in Distributed Learning
针对分布式学习中通信压缩与拜占庭鲁棒性难以兼顾的问题，提出新算法 RoSDHB，通过集成 Polyak 动量与协调压缩策略，在更少内存和通信开销下实现了与现有最优方法同等的收敛保证及更强鲁棒性。
2025-10-31 cs.LG
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
最近深度神经网络的规模增加了许多倍，这使得高效的分布式训练变得具有挑战性。许多建议利用梯度的可压缩性，并提出有损压缩技术来加速分布式训练的通信阶段。然而，压缩是以降低模型质量和额外计算开销为代价的。在这项工作中，我们设计了一个高效的压缩机，以最小的开销。注意到稀疏的梯度，我们建议建模的梯度作为随机变量分布根据一些稀疏诱导分布（SID）。我们通过研究训练过程中梯度向量演变的统计特性来实证验证我们的假设。然后，我们提出了基于稀疏诱导分布的压缩（SIDCo），这是一种基于阈值的稀疏化方案，它与深度梯度压缩（DGC）具有相似的阈值估计质量，同时通过降低压缩开销来提高速度。我们对涉及递归神经网络（RNN）和卷积神经网络（CNN）模型的流行机器学习基准进行了广泛的评估，结果显示，与无压缩基线、Topk和DGC压缩器相比，SIDCo分别将训练速度提高了41：7%、7：6%和1：9%。
2021-03-17 cs.DC cs.LG
ByteComp: Revisiting Gradient Compression in Distributed Training
Rice University（莱斯大学）；ByteDance Inc.（字节跳动公司）
梯度压缩（GC）是解决分布式深度学习（DPL）中通信瓶颈的一种有前途的方法。然而，由于张量之间复杂的相互作用，因此找到将GC应用于XML的最佳压缩策略具有挑战性。为了充分发挥GC的优势，必须解决两个问题：1）如何表达所有压缩策略以及任何训练任务中张量之间的相应交互？2)如何快速选择接近最佳的压缩策略？在本文中，我们提出ByteComp来回答这些问题。它首先设计了一个决策树抽象来表达所有的压缩策略，并开发了时间轴张量计算，通信和压缩的经验模型，使ByteComp能够导出张量之间复杂的相互作用。然后，它设计了一个压缩决策算法，该算法分析张量交互，以消除和优先考虑策略，并最佳地将压缩卸载到CPU。实验评估表明，ByteComp可以将具有代表性的压缩训练作业的训练吞吐量提高77%。此外，选择压缩策略所需的计算时间是以毫秒为单位测量的，并且所选择的策略距离最佳策略只有百分之几。
2022-06-06 cs.DC cs.LG
On Effects of Compression with Hyperdimensional Computing in Distributed Randomized Neural Networks
University of Rome “La Sapienza”（罗马“萨皮恩扎”大学）；Luleå University of Technology（吕勒奥理工大学）；Research Institutes of Sweden（瑞典研究院）；University of California, Berkeley（加州大学伯克利分校）
在不久的将来，流行的监督学习技术将发生变化：从复杂的、计算量大的算法到更灵活的、基本的训练算法。随机算法的强大复兴可以在这种前景导向框架。最近，我们提出了一个模型的基础上随机神经网络和超维计算的分布式分类，它考虑到使用压缩代理之间的信息交换的成本。压缩的使用很重要，因为它解决了与通信瓶颈相关的问题，然而，原始方法在使用压缩的方式上是严格的。因此，在这项工作中，我们提出了一个更灵活的方法来压缩，并将其与传统的压缩算法，降维和量化技术进行比较。
2021-06-17 cs.LG eess.SP
Optimal Gradient Compression for Distributed and Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
在分布式和联邦学习中的计算节点之间传递信息（如梯度向量）通常是不可避免的负担，从而导致可伸缩性问题。事实上，沟通可能会很慢，而且成本很高。通信高效训练算法的最新进展已经通过使用压缩技术以稀疏化、量化或低秩近似的形式减少了这个瓶颈。由于压缩是一个有损的或不精确的过程，迭代复杂性通常会恶化;但总的通信复杂性可以显著改善，可能导致大量的计算时间节省。在本文中，我们调查的基本平衡之间的比特数需要编码压缩矢量和压缩误差。我们执行最坏情况和平均情况下的分析，提供严格的下限。在最坏情况下的分析，我们引入了一个有效的压缩算子，稀疏抖动，这是非常接近的下限。在平均情况分析中，我们设计了一个简单的压缩运算符Spherical Compression，它自然达到了下界。因此，我们的新的压缩方案显着优于国家的最先进的。我们进行数值实验来说明这种改进。
2020-10-07 cs.LG math.OC
Efficient Distributed Training through Gradient Compression with Sparsification and Quantization Techniques
Washington State University（华盛顿州立大学）；Amazon（亚马逊）
本研究探究稀疏化（top-k、DGC）和量化（QSGD）梯度压缩对分布式训练的影响，发现50倍压缩的top-k和DGC可提升性能、减少通信时间，保守稀疏化具正则化效果，为分布式训练超参数调优提供参考。
2024-12-07 cs.LG cs.MM
DNN gradient lossless compression: Can GenNorm be the answer?
NYCU, Taiwan（台湾阳明交通大学）
本文考虑深度神经网络（DNN）训练中的最优梯度无损压缩问题。梯度压缩在许多分布式DNN训练场景中是相关的，包括最近流行的联邦学习（FL）场景，其中每个远程用户通过无噪声但速率受限的信道连接到参数服务器（PS）。在分布式DNN训练中，如果底层梯度分布可用，则可以使用经典的无损压缩方法来减少传送梯度条目所需的比特数。平均场分析表明，梯度更新可以被认为是独立的随机变量，而拉普拉斯近似可以用来证明梯度在某些情况下具有近似正态分布的分布。在本文中，我们认为，对于一些实际感兴趣的网络，梯度项可以很好地建模为具有广义正态（GenNorm）分布。我们提供数值评估来验证假设GenNorm建模提供了DNN梯度尾部分布的更准确预测。另外，当将经典的固定到变量无损编码算法（例如霍夫曼编码）应用于量化的梯度更新时，这种建模选择在梯度的无损压缩方面提供了具体的改进。后一结果确实提供了具有低存储器和计算复杂性的有效压缩策略，其在分布式DNN训练场景中具有很大的实际相关性。
2021-11-15 cs.LG
DASHA: Distributed Nonconvex Optimization with Communication Compression, Optimal Oracle Complexity, and No Client Synchronization
KAUST（阿卜杜拉国王科技大学）
我们开发和分析DASHA：非凸分布优化问题的一个新的家庭的方法。当节点处的局部函数具有有限和或期望形式时，我们的新方法DASHA-PAGE和DASHA-SYNC-MVR改进了Gorbunov等人（2020）先前最先进方法MARINA的理论预言和通信复杂性。特别是，为了实现一个ε-平稳点，并考虑随机稀疏RandK作为一个例子，我们的方法计算的最佳数量的梯度$\mathcal{O}\left(\frac{\sqrt{m}}{\varepsilon\sqrt{n}}\right)$和$\mathcal{O}\left(\fracσ{\varepsilon^{3/2}n}\right)$在有限和和期望形式的情况下，分别，同时保持SOTA通信复杂性$\mathcal{O}\left(\frac{d}{\varepsilon \sqrt{n}}\right)$。此外，与MARINA不同，新方法DASHA、DASHA-PAGE和DASHA-MVR只发送压缩向量，从不同步节点，这使得它们对于联邦学习更实用。我们将我们的结果推广到函数满足Polyak-Lojasiewicz条件的情况。最后，我们的理论在实践中得到了证实：我们在非凸分类和深度学习模型训练的实验中看到了显着的改进。
2022-05-22 cs.LG
Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
大规模分布式训练需要大量的通信带宽用于梯度交换，这限制了多节点训练的可扩展性，并且需要昂贵的高带宽网络基础设施。在移动设备上进行分布式训练（联邦学习）的情况更糟，它会遭受更高的延迟，更低的吞吐量和间歇性的不良连接。在本文中，我们发现99.9%的梯度交换在分布式SGD是冗余的，并提出了深度梯度压缩（DGC），以大大减少通信带宽。为了在压缩过程中保持准确性，DGC采用四种方法：动量校正、局部梯度裁剪、动量因子掩蔽和预热训练。我们已经将深度梯度压缩应用于图像分类、语音识别和语言建模，使用了多个数据集，包括Cifar 10、ImageNet、Penn Treebank和Librispeech Corpus。在这些情况下，深度梯度压缩实现了从270倍到600倍的梯度压缩比，而不会损失准确性，将ResNet-50的梯度大小从97 MB削减到0.35 MB，将DeepSpeech从488 MB削减到0.74 MB。深度梯度压缩使廉价商品1Gbps以太网上的大规模分布式训练成为可能，并促进了移动设备上的分布式训练。代码可从以下网址获得：https://github.com/synxlin/deep-gradient-compression。
2020-06-23 cs.CV cs.DC cs.LG
Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Adyghe State University（阿迪格国立大学）
变分不等式是研究极小化、鞍点、对策、不动点问题的重要工具。现代大规模和计算昂贵的实际应用，使分布式方法来解决这些问题的流行。同时，大多数分布式系统都有一个基本问题-通信瓶颈。有各种各样的技术来处理它。特别是，在本文中，我们考虑了两种流行的方法：压缩和数据相似性的组合。我们表明，这种协同作用可以更有效地解决分布光滑强单调变分不等式的方法。实验验证了理论结论。
2022-09-03 cs.DC cs.LG math.OC
Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
我们引入了一个框架- Artemis -来解决在分布式或联邦设置与通信约束和设备部分参与的学习问题。几个工人（随机抽样）使用中央服务器执行优化过程，以聚合他们的计算。为了减轻通信成本，Artemis允许压缩在两个方向（从工作者到服务器，反之亦然）发送的信息，并结合内存机制。它改进了现有的算法，这些算法只考虑单向压缩（到服务器），或者对压缩算子使用非常强的假设，并且通常不考虑设备的部分参与。我们提供快速的收敛速度（线性阈值）弱假设下的随机梯度（噪声的方差界仅在最佳点）在非独立同分布。设置，突出显示单向和双向压缩的内存影响，分析Polyak-Ruppert平均值。我们使用收敛分布，以获得一个下限的渐近方差，突出了实际的限制压缩。我们提出了两种方法来解决具有挑战性的情况下，设备部分参与，并提供实验结果来证明我们的分析的有效性。
2022-06-19 cs.LG stat.ML
From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对 PowerSGD 在随机设置下无法保证收敛的问题，本文提出 PowerSGD+，通过奇异值分解周期性更新投影子空间以确保与最优子空间对齐，并在标准假设下证明了其收敛性，经大型语言模型任务验证有效。
2025-09-14 cs.LG math.OC
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率，通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Homomorphic Parameter Compression for Distributed Deep Learning Training
Seoul National University（首尔大学）
深度神经网络的分布式训练已经引起了极大的研究兴趣，其主要方法包括在多个GPU和集群上实现。网格化可以显著提高使用大规模数据训练深度和复杂模型的效率。然而，DNN训练加速的一个根本障碍是计算和通信时间之间的权衡。换句话说，增加工作节点的数量减少了计算消耗的时间，同时在受限的网络带宽下增加了通信开销，特别是在商品硬件环境中。为了减轻这种权衡，我们提出了同态参数压缩的想法，它以最小的代价压缩参数，并使用压缩的表示来训练DNN。虽然具体的方法尚未被发现，我们证明，有一个很高的概率，同态可以减少通信开销，由于很少的压缩和解压缩时间。我们还提供了理论上的同态压缩的加速比。
2017-11-28 cs.AI cs.DC cs.LG
Accelerating Distributed Deep Learning using Lossless Homomorphic Compression
UT Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）；Airbnb（爱彼迎）
提出一种无损同态压缩算法，将worker级压缩与网内聚合相结合，无需CPU/GPU处理即可高效聚合且不损失训练精度，在多种DNN模型上显著提升了聚合吞吐量和训练速度。
2024-02-12 cs.DC cs.DS cs.LG
3LC: Lightweight and Effective Traffic Compression for Distributed Machine Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
分布式机器学习（ML）的性能和效率在很大程度上取决于节点交换状态更改所需的时间。过度积极地尝试减少通信通常会牺牲最终模型的准确性，并需要额外的ML技术来补偿这种损失，从而限制了它们的通用性。一些减少通信的尝试会导致高计算开销，这使得它们的性能优势仅在慢速网络上可见。我们提出了3LC，一个有损压缩计划的状态变化流量，罢工之间的平衡多个目标：流量减少，准确性，计算开销，和一般性。它结合了三种新的技术-3值量化与稀疏乘法、四次编码和零游程编码-以利用量化和稀疏化技术的优势并避免它们的缺点。它实现了高达39- 107倍的数据压缩比，几乎与训练模型相同的测试精度，以及较高的压缩速度。分布式ML框架可以使用3LC，而无需修改现有的ML算法。我们的实验表明，与TensorFlow的基线设计相比，3LC将基于ResNet-110的图像分类器在10 GPU集群上用于CIFAR-10的挂钟训练时间减少了16- 23倍。
2018-02-21 cs.DC cs.LG stat.ML
Is Network the Bottleneck of Distributed Training?
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon Web Services（亚马逊云科技）
近年来，关于提高分布式训练的通信效率的研究激增。然而，几乎没有做过什么工作来系统地了解网络是否是瓶颈以及在多大程度上是瓶颈。在本文中，我们采取第一性原理的方法来衡量和分析分布式训练的网络性能。正如预期的那样，我们的测量证实了通信是阻止分布式训练线性扩展的组件。然而，与普遍的看法相反，我们发现网络的利用率很低，如果网络能够得到充分利用，分布式训练可以实现接近1的缩放因子。此外，虽然最近许多关于梯度压缩的建议主张超过100倍的压缩比，但我们表明，在充分利用网络的情况下，在100 Gbps网络中不需要梯度压缩。另一方面，像10 Gbps这样的较低速度网络仅需要2x-5x梯度压缩比来实现几乎线性的横向扩展。与梯度压缩等应用级技术相比，网络级优化不需要对应用程序进行更改，也不会损害训练模型的性能。因此，我们主张分布式训练的真正挑战是网络社区开发高性能的网络传输，以充分利用网络容量并实现线性扩展。
2020-06-24 cs.DC cs.LG
