Empirical Analysis on Top-k Gradient Sparsification for Distributed Deep Learning in a Supercomputing Environment
Ajou University（亚洲大学）
为了更快地训练深度学习模型，在多个GPU上进行分布式训练是近年来非常流行的方案。然而，通信带宽仍然是训练性能的主要瓶颈。为了提高整体训练性能，最近的工作提出了梯度稀疏化方法，大大减少了通信流量。它们中的大多数需要梯度排序来选择有意义的梯度，例如Top-k梯度稀疏化（Top-k SGD）。然而，Top-k SGD在提高整体训练性能的速度方面存在限制，因为梯度排序在GPU上效率很低。在本文中，我们进行实验，显示Top-k SGD的效率低下，并提供了低性能的见解。基于我们的经验分析的观察，我们计划产生一个高性能的梯度稀疏化方法作为未来的工作。
2022-09-18 cs.AI cs.DC cs.LG
Sparsified SGD with Memory
EPFL（洛桑联邦理工学院）
大规模的机器学习问题现在通过分布式优化算法来解决，即利用许多设备的计算能力进行训练的算法。通信开销是阻碍完美可伸缩性的关键瓶颈。最近的各种工作提出使用量化或稀疏化技术来减少需要通信的数据量，例如通过仅发送随机梯度的最重要条目（top-k稀疏化）。虽然这些方案在实践中表现出非常有前途的性能，但到目前为止，它们还没有得到理论分析。在这项工作中，我们分析了随机梯度下降（SGD）与k-稀疏化或压缩（例如top-k或random-k），并表明，该计划收敛速度与香草SGD时，配备了误差补偿（跟踪内存中的累积误差）。也就是说，沟通可以减少问题的维度的一个因素（有时甚至更多），同时仍然以相同的速度收敛。我们提出了数值实验来说明的理论研究结果和更好的可扩展性的分布式应用程序。
2018-11-28 cs.DC cs.DS cs.LG
Adaptive Top-K in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）
本文提出一种SGD框架中的自适应Top-K梯度稀疏化方法，通过动态调整稀疏化程度平衡通信成本与收敛误差，在MNIST和CIFAR-10上实现优于现有方法的收敛速率。
2023-09-11 cs.DC cs.LG math.OC
rTop-k: A Statistical Estimation Approach to Distributed SGD
Stanford University（斯坦福大学）
在不同节点之间交换梯度的巨大通信成本极大地限制了大规模学习模型的分布式训练的可扩展性。受这一观察的启发，最近人们对降低分布式随机梯度下降（SGD）的通信成本的技术产生了极大的兴趣，其中梯度稀疏化技术（例如top-k和random-k）被证明是特别有效的。同样的观察也激发了分布式统计估计理论中的一条独立的工作线，专注于通信约束对不同统计模型的估计效率的影响。本文的主要目标是将这两条研究路线联系起来，并展示统计估计模型及其分析如何在设计有效沟通的培训技术方面带来新的见解。我们提出了一个简单的统计估计模型的随机梯度捕获的稀疏性和偏度的分布。从这个模型的分析所产生的统计最优通信方案导致一个新的稀疏技术的SGD，它串联随机k和top-k，在以前的文献中单独考虑。我们通过CIFAR-10、ImageNet和Penn Treebank数据集在图像和语言领域的广泛实验表明，这两种稀疏化方法的联合应用一致且显著优于单独应用的任何一种方法。
2020-12-02 cs.IT cs.LG math.IT
Sparse Communication for Training Deep Networks
EPFL（洛桑联邦理工学院）
同步随机梯度下降（SGD）是用于深度学习模型的分布式训练的最常见方法。在该算法中，每个工人与其他工人共享其局部梯度，并使用所有工人的平均梯度更新参数。虽然分布式训练减少了计算时间，但与梯度交换相关联的通信开销形成了算法的可扩展性瓶颈。有许多压缩技术被提出来减少需要传送的梯度的数量。然而，压缩梯度又引入了另一个问题的开销。在这项工作中，我们研究了几种压缩方案，并确定三个关键参数如何影响性能。我们还提供了一组关于如何提高性能的见解，并介绍了一种简单的稀疏化方案，即随机块稀疏化，它减少了通信，同时保持性能接近标准SGD。
2020-09-19 cs.DC cs.LG stat.ML
Distributed Sparse SGD with Majority Voting
Ozyegin University（厄兹耶金大学）；Imperial College London（帝国理工学院）
分布式学习，特别是分布式随机梯度下降（DSGD）的变体，被广泛用于通过利用多个工作者的计算资源来加速训练。然而，在实践中，由于需要在工作器和参数服务器之间交换大量信息，通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而，top-K稀疏化需要额外的通信负载来表示稀疏模式，并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题，我们引入了一种新的基于多数表决的稀疏通信策略，在该策略中，工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载，并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟，我们证明了在测试精度没有任何损失的情况下，可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
The Convergence of Sparsified Gradient Methods
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；KTH（瑞典皇家理工学院）
通过随机梯度下降（SGD）对大规模机器学习模型（特别是深度神经网络）进行分布式训练正变得越来越普遍。已经提出了几种减少通信的方法，如量化、大批量方法和梯度稀疏化。到目前为止，梯度稀疏化方法-其中每个节点按大小对梯度进行排序，并且只传递分量的子集，在本地累积其余分量-被称为产生一些最大的实际收益。这种方法可以将每步的通信量减少多达三个数量级，同时保持模型的准确性。然而，这一系列的方法目前还没有理论依据。这就是我们在本文中要解决的问题。我们证明，在分析假设下，稀疏梯度的幅度与局部误差校正提供了收敛保证，凸和非凸光滑的目标，数据并行SGD。主要的见解是，稀疏化方法隐式地保持了陈旧更新的最大影响的界限，这要归功于按大小选择。我们的分析和实证验证也表明，这些方法确实需要分析条件收敛良好，证明现有的算法。
2018-09-27 cs.DC cs.LG stat.ML
O(1) Communication for Distributed SGD through Two-Level Gradient Averaging
Florida State University（佛罗里达州立大学）
大型神经网络模型对分布式随机梯度下降（SGD）提出了巨大的通信挑战，对于n个参数的模型，每个工作者的通信复杂性为O（n）。已经提出了许多稀疏化和量化技术来压缩梯度，其中一些将通信复杂性降低到O（k），其中k <<n。在本文中，我们引入了一种称为两级梯度平均（A2SGD）的策略，在计算更新模型的两个全局平均值之前，将所有梯度合并为每个工人的两个局部平均值。A2SGD还保留了局部误差，以保持快速收敛的方差。我们的理论分析表明，A2SGD收敛类似于默认的分布式SGD算法。我们的评估验证了理论结论，并表明A2SGD显着降低了每个工人的通信流量，并将LSTM-PTB的总体训练时间分别提高了3.2倍和23.2倍，与Top-K和QSGD相比。据我们所知，A2 SGD是第一个实现O（1）通信复杂性的分布式SGD。
2020-06-16 cs.DC cs.LG stat.ML
Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，机器学习取得了巨大的进步，模型在一系列专门任务上与人类相匹配，甚至超越人类。近年来机器学习进步背后的一个关键因素是在大规模分布式共享内存和消息传递环境中训练机器学习模型的能力。这些模型中的许多都是采用基于随机梯度下降（SGD）的优化的变体来训练的。在本文中，我们介绍了一个通用的一致性条件，涵盖通信减少和异步分布式SGD实现。我们的框架，称为弹性一致性，使我们能够获得收敛边界的各种分布式SGD方法在实践中使用的训练大规模机器学习模型。建议的框架去杂实现特定的收敛性分析，并提供了一个抽象的收敛范围。我们利用该框架来分析分布式SGD方法的稀疏化方案，在异步设置为凸和非凸目标。我们实现了分布式SGD变体，以在异步共享内存设置中训练深度CNN模型。实证结果表明，错误反馈可能不一定有助于提高稀疏异步分布式SGD的收敛性，这证实了我们的收敛性分析所提出的见解。
2020-06-28 cs.LG stat.ML
SPARQ-SGD: Event-Triggered and Compressed Communication in Decentralized Stochastic Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；US Army Research Lab（美国陆军研究实验室）
在本文中，我们提出并分析SPARQ-SGD，这是一个事件触发和压缩算法的大规模机器学习模型的分散训练。每个节点可以本地计算触发通信的条件（事件），其中发送量化和稀疏化的本地模型参数。在SPARQ-SGD中，每个节点至少采用固定数量（$H$）的局部梯度步长，然后检查模型参数与其上次更新相比是否发生了显著变化;只有当发生显著变化时，它才会进一步传输压缩的模型参数，如（设计）标准所规定的。我们证明了SPARQ-SGD分别在强凸和非凸设置下收敛为$O(\frac{1}{nT})$和$O(\frac{1}{\sqrt{nT}})$，表明这种积极的压缩，包括事件触发通信，模型稀疏化和量化，与未压缩的分散式训练相比，不会影响整体收敛速度;从而理论上产生“免费”的通信效率。我们在真实数据集上评估SPARQ-SGD，以证明在最先进的通信中节省了大量资金。
2020-02-24 cs.DC cs.LG math.OC
MAST: Model-Agnostic Sparsified Training
King Abdullah University of Science and Technology（卡布斯大学）
MAST 提出了一种模型无关的稀疏训练方法，通过引入预训练模型和随机草图算子，实现模型和梯度的稀疏化，改进了收敛速率并拓展了应用范围。
2026-01-06 cs.AI cs.DC cs.LG
Improving Differentially Private SGD via Randomly Sparsified Gradients
KU Leuven（鲁汶大学）
本文提出一种利用随机稀疏化（RS）增强差分隐私随机梯度下降（DP-SGD）的轻量级方法，通过在裁剪和加噪前稀疏化梯度以优化收敛界权衡，实验证明其能提升性能并降低通信成本与增强隐私保护。
2023-06-28 cs.CR cs.LG
Evaluation and Optimization of Gradient Compression for Distributed Deep Learning
The Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Baptist University（香港浸会大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有梯度压缩方法与S-SGD系统优化不兼容的问题，提出交替压缩低秩矩阵的ACP-SGD方法，可兼容系统优化，在保证精度的同时实现显著加速。
2023-06-15 cs.DC cs.LG
Rethinking gradient sparsification as total error minimization
KAUST（阿卜杜拉国王科技大学）；University of Kansas（堪萨斯大学）
梯度压缩是解决大型深度神经网络（DNN）分布式训练中的通信瓶颈的广泛建立的补救措施。在错误反馈框架下，Top-$k$稀疏化（有时$k$与梯度大小的$0.1\%$一样小）使得能够针对类似的迭代计数训练到与未压缩情况相同的模型质量。从优化的角度来看，我们发现，顶部$k$是通信最佳稀疏给定的每迭代$k$元素预算。我们认为，为了进一步发挥梯度稀疏化的优势，特别是对于DNN，需要一个不同的视角--从每次迭代的最优性转向考虑整个训练的最优性。我们确定总误差-所有迭代的压缩误差之和-在整个训练过程中封装了稀疏化。然后，我们提出了一个通信复杂性模型，使整个训练的通信预算下的总误差最小化。我们发现，硬阈值稀疏，顶部的$k$稀疏与$k$由一个恒定的硬阈值确定的变体，是该模型的最佳稀疏。出于这一动机，我们提供凸和非凸收敛分析的硬阈值稀疏误差反馈。与$k$稀疏算子不同，我们证明了硬阈值在凸情形下具有与SGD相同的渐近收敛性和线性加速比性质，并且在非凸情形下对数据的异质性没有影响.我们在各种DNN和逻辑回归模型上的各种实验表明，硬阈值稀疏器比Top- $k$更有效。
2021-08-02 cs.DC cs.LG math.OC
99% of Distributed Optimization is a Waste of Time: The Issue and How to Fix it
KAUST（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
许多用于训练机器学习模型的流行的分布式优化方法都符合以下模板：每个工作者独立计算局部梯度估计，然后将其传送给主机，主机随后执行平均。平均值被广播回工作进程，工作进程使用它来执行梯度类型的步骤，以更新模型的本地版本。众所周知，许多这样的方法，包括SGD、SAGA和用于过参数化模型的加速SGD，不能很好地随并行工作器的数量而扩展。在本文中，我们观察到上述模板从根本上是低效的，因为工作人员不必要地传达了太多的数据，这会减慢整个系统的速度。我们提出了一个基于我们在这项工作中开发的新的更新稀疏化方法的修复，我们建议将其用于现有方法之上。也就是说，我们开发了一个新的变种的并行块坐标下降的基础上独立稀疏的局部梯度估计通信之前。我们证明，只有$m/n$块发送的每个$n$工人，其中$m$是参数块的总数，底层分布式方法的理论迭代复杂性基本上不受影响。作为说明，这意味着当使用$n=100$并行工作器时，$99\%$块的通信是冗余的，因此是浪费时间。我们的理论主张得到了广泛的数值实验的支持，这些实验在许多合成和真实数据集上证明了与我们的理论几乎完美的匹配。
2019-06-04 cs.LG math.OC stat.ML
Get More for Less in Decentralized Learning Systems
EPFL（洛桑联邦理工学院）
针对去中心化学习中深度神经网络参数传输量大导致网络过载的问题，提出结合小波变换与随机通信截断的稀疏化通信高效系统JWINS，在保证准确率的同时大幅降低通信量并优于现有算法。
2023-10-31 cs.DC cs.LG
Unbiased Single-scale and Multi-scale Quantizers for Distributed Optimization
Indian Institute of Science（印度科学学院）
海量的数据导致了大规模机器学习模型在单个工人身上的训练效率低下。分布式机器学习方法，如Sparkel-SGD，作为解决这个问题的解决方案，已经受到了极大的关注。然而，由于用于同步梯度和参数的高网络通信成本，分布式系统的性能不随工人的数量线性地缩放。研究人员已经提出了量化和稀疏化等技术，通过压缩梯度来缓解这个问题。大多数压缩方案产生的压缩梯度不能直接与诸如all-reduce之类的高效协议聚合。在本文中，我们提出了一套全减少兼容的梯度压缩方案，显着减少通信开销，同时保持性能的香草SGD。我们提出了我们的实验结果与CIFAR 10数据集和观察过程中得出的。我们的压缩方法比深度学习框架目前提供的内置方法性能更好。代码可在存储库中获得：\url{https://github.com/vineeths96/Gradient-Compression}。
2022-03-30 cs.DC cs.IT cs.LG
Communication-Censored Distributed Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Sun Yat-Sen University（中山大学）
针对分布式机器学习等应用中通信量大的问题，提出了一种通信效率高的分布式随机最优化算法。与现有的基于量化和稀疏化的算法不同，本文引入了一种通信删失技术来减少变量的传输，这导致了我们的通信删失分布式随机梯度下降（CSGD）算法。具体来说，在CSGD中，当且仅当它是足够信息时，在工作者处的最新小批量随机梯度将被传输到服务器。当最新的渐变不可用时，旧的渐变将在服务器上重用。为了实现这种通信审查策略，批量大小增加，以减轻随机梯度噪声的影响。从理论上讲，CSGD具有与SGD相同的收敛速度，但有效地减少了通信量。数值实验表明，CSGD的通信节省相当大的。
2020-01-03 cs.LG math.OC stat.ML
Partitioning sparse deep neural networks for scalable training and inference
University of Warwick（华威大学）
最先进的深度神经网络（DNN）具有显著的计算和数据管理要求。训练数据和模型的大小都在持续增加。稀疏化和修剪方法被证明是有效的，在DNN中删除大部分连接。由此产生的稀疏网络提出了独特的挑战，以进一步提高深度学习中训练和推理的计算效率。用于训练稀疏DNN的随机梯度下降（SGD）算法中的前馈（推断）和反向传播步骤都涉及连续的稀疏矩阵向量乘法（SpMV）。我们首先介绍了一个分布式内存并行SpMV为基础的SGD算法的解决方案，以提高其可扩展性。并行化方法是基于权值矩阵的逐行划分，权值矩阵表示连续层之间的神经元连接。然后，我们提出了一种新的超图模型划分权重矩阵，以减少总的通信量，并确保处理器之间的计算负载平衡。在稀疏DNN上进行的实验表明，所提出的解决方案是高效和可扩展的。通过利用所提出的矩阵划分方案，我们的解决方案的性能进一步显着提高。
2021-04-23 cs.AI cs.DC cs.LG
Near-Optimal Sparse Allreduce for Distributed Deep Learning
Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院）
本文提出 O$k$-Top$k$ 方案，通过渐近最优的稀疏 allreduce 算法与去中心化 SGD 结合，并利用阈值估计高效选择 top-$k$ 梯度，在保持模型精度的同时显著提升分布式深度学习训练吞吐量和可扩展性。
2025-08-21 cs.DC cs.LG
Compressed and Sparse Models for Non-Convex Decentralized Learning
Cornell University（康奈尔大学）
本文提出 Malcom-PSGD 算法，通过 $\ell_1$ 正则化模型稀疏化并结合梯度压缩与量化通信，在非凸去中心化学习中实现 $\mathcal{O}(1/\sqrt{t})$ 收敛，并将通信成本降低约 75%。
2024-06-05 cs.DC cs.DS cs.LG
Unbiased and Sign Compression in Distributed Learning: Comparing Noise Resilience via SDEs
University of Basel（巴塞尔大学）；University of Oslo（奥斯陆大学）
本研究通过SDE分析DCSGD与DSignSGD，发现无偏压缩对梯度噪声更敏感，而符号压缩更鲁棒，并提出超参数缩放规则以缓解性能下降。
2025-02-28 cs.LG
Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
South China University of Technology（华南理工大学）；JD Explore Academy（京东探索研究院）；Sun Yat-sen University（中山大学）；University of Sydney（悉尼大学）
针对大语言模型微调中零阶优化器全参数扰动与更新耗时过长的问题，提出逐层稀疏的LeZO优化器，在无额外内存开销下实现超过3倍加速且不损失性能。
2024-10-13 cs.CL cs.LG
AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks
Guangdong Provincial Key Laboratory of IRADS Beijing Normal-Hong Kong Baptist University（广东省IRADS关键实验室北京师范大学-香港 Baptist大学）
提出AdaDPIGU，一种结合重要性剪枝与自适应裁剪的差分隐私SGD框架，在MNIST和CIFAR-10上实现高精度，甚至超越非隐私基线，兼顾隐私与效用。
2025-07-09 cs.LG math.ST stat.ML
Age-of-Gradient Updates for Federated Learning over Random Access Channels
本文研究RACH-FL设置下的DNN联邦训练，提出“梯度年龄”（AoG）策略，通过top-K稀疏化、记忆累积误差校正和基于本地记忆幅值的时隙传输概率设计，在随机接入信道通信约束下实现优于其他策略的性能。
2024-10-15 cs.DC cs.LG
Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning
North Carolina State University（北卡罗来纳州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了带压缩更新和误差反馈机制的时间差分（TD）学习算法，证明其具有与SGD相同的非渐近理论保证，并首次在多智能体强化学习中实现了线性收敛加速且仅需极低通信开销。
2024-06-04 cs.AI cs.LG cs.SY
Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction
AXXX；Applied AI Institute（应用人工智能研究所）
本文研究了在经典联邦学习设置中集中式分布式优化的可扩展性，证明了即使在同质情况下，使用无偏随机稀疏化压缩器也无法在多项式对数级别内改进服务器端通信运行时间与方差依赖运行时间。
2026-03-28 cs.DC cs.LG math.OC
