Distributed Graph Clustering and Sparsification
图聚类是一个基本的计算问题,在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里,研究人员提出了许多图聚类的算法设计方法。然而,大多数这些方法是基于复杂的谱技术或凸优化,并不能直接应用于聚类许多网络发生在实践中,其信息往往是在不同的网站上收集。设计一个简单的分布式聚类算法是一个很有意义的问题,在处理大数据集方面有着广泛的应用。在本文中,我们提出了一个简单的分布式算法图聚类:对于广泛的一类图,其特征在于由一个强大的集群结构,我们的算法完成在一个多对数轮数,并恢复分区的图形接近最佳。我们的算法背后的主要组成部分之一是一个采样方案,给定一个密集的图作为输入,产生一个稀疏的子图,可证明保留的集群结构的输入。与以往的稀疏化算法,需要拉普拉斯求解器或涉及组合结构相比,该组件是易于实现的分布式方式,在实践中运行速度快。
2017-11-03 cs.DC cs.DS
Understanding System Characteristics of Online Erasure Coding on Scalable, Distributed and Large-Scale SSD Array Systems
具有固态磁盘(SSD)阵列的大规模系统在许多计算领域中变得越来越普遍。为了使这样的系统具有弹性,我们可以采用诸如Reed-Solomon(RS)码的擦除编码作为复制的替代方案,因为擦除编码可以提供比复制低得多的存储成本。为了了解使用纠删编码对系统性能和其他系统方面(如CPU利用率和网络流量)的影响,我们构建了一个由大约100个处理器内核和50多个高性能SSD组成的存储集群,并使用流行的开源分布式并行文件系统Ceph对该集群进行了评估。然后从以下五个角度分析了采用纠删编码的系统的行为,并与采用复制的系统进行了比较:(1)存储系统I/O性能;(2)计算和软件开销;(3)I/O放大;(4)存储节点之间的网络流量;(5)物理数据布局对RS编码SSD阵列性能的影响。对于所有这些分析,我们研究了两个代表性的RS配置,这是由谷歌和Facebook的文件系统,并比较它们与三重复制,一个典型的并行文件系统采用作为默认的容错机制。最后,我们从集群中收集了54个块级轨迹,并将其提供给其他研究人员。
2017-09-19 cs.AR cs.DC
Understanding Top-k Sparsification in Distributed Deep Learning
Hong Kong Baptist University(香港浸会大学);NVIDIA(英伟达)
分布式随机梯度下降(SGD)算法被广泛应用于大规模深度学习模型的训练,但工作者之间的通信开销成为新的系统瓶颈。最近提出的梯度稀疏化技术,特别是$k$稀疏化与误差补偿(TopK-SGD),可以显着减少通信流量,而不会对模型的准确性产生明显的影响。对TopK-SGD算法的收敛性进行了理论分析。然而,现有的研究没有深入到梯度稀疏化中的Top- $k$算子的细节,并且使用宽松的边界(例如,Random- $k$的精确界)进行分析;因此,导出的结果不能很好地描述TopK-SGD的真实收敛性能。为此,我们首先通过大量的实验研究了TopK-SGD在训练过程中的梯度分布。然后,我们从理论上推导出一个更严格的上限的顶部- $k$运营商。最后,我们利用梯度分布的性质,提出了一个近似的顶部- $k$选择算法,这是计算效率的GPU,以提高缩放效率的TopK-SGD显着减少计算开销。代码可从以下网址获得:\url{https://github.com/hclhkbu/GaussianK-SGD}。
2019-11-20 cs.DC cs.LG stat.ML
Layer-wise Adaptive Gradient Sparsification for Distributed Deep Learning with Convergence Guarantees
Hong Kong Baptist University(香港浸会大学)
为了减少大型深度神经网络(DNN)模型的长训练时间,分布式同步随机梯度下降(S-SGD)通常用于一组工作者。然而,多个工作者带来的加速受到通信开销的限制。两种方法,即流水线和梯度稀疏化,已分别提出,以减轻通信开销的影响。然而,梯度稀疏化方法只能在反向传播之后发起通信,因此错过了流水线机会。在本文中,我们提出了一种新的分布式优化方法LAGS-SGD,它结合了S-SGD和一种新的分层自适应梯度稀疏化(LAGS)计划。在LAGS-SGD中,每个工作者独立地从每个层中选择一小组“显著”梯度,其大小可以自适应于该层的通信计算比率。LAGS-SGD的逐层性质开启了将通信与计算重叠的机会,而LAGS-SGD的自适应性质使其能够灵活地控制通信时间。我们证明了LAGS-SGD具有收敛保证,并且在较弱的分析假设下,它具有与vanilla S-SGD相同的收敛速度阶。大量的实验验证了分析假设和LAGS-SGD的收敛性能。在16 GPU集群上的实验结果表明,LAGS-SGD在不损失明显模型精度的情况下,性能优于原始S-SGD和现有的稀疏S-SGD。
2020-03-02 cs.DC cs.LG stat.ML
A Distributed Palette Sparsification Theorem
本文研究分布式调色板稀疏化下的Δ+1着色问题,提出在稀疏化图上以O(log²Δ+log³log n)轮、O(log n)比特消息运行的局部算法,并证明其接近最优下界,首次在节点容量团模型和簇图模型中实现poly(log n)轮Δ+1着色。
2023-04-11 cs.DC cs.DS
ATOMO: Communication-efficient Learning via Atomic Sparsification
UW–Madison(威斯康星大学麦迪逊分校)
由于计算节点之间频繁传输梯度更新,分布式模型训练遭受通信开销。为了减轻这些开销,一些研究提出了使用稀疏随机梯度。我们认为,这些方面的一般稀疏化方法,可以操作任何可能的原子分解。值得注意的例子包括元素方式,奇异值和傅立叶分解。我们提出了原子稀疏随机梯度,一个一般的框架。给定梯度、原子分解和稀疏预算,ATOMO给出原子的随机无偏稀疏化,最小化方差。我们表明,最近的方法,如QSGD和TernGrad是ATOMO的特例,稀疏化神经网络梯度的奇异值分解,而不是它们的坐标,可以导致更快的分布式训练。
2018-11-08 cs.DC cs.LG stat.ML
Qsparse-local-SGD: Distributed SGD with Quantization, Sparsification, and Local Computations
Adobe Inc.(奥多比公司);UCLA(加州大学洛杉矶分校);Amazon Web Services(亚马逊云科技)
通信瓶颈是大规模学习模型分布式优化中的一个重要问题。最近,已经提出了几种缓解这个问题的方法,包括不同形式的梯度压缩或计算局部模型并迭代地混合它们。在本文中,我们提出了\emph{Qsparse-local-SGD}算法,该算法通过跟踪真实梯度和压缩梯度之间的差异,将积极的稀疏化与量化和局部计算以及误差补偿相结合。我们提出了同步和异步实现的\emph{Qsparse-local-SGD}。我们分析了收敛的\emph{Qsparse-local-SGD}在\emph{distributed}设置为光滑的非凸和凸的目标函数。我们证明了\emph{Qsparse-local-SGD}收敛速度相同的香草分布SGD的许多重要类的稀疏和量化。我们使用\emph{Qsparse-local-SGD}在ImageNet上训练ResNet-50,并表明它比最先进的方法节省了大量的比特数,以达到目标精度。
2019-11-02 cs.DC cs.LG math.OC
A Distributed Synchronous SGD Algorithm with Global Top-$k$ Sparsification for Low Bandwidth Networks
Hong Kong Baptist University(香港浸会大学);Shenzhen District Block Technology Co., Ltd.(深圳区块科技有限公司)
分布式同步随机梯度下降(S-SGD)已被广泛用于训练大规模深度神经网络(DNN),但它通常需要计算工作者之间非常高的通信带宽(例如,GPU)迭代地交换梯度。最近,已经提出了$k$稀疏化技术以减少要在工作者之间交换的数据量。顶部- $k$稀疏化可以在不影响模型收敛的情况下将梯度的重要部分归零。然而,稀疏梯度必须以其不规则的索引进行传输,这使得稀疏梯度聚集困难。使用AllGather来累积稀疏梯度的当前方法具有$O(kP)$的通信复杂性,其中$P$是工作者的数量,这在具有大量工作者的低带宽网络上是低效的。我们观察到,并不是所有的顶部- $k$梯度从$P$工人需要的模型更新,因此,我们提出了一种新的全球顶部- $k$(gTop- $k$)稀疏化机制来解决这个问题。具体来说,我们从$P$工作者中选择全局最大的$k$梯度绝对值,而不是累积所有局部最大的$k$梯度来在每次迭代中更新模型。基于gTop- $k$稀疏化的梯度聚合方法将通信复杂性从$O(kP)$降为$O(k\log P)$。通过在不同DNN上的大量实验,我们验证了gTop- $k$ S-SGD与S-SGD具有几乎一致的收敛性能,并且在泛化性能上只有轻微的下降。在扩展效率方面,我们评估了gTop- $k$的集群与32 GPU机器互连1 Gbps以太网。实验结果表明,该方法实现了$2.7-12\times$比S-SGD更高的缩放效率,而…
2019-04-17 cs.DC cs.LG
Distributed Symmetry Breaking on Power Graphs via Sparsification
在本文中,我们提出了有效的分布式算法的经典对称破缺问题,最大独立集(MIS)和规则集,在功率图。我们在分布式消息传递的标准CONGEST模型中工作,其中通信网络被抽象为图$G$。通常,CONGEST中的问题实例与通信网络$G$相同,也就是说,我们在$G$中执行对称破缺。在这项工作中,我们考虑一个设置的问题实例对应于一个功率图$G^k$,其中每个节点的通信网络$G$连接到所有的$k$跳邻居。我们的主要贡献是一个确定性的多对数时间算法计算$k$统治集的$G^k$,其中(为$k>1$)提高指数对当前国家的最先进的运行时。这个结果的主要技术成分是一个确定性的稀疏化过程,这可能是独立的利益。除了是一个自然的问题家族之外,规则集(在幂图中)通过在强大的粉碎框架中的应用而得到了很好的激励[BEPS JACM'16,Ghaffari SODA'19](和其他人)。我们提出了随机算法计算最大独立集和规则集的$G^k$在基本上相同的时间,因为它们可以计算在$G$。我们还重新审视了MIS [BEPS JACM'16]的粉碎算法,并提出了粉碎后阶段的不同方法。我们的解决方案在算法和分析上都比现有的解决方案更简单(也是在RISK模型中),并获得与[Ghaffari SODA'16]相同的运行时间。
2023-02-14 cs.DC cs.DS
Downlink Compression Improves TopK Sparsification
University of Waterloo(滑铁卢大学)
训练大型神经网络非常耗时。为了加快这个过程,通常使用分布式训练。分布式训练中最大的瓶颈之一是在不同节点之间传递梯度。已经提出了不同的梯度压缩技术来缓解通信瓶颈,包括topK梯度稀疏化,其在将梯度发送到其他节点之前将其截断为最大的K个分量。虽然一些作者通过在工作者到服务器(上行链路)和服务器到工作者(下行链路)方向上应用topK压缩来研究参数-服务器框架中的topK梯度稀疏化,但目前公认的观点认为,增加额外的压缩会降低模型的收敛性。相反,我们证明,添加下行链路压缩可以潜在地提高topK稀疏化的性能:它不仅减少了每步的通信量,而且还可以提高收敛分析的上限。为了证明这一点,我们重新审视topK随机梯度下降(SGD)的非凸收敛分析,并将其从单向扩展到双向设置。我们还删除了以前的分析,需要不切实际的大值K的限制。我们通过实验评估了双向topK SGD与单向topK SGD的对比,结果表明,使用双向topK SGD训练的模型将与使用单向topK SGD训练的模型一样好,同时为大量工人带来显着的通信优势。
2022-09-30 cs.DC cs.LG
Adaptive Top-K in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);City University of Hong Kong(香港城市大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本文提出一种SGD框架中的自适应Top-K梯度稀疏化方法,通过动态调整稀疏化程度平衡通信成本与收敛误差,在MNIST和CIFAR-10上实现优于现有方法的收敛速率。
2023-09-11 cs.DC cs.LG math.OC
Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection
Hong Kong Baptist University(香港浸会大学)
分布式学习技术(如联邦学习)使多个工作人员能够一起训练机器学习模型,以减少总体训练时间。然而,目前的分布式训练算法(集中式或分散式)遭受多个低带宽工作者(也在集中式架构下的服务器上)的通信瓶颈。尽管分散式算法通常比集中式算法具有更低的通信复杂性,但是对于具有低网络带宽的工作者,它们仍然遭受通信瓶颈。为了在保持收敛性能的同时处理通信问题,我们引入了一种新的分散式训练算法,该算法具有以下主要特点:1)在训练过程中不需要参数服务器来维护模型,这避免了对任何单个节点的通信压力。2)每个工作者在每一轮通信中只需要与一个对等体进行通信,并且具有高度压缩的模型,这可以显着减少工作者上的通信流量。我们从理论上证明,我们的稀疏化算法仍然保持收敛特性。3)每个工作者在不同的通信回合动态地选择其对等体以更好地利用带宽资源。我们进行实验与卷积神经网络对32名工人,以验证我们提出的算法相比,现有的七种方法的有效性。实验结果表明,该算法显著降低了通信量,并且通常选择相对高带宽的节点。
2020-02-22 cs.DC cs.LG stat.ML
Distributed Sparse SGD with Majority Voting
Ozyegin University(厄兹耶金大学);Imperial College London(帝国理工学院)
分布式学习,特别是分布式随机梯度下降(DSGD)的变体,被广泛用于通过利用多个工作者的计算资源来加速训练。然而,在实践中,由于需要在工作器和参数服务器之间交换大量信息,通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而,top-K稀疏化需要额外的通信负载来表示稀疏模式,并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题,我们引入了一种新的基于多数表决的稀疏通信策略,在该策略中,工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载,并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟,我们证明了在测试精度没有任何损失的情况下,可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
SparDL: Distributed Deep Learning Training with Efficient Sparse Communication
College of Computer Science, Zhejiang University(浙江大学计算机学院)
针对分布式深度学习Top-k稀疏化中的稀疏梯度累积困境,提出SparDL框架,通过Spar-Reduce-Scatter、Spar-All-Gather和全局残差收集算法实现高效稀疏通信与快速收敛。
2024-02-23 cs.DC cs.LG
Sparsified SGD with Memory
EPFL(洛桑联邦理工学院)
大规模的机器学习问题现在通过分布式优化算法来解决,即利用许多设备的计算能力进行训练的算法。通信开销是阻碍完美可伸缩性的关键瓶颈。最近的各种工作提出使用量化或稀疏化技术来减少需要通信的数据量,例如通过仅发送随机梯度的最重要条目(top-k稀疏化)。虽然这些方案在实践中表现出非常有前途的性能,但到目前为止,它们还没有得到理论分析。在这项工作中,我们分析了随机梯度下降(SGD)与k-稀疏化或压缩(例如top-k或random-k),并表明,该计划收敛速度与香草SGD时,配备了误差补偿(跟踪内存中的累积误差)。也就是说,沟通可以减少问题的维度的一个因素(有时甚至更多),同时仍然以相同的速度收敛。我们提出了数值实验来说明的理论研究结果和更好的可扩展性的分布式应用程序。
2018-11-28 cs.DC cs.DS cs.LG
Near-Optimal Sparse Allreduce for Distributed Deep Learning
Department of Computer Science, ETH Zurich(计算机科学系,苏黎世联邦理工学院)
本文提出 O$k$-Top$k$ 方案,通过渐近最优的稀疏 allreduce 算法与去中心化 SGD 结合,并利用阈值估计高效选择 top-$k$ 梯度,在保持模型精度的同时显著提升分布式深度学习训练吞吐量和可扩展性。
2025-08-21 cs.DC cs.LG
Complement Sparsification: Low-Overhead Model Pruning for Federated Learning
New Jersey Institute of Technology(新泽西理工学院)
联邦学习(FL)是一种隐私保护的分布式深度学习范例,涉及大量的通信和计算工作,这对于资源受限的移动和IoT设备是一个问题。模型修剪/稀疏化开发了可以解决这个问题的稀疏模型,但是现有的稀疏化解决方案不能同时满足服务器和客户端之间的低双向通信开销、客户端处的低计算开销以及良好的模型准确性的要求,在FL假设下,服务器不能访问原始数据来微调修剪的模型。我们提出了补充稀疏化(CS),修剪机制,满足所有这些要求,通过在服务器和客户端完成的互补和协作修剪。在每一轮,CS创建一个全局稀疏模型,其中包含捕获所有客户端的一般数据分布的权重,而客户端创建局部稀疏模型,其中权重从全局模型中删除,以捕获局部趋势。为了提高模型性能,这两种类型的互补稀疏模型在每一轮中被聚合为密集模型,然后在迭代过程中对其进行修剪。CS在服务器和客户端的vanilla FL之上只需要很少的计算开销。我们证明,CS是香草FL的近似,因此,其模型表现良好。我们评估CS实验与两个流行的FL基准数据集。CS实现大幅减少双向通信,同时实现性能与香草FL。此外,CS优于基线修剪机制FL。
2023-03-10 cs.AI cs.DC cs.LG
Sparse Communication for Training Deep Networks
EPFL(洛桑联邦理工学院)
同步随机梯度下降(SGD)是用于深度学习模型的分布式训练的最常见方法。在该算法中,每个工人与其他工人共享其局部梯度,并使用所有工人的平均梯度更新参数。虽然分布式训练减少了计算时间,但与梯度交换相关联的通信开销形成了算法的可扩展性瓶颈。有许多压缩技术被提出来减少需要传送的梯度的数量。然而,压缩梯度又引入了另一个问题的开销。在这项工作中,我们研究了几种压缩方案,并确定三个关键参数如何影响性能。我们还提供了一组关于如何提高性能的见解,并介绍了一种简单的稀疏化方案,即随机块稀疏化,它减少了通信,同时保持性能接近标准SGD。
2020-09-19 cs.DC cs.LG stat.ML
Rethinking gradient sparsification as total error minimization
KAUST(阿卜杜拉国王科技大学);University of Kansas(堪萨斯大学)
梯度压缩是解决大型深度神经网络(DNN)分布式训练中的通信瓶颈的广泛建立的补救措施。在错误反馈框架下,Top-$k$稀疏化(有时$k$与梯度大小的$0.1\%$一样小)使得能够针对类似的迭代计数训练到与未压缩情况相同的模型质量。从优化的角度来看,我们发现,顶部$k$是通信最佳稀疏给定的每迭代$k$元素预算。我们认为,为了进一步发挥梯度稀疏化的优势,特别是对于DNN,需要一个不同的视角--从每次迭代的最优性转向考虑整个训练的最优性。我们确定总误差-所有迭代的压缩误差之和-在整个训练过程中封装了稀疏化。然后,我们提出了一个通信复杂性模型,使整个训练的通信预算下的总误差最小化。我们发现,硬阈值稀疏,顶部的$k$稀疏与$k$由一个恒定的硬阈值确定的变体,是该模型的最佳稀疏。出于这一动机,我们提供凸和非凸收敛分析的硬阈值稀疏误差反馈。与$k$稀疏算子不同,我们证明了硬阈值在凸情形下具有与SGD相同的渐近收敛性和线性加速比性质,并且在非凸情形下对数据的异质性没有影响.我们在各种DNN和逻辑回归模型上的各种实验表明,硬阈值稀疏器比Top- $k$更有效。
2021-08-02 cs.DC cs.LG math.OC
DEFT: Exploiting Gradient Norm Difference between Model Layers for Scalable Gradient Sparsification
Ajou University(亚洲大学)
本文提出 DEFT 梯度稀疏化方案,通过分区选择、层间梯度范数差异和装箱负载均衡,降低计算与通信开销,并在实验中显著提升选择速度且保持高收敛性能。
2023-07-13 cs.DC cs.LG
Edge-PRUNE: Flexible Distributed Deep Learning Inference
低资源端点设备和边缘服务器之间的协作深度学习推理在过去几年中受到了极大的研究兴趣。这种计算分区可以帮助减少端点设备能耗并改善延迟,但同样重要的是,还有助于保护敏感数据的隐私。本文描述了Edge-PRUNE,一个灵活但轻量级的计算框架,用于在边缘服务器和一个或多个客户端设备之间分发机器学习推理。与以前的方法相比,Edge-PRUNE基于正式的并行计算模型,并且对机器学习训练框架是不可知的,同时为利用深度学习加速器(如嵌入式GPU)提供广泛的支持。本文的实验部分通过两个异构端点设备和一个边缘服务器上的图像分类和对象跟踪应用程序,通过无线和物理连接演示了Edge-PRUNE的使用和性能。例如,通过协作推理,基于SSD-Mobilenet的对象跟踪的端点设备推理时间加快了5.8倍。
2022-04-27 cs.DC
Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning
Pohang University of Science and Technology(浦项科技大学);Korea University(高丽大学)
通过使用分布式优化,可以显著提高复杂深度学习模型的训练效率。然而,这个过程经常被迭代期间工作者和参数服务器之间的大量通信成本所阻碍。为了解决这个瓶颈,在本文中,我们提出了一种新的通信高效算法,该算法提供了稀疏化和符号量化的协同优势,称为${\sf S}^3$ GD-MV。${\sf S}^3$ GD-MV中的工作器选择其本地梯度向量的顶部$K$幅度分量,并且仅将这些分量的符号发送到服务器。然后,服务器聚集这些符号,并通过多数投票规则返回结果。我们的分析表明,在某些温和的条件下,如果基于工人的数量和深度学习模型的大小适当选择稀疏化参数$K$,则${\sf S}^3$ GD-MV可以以与signSGD相同的速率收敛,同时显著降低通信成本。使用独立同分布(IID)和非IID数据集的实验结果表明,${\sf S}^3$ GD-MV达到更高的准确性比signSGD,显着降低通信成本。这些发现突出了${\sf S}^3$ GD-MV作为深度学习中通信高效分布式优化的有前途的解决方案的潜力。
2023-02-15 cs.DC cs.LG math.OC
Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy
针对无线联邦学习中的隐私泄露与通信瓶颈,提出基于梯度稀疏化的框架,在满足差分隐私约束下降低传输开销并保证收敛,实验验证其优于多种基线。
2023-12-21 cs.AI cs.CR cs.DC
Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach
Imperial College London(帝国理工学院);IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
联邦学习(FL)是一种新兴的技术,用于使用由本地实体收集的地理上分散的数据来训练机器学习模型。它包括本地计算和同步步骤。为了减少通信开销并提高FL的整体效率,可以应用梯度稀疏化(GS),其中仅传送梯度的重要元素的一小部分,而不是全部梯度。GS上的现有工作对i.i.d.使用固定的梯度稀疏度。数据中心内的分布式数据。在本文中,我们考虑自适应程度的稀疏性和非独立同分布。本地数据集。我们首先提出了一个公平意识的GS方法,确保不同的客户端提供类似的更新量。然后,以最小化总训练时间为目标,我们提出了一种新的在线学习配方和算法,用于自动确定由梯度稀疏度控制的接近最优的通信和计算权衡。在线学习算法使用目标函数的导数的估计符号,这给出了渐进地等于精确导数可用的情况的遗憾界。真实数据集的实验证实了我们提出的方法的好处,显示了$40\%$在有限的训练时间内模型精度的提高。
2020-03-20 cs.DC cs.LG math.OC
Distributed Learning with Sparse Communications by Identification
在大规模学习的分布式优化中,一个主要的性能限制来自不同实体之间的通信。当计算是由工人对本地数据,而协调机器协调其更新,以最大限度地减少全局损失时,我们提出了一个异步优化算法,有效地减少了协调员和工人之间的通信。这种减少来自于局部更新的随机稀疏化。我们表明,该算法在强凸的情况下线性收敛,并确定最佳的强稀疏解决方案。我们进一步利用这种识别提出了一个自动降维,适当稀疏协调员和工人之间的所有交流。
2020-06-25 cs.DC math.OC
Efficient Asynchronous Federated Learning with Sparsification and Quantization
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Hithink RoyalFlush Information Network Co., Ltd.(同花顺信息服务股份有限公司);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术及产业化协同创新中心);Department of Sciences and Informatics, Muroran Institute of Technology(室兰工业大学科学与信息学系);Boston Consulting Group(波士顿咨询公司)
本文提出TEASQ-Fed,一种结合稀疏化与量化技术的高效异步联邦学习框架,通过主动申请任务、控制并行设备数量、引入缓存机制和加权平均,解决了落后设备和通信瓶颈问题,显著提高了模型准确率并加速了收敛。
2024-01-06 cs.AI cs.DC cs.LG
A Distributed SGD Algorithm with Global Sketching for Deep Learning Training Acceleration
分布式训练是加速大规模深度学习模型训练过程的有效方法。然而,分布式随机梯度下降的参数交换和同步引入了大量的通信开销。梯度压缩是降低通信开销的有效方法。在同步SGD压缩方法中,已经提出了许多基于Top-k稀疏化的梯度压缩方法以减少通信。然而,基于参数服务器的集中式方法存在单点故障问题,可扩展性有限,而全局参数交换的分散式方法可能会降低训练的收敛速度。与基于$k$的方法相比,本文提出了一种基于全局梯度矢量草图的梯度压缩方法--全局草图SGD(global-sketching SGD,gs-SGD)。gs-SGD在深度学习模型上具有更好的收敛效率,通信复杂性为O($\log d*\log P$),其中$d$是模型参数的数量,P是工人的数量。在GPU集群上进行了实验,验证了该方法比全局$k$和基于Sketching的方法具有更好的收敛效率。此外,与gTop- $k$相比,gs-SGD的吞吐量高出1.3- 3.1倍,与原始Sketched-SGD相比,吞吐量高出1.1- 1.2倍。
2021-08-13 cs.DC
Adaptive Compression for Communication-Efficient Distributed Training
KAUST(阿卜杜拉国王科技大学);Institut Polytechnique de Paris(巴黎理工学院);MIPT(莫斯科物理技术学院)
我们提出了自适应压缩梯度下降(AdaCGD)-一种新的优化算法,用于具有自适应压缩级别的监督机器学习模型的通信有效训练。我们的方法受到Richtarik等人(2022)最近提出的三点压缩器(3 PC)框架的启发,其中包括误差反馈(EF 21),惰性聚合梯度(LAG)及其组合作为特例,并在弱假设下提供了这些方法的当前最先进的速率。虽然上述机制提供了固定的压缩级别,或者仅在两个极端之间进行适应,但我们的建议是执行更精细的适应。特别地,我们允许用户选择任意数量的任意选择的压缩压缩机制,例如具有用户定义的稀疏化级别K的Top-K稀疏化,或者具有用户定义的量化级别选择的量化,或者它们的组合。AdaCGD在优化过程中自适应地选择合适的压缩器和压缩级别。除了i)提出一种理论上的多自适应通信压缩机制之外,我们还ii)将3 PC框架扩展到双向压缩,即,我们允许服务器也进行压缩,以及iii)在强凸、凸和非凸设置中提供尖锐的收敛边界。凸政权的结果是新的,即使是我们的一般机制,包括3 PC和EF 21的几个关键的特殊情况。在所有的制度,我们的利率优于所有现有的自适应压缩方法。
2022-10-31 cs.DC cs.IT cs.LG
High Performance I/O For Large Scale Deep Learning
在千万亿次数据集上训练深度学习(DL)模型对于在语音、视频分析和对象识别等应用中实现具有竞争力的最先进性能至关重要。然而,现有的分布式文件系统并不是针对DL作业的访问模式和可用性需求而开发的。在本文中,我们描述了AIStore,一个高度可扩展的,易于部署的存储系统,和WebDataset,一个基于标准的存储格式和库,允许有效地访问非常大的数据集。我们使用图像分类工作负载并在各种后端上存储训练数据,包括本地SSD,单节点NFS和两个相同的裸机集群:HDFS和AIStore,通过实验比较系统性能。
2020-01-07 cs.DC
The Convergence of Sparsified Gradient Methods
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);KTH(瑞典皇家理工学院)
通过随机梯度下降(SGD)对大规模机器学习模型(特别是深度神经网络)进行分布式训练正变得越来越普遍。已经提出了几种减少通信的方法,如量化、大批量方法和梯度稀疏化。到目前为止,梯度稀疏化方法-其中每个节点按大小对梯度进行排序,并且只传递分量的子集,在本地累积其余分量-被称为产生一些最大的实际收益。这种方法可以将每步的通信量减少多达三个数量级,同时保持模型的准确性。然而,这一系列的方法目前还没有理论依据。这就是我们在本文中要解决的问题。我们证明,在分析假设下,稀疏梯度的幅度与局部误差校正提供了收敛保证,凸和非凸光滑的目标,数据并行SGD。主要的见解是,稀疏化方法隐式地保持了陈旧更新的最大影响的界限,这要归功于按大小选择。我们的分析和实证验证也表明,这些方法确实需要分析条件收敛良好,证明现有的算法。
2018-09-27 cs.DC cs.LG stat.ML
Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization
Pillar of Information Systems Technology and Design(信息系统技术与设计学院);School of Information Science and Engineering(信息科学与工程学院);School of Cyber Science and Engineering(网络安全科学与工程学院);National Mobile Communications Research Laboratory(国家移动通信研究实验室);School of Electronic and Optical Engineering(电子与光学工程学院);School of Electronics, Electrical Engineering and Computer Science (EEECS)(电子、电气工程与计算机科学学院);Data61, CSIRO(Data61,CSIRO);Department of Electronics Engineering(电子工程系);Department of Electrical and Computer Engineering(电气与计算机工程系)
针对FedAdam上行通信开销三倍于FedSGD的问题,本文提出FedAdam-SSM算法,通过共享稀疏掩码同时稀疏化模型参数与矩估计更新,并从理论上优化掩码以缓解性能下降,实验表明其在收敛速度和测试准确率上均显著优于稀疏及量化FedAdam基线。
2025-09-19 cs.DC cs.LG
Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction
AXXX;Applied AI Institute(应用人工智能研究所)
本文研究了在经典联邦学习设置中集中式分布式优化的可扩展性,证明了即使在同质情况下,使用无偏随机稀疏化压缩器也无法在多项式对数级别内改进服务器端通信运行时间与方差依赖运行时间。
2026-03-28 cs.DC cs.LG math.OC
LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对分布式学习中通信瓶颈,提出LoCoDL算法,结合本地训练与压缩,在异构强凸环境下实现双重加速通信复杂度,并优于现有算法。
2025-02-28 cs.DC cs.LG math.OC
O(1) Communication for Distributed SGD through Two-Level Gradient Averaging
Florida State University(佛罗里达州立大学)
大型神经网络模型对分布式随机梯度下降(SGD)提出了巨大的通信挑战,对于n个参数的模型,每个工作者的通信复杂性为O(n)。已经提出了许多稀疏化和量化技术来压缩梯度,其中一些将通信复杂性降低到O(k),其中k <<n。在本文中,我们引入了一种称为两级梯度平均(A2SGD)的策略,在计算更新模型的两个全局平均值之前,将所有梯度合并为每个工人的两个局部平均值。A2SGD还保留了局部误差,以保持快速收敛的方差。我们的理论分析表明,A2SGD收敛类似于默认的分布式SGD算法。我们的评估验证了理论结论,并表明A2SGD显着降低了每个工人的通信流量,并将LSTM-PTB的总体训练时间分别提高了3.2倍和23.2倍,与Top-K和QSGD相比。据我们所知,A2 SGD是第一个实现O(1)通信复杂性的分布式SGD。
2020-06-16 cs.DC cs.LG stat.ML
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
最近深度神经网络的规模增加了许多倍,这使得高效的分布式训练变得具有挑战性。许多建议利用梯度的可压缩性,并提出有损压缩技术来加速分布式训练的通信阶段。然而,压缩是以降低模型质量和额外计算开销为代价的。在这项工作中,我们设计了一个高效的压缩机,以最小的开销。注意到稀疏的梯度,我们建议建模的梯度作为随机变量分布根据一些稀疏诱导分布(SID)。我们通过研究训练过程中梯度向量演变的统计特性来实证验证我们的假设。然后,我们提出了基于稀疏诱导分布的压缩(SIDCo),这是一种基于阈值的稀疏化方案,它与深度梯度压缩(DGC)具有相似的阈值估计质量,同时通过降低压缩开销来提高速度。我们对涉及递归神经网络(RNN)和卷积神经网络(CNN)模型的流行机器学习基准进行了广泛的评估,结果显示,与无压缩基线、Topk和DGC压缩器相比,SIDCo分别将训练速度提高了41:7%、7:6%和1:9%。
2021-03-17 cs.DC cs.LG
Distributed Learning Systems with First-order Methods
University of Rochester(罗切斯特大学);ETH Zurich(苏黎世联邦理工学院)
可扩展和高效的分布式学习是机器学习和人工智能最近快速发展的主要驱动力之一。这一主题的一个突出特点是,研究人员在两个社区取得了最新进展:(1)系统社区,如数据库,数据管理和分布式系统,(2)机器学习和数学优化社区。这两个社区之间的互动和知识共享导致了新的分布式学习系统和理论的快速发展。在这项工作中,我们希望简要介绍最近开发的一些分布式学习技术,即有损通信压缩(例如,量化和稀疏化)、异步通信和分散式通信。这项工作的一个特别重点是确保它可以很容易地被两个社区的研究人员理解-在系统方面,我们依赖于一个简化的系统模型,隐藏了许多系统细节,这些细节对于系统加速背后的直觉来说是不必要的;而在理论方面,我们依赖于最小的假设,并大大简化了最近一些工作的证明,以获得可比的结果。
2021-04-12 cs.DB cs.DC cs.LG
TAGC: Optimizing Gradient Communication in Distributed Transformer Training
ITMO University(ITMO大学);VK Lab(VK实验室)
本文提出TAGC算法,通过分层选择性压缩和动态稀疏化优化Transformer分布式训练中的梯度通信,在PyTorch FSDP框架下实现最高15%的训练加速且对模型质量影响极小。
2025-04-08 cs.DC cs.LG
Towards Scalable Distributed Training of Deep Learning on Public Cloud Clusters
The Hong Kong University of Science and Technology(香港科技大学);Tencent Ltd.(腾讯有限公司);University of Michigan(密歇根大学);Hong Kong Baptist University(香港浸会大学)
分布式训练技术已被广泛部署在密集GPU集群上的大规模深度神经网络(DNN)训练中。然而,在公有云集群上,由于实例之间的互连带宽适中,传统的最先进的分布式训练系统在训练大规模模型时无法很好地扩展。在本文中,我们提出了一个新的计算和通信高效的top-k稀疏通信库的分布式训练。为了进一步提高系统的可扩展性,我们提出了一个简单而有效的多级数据缓存机制优化I/O和优化更新操作,通过引入一种新的并行张量操作。在16节点的腾讯云集群(每个节点8颗Nvidia Tesla V100 GPU)上的实验结果表明,我们的系统在CNN和Transformer上的速度比现有最先进的系统快25%-40%。我们终于打破了DAWNBench在训练ResNet上的记录-ImageNet上的前5名准确率达到50%至93%。
2020-10-20 cs.AI cs.DC
Distributed Learning with Sublinear Communication
Cornell University(康奈尔大学);MIT(麻省理工学院)
在分布式统计学习中,$N$样本在$m$机器上被分割,并且学习者希望使用最少的通信来学习,就像示例在单个机器上一样。该模型由于其可扩展性和并行加速的潜力而在机器学习中受到了极大的关注。然而,在高维设置中,其中示例的数量小于特征的数量(“维度”),分布式学习提供的加速可能会被传达单个示例的成本所掩盖。本文探讨了以下问题:当它是可能的学习$d$维模型在分布式设置与总通信次线性$d$?从一个否定的结果,我们表明,学习$\ell_1$有界或稀疏线性模型,没有算法可以获得最佳的错误,直到通信是线性的维度。我们的主要结果是,通过稍微放松线性模型的标准有界性假设,我们可以得到分布式算法,享受最佳的误差与通信对数的维度。这个结果是基于一个家庭的算法,结合镜像下降与随机稀疏化/量化的迭代,并扩展到一般的随机凸优化模型。
2019-03-18 cs.DC cs.LG stat.ML
3LC: Lightweight and Effective Traffic Compression for Distributed Machine Learning
Carnegie Mellon University(卡内基梅隆大学);Intel Labs(英特尔实验室)
分布式机器学习(ML)的性能和效率在很大程度上取决于节点交换状态更改所需的时间。过度积极地尝试减少通信通常会牺牲最终模型的准确性,并需要额外的ML技术来补偿这种损失,从而限制了它们的通用性。一些减少通信的尝试会导致高计算开销,这使得它们的性能优势仅在慢速网络上可见。我们提出了3LC,一个有损压缩计划的状态变化流量,罢工之间的平衡多个目标:流量减少,准确性,计算开销,和一般性。它结合了三种新的技术-3值量化与稀疏乘法、四次编码和零游程编码-以利用量化和稀疏化技术的优势并避免它们的缺点。它实现了高达39- 107倍的数据压缩比,几乎与训练模型相同的测试精度,以及较高的压缩速度。分布式ML框架可以使用3LC,而无需修改现有的ML算法。我们的实验表明,与TensorFlow的基线设计相比,3LC将基于ResNet-110的图像分类器在10 GPU集群上用于CIFAR-10的挂钟训练时间减少了16- 23倍。
2018-02-21 cs.DC cs.LG stat.ML
Unbiased Single-scale and Multi-scale Quantizers for Distributed Optimization
Indian Institute of Science(印度科学学院)
海量的数据导致了大规模机器学习模型在单个工人身上的训练效率低下。分布式机器学习方法,如Sparkel-SGD,作为解决这个问题的解决方案,已经受到了极大的关注。然而,由于用于同步梯度和参数的高网络通信成本,分布式系统的性能不随工人的数量线性地缩放。研究人员已经提出了量化和稀疏化等技术,通过压缩梯度来缓解这个问题。大多数压缩方案产生的压缩梯度不能直接与诸如all-reduce之类的高效协议聚合。在本文中,我们提出了一套全减少兼容的梯度压缩方案,显着减少通信开销,同时保持性能的香草SGD。我们提出了我们的实验结果与CIFAR 10数据集和观察过程中得出的。我们的压缩方法比深度学习框架目前提供的内置方法性能更好。代码可在存储库中获得:\url{https://github.com/vineeths96/Gradient-Compression}。
2022-03-30 cs.DC cs.IT cs.LG
Communication-Efficient and Byzantine-Robust Distributed Learning with Error Feedback
Halicioglu Data Science Institute, UC San Diego(哈利乔格鲁数据科学研究所,加州大学圣迭戈分校);UC Berkeley(加州大学伯克利分校);UMass Amherst(马萨诸塞大学阿默斯特分校);EECS department, UC Berkeley(加州大学伯克利分校电子工程与计算机科学系)
我们开发了一个通信高效的分布式学习算法,是强大的拜占庭工人机器。我们提出并分析了一个分布式梯度下降算法,执行一个简单的阈值的基础上梯度规范,以减轻拜占庭故障。我们证明了我们算法的(统计)错误率与Yin等人的算法相匹配。\cite{dong},它使用更复杂的方案(坐标系中位数,修剪均值)。此外,为了提高通信效率,我们考虑了Karimireddi等人的一类通用的$δ$ -近似压缩器。\cite{errorfeed},包含基于符号的压缩器和顶部$k$稀疏化。我们的算法分别使用压缩梯度和梯度范数进行聚集和拜占庭移除。我们建立了非凸光滑损失函数的统计出错率。结果表明,在压缩因子$δ$的一定范围内,压缩操作对收敛速度没有影响。此外,我们分析了压缩梯度下降算法与错误反馈(提出在\cite{errorfeed})在分布式设置和拜占庭工人机器的存在。我们发现,利用错误反馈提高了统计出错率。最后,我们通过实验验证了我们的结果,并显示出良好的性能在凸(最小二乘回归)和非凸(神经网络训练)问题的收敛。
2021-08-14 cs.DC cs.LG stat.ML
On the Discrepancy between the Theoretical Analysis and Practical Implementations of Compressed Communication for Distributed Deep Learning
INRA(法国国家农业研究院);KAUST(阿卜杜拉国王科技大学)
采用稀疏化或随机梯度量化形式的压缩通信来降低深度神经网络的分布式数据并行训练中的通信成本。然而,理论和实践之间存在差异:虽然大多数现有压缩方法的理论分析假设压缩应用于整个模型的梯度,但许多实际实现单独操作模型的每一层的梯度。在本文中,我们证明了逐层压缩,在理论上,更好的,因为收敛速度的上限是整个模型压缩的范围广泛的有偏和无偏压缩方法。然而,尽管有理论上的限制,我们对六种著名方法的实验研究表明,在实践中,收敛性可能会更好,也可能不会更好,这取决于实际的训练模型和压缩比。我们的研究结果表明,深度学习框架支持逐层和整个模型压缩是有利的。
2019-11-19 cs.DC cs.LG math.OC
Escaping Saddle Points in Distributed Newton's Method with Communication Efficiency and Byzantine Resilience
UCSD(加州大学圣迭戈分校);UMass Amherst(马萨诸塞大学阿默斯特分校);UC Berkeley(加州大学伯克利分校)
在大规模分布式学习框架(如联邦学习)中,非凸优化的鞍点避免问题具有相当大的挑战性,特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式(非分布式)设置中避免鞍点的最优雅的方法之一。在本文中,我们扩展的正则化牛顿方法的分布式框架,同时解决一些实际的挑战,如通信瓶颈和拜占庭攻击。注意,在拜占庭机器存在的情况下,鞍点避免的问题变得更加关键,因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima},也称为鞍点攻击。作为一个二阶算法,我们的迭代复杂度比一阶算法低得多。此外,我们使用压缩(或稀疏化)技术,如$δ$ -近似压缩通信效率。我们获得了理论保证,我们提出的计划下的几个设置,包括近似(二次采样)梯度和海森。此外,我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果,并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
2021-12-25 cs.DC cs.LG math.OC
MAST: Model-Agnostic Sparsified Training
King Abdullah University of Science and Technology(卡布斯大学)
MAST 提出了一种模型无关的稀疏训练方法,通过引入预训练模型和随机草图算子,实现模型和梯度的稀疏化,改进了收敛速率并拓展了应用范围。
2026-01-06 cs.AI cs.DC cs.LG
Distributed Hierarchical GPU Parameter Server for Massive Scale Deep Learning Ads Systems
Baidu Research(百度研究院);Baidu Inc.(百度公司)
广告系统的神经网络通常从多个资源获取输入,查询广告相关性、广告特征和用户画像。这些输入被编码为一热或多热二进制特征,每个示例通常只有一小部分非零特征值。在线广告行业中的深度学习模型可能具有TB级的参数,这些参数不适合计算节点上的GPU内存或CPU主内存。例如,赞助的在线广告系统可以包含多于$10^{11}$的稀疏特征,使得神经网络成为具有大约10 TB参数的大规模模型。本文介绍了一种面向大规模深度学习广告系统的分布式GPU层次化参数服务器。我们提出了一个分层的工作流程,利用GPU高带宽内存,CPU主内存和SSD作为3层分层存储。所有的神经网络训练计算都包含在GPU中。在真实数据上的大量实验证实了该系统的有效性和可扩展性。在MPI集群中,4节点分层GPU参数服务器可以比150节点内存中分布式参数服务器快2倍以上训练模型。此外,我们提出的系统的性价比是4-9倍优于MPI集群解决方案。
2020-03-12 cs.DC cs.LG stat.ML
Learned Gradient Compression for Distributed Deep Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec
在包含高维数据的大型数据集上训练深度神经网络需要大量的计算。这个问题的一个解决方案是数据并行分布式训练,其中模型被复制到几个可以访问不同数据块的计算节点中。然而,这种方法需要高的通信速率和延迟,因为计算的梯度需要在每次迭代时在节点之间共享。在节点之间存在无线通信的情况下(即,由于有限的网络带宽),该问题变得更加明显。为了解决这个问题,已经提出了各种压缩方法,包括稀疏化、量化和梯度的熵编码。现有方法利用节点内信息冗余,即它们独立地压缩每个节点处的梯度。相反,我们主张跨节点的梯度是相关的,并提出了利用这种节点间冗余来提高压缩效率的方法。根据节点通信协议(参数服务器或环allreduce),我们提出了两个实例的LGC方法,我们硬币学习梯度压缩(LGC)。我们的方法利用自动编码器(即在分布式训练的第一阶段进行训练)来捕获分布式节点梯度中存在的共同信息。我们已经使用不同的卷积神经网络(ResNet50,ResNet101,PSPNet)和多个数据集(ImageNet,Cifar10,CamVid)在图像分类和语义分割任务上测试了我们的LGC方法。在Cifar 10上训练的用于图像分类的ResNet 101模型达到了93.57%的准确率,这比使用未压缩梯度的基线分布式训练仅低0.18%。
2021-03-17 cs.AI cs.DC cs.LG
An All-Reduce Compatible Top-K Compressor for Communication-Efficient Distributed Learning
Peking University(北京大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学)
提出 ARC-Top-K 压缩器,通过梯度草图对齐稀疏模式实现无索引 All-Reduce,兼顾 Top-K 性能与 Rand-K 鲁棒性,训练时间最多减少 60.7%。
2025-11-04 cs.DC cs.LG
Distributed Second Order Methods with Fast Rates and Compressed Communication
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们开发了几个新的通信有效的二阶方法的分布式优化。我们的第一种方法,牛顿之星,是一个变种牛顿的方法,它继承了其快速的本地二次速率。然而,与牛顿的方法不同,NEWTON-STAR享有与梯度下降相同的每次迭代通信成本。虽然这种方法是不切实际的,因为它依赖于使用某些未知的参数,其特征在于在最佳的目标函数的Hessian,它作为起点,使我们能够设计其具有强有力的理论保证的实际变体。特别是,我们设计了一个随机稀疏化策略,以迭代的方式学习未知参数的通信有效的方式。将此策略应用于NEWTON-STAR导致我们的下一个方法,NEWTON-LEARN,为此我们证明了与条件数无关的局部线性和超线性速率。在适用的情况下,与最先进的方法相比,该方法可以具有显著优越的收敛行为。最后,我们使用立方正则化开发了一个全球化策略,这导致了我们的下一个方法,CUBIC-NEWTON-LEARN,我们证明了全局次线性和线性收敛速度,以及快速的超线性速度。我们的研究结果与真实数据集上的实验结果相支持,并在通信复杂性方面显示了基线和最先进方法的几个数量级改进。
2021-02-14 cs.DC cs.LG math.OC
Sparse Binary Compression: Towards Distributed Deep Learning with minimal Communication
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
目前,越来越大的深度神经网络是在不断增长的数据语料库上训练的。由于这种趋势在未来只会增加,分布式训练方案变得越来越重要。分布式训练中的一个主要问题是贡献节点之间有限的通信带宽或通常过高的通信成本。随着计算节点数量的增加,这些挑战变得更加紧迫。为了抵消这种发展,我们提出了稀疏二进制压缩(SBC),一个压缩框架,可以大大减少分布式训练的通信成本。SBC将现有的通信延迟和梯度稀疏化技术与新的二值化方法和最佳权重更新编码相结合,将压缩增益推向新的极限。通过这样做,我们的方法还允许我们平滑地权衡梯度稀疏性和时间稀疏性,以适应学习任务的要求。我们的实验表明,SBC可以将各种卷积和递归神经网络架构上的上游通信减少四个数量级以上,而不会显著损害前向-后向传递的收敛速度。例如,我们可以在ImageNet上使用$\times 3531$更少的位以相同的迭代次数将ResNet训练到基线精度,或者使用$\times 37208$更少的位将其训练到$1\%$更低的精度。在后一种情况下,每个参与客户端所需的上行通信总量从125 TB减少到3.35 GB。
2018-05-22 cs.AI cs.DC cs.LG
Evaluation and Optimization of Gradient Compression for Distributed Deep Learning
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Baptist University(香港浸会大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有梯度压缩方法与S-SGD系统优化不兼容的问题,提出交替压缩低秩矩阵的ACP-SGD方法,可兼容系统优化,在保证精度的同时实现显著加速。
2023-06-15 cs.DC cs.LG
Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor
Moscow Institute of Physics and Technology(莫斯科物理技术学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
为了减轻分布式和联邦学习中的高通信成本,各种矢量压缩方案,例如量化、稀疏化和抖动,已经变得非常流行。在设计压缩方法时,目的在于尽可能少地传送比特,这最小化每通信回合的成本,而同时试图对所传送的消息赋予尽可能少的失真(变化),这最小化压缩对通信回合的总数的不利影响。然而,直觉上,这两个目标从根本上是冲突的:我们允许的压缩越多,信息就变得越扭曲。我们形式化这种直觉,并证明了随机压缩算子的{ \em不确定性原理},从而在数学上量化了这种限制,{ \em有效地提供了渐近紧的下限上可能实现的通信压缩}。受这些发展的启发,我们呼吁寻找最佳的压缩算子。在尝试采取在这个方向上的第一步,我们考虑一个无偏的压缩方法的启发Kashin表示的向量,我们称之为{ \em Kashin压缩(KC)}。与所有先前提出的压缩机制相比,KC享有{ \em维度独立}方差界,即使在每个向量条目仅需要传送几个比特的情况下,我们也推导出明确的公式。
2021-01-26 cs.DC cs.IT cs.LG
FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization
University of Glasgow(格拉斯哥大学);Hunan University(湖南大学)
FedDIP结合动态剪枝与增量正则化,在联邦学习中实现极端稀疏性,减少参数交换,保持高精度,性能优于现有方法。
2023-09-13 cs.AI cs.DC cs.LG
From RDMA to RDCA: Toward High-Speed Last Mile of Data Center Networks Using Remote Direct Cache Access
本文通过系统的测量研究表明,现代分布式应用的高内存带宽消耗会导致高速RDMA网络中网络吞吐量的显著下降和尾部延迟的大幅增加,其根本原因是应用进程和网络进程之间的高内存带宽竞争。这种争用导致接收主机的NIC处频繁的数据包丢弃,这触发了网络的拥塞控制机制,并最终导致网络性能下降。为了解决这个问题,我们进行了一个关键的观察,即给定分布式存储服务,它从网络接收的绝大多数数据最终将被写入高速存储介质(例如,SSD)的CPU。因此,我们建议在处理接收到的数据时绕过主机内存,以完全规避此性能瓶颈。特别是,我们设计了Lamda,一种新型的接收器缓存处理系统,消耗少量的CPU缓存来处理从网络中接收到的数据线速率。我们实现了一个原型的Lamda和评估其性能广泛的Clos为基础的测试平台。实验结果表明,在分布式存储应用中,Lamda在存储节点内存带宽消耗为零的情况下,网络吞吐量提高了4.7%,在内存带宽压力下,大数据块和小数据块的网络吞吐量分别提高了17%和45%。Lamda还可以应用于延迟敏感的HPC应用程序,将其通信延迟降低35.1%。
2023-03-25 cs.DC cs.NI