MergeComp: A Compression Scheduler for Scalable Communication-Efficient Distributed Training
Rice University(莱斯大学)
大规模的分布式训练越来越受到通信的限制。许多梯度压缩算法已经被提出来减少通信开销和提高可扩展性。然而,已经观察到,在某些情况下,梯度压缩甚至可能损害分布式训练的性能。在本文中,我们提出了MergeComp,压缩调度器,以优化通信高效的分布式训练的可扩展性。它自动安排压缩操作,以优化压缩算法的性能,而无需了解模型架构或系统参数。我们已经将MergeComp应用于九种流行的压缩算法。我们的评估表明,MergeComp可以将压缩算法的性能提高高达3.83倍,而不会损失准确性。它甚至可以在高速网络上实现高达99%的分布式训练比例。
2021-03-28 cs.DC cs.LG
BiCoLoR: Communication-Efficient Optimization with Bidirectional Compression and Local Training
King Abdullah University of Science and Technology (KAUST)(卡斯特大学)
BiCoLoR通过结合双向压缩和局部训练,实现了通信高效的分布式优化,适用于凸和强凸异构场景。
2026-01-18 cs.LG math.OC
Adaptive Compression for Communication-Efficient Distributed Training
KAUST(阿卜杜拉国王科技大学);Institut Polytechnique de Paris(巴黎理工学院);MIPT(莫斯科物理技术学院)
我们提出了自适应压缩梯度下降(AdaCGD)-一种新的优化算法,用于具有自适应压缩级别的监督机器学习模型的通信有效训练。我们的方法受到Richtarik等人(2022)最近提出的三点压缩器(3 PC)框架的启发,其中包括误差反馈(EF 21),惰性聚合梯度(LAG)及其组合作为特例,并在弱假设下提供了这些方法的当前最先进的速率。虽然上述机制提供了固定的压缩级别,或者仅在两个极端之间进行适应,但我们的建议是执行更精细的适应。特别地,我们允许用户选择任意数量的任意选择的压缩压缩机制,例如具有用户定义的稀疏化级别K的Top-K稀疏化,或者具有用户定义的量化级别选择的量化,或者它们的组合。AdaCGD在优化过程中自适应地选择合适的压缩器和压缩级别。除了i)提出一种理论上的多自适应通信压缩机制之外,我们还ii)将3 PC框架扩展到双向压缩,即,我们允许服务器也进行压缩,以及iii)在强凸、凸和非凸设置中提供尖锐的收敛边界。凸政权的结果是新的,即使是我们的一般机制,包括3 PC和EF 21的几个关键的特殊情况。在所有的制度,我们的利率优于所有现有的自适应压缩方法。
2022-10-31 cs.DC cs.IT cs.LG
Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation
Institut Polytechnique de Paris(巴黎理工学院);JD Explore Academy(京东探索研究院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
尽管牛顿型方法的计算和通信成本很高,但由于其对病态凸问题的鲁棒性,牛顿型方法仍然是分布式训练的一个有吸引力的选择。在这项工作中,我们研究了曲率信息的压缩和聚合机制,以减少这些成本,同时保持理论上优越的局部收敛保证。我们证明了Richtarik等人[2022]最近开发的用于梯度通信的三点压缩器(3 PC)类也可以推广到Hessian通信。这个结果开启了各种各样的通信策略,例如压缩压缩和惰性聚合,可用于我们的处理以压缩代价高昂的曲率信息。此外,我们发现了几个新的3 PC机制,如自适应阈值和伯努利聚合,这需要减少通信和偶尔的海森计算。此外,我们扩展和分析我们的双向通信压缩和部分设备参与设置的方法,以满足在联邦学习的应用程序的实际考虑。对于我们所有的方法,我们得到快速的条件数独立的局部线性和/或超线性收敛速度。最后,通过对凸优化问题的大量数值评估,我们说明了我们设计的方案与使用二阶信息的几个关键基线相比,实现了最先进的通信复杂性。
2022-06-07 cs.LG math.OC
Stochastic Controlled Averaging for Federated Learning with Communication Compression
LinkedIn(领英);University of Pennsylvania(宾夕法尼亚大学)
针对压缩联邦学习在数据异构、部分参与和压缩误差条件下的性能瓶颈,提出高效随机受控平均实现及 SCALLION、SCAFCOM 两种算法,将上行通信成本减半并取得更优复杂度与实验表现。
2024-04-09 cs.DC cs.LG math.OC
Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
针对非光滑非凸分布式优化问题,提出统一框架整合多种带压缩的随机次梯度方法,证明全局收敛性,并开发基于符号正则化和梯度跟踪动量的新方法。
2026-07-03 cs.AI cs.LG math.OC
On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks
Rice University(莱斯大学)
研究静态有向图上具有压缩通信的分散一致性和随机最优化问题。我们提出了一个迭代的基于梯度的算法,压缩消息根据所需的压缩比。所提出的方法可证明减少了网络上的通信开销,在每一个通信轮。与现有文献相反,我们允许任意的压缩比在通信的消息。我们显示了一个线性收敛速率所提出的方法的共识问题。此外,我们提供了明确的收敛速度分散随机最优化问题的光滑函数是(i)强凸,(ii)凸,或(iii)非凸。最后,我们提供了数值实验来说明在任意压缩比下的收敛性和我们的算法的通信效率。
2022-04-18 cs.LG cs.MA cs.SY
CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation
National University of Defense Technology(国防科技大学)
通信开销是分布式训练的关键挑战。梯度压缩是一种广泛使用的减少通信流量的方法。梯度压缩技术与流水线等并行通信机制相结合,可以大大减轻通信开销的影响。然而,梯度压缩技术存在两个问题需要解决。首先,梯度压缩带来了额外的计算成本,这将延迟下一次训练迭代。其次,梯度压缩通常会导致收敛精度的下降。
2021-09-07 cs.DC cs.LG
LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对分布式学习中通信瓶颈,提出LoCoDL算法,结合本地训练与压缩,在异构强凸环境下实现双重加速通信复杂度,并优于现有算法。
2025-02-28 cs.DC cs.LG math.OC
PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning
EPFL(洛桑联邦理工学院)
有损梯度压缩已成为克服机器学习模型集中协调分布式训练中通信瓶颈的实用工具。然而,在任意连接的网络上使用压缩通信进行分散训练的算法更加复杂,需要额外的内存和超参数。我们介绍了一个简单的算法,直接压缩相邻工人之间的模型差异使用低秩线性压缩器应用于模型差异。受集中式深度学习的PowerSGD算法的启发,该算法使用幂迭代步骤来最大化每比特传输的信息。我们证明了我们的方法不需要额外的超参数,收敛速度比以前的方法,是渐近独立的网络和压缩。开箱即用,这些压缩器在一系列深度学习基准测试中的表现与最先进的调优压缩算法不相上下。
2020-10-19 cs.DC cs.LG math.OC
Optimal Rate Adaption in Federated Learning with Compressed Communications
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);School of Computing, Faculty of Science and Engineering, Macquarie University(麦考瑞大学科学与工程学院计算机学院);Peng Cheng Laboratory(鹏城实验室);School of Computing Science, Simon Fraser University(西蒙弗雷泽大学计算科学学院)
联邦学习(FL)会产生很高的通信开销,这可以通过模型更新压缩来大大缓解。然而,在网络环境中的压缩和模型精度之间的权衡仍然不清楚,为了简单起见,大多数实现仅采用固定的压缩率。在本文中,我们第一次系统地研究这种权衡,确定压缩误差对最终模型精度的影响相对于学习率。具体来说,我们的因素的压缩误差的每个全球迭代到收敛速度分析下的强凸和非凸损失函数。然后,我们提出了一个自适应框架,以最大限度地提高最终模型的准确性,通过战略性地调整压缩率在每次迭代。我们已经讨论了我们的框架在实际网络中具有代表性的压缩算法的关键实现问题。在流行的MNIST和CIFAR-10数据集上的实验证实,我们的解决方案有效地减少了网络流量,同时保持了FL中的高模型精度。
2021-12-13 cs.IT cs.LG math.IT
Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学);MetaCarbon Inc.(元碳公司);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文研究通信压缩分布式随机优化的性能极限,在六类设置下建立收敛下界,并提出近优算法 NEOLITHIC,在温和条件下达到仅差对数因子的下界。
2025-03-18 cs.DC cs.LG math.OC
Bayes-Sufficient Compression Is Not Enough: How Does Communication Help Multi-Agent Systems?
University of Arizona(亚利桑那大学);Hong Kong Baptist University(香港浸会大学);Amazon Web Services(亚马逊云服务)
本文提出接收者相对有界协调框架,证明贝叶斯充分压缩不足,通过三阶段分解和单交叉条件,指导推理时选择器在准确率与成本间优化通信。
2026-10-06 cs.IT cs.LG cs.MA
CANITA: Faster Rates for Distributed Convex Optimization with Communication Compression
KAUST(阿卜杜拉国王科技大学)
由于分布式和联邦学习中的高通信成本,依赖于压缩通信的方法变得越来越流行。此外,理论上和实际上性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少通信的数量(更快的收敛),例如,Nesterov的加速梯度下降(Nesterov,1983,2004)和Adam(Kingma和Ba,2014)。为了结合通信压缩和收敛加速的优点,我们提出了一种基于ANITA(Li,2021)的\emph{compressed and accelerated}梯度方法用于分布式优化,我们称之为CANITA。我们的CANITA实现了\emph{first accelerated rate} $O\bigg(\sqrt{\Big(1+\sqrt{\frac{ω^3}{n}}\Big)\frac{L}ε} + ω\big(\frac{1}ε\big)^{\frac{1}{3}}\bigg)$,其改进了DIANA的现有技术的非加速速率$O\left((1+\fracω{n})\frac{L}ε + \frac{ω^2+ω}{ω+n}\frac{1}ε\right)$(Khaled等人,2020),其中$ε$是目标误差,$L$是目标的平滑参数,$n$是机器/设备的数量,$ω$是压缩参数(较大的$ω$意味着可以应用更多的压缩,没有压缩意味着$ω=0$)。我们的研究结果表明,只要设备$n$的数量很大(在分布式/联邦学…
2021-11-07 cs.DC cs.DS cs.LG
Task-Oriented Data Compression for Multi-Agent Communications Over Bit-Budgeted Channels
University of Luxembourg(卢森堡大学);Centre for Security Reliability and Trust(安全、可靠性与信任中心)
机器间通信的各种应用正在兴起。无论是自动驾驶汽车还是万物互联,机器都比以往任何时候都更加紧密地连接在一起,以提高它们完成给定任务的性能。在传统的通信中,目标往往是重建基本信息,而在新兴的面向任务的范式下,通信的目标是使接收端能够做出更明智的决定或更精确的估计/计算。出于这些最新的发展,在本文中,我们进行了间接设计的通信在多智能体系统(MAS)中,代理合作,以最大限度地提高平均折扣的一个阶段的奖励合作任务的总和。由于代理之间的比特预算通信,每个代理应该有效地表示其本地观察和通信的抽象版本的观察,以提高协作任务的性能。我们首先表明,这个问题可以近似为一种形式的数据量化问题,我们称之为面向任务的数据压缩(TODC)。然后,我们引入状态聚合信息压缩算法(SAIC)来解决制定的TODC问题。结果表明,SAIC是能够实现接近最优的性能方面所取得的折扣奖励的总和。将该算法应用于几何一致性问题,并将其性能与几个基准进行了比较。数值实验证实了这种间接设计方法的承诺面向任务的多智能体通信。
2023-01-04 cs.IT cs.LG cs.MA
Decentralized Composite Optimization with Compression
Michigan State University(密歇根州立大学);Alibaba (US) Group(阿里巴巴(美国)集团)
去中心化优化和通信压缩在实践中通过缓解通信瓶颈来加速分布式机器学习方面展现了巨大的潜力。现有的具有通信压缩的分散算法大多集中在只有光滑分量的问题上,本文研究了具有潜在非光滑分量的分散随机复合优化问题。在一般随机环境和有限和环境下,提出了一种\underline{Prox}梯度\underline{L} in \underline{EA} r收敛的压缩\underline{D}分散算法Prox-LEAD.我们的理论表明,Prox-LEAD工作在任意的压缩精度,它大大降低了通信成本几乎是免费的。通过与现有算法在收敛复杂度和数值实验方面的比较,证明了所提算法的优越性。我们的算法框架也普遍启发压缩通信的其他原始对偶算法,减少不精确的迭代,这可能是独立的利益的影响。
2021-08-12 cs.DC cs.LG math.OC
Resource Allocation for Compression-aided Federated Learning with High Distortion Rate
Sejong University(世宗大学);Pusan National University(釜山国立大学)
最近,已经进行了大量的工作来解决联邦学习(FL)中的通信负担(例如,模型量化、数据稀疏化和模型压缩)。然而,现有的方法,提高FL的通信效率,导致通信效率和全局收敛速度之间的相当大的权衡。我们为压缩辅助FL制定了一个优化问题,该问题捕获了失真率、参与物联网设备数量和收敛率之间的关系。然后,目标函数是最小化FL收敛的总传输时间。由于问题是非凸的,我们建议将其分解成子问题。基于FL模型的属性,我们首先确定参与FL过程的IoT设备的数量。然后,通过基于联盟游戏有效地分配无线资源来优化IoT设备和服务器之间的通信。我们的理论分析表明,通过主动控制参与物联网设备的数量,我们可以避免压缩辅助FL的训练发散,同时保持通信效率。
2022-06-02 cs.AI cs.IT cs.LG
Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top
MBZUAI(穆罕默德·本·扎耶德人工智能大学);MIPT(莫斯科物理技术学院);Mila & UdeM(米拉研究所与蒙特利尔大学);KAUST(阿卜杜拉国王科技大学)
由于协作学习和联邦学习的兴趣日益增长,拜占庭鲁棒性已经获得了很多关注。然而,许多富有成效的方向,如使用方差减少实现鲁棒性和通信压缩,以减少通信成本,仍然在该领域的薄弱探索。这项工作解决了这个差距,并提出了Byz-VR-MARINA -一个新的拜占庭宽容的方法,减少方差和压缩。我们的论文的一个关键信息是,方差减少是更有效地打击拜占庭工人的关键。同时,通信压缩是一个额外的好处,使该过程更有效的通信。我们得到理论上的收敛保证Byz-VR-MARINA优于以前的国家的最先进的一般非凸和Polyak-Lojasiewicz损失函数。不像并发拜占庭强大的方法与方差减少和/或压缩,我们的复杂性的结果是紧密的,不依赖于限制性的假设,如有界的梯度或有限的压缩。此外,我们提供了第一次分析的拜占庭宽容的方法,支持非均匀采样的随机梯度。数值实验证实了我们的理论研究结果。
2023-03-08 cs.DC cs.LG math.OC
BICompFL: Stochastic Federated Learning with Bi-Directional Compression
Technical University of Munich(慕尼黑工业大学);Israel Institute of Technology(以色列理工学院);Imperial College London(伦敦帝国学院)
本文提出BICompFL方法,通过双向压缩解决随机联邦学习中的通信瓶颈,在保持最先进准确率的同时将通信成本降低一个数量级。
2025-01-31 cs.DC cs.IT cs.LG
Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates
KAUST(阿卜杜拉国王科技大学);École Polytechnique(巴黎综合理工学院);MIPT(莫斯科物理技术学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对带通信压缩的拜占庭鲁棒分布式学习问题,提出Byz-DASHA-PAGE等三类新方法,在收敛速率、容错能力等方面优于现有最优方法,并通过实验验证理论结论。
2024-03-09 cs.LG math.OC
Accelerated Distributed Optimization with Compression and Error Feedback
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Universität des Saarlandes(萨尔大学)
本文提出 ADEF 算法,将 Nesterov 加速、收缩压缩、误差反馈与梯度差压缩相结合,在一般凸区域下首次实现了带收缩压缩的随机分布式优化的加速收敛,并降低了通信成本。
2025-03-29 cs.LG math.OC
Communication Compression for Distributed Learning without Control Variates
University of California, Irvine, CA, USA(加州大学尔湾分校);University of British Columbia, Vancouver, BC, Canada(不列颠哥伦比亚大学)
本文提出CAFe框架,通过利用历史聚合更新实现无需控制变量的通信压缩,在非凸场景下证明其优于DCGD,并实验验证其有效性。
2025-09-10 cs.LG eess.SP math.OC
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
在对等网络分布式优化中,信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式(COLD)算法。通过压缩新息向量,这是决策向量和他们的估计之间的差异,COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度,并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机,包括二进制量化器,我们进一步设计了一种新的动态缩放机制,并获得线性收敛Dyna-COLD。重要的是,我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Optimus-CC: Efficient Large NLP Model Training with 3D Parallelism Aware Communication Compression
Yonsei University(延世大学);Seoul National University(首尔国立大学);Samsung Electronics(三星电子)
在现代大型自然语言处理(NLP)模型的训练中,使用3D并行性将模型拆分到多个GPU已经成为一种常见的做法。然而,这种技术遭受节点间通信的高开销。压缩通信是通过减少节点间业务量来减轻开销的一种方式;然而,现有的压缩技术具有应用于具有3D并行性的NLP模型的关键限制,因为1)仅针对数据并行业务,以及2)现有的压缩方案已经对模型质量造成太大损害。在本文中,我们提出了Optimus-CC,这是一个快速,可扩展的分布式训练框架,用于大型NLP模型,具有积极的通信压缩。Optimus-CC在以下方面与现有的通信压缩框架不同:首先,我们压缩管道并行(级间)流量。具体地说,除了现有的数据并行流量压缩方法之外,我们还压缩了级间反向传播和嵌入同步。其次,我们提出了一些技术来避免压缩导致的模型质量下降。我们进一步提供数学和实证分析,以表明我们的技术可以成功地抑制压缩误差。最后,我们分析了管道,并选择有选择地压缩这些流量躺在关键路线。这进一步有助于减少压缩误差。我们在GPU集群上演示了我们的解决方案,并在不牺牲模型质量的情况下,从最先进的分布式训练解决方案的基线实现了卓越的加速比。
2023-01-24 cs.DC cs.LG
Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities
Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Adyghe State University(阿迪格国立大学)
变分不等式是研究极小化、鞍点、对策、不动点问题的重要工具。现代大规模和计算昂贵的实际应用,使分布式方法来解决这些问题的流行。同时,大多数分布式系统都有一个基本问题-通信瓶颈。有各种各样的技术来处理它。特别是,在本文中,我们考虑了两种流行的方法:压缩和数据相似性的组合。我们表明,这种协同作用可以更有效地解决分布光滑强单调变分不等式的方法。实验验证了理论结论。
2022-09-03 cs.DC cs.LG math.OC
Communication-Efficient Distributed Learning with Local Immediate Error Compensation
University of Science and Technology of China(中国科学技术大学);JD Explore Academy(京东探索研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对分布式学习中现有梯度压缩方法存在的通信成本高或收敛慢的问题,提出 LIEC-SGD 算法,通过双向压缩和局部即时误差补偿技术,在降低通信开销的同时加速收敛,理论分析与深度神经网络实验均验证了其有效性。
2024-02-19 cs.DC cs.LG
Reconciling Communication Compression and Byzantine-Robustness in Distributed Learning
针对分布式学习中通信压缩与拜占庭鲁棒性难以兼顾的问题,提出新算法 RoSDHB,通过集成 Polyak 动量与协调压缩策略,在更少内存和通信开销下实现了与现有最优方法同等的收敛保证及更强鲁棒性。
2025-10-31 cs.LG
BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
通信效率已被广泛认为是多智能体或联邦环境中大规模分散式机器学习应用的瓶颈。为了解决通信瓶颈,已经有许多努力来设计用于分散式非凸优化的通信压缩算法,其中客户端仅允许通过预定义的图拓扑与其邻居通信少量量化信息(aka比特)。尽管付出了巨大的努力,但非凸设置中的最先进算法仍然遭受与其未压缩对应物相比更慢的收敛速率$O((G/T)^{2/3})$的困扰,其中$G$测量不同客户端之间的数据异质性,并且$T$是通信轮数。本文提出了BEER,它采用了梯度跟踪的通信压缩,并表明它的收敛速度更快的$O(1/T)$。通过匹配速率而不压缩,即使在任意数据异构性下,这也显著提高了最先进的速率。数值实验也证实了我们的理论,并确认BEER在数据异构制度的实际优势。
2022-10-14 cs.DC cs.DS cs.LG
Decentralized Deep Learning with Arbitrary Communication Compression
EPFL(洛桑联邦理工学院)
深度学习模型的分散式训练是通过网络实现数据隐私和设备上学习以及有效扩展到大型计算集群的关键要素。由于目前的方法受到有限的网络带宽,我们建议使用的通信压缩在分散的训练环境。我们表明,Choco-SGD $-$最近介绍和分析强凸目标只有$-$收敛在任意高压缩比一般非凸函数的速率$O\bigl(1/\sqrt{nT}\bigr)$,其中$T$表示的迭代次数和$n$工人的数量。该算法实现了线性加速的工人的数量,并支持更高的压缩比以前的国家的最先进的方法。我们在两个关键场景中展示了该算法的实际性能:(i)通过社交网络连接的分布式用户设备和(ii)在数据中心(优于所有减少时间)中训练深度学习模型。
2020-11-11 cs.DC cs.DS cs.LG
Personalized Federated Learning with Communication Compression
Mohammed VI Polytechnic University(穆罕默德六世理工大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Southern Denmark(南丹麦大学)
与在数据中心训练传统的机器学习(ML)模型相比,联邦学习(FL)在资源受限的异构边缘设备上包含的本地数据集上训练ML模型。现有的FL算法旨在为所有参与设备学习单个全局模型,由于设备间数据的异质性,这可能对参与训练的所有设备都没有帮助。最近,Hanzely和Richtárik(2020)提出了一种用于训练个性化FL模型的新公式,旨在平衡传统全局模型和仅使用其私有数据的单个设备可以训练的局部模型之间的权衡。他们推导出一种新的算法,称为无环梯度下降(L2GD),以解决它,并表明,这种算法导致改善通信复杂性保证制度时,需要更多的个性化。在本文中,我们配备他们的L2GD算法与双向压缩机制,以进一步减少本地设备和服务器之间的通信瓶颈。与FL设置中使用的其他基于压缩的算法不同,我们的压缩L2GD算法在概率通信协议上运行,其中通信不会按照固定的时间表发生。此外,我们的压缩L2GD算法保持了类似的收敛速度香草SGD没有压缩。为了从经验上验证我们的算法的效率,我们进行了不同的数值实验,凸和非凸的问题,并使用各种压缩技术。
2022-09-12 cs.AI cs.DC cs.LG
On the Discrepancy between the Theoretical Analysis and Practical Implementations of Compressed Communication for Distributed Deep Learning
INRA(法国国家农业研究院);KAUST(阿卜杜拉国王科技大学)
采用稀疏化或随机梯度量化形式的压缩通信来降低深度神经网络的分布式数据并行训练中的通信成本。然而,理论和实践之间存在差异:虽然大多数现有压缩方法的理论分析假设压缩应用于整个模型的梯度,但许多实际实现单独操作模型的每一层的梯度。在本文中,我们证明了逐层压缩,在理论上,更好的,因为收敛速度的上限是整个模型压缩的范围广泛的有偏和无偏压缩方法。然而,尽管有理论上的限制,我们对六种著名方法的实验研究表明,在实践中,收敛性可能会更好,也可能不会更好,这取决于实际的训练模型和压缩比。我们的研究结果表明,深度学习框架支持逐层和整个模型压缩是有利的。
2019-11-19 cs.DC cs.LG math.OC
To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices
Xidian University(西安电子科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Houston(休斯顿大学)
机器学习、无线通信和移动硬件技术的最新进展有望在大规模移动边缘设备上实现联邦学习(FL),这为众多智能移动应用开辟了新的视野。尽管有潜在的好处,FL由于周期性的全球同步和连续的本地训练,对参与设备施加了巨大的通信和计算负担,对电池受限的移动设备提出了巨大的挑战。在这项工作中,我们的目标是在移动边缘网络上提高FL的能源效率,以适应异构参与设备,而不牺牲学习性能。为此,我们开发了一个收敛保证FL算法,使灵活的通信压缩。在导出的收敛界的指导下,我们设计了一个压缩控制方案来平衡本地计算的能量消耗(即,“工作”)和无线通信(即,(二)从长期学习的角度。特别是,压缩参数精心选择FL参与者适应他们的计算和通信环境。大量的模拟使用各种数据集进行验证我们的理论分析,结果也表明所提出的方案在节能的有效性。
2020-12-22 cs.AI cs.LG
Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);AIRI;Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Skoltech(斯科尔科沃科技学院)
针对分布式优化中下行通信低效问题,提出新型下行压缩方法MARINA-P及结合上行压缩与动量的双向压缩方法M3,理论和实验均验证其通信复杂度随工作节点数增加而优化的优势。
2024-11-02 cs.LG math.OC stat.ML
Towards Faster Decentralized Stochastic Optimization with Communication Compression
University of Basel(巴塞尔大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出MoTEF方法,将通信压缩与动量跟踪和误差反馈相结合,解决了去中心化非凸优化中现有方法难以扩展、依赖大批量或有界梯度假设的问题,并在任意数据异质性下显著优于现有方法。
2024-11-25 cs.AI cs.LG math.OC
Optimal Gradient Compression for Distributed and Federated Learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
在分布式和联邦学习中的计算节点之间传递信息(如梯度向量)通常是不可避免的负担,从而导致可伸缩性问题。事实上,沟通可能会很慢,而且成本很高。通信高效训练算法的最新进展已经通过使用压缩技术以稀疏化、量化或低秩近似的形式减少了这个瓶颈。由于压缩是一个有损的或不精确的过程,迭代复杂性通常会恶化;但总的通信复杂性可以显著改善,可能导致大量的计算时间节省。在本文中,我们调查的基本平衡之间的比特数需要编码压缩矢量和压缩误差。我们执行最坏情况和平均情况下的分析,提供严格的下限。在最坏情况下的分析,我们引入了一个有效的压缩算子,稀疏抖动,这是非常接近的下限。在平均情况分析中,我们设计了一个简单的压缩运算符Spherical Compression,它自然达到了下界。因此,我们的新的压缩方案显着优于国家的最先进的。我们进行数值实验来说明这种改进。
2020-10-07 cs.LG math.OC
Compressed-VFL: Communication-Efficient Learning with Vertically Partitioned Data
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了压缩垂直联邦学习(C-VFL)的垂直分区数据的通信效率的培训。在C-VFL中,服务器和多方利用若干局部迭代并周期性地共享压缩的中间结果,在它们各自的特征上协作地训练模型。我们的工作提供了第一个理论分析的影响消息压缩的分布式训练垂直分区的数据。我们证明了收敛的非凸目标的速度为$O(\frac{1}{\sqrt{T}})$时,压缩误差是有界的训练过程中。我们提供了常用压缩技术(如量化和top- $k$稀疏化)的特定收敛要求。最后,我们的实验表明,压缩可以减少通信超过$90\%$,而不会显着降低在没有压缩的VFL的准确性。
2023-03-28 cs.LG
ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training
IBM
深度神经网络(DNN)在最先进的平台上的大规模分布式训练预计会受到严重的通信约束。为了克服这种限制,已经提出了许多梯度压缩技术,并且已经证明了高压缩比。然而,大多数现有的方法不能很好地扩展到大规模分布式系统(由于梯度积累)和/或无法评估大型数据集上的模型保真度(测试精度)。为了缓解这些问题,我们提出了一种新的压缩技术,可扩展稀疏梯度压缩(ScaleCom),利用学习者之间的梯度分布的相似性,以提供显着改善的可扩展性。使用理论分析,我们表明,ScaleCom提供了良好的收敛保证,是兼容的梯度所有减少技术。此外,我们通过实验证明ScaleCom具有较小的开销,直接减少了梯度流量,并在广泛的应用程序(图像,语言和语音)中提供了高压缩率(65- 400 X)和出色的可扩展性(最多64个学习者和8- 12倍的批量大小超过标准训练),而没有显着的准确性损失。
2021-04-21 cs.LG
Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分布式模型训练由于频繁的模型更新在计算节点之间传输而遭受通信瓶颈。为了缓解这些瓶颈,从业者使用梯度压缩技术,如稀疏化,量化或低秩更新。这些技术通常需要选择静态压缩比,通常需要用户在模型精度和每次迭代加速之间进行权衡。在这项工作中,我们表明,这种性能下降,由于选择一个高的压缩比是不是根本的。自适应压缩策略可以减少通信,同时保持最终的测试精度。受最近关于临界学习机制的研究结果的启发,其中小的梯度误差可能对模型性能产生不可恢复的影响,我们提出了一种简单而有效的自适应压缩算法Accordion。虽然Accordion平均保持了足够高的压缩率,但它避免了在关键学习机制中过度压缩梯度,这是通过一个简单的基于梯度范数的标准来检测的。我们对分布式环境中的许多机器学习任务进行了广泛的实验研究,结果表明,Accordion保持了与未压缩训练相似的模型精度,但与静态方法相比,压缩效果提高了5.5倍,端到端加速提高了4.1倍。我们表明,手风琴也适用于调整批量大小,另一种流行的策略,以缓解通信瓶颈。
2020-10-29 cs.LG
Semantic Communication based on Generative AI: A New Approach to Image Compression and Edge Optimization
本文提出将生成式人工智能与语义通信相结合,利用生成对抗网络和去噪扩散概率模型实现语义保持的图像压缩,并基于信息瓶颈原理构建面向目标的边缘网络优化框架,以提升带宽效率和降低延迟。
2025-02-01 cs.AI cs.CV cs.LG
FEDZIP: A Compression Framework for Communication-Efficient Federated Learning
Semnan University(塞姆南大学);Iran University of Science and Technology(伊朗科技大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);Boston University(波士顿大学)
联邦学习通过保护用户隐私和保护原始数据免受第三方访问,标志着无线设备分散式机器学习(尤其是深度学习)实现的转折点。它将学习过程独立分配给每个客户。首先,客户端基于本地数据本地训练机器学习模型。接下来,客户端将模型权重和偏差的本地更新(训练数据)传输到服务器。然后,服务器聚合(从客户端接收的)更新以创建全局学习模型。然而,由于深度学习模型使用大量参数(权重和偏差),客户端和服务器之间的连续传输增加了通信成本,并且从资源利用的角度来看是低效的。当捐款客户和沟通回合数增加时,沟通成本成为一个更大的问题。在这项工作中,我们提出了一个新的框架,FedZip,显着减少更新的大小,同时从客户端和服务器之间的深度学习模型转移权重。FedZip实现了Top-z稀疏化,使用量化和聚类,并使用三种不同的编码方法实现压缩。FedZip优于最先进的压缩框架,压缩率高达1085倍,并在通信过程中为客户端保留高达99%的带宽和99%的能量。
2021-02-02 cs.LG
Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
Tsinghua University(清华大学);Stanford University(斯坦福大学);NVIDIA(英伟达)
大规模分布式训练需要大量的通信带宽用于梯度交换,这限制了多节点训练的可扩展性,并且需要昂贵的高带宽网络基础设施。在移动设备上进行分布式训练(联邦学习)的情况更糟,它会遭受更高的延迟,更低的吞吐量和间歇性的不良连接。在本文中,我们发现99.9%的梯度交换在分布式SGD是冗余的,并提出了深度梯度压缩(DGC),以大大减少通信带宽。为了在压缩过程中保持准确性,DGC采用四种方法:动量校正、局部梯度裁剪、动量因子掩蔽和预热训练。我们已经将深度梯度压缩应用于图像分类、语音识别和语言建模,使用了多个数据集,包括Cifar 10、ImageNet、Penn Treebank和Librispeech Corpus。在这些情况下,深度梯度压缩实现了从270倍到600倍的梯度压缩比,而不会损失准确性,将ResNet-50的梯度大小从97 MB削减到0.35 MB,将DeepSpeech从488 MB削减到0.74 MB。深度梯度压缩使廉价商品1Gbps以太网上的大规模分布式训练成为可能,并促进了移动设备上的分布式训练。代码可从以下网址获得:https://github.com/synxlin/deep-gradient-compression。
2020-06-23 cs.CV cs.DC cs.LG
Communication Compression for Decentralized Learning with Operator Splitting Methods
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心);NTT Communication Science Laboratories(NTT通信科学实验室)
在分散式学习中,使用原始-对偶公式的算子分裂方法(例如,边缘一致性学习(ECL))已被证明对异构数据是鲁棒的,并且近年来引起了极大的关注。然而,在ECL中,节点需要与其邻居交换对偶变量。这些交换会产生大量的通信成本。对于基于Gossip的算法,已经提出了许多压缩方法,但是这些基于Gossip的算法在每个节点所持有的数据分布具有统计异构性时表现不佳。在这项工作中,我们提出了新的框架的压缩方法的ECL,称为通信压缩ECL(C-ECL)。具体来说,我们重新制定的ECL的更新公式,并提出压缩的对偶变量的更新值。我们的实验表明,C-ECL可以实现几乎相同的性能与更少的参数交换比ECL。此外,我们证明了C-ECL是更强大的异构数据比基于Gossip的算法。
2022-05-08 cs.LG
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率,通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Beyond Communication Overhead: A Multilevel Monte Carlo Approach for Mitigating Compression Bias in Distributed Learning
Viterby Faculty of Electrical and Computer Engineering(电气与计算机工程学院)
针对分布式学习中通信开销与压缩偏差的权衡,提出多层蒙特卡洛压缩方案,利用有偏压缩器构建无偏估计,并应用于Top-k和位级压缩器,在分布式深度学习任务上验证了有效性。
2025-07-07 cs.LG
CompressedScaffnew: The First Theoretical Double Acceleration of Communication from Local Training and Compression in Distributed Optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)(SDAIA-KAUST数据科学与人工智能卓越中心);Brno University of Technology(布尔诺理工大学);Kempelen Institute of Intelligent Technologies (KInIT)(肯佩伦智能技术研究所)
本文提出CompressedScaffnew算法,结合减少通信频率和压缩信息传输两种策略,实现分布式优化的线性收敛与双重加速。
2026-04-02 cs.DC cs.LG math.OC
C3-SL: Circular Convolution-Based Batch-Wise Compression for Communication-Efficient Split Learning
National Taiwan University(国立台湾大学)
现有的大多数研究通过压缩传输的特征来提高分裂学习的效率。然而,大多数作品都集中在将高维特征转换为低维空间的维度压缩上。在本文中,我们提出了基于循环卷积的批量压缩SL(C3-SL)压缩多个功能成一个单一的功能。为了避免合并多个特征时的信息丢失,我们利用高维空间中特征的准正交性,采用循环卷积和叠加。据我们所知,我们是第一个探索SL场景下批量压缩潜力的人。基于CIFAR-10和CIFAR-100的仿真结果,与vanilla SL相比,我们的方法实现了16倍的压缩比,精度下降可以忽略不计。此外,与最先进的维度压缩方法相比,C3-SL显着减少了1152倍的内存和2.25倍的计算开销。
2022-07-25 cs.CV cs.LG
Communication Efficient Split Learning of ViTs with Attention-based Double Compression
Department of Computer, Control, and Management Engineering (DIAG)(计算机、控制与管理工程系);Department of Information Engineering, Electronics, and Telecommunications (DIET)(信息工程、电子与电信系);Consorzio Nazionale Interuniversitario per le Telecomunicazioni (CNIT)(全国大学电信联合体)
本文提出基于注意力的双重压缩(ADC)分割学习框架,通过合并相似激活和丢弃不重要token来降低ViTs中间激活的通信开销,在保持高准确率的同时优于现有SL方法。
2025-09-18 cs.AI cs.CV cs.LG
Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression
Indiana University(印第安纳大学);Meta;University of Rochester(罗切斯特大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文针对DLRM训练中全对全通信瓶颈,提出基于误差有界有损压缩的双层自适应方法,在表级和迭代级动态调整误差界,并针对GPU优化压缩器,最终实现1.38倍训练加速且精度损失极小。
2024-10-01 cs.DC cs.LG
Data-Aware Gradient Compression for FL in Communication-Constrained Mobile Computing
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);AI Cloud Business Group, Baidu Incorporated(百度公司AI云业务集团);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Department of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术系);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院)
本文针对移动联邦学习通信瓶颈,提出数据感知的非均匀梯度压缩方法 DAGC-R 和 DAGC-A,通过按工作节点数据量分配压缩比,在高度不平衡数据和受限通信下相比均匀压缩最高提速 25.43% 和 16.65%。
2024-11-24 cs.LG
Sparse Binary Compression: Towards Distributed Deep Learning with minimal Communication
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Korea University(高丽大学)
目前,越来越大的深度神经网络是在不断增长的数据语料库上训练的。由于这种趋势在未来只会增加,分布式训练方案变得越来越重要。分布式训练中的一个主要问题是贡献节点之间有限的通信带宽或通常过高的通信成本。随着计算节点数量的增加,这些挑战变得更加紧迫。为了抵消这种发展,我们提出了稀疏二进制压缩(SBC),一个压缩框架,可以大大减少分布式训练的通信成本。SBC将现有的通信延迟和梯度稀疏化技术与新的二值化方法和最佳权重更新编码相结合,将压缩增益推向新的极限。通过这样做,我们的方法还允许我们平滑地权衡梯度稀疏性和时间稀疏性,以适应学习任务的要求。我们的实验表明,SBC可以将各种卷积和递归神经网络架构上的上游通信减少四个数量级以上,而不会显著损害前向-后向传递的收敛速度。例如,我们可以在ImageNet上使用$\times 3531$更少的位以相同的迭代次数将ResNet训练到基线精度,或者使用$\times 37208$更少的位将其训练到$1\%$更低的精度。在后一种情况下,每个参与客户端所需的上行通信总量从125 TB减少到3.35 GB。
2018-05-22 cs.AI cs.DC cs.LG
Personalized Federated Learning with Bidirectional Communication Compression via One-Bit Random Sketching
本文提出pFed1BS框架,通过一比特随机草图实现个性化联邦学习中的通信压缩,结合符号正则化和快速哈达玛变换,有效降低通信成本并保持性能
2026-02-02 cs.LG
Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种很有前途且功能强大的方法,用于在不共享客户端原始数据的情况下训练深度学习模型。在FL的训练过程中,中心服务器和分布式客户端需要定期交换大量的模型信息。为了应对通信密集型训练的挑战,我们提出了一种新的训练方法,称为双侧低秩压缩(FedDLR)的联邦学习,其中深度学习模型在服务器和客户端都通过低秩近似进行压缩。建议FedDLR不仅减少了在训练阶段的通信开销,但也直接生成一个紧凑的模型,以加快推理过程。我们将提供收敛性分析,调查的关键参数的影响,并实证表明,FedDLR优于国家的最先进的解决方案在通信和计算效率方面。
2021-04-26 cs.DC cs.LG
Compressed Communication for Distributed Training: Adaptive Methods and System
The University of Hong Kong(香港大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Web Services(亚马逊云科技);ByteDance Inc.(字节跳动有限公司)
通信开销严重阻碍了分布式机器学习系统的可扩展性。最近,人们对使用梯度压缩来减少分布式训练的通信开销越来越感兴趣。然而,对将梯度压缩应用于自适应梯度方法的理解很少。此外,其性能优势往往受到不可忽略的压缩开销的限制。在本文中,我们首先介绍了一种新的自适应梯度方法的梯度压缩。我们证明了该方法对非凸问题具有$\mathcal{O}(1/\sqrt{T})$的收敛速度。此外,我们开发了一个可扩展的系统,称为BytePS-Compress的双向压缩,其中梯度在工人和参数服务器之间的两个方向上压缩。BytePS-Compress在CPU上实现压缩和解压缩的流水线,并实现高度并行。经验评估表明,我们将ResNet 50,VGG 16和BERT-base的训练时间分别提高了5.0%,58.1%,23.3%,并且在25 Gb/s网络中没有任何准确性损失。此外,对于训练BERT模型,与混合精度训练相比,我们实现了333倍的压缩率。
2021-05-17 cs.DC cs.LG stat.ML
LoCo: Low-Bit Communication Adaptor for Large-scale Model Training
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学);Sea AI Lab(Sea AI实验室)
针对低比特梯度通信压缩导致训练质量下降的问题,提出LoCo适配器,通过历史补偿误差移动平均估计当前压缩误差并补偿梯度,兼容通用优化器与分片策略,理论证明不影响收敛速度,实验提升训练速度14%-40%且无性能损失。
2024-11-29 cs.LG math.OC