GradiVeQ: Vector Quantization for Bandwidth-Efficient Gradient Aggregation in Distributed CNN Training
University of Southern California（南加利福尼亚大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
数据并行可以提高卷积神经网络（CNN）的训练速度，但可能会受到梯度聚合导致的显著通信成本的影响。为了缓解这个问题，已经开发了几种标量量化技术来压缩梯度。但是，这些技术在与分散式聚合协议（如ring all-reduce（RAR））一起使用时可能表现不佳，主要是由于它们无法直接聚合压缩梯度。在本文中，我们经验性地证明了CNN梯度之间的强线性相关性，并提出了一种梯度矢量量化技术，命名为MARVeQ，利用这些相关性，通过主成分分析（PCA）大幅降低梯度维数。VeQ支持压缩梯度的直接聚合，因此允许我们构建一个分布式学习系统，将VeQ梯度压缩和RAR通信并行化。在流行的CNN上进行的大量实验表明，应用WARDVEQ将原始RAR的挂钟梯度聚合时间削减了5倍以上，而没有明显的准确性损失，并将端到端训练时间减少了近50%。实验结果还表明，该算法与量化SGD（Quantized SGD）等标量量化技术兼容，在相同压缩比下具有更高的加速增益。
2018-12-31 cs.DC cs.LG stat.ML
Double Quantization for Communication-Efficient Distributed Optimization
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
机器学习模型的现代分布式训练遭受用于同步随机梯度和模型参数的高通信开销。在本文中，为了减少通信的复杂性，我们提出了\emph{double quantization}，一个通用的计划量化模型参数和梯度。三个通信效率的算法提出了这个一般计划。具体而言，（i）我们提出了一个低精度算法AsyLPG异步并行，（ii）我们探索了结合梯度稀疏化与双量化和开发稀疏AsyLPG，（iii）我们表明，双量化也可以加速动量技术和设计加速AsyLPG。我们建立了严格的性能保证的算法，并进行多服务器测试床上的实验，以证明我们的算法可以有效地节省传输的比特，而不会降低性能。
2019-05-26 cs.LG math.OC stat.ML
Quantized Adam with Error Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）
在本文中，我们提出了自适应随机梯度方法的分布式变体，用于在参数服务器模型中训练深度神经网络。为了减少工作者和服务器之间的通信成本，我们结合了两种类型的量化方案，即，梯度量化和权值量化，提出了分布式Adam。此外，为了减少量化操作所带来的偏差，我们提出了一种误差反馈技术来补偿量化梯度。理论上，在随机非凸环境下，我们证明了在单工人和多工人模式下，带梯度量化和误差反馈的分布式自适应梯度方法收敛于一阶平稳点，带权值量化和误差反馈的分布式自适应梯度方法收敛于与量化水平相关的点.最后，我们将提出的分布式自适应梯度方法应用于训练深度神经网络。实验结果表明，我们的方法的有效性。
2021-06-15 cs.DC cs.LG math.OC
Qsparse-local-SGD: Distributed SGD with Quantization, Sparsification, and Local Computations
Adobe Inc.（奥多比公司）；UCLA（加州大学洛杉矶分校）；Amazon Web Services（亚马逊云科技）
通信瓶颈是大规模学习模型分布式优化中的一个重要问题。最近，已经提出了几种缓解这个问题的方法，包括不同形式的梯度压缩或计算局部模型并迭代地混合它们。在本文中，我们提出了\emph{Qsparse-local-SGD}算法，该算法通过跟踪真实梯度和压缩梯度之间的差异，将积极的稀疏化与量化和局部计算以及误差补偿相结合。我们提出了同步和异步实现的\emph{Qsparse-local-SGD}。我们分析了收敛的\emph{Qsparse-local-SGD}在\emph{distributed}设置为光滑的非凸和凸的目标函数。我们证明了\emph{Qsparse-local-SGD}收敛速度相同的香草分布SGD的许多重要类的稀疏和量化。我们使用\emph{Qsparse-local-SGD}在ImageNet上训练ResNet-50，并表明它比最先进的方法节省了大量的比特数，以达到目标精度。
2019-11-02 cs.DC cs.LG math.OC
FedDQ: Communication-Efficient Federated Learning with Descending Quantization
The Hong Kong University of Science and Technology（香港科技大学）
联邦学习（FL）是一种新兴的不侵犯用户隐私的学习范式。然而，大的模型规模和频繁的模型聚合给FL带来了严重的通信瓶颈。为了减少通信量，人们提出了模型压缩和量化等技术。除了固定比特量化之外，现有的自适应量化方案使用上升趋势量化，其中量化水平随着训练阶段而增加。在本文中，我们首先研究了量化对模型收敛的影响，并表明最佳量化水平与模型更新的范围直接相关。假设模型应该随着训练的进展而收敛，则模型更新的范围将逐渐缩小，这表明量化级别应该随着训练阶段而降低。在理论分析的基础上，提出了一种降量化方案FedDQ。实验结果表明，与现有的量化方案相比，该方案可节省65.2%的通信比特量和68%的通信轮数。
2022-11-10 cs.LG
FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization
Hong Kong University of Science and Technology（香港科技大学）
针对联邦学习在无线网络中通信开销大的问题，本文提出FedAQ框架，通过联合上下行自适应量化策略优化比特长度，实现最高66.7%的通信能量节省。
2024-06-26 cs.DC cs.LG cs.NI
On Distributed Quantization for Classification
University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑分布式特征量化的问题，其目标是使一个预先训练的分类器在一个中心节点进行分类的功能，从分布式节点收集通过通信受限的渠道。我们提出了专门针对分类任务的分布式量化方案的设计：与帮助中心节点尽可能准确地重建原始信号的量化方案不同，我们的重点不是重建精度，而是正确的分类。我们的工作不做任何先验分布的数据假设，而是使用训练数据的量化器设计。我们的主要贡献包括：我们证明了在一般情况下寻找最佳量化器的NP-困难; 2我们为特殊情况设计了一个最佳方案; 3我们提出了量化算法，该算法利用离散神经表示和训练数据，并且可以在多项式时间内为任何数量的特征、任何数量的类和分布节点上的任意特征划分而设计。我们发现，量身定制的量化器的分类任务可以提供显着的节省：相比替代品，我们可以实现超过两个因素的减少方面的位数通信，相同的分类精度。
2019-11-01 cs.IT cs.LG math.IT
LLMEasyQuant: Scalable Quantization for Parallel and Distributed LLM Inference
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
LLMEasyQuant通过模块化和系统感知的量化框架，实现高效低比特LLM推理，支持多种量化方法并优化多GPU和分布式环境下的性能。
2025-11-27 cs.LG
NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Institute of Science and Technology Austria（奥地利科学技术研究所）
随着模型和数据集的大小和复杂性的增长，对随机梯度下降的通信高效变体的需求也在增长，这些变体可以被部署来执行并行模型训练。用于数据并行SGD的一种流行的通信压缩方法是QSGD（Alistarh等人，2017），其量化和编码梯度以降低通信成本。QSGD的基线变体提供了强有力的理论保证，然而，出于实用目的，作者提出了一种启发式变体，我们称之为QSGDinf，它在大型神经网络的分布式训练中表现出令人印象深刻的经验收益。在本文中，我们在这项工作的基础上提出了一个新的梯度量化方案，并表明它具有比QSGD更强的理论保证，并匹配和超过QSGDinf启发式和其他压缩方法的经验性能。
2021-05-03 cs.LG stat.ML
Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features
University of California San Diego（加州大学圣地亚哥分校）
我们建议使用低位深Σ-Δ和分布式噪声整形方法来量化与移位不变内核相关的随机傅立叶特征（RFFs）。我们证明，我们的量化RFFs -即使在$1$位量化的情况下-允许一个高精度的近似的底层内核，和近似误差衰减至少多项式快的RFFs的尺寸增加。我们还表明，量化的RFFs可以进一步压缩，产生一个很好的权衡内存使用和精度之间。也就是说，近似误差现在作为所使用的比特的函数呈指数衰减。此外，我们经验表明，通过测试我们的方法在几个机器学习任务上的性能，我们的方法相比，在这种情况下，其他国家的最先进的量化方法。
2022-04-13 cs.IT cs.LG math.IT
Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies Co. Ltd（华为技术有限公司）
由于参与用户设备的带宽有限，因此传递梯度的高成本是联邦学习的主要瓶颈。现有的梯度压缩算法主要是针对高速网络的数据中心设计的，最多能达到$O(\sqrt{d} \log d)$的每次迭代通信开销，其中$d$为模型的大小。我们提出了超球量化（HSQ），一个通用的框架，可以配置为实现一个连续的通信效率和梯度精度之间的权衡。特别地，在高压缩比端，HSQ提供了$O(\log d)$的低的每次迭代通信成本，这有利于联邦学习。我们从理论上证明了HSQ的收敛性，并通过实验表明，HSQ显着降低了模型训练的通信成本，而不损害收敛精度。
2019-11-25 cs.IR cs.LG stat.ML
Quantization Avoids Saddle Points in Distributed Optimization
Clemson University（克莱姆森大学）
该研究提出一种随机量化方案，利用量化过程使分布式非凸优化逃离鞍点并收敛至二阶稳定点，同时通过可调量化粒度降低通信开销，实验验证其有效性。
2024-03-15 cs.LG math.OC
DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient Distributed Learning
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；George Washington University（乔治华盛顿大学）
梯度量化是分布式学习中降低通信成本的一种新兴技术。现有的梯度量化算法往往依赖于工程原理或经验观察，缺乏一个系统的方法来动态地识别梯度。本文提出了一种新的动态量化SGD（DQ-SGD）框架，使我们能够动态地调整量化方案的每一个梯度下降步骤，通过探索通信成本和收敛误差之间的权衡来解决这个问题。我们推导出一个上界，在某些情况下紧，收敛误差的量化方案和损失函数的限制家庭。在收敛误差约束下，通过最小化通信代价设计了DQ-SGD算法。最后，通过对AG-News，CIFAR-10和CIFAR-100数据集上的大规模自然语言处理和计算机视觉任务的广泛实验，我们证明了我们的量化方案比其他最先进的梯度量化方法在通信成本和学习性能之间实现了更好的权衡。
2021-07-30 cs.AI cs.LG
FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
UC Santa Barbara（加州大学圣巴巴拉分校）；UT Austin（德克萨斯大学奥斯汀分校）；UPenn（宾夕法尼亚大学）；MIT（麻省理工学院）
联邦学习是一种分布式框架，根据该框架，在一组设备上训练模型，同时保持数据本地化。该框架面临着几个面向系统的挑战，其中包括（i）由于大量设备将其本地更新上传到参数服务器而产生的通信瓶颈，以及（ii）由于联合网络由数百万个设备组成而产生的可扩展性。由于这些系统挑战以及与数据的统计异质性和隐私问题相关的问题，设计一种可证明有效的联邦学习方法具有重要意义，但它仍然具有挑战性。在本文中，我们提出了FedPAQ，一个通信效率高的联邦学习方法与周期平均和量化。FedPAQ依赖于三个关键特性：（1）定期平均，其中模型在设备上本地更新，并且仅在服务器上定期平均;（2）部分设备参与，其中只有一小部分设备参与每轮训练;以及（3）量化消息传递，其中边缘节点在上传到参数服务器之前对其更新进行验证。这些特性解决了联邦学习中的通信和可伸缩性挑战。我们还表明，FedPAQ实现了近最佳的理论保证强凸和非凸损失函数和经验证明我们的方法提供的通信计算权衡。
2020-06-07 cs.DC cs.LG math.OC
DEED: A General Quantization Scheme for Communication Efficiency in Bits
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在分布式优化中，减少通信的一种流行技术是量化。在本文中，我们提供了一个通用的分析框架，适用于量化方案的不精确梯度下降。我们还提出了一种量化方案双重编码和误差减小（DEED）。DEED可以在三种设置中实现较小的通信复杂度：频繁通信大内存、频繁通信小内存和不频繁通信（例如联邦学习）。更具体地，在频繁通信的大存储器设置中，DEED可以容易地与Nesterov方法组合，使得所需的总位数为$\tilde{O}( \sqrtκ \log 1/ε)$，其中$\tilde{O}$隐藏数值常数和$\log κ$因子。在频繁通信的小存储器设置中，DEED与SGD组合在插值机制中仅需要$\tilde{O}( κ\log 1/ε)$位数。在不频繁的通信设置中，DEED与联合平均相结合需要比联合平均更少的总比特数。所有这些算法都以与它们的非量化版本相同的速率收敛，同时使用更少的比特数。
2020-06-19 cs.LG math.OC
DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning
University of Cambridge（剑桥大学）
联邦学习（FL）是一种强大的技术，用于以隐私保护的方式使用来自多个客户端的数据在服务器上训练模型。在FL中，服务器将模型发送给每个客户端，然后客户端在本地训练模型并将其发送回服务器。服务器聚合更新的模型并重复该过程几轮。FL会产生很大的通信成本，特别是在将更新的本地模型从客户端传输回服务器时。最近提出的算法优化模型参数，以有效地压缩FL通信。这些算法通常具有控制压缩因子的量化级别。我们发现，动态适应的量化级别可以提高压缩，而不牺牲模型的质量。首先，我们引入了一种时间自适应量化算法，随着训练的进行，该算法增加了量化级别。其次，我们引入了一种客户端自适应量化算法，该算法在每一轮为每个客户端分配最佳量化级别。最后，我们将这两种算法结合成DAdaQuant，双自适应量化算法。我们的实验表明，DAdaQuant始终提高客户端$\rightarrow$服务器压缩，性能优于最强的非自适应基线高达$2.8\times$。
2021-10-31 cs.LG
NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization
随着模型和数据集的大小和复杂性的增长，对随机梯度下降的通信高效变体的需求也在增长，这些变体可以被部署来执行并行模型训练。用于数据并行SGD的一种流行的通信压缩方法是QSGD（Alistarh等人，2017），其量化和编码梯度以降低通信成本。QSGD的基线变体提供了强有力的理论保证，然而，出于实用目的，作者提出了一种启发式变体，我们称之为QSGDinf，它在大型神经网络的分布式训练中表现出令人印象深刻的经验收益。在本文中，我们在这项工作的基础上提出了一个新的梯度量化方案，并表明它具有比QSGD更强的理论保证，并匹配和超过QSGDinf启发式和其他压缩方法的经验性能。
2021-05-01 cs.LG math.OC stat.ML
Correlated Quantization for Faster Nonconvex Distributed Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文将相关量化器引入MARINA算法，利用加权Hessian方差改进其理论分析并扩展至相关有偏压缩器，在非凸分布式优化中显著降低通信复杂度并优于原始MARINA和分布式SGD。
2024-01-10 cs.AI cs.DC cs.LG
Communication-Efficient Federated Learning via Clipped Uniform Quantization
Boise State University（博伊西州立大学）
本文提出通过裁剪均匀量化与自适应量化方案，在联邦学习中显著降低通信开销，同时保持接近全精度的模型性能，并增强客户端隐私。
2024-12-14 cs.LG cs.MA eess.SP
AQUILA: Communication Efficient Federated Learning with Adaptive Quantization in Device Selection Strategy
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Shanghai AI Lab（上海人工智能实验室）；George Washington University（乔治华盛顿大学）；Ryerson University（瑞尔森大学）
针对联邦学习通信开销高、现有自适应量化方法假设不切实际且自适应能力不足的问题，提出AQUILA框架，结合优先考虑更新质量的设备选择方法与创新量化标准，在多种非同质场景下显著降本且保持模型性能。
2023-10-04 cs.DC cs.LG
QSync: Quantization-Minimized Synchronous Distributed Training Across Hybrid Devices
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）
本文提出 QSync 系统，通过双向混合精度敏感性预测、邻域感知成本估计和量化最小化分配，在异构训练与推理 GPU 上实现高效同步数据并行 DNN 训练。
2024-07-02 cs.DC cs.LG
Theoretically Better and Numerically Faster Distributed Optimization with Smoothness-Aware Quantization Techniques
Texas A&M University（德州农工大学）；KAUST（阿卜杜拉国王科技大学）
为了解决分布式机器学习的高通信成本，近年来已经投入了大量的工作来设计各种压缩策略，例如稀疏化和量化，以及能够使用它们的优化算法。最近，Safaryan等人（2021）开创了一种截然不同的压缩设计方法：他们首先使用局部训练数据来形成局部平滑度矩阵，然后提出设计一种能够利用其中包含的平滑度信息的压缩器。虽然这种新颖的方法导致通信的大量节省，但它仅限于稀疏化，因为它严重依赖于压缩算子的线性。在这项工作中，我们将他们的平滑感知压缩策略推广到任意无偏压缩算子，其中也包括稀疏化。专门我们的结果随机量化，我们保证显着节省通信复杂性相比，标准量化。特别是，我们证明了块量化与$n$块理论上优于单块量化，导致通信复杂性降低了$\mathcal{O}(n)$因子，其中$n$是分布式系统中的节点数。最后，我们提供了大量的数值证据与凸优化问题，我们的平滑感知量化策略优于现有的量化方案，以及上述平滑感知稀疏化策略的三个评估指标：迭代次数，通信的比特总量，和挂钟时间。
2022-10-12 cs.LG math.OC
Correlated quantization for distributed mean estimation and optimization
Google Research（谷歌研究院）
研究了通信约束下的分布均值估计和优化问题。我们提出了一个相关的量化协议，其领先的长期在误差保证取决于数据点的平均偏差，而不仅仅是他们的绝对范围。该设计不需要任何关于数据集浓度属性的先验知识，这是在以前的工作中获得这种依赖性所必需的。我们表明，应用该协议的子例程在分布式优化算法导致更好的收敛速度。我们还证明了我们的协议在温和的假设下的最优性。实验结果表明，我们提出的算法优于现有的均值估计协议在不同的任务集。
2022-07-08 cs.DS cs.IT cs.LG
SDP4Bit: Toward 4-bit Communication Quantization in Sharded Data Parallelism for LLM Training
Indiana University（印第安纳大学）；ByteDance Inc.（字节跳动公司）；University of Houston（休斯顿大学）
SDP4Bit 针对分片数据并行训练中的通信瓶颈，提出权重差量化和两级梯度平滑量化，将权重与梯度通信压缩至近 4 bits，并通过算法-系统协同设计降低压缩开销，在 67 亿参数 GPT 预训练中几乎不影响精度，且在 128 个 GPU 上实现最高 4.08 倍吞吐加速。
2024-11-23 cs.DC cs.LG
Quantized Epoch-SGD for Communication-Efficient Distributed Learning
Nanjing University（南京大学）
随机梯度下降（SGD）算法由于其高效性和易于实现性，在机器学习中得到了广泛的应用。特别是，SGD是分布式学习中最流行的优化方法之一。近年来，量化的SGD（QSGD），它采用量化来减少基于SGD的分布式学习的通信成本，引起了人们的广泛关注。虽然已经提出了几种QSGD方法，其中一些是启发式的，没有理论保证，和其他人有很大的量化方差，这使得收敛变慢。在本文中，我们提出了一种新的方法，称为量化时代SGD（QESGD），通信效率的分布式学习。QESGD对参数进行压缩（量化），降低了方差，从而可以以更少的通信代价获得与SGD几乎相同的性能。QESGD在Parameter Server框架上实现，分布式深度学习的实证结果表明，QESGD可以超越其他最先进的量化方法，以实现最佳性能。
2019-01-10 cs.LG math.OC stat.ML
Killing Two Birds with One Stone: Quantization Achieves Privacy in Distributed Learning
City University of Hong Kong（香港城市大学）；University of Victoria（维多利亚大学）
针对分布式学习中通信效率与隐私保护需分别处理且复杂度高的问题，提出基于量化并注入二项式噪声的统一方案，在SGD中同时实现两者，并理论刻画新权衡。
2023-04-26 cs.AI cs.CR cs.LG
MQGrad: Reinforcement Learning of Gradient Quantization in Parameter Server
在参数服务器（PS）上训练大规模机器学习模型的最大瓶颈之一是通信开销，因为在训练迭代期间需要在工作者和服务器之间频繁地交换模型梯度。梯度量化是一种有效的降低通信量的方法。梯度量化中的一个关键问题是设置用于量化梯度的比特数。少量的比特可以显著减少通信开销，但会损害梯度精度，反之亦然。理想的量化方法将通过根据从刚刚过去的训练迭代中学习到的知识调整比特数来动态地平衡通信开销和模型精度。然而，现有的方法，要么用固定数量的位，或与预定义的启发式规则的梯度。在本文中，我们提出了一种新的自适应量化方法的框架内的强化学习。被称为MQGrad的方法将量化比特的选择形式化为马尔可夫决策过程（MDP）中的动作，其中MDP状态记录从过去的优化迭代收集的信息（例如，损失函数值的序列）。在机器学习算法的训练迭代期间，MQGrad根据损失函数的变化不断更新MDP状态。根据这些信息，MDP学习选择最佳动作（位数）来消除梯度。基于基准数据集的实验结果表明，MQGrad可以加速大规模深度神经网络的学习，同时保持其预测精度。
2018-04-22 cs.LG stat.ML
Finite-Bit Quantization For Distributed Algorithms With Linear Convergence
Arizona State University（亚利桑那州立大学）；Purdue University（普渡大学）；Bloomberg（彭博社）
本文研究了网格网络上（强凸）复合最优化问题的分布式算法。而不是专注于一个特定的算法设计，提出了一个黑盒模型，铸造线性收敛的分布式算法的形式固定点迭代。该算法模型配备了一个新的随机或确定性的偏置压缩（BC）规则的量化器设计，和一个新的自适应编码非均匀量化器（ANQ）加上一个通信效率高的编码方案，它实现了BC规则使用有限数量的位（低于机器精度）。这填补了存在于大多数现有技术的量化方案中的空白，例如基于流行的压缩规则的那些，其依赖于具有可忽略的量化误差（实际上以机器精度量化）的一些标量信号的通信。一个统一的通信复杂性分析的黑盒模型，确定所需的平均位数，以达到解决方案的最优化问题在目标精度。结果表明，提出的BC规则保持了非量化算法的线性收敛，并在基于ANQ的量化条件下实现了收敛速度和通信开销之间的折衷.数值结果验证了我们的理论研究结果，并表明，分布式算法配备了建议ANQ有更有利的通信成本比使用国家的最先进的量化规则的算法。
2022-05-18 cs.IT cs.LG math.IT
Communication optimization strategies for distributed deep neural network training: A survey
National University of Defense Technology（国防科技大学）
高性能计算和深度学习的最新趋势导致了大规模深度神经网络训练研究的激增。然而，计算节点之间频繁的通信需求大大降低了整体训练速度，这导致了分布式训练的瓶颈，特别是在网络带宽有限的集群中。为了减轻分布式通信的缺点，研究人员提出了各种优化策略。在本文中，我们提供了一个全面的调查，从算法的观点和计算机网络的角度来看，通信策略。算法优化侧重于减少分布式训练中使用的通信量，而网络优化则侧重于加速分布式设备之间的通信。在算法层面，我们描述了如何减少通信轮数和每轮传输的比特数。此外，我们阐明了如何重叠计算和通信。在网络层次，我们讨论了网络基础设施，包括逻辑通信方案和网络协议所造成的影响。最后，我们推断了未来潜在的挑战和新的研究方向，以加速分布式深度神经网络训练的通信。
2020-11-23 cs.DC cs.LG
CosSGD: Communication-Efficient Federated Learning with a Simple Cosine-Based Quantization
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））
联邦学习是一个很有前途的框架，以减轻数据隐私和计算的关注。然而，服务器和客户端之间的通信成本已成为成功部署的主要瓶颈。尽管在梯度压缩方面取得了显著的进展，但是当应用低比特压缩时，现有的量化方法需要进一步改进，特别是当在双向上应用量化来压缩模型权重和梯度时，整个系统经常退化很多。在这项工作中，我们提出了一个简单的基于余弦的非线性量化，并取得了令人印象深刻的结果，在压缩往返通信成本。我们不仅能够以比以前的方法更高的比率压缩模型权重和梯度，而且还能够同时实现竞争模型性能。此外，我们的方法非常适合联邦学习问题，因为它具有低的计算复杂性，只需要一点额外的数据来恢复压缩的信息。使用CIFAR-10和BraTS数据集对图像分类和脑肿瘤语义分割进行了广泛的实验，我们展示了最先进的有效性和令人印象深刻的通信效率。
2022-05-02 cs.CV cs.LG
Rate-Constrained Quantization for Communication-Efficient Federated Learning
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
本文提出 RC-FED 框架，在保真度与编码速率约束下联合优化梯度量化，以最小化失真并降低联邦学习通信开销，同时证明其收敛性和优于基线的性能。
2024-09-10 cs.LG eess.SP
DILEMMA: Joint LLM Quantization and Distributed LLM Inference Over Edge Computing Systems
University of Kentucky（肯塔基大学）
本文提出DILEMMA框架，通过联合优化层放置与层量化，在边缘计算系统中部署LLM以最小化推理延迟，在保持模型性能的同时实现高达12.75%的量化率。
2025-03-03 cs.LG
Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization
Mila（米拉）；Google（谷歌）；National University of Singapore（新加坡国立大学）
矢量量化（VQ）是一种离散化潜在表示的方法，已成为深度学习工具包的主要组成部分。理论和经验表明，表示的离散化导致改进的泛化，包括在强化学习中，其中离散化可以用于瓶颈多智能体通信，以促进代理专业化和鲁棒性。大多数基于矢量量化的方法的离散化紧密度由表示矢量中的离散码的数量和码本大小定义，它们被固定为超参数。在这项工作中，我们建议学习动态选择离散化的输入条件下的紧密性，基于假设数据自然包含的复杂性，要求不同程度的代表性粗糙度的变化。我们表明，动态变化的紧密性的通信瓶颈可以提高模型的视觉推理和强化学习任务的性能。
2022-02-02 cs.AI cs.LG
MergeComp: A Compression Scheduler for Scalable Communication-Efficient Distributed Training
Rice University（莱斯大学）
大规模的分布式训练越来越受到通信的限制。许多梯度压缩算法已经被提出来减少通信开销和提高可扩展性。然而，已经观察到，在某些情况下，梯度压缩甚至可能损害分布式训练的性能。在本文中，我们提出了MergeComp，压缩调度器，以优化通信高效的分布式训练的可扩展性。它自动安排压缩操作，以优化压缩算法的性能，而无需了解模型架构或系统参数。我们已经将MergeComp应用于九种流行的压缩算法。我们的评估表明，MergeComp可以将压缩算法的性能提高高达3.83倍，而不会损失准确性。它甚至可以在高速网络上实现高达99%的分布式训练比例。
2021-03-28 cs.DC cs.LG
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络（GNN）是为图结构数据定制的神经模型家族，并且在学习图结构数据的表示方面表现出优异的性能。然而，在大型图上训练GNN仍然具有挑战性，一个有前途的方向是分布式GNN训练，即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中，我们研究了分布式GNNs训练过程中的通信复杂性，并提出了一种简单的无损通信减少方法，称为通信前聚合（ABC）方法。ABC方法利用GNNs层的置换不变属性，并导致一种范式，其中顶点切割被证明比当前流行的范式（边缘切割）具有更好的通信性能。此外，我们表明，新的分区范例是特别理想的情况下，动态图，它是不可行的，以控制边缘的位置，由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
Channel-Aware Vector Quantization for Robust Semantic Communication on Discrete Channels
Huazhong University of Science and Technology（华中科技大学）
针对现有离散语义通信方法忽略信道状态导致鲁棒性不足的问题，提出信道感知向量量化算法及VQJSCC框架，通过多码本对齐机制处理阶数不匹配，有效缓解数字悬崖效应，在鲁棒性和效率上优于现有基线。
2025-10-21 cs.LG eess.IV eess.SP
Adaptive Message Quantization and Parallelization for Distributed Full-graph GNN Training
University of Hong Kong（香港大学）
针对分布式全图 GNN 训练中的通信瓶颈，提出 AdaQP，通过随机低精度消息量化、通信-计算并行及自适应位宽分配实现最高 3.01 倍加速且几乎无损精度。
2023-06-02 cs.AI cs.DC cs.LG
Wireless Quantized Federated Learning: A Joint Computation and Communication Design
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
最近，联邦学习（FL）作为一种有前途的分散式机器学习方法引起了广泛的关注，它提供了隐私和低延迟。然而，通信瓶颈仍然构成一个问题，需要解决的FL在无线网络上的有效部署。在本文中，我们的目标是最大限度地减少FL的总收敛时间，通过量化的本地模型参数之前，上行链路传输。更具体地说，FL算法与随机量化的收敛性分析，揭示了量化误差对收敛速度的影响。在此之后，我们共同优化计算，通信资源和量化位数，以保证最小化的收敛时间在所有的全球轮，受到能量和量化误差的要求，这源于收敛分析。量化误差对收敛时间的影响进行了评估，并揭示了模型精度和及时执行之间的权衡。此外，所提出的方法被证明是导致更快的收敛与基线计划相比。最后，有用的见解的量化误差容限的选择提供。
2022-03-11 cs.LG eess.SP
FAQS: Communication-efficient Federate DNN Architecture and Quantization Co-Search for personalized Hardware-aware Preferences
Tsinghua University（清华大学）
由于用户隐私和监管限制，联邦学习（FL）被提出作为一种分布式学习框架，用于在分散的数据客户端上训练深度神经网络（DNN）。FL的最新进展已经应用了神经架构搜索（NAS）来取代预定义的通用DNN模型，该模型对于各种数据分布的所有任务都不是最佳的，而是可搜索的DNN架构。然而，以前的方法遭受昂贵的通信成本增加频繁的大型模型参数之间的服务器和客户端传输。当结合NAS算法时，这种困难被进一步放大，NAS算法通常需要禁止计算和巨大的模型存储。为此，我们提出了FAQS，一个有效的个性化FL-NAS量化框架，以减少通信成本与三个功能：权重共享超级内核，比特共享量化和掩码传输。FAQS有一个负担得起的搜索时间，并要求在每一轮传输的消息非常有限的大小。通过在本地客户端设置不同的个性化帕累托函数损失，FAQS可以产生异构的硬件感知模型，以满足不同的用户偏好。实验结果表明，FAQS每轮通信带宽比普通FL框架平均减少1.58倍，比FL+NAS框架平均减少4.51倍。
2022-10-16 cs.AI cs.LG
Learning of Gaussian Processes in Distributed and Communication Limited Systems
Sharif University of Technology（谢里夫理工大学）
在分布式和通信受限的系统中，寻找性能最优的统计模型学习算法是非常重要的。为了表征最佳策略，我们将分布式系统中高斯过程（GP）的学习作为一个关键例子。我们首先解决一个非常基本的问题：需要多少比特来估计分布式机器上高斯向量的内积？利用信息论界，我们得到了一个最优解的问题，这是基于矢量量化。两个次优的和更实用的计划也被提出作为替代的矢量量化方案。特别是，它示出的一个实际的计划，这是所谓的每符号量化的性能是非常接近的最佳之一。方案提供的内积计算纳入我们提出的分布式学习方法的全球定位系统。实验结果表明，在我们的通信方案中，每个符号花费很少的比特，我们提出的方法优于以前的零速率分布式GP学习方案，如贝叶斯委员会模型（贝叶斯委员会模型）和专家产品（PoE）。
2017-05-07 cs.IT cs.LG math.IT
Design and Analysis of Uplink and Downlink Communications for Federated Learning
Sun Yat-sen University（中山大学）；University of Virginia（弗吉尼亚大学）
通信是联邦学习（FL）的主要瓶颈之一，但现有的研究还没有解决有效的通信设计问题，特别是在需要同时考虑上行链路和下行链路通信的无线FL中。本文重点研究无线FL物理层量化和传输方法的设计和分析，回答客户端和参数服务器之间进行什么以及如何通信的问题，并评估更新模型的各种量化和传输选项对学习性能的影响。我们提供了新的收敛性分析著名的FedAvg下非独立同分布。数据集分布、部分客户端参与以及上行链路和下行链路通信中的有限精度量化。这些分析表明，为了实现O（1/T）的收敛率与量化，传输的权重需要增加的量化水平在对数率，而传输的权重差分可以保持一个恒定的量化水平。对各种真实世界数据集的综合数值评估表明，FL定制的上行链路和下行链路通信设计的好处是巨大的-对于i.i.d.和i.i.d.的大多数实验，精心设计的量化和传输以不到10%的基线带宽实现了超过98%的浮点基线精度。和非I.I.D.数据集。特别是，1位量化（浮点基线带宽的3.1%）在MNIST上以几乎相同的收敛速率实现了99.8%的浮点基线精度，这是作者所知的最佳带宽-精度权衡。
2020-12-07 cs.IT cs.LG eess.SP
Communication-Efficient Split Learning via Adaptive Feature-Wise Compression
POSTECH（浦项科技大学）；Purdue University（普渡大学）
本文提出SplitFC框架，通过自适应特征级dropout和量化压缩中间特征与梯度向量，在保持高准确率的同时显著降低拆分学习的通信开销。
2025-01-03 cs.AI cs.DC cs.LG
Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity
UC Berkeley（加州大学伯克利分校）；The University of Iowa（爱荷华大学）；Princeton University（普林斯顿大学）
研究了最小化凸函数平均值的分布式优化算法。这些应用包括统计机器学习中的经验风险最小化问题，其中数据集很大，必须存储在不同的机器上。我们设计了一个分布式的随机方差约简梯度算法，在一定的条件下的条件数，同时实现了最佳的并行运行时间，通信量和通信轮之间的所有分布式一阶方法常数的因素。我们的方法和它的加速扩展也优于现有的分布式算法的轮通信，只要条件数是不是太大的数据在每台机器的大小相比。我们还证明了一个下界的通信轮数广泛的一类分布式一阶方法，包括本文提出的算法。我们表明，我们的加速分布式随机方差降低梯度算法达到这个下界，使它使用最少的通信轮之间的所有分布式一阶算法。
2016-01-06 cs.LG math.OC stat.ML
Distributed Learning with Compressed Gradient Differences
MIPT（莫斯科物理技术学院）
本文提出分布式学习方法DIANA，通过压缩梯度差值解决现有压缩方法无法收敛到最优解的问题，在强凸和非凸设置下获得更优收敛速率，并首次为TernGrad建立收敛速率。
2023-12-28 cs.LG math.OC stat.ML
Distributed Convex Optimization With Limited Communications
Stanford University（斯坦福大学）；National Chiao Tung University（国立交通大学）
提出了一种分布式凸优化算法--\emph{distributed coordinate dual averaging}（DCDA）算法。DCDA算法解决了网络中节点之间通信有限的大型分布式优化问题的场景。目前已知的分布式次梯度方法，如分布式双平均或分布式交替方向方法的乘法器算法，假设节点可以交换大基数的消息。这样的网络通信能力在许多实际相关的场景中是无效的。另一方面，在DCDA算法中，优化变量的每个坐标的通信随时间被限制。对于所提出的算法，我们约束下不同的通信协议和网络架构的收敛速度。我们还考虑了不完善的梯度知识的情况下，在这种情况下，传输的消息被破坏的加性噪声或量化的扩展。并给出了相应的数值模拟结果。
2018-10-29 cs.DC cs.LG cs.MA
Efficient Distributed Training through Gradient Compression with Sparsification and Quantization Techniques
Washington State University（华盛顿州立大学）；Amazon（亚马逊）
本研究探究稀疏化（top-k、DGC）和量化（QSGD）梯度压缩对分布式训练的影响，发现50倍压缩的top-k和DGC可提升性能、减少通信时间，保守稀疏化具正则化效果，为分布式训练超参数调优提供参考。
2024-12-07 cs.LG cs.MM
Quantization Impact on the Accuracy and Communication Efficiency Trade-off in Federated Learning for Aerospace Predictive Maintenance
本文研究了对称均匀量化对轻量1D卷积模型AeroConv1D在NASA C-MAPSS基准下的准确性和效率权衡影响，发现INT4在保持精度的同时显著降低通信成本。
2026-04-09 cs.LG
Distributed Deep Reinforcement Learning Based Gradient Quantization for Federated Learning Enabled Vehicle Edge Computing
School of Internet of Things Engineering, Wuxi Institute of Technology（物联网工程学院，无锡科技学院）；School of Internet of Things Engineering, Jiangnan University（物联网工程学院，江南大学）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（电子工程系，信息科学与技术国家研究中心，清华大学）；Qualcomm（高通）；School of Engineering, University of Kent（工程学院，肯特大学）；Department of Electrical and Computer Engineering, Hong Kong University of Science and Technology (HKUST)（电气与计算机工程系，香港科技大学）
本文针对联邦学习车辆边缘计算中梯度传输延迟大的问题，提出基于分布式深度强化学习的量化级别分配方案，联合优化总训练时间和量化误差，仿真验证了其可行性和有效性。
2025-06-18 cs.LG cs.NI
QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；MIT（麻省理工学院）；Microsoft Research（微软研究院）；London School of Economics（伦敦政治经济学院）
随机梯度下降（SGD）的并行实现已经受到了显著的研究关注，这要归功于该算法的出色的可扩展性，以及其在训练深度神经网络的上下文中的效率。并行化大规模SGD的一个基本障碍是节点之间传递梯度更新的成本可能非常大。因此，已经提出了有损压缩算法，通过该算法，节点仅传送量化的梯度。虽然在实践中是有效的，但这些算法并不总是可证明收敛的，也不清楚它们是否是最优的。在本文中，我们提出了量化SGD（QSGD），一个家庭的压缩方案，允许在每个节点的梯度更新的压缩，同时保证在标准假设下的收敛。QSGD允许用户在压缩和收敛时间之间进行权衡：它可以在模型维度上每次迭代传输次线性数量的比特，并且可以实现渐进最优的通信成本。我们补充我们的理论结果与经验数据，表明QSGD可以显着降低通信成本，同时与标准的未压缩技术在各种实际任务的竞争力。特别是，实验表明，梯度量化应用于图像分类和自动语音识别的深度神经网络的训练可以显著降低通信成本和端到端训练时间。例如，在16个GPU上，我们能够在ImageNet上训练ResNet-152网络，速度快1.8倍，达到完全准确。值得注意的是，我们发现存在通用参数设置，所有已知的网络架构在使用量化时保持或略微提高其全精度。
2017-12-06 cs.DS cs.LG
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
大规模分布式机器学习应用的最新发展，例如，深度神经网络极大地受益于分布式非凸优化技术的进步，例如，随机梯度下降（SGD）最近的一系列工作研究了分布式SGD变体的线性加速特性，减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的，因为通信开销通常是分布式系统中的性能瓶颈。最近，动量方法越来越广泛地用于训练机器学习模型，并且通常可以更快地收敛和更好地推广。例如，许多从业者使用分布式SGD与动量，用大数据训练深度神经网络。然而，目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD，并降低了通信的复杂性。本文填补了这一空白，考虑分布式通信有效的动量SGD方法，并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Bandwidth-Efficient Multi-Agent Communication through Information Bottleneck and Vector Quantization
Department of Electrical and Computer Engineering, University of Arkansas at Little Rock（电气与计算机工程系，阿肯色大学小岩分校）
本研究通过信息瓶颈与向量量化方法，实现多智能体通信的带宽高效优化，提升协调性能并减少带宽消耗。
2026-08-12 cs.AI cs.IT cs.LG
High-Dimensional Stochastic Gradient Quantization for Communication-Efficient Edge Learning
The University of Hong Kong（香港大学）；CentraleSupélec（中央理工-高等电力学院）；University of Paris-Saclay（巴黎萨克雷大学）
边缘机器学习涉及在无线网络边缘部署学习算法，以便利用大量移动数据来实现智能应用。主流的边缘学习方法联邦学习是基于分布式梯度下降开发的。基于该方法，在边缘设备处计算随机梯度，然后将其传输到边缘服务器以更新全局AI模型。由于每个随机梯度通常是高维的（具有数百万到数十亿的系数），因此通信开销成为边缘学习的瓶颈。为了解决这个问题，我们在这项工作中提出了一个新的框架分层随机梯度量化，并研究其对学习性能的影响。首先，该框架具有一个实用的分层架构，用于将随机梯度分解为其范数和归一化块梯度，并分别使用均匀量化器和格拉斯曼流形上的低维码本对其进行有效量化。随后，量化的归一化块梯度被缩放和级联，以产生量化的归一化随机梯度，使用在最小失真的标准下设计的所谓的铰链向量。铰链矢量也有效地压缩使用另一种低维格拉斯曼量化器。该框架的另一个特征是用于减少量化误差的比特分配方案。该方案确定了所提出的框架中的低维量化器的分辨率。通过分析作为量化比特的函数的收敛速率，证明了该框架能够保证模型的收敛性。此外，通过模拟，我们的设计被证明大大减少了通信开销相比，国家的最先进的signSGD计划，而两者都达到了类似的学习精度。
2019-10-09 cs.IT cs.LG eess.SP
Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors Quantization
Uppsala University（乌普萨拉大学）；University of Padova（帕多瓦大学）
本文提出Q-SHED算法，通过增量Hessian特征向量量化实现带宽自适应的比特分配，结合SHED算法减少Hessian计算量，在收敛通信轮数上较竞争方法最多减少60%。
2023-05-18 cs.LG cs.MA cs.SY
Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?
Lehigh University（利哈伊大学）
本文研究了数据划分方式对分布式优化的影响。原始的DiSCO算法[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss，Ychen Zhang and Lin Xiao，2015]基于样本对输入数据进行分区。我们描述了如何修改原始算法，允许分区功能，并显示其效率在理论上和实践中。
2015-10-22 cs.LG math.OC
