Quantized Epoch-SGD for Communication-Efficient Distributed Learning
Nanjing University（南京大学）
随机梯度下降（SGD）算法由于其高效性和易于实现性，在机器学习中得到了广泛的应用。特别是，SGD是分布式学习中最流行的优化方法之一。近年来，量化的SGD（QSGD），它采用量化来减少基于SGD的分布式学习的通信成本，引起了人们的广泛关注。虽然已经提出了几种QSGD方法，其中一些是启发式的，没有理论保证，和其他人有很大的量化方差，这使得收敛变慢。在本文中，我们提出了一种新的方法，称为量化时代SGD（QESGD），通信效率的分布式学习。QESGD对参数进行压缩（量化），降低了方差，从而可以以更少的通信代价获得与SGD几乎相同的性能。QESGD在Parameter Server框架上实现，分布式深度学习的实证结果表明，QESGD可以超越其他最先进的量化方法，以实现最佳性能。
2019-01-10 cs.LG math.OC stat.ML
Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients
Zhejiang University（浙江大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出了一种新的聚合梯度方法，用于分布式机器学习，自适应地压缩梯度通信。关键思想是首先对计算的梯度进行量化，然后通过重用过时的梯度来跳过信息量较少的量化梯度通信。量化和跳过会导致“懒惰”的工作者-服务器通信，这证明了术语“懒惰聚合量化梯度”（以下简称为LAQ）的合理性。我们的LAQ可以证明达到相同的线性收敛速度的梯度下降在强凸的情况下，同时影响主要节省通信开销，无论是在传输位，以及在通信轮。从经验上讲，真实数据的实验证实了显着的通信减少现有的梯度和随机梯度为基础的算法。
2019-09-17 cs.DC cs.LG math.OC
Quantized Adaptive Subgradient Algorithms and Their Applications
数据爆炸和模型规模的增加推动了大规模机器学习的显著进步，但也使模型训练耗时，模型存储困难。在具有高计算效率和较少设备限制的分布式模型训练环境中解决上述问题，仍然存在两个主要困难。一方面，交换信息的通信成本，例如，不同工作者之间的随机梯度是分布式训练效率的关键瓶颈。另一方面，少参数模型便于存储和通信，但存在损害模型性能的风险。为了同时平衡通信成本、模型容量和模型性能，我们提出了用于分布式训练的量化复合镜像下降自适应次梯度（QCMD adagrad）和量化正则化双平均自适应次梯度（QRDA adagrad）。具体而言，我们探索了梯度量化和稀疏模型的结合，以减少分布式训练中每次迭代的通信成本。一个量化的基于梯度的自适应学习率矩阵的构建，以实现通信成本，准确性和模型稀疏性之间的平衡。此外，我们从理论上发现，一个大的量化误差带来额外的噪声，这影响了收敛性和稀疏性的模型。因此，在QCMD adagrad和QRDA adagrad中采用了误差相对较小的阈值量化策略，以提高信噪比并保持模型的稀疏性。理论分析和实验结果都证明了所提算法的有效性。
2022-08-11 cs.AI cs.LG
Online Distributed Learning with Quantized Finite-Time Coordination
Digital Futures, KTH Royal Institute of Technology（KTH皇家理工学院数字未来中心）
本文针对无中央服务器的在线分布式学习场景，提出一种基于量化有限时间协调协议的分布式算法，支持本地随机梯度训练，并从与在线解的平均距离角度分析性能，通过逻辑回归实验验证其有效性。
2023-08-31 cs.DC cs.LG math.OC
Quantized Adam with Error Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）
在本文中，我们提出了自适应随机梯度方法的分布式变体，用于在参数服务器模型中训练深度神经网络。为了减少工作者和服务器之间的通信成本，我们结合了两种类型的量化方案，即，梯度量化和权值量化，提出了分布式Adam。此外，为了减少量化操作所带来的偏差，我们提出了一种误差反馈技术来补偿量化梯度。理论上，在随机非凸环境下，我们证明了在单工人和多工人模式下，带梯度量化和误差反馈的分布式自适应梯度方法收敛于一阶平稳点，带权值量化和误差反馈的分布式自适应梯度方法收敛于与量化水平相关的点.最后，我们将提出的分布式自适应梯度方法应用于训练深度神经网络。实验结果表明，我们的方法的有效性。
2021-06-15 cs.DC cs.LG math.OC
Logarithmically Quantized Distributed Optimization over Dynamic Multi-Agent Networks
Semnan University（塞姆南大学）；Instituto Superior Técnico, University of Lisbon（里斯本大学高级技术学院）；Institute for Systems and Robotics（系统与机器人研究院）
针对带宽受限的动态多智能体网络，提出基于对数量化传输的分布式优化动力学，利用主、辅变量分别收敛最优解和跟踪梯度，并借助矩阵扰动与特征谱分析证明其收敛性。
2024-10-27 cs.LG cs.MA cs.SY
Trustworthy Efficient Communication for Distributed Learning using LQ-SGD Algorithm
提出LQ-SGD算法，结合低秩近似与对数量化压缩梯度通信，降低开销并保持精度，且比传统SGD更抗梯度反演，提升分布式学习效率与安全性。
2025-06-22 cs.LG
Quantized Stochastic Primal-Dual Methods for Distributed Optimization under Relaxed Global Geometry
Indian Institute of Technology Bombay（印度理工学院班加罗尔）；Tata Consultancy Services Research（塔塔咨询公司研究）
提出量化随机原始-对偶方法q-PDGD，在松弛全局几何下证明线性收敛到邻域或O(1/k)收敛，匹配最优集中随机复杂度。
2026-06-11 cs.AI cs.LG cs.SY
Quantization-Aware Phase Retrieval
Indian Institute of Science（印度科学学院）
我们解决的问题，相位恢复（PR）从量化测量。目标是从以有限精度编码的二次测量重构信号，这在许多实际应用中确实是这样的。我们开发了一种秩1投影算法，该算法恢复信号，以确保与测量的一致性，也就是说，恢复的信号在编码时必须产生相同的一组测量，一开始。rank-1投影源于提升的想法，最初在PhaseLift的上下文中提出。一致性标准是强制执行使用单侧二次成本。我们还确定不同向量导致相同的量化测量集合的概率，这使得不可能解决它们。自然地，该概率取决于这些向量的相关程度，以及测量结果的量化程度。所提出的算法也能够将稀疏约束的信号。成本函数的分析表明，它是有界的，无论是上界还是下界，都是由依赖于估计值与地面真实值的相关程度的函数所限定的。我们还推导出Cramér-Rao下界（CRB）的可实现的重建精度。与现有算法的比较表明，该算法具有更高的重建精度，与CRB相差约2 ~ 3 dB。当量化粗糙时，就重构信噪比而言，边缘高于竞争算法（约5至6dB）。
2018-10-02 cs.LG stat.ML
Quantized Training of Gradient Boosting Decision Trees
Microsoft Research（微软研究院）；DP Technology（深势科技）；Tsinghua University（清华大学）
近年来，梯度提升决策树（GBDT）在广泛的机器学习应用中取得了显著的成功。通常，关于GBDT的训练算法的共识是梯度和统计数据是基于高精度浮点计算的。在本文中，我们调查了一个重要的问题，这在很大程度上被忽略了以前的文献：有多少位是需要代表梯度训练GBDT？为了解决这个问题，我们建议在GBDT的训练算法中以一种非常简单而有效的方式来处理所有的高精度梯度。令人惊讶的是，我们的理论分析和实证研究都表明，在不损害任何性能的情况下，梯度的必要精度可能相当低，例如，2或3位。对于低精度梯度，GBDT训练中的大多数算术运算可以被8位、16位或32位的整数运算取代。这些发现有望从以下几个方面为更有效地训练GBDT铺平道路：（1）加速直方图中梯度统计的计算;（2）压缩分布式训练期间高精度统计信息的通信开销;（3）利用和开发支持低精度计算的硬件架构以支持GBDT训练。在CPU，GPU和分布式集群上进行基准测试，我们在广泛的数据集上观察到与SOTA GBDT系统相比，我们的简单量化策略的加速高达2 $\times$，证明了GBDT低精度训练的有效性和潜力。代码将发布到LightGBM的官方存储库。
2023-01-17 cs.LG
Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM
Deakin University（迪肯大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）；Lagrange Mathematical and Computing Research Center（拉格朗日数学与计算研究中心）；University of Oulu（奥卢大学）
在本文中，我们提出了一个有效的通信分散的机器学习框架，解决了一个共识优化问题定义在网络上的相互连接的工人。所提出的算法，删失和量化广义GADMM（CQ-GGADMM），利用工人分组和分散学习的思想组交替方向乘法（GADMM），并通过扩展其适用性广义网络拓扑结构，推动通信效率的前沿，同时将链接删失量化后可忽略不计的更新。我们从理论上证明了在一些温和的假设下，当局部目标函数是强凸的时，CQ-GGADMM具有线性收敛速度。数值模拟证实，CQ-GGADMM具有更高的通信效率，在通信轮数和传输能量消耗方面，而不影响精度和收敛速度，相比，审查分散ADMM，和工作分组方法的GADMM。
2021-01-12 cs.IT cs.LG cs.NI
FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models
King Abdullah University of Science and Technology (KAUST)（国王阿卜杜勒-阿齐兹大学科学与技术学院）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（SDAIA-KAUST数据科学与人工智能卓越中心）
针对联邦学习通信瓶颈，提出FedComLoc方法，将压缩技术集成到Scaffnew算法中，通过TopK压缩与量化在异构环境下显著降低通信开销。
2025-09-10 cs.AI cs.DC cs.LG
Fast-Convergent Dynamics for Distributed Allocation of Resources Over Switching Sparse Networks with Quantized Communication Links
Aalto University（阿尔托大学）；Semnan University（塞姆南大学）；University of Cyprus（塞浦路斯大学）；Georgia State University（佐治亚州立大学）；University of Waterloo（滑铁卢大学）；City University of Hong Kong（香港城市大学）；Tufts University（塔夫茨大学）
本文提出了网络动力学来解决时变多智能体网络上的资源分配问题。每个代理的状态表示所使用的资源量（或所产生的实用程序），而资源总量是固定的。其思想是在固定的资源总量下，通过最小化总代价函数来优化资源分配。每个智能体的信息被限制在它自己的状态和代价函数和它的直接内邻居的。这是由分布式应用，如移动边缘计算，经济调度智能电网，和多代理覆盖控制。这项工作提供了一个快速收敛的解决方案（与线性动力学相比），同时考虑宽松的网络连接与量化的通信链路。所提出的动态切换（可能断开）无向网络达到最优解，只要他们的工会在一些有界的非重叠的时间间隔有一个生成树。我们证明了解决方案的可行性，最优状态的唯一性，并收敛到最优值下提出的动态，其中的分析是适用于类似的一阶分配动态具有强烈的符号保持非线性，如致动器饱和。
2022-07-25 cs.LG cs.MA cs.SI
An Exact Quantized Decentralized Gradient Descent Algorithm
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑分散式共识优化问题，其中$n$光滑和强凸函数的总和在形成连接网络的$n$分布式代理上最小化。特别是，我们考虑的情况下，节点之间的通信的局部决策变量进行量化，以减轻分布式优化中的通信瓶颈。我们提出了量化分散梯度下降（QDGD）算法，在该算法中，节点更新其本地决策变量相结合的量化信息从他们的邻居与他们的本地信息。我们证明，在标准的强凸性和光滑性的假设下的目标函数，QDGD实现了消失的平均解的误差在习惯条件下的量化。据我们所知，这是第一个在量化噪声存在的情况下实现一致性误差消失的算法。此外，我们提供的模拟结果表明，我们推导的理论收敛速度和数值结果之间的紧密协议。
2019-08-02 cs.DC cs.LG math.OC
Distributed Inference with Sparse and Quantized Communication
Purdue University（普渡大学）；Sandia National Laboratories（桑迪亚国家实验室）
我们考虑分布式推理的问题，在网络中的代理观察到一个未知状态产生的私人信号流，并旨在唯一地识别这种状态从一组有限的假设。我们专注于代理之间的通信是昂贵的，并发生在有限带宽的通道的情况下。为了减少通信的频率，我们开发了一种新的事件触发的分布式学习规则，该规则基于对每个错误假设扩散低信念的原则。基于这一原则，我们设计了一个触发条件下，代理广播只有那些组件的信念向量，有足够的创新，只有那些邻居，需要这样的信息。我们证明，我们的规则保证收敛到真实的状态几乎可以肯定，尽管稀疏的通信指数快速，它有可能显着减少信息流的信息代理。接下来，为了处理有限精度的通信信道，我们提出了一个分布式学习规则，利用自适应量化的思想。我们表明，通过顺序地细化量化器的范围，每个代理几乎可以肯定地以指数速度学习真相，同时仅使用$1$位来编码其对每个假设的信念。对于我们提出的算法，我们严格的通信效率和学习率之间的权衡。
2021-06-07 cs.GT cs.IT cs.LG
Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features
University of California San Diego（加州大学圣地亚哥分校）
我们建议使用低位深Σ-Δ和分布式噪声整形方法来量化与移位不变内核相关的随机傅立叶特征（RFFs）。我们证明，我们的量化RFFs -即使在$1$位量化的情况下-允许一个高精度的近似的底层内核，和近似误差衰减至少多项式快的RFFs的尺寸增加。我们还表明，量化的RFFs可以进一步压缩，产生一个很好的权衡内存使用和精度之间。也就是说，近似误差现在作为所使用的比特的函数呈指数衰减。此外，我们经验表明，通过测试我们的方法在几个机器学习任务上的性能，我们的方法相比，在这种情况下，其他国家的最先进的量化方法。
2022-04-13 cs.IT cs.LG math.IT
Finite-Bit Quantization For Distributed Algorithms With Linear Convergence
Arizona State University（亚利桑那州立大学）；Purdue University（普渡大学）；Bloomberg（彭博社）
本文研究了网格网络上（强凸）复合最优化问题的分布式算法。而不是专注于一个特定的算法设计，提出了一个黑盒模型，铸造线性收敛的分布式算法的形式固定点迭代。该算法模型配备了一个新的随机或确定性的偏置压缩（BC）规则的量化器设计，和一个新的自适应编码非均匀量化器（ANQ）加上一个通信效率高的编码方案，它实现了BC规则使用有限数量的位（低于机器精度）。这填补了存在于大多数现有技术的量化方案中的空白，例如基于流行的压缩规则的那些，其依赖于具有可忽略的量化误差（实际上以机器精度量化）的一些标量信号的通信。一个统一的通信复杂性分析的黑盒模型，确定所需的平均位数，以达到解决方案的最优化问题在目标精度。结果表明，提出的BC规则保持了非量化算法的线性收敛，并在基于ANQ的量化条件下实现了收敛速度和通信开销之间的折衷.数值结果验证了我们的理论研究结果，并表明，分布式算法配备了建议ANQ有更有利的通信成本比使用国家的最先进的量化规则的算法。
2022-05-18 cs.IT cs.LG math.IT
Distributed Learning of Average Belief Over Networks Using Sequential Observations
Harvard University（哈佛大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Stony Brook University（石溪大学）
本文研究了在顺序观测下，网络中多个智能体通过仅与邻居交换信息达成对平均信念共识的问题。提出两种分布式在线算法，适用于无向和有向图，均能几乎 surely 收敛到平均信念，并以 O(1/t) 的速率达成共识。对于无向图，还修改了算法以适应量化通信和有限精度的除法操作，证明修改后的算法能使所有智能体达成量化共识或进入平均信念的附近区域。
2018-11-19 cs.LG cs.MA cs.SY
Quantized Decentralized Stochastic Learning over Directed Graphs
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
针对有向图上去中心化随机学习的通信瓶颈，提出基于push-sum的量化算法，在凸和非凸损失下保持与精确通信相同的收敛速率，并实现显著加速。
2024-12-19 cs.DC cs.LG cs.MA
Distributed Convex Optimization With Limited Communications
Stanford University（斯坦福大学）；National Chiao Tung University（国立交通大学）
提出了一种分布式凸优化算法--\emph{distributed coordinate dual averaging}（DCDA）算法。DCDA算法解决了网络中节点之间通信有限的大型分布式优化问题的场景。目前已知的分布式次梯度方法，如分布式双平均或分布式交替方向方法的乘法器算法，假设节点可以交换大基数的消息。这样的网络通信能力在许多实际相关的场景中是无效的。另一方面，在DCDA算法中，优化变量的每个坐标的通信随时间被限制。对于所提出的算法，我们约束下不同的通信协议和网络架构的收敛速度。我们还考虑了不完善的梯度知识的情况下，在这种情况下，传输的消息被破坏的加性噪声或量化的扩展。并给出了相应的数值模拟结果。
2018-10-29 cs.DC cs.LG cs.MA
