Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
由于训练数据集规模的爆炸式增长,分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的,在减少通信成本与随机梯度下降(SGD),有很少的尝试,在建立通信有效的自适应梯度方法与可证明的保证,这是广泛用于训练大规模机器学习模型。在本文中,我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题,这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点,具有相同的迭代复杂度,未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
CoNeT-GIANT: A compressed Newton-type fully distributed optimization algorithm
Uppsala University(乌普萨拉大学)
本文提出CoNeT-GIANT,一种带压缩模块的通信高效二阶分布式优化算法,通过梯度跟踪和近似牛顿迭代实现快速线性收敛,并在合成数据和CovType数据集上验证了其优越性能。
2025-10-24 math.OC
Compressed Distributed Stochastic Nonconvex Optimization with Differential Privacy
Shanghai University(上海大学);Tongji University(同济大学);Northeastern University(东北大学)
本文研究了具有压缩通信和差分隐私的分布式随机非凸优化问题,提出了一种压缩分布式随机梯度下降算法,在一般压缩算子下实现线性加速收敛率。
2026-03-23 math.OC
Distributed Online Randomized Gradient-Free optimization with Compressed Communication
本文提出OCGT-BF算法,通过压缩通信与单点反馈估计解决分布式在线优化中的通信效率和有限反馈问题,并给出动态遗憾界及实验验证。
2025-05-04 math.OC
A Compressed Gradient Tracking Method for Decentralized Optimization with Linear Convergence
通信压缩技术是解决有限通信条件下的分散最优化问题的一种重要方法,其全局目标是在多智能体网络中仅使用局部计算和对等通信来最小化局部费用函数的平均值.本文提出了一种将梯度跟踪技术与通信压缩相结合的新型压缩梯度跟踪算法(C-GT)。特别是,C-GT是兼容的一般类的压缩运营商,统一无偏和有偏的压缩机。我们表明,C-GT继承了基于梯度跟踪算法的优点,并实现了强凸和光滑目标函数的线性收敛速率。数值例子补充了理论研究结果,并证明了所提出的算法的效率和灵活性。
2022-05-25 math.OC
Distributed Online Randomized Gradient-Free Optimization with Compressed Communication
School of Mathematics, Southeast University(东南大学数学学院)
本文提出了一种分布式在线优化框架,通过压缩通信和梯度-free 技术,在有限反馈下实现高效的优化算法。
2025-12-05 math.OC
Gradient Descent with Compressed Iterates
Cairo University(开罗大学);KAUST(沙特国王 Abdullah 科技大学)
提出并分析了一种新的随机一阶方法:压缩迭代梯度下降(GDCI)。GDCI在每次迭代中首先使用有损随机化压缩技术压缩当前帧,随后采取梯度步骤。这种方法是对当前联邦学习实践中一个关键成分的提炼,在联邦学习中,模型需要在发送回服务器进行聚合之前由移动终端进行压缩。我们的分析为缩小联邦学习的理论和实践之间的差距迈出了一步,并为许多扩展提供了可能性。
2020-03-18 cs.DC cs.LG cs.NA
Compressed Gradient Tracking Algorithms for Distributed Nonconvex Optimization
针对分布式非凸优化问题,本文引入三类压缩器并结合梯度跟踪算法提出三种压缩优化算法,证明其在光滑条件下亚线性收敛、P--Ł条件下线性收敛且部分参数无需P--Ł常数先验,数值结果显示算法通信负担低且性能优于现有方法。
2025-02-11 math.OC
Communication-efficient Distributed Cooperative Learning with Compressed Beliefs
Department of Electrical and Computer Engineering, Rice University(莱斯大学电气与计算机工程系);Rice University(莱斯大学);Houston, TX, USA(美国得克萨斯州休斯敦(此处地址信息不满足机构提取要求,仅保留有效机构部分))
我们研究分布式协作学习的问题,其中一组代理商寻求同意一组假设,最好地描述了一系列的私人观察。在假设集是大的情况下,我们提出了一个信念更新规则,代理共享压缩(稀疏或量化)的信念与任意的正压缩率。我们的算法利用了一个统一的通信规则,使代理访问广泛的压缩运算符作为黑盒模块。我们证明了几乎必然渐近指数收敛的信念周围的最佳假设。此外,我们显示了一个非渐近的,明确的,和线性的概率集中率的信念的最佳假设集。我们提供了数值实验来说明我们的方法的通信优势。仿真结果表明,在所研究的场景中,传输的比特数可以减少到非压缩方法的5-10%。
2021-09-21 cs.DC cs.LG cs.MA
Spectral Compressed Sensing via Projected Gradient Descent
假设$x\in\mathbb{C}^n$是由具有或不具有阻尼的$r$复正弦曲线组成的频谱稀疏信号。我们考虑的频谱压缩感知问题,这是关于重建$x$从其部分透露的条目。通过利用对应于$x$的Hankel矩阵的低秩结构,我们开发了一个计算效率高的算法。该算法从一个初始猜测计算通过一步硬阈值,然后投影,然后通过应用投影梯度下降迭代到一个非凸泛函。基于放回抽样,我们证明了$O(r^2\log(n))$观测项足以使我们的算法成功地恢复频谱稀疏信号。此外,广泛的经验性能比较表明,我们的算法是竞争力与其他国家的最先进的频谱压缩感知算法的相变和整体计算时间。
2017-07-31 math.OC
Communication-Efficient Distributed SGD with Compressed Sensing
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
我们考虑大规模的分布式优化一组边缘设备连接到一个中央服务器,其中有限的服务器和边缘设备之间的通信带宽施加了显着的瓶颈优化过程。受联邦学习最新进展的启发,我们提出了一种分布式随机梯度下降(SGD)型算法,该算法在可能的情况下利用梯度的稀疏性来减少通信负担。该算法的核心是在设备侧使用压缩传感技术来压缩局部随机梯度;在服务器侧,从有噪声的聚合压缩局部梯度中恢复全局随机梯度的稀疏近似。我们进行了理论分析,我们的算法的收敛性存在的噪声扰动的通信信道,也进行了数值实验,以证实其有效性。
2021-12-15 cs.LG eess.SP math.OC
Distributed Stochastic Zeroth-Order Optimization with Compressed Communication
针对分布式系统中通信开销大和梯度计算不可行的挑战,提出仅需两次函数评估且集成压缩算子的随机分布式零阶算法Com-DSZO及其方差缩减变体,并证明其次线性收敛速率与压缩-收敛权衡。
2025-09-18 cs.MA math.OC
An Empirical Study on Compressed Decentralized Stochastic Gradient Algorithms with Overparameterized Models
The Chinese University of Hong Kong(香港中文大学)
本文考虑分散优化与应用到图上的机器学习。神经网络(NN)模型的规模不断增长,促使分散式随机梯度算法的先前工作,以纳入通信压缩。另一方面,最近的工作已经证明了良好的收敛性和推广性能的过参数化神经网络。在这项工作中,我们提出了一个实证分析的压缩分散随机梯度(DSG)算法与过参数化神经网络的性能。通过在MPI网络环境下的仿真,我们观察到流行的压缩DSG算法的收敛速度对神经网络的大小具有鲁棒性。我们的研究结果表明,在现有文献中的压缩DSG算法的理论和实践之间的差距。
2021-10-09 cs.DC cs.LG math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先,我们提出了一个分散的近端随机梯度跟踪方法(DProxSGT)的非凸随机复合问题,数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本,我们扩展DProxSGT的压缩方法,通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新,这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数(但不是对每个样本函数)的平滑条件,所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明,我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能,并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
Escaping Saddle Points with Compressed SGD
Indiana University(印第安纳大学)
随机梯度下降(SGD)是一种流行的大规模分布式机器学习优化技术。虽然SGD计算可以在多台机器之间有效地划分,但通信通常会成为分布式环境中的瓶颈。梯度压缩方法可以用来缓解这个问题,最近的工作表明,SGD增强梯度压缩收敛到一个$\varepsilon$ -一阶稳定点。在本文中,我们将这些结果推广到收敛到一个$\varepsilon$ -二阶稳定点($\varepsilon$ -SOSP),这是尽我们所知的第一个结果,这种类型。此外,我们表明,当随机梯度不是Lipschitz时,具有RandomK压缩器的压缩SGD收敛到具有与未压缩SGD相同的迭代次数的$\varepsilon$ -SOSP [Jin等人,2021](JACM),同时以因子$\tilde Θ(\sqrt{d} \varepsilon^{-3/4})$改进总通信,其中$d$是优化问题的维度。我们提出了额外的结果的情况下,压缩机是任意的,当随机梯度是Lipschitz。
2021-05-21 cs.LG math.OC stat.ML
CompressedScaffnew: The First Theoretical Double Acceleration of Communication from Local Training and Compression in Distributed Optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)(SDAIA-KAUST数据科学与人工智能卓越中心);Brno University of Technology(布尔诺理工大学);Kempelen Institute of Intelligent Technologies (KInIT)(肯佩伦智能技术研究所)
本文提出CompressedScaffnew算法,结合减少通信频率和压缩信息传输两种策略,实现分布式优化的线性收敛与双重加速。
2026-04-02 cs.DC cs.LG math.OC
The Error-Feedback Framework: Better Rates for SGD with Delayed Gradients and Compressed Communication
EPFL(洛桑联邦理工学院)
我们分析(随机)梯度下降(SGD)与光滑拟凸和非凸函数的延迟更新,并推导出简洁,非渐近,收敛速度。我们表明,在所有情况下的收敛速度包括两个方面:(i)一个随机项,这是不受影响的延迟,和(ii)一个高阶确定性项,这只是线性放缓的延迟。因此,在存在噪声的情况下,延迟的影响在几次迭代之后变得可以忽略不计,并且算法以与标准SGD相同的最佳速率收敛。这一结果扩展了一系列的研究,显示出类似的结果,在渐近制度或强凸二次函数。我们进一步显示了类似的结果,SGD与更复杂的形式的延迟梯度-压缩梯度下的误差补偿和本地~SGD,多个工人执行本地步骤之前,相互通信。在所有这些设置中,我们改进了最知名的费率。这些结果表明,SGD是压缩和/或延迟的随机梯度更新的鲁棒性。这对于分布式并行实现尤其重要,其中异步和通信高效的方法是实现多设备优化的线性加速的关键。
2021-06-16 cs.DC cs.LG math.OC
Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
Department of Mathematical Sciences(数学科学系);Rensselaer Polytechnic Institute(伦斯勒理工学院);Department of Computer Science(计算机科学系);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM Watson AI实验室,IBM研究);IBM T. J. Watson Research Center(IBM T.J. 华生研究中心)
本文提出两种压缩去中心化动量随机梯度算法,分别针对梯度有界和无界数据异构场景,实现最优收敛率、线性加速,并在DNN和Transformer训练中表现优越。
2025-08-07 cs.LG math.OC
Compressed Gradient Tracking Methods for Decentralized Optimization with Linear Convergence
通信压缩技术是解决有限通信条件下的分散最优化问题的一种重要方法,其全局目标是在多智能体网络中仅使用局部计算和对等通信来最小化局部费用函数的平均值.在本文中,我们首先提出了一种新的压缩梯度跟踪算法(C-GT),结合梯度跟踪技术和通信压缩。特别是,C-GT是兼容的一般类的压缩运营商,统一无偏和有偏的压缩机。我们表明,C-GT继承了基于梯度跟踪算法的优点,并实现了强凸和光滑目标函数的线性收敛速率。在本文的第二部分,我们提出了一个基于误差反馈的压缩梯度跟踪算法(EF-C-GT),以进一步提高算法的效率有偏压缩算子。数值例子补充了理论研究结果,并证明了所提出的算法的效率和灵活性。
2021-06-18 cs.DC cs.MA cs.SI
Det-CGD: Compressed Gradient Descent with Matrix Stepsizes for Non-Convex Optimization
本文提出Det-CGD算法,采用矩阵步长和分层压缩机制,加速非凸矩阵光滑目标的优化,并给出理论保证与实证验证。
2024-04-21 math.OC
Constrained Optimization with Compressed Gradients: A Dynamical Systems Perspective
该研究从动力学系统视角出发,建立扰动扫掠过程与带压缩梯度投影格式的关联,推导收敛性结论,构建分析框架,提出可证明收敛的分布式压缩梯度下降算法,并通过仿真验证了理论与算法的有效性。
2024-10-29 cs.SY eess.SY math.OC
Distributed Learning with Compressed Gradient Differences
MIPT(莫斯科物理技术学院)
本文提出分布式学习方法DIANA,通过压缩梯度差值解决现有压缩方法无法收敛到最优解的问题,在强凸和非凸设置下获得更优收敛速率,并首次为TernGrad建立收敛速率。
2023-12-28 cs.LG math.OC stat.ML
Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance
INMA/ICTEAM, UCLouvain(比利时鲁汶大学INMA/ICTEAM研究所)
本研究提出FO-SGD梯度压缩算法,结合带抖动的单比特量化与随机快速沃尔什-哈达玛变换,解决单比特压缩方差爆炸等问题,在温和条件下有类SGD收敛保证,支持参数服务器框架下双向全通信压缩的分布式优化。
2024-05-17 cs.LG cs.NA math.NA
Distributed Constrained Online Nonconvex Optimization with Compressed Communication
针对时变网络中的带时变不等式约束在线非凸优化,提出压缩通信的分布式原始-对偶算法,证明其遗憾与累积约束违反界,并通过仿真验证。
2025-08-29 cs.SY eess.SY math.OC
Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Sber AI Lab(Sber AI实验室);Skoltech(斯科尔科沃科学技术学院)
本文提出首个在数据相似性下结合无偏/有偏压缩、方差缩减与误差反馈的分布式优化加速算法,理论创纪录并经实验验证。
2024-12-21 cs.DC cs.LG math.OC
On the Discrepancy between the Theoretical Analysis and Practical Implementations of Compressed Communication for Distributed Deep Learning
INRA(法国国家农业研究院);KAUST(阿卜杜拉国王科技大学)
采用稀疏化或随机梯度量化形式的压缩通信来降低深度神经网络的分布式数据并行训练中的通信成本。然而,理论和实践之间存在差异:虽然大多数现有压缩方法的理论分析假设压缩应用于整个模型的梯度,但许多实际实现单独操作模型的每一层的梯度。在本文中,我们证明了逐层压缩,在理论上,更好的,因为收敛速度的上限是整个模型压缩的范围广泛的有偏和无偏压缩方法。然而,尽管有理论上的限制,我们对六种著名方法的实验研究表明,在实践中,收敛性可能会更好,也可能不会更好,这取决于实际的训练模型和压缩比。我们的研究结果表明,深度学习框架支持逐层和整个模型压缩是有利的。
2019-11-19 cs.DC cs.LG math.OC
Compressed Gradient Methods with Hessian-Aided Error Compensation
大数据的出现导致优化算法的运行机制发生了巨大的变化。过去的性能瓶颈是计算,现在通常是通信。已经提出了几种梯度压缩技术,以减少通信负载的代价在解决方案的准确性损失。最近,已经示出了如何在优化算法中补偿压缩误差以提高解的精度。即使已经建立了误差补偿算法的收敛保证,量化所观察到的解决方案精度的提高的理论支持非常有限。在本文中,我们表明,海森辅助误差补偿,不同于其他现有的计划,避免了积累的压缩误差的二次问题。我们还提出了强收敛保证的海森为基础的误差补偿随机梯度下降。我们的数值实验突出了基于Hessian的误差补偿的好处,并表明,当只使用对角Hessian近似时,可以获得类似的收敛性改善。
2020-06-18 eess.SP math.OC
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa(爱荷华大学)
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后,提出了一种有效的可行点方法--投影Wirtinger梯度下降(PWGD)算法,有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同,我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
A Convergent Generalized Krylov Subspace Method for Compressed Sensing MRI Reconstruction with Gradient-Driven Denoisers
Oden Institute for Computational Engineering and Sciences, University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学学院);Department of Electrical and Computer Engineering, University of Michigan(密歇根大学电气与计算机工程系)
本文提出了一种广义Krylov子空间方法用于压缩感知MRI重建,解决了优化问题的计算挑战并建立了非凸情况下的收敛保证。
2026-01-10 eess.IV math.OC
signSGD: Compressed Optimisation for Non-Convex Problems
Amazon AI(亚马逊人工智能);Caltech(加州理工学院);UC Santa Barbara(加州大学圣巴巴拉分校);UC Irvine(加州大学欧文分校)
训练大型神经网络需要在多个工作者之间分布学习,其中传达梯度的成本可能是一个重要的瓶颈。signSGD通过只传输每个小批量随机梯度的符号来解决这个问题。我们证明了它可以得到最好的两个世界:压缩梯度和SGD级收敛速度。梯度、噪声和曲率的相对$\ell_1/\ell_2$几何关系决定了signSGD或SGD在理论上是否更适合特定问题。在实践方面,我们发现signSGD的动量对应物能够在深度Imagenet模型上匹配Adam的准确性和收敛速度。我们将我们的理论扩展到分布式设置,其中参数服务器使用多数投票来聚合来自每个工人的梯度符号,从而在两个方向上实现1位压缩的工人-服务器通信。利用高斯定理,我们证明了多数表决可以达到相同的减少方差的全精度分布式SGD。因此,基于符号的优化方案很有希望实现快速通信和快速收敛。复制实验的代码可以在https://github.com/jxbz/signSGD上找到。
2018-08-07 cs.DC cs.LG math.OC
Communication Compression for Distributed Nonconvex Optimization
本文研究了费用函数分布在多个智能体上的分布式非凸优化问题。注意到信息压缩是一个关键的工具,以减少沉重的通信负载的分布式算法代理迭代与邻居进行通信,我们提出了三个分布式原始对偶法压缩通信。前两个算法适用于相对压缩误差有界的一般压缩器类,第三个算法适用于绝对压缩误差有界的一般压缩器类。我们表明,所提出的分布式算法与压缩通信具有可比的收敛性能,最先进的算法与精确的通信。具体地说,我们发现,他们可以找到一阶平稳点的次线性收敛速度$\mathcal{O}(1/T)$时,每个本地的成本函数是光滑的,其中$T$是迭代的总次数,并找到全局最优解的线性收敛速率的一个附加条件下,全球费用函数满足Polyak--Jasiewicz条件。通过数值模拟验证了理论结果的有效性。
2022-10-07 math.OC
Numerical Methods for Distributed Stochastic Compositional Optimization Problems with Aggregative Structure
研究了网络上的分布式随机组合最优化问题,其中所有智能体的内层函数是每个智能体的私有期望函数之和。针对内层函数的聚集结构,采用混合方差约简方法获取各Agent的私有期望函数信息,并采用动态一致性机制跟踪各Agent的内层函数信息.然后结合标准的分布式随机梯度下降法,提出了一种分布式聚集随机合成梯度下降法。当目标函数光滑时,该方法具有最优的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$ .我们进一步将该方法与通信压缩相结合,提出了通信压缩变量分布聚集随机合成梯度下降法。所提出的方法的压缩变体保持最佳的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$。分散强化学习的仿真实验验证了所提方法的有效性。
2022-11-04 math.OC
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本,依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下,性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数,但没有结合梯度压缩和加速两者的优点的方法。在本文中,我们纠正这种情况,并提出了第一加速压缩梯度下降(ACGD)方法。在单机状态下,我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题,分别,其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$,分别,并恢复加速梯度下降的最佳速率作为一种特殊情况下,没有压缩($ω=0$)时,应用。我们进一步提出了ACGD的分布式变体(称为ADANA),并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$,其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
CEDAS: A Compressed Decentralized Stochastic Gradient Method with Improved Convergence
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳)数据科学学院)
本文提出压缩去中心化随机梯度方法 CEDAS,在通信受限的多智能体网络中达到与集中式 SGD 相当的收敛速率,并具有最短瞬态时间。
2024-09-29 cs.DC cs.LG cs.MA
Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks
Shanghai Center for Mathematical Sciences, Fudan University(复旦大学上海数学中心);Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Department of Mathematics, Michigan State University(密歇根州立大学数学系)
针对一般有向多智能体网络,提出结合梯度跟踪与通信压缩的 CPP 及异步广播版 B-CPP,二者均对强凸光滑目标实现线性收敛,且 B-CPP 进一步降低通信成本。
2024-04-10 cs.DC cs.LG cs.MA
Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning
École polytechnique, Institut Polytechnique de Paris, CMAP(巴黎理工学院,理工信息科学与应用数学研究所)
本文针对最小二乘回归分析压缩随机梯度算法的噪声协方差与收敛速率,并将结果推广到中心化及两种异构联邦学习框架。
2025-07-24 cs.LG math.OC stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们研究分布式优化算法,最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能,重点是通信效率。在这样的设置中,天真地使用经典的随机梯度下降(SGD)或其变体(例如,SVRG)的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中,我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明,新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器,从而显着加快收敛。我们的实验表明,我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Distributed Second Order Methods with Fast Rates and Compressed Communication
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们开发了几个新的通信有效的二阶方法的分布式优化。我们的第一种方法,牛顿之星,是一个变种牛顿的方法,它继承了其快速的本地二次速率。然而,与牛顿的方法不同,NEWTON-STAR享有与梯度下降相同的每次迭代通信成本。虽然这种方法是不切实际的,因为它依赖于使用某些未知的参数,其特征在于在最佳的目标函数的Hessian,它作为起点,使我们能够设计其具有强有力的理论保证的实际变体。特别是,我们设计了一个随机稀疏化策略,以迭代的方式学习未知参数的通信有效的方式。将此策略应用于NEWTON-STAR导致我们的下一个方法,NEWTON-LEARN,为此我们证明了与条件数无关的局部线性和超线性速率。在适用的情况下,与最先进的方法相比,该方法可以具有显著优越的收敛行为。最后,我们使用立方正则化开发了一个全球化策略,这导致了我们的下一个方法,CUBIC-NEWTON-LEARN,我们证明了全局次线性和线性收敛速度,以及快速的超线性速度。我们的研究结果与真实数据集上的实验结果相支持,并在通信复杂性方面显示了基线和最先进方法的几个数量级改进。
2021-02-14 cs.DC cs.LG math.OC
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services(亚马逊云科技);Hong Kong University of Science and Technology(香港科技大学)
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近,人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化,具有多数表决的signSGD实现了通信成本的32倍降低。然而,它的收敛是基于不切实际的假设,在实践中可能会出现分歧。在本文中,我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩,它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块,引入了逐块压缩器,使得每个梯度块以具有缩放因子的1位格式压缩和传输,从而导致通信减少近32倍。实验结果表明,该方法与全精度分布式动量SGD算法收敛速度相当,且测试精度相同。特别是,在ImageNet上使用7个工作人员进行分布式ResNet训练时,所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度,但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
LoDAdaC: a unified local training-based decentralized framework with adaptive gradients and compressed communication
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM T. J. Watson Research Center(IBM T. J. Watson 研究中心);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM Watson AI 实验室,IBM 研究院)
LoDAdaC通过结合自适应梯度和压缩通信,在去中心化学习中实现通信成本的大幅降低和快速收敛,实验验证其在图像分类和语言模型训练中的优越性能。
2026-04-11 cs.DC cs.LG math.OC
RC Circuits based Distributed Conditional Gradient Method
本文研究了无向连通图上的分布优化问题。提出了一种新的分布式条件梯度法,其收敛速度为O(1/ \sqrt{k}).与现有方法相比,该方法的每次迭代只使用一次通信和线性最小化步骤,而不是多次。我们进一步扩展我们的结果与复合局部约束的情况下。我们证明我们的结果通过分布式矩阵完成问题的例子。
2020-03-15 math.OC
Convergent Complex Quasi-Newton Proximal Methods for Gradient-Driven Denoisers in Compressed Sensing MRI Reconstruction
Department of ECE, INMC & IPAI, SNU(首尔大学电子电气计算机工程系、国家智能材料研究中心及人工智能研究所);EECS Department, University of Michigan(密歇根大学电气与计算机工程系)
本文提出一种复拟牛顿近端方法,用于压缩感知MRI重建中的梯度驱动去噪器,通过修正Hessian估计保证Hermitian正定性,实现非凸设置下的快速收敛,并在多种采样轨迹上验证了有效性。
2025-10-18 cs.NA eess.IV math.NA
Exact Spectral-Like Gradient Method for Distributed Optimization
自80年代末首次提出以来,谱梯度法一直受到人们的关注,特别是由于其在各种大规模应用中的优异数值性能。然而,到目前为止,它们还没有在分布式优化的上下文中得到充分的探索。在本文中,我们考虑无约束分布式最优化问题,其中$n$节点构成一个任意连接的网络,并合作最小化其局部凸费用函数的总和。在这种情况下,从现有的精确分布式梯度方法的建设,我们提出了一种新的精确分布式梯度法,其中节点的步长设计根据新的规则类似于那些在谱梯度法。我们将所提出的方法称为分布式谱梯度法(DSG)。该方法在节点局部代价和算法步长的标准假设下具有R-线性收敛。我们通过仿真示例说明了该方法的性能。
2019-01-17 math.OC
Stochastic Gradient Methods with Compressed Communication for Decentralized Saddle Point Problems
IIT Bombay(印度理工学院孟买分校)
本文针对去中心化非光滑强凸-强凹鞍点问题,提出两种带压缩通信的随机梯度算法C-RDPSG和C-DPSVRG,给出计算与通信复杂度理论保证,并通过数值实验验证其竞争性性能。
2023-04-14 cs.DC cs.DS cs.LG
Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
本文针对分布式随机非凸优化问题,提出一种结合梯度跟踪的自适应步长算法,并给出最优性间隙上界,证明其可达到一阶平稳解。
2024-03-29 math.OC
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison(威斯康星大学麦迪逊分校)
我们提出了ErasureHead,一种新的分布式梯度下降(GD)的方法,采用近似梯度编码,减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反,ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度,但具有更高的延迟容忍度。与以前的工作梯度编码,我们提供了一个性能分析,结合延迟和收敛保证。我们建立了一个小的噪声本底,ErasureHead收敛速度一样快,分布式GD,并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验,并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
A Linearly Convergent Robust Compressed Push-Pull Method for Decentralized Optimization
在现代多智能体网络的范例中,通信已经成为分散优化的主要瓶颈之一,其中大量的智能体参与最小化局部费用函数的平均值。在本文中,我们提出了一个强大的压缩推挽算法(RCPP),结合梯度跟踪和通信压缩。特别地,RCPP与更一般的压缩运算符类兼容,这些压缩运算符允许相对和绝对压缩错误。我们证明了RCPP在一般有向网络上对光滑的满足Polyak-Jasojasiewicz条件的目标函数具有线性收敛速率。数值算例验证了理论结果,并证明了所提出的算法的效率,灵活性和鲁棒性。
2023-03-13 math.OC
A Distributed Optimization Algorithm over Time-Varying Graphs with Efficient Gradient Evaluations
我们提出了一个算法,分布式优化时变通信网络。我们的算法使用优化的通信轮数和梯度评估之间的比例,以实现快速收敛。迭代收敛到全局优化器的速度与集中式梯度下降相同,当使用最小数量的通信来这样做时,根据梯度评估的数量来测量。此外,迭代收敛在一个接近最佳的速度时,测量的通信轮数。我们比较我们的算法与其他几个已知的算法的分布式目标定位问题。
2020-01-07 math.OC
LAG: Lazily Aggregated Gradient for Communication-Efficient Distributed Learning
University of Minnesota - Twin Cities(明尼苏达大学双城分校);National University of Defense Technology(国防科技大学);University of California - Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了一类新的梯度方法用于分布式机器学习,自适应地跳过梯度计算,以减少通信和计算来学习。设计简单的规则来检测缓慢变化的梯度,从而触发过时梯度的重用。由此产生的基于梯度的算法被称为懒惰聚合梯度-证明我们的缩写LAG使用。从理论上讲,这种贡献的优点是:i)在强凸,凸和非凸光滑情况下,收敛速度与批量梯度下降相同; ii)如果分布式数据集是异构的(由某些可测量常数量化),由于滞后梯度的自适应重用,实现目标精度所需的通信轮次减少。合成和真实数据的数值实验证实了一个显着的通信减少相比,替代品。
2018-05-30 cs.DC cs.LG math.OC
Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients
Zhejiang University(浙江大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文提出了一种新的聚合梯度方法,用于分布式机器学习,自适应地压缩梯度通信。关键思想是首先对计算的梯度进行量化,然后通过重用过时的梯度来跳过信息量较少的量化梯度通信。量化和跳过会导致“懒惰”的工作者-服务器通信,这证明了术语“懒惰聚合量化梯度”(以下简称为LAQ)的合理性。我们的LAQ可以证明达到相同的线性收敛速度的梯度下降在强凸的情况下,同时影响主要节省通信开销,无论是在传输位,以及在通信轮。从经验上讲,真实数据的实验证实了显着的通信减少现有的梯度和随机梯度为基础的算法。
2019-09-17 cs.DC cs.LG math.OC
DoCoM: Compressed Decentralized Optimization with Near-Optimal Sample Complexity
The Chinese University of Hong Kong(香港中文大学)
本文提出双重压缩动量辅助随机梯度跟踪算法DoCoM,通过压缩Gossip共识跟踪迭代与梯度并结合动量缩减方差,实现近最优样本复杂度,在非凸目标下收敛至近平稳解。
2023-07-31 cs.DC cs.DS cs.LG
A Second-Order Method for Compressed Sensing Problems with Coherent and Redundant Dictionaries
在本文中,我们感兴趣的压缩感知(CS)问题的解决方案,要恢复的信号是稀疏的相干和冗余字典。这种类型的CS问题是凸的,具有非光滑和不可分离的正则化项,因此需要专门的求解器。我们提出了一个原始-对偶牛顿共轭梯度(pdNCG)方法。我们证明了整体收敛和快速局部收敛速率的pdNCG。此外,众所周知的CS问题的属性被利用的可证明有效的预处理技术,加快线性系出现的近似解的发展。CS问题的数值结果表明pdNCG的性能相比,一个国家的最先进的现有的求解器。
2014-05-30 math.OC
Geometric Convergence of Distributed Gradient Play in Games with Unconstrained Action Sets
本文提出了一种分布式算法来学习一类具有强单调映射和无约束行动集的非合作对策的纳什均衡。每个参与者都可以访问自己的平滑局部费用函数,并且可以与无向图中的邻居进行通信。我们考虑一个分布式通信为基础的梯度算法。对于这个过程中,我们证明几何收敛到纳什均衡。与我们以前的工作[15],[16]相比,其中所提出的算法需要设置两个参数并且分析基于所谓的增强博弈映射,这项工作中的过程对应于标准的分布式梯度游戏,因此,仅需要适当选择一个恒定的步长参数以保证快速收敛到博弈解。此外,我们提供了一个严格的比较之间的收敛速度的分布式梯度播放和速度的GRANE算法在[15]。它使我们能够证明分布式梯度播放在收敛速度方面优于GRANE。
2019-07-15 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化,我们专注于分布式随机梯度下降(D-SGD)-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证,并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化,我们讨论了基于退火的方法,其中缓慢衰减的噪声被添加到D-SGD。条件下,收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC