Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications
Deakin University(迪肯大学);University of Oulu(奥卢大学);Korea University(高丽大学);Yonsei University(延世大学);CentraleSupélec, Université Paris-Saclay(巴黎-萨克雷大学中央理工-高等电力学院)
机器学习(ML)是第五代(5G)通信系统及以后的有前途的使能者。通过将智能注入网络边缘,边缘节点可以主动执行决策,从而对本地环境变化和干扰做出反应,同时体验零通信延迟。为了实现这一目标,必须通过以分布式方式不断交换新数据和ML模型更新,在时变信道和网络动态下满足大规模ML推理的高精度。驯服这种新的数据流量归结为通过优化通信有效载荷类型,传输技术和调度,以及ML架构,算法和数据处理方法来提高分布式学习的通信效率。为此,本文旨在提供相关通信和ML原则的整体概述,从而提供具有选定用例的通信效率和分布式学习框架。
2020-08-06 cs.IT cs.LG cs.NI
Communication-Efficient Distributed Statistical Inference
我们提出了一个通信有效的代理Likestive(CSL)框架解决分布式统计推断问题。CSL为全局似然提供了一种通信效率高的替代,可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计,CSL可证明地改进了朴素平均方案,并有利于置信区间的构建。对于高维正则化估计,CSL导致一个极小极大最优估计与控制通信成本。对于贝叶斯推断,CSL可以用于形成收敛于真实后验的通信有效的准后验分布。这种准后验过程显着提高了MCMC算法的计算效率,即使在非分布式设置。我们提出了理论分析和实验来探索CSL近似的属性。
2016-11-06 cs.IT cs.LG math.IT
Learning Deep Representations By Distributed Random Samplings
Tsinghua National Laboratory for Information Science and Technology, Tsinghua University(清华大学清华信息科学与技术国家实验室)
在本文中,我们提出了一个非常简单的无监督非线性降维的深度模型-深度分布随机采样,它的表现就像一堆无监督的自举聚合。首先,它的网络结构新颖:网络的每一层是一组相互独立的$k$ -中心聚类。其次,它的学习方法极其简单:每次聚类的$k$中心只是从训练数据中随机选取的$k$样本;对于小规模数据集,通过简单的循环移位运算进一步随机重构$k$中心。非线性降维实验结果表明,该方法不仅可以学习大规模和小规模问题的抽象表示,而且在大规模问题上比深度神经网络学习速度更快.
2013-12-16 cs.LG
A Linearly Convergent Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
主成分分析(PCA)是大数据时代降维的主力工具。虽然经常被忽视,但PCA的目的不仅是降低数据维度,而且还产生不相关的特征。此外,现代世界中不断增加的数据量通常需要在多台机器上存储数据样本,这排除了使用集中式PCA算法。本文重点研究PCA的双重目标,即降维和去相关的功能,但在分布式设置。这需要估计数据协方差矩阵的特征向量,而不是当数据分布在机器网络中时仅估计特征向量所跨越的子空间。虽然最近已经提出了一些分布式解决方案的PCA问题,收敛保证和/或这些解决方案的通信开销仍然是一个问题。着眼于通信效率,本文介绍了一种前馈神经网络为基础的一个时间尺度的分布式PCA算法称为分布式桑格算法(DSA),估计的特征向量的数据协方差矩阵时,数据分布在一个无向和任意连接的网络的机器。此外,所提出的算法线性收敛到真解的邻域。数值结果也证明了所提出的解决方案的有效性。
2021-11-28 cs.DC cs.LG cs.MA
GADMM: Fast and Communication Efficient Framework for Distributed Machine Learning
当数据分布在多个服务器上时,在解决分布式学习问题的同时降低服务器(或工人)之间的通信开销是一个重要的问题,也是本文研究的重点。特别是,我们提出了一个快速,通信效率高的分散框架来解决分布式机器学习(DML)问题。所提出的算法,分组交替方向乘法(GADMM)是基于交替方向乘法(ADMM)框架。GADMM的关键新颖之处在于它解决了分散式拓扑中的问题,在这种拓扑中,在任何给定的时间,最多有一半的工作人员在争夺有限的通信资源。此外,每个工作者仅与两个相邻工作者交换本地训练的模型,从而在每次交换中以较低的通信开销训练全局模型。我们证明了GADMM收敛到凸损失函数的最优解,并在数值上表明,它比最先进的通信高效算法(如Lazily Aggregated Gradient(LAG)和对偶平均)在合成和真实数据集上的线性和逻辑回归任务中收敛得更快,通信效率更高。此外,我们提出了动态GADMM(D-GADMM),GADMM的一个变种,并证明其收敛下的时变网络拓扑的工人。
2020-03-24 cs.DC cs.IT cs.LG
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
大规模分布式机器学习应用的最新发展,例如,深度神经网络极大地受益于分布式非凸优化技术的进步,例如,随机梯度下降(SGD)最近的一系列工作研究了分布式SGD变体的线性加速特性,减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的,因为通信开销通常是分布式系统中的性能瓶颈。最近,动量方法越来越广泛地用于训练机器学习模型,并且通常可以更快地收敛和更好地推广。例如,许多从业者使用分布式SGD与动量,用大数据训练深度神经网络。然而,目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD,并降低了通信的复杂性。本文填补了这一空白,考虑分布式通信有效的动量SGD方法,并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Median Consensus Embedding for Dimensionality Reduction
Department of Epidemiology, National Institute of Infectious Diseases, Japan(流行病学系,传染病国立研究所,日本)
中位数共识嵌入通过几何中位数方法有效降低非线性降维中因随机初始化导致的嵌入不稳定性,并结合多重插补和多尺度超参数提升鲁棒性。
2025-12-09 cs.LG stat.ML
Communication optimization strategies for distributed deep neural network training: A survey
National University of Defense Technology(国防科技大学)
高性能计算和深度学习的最新趋势导致了大规模深度神经网络训练研究的激增。然而,计算节点之间频繁的通信需求大大降低了整体训练速度,这导致了分布式训练的瓶颈,特别是在网络带宽有限的集群中。为了减轻分布式通信的缺点,研究人员提出了各种优化策略。在本文中,我们提供了一个全面的调查,从算法的观点和计算机网络的角度来看,通信策略。算法优化侧重于减少分布式训练中使用的通信量,而网络优化则侧重于加速分布式设备之间的通信。在算法层面,我们描述了如何减少通信轮数和每轮传输的比特数。此外,我们阐明了如何重叠计算和通信。在网络层次,我们讨论了网络基础设施,包括逻辑通信方案和网络协议所造成的影响。最后,我们推断了未来潜在的挑战和新的研究方向,以加速分布式深度神经网络训练的通信。
2020-11-23 cs.DC cs.LG
Distributed Gaussian Mean Estimation under Communication Constraints: Optimal Rates and Communication-Efficient Algorithms
University of Pennsylvania(宾夕法尼亚大学)
在决策理论框架下研究了通信约束下高斯均值的分布式估计问题。极小极大收敛率,其特征之间的权衡通信成本和统计精度,建立在单变量和多变量设置。制定了通信效率高和统计上最佳的程序。在单变量的情况下,最佳速率只取决于总的通信预算,只要每个本地机器至少有一个比特。然而,在多变量的情况下,最小最大速率取决于本地机器之间的通信预算的具体分配。虽然高斯均值的最优估计在传统的环境中相对简单,但在通信约束下,它涉及到最优过程设计和下界参数。在本文中开发的技术可以是独立的利益。一个重要的步骤是分解成两个阶段,本地化和细化的极大极小估计问题。这种临界分解为下界分析和最优程序设计提供了一个框架。
2020-01-24 cs.DC cs.IT cs.LG
Memory and Communication Efficient Distributed Stochastic Optimization with Minibatch-Prox
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出并分析了一种分布式随机优化的方法,它是统计上最优的,并实现了近线性的加速比(对数因子)。我们的方法允许通信内存的权衡,无论是对数通信,但线性内存,或多项式通信和相应的多项式减少所需的内存。这种通信-内存权衡是通过小批量-接近迭代(小批量被动-主动更新)实现的,其中在每次迭代中解决小批量上的子问题。我们提供了一种新的分析,这样的小批量prox程序,实现了统计最优速率,而不管小批量的大小和平滑度,从而显着改善以前的工作。
2017-06-09 cs.LG
Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?
Lehigh University(利哈伊大学)
本文研究了数据划分方式对分布式优化的影响。原始的DiSCO算法[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss,Ychen Zhang and Lin Xiao,2015]基于样本对输入数据进行分区。我们描述了如何修改原始算法,允许分区功能,并显示其效率在理论上和实践中。
2015-10-22 cs.LG math.OC
Communication Efficient Distributed Learning for Kernelized Contextual Bandits
University of Virginia(弗吉尼亚大学);Oregon State University(俄勒冈州立大学);Princeton University(普林斯顿大学)
我们解决了在分布式环境中学习内核化上下文强盗的通信效率挑战。尽管最近在通信有效的分布式强盗学习方面取得了进展,但现有的解决方案仅限于简单的模型,如多臂强盗和线性强盗,这妨碍了它们的实际效用。在本文中,而不是假设存在一个线性奖励映射的功能,预期的回报,我们考虑非线性奖励映射,让代理合作搜索再生核希尔伯特空间(RKHS)。这在通信效率方面带来了重大挑战,因为分布式内核学习需要传输原始数据,导致通信成本相对于原始数据线性增长。时间范围$T$。我们通过装备所有代理通过一个共同的Nyström嵌入进行通信来解决这个问题,该嵌入随着收集更多的数据点而自适应地更新。我们严格证明了我们的算法可以达到次线性率的遗憾和通信成本。
2022-10-12 cs.LG
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Weizmann Institute of Science(魏茨曼科学研究所)
我们解决了分布式随机凸优化的最小-最大复杂性(最多为对数因子)在间歇性通信设置,其中$M$机器并行工作的过程中的$R$轮的通信,以优化目标,并在每一轮的通信,每台机器可以顺序计算$K$随机梯度估计。我们提出了一个新的下限与匹配的上限,建立一个最佳的算法。
2021-08-05 cs.LG math.OC
Trustworthy Efficient Communication for Distributed Learning using LQ-SGD Algorithm
提出LQ-SGD算法,结合低秩近似与对数量化压缩梯度通信,降低开销并保持精度,且比传统SGD更抗梯度反演,提升分布式学习效率与安全性。
2025-06-22 cs.LG
MergeComp: A Compression Scheduler for Scalable Communication-Efficient Distributed Training
Rice University(莱斯大学)
大规模的分布式训练越来越受到通信的限制。许多梯度压缩算法已经被提出来减少通信开销和提高可扩展性。然而,已经观察到,在某些情况下,梯度压缩甚至可能损害分布式训练的性能。在本文中,我们提出了MergeComp,压缩调度器,以优化通信高效的分布式训练的可扩展性。它自动安排压缩操作,以优化压缩算法的性能,而无需了解模型架构或系统参数。我们已经将MergeComp应用于九种流行的压缩算法。我们的评估表明,MergeComp可以将压缩算法的性能提高高达3.83倍,而不会损失准确性。它甚至可以在高速网络上实现高达99%的分布式训练比例。
2021-03-28 cs.DC cs.LG
Communication Efficient Distributed Agnostic Boosting
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们考虑在不可知论环境中从分布式数据中学习的问题,即,在存在任意形式的噪声的情况下。我们的主要贡献是一个通用的分布式的基于提升的程序学习任意的概念空间,同时是噪声容忍,通信效率,计算效率。这大大提高了以前的作品,要么是通信效率,只有在无噪声的情况下,或计算禁止。在大型合成数据集和真实数据集上的实验结果证明了该方法的有效性和可扩展性。
2016-11-18 cs.LG stat.ML
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络(GNN)是为图结构数据定制的神经模型家族,并且在学习图结构数据的表示方面表现出优异的性能。然而,在大型图上训练GNN仍然具有挑战性,一个有前途的方向是分布式GNN训练,即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中,我们研究了分布式GNNs训练过程中的通信复杂性,并提出了一种简单的无损通信减少方法,称为通信前聚合(ABC)方法。ABC方法利用GNNs层的置换不变属性,并导致一种范式,其中顶点切割被证明比当前流行的范式(边缘切割)具有更好的通信性能。此外,我们表明,新的分区范例是特别理想的情况下,动态图,它是不可行的,以控制边缘的位置,由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University(清华大学);Peking University(北京大学)
研究了分布式强盗学习中的后悔最小化问题,其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议,这是通过传输数据的总量来衡量的。对于分布式多臂强盗,我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议,其中$K$是武器的数目.通信成本是独立的时间范围$T$,只有对数依赖于臂的数量,并匹配的下限,除了一个对数因子。对于分布式$d$维线性强盗,我们提出了一个协议,实现了接近最优的遗憾,并有$\tilde{O}(Md)$阶的通信成本,这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Communication-Efficient Distributed Asynchronous ADMM
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Oregon State University(俄勒冈州立大学)
针对异步ADMM在联邦学习中的通信瓶颈,本文提出对交换数据进行粗量化以降低通信开销,并在神经网络等分布式学习任务上验证了收敛性。
2025-08-17 cs.LG eess.SP
Straggler-Agnostic and Communication-Efficient Distributed Primal-Dual Algorithm for High-Dimensional Data Mining
University of Pittsburgh(匹兹堡大学)
近年来,减少机器之间的通信时间成为分布式数据采掘的主要焦点。以前的方法提出,使工人做更多的计算本地聚合本地解决方案在服务器上,使得服务器和工人之间需要更少的通信回合。然而,这些方法没有考虑减少每轮的通信时间,并且在某些条件下工作得很差,例如,当存在离散问题或数据集是高维时。在本文中,我们的目标是减少每轮的通信时间以及所需的通信轮数。我们提出了一个通信效率的分布式原始-对偶方法与落伍者不可知的服务器和带宽效率的工人。我们分析了算法的收敛性,证明了该算法对凸问题的最优解具有线性收敛速度。最后,我们在模拟和真实的分布式系统中进行了大规模的实验,实验结果表明,所提出的方法比比较方法要快得多。
2019-10-09 cs.LG stat.ML
Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity
UC Berkeley(加州大学伯克利分校);The University of Iowa(爱荷华大学);Princeton University(普林斯顿大学)
研究了最小化凸函数平均值的分布式优化算法。这些应用包括统计机器学习中的经验风险最小化问题,其中数据集很大,必须存储在不同的机器上。我们设计了一个分布式的随机方差约简梯度算法,在一定的条件下的条件数,同时实现了最佳的并行运行时间,通信量和通信轮之间的所有分布式一阶方法常数的因素。我们的方法和它的加速扩展也优于现有的分布式算法的轮通信,只要条件数是不是太大的数据在每台机器的大小相比。我们还证明了一个下界的通信轮数广泛的一类分布式一阶方法,包括本文提出的算法。我们表明,我们的加速分布式随机方差降低梯度算法达到这个下界,使它使用最少的通信轮之间的所有分布式一阶算法。
2016-01-06 cs.LG math.OC stat.ML
Communication Topology Co-Design in Graph Recurrent Neural Network Based Distributed Control
University of Pennsylvania(宾夕法尼亚大学)
在设计大规模分布式控制器时,子控制器之间的信息共享约束(由互连它们的通信拓扑定义)与控制器本身一样重要。使用密集拓扑结构实现的控制器通常优于使用稀疏拓扑结构实现的控制器,但是还期望最小化控制器部署的成本。出于上述动机,我们介绍了一个紧凑但富有表现力的图形递归神经网络(GRNN)参数化的分布式控制器,非常适合分布式控制器和通信拓扑协同设计。我们提出的参数化具有本地和分布式架构,类似于以前的基于图神经网络(GNN)的参数化,同时进一步自然地允许分布式控制器和实现它所需的通信拓扑的联合优化。我们表明,分布式控制器/通信拓扑的协同设计任务可以构成为一个$\ell_1$ -正则化的经验风险最小化问题,可以有效地解决使用随机梯度方法。我们运行了大量的模拟来研究基于GRNN的分布式控制器的性能,并表明:(a)它们实现了与基于GNN的控制器相当的性能,同时具有更少的自由参数;(b)我们的方法允许有效地近似性能/通信密度权衡曲线。
2021-04-28 cs.LG cs.SY eess.SY
L1-Regularized Distributed Optimization: A Communication-Efficient Primal-Dual Framework
UC Berkeley(加州大学伯克利分校);ETH Zürich(苏黎世联邦理工学院)
尽管稀疏性在许多大规模应用中很重要,但很少有方法用于稀疏诱导目标的分布式优化。在本文中,我们提出了一个通信效率的框架,在分布式环境中的L1正则化优化。通过在更一般的原始-对偶设置中查看经典目标,我们开发了一类新的方法,这些方法可以有效地分布并应用于常见的稀疏诱导模型,如Lasso,稀疏逻辑回归和弹性网络正则化问题。我们为我们的框架提供了理论上的收敛保证,并在Amazon EC2上进行了彻底的实验比较,证明了它的效率和灵活性。与当前最先进的分布式L1正则化优化方法相比,我们提出的框架可以产生高达50倍的加速比。
2016-06-02 cs.LG
A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出MPFL算法,将剪枝掩码协同融入联邦学习迭代流程,通过低维掩码与共识掩码降低通信成本,并实验验证其优于现有方法且开源软件包。
2023-12-06 cs.AI cs.DC cs.LG
Distributed Convex Optimization With Limited Communications
Stanford University(斯坦福大学);National Chiao Tung University(国立交通大学)
提出了一种分布式凸优化算法--\emph{distributed coordinate dual averaging}(DCDA)算法。DCDA算法解决了网络中节点之间通信有限的大型分布式优化问题的场景。目前已知的分布式次梯度方法,如分布式双平均或分布式交替方向方法的乘法器算法,假设节点可以交换大基数的消息。这样的网络通信能力在许多实际相关的场景中是无效的。另一方面,在DCDA算法中,优化变量的每个坐标的通信随时间被限制。对于所提出的算法,我们约束下不同的通信协议和网络架构的收敛速度。我们还考虑了不完善的梯度知识的情况下,在这种情况下,传输的消息被破坏的加性噪声或量化的扩展。并给出了相应的数值模拟结果。
2018-10-29 cs.DC cs.LG cs.MA
Large Scale Distributed Distance Metric Learning
Carnegie Mellon University(卡内基梅隆大学)
在具有高特征维度的大规模机器学习和数据采掘问题中,数据点之间的欧几里德距离可能是无信息的,并且通常期望距离度量学习(DML)来学习适当的相似性度量(使用诸如相似或不相似的示例数据对之类的边信息)。然而,现代大数据中的高维度和大量成对约束可能导致Xing等人(2002)中的原始DML公式和后来的扩展的计算成本过高。在本文中,我们提出了一个分布式的DML算法,并在一个参数服务器架构的大规模实现。我们的方法建立在Xing et al.(2002)的可并行化重新表述和异步随机梯度下降优化过程的基础上。据我们所知,这是DML的第一个分布式解决方案,我们表明,在一个具有256个CPU内核的系统上,我们的程序能够在15小时内完成一个包含100万个数据点、22000个特征和2亿个标记数据对的数据集上的DML任务;学习的度量在正确测量距离方面表现出很大的有效性。
2014-12-18 cs.LG
Local MixVR: Breaking the Communication-Sample Dependence in Distributed Learning
Technion Haifa, Israel(技术离子海法分校,以色列);EPFL Lausanne, Switzerland(洛桑联邦理工学院,瑞士)
提出Local MixVR框架,通过局部更新与方差缩减技术消除通信复杂度对样本总数N的依赖,实现仅与工作节点数M相关的通信复杂度,在M<O(N^{1/4})时优于现有最优方法。
2026-10-01 cs.LG
Communication-Censored Distributed Stochastic Gradient Descent
University of Science and Technology of China(中国科学技术大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Sun Yat-Sen University(中山大学)
针对分布式机器学习等应用中通信量大的问题,提出了一种通信效率高的分布式随机最优化算法。与现有的基于量化和稀疏化的算法不同,本文引入了一种通信删失技术来减少变量的传输,这导致了我们的通信删失分布式随机梯度下降(CSGD)算法。具体来说,在CSGD中,当且仅当它是足够信息时,在工作者处的最新小批量随机梯度将被传输到服务器。当最新的渐变不可用时,旧的渐变将在服务器上重用。为了实现这种通信审查策略,批量大小增加,以减轻随机梯度噪声的影响。从理论上讲,CSGD具有与SGD相同的收敛速度,但有效地减少了通信量。数值实验表明,CSGD的通信节省相当大的。
2020-01-03 cs.LG math.OC stat.ML
Distributed Kernel Ridge Regression with Communications
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学)
本文在学习理论的框架下研究分布式算法的泛化性能。以分布式核岭回归算法(DKRR)为例,成功地导出了其期望最优学习率,并从理论上给出了局部处理器个数的最优范围。由于理论和实验之间的差距,我们还推导了DKRR的最佳学习率的概率,从本质上反映了DKRR的泛化性能和局限性。此外,我们提出了一种通信策略,以提高DKRR的学习性能,并通过理论评估和数值实验证明了DKRR中通信的力量。
2020-03-27 cs.LG stat.ML
Distributed Learning: Sequential Decision Making in Resource-Constrained Environments
Princeton University(普林斯顿大学)
我们研究了具有成本效益的通信策略,可用于提高分布式学习系统在资源受限的环境中的性能。对于分布式学习中的顺序决策,我们提出了一个新的成本效益的部分通信协议。我们说明,与此协议的组获得相同的顺序的性能,它获得了充分的沟通。此外,我们证明,根据建议的部分通信协议的通信成本是$O(\log T)$,其中$T$是决策过程的时间范围。这显著地改进了具有完全通信的协议,其导致$O(T)$的通信成本。我们使用数值模拟验证我们的理论结果。
2020-04-13 cs.LG math.OC stat.ML
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research(微软研究院)
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数,该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法,以尽量减少整体经验损失,这是平均的本地经验损失。该算法基于不精确阻尼牛顿法,其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数,并讨论了分布岭回归,逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中,算法所需的通信轮数不会随着样本量的增加而增加,只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Distributed SAGA: Maintaining linear convergence rate with limited communication
Criteo
近年来,方差缩减随机方法显示出很好的实用性能,在其他随机方法只能提供次线性收敛速度的情况下,方差缩减随机方法显示出线性收敛速率。然而,随着数据集变得越来越大,聚类变得越来越普遍,对快速分发方法的需求变得迫切。我们在这里提出了一个分配方案SAGA保持线性收敛速率,即使节点之间的通信是有限的。
2017-05-29 cs.LG math.OC
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge(剑桥大学)
本文提出CALF框架,通过在仿真中训练考虑通信延迟等网络条件的策略,减少实际部署中的性能差距,验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
EmbRace: Accelerating Sparse Communication for Distributed Training of NLP Neural Networks
National University of Defense Technology(国防科技大学);Xiamen University(厦门大学)
分布式数据并行训练已被广泛用于深度神经网络(DNN)模型。虽然目前的深度学习(DL)框架可以很好地扩展图像分类模型等密集模型,但我们发现这些DL框架对于具有高度稀疏嵌入表的自然语言处理(NLP)模型等稀疏模型的可扩展性相对较低。大多数现有的作品忽略了模型参数的稀疏性,从而遭受显着的,但不必要的通信开销。在本文中,我们提出了EmbRace,一个有效的通信框架,以加速稀疏模型的分布式训练的通信。EmbRace引入了稀疏感知混合通信,将AlltoAll和模型并行集成到数据并行训练中,以减少高度稀疏参数的通信开销。为了有效地将稀疏通信与向后和向前计算重叠,EmbRace进一步设计了一种2D通信调度方法,该方法优化了模型计算过程,放松了嵌入的依赖性,并使用优先级队列调度每个嵌入行的稀疏通信。我们已经实现了一个基于PyTorch和Horovod的EmbRace原型,并对四个代表性的NLP模型进行了全面的评估。实验结果表明,与最先进的分布式训练基线相比,EmbRace实现了高达2.41倍的加速比。
2022-06-27 cs.LG cs.MA
A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
KAUST(阿卜杜拉国王科技大学)
提出一种结合随机梯度方差缩减、部分参与和压缩通信的分布式非凸优化新方法,在部分参与设置下实现了最优 oracle 复杂度和最优通信复杂度,且无需所有节点参与或有界梯度假设。
2024-01-03 cs.LG math.OC
Communication Complexity of Distributed Convex Learning and Optimization
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了凸学习和优化的通信有效的分布式方法的基本限制,在不同的假设下,对单个机器的信息,以及考虑的功能类型。我们确定的情况下,现有的算法已经是最坏情况下的最佳,以及进一步改进的空间仍然是可能的情况下。除此之外,我们的研究结果表明,如果局部目标函数之间没有相似性(由于统计数据相似性或其他原因),即使机器具有无限的计算能力,也可能需要许多通信回合。
2015-10-28 cs.LG math.OC stat.ML
Quantized Epoch-SGD for Communication-Efficient Distributed Learning
Nanjing University(南京大学)
随机梯度下降(SGD)算法由于其高效性和易于实现性,在机器学习中得到了广泛的应用。特别是,SGD是分布式学习中最流行的优化方法之一。近年来,量化的SGD(QSGD),它采用量化来减少基于SGD的分布式学习的通信成本,引起了人们的广泛关注。虽然已经提出了几种QSGD方法,其中一些是启发式的,没有理论保证,和其他人有很大的量化方差,这使得收敛变慢。在本文中,我们提出了一种新的方法,称为量化时代SGD(QESGD),通信效率的分布式学习。QESGD对参数进行压缩(量化),降低了方差,从而可以以更少的通信代价获得与SGD几乎相同的性能。QESGD在Parameter Server框架上实现,分布式深度学习的实证结果表明,QESGD可以超越其他最先进的量化方法,以实现最佳性能。
2019-01-10 cs.LG math.OC stat.ML
A Communication-Efficient Multi-Agent Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学);Northwestern University(西北大学)
本文考虑了一个分布式强化学习问题,其中多个代理的网络旨在通过仅与本地邻居通信来合作最大化全局平均收益。针对由有向图描述的可能单向通信关系,提出了一种随机通信有效的多Agent Actor-Critic算法。结果表明,该算法可以解决强连通图的问题,通过允许每个代理,只有两个标量值变量在同一时间。
2019-07-06 cs.LG cs.MA stat.ML
Distributed Learning with Low Communication Cost via Gradient Boosting Untrained Neural Network
对于高维数据,分布式GBDT存在巨大的通信开销,因为GBDT的通信量与特征的数量有关。为了克服这个问题,我们提出了一种新的梯度提升算法,梯度提升未经训练的神经网络(GBUN)。GBUN集成了未经训练的随机生成的神经网络,该网络将数据样本软分布到多个神经元输出,并大大降低了分布式学习的通信成本。为了避免对高维数据建立庞大的神经网络,我们扩展了Simhash算法来模拟神经网络的前向计算。我们在多个公共数据集上的实验表明,GBUN在预测精度方面与传统的GBDT一样好,并且在分布式学习的缩放特性方面要优于它。与传统的GBDT品种相比,GBUN在64台机器的集群上将训练过程加快了13倍,在100 KB/s网络带宽的集群上加快了4614倍。因此,GBUN不仅是一种高效的分布式学习算法,而且在联邦学习中具有很大的应用潜力。
2020-11-10 cs.DC cs.LG
Event-Based Communication in Distributed Q-Learning
Delft University of Technology(代尔夫特理工大学)
我们提出了一种方法,以减少所需的分布式Q学习系统的事件触发控制(ETC)技术的启发信息的通信。我们考虑一个基线方案的分布式Q-学习问题的马尔可夫决策过程(MDP)。在基于事件的方法之后,N个代理探索MDP并仅在必要时将经验传达给中央学习者,该中央学习者执行演员Q功能的更新。我们设计了一个基于事件的分布式Q学习系统(EBd-Q),并推导出了相对于普通Q-学习算法的收敛保证。我们目前的实验结果表明,基于事件的通信结果在这样的分布式系统中的数据传输速率大幅降低。此外,我们还讨论了这些基于事件的方法对学习过程的影响(期望的和不期望的),以及它们如何应用于更复杂的多智能体系统。
2021-12-06 cs.AI cs.LG cs.MA
Communication-Efficient Projection-Free Algorithm for Distributed Optimization
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(乔治亚理工学院H. Milton Stewart工业与系统工程学院);Department of Electrical Engineering, Technion(以色列理工学院电气工程系)
近年来,分布式优化获得了极大的兴趣。本文提出了一种无投影的分布式条件梯度滑动算法(DCGS)。与最先进的分布式Frank-Wolfe算法相比,我们的算法在更现实的假设下达到了相同的通信复杂度。与基于共识的算法相比,DCGS基于原始对偶法,产生模块化分析,可以利用该模块化分析来改善线性预言机的复杂性,只要可以改善集中式Frank-Wolfe算法。我们证明了这一优势,并表明,线性预言复杂性可以降低到几乎相同的数量级的通信复杂性,当可行集是多面体。最后,我们提出了实验结果的套索和矩阵完成,表现出显着的性能改善相比,现有的分布式弗兰克-沃尔夫算法。
2018-05-20 cs.DC cs.LG math.OC
Communication Lower Bounds for Distributed Convex Optimization: Partition Data on Features
Zhiyuan College(致远学院);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
近年来,在数据矩阵按特征划分的情况下,设计分布式凸优化算法受到越来越多的关注。在这种设置下的算法有时比在样本上划分数据的设置下的算法具有许多优势,特别是当特征数量巨大时。因此,重要的是要了解这些优化问题的内在局限性。在本文中,有一定的限制,在程序中允许的通信,我们开发了严格的下限通信轮广泛的一类非增量算法在此设置下。我们还提供了一个下界的通信轮一类(随机)增量算法。
2016-12-02 cs.LG stat.ML
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
由于训练数据集规模的爆炸式增长,分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的,在减少通信成本与随机梯度下降(SGD),有很少的尝试,在建立通信有效的自适应梯度方法与可证明的保证,这是广泛用于训练大规模机器学习模型。在本文中,我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题,这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点,具有相同的迭代复杂度,未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
cpSGD: Communication-efficient and differentially-private distributed SGD
Princeton University(普林斯顿大学);Google Research, New York(谷歌研究院纽约分部);Google Research, Seattle(谷歌研究院西雅图分部)
分布式随机梯度下降是分布式学习中的一个重要子程序。特别感兴趣的设置是当客户端是移动设备时,其中两个重要的关注点是通信效率和客户端的隐私。最近的几项工作都集中在降低通信成本或引入隐私保证,但没有一个提出的通信有效的方法是已知的隐私保护和没有一个已知的隐私机制是通信有效的。为此,我们研究的算法,实现通信效率和差分隐私。对于$d$变量和$n \approx d$客户端,所提出的方法使用每个坐标每个客户端的$O(\log \log(nd))$通信位,并确保恒定的隐私。我们还扩展和改进以前的分析的\emph{Binomial mechanism}表明,它实现了几乎相同的效用的高斯机制,同时需要更少的代表位,这可以是独立的利益。
2018-05-27 cs.CR cs.LG stat.ML
O(1) Communication for Distributed SGD through Two-Level Gradient Averaging
Florida State University(佛罗里达州立大学)
大型神经网络模型对分布式随机梯度下降(SGD)提出了巨大的通信挑战,对于n个参数的模型,每个工作者的通信复杂性为O(n)。已经提出了许多稀疏化和量化技术来压缩梯度,其中一些将通信复杂性降低到O(k),其中k <<n。在本文中,我们引入了一种称为两级梯度平均(A2SGD)的策略,在计算更新模型的两个全局平均值之前,将所有梯度合并为每个工人的两个局部平均值。A2SGD还保留了局部误差,以保持快速收敛的方差。我们的理论分析表明,A2SGD收敛类似于默认的分布式SGD算法。我们的评估验证了理论结论,并表明A2SGD显着降低了每个工人的通信流量,并将LSTM-PTB的总体训练时间分别提高了3.2倍和23.2倍,与Top-K和QSGD相比。据我们所知,A2 SGD是第一个实现O(1)通信复杂性的分布式SGD。
2020-06-16 cs.DC cs.LG stat.ML
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota(明尼苏达大学)
本文研究了强化学习中的分布式策略优化问题,该问题涉及一个中央控制器和一组学习器。特别是,在几个应用程序中遇到的两个典型的设置被认为是:多智能体强化学习(RL)和并行RL,学习者和控制器之间的频繁的信息交换是必需的。然而,对于许多实际的分布式系统,这些频繁的通信交换所造成的开销是相当可观的,并成为整体性能的瓶颈。为了解决这一问题,提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信,在不降低学习性能的前提下减少了通信开销。它是建立解析:i)新的算法具有相同的收敛速度的平原香草策略梯度;而ii)如果分布式学习器是异构的,在他们的奖励功能,需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比,替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
Communication-Efficient Distributed Dual Coordinate Ascent
ETH Zurich(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校);Lehigh University(理海大学)
通信仍然是大规模机器学习分布式优化算法性能的最重要瓶颈。在本文中,我们提出了一个通信效率的框架,CoCoA,它使用本地计算在原始对偶设置,大大减少了必要的通信量。我们为这类算法提供了强大的收敛速度分析,以及在Spark中实现的真实分布式数据集上的实验。在我们的实验中,我们发现,与最先进的SGD和SDCA算法的小批量版本相比,CoCoA平均以25倍的速度收敛到相同的.001精度解决方案质量。
2014-09-29 cs.LG math.OC stat.ML
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS(LAAS-法国国家科学研究中心);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
我们描述了并行或分布式异步迭代算法的几个特点,如无界延迟,可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后,给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
Regret vs. Communication: Distributed Stochastic Multi-Armed Bandits and Beyond
Shanghai Jiao Tong University(上海交通大学)
本文研究了多个局中人可以独立访问全局臂集的分布式随机多臂强盗问题。玩家可以在特定的时间点交换他们的观察历史。我们研究了后悔和沟通之间的关系。当时间跨度已知时,我们提出了过度探索策略,该策略只需要一轮沟通,并且其遗憾不随参与者的数量而变化。当时间范围是未知的,我们测量的频率的通信通过一个新的概念称为密度的通信集,并给出一个精确的表征之间的相互作用的后悔和通信。具体地说,建立一个下限和稳定的战略,匹配的下限开发。本文的结果和分析是具体的,但可以转化为更一般的设置。
2015-09-04 cs.LG stat.ML
Communication Optimization for Distributed Training: Architecture, Advances, and Opportunities
Tsinghua University(清华大学)
本文介绍了分布式深度神经网络训练的一般架构,从并行化策略、集合通信库和网络三层范式回顾了通信优化研究进展,并提倡垂直与水平等跨层协同设计以进一步优化异构资源潜力。
2024-08-29 cs.DC cs.LG
Global Momentum Compression for Sparse Communication in Distributed Learning
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
针对DMSGD稀疏通信的带宽瓶颈,本文提出使用全局动量的GMC及其增强版GMC+,证明二者收敛性,并在non-IID设置下取得更高准确率与更快收敛。
2024-04-03 cs.LG stat.ML
Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients
Zhejiang University(浙江大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文提出了一种新的聚合梯度方法,用于分布式机器学习,自适应地压缩梯度通信。关键思想是首先对计算的梯度进行量化,然后通过重用过时的梯度来跳过信息量较少的量化梯度通信。量化和跳过会导致“懒惰”的工作者-服务器通信,这证明了术语“懒惰聚合量化梯度”(以下简称为LAQ)的合理性。我们的LAQ可以证明达到相同的线性收敛速度的梯度下降在强凸的情况下,同时影响主要节省通信开销,无论是在传输位,以及在通信轮。从经验上讲,真实数据的实验证实了显着的通信减少现有的梯度和随机梯度为基础的算法。
2019-09-17 cs.DC cs.LG math.OC
Communication-Efficient Multi-Modal Edge Inference via Uncertainty-Aware Distributed Learning
Dept. of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(电子与计算机工程系,香港科学与技术大学)
本文提出一种三阶段通信感知分布式学习框架,通过减少通信开销和提升稳健性,实现高效的多模态边缘推断。
2026-01-21 cs.LG eess.SP
Cooperative Multi-agent Bandits: Distributed Algorithms with Optimal Individual Regret and Constant Communication Costs
Nanjing University(南京大学);The Chinese University of Hong Kong(香港中文大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对协作式多智能体多臂赌博机问题,提出一种简单有效的通信策略并集成到学习算法中,同时实现了最优个体遗憾和恒定通信成本,弥补了领导者-跟随者与完全分布式两类现有范式的不足。
2023-08-08 cs.AI cs.LG stat.ML