Asynchronous Stochastic Coordinate Descent: Parallelism and Convergence Properties
我们描述了一个异步并行随机邻近坐标下降算法,用于最小化复合目标函数,其中包括一个光滑的凸函数加上一个可分离的凸函数。与之前的分析相反,我们的异步计算模型考虑了这样一个事实,即未知向量的组件可能会被一些核心同时写入,并被其他核心读取。尽管从这种可能性产生的并发症,该方法实现了一个线性收敛速度的函数,满足最佳的强凸性和一般的凸函数的次线性率($1/k$)。如果处理器的数量为$O(n^{1/4})$,则可以预期多核系统上的近线性加速比。我们描述的结果,从实施的10个核心的多核处理器。
2015-12-10 math.OC
Parallel Stochastic Asynchronous Coordinate Descent: Tight Bounds on the Possible Parallelism
一些作品已经表明,只要没有太多的并行性,线性加速是通过随机坐标下降的异步并行实现的。更具体地,已知如果所有更新具有相似的持续时间,则线性加速可能具有高达$Θ(\sqrt n L_{\max}/L_{\overline{\mathrm{res}}})$的处理器,其中$L_{\max}$和$L_{\overline{\mathrm{res}}}$是合适的Lipschitz参数。本文表明,该界是紧的,几乎所有可能的值,这些参数。
2020-11-19 cs.DC math.OC
Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction
在大数据时代,优化大规模机器学习问题成为一项具有挑战性的任务,并引起了极大的关注。异步优化算法是一种很有前途的解决方案。最近,解耦异步近似随机梯度下降(DAP-SGD)被提出来最小化一个复合函数。它声称能够通过允许工作者评估邻近运算符来将计算瓶颈从服务器卸载到工作者,因此,服务器只需要进行元素操作。但由于随机梯度的方差不为零,该算法收敛速度较慢。本文提出了一种更快的方法,解耦异步近似随机方差降低梯度下降方法(DAP-SVRG)。证明了该方法对强凸问题具有线性收敛性。本文还进行了大规模的实验,结果证实了我们的理论分析。
2016-09-29 cs.LG math.OC
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度(SVRG)下降算法的收敛速度的理论分析。最近的研究表明,基于异步随机梯度下降(SGD)算法的方差减少收敛于凸问题的线性收敛速度。然而,目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中,我们研究了SVRG的两个异步并行实现:一个是在分布式存储系统上,另一个是在共享存储系统上。我们提供的理论分析,这两种算法可以获得$O(1/T)$的收敛速度,和线性加速是可以实现的,如果工人的数量是上界。由于参考问题,V1、V2、V3已被撤回,请参考最新版本V4。
2016-12-20 cs.LG math.OC
A2BCD: An Asynchronous Accelerated Block Coordinate Descent Algorithm With Optimal Complexity
在本文中,我们提出了异步加速非均匀随机块坐标下降算法(A2BCD),第一个异步Nesterov加速算法,达到最佳的复杂性。这种并行算法解决了无约束凸最小化问题,使用p个计算节点计算更新共享的解决方案向量,在一个异步的方式,没有中央协调。异步算法中的节点在开始新的迭代之前不等待来自其他节点的更新,而是简单地使用可用的最新解决方案信息来计算更新。这使得它们能够比传统算法更快地完成迭代,特别是在规模上,通过消除传统算法的昂贵同步代价。我们首先证明,A2BCD线性收敛到一个快速的加速率,最近提出的NU_ACDM相匹配的解决方案,只要最大延迟不是太大。有些令人惊讶的是,A2BCD并没有因为使用过时的信息而付出复杂性代价。然后,我们证明了随机坐标下降法,这表明A2 BCD(因此NU_ACDM)具有最佳的复杂性在一个常数因子内的较低的复杂性界限。通过数值实验证实,A2 BCD算法在小尺度下的性能优于NU_ACDM算法,后者是目前最快的坐标下降算法。我们还推导和分析了一个二阶常微分方程,这是我们的算法的连续时间限制,并证明了它的线性收敛到一个类似的加速率的解决方案。
2018-05-20 math.OC
Faster Asynchronous Nonconvex Block Coordinate Descent with Locally Chosen Stepsizes
分布式非凸最优化问题在学习和自治中有着广泛的应用,而这类问题在Agent的计算和通信中常常面临着困难。当这些操作中的延迟有界时,它们被称为部分异步。在本文中,我们提出了一个不协调的步长选择规则的部分异步块坐标下降,只需要局部信息来实现,它会导致更快的收敛速度为一类非凸问题比现有的步长规则,这需要以某种形式的全局信息。我们考虑的问题满足误差界条件,我们提出的步长规则只需要每个代理知道(i)一定类型的Lipschitz常数的块的梯度的目标和(ii)它和它的邻居之间经历的通信延迟。这种提法需要更少的信息提供给每个代理比现有的方法,通常允许代理使用更大的步长,并消除了掉队者的影响,同时仍然保证收敛到一个固定的点。仿真结果提供了比较和验证的步长规则,我们开发的更快的收敛速度。
2022-03-21 math.OC
An Analysis of Asynchronous Stochastic Accelerated Coordinate Descent
梯度下降,特别是坐标下降,是机器学习和其他领域的核心工具。大的问题实例是常见的。为了帮助解决这些问题,已知两种正交方法:加速和并行。在这项工作中,我们问他们是否可以同时使用。答案是肯定的。更具体地说,我们考虑一个异步并行版本的加速坐标下降算法提出和分析的林,刘和肖(SIOPT'15)。我们给出了一个分析的基础上,该算法的有效实现。唯一的约束是一个标准的有界模糊假设,即每次更新最多可以与q个其他更新重叠。(q最多是处理器的数量乘以最长和最短更新的长度的比率。)我们得到以下三个结果:1.强凸函数的线性加速,只要q不太大。2.一个实质性的,虽然次线性,加速强凸函数较大的q。3.对凸函数的一个实质性的,尽管是次线性的加速。
2018-08-15 cs.DC math.OC
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China(中国科学技术大学)
异步并行优化算法用于解决大规模机器学习问题,近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法,解耦异步近端随机梯度下降(DAP-SGD),以最小化的目标函数,是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降(TAP-SGD),其中主进行大部分的计算负载,所提出的算法卸载的大部分计算任务从主工人,并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法,其性能是合理的理论收敛性分析。具体地,当步长减小时,DAP-SGD实现$O(\log T/T)$速率,而当步长恒定时,DAP-SGD实现遍历$O(1/\sqrt{T})$速率,其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Asynchronous Incremental Stochastic Dual Descent Algorithm for Network Resource Allocation
随机网络最优化问题需要找到平均最优的资源分配策略,但必须以在线方式设计。这样的问题在通信网络中普遍存在,其中诸如能量和带宽的资源在节点之间被划分以满足某些长期目标。本文提出了一种异步增量双下降资源分配算法,利用延迟随机{梯度}进行更新。所提出的算法非常适合异构网络,因为它允许计算上的挑战或能源匮乏的节点,有时,推迟更新。该算法的渐近分析进行,建立双重收敛下,恒定和递减步长。它还表明,与恒定的步长,建议的资源分配政策是渐近近最优的。一个涉及多小区协调波束形成的应用程序进行了详细说明,所提出的算法的实用性。
2017-12-10 math.OC
Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
School of Data Science(数据科学学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对异构计算与通信延迟下的去中心化非凸优化,本文提出改进 ADSGD 模型,并借助 ASBCD 证明其无需数据异构有界即可采用不依赖计算延迟的步长收敛,实验显示其挂钟时间更优。
2025-05-15 cs.LG math.OC
Second-Order Convergence of Asynchronous Parallel Stochastic Gradient Descent: When Is the Linear Speedup Achieved?
Beijing Jiaotong University(北京交通大学)
在机器学习中,异步并行随机梯度下降(APSGD)被广泛用于通过多个工人来加速训练过程。同时,异步算法中的陈旧梯度的时间延迟通常与工作者的总数成比例,这由于使用延迟梯度而带来了与精确梯度的额外偏差。这可能对算法的收敛性有负面影响。有人可能会问:我们最多可以使用多少工人来实现良好的收敛和线性加速?本文研究非凸优化问题异步算法的二阶收敛性。我们研究了在严格鞍点附近具有一致读的APSGD的行为,并从理论上保证了如果工作者的总数目以$\widetilde{O}(K^{1/3}M^{-1/3})$为界($K$是总步骤,$M$是最小批量),APSGD将收敛到好的稳定点($||\nabla f(x)||\leq ε, \nabla^2 f(x)\succeq -\sqrtε\bm{I}, ε^2\leq O(\sqrt{\frac{1}{MK}}) $),并且实现了线性加速比.我们的工作给出了异步算法的二阶收敛的第一个理论保证。我们提供的技术可以推广到分析其他类型的异步算法,以了解异步算法在分布式异步并行训练中的行为。
2020-06-07 cs.LG math.OC stat.ML
Escaping From Saddle Points Using Asynchronous Coordinate Gradient Descent
大规模非凸优化问题由于计算和存储成本而求解起来很昂贵。为了降低成本,一阶(计算效率)和并行(内存效率)算法是必要的,以最小化非凸函数在机器学习。然而,在非凸设置中应用的非线性一阶方法遇到两个困难:(i)并行化延迟,其通过破坏一阶方法的单调性来影响收敛,以及(ii)梯度为零的次优鞍点。为了解决这两个困难,我们提出了一种异步坐标梯度下降算法,该算法以有界延迟收敛到局部最小值。我们的算法克服了并行延迟问题,通过使用精心构造的哈密顿函数。我们证明,我们设计的动能项,纳入哈密顿量,允许我们的算法,每次迭代单调减少。接下来,我们的算法利用扰动子例程引导迭代避开鞍点。类似于其他国家的最先进的(SOTA)算法,我们实现了多对数收敛速度方面的尺寸。与其他SOTA算法,这是同步的,我们的工作是第一个研究如何并行延迟影响异步一阶算法的收敛速度。我们证明了我们的算法优于同步同行下大并行延迟,收敛依赖于次线性延迟。据我们所知,这是第一个局部最优收敛结果的一阶异步算法的非凸设置。
2022-11-17 cs.DC math.OC
Asynchronous Distributed Method of Multipliers for Constrained Nonconvex Optimization
研究了一类局部费用函数和约束条件均为非凸的网络上的约束最优化问题。我们提出了一个异步分布式优化算法,依赖于集中式乘法器,其中每个节点唤醒在一个不协调的方式,并执行下降步骤的本地增广拉格朗日或上升步骤的本地乘子向量。这两个阶段由分布式逻辑AND调节,这使得节点能够理解(整个)增广拉格朗日函数的下降何时足够小。我们表明,这种分布式算法是相当于块坐标下降算法的增广拉格朗日最小化,然后更新整个乘子向量。因此,该算法继承了乘数法的收敛性。
2018-03-17 math.OC
Asynchronous Coordinate Descent under More Realistic Assumptions
National University of Defense Technology(国防科技大学);UCLA(加州大学洛杉矶分校)
本文在更现实的假设下证明了异步并行块坐标下降法的收敛性,不依赖独立性假设,适用于有界和无界延迟,覆盖非凸、弱凸和强凸函数。
2017-07-18 cs.NA math.NA math.OC
Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation
Peking University(北京大学)
由于求解大规模最优化问题的迫切需求,异步算法近年来受到了广泛的关注。然而,异步算法的加速版本很少被研究。在本文中,我们提出了“动量补偿”技术来加速凸问题的异步算法。具体来说,我们首先加速普通的异步梯度下降,这实现了更快的$O(1/\sqrtε)$(与$O(1/ε)$)收敛速度,以及$O(\sqrtκ\log(1/ε))$(v.s. $O(κ\log(1/ε))$),使强凸函数达到条件数为$κ$的$ε$ -近似极小元.我们进一步应用该技术来加速现代随机异步算法,如异步随机坐标下降和异步随机梯度下降。这两种实用算法都比现有的算法快。据我们所知,我们是第一个考虑加速算法,允许更新延迟梯度,是第一个提出真正的加速异步算法。最后,在共享内存系统上的实验结果表明,加速可以导致显着的性能增益病态问题。
2018-02-27 cs.LG math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida(中佛罗里达大学)
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而,对于非凸和非光滑最优化问题,在保证一定性能的前提下,开发有效的方法仍然是一个挑战。近点坐标下降法(PCD)已被广泛应用于求解最优化问题,但对非凸环境下的PCD方法的认识非常有限。另一方面,异步最近坐标下降(APCD)最近受到了广泛的关注,以解决大规模的问题。然而,APCD算法的加速变体很少被研究。在本文中,我们扩展APCD方法的加速算法(AAPCD)的非光滑和非凸的问题,满足充分下降的性质,通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知,我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题,确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质,我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明,我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法,用于解决分布式异步优化问题,通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester(罗切斯特大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);ETH Zurich(苏黎世联邦理工学院);Tencent AI Lab(腾讯人工智能实验室)
最常用的分布式机器学习系统要么是同步的,要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳,而使用参数服务器的异步算法遭受1)当工作者很多时参数服务器处的通信瓶颈,以及2)当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法,在异构环境中具有鲁棒性,同时保持通信效率和最佳的收敛速度?在本文中,我们提出了一个异步分散随机梯度下降算法(AD-PSGD)满足上述期望。我们的理论分析表明,AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲,AD-PSGD优于分散式并行SGD(D-PSGD)、异步并行SGD(A-PSGD)和标准数据并行SGD(AllReduce-SGD),在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时,AD-PSGD的收敛(相对于epoch)与AllReduce-SGD类似,但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知,AD-PSGD是第一个异步算法,它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
A Distributed Asynchronous Method of Multipliers for Constrained Nonconvex Optimization
本文提出了一种完全异步分布式的方法来处理目标函数和约束条件都可能是非凸的最优化问题。在所考虑的网络设置中,每个节点在触发本地定时器时是活动的,并且仅可以访问目标函数的一部分和约束的子集。在所提出的技术中,基于乘子方法,每个节点在醒来时对局部增广拉格朗日函数执行下降步骤,或者对局部乘子向量执行上升步骤。节点通过异步分布式逻辑AND实现何时从下降步骤切换到上升步骤,该逻辑AND检测所有节点何时达到增广拉格朗日函数最小化中的预定义容限。结果表明,由此产生的分布式算法是相当于块坐标下降的全球增广拉格朗日最小化。这使得人们可以将乘数的集中式方法的属性扩展到所考虑的分布式框架。两个应用实例验证了所提出的方法:分布式源定位问题和神经网络的参数估计。
2019-02-22 math.OC
Delay-agnostic Asynchronous Coordinate Update Algorithm
提出延迟无关的异步坐标更新算法DEGAS,用于计算算子不动点,包含ADMM和块坐标下降的异步变体,在有界和无界延迟下均收敛,并通过分类实验验证有效性。
2023-05-15 math.OC
Setwise Coordinate Descent for Dual Asynchronous Decentralized Optimization
针对去中心化优化中随机选择邻居忽略优化状态的问题,提出基于对偶代价最大改进的成组坐标下降算法,并开发新分析框架证明其能将迭代收敛速度提升至最大坐标集大小的倍数。
2025-04-26 math.OC
Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
本文提出了一种在重尾噪声下异步非凸优化的最优算法,通过归一化随机梯度下降与动量项实现最优时间复杂度。
2026-01-27 cs.LG math.OC
Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
Chongqing University(重庆大学);North Carolina State University(北卡罗来纳州立大学);Oklahoma State University(俄克拉荷马州立大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出一种利用网络结构进行局部零阶梯度估计的异步分布式优化算法,无需共识协议,并将其应用于分布式LQR控制的强化学习设计。
2024-05-03 cs.AI cs.LG cs.SY
A Distributed Asynchronous Generalized Momentum Algorithm Without Delay Bounds
该研究提出一种允许任意有限延迟的分布式异步广义动量算法,其收敛性经参数条件保证,在20newsgroups文本分类任务中,相比梯度下降等算法迭代次数显著减少,收敛更快。
2026-08-11 math.OC
Decentralized Asynchronous Non-convex Stochastic Optimization on Directed Graphs
随着多智能体控制和优化技术的兴起,分布式优化技术成为一个越来越重要的研究领域。我们考虑一个分散的随机最优化问题,在图上的代理的目标是异步优化的集体(添加剂)的目标函数组成的代理的个人(可能是非凸的)本地目标函数。每个代理只能访问其自身函数(目标函数之和的一个分量)的梯度的噪声估计。针对这类问题提出了一种异步分布式算法。该算法在异步推和框架下将随机梯度与跟踪相结合,并获得了一般非凸函数的标准次线性收敛速度,与集中式随机梯度下降SGD的速度相匹配。我们使用卷积神经网络对非凸图像分类任务进行的实验验证了我们所提出的算法在不同节点数和图形连接百分比上的收敛性。
2021-10-20 math.OC
Convergence of an Asynchronous Block-Coordinate Forward-Backward Algorithm for Convex Composite Optimization
本文研究异步随机块坐标前向后向算法求解凸复合优化问题,证明迭代几乎必然收敛,并给出次线性及Tseng误差界条件下的线性收敛速率。
2023-04-12 cs.DC math.OC
Asynchronous Parallel Algorithms for Nonconvex Optimization
我们提出了一个新的异步并行块下降算法框架的光滑非凸函数和非光滑凸函数的总和最小化,受到凸和非凸约束。所提出的框架取决于连续凸逼近技术和一种新的概率模型,该模型以比当前最先进的模型更忠实的方式捕获现代计算架构和异步实现的关键要素。该框架的其他关键特征是:i)它以统一的方式涵盖了几种特定的解决方案; ii)它可以容纳各种可能的并行计算架构; iii)它可以处理非凸约束。证明了算法的几乎必然收敛到稳态解,并给出了算法复杂度的理论结果,在工人数目不太大的情况下,算法的线性加速比接近理想.
2018-03-29 cs.DC math.OC
Robust Asynchronous Stochastic Gradient-Push: Asymptotically Optimal and Network-Independent Performance for Strongly Convex Functions
我们考虑的标准模型的分布式优化的总和的功能$F(\bz) = \sum_{i=1}^n f_i(\bz)$,其中节点$i$在网络中持有的功能$f_i(\bz)$。我们允许一个苛刻的网络模型,其特征在于异步更新,消息延迟,不可预测的消息丢失,节点之间的直接通信。在这种情况下,我们分析了分布式优化的顺应推方法的修改,假设\begin{enumerate*}[label=(\roman*)] \item节点$i$能够生成其函数$f_i(\bz)$在每一步被零均值有界支持加性噪声破坏的梯度,\item $F(\bz)$是强凸的,并且\item每个$f_i(\bz)$具有Lipschitz梯度。我们表明,我们提出的方法渐近执行以及集中梯度下降的最佳界限,在每个步骤中的所有功能$f_1(\bz), \ldots, f_n(\bz)$的噪声梯度的总和的方向上采取步骤。
2019-12-29 math.OC
A Poisson Jump-driven SDE Approach to Distributed Gradient Descent with Sparse Communication
本文提出用泊松跳驱动的随机微分方程将异步稀疏通信嵌入分布式梯度下降,并证明了在保证任意指数收敛速度下所需的通信速率界限。
2025-11-09 math.OC
Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays
DI ENS, Ecole normale supérieure(巴黎高等师范学院DI ENS);Université PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
针对异步 SGD 受梯度延迟拖累的既有结论,论文提出基于虚拟迭代与延迟自适应步长的新递归分析,证明其保证仅取决于并行设备数且严格优于现有结果,并在凸与非凸目标上优于同步小批量 SGD。
2023-04-20 cs.DC cs.LG math.OC
Asynchronous Heterogeneous Linear Quadratic Regulator Design
针对分布式LQR控制器设计中异构数据与同步聚合拖慢运行、引入偏差的问题,提出带陈旧度控制的异步策略梯度算法,证明其可收敛至各系统ε-近优控制器且实现次线性速率精确局部收敛。
2024-04-13 math.OC
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees
ABB Corporate Research(ABB企业研究院);KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出了异步迭代的新收敛结果,明确了异步程度对收敛速率的影响,加强了现有异步优化算法的理论保证,并改进了多种流行算法的复杂度界限与收敛分析。
2023-04-03 cs.DC cs.LG cs.SY
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文理论证明梯度裁剪能消除异步SGD中最大延迟对复杂度的影响,基于次Weibull梯度噪声模型,首次实现异步优化的高概率收敛。
2026-06-12 cs.DC cs.LG math.OC
Perturbed Iterate Analysis for Asynchronous Stochastic Optimization
AMPLab;UC Berkeley(加州大学伯克利分校)
我们介绍并分析了随机最优化方法,其中每个梯度更新的输入被有界噪声扰动。我们表明,这个框架形成了一个统一的方法来分析异步实现的随机最优化algorithm.In这个框架中,异步随机最优化算法可以被认为是一系列的方法在嘈杂的输入。使用我们的扰动框架,我们提供了新的分析Hogwild!算法和异步随机坐标下降,比以前的分析更简单,删除了以前的模型的许多假设,并在某些情况下产生改进的收敛速度上界。我们继续应用我们的框架来开发和分析KroMagnon:一种新颖的,并行的,稀疏的随机方差降低梯度(SVRG)算法。我们在一个16核机器上的实验表明,稀疏和并行版本的SVRG在某些情况下比标准SVRG算法快四个数量级以上。
2016-03-25 cs.DC cs.DS cs.LG
An Asynchronous Distributed Proximal Gradient Method for Composite Convex Optimization
我们提出了一个分布式的一阶增广拉格朗日(DFAL)算法来最小化复合凸函数的和,其中的每一项和是属于一个节点的私有成本函数,只有通过边连接的节点可以直接相互通信。该最优化模型抽象了分布式传感和机器学习中的许多应用。我们证明了DFAL迭代的任何极限点都是最优的;对于任何$ε>0$,$ε$ -最优和$ε$ -可行解可以在$\mathcal{O}(\log(ε^{-1}))$ DFAL迭代中计算,这需要$\mathcal{O}(\frac{ψ_{\max}^{1.5}}{d_{\min}} ε^{-1})$近端梯度计算和每个节点的总通信,其中$ψ_{\max}$表示图拉普拉斯算子的最大特征值,$d_{\min}$是图的最小度。我们还提出了一个异步版本的DFAL通过将随机块坐标下降方法,并证明了DFAL的效率在大规模稀疏群LASSO问题。
2015-05-09 math.OC
ADMM-Tracking Gradient for Distributed Optimization over Asynchronous and Unreliable Networks
该研究提出一种嵌入分布式ADMM、结合局部比例动作的分布式一致性优化算法及其鲁棒扩展,证明其在理想、异步丢包场景下的线性收敛性与通用误差鲁棒性,仿真验证了性能优势。
2025-02-04 math.OC
Asynchronous Distributed Learning with Quantized Finite-Time Coordination
针对对等网络分布式学习中量化通信、异步性、随机梯度的挑战,提出结合有限时间量化协调与分布式梯度下降的算法,支持异步操作与随机梯度,还给出渐进细化量化变体,分析收敛性并与现有最优方案对比。
2024-08-30 cs.SY eess.SY math.OC
Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
异步Q学习的目的是学习马尔可夫决策过程(MDP)的最优动作值函数(或Q函数),基于由行为策略诱导的马尔可夫样本的单个轨迹。聚焦于具有状态空间$\mathcal{S}$和动作空间$\mathcal{A}$的$γ$ -折扣MDP,我们证明了经典异步Q-学习的基于$\ell_{\infty}$的样本复杂度--即,产生Q-函数的逐项$\varepsilon$ -准确估计所需的样本数量--至多是$\frac{1}{μ_{\min}(1-γ)^5\varepsilon^2}+ \frac{t_{mix}}{μ_{\min}(1-γ)}$的数量级,直到某个对数因子,只要采用适当的恒定学习速率。这里,$t_{mix}$和$μ_{\min}$分别表示样本轨迹的混合时间和最小状态-动作占用概率。该界限的第一项与同步情况下的样本复杂度相匹配,其中独立样本是从轨迹的平稳分布中提取的。第二项反映了马尔可夫轨迹的经验分布达到稳定状态所需的成本,该成本在开始时发生,并随着算法的运行而摊销。令人鼓舞的是,对于所有场景,上述界限对现有技术结果\cite{qu2020finite}改进了至少$|\mathcal{S}||\mathcal{A}|$的因子,并且对于任何足够小的准确度水平$\varepsilon$,改进了至少$t_{mix}|\mathcal{S}||\mathcal{A}|$的因子。此外,我们证明,缩放…
2021-08-08 cs.LG eess.SP math.OC
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park(马里兰大学帕克分校);United States Naval Academy(美国海军学院)
方差缩减(VR)方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降(SGD)的性能。然而,当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算(使用整个数据集)。这限制了VR方法在实际分布式环境中的使用。在本文中,我们提出了一种方差降低方法,称为VR-lite,不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种,可扩展的,保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法,并发现我们提出的算法表现良好,其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL(洛桑联邦理工学院);CISPA(亥姆霍兹信息安全中心)
我们研究了异步随机梯度下降算法的分布式训练$n$工人,随着时间的推移,具有不同的计算和通信频率。在该算法中,工作者以自己的速度并行计算随机梯度,并将其返回给服务器,而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代,其中$σ$表示随机梯度的方差。在这项工作中,(i)我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法,其中$τ_{avg}$是平均延迟,它可以显着小于$τ_{\max}$。我们还提供了(ii)一个简单的延迟自适应学习率计划,异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度,不需要任何额外的超参数调整,也不需要额外的通信。我们的结果允许第一次表明,异步SGD总是比小批量SGD更快。此外,(iii)我们考虑了由联邦学习应用程序驱动的异构函数的情况,并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是,我们表明,在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
Technical Report: A Totally Asynchronous Nesterov's Accelerated Gradient Method for Convex Optimization
本文提出一种基于 Nesterov 加速梯度推广的全异步凸优化算法,在无延迟上界条件下保证线性收敛,并通过数值仿真验证其迭代次数显著少于 heavy ball 算法和梯度下降。
2024-06-14 cs.SY eess.SY math.OC
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Radisys India Pvt. Ltd.(瑞迪斯印度私人有限公司)
考虑光滑非凸损失函数与凸非光滑正则化子的随机最优化。在在线设置中,其中在每次迭代时损失的随机梯度的单个样本可用,该问题可以使用近似随机梯度下降(SGD)算法及其变体来解决。然而,在许多问题中,特别是在通信和信号处理中出现的那些问题中,由于损失函数的结构,可以获得超出随机梯度的信息。SGD不使用这种额外的梯度信息,但已被证明是有用的,例如在随机期望最大化,随机优化最小化和随机连续凸逼近(SCA)方法的背景下。通过在每次迭代时构造损失函数的随机强凸代理,随机SCA算法可以利用损失函数的结构特性,并获得优于SGD的经验性能。在这项工作中,我们仔细研究随机SCA算法,并开发其异步变体,可用于无线网络中的资源分配。虽然随机SCA算法是已知的渐近收敛,其迭代复杂性还没有得到很好的研究,是目前工作的重点。从非渐近分析中获得的见解,使我们能够开发一个更实用的随机SCA算法,它允许使用在早期迭代计算的代理人的异步变体。我们的特点是精确的界限上的最大延迟的算法可以容忍,而仍然达到相同的收敛速度。我们将该算法应用于无线传感器网络中的线性预编码问题,它可以在低复杂度下实现,但在实践中表现良好。
2020-10-03 cs.LG eess.SP math.OC
Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
KAUST(卡斯梅特大学)
本文提出重标异步SGD方法,通过调整工作节点的步长比例,解决异步SGD在数据分布异质性下的偏差问题,证明其在非凸情况下收敛于正确全局目标。
2026-05-13 cs.DC cs.LG math.OC
Stochastic Semi-Gradient Descent for Learning Mean Field Games with Population-Aware Function Approximation
MIT(麻省理工学院);Columbia University(哥伦比亚大学)
针对传统平均场博弈(MFGs)学习方法的效率与稳定性问题,提出将策略和群体视为统一参数的视角,开发SemiSGD方法及群体感知线性函数近似(PA-LFA),并通过理论分析与实验验证其收敛性与有效性。
2025-02-14 cs.GT cs.LG cs.MA
A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip
Inria(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);MSR-Inria Joint Centre(微软研究院-法国国家信息与自动化研究所联合中心)
我们介绍了连续Nesterov加速度,Nesterov加速度的一个密切的变化,其变量是由一个连续的时间参数索引。这两个变量连续混合遵循线性常微分方程,并在随机时间采取梯度步骤。这种连续化的变体受益于最好的连续和离散的框架:作为一个连续的过程,可以使用微分学来分析收敛性,并获得参数的解析表达式;和连续化过程的离散化可以精确地计算出类似于Nesterov原始加速度的收敛速度。我们证明了离散化具有与Nesterov加速度相同的结构,但具有随机参数。我们提供连续Nesterov加速下确定性以及随机梯度,无论是加性或乘性噪声。最后,使用我们的连续化框架和表达的八卦平均问题作为一个特定的能量函数的随机最小化,我们提供了第一个严格的加速异步八卦算法。
2021-10-27 cs.LG cs.MA math.OC
Historical Information Accelerates Decentralized Optimization: A Proximal Bundle Method
本文提出去中心化近端束方法,利用历史信息加速去中心化优化,理论分析显示其在异步和随机环境下具有固定步长收敛优势。
2025-12-18 cs.SY eess.SY math.OC
Scaling up Stochastic Gradient Descent for Non-convex Optimisation
Bournemouth University(伯恩茅斯大学);Warwick University(华威大学)
随机梯度下降(SGD)是一种被广泛采用的优化可微目标函数的迭代方法。在本文中,我们提出并讨论了一种新的方法来扩大SGD在涉及非凸函数和大型数据集的应用。我们解决了使用共享和分布式内存时出现的瓶颈问题。通常,前者受有限的计算资源和带宽的限制,而后者则受到通信开销的影响。我们提出了一个统一的分布式和并行实现的SGD(命名为DPSGD),依赖于异步分布和无锁并行。通过将两种策略结合到一个统一的框架中,DPSGD能够在本地计算和通信之间取得更好的平衡。DPSGD的收敛性能研究的非凸问题,如统计建模和机器学习中出现的。我们的理论分析表明,DPSGD导致的速度方面的核心和工人的数量,同时保证$O(1/\sqrt{T})$的渐近收敛速度给定的核心的数量是由$T^{1/4}$和工人的数量是由$T^{1/2}$,其中$T$是迭代次数的限制。DPSGD可以实现的潜在收益在随机变分推断问题(潜在狄利克雷分配)和深度强化学习(DRL)问题(优势演员评论家-A2 C)上进行了经验证明,从而产生了两种算法:DPSVI和HSA 2C。实证结果验证了我们的理论研究结果。进行比较研究,以显示所提出的DPSGD对国家的最先进的DRL算法的性能。
2022-10-06 cs.DC cs.LG math.OC
Leader Stochastic Gradient Descent for Distributed Training of Deep Learning Models: Extension
我们考虑在通信约束下训练深度学习模型的分布式优化。我们提出了一个新的算法,其参数更新依赖于两个力量:一个定期梯度步骤,并由目前表现最好的工人(领导者)的纠正方向。我们的方法不同于参数平均计划EASGD在许多方面:(i)我们的目标制定不改变的位置相比,原来的优化问题的驻点;(ii)我们避免了收敛减速所造成的拉当地工人下降到不同的局部最小值对方(即其参数的平均值);(iii)我们的设计更新打破了对称性的诅咒(在对称非凸景观中陷入不佳推广次优解的现象);以及(iv)我们的方法是更有效的通信,因为它只广播领导者的参数而不是所有工人。我们提供了理论分析的批处理版本的算法,我们称之为领导者梯度下降(LGD),其随机变体(LSGD)。最后,我们实现了我们的算法的异步版本,并将其扩展到多领导者设置,在那里我们形成工人组,每个工人由自己的本地领导者(一组中表现最好的)表示,并更新每个工人的纠正方向包括两个吸引力:一个到本地,一个到全球领导者(所有工人中表现最好的)。多领导者设置与当前的硬件架构很好地对齐,其中形成组的本地工作者位于单个计算节点内,并且不同的组对应于不同的节点。对于训练卷积神经网络,我们根据经验证明,我们的方法与最先进的基线相比是有利的。本文是[2]的一个推广。
2022-04-28 cs.DC cs.LG math.OC