Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题，提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法，并通过数值实验验证了方法有效性。
2024-06-20 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题，其中只有通过边连接的智能体可以直接通信，因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法，这类问题的最佳收敛保证，据我们所知。特别是，我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优，不可行性，共识违反。
2023-02-21 math.OC
A Dual Accelerated Method for Online Stochastic Distributed Averaging: From Consensus to Decentralized Policy Evaluation
出于分散的传感和政策评估问题，我们考虑一种特殊类型的分布式随机最优化问题的网络，称为在线随机分布平均问题。我们设计了一个基于对偶的方法来解决这个带有Polyak-Ruppert平均的分布式一致性问题，并分析了它的行为。我们表明，该算法达到了加速确定性误差最佳依赖于网络的条件数，也有一个顺序最优的随机误差。这提高了保证国家的最先进的分布式随机最优化算法时，专门为此设置，并产生-除其他事项外-推论分散的政策评估。我们的证明依赖于明确地研究几个相关的线性系的演化，可能是独立的利益。数值实验，验证了我们的理论结果，并表明，我们的方法优于现有的方法在有限样本的情况下，几个自然的网络拓扑结构。
2022-08-08 cs.MA cs.SY eess.SY
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~（SGD）配备了“强力球”方法来加速。我们表明，该算法实现了一般光滑（可能非凸）费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络，与最先进的分布式SGD算法和集中式SGD算法进行比较，通过数值实验证明了该算法的效率。
2021-10-13 math.OC
An Accelerated Second-Order Method for Distributed Stochastic Optimization
我们考虑分布式随机最优化问题，解决了主/工人计算架构。统计参数允许利用统计相似性和近似这个问题的有限和问题，为此，我们提出了一个不精确的加速的正则化牛顿法，实现了较低的通信复杂度的限制，这种设置，并改善现有的上界。我们进一步利用这个算法，以获得收敛速度界为原来的随机最优化问题，并比较我们的界限与现有的界限在几个政权时，目标是最大限度地减少通信轮数和增加的并行化，通过增加工人的数量。
2021-03-26 math.OC
Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所）；Sber AI Lab（Sber AI实验室）；Skoltech（斯科尔科沃科学技术学院）
本文提出首个在数据相似性下结合无偏/有偏压缩、方差缩减与误差反馈的分布式优化加速算法，理论创纪录并经实验验证。
2024-12-21 cs.DC cs.LG math.OC
ADD-OPT: Accelerated Distributed Directed Optimization
在本文中，我们考虑分布式最优化问题的目标是最小化的总和目标函数在多智能体网络。我们专注于代理间通信的情况下，描述了一个强连接，\emph{directed}图。所提出的算法，ADD-OPT（加速分布式定向优化），实现了这类问题的最佳已知的收敛速度，~ $O(μ^{k}),0<μ<1$，给定强凸，目标函数的全局Lipschitz连续梯度，其中~ $k$是迭代次数。此外，ADD-OPT支持更广泛和更现实的步长范围与现有的工作。特别是，我们表明，ADD-OPT收敛任意小（正）步长。仿真结果进一步说明了我们的结果。
2017-08-06 math.OC
Distributed Synthesis Using Accelerated ADMM
针对受外界干扰的大规模连续时间系统，提出了一种凸分布优化算法来综合鲁棒控制器。给定一个大规模的系统，而不是解决较大的集中式综合任务，我们分解成一组较小的综合问题的局部子系统与给定的互连拓扑结构。因此，合成问题被约束到由互连拓扑结构决定的稀疏模式。为此，对于每个子系统，我们解决了一个局部耗散不等式，然后检查整个系统的小增益条件。为了最小化干扰的影响，我们考虑了$\mathrm{H}_\infty$综合问题。我们使用加速交替方向法乘法器（ADMM）的分布式综合方法的实例与收敛速度$O(\frac{1}{k^2})$与$k$是迭代次数。
2018-02-28 math.OC
Accelerated Zeroth-order Algorithm for Stochastic Distributed Nonconvex Optimization
本文研究了在只有零阶信息的非凸问题上如何加速分布式优化算法的收敛。我们提出了一个零阶（ZO）分布式原始-对偶随机坐标算法配备了“强力球”方法来加速。我们证明了所提出的算法具有$\mathcal{O}(\sqrt{p}/\sqrt{nT})$的收敛速度一般非凸费用函数。我们考虑从黑盒DNN问题中解决对抗性示例的生成，以与现有的最先进的集中式和分布式ZO算法进行比较。数值结果表明，该算法具有更快的收敛速度，与理论分析相吻合。
2021-10-13 math.OC
Accelerated Distributed Optimization with Compression and Error Feedback
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Universität des Saarlandes（萨尔大学）
本文提出 ADEF 算法，将 Nesterov 加速、收缩压缩、误差反馈与梯度差压缩相结合，在一般凸区域下首次实现了带收缩压缩的随机分布式优化的加速收敛，并降低了通信成本。
2025-03-29 cs.LG math.OC
Error Compensated Distributed SGD Can Be Accelerated
梯度压缩是一种最近越来越流行的技术，用于减少大规模机器学习模型的分布式训练中的通信成本。在这项工作中，我们专注于开发有效的分布式方法，可以为任何压缩机满足一定的收缩属性，其中包括无偏（适当缩放后）和有偏压缩机，如RandK和TopK。如果简单地应用，梯度压缩会引入一些错误，这些错误要么会减慢收敛速度，要么会导致发散。设计用于解决这个问题的流行技术是误差补偿/误差反馈。由于与分析有偏压缩器相关联的困难，不知道具有误差补偿的梯度压缩是否可以与Nesterov的加速相结合。在这项工作中，我们首次证明了误差补偿梯度压缩方法可以加速。特别地，我们提出并研究了误差补偿的无环Katyusha方法，并在标准假设下建立了加速的线性收敛速率。我们通过数值实验表明，所提出的方法收敛与以前的误差补偿算法大大减少通信轮。
2020-09-30 math.OC
Coordinating Distributed Example Orders for Provably Accelerated Training
Cornell University（康奈尔大学）
针对分布式训练中示例顺序优化问题，提出CD-GraB方法，利用核稀疏化思想将GraB的可证明加速优势扩展到分布式环境，实现线性加速并优于分布式RR。
2023-12-21 cs.DC cs.LG math.OC
Asynchronous Accelerated Proximal Stochastic Gradient for Strongly Convex Distributed Finite Sums
本文研究了$n$节点网络上强凸函数和的极小化问题。我们提出了分散和异步算法ADFS来解决的情况下，当地的功能本身是有限和$m$组件。当局部函数光滑时，ADFS线性收敛，并且在单机上执行时与最知名的有限和算法的速度相匹配。在几台机器上，ADFS享受$O (\sqrt{n})$或$O(n)$的加速，这取决于前导复杂度项，只要网络的直径相对于$m$不是太大。这也导致了$\sqrt{m}$的速度超过了最先进的分布式批处理方法，这是有限和算法的预期速度。在通信时间和网络参数方面，ADFS规模以及最佳分布式批处理算法。作为一个侧面的贡献，我们给出了一个广义版本的加速近端坐标梯度算法使用任意采样，我们适用于一个精心挑选的对偶问题，以获得ADFS。然而，ADFS使用原始邻近更新，仅需要解决许多标准机器学习应用程序的一维问题。最后，ADFS可以制定为非光滑的目标具有同样良好的缩放性能。我们说明了改进的ADFS国家的最先进的方法与模拟。
2019-07-17 cs.DC math.OC
Accelerated Distributed Aggregative Optimization
Zhejiang University（浙江大学）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）
本文针对分布式聚合优化问题，结合 heavy ball、Nesterov 加速方法与分布式聚合梯度跟踪，提出 DAGT-HB 和 DAGT-NES 两种算法，在光滑强凸条件下实现全局 R-线性收敛，并通过数值实验验证其有效性与优越性。
2023-04-17 cs.LG cs.MA math.OC
A distributed accelerated gradient algorithm for distributed model predictive control of a hydro power valley
Cantho University of Technology（芹苳理工大学）；Lund University（隆德大学）；Delft University of Technology（代尔夫特理工大学）
针对水电谷系统的功率参考跟踪问题，提出一种基于分布式优化和加速梯度方法的分布式模型预测控制算法，实现O(1/k^2)收敛率，并通过线性化近似在保持性能的同时比集中式求解器更快。
2013-02-08 cs.MA cs.NA cs.SY
An Accelerated Method For Decentralized Distributed Stochastic Optimization Over Time-Varying Graphs
我们考虑一个分布式的随机最优化问题，解决了一个分散的网络的代理与相邻的代理之间只有本地通信。整个系统的目标是最小化一个全局目标函数，该函数是由每个代理持有的局部目标之和。每个局部目标被定义为一个凸光滑随机函数的期望值，并允许代理对该函数的随机梯度进行采样。对于这种设置，我们提出了第一个加速（在Nesterov的加速意义上）的方法，同时达到最佳的对数因子通信和Oracle的复杂性边界光滑强凸分布随机最优化。我们还考虑的情况下，当通信图被允许随时间变化，并获得我们的算法的复杂性界限，这是第一个上复杂性界限，在文献中的设置。
2022-11-09 math.OC
A Chebyshev-Accelerated Primal-Dual Method for Distributed Optimization
我们考虑一个分布式最优化问题在网络的代理，旨在最小化一个全球目标函数，这是当地的凸和复合费用函数的总和。为此，我们提出了一个分布式Chebyshev加速原始对偶法，以实现更快的遍历收敛速度。在标准分布式原始对偶法中，向全局最优值（即，相应拉格朗日函数中的鞍点）直接受到表示通信图的拉普拉斯矩阵的特征值的影响。在本文中，我们使用Chebyshev矩阵多项式来生成八卦矩阵，其频谱特性导致更快的收敛速度，同时允许完全分布式的实现。因此，所提出的算法需要更少的梯度更新的成本代理之间的额外的几轮通信。我们说明了所提出的算法在分布式信号恢复问题的性能。我们的模拟表明，如何使用Chebyshev矩阵多项式可以用来提高收敛速度的原始对偶法在通信网络，特别是在网络的频谱特性差，通过贸易的本地计算的通信轮。
2018-10-15 math.OC
Accelerated Distributed Aggregative Optimization
本文提出两种结合重球法和Nesterov加速的分布式聚合梯度跟踪算法，在强凸和Lipschitz连续梯度条件下实现全局线性收敛，并通过数值实验验证其有效性、鲁棒性和优越性。
2025-03-30 math.OC
Momentum-based Accelerated Algorithm for Distributed Optimization under Sector-Bound Nonlinearity
本文提出一种基于动量和梯度跟踪的加速分布式优化算法，通过处理扇区有界非线性和采用权重平衡网络设计，证明了在局部非凸和动态时变网络环境下的收敛性。
2025-06-28 cs.DC cs.MA cs.SY
Accelerated Alternating Direction Method of Multipliers Gradient Tracking for Distributed Optimization
本文提出一种结合动量、ADMM与梯度跟踪的新型加速分布式优化算法，理论证明其收敛速度快于非加速同类算法，仿真验证其性能优于现有分布式共识一阶优化协议。
2024-05-14 cs.SY eess.SY math.OC
Accelerated Distributed Primal-Dual Dynamics using Adaptive Synchronization
本文提出了一种自适应的原始-对偶动力学多智能体系统的分布式优化。所提出的动态结合了自适应同步法，加强了耦合代理的原始变量之间的互连强度，给定的法律加速所提出的动态鞍点解的收敛。由此产生的动态表示为一个反馈互联网络系统，证明是被动的。利用所提出的动态的无源性特性与混合动力系统的LaSalle不变原理，建立鞍点解的渐近收敛和稳定性。进一步分析了原动力学的收敛速率，建立了原动力学的较强收敛界，证明了原动力学在自适应同步下实现了加速收敛。使用L2增益分析和收敛速率和鲁棒性之间的相关性的建议动态的鲁棒性进行量化。通过将其应用于分布式最小二乘和分布式支持向量机问题，证明了所提出的动态的有效性。
2019-05-02 math.OC
Accelerated Distributed Nesterov Gradient Descent
本文研究了网络上的分布式最优化问题，目标是仅利用局部计算和通信来优化由局部函数之和构成的全局函数。我们开发了一个加速分布式Nesterov梯度下降（Acc-DNGD）方法。当目标函数是凸的和$L$ -光滑的，我们证明了它达到了$O(\frac{1}{t^{1.4-ε}})$收敛速度的所有$ε\in(0,1.4)$。当目标函数是线性映射和强凸光滑函数的组合时，收敛速度可提高到$O(\frac{1}{t^2})$。当目标函数是$μ$ -强凸和$L$ -光滑时，我们证明了它达到$O([ 1 - C (\fracμ{L})^{5/7} ]^t)$的线性收敛速率，其中$\frac{L}μ$是目标的条件数，$C>0$是不依赖于$\frac{L}μ$的常数.
2019-07-04 math.OC
Accelerated Distributed Allocation
针对分布式分配场景需求，本文提出一种基于符号函数、收敛速率可调的快速收敛优化算法，证明其在均匀连接多智能体网络及间歇性断网下的收敛性，且具备始终可行性，优于ADMM等需渐近满足约束的对偶方法。
2024-01-28 cs.MA cs.SY eess.SP
Accelerated Voltage Regulation in Multi-Phase Distribution Networks Based on Hierarchical Distributed Algorithm
我们提出了一个分层分布式算法来解决最优潮流（OPF）的问题，旨在调度可控分布式能源（DER）的电压调节以最小的成本。所提出的算法具有前所未有的可扩展性，大型多相配电网络，通过共同探索的树/子树结构的大型径向配电网络和结构的线性化配电潮流（LinDistFlow）模型，以获得一个分层的，分布式的实施的原始-对偶梯度算法，解决OPF。所提出的实现显着降低了计算负荷相比，中央协调的实施相同的原始对偶法，而不损害最优性。对4,521节点试验馈线的数值结果表明，该算法通过减少和分散计算量，使收敛速度比集中协调原始对偶法提高10倍以上。
2019-06-26 math.OC
MUSIC: Accelerated Convergence for Distributed Optimization With Inexact and Exact Methods
School of Computer Science and Technology, Hubei University of Science and Technology（湖北科技学院计算机科学与技术学院）；School of Electronic and Electrical Engineering, Wuhan Textile University（武汉纺织大学电子与电气工程学院）；The University of Manchester（曼彻斯特大学）
针对单梯度更新难以加速分布式优化的问题，提出MUSIC框架，融合非精确与精确方法实现多局部更新、一次组合及加速线性收敛。
2024-03-05 cs.AI math.OC
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题，提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值，并证明了通过选择合适的参数，以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知，这是第一个连续时间的原始-对偶加速方法，可以获得最优的速度。然后将该方法应用于两个网络最优化问题，一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题，得到了两种不同的分布式算法。最后，通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
Towards accelerated rates for distributed optimization over time-varying networks
研究了具有强凸光滑代价函数的时变网络的分散优化问题。在我们的方法中，节点在进行每次梯度更新后运行多步gossip过程，从而确保每次迭代时的近似共识，而外部循环基于加速Nesterov方案。该算法在$O(\sqrt{κ_g}χ\log^2(1/\varepsilon))$通信步骤中实现了精确的$\varepsilon > 0$，并在每个节点上实现了$O(\sqrt{κ_g}\log(1/\varepsilon))$梯度计算，其中$κ_g$是全局函数数，$χ$表征了通信网络的连通性。在静态网络的情况下，$χ= 1/γ$，其中$γ$表示通信矩阵$\mathbf{W}$的归一化频谱间隙。复杂度界限包括$κ_g$，其可以显著优于节点之间的最差情况条件数。
2022-11-07 math.OC
An Accelerated Distributed Optimization with Equality and Inequality Coupling Constraints
本文提出了一种加速线性化算法，用于解决具有等式和不等式耦合约束的分布式优化问题，通过理论分析和实验验证，展示了其在收敛速度上的优势。
2025-12-04 cs.SY eess.SY math.OC
A New Accelerated Stochastic Gradient Method with Momentum
本文提出了一种新的带动量的加速随机梯度法，动量是前几次梯度的加权平均。权值与迭代次数成反比衰减。具有动量的随机梯度下降（Sgdm）使用随着迭代时间呈指数衰减的权重来生成动量项。使用指数衰减的权重，已经提出了具有精心设计和复杂格式的Sgdm变体以实现更好的性能。我们的方法的动量更新规则是一样简单的Sgdm。我们提供了理论上的收敛性分析，我们的方法，这表明指数衰减的权重和我们的反比例衰减权重可以限制的变化的参数的移动方向优化到一个区域。实验结果表明，该方法在实际问题中表现良好，性能优于Sgdm，在卷积神经网络中性能优于Adam。
2020-05-31 cs.LG math.OC stat.ML
HBNET-GIANT: A communication-efficient accelerated Newton-type fully distributed optimization algorithm
针对L-光滑μ-强凸目标函数，提出重球动量驱动的二阶全分布式优化算法HBNET-GIANT，证明其全局线性收敛，实验表明其收敛速率快于非加速版本及多种先进算法，为相关研究奠定基础。
2025-11-17 eess.SP math.OC
Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；MetaCarbon Inc.（元碳公司）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文研究通信压缩分布式随机优化的性能极限，在六类设置下建立收敛下界，并提出近优算法 NEOLITHIC，在温和条件下达到仅差对数因子的下界。
2025-03-18 cs.DC cs.LG math.OC
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法（OCT-NAG）研究了在线凸优化问题。我们表明，在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$，提供了一些有界性假设的目标函数和最优解。据作者所知，这是文献中最低的静态遗憾（低于$O(\text{log}(T))$）。我们进一步证明了在相同的假设条件下，该算法的动态遗憾是$O(T)$，这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外，仿真结果表明，该算法表现出良好的动态遗憾的一些特定的缩放条件。此外，我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用，并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾，这是与现有的分布式在线最优化方法。与这些方法不同的是，该方法既不需要梯度有界性假设，也不需要紧约束集假设，从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
An Accelerated Proximal Bundle Method with Momentum
Southern University of Science and Technology（南方科技大学）；State Key Laboratory of Autonomous Intelligent Unmanned Systems（自主智能无人系统全国重点实验室）；Southeast University（东南大学）
本文提出一种结合Nesterov动量的加速近端束方法，解决了传统近端束方法在光滑凸问题中收敛速率低的问题，实现最优O(1/k²)收敛性。
2026-04-01 math.OC
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Accelerated Over-Relaxation Heavy-Ball Method: Achieving Global Accelerated Convergence with Broad Generalization
针对重球动量法对一般光滑强凸问题缺乏加速收敛性的问题，提出首个可证明全局加速收敛的AOR-HB法，填补理论空白、扩展应用场景并具备三大优势，推动加速技术发展。
2025-02-17 math.OC
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Adaptive Restart for Accelerated Gradient Schemes
在本文中，我们展示了一个简单的启发式自适应重新启动技术，可以显着提高加速梯度格式的收敛速度。该技术的分析依赖于观察，这些计划表现出两种行为模式，这取决于施加了多少动量。在我们所说的“高动量”机制中，由加速梯度方案产生的迭代表现出周期性行为，其中周期与目标函数的局部条件数的平方根成比例。这暗示了一种重新启动技术，每当我们观察到周期性行为时，我们就会重置动量。我们提供的分析表明，在许多情况下，自适应重新启动允许我们恢复的最佳收敛速率，没有先验知识的函数参数。
2012-04-18 math.OC
Robust Distributed Accelerated Stochastic Gradient Methods for Multi-Agent Networks
Massachusetts Institute of Technology（麻省理工学院）；Rutgers Business School（罗格斯商学院）；INRIA - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学院信息学系）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）
研究了求解分散强凸随机最优化问题的分布式随机梯度（D-SG）方法及其加速变型（D-ASG），其中目标函数分布在一个固定但任意连通的通信图上的多个计算单元上，且受局部通信约束，其中梯度的噪声估计是可用的.我们开发了一个框架，允许选择这些算法的步长和动量参数的方式来优化性能，系统地权衡的偏见，方差，鲁棒性梯度噪声和依赖网络效应。当梯度不包含噪声时，我们还证明了分布式加速方法可以\emph{achieve acceleration}，需要$\mathcal{O}(κ\log(1/\varepsilon))$梯度评估和$\mathcal{O}(κ\log(1/\varepsilon))$通信收敛到与非加速变体相同的不动点，其中$κ$是条件数，$\varepsilon$是目标精度。据我们所知，这是在\emph{primal}分布式不精确一阶方法中，迭代复杂度与条件数的平方根成比例的第一个加速结果。对于二次函数，我们还提供了更精细的性能界限，就偏差和方差项而言是紧的。最后，我们研究了一个多阶段版本的D-ASG的参数仔细不同的阶段，以确保准确的$\mathcal{O}(-k/\sqrtκ)$线性衰减的偏差项，以及最佳的$\mathcal{O}(σ^2/k)$的方差项。我们通过数值实验说明，我们的方法在实际的算法，是强大的梯度噪声，可以优于现有的方法。
2021-10-04 cs.LG math.OC stat.ML
Distributed stochastic inertial-accelerated methods with delayed derivatives for nonconvex problems
随机梯度法是求解随机最优化问题的主要方法。在光滑非凸问题上，一些加速技术被用来提高SGM的收敛速度。然而，很少有人探索应用某种加速技术的随机次梯度方法（SsGM）的非光滑非凸问题。此外，很少有人努力分析（加速）SsGM与延迟衍生物。信息延迟自然发生在分布式系统中，其中计算工作者彼此不协调。本文提出了一种求解非光滑非凸随机最优化问题的惯性近似SsGM。该方法可以保证收敛，即使在分布式环境中的延迟导数信息。对三类非凸问题：弱凸非光滑凸正则化问题、复合非凸非光滑凸正则化问题和光滑非凸问题建立了收敛速度结果.对于每个问题类，对于$K$迭代，收敛速度是梯度范数平方的期望值的$O(1/K^{\frac{1}{2}})$。在分布式环境中，所提出的方法的收敛速度将被信息延迟减慢。然而，对于后两个问题类，慢化效果将随着迭代次数的增加而衰减。我们测试所提出的方法在三个应用程序。数值结果清楚地表明了使用基于惯性的加速度的优点。此外，我们观察到更高的并行化速度在异步更新同步对应，虽然前者使用延迟导数。我们的信源编码发布于https://github.com/RPI-OPT/Inertial-SsGM
2021-12-23 cs.DC cs.NA math.NA
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Decentralized Accelerated Gradient Methods With Increasing Penalty Parameters
本文研究了分布式优化中的通信代价和梯度计算代价，并对提出的分布式加速梯度法进行了复杂性分析。我们提出了两个算法的加速惩罚方法的基础上增加罚参数的框架。我们的第一个算法是光滑分布优化，它获得了接近最佳的$O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}ε\right)$通信复杂度和最佳的$O\left(\sqrt{\frac{L}ε}\right)$梯度计算复杂度的$L$光滑凸问题，其中$σ_2(W)$表示第二大奇异值的权重矩阵$W$与网络和$ε$是目标精度。当问题是$μ$ -强凸和$L$ -光滑时，我们的算法对于通信具有接近最优的$O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log^2\frac{1}ε\right)$复杂度，对于梯度计算具有最优的$O\left(\sqrt{\frac{L}μ}\log\frac{1}ε\right)$复杂度.我们的通信复杂性仅比平滑分布式优化的下限差$\left(\log\frac{1}ε\right)$的一个因子。%据我们所知，我们的方法是第一个实现通信和梯度计算下限到一个额外的对数因子光滑分布优化。我们的第二个算法是为非光滑分布优化设计的，它实现了最佳的$O\left(\frac{1}{ε\sqrt{1-σ_2(W)}}\right)$通信复杂度和$O\left(\fr…
2020-08-18 math.OC
Accelerated Linear Convergence of Stochastic Momentum Methods in Wasserstein Distances
Rutgers Business School（罗格斯商学院）；Florida State University（佛罗里达州立大学）
在机器学习实践中常用的动量方法有Polyak的重球（HB）方法、Nesterov的加速梯度（AG）方法和加速投影梯度（APG）方法，但它们的性能对梯度中的噪声非常敏感。我们研究这些方法下的一阶随机预言模型的噪声估计的梯度。对于强凸问题，我们表明，分布的AG迭代收敛加速$O(\sqrtκ\log(1/\varepsilon))$线性速率的半径$\varepsilon$球集中在一个独特的不变分布在1-Wasserstein度量，其中$κ$是条件数，只要噪声方差小于一个明确的上限，我们可以提供。我们的分析还证明了线性收敛率作为步长，动量参数和噪声方差的函数;在无噪声的情况下恢复加速速率，并量化可以容忍的噪声水平，以实现给定的性能。在强凸二次目标的特殊情况下，我们可以通过对噪声结构的一些附加假设下的非渐近分析，显示出任何$p\geq 1$的$p$ -Wasserstein度量中的加速线性速率，并改善了AG和HB对噪声的敏感性。我们对HB和AG的分析也导致了确定性和随机性设置的次优性的非渐近收敛界的改进，这是独立的兴趣。据我们所知，这是随机预言模型下随机动量方法的第一个线性收敛结果。我们还将我们的结果扩展到APG方法和弱凸函数，当噪声幅度足够小时，显示加速率。
2019-05-17 cs.LG math.OC stat.ML
Accelerated Distributed Projected Gradient Descent for Convex Optimization with Clique-wise Coupled Constraints
研究了由团模型的多个群体组成的多智能体系统中一类带耦合约束的分布式凸优化问题。首先，我们提出了一个完全分布式的基于梯度的算法与一个新的运营商的启发凸投影，称为基于投影。接下来，我们仔细检查收敛性能的递减和固定的步长。对于递减问题，在目标函数光滑和约束集紧的假设下，证明了算法收敛到最优解。另外，当目标函数是强单调的时，在不作紧性假设的情况下，证明了严格收敛于唯一解。对于固定步长，在目标函数光滑的假设下，证明了目标残差的非遍历收敛速度为O（1/k）.此外，我们将Nesterov的加速方法应用于所提出的算法，并建立了O（1/k^2）的收敛速度。数值实验表明了该方法的有效性。
2022-11-18 cs.SY eess.SY math.OC
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong（香港大学）
三次正则化方法（CR）及其自适应方法（ARC）是求解无约束非凸优化问题的常用牛顿型方法，由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法（ARCm），以提高收敛性能。在适当选择动量步长的情况下，证明了ARCm的整体收敛，并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明，所提出的ARCm显着优于最先进的三次正则化方法（例如，CR、基于动量的CR、ARC）和置信域方法。特别地，ARCm所需的迭代次数比实验中最具竞争力的方法（ARC）所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
A Mixing-Accelerated Primal-Dual Proximal Algorithm for Distributed Nonconvex Optimization
本文提出分布式混合加速原始对偶近端算法MAP-Pro，通过类增广拉格朗日函数与时变混合多项式实现非凸优化，证明了次线性及P-Ł条件下的线性收敛性，结合Chebyshev加速可提升性能，数值实验验证其收敛与通信效率优势。
2024-03-10 cs.SY eess.SY math.OC
A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization
Tencent AI Lab（腾讯人工智能实验室）
在现代大规模机器学习应用中，训练数据通常被划分并存储在多台机器上。通常采用“数据并行“方法，其中在不跨机器移动数据的情况下最小化聚合的训练损失。在本文中，我们介绍了一种新的分布式对偶公式的正则化损失最小化问题，可以直接处理数据并行在分布式设置。这个公式使我们能够系统地推导出对偶坐标优化程序，我们称之为分布式交替对偶最大化（DADM）。该框架扩展了（Boyd等人，2011; Ma等人，2015 a; Jaggi等人，2014; Yang，2013），并进行了严格的理论分析。此外，在新公式的帮助下，我们通过将加速技术（Shalev-Shwartz和Zhang，2014）推广到分布式设置来开发DADM的加速版本（Acc-DADM）。我们还提供了所提出的加速版本的理论结果，新结果改进了以前的结果（Yang，2013; Ma等人，2015 a），其运行时间在条件数上线性增长。我们的实证研究验证了我们的理论，并表明，我们的加速方法显着改善了以前的国家的最先进的分布式双坐标优化算法。
2017-08-25 cs.DC cs.LG math.OC
Convergence Rate Analysis of Accelerated Forward-Backward Algorithm with Generalized Nesterov Momentum Scheme
Nesterov的加速向前向后算法（AFBA）是求解一类两项凸优化模型的有效算法，该模型由一个具有Lipschitz连续梯度的可微函数和一个具有封闭形式的邻近算子的不可可微函数组成.已经表明，AFBA与修改Nesterov的动量方案产生的迭代序列收敛到目标函数的最小值，$o\left(\frac{1}{k^2}\right)$收敛速度的函数值（FV-收敛速度）和$o\left(\frac{1}{k}\right)$收敛速度的连续迭代之间的距离（DCI-收敛速度）。在本文中，我们提出了一个更一般的动量计划与引入的功率参数$ω\in(0,1]$和表明，AFBA与建议的动量计划收敛到一个最小的目标函数的$o\left(\frac{1}{k^{2ω}}\right)$ FV-收敛速度和$o\left(\frac{1}{k^ω}\right)$ DCI-收敛速度。所提出的动量方案的通用性为我们提供了多种参数选择不同的情况下，这使得所得到的算法更灵活，以实现更好的性能。然后，我们采用AFBA与建议的动量计划来解决平滑铰链损失$\ell_1$-支持向量机模型。数值结果表明，该广义动量格式优于现有的两个动量格式。
2021-12-11 cs.NA math.NA math.OC
Joint Planning of PEV Fast-Charging Network and Distributed PV Generation Using the Accelerated Generalized Benders Decomposition
将插电式电动汽车（PEV）与分布式可再生能源相结合，将减少PEV从井到车轮的温室气体排放，促进可再生能源的采用，并推迟电力系统投资。本文提出了一种多学科的方法来联合规划PEV快速充电站和分布式光伏（PV）发电厂耦合的交通和电力网络。首先，我们建立了以下模型：1）PEV快速充电站; 2）PEV行驶里程限制下的公路交通网络; 3）具有无功功率控制的光伏电站。然后，我们制定了一个两阶段的随机混合整数二阶锥规划（MISOCP），以确定1）PEV快速充电站的网站和规模; 2）光伏电站。为了解决未来情景的不确定性，采用了大量的未来典型负荷、交通流量和光伏发电曲线。这使得问题规模很大。我们设计了一个广义Benders分解算法来有效地解决这个问题。据作者所知，这项工作是第一个联合规划PEV快速充电站和光伏电站考虑PEV驱动范围限制和无功光伏功率控制。通过数值实验验证了所提方法的有效性，并验证了联合规划和采用先进的光伏无功控制的好处。
2017-03-15 math.OC
Computational acceleration strategies for large-scale energy system optimization: a comparative study of GPU-accelerated and distributed-memory solvers
Freie Universität Berlin（柏林自由大学）；Deutsches Zentrum für Luft- und Raumfahrt e.V.（德国航空航天中心）；Zuse Institute Berlin（祖斯研究所柏林）；GAMS Software GmbH（GAMS软件有限公司）
研究大规模能源系统优化的计算加速策略，比较GPU加速一阶方法和分布式内存内点法，通过多样测试集表明各有优势，分布式内存IPM利用结构加速，GPU加速FOM扩展性强，共同拓宽计算工具箱，使能源系统优化模型更易处理。
2026-07-24 math.OC
Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to Minimax Optimization
University of Pittsburgh（匹兹堡大学）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们提出了一类用于非凸极小优化和极小极大优化的加速零阶和一阶动量方法。具体来说，我们提出了一个新的加速零阶动量（ACC-ZOM）的黑盒小优化方法，只有功能值可以获得。此外，我们证明了我们的Acc-ZOM方法实现了较低的查询复杂度为$\tilde{O}(d^{3/4}ε^{-3})$寻找一个$ε$ -平稳点，这提高了最好的已知结果的一个因素的$O(d^{1/4})$，其中$d$表示的可变尺寸。特别是，我们的Acc-ZOM不需要在现有的零阶随机算法所需的大批量。同时，我们提出了一个加速零阶动量下降上升（ACC-ZOMDA）方法的黑箱极小极大优化，其中只有函数值可以得到。我们的Acc-ZOMDA获得了低查询复杂度的$\tilde{O}((d_1+d_2)^{3/4}κ_y^{4.5}ε^{-3})$，而不需要大批量寻找一个$ε$ -平稳点，其中$d_1$和$d_2$表示可变尺寸和$κ_y$是条件数。此外，我们提出了一个加速的一阶动量下降上升（Acc-MDA）方法的极小极大优化，其显式梯度是可访问的。我们的Acc-MDA实现了$\tilde{O}(κ_y^{4.5}ε^{-3})$的低梯度复杂性，而不需要大批量来寻找$ε$ -稳定点。特别是，我们的Acc-MDA可以获得具有批量大小$O(κ_y^4)$的$\tilde{O}(κ_y^{2.5}ε^{-3})$的较低梯度复杂度，这将…
2022-01-17 cs.CV cs.LG math.OC
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学问题研究所）；Innopolis University（因诺波利斯大学）
针对分布式与联邦学习的通信和隐私问题，提出结合 Hessian 相似性、同质梯度及客户端采样的加速随机额外梯度方法，并通过加噪分析收敛，实验验证理论。
2024-09-22 cs.LG math.OC
TAMUNA: Doubly Accelerated Distributed Optimization under Partial Participation
Computer Science Program, CEMSE Division, King Abdullah University of Science and Technology (KAUST)（卡布斯王国科学与技术大学计算机科学项目，CEMSE部门）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（数据科学与人工智能卓越中心（SDAIA-KAUST AI））；Brno University of Technology（布拉格技术大学）；Kempelen Institute of Intelligent Technologies (KInIT)（智能技术研究所（KInIT））
提出TAMUNA算法，首次结合本地训练、压缩和部分参与，实现双重加速收敛，支持任意客户端参与水平。
2026-06-07 cs.LG math.OC
Accelerated Sparse Recovery via Gradient Descent with Nonlinear Conjugate Gradient Momentum
本文利用非线性共轭梯度自适应动量加速稀疏恢复优化，针对可微及非光滑加可微两类问题，采用固定步长和算子分裂，以凸ℓ1和非凸ℓ1-ℓ2为例验证效率。
2023-04-05 math.OC stat.CO
