An Asynchronous Decentralised Optimisation Algorithm for Nonconvex Problems
Department of Electrical and Electronic Engineering, University of Melbourne（墨尔本大学电气与电子工程系）；CIICADA Lab, School of Engineering, The Australian National University（澳大利亚国立大学工程学院CIICADA实验室）
针对分布式智能体网络的非凸去中心化优化问题，提出基于随机块坐标Douglas-Rachford分裂的异步ADMM算法，是首个带收敛证明的此类算法，在相位恢复等任务中验证了有效性。
2025-07-30 cs.LG math.OC
Asynchronous Distributed Method of Multipliers for Constrained Nonconvex Optimization
研究了一类局部费用函数和约束条件均为非凸的网络上的约束最优化问题。我们提出了一个异步分布式优化算法，依赖于集中式乘法器，其中每个节点唤醒在一个不协调的方式，并执行下降步骤的本地增广拉格朗日或上升步骤的本地乘子向量。这两个阶段由分布式逻辑AND调节，这使得节点能够理解（整个）增广拉格朗日函数的下降何时足够小。我们表明，这种分布式算法是相当于块坐标下降算法的增广拉格朗日最小化，然后更新整个乘子向量。因此，该算法继承了乘数法的收敛性。
2018-03-17 math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Faster Asynchronous Nonconvex Block Coordinate Descent with Locally Chosen Stepsizes
分布式非凸最优化问题在学习和自治中有着广泛的应用，而这类问题在Agent的计算和通信中常常面临着困难。当这些操作中的延迟有界时，它们被称为部分异步。在本文中，我们提出了一个不协调的步长选择规则的部分异步块坐标下降，只需要局部信息来实现，它会导致更快的收敛速度为一类非凸问题比现有的步长规则，这需要以某种形式的全局信息。我们考虑的问题满足误差界条件，我们提出的步长规则只需要每个代理知道（i）一定类型的Lipschitz常数的块的梯度的目标和（ii）它和它的邻居之间经历的通信延迟。这种提法需要更少的信息提供给每个代理比现有的方法，通常允许代理使用更大的步长，并消除了掉队者的影响，同时仍然保证收敛到一个固定的点。仿真结果提供了比较和验证的步长规则，我们开发的更快的收敛速度。
2022-03-21 math.OC
A Distributed Asynchronous Method of Multipliers for Constrained Nonconvex Optimization
本文提出了一种完全异步分布式的方法来处理目标函数和约束条件都可能是非凸的最优化问题。在所考虑的网络设置中，每个节点在触发本地定时器时是活动的，并且仅可以访问目标函数的一部分和约束的子集。在所提出的技术中，基于乘子方法，每个节点在醒来时对局部增广拉格朗日函数执行下降步骤，或者对局部乘子向量执行上升步骤。节点通过异步分布式逻辑AND实现何时从下降步骤切换到上升步骤，该逻辑AND检测所有节点何时达到增广拉格朗日函数最小化中的预定义容限。结果表明，由此产生的分布式算法是相当于块坐标下降的全球增广拉格朗日最小化。这使得人们可以将乘数的集中式方法的属性扩展到所考虑的分布式框架。两个应用实例验证了所提出的方法：分布式源定位问题和神经网络的参数估计。
2019-02-22 math.OC
A Provably Communication-Efficient Asynchronous Distributed Inference Method for Convex and Nonconvex Problems
University of Minnesota（明尼苏达大学）
针对异步协议下的一般非凸非光滑信号处理和机器学习问题，提出并分析了一个通信高效的分布式优化框架。在每次迭代中，工作机器使用它们自己的本地数据计算已知经验损失函数的梯度，并且主机器解决相关的最小化问题以更新当前估计。我们证明了，对于非凸非光滑问题，该算法收敛于一个次线性率的通信轮数，符合最好的理论速度，可以实现这类问题。对于光滑部分为强凸的复合损失函数问题，在不对局部数据作任何统计假设的情况下建立了线性收敛.大量的数值实验验证，所提出的方法的性能确实提高-有时显着-在其他国家的最先进的算法在总的通信效率。
2019-03-16 cs.LG math.OC
Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization
Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
本文研究了非凸优化中两种异步并行随机梯度方法，证明了其在计算机网络和共享内存系统中的渐进收敛率，并展示了线性加速的可能性。
2019-04-18 cs.NA math.NA math.OC
Asynchronous Schemes for Stochastic and Misspecified Potential Games and Nonconvex Optimization
分布式计算的均衡和最优已经看到越来越多的兴趣在广泛收集的网络问题。本文研究了由可能非凸的势函数刻画的凸随机Nash对策的平衡点的计算。我们的重点是两类随机纳什博弈：（P1）：一个潜在的随机纳什博弈，其中每个玩家解决一个参数化的随机凸规划;和（P2）：一个错误指定的推广，其中玩家特定的随机规划是复杂的参数错误指定。在这两种情况下，精确的近端BR解决方案通常是不可用的有限时间，因为它们需要解决参数化的随机程序。因此，我们设计了两个异步的不精确的邻近BR计划来解决问题，在每次迭代中，一个单一的球员被随机选择计算一个不精确的邻近BR解决方案与竞争对手的可能过时的信息。然而，在错误指定的制度（P2），每个球员拥有一个额外的估计错误指定的参数，并更新其估计的投影随机梯度（SG）算法。由于任何固定点的势函数是一个纳什均衡的相关游戏，我们相信本文是第一个随机非凸（但块凸）最优化问题配备了几乎必然收敛的保证。这些陈述可以扩展到允许容纳加权势博弈和广义势博弈。最后，我们提出了初步的数值应用所提出的方案的基础上，拥塞控制和纳什古诺游戏。
2019-08-02 math.OC
Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；KAUST（阿卜杜拉国王科技大学）；Skoltech（斯科尔泰克科技大学）
针对分布式系统中工作节点异构异步导致的非凸有限和优化效率问题，提出Freya PAGE方法，通过鲁棒掉队节点、自适应忽略慢计算实现更优时间复杂度，并证明其在大规模场景下达到异步问题的紧下界，具有最优性。
2024-11-02 cs.LG math.OC stat.ML
Parallel Stochastic Asynchronous Coordinate Descent: Tight Bounds on the Possible Parallelism
一些作品已经表明，只要没有太多的并行性，线性加速是通过随机坐标下降的异步并行实现的。更具体地，已知如果所有更新具有相似的持续时间，则线性加速可能具有高达$Θ(\sqrt n L_{\max}/L_{\overline{\mathrm{res}}})$的处理器，其中$L_{\max}$和$L_{\overline{\mathrm{res}}}$是合适的Lipschitz参数。本文表明，该界是紧的，几乎所有可能的值，这些参数。
2020-11-19 cs.DC math.OC
Achieving Linear Convergence in Distributed Asynchronous Multi-agent Optimization
本文研究了静态有向图上的多智能体（凸和\emph{nonconvex}）优化问题。我们提出了一个通用的分布式\emph{asynchronous}算法框架，其中i）代理可以更新他们的本地变量，以及与他们的邻居在任何时候进行通信，没有任何形式的协调;和ii）他们可以执行本地计算使用（可能）延迟，从其他代理的不同步信息。延迟不需要为代理所知或服从任何特定的配置文件，并且也可以是时变的（但有界的）。该算法建立在一个跟踪机制上，该机制对随机（在上述意义上）是鲁棒的，其目标是局部估计代理梯度的平均值。当应用于强凸函数时，我们证明了只要步长{充分小}，它就以R-线性（几何）速度收敛。当考虑非凸问题和/或{ \it uncoordinated}步长减小时，证明了算法的次线性收敛速度.据我们所知，这是第一个分布式算法与证明几何收敛速度在这样一个一般的异步设置。初步的数值结果表明，所提出的算法的有效性和验证我们的理论研究结果。
2019-09-11 cs.DC math.OC
Fully Asynchronous Stochastic Coordinate Descent: A Tight Lower Bound on the Parallelism Achieving Linear Speedup
我们寻求严格的界限上的可行的并行异步实现的坐标下降，实现线性加速。研究了由光滑凸函数和可能非光滑可分凸函数之和组成的凸函数上的异步坐标下降算法。我们量化了与标准序贯随机梯度下降相比的进展不足。这导致了一个简单而紧密的分析标准的随机ACD在部分异步的环境中，推广和改进的界限在以前的工作。我们还提供了一个相当多的分析一般异步环境中，唯一的约束是，每个更新可以重叠最多q其他。新的下界上的最大程度的并行实现线性加速是紧密的，并提高了最佳的先验界几乎二次方。
2020-08-02 cs.DC math.OC
Asynchronous Optimization over Graphs: Linear Convergence under Error Bound Conditions
我们考虑凸和非凸约束优化与一个部分可分离的目标函数：代理最小化的本地目标函数，其中每一个是已知的，只有相关的代理，并取决于该代理的变量和其他几个。这种分区设置出现在几个实际感兴趣的应用中。我们提出了什么是，据我们所知，第一个分布式的，异步算法与速率保证这类问题。当目标函数是非凸的，该算法可证明收敛到一个平稳的解决方案，在一个次线性的速度，而线性速度时，目标满足著名的Luo-Tseng误差界条件下（这是不太严格的强凸性）。对矩阵补问题和LASSO问题的数值结果表明了该方法的有效性。
2020-10-18 math.OC
Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization
针对可微非凸项与非光滑凸项之和的大规模优化，提出混合随机/确定性并行块分解算法，并证明其几乎必然收敛且性能优于两类单一方案。
2014-09-02 cs.DC math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络，建模为静态（可能有向）图。最优化问题包括最小化一个（可能是非凸的）光滑函数--代理的局部成本之和--加上一个凸的（可能是非光滑的）正则化器，受凸约束。代理可以执行本地计算，以及与他们的近邻在任何时候进行通信，没有任何形式的协调或集中调度;此外，当解决他们的本地子问题，他们可以使用过时的信息，从他们的邻居。我们提出了第一个分布式异步算法，称为ASY-DSCA，收敛于R-线性速率的凸问题的最优解，其目标函数满足一般的误差界条件，这个条件是弱于更常用的强凸性，它是由几个经验的风险函数，不是强凸的，例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时，ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
Asynchronous Parallel Stochastic Quasi-Newton Methods
虽然一阶随机算法（如随机梯度下降）一直是扩大机器学习模型（如深度神经网络）的主要力量，但二阶拟牛顿法由于其在处理病态最优化问题方面的有效性而开始引起关注。L-BFGS方法是应用最广泛的拟牛顿法之一。提出了一种随机拟牛顿法的异步并行算法（AsySQN）。与以前的尝试，它只并行计算梯度或两个循环递归的L-BFGS，我们的算法是第一个真正并行L-BFGS的收敛保证。采用方差缩减技术，先验随机L-BFGS，这还没有被设计为并行计算，达到线性收敛速率。我们证明，我们的异步并行方案保持相同的线性收敛速率，但实现了显着的加速。在模拟和基准数据集的实证评估表明，与非并行随机L-BFGS相比，加速，以及更好的性能比一阶方法在解决病态问题。
2020-11-02 cs.DC math.OC
Asynchronous Variance-reduced Block Schemes for Composite Nonconvex Stochastic Optimization: Block-specific Steplengths and Adapted Batch-sizes
我们考虑的期望值坐标明智$L_i$光滑非凸函数和非光滑块可分凸正则化的总和的最小化。我们提出了一个异步方差减少算法，在每次迭代中，一个单一的块被随机选择更新其估计由一个邻近的可变样本大小的随机梯度计划，而其余的块保持不变。值得注意的是，每个块采用根据其块特定的Lipschitz常数的步长，而块特定的批量大小是以随着该块被选择的（随机）次数以几何或多项式速率增长的速率更新的随机变量。我们证明了几乎每个样本路径的每个极限点都是平稳点，并建立了遍历非渐近速率$\mathcal{O}(1/K) $。迭代和预言复杂性，以获得$ε$ -平稳点被证明是$\mathcal{O}(1/ε)$和$\mathcal{O}(1/ε^2)$，分别。进一步证明了在$ μ$ -proximal Polyak-Proximojasiewicz（PL）条件下，当批量以几何速率增加时，次优性以{ \em几何}速率减小，而获得$ε$ -最优解的迭代和预言复杂性分别被证明为$\mathcal{O}( (L_{\rm max}/μ) \ln(1/ε))$和$\mathcal{O}\left((L_{\rm ave}/μ) (1/ε)^{1+c} \right)$ with $c\geq 0$.在追求不太积极的采样率，当批量大小增加的次数$v \geq 1$的多项式率，次优衰减在相应的多项式率，而迭代和预言复杂性，以获得$ε…
2020-02-19 math.OC
A Comprehensive Linear Speedup Analysis for Asynchronous Stochastic Parallel Optimization from Zeroth-Order to First-Order
异步并行优化近年来取得了巨大的成功并引起了广泛的关注。异步并行化能给我们带来多大的加速比（或效益）是一个核心的理论问题。本文提供了一个全面和通用的分析，研究加速性能的异步并行随机算法从零阶到一阶的方法。我们的结果恢复或改进了现有的分析特殊情况下，提供了更多的见解，理解异步并行行为，并提出了一种新的异步并行零阶方法。我们的实验提供了新的应用，包括模型混合问题，使用建议的异步并行零阶方法。
2017-05-20 math.OC
Escaping From Saddle Points Using Asynchronous Coordinate Gradient Descent
大规模非凸优化问题由于计算和存储成本而求解起来很昂贵。为了降低成本，一阶（计算效率）和并行（内存效率）算法是必要的，以最小化非凸函数在机器学习。然而，在非凸设置中应用的非线性一阶方法遇到两个困难：（i）并行化延迟，其通过破坏一阶方法的单调性来影响收敛，以及（ii）梯度为零的次优鞍点。为了解决这两个困难，我们提出了一种异步坐标梯度下降算法，该算法以有界延迟收敛到局部最小值。我们的算法克服了并行延迟问题，通过使用精心构造的哈密顿函数。我们证明，我们设计的动能项，纳入哈密顿量，允许我们的算法，每次迭代单调减少。接下来，我们的算法利用扰动子例程引导迭代避开鞍点。类似于其他国家的最先进的（SOTA）算法，我们实现了多对数收敛速度方面的尺寸。与其他SOTA算法，这是同步的，我们的工作是第一个研究如何并行延迟影响异步一阶算法的收敛速度。我们证明了我们的算法优于同步同行下大并行延迟，收敛依赖于次线性延迟。据我们所知，这是第一个局部最优收敛结果的一阶异步算法的非凸设置。
2022-11-17 cs.DC math.OC
On Unbounded Delays in Asynchronous Parallel Fixed-Point Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
对可扩展的数值解的需求推动了异步并行算法的发展，其中一组节点在很少或没有同步的情况下并行运行，从而使用延迟信息进行计算。本文研究了异步并行算法ARock在潜在无界时滞下的收敛性。ARock是一种通用的异步算法，有着广泛的应用。它通过让一组节点随机选择解坐标并以异步并行方式更新它们来并行不动点迭代。ARock将最近的一些异步坐标下降算法作为特例，提出了新的异步算子分裂算法。现有的ARock分析假设延迟是有界的，并使用该界来设置对收敛和效率都很重要的步长。其他的工作，虽然允许无限的延迟，对底层的不动点算子施加了严格的条件，导致有限的应用。在本文中，收敛建立无界时滞，这可以是随机的或确定性的。建议的步长更实用，一般比现有的工作。步长适应于延迟分布或系统中经历的当前延迟。新的李雅普诺夫函数，这是分析异步算法的关键，产生获得我们的结果。给出了一套具有大规模应用的实用优化算法，包括机器学习算法和科学计算算法。
2017-08-17 cs.DC cs.LG math.OC
Asynchronous Optimization Methods for Efficient Training of Deep Neural Networks with Guarantees
异步分布式算法是一种在大规模优化中减少同步成本的流行方法，特别是对于神经网络训练。然而，对于非光滑和非凸的目标，除了封闭形式的近似算子解可用的情况外，几乎没有收敛保证。由于大多数流行的当代深度神经网络导致非光滑和非凸目标，现在迫切需要这种收敛保证。在本文中，我们分析了第一次收敛的随机异步优化这一类一般的目标。特别是，我们专注于随机次梯度方法允许块变量分区，其中基于共享内存的模型异步更新的并发进程。为此，我们首先引入了一个概率模型，捕捉并发进程之间的真正的异步调度的关键特征，在这个模型下，我们建立收敛概率为1的不变集的随机次梯度方法与动量。从实践的角度来看，我们考虑的方法家族的一个问题是，它没有得到机器学习框架的有效支持，因为它们主要关注分布式数据并行策略。为了解决这个问题，我们提出了一种新的基于共享内存的深度神经网络训练实现策略，利用并发参数服务器在单GPU和多GPU设置中训练分区但共享的模型。基于这种实现，与流行的图像分类任务的最先进的训练方法相比，我们实现了平均1.2倍的速度提升，而不影响准确性。
2020-07-11 math.OC
Asynchronous Parallel Policy Gradient Methods for the Linear Quadratic Regulator
本文针对连续时间线性二次调节问题，提出异步并行零阶策略梯度方法，并从理论和仿真两方面证明了其线性加速特性。
2024-07-03 math.OC
An Alternating Primal Heuristic for Nonconvex MIQCQP with Dynamic Convexification and Parallel Local Branching
Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）
本文提出了一种新颖的原始启发式方法，用于非凸混合整数二次约束二次规划问题，通过动态凸化和并行局部分支改进解的质量，验证了在QPLIB实例上的有效性。
2026-04-06 math.OC
An Asynchronous Parallel Stochastic Coordinate Descent Algorithm
我们描述了一个异步并行随机坐标下降算法最小化光滑无约束或可分离约束的功能。该方法在满足本质强凸性的函数上具有线性收敛速率，在一般凸函数上具有次线性收敛速度（$1/K$）.如果处理器的数量在无约束优化中为$O(n^{1/2})$，在可分离约束的情况下为$O(n^{1/4})$，则可以预期多核系统上的近线性加速比，其中$n$是变量的数量。我们描述了40核处理器上实现的结果。
2014-11-10 math.OC
Asynchronous Distributed Learning from Constraints
Università di Siena（锡耶纳大学）
在本文中，从约束（LFC）的学习框架的扩展到一个分布式的设置，多方，通过网络连接，有助于学习过程中的研究。LfC依赖于“约束”的一般概念来将知识注入到学习问题中，并且由于其一般性，它处理可能的非凸约束，以硬或软的方式强制执行。受分布式和约束非凸优化领域最新进展的启发，我们将（分布式）异步乘子法（ASYMM）应用于LfC。该研究表明，这样的方法允许我们支持选择的约束（即，知识），数据和学习过程的结果可以本地存储在每个计算节点中，而不与网络的其余部分共享，为进一步研究隐私保护LfC开辟了道路。约束充当网络上共享的内容和每个节点私有的内容之间的桥梁，并且不需要中央权威。我们证明了这些想法的适用性，在两个分布式的现实世界中的数字识别和文档分类的背景下设置。
2019-11-13 cs.LG math.OC stat.ML
Parallel and Distributed Methods for Nonconvex Optimization-Part I: Theory
在这篇由两部分组成的论文中，我们提出了一个通用的算法框架，用于最小化非凸光滑约束下的非凸光滑函数。该算法解决了一系列（可分）强凸问题，并在每次迭代的可行性。收敛到一个固定的解决方案，原来的非凸优化。我们的框架是非常通用和灵活的，它统一了几个现有的连续凸逼近（SCA）为基础的算法，如（近端）梯度或牛顿型方法，块坐标（并行）下降计划，凸函数方法的差异，并提高其收敛性能。更重要的是，与当前的SCA方法不同的是，它自然会为一大类非凸问题带来分布式和可并行化的实现。第一部分是对框架的一般性描述。在第二部分中，我们自定义我们的一般方法的几个多代理优化问题，主要是在通信和网络，其结果是一类新的（分布式）算法相比，有利现有的ad-hoc（集中式）计划（当它们存在）。
2016-01-14 cs.MA math.OC
An Asynchronous Parallel Randomized Kaczmarz Algorithm
我们描述了一个异步并行变量的随机Kaczmarz（RK）算法求解线性系$Ax=b$。分析表明，线性收敛，并表明，近线性加速，可以预期，如果处理器的数量是有界的$A$中的行数的倍数。
2014-06-07 cs.NA math.NA math.OC
Asynchronous Stochastic Coordinate Descent: Parallelism and Convergence Properties
我们描述了一个异步并行随机邻近坐标下降算法，用于最小化复合目标函数，其中包括一个光滑的凸函数加上一个可分离的凸函数。与之前的分析相反，我们的异步计算模型考虑了这样一个事实，即未知向量的组件可能会被一些核心同时写入，并被其他核心读取。尽管从这种可能性产生的并发症，该方法实现了一个线性收敛速度的函数，满足最佳的强凸性和一般的凸函数的次线性率（$1/k$）。如果处理器的数量为$O(n^{1/4})$，则可以预期多核系统上的近线性加速比。我们描述的结果，从实施的10个核心的多核处理器。
2015-12-10 math.OC
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
针对基数约束下的稀疏学习问题，提出了一种随机方差缩减优化算法。充分条件下，该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明，我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
On the Convergence Analysis of Asynchronous SGD for Solving Consistent Linear Systems
在大数据和机器学习领域，数据并行，分布式随机算法在当今引起了极大的关注。虽然这些算法的同步版本是很好地理解其收敛性，其异步同行的收敛性分析没有得到广泛的研究。在本文中，我们提出并分析了一个{ \it分布式，异步并行} SGD解决一个任意一致的线性系，通过将系统转化为随机最优化问题，研究了Richtárik和Takác在[35]。我们比较了我们的异步SGD算法的收敛速度与同步并行算法提出的Richtárik和Takánik在[35]在不同的选择超参数--步长，阻尼因子，处理器的数量，和延迟因子。我们证明了我们的异步并行SGD算法也具有全局线性收敛速率，类似于{ \em basic}方法和[35]中的同步并行方法，用于通过随机重构求解任意相容线性系。我们还表明，我们的异步并行SGD改进后的{ \em基本}方法具有更好的收敛速度时，处理器的数量大于4。我们进一步表明，这种异步的方法比它的同步对应的某些线性系渐近更好。此外，对于某些线性系，我们计算所需的处理器的最小数量，我们的异步并行SGD是更好的，并发现这个数字可以低至两个病态的问题。
2020-04-05 cs.CC cs.DC cs.NA
Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization
考虑最小化包含大量变量的光滑（可能非凸）和凸（可能非光滑）函数之和的问题。解决这个问题的一种流行方法是块坐标下降（BCD）方法，在每次迭代中，只有一个变量块被更新，而其余变量保持不变。随着多核并行处理技术发展的最新进展，希望通过允许在算法的每次迭代中同时更新多个块来并行化BCD方法。在这项工作中，我们提出了一个不精确的并行BCD方法，在每次迭代中，一个子集的变量被更新并行最小化凸近似的原始目标函数。我们研究了随机变量和循环变量选择规则的并行BCD方法的收敛性。我们分析了算法对凸和非凸目标函数的渐近和非渐近收敛行为。数值实验表明，对于Lasso极小化问题的一种特殊情况，循环块选择规则的性能优于随机化规则。
2014-10-31 math.OC
Conservative Signal Processing Architectures For Asynchronous, Distributed Optimization Part I: General Framework
本文提出了一个框架，设计一类分布式，异步优化算法，实现为信号处理架构，利用各种守恒原理。该架构是专门基于平稳性条件有关的原始和对偶变量在一类一般非凸最优化问题。的平稳性条件，这是密切相关的固定内容和co-content的原则，可以使用Tellegen的定理在电网络中，特别是变换通过一个线性变化的坐标，以获得一组线性和非线性的地图，形成的基础上实施。所得到的算法具体地通过使用相关联的映射处理原始和对偶决策变量的线性叠加来操作，使用同步或异步延迟元件耦合以形成分布式系统。提供了一个包含特定示例元素的表格，这些元素可以直接从相应的问题陈述中组合形成各种优化算法。
2014-10-17 math.OC
Conservative Signal Processing Architectures For Asynchronous, Distributed Optimization Part II: Example Systems
本文提供了各种同步和异步信号处理系统进行优化的例子，利用在前面的文件中开发的框架和元素。该论文的一般策略是对适用于一类凸和非凸最优化问题的平稳性条件进行线性变换，从而得到对相关原始和对偶决策变量的线性叠加进行运算的算法。本文中的例子解决了各种具体的最优化问题，包括LASSO问题，最小最大最优滤波器设计，分散训练的支持向量机分类器，稀疏滤波器设计的声学均衡。在适当的情况下，多个算法解决相同的最优化问题，说明了使用的基础框架，在设计各种不同类别的算法。例子中附有数值模拟和收敛性的讨论。
2015-03-04 math.OC
A Nonlinear Bregman Primal-Dual Framework for Optimizing Nonconvex Infimal Convolutions
本文研究非凸、非光滑复合最优化问题的优化问题，其目标是一个非线性映射和一个非光滑非凸函数的复合，可以写成一个下卷积（inf-conv）。为了解决这个问题类，我们建议重新制定的问题，利用其inf-conv结构，并推导出一个块坐标下降方案的Bregman增广拉格朗日，可以异步实施。我们证明了我们的计划收敛到固定点的原始模型的特定选择的罚参数。我们的框架包括各种现有的算法作为特殊情况下，如DC-规划，$k$ -均值聚类和ADMM与非线性算子，当一个特定的目标函数和下卷积分解（下反卷积）被选中。在说明性的实验中，我们提供的证据，我们的算法表现良好的低目标值和鲁棒性对初始化，相比DC编程或$k$ -手段算法。
2018-03-27 math.OC
An Inertial Parallel and Asynchronous Fixed-Point Iteration for Convex Optimization
凸分解算法的两个吸引人的特点是操作的简单性和可并行结构的生成。原则上，这些方案要求所有坐标同时更新，即，它们通过构造而同步。在更新中引入并行性可以解决同步情况下出现的几个问题，如计算中的负载不平衡或通信链路故障。然而，据我们所知，还没有常见算法的异步版本与惯性加速技术相结合的实例。在这项工作中，我们提出了一个惯性异步和并行不动点迭代，从现有的凸优化算法的几个新版本的起源。从规范出发，坐标的更新的频率应遵守一些先验分布，我们提出了一个方案，唯一的要求是坐标更新在一个有界的时间间隔。我们证明了该计划所产生的迭代序列的收敛性在一个线性速率。所提出的方案的一个实例实施，以解决分布式优化负载分配问题，在智能电网设置和它的优越性，相对于非加速版本的说明。
2018-03-06 math.OC
ARock: an Algorithmic Framework for Asynchronous Parallel Coordinate Updates
找到一个非扩张算子的不动点，即，$x^*=Tx^*$，抽象了数值线性代数、优化和其他科学计算领域的许多问题。为了解决定点问题，我们提出了ARock，算法框架，其中多个代理（机器，处理器或核心）更新$x$在异步并行方式。异步是并行计算的关键，因为它减少了同步等待，缓解了通信瓶颈，从而大大提高了计算速度。在ARock的每个步骤中，代理基于关于$x$的可能过时的信息来更新随机选择的坐标$x_i$。代理通过全局存储器或通信共享$x$。如果写入$x_i$是原子操作，则代理可以在没有内存锁定的情况下读取和写入$x$。在理论上，我们证明了如果非扩张算子$T$有一个不动点，那么以概率1，ARock生成一个序列，该序列收敛到$T$的一个不动点.我们对$T$和步长的条件比类似的工作弱。并得到了线性收敛的结果。我们提出了ARock的特殊情况下，线性系统，凸优化，机器学习，以及分布式和分散的共识问题。给出了求解稀疏逻辑斯谛回归问题的数值实验。
2016-05-27 cs.DC math.OC stat.ML
Improved asynchronous parallel optimization analysis for stochastic incremental methods
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）；Université de Montréal（蒙特利尔大学）
随着数据集规模的不断增加和多核计算机体系结构的发展，异步并行优化算法对机器学习领域变得越来越重要。不幸的是，进行理论分析异步方法是困难的，特别是由于引入延迟和不一致的固有顺序算法。处理这些问题往往需要诉诸简化但不切实际的假设。通过一个新的视角，我们重新审视并澄清了一个微妙但重要的技术问题，这个问题存在于最近异步并行优化算法的大部分收敛速度证明中，并提出了一个简化的“扰动迭代”框架来解决这个问题。我们通过分析三个不同的异步并行增量优化算法来证明我们的新框架的有用性：Hogwild（异步SGD）、KROMAGNON（异步SVRG）和ASAGA，增量梯度算法SAGA的一种新型异步并行版本，具有快速的线性收敛速率。我们能够消除有问题的假设，并获得更好的理论结果。值得注意的是，我们证明了ASAGA和KROMAGNON可以获得理论上的线性加速多核系统，即使没有稀疏性假设。我们提出了一个40核架构上的实现结果，说明了实际的加速比以及硬件开销。最后，我们调查的重叠常数，一个不好理解的，但中心量的异步并行算法的理论分析。我们发现，它包含了更多的复杂性比以前的工作中提出的，往往是数量级大于传统上认为的。
2019-03-21 cs.LG math.OC stat.ML
ASAGA: Asynchronous Parallel SAGA
INRIA - Sierra Project-team（法国国家信息与自动化研究所 - Sierra 项目组）；École normale supérieure, Paris（巴黎高等师范学院）
我们描述ASAGA，异步并行版本的增量梯度算法SAGA，享有快速的线性收敛速率。通过一个新的视角，我们重新审视并澄清了一个微妙的，但重要的技术问题，目前在很大一部分的异步并行优化算法的收敛速度证明，并提出了一个简化的最近推出的“扰动收敛速度”的框架，解决了它。我们提出了一个40核架构上的实现结果，说明了实际的加速以及硬件开销。
2017-11-08 cs.LG math.OC stat.ML
AsyncQVI: Asynchronous-Parallel Q-Value Iteration for Discounted Markov Decision Processes with Near-Optimal Sample Complexity
Fudan University（复旦大学）；Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了AsyncQVI，折扣马尔可夫决策过程的过渡和奖励只能通过生成模型进行采样的一个并行Q值迭代。给定$|\mathcal{S}|$状态、$|\mathcal{A}|$动作和折扣因子$γ\in(0,1)$的这种问题，AsyncQVI使用大小为$\mathcal{O}(|\mathcal{S}|)$的存储器，并使用$$\tilde{\mathcal{O}}\big(\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^2}\log(\frac{1}δ)\big)$$样本返回概率至少为$1-δ$的$\varepsilon$最优策略。AsyncQVI也是第一个折扣马尔可夫决策过程的并行算法，其样本复杂度几乎与理论下界相匹配。相对较低的内存占用和并行能力使AsyncQVI适合大规模应用。在数值测试中，我们比较了AsyncQVI与四种基于样本的值迭代法。实验结果表明，该算法具有很高的效率，并达到了线性并行加速比。
2020-02-22 cs.LG math.OC
Stochastic convergence of parallel asynchronous adaptive first-order methods
Université de Toulouse, INP, IRIT, Toulouse, France（图卢兹大学，INP，IRIT，法国图卢兹）；IA Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹3IA人工智能与自然智能研究所（ANITI））；NAXYS, University of Namur, Namur, Belgium（NAXYS，纳慕尔大学，比利时纳慕尔）
本文提出一类新的异步自适应一阶优化方法，包括多种流行算法的异步变体，并分析其在非凸函数上的随机收敛性，达到O(1/√t)的收敛速率。
2026-06-01 cs.AI math.OC
A Parallel Stochastic Approximation Method for Nonconvex Multi-Agent Optimization Problems
考虑最小化由随机（向量）变量参数化的（可能非凸的）成本函数的期望值的问题，当期望不能被准确地计算时（例如，因为随机变量的统计量是未知的和/或计算复杂性过高）。经典的样本随机梯度方法解决这个问题可能会受到经验缓慢收敛。在本文中，我们首次提出了一个随机并行连续凸近似为基础的（最佳响应）算法框架一般非凸随机效用和优化问题，自然出现在多智能体系统的设计。建议的新的分解，使所有用户能够更新他们的优化变量并行解决一系列的强凸子问题，每个用户一个。证明了几乎处处收敛于平稳点。然后，我们定制我们的算法框架，以解决随机和速率最大化问题单输入单输出（SISO）频率选择性干扰信道，多输入多输出（MIMO）干扰信道，MIMO多址接入信道。数值结果表明，我们的算法比最先进的随机梯度格式快得多，同时实现相同（或更好）的和率。
2014-10-21 cs.MA math.OC
Parallel and distributed asynchronous adaptive stochastic gradient methods
随机梯度法（SGM）是训练深度学习模型的主要方法。自适应版本（例如，Adam和AMSGrad）在实践中得到了广泛的使用，部分原因是它们比非自适应版本实现了更快的收敛，同时产生的开销很少。另一方面，异步（异步）并行计算表现出显着更高的速度比同步（同步）对应。异步并行非自适应SGM已经在文献中从理论和实际性能的角度进行了很好的研究。自适应SGM也可以以并行方式实现，没有太大困难。然而，据我们所知，没有理论结果的并行自适应SGM已建立。自适应SGM的二阶矩项是自适应SGM分析的难点。在本文中，我们提出了一种基于AMSGrad的并行自适应SGM。我们表明，所提出的方法继承了收敛保证AMSGrad的凸和非凸问题，如果老化（也称为延迟）所造成的dupy是有界的。我们的收敛速度的结果表明，如果$τ=o(K^{\frac{1}{4}})$，其中$τ$是陈旧性和$K$是迭代次数接近线性的并行化加速。该方法在凸和非凸机器学习问题上进行了测试，数值结果表明其明显优于同步对应和并行非自适应SGM。
2022-04-13 cs.DC cs.NA math.NA
Second-Order Convergence of Asynchronous Parallel Stochastic Gradient Descent: When Is the Linear Speedup Achieved?
Beijing Jiaotong University（北京交通大学）
在机器学习中，异步并行随机梯度下降（APSGD）被广泛用于通过多个工人来加速训练过程。同时，异步算法中的陈旧梯度的时间延迟通常与工作者的总数成比例，这由于使用延迟梯度而带来了与精确梯度的额外偏差。这可能对算法的收敛性有负面影响。有人可能会问：我们最多可以使用多少工人来实现良好的收敛和线性加速？本文研究非凸优化问题异步算法的二阶收敛性。我们研究了在严格鞍点附近具有一致读的APSGD的行为，并从理论上保证了如果工作者的总数目以$\widetilde{O}(K^{1/3}M^{-1/3})$为界（$K$是总步骤，$M$是最小批量），APSGD将收敛到好的稳定点（$||\nabla f(x)||\leq ε, \nabla^2 f(x)\succeq -\sqrtε\bm{I}, ε^2\leq O(\sqrt{\frac{1}{MK}}) $），并且实现了线性加速比.我们的工作给出了异步算法的二阶收敛的第一个理论保证。我们提供的技术可以推广到分析其他类型的异步算法，以了解异步算法在分布式异步并行训练中的行为。
2020-06-07 cs.LG math.OC stat.ML
Advances in Asynchronous Parallel and Distributed Optimization
ABB（ABB集团）
受机器学习背景下出现的大规模优化问题的启发，在过去十年中，异步并行和分布式优化方法的研究取得了一些进展。异步方法不要求所有处理器维护优化变量的一致视图。因此，它们通常可以比同步方法更有效地利用计算资源，并且它们对像掉队者（即，慢节点）和不可靠的通信链路。异步方法的数学建模涉及信息延迟的适当会计，这使得它们的分析具有挑战性。本文回顾了异步优化方法的设计和分析的最新进展，包括集中式方法，其中所有处理器更新优化变量的主副本，和分散式方法，其中每个处理器维护变量的本地副本。该分析提供了关于模糊度如何影响收敛速度的见解，特别是在随机优化方法中。
2020-06-24 cs.LG math.OC stat.ML
Asynchronous stochastic convex optimization
我们表明，渐近，完全异步的随机梯度程序实现最佳（甚至常数因子）收敛速度的解决方案的凸优化问题的渐近最优性的标准随机梯度程序所需的几乎相同的条件下。粗略地说，随机逼近方案所固有的噪声支配着来自随机逼近的任何噪声。我们还提供了经验证据，证明了异步，并行随机最优化方案的强大性能，证明了固有的鲁棒性随机逼近问题，允许更快的并行和异步的解决方案的方法。
2015-08-04 math.OC stat.ML
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University（爱荷华州立大学）；University of Kentucky（肯塔基大学）
PARyOpt是一个基于Python的贝叶斯优化例程的实现，专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤，其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题，通过异步更新。我们制定，开发和实现一个并行的，异步的贝叶斯优化的变种。该框架是稳健的，能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外，我们展示了该框架的软件设计如何允许轻松扩展到响应面重建（克里格），提供了一个高性能的自主探索软件。该软件可在PyPI上使用，并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Decomposition and Successive Decomposition Methods and Algorithms for Nonconvex Optimization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出适用于更广泛分解结构的非凸优化方法，通过分解和连续分解方法实现并行和分布式计算，产生原问题的 stationary 点，并在收敛性能与计算时间间取得良好平衡。
2026-05-15 math.OC
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
CYCLADES: Conflict-free Asynchronous Machine Learning
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
我们提出CYCLADES，并行随机最优化算法在共享内存设置的一般框架。CYCLADES在共享模型更新期间是异步的，并且不需要内存锁定机制，类似于HOGWILD！类型算法。不像HOGWILD！CYCLADES在并行执行过程中没有引入冲突，并提供了一个黑盒分析，可证明加速跨越一个大的算法家族。由于其固有的无冲突性质和缓存位置，我们的CYCLADES多核实现始终优于HOGWILD！类型的算法足够稀疏的数据集，导致高达40%的加速增益相比，HOGWILD！SGD的异步实现，以及方差缩减算法的异步实现的高达5倍的增益。
2016-05-31 cs.DC cs.DS cs.LG
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
On the Convergence of Asynchronous Parallel Iteration with Unbounded Delays
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Michigan State University（密歇根州立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文从概率角度分析了异步并行方法在无界延迟下的收敛性，给出了依赖延迟统计的显式步长公式，并通过实验验证了理论模型的正确性，展示了传统最大延迟诱导步长过于保守的问题。
2017-11-15 cs.DC cs.NA math.NA
