Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays
DI ENS, Ecole normale supérieure（巴黎高等师范学院DI ENS）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
针对异步 SGD 受梯度延迟拖累的既有结论，论文提出基于虚拟迭代与延迟自适应步长的新递归分析，证明其保证仅取决于并行设备数且严格优于现有结果，并在凸与非凸目标上优于同步小批量 SGD。
2023-04-20 cs.DC cs.LG math.OC
Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation
Peking University（北京大学）
由于求解大规模最优化问题的迫切需求，异步算法近年来受到了广泛的关注。然而，异步算法的加速版本很少被研究。在本文中，我们提出了“动量补偿”技术来加速凸问题的异步算法。具体来说，我们首先加速普通的异步梯度下降，这实现了更快的$O(1/\sqrtε)$（与$O(1/ε)$）收敛速度，以及$O(\sqrtκ\log(1/ε))$（v.s. $O(κ\log(1/ε))$），使强凸函数达到条件数为$κ$的$ε$ -近似极小元.我们进一步应用该技术来加速现代随机异步算法，如异步随机坐标下降和异步随机梯度下降。这两种实用算法都比现有的算法快。据我们所知，我们是第一个考虑加速算法，允许更新延迟梯度，是第一个提出真正的加速异步算法。最后，在共享内存系统上的实验结果表明，加速可以导致显着的性能增益病态问题。
2018-02-27 cs.LG math.OC
Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction
在大数据时代，优化大规模机器学习问题成为一项具有挑战性的任务，并引起了极大的关注。异步优化算法是一种很有前途的解决方案。最近，解耦异步近似随机梯度下降（DAP-SGD）被提出来最小化一个复合函数。它声称能够通过允许工作者评估邻近运算符来将计算瓶颈从服务器卸载到工作者，因此，服务器只需要进行元素操作。但由于随机梯度的方差不为零，该算法收敛速度较慢。本文提出了一种更快的方法，解耦异步近似随机方差降低梯度下降方法（DAP-SVRG）。证明了该方法对强凸问题具有线性收敛性。本文还进行了大规模的实验，结果证实了我们的理论分析。
2016-09-29 cs.LG math.OC
Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）
针对异步SGD在数据异构时性能下降的问题，提出双延迟异步SGD（DuDe-ASGD），利用双时间滞后与增量聚合，在光滑非凸问题上达到近最优收敛，实验验证其优于现有算法。
2024-05-27 cs.LG math.OC
At Stability's Edge: How to Adjust Hyperparameters to Preserve Minima Selection in Asynchronous Training of Neural Networks?
Technion - Israel Institute of Technology（以色列理工学院）；Habana-Labs（哈瓦那实验室）
背景资料：最近的发展使得使用大批量和数据并行来显著加速神经网络训练成为可能。以异步方式进行训练，其中会发生延迟，可以使训练更具可扩展性。然而，异步训练有其缺陷，主要是泛化能力下降，即使在算法收敛之后。这一差距仍然没有得到很好的理解，因为理论分析到目前为止主要集中在异步方法的收敛速度。贡献：我们从动态稳定性的角度研究异步训练。我们发现，延迟的程度与学习率的相互作用，改变一组最小的异步随机梯度下降算法访问。我们推导出封闭形式的规则如何学习率可以改变，同时保持可访问集相同。具体来说，对于高延迟值，我们发现学习率应保持与延迟成反比。然后，我们将这种分析扩展到包括动量。我们发现动力应该被关闭，或者被修改以提高训练稳定性。我们提供了实证实验来验证我们的理论研究结果。
2020-02-13 cs.LG stat.ML
Stochastic model-based minimization of weakly convex functions
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
我们考虑一个家庭的算法，连续采样和最小化简单的随机模型的目标函数。我们表明，在合理的条件下的近似质量和规律性的模型，任何这样的算法驱动自然平稳性措施为零的速率$O(k^{-1/4})$。因此，我们获得了第一复杂性保证的随机邻近点，邻近次梯度，正则化高斯-牛顿方法最小化的凸函数与光滑映射的组合。的指导原则，潜在的复杂性保证，是考虑中的所有算法可以被解释为近似下降法的隐式平滑的问题，给出了莫罗包络。针对经典情形，我们得到了无约束的随机投影梯度法在闭凸集上极小化光滑函数的收敛速度.
2018-08-26 cs.LG math.OC
Asynchronous Sharpness-Aware Minimization For Fast and Accurate Deep Learning
Inha University（仁荷大学）
针对SAM计算成本高的问题，提出异步并行SAM，解除扰动与更新的数据依赖并隐藏扰动开销，在CIFAR-100上以接近SGD的训练时间达到与SAM相当的ViT微调精度。
2026-10-14 cs.LG
Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
KAUST（卡斯姆大学）
本文提出Ringmaster LMO，一种用于无约束随机非凸优化的异步线性最小化Oracle动量方法，通过延迟阈值机制改进传统同步方法，适用于异构分布式系统，实验表明其在系统异构性增强时表现更优。
2026-05-18 cs.DC cs.LG math.OC
Second-Order Convergence of Asynchronous Parallel Stochastic Gradient Descent: When Is the Linear Speedup Achieved?
Beijing Jiaotong University（北京交通大学）
在机器学习中，异步并行随机梯度下降（APSGD）被广泛用于通过多个工人来加速训练过程。同时，异步算法中的陈旧梯度的时间延迟通常与工作者的总数成比例，这由于使用延迟梯度而带来了与精确梯度的额外偏差。这可能对算法的收敛性有负面影响。有人可能会问：我们最多可以使用多少工人来实现良好的收敛和线性加速？本文研究非凸优化问题异步算法的二阶收敛性。我们研究了在严格鞍点附近具有一致读的APSGD的行为，并从理论上保证了如果工作者的总数目以$\widetilde{O}(K^{1/3}M^{-1/3})$为界（$K$是总步骤，$M$是最小批量），APSGD将收敛到好的稳定点（$||\nabla f(x)||\leq ε, \nabla^2 f(x)\succeq -\sqrtε\bm{I}, ε^2\leq O(\sqrt{\frac{1}{MK}}) $），并且实现了线性加速比.我们的工作给出了异步算法的二阶收敛的第一个理论保证。我们提供的技术可以推广到分析其他类型的异步算法，以了解异步算法在分布式异步并行训练中的行为。
2020-06-07 cs.LG math.OC stat.ML
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses
The University of Edinburgh（爱丁堡大学）
在这项工作中，我们开发了一个新的算法正则化的经验风险最小化。我们的方法扩展了Shalev-Shwartz [02/2015]的最新技术，该技术能够对SDCA进行双自由分析，以实现任意的mini-square方案。此外，我们的方法是能够更好地利用信息的数据定义的ERM问题。对于凸的损失函数，我们的复杂性结果与QUARTZ的结果相匹配，QUARTZ是一种原始-对偶方法，也允许任意的mini-slave方案。双自由分析的优点在于，只要平均损失是凸的，即使对于非凸损失函数，它也能保证收敛。我们通过实验说明了能够设计任意的迷你的可伸缩方案的效用。
2015-06-07 cs.DS cs.LG math.OC
Asynchronous Distributed Optimization with Stochastic Delays
Stanford University（斯坦福大学）
我们研究异步有限和最小化在一个分布式数据设置与中央参数服务器。虽然在所有机器都可以访问数据的并行设置中很好地理解了并行性，例如，像SAGA这样的方差缩减梯度算法的修改工作得很好--对于分布式数据设置知之甚少。我们开发了一个算法ADSAGA的基础上SAGA的分布式数据设置，其中的数据被划分在许多机器之间。我们发现，与$m$机器，在一个自然的随机延迟模型与$m$的平均延迟，ADSAGA收敛于$\tilde{O}\left(\left(n + \sqrt{m}κ\right)\log(1/ε)\right)$迭代，其中$n$是组件功能的数量，和$κ$是一个条件数。该复杂性正好位于SAGA \textit{without delays}的复杂性$\tilde{O}\left(\left(n + κ\right)\log(1/ε)\right)$和并行异步算法的复杂性$\tilde{O}\left(\left(n + mκ\right)\log(1/ε)\right)$之间，其中延迟是\textit{arbitrary}（但以$O(m)$为界），并且数据可由所有人访问。现有的异步算法与分布式数据设置和任意延迟已被证明是收敛在$\tilde{O}(n^2κ\log(1/ε))$迭代。我们经验比较最小二乘问题的迭代复杂性和挂钟性能的ADSAGA现有的并行和分布式算法，包括同步minibatch算…
2021-03-10 cs.DC cs.LG stat.ML
Taming Momentum in a Distributed Asynchronous Environment
Technion – Israel Institute of Technology（以色列理工学院）；University of Toronto Scarborough（多伦多大学士嘉堡校区）
尽管分布式计算可以显著减少深度神经网络的训练时间，但在保持高效率和最终准确性的同时扩展训练过程具有挑战性。分布式异步训练可以获得接近线性的加速，但这会导致梯度失效--这是将随机梯度下降扩展到大型集群的主要困难。动量，这是经常用来加速收敛和逃避局部极小值，加剧了梯度陈旧，从而阻碍收敛。我们建议DANA：一种用于异步分布式SGD的新技术，其通过计算模型参数的估计未来位置上的梯度来减轻梯度陈旧。因此，我们第一次表明，动量可以完全纳入异步训练，几乎没有影响到最终的准确性。我们对CIFAR和ImageNet数据集的评估表明，DANA在最终准确性和收敛速度方面都优于现有方法，同时在64个异步工人上扩展到16 K的总批量大小。
2020-10-14 cs.DC cs.LG stat.ML
Differential Equations for Modeling Asynchronous Algorithms
University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Microsoft Research（微软研究院）；Peking University（北京大学）
异步随机梯度下降（ASGD）算法是机器学习中一种流行的并行优化算法。大多数关于ASGD的理论分析采取离散的观点，并证明其收敛速度的上界。然而，离散视图有其固有的局限性：没有表征的优化路径和证明技术是基于归纳，因此通常复杂。受近年来随机微分方程在SGD理论分析中的成功应用的启发，本文研究了利用随机延迟微分方程（SDDE）对ASGD的连续逼近.我们介绍了近似方法，并研究了近似误差。然后对基于连续逼近的ASGD算法的收敛速度进行了理论分析。有两种方法：矩估计和能量函数最小化可以用来分析收敛速度。矩估计依赖于损失函数的具体形式，而能量函数最小化仅利用损失函数的凸性质，而不依赖于其具体形式。除了收敛性分析，连续视图还有助于我们获得更好的收敛速度。所有这些都清楚地表明了在梯度下降算法中采用连续视图的优势。
2018-05-08 cs.LG stat.ML
Urgent Samples in Clinical Laboratories: Stochastic Batching to Minimize Patient Turnaround Time
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（捷克技术大学信息、机器人与自动化研究所）；Department of Control Systems and Mechatronics, Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学控制与机电一体化系）
本文研究医院实验室中不同优先级样本的随机分组问题，提出在线和离线方法优化离心机加载策略，以减少患者周转时间。实验证明，结合运输时间分布知识可显著降低紧急样本周转时间。
2026-03-28 math.OC
Optimal Analysis of Method with Batching for Monotone Stochastic Finite-Sum Variational Inequalities
本文针对单调随机有限和变分不等式问题，提出了一种支持分批处理且保持Oracle复杂度最优性的方法，并通过实验验证了其在小批量情况下的有效性。
2024-03-26 math.OC
Method with Batching for Stochastic Finite-Sum Variational Inequalities in Non-Euclidean Setting
针对随机有限和变分不等式优化问题，提出一种支持批处理、保持最优oracle复杂度、采用任意Bregman距离适配问题几何的方法，取得单调情形下的最优收敛估计，且经实验验证有效。
2024-09-15 math.OC
Stochastic Extragradient: General Analysis and Improved Rates
MIPT（莫斯科物理技术学院）；Mila（米拉人工智能研究所）；UdeM（蒙特利尔大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
随机外梯度（SEG）方法是求解极小极大优化和变分不等式（VIP）问题的最流行的算法之一。然而，关于SEG收敛性的几个重要问题仍然是开放的，包括随机梯度的采样，极小化，可能具有非单调项的单调有限和变分不等式的收敛性保证等.为了解决这些问题，在本文中，我们开发了一个新的理论框架，使我们能够分析几个变种的SEG在一个统一的方式。除了标准设置，如Lipschitzness和单调性下的相同样本SEG或一致有界方差下的独立样本SEG，我们的方法允许我们分析以前从未明确考虑过的SEG变体。值得注意的是，我们分析了SEG与任意采样，其中包括重要性抽样和各种迷你的策略作为特殊情况。我们的SEG新变体的速率优于当前最先进的收敛保证，并且依赖于限制性较小的假设。
2022-02-22 cs.LG math.OC
Dynamic Batching of Online Arrivals to Leverage Economies of Scale
本研究针对在线到达请求的分批调度问题，在离线场景下通过转化为最短路径问题多项式时间求最优解，在线场景下提出具可证明竞争比的算法并给出竞争比下界，实验验证了算法的有效性。
2025-07-31 cs.DS math.OC
Linear and sublinear convergence rates for a subdifferentiable distributed deterministic asynchronous Dykstra's algorithm
在两个较早的文件中，我们设计了一个分布式的确定性异步算法最小化的次可微和可逼近的功能和一个正则化的二次时变图的基础上Dykstra的算法，或块坐标双上升。分布式最优化问题中的每个节点是已知的正则化二次函数和要最小化的函数的和。本文证明了一般算法的次线性收敛速度，以及当函数在每个结点上光滑且具有Lipschitz梯度时的线性收敛速率。
2018-08-22 math.OC
Asynchronous Distributed Optimization using a Randomized Alternating Direction Method of Multipliers
考虑一组网络代理赋予私人成本函数，并寻求找到一个共识的最小化的总成本。介绍了一类新的随机异步分布优化方法。该方法将标准的交替方向乘法器（ADMM）推广到异步设置，其中网络的隔离组件以不协调的方式被激活。该算法依赖于引入随机高斯-赛德尔迭代的道格拉斯-Rachford运营商寻找两个单调运营商的总和的零。收敛到所寻求的极小提供温和的连接条件下。数值结果支持我们的主张。
2013-03-12 cs.DC math.OC
Superlinearly Convergent Asynchronous Distributed Network Newton Method
网络系统上局部凸目标函数之和最小化问题在分布式优化领域有着重要的应用和研究价值。大部分现有的工作集中在一个中央时钟的存在下，快速分布式算法的发展。唯一已知的算法收敛保证这个问题在异步设置下可以实现完全异步设置下的次线性速率或部分异步设置下的线性速率（有界延迟）。在这项工作中，我们建立在现有的文献开发和分析的异步牛顿为基础的方法来解决惩罚版本的问题。我们证明了该算法在期望的全局线性速度和局部超线性速度下几乎必然收敛。数值研究证实了优于其他现有的异步方法的性能。
2019-01-08 math.OC
Linearly Convergent Asynchronous Distributed ADMM via Markov Sampling
我们考虑的共识分布式最优化问题，并提出了一个异步版本的交替方向法的乘法器（ADMM）算法来解决它。“异步”部分在这里是指的事实，只有一个节点/处理器更新（即执行最小化步骤）在算法的每次迭代。通过模拟一个马尔可夫链来决定待更新节点的选择。对强凸连续可微函数类，证明了该算法具有期望的线性收敛性质。
2022-03-31 math.OC
Analysis of Newton-Raphson Consensus for multi-agent convex optimization under asynchronous and lossy communications
我们扩展了一个多代理凸优化算法牛顿-拉夫森共识的网络场景，涉及定向，异步和有损通信。我们从理论上分析了算法的稳定性和性能，特别是，提供充分条件，保证局部指数收敛的节点状态的全局集中式极小，即使在存在数据包丢失。最后，我们补充的理论分析与数值模拟，比较性能的牛顿-拉夫森共识对异步实现的分布式次梯度方法从开源数据库中提取的真实数据集。
2017-04-20 math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化（SAPALM）方法，它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法，可证明收敛于一大类非凸，非光滑的问题。我们证明，SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量，我们可以期望看到一个线性加速，这符合已知的最佳界限不太复杂的问题，并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
Convergence of an Asynchronous Block-Coordinate Forward-Backward Algorithm for Convex Composite Optimization
本文研究异步随机块坐标前向后向算法求解凸复合优化问题，证明迭代几乎必然收敛，并给出次线性及Tseng误差界条件下的线性收敛速率。
2023-04-12 cs.DC math.OC
An Asynchronous Parallel Stochastic Coordinate Descent Algorithm
我们描述了一个异步并行随机坐标下降算法最小化光滑无约束或可分离约束的功能。该方法在满足本质强凸性的函数上具有线性收敛速率，在一般凸函数上具有次线性收敛速度（$1/K$）.如果处理器的数量在无约束优化中为$O(n^{1/2})$，在可分离约束的情况下为$O(n^{1/4})$，则可以预期多核系统上的近线性加速比，其中$n$是变量的数量。我们描述了40核处理器上实现的结果。
2014-11-10 math.OC
Asynchronous Parallel Nonconvex Optimization Under the Polyak-Lojasiewicz Condition
通信延迟和同步是并行计算的主要瓶颈，因此容忍延迟是加速并行计算的关键。针对不满足凸性假设的最优化问题，提出了一种求解非凸目标函数满足Polyak-Lojasiewicz条件的最优化问题的异步块坐标下降算法.这个条件是强凸性到非凸问题的推广，既不要求极小值的凸性也不要求极小值的唯一性。仅在目标函数具有弱光滑性和时滞有界的假设下，我们证明了该算法具有线性收敛速率。通过对逻辑斯谛回归问题的数值实验，说明了随机性对收敛性的影响.
2021-05-23 math.OC
Asynchronous Decentralized Stochastic Optimization in Heterogeneous Networks
我们认为，预期的风险最小化多代理系统组成的不同子集的代理操作没有一个共同的时间尺度。网络中的每个个体负责最小化全局目标函数，该全局目标函数是网络中每个代理的统计平均损失函数之和的平均值。由于代理人不被假设为观察来自相同分布的数据，所有代理人寻求共同行动的假设被违反，因此共识约束的假设被违反。因此，我们考虑非线性网络的邻近约束，激励附近的节点作出决定，这些决定是彼此接近，但不一定一致。此外，代理不被假定为在共同的时间索引上接收它们顺序到达的观测，因此寻求以异步方式学习。提出了一种异步随机变体的阿罗-赫维茨鞍点方法来解决这个问题，该方法通过交替原始随机下降步骤和拉格朗日乘子更新来惩罚代理之间的差异。这个工具导致了一个实现，允许每个代理只与本地信息异步操作，并与邻居进行消息传递。我们的主要结果建立，该方法产生的预期收敛的原始次优性和约束违反半径的大小$\mathcal{O}(\sqrt{T})$和$\mathcal{O}(T^{3/4})$，分别。通过自适应通信定价机制管理用户信道干扰的异步操作的无线网络的实证评估表明，我们的理论结果转化为实践。
2017-12-09 math.OC
A Distributed Asynchronous Method of Multipliers for Constrained Nonconvex Optimization
本文提出了一种完全异步分布式的方法来处理目标函数和约束条件都可能是非凸的最优化问题。在所考虑的网络设置中，每个节点在触发本地定时器时是活动的，并且仅可以访问目标函数的一部分和约束的子集。在所提出的技术中，基于乘子方法，每个节点在醒来时对局部增广拉格朗日函数执行下降步骤，或者对局部乘子向量执行上升步骤。节点通过异步分布式逻辑AND实现何时从下降步骤切换到上升步骤，该逻辑AND检测所有节点何时达到增广拉格朗日函数最小化中的预定义容限。结果表明，由此产生的分布式算法是相当于块坐标下降的全球增广拉格朗日最小化。这使得人们可以将乘数的集中式方法的属性扩展到所考虑的分布式框架。两个应用实例验证了所提出的方法：分布式源定位问题和神经网络的参数估计。
2019-02-22 math.OC
Asynchronous Stochastic Coordinate Descent: Parallelism and Convergence Properties
我们描述了一个异步并行随机邻近坐标下降算法，用于最小化复合目标函数，其中包括一个光滑的凸函数加上一个可分离的凸函数。与之前的分析相反，我们的异步计算模型考虑了这样一个事实，即未知向量的组件可能会被一些核心同时写入，并被其他核心读取。尽管从这种可能性产生的并发症，该方法实现了一个线性收敛速度的函数，满足最佳的强凸性和一般的凸函数的次线性率（$1/k$）。如果处理器的数量为$O(n^{1/4})$，则可以预期多核系统上的近线性加速比。我们描述的结果，从实施的10个核心的多核处理器。
2015-12-10 math.OC
First- and Zeroth-Order Learning in Asynchronous Games
本文研究了部分异步假设下的离散时间非合作博弈，通过线性控制理论推导出二次博弈的紧收敛条件，为一般凸博弈提出准占优条件，并基于反馈类型设计了一阶与零阶学习算法，分析了最后迭代收敛率且经数值实验验证。
2025-08-12 math.OC
Distributed deterministic asynchronous algorithms in time-varying graphs through Dykstra splitting
考虑这样一种设置，图的每个顶点都有一个函数，并且通信只能发生在由边连接的顶点之间。我们希望最小化这些函数的和。对于每个函数都是强凸二次函数和凸函数之和的情形，我们提出了Dykstra算法的一个分布式版本.优化双目标函数的计算可以在没有全局时钟的情况下异步运行，并且可以在没有中央控制器的情况下以分布式方式运行。收敛到原始最小值是确定性的，而不是概率性的，并且只要在每个周期中，发生双向通信的边连接所有顶点，就可以保证收敛到原始最小值。我们还将研究一个加速算法，以及当节点上的函数不是强凸函数时的算法。
2018-11-28 math.OC
Asynchronous Gradient-Push
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）
该研究提出了一种异步梯度-推送算法，用于分布式优化问题，该算法在多智能体网络中实现参数共识，证明了在强凸性和Lipschitz连续梯度条件下，异步操作能收敛到全局最小值的邻域，并通过数值实验展示了其在速度、鲁棒性和扩展性方面的优势。
2020-03-02 cs.MA cs.SY eess.SY
The Asynchronous PALM Algorithm for Nonsmooth Nonconvex Problems
我们介绍了异步PALM算法，一个新的扩展的近似交替线性最小化（PALM）算法解决非光滑，非凸最优化问题。与PALM算法一样，异步PALM算法的每一步都会更新一个坐标块;但与PALM算法不同的是，异步PALM算法不需要一个接一个地进行顺序更新。相反，我们的新算法允许每个坐标块以任何顺序异步更新，这意味着任何数量的计算核心都可以并行计算更新，而无需同步计算。在实践中，这种并行化策略通常会导致加速比随着计算核心的数量线性增加。我们介绍了两个变种的异步PALM算法，一个随机和一个确定性。在随机\textit{and}确定的情况下，我们证明了算法的聚类点是平稳点。在确定性的情况下，我们表明，该算法的全局收敛时，Kurdyka-Eschojasiewicz属性保持密切相关的目标函数的功能，我们推导出它的收敛速度在一个共同的特殊情况。最后，我们提供了一个具体的情况下，我们的假设成立。
2016-04-02 math.OC
A Fast Distributed Asynchronous Newton-Based Optimization Algorithm
网络系统上局部凸目标函数之和最小化问题是分布式优化领域的重要问题之一。这一领域的大部分现有工作都集中在开发分布式算法，在一个中央时钟的存在下，在同步设置，代理需要等待最慢的一个完成更新，然后再进行下一个时钟。异步分布式算法消除了对中央协调器的需要，减少了同步等待，并允许一些代理更快地计算和执行更多的迭代。在异步设置中，用于解决该问题的唯一已知算法可以实现线性或次线性的收敛速率。在这项工作中，我们建立在现有的文献开发和分析的异步牛顿为基础的方法来解决惩罚版本的问题。我们证明了该算法在期望下具有全局线性收敛性和局部二次收敛性，并保证了算法的几乎必然收敛。数值研究证实了我们的算法对其他异步方法的优越性能。
2019-01-04 math.OC
Asynchronous Splitting Design for Model Predictive Control
本文重点设计了一种适用于嵌入式模型预测控制（MPC）应用的异步对偶求解器。建议的求解器依赖于一个国家的最先进的方差减少（VR）计划，以前使用的上下文中的随机近端梯度法，和交替最小化算法（AMA）。由此产生的算法，一个随机AMA与VR，显示几何收敛（在预期中）的MPC问题的次优解决方案，并与其他国家的最先进的双异步算法相比，允许调整的概率的异步更新，以提高质量的估计。我们将所提出的算法应用于一类特定的分裂方法，即，沿预测时域长度的分解，并提供初步的数值结果的实际应用，纵向控制的空中客车客机。
2016-09-19 math.OC
Escaping From Saddle Points Using Asynchronous Coordinate Gradient Descent
大规模非凸优化问题由于计算和存储成本而求解起来很昂贵。为了降低成本，一阶（计算效率）和并行（内存效率）算法是必要的，以最小化非凸函数在机器学习。然而，在非凸设置中应用的非线性一阶方法遇到两个困难：（i）并行化延迟，其通过破坏一阶方法的单调性来影响收敛，以及（ii）梯度为零的次优鞍点。为了解决这两个困难，我们提出了一种异步坐标梯度下降算法，该算法以有界延迟收敛到局部最小值。我们的算法克服了并行延迟问题，通过使用精心构造的哈密顿函数。我们证明，我们设计的动能项，纳入哈密顿量，允许我们的算法，每次迭代单调减少。接下来，我们的算法利用扰动子例程引导迭代避开鞍点。类似于其他国家的最先进的（SOTA）算法，我们实现了多对数收敛速度方面的尺寸。与其他SOTA算法，这是同步的，我们的工作是第一个研究如何并行延迟影响异步一阶算法的收敛速度。我们证明了我们的算法优于同步同行下大并行延迟，收敛依赖于次线性延迟。据我们所知，这是第一个局部最优收敛结果的一阶异步算法的非凸设置。
2022-11-17 cs.DC math.OC
An Asynchronous Distributed Proximal Gradient Method for Composite Convex Optimization
我们提出了一个分布式的一阶增广拉格朗日（DFAL）算法来最小化复合凸函数的和，其中的每一项和是属于一个节点的私有成本函数，只有通过边连接的节点可以直接相互通信。该最优化模型抽象了分布式传感和机器学习中的许多应用。我们证明了DFAL迭代的任何极限点都是最优的;对于任何$ε>0$，$ε$ -最优和$ε$ -可行解可以在$\mathcal{O}(\log(ε^{-1}))$ DFAL迭代中计算，这需要$\mathcal{O}(\frac{ψ_{\max}^{1.5}}{d_{\min}} ε^{-1})$近端梯度计算和每个节点的总通信，其中$ψ_{\max}$表示图拉普拉斯算子的最大特征值，$d_{\min}$是图的最小度。我们还提出了一个异步版本的DFAL通过将随机块坐标下降方法，并证明了DFAL的效率在大规模稀疏群LASSO问题。
2015-05-09 math.OC
Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control
我们介绍了一个压缩抽象动态规划框架和相关的政策迭代算法，专门设计的顺序零和游戏和极大极小问题的一般结构。除了更大的一般性，我们的算法优于替代方案的优点是，它们解决了一些长期存在的收敛困难的“自然”的政策迭代算法，这是已知的，因为Pollatschek和Avi-Itzhak方法[PoA 69]有限状态马尔可夫博弈。在数学上，这种“自然”算法是牛顿方法的一种形式，用于求解贝尔曼方程，但牛顿方法，与单人DP问题的情况相反，在极大极小问题的情况下不是全局收敛的，因为贝尔曼算子可能具有既不是凸也不是凹的分量。我们的算法通过引入交替的玩家选择来解决这个困难，并通过使用具有统一超范数收缩属性的策略依赖映射，类似于Bertsekas和Yu的早期作品[BeY 10]，[BeY 12]，[YuB 13]。此外，我们的算法允许一个收敛和高度并行化的实现，这是基于状态空间分区，和分布式异步策略评估和策略改进操作内的每一组分区。我们的框架也适合使用基于聚合的强化学习方法，这可能对大规模问题实例有用。
2021-10-20 cs.GT cs.SY eess.SY
Asynchronous Parallel Algorithms for Nonconvex Big-Data Optimization. Part II: Complexity and Numerical Results
我们提出了一个新的异步并行算法的光滑非凸函数和凸非光滑正则化的总和最小化的复杂性和数值结果，受到凸和非凸约束。所提出的方法取决于连续凸逼近技术和一种新的概率模型，该模型以比最先进的模型更忠实的方式捕获现代计算架构和异步实现的关键元素。在配套文件中，我们提供了一个详细的描述概率模型，并给出了收敛结果，我们的方法的一个递减步长的版本。在这里，我们提供了一个固定的步长版本的方法的理论复杂性的结果，并报告了大量的数值比较凸和非凸的问题，证明了我们的方法的效率。
2017-01-19 math.OC
Technical Report: A Totally Asynchronous Algorithm for Tracking Solutions to Time-Varying Convex Optimization Problems
本文提出了一个分散的算法，一组代理跟踪时变不动点，即时变凸优化问题的解决方案。该算法是一阶的，并且它允许所有代理的通信和计算中的总延迟，即，所有这些操作可以以任意定时和任意（有限）延迟发生。收敛速度是根据代理执行的通信和计算来计算的，而不指定何时必须发生。这些速率适用于收敛到每个单独的目标函数的最小值，以及代理的长期行为，因为它们的目标函数的变化。然后，为了提高有限的通信和计算资源的使用，我们优化代理的操作相对于他们的目标函数的变化，以最大限度地减少总不动点跟踪误差随着时间的推移的时间。仿真结果来说明这些发展在实践中，经验评估其鲁棒性代理的更新法律的不确定性。
2021-10-13 math.OC
Asynchronous Distributed Method of Multipliers for Constrained Nonconvex Optimization
研究了一类局部费用函数和约束条件均为非凸的网络上的约束最优化问题。我们提出了一个异步分布式优化算法，依赖于集中式乘法器，其中每个节点唤醒在一个不协调的方式，并执行下降步骤的本地增广拉格朗日或上升步骤的本地乘子向量。这两个阶段由分布式逻辑AND调节，这使得节点能够理解（整个）增广拉格朗日函数的下降何时足够小。我们表明，这种分布式算法是相当于块坐标下降算法的增广拉格朗日最小化，然后更新整个乘子向量。因此，该算法继承了乘数法的收敛性。
2018-03-17 math.OC
Asynchronous Optimization over Weakly Coupled Renewal Systems
研究了具有时间平均约束的多更新系统的优化问题。这些系统在可变长度帧上异步地动作。对于每个系统，在每个更新帧的开始，它选择影响其自身帧的持续时间、惩罚和整个帧的资源消耗的动作。我们的目标是最小化的总体时间平均罚款服从几个整体的时间平均资源约束耦合这些系统。该问题可应用于任务处理网络、耦合马尔可夫决策过程（MDP）等，我们提出了一种分布式算法，使得每个系统在观测到一个全局乘子后可以做出自己的决策。我们表明，该算法满足所需的约束条件，并达到$\mathcal{O}(\varepsilon)$接近最优的$\mathcal{O}(1/\varepsilon^2)$收敛时间。
2018-05-21 math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络，建模为静态（可能有向）图。最优化问题包括最小化一个（可能是非凸的）光滑函数--代理的局部成本之和--加上一个凸的（可能是非光滑的）正则化器，受凸约束。代理可以执行本地计算，以及与他们的近邻在任何时候进行通信，没有任何形式的协调或集中调度;此外，当解决他们的本地子问题，他们可以使用过时的信息，从他们的邻居。我们提出了第一个分布式异步算法，称为ASY-DSCA，收敛于R-线性速率的凸问题的最优解，其目标函数满足一般的误差界条件，这个条件是弱于更常用的强凸性，它是由几个经验的风险函数，不是强凸的，例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时，ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
An Asynchronous Mini-Batch Algorithm for Regularized Stochastic Optimization
Department of Automatic Control, School of Electrical Engineering and ACCESS Linnaeus Center, Royal Institute of Technology (KTH)（皇家理工学院电气工程学院自动控制系及ACCESS林奈中心）
本文提出一种异步小批量算法，用于解决具有平滑损失函数的正则化随机优化问题，通过合理选择步长值，实现O(1/√T)和O(1/T)的收敛速度，理论结果在分布式计算环境中得到验证。
2015-05-18 cs.SY eess.SY math.OC
Conservative Signal Processing Architectures For Asynchronous, Distributed Optimization Part II: Example Systems
本文提供了各种同步和异步信号处理系统进行优化的例子，利用在前面的文件中开发的框架和元素。该论文的一般策略是对适用于一类凸和非凸最优化问题的平稳性条件进行线性变换，从而得到对相关原始和对偶决策变量的线性叠加进行运算的算法。本文中的例子解决了各种具体的最优化问题，包括LASSO问题，最小最大最优滤波器设计，分散训练的支持向量机分类器，稀疏滤波器设计的声学均衡。在适当的情况下，多个算法解决相同的最优化问题，说明了使用的基础框架，在设计各种不同类别的算法。例子中附有数值模拟和收敛性的讨论。
2015-03-04 math.OC
Asynchronous Optimization over Graphs: Linear Convergence under Error Bound Conditions
我们考虑凸和非凸约束优化与一个部分可分离的目标函数：代理最小化的本地目标函数，其中每一个是已知的，只有相关的代理，并取决于该代理的变量和其他几个。这种分区设置出现在几个实际感兴趣的应用中。我们提出了什么是，据我们所知，第一个分布式的，异步算法与速率保证这类问题。当目标函数是非凸的，该算法可证明收敛到一个平稳的解决方案，在一个次线性的速度，而线性速度时，目标满足著名的Luo-Tseng误差界条件下（这是不太严格的强凸性）。对矩阵补问题和LASSO问题的数值结果表明了该方法的有效性。
2020-10-18 math.OC
Composite Optimization with Coupling Constraints via Dual Proximal Gradient Method with Applications to Asynchronous Networks
本文考虑了基于近似梯度法的多智能体网络中带耦合约束的复合最优化问题。在这个问题中，所有的代理人共同最小化的光滑和可能的非光滑部分组成的各个费用函数的总和。为此，我们推导出的对偶问题的概念Fenchel共轭，从而产生了双邻近梯度算法，允许不对称的个人解释的全球约束。然后，针对具有不同步长和通信时延的异步网络，提出了一种异步双邻近梯度算法。对于这两种算法，如果目标函数的非光滑部分结构简单，则只需通过简单的操作更新对偶变量，从而降低了整体的计算复杂性。通过求解一个电力市场社会福利最优化问题的数值模拟，验证了算法的有效性。
2021-08-27 math.OC
Block Distributed Majorize-Minimize Memory Gradient Algorithm and its application to 3D image restoration
现代3D图像恢复问题需要强大的优化框架来处理高维问题，同时在合理的时间内提供可靠的数值解。在这个角度来看，异步并行优化算法已经收到了越来越多的关注，克服内存限制问题和通信瓶颈。针对大规模非凸可微最优化问题，提出了一种块分布式优化算法BD 3 MG。假设一个分布式存储器环境中，该算法铸造成更小的维度子问题的变量块以异步方式解决的高效3 MG计划。在温和的假设下，建立了建议的BD 3 MG方法的序列的收敛性。应用程序的深度变化模糊退化的3D图像的恢复表明，我们的方法产生显着的计算时间减少相比，几个同步和异步的竞争对手，同时表现出很大的可扩展性潜力。
2020-06-25 cs.DC math.OC
Amortized Analysis on Asynchronous Gradient Descent
梯度下降法是求解凸函数极小化问题的一类重要迭代算法。传统上，梯度下降是一个顺序和同步的过程。自20世纪80年代以来，人们一直在研究梯度下降的分布式和异步变体，并且由于在多核处理器上运行的大规模机器学习问题的需求，它们一直在经历复兴。我们提供了一个版本的异步梯度下降（AGD），其中核心之间的通信是最小的，并且几乎没有同步开销。我们还提出了一个新的定时模型进行分析。在此基础上，首次给出了凸函数上的AGD的摊销分析。摊销允许坏的更新（增加凸函数的值的更新）;相反，大多数先前的工作都强烈假设每次更新都必须显着改善。通常，AGD中使用的步长小于其同步对应物中使用的步长。本文提出了一种基于凸函数的Hessian元素确定AGD步长的方法。在某些情况下，所得到的步长是在相应的同步算法中使用的步长的恒定分数，使得AGD的总体性能能够随着核的数量线性地提高。我们给出了我们的摊销分析的两个应用。
2014-11-29 cs.GT math.OC
Asynchronous Parallel Algorithms for Nonconvex Optimization
我们提出了一个新的异步并行块下降算法框架的光滑非凸函数和非光滑凸函数的总和最小化，受到凸和非凸约束。所提出的框架取决于连续凸逼近技术和一种新的概率模型，该模型以比当前最先进的模型更忠实的方式捕获现代计算架构和异步实现的关键要素。该框架的其他关键特征是：i）它以统一的方式涵盖了几种特定的解决方案; ii）它可以容纳各种可能的并行计算架构; iii）它可以处理非凸约束。证明了算法的几乎必然收敛到稳态解，并给出了算法复杂度的理论结果，在工人数目不太大的情况下，算法的线性加速比接近理想.
2018-03-29 cs.DC math.OC
Asynchronous Optimization Over Heterogeneous Networks via Consensus ADMM
本文研究了一类局部可观测的非凸函数的分布优化问题。优化是在多智能体网络系统上进行的，每个局部函数只依赖于变量的一个子集。本文提出了一种异步分布式交替方向乘法器方法（ADMM），允许节点延迟或跳过更新的计算和传输。该算法利用不同的近似在更新步骤中，导致近端和优化ADMM的变种。这两个变种收敛到一个局部极小值，在一定的规律性条件下。所提出的异步算法也适用于在无线ad hoc网络中的合作定位的问题，在那里它被证明优于其他国家的最先进的定位算法。
2016-04-30 cs.IT math.IT math.OC
