Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究情景式马尔可夫决策过程中的多智能体强化学习，提出一种基于值迭代的异步通信算法，利用线性函数近似实现了低通信开销下的高效合作，并给出了遗憾与通信复杂度的理论上下界。
2023-06-24 cs.AI cs.LG cs.MA
Convergence of Batch Asynchronous Stochastic Approximation With Applications to Reinforcement Learning
Chennai Mathematical Institute（钦奈数学研究所）；Indian Institute of Technology Hyderabad（印度海得拉巴理工学院）
本文研究块异步随机逼近（BASA）的收敛性，涵盖同步与异步情形，给出收敛充分条件及速率界，并应用于强化学习中的不动点求解问题。
2025-09-09 cs.AI cs.LG cs.SY
Gaussian Approximation for Asynchronous Q-learning
HSE University（高等经济大学）；Lomonosov MSU（莫斯科国立大学）；Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究异步Q学习算法在高维中心极限定理中的收敛速率，基于多项式步长k^{-ω}，建立超矩形类上的收敛速率上限为n^{-1/6} log^4(nS A)。
2026-04-08 cs.LG math.PR stat.ML
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对有向对等网络上分布式强化学习（DisRL）的策略评估问题，提出了一种\emph{fully asynchronous}方案.无需等待网络的任何其他节点，每个节点可以通过使用来自其邻居的（可能延迟的）信息在任何时间本地更新其价值函数。这与一对节点同时更新的基于流言的方案形成鲜明对比。虽然完全异步设置涉及到一个困难的多时标决策问题，我们设计了一种新的随机平均梯度（SAG）为基础的分布式算法，并开发了一个推拉增广图的方法来证明其精确收敛的线性速率$\mathcal{O}(c^k)$，其中$c\in(0,1)$和$k$增加了一个无论在哪个节点更新。最后，数值实验验证了我们的方法的速度与节点数成线性关系，并且对离散节点具有鲁棒性。
2021-01-22 cs.LG cs.MA math.OC
A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
Huawei Canada（华为加拿大）
A-3PO通过近似近端策略优化方法，减少大语言模型异步训练中的计算开销，实现1.8倍的加速同时保持性能
2026-08-13 cs.AI cs.DC cs.LG
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
本文提出了一种在重尾噪声下异步非凸优化的最优算法，通过归一化随机梯度下降与动量项实现最优时间复杂度。
2026-01-27 cs.LG math.OC
Concentration of Contractive Stochastic Approximation and Reinforcement Learning
Indian Institute of Technology Bombay（印度理工学院孟买分校）
利用鞅浓度不等式，导出了具有压缩映射的随机近似算法在鞅差和马尔可夫噪声下的“从时间$n_0$开始”的浓度界.这些应用于强化学习算法，特别是异步Q学习和TD（0）。
2022-06-11 cs.LG cs.SY eess.SY
Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction
在大数据时代，优化大规模机器学习问题成为一项具有挑战性的任务，并引起了极大的关注。异步优化算法是一种很有前途的解决方案。最近，解耦异步近似随机梯度下降（DAP-SGD）被提出来最小化一个复合函数。它声称能够通过允许工作者评估邻近运算符来将计算瓶颈从服务器卸载到工作者，因此，服务器只需要进行元素操作。但由于随机梯度的方差不为零，该算法收敛速度较慢。本文提出了一种更快的方法，解耦异步近似随机方差降低梯度下降方法（DAP-SVRG）。证明了该方法对强凸问题具有线性收敛性。本文还进行了大规模的实验，结果证实了我们的理论分析。
2016-09-29 cs.LG math.OC
The Efficacy of Pessimism in Asynchronous Q-Learning
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
本文关注的是异步形式的Q-学习，它适用于马尔可夫数据样本的随机逼近方案。受离线强化学习的最新进展的启发，我们开发了一个算法框架，将悲观主义的原则融入异步Q学习，基于合适的置信下限（LCB）惩罚不常访问的状态-动作对。该框架导致，除其他事项外，提高样本效率和增强的适应性，在近专家数据的存在。我们的方法允许在一些重要的情况下，观察到的数据只覆盖部分的状态-动作空间，这是在形成鲜明对比的先验理论，需要统一覆盖所有的状态-动作对。当与方差减小的思想相结合时，具有LCB惩罚的异步Q学习实现了接近最优的样本复杂度，前提是目标精度水平足够小。相比之下，先前的工作是次优的依赖于有效的地平线，即使当i.i.d.允许取样。我们的结果首次为在马尔可夫非独立同分布的情况下使用悲观原则提供了理论支持。数据
2022-03-14 cs.IT cs.LG math.IT
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度（SVRG）下降算法的收敛速度的理论分析。最近的研究表明，基于异步随机梯度下降（SGD）算法的方差减少收敛于凸问题的线性收敛速度。然而，目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中，我们研究了SVRG的两个异步并行实现：一个是在分布式存储系统上，另一个是在共享存储系统上。我们提供的理论分析，这两种算法可以获得$O(1/T)$的收敛速度，和线性加速是可以实现的，如果工人的数量是上界。由于参考问题，V1、V2、V3已被撤回，请参考最新版本V4。
2016-12-20 cs.LG math.OC
A Comprehensive Linear Speedup Analysis for Asynchronous Stochastic Parallel Optimization from Zeroth-Order to First-Order
异步并行优化近年来取得了巨大的成功并引起了广泛的关注。异步并行化能给我们带来多大的加速比（或效益）是一个核心的理论问题。本文提供了一个全面和通用的分析，研究加速性能的异步并行随机算法从零阶到一阶的方法。我们的结果恢复或改进了现有的分析特殊情况下，提供了更多的见解，理解异步并行行为，并提出了一种新的异步并行零阶方法。我们的实验提供了新的应用，包括模型混合问题，使用建议的异步并行零阶方法。
2017-05-20 math.OC
Asynchronous stochastic convex optimization
我们表明，渐近，完全异步的随机梯度程序实现最佳（甚至常数因子）收敛速度的解决方案的凸优化问题的渐近最优性的标准随机梯度程序所需的几乎相同的条件下。粗略地说，随机逼近方案所固有的噪声支配着来自随机逼近的任何噪声。我们还提供了经验证据，证明了异步，并行随机最优化方案的强大性能，证明了固有的鲁棒性随机逼近问题，允许更快的并行和异步的解决方案的方法。
2015-08-04 math.OC stat.ML
Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization
The Chinese University of Hong Kong（香港中文大学）
我们表明，随机加速可以在扰动的随机加速框架下实现（Mania等人，2017）在异步无锁优化，这导致有限和目标的最佳增量梯度复杂度。我们证明了我们的新的加速方法需要相同的线性加速条件，现有的非加速方法。我们的核心算法发现是一种新的具有稀疏更新的加速SVRG变体。实证结果验证了我们的理论研究结果。
2021-09-30 cs.LG math.OC stat.ML
On the Optimal Time Complexities in Decentralized Stochastic Asynchronous Optimization
该研究针对去中心化随机异步优化场景，证明了同构与异构设置下的时间复杂度新下界，提出接近最优的Fragile SGD与最优的Amelie SGD方法，其复杂度匹配下界且优于现有同类方法。
2024-11-02 math.OC
Asynchronous Stochastic Optimization Robust to Arbitrary Delays
Google Research（谷歌研究院）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
我们考虑随机优化与延迟梯度，在每个时间步$t$，算法进行更新，使用一个陈旧的随机梯度从步骤$t - d_t$为一些任意延迟$d_t$。此设置抽象了异步分布式优化，其中中央服务器接收由工作机器计算的梯度更新。这些机器可能会经历计算和通信负载，这些负载可能会随着时间的推移而显著变化。在一般的非凸光滑优化设置中，我们给出了一个简单而有效的算法，需要$O( σ^2/ε^4 + τ/ε^2 )$步骤来寻找$ε$-平稳点$x$，其中$τ$是\emph{average}延迟$\smash{\frac{1}{T}\sum_{t=1}^T d_t}$，$σ^2$是随机梯度的方差。这比以前的工作，这表明，随机梯度下降达到相同的速率，但相对于\emph{maximal}延迟$\max_{t} d_t$，这可能是显着大于平均延迟，特别是在异构分布式系统。我们的实验证明了我们的算法的有效性和鲁棒性的情况下，延迟分布是偏斜或重尾。
2021-11-15 cs.LG math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化（SAPALM）方法，它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法，可证明收敛于一大类非凸，非光滑的问题。我们证明，SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量，我们可以期望看到一个线性加速，这符合已知的最佳界限不太复杂的问题，并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Faster Stochastic Optimization with Arbitrary Delays via Asynchronous Mini-Batching
Blavatnik School of Computer Science, Tel Aviv University（塔夫茨大学布劳维特克计算机科学学院）；Tel Aviv University（塔夫茨大学）；Google Research Tel Aviv（谷歌研究团队（特拉维夫））
针对异步随机优化中任意延迟问题，提出基于异步小批量与梯度过滤的通用转换方法，实现依赖分位数延迟的收敛速率，并自适应所有分位数，显著优于现有平均延迟结果。
2025-06-19 cs.LG math.OC
Decentralized Asynchronous Non-convex Stochastic Optimization on Directed Graphs
随着多智能体控制和优化技术的兴起，分布式优化技术成为一个越来越重要的研究领域。我们考虑一个分散的随机最优化问题，在图上的代理的目标是异步优化的集体（添加剂）的目标函数组成的代理的个人（可能是非凸的）本地目标函数。每个代理只能访问其自身函数（目标函数之和的一个分量）的梯度的噪声估计。针对这类问题提出了一种异步分布式算法。该算法在异步推和框架下将随机梯度与跟踪相结合，并获得了一般非凸函数的标准次线性收敛速度，与集中式随机梯度下降SGD的速度相匹配。我们使用卷积神经网络对非凸图像分类任务进行的实验验证了我们所提出的算法在不同节点数和图形连接百分比上的收敛性。
2021-10-20 math.OC
Second-Order Convergence of Asynchronous Parallel Stochastic Gradient Descent: When Is the Linear Speedup Achieved?
Beijing Jiaotong University（北京交通大学）
在机器学习中，异步并行随机梯度下降（APSGD）被广泛用于通过多个工人来加速训练过程。同时，异步算法中的陈旧梯度的时间延迟通常与工作者的总数成比例，这由于使用延迟梯度而带来了与精确梯度的额外偏差。这可能对算法的收敛性有负面影响。有人可能会问：我们最多可以使用多少工人来实现良好的收敛和线性加速？本文研究非凸优化问题异步算法的二阶收敛性。我们研究了在严格鞍点附近具有一致读的APSGD的行为，并从理论上保证了如果工作者的总数目以$\widetilde{O}(K^{1/3}M^{-1/3})$为界（$K$是总步骤，$M$是最小批量），APSGD将收敛到好的稳定点（$||\nabla f(x)||\leq ε, \nabla^2 f(x)\succeq -\sqrtε\bm{I}, ε^2\leq O(\sqrt{\frac{1}{MK}}) $），并且实现了线性加速比.我们的工作给出了异步算法的二阶收敛的第一个理论保证。我们提供的技术可以推广到分析其他类型的异步算法，以了解异步算法在分布式异步并行训练中的行为。
2020-06-07 cs.LG math.OC stat.ML
An Asynchronous Parallel Stochastic Coordinate Descent Algorithm
我们描述了一个异步并行随机坐标下降算法最小化光滑无约束或可分离约束的功能。该方法在满足本质强凸性的函数上具有线性收敛速率，在一般凸函数上具有次线性收敛速度（$1/K$）.如果处理器的数量在无约束优化中为$O(n^{1/2})$，在可分离约束的情况下为$O(n^{1/4})$，则可以预期多核系统上的近线性加速比，其中$n$是变量的数量。我们描述了40核处理器上实现的结果。
2014-11-10 math.OC
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent，arXiv：1805.08244]中引入的随机修正方程，当损失函数为扰动二次函数时，我们给出了异步随机梯度下降（ASGD）算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧，那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明，较长的延迟导致较慢的收敛速度。此外，学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Perturbed Iterate Analysis for Asynchronous Stochastic Optimization
AMPLab；UC Berkeley（加州大学伯克利分校）
我们介绍并分析了随机最优化方法，其中每个梯度更新的输入被有界噪声扰动。我们表明，这个框架形成了一个统一的方法来分析异步实现的随机最优化algorithm.In这个框架中，异步随机最优化算法可以被认为是一系列的方法在嘈杂的输入。使用我们的扰动框架，我们提供了新的分析Hogwild！算法和异步随机坐标下降，比以前的分析更简单，删除了以前的模型的许多假设，并在某些情况下产生改进的收敛速度上界。我们继续应用我们的框架来开发和分析KroMagnon：一种新颖的，并行的，稀疏的随机方差降低梯度（SVRG）算法。我们在一个16核机器上的实验表明，稀疏和并行版本的SVRG在某些情况下比标准SVRG算法快四个数量级以上。
2016-03-25 cs.DC cs.DS cs.LG
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Asynchronous Stochastic Coordinate Descent: Parallelism and Convergence Properties
我们描述了一个异步并行随机邻近坐标下降算法，用于最小化复合目标函数，其中包括一个光滑的凸函数加上一个可分离的凸函数。与之前的分析相反，我们的异步计算模型考虑了这样一个事实，即未知向量的组件可能会被一些核心同时写入，并被其他核心读取。尽管从这种可能性产生的并发症，该方法实现了一个线性收敛速度的函数，满足最佳的强凸性和一般的凸函数的次线性率（$1/k$）。如果处理器的数量为$O(n^{1/4})$，则可以预期多核系统上的近线性加速比。我们描述的结果，从实施的10个核心的多核处理器。
2015-12-10 math.OC
Fully Asynchronous Stochastic Coordinate Descent: A Tight Lower Bound on the Parallelism Achieving Linear Speedup
我们寻求严格的界限上的可行的并行异步实现的坐标下降，实现线性加速。研究了由光滑凸函数和可能非光滑可分凸函数之和组成的凸函数上的异步坐标下降算法。我们量化了与标准序贯随机梯度下降相比的进展不足。这导致了一个简单而紧密的分析标准的随机ACD在部分异步的环境中，推广和改进的界限在以前的工作。我们还提供了一个相当多的分析一般异步环境中，唯一的约束是，每个更新可以重叠最多q其他。新的下界上的最大程度的并行实现线性加速是紧密的，并提高了最佳的先验界几乎二次方。
2020-08-02 cs.DC math.OC
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Radisys India Pvt. Ltd.（瑞迪斯印度私人有限公司）
考虑光滑非凸损失函数与凸非光滑正则化子的随机最优化。在在线设置中，其中在每次迭代时损失的随机梯度的单个样本可用，该问题可以使用近似随机梯度下降（SGD）算法及其变体来解决。然而，在许多问题中，特别是在通信和信号处理中出现的那些问题中，由于损失函数的结构，可以获得超出随机梯度的信息。SGD不使用这种额外的梯度信息，但已被证明是有用的，例如在随机期望最大化，随机优化最小化和随机连续凸逼近（SCA）方法的背景下。通过在每次迭代时构造损失函数的随机强凸代理，随机SCA算法可以利用损失函数的结构特性，并获得优于SGD的经验性能。在这项工作中，我们仔细研究随机SCA算法，并开发其异步变体，可用于无线网络中的资源分配。虽然随机SCA算法是已知的渐近收敛，其迭代复杂性还没有得到很好的研究，是目前工作的重点。从非渐近分析中获得的见解，使我们能够开发一个更实用的随机SCA算法，它允许使用在早期迭代计算的代理人的异步变体。我们的特点是精确的界限上的最大延迟的算法可以容忍，而仍然达到相同的收敛速度。我们将该算法应用于无线传感器网络中的线性预编码问题，它可以在低复杂度下实现，但在实践中表现良好。
2020-10-03 cs.LG eess.SP math.OC
Parallel Stochastic Asynchronous Coordinate Descent: Tight Bounds on the Possible Parallelism
一些作品已经表明，只要没有太多的并行性，线性加速是通过随机坐标下降的异步并行实现的。更具体地，已知如果所有更新具有相似的持续时间，则线性加速可能具有高达$Θ(\sqrt n L_{\max}/L_{\overline{\mathrm{res}}})$的处理器，其中$L_{\max}$和$L_{\overline{\mathrm{res}}}$是合适的Lipschitz参数。本文表明，该界是紧的，几乎所有可能的值，这些参数。
2020-11-19 cs.DC math.OC
Stochastic convergence of parallel asynchronous adaptive first-order methods
Université de Toulouse, INP, IRIT, Toulouse, France（图卢兹大学，INP，IRIT，法国图卢兹）；IA Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹3IA人工智能与自然智能研究所（ANITI））；NAXYS, University of Namur, Namur, Belgium（NAXYS，纳慕尔大学，比利时纳慕尔）
本文提出一类新的异步自适应一阶优化方法，包括多种流行算法的异步变体，并分析其在非凸函数上的随机收敛性，达到O(1/√t)的收敛速率。
2026-06-01 cs.AI math.OC
Asynchronous Incremental Stochastic Dual Descent Algorithm for Network Resource Allocation
随机网络最优化问题需要找到平均最优的资源分配策略，但必须以在线方式设计。这样的问题在通信网络中普遍存在，其中诸如能量和带宽的资源在节点之间被划分以满足某些长期目标。本文提出了一种异步增量双下降资源分配算法，利用延迟随机{梯度}进行更新。所提出的算法非常适合异构网络，因为它允许计算上的挑战或能源匮乏的节点，有时，推迟更新。该算法的渐近分析进行，建立双重收敛下，恒定和递减步长。它还表明，与恒定的步长，建议的资源分配政策是渐近近最优的。一个涉及多小区协调波束形成的应用程序进行了详细说明，所提出的算法的实用性。
2017-12-10 math.OC
Improved asynchronous parallel optimization analysis for stochastic incremental methods
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）；Université de Montréal（蒙特利尔大学）
随着数据集规模的不断增加和多核计算机体系结构的发展，异步并行优化算法对机器学习领域变得越来越重要。不幸的是，进行理论分析异步方法是困难的，特别是由于引入延迟和不一致的固有顺序算法。处理这些问题往往需要诉诸简化但不切实际的假设。通过一个新的视角，我们重新审视并澄清了一个微妙但重要的技术问题，这个问题存在于最近异步并行优化算法的大部分收敛速度证明中，并提出了一个简化的“扰动迭代”框架来解决这个问题。我们通过分析三个不同的异步并行增量优化算法来证明我们的新框架的有用性：Hogwild（异步SGD）、KROMAGNON（异步SVRG）和ASAGA，增量梯度算法SAGA的一种新型异步并行版本，具有快速的线性收敛速率。我们能够消除有问题的假设，并获得更好的理论结果。值得注意的是，我们证明了ASAGA和KROMAGNON可以获得理论上的线性加速多核系统，即使没有稀疏性假设。我们提出了一个40核架构上的实现结果，说明了实际的加速比以及硬件开销。最后，我们调查的重叠常数，一个不好理解的，但中心量的异步并行算法的理论分析。我们发现，它包含了更多的复杂性比以前的工作中提出的，往往是数量级大于传统上认为的。
2019-03-21 cs.LG math.OC stat.ML
Random Asynchronous Iterations in Distributed Coordination Algorithms
分布式协调算法（DCA）在一组网络化的代理之间进行信息处理过程，而不需要集中的信息融合。虽然众所周知，DCA的特点是由一个SIA（随机，不可分解，非周期性）矩阵产生共识渐近通过同步迭代，DCA的动态异步迭代尚未得到广泛的研究，特别是当被视为随机过程。本文的目的是表明，对于任何给定的不可约随机阵，即使是非SIA，相应的DCA导致共识成功地通过随机异步迭代在广泛的条件下的转移概率。特别地，转移概率既不需要是独立同分布的，也不需要由马尔可夫链表征。
2018-04-27 math.OC
Asynchronous and Stochastic Distributed Resource Allocation
针对异步随机场景下的分布式资源分配问题，提出异步随机原始-对偶（Asyn-PD）算法，证明其以O(1/t)速率收敛，数值实验验证其优于同步算法。
2025-09-01 math.OC stat.ML
Asynchronous Parallel Stochastic Quasi-Newton Methods
虽然一阶随机算法（如随机梯度下降）一直是扩大机器学习模型（如深度神经网络）的主要力量，但二阶拟牛顿法由于其在处理病态最优化问题方面的有效性而开始引起关注。L-BFGS方法是应用最广泛的拟牛顿法之一。提出了一种随机拟牛顿法的异步并行算法（AsySQN）。与以前的尝试，它只并行计算梯度或两个循环递归的L-BFGS，我们的算法是第一个真正并行L-BFGS的收敛保证。采用方差缩减技术，先验随机L-BFGS，这还没有被设计为并行计算，达到线性收敛速率。我们证明，我们的异步并行方案保持相同的线性收敛速率，但实现了显着的加速。在模拟和基准数据集的实证评估表明，与非并行随机L-BFGS相比，加速，以及更好的性能比一阶方法在解决病态问题。
2020-11-02 cs.DC math.OC
Stabilization of highly nonlinear hybrid stochastic differential delay equations by periodically intermittent feedback controls based on discrete-time observations with asynchronous switching
School of Science, Beijing University of Chemical Technology（北京化工大学理学院）
本文研究高非线性混合随机微分延迟方程的矩指数稳定性，设计基于离散时间观测与异步切换的周期性间断控制器，确定观测周期上界和控制宽度下界，证明控制系统的指数稳定性及收敛速度。
2026-03-19 math.OC
Asynchronous Decentralized Stochastic Optimization in Heterogeneous Networks
我们认为，预期的风险最小化多代理系统组成的不同子集的代理操作没有一个共同的时间尺度。网络中的每个个体负责最小化全局目标函数，该全局目标函数是网络中每个代理的统计平均损失函数之和的平均值。由于代理人不被假设为观察来自相同分布的数据，所有代理人寻求共同行动的假设被违反，因此共识约束的假设被违反。因此，我们考虑非线性网络的邻近约束，激励附近的节点作出决定，这些决定是彼此接近，但不一定一致。此外，代理不被假定为在共同的时间索引上接收它们顺序到达的观测，因此寻求以异步方式学习。提出了一种异步随机变体的阿罗-赫维茨鞍点方法来解决这个问题，该方法通过交替原始随机下降步骤和拉格朗日乘子更新来惩罚代理之间的差异。这个工具导致了一个实现，允许每个代理只与本地信息异步操作，并与邻居进行消息传递。我们的主要结果建立，该方法产生的预期收敛的原始次优性和约束违反半径的大小$\mathcal{O}(\sqrt{T})$和$\mathcal{O}(T^{3/4})$，分别。通过自适应通信定价机制管理用户信道干扰的异步操作的无线网络的实证评估表明，我们的理论结果转化为实践。
2017-12-09 math.OC
Asynchronous Schemes for Stochastic and Misspecified Potential Games and Nonconvex Optimization
分布式计算的均衡和最优已经看到越来越多的兴趣在广泛收集的网络问题。本文研究了由可能非凸的势函数刻画的凸随机Nash对策的平衡点的计算。我们的重点是两类随机纳什博弈：（P1）：一个潜在的随机纳什博弈，其中每个玩家解决一个参数化的随机凸规划;和（P2）：一个错误指定的推广，其中玩家特定的随机规划是复杂的参数错误指定。在这两种情况下，精确的近端BR解决方案通常是不可用的有限时间，因为它们需要解决参数化的随机程序。因此，我们设计了两个异步的不精确的邻近BR计划来解决问题，在每次迭代中，一个单一的球员被随机选择计算一个不精确的邻近BR解决方案与竞争对手的可能过时的信息。然而，在错误指定的制度（P2），每个球员拥有一个额外的估计错误指定的参数，并更新其估计的投影随机梯度（SG）算法。由于任何固定点的势函数是一个纳什均衡的相关游戏，我们相信本文是第一个随机非凸（但块凸）最优化问题配备了几乎必然收敛的保证。这些陈述可以扩展到允许容纳加权势博弈和广义势博弈。最后，我们提出了初步的数值应用所提出的方案的基础上，拥塞控制和纳什古诺游戏。
2019-08-02 math.OC
Asynchronous stochastic approximations with asymptotically biased errors and deep multi-agent learning
异步随机逼近（SA）是一类重要的无模型算法，工具和技术，流行的多智能体和分布式控制方案。为了对抗贝尔曼的维数灾难，这种算法与函数近似相结合。虽然学习/控制问题变得更容易处理，但函数逼近会影响稳定性和收敛性。在本文中，我们提出了可验证的充分条件的稳定性和收敛性的异步SA有偏逼近误差。本文中开发的理论用于分析策略梯度法和噪声值迭代方案。具体来说，我们分析了异步近似对应的政策梯度（A2 PG）和价值迭代（A2 VI）计划。结果表明，这些算法的稳定性是不受有偏逼近误差，只要它们是渐近有界的。关于收敛性（A2 VI和A2 PG），建立了极限集与逼近误差之间的关系。最后，实验结果支持的理论。
2019-05-02 math.DS math.OC stat.ML
Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization
Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
本文研究了非凸优化中两种异步并行随机梯度方法，证明了其在计算机网络和共享内存系统中的渐进收敛率，并展示了线性加速的可能性。
2019-04-18 cs.NA math.NA math.OC
Robust Asynchronous Stochastic Gradient-Push: Asymptotically Optimal and Network-Independent Performance for Strongly Convex Functions
我们考虑的标准模型的分布式优化的总和的功能$F(\bz) = \sum_{i=1}^n f_i(\bz)$，其中节点$i$在网络中持有的功能$f_i(\bz)$。我们允许一个苛刻的网络模型，其特征在于异步更新，消息延迟，不可预测的消息丢失，节点之间的直接通信。在这种情况下，我们分析了分布式优化的顺应推方法的修改，假设\begin{enumerate*}[label=（\roman*）] \item节点$i$能够生成其函数$f_i(\bz)$在每一步被零均值有界支持加性噪声破坏的梯度，\item $F(\bz)$是强凸的，并且\item每个$f_i(\bz)$具有Lipschitz梯度。我们表明，我们提出的方法渐近执行以及集中梯度下降的最佳界限，在每个步骤中的所有功能$f_1(\bz), \ldots, f_n(\bz)$的噪声梯度的总和的方向上采取步骤。
2019-12-29 math.OC
Quasi-synchronization of bounded confidence opinion dynamics with stochastic asynchronous rule
近年来，噪声诱导的Hegselmann-Krause（HK）动力学同步理论得到了很好的发展。作为一个典型的有界置信度的意见动态，HK模型服从同步更新规则，即，\emph{all}代理在每个时间点检查并更新其意见。然而，异步有界置信模型，包括著名的Deffuant-Weisbuch（DW）模型，是否可以被噪声同步尚未得到理论证明。本文提出了一个具有随机异步规则的广义有界置信模型。该模型以DW模型和HK模型为特例，将有界置信模型推广到实际应用中。我们发现，异步模型具有不同的基于噪声的同步行为相比，同步HK模型。一般来说，在噪声驱动下，HK动力学可以实现准同步\emph{almost surely}。对于非同步动力学，我们证明了该模型可以实现准同步\emph{in mean}，这是一种弱于“几乎必然”意义的新型准同步。该结果统一了有界置信度意见动力学的噪声诱导同步理论，并首次从理论上证明了DW模型的噪声诱导同步。此外，研究结果提供了一个理论基础，发展基于噪声的控制策略，更复杂的社会意见系统的随机异步规则。
2020-09-03 cs.MA cs.SI math.OC
On Synchronous, Asynchronous, and Randomized Best-Response schemes for computing equilibria in Stochastic Nash games
本文考虑了一个随机纳什博弈，其中每个参与者都解决了一个参数化的随机最优化问题。在确定性的制度，最佳反应计划已被证明是收敛的一个合适的频谱属性与最近的最佳反应地图。然而，该方案的随机设置的直接应用需要在每次迭代中获得随机最优化的精确解。相反，我们提出了一个不精确的推广，其中一个不精确的解决方案是通过越来越多的投影随机梯度步骤计算。在此基础上，我们提出了三个不精确的最佳对策方案：（i）首先，我们提出了一个同步方案，所有的球员同时更新他们的策略;（ii）随后，我们将其扩展到一个随机设置，其中一个子集的球员是随机选择他们的更新策略，而其他人保持他们的策略不变;（iii）最后，我们提出了一个异步方案，每个玩家决定自己的更新频率，并可能使用过时的竞争对手的特定数据更新其策略。在一个适当的收缩性质的最近最佳反应映射，我们得到a.s.（i）和（ii）的迭代的收敛性和（i）-（iii）的平均收敛性。此外，我们证明了对于（i）-（iii），迭代收敛到唯一的平衡点的平均在一个指定的线性速率。最后，我们根据用于计算$ε-$纳什均衡的投影随机梯度步骤来建立总体迭代复杂度，并且在所有设置中，迭代复杂度为${\cal O}(1/ε^{2(1+c) + δ})$，其中$c = 0$在（i）的上下文中表示随机化的正成本（在（ii）中）以及随机性和延迟（在（iii）中）。该计划进一步扩展到线性和二次资源为基础的随机纳…
2018-02-06 math.OC
Hybrid-DCA: A Double Asynchronous Approach for Stochastic Dual Coordinate Ascent
在先前的工作中，随机双坐标上升（SDCA）已经在多核环境中并行化，其中核通过共享存储器进行通信，或者在多处理器分布式存储器环境中，其中处理器通过消息传递进行通信。在本文中，我们提出了一个混合SDCA框架的多核集群，最常见的高性能计算环境，包括多个节点，每个节点有多个核心和自己的共享内存。我们将数据分布在节点上，每个节点在其核心上以异步并行方式解决本地问题，然后通过异步跨节点更新方案聚合本地更新。对于$L$ -Lipschitz连续损失函数，本文提出的双异步方法收敛于全局解，并且当损失函数为光滑凸损失函数时，该方法以线性收敛速度收敛.广泛的实证比较表明，我们的算法比最知名的共享内存的方法，运行速度比以前的分布式内存的方法更好的规模。大型数据集（例如LIBSVM存储库中的280 GB数据集）无法容纳在单个节点上，因此无法通过并行算法求解。对于这样的数据集，我们的混合算法需要30秒才能在16个节点上实现$10^{-6}$的对偶间隙，每个节点使用8个核心，这比最知名的分布式算法（如CoCoA+）要快得多，后者在16个节点上需要300秒以上。
2016-11-02 cs.DC math.OC
An Analysis of Asynchronous Stochastic Accelerated Coordinate Descent
梯度下降，特别是坐标下降，是机器学习和其他领域的核心工具。大的问题实例是常见的。为了帮助解决这些问题，已知两种正交方法：加速和并行。在这项工作中，我们问他们是否可以同时使用。答案是肯定的。更具体地说，我们考虑一个异步并行版本的加速坐标下降算法提出和分析的林，刘和肖（SIOPT'15）。我们给出了一个分析的基础上，该算法的有效实现。唯一的约束是一个标准的有界模糊假设，即每次更新最多可以与q个其他更新重叠。（q最多是处理器的数量乘以最长和最短更新的长度的比率。）我们得到以下三个结果：1.强凸函数的线性加速，只要q不太大。2.一个实质性的，虽然次线性，加速强凸函数较大的q。3.对凸函数的一个实质性的，尽管是次线性的加速。
2018-08-15 cs.DC math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络，建模为静态（可能有向）图。最优化问题包括最小化一个（可能是非凸的）光滑函数--代理的局部成本之和--加上一个凸的（可能是非光滑的）正则化器，受凸约束。代理可以执行本地计算，以及与他们的近邻在任何时候进行通信，没有任何形式的协调或集中调度;此外，当解决他们的本地子问题，他们可以使用过时的信息，从他们的邻居。我们提出了第一个分布式异步算法，称为ASY-DSCA，收敛于R-线性速率的凸问题的最优解，其目标函数满足一般的误差界条件，这个条件是弱于更常用的强凸性，它是由几个经验的风险函数，不是强凸的，例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时，ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全中心）
我们研究了异步随机梯度下降算法的分布式训练$n$工人，随着时间的推移，具有不同的计算和通信频率。在该算法中，工作者以自己的速度并行计算随机梯度，并将其返回给服务器，而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代，其中$σ$表示随机梯度的方差。在这项工作中，（i）我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法，其中$τ_{avg}$是平均延迟，它可以显着小于$τ_{\max}$。我们还提供了（ii）一个简单的延迟自适应学习率计划，异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度，不需要任何额外的超参数调整，也不需要额外的通信。我们的结果允许第一次表明，异步SGD总是比小批量SGD更快。此外，（iii）我们考虑了由联邦学习应用程序驱动的异构函数的情况，并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是，我们表明，在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
Asynchronous Splitting Design for Model Predictive Control
本文重点设计了一种适用于嵌入式模型预测控制（MPC）应用的异步对偶求解器。建议的求解器依赖于一个国家的最先进的方差减少（VR）计划，以前使用的上下文中的随机近端梯度法，和交替最小化算法（AMA）。由此产生的算法，一个随机AMA与VR，显示几何收敛（在预期中）的MPC问题的次优解决方案，并与其他国家的最先进的双异步算法相比，允许调整的概率的异步更新，以提高质量的估计。我们将所提出的算法应用于一类特定的分裂方法，即，沿预测时域长度的分解，并提供初步的数值结果的实际应用，纵向控制的空中客车客机。
2016-09-19 math.OC
Asynchronous Optimization Methods for Efficient Training of Deep Neural Networks with Guarantees
异步分布式算法是一种在大规模优化中减少同步成本的流行方法，特别是对于神经网络训练。然而，对于非光滑和非凸的目标，除了封闭形式的近似算子解可用的情况外，几乎没有收敛保证。由于大多数流行的当代深度神经网络导致非光滑和非凸目标，现在迫切需要这种收敛保证。在本文中，我们分析了第一次收敛的随机异步优化这一类一般的目标。特别是，我们专注于随机次梯度方法允许块变量分区，其中基于共享内存的模型异步更新的并发进程。为此，我们首先引入了一个概率模型，捕捉并发进程之间的真正的异步调度的关键特征，在这个模型下，我们建立收敛概率为1的不变集的随机次梯度方法与动量。从实践的角度来看，我们考虑的方法家族的一个问题是，它没有得到机器学习框架的有效支持，因为它们主要关注分布式数据并行策略。为了解决这个问题，我们提出了一种新的基于共享内存的深度神经网络训练实现策略，利用并发参数服务器在单GPU和多GPU设置中训练分区但共享的模型。基于这种实现，与流行的图像分类任务的最先进的训练方法相比，我们实现了平均1.2倍的速度提升，而不影响准确性。
2020-07-11 math.OC
Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach
EMINES, Mohammed VI Polytechnic University（穆罕默德六世理工大学 EMINES 学院）；LAAS-CNRS, Université de Toulouse, CNRS（法国国家科学研究中心图卢兹分析系统实验室，图卢兹大学）
本文提出一种随机网络框架，分析异步联邦学习中梯度滞后与收敛速度的权衡，并通过实验展示改进的收敛速度和能耗效率。
2026-03-27 cs.LG cs.PF math.OC
Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学科学与技术学院）
Ringleader ASGD是首个在数据异质性下具有最优时间复杂度的异步SGD算法，克服了传统方法在异构计算和数据分布差异下的性能瓶颈。
2026-02-19 cs.DC cs.LG math.OC
Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of Pavia（帕维亚大学）
针对异步集中式分布式非凸随机优化中计算与通信异构的问题，提出基于无偏压缩的Shadowheart SGD，证明其时间复杂度优于现有集中式方法且在压缩通信集中式方法族中最优，同时拓展到双向场景给出对应方法。
2024-11-02 cs.LG math.OC
Tight Time Complexities in Parallel Stochastic Optimization with Arbitrary Computation Dynamics
本文提出通用计算模型刻画分布式随机优化中任意计算动态，建立适用于Minibatch SGD、Asynchronous SGD、Picky SGD等方法的紧下界，并证明Rennala SGD和Malenia SGD在常数因子内达到最优时间复杂度。
2025-02-06 cs.CC math.OC
