Escaping From Saddle Points Using Asynchronous Coordinate Gradient Descent
大规模非凸优化问题由于计算和存储成本而求解起来很昂贵。为了降低成本，一阶（计算效率）和并行（内存效率）算法是必要的，以最小化非凸函数在机器学习。然而，在非凸设置中应用的非线性一阶方法遇到两个困难：（i）并行化延迟，其通过破坏一阶方法的单调性来影响收敛，以及（ii）梯度为零的次优鞍点。为了解决这两个困难，我们提出了一种异步坐标梯度下降算法，该算法以有界延迟收敛到局部最小值。我们的算法克服了并行延迟问题，通过使用精心构造的哈密顿函数。我们证明，我们设计的动能项，纳入哈密顿量，允许我们的算法，每次迭代单调减少。接下来，我们的算法利用扰动子例程引导迭代避开鞍点。类似于其他国家的最先进的（SOTA）算法，我们实现了多对数收敛速度方面的尺寸。与其他SOTA算法，这是同步的，我们的工作是第一个研究如何并行延迟影响异步一阶算法的收敛速度。我们证明了我们的算法优于同步同行下大并行延迟，收敛依赖于次线性延迟。据我们所知，这是第一个局部最优收敛结果的一阶异步算法的非凸设置。
2022-11-17 cs.DC math.OC
Impact of Communication Delay on Asynchronous Distributed Optimal Power Flow Using ADMM
近年来，分布式优化在电力系统运行中引起了广泛的关注，它将一个大的区域分解为多个小的控制区域，每个控制区域通过与相邻区域的周期性信息交换来解决局部优化问题。然而，大多数分布式优化方法是迭代的，并且需要在每次迭代时同步所有区域，这在没有集中式协调器的情况下很难实现，并且由于区域的异构性可能导致计算资源的利用不足。为了解决同步方案的这些局限性，本文研究了异步分布式优化方法在电力系统优化中的适用性。特别是，我们专注于解决交流最优潮流问题，并提出了一个算法框架的基础上的交替方向乘法（ADMM）的方法，允许区域执行本地更新的信息从一个子集，但不是所有的邻居。通过实验研究，我们证明了所提出的异步方案的收敛性能是依赖于区域之间传递消息的通信延迟。在轻微的通信延迟下，该方案可以实现与同步算法相当甚至更快的收敛速度，这可以作为集中式或同步分布式优化方法的一个很好的替代方案。
2017-11-06 cs.DC math.OC
MVFST-RL: An Asynchronous RL Framework for Congestion Control with Delayed Actions
Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）
有效的网络拥塞控制策略是保持Internet（或任何大型计算机网络）正常运行的关键。几十年来，网络拥塞控制一直由手工设计的算法主导。最近，强化学习（RL）已经成为自动优化此类控制策略的替代方案。到目前为止，研究主要考虑RL接口，它在代理考虑下一步行动时阻止发送者。这在很大程度上是在为游戏中的RL设计的框架之上构建的工件（例如OpenAI Gym）。然而，这并不能转化为现实世界的网络环境，在现实世界中，网络发送方等待策略而不发送数据会导致带宽利用不足。相反，我们建议制定拥塞控制与异步RL代理处理延迟的行动。我们提出了MVFST-RL，这是一个用于QUIC传输协议中拥塞控制的可扩展框架，它利用了异步RL训练中的最新技术，并进行了策略外校正。我们分析建模改进，以减轻偏离马尔可夫动态，并评估我们的方法从万神殿基准平台上的仿真网络。源代码可在https://github.com/facebookresearch/mvfst-rl上公开获得。
2021-05-26 cs.DC cs.LG cs.NI
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
On the Convergence of Asynchronous Parallel Iteration with Unbounded Delays
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Michigan State University（密歇根州立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文从概率角度分析了异步并行方法在无界延迟下的收敛性，给出了依赖延迟统计的显式步长公式，并通过实验验证了理论模型的正确性，展示了传统最大延迟诱导步长过于保守的问题。
2017-11-15 cs.DC cs.NA math.NA
Randomized Gathering of Asynchronous Mobile Robots
本文回顾了广泛研究的\textit{gathering}问题的两个机器人的情况下，允许随机化的异步调度模型。调度器被认为是对手，它决定了机器人的激活时间表。基于对随机比特结果的了解，对手有两种类型，即遗忘型和自适应型。机器人遵循\textit{wait-look-compute-move}循环。在本文中，我们根据对手控制等待时间，计算延迟和机器人速度等参数的能力对问题进行分类，并检查收集对抗知识和能力的可行性。主要贡献包括：（i）零计算延迟;（ii）等待时间和计算延迟之和大于一个正值的不经意对手收集的可能性。我们用不可能来补充可能性。我们表明，这是不可能的机器人聚集对非负等待时间和非负计算延迟的自适应对手。最后，我们还扩展了我们的算法，多个机器人合并。
2019-09-22 cs.DC
Asynchronous Federated Learning Using Outdated Local Updates Over TDMA Channel
本文针对TDMA通信网络中的异步联邦学习，提出将设备分组以并行计算与通信，并通过引入有意延迟减少本地更新过时性，从而在资源受限无线网络中加速收敛。
2024-11-21 cs.DC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全中心）
我们研究了异步随机梯度下降算法的分布式训练$n$工人，随着时间的推移，具有不同的计算和通信频率。在该算法中，工作者以自己的速度并行计算随机梯度，并将其返回给服务器，而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代，其中$σ$表示随机梯度的方差。在这项工作中，（i）我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法，其中$τ_{avg}$是平均延迟，它可以显着小于$τ_{\max}$。我们还提供了（ii）一个简单的延迟自适应学习率计划，异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度，不需要任何额外的超参数调整，也不需要额外的通信。我们的结果允许第一次表明，异步SGD总是比小批量SGD更快。此外，（iii）我们考虑了由联邦学习应用程序驱动的异构函数的情况，并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是，我们表明，在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
Queuing dynamics of asynchronous Federated Learning
LISITE；Isep；Sorbonne Univ.（索邦大学）；Huawei Tech.（华为技术有限公司）；CNRS（法国国家科学研究中心）；LAAS；IRIT；HSE University（高等经济大学）；CMAP Ecole Polytechnique（巴黎综合理工学院CMAP）
本文针对节点计算速度不同的异步联邦学习，提出基于封闭Jackson网络结构的非均匀采样方案，以更低延迟和更好复杂度显著提升图像分类性能。
2024-02-12 cs.DC cs.LG stat.ML
Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation
POSTECH（POSTECH大学）
针对异步流水线并行中梯度陈旧性随流水线深度线性增长的问题，提出基旋转框架，通过将优化器坐标系与Hessian特征基对齐来保持延迟更新的有效性，理论证明最小化基失配并实证在3B参数LLM训练中减少81.7%迭代次数。
2026-05-27 cs.AI cs.DC cs.LG
AsySPA: An Exact Asynchronous Algorithm for Convex Optimization Over Digraphs
本文提出了一种新的精确分布式异步次梯度推进算法（AsySPA）来解决有向图上的加性成本优化问题，其中每个节点只能访问局部凸函数并以任意速率异步更新。具体来说，强连通有向图的每个节点不等待来自其他节点的更新，而是简单地通过使用从其内邻居获得的局部信息在任何有界时间间隔内开始新的更新。“精确”意味着AsySPA的每个节点都可以渐近收敛到相同的最优解，即使节点之间的更新速率不同，通信延迟有限。为了解决不均匀的更新率，我们设计了一个简单的机制，自适应调整步长每次更新在每个节点，这是从现有的作品有很大的不同。然后，我们构造了一个无延迟的增广系统来解决延迟和延迟，并通过提出一个广义次梯度算法来研究其收敛性，这显然有其自身的意义，并有助于我们明确地评估AsySPA的收敛速度。最后，我们从理论和仿真两个方面展示了AsySPA的优势。
2019-08-01 cs.DC math.OC
Time-Efficient Read/Write Register in Crash-prone Asynchronous Message-Passing Systems
原子寄存器无疑是计算科学最基本的对象。它在一个n进程异步消息传递系统上的实现已经受到了很多关注。已经表明，t \textless{} n/2（其中t是可能崩溃的进程的最大数量）是在易崩溃的异步消息传递系统之上构建原子寄存器的必要且充分的要求。考虑到这样的背景下，本文访问的概念，原子寄存器的快速实现，并提出了一个新的时间有效的异步算法。它的时间效率是根据两个不同的基本同步假设来衡量的。无论这个假设是什么，写操作总是要花费一个往返延迟，而读操作在有利的情况下（直观地说，当它与写操作不并发时）总是要花费一个往返延迟。在设计该算法时，设计精神是尽可能接近著名的ABD算法（由Attiya，Bar-Noy和Dolev提出）。
2016-01-19 cs.DC
Mahi-Mahi: Low-Latency Asynchronous BFT DAG-Based Consensus
Mahi-Mahi是首个基于未认证DAG的异步BFT共识协议，通过放弃显式认证减少消息和CPU开销，并引入新颖的提交规则，在广域网中实现亚秒级延迟和每秒超10万笔交易，显著优于现有协议。
2024-10-17 cs.CR cs.DC
Consistent Bounded-Asynchronous Parameter Servers for Distributed ML
Carnegie Mellon University（卡内基梅隆大学）
在分布式ML应用程序中，共享参数通常在计算节点之间复制，以最大限度地减少网络开销。因此，必须仔细选择合适的一致性模型，以确保算法的正确性和提供高吞吐量。通用数据库和现代分布式ML系统中使用的现有一致性模型要么过于宽松，无法保证ML算法的正确性，要么过于严格，因此无法充分利用底层分布式系统的计算能力。许多ML算法属于\emph{iterative convergent algorithms}的范畴，它从随机选择的初始点开始，通过迭代地重复一组过程来收敛到最优值。我们已经发现，许多这样的算法是有限数量的不一致性，仍然正确收敛。这个属性允许分布式ML放松严格的一致性模型，以提高系统性能，同时从理论上保证算法的正确性。本文提出了几种异步并行计算的松弛一致性模型，并从理论上证明了它们的算法正确性。所提出的一致性模型在分布式参数服务器中实现，并在流行的ML应用程序：主题建模的上下文中进行评估。
2013-12-31 cs.DC cs.LG stat.ML
Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays
MCS, Argonne National Laboratory（高级计算科学部门，阿贡国家实验室）
针对联邦学习中异步通信下异构客户端与非IID数据导致的全局模型偏差问题，提出无需客户端采样的AREA随机优化方法，通过客户端内存修正偏差、传输模型残差提升安全性，在不同凸性场景下均实现更优收敛速率与鲁棒性。
2025-10-06 cs.DC cs.LG
Adaptive Braking for Mitigating Gradient Delay
Cerebras Systems；Google（谷歌）
神经网络训练通常通过使用多个同步工作器并行计算梯度更新来加速。异步方法消除了同步开销，提高了硬件利用率，但代价是引入了梯度延迟，这阻碍了优化，并可能导致最终模型性能降低。我们引入自适应制动（AB），基于动量的优化器的修改，减轻梯度延迟的影响。AB基于梯度和速度的对齐动态缩放梯度。这可以抑制沿着损失表面的高曲率方向的振荡，稳定和加速异步训练。我们表明，在SGD之上应用AB和动量，可以在CIFAR-10和ImageNet-1 k上训练ResNet，延迟$D \geq$ 32个更新步骤，最终测试精度下降最小。
2020-07-10 cs.DC cs.LG math.OC
Byzantine Consensus in the Random Asynchronous Model
本文提出随机异步模型，移除对抗性调度，保留无界延迟和拜占庭故障，分析不同弹性阈值下共识的概率保证，并给出不可能性结果。
2025-05-26 cs.DC
