Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction
在大数据时代，优化大规模机器学习问题成为一项具有挑战性的任务，并引起了极大的关注。异步优化算法是一种很有前途的解决方案。最近，解耦异步近似随机梯度下降（DAP-SGD）被提出来最小化一个复合函数。它声称能够通过允许工作者评估邻近运算符来将计算瓶颈从服务器卸载到工作者，因此，服务器只需要进行元素操作。但由于随机梯度的方差不为零，该算法收敛速度较慢。本文提出了一种更快的方法，解耦异步近似随机方差降低梯度下降方法（DAP-SVRG）。证明了该方法对强凸问题具有线性收敛性。本文还进行了大规模的实验，结果证实了我们的理论分析。
2016-09-29 cs.LG math.OC
Asynchronous Stochastic Composition Optimization with Variance Reduction
University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）
组合优化在从风险管理到强化学习的各种机器学习领域中引起了广泛的关注。现有的求解组合最优化问题的方法多采用单机顺序求解的方式，限制了其在大规模问题中的应用。为了解决这个问题，本文提出了两个异步并行方差减少随机组成梯度（AsyVRSC）算法，适合于处理大规模数据集。这两个算法是AsyVRSC-Shared的共享内存架构和AsyVRSC-Distributed的主从架构。嵌入式方差减少技术使算法能够实现线性收敛速率。此外，AsyVRSC-Shared和AsyVRSC-Distributed享受可证明的线性加速比，当时间延迟分别由数据维数或部分梯度的稀疏比限制时。大量的实验验证了所提出的算法的有效性。
2018-11-15 cs.DC cs.LG math.OC
SFL-LEO: Asynchronous Split-Federated Learning Design for LEO Satellite-Ground Network Framework
Institute of Space Internet, Fudan University（复旦大学空间互联网研究所）；School of Computer Science, Fudan University（复旦大学计算机学院）；School of Information Science and Technology, Fudan University（复旦大学信息科学与技术学院）
针对LEO卫星网络高动态性和卫星计算能力受限问题，首次提出SFL-LEO框架，结合联邦学习与分割学习并利用卫星周期性轨道特性，通过异步训练策略提升训练性能，实验表明其精度与传统SL方案相当。
2025-04-18 cs.DC cs.LG cs.NI
Asynchronous Federated Continual Learning
University of Padova（帕多瓦大学）
针对联邦学习中客户端异步且无序获取任务数据的现实问题，提出异步联邦持续学习设置（AFCL），并设计基于原型学习、表示损失、分形预训练与改进聚合策略的 FedSpace 方法，有效解决了多客户端异步持续学习任务。
2023-04-07 cs.CV cs.LG
SYNTHESIS: A Semi-Asynchronous Path-Integrated Stochastic Gradient Method for Distributed Learning in Computing Clusters
The Ohio State University（俄亥俄州立大学）；Iowa State University（爱荷华州立大学）
为了提高分布式学习的训练速度，近年来，人们对开发同步和异步分布式随机方差减少优化方法产生了极大的兴趣。然而，所有现有的同步和异步分布式训练算法遭受的各种限制，无论是收敛速度或实现复杂度。这促使我们提出了一种算法称为STNTHESIS（半异步路径集成随机梯度搜索），它利用特殊结构的方差减少框架，以克服同步和异步分布式学习算法的局限性，同时保留其显着的功能。我们认为两个实现STNTHESIS下的分布式和共享内存架构。我们表明，我们的STNTHESIS算法有$O(\sqrt{N}ε^{-2}(Δ+1)+N)$和$O(\sqrt{N}ε^{-2}(Δ+1) d+N)$计算复杂性为实现一个$ε$ -固定点在非凸学习分布式和共享内存架构下，分别，其中N表示的训练样本的总数和$Δ$代表的最大延迟的工人。此外，我们研究了\algname的推广性能，通过建立算法的稳定性界的二次强凸和非凸优化。我们进一步进行了大量的数值实验来验证我们的理论发现
2022-08-27 cs.LG
Integrating Asynchronous AdaBoost into Federated Learning: Five Real World Applications
Institute for Informatics and Automation Problems（信息学与自动化问题研究所）；Universidad Politécnica de Madrid（马德里理工大学）
本文提出融合自适应通信调度与延迟权重补偿的异步 AdaBoost 联邦学习框架，并通过五类真实应用验证其在效率、收敛和鲁棒性上的提升。
2025-06-10 cs.LG
Global optimization of expensive black-box models based on asynchronous hybrid-criterion with interval reduction
Northwestern Polytechnical University（西北工业大学）；Shanghai Electro-Mechanical Engineering Institute（上海机电工程研究所）
针对复杂黑箱模型的全局优化问题，提出了一种新的基于序贯代理的优化算法（SSBO），旨在提高算法的全局搜索能力和局部搜索效率.所提出的方法涉及三个基本的子标准异步填充新的样本，以平衡全局探索和局部开发。首先，根据目标函数和约束函数的当前代理模型，用遗传算法搜索全局最优解，以捕捉可能的全局最优解区域。其次，为了在样本稀疏的区域填充样本，提高代理模型的全局精度，采用基于当前代理模型的拉丁超立方体采样（Latin hypercube sampling，LHS）网格搜索来探索样本空间。第三，为了提高局部搜索效率，在缩减的区间内，利用局部代理模型，利用序列二次规划（SQP）搜索局部最优解，其中包含当前最优解附近的一些样本。当新样本与现有样本过于接近时，由于附加信息不足，应放弃新样本。根据这三个子准则，新的样本被放置在尚未被充分探索的区域中，并且包括可能的全局最优点。当找到一个可能的全局最优点时，局部搜索子准则快速捕获它周围的局部最优值。数值和工程算例验证了该方法的有效性。统计结果表明，该方法具有良好的全局搜索能力和效率。
2018-11-29 cs.LG stat.ML
SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning
Simon Fraser University（西蒙弗雷泽大学）
本文提出SplitFedZip方法，通过学习型压缩技术有效降低SplitFed学习中的数据传输量，在医学图像分割实验中显著减少通信开销并保持模型准确率。
2024-12-18 cs.LG
AET-SGD: Asynchronous Event-triggered Stochastic Gradient Descent
University of Connecticut（康涅狄格大学）
通信开销是设计有效的分布式学习算法的主要瓶颈。最近，事件触发技术已经被提出来减少计算节点之间的信息交换，从而减轻通信成本。然而，大多数现有的事件触发的方法只考虑启发式事件触发的阈值。它们还忽略了计算和网络延迟的影响，这对训练性能起着重要作用。在本文中，我们提出了一个异步事件触发的随机梯度下降（SGD）框架，称为AET-SGD，i）减少计算节点之间的通信成本，ii）减轻延迟的影响。与基线事件触发方法相比，AET-SGD采用线性增加的事件触发阈值，在保持良好收敛性能的同时，显著降低了通信开销。我们实现了AET-SGD，并在多个代表性数据集上评估了其性能，包括MNIST，FashionMNIST，KMNIST和CIFAR 10。实验结果验证了设计的正确性，并显示了显着的通信成本降低从44倍到120倍，相比最先进的。我们的研究结果还表明，AET-SGD可以抵抗大延迟从掉队节点，同时获得体面的性能和期望的加速比。
2021-12-27 cs.LG
Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
异步Q学习的目的是学习马尔可夫决策过程（MDP）的最优动作值函数（或Q函数），基于由行为策略诱导的马尔可夫样本的单个轨迹。聚焦于具有状态空间$\mathcal{S}$和动作空间$\mathcal{A}$的$γ$ -折扣MDP，我们证明了经典异步Q-学习的基于$\ell_{\infty}$的样本复杂度--即，产生Q-函数的逐项$\varepsilon$ -准确估计所需的样本数量--至多是$\frac{1}{μ_{\min}(1-γ)^5\varepsilon^2}+ \frac{t_{mix}}{μ_{\min}(1-γ)}$的数量级，直到某个对数因子，只要采用适当的恒定学习速率。这里，$t_{mix}$和$μ_{\min}$分别表示样本轨迹的混合时间和最小状态-动作占用概率。该界限的第一项与同步情况下的样本复杂度相匹配，其中独立样本是从轨迹的平稳分布中提取的。第二项反映了马尔可夫轨迹的经验分布达到稳定状态所需的成本，该成本在开始时发生，并随着算法的运行而摊销。令人鼓舞的是，对于所有场景，上述界限对现有技术结果\cite{qu2020finite}改进了至少$|\mathcal{S}||\mathcal{A}|$的因子，并且对于任何足够小的准确度水平$\varepsilon$，改进了至少$t_{mix}|\mathcal{S}||\mathcal{A}|$的因子。此外，我们证明，缩放…
2021-08-08 cs.LG eess.SP math.OC
FedDR -- Randomized Douglas-Rachford Splitting Algorithms for Nonconvex Federated Composite Optimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；IBM Research（IBM研究院）
我们开发了两个新的算法，称为FedDR和FedcFedDR，解决联邦学习中的一个基本的非凸复合优化问题。我们的算法依赖于一个新的组合之间的非凸道格拉斯-Rachford分裂方法，随机块坐标策略，和异步实现。它们也可以处理凸正则化器。与文献中最近的方法不同，例如，FedSplit和FedPD，我们的算法在每个通信回合只更新一部分用户，并且可能以异步方式更新，使它们更实用。这些新算法可以处理统计和系统异构性，这是联邦学习中的两个主要挑战，同时实现最佳的通信复杂性。事实上，我们的新算法匹配的通信复杂度下限到一个常数因子下的标准假设。我们的数值实验说明了我们的方法比现有的算法在合成和真实数据集的优势。
2021-10-28 cs.DC cs.LG stat.ML
Predicting Traffic Flow with Federated Learning and Graph Neural with Asynchronous Computations Network
针对实时交通流预测中精度与效率难以兼顾的问题，提出FLAGCN，融合异步时空图卷积与GraphFL联邦学习，在两个数据集上显著降低RMSE和MAPE并优化训练推理时间。
2024-04-05 cs.CV cs.LG
Gear Training: A new way to implement high-performance model-parallel training
深度神经网络的训练通常需要大量的计算资源。因此，许多深度模型是在大型集群中训练的，而不是在单个机器或GPU中训练的。虽然目前的主要研究尝试使用异步异步随机梯度下降（ASGD）在所有机器上运行整个模型，但我们提出了一种并行训练深度模型的新方法--将模型拆分，然后以不同的速度分别训练模型的不同部分。
2018-06-11 cs.LG stat.ML
Faster Asynchronous SGD
异步分布式随机梯度下降法由于梯度失效而难以收敛。如果用于计算梯度的参数已经在服务器上更新，则由客户端发送到参数服务器的梯度更新是陈旧的。已经提出了一些方法来规避这个问题，这些方法根据经过的更新的数量来量化陈旧性。在这项工作中，我们提出了一种新的方法，量化陈旧的梯度统计的移动平均值。我们表明，这种方法优于以前的方法在收敛速度和可扩展性，许多客户端。我们还讨论了如何扩展这种方法可以用来大大降低带宽成本的分布式训练环境。特别是，我们的方法可以减少总带宽使用的一个因素，5成本收敛的影响很小。我们还描述了（和链接到）一个软件库，我们已经用来模拟这些算法确定性在一台机器上。
2016-01-15 cs.LG stat.ML
AsyncWebRL: Efficient Asynchronous Reinforcement Learning for Multi-Step Visual Web Agents
UIUC（伊利诺伊大学香槟分校）；Microsoft（微软）；CMU（卡内基梅隆大学）
提出异步系统设计和算法改进，解决多步强化学习中GPU空闲和轨迹过长问题，实现训练吞吐量提升2.9倍，并在WebGym测试集上取得新最优结果。
2026-08-10 cs.LG
Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO)
Steinbuch Centre for Computing (SCC)（施泰因布赫计算中心（SCC））；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））；Institute for Software Technology (SC)（软件技术研究所（SC））；German Aerospace Center (DLF)（德国航空航天中心（DLF））
随着数据和模型复杂性的增加，训练神经网络所需的时间变得非常长。为了解决训练时间的指数增长，用户转向数据并行神经网络（DPNN），以利用计算机集群上的大规模分布式资源。目前的DPNN方法通过阻塞通信操作来同步和平均所有进程的梯度来实现网络参数更新。这种同步是算法的核心瓶颈。为了解决这个问题，我们引入了分布式异步和选择性优化（DASO）方法，该方法利用多GPU计算节点架构来加速网络训练。DASO使用分层和异步通信方案，包括节点本地和全局网络，同时在学习过程中调整全局同步速率。我们表明，与其他现有的数据并行训练方法相比，DASO在经典和最先进的网络上的训练时间减少了34%。
2021-04-15 cs.DC cs.LG
XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training
National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了XPipe，一种用于多GPU DNN训练的高效异步管道模型并行方法。XPipe旨在使用多个GPU来并行和连续地训练DNN模型的不同部分。为了提高GPU利用率并实现高吞吐量，它将一个小批处理拆分为一组微批处理。它允许多个微批次的管道重叠，包括属于不同小批次的管道。最重要的是，XPipe采用的新的权重预测策略使其能够有效地解决异步流水线并行引起的权重不一致和过时问题。因此，XPipe结合了同步和异步管道模型并行方法的优点。实验结果表明，XPipe的性能优于其他同步和异步模型并行方法。
2020-11-09 cs.LG cs.PF
FedAST: Federated Asynchronous Simultaneous Training
Carnegie Mellon University（卡内基梅隆大学）
本文提出FedAST，一种缓冲异步联邦同步训练算法，通过克服慢速模型瓶颈并自适应分配客户端资源，在多任务训练中实现高达46.0%的时间减少，并提供理论收敛保证。
2024-06-01 cs.DC cs.LG
Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability
Maxeler Technologies, a Groq Company（Maxeler Technologies，Groq公司）；ETH Zurich / CSCS（苏黎世联邦理工学院 / CSCS）；Georgia Institute of Technology（佐治亚理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文揭示GPU上浮点非结合性与异步并行累加可在无输入扰动时导致深度学习分类错误，并提出基于贝叶斯优化的黑盒攻击和基于梯度的可学习置换方法，用于高效评估和暴露该机器级脆弱性。
2025-08-22 cs.DC cs.LG
GossipGraD: Scalable Deep Learning using Gossip Communication based Asynchronous Gradient Descent
Pacific Northwest National Laboratory（太平洋西北国家实验室）
在本文中，我们提出了GossipGraD -一种基于流言通信协议的随机梯度下降（SGD）算法，用于在大规模系统上扩展深度学习（DL）算法。GossipGraD的突出特点是：1）将总体通信复杂性从充分研究的SGD中的p个计算节点的θ（log（p））降低到O（1），2）模型扩散，使得计算节点交换它们的更新（梯度）在每个log（p）步之后间接地，3）通信伙伴的旋转以便于梯度的直接扩散，4）在SGD中的前馈阶段期间异步分布式混洗样本以防止过拟合，5）异步梯度通信以进一步降低SGD和GossipGraD的通信成本。我们为GPU和CPU集群实现了GossipGraD，并使用NVIDIA GPU（Pascal P100）与InfiniBand连接，以及Intel Knights Landing（KNL）与Aries网络连接。我们使用经过充分研究的数据集ImageNet-1 K（~ 250 GB）和广泛研究的神经网络拓扑结构（如GoogLeNet和ResNet 50（ImageNet大规模可视化研究挑战赛（ILSVRC）的当前获胜者）来评估GossipGraD。我们使用KNL和Pascal GPU的性能评估表明，GossipGraD可以实现这些数据集及其相关的神经网络拓扑结构的完美效率。具体而言，对于ResNet 50，GossipGraD能够使用128个NVIDIA Pascal P100 GP…
2018-03-15 cs.DC cs.LG
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
针对基数约束下的稀疏学习问题，提出了一种随机方差缩减优化算法。充分条件下，该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明，我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Federated Learning based on Pruning and Recovery
Beijing University of Posts and Telecommunications（北京邮电大学）
提出一种结合异步学习与剪枝技术的异构环境联邦学习框架，通过逐步恢复模型大小、引入缓冲机制及优化通信，显著减少训练时间并提升收敛精度，在异构和非独立同分布场景下优势更明显。
2024-03-16 cs.DC cs.LG
Reducing Communication for Split Learning by Randomized Top-k Sparsification
Zhejiang University（浙江大学）；Sony AI（索尼AI）；Midea Group（美的集团）
本文针对分割学习通信效率问题，提出随机 top-k 稀疏化方法，在相同压缩水平下取得优于现有通信减少方法的模型性能。
2023-05-29 cs.DC cs.LG
Second-Order Optimization with Asynchronous Curvature
Machine Learning and Optimization Laboratory（机器学习与优化实验室）
本文提出Split-Client框架，通过分离梯度和曲率计算过程，解决二阶优化中Hessian计算的瓶颈问题，实现延迟自适应的优化方法，取得更优的收敛率。
2026-10-12 cs.LG math.OC
AReaL-Hex: Accommodating Asynchronous RL Training over Heterogeneous GPUs
HKUST（香港科技大学）；Tsinghua University（清华大学）；Ant Group（蚂蚁集团）
本文提出AReaL-Hex，一个感知异构性的异步RL训练系统，通过两阶段调度器（MILP约束搜索和图划分）在异构GPU上优化rollout生成与策略训练，在保证数据陈旧度边界下，较同构部署实现最高1.50倍吞吐量提升和1.46倍成本降低。
2025-11-02 cs.DC cs.LG
Asynchronous Decentralized SGD with Quantized and Local Updates
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；University of Surrey（萨里大学）；ETH Zurich（苏黎世联邦理工学院）
分散式优化正在成为可扩展的分布式机器学习的可行替代方案，但也在同步成本方面引入了新的挑战。为此，几个通信减少技术，如非阻塞通信，量化和本地步骤，已被探索在分散设置。由于在这样一个宽松的环境中分析优化的复杂性，这类工作通常假设\emph{global}通信轮，这需要额外的同步。在本文中，我们认为分散优化的简单，但很难分析，\emph{asynchronous gossip}模型，其中通信发生在离散的，随机选择的节点之间的配对。也许令人惊讶的是，我们表明，SGD的一个变种称为\emph{SwarmSGD}仍然收敛在这种设置，即使\emph{non-blocking communication}，\emph{quantization}，和\emph{local steps}都适用于\emph{in conjunction}，即使节点数据分布和底层图形拓扑结构都是\emph{heterogenous}。我们的分析是基于一个新的连接与多维负载平衡过程。我们实现了该算法，并将其部署在超级计算环境中，表明它在端到端训练时间方面优于以前的分散方法，甚至可以与精心调整的大批量SGD相媲美。
2022-03-25 cs.DC cs.LG stat.ML
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）
方差缩减（VR）方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降（SGD）的性能。然而，当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算（使用整个数据集）。这限制了VR方法在实际分布式环境中的使用。在本文中，我们提出了一种方差降低方法，称为VR-lite，不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种，可扩展的，保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法，并发现我们提出的算法表现良好，其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach
EMINES, Mohammed VI Polytechnic University（穆罕默德六世理工大学 EMINES 学院）；LAAS-CNRS, Université de Toulouse, CNRS（法国国家科学研究中心图卢兹分析系统实验室，图卢兹大学）
本文提出一种随机网络框架，分析异步联邦学习中梯度滞后与收敛速度的权衡，并通过实验展示改进的收敛速度和能耗效率。
2026-03-27 cs.LG cs.PF math.OC
