On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS（LAAS-法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
我们描述了并行或分布式异步迭代算法的几个特点，如无界延迟，可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后，给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
An Asynchronous Parallel Approach to Sparse Recovery
Claremont McKenna College（克莱蒙特麦肯纳学院）；Claremont Graduate University（克莱蒙特研究生大学）
异步并行计算和稀疏恢复是最近受到关注的两个领域。异步算法经常被研究来解决优化问题，其中成本函数采用$\sum_{i=1}^M f_i(x)$的形式，其中通常假设每个$f_i$是稀疏的;也就是说，每个$f_i$仅作用于$x\in\mathbb{R}^n$的少量分量。稀疏恢复问题（例如压缩感测）可以被公式化为优化问题，然而，成本函数$f_i$相对于$x$的分量是密集的，并且相反地，信号$x$被假设为稀疏的，这意味着它仅具有$s$非零，其中$s\ll n$。在这里，我们解决如何可以使用异步并行架构时，成本函数$f_i$不是稀疏的$x$，而是信号$x$是稀疏的。我们提出了一种异步并行方法稀疏恢复通过随机贪心算法，其中多个处理器异步更新共享内存中的向量包含信息的估计信号支持。我们包括数值模拟，说明我们提出的异步方法的潜在好处。
2017-01-12 cs.DC cs.LG
PipeMare: Asynchronous Pipeline Parallel DNN Training
SambaNova Systems（桑巴诺瓦系统公司）；Stanford University（斯坦福大学）；Cornell University（康奈尔大学）
训练神经网络时的流水线并行（PP）使更大的模型能够在空间上进行分区，从而降低网络通信和整体硬件利用率。不幸的是，为了保持顺序训练的统计效率，现有的PP技术通过降低流水线利用率或招致额外的存储器成本来牺牲硬件效率。在本文中，我们调查在何种程度上这些牺牲是必要的。我们设计的PipeMare，一个简单而强大的训练方法，容忍在PP执行过程中的异步更新，而不牺牲利用率或内存，这允许有效地使用细粒度的流水线并行。具体来说，当在ResNet和Transformer网络上进行测试时，与最先进的同步PP训练技术相比，Apploy使PipeMare能够使用最多$2.7\times$更少的内存或获得$4.3\times$更高的管道利用率，同时具有类似的模型质量。
2020-02-09 cs.DC cs.LG stat.ML
On Unbounded Delays in Asynchronous Parallel Fixed-Point Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
对可扩展的数值解的需求推动了异步并行算法的发展，其中一组节点在很少或没有同步的情况下并行运行，从而使用延迟信息进行计算。本文研究了异步并行算法ARock在潜在无界时滞下的收敛性。ARock是一种通用的异步算法，有着广泛的应用。它通过让一组节点随机选择解坐标并以异步并行方式更新它们来并行不动点迭代。ARock将最近的一些异步坐标下降算法作为特例，提出了新的异步算子分裂算法。现有的ARock分析假设延迟是有界的，并使用该界来设置对收敛和效率都很重要的步长。其他的工作，虽然允许无限的延迟，对底层的不动点算子施加了严格的条件，导致有限的应用。在本文中，收敛建立无界时滞，这可以是随机的或确定性的。建议的步长更实用，一般比现有的工作。步长适应于延迟分布或系统中经历的当前延迟。新的李雅普诺夫函数，这是分析异步算法的关键，产生获得我们的结果。给出了一套具有大规模应用的实用优化算法，包括机器学习算法和科学计算算法。
2017-08-17 cs.DC cs.LG math.OC
Improved asynchronous parallel optimization analysis for stochastic incremental methods
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）；Université de Montréal（蒙特利尔大学）
随着数据集规模的不断增加和多核计算机体系结构的发展，异步并行优化算法对机器学习领域变得越来越重要。不幸的是，进行理论分析异步方法是困难的，特别是由于引入延迟和不一致的固有顺序算法。处理这些问题往往需要诉诸简化但不切实际的假设。通过一个新的视角，我们重新审视并澄清了一个微妙但重要的技术问题，这个问题存在于最近异步并行优化算法的大部分收敛速度证明中，并提出了一个简化的“扰动迭代”框架来解决这个问题。我们通过分析三个不同的异步并行增量优化算法来证明我们的新框架的有用性：Hogwild（异步SGD）、KROMAGNON（异步SVRG）和ASAGA，增量梯度算法SAGA的一种新型异步并行版本，具有快速的线性收敛速率。我们能够消除有问题的假设，并获得更好的理论结果。值得注意的是，我们证明了ASAGA和KROMAGNON可以获得理论上的线性加速多核系统，即使没有稀疏性假设。我们提出了一个40核架构上的实现结果，说明了实际的加速比以及硬件开销。最后，我们调查的重叠常数，一个不好理解的，但中心量的异步并行算法的理论分析。我们发现，它包含了更多的复杂性比以前的工作中提出的，往往是数量级大于传统上认为的。
2019-03-21 cs.LG math.OC stat.ML
ASAGA: Asynchronous Parallel SAGA
INRIA - Sierra Project-team（法国国家信息与自动化研究所 - Sierra 项目组）；École normale supérieure, Paris（巴黎高等师范学院）
我们描述ASAGA，异步并行版本的增量梯度算法SAGA，享有快速的线性收敛速率。通过一个新的视角，我们重新审视并澄清了一个微妙的，但重要的技术问题，目前在很大一部分的异步并行优化算法的收敛速度证明，并提出了一个简化的最近推出的“扰动收敛速度”的框架，解决了它。我们提出了一个40核架构上的实现结果，说明了实际的加速以及硬件开销。
2017-11-08 cs.LG math.OC stat.ML
Second-Order Convergence of Asynchronous Parallel Stochastic Gradient Descent: When Is the Linear Speedup Achieved?
Beijing Jiaotong University（北京交通大学）
在机器学习中，异步并行随机梯度下降（APSGD）被广泛用于通过多个工人来加速训练过程。同时，异步算法中的陈旧梯度的时间延迟通常与工作者的总数成比例，这由于使用延迟梯度而带来了与精确梯度的额外偏差。这可能对算法的收敛性有负面影响。有人可能会问：我们最多可以使用多少工人来实现良好的收敛和线性加速？本文研究非凸优化问题异步算法的二阶收敛性。我们研究了在严格鞍点附近具有一致读的APSGD的行为，并从理论上保证了如果工作者的总数目以$\widetilde{O}(K^{1/3}M^{-1/3})$为界（$K$是总步骤，$M$是最小批量），APSGD将收敛到好的稳定点（$||\nabla f(x)||\leq ε, \nabla^2 f(x)\succeq -\sqrtε\bm{I}, ε^2\leq O(\sqrt{\frac{1}{MK}}) $），并且实现了线性加速比.我们的工作给出了异步算法的二阶收敛的第一个理论保证。我们提供的技术可以推广到分析其他类型的异步算法，以了解异步算法在分布式异步并行训练中的行为。
2020-06-07 cs.LG math.OC stat.ML
Tell Me Something New: A New Framework for Asynchronous Parallel Learning
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一种新的并行计算方法，在机器学习的背景下，我们称之为“告诉我一些新的”（TMSN）。这种方法涉及到一组独立的工作者，当他们观察到“新的东西”时，他们使用广播来相互更新。TMSN不需要同步或头节点，并且对故障机器或落后者具有很高的弹性。我们证明了实用的TMSN应用于学习提升树。我们表明，我们的实现是10倍的速度比XGBoost和LightGBM的剪接位点预测问题。
2018-05-23 cs.LG stat.ML
Advances in Asynchronous Parallel and Distributed Optimization
ABB（ABB集团）
受机器学习背景下出现的大规模优化问题的启发，在过去十年中，异步并行和分布式优化方法的研究取得了一些进展。异步方法不要求所有处理器维护优化变量的一致视图。因此，它们通常可以比同步方法更有效地利用计算资源，并且它们对像掉队者（即，慢节点）和不可靠的通信链路。异步方法的数学建模涉及信息延迟的适当会计，这使得它们的分析具有挑战性。本文回顾了异步优化方法的设计和分析的最新进展，包括集中式方法，其中所有处理器更新优化变量的主副本，和分散式方法，其中每个处理器维护变量的本地副本。该分析提供了关于模糊度如何影响收敛速度的见解，特别是在随机优化方法中。
2020-06-24 cs.LG math.OC stat.ML
Asynchronous Batch Bayesian Optimisation with Improved Local Penalisation
University of Oxford（牛津大学）；Mind Foundry Ltd.（Mind Foundry有限公司）；Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）
批量贝叶斯优化（BO）已成功应用于使用并行计算的超参数调整，但它浪费资源：提前完成工作的工人被闲置。我们解决这个问题，开发一种方法，惩罚本地异步贝叶斯优化$k$工人（PLAyBOOK），异步并行BO。我们证明经验的有效性PLAYBOOK及其变种的合成任务和现实世界的问题。我们对同步BO和异步BO进行了比较，结果表明，异步BO在挂钟时间和函数求值次数方面通常优于同步批处理BO。
2019-05-28 cs.AI cs.LG stat.ML
Asynchronous Parallel Empirical Variance Guided Algorithms for the Thresholding Bandit Problem
University of Rochester（罗切斯特大学）
本文考虑了Locatelli等人最近提出的多臂阈值强盗问题-通过尽可能少的拉动（或回合）来识别预期奖励高于预定义阈值的所有手臂。虽然Locatelli等人提出的算法。[2016]在一定意义上实现了最优轮复杂度，但仍然存在未解决的问题。本文提出了一种异步并行阈值算法及其无参数版本，以提高效率和适用性。一方面，这两种算法在每轮都使用经验方差来指导拉取决策，显著提高了“最优”算法在所有手臂高阶矩有界时的轮复杂度。所提出的算法可以被证明是最优的。另一方面，大多数强盗算法假设在拉取之后可以立即观察到奖励，或者在观察到所有奖励之前不会做出下一个决定。我们提出的异步并行算法允许选择下一个拉与未观察到的奖励从早期的拉，这避免了这样一个不切实际的假设，并显着提高了识别过程。我们的理论分析证明了所提出的异步并行算法的有效性和效率。
2017-07-09 cs.LG stat.ML
ASAP: Asynchronous Approximate Data-Parallel Computation
NEC Labs（NEC实验室）
新兴的工作负载（如图形处理和机器学习）是近似的，因为涉及的数据规模和底层算法的随机性。这些算法通常使用批量同步处理（BSP）或其他同步处理范例（如map-reduce）分布在多台机器上。然而，数据并行处理原语，如重复的屏障和减少操作引入高同步开销。因此，许多现有的数据处理平台使用的并行性和陈旧性，以提高数据并行作业的性能。通常，这些系统只是将集群中工作节点之间的同步通信更改为异步通信。这提高了数据处理的吞吐量，但导致最终输出的准确性差，因为不同的工作者可能以不同的速度前进，并处理不一致的中间输出。在本文中，我们提出了ASAP，一个模型，提供异步和近似的处理语义的数据并行计算。ASAP使用NOTIFY-ACK语义提供细粒度的工作进程同步，允许独立的工作进程异步运行。ASAP还提供了随机约简，它提供了近似但保证收敛到与聚合所有约简相同的结果。在我们的研究结果中，我们表明ASAP可以降低同步成本，并为分布式机器学习应用提供2- 10倍的收敛加速和高达10倍的网络成本节省，并提供强大的收敛保证。
2016-12-27 cs.DC cs.LG
Nesterov Method for Asynchronous Pipeline Parallel Optimization
Pluralis Research（普卢拉里斯研究院）
针对流水线并行异步优化中梯度陈旧问题，提出NAG变体修改前瞻步骤，理论证明次线性收敛，1B参数实验超越同步基线。
2025-05-02 cs.DC cs.LG
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University（爱荷华州立大学）；University of Kentucky（肯塔基大学）
PARyOpt是一个基于Python的贝叶斯优化例程的实现，专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤，其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题，通过异步更新。我们制定，开发和实现一个并行的，异步的贝叶斯优化的变种。该框架是稳健的，能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外，我们展示了该框架的软件设计如何允许轻松扩展到响应面重建（克里格），提供了一个高性能的自主探索软件。该软件可在PyPI上使用，并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
ByteDance Seed（字节跳动种子）
本文提出AsyncHZP，一种异步分层的ZeRO并行方法，通过自适应重分片和多流异步调度降低通信开销，在保持简单性的同时实现优于ND并行的可扩展LLM训练性能。
2025-10-23 cs.DC cs.LG
Hybrid Approach to Parallel Stochastic Gradient Descent
School of Computing；Augmented Intelligence Arizona State University Tempe AZ USA；Augmented Intelligence Arizona State University
本文提出一种结合同步与异步的数据并行混合方法，通过阈值函数逐步切换参数聚合方式，在相同时间内取得优于纯同步和纯异步的训练性能。
2024-06-27 cs.AI cs.CC cs.DC
AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China（区块链与数据安全国家重点实验室，浙江大学，杭州，中国）；College of Computer Science and Technology, Zhejiang University, Hangzhou, China（计算机科学与技术学院，浙江大学，杭州，中国）
针对异步流水线并行中参数不匹配导致收敛退化的问题，提出AMDP方法，通过限制流水线第一阶段处理小批量数量、启动多条并发流水线并自适应调整数量、以及跨小批量累积梯度后单次更新，在保持高利用率的同时加速训练并保证收敛。
2026-05-28 cs.DC cs.LG
Asynchronous Stochastic Variational Inference
Bournemouth University（伯恩茅斯大学）；IMT Lille Douai（IMT里尔杜埃）
随机变分推断（SVI）采用随机最优化将贝叶斯计算扩展到海量数据。由于SVI的核心是一种基于随机梯度的算法，因此可以利用水平并行来进行更大规模的推理。我们提出了一个无锁的并行实现SVI，它允许分布式计算在多个奴隶在异步风格。我们表明，我们的实现导致线性加速，同时保证渐近遍历收敛速度（$O(1/\sqrt(T)$）给定的奴隶的数量是有界的$\sqrt(T)$（$T$是迭代的总次数）。该实现是在高性能计算（HPC）环境中使用Python的消息传递接口（MPI）（MPI4py）完成的。大量的实证评估表明，我们的并行SVI是无损的，表现良好，其对应的串行SVI与线性加速。
2018-01-12 cs.DC cs.LG stat.ML
A Model Parallel Proximal Stochastic Gradient Algorithm for Partially Asynchronous Systems
University of Alberta（阿尔伯塔大学）
大模型在现代机器学习场景中普遍存在，包括深度学习、推荐系统等，其可以具有数百万甚至数十亿个参数。并行算法已经成为解决大规模机器学习问题的重要技术。在本文中，我们提出了一个模型并行近似随机梯度算法，AsyB-ProxSGD，处理大模型使用模型并行块更新，同时处理大量的训练数据，使用近似随机梯度下降（ProxSGD）。在我们的算法中，工人节点与参数服务器异步通信，每个工人在每次迭代过程中只对一个模型参数块执行近似随机梯度。我们提出的算法推广ProxSGD的异步和模型并行设置。我们证明了AsyB-ProxSGD实现了$O(1/\sqrt{K})$的收敛速度下\emph{constant} minibatch大小的非凸问题的稳定点，其中$K$是块更新的总数。这个速度与广泛的类梯度算法的最佳收敛速度相匹配。此外，我们表明，当工人的数量是由$O(K^{1/4})$的限制，我们可以预期AsyB-ProxSGD实现线性加速工人的数量增加。我们在MXNet上实现了所提出的算法，并在涉及大模型大小和大量数据的真实数据集上展示了其收敛行为和近线性加速比。
2018-10-19 cs.LG stat.ML
Adaptive Task Allocation for Asynchronous Federated and Parallelized Mobile Edge Learning
University of Idaho（爱达荷大学）；Queen’s University（女王大学）
本文提出了一种方案，以异步方式有效地执行分布式学习任务，同时最大限度地减少梯度老化的异构计算和通信能力的无线边缘节点。本文中考虑的方法确保所有设备在一定的持续时间内工作，该持续时间涵盖数据/模型分发、学习迭代、模型收集和全局聚合的时间。所得到的问题是一个整数非凸规划，二次等式约束以及线性等式和不等式约束。由于该问题是NP-难的，我们放松了整数约束，以便有效地解决它与可用的求解器。分析边界推导出使用KKT条件和拉格朗日分析结合的最佳和改进的方法。实验结果表明，该方法降低了梯度失效率，并能提供更好的准确性比同步计划和异步计划的平等任务分配。
2020-06-18 cs.DC cs.LG
AsyncQVI: Asynchronous-Parallel Q-Value Iteration for Discounted Markov Decision Processes with Near-Optimal Sample Complexity
Fudan University（复旦大学）；Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了AsyncQVI，折扣马尔可夫决策过程的过渡和奖励只能通过生成模型进行采样的一个并行Q值迭代。给定$|\mathcal{S}|$状态、$|\mathcal{A}|$动作和折扣因子$γ\in(0,1)$的这种问题，AsyncQVI使用大小为$\mathcal{O}(|\mathcal{S}|)$的存储器，并使用$$\tilde{\mathcal{O}}\big(\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^2}\log(\frac{1}δ)\big)$$样本返回概率至少为$1-δ$的$\varepsilon$最优策略。AsyncQVI也是第一个折扣马尔可夫决策过程的并行算法，其样本复杂度几乎与理论下界相匹配。相对较低的内存占用和并行能力使AsyncQVI适合大规模应用。在数值测试中，我们比较了AsyncQVI与四种基于样本的值迭代法。实验结果表明，该算法具有很高的效率，并达到了线性并行加速比。
2020-02-22 cs.LG math.OC
AutoML for neuromorphic computing and application-driven co-design: asynchronous, massively parallel optimization of spiking architectures
Argonne National Laboratory（阿贡国家实验室）
在这项工作中，我们扩展了AutoML启发的方法来探索和优化神经形态架构。通过集成的并行异步基于模型的搜索方法与仿真框架来模拟尖峰架构，我们能够有效地探索神经形态架构的配置空间，并确定在目标应用程序中导致最高性能的条件的子集。我们已经证明了这种方法的实时，片上学习应用程序的一个典型案例。我们的研究结果表明，我们可以有效地使用优化方法来优化复杂的架构，从而提供了一个可行的途径，以应用程序驱动的协同设计。
2023-02-26 cs.AR cs.LG cs.NE
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine（威尔康奈尔医学院）；IBM Research（IBM研究院）
由于深度学习模型通常庞大而复杂，分布式学习对于提高训练效率至关重要。此外，在许多现实世界的应用场景中，如医疗保健，分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习，其中存在存储全局模型的中央服务器和一组本地计算节点，所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器，这导致了沉重的通信成本。最近，异步分散式分布式学习被提出并被证明是一种更有效和实用的策略，其中没有中央服务器，因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输，但在通信过程中仍然存在信息泄漏的风险，以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD（ADPSGD）框架，简称A（DP）$^2$ SGD，它既保持了ADPSGD的通信效率，又防止了恶意参与者的干扰。具体地说，R{é}nyi差分隐私被用来提供更严格的隐私分析，我们的复合高斯机制，而收敛速度是一致的非隐私版本。理论分析表明，A（DP）$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上，A（DP）$^2$ SGD实现了与同步SGD（SSGD）的差分私有版本相当的模型精度，但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Medpace Inc.（Medpace公司）；GIW Industries Inc.（GIW工业公司）
高保真的复杂工程模拟具有高度的预测性，但计算成本也很高，通常需要大量的计算工作。在高性能集群（HPC）架构中，通常通过并行来减轻计算负担。在本文中，异步约束批并行贝叶斯优化方法提出了高效地解决计算昂贵的基于模拟的优化问题的HPC平台上，与预算的计算资源，其中的最大数量的模拟是一个常数。这种方法的优点有三方面。首先，提高了贝叶斯优化的效率，其中以异步方式大规模并行地评估多个输入位置，以加速关于物理运行时间的优化收敛。这个效率特性得到了进一步的提高，这样当每个输入完成时，就可以查询另一个输入，而不必等待整个批处理完成。第二，该方法可以处理已知和未知的约束。第三，该方法考虑了多个捕获功能在同一时间和样本的基础上不断变化的概率质量分布函数使用修改的GP-对冲计划，其中参数对应于每个捕获功能的性能。所提出的框架被称为aphBO-2GP-3B，它对应于异步并行对冲贝叶斯优化与两个高斯过程和三批。aphBO-2GP-3B框架使用两个高保真昂贵的工业应用程序进行演示，其中第一个是基于有限元分析（FEA），第二个是基于计算流体动力学（CFD）模拟。
2021-02-04 cs.LG stat.CO stat.ML
Asynchronous Distributed Optimization with Stochastic Delays
Stanford University（斯坦福大学）
我们研究异步有限和最小化在一个分布式数据设置与中央参数服务器。虽然在所有机器都可以访问数据的并行设置中很好地理解了并行性，例如，像SAGA这样的方差缩减梯度算法的修改工作得很好--对于分布式数据设置知之甚少。我们开发了一个算法ADSAGA的基础上SAGA的分布式数据设置，其中的数据被划分在许多机器之间。我们发现，与$m$机器，在一个自然的随机延迟模型与$m$的平均延迟，ADSAGA收敛于$\tilde{O}\left(\left(n + \sqrt{m}κ\right)\log(1/ε)\right)$迭代，其中$n$是组件功能的数量，和$κ$是一个条件数。该复杂性正好位于SAGA \textit{without delays}的复杂性$\tilde{O}\left(\left(n + κ\right)\log(1/ε)\right)$和并行异步算法的复杂性$\tilde{O}\left(\left(n + mκ\right)\log(1/ε)\right)$之间，其中延迟是\textit{arbitrary}（但以$O(m)$为界），并且数据可由所有人访问。现有的异步算法与分布式数据设置和任意延迟已被证明是收敛在$\tilde{O}(n^2κ\log(1/ε))$迭代。我们经验比较最小二乘问题的迭代复杂性和挂钟性能的ADSAGA现有的并行和分布式算法，包括同步minibatch算…
2021-03-10 cs.DC cs.LG stat.ML
High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文提出加速异步并行随机梯度下降方法A2PSGD，通过无锁调度、贪心负载均衡和Nesterov加速梯度，提升高维稀疏数据低秩表示的训练效率与准确率。
2024-08-29 cs.DC cs.LG
MindTheStep-AsyncPSGD: Adaptive Asynchronous Parallel Stochastic Gradient Descent
Chalmers University of Technology（查尔姆斯理工大学）
随机梯度下降（SGD）在高维非凸目标函数优化问题中非常有用，因此构成了若干机器学习和数据分析方法的重要组成部分。最近，有重要的工作，了解固有的并行性SGD，其收敛性能。异步并行SGD（AsyncPSGD）由于其所观察到的性能优势而受到特别关注。另一方面，这意味着在理解算法的执行及其收敛性方面存在固有的挑战，这源于线程的贡献可能基于旧的（陈旧的）状态视图。在这项工作中，我们的目标是加深AsyncPSGD的理解，以提高统计效率，在存在陈旧的梯度。我们提出了新的模型，捕捉在实际环境中的陈旧分布的性质。使用所提出的模型，我们推导出一个陈旧的自适应SGD框架，MindTheStep-AsyncPSGD，用于以在线方式调整步长，这可证明减少了重复的负面影响。此外，我们提供了一般的收敛时间范围为广泛的一类过时的自适应步长策略凸目标函数。我们还提供了详细的实证研究，展示了我们的方法如何意味着深度学习应用程序的更快收敛。
2019-11-08 cs.DC cs.LG
Model-based Asynchronous Hyperparameter and Neural Architecture Search
Amazon Web Services（亚马逊云科技）；University of Sydney（悉尼大学）
我们引入了一种基于模型的异步多保真度方法，用于超参数和神经结构搜索，该方法结合了异步Hyperband和基于高斯过程的贝叶斯优化的优点。我们方法的核心是一个概率模型，它可以同时跨超参数和资源级别进行推理，并支持在存在待定评估的情况下进行决策。我们证明了我们的方法在广泛的具有挑战性的基准测试，表格数据，图像分类和语言建模的有效性，并报告了当前最先进的方法的大幅加速。我们的新方法，以及异步基线，在一个分布式框架中实现，该框架将与本出版物一起开源。
2020-06-30 cs.LG stat.ML
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
CYCLADES: Conflict-free Asynchronous Machine Learning
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
我们提出CYCLADES，并行随机最优化算法在共享内存设置的一般框架。CYCLADES在共享模型更新期间是异步的，并且不需要内存锁定机制，类似于HOGWILD！类型算法。不像HOGWILD！CYCLADES在并行执行过程中没有引入冲突，并提供了一个黑盒分析，可证明加速跨越一个大的算法家族。由于其固有的无冲突性质和缓存位置，我们的CYCLADES多核实现始终优于HOGWILD！类型的算法足够稀疏的数据集，导致高达40%的加速增益相比，HOGWILD！SGD的异步实现，以及方差缩减算法的异步实现的高达5倍的增益。
2016-05-31 cs.DC cs.DS cs.LG
One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining
本文挑战异步流水线并行中一步梯度延迟导致不稳定的普遍观点，发现延迟影响取决于优化器选择，Muon等新优化器具有鲁棒性，并提出基于误差反馈的修正方法，在10B参数模型上实现与同步训练相当的性能。
2026-06-29 cs.LG
Techniques for proving Asynchronous Convergence results for Markov Chain Monte Carlo methods
Petuum, Inc.（Petuum公司）；Imperial College London（帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
马尔可夫链蒙特卡罗（MCMC）方法（例如吉布斯抽样）在应用统计学和机器学习中得到广泛使用。这些通常会导致困难的计算问题，这些问题越来越多地在并行和分布式系统（如计算集群）上解决。最近的工作提出了异步并行运行迭代算法，如梯度下降和MCMC，以提高性能，在某些问题上具有良好的经验结果。不幸的是，MCMC这种并行化技术需要新的收敛理论，因为它已被明确证明会导致分歧的一些例子。最近的异步吉布斯抽样理论描述了为什么这些算法可能失败，并提供了一种方法来改变它们，使它们收敛。在本文中，我们将介绍如何在一般设置中应用此理论，以了解任何MCMC算法的异步行为，包括使用参数服务器实现的算法，以及不基于吉布斯抽样的算法。
2018-06-03 cs.LG stat.CO stat.ML
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Gear Training: A new way to implement high-performance model-parallel training
深度神经网络的训练通常需要大量的计算资源。因此，许多深度模型是在大型集群中训练的，而不是在单个机器或GPU中训练的。虽然目前的主要研究尝试使用异步异步随机梯度下降（ASGD）在所有机器上运行整个模型，但我们提出了一种并行训练深度模型的新方法--将模型拆分，然后以不同的速度分别训练模型的不同部分。
2018-06-11 cs.LG stat.ML
Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling
Department of Information
使用逻辑子句来表示模式，Tsetlin Machines（TM）最近在几个基准测试中的准确性，内存占用，能量和学习速度方面获得了竞争力。每个TM子句投票支持或反对特定的类，分类使用多数投票解决。虽然子句的评估是快速的，基于二元运算符，但投票使得有必要同步子句评估，从而阻碍并行化。在本文中，我们提出了一个新的计划，去规模化的评估条款，消除投票瓶颈。简而言之，每个子句都在自己的线程中运行，以实现大规模的本地并行性。对于每个训练样本，我们跟踪从局部投票计数中的子句获得的类投票。本地投票计数允许我们将每个子句的处理与其余子句分离，支持分散学习。这意味着，TM大部分时间将操作过时的投票计数。我们在不同的学习任务中评估了所提出的并行化，事实证明，我们的分散式TM学习算法可以很好地处理过时的数据，不会导致学习准确性的重大损失。此外，我们表明，所提出的方法提供了高达50倍的学习速度。最后，对于合理的子句数量（在Tesla V100 GPU上使用20到7，000个子句），学习时间几乎是恒定的。对于足够大的子句数，计算时间近似成比例地增加。因此，我们的并行和异步架构允许处理大量数据集，并使用更多的子句进行操作，以获得更高的准确性。
2021-06-09 cs.AI cs.LG
Asynchronous Decentralized Learning of a Neural Network
KTH Royal Institute of Technology（瑞典皇家理工学院）
在这项工作中，我们利用一个异步计算框架，即ARock，在分散的场景中学习一个称为自大小估计前馈神经网络（SSFN）的深度神经网络。使用这种算法，即异步分散SSFN（dSSFN），我们提供了一定的技术假设下的集中式等效解决方案。异步dSSFN通过允许一个节点激活和一侧通信来放松通信瓶颈，这显著减少了通信开销，从而提高了学习速度。实验结果表明，异步dSSFN与传统的同步dSSFN相比，在通信网络稀疏的情况下，异步dSSFN具有更好的性能。
2020-04-10 cs.LG eess.SP
XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training
National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了XPipe，一种用于多GPU DNN训练的高效异步管道模型并行方法。XPipe旨在使用多个GPU来并行和连续地训练DNN模型的不同部分。为了提高GPU利用率并实现高吞吐量，它将一个小批处理拆分为一组微批处理。它允许多个微批次的管道重叠，包括属于不同小批次的管道。最重要的是，XPipe采用的新的权重预测策略使其能够有效地解决异步流水线并行引起的权重不一致和过时问题。因此，XPipe结合了同步和异步管道模型并行方法的优点。实验结果表明，XPipe的性能优于其他同步和异步模型并行方法。
2020-11-09 cs.LG cs.PF
Perturbed Iterate Analysis for Asynchronous Stochastic Optimization
AMPLab；UC Berkeley（加州大学伯克利分校）
我们介绍并分析了随机最优化方法，其中每个梯度更新的输入被有界噪声扰动。我们表明，这个框架形成了一个统一的方法来分析异步实现的随机最优化algorithm.In这个框架中，异步随机最优化算法可以被认为是一系列的方法在嘈杂的输入。使用我们的扰动框架，我们提供了新的分析Hogwild！算法和异步随机坐标下降，比以前的分析更简单，删除了以前的模型的许多假设，并在某些情况下产生改进的收敛速度上界。我们继续应用我们的框架来开发和分析KroMagnon：一种新颖的，并行的，稀疏的随机方差降低梯度（SVRG）算法。我们在一个16核机器上的实验表明，稀疏和并行版本的SVRG在某些情况下比标准SVRG算法快四个数量级以上。
2016-03-25 cs.DC cs.DS cs.LG
At Stability's Edge: How to Adjust Hyperparameters to Preserve Minima Selection in Asynchronous Training of Neural Networks?
Technion - Israel Institute of Technology（以色列理工学院）；Habana-Labs（哈瓦那实验室）
背景资料：最近的发展使得使用大批量和数据并行来显著加速神经网络训练成为可能。以异步方式进行训练，其中会发生延迟，可以使训练更具可扩展性。然而，异步训练有其缺陷，主要是泛化能力下降，即使在算法收敛之后。这一差距仍然没有得到很好的理解，因为理论分析到目前为止主要集中在异步方法的收敛速度。贡献：我们从动态稳定性的角度研究异步训练。我们发现，延迟的程度与学习率的相互作用，改变一组最小的异步随机梯度下降算法访问。我们推导出封闭形式的规则如何学习率可以改变，同时保持可访问集相同。具体来说，对于高延迟值，我们发现学习率应保持与延迟成反比。然后，我们将这种分析扩展到包括动量。我们发现动力应该被关闭，或者被修改以提高训练稳定性。我们提供了实证实验来验证我们的理论研究结果。
2020-02-13 cs.LG stat.ML
Breaking the Bubble: Asynchronous Pipeline Parallel Training with Bounded Weight Inconsistency
Technion - Israel Institute of Technology（以色列理工学院）；Ben-Gurion University of the Negev（本·古里安大学）
提出PACI方法，通过局部梯度累积控制版本漂移，实现无气泡异步流水线并行，在GPT风格语言模型预训练中匹配同步1F1B-flush的稳定性和困惑度，吞吐量完全利用，训练时间至准确率提升达1.69倍。
2026-06-05 cs.LG
PASSCoDe: Parallel ASynchronous Stochastic dual Co-ordinate Descent
University of Texas, Austin（德克萨斯大学奥斯汀分校）
随机双坐标下降（SDCD）已成为解决$\ell_2$ -正则化经验风险最小化问题族的最有效方法之一，包括线性SVM、逻辑回归等。DCD的普通实现非常慢;然而，通过在更新对偶变量的同时维护原始变量，可以显著降低SDCD的时间复杂度。这种策略形成了广泛使用的LIBLINEAR包中的核心算法。在本文中，我们并行化的SDCD算法在LIBLINEAR。在最近的研究中，已经提出了几种同步并行SDCD算法，然而，他们未能实现良好的加速比在共享内存多核设置。本文提出了一类异步随机对偶坐标下降算法（ASDCD）。每个线程重复选择一个随机的对偶变量，并使用存储在共享内存中的原始变量进行坐标更新。我们分析了不同的锁定/原子机制时的收敛特性。对于原子操作的实现，我们在温和的条件下线性收敛。对于没有任何原子操作或锁定的实现，我们提出了第一个{ \it向后误差分析}的ASDCD在多核环境下，显示收敛的解决方案是一个原始问题的精确解扰动正则化。实验结果表明，我们的方法比以前的并行坐标下降求解器快得多。
2015-04-06 cs.LG
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
训练大规模神经网络的能力已经在计算机视觉的许多领域产生了最先进的性能。这些结果很大程度上来自两种形式的计算中断：模型并行，例如GPU加速训练，它已在计算机视觉界迅速采用，以及数据并行，例如A-SGD，其大规模主要用于工业。我们报告了早期的实验与系统，利用这两个模型并行和数据并行，我们称之为GPU A-SGD。我们表明，使用GPU A-SGD可以加速对计算机视觉有用的大型卷积神经网络的训练。我们相信GPU A-SGD将使在合理的时间内在更大的训练集上训练更大的网络成为可能。
2013-12-21 cs.CV cs.DC cs.LG
An Efficient Asynchronous Method for Integrating Evolutionary and Gradient-based Policy Search
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
深度强化学习（DRL）算法和演化策略（ES）已被应用于各种任务，表现出优异的性能。它们具有相反的性质，DRL具有良好的样本效率和差的稳定性，而ES则相反。最近，有人试图将这些算法结合起来，但这些方法完全依赖于同步更新方案，使得它不理想，以最大限度地提高并行ES的好处。为了解决这一问题，引入了异步更新机制，该机制具有良好的时间效率和多样的策略探索能力。在本文中，我们介绍了一种异步演化策略-强化学习（AES-RL），最大限度地提高并行效率的ES，并将其与策略梯度方法。具体来说，我们提出了1）一个新的框架，合并ES和DRL异步和2）各种异步更新方法，可以采取所有的优势，并行性，ES，和DRL，这是勘探和时间效率，稳定性，和样本效率，分别。所提出的框架和更新方法在连续控制基准测试工作中进行了评估，与以前的方法相比，表现出优越的性能和时间效率。
2021-01-06 cs.AI cs.LG
Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning
Royal Institute of Technology (KTH)（瑞典皇家理工学院）
机器学习（Machine Learning，ML）是大数据驱动的大规模物联网（Internet of Things，IoT）智能普适计算建模与分析的关键技术。对于快速增长的应用程序和数据量，分布式学习是一个有前途的新兴范式，因为它通常是不切实际的或效率低下的共享/聚合数据到一个集中的位置从不同的。本文研究了在分散式系统上训练ML模型的问题，其中数据分布在许多用户设备上，学习算法在设备上运行，目的是减轻中央实体/服务器的负担。虽然基于流言的方法已经在不同的用例中用于此目的，但它们遭受高通信成本，特别是当设备数量很大时。为了缓解这一问题，提出了基于增量的方法。我们首先为去中心化ML引入增量块坐标下降（I-BCD），它可以以运行时间为代价降低通信成本。为了加快收敛速度，提出了一种异步并行增量BCD（API-BCD）方法，其中多个设备/代理以异步方式活动。我们推导出所提出的方法的收敛性。仿真结果还表明，我们的API-BCD方法在运行时间和通信成本方面优于现有技术。
2022-02-07 cs.LG cs.MA
Asynchronous Neural Networks for Learning in Graphs
ETH Zurich（苏黎世联邦理工学院）
本文研究异步消息传递（AMP），这是一种将基于神经网络的学习应用于图的新范式。现有的图神经网络采用同步分布式计算模型，在每一轮中对相邻节点进行聚合，导致了过平滑等问题，限制了其表达能力。另一方面，AMP基于异步模型，其中节点单独对其邻居的消息做出反应。我们证明了（i）AMP可以模拟同步GNN，（ii）AMP可以在理论上区分任何一对图。我们实验验证AMP的表现力。此外，我们表明，AMP可能更适合于在图形中长距离传播消息，并在几个图形分类基准上表现良好。
2022-05-24 cs.LG
Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO)
Steinbuch Centre for Computing (SCC)（施泰因布赫计算中心（SCC））；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））；Institute for Software Technology (SC)（软件技术研究所（SC））；German Aerospace Center (DLF)（德国航空航天中心（DLF））
随着数据和模型复杂性的增加，训练神经网络所需的时间变得非常长。为了解决训练时间的指数增长，用户转向数据并行神经网络（DPNN），以利用计算机集群上的大规模分布式资源。目前的DPNN方法通过阻塞通信操作来同步和平均所有进程的梯度来实现网络参数更新。这种同步是算法的核心瓶颈。为了解决这个问题，我们引入了分布式异步和选择性优化（DASO）方法，该方法利用多GPU计算节点架构来加速网络训练。DASO使用分层和异步通信方案，包括节点本地和全局网络，同时在学习过程中调整全局同步速率。我们表明，与其他现有的数据并行训练方法相比，DASO在经典和最先进的网络上的训练时间减少了34%。
2021-04-15 cs.DC cs.LG
Asynchronous Stochastic Proximal Methods for Nonconvex Nonsmooth Optimization
University of Alberta（阿尔伯塔大学）；Wuhan University（武汉大学）
我们研究了求解具有凸但可能非光滑正则化子的非凸优化问题的随机算法，这些算法在许多实际的机器学习应用中有着广泛的应用。然而，与异步并行随机梯度下降（AsynSGD）算法相比，对非光滑正则化优化问题的随机算法行为的理解是有限的，特别是当目标函数是非凸的时候。为了填补这一理论空白，在本文中，我们提出并分析了异步并行随机邻近梯度（Asyn-ProxSGD）方法的非凸问题。我们建立了一个遍历收敛速度$O(1/\sqrt{K})$的建议Asyn-ProxSGD，其中$K$是模型上的更新次数，匹配目前已知的AsynSGD（光滑问题）的收敛速度。据我们所知，这是第一个工作，异步并行ProxSGD算法的非凸问题的收敛速度。此外，我们的研究结果也是第一个显示任何随机邻近方法的收敛性，而无需假设增加批量大小或使用额外的方差减少技术。我们在Parameter Server上实现了所提出的算法，并在两个真实世界的数据集上展示了其收敛行为和近线性加速，随着工人数量的增加。
2018-09-15 cs.LG
Autoregressive Convolutional Neural Networks for Asynchronous Time Series
Imperial College London（帝国理工学院）；Hellebore Capital Limited（Hellebore Capital有限公司）；Ecole Polytechnique（巴黎综合理工学院）
我们提出了显著性偏移卷积神经网络，这是一种用于多元异步时间序列回归的深度卷积网络架构。该模型受到标准自回归（AR）模型和递归神经网络中使用的门控机制的启发。它涉及一个类似AR的加权系统，其中最终预测值是作为调整后回归量的加权和获得的，而权重是通过卷积网络学习的数据相关函数。该架构专为异步时间序列的应用程序而设计，并在以下数据集上进行评估：对冲基金专有的信用衍生品指数超过200万次报价的数据集，人工生成的噪声自回归序列和UCI家庭用电量数据集。与卷积和递归神经网络相比，所提出的架构取得了令人鼓舞的结果。
2018-06-12 cs.LG
Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability
Maxeler Technologies, a Groq Company（Maxeler Technologies，Groq公司）；ETH Zurich / CSCS（苏黎世联邦理工学院 / CSCS）；Georgia Institute of Technology（佐治亚理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文揭示GPU上浮点非结合性与异步并行累加可在无输入扰动时导致深度学习分类错误，并提出基于贝叶斯优化的黑盒攻击和基于梯度的可学习置换方法，用于高效评估和暴露该机器级脆弱性。
2025-08-22 cs.DC cs.LG
Asynchronous Stochastic Block Coordinate Descent with Variance Reduction
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
随机优化问题的异步并行实现近年来在理论和实践上都取得了巨大的成功。无锁的异步实现比有写锁或读锁的异步实现效率更高。本文主要研究了一种由光滑凸函数$f$和块可分凸函数组成的复合目标函数，它广泛存在于机器学习和计算机视觉中。提出了一种基于加速方差缩减技术的异步随机块坐标下降算法（AsySBCDVR），该算法在实现和分析上都是无锁的。AsySBCDVR特别重要，因为它可以同时与样本大小和维度进行良好的缩放。证明了当函数$f$具有最优强凸性时，AsySBCDVR具有线性收敛速度;当函数$f$具有一般凸性时，AsySBCDVR具有次线性收敛速度.更重要的是，在共享内存的并行系统上，可以获得接近线性的加速比。
2016-11-14 cs.LG
Stochastic Gradient Descent on Highly-Parallel Architectures
University of California Merced（加州大学默塞德分校）
在工业界和学术界，人们对构建具有高级代数功能的数据分析框架的兴趣越来越大。这些框架中的许多，例如，TensorFlow和BIDMach以两种方式实现其计算密集型原语-作为多核CPU的多线程例程和在GPU上执行的高度并行内核。随机梯度下降（SGD）是在现代数据分析平台上广泛实施的模型训练的最流行的优化方法。虽然SGD的数据密集型属性是众所周知的，但对于众多SGD变体中哪一个在实践中更好存在激烈的争论。在本文中，我们进行了全面的研究并行SGD训练广义线性模型。我们考虑了三个因素的影响-计算架构（多核CPU或GPU），同步或异步模型更新和数据稀疏性-对三个指标的影响-硬件效率，统计效率和收敛时间。在这个过程中，我们设计了一个优化的异步SGD算法的GPU，利用翘曲洗牌和缓存合并的数据和模型访问。我们从我们在五个真实数据集上使用逻辑回归（LR）和支持向量机（SVM）的广泛实验中得出了一些有趣的发现。对于同步SGD，GPU总是优于并行CPU-它们都比顺序CPU解决方案高出400倍以上。对于异步SGD，并行CPU是最安全的选择，而具有数据复制的GPU在某些情况下更好。同步GPU和异步CPU之间的选择取决于任务和数据的特征。作为参考，我们的最佳实现始终优于TensorFlow和BIDMach。我们希望我们的见解提供了一个有用的指导应用并行SGD广义线性模型。
2018-02-24 cs.DB cs.DC cs.LG
Asynchronous Parallel Reinforcement Learning for Optimizing Propulsive Performance in Fin Ray Control
University of Notre Dame（圣母大学）；University of Maine（缅因大学）；Rochester Institute of Technology（罗切斯特理工学院）
针对鳍条驱动控制策略难寻且DRL与FSI交互训练成本高的问题，提出离策略DRL与异步并行训练方法，发现优于最优正弦驱动的控制策略。
2024-01-21 cs.LG cs.SY eess.SY
Search Strategies for Self-driving Laboratories with Pending Experiments
University of Surrey（萨里大学）；Matterhorn Studio（马特洪工作室）；Oxford（牛津大学）
针对自主驾驶实验室异步并行实验中的待处理实验导致贝叶斯优化性能下降问题，本文基于177个真实实验构建多阶段SDL模拟器，比较多种搜索策略在不同延迟和维度下的表现，揭示并行操作与延迟反馈的权衡。
2023-12-06 cs.LG cs.RO
