Taming Momentum in a Distributed Asynchronous Environment
Technion – Israel Institute of Technology（以色列理工学院）；University of Toronto Scarborough（多伦多大学士嘉堡校区）
尽管分布式计算可以显著减少深度神经网络的训练时间，但在保持高效率和最终准确性的同时扩展训练过程具有挑战性。分布式异步训练可以获得接近线性的加速，但这会导致梯度失效--这是将随机梯度下降扩展到大型集群的主要困难。动量，这是经常用来加速收敛和逃避局部极小值，加剧了梯度陈旧，从而阻碍收敛。我们建议DANA：一种用于异步分布式SGD的新技术，其通过计算模型参数的估计未来位置上的梯度来减轻梯度陈旧。因此，我们第一次表明，动量可以完全纳入异步训练，几乎没有影响到最终的准确性。我们对CIFAR和ImageNet数据集的评估表明，DANA在最终准确性和收敛速度方面都优于现有方法，同时在64个异步工人上扩展到16 K的总批量大小。
2020-10-14 cs.DC cs.LG stat.ML
Asynchronous and Stochastic Distributed Resource Allocation
针对异步随机场景下的分布式资源分配问题，提出异步随机原始-对偶（Asyn-PD）算法，证明其以O(1/t)速率收敛，数值实验验证其优于同步算法。
2025-09-01 math.OC stat.ML
Advances in Asynchronous Parallel and Distributed Optimization
ABB（ABB集团）
受机器学习背景下出现的大规模优化问题的启发，在过去十年中，异步并行和分布式优化方法的研究取得了一些进展。异步方法不要求所有处理器维护优化变量的一致视图。因此，它们通常可以比同步方法更有效地利用计算资源，并且它们对像掉队者（即，慢节点）和不可靠的通信链路。异步方法的数学建模涉及信息延迟的适当会计，这使得它们的分析具有挑战性。本文回顾了异步优化方法的设计和分析的最新进展，包括集中式方法，其中所有处理器更新优化变量的主副本，和分散式方法，其中每个处理器维护变量的本地副本。该分析提供了关于模糊度如何影响收敛速度的见解，特别是在随机优化方法中。
2020-06-24 cs.LG math.OC stat.ML
Asynchronous Distributed Optimization with Stochastic Delays
Stanford University（斯坦福大学）
我们研究异步有限和最小化在一个分布式数据设置与中央参数服务器。虽然在所有机器都可以访问数据的并行设置中很好地理解了并行性，例如，像SAGA这样的方差缩减梯度算法的修改工作得很好--对于分布式数据设置知之甚少。我们开发了一个算法ADSAGA的基础上SAGA的分布式数据设置，其中的数据被划分在许多机器之间。我们发现，与$m$机器，在一个自然的随机延迟模型与$m$的平均延迟，ADSAGA收敛于$\tilde{O}\left(\left(n + \sqrt{m}κ\right)\log(1/ε)\right)$迭代，其中$n$是组件功能的数量，和$κ$是一个条件数。该复杂性正好位于SAGA \textit{without delays}的复杂性$\tilde{O}\left(\left(n + κ\right)\log(1/ε)\right)$和并行异步算法的复杂性$\tilde{O}\left(\left(n + mκ\right)\log(1/ε)\right)$之间，其中延迟是\textit{arbitrary}（但以$O(m)$为界），并且数据可由所有人访问。现有的异步算法与分布式数据设置和任意延迟已被证明是收敛在$\tilde{O}(n^2κ\log(1/ε))$迭代。我们经验比较最小二乘问题的迭代复杂性和挂钟性能的ADSAGA现有的并行和分布式算法，包括同步minibatch算…
2021-03-10 cs.DC cs.LG stat.ML
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对有向对等网络上分布式强化学习（DisRL）的策略评估问题，提出了一种\emph{fully asynchronous}方案.无需等待网络的任何其他节点，每个节点可以通过使用来自其邻居的（可能延迟的）信息在任何时间本地更新其价值函数。这与一对节点同时更新的基于流言的方案形成鲜明对比。虽然完全异步设置涉及到一个困难的多时标决策问题，我们设计了一种新的随机平均梯度（SAG）为基础的分布式算法，并开发了一个推拉增广图的方法来证明其精确收敛的线性速率$\mathcal{O}(c^k)$，其中$c\in(0,1)$和$k$增加了一个无论在哪个节点更新。最后，数值实验验证了我们的方法的速度与节点数成线性关系，并且对离散节点具有鲁棒性。
2021-01-22 cs.LG cs.MA math.OC
Consistent Bounded-Asynchronous Parameter Servers for Distributed ML
Carnegie Mellon University（卡内基梅隆大学）
在分布式ML应用程序中，共享参数通常在计算节点之间复制，以最大限度地减少网络开销。因此，必须仔细选择合适的一致性模型，以确保算法的正确性和提供高吞吐量。通用数据库和现代分布式ML系统中使用的现有一致性模型要么过于宽松，无法保证ML算法的正确性，要么过于严格，因此无法充分利用底层分布式系统的计算能力。许多ML算法属于\emph{iterative convergent algorithms}的范畴，它从随机选择的初始点开始，通过迭代地重复一组过程来收敛到最优值。我们已经发现，许多这样的算法是有限数量的不一致性，仍然正确收敛。这个属性允许分布式ML放松严格的一致性模型，以提高系统性能，同时从理论上保证算法的正确性。本文提出了几种异步并行计算的松弛一致性模型，并从理论上证明了它们的算法正确性。所提出的一致性模型在分布式参数服务器中实现，并在流行的ML应用程序：主题建模的上下文中进行评估。
2013-12-31 cs.DC cs.LG stat.ML
Asynchronous Distributed Learning from Constraints
Università di Siena（锡耶纳大学）
在本文中，从约束（LFC）的学习框架的扩展到一个分布式的设置，多方，通过网络连接，有助于学习过程中的研究。LfC依赖于“约束”的一般概念来将知识注入到学习问题中，并且由于其一般性，它处理可能的非凸约束，以硬或软的方式强制执行。受分布式和约束非凸优化领域最新进展的启发，我们将（分布式）异步乘子法（ASYMM）应用于LfC。该研究表明，这样的方法允许我们支持选择的约束（即，知识），数据和学习过程的结果可以本地存储在每个计算节点中，而不与网络的其余部分共享，为进一步研究隐私保护LfC开辟了道路。约束充当网络上共享的内容和每个节点私有的内容之间的桥梁，并且不需要中央权威。我们证明了这些想法的适用性，在两个分布式的现实世界中的数字识别和文档分类的背景下设置。
2019-11-13 cs.LG math.OC stat.ML
Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，机器学习取得了巨大的进步，模型在一系列专门任务上与人类相匹配，甚至超越人类。近年来机器学习进步背后的一个关键因素是在大规模分布式共享内存和消息传递环境中训练机器学习模型的能力。这些模型中的许多都是采用基于随机梯度下降（SGD）的优化的变体来训练的。在本文中，我们介绍了一个通用的一致性条件，涵盖通信减少和异步分布式SGD实现。我们的框架，称为弹性一致性，使我们能够获得收敛边界的各种分布式SGD方法在实践中使用的训练大规模机器学习模型。建议的框架去杂实现特定的收敛性分析，并提供了一个抽象的收敛范围。我们利用该框架来分析分布式SGD方法的稀疏化方案，在异步设置为凸和非凸目标。我们实现了分布式SGD变体，以在异步共享内存设置中训练深度CNN模型。实证结果表明，错误反馈可能不一定有助于提高稀疏异步分布式SGD的收敛性，这证实了我们的收敛性分析所提出的见解。
2020-06-28 cs.LG stat.ML
DJAM: distributed Jacobi asynchronous method for learning personal models
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Institute for Systems and Robotics（系统与机器人研究所）
处理由代理网络收集的数据通常归结为解决优化问题。这些问题的分布式本质要求方法本身是分布式的。虽然大多数协作学习问题需要智能体达成共同（或共识）模型，但在某些情况下，共识解决方案可能不是最佳的。例如，智能体可能希望在与其邻居达成一致和最小化个人损失函数之间达成妥协。我们提出了DJAM，雅可比式分布式算法学习个性化模型。这个方法是实现友好的：它没有需要调优的超参数，它是异步的，它的更新只需要单邻居交互。证明了在个人损失函数为强凸函数且具有Lipschitz梯度的条件下，DJAM以概率1收敛于解。然后，我们证明DJAM与最先进的方法不相上下：我们的方法在大约相同数量的单邻居交互中达到了与仔细调整的ADMM的错误类似的错误解决方案。
2018-07-20 cs.DC cs.LG stat.ML
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL（洛桑联邦理工学院）
通过实验观察到，随机梯度（SGD）分布式训练的效率决定性地取决于批量大小和（在异步实现中）梯度的陈旧性。特别地，已经观察到，超过一定的批量大小和/或当延迟变得太大时，加速饱和。我们确定了一个依赖于数据的参数，解释了这两种设置中的加速饱和。我们的全面的理论分析，强凸，凸和非凸设置，统一和推广以前的工作方向，往往只集中在这两个方面之一。特别是，我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针，如何学习率可以在实践中进行调整。我们表明，我们的结果是紧密的，并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
Distributed SGD Generalizes Well Under Asynchrony
The Ohio State University（俄亥俄州立大学）
在大数据时代，异步分布式系统以其强大的可扩展性成为主流，全同步分布式系统的性能面临瓶颈。本文研究了随机梯度下降算法在分布式异步系统上的推广性能。该系统由计算随机梯度的多个工作机器组成，这些随机梯度被进一步发送到公共参数服务器并在公共参数服务器上聚合以更新变量，并且系统中的通信遭受可能的延迟。在算法稳定性框架下，我们证明了分布式异步SGD在训练优化中，在足够的数据样本下具有很好的推广性。特别是，我们的研究结果表明，降低学习率，因为我们允许更多的分布式系统中的冗余。这种自适应学习率策略提高了分布式算法的稳定性，降低了相应的泛化误差。然后，我们通过数值实验证实了我们的理论研究结果。
2019-09-29 cs.DC cs.LG stat.ML
