首页/论文/1606.04809

arXiv 1606.048092016-06math.OCcs.LGstat.ML

ASAGA：异步并行SAGA

ASAGA: Asynchronous Parallel SAGA

INRIA - Sierra Project-team（法国国家信息与自动化研究所 - Sierra 项目组）；École normale supérieure, Paris（巴黎高等师范学院）

Rémi Leblond, Fabian Pedregosa, Simon Lacoste-Julien

备注：: Appears in: Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS 2017), 37 pages

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们描述ASAGA，异步并行版本的增量梯度算法SAGA，享有快速的线性收敛速率。通过一个新的视角，我们重新审视并澄清了一个微妙的，但重要的技术问题，目前在很大一部分的异步并行优化算法的收敛速度证明，并提出了一个简化的最近推出的“扰动收敛速度”的框架，解决了它。我们提出了一个40核架构上的实现结果，说明了实际的加速以及硬件开销。

英文摘要：

We describe ASAGA, an asynchronous parallel version of the incremental gradient algorithm SAGA that enjoys fast linear convergence rates. Through a novel perspective, we revisit and clarify a subtle but important technical issue present in a large fraction of the recent convergence rate proofs for asynchronous parallel optimization algorithms, and propose a simplification of the recently introduced "perturbed iterate" framework that resolves it. We thereby prove that ASAGA can obtain a theoretical linear speedup on multi-core systems even without sparsity assumptions. We present results of an implementation on a 40-core architecture illustrating the practical speedup as well as the hardware overhead.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

随机增量法的改进异步并行optimization分析

Improved asynchronous parallel optimization analysis for stochastic incremental methods

INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）；Université de Montréal（蒙特利尔大学）

随着数据集规模的不断增加和多核计算机体系结构的发展，异步并行优化算法对机器学习领域变得越来越重要。不幸的是，进行理论分析异步方法是困难的，特别是由于引入延迟和不一致的固有顺序算法。处理这些问题往往需要诉诸简化但不切实际的假设。通过一个新的视角，我们重新审视并澄清了一个微妙但重要的技术问题，这个问题存在于最近异步并行优化算法的大部分收敛速度证明中，并提出了一个简化的“扰动迭代”框架来解决这个问题。我们通过分析三个不同的异步并行增量优化算法来证明我们的新框架的有用性：Hogwild（异步SGD）、KROMAGNON（异步SVRG）和ASAGA，增量梯度算法SAGA的一种新型异步并行版本，具有快速的线性收敛速率。我们能够消除有问题的假设，并获得更好的理论结果。值得注意的是，我们证明了ASAGA和KROMAGNON可以获得理论上的线性加速多核系统，即使没有稀疏性假设。我们提出了一个40核架构上的实现结果，说明了实际的加速比以及硬件开销。最后，我们调查的重叠常数，一个不好理解的，但中心量的异步并行算法的理论分析。我们发现，它包含了更多的复杂性比以前的工作中提出的，往往是数量级大于传统上认为的。

2019-03-21cs.LGmath.OCstat.ML

关于随机梯度下降及其异步变式的方差缩减

On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants

Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）

研究了基于方差缩减的随机梯度下降优化算法。最近通过SAG、SVRG、SAGA等算法的发展，在这个方向上取得了显著的进展。这些算法已经被证明优于SGD，无论是理论上还是经验上。然而，这些算法的异步版本-现代大规模应用程序的一个关键要求-还没有被研究。我们提出了一个统一的框架，许多方差减少技术弥合这一差距。随后，我们提出了一个异步算法接地在我们的框架，并证明了其快速收敛。我们的一般方法的一个重要后果是，它会产生异步版本的方差减少算法，如SVRG和SAGA作为副产品。我们的方法在机器学习常见的稀疏设置中实现了接近线性的加速。我们证明了我们的方法通过具体实现异步SVRG的经验性能。

2016-01-25cs.LGstat.ML

具有随机时滞的异步分布优化问题

Asynchronous Distributed Optimization with Stochastic Delays

Stanford University（斯坦福大学）

我们研究异步有限和最小化在一个分布式数据设置与中央参数服务器。虽然在所有机器都可以访问数据的并行设置中很好地理解了并行性，例如，像SAGA这样的方差缩减梯度算法的修改工作得很好--对于分布式数据设置知之甚少。我们开发了一个算法ADSAGA的基础上SAGA的分布式数据设置，其中的数据被划分在许多机器之间。我们发现，与$m$机器，在一个自然的随机延迟模型与$m$的平均延迟，ADSAGA收敛于$\tilde{O}\left(\left(n + \sqrt{m}κ\right)\log(1/ε)\right)$迭代，其中$n$是组件功能的数量，和$κ$是一个条件数。该复杂性正好位于SAGA \textit{without delays}的复杂性$\tilde{O}\left(\left(n + κ\right)\log(1/ε)\right)$和并行异步算法的复杂性$\tilde{O}\left(\left(n + mκ\right)\log(1/ε)\right)$之间，其中延迟是\textit{arbitrary}（但以$O(m)$为界），并且数据可由所有人访问。现有的异步算法与分布式数据设置和任意延迟已被证明是收敛在$\tilde{O}(n^2κ\log(1/ε))$迭代。我们经验比较最小二乘问题的迭代复杂性和挂钟性能的ADSAGA现有的并行和分布式算法，包括同步minibatch算…

2021-03-10cs.DCcs.LGstat.ML

一个简单的快速收敛的随机方差缩减算法

A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates

The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）

近年来，在随机方差约化梯度方法的研究中取得了令人兴奋的进展（例如，SVRG，SAGA），它们的加速变体（例如，喀秋莎）以及它们在许多不同环境中的扩展（例如，在线、稀疏、异步、分布式）。其中，加速方法具有改进的收敛速度，但具有复杂的耦合结构，这使得它们难以扩展到更多的设置（例如，稀疏和异步）。在本文中，我们介绍了一个简单的随机方差减少算法（MiG），它享有最好的已知的强凸和非强凸问题的收敛速度。此外，我们还提出了其有效的稀疏和异步的变种，并从理论上分析其收敛速度在这些设置。最后，广泛的实验，各种机器学习问题，如逻辑回归，以说明在串行和异步设置的实际改进。

2018-06-28cs.LGstat.ML

ASYNC：一个具有异步和历史的分布式机器学习云引擎

ASYNC: A Cloud Engine with Asynchrony and History for Distributed Machine Learning

University of Toronto（多伦多大学）

ASYNC是一个框架，它支持在分布式计算平台上实现优化方法的查询和历史。在分布式机器学习中，异步优化方法的流行度已经增加。然而，它们在分布式系统上的适用性和实际实验是有限的，因为当前的批量处理云引擎不提供对数据和历史的强大支持。通过引入三个主要模块以及簿记系统特定和应用参数，ASYNC为从业者提供了一个实现异步机器学习方法的框架。为了演示ASYNC中的易于实现，在ASYNC中演示了两种著名的优化方法随机梯度下降和SAGA的同步和异步变体。

2020-02-21cs.DCcs.LG

打破非光滑障碍：求解复合Optimization的可扩展并行方法

Breaking the Nonsmooth Barrier: A Scalable Parallel Method for Composite Optimization

École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；MILA（蒙特利尔学习算法研究所）；DIRO（蒙特利尔大学计算机科学与运筹学系）；Université de Montréal（蒙特利尔大学）

由于其简单性和优异的性能，随机梯度下降的并行异步变体已成为解决多核架构上的大范围大规模最优化问题的流行方法。然而，尽管它们在实际中取得了成功，但仍然缺乏对非光滑目标的支持，使得它们不适合机器学习中的许多感兴趣的问题，例如Lasso，Group Lasso或凸约束的经验风险最小化。在这项工作中，我们提出并分析ProxASAGA，一个完全异步稀疏方法的启发SAGA，方差减少增量梯度算法。该方法易于实现，并显着优于现有技术的几个非光滑，大规模的问题。我们证明，我们的方法实现了理论上的线性加速比相对于顺序版本的假设下的稀疏梯度和块分离的近端。多核架构上的经验基准测试表明，在20核机器上实际加速高达12倍。

2017-11-05cs.LGmath.OCstat.ML

更多相关论文收起更多论文

SUCAG：分布式Optimization的随机无偏曲率辅助梯度法

SUCAG: Stochastic Unbiased Curvature-aided Gradient Method for Distributed Optimization

本文提出并分析了一种新的求解有限和最优化问题的随机梯度法，我们称之为随机无偏曲率辅助梯度法（SUCAG）。SUCAG构成了一种无偏的总梯度跟踪技术，它使用Hessian信息来加速收敛。我们分析我们的方法下的一般异步计算模型，其中每个函数被选择无限经常可能无界（但次线性）延迟。对于强凸问题，我们建立了SUCAG方法的线性收敛。当初始化点足够接近最优解时，所建立的收敛速度仅依赖于问题的条件数，使得它严格快于SAGA方法的已知速度。此外，我们描述了一个马尔可夫驱动的方法实现的SUCAG方法在一个分布式异步多代理设置，通过八卦沿无向通信图上的随机行走。我们表明，我们的分析适用，只要图是连接的，特别是，建立一个渐近线性收敛速率，是强大的图形拓扑结构。数值结果表明，我们的算法优于现有的方法。

2018-10-26math.OCstat.ML