我们提出了ZeroSARAH --方差缩减方法SARAH的一种新变体（Nguyen等人，2017）--用于最小化大量非凸函数的平均值$\frac{1}{n}\sum_{i=1}^{n}f_i(x)$。据我们所知，在这个非凸有限和制度，所有现有的方差减少的方法，包括SARAH，SVRG，SAGA和他们的变种，需要计算在初始点$x^0$的所有$n$数据样本的全梯度，然后定期计算全梯度每隔几次迭代（SVRG，SARAH和他们的变种）。请注意，SVRG、SAGA及其变体通常比SARAH的变体实现更弱的收敛结果：$n^{2/3}/ε^2$与$n^{1/2}/ε^2$。因此，我们专注于莎拉的变体。提出的ZeroSARAH及其分布式变体D-ZeroSARAH是\emph{first}方差缩减算法，其\emph{do not require any full gradient computations}甚至不针对初始点。此外，对于标准和分布式设置，我们证明了ZeroSARAH和D-ZeroSARAH获得了新的最先进的收敛结果，这可以改进以前最著名的结果（例如，SPIDER、SARAH和PAGE）。避免任何完整的梯度计算（这是耗时的步骤）在许多应用中是重要的，因为数据样本$n$的数量通常非常大。特别是在分布式设置中，对所有数据样本的全梯度的周期性计算需要周期性地同步所有客户端/设备/机器，这可能是不可能的或负担不起的。因此，我们预计ZeroSARAH/D-ZeroSARAH将对分布式和联邦学习产生实际影响，因为在这些学习中，完全设备参与是不切实际的。
英文摘要：
We propose ZeroSARAH -- a novel variant of the variance-reduced method SARAH (Nguyen et al., 2017) -- for minimizing the average of a large number of nonconvex functions $\frac{1}{n}\sum_{i=1}^{n}f_i(x)$. To the best of our knowledge, in this nonconvex finite-sum regime, all existing variance-reduced methods, including SARAH, SVRG, SAGA and their variants, need to compute the full gradient over all $n$ data samples at the initial point $x^0$, and then periodically compute the full gradient once every few iterations (for SVRG, SARAH and their variants). Note that SVRG, SAGA and their variants typically achieve weaker convergence results than variants of SARAH: $n^{2/3}/ε^2$ vs. $n^{1/2}/ε^2$. Thus we focus on the variant of SARAH. The proposed ZeroSARAH and its distributed variant D-ZeroSARAH are the \emph{first} variance-reduced algorithms which \emph{do not require any full gradient computations}, not even for the initial point. Moreover, for both standard and distributed settings, we show that ZeroSARAH and D-ZeroSARAH obtain new state-of-the-art convergence results, which can improve the previous best-known result (given by e.g., SPIDER, SARAH, and PAGE) in certain regimes. Avoiding any full gradient computations (which are time-consuming steps) is important in many applications as the number of data samples $n$ usually is very large. Especially in the distributed setting, periodic computation of full gradient over all data samples needs to periodically synchronize all clients/devices/machines, which may be impossible or unaffordable. Thus, we expect that ZeroSARAH/D-ZeroSARAH will have a practical impact in distributed and federated learning where full device participation is impractical.
Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization
Microsoft Research AI（微软研究院AI）
最小化非凸函数之和的问题（即，凸函数（即非凸函数的平均值）在机器学习中变得越来越重要，并且是PCA、SVD、正则化牛顿法、加速非凸优化等的核心机制。我们展示了如何可证明地获得一个加速的随机算法最小化的总和的非凸函数，由$\textit{adding one additional line}$著名的SVRG方法。这条线对应于动量，并显示了如何直接将动量应用于非凸函数之和的有限和随机最小化。作为一个副作用，我们的方法享有线性并行加速使用小批量。
Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；KAUST（阿卜杜拉国王科技大学）；Skoltech（斯科尔泰克科技大学）
Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
非凸优化是解决许多机器学习问题的核心，在这些问题中通常会遇到块结构。在这项工作中，我们提出了非渐近梯度范数保证的非凸最优化问题的循环块坐标方法。我们的收敛性分析是基于梯度利普希茨条件的Mahalanobis规范，启发循环块坐标方法的最新进展。在确定性设置中，我们的收敛保证与（全梯度）梯度下降的保证相匹配，但梯度Lipschitz常数被定义为w.r.t.~ a Mahalanobis规范.在随机环境下，我们使用递归方差缩减来降低每次迭代的代价，并与当前最优随机全梯度法的运算复杂度相匹配，同时对有限和和无限和情况进行了统一的分析。我们证明了一个更快的线性收敛的结果时，Polyak-Pjojasiewicz（Pjs）条件成立。据我们所知，这项工作是第一个提供非渐近收敛保证-方差减少或不-循环块坐标方法在一般复合（光滑+非光滑）非凸设置。我们的实验结果证明了所提出的循环方案在训练深度神经网络方面的有效性。
The Complexity of Nonconvex-Strongly-Concave Minimax Optimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
On the Complexity of Decentralized Smooth Nonconvex Finite-Sum Optimization
School of Data Science, Fudan University（复旦大学数据科学学院）；Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院）
Dense Weak Hiding: Closing Complexity Gaps in Nonconvex and PL Finite-Sum Optimization under Individual Smoothness
Institute of Artificial Intelligence and Future Networks, Faculty of Arts and Sciences, Beijing Normal University（北京师范大学艺术与科学学院人工智能与未来网络研究所）；Guangdong Key Lab of AI and Multi-Modal Data Processing, BNU-HKBU United International College（北师大-香港浸会大学联合国际学院广东省人工智能与多模态数据处理重点实验室）
ProxSARAH: An Efficient Algorithmic Framework for Stochastic Composite Nonconvex Optimization
IBM Research（IBM研究院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了一个新的随机一阶算法框架来解决随机复合非凸最优化问题，包括有限和和期望设置。我们的算法依赖于（Nguyen et al，2017）中引入的SARAH估计器，由两个步骤组成：近似梯度和平均步骤，使它们不同于现有的非凸近似型算法。该算法只需要非凸目标项的平均光滑性假设和附加的有界方差假设，如果应用于期望问题。它们可以使用恒定和自适应步长，同时允许单个样品和小批量。在所有这些情况下，我们证明了我们的算法可以实现最知名的复杂性界限。我们的方法的一个关键步骤是新的常数和自适应步长，有助于实现所需的复杂度范围，同时提高实际性能。我们的恒定步长是远远大于现有的方法，包括近端SVRG计划在单样本的情况下。我们还指定的算法的非复合材料的情况下，涵盖现有的国家的最先进的复杂性界限。我们的更新还允许在步长和小批量大小之间进行权衡，以提高性能。我们测试两个复合非凸问题和神经网络使用几个著名的数据集上提出的算法。
Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；School of Mathematics and Statistics, Henan University（河南大学数学与统计学院）；Center for Applied Mathematics of Henan Province, Henan University（河南大学河南省应用数学中心）
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization
KAUST（阿卜杜拉国王科技大学）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
自适应性是现代优化理论中一个重要但尚未得到充分研究的性质。最先进的理论和当前的实践之间的差距是惊人的，因为具有理想的理论保证的算法通常涉及在不同制度中的超参数（如步长方案和批量大小）的完全不同的设置。尽管有吸引人的理论结果，这种分裂的策略提供了很少的，如果有的话，从业者选择算法，广泛工作，而不调整超参数的洞察力。在这项工作中，混合了Lei & Jordan 2016年引入的“几何化”技术和Nguyen等人的\texttt{SARAH}算法，2017年，我们提出了用于非凸有限和随机优化的几何化\texttt{SARAH}算法。我们的算法被证明是实现自适应的幅度的目标精度和Polyak-Prosojasiewicz（PL）常数，如果存在的。此外，它实现了最佳的可用收敛速度为非PL目标的同时，优于现有的算法PL目标。
Department of Computer Science & Engineering, University of California San Diego（计算机科学与工程系，加州大学圣地亚哥分校）；Department of Computer Sciences, University of Wisconsin-Madison（计算机科学系，威斯康星大学麦迪逊分校）；Archimedes, Athena Research Center, Greece（阿基米德，亚提卡研究中心，希腊）；Google DeepMind, London, UK（谷歌深Mind，伦敦，英国）
