最早用于解决经验风险最小化问题的方差缩减随机方法之一是SVRG方法（Johnson & Zhang 2013）。SVRG是基于内外循环的方法，其中在外循环中评估参考全梯度，之后执行内循环的$m \in \mathbb{N}$步骤，其中参考梯度用于构建当前梯度的方差减小估计。SVRG方法及其分析的简单性导致了甚至非凸优化的多种扩展和变体。我们提供了一个更一般的分析SVRG比以前做的任意采样，这使我们能够分析几乎所有形式的迷你通过一个单一的定理。此外，我们的分析重点关注SVRG的更实用变体，包括无环SVRG的新变体（Hofman et al 2015，Kovalev et al 2019，Kulunchakov and Mairal 2019）和k-SVRG的变体（Raj and Stich 2018），其中$m=n$和$n$是数据点的数量。由于我们的设置和分析反映了在实践中所做的，我们能够设置的参数，如小批量大小和步长使用我们的理论在这样一种方式，产生一个更有效的算法在实践中，我们在广泛的数值实验中显示。
英文摘要：
Among the very first variance reduced stochastic methods for solving the empirical risk minimization problem was the SVRG method (Johnson & Zhang 2013). SVRG is an inner-outer loop based method, where in the outer loop a reference full gradient is evaluated, after which $m \in \mathbb{N}$ steps of an inner loop are executed where the reference gradient is used to build a variance reduced estimate of the current gradient. The simplicity of the SVRG method and its analysis have led to multiple extensions and variants for even non-convex optimization. We provide a more general analysis of SVRG than had been previously done by using arbitrary sampling, which allows us to analyse virtually all forms of mini-batching through a single theorem. Furthermore, our analysis is focused on more practical variants of SVRG including a new variant of the loopless SVRG (Hofman et al 2015, Kovalev et al 2019, Kulunchakov and Mairal 2019) and a variant of k-SVRG (Raj and Stich 2018) where $m=n$ and where $n$ is the number of data points. Since our setup and analysis reflect what is done in practice, we are able to set the parameters such as the mini-batch size and step size using our theory in such a way that produces a more efficient algorithm in practice, as we show in extensive numerical experiments.
Barzilai-Borwein Step Size for Stochastic Gradient Descent
The Chinese University of Hong Kong（香港中文大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；The University of Hong Kong（香港大学）
Improved Zeroth-Order Variance Reduced Algorithms and Analysis for Nonconvex Optimization
The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
基于一阶技术SVRG和SARAH/SPIDER，最近分别设计了两类求解非凸优化问题的零阶随机算法。本文讨论了几个重要的问题，这些方法仍然是开放的。首先，所有现有的SVRG型零阶算法遭受更差的函数查询复杂度比零阶梯度下降（ZO-GD）或随机梯度下降（ZO-SGD）。在本文中，我们提出了一种新算法ZO-SVRG-Coord-Rand，并对Liu et al. 2018 b中提出的现有ZO-SVRG-Coord算法进行了新的分析，并表明ZO-SVRG-Coord-Rand和ZO-SVRG-Coord（在我们的新分析下）优于其他现有的SVRG型零阶方法以及ZO-GD和ZO-SGD。其次，现有的SPIDER型算法SPIDER-SZO（Fang et al. 2018）具有优越的理论性能，但在实践中会产生大量高斯随机变量以及$\sqrtε$级步长。在本文中，我们开发了一个新的算法ZO-SPIDER-Coord，这是免费的高斯变量的生成，并允许一个大的常数步长，同时保持相同的收敛速度和查询复杂度，我们进一步表明，ZO-SPIDER-Coord自动实现线性收敛速度，因为搜索器进入一个本地PL区域没有重新启动和算法修改。
On Stochastic Variance Reduced Gradient Method for Semidefinite Optimization
School of Computer and Information Engineering, Jiangxi Normal University（江西师范大学计算机与信息工程学院）；Institute of Artificial Intelligence, Jiangxi Normal University（江西师范大学人工智能研究院）；Institute of Computing, Chinese Academy of Sciences（中国科学院计算技术研究所）；Chemical and Biomolecular Engineering, Hong Kong University of Science and Technology（香港科技大学化学与生物分子工程系）
