The total complexity (measured as the total number of gradient computations) of a stochastic first-order optimization algorithm that finds a first-order stationary point of a finite-sum smooth nonconvex objective function $F(w)=\frac{1}{n} \sum_{i=1}^n f_i(w)$ has been proven to be at least $Ω(\sqrt{n}/ε)$ for $n \leq \mathcal{O}(ε^{-2})$ where $ε$ denotes the attained accuracy $\mathbb{E}[ \|\nabla F(\tilde{w})\|^2] \leq ε$ for the outputted approximation $\tilde{w}$ (Fang et al., 2018). In this paper, we provide a convergence analysis for a slightly modified version of the SARAH algorithm (Nguyen et al., 2017a;b) and achieve total complexity that matches the lower-bound worst case complexity in (Fang et al., 2018) up to a constant factor when $n \leq \mathcal{O}(ε^{-2})$ for nonconvex problems. For convex optimization, we propose SARAH++ with sublinear convergence for general convex and linear convergence for strongly convex problems; and we provide a practical version for which numerical experiments on various datasets show an improved performance.
Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
Innopolis University(因诺波利斯大学);Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Yandex(Yandex公司);Mila(米拉研究所)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization
KAUST(阿卜杜拉国王科技大学);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
自适应性是现代优化理论中一个重要但尚未得到充分研究的性质。最先进的理论和当前的实践之间的差距是惊人的,因为具有理想的理论保证的算法通常涉及在不同制度中的超参数(如步长方案和批量大小)的完全不同的设置。尽管有吸引人的理论结果,这种分裂的策略提供了很少的,如果有的话,从业者选择算法,广泛工作,而不调整超参数的洞察力。在这项工作中,混合了Lei & Jordan 2016年引入的“几何化”技术和Nguyen等人的\texttt{SARAH}算法,2017年,我们提出了用于非凸有限和随机优化的几何化\texttt{SARAH}算法。我们的算法被证明是实现自适应的幅度的目标精度和Polyak-Prosojasiewicz(PL)常数,如果存在的。此外,它实现了最佳的可用收敛速度为非PL目标的同时,优于现有的算法PL目标。
SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum Cocoercive Variational Inequalities
Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Caucasus Mathematical Center, Adyghe State University(阿迪格国立大学高加索数学中心)
ZeroSARAH: Efficient Nonconvex Finite-Sum Optimization with Zero Full Gradient Computation
King Abdullah University of Science Technology(阿卜杜拉国王科技大学)
我们提出了ZeroSARAH --方差缩减方法SARAH的一种新变体(Nguyen等人,2017)--用于最小化大量非凸函数的平均值$\frac{1}{n}\sum_{i=1}^{n}f_i(x)$。据我们所知,在这个非凸有限和制度,所有现有的方差减少的方法,包括SARAH,SVRG,SAGA和他们的变种,需要计算在初始点$x^0$的所有$n$数据样本的全梯度,然后定期计算全梯度每隔几次迭代(SVRG,SARAH和他们的变种)。请注意,SVRG、SAGA及其变体通常比SARAH的变体实现更弱的收敛结果:$n^{2/3}/ε^2$与$n^{1/2}/ε^2$。因此,我们专注于莎拉的变体。提出的ZeroSARAH及其分布式变体D-ZeroSARAH是\emph{first}方差缩减算法,其\emph{do not require any full gradient computations}甚至不针对初始点。此外,对于标准和分布式设置,我们证明了ZeroSARAH和D-ZeroSARAH获得了新的最先进的收敛结果,这可以改进以前最著名的结果(例如,SPIDER、SARAH和PAGE)。避免任何完整的梯度计算(这是耗时的步骤)在许多应用中是重要的,因为数据样本$n$的数量通常非常大。特别是在分布式设置中,对所有数据样本的全梯度的周期性计算需要周期性地同步所有客户端/设备/机器,这可能是不…
Distributed stochastic proximal algorithm with random reshuffling for non-smooth finite-sum optimization
Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Chongqing Innovation Center(北京理工大学重庆创新中心);Tongji University(同济大学);Nanyang Technological University(南洋理工大学)
On the Complexity of Decentralized Smooth Nonconvex Finite-Sum Optimization
School of Data Science, Fudan University(复旦大学数据科学学院);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院)
Smoothing Algorithms for Computing the Projection onto a Minkowski Sum of Convex Sets
本文研究了从一点到一般凸集的Minkowski和上的投影的计算问题,从而计算出最小距离。我们的方法是基于最小范数对偶定理最初由Nirenberg和Nesterov平滑技术。它示出的投影点到一个Minkowski的集合和可以表示为点的组成集的总和,使在这些点上,所有的集合共享相同的法向量,这是负的对偶解。所提出的NESMINO算法改进了Gilbert的$O(\frac{1}ε)$的迭代次数的理论界[SIAM J. Med.,第4卷,第100页。61- 80,1966]到$O\left(\frac{1}{\sqrtε}\ln(\frac{1}ε)\right)$,其中$ε$是目标函数的期望精度。此外,该算法还提供了每个组件集上的点,使得它们的总和等于投影点。
Dense Weak Hiding: Closing Complexity Gaps in Nonconvex and PL Finite-Sum Optimization under Individual Smoothness
Institute of Artificial Intelligence and Future Networks, Faculty of Arts and Sciences, Beijing Normal University(北京师范大学艺术与科学学院人工智能与未来网络研究所);Guangdong Key Lab of AI and Multi-Modal Data Processing, BNU-HKBU United International College(北师大-香港浸会大学联合国际学院广东省人工智能与多模态数据处理重点实验室)
Verification theorem related to a zero sum stochastic differential game, based on a chain rule for non-smooth functions
EPFL Lausanne, Institut de Mathématiques(洛桑联邦理工学院数学研究所);ENSTA Paris, Institut Polytechnique de Paris, Unité de Mathématiques appliquées(巴黎国立高等航空航天学院,巴黎理工学院应用数学单元)