arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 1602.00223cs.LGstat.ML
收藏

近似随机拟牛顿算法

A Proximal Stochastic Quasi-Newton Algorithm

Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Nanjing University(南京大学)

Luo Luo, Zihao Chen, Zhihua Zhang, Wu-Jun Li

摘要:

本文讨论了两个凸函数之和的极小化问题:一个光滑函数和一个非光滑函数。进一步地,平滑部分可以由大量平滑分量函数的平均来表示,而非平滑部分配备有简单的邻近映射。我们提出了一个近似的随机二阶方法,这是有效的和可扩展的。该算法在函数的光滑部分引入了Hessian算子,并利用多级格式来减小随机梯度的方差。我们证明了我们的方法可以达到线性收敛速度。

英文摘要:

In this paper, we discuss the problem of minimizing the sum of two convex functions: a smooth function plus a non-smooth function. Further, the smooth part can be expressed by the average of a large number of smooth component functions, and the non-smooth part is equipped with a simple proximal mapping. We propose a proximal stochastic second-order method, which is efficient and scalable. It incorporates the Hessian in the smooth part of the function and exploits multistage scheme to reduce the variance of the stochastic gradient. We prove that our method can achieve linear rate of convergence.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑