Nonmonotone gradient methods generally perform better than their monotone counterparts especially on unconstrained quadratic optimization. However, the known convergence rate of the monotone method is often much better than its nonmonotone variant. With the aim of shrinking the gap between theory and practice of nonmonotone gradient methods, we introduce a property for convergence analysis of a large collection of gradient methods. We prove that any gradient method using stepsizes satisfying the property will converge $R$-linearly at a rate of $1-λ_1/M_1$, where $λ_1$ is the smallest eigenvalue of Hessian matrix and $M_1$ is the upper bound of the inverse stepsize. Our results indicate that the existing convergence rates of many nonmonotone methods can be improved to $1-1/κ$ with $κ$ being the associated condition number.
Nonmonotone Trust-Region Methods for Optimization of Set-Valued Mapping of Finite Cardinality
Indian Institute of Technology (BHU)(印度理工学院(贝拿勒斯 Hindu 大学));Yunnan Normal University(云南师范大学);Chongqing Jiaotong University(重庆交通大学);Chongqing Technology and Business University(重庆工商大学)
Fast Gradient Algorithm with Dry-like Friction and Nonmonotone Line Search for Nonconvex Optimization Problems
School of Science, RMIT University(皇家墨尔本理工大学理学院);School of Engineering, RMIT University(皇家墨尔本理工大学工程学院);School of Electrical Engineering and Telecommunications, University of New South Wales(新南威尔士大学电气与电信工程学院)
A Randomized Nonmonotone Block Proximal Gradient Method for a Class of Structured Nonlinear Programming
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
我们提出了一个随机非单调块邻近梯度(RNBPG)方法,用于最小化光滑(可能非凸)函数和块可分(可能非凸非光滑)函数之和。在每次迭代中,该方法根据任何规定的概率分布随机选取一个块,并通常解决几个相关的邻近子问题,通常具有封闭形式的解决方案,直到目标值取得一定的进展。与通常的随机块坐标下降法[23,20]相比,我们的方法具有非单调的味道,并使用可变步长,可以部分利用目标函数的光滑分量的局部曲率信息。我们证明了该方法解序列的任何聚点都是问题的一个稳定点{ \it almost surely},并且该方法能够以很高的概率找到一个近似的稳定点.我们还建立了一个次线性的收敛速率的方法在最小期望平方范数的某些邻近梯度的迭代。当所考虑的问题是凸的,我们证明了RNBPG产生的期望目标值收敛到问题的最优值。在一些假设下,我们进一步建立了一个次线性和线性收敛速率的期望目标值产生的单调版本的RNBPG。最后,我们进行了一些初步的实验,以测试性能的RNBPG上的$\ell_1$正则化最小二乘问题和机器学习中的对偶SVM问题。计算结果表明,我们的方法大大优于随机块坐标{ \it下降}方法与固定或可变步长。
我们提出了一种新的梯度法的步长。当Dai-Yang的渐近最优梯度法(Computational Optimization and Applications,2006,33(1):73-88)用于极小化二次目标函数时,表明该新步长将收敛到Hessian最大特征值的倒数。基于这一谱性质,我们开发了一种单调梯度法,该方法使用戴和杨的渐近最优步长,然后遵循一些短的步骤与这个新的步长。通过引入渐近最优步长的一步延迟,还提出了该方法的一个非单调变形。在较弱的条件下,证明了所提方法在极小化二次函数问题上的$R$ -线性收敛性.此外,通过结合梯度投影技术和自适应非单调线搜索,我们进一步将这些方法推广到一般的界约束优化问题。还提出了结合Barzilai-Borwein步长的梯度投影法的两种变型。对二次约束优化和界约束优化的数值实验表明,新的策略和方法是非常有效的。
A note on the convergence guarantees of RLT-based algorithms for polynomial optimization
University of Vigo(维戈大学);CITMAga (Galician Center for Mathematical Research and Technology)(加利西亚数学研究与技术中心);University of Santiago de Compostela(圣地亚哥德孔波斯特拉大学)