arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2307.03331math.OC
收藏

具有局部Lipschitz梯度的半代数函数的动量法收敛性

Convergence of the momentum method for semialgebraic functions with locally Lipschitz gradients

Cédric Josz, Lexiao Lai, Xiaopeng Li

AI总结:

本文提出新的长度公式,证明动量法在极小化具有局部Lipschitz梯度的半代数函数时的局部与全局收敛性,无需全局Lipschitz等条件,并首次给出从任意初始点应用于主成分分析等问题的收敛保证。

摘要:

我们提出一个新的长度公式,控制极小化具有局部Lipschitz梯度的可微半代数函数时动量法的迭代。它使我们能够建立局部收敛、全局收敛以及收敛到局部极小值,而无需像文献中那样假设梯度的全局Lipschitz连续性、强制性和全局增长条件。因此,我们提供了动量法从任意初始点出发应用于主成分分析、矩阵感知和线性神经网络时的首个收敛保证。

英文摘要:

We propose a new length formula that governs the iterates of the momentum method when minimizing differentiable semialgebraic functions with locally Lipschitz gradients. It enables us to establish local convergence, global convergence, and convergence to local minimizers without assuming global Lipschitz continuity of the gradient, coercivity, and a global growth condition, as is done in the literature. As a result, we provide the first convergence guarantee of the momentum method starting from arbitrary initial points when applied to principal component analysis, matrix sensing, and linear neural networks.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑