arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

光滑凸优化中BFGS方法的复杂度

On the Complexity of BFGS Method for Smooth Convex Optimization

Lijun Ding, Jinwen Yang, Baoyu Zhou

arXiv 2608.16009首次发表:更新:

AI 中文总结

该研究针对无强凸性的光滑凸优化问题,分析带Armijo-Wolfe线搜索的BFGS方法,得到前k次迭代最小梯度范数的O(k^{-1/2})复杂度界,以及初始次水平集有界时函数值间隙O(k^{-1})的收敛速率,验证了相关势函数不等式的普适性。

AI 中文摘要

我们研究带Armijo-Wolfe线搜索的BFGS方法,用于最小化具有Lipschitz连续梯度的凸函数,且不假设强凸性。我们为前k次迭代中最小梯度范数建立了O(k^{-1/2})的全局迭代复杂度界;此外,当初始次水平集有界时,证明函数值间隙以O(k^{-1})的速率收敛。我们的分析利用经典的迹-对数-行列式势函数,揭示该势函数的核心不等式在无强凸性时仍成立。

英文摘要

We study the BFGS method with an Armijo-Wolfe line search for minimizing convex functions with Lipschitz-continuous gradients, without assuming strong convexity. We establish a global iteration complexity bound of $\mathcal{O}(k^{-1/2})$ for the smallest gradient norm among the first $k$ iterates. Moreover, when the initial sublevel set is bounded, we show that the function value gap converges at a rate of $\mathcal{O}(k^{-1})$. Our analysis leverages the classical trace-log-determinant potential function and reveals that a key inequality underlying this potential function remains valid without strong convexity.

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑