arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2501.08256math.OC
收藏

带投影的随机逼近算法的收敛性

Convergence of projected stochastic approximation algorithm

Michał Borowski, Błażej Miasojedow

AI总结:

该研究针对带超矩形投影的Robbins-Monro随机逼近算法,用ODE方法证明其收敛到投影ODE平稳点,填补了经典著作的证明空白,为随机优化技术提供更优理论基础并放宽了既往假设。

摘要:

我们研究了在超矩形上带投影的Robbins-Monro随机逼近算法,并证明了其收敛性。这项工作填补了Kushner与Yin的经典著作中收敛性证明的一处空白。利用ODE(常微分方程)方法,我们证明该算法收敛到相关投影ODE的平稳点。我们的结果为包括随机梯度下降及其近端版本在内的随机优化技术提供了更优的理论基础,拓展了该算法的适用范围,并放宽了先前研究的部分假设。

英文摘要:

We study the Robbins-Monro stochastic approximation algorithm with projections on a hyperrectangle and prove its convergence. This work fills a gap in the convergence proof of the classic book by Kushner and Yin. Using the ODE method, we show that the algorithm converges to stationary points of a related projected ODE. Our results provide a better theoretical foundation for stochastic optimization techniques, including stochastic gradient descent and its proximal version. These results extend the algorithm's applicability and relax some assumptions of previous research.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑