针对某些优化方法自适应过程中产生的系统互联的李雅普诺夫构造
Lyapunov Constructions for System Interconnections Arising from Adaptation in Some Optimization Methods
浏览论文内容
中文总结 AI 辅助
该研究针对自适应梯度方法中的互联系统，采用不同技术构造李雅普诺夫函数，证明自适应梯度优化器全局渐近稳定，提供了验证该性质的李雅普诺夫函数构造方法。
中文摘要 AI 辅助
互联系统已得到广泛研究，现有研究多聚焦于子系统仅为输入-状态稳定（ISS）或无源系统的互联系统。本工作的研究对象是自适应梯度方法中出现的互联系统：其中一个子系统旨在将代价函数的参数向极小值点移动，另一个子系统则致力于估计代价函数的某些导数信息，以帮助确定参数更新的方向。本工作研究了这类互联系统的实例，并采用不同技术为其构造了多种李雅普诺夫函数；通过该过程，证明了自适应梯度优化器具有全局渐近稳定（GAS）性，同时给出了用于验证该性质的李雅普诺夫函数构造方法。
英文摘要
Interconnected systems have been widely studied, with a focus on interconnected systems whose subsystems are solely input-to-state stable (ISS) or passive systems. The focus of this work is on the interconnected systems that appear in adaptive gradient methods. In adaptive gradient methods, one subsystem seeks to move parameters of a cost function towards a minimizer while the other subsystem works to estimate some derivative information about the cost function to help determine the direction of the parameter update. This work studies instances of such interconnected systems and gives various Lyapunov function constructions for them using different techniques. Global asymptotic stability (GAS) of adaptive gradient optimizers follows from small-gain theory; the Lyapunov functions constructed here certify it explicitly.
发表机构
- San Diego State University（圣地亚哥州立大学）
- University of California San Diego（加州大学圣地亚哥分校）
机构由 AI 辅助整理，请以论文原文为准。
