On the Convergence of Single-Loop Stochastic Bilevel Optimization with Approximate Implicit Differentiation
单环随机双层优化的收敛性研究:近似隐式微分
机构 * Xi’an Jiaotong University(西安交通大学) ; Fudan University(复旦大学) ; SGIT AI Lab(SGIT人工智能实验室)
AI总结 本文提出单环随机近似隐式微分算法,证明其在O(κ⁷ ε⁻²)复杂度下达到ε-静态点,兼顾多环方法的最优收敛速度与单环的高效计算。