发表机构
University of the Bundeswehr Munich; University of Vienna; Inria; CNRS; PSL Research University(慕尼黑联邦国防军大学; 维也纳大学; 法国国家信息与自动化研究所; 法国国家科学研究中心; 巴黎文理研究大学)
机构由 AI 辅助整理,请以论文原文为准。AI 中文总结
本研究推导了采用对数障碍作为距离生成函数时镜像下降等算法的收敛性,提出处理发散的新技术,解决相对光滑性理论缺口,证明其收敛速率为 $O(\log k / k)$ 且与内点法可比。
AI 中文摘要
本研究推导了当采用对数障碍作为距离生成函数时,镜像下降算法和近似镜像下降算法的收敛性保证。当解位于边界时,标准方法无法应用,此时布雷格曼散度会发散。我们证明,在特定设定下,两种方法均具有 $O(\log k / k)$ 的收敛速率,且该速率是紧的。此外,我们的贡献包括:(i)一种处理发散问题的新技术;(ii)相对光滑性理论中一个缺口的解决;(iii)所提方法与内点法的比较。
英文摘要
This work derives convergence guarantees for mirror descent and proximal mirror descent algorithms when a logarithmic barrier is used as a distance-generating function. Standard approaches cannot be applied when the solution lies on the boundary, where the Bregman divergence blows up. We show that, in a specific setting, both methods enjoy an $O(\log k / k)$ rate, which is also tight. In addition, our contributions include: (i) a new technique for handling the blow-up; (ii) a resolution of a gap in the theory of relative smoothness; and (iii) a comparison of the proposed approach with interior-point methods.
Comments18 pages