设计具有预定理论收敛估计的凸最优化方法的一个新的统一框架：一种数值分析方法
A new unified framework for designing convex optimization methods with prescribed theoretical convergence estimates: A numerical analysis approach
摘要：
从数值分析的角度提出了一个新的统一框架来描述和设计基于梯度的凸最优化方法。其中的关键是弱离散梯度的概念，它是数值分析中离散梯度标准的推广。通过弱DG，我们考虑了抽象的最优化方法，并证明了统一的收敛速度估计，除了最终估计中的一些常数外，该估计与弱DG的选择无关.通过选择一些弱DG，我们可以重现许多流行的现有方法，如最速下降法和Nesterov的加速梯度法，以及最近来自数值分析社区的一些变体。通过考虑新的弱DG，我们可以很容易地探索新的理论保证的最优化方法，我们给出了一些例子。我们相信这项工作是迄今为止独立开发的第一次尝试，以充分整合优化和数值分析领域的研究分支。
英文摘要：
We propose a new unified framework for describing and designing gradient-based convex optimization methods from a numerical analysis perspective. There the key is the new concept of weak discrete gradients (weak DGs), which is a generalization of DGs standard in numerical analysis. Via weak DG, we consider abstract optimization methods, and prove unified convergence rate estimates that hold independent of the choice of weak DGs except for some constants in the final estimate. With some choices of weak DGs, we can reproduce many popular existing methods, such as the steepest descent and Nesterov's accelerated gradient method, and also some recent variants from numerical analysis community. By considering new weak DGs, we can easily explore new theoretically-guaranteed optimization methods; we show some examples. We believe this work is the first attempt to fully integrate research branches in optimization and numerical analysis areas, so far independently developed.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
