牛顿法的原始加速
Primal Acceleration of Newton's Method
查看机构详情
- Cornell University（康奈尔大学）
机构由 AI 辅助整理，请以论文原文为准。
浏览论文内容
中文总结 AI 辅助
提出一种仅用原始变量、每次迭代仅解一个线性系统的直接加速牛顿法，其函数残差收敛速率达 $O(1/k^3)$，可扩展至任意几何与复合优化问题。
中文摘要 AI 辅助
我们开发了一种新的直接加速牛顿法，用于最小化具有 Lipschitz 连续 Hessian 的凸函数。该算法仅使用原始变量，每次迭代仅执行一次线性求解。通过简单的预设参数选择，它在函数残差方面达到了 $O(1/k^3)$ 的全局收敛速率。据我们所知，这是该问题类别的首个二阶方法，在仅依赖每次迭代求解一个线性系统（无需求解辅助非线性正则化子问题，如三次正则化、执行非线性参数搜索或使用对偶外梯度修正）的情况下达到该速率。我们的方法可通过不依赖 Hessian 的方式实现，使用不精确线性系统求解器，同时保持快速全局速率。我们进一步将构造扩展到通过 Bregman 散度的任意几何结构，以及复合优化问题。
英文摘要
We develop a new direct accelerated Newton method for minimizing convex functions with Lipschitz continuous Hessian. The algorithm uses only primal variables and performs just one linear solve per iteration. With a simple predetermined choice of parameters, it achieves the global convergence rate of $O(1/k^3)$ in terms of the functional residual. To the best of our knowledge, this is the first second-order method for this problem class attaining this rate while relying solely on one linear system solve per iteration (without solving auxiliary nonlinear regularized subproblems, such as cubic regularization, performing nonlinear parameter searches, or using dual extragradient corrections). Our method can be implemented in a Hessian-free way, using an inexact linear system solver, while preserving the fast global rate. We further extend our construction to arbitrary geometry through Bregman divergence, and to composite optimization problems.
