匹配下界：随机收缩三次牛顿法及其最优加速
Matching the Lower Bounds: Stochastic Contracting Cubic Newton and Its Optimal Acceleration
浏览论文内容
中文总结 AI 辅助
针对凸随机优化，提出Stochastic Contracting Cubic Newton法及加速变体，二者收敛率分别匹配Agafonov等2024年提出的对应下界，实现了理论下界的最优匹配。
中文摘要 AI 辅助
我们研究凸随机优化的二阶方法，其中梯度和海森矩阵仅能通过方差分别为σ₁²和σ₂²的随机估计获取。首先，我们提出Stochastic Contracting Cubic Newton（随机收缩三次牛顿法），每次迭代最小化带附加二次正则项的三次模型，再将步长向当前点收缩。经过T次迭代，该方法达到期望收敛率O(σ₁/√T + σ₂/T + 1/T²)。基于此构造，我们开发出加速变体，其收敛率为O(σ₁/√T + σ₂/T² + 1/T^(7/2))，在三项指标上均匹配Agafonov等人（2024）提出的已知下界。
英文摘要
We study second-order methods for convex stochastic optimization, where gradients and Hessians are available only through stochastic estimates with variances $σ_1^2$ and $σ_2^2$, respectively. First, we propose the Stochastic Contracting Cubic Newton method. At each iteration, it minimizes a cubic model with additional quadratic regularization and then contracts the step toward the current point. After $T$ iterations, the method achieves the expected convergence rate $\mathcal{O}(σ_1/\sqrt{T}+σ_2/T+1/T^2)$. Building on this construction, we develop an accelerated variant achieving $\mathcal{O}(σ_1/\sqrt{T}+σ_2/T^2+1/T^{7/2})$, matching the known lower bounds of Agafonov et al. (2024) in all three terms.
发表机构
- MBZUAI（穆罕默德·本·扎耶德人工智能大学）
- MIRAI（MIRAI研究所）
机构由 AI 辅助整理，请以论文原文为准。
