发表机构
Clemson University（克莱姆森大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对单位 $L_1$ 球上的凸二次最小化问题，提出一种基于好坏分解和SR1更新的一阶算法，实现 $O(L/T^3)$ 收敛率，首次达到 $O((L/\varepsilon)^{1/3})$ 预言复杂度。
AI 中文摘要
我们研究了在单位 $L_1$ 球上的凸二次最小化问题，其中 Hessian 矩阵的最大特征值由一个正常数 $L$ 界定。我们提出了一种新颖的一阶算法，在假设算法中涉及的子问题可以精确求解的情况下，经过 $T$ 次梯度评估后，目标值误差以 $O(L/T^3)$ 为界。据我们所知，文献中算法的最佳收敛率为 $O(L/T^2)$。从基于信息的复杂性理论角度来看，我们提出的算法是文献中第一个实现 $O((L/\varepsilon)^{1/3})$ 一阶预言复杂度的算法，尽管其当前版本不一定实用。我们希望我们提出的算法能为未来可实现且高效的 $O(L/T^3)$ 收敛率算法提供启示。所提出的算法将单位 $L_1$ 范数球中向量的分量分解为“好”和“坏”两部分，并对坏部分使用对称秩-1（SR1）更新。该算法是在作者指示 OpenAI ChatGPT 6 (Astra) 模型使用调和分析中的弱型 $L^1$ 估计和好坏分解思想以及一个近期结果来研究该问题后开发的。
英文摘要
We study convex quadratic minimization over the unit $L_1$ ball in which the maximum eigenvalue of the Hessian matrix is bounded by a positive constant $L$. We propose a novel first-order algorithm with objective value error bounded by $O(L/T^3)$ after $T$ gradient evaluations, assuming that the subproblems involved in the algorithm can be solved exactly. To the best of our knowledge, the best convergence rate of algorithms in the literature is $O(L/T^2)$. From the perspective of information-based complexity theory, our proposed algorithm is the first in the literature that achieves the $O((L/\varepsilon)^{1/3})$ first-order oracle complexity, although its current version is not necessarily practical for implementation. We hope that our proposed algorithm could shed some light on future implementable and efficient $O(L/T^3)$-convergence-rate algorithms. The proposed algorithm incorporates a decomposition of components of vectors in the unit $L_1$-norm ball to "good" and "bad" parts, and uses symmetric rank-1 (SR1) updates on the bad parts. The proposed algorithm was developed after the author instructed the OpenAI ChatGPT 6 (Astra) model to study the problem using ideas of weak-type $L^1$ estimates and good-bad part decomposition in harmonic analysis and a recent result.
