发表机构
Shanghai University of Finance and Economics; MoE Key Laboratory of Interdisciplinary Research of Computation and Economics, Shanghai University of Finance and Economics（上海财经大学; 上海财经大学计算与经济交叉研究教育部重点实验室）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
该研究针对满足条件无偏随机梯度的重尾一阶优化，推导了高维极小极大下界，提出中心裁剪镜像下降方法达到匹配高概率上界，还刻画了固定维度下的随机复杂度并明确了间隙。
AI 中文摘要
我们研究满足条件无偏随机梯度的光滑Polyak-Łojasiewicz（PL）优化，其满足E[||G_t - ∇f(x_t)||^α | F_{t-1}] ≤ σ^α，其中1<α≤2。当维度可能依赖于神谕预算时，我们证明噪声自适应下界T_ε = Ω_α[κ log(Δ₀/ε) + κ(σ²/(με))^(α/(2(α-1)))]，当σ=0时该下界退化为无噪声PL下界。在适当的镜像-PL条件下，我们提出中心裁剪镜像下降方法，在不依赖有界域、有界梯度或亚高斯假设的情况下，达到匹配的高概率上界（仅差对数因子）。我们进一步刻画规定固定维度下的随机复杂度：当d=1、2、3时，最优随机项为Θ̃_α[(σ²/(με))^(α/(2(α-1)))]；对每个固定d>3，当α/(α-1)≥d-1时，该刻画成立；在互补区域，我们给出带有附加表面熵因子的上界，并明确确定剩余间隙。
英文摘要
We study optimizing $L$-smooth and $μ$-Polyak-Lojasiewicz (PL) objectives with unbiased stochastic gradients under $α$-heavy-tailed noise ($1<α\le 2$). In the unrestricted high-dimensional setting, we establish the noise-adaptive lower bound for attaining $ε$-suboptimal function value. Under the generalized mirror-PL condition, we propose a centered-clipped mirror-descent method that achieves a high-probability upper bound matching the lower bound up to logarithmic factors. We further provide the improved tight stochastic complexity in fixed dimensions.
CommentsUnder review
