尽管随机梯度方法的期望收敛行为已被充分理解，但在高概率收敛（即收敛速率对期望成功概率参数具有对数依赖性）的理解上仍存在许多空白。在重尾噪声设定下，即随机梯度噪声仅对于某个 p∈(1,2] 具有有界的 p 阶矩，现有研究仅能针对带梯度裁剪的随机梯度下降（SGD）变体给出期望界，或者仅在特殊情形（如 p=2）或附加假设（如随机梯度具有有界的非中心矩）下证明高概率界。在本研究中，借助一种新颖的分析框架，我们仅利用最少的假设，针对凸与非凸光滑目标函数，在重尾噪声下为带裁剪的 SGD 给出了新的、时间最优（至多相差对数因子）的高概率收敛界。
英文摘要：
While the convergence behaviors of stochastic gradient methods are well understood \emph{in expectation}, there still exist many gaps in the understanding of their convergence with \emph{high probability}, where the convergence rate has a logarithmic dependency on the desired success probability parameter. In the \emph{heavy-tailed noise} setting, where the stochastic gradient noise only has bounded $p$-th moments for some $p\in(1,2]$, existing works could only show bounds \emph{in expectation} for a variant of stochastic gradient descent (SGD) with clipped gradients, or high probability bounds in special cases (such as $p=2$) or with extra assumptions (such as the stochastic gradients having bounded non-central moments). In this work, using a novel analysis framework, we present new and time-optimal (up to logarithmic factors) \emph{high probability} convergence bounds for SGD with clipping under heavy-tailed noise for both convex and non-convex smooth objectives using only minimal assumptions.
Last-Iterate Convergence of Clipped SGD with Linear Decay
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
随机一阶方法，如随机外梯度（SEG）或随机梯度下降上升（SGDA）解决光滑极大极小问题，更一般地说，变分不等式问题（VIP）已经获得了很多关注，近年来由于对抗公式在机器学习中的日益普及。然而，虽然已知高概率收敛界更准确地反映了随机方法的实际行为，但大多数收敛结果都是在预期中提供的。此外，唯一已知的高概率复杂性结果是在限制性亚高斯（轻尾）噪声和有界域假设下推导出来的[Juditsky et al.，2011年]。在这项工作中，我们证明了第一个高概率的复杂性结果与对数依赖的置信水平的随机方法解决单调和结构化非单调VIP与非次高斯（重尾）噪声和无界域。在单调的情况下，我们的结果与光尾情况下最著名的结果相匹配[Juditsky等人，2011]，并且对于结构化非单调问题（诸如负共单调、拟强单调和/或星共单调问题）是新颖的。我们通过研究SEG和SGDA与裁剪实现了这些结果。此外，我们数值验证了许多实际的GAN公式的梯度噪声是重尾的，并表明裁剪提高了SEG/SGDA的性能。
Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
College of Computer Science and Technology National University of Defense Technology（计算机科学与技术学院 国防科技大学）；Center for Machine Learning Research (CMLR) Peking University（机器学习研究中心（CMLR） 北京大学）
Tight Heavy-Tailed Complexity Bounds for Optimizing Polyak--Łojasiewicz Objectives
Shanghai University of Finance and Economics（上海财经大学）；MoE Key Laboratory of Interdisciplinary Research of Computation and Economics, Shanghai University of Finance and Economics（上海财经大学计算与经济交叉研究教育部重点实验室）
Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
Department of Mathematics, University of California, Berkeley, CA, USA（加州大学伯克利分校数学系）；Department of EECS, University of California, Berkeley, CA, USA（加州大学伯克利分校电子工程与计算机科学系）；Department of IEOR, University of California, Berkeley, CA, USA（加州大学伯克利分校工业工程与运营研究系）
Large Deviation Upper Bounds and Improved MSE Rates of Nonlinear SGD: Heavy-tailed Noise and Power of Symmetry
Carnegie Mellon University（卡内基梅隆大学）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）；Faculty of Sciences, University of Novi Sad（诺维萨德大学理学院）
Rutgers Business School（罗格斯商学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）
Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises
School of Control Science and Engineering, Dalian University of Technology（控制科学与工程学院，大连理工大学）；School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学）；Department of Automation, Tsinghua University（自动化系，清华大学）
High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机过程研究所）；Ivannikov Institute for System Programming RAS（伊万尼科夫系统编程研究所（俄罗斯科学院））；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed
Moscow Institute of Physics and Technology, Russia（莫斯科物理技术学院）；Ivannikov Institute for System Programming RAS, Russia（伊万诺夫系统编程研究所）；Sber AI Lab, Russia（俄罗斯Sber人工智能实验室）；Innopolis University, Russia（因诺波利斯大学）；The Russian Presidential Academy of National Economy and Public Administration, Russia（俄罗斯总统经济与公共行政学院）；Skolkovo Institute of Science and Technology, Russia（斯克沃尔佐夫科学与技术研究所）；Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学）；Machine Learning and Optimization Laboratory (MLO), EPFL, Lausanne, Switzerland（机器学习与优化实验室（MLO），EPFL，拉瓦尔普勒斯，瑞士）
Nonlinear gradient mappings and stochastic optimization: A general framework with applications to heavy-tail noise
Faculty of Sciences（理学院）；University of Novi Sad（诺维萨德大学）；Faculty of Technical Sciences（技术科学学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Carnegie Mellon University（卡内基梅隆大学）
