The study of tail behaviour of SGD-induced processes has been attracting a lot of interest, due to offering strong guarantees with respect to individual runs of an algorithm. While many works provide high-probability guarantees, quantifying the error rate for a fixed probability threshold, there is a lack of work directly studying the probability of failure, i.e., quantifying the tail decay rate for a fixed error threshold. Moreover, existing results are of finite-time nature, limiting their ability to capture the true long-term tail decay which is more informative for modern learning models, typically trained for millions of iterations. Our work closes these gaps, by studying the long-term tail decay of SGD-based methods through the lens of large deviations theory, establishing several strong results in the process. First, we provide an upper bound on the tails of the gradient norm-squared of the best iterate produced by (vanilla) SGD, for non-convex costs and bounded noise, with long-term decay at rate $e^{-t/\log(t)}$. Next, we relax the noise assumption by considering clipped SGD (c-SGD) under heavy-tailed noise with bounded moment of order $p \in (1,2]$, showing an upper bound with long-term decay at rate $e^{-t^{β_p}/\log(t)}$, where $β_p = \frac{4(p-1)}{3p-2}$ for $p \in (1,2)$ and $e^{-t/\log^2(t)}$ for $p = 2$. Finally, we provide lower bounds on the tail decay, at rate $e^{-t}$, showing that our rates for both SGD and c-SGD are tight, up to poly-logarithmic factors. Notably, our results demonstrate an order of magnitude faster long-term tail decay compared to existing work based on finite-time bounds, which show rates $e^{-\sqrt{t}}$ and $e^{-t^{β_p/2}}$, $p \in (1,2]$, for SGD and c-SGD, respectively. As such, we uncover regimes where the tails decay much faster than previously known, providing stronger long-term guarantees for individual runs.
Last-Iterate Convergence of Clipped SGD with Linear Decay
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
随机一阶方法，如随机外梯度（SEG）或随机梯度下降上升（SGDA）解决光滑极大极小问题，更一般地说，变分不等式问题（VIP）已经获得了很多关注，近年来由于对抗公式在机器学习中的日益普及。然而，虽然已知高概率收敛界更准确地反映了随机方法的实际行为，但大多数收敛结果都是在预期中提供的。此外，唯一已知的高概率复杂性结果是在限制性亚高斯（轻尾）噪声和有界域假设下推导出来的[Juditsky et al.，2011年]。在这项工作中，我们证明了第一个高概率的复杂性结果与对数依赖的置信水平的随机方法解决单调和结构化非单调VIP与非次高斯（重尾）噪声和无界域。在单调的情况下，我们的结果与光尾情况下最著名的结果相匹配[Juditsky等人，2011]，并且对于结构化非单调问题（诸如负共单调、拟强单调和/或星共单调问题）是新颖的。我们通过研究SEG和SGDA与裁剪实现了这些结果。此外，我们数值验证了许多实际的GAN公式的梯度噪声是重尾的，并表明裁剪提高了SEG/SGDA的性能。
Rutgers Business School（罗格斯商学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；DAMO Academy, Alibaba (US) Group（阿里巴巴（美国）集团达摩院）；Florida State University（佛罗里达州立大学）
Cyclic and Randomized Stepsizes Invoke Heavier Tails in SGD than Constant Stepsize
Rutgers Business School（罗格斯商学院）；Princeton University（普林斯顿大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）
Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
College of Computer Science and Technology National University of Defense Technology（计算机科学与技术学院 国防科技大学）；Center for Machine Learning Research (CMLR) Peking University（机器学习研究中心（CMLR） 北京大学）
Rutgers Business School（罗格斯商学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）
Beating SGD Saturation with Tail-Averaging and Minibatching
University of Stuttgart（斯图加特大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Universita’ degli Studi di Genova（热那亚大学）
Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）；Rutgers University（罗格斯大学）；Princeton University（普林斯顿大学）；CNRS（法国国家科学研究中心）
Why Adam Can Beat SGD: Second-Moment Normalization Yields Sharper Tails
Department of Electrical and Computer Engineering, The Ohio State University（俄亥俄州立大学电气与计算机工程系）；School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
Optimization Risk Bounds for Kolmogorov-Arnold Networks Trained by DP-SGD with Correlated Noise
RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）；Machine Learning Research, Morgan Stanley（摩根大通机器学习研究部）；Institute of Science and Technology, Klosterneuburg（克洛斯特纽堡科学与技术研究所）；Catholic University of Eichstätt-Ingolstadt（埃希施泰特-英戈尔施塔特天主教大学）
Emergence of heavy tails in homogenized stochastic gradient descent
School of Mathematics and Statistics, Northwestern Polytechnical University（西北工业大学数学与统计学院）；TU Dresden（德累斯顿工业大学）；ScaDS.ai Center for scalable data analytics and artificial intelligence（ScaDS.ai可扩展数据分析与人工智能中心）
Nonlinear gradient mappings and stochastic optimization: A general framework with applications to heavy-tail noise
Faculty of Sciences（理学院）；University of Novi Sad（诺维萨德大学）；Faculty of Technical Sciences（技术科学学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Carnegie Mellon University（卡内基梅隆大学）
Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Management Science and Information Systems, Rutgers Business School（罗格斯大学商学院管理科学与信息系统系）
带动量的随机梯度下降（SGDm）是深度学习中最流行的优化算法之一。虽然有丰富的SGDm理论用于凸问题，但该理论在深度学习的背景下发展得相当少，其中问题是非凸的，并且梯度噪声可能表现出重尾行为，正如最近的研究所观察到的那样。在这项研究中，我们考虑了一个\emph{continuous-time}变形的SGDm，称为欠阻尼朗之万动力学（ULD），并研究其渐近性质下的重尾扰动。支持最近的研究从统计物理，我们认为在理论上和经验上，这种扰动的重尾可以导致偏见，即使当步长很小，在这个意义上说，\emph{the optima of stationary distribution}的动态可能不匹配\emph{the optima of the cost function to be optimized}。作为补救措施，我们开发了一个新的框架，我们将其命名为\emph{fractional} ULD（FULD），并证明FULD针对所谓的吉布斯分布，其最优值与原始成本的最优值完全匹配。我们观察到，FULD的欧拉离散化与\emph{natural gradient}方法和\emph{gradient clipping}具有值得注意的算法相似性，为理解它们在深度学习中的作用带来了新的视角。我们支持我们的理论与合成模型和神经网络上进行的实验。
High-Probability PL-SGD with Markovian Noise: Optimal Mixing and Tail Dependence
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Purdue University（普渡大学）
Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent
Inria Paris（巴黎国立信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping
Inria, CNRS, Ecole Normale Supérieure PSL Research University（法国国家科学研究中心、巴黎高等师范学院PSL研究大学）；Department of Management Science and Information Systems（管理科学与信息系统系）；Faculty of Engineering and Natural Sciences（工程与自然科学学院）；Department of Mathematics（数学系）
Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks
Boğaziçi University（海峡大学）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
Department of Mathematics, University of California, Berkeley, CA, USA（加州大学伯克利分校数学系）；Department of EECS, University of California, Berkeley, CA, USA（加州大学伯克利分校电子工程与计算机科学系）；Department of IEOR, University of California, Berkeley, CA, USA（加州大学伯克利分校工业工程与运营研究系）
