Sign stochastic gradient descent (signSGD) is a communication-efficient method that transmits only the sign of stochastic gradients for parameter updating. Existing literature has demonstrated that signSGD can achieve a convergence rate of $\mathcal{O}(d^{1/2}T^{-1/4})$, where $d$ represents the dimension and $T$ is the iteration number. In this paper, we improve this convergence rate to $\mathcal{O}(d^{1/2}T^{-1/3})$ by introducing the Sign-based Stochastic Variance Reduction (SSVR) method, which employs variance reduction estimators to track gradients and leverages their signs to update. For finite-sum problems, our method can be further enhanced to achieve a convergence rate of $\mathcal{O}(m^{1/4}d^{1/2}T^{-1/2})$, where $m$ denotes the number of component functions. Furthermore, we investigate the heterogeneous majority vote in distributed settings and introduce two novel algorithms that attain improved convergence rates of $\mathcal{O}(d^{1/2}T^{-1/2} + dn^{-1/2})$ and $\mathcal{O}(d^{1/4}T^{-1/4})$ respectively, outperforming the previous results of $\mathcal{O}(dT^{-1/4} + dn^{-1/2})$ and $\mathcal{O}(d^{3/8}T^{-1/8})$, where $n$ represents the number of nodes. Numerical experiments across different tasks validate the effectiveness of our proposed methods.
Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient
School of Management, Xi’an Jiaotong University(西安交通大学管理学院);State Grid Corporation of China(中国国家电网有限公司);International Business School, Beijing Foreign Studies University(北京外国语大学国际商学院);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);College of Computing and Data Science, NTU(南洋理工大学计算机与数据科学学院)
Variance Reduction in Deep Learning: More Momentum is All You Need
TU Braunschweig(不伦瑞克工业大学);Google Research(谷歌研究院)
方差缩减(VR)技术已经显著地促进了在平滑和强凸设置中利用大规模数据集的学习(Schmidt等人,2017; Johnson & Zhang,2013; Roux等人,2012年)。然而,由于各种因素,例如使用数据增强或dropout等正则化方法,这些技术尚未在大规模深度学习领域取得同样的成功(Defazio & Bottou,2019)。这一挑战最近激发了为深度学习明确定制的新颖方差减小技术的设计(Arnold等人,2019; Ma & Yarats,2018)。这项工作是朝着这个方向迈出的又一步。特别地,我们利用深度学习中使用的丰富数据集的普遍存在的聚类结构,通过组合现有的优化器(例如,SGD+动量、准双曲动量、隐式梯度传输)与多动量策略(Yuan等人,2019年)。我们的建议导致比标准基准数据集上的普通方法更快的收敛(例如,CIFAR和ImageNet)。它对标签噪声是鲁棒的,并且适合于分布式优化。我们在JAX中提供了一个并行实现。
Katyusha: The First Direct Acceleration of Stochastic Gradient Methods
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
Nesterov的动量技巧以加速梯度下降而闻名,并已被证明在构建快速迭代算法方面很有用。然而,在随机设置中,存在反例,并阻止Nesterov的动量提供类似的加速度,即使潜在的问题是凸和有限和。我们引入$\mathtt{Katyusha}$,一个直接的,原始的唯一的随机梯度法来解决这个问题。在凸有限和随机最优化中,$\mathtt{Katyusha}$具有最优加速收敛速度,并且在小批量环境下具有最优并行线性加速比。主要成分是$\textit{Katyusha momentum}$,一种新的“负动力”,位于涅斯捷罗夫的动力之上。它可以被合并到一个方差减少为基础的算法,并加快它,无论是在$\textit{sequential and parallel}$性能方面。由于方差缩减已成功地应用于越来越多的实际问题,我们的论文建议,在每一个这样的情况下,人们可能会尝试给喀秋莎一个拥抱。
Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baidu Inc.(百度公司);Huawei Technologies(华为技术有限公司)
深度Q-学习算法经常遭受具有过大方差的差的梯度估计,导致不稳定的训练和差的采样效率。已应用SVRG等随机方差缩减梯度方法来降低估计方差(Zhao等人,2019)。然而,由于强化学习的在线实例生成特性,直接将SVRG应用于深度Q学习面临着锚点估计不准确的问题,这极大地限制了SVRG的潜力。为了解决这个问题,并受到递归梯度方差缩减算法SARAH(Nguyen et al. 2017)的启发,本文提出引入递归框架来更新深度Q学习中的随机梯度估计,实现一种名为SRG-DQN的新算法。与基于SVRG的算法不同,SRG-DQN设计了随机梯度估计的递归更新。参数更新是利用过去的随机梯度信息沿着累积方向进行的,因此可以摆脱作为锚的全梯度的估计。此外,SRG-DQN涉及Adam过程以进一步加速训练过程。理论分析和著名的强化学习任务的实验结果表明,所提出的SRG-DQN算法的效率和有效性。
Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers
Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学);The Pennsylvania State University(宾夕法尼亚州立大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling
The Hong Kong University of Science and Technology(香港科技大学);International Digital Economy Academy(国际数字经济学院);Dalian University of Technology(大连理工大学);Emory University(埃默里大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达);University of Oxford(牛津大学);University of Surrey(萨里大学)