AI 中文总结
本文提出将 AdaGrad、Adam 和 AdamW 转化为算术简单的随机梯度方法，通过固定缩放因子实现芯片友好实现，并给出静态 Adam 的收敛性分析。
AI 中文摘要
如果梯度下降法的运算仅限于 $+,-, \times$ 以及除以 $2^t$（其中 $t$ 为整数）的除法，则该方法是算术简单的。算术简单的梯度方法易于在芯片设计中实现。我们展示了如何将 AdaGrad、Adam 和 AdamW 转换为算术简单的方法。AdamW 基于递归 $x_{t+1}=(1-\lambda\eta)x_t-\frac{\eta}{s}m_t$，而 Adam 是 AdamW 在 $\lambda=0$ 时的特例。我们将其转换为静态情形，即 $s=S(T)$，其中 $T$ 为迭代次数，$S(T)$ 为固定函数。我们给出了静态 Adam 的收敛性分析，该静态 Adam 也是算术简单的。
英文摘要
A gradient descent method is arithmetically simple if the operations are limited to $+,-, \times$, and division $x/2^t$ with integer $t$. An arthmetically simple gradient method is easy to implement in chip design. We show how to transform AdaGrad, Adam, and AdamW into arithmetically simple. AdamW is based on the recursion $x_{t+1}=(1-λη)x_t-\frac{η}{s}m_t$ and Adam is the special case of AdamW with $λ=0$. We transform them into a static case with $s=S(T)$, where $T$ is the number of iterations, and $S(T)$ is a fixed function. The convergence analysis is given for a static Adam, which is also arithmetically simple.
