FAdam：Adam 是使用对角经验 Fisher 信息的自然梯度优化器
FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information
- Google LLC（谷歌公司）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文从黎曼与信息几何角度证明 Adam 是使用对角经验 Fisher 信息的自然梯度优化器，揭示原始算法缺陷并提出修正，改进后的 FAdam 在 LLM、ASR 和 VQ-VAE 上表现优异，ASR 达最优水平。
AI中文摘要：
本文为 Adam 优化器建立了数学基础，通过黎曼几何与信息几何阐明其与自然梯度下降的联系。我们对 Adam 中的对角经验 Fisher 信息矩阵（FIM）进行了易于理解且详尽的分析，澄清了所有详细近似，并主张使用基于离散分布的对数概率函数作为损失，这是由经验 FIM 的局限性所决定的。我们的分析揭示了原始 Adam 算法中的缺陷，从而提出了修正方案，例如增强的动量计算、调整后的偏差校正、自适应 epsilon 和梯度裁剪。我们基于理论框架改进了权重衰减项。我们修改后的算法 Fisher Adam（FAdam）在包括 LLM、ASR 和 VQ-VAE 在内的多个领域展现出优越性能，并在 ASR 中取得了最先进的结果。
英文摘要：
This paper establishes a mathematical foundation for the Adam optimizer, elucidating its connection to natural gradient descent through Riemannian and information geometry. We provide an accessible and detailed analysis of the diagonal empirical Fisher information matrix (FIM) in Adam, clarifying all detailed approximations and advocating for the use of log probability functions as loss, which should be based on discrete distributions, due to the limitations of empirical FIM. Our analysis uncovers flaws in the original Adam algorithm, leading to proposed corrections such as enhanced momentum calculations, adjusted bias corrections, adaptive epsilon, and gradient clipping. We refine the weight decay term based on our theoretical framework. Our modified algorithm, Fisher Adam (FAdam), demonstrates superior performance across diverse domains including LLM, ASR, and VQ-VAE, achieving state-of-the-art results in ASR.
