μnit Scaling：简单且可扩展的 FP8 大语言模型训练
$μ$nit Scaling: Simple and Scalable FP8 LLM Training
AI总结：
本文提出 μnit Scaling 方法，通过基于第一性原理的最小干预实现无需动态缩放因子和特殊超参数的简单可扩展 FP8 大语言模型训练，在 1B 至 13B 模型上取得与高精度基线相当的质量，训练速度提升最高 33%。
摘要：
使用 8 位浮点（FP8）格式进行大语言模型训练有望显著提升效率，但数值精度的降低使训练变得困难。目前，只有在愿意调整各种超参数、缩小模型规模或接受计算动态缩放因子的开销时，才能进行 FP8 训练。我们展示了简单、可扩展的 FP8 训练方法，即使在较大模型规模下也无需动态缩放因子或特殊超参数。我们的方法 μnit Scaling（μS）还能实现跨模型宽度的简单超参数迁移、训练与推理之间的数值匹配以及其他理想特性。μnit Scaling 实现简单，由基于对常见 Transformer 运算的第一性原理分析而得出的一组最小干预组成。我们通过训练 1B 到 13B 参数的模型来验证该方法，所有隐藏线性层计算均在 FP8 中执行。我们取得了与更高精度基线相同的质量，同时训练速度提升高达 33%。
英文摘要：
Large Language Model training with 8-bit floating point (FP8) formats promises significant efficiency improvements, but reduced numerical precision makes training challenging. It is currently possible to train in FP8 only if one is willing to tune various hyperparameters, reduce model scale, or accept the overhead of computing dynamic scale factors. We demonstrate simple, scalable FP8 training that requires no dynamic scaling factors or special hyperparameters, even at large model sizes. Our method, $μ$nit Scaling ($μ$S), also enables simple hyperparameter transfer across model widths, matched numerics across training and inference, and other desirable properties. $μ$nit Scaling is straightforward to implement, consisting of a set of minimal interventions based on a first-principles analysis of common transformer operations. We validate our method by training models from 1B to 13B parameters, performing all hidden linear layer computations in FP8. We achieve quality equal to higher precision baselines while also training up to 33% faster.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
