Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization
奇妙预训练优化器及其发现之处 II：超球优化
机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； Tsinghua University（清华大学）
AI总结 针对Muon等优化器在大模型预训练中增益随规模增大而减弱的问题，提出Hyperball包装器，固定权重矩阵及其更新的Frobenius范数，在1.2B参数模型上实现20-30%的token等效加速，并改善学习率迁移。
Comments Corresponding blog post: https://psychedelic-sunstone-851.notion.site/Fantastic-Pretraining-Optimizers-and-Where-to-Find-Them-2-1-Hyperball-Optimization-2e924306e6f280e7a5ffee00eb40a0dd
