AdaMuon: Adaptive Muon Optimizer
AdaMuon：自适应穆斯优化器
机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（人工智能微电子实验室、人工智能学院、计算机科学学院、上海交通大学） ； Xiaohongshu Inc.（小红书公司）
AI总结 AdaMuon通过结合元素级适应性和正交更新，实现了大规模神经网络训练中的高效稳定优化，训练效率超过Adam达40%。
Comments Codes are available at https://github.com/Chongjie-Si/AdaMuon
