为大语言模型（LLM）设计兼具低内存需求与快速收敛性的高效优化器是一项重要且具有挑战性的问题。本文通过结构化Fisher信息矩阵（FIM）近似的视角，为此类优化器的系统化设计迈出了一步。我们证明，许多当前最先进的高效优化器都可被视为在特定结构假设下（基于Frobenius范数）的FIM近似解。基于这些见解，我们针对LLM提出了两项实用高效优化器的设计建议，包括精心选择结构假设以平衡通用性与效率，以及通过一种新颖的低秩扩展框架提升具有通用结构的优化器的内存效率。我们通过推导两种新型内存高效优化器——行与列缩放随机梯度下降（Row and Column Scaled SGD, RACS）和自适应低维子空间估计（Adaptive low-dimensional subspace estimation, Alice），展示了每种设计方法的应用方式。在LLaMA预训练（最高10亿参数规模）上的实验验证了方法的有效性，结果表明其收敛速度和效果均优于现有内存高效基线优化器以及内存开销极小的Adam。值得注意的是，Alice的收敛速度比Adam快2倍以上，而RACS在10亿参数模型上以接近SGD的内存占用实现了优异性能。
英文摘要：
Designing efficient optimizers for large language models (LLMs) with low-memory requirements and fast convergence is an important and challenging problem. This paper makes a step towards the systematic design of such optimizers through the lens of structured Fisher information matrix (FIM) approximation. We show that many state-of-the-art efficient optimizers can be viewed as solutions to FIM approximation (under the Frobenius norm) with specific structural assumptions. Building on these insights, we propose two design recommendations of practical efficient optimizers for LLMs, involving the careful selection of structural assumptions to balance generality and efficiency, and enhancing memory efficiency of optimizers with general structures through a novel low-rank extension framework. We demonstrate how to use each design approach by deriving new memory-efficient optimizers: Row and Column Scaled SGD (RACS) and Adaptive low-dimensional subspace estimation (Alice). Experiments on LLaMA pre-training (up to 1B parameters) validate the effectiveness, showing faster and better convergence than existing memory-efficient baselines and Adam with little memory overhead. Notably, Alice achieves better than 2x faster convergence over Adam, while RACS delivers strong performance on the 1B model with SGD-like memory.
Can Large Language Models Be Trusted as Evolutionary Optimizers for Network-Structured Combinatorial Problems?
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University（数学科学系，物理与数学科学学院，南洋理工大学）；School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学）
MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息科技部模式分析与机器智能重点实验室）；College of Design and Engineering, National University of Singapore（新加坡国立大学设计与工程学院）
FedSubMuon: Communication-Efficient Federated LLM Fine-Tuning via Structured Subspace Muon
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Imperial College London（帝国理工学院）；Technische Universität Berlin (TU Berlin)（柏林工业大学）；Ocean University of China（中国海洋大学）；The Hong Kong Polytechnic University（香港理工大学）
Tractable structured natural gradient descent using local parameterizations
University of British Columbia（不列颠哥伦比亚大学）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
When Does Preconditioning Help or Hurt Generalization?
University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Columbia University（哥伦比亚大学）；RIKEN Center for Brain Science（理化学研究所脑科学中心）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Google Research（谷歌研究院）
Benchmarking VQE Configurations: Architectures, Initializations, and Optimizers for Silicon Ground State Energy
eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD), Abu Dhabi, UAE（纽约大学阿布扎赫（NYUAD））；Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute, NYUAD, Abu Dhabi, UAE（纽约大学阿布扎赫研究机构）
On PyTorch Implementation of Density Estimators for von Mises-Fisher and Its Mixture
von Mises-Fisher（vMF）是一个著名的方向随机变量密度模型。最近兴起的用于高维结构化数据（如图像或文本）的深度嵌入方法，旨在提取突出的方向信息，可以使vMF模型更加流行。在本文中，我们将回顾vMF模型及其混合，提供如何在Python/PyTorch中训练模型的详细方法，重点是最大似然估计。特别是，vMF的实现通常会遇到密度归一化器中贝塞尔函数求值的臭名昭著的数值问题，特别是当维数很高时，我们使用支持任意精度的MPMath库来解决这个问题。对于混合学习，我们提供了基于小批量的大规模SGD学习，以及EM算法，这是一个完整的批量估计器。对于每种估计器/方法，我们在一些合成数据上测试我们的实现，同时我们还在更现实的图像聚类场景中演示了用例。我们的代码可在https://github.com/minyoungkim21/vmf-lib上公开获取。
DyKAF: Dynamical Kronecker Approximation of the Fisher Information Matrix for Gradient Preconditioning
HSE University（俄罗斯伏尔加格勒国立大学）；HSE University Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（俄罗斯伏尔加格勒国立大学人工智能基础研究实验室）；Innopolis University（因诺波利斯大学）
Reconstructing Deep Neural Networks: Unleashing the Optimization Potential of Natural Gradient Descent
School of Medical Technology, Beijing Institute of Technology（北京理工大学医学技术学院）；AthenaEyesCO., LTD.（雅典娜眼有限公司）；Khalifa University of Science and Technology（哈利法科技大学）；School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；National Cancer Center/National Clinical Research Center for Cancer/Cancer Hospital, Chinese Academy of Medical Sciences and Pekin Union Medical College（中国医学科学院肿瘤医院（国家癌症中心/国家肿瘤临床医学研究中心）、北京协和医学院）
SCOPE-OPSD: Fisher-Conditioned Privileged Subspaces for On-Policy Self-Distillation
Chongqing Ant Consumer Finance Co., Ltd.（重庆蚂蚁消费金融有限公司）；Alibaba Cloud Computing Co., Ltd.（阿里云计算有限公司）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
