University of California, Los Angeles（加州大学洛杉矶分校）

Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining

打破冻结子空间：用于大语言模型预训练低秩优化的重要性采样

Haochen Zhang, Junze Yin, Guanchu Wang, Zirui Liu, Lin F. Yang, Tianyi Zhang, Anshumali Shrivastava, Vladimir Braverman

机构 * Rice University（Rice大学） ； University of North Carolina at Charlotte（北卡罗来纳州立大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 本文提出了一种具有可证明收敛性的低秩优化方法，用于大语言模型预训练，以解决主导子空间在预训练中冻结的问题，并在实验中表现出优越的性能。

Comments NeurIPS 2025