ICLR

MAST: Model-Agnostic Sparsified Training

MAST：模型无关的稀疏训练

Yury Demidovich, Grigory Malinovsky, Egor Shulgin, Peter Richtárik

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

AI总结 MAST 提出了一种模型无关的稀疏训练方法，通过引入预训练模型和随机草图算子，实现模型和梯度的稀疏化，改进了收敛速率并拓展了应用范围。

Comments Published at ICLR 2025