University of California, Los Angeles（加州大学洛杉矶分校）

Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

Zhiyuan Fan, Yifeng Liu, Qingyue Zhao, Angela Yuan, Quanquan Gu

机构 * Department of Electrical Engineering and Computer Science, MIT, Cambridge, MA, USA（麻省理工学院电子工程与计算机科学系） ； Department of Computer Science, UCLA, CA, USA（加州大学洛杉矶分校计算机科学系） 纠错