University of Texas at Austin（得克萨斯大学奥斯汀分校）

AlphaDecay: Module-wise Weight Decay for Heavy-Tailed Balancing in LLMs

Di He, Songjun Tu, Ajay Jaiswal, Li Shen, Ganzhao Yuan, Shiwei Liu, Lu Yin

机构 * Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） ； Peng Cheng Laboratory（鹏城实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shenzhen University of Advanced Technology（深圳大学） ； University of Oxford（牛津大学） ； University of Surrey（萨里大学） 纠错