Dawn Song

AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs

Feiyang Kang, Yifan Sun, Bingbing Wen, Si Chen, Dawn Song, Rafid Mahmood, Ruoxi Jia

机构 * Virginia Tech（弗吉尼亚理工大学） ； UIUC（伊利诺伊大学香槟分校） ； University of Washington（华盛顿大学） ； UC Berkeley（加州大学伯克利分校） ； University of Ottawa（渥太华大学） ； NVIDIA（英伟达） 纠错

Comments Published as a conference paper at COLM 2025