What do Language Models Learn and When? The Implicit Curriculum Hypothesis
语言模型学习了什么以及何时？隐式课程假说
机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； Department of Computer Science, Data Science and AI Institute, Johns Hopkins University（约翰霍普金斯大学计算机科学系、数据科学与人工智能研究所） ； Khoury College of Computer Science, Northeastern University（东北大学Khoury计算机科学学院） ； Department of Computer Science, University of Southern California（南加州大学计算机科学系）
AI总结 研究通过设计简单可组合任务，发现模型技能以可组合顺序出现，且在不同模型间一致，表明预训练过程具有结构性。
