Graham Neubig

Midtraining Bridges Pretraining and Posttraining Distributions

中期训练连接预训练和后训练分布

Emmy Liu, Graham Neubig, Chenyan Xiong

机构 * Language Technologies Institute, Carnegie Mellon University, USA（语言技术研究所，卡内基梅隆大学，美国） 纠错

AI总结 中期训练通过提供更好的初始化提升模型性能，尤其在与通用预训练数据距离较远的领域表现突出，且起始时间和混合权重的相互作用影响其效果。