Percy Liang

Data-efficient pre-training by scaling synthetic megadocs

通过扩展合成巨文档实现数据高效的预训练

Konwoo Kim, Suhas Kotha, Yejin Choi, Tatsunori Hashimoto, Nick Haber, Percy Liang

机构 * Stanford University（斯坦福大学） 纠错

AI总结 本文研究如何通过生成更长的合成巨文档提升预训练效果，发现其在降低损失和提升基准准确率方面优于简单重述，数据效率从1.48倍提升至1.80倍。