Fudan University（复旦大学）

How to Set the Batch Size for Large-Scale Pre-training?

如何为大规模预训练设置批次大小？

Yunhua Zhou, Junhao Huang, Shuhao Xing, Yechen Zhang, Runyu Peng, Qiping Guo, Xipeng Qiu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai JiaoTong University（上海交通大学） 纠错

AI总结 本文提出动态批次大小调度器，通过修订E(S)关系，优化大规模预训练中的批次大小选择，提升训练效率和模型质量。