arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2510.03280cs.LGcs.AIcs.CL
收藏

训练最优的大型扩散语言模型

Training Optimal Large Diffusion Language Models

National University of Singapore(新加坡国立大学);Sea AI Lab(Sea AI 实验室);StepFun;Shanghai Qiji Zhifeng Co Ltd(上海启智丰有限公司)

Jinjie Ni, Qian Liu, Chao Du, Longxu Dou, Hang Yan, Zili Wang, Tianyu Pang, Michael Qizhe Shieh

AI总结:

本文提出首个面向扩散语言模型的系统性扩展定律 Quokka,覆盖计算与数据受限场景,为扩散语言模型训练提供实践指导和长期启发。

摘要:

我们提出了 Quokka,这是首个针对扩散语言模型(DLMs)的系统性扩展定律,涵盖计算受限和数据受限两种情形,并研究了关键的建模与优化设计。Quokka 是 Chinchilla 的良伴,并提供了更广泛的适用范围。我们希望这些结果能为扩散语言模型的训练带来短期的实践指导,并为整个人工智能社区提供长期的启发。

英文摘要:

We introduce Quokka, the first systematic scaling law for diffusion language models (DLMs), encompassing both compute-constrained and data-constrained regimes, and studying the key modeling and optimization designs. Quokka is a good friend of Chinchilla and provides wider scopes. We hope the results would bring short-term practical guidance in DLMs training and long-term inspirations for the whole AI community.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑