掩码扩散语言模型与频率信息训练
Masked Diffusion Language Models with Frequency-Informed Training
AI总结：
本文提出一种掩码扩散语言建模框架，结合频率信息掩码和多种噪声调度策略，在BabyLM基准上实现与混合基线相当的性能，为数据受限语言学习提供可行方案。
摘要：
我们提出了一种掩码扩散语言建模框架，用于BabyLM 2025挑战赛的数据高效训练。我们的方法在严格的数据约束下将扩散训练目标应用于语言建模，结合了频率信息掩码，优先从稀有词元中学习，同时保持理论有效性。我们探索了多种噪声调度策略，包括双模式方法，并研究了NELBO目标中的不同噪声加权方案。我们在BabyLM基准套件上评估了我们的方法，测量了语言能力、世界知识和人类相似性。结果表明，我们的性能与混合自回归掩码基线相当，证明了基于扩散的训练为数据受限的语言学习提供了一种可行的替代方案。
英文摘要：
We present a masked diffusion language modeling framework for data-efficient training for the BabyLM 2025 Challenge. Our approach applies diffusion training objectives to language modeling under strict data constraints, incorporating frequency-informed masking that prioritizes learning from rare tokens while maintaining theoretical validity. We explore multiple noise scheduling strategies, including two-mode approaches, and investigate different noise weighting schemes within the NELBO objective. We evaluate our method on the BabyLM benchmark suite, measuring linguistic competence, world knowledge, and human-likeness. Results show performance competitive to hybrid autoregressive-masked baselines, demonstrating that diffusion-based training offers a viable alternative for data-restricted language learning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
