分布假说不能完全解释掩码语言模型预训练的益处
The Distributional Hypothesis Does Not Fully Explain the Benefits of Masked Language Model Pretraining
AI总结：
本文从分布假说角度分析掩码语言模型预训练，发现分布属性能解释其样本效率优势，但无法完全解释其泛化能力，揭示了当前对预训练理解的局限性。
摘要：
我们从分布假说的角度分析了掩码语言建模的预训练目标函数。我们研究了使用掩码语言建模预训练的模型所具有的更好样本效率和更强泛化能力，是否可以归因于预训练数据分布属性中编码的语义相似性。通过合成数据集，我们的分析表明，分布属性确实带来了预训练掩码语言模型更好的样本效率，但不能完全解释其泛化能力。我们还在两个真实世界数据集上进行了分析，证明分布属性同样无法解释预训练自然语言模型的泛化能力。我们的结果说明我们对模型预训练的理解仍然有限，并为未来的研究提供了方向。
英文摘要：
We analyze the masked language modeling pretraining objective function from the perspective of the distributional hypothesis. We investigate whether better sample efficiency and the better generalization capability of models pretrained with masked language modeling can be attributed to the semantic similarity encoded in the pretraining data's distributional property. Via a synthetic dataset, our analysis suggests that distributional property indeed leads to the better sample efficiency of pretrained masked language models, but does not fully explain the generalization capability. We also conduct analyses over two real-world datasets and demonstrate that the distributional property does not explain the generalization ability of pretrained natural language models either. Our results illustrate our limited understanding of model pretraining and provide future research directions.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
