InforMask：面向语言模型预训练的无监督信息性掩码方法
InforMask: Unsupervised Informative Masking for Language Model Pretraining
AI总结：
针对大语言模型预训练中随机掩码策略的不足，该研究提出基于点互信息的无监督掩码方法InforMask，经效率优化后，仅需一次性预处理，在多个基准任务上表现优于现有掩码策略。
摘要：
掩码语言建模被广泛用于大语言模型的预训练，以服务自然语言理解（NLU）任务。但随机掩码策略并非最优，它对所有词元都采用相同的掩码率。本文提出InforMask，一种用于训练掩码语言模型的新型无监督掩码策略，该方法利用点互信息（Pointwise Mutual Information, PMI）选择最具信息性的词元进行掩码。我们还为InforMask提出两项优化以提升其效率。仅需一次性预处理步骤，InforMask在事实回忆基准LAMA、问答基准SQuAD v1和v2上的表现均优于随机掩码及此前提出的掩码策略。
英文摘要：
Masked language modeling is widely used for pretraining large language models for natural language understanding (NLU). However, random masking is suboptimal, allocating an equal masking rate for all tokens. In this paper, we propose InforMask, a new unsupervised masking strategy for training masked language models. InforMask exploits Pointwise Mutual Information (PMI) to select the most informative tokens to mask. We further propose two optimizations for InforMask to improve its efficiency. With a one-off preprocessing step, InforMask outperforms random masking and previously proposed masking strategies on the factual recall benchmark LAMA and the question answering benchmark SQuAD v1 and v2.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
