自然语言中词频-排名关系的一个关键参数
A Crucial Parameter for Rank-Frequency Relation in Natural Languages
AI总结：
本研究指出自然语言词频-排名关系模型$f \propto r^{-\alpha} \cdot (r+\gamma)^{-\beta}$的唯一关键参数为描述词汇增长阻力的$\gamma$，提出引入“第零个单词”搜索最优$\gamma$的参数估计方法，并通过案例研究展开讨论。
摘要：
经验表明，公式$f \propto r^{-\alpha} \cdot (r+\gamma)^{-\beta}$在建模自然语言单词的排名-频率（$r$-$f$）关系时，比简单幂律$f\propto r^{-\alpha}$更精确。本研究表明，该公式中唯一的关键参数是$\gamma$，它描述了语料库中词汇增长的阻力。本文提出了一种通过搜索最优$\gamma$进行参数估计的方法，其中在技术上引入了“第零个单词”用于计算。文中还通过若干案例研究进一步讨论了该公式及相关参数。
英文摘要：
$f \propto r^{-α} \cdot (r+γ)^{-β}$ has been empirically shown more precise than a naïve power law $f\propto r^{-α}$ to model the rank-frequency ($r$-$f$) relation of words in natural languages. This work shows that the only crucial parameter in the formulation is $γ$, which depicts the resistance to vocabulary growth on a corpus. A method of parameter estimation by searching an optimal $γ$ is proposed, where a ``zeroth word'' is introduced technically for the calculation. The formulation and parameters are further discussed with several case studies.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
