25种欧洲语言的Tokenizer税：领域不变性、跨语言少样本效应与乌克兰语惩罚
The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty
AI总结：
研究测量了10个基础模型在25种欧洲语言上的tokenizer生育率，揭示了从英语到其他语言的成本差异，并发现乌克兰语因预训练数据不足而支付额外成本。
摘要：
Tokenizer生育率（每词token数）对非英语NLP施加了隐藏成本。我们在平行文本上测量了10个基础模型在25种欧洲语言上的生育率，生成了首个受控的欧洲tokenizer税地图。该税从英语（1.2 tokens/词）到希腊语/马耳他语（约3.1）跨度达2.5倍，遵循清晰层次：罗曼语族（1.5-1.7）、日耳曼语族（1.7-1.9）、斯拉夫语族（2.2-2.5）、乌拉尔语系/波罗的语族（2.7-3.0）。乌克兰语（2.7）比同源斯拉夫语言多支付15-18%，反映了其在预训练数据中的代表性不足。生育率排名在三种文本语域中具有领域不变性（rho > 0.97）。子词分析表明，高生育率tokenizer会碎片化形态边界而非保留它们。对四种斯拉夫语言的跨语言少样本评估显示，少样本效应是模型固有的，而非语言依赖的。我们将所有测量结果作为公共数据集发布。
英文摘要：
Tokenizer fertility the number of tokens per word imposes a hidden cost on non-English NLP. We measure fertility for ten foundation models across 25 European languages on parallel text, producing the first controlled tokenizer tax map for the continent. The tax spans 2.5x from English (1.2 tokens/word) to Greek/Maltese (~3.1), following a clear hierarchy: Romance (1.5-1.7), Germanic (1.7-1.9), Slavic (2.2-2.5), Uralic/Baltic (2.7-3.0). Ukrainian (2.7) pays 15-18% more than cognate Slavic languages, reflecting underrepresentation in pre-training data. Fertility rankings are domain-invariant across three text registers (rho > 0.97). A subword analysis reveals that high-fertility tokenizers fragment morphological boundaries rather than preserving them. Cross-lingual few-shot evaluation on four Slavic languages shows that few-shot effects are model-intrinsic, not language-dependent. We release all measurements as a public dataset.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
