基于平行数据的条件一元分词
Conditional Unigram Tokenization with Parallel Data
AI总结：
提出条件一元分词方法，通过平行数据中的源语言词元条件化目标词元概率以最大化跨语言语义对齐，实验表明其困惑度持续降低但机器翻译质量无改善，揭示了条件概率估计的数据效率瓶颈。
摘要：
我们提出了条件一元分词，这是一种新颖的方法，通过将目标词元概率以平行数据中的源语言词元为条件，扩展了一元分词。给定固定的源分词器，我们的方法学习一个最大化跨语言语义对齐的目标分词器。我们在不同语系和资源水平下的四个语言对上评估了我们的分词器，考察了内在属性以及在机器翻译和语言建模上的下游性能。虽然我们的条件分词器保持了与标准一元分词器相当的统计属性，但结果喜忧参半：我们观察到机器翻译质量没有改善，但发现在语言建模中困惑度持续降低。我们假设，条件概率估计相对于词汇表大小的二次缩放造成了数据效率瓶颈。我们的发现表明，实用的跨语言分词可能需要替代的参数化方法。
英文摘要：
We introduce conditional unigram tokenization, a novel approach that extends unigram tokenization by conditioning target token probabilities on source-language tokens from parallel data. Given a fixed source tokenizer, our method learns a target tokenizer that maximizes cross-lingual semantic alignment. We evaluate our tokenizer on four language pairs across different families and resource levels, examining intrinsic properties and downstream performance on machine translation and language modeling. While our conditional tokenizer maintains comparable statistical properties to standard unigram tokenizers, results are mixed: we observe no improvements in machine translation quality, but find consistent perplexity reductions in language modeling. We hypothesize that quadratic scaling of conditional probability estimation with respect to the vocabulary size creates a data efficiency bottleneck. Our findings suggest that alternative parameterizations may be necessary for practical cross-lingual tokenization.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
