自然语言处理中的分词标准与度量：基于土耳其语的大语言模型比较分析
Doğal Dil İşlemede Tokenizasyon Standartları ve Ölçümü: Türkçe Üzerinden Büyük Dil Modellerinin Karşılaştırmalı Analizi
AI总结：
该研究针对土耳其语提出了一种新的分词评估框架，利用 TR-MMLU 数据集和语言特定 token 百分比、token 纯度等指标比较不同大语言模型的分词器，发现语言特定 token 百分比与下游性能相关性更强，并强调定制化分词方法对形态复杂语言的重要性。
摘要：
分词是自然语言处理（NLP）中的一项基础预处理步骤，显著影响大语言模型（LLMs）捕捉语言和语义细微差别的能力。本研究引入了一种新颖的评估框架，以应对土耳其语等形态丰富且资源匮乏语言所特有的分词挑战。利用土耳其语 MMLU（TR-MMLU）数据集（包含来自土耳其教育系统的 6,200 道多项选择题），我们基于词汇量大小、token 数量、处理时间、语言特定 token 百分比（%TR）和 token 纯度（%Pure）对分词器进行了评估。这些新提出的度量指标衡量分词器在多大程度上有效保留语言结构。我们的分析表明，语言特定 token 百分比与下游性能（例如 MMLU 分数）的相关性强于 token 纯度。此外，仅增加模型参数并不一定能提升语言性能，这凸显了针对特定语言定制分词方法的重要性。所提出的框架为形态复杂语言建立了稳健且实用的分词标准。
英文摘要：
Tokenization is a fundamental preprocessing step in Natural Language Processing (NLP), significantly impacting the capability of large language models (LLMs) to capture linguistic and semantic nuances. This study introduces a novel evaluation framework addressing tokenization challenges specific to morphologically-rich and low-resource languages such as Turkish. Utilizing the Turkish MMLU (TR-MMLU) dataset, comprising 6,200 multiple-choice questions from the Turkish education system, we assessed tokenizers based on vocabulary size, token count, processing time, language-specific token percentages (\%TR), and token purity (\%Pure). These newly proposed metrics measure how effectively tokenizers preserve linguistic structures. Our analysis reveals that language-specific token percentages exhibit a stronger correlation with downstream performance (e.g., MMLU scores) than token purity. Furthermore, increasing model parameters alone does not necessarily enhance linguistic performance, underscoring the importance of tailored, language-specific tokenization methods. The proposed framework establishes robust and practical tokenization standards for morphologically complex languages.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
