HeceTokenizer：一种基于音节的土耳其检索分词方法
HeceTokenizer: A Syllable-Based Tokenization Approach for Turkish Retrieval
AI总结：
HeceTokenizer利用土耳其语言的确定性六模式语音结构，构建了一个约8000种音节类型的封闭词汇表，结合细粒度分块检索策略，在TQuAD基准上取得50.3%的Recall@5，优于传统形态驱动方法。
摘要：
HeceTokenizer是一种基于音节的土耳其分词工具，利用该语言确定性的六模式语音结构构建了一个封闭的、无词汇外的词汇表，包含约8,000种独特的音节类型。一个从头开始训练的BERT-tiny编码器（1.5M参数）在土耳其维基百科的子集上使用掩码语言建模目标进行训练，并在TQuAD检索基准上评估Recall@5。结合细粒度分块检索策略，HeceTokenizer在TQuAD基准上达到50.3%的Recall@5，优于使用200倍大模型的形态驱动基线方法。这些结果表明，土耳其音节的语音规律为检索任务提供了强大的且资源消耗低的归纳偏差。
英文摘要：
HeceTokenizer is a syllable-based tokenizer for Turkish that exploits the deterministic six-pattern phonological structure of the language to construct a closed, out-of-vocabulary (OOV)-free vocabulary of approximately 8,000 unique syllable types. A BERT-tiny encoder (1.5M parameters) is trained from scratch on a subset of Turkish Wikipedia using a masked language modeling objective and evaluated on the TQuAD retrieval benchmark using Recall@5. Combined with a fine-grained chunk-based retrieval strategy, HeceTokenizer achieves 50.3% Recall@5, surpassing the 46.92% reported by a morphology-driven baseline that uses a 200 times larger model. These results suggest that the phonological regularity of Turkish syllables provides a strong and resource-light inductive bias for retrieval tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
