Broken Words, Broken Performance: Effect of Tokenization on Performance of LLMs
破碎的词,破碎的性能:分词对大语言模型性能的影响
机构 * TCS Research(塔塔咨询服务研究)
AI总结 本文研究了分词对大语言模型性能的影响,提出惩罚函数量化分词质量,并验证其在多个NLP任务上的统计显著性。
Comments International Joint Conference on Natural Language Processing & Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL 2025)