TokEval: A Tokenizer Evaluation Suite
TokEval：一个分词器评估套件
机构 * EPFL（洛桑联邦理工学院）
AI总结 本研究推出TokEval框架，通过信息论、结构敏感等指标评估分词器，经实验验证其可预测下游模型性能，助力更原则性的分词器评估。
Comments Published as a conference paper at COLM 2026; Library hosted at https://github.com/cimeister/tokenizer-intrinsic-evals
