Tokenization Is More Than Compression
Kensho Technologies（肯寿科技公司）；Harvard Univ（哈佛大学）；Ben-Gurion University（本-古里安大学）；MIT（麻省理工学院）
该研究提出PathPiece分词器检验“token越少下游性能越好”的假设，发现假设不成立，进而分析分词三阶段的设计因素，训练并公开了64个不同参数规模的语言模型，为分词器设计提供新见解。
2024-10-07 cs.AI cs.CL
A Systematic Analysis of Vocabulary and BPE Settings for Optimal Fine-tuning of NMT: A Case Study of In-domain Translation
Tilburg University（蒂尔堡大学）
神经机器翻译（NMT）模型的有效性在很大程度上取决于训练时使用的词汇;小词汇可能导致词汇外问题-大词汇可能导致记忆问题。子字（SW）标记化已成功用于缓解这些问题。词汇表和SW标记化的选择对NMT模型的训练和微调都有重大影响。微调是针对新数据优化MT模型的常见做法。然而，新数据可能会引入新的单词（或标记），如果不考虑这些单词，可能会导致性能不佳。此外，新数据中令牌的分布可以与原始数据的分布不同。因此，原始SW标记化模型可能不太适合新数据。通过系统的实证评估，在这项工作中，我们比较了不同的策略，SW标记和词汇生成的最终目标，以发现一个最佳的设置微调特定领域的模型。此外，我们开发了几个（域内）模型，其中最好的模型比基线提高了6个BLEU点。
2023-03-01 cs.AI cs.CL
Tokenization Matters: Improving Zero-Shot NER for Indic Languages
University of Washington（华盛顿大学）；New York University（纽约大学）；Liverpool John Moores University（利物浦约翰·莫尔斯大学）
本研究系统比较了BPE、SentencePiece和字符级分词策略，发现SentencePiece在低资源印度语言的零样本NER中优于BPE，因其更好地保留实体一致性和语言结构，尤其适用于形态丰富的极低资源语言。
2025-04-23 cs.AI cs.CL
An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks
Kakao Brain；Pingpong AI Research, Scatter Lab（平乓人工智能研究院，斯卡特实验室）；Pohang University of Science and Technology（浦项科技大学）
通常，标记化是大多数文本处理工作的第一步。作为嵌入文本上下文信息的原子单位，标记的定义对模型的性能起着决定性的作用，尽管字节对编码（BPE）因其简单性和通用性而被认为是事实标准，但BPE是否适用于所有语言和任务仍不清楚。在本文中，我们测试了几个标记化策略，以回答我们的主要研究问题，即“什么是最好的标记化策略，韩国NLP任务？“实验结果表明，形态分割后的BPE混合方法在韩语到英语的机器翻译和自然语言理解任务（如KorNLI、KorSTS、NSMC和PAWS-X）中效果最好。作为一个例外，对于KorQuAD，SQuAD的韩国扩展，BPE分割是最有效的。
2020-10-06 cs.CL
Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier
Kensho Technologies；Faculty of Computer and Information Science（计算机与信息科学学院）；Ben-Gurion University of the Negev（本· Gurion 内盖夫大学）
针对预分词导致BPE令牌分布偏态、大词表收益受限的问题，提出BoundlessBPE算法，通过合并预令牌形成超词，使令牌分布更均匀，文本压缩效率提升最高15%。
2025-10-02 cs.AI cs.CL
Entropy-Driven Pre-Tokenization for Byte-Pair Encoding
Harvard University, Cambridge, MA（哈佛大学）；Kempner Institute, Allston, MA（凯姆纳研究所）；Kensho Technologies, Cambridge, MA（Kensho技术公司）
针对BPE在中文分词中忽视语言边界的问题，提出两种基于熵的预分词策略，利用互信息、左右熵或GPT-2预测熵指导分割，在PKU数据集上显著提升精确率、召回率和F1分数。
2025-06-18 cs.CL
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Computer Science（计算机科学系）
预训练的Transformer语言模型（LM）在自然语言处理中的成功导致了广泛的预训练设置。特别地，这些模型采用各种子字标记化方法，最显著的是字节对编码（BPE）（Sennrich等人，2016; Gage，1994），WordPiece方法（Schuster和Nakajima，2012）和unigram语言建模（Kudo，2018），以分割文本。然而，据我们所知，文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异，发现后一种方法恢复了与形态学更紧密对齐的子字单元，并避免了BPE贪婪构造过程中产生的问题。然后，我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言（英语和日语）中，我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法，而不是更流行的BPE。
2020-10-05 cs.CL
MorphTok: Morphologically Grounded Tokenization for Indian Languages
Department of CSE, IIT Hyderabad（印度理工学院海得拉巴分校计算机科学与工程系）；TIH, IIT Bombay（印度理工学院孟买分校技术创新中心）；BharatGen Consortium（BharatGen联盟）
本文提出MorphTok方法，通过形态感知预分词和约束字节对编码改进印度语言分词，并引入EvalTok人工评估指标，在机器翻译和语言建模上取得更优性能。
2025-11-07 cs.CL
Constructing a BPE Tokenization DFA
Department of Computing Science, Umeå University（乌梅大学计算机科学系）；Department of Computer Science, Stellenbosch University（斯坦福博芝大学计算机科学系）；National Institute for Theoretical and Computational Sciences, South Africa（南非理论与计算科学国家研究所）
本文提出一种高效构建DFA的算法，该DFA直接处理BPE分词，支持模式匹配、词典等价检查等应用，并确立状态复杂度渐近界，同时构建输入确定性转换器精确描述字符串与分词关系。
2025-05-26 cs.CL cs.FL cs.LG
Korean-English Machine Translation with Multiple Tokenization Strategy
Konkuk University（建国大学）
本文研究了分词方法对机器翻译模型训练结果的影响。在这项工作中，字母标记化，词素标记化和BPE标记化分别应用于韩语作为源语言和英语作为目标语言，并通过使用Transformer神经网络重复每9个模型的50，000个epoch进行对比实验。作为测量实验模型的BLEU分数的结果，将BPE标记化应用于韩语和词素标记化应用于英语的模型的BLEU分数为35.73，表现出最好的性能。
2022-05-27 cs.CL
BlockBPE: Parallel BPE Tokenization
Amos You（独立研究者）
针对大模型分词受限于 CPU 且 GPU 批量推理效率不佳的问题，提出并行 BPE 实现 BlockBPE，通过消除 Regex 预分词实现高度并行化的 token 合并，将复杂度降至 $O(nd)$，在高批量推理下吞吐量显著优于现有分词器。
2025-07-16 cs.CL cs.DC
Tokenization Matters: Navigating Data-Scarce Tokenization for Gender Inclusive Language Technologies
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Amazon AGI Foundations（亚马逊AGI基金会）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文揭示BPE因数据稀缺过度切分英语新代词并导致LLM性别错称，提出代词分词对等与利用已有代词知识两种方法，将准确率从14.1%提升至58.4%。
2024-04-06 cs.AI cs.CL cs.LG
Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment
Palo Alto Networks
研究发现BPE分词将安全关键词拆分为子词，导致对齐数据集缺乏此类碎片化输入，通过优化碎片化可绕过80-100%的安全拒绝，并定位到模型最后约30%层。
2026-07-03 cs.AI cs.CL
The Limits of BPE Tokenization in Polish: Segmentation-Flexional Forms, Grammatical Anchoring, and First-Person Stability in Inflectional Language Models
University of Lower Silesia DSW（下西里西亚DSW大学）
本文以波兰语为案例，揭示BPE分词在屈折语言中无法稳定锚定语法范畴，提出语法形式锚定概念，并建议通过次词汇稳定化、屈折系统锚定及维持语法“我”来改进建模。
2026-09-17 cs.CL
Evaluating Subword Tokenization Techniques for Bengali: A Benchmark Study with BengaliBPE
BIBA-Bremer Institut für Produktion und Logistik GmbH（BIBA-不来梅生产与物流研究所）；Freie Universität Berlin（柏林自由大学）；University of Bremen（不来梅大学）
本文提出专为孟加拉语设计的BengaliBPE分词器，通过Unicode规范化、字素级初始化和形态感知合并规则提升子词完整性，并在新闻分类任务上验证其分割精细度和形态可解释性优于现有基线。
2025-11-07 cs.CL
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
New York University（纽约大学）
GPUTOK提出基于GPU的字节级BPE分词器，通过优化算法和内存管理，显著提升分词速度，同时保持输出质量，适用于长上下文推理任务。
2026-03-03 cs.AI cs.CL cs.DC
Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
Department of Computer Science, Stellenbosch University（斯瓦茨堡大学计算机科学系）
本文研究了在低资源NLP中预训练时应用BPE Dropout对下游性能的影响，发现随机分词在预训练和微调时均优于仅在微调时应用，尤其在数据较少时表现更佳。
2026-05-13 cs.CL cs.LG
Words, Subwords, and Morphemes: What Really Matters in the Surprisal-Reading Time Relationship?
University of Maryland（马里兰大学）
本文通过对比正字法、形态学和BPE分词下的惊讶度估计与阅读时间数据，发现BPE分词总体不逊色，但细粒度分析揭示其潜在问题，并提出形态学感知预测的新评估方法。
2023-10-26 cs.CL
A Partition Cover Approach to Tokenization
Singapore Management University（新加坡管理大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Harvard University（哈佛大学）；National University of Singapore（新加坡国立大学）
本文将分词建模为优化问题并证明其 NP-hard，提出多项式贪心算法 GreedTok，实验表明其压缩效果优于 BPE 和 Unigram，并可提升十亿参数语言模型的每字节比特效率。
2025-09-28 cs.AI cs.CL cs.DS
Byte Pair Encoding Is All You Need For Automatic Bengali Speech Recognition
University of Groningen（格罗宁根大学）；University of Malta（马耳他大学）
本研究针对孟加拉语形态复杂的特点，实证确定BPE分词的最优词元数量，对比多种分词方法后发现，引入BPE可显著降低孟加拉语分布外ASR任务的词错率。
2024-01-28 cs.CL cs.SD eess.AS
From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
University College London（伦敦大学学院）；UiPath
本文提出一种无需额外模型的动态字符分组方法，利用现有BPE结构并引入第二级压缩，实现高效、灵活且语言无关的表示，性能达到或超过现有补丁策略。
2025-10-17 cs.CL
Subword Tokenization Strategies for Kurdish Word Embeddings
Department of Linguistics, University at Buffalo, Buffalo NY, USA（语言学系，布法罗大学，布法罗纽约州）
针对库尔德语低资源词嵌入任务，对比三类分词策略，发现BPE存在评估偏差，基于语素的分词综合表现更优，为低资源语言分词评估与方法选择提供参考。
2025-11-18 cs.CL
Hybrid Tokenization Strategy for DNA Language Model using Byte Pair Encoding and K-MER Methods
Missouri University of Science and Technology（密苏里科技大学）
提出融合6-mer与600轮BPE token的DNA语言模型混合分词策略，以兼顾局部结构与全局上下文，并在next-k-mer预测中超越NT、DNABERT2和GROVER。
2025-07-24 cs.CL
An Analysis of BPE Vocabulary Trimming in Neural Machine Translation
Tokyo Institute of Technology（东京工业大学）；Fujitsu Limited（富士通公司）；University of Zurich（苏黎世大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文系统检验了神经机器翻译中BPE子词词表裁剪技术，发现该常用做法在广泛超参数设置下不仅未能提升性能，反而容易造成严重退化。
2024-03-30 cs.CL
Joint Optimization for Greedy Longest-match Tokenization
Center for Data Science, New York University（纽约大学数据科学中心）；Kensho Technologies（肯绍科技公司）
研究针对贪心最长匹配解码，提出联合优化方法JOLT，将词汇学习设为整数规划，通过贪心一致性约束等确保训练与部署时分词对齐，求解线性规划松弛扩大优化规模，实验表明其能缩小与最优压缩差距，减少令牌数量。
2026-07-28 cs.CL
Preserving Morphemes: Morphology-Guided Pre-Tokenization for Nepali
Kathmandu University（加德满都大学）；IOE Thapathali Campus（IOE塔帕塔利校区）
本研究提出形态学引导的预分词器Papaya，在BPE前拆分尼泊尔语单词为词干和词缀，以保留语素完整性，在分词和语言建模上略有提升，但下游任务影响有限。
2026-09-29 cs.CL
Train It and Forget It: Merge Lists are Unnecessary for BPE Inference in Language Models
Georgia Institute of Technology（佐治亚理工学院）
本文探索了不依赖合并列表的 BPE 推理算法，发现非针对性无合并列表算法对模型下游性能影响极小，为更简单且具隐私保护性的分词方案提供了可能。
2025-08-08 cs.CL
Faster Superword Tokenization
Kensho Technologies；MIT（麻省理工学院）
本文提出改进的 BoundlessBPE 和 SuperBPE 算法，通过聚合超词候选提升训练速度，实现超词生成并优化超参数选择，使训练时间显著缩短。
2026-08-12 cs.CL
How Important Is Tokenization in French Medical Masked Language Models?
LIA, Avignon University（阿维尼翁大学计算机科学与人工智能实验室）；Zenidoc（Zenidoc公司）；Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N, UMR 6004（南特数字科学实验室）
本文研究法语生物医学领域中子词分词对掩码语言模型的影响，分析 BPE 和 SentencePiece 的不足，并提出融合语素信息的原创分词策略以改进下游 NLP 任务表现。
2024-06-09 cs.AI cs.CL cs.LG
MDL-Calibrated Significance-Gain Pair Encoding: Replication-Aware Automatic Stopping for Subword Tokenization
本文提出MDL-SG，一种三阶段子词标记化方法，通过显著性增益排序、复制检验和MDL效用评估实现自动停止，在WikiText-103和TinyGPT实验中优于SG-BPE和频率BPE，取得更低BPC。
2026-09-29 cs.CL cs.CV
Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
University of Eastern Finland（东芬兰大学）；AI-Bio Convergence Research Institute（人工智能-生物融合研究所）；Soongsil University（崇实大学）
本文通过比较三种子词方法在六个乌拉尔语中的表现，发现OBPE在形态对齐和标注准确性上优于传统方法，尤其在拉丁字母语中表现突出。
2026-02-14 cs.CL
SupraTok: Cross-Boundary Tokenization for Enhanced Language Model Performance
Faculty of Mathematics and Computer Science, "Ovidius" University of Constanta（数学与计算机科学学院，"奥维迪乌"康斯坦察大学）
针对语言建模中分词受空格边界限制的问题，提出SupraTok分词器，通过跨空格边界的模块化设计实现压缩率、训练速度及下游任务性能的提升。
2026-09-02 cs.AI cs.CL cs.LG
From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution
CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt（CAIRO应用技术大学（乌尔姆-施维林））；JetBrains Research（JetBrains研究）；TU Delft（代尔夫特理工大学）
本文通过源归属BPE（SA-BPE）正则化方法，解决代码分词器因训练数据不平衡导致的冗余token问题，提升分词效率与安全性。
2026-04-15 cs.CL
When Every Token Counts: Optimal Segmentation for Low-Resource Language Models
Sprinklr AI
针对低资源语言模型分词问题，本文通过实验证明最优BPE配置相比贪心分词能显著减少词元数量并提升性能，尤其在小型模型上效果明显，为多语言和低资源NLP应用提供了优化方向。
2025-05-01 cs.AI cs.CL cs.LG
Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance
Bar-Ilan University（巴伊兰大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
该研究通过控制训练数据量调整BPE分词器的压缩能力，结合多语言实验证实分词压缩率与预训练语言模型下游性能正相关，指出提升分词器压缩能力是优化模型性能的有效途径。
2024-06-22 cs.AI cs.CL cs.LG
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校计算机科学与工程系）；Department of CSE, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）；SCEE, Indian Institute of Technology Mandi（印度理工学院曼迪分校软件工程系）；Adobe Research（Adobe研究）
本研究针对17种印度语言，系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响，发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
Counting and Min-Cost Encoding for Tokenization in Large Language Models
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）；National-Mathematics Artificial Intelligence Institute in Chongqing (NMAII)（重庆国家数学人工智能研究院）
提出CNF分词器训练与MCE最小成本编码算法，通过全局优化分割和计数过滤构建词表，相比BPE在压缩率、词元效率和词表利用率上显著提升，且下游性能相当。
2026-10-02 cs.CL
BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training
Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用技术大学人工智能中心）；PleIAs；Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出 Picky BPE 算法，在分词器训练过程中动态精炼词表，以消除训练不足的 token、提升词表效率并保持压缩能力，同时不降低甚至改善下游任务性能。
2024-09-06 cs.CL
Compute Optimal Tokenization
FAIR at Meta（Meta 的 FAIR）；University of Washington（华盛顿大学）
通过训练988个BLT模型，研究压缩率（每token平均字节数）对缩放趋势的影响，发现计算最优配置下模型参数量与数据字节数成比例，且最优压缩率低于BPE并随计算量下降。
2026-05-26 cs.CL
LBPE: Long-token-first Tokenization to Improve Large Language Models
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）
针对BPE分词中长词出现频率低导致的学习不平衡问题，提出LBPE方法，按词长反向优先级生成词，平滑长短词频差，实验证明其优于原始BPE。
2024-11-08 cs.CL
Linguistic Laws Meet Protein Sequences: A Comparative Analysis of Subword Tokenization Methods
Boğaziçi University（博阿齐奇大学）
本研究比较分析BPE、WordPiece和SentencePiece三种子词分词方法在不同词汇量下处理蛋白质序列的效果，发现其在结构域保留和语言定律遵循上存在差异，强调需开发蛋白质专用分词策略。
2024-11-26 cs.CL q-bio.QM
SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
SemToken 提出语义感知分词框架，通过语义聚类和基于语义密度的异构粒度分配减少冗余 token，在长上下文建模中实现最高 2.4 倍 token 压缩和 1.9 倍加速且性能几乎不降。
2025-08-21 cs.AI cs.CL
LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers
Peking University, Beijing, China（北京大学）
LiteToken通过移除BPE分词器中的低频残余标记，减少标记碎片化和参数，提升对噪声输入的鲁棒性，同时保持模型性能。
2026-02-04 cs.CL
Exploring Tokenization Strategies and Vocabulary Sizes for Enhanced Arabic Language Models
Egypt University of Informatics（埃及信息学大学）；AAST College of Artificial Intelligence（AAST人工智能学院）
本研究系统评估四种分词器及不同词汇表大小对阿拉伯语下游任务的影响，发现带Farasa的BPE在多数任务中表现最佳，且词汇表大小影响有限，为优化阿拉伯语模型提供指导。
2024-09-20 cs.CL
Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers
Northeastern University（东北大学）；KAIST（韩国科学技术院）；S2W Inc.（S2W公司）
本研究揭示字节级BPE分词器产生的不完整标记在与陌生标记组合成不可能的二元组时，易引发语言模型幻觉，替代分词可降低90%幻觉率，警示分词器引入的盲点风险。
2025-10-10 cs.CL
Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits
University of British Columbia（不列颠哥伦比亚大学）；Zhejiang University（浙江大学）；Cisco（思科）；Stony Brook University（石溪大学）
该研究揭示大语言模型的符号推理能力受分词结构约束，提出分词感知概念形式化其影响，实验证实原子对齐的分词格式可让小模型在结构化推理中超越大模型。
2025-05-20 cs.AI cs.CL
Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）；Chinese Academy of Sciences（中国科学院）；Beijing Institute Of Technology（北京理工大学）
针对BPE算法产生的支架词元导致频率不平衡的问题，提出Scaffold-BPE方法，通过动态移除低频支架词元来缓解该问题并促进模型训练，在语言建模和机器翻译实验中均优于原始BPE。
2024-11-13 cs.CL
From Bytes to Ideas: Language Modeling with Autoregressive U-Nets
FAIR at Meta；TAU, INRIA；LISN, CNRS \& Université Paris-Saclay
该研究提出自回归U-Net语言模型，直接处理原始字节并通过多尺度池化构建层级表示，打破固定分词限制，在控制预训练计算量时浅层可媲美BPE基线，深层有潜力，还能跨低资源语言迁移知识并处理字符级任务。
2025-06-17 cs.AI cs.CL
VerChol -- Grammar-First Tokenization for Agglutinative Languages
VerChol 提出了一种以语法优先的词法化方法，用于处理黏着语言中复杂的形态结构，以提高词法化效率和准确性。
2026-03-06 cs.CL
Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
National University of Computer and Emerging Sciences (FAST-NUCES)（国家计算机与新兴科学大学（FAST-NUCES））；Concordia University of Edmonton（康考迪亚埃德蒙顿大学）
本文以他加禄语为研究对象，构建MorphAustro-Tok分词器并开展对照实验，发现该分词器在机器翻译任务上优于BPE分词器，但未检测到形态正确性对分词的贡献。
2026-10-16 cs.CL cs.LG
Egalitarian Language Representation in Language Models: It All Begins with Tokenizers
University of Jaffna（贾夫纳大学）
本文针对复杂文字语言（如泰米尔语、僧伽罗语、印地语）在分词中的不公平表示问题，提出改进的GPE算法，证明预分词比分词算法更关键，且字素提取优于字节级分词器。
2024-09-17 cs.AI cs.CL
Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）
本文针对 BPE 等分词器在非拉丁语言和 MWEs 上的不足，借鉴认知科学“最小努力原则”提出 LiB 分词器，可自主学习子词、词与 MWEs 集成词汇并减少 token 与类型数量，实验表现优于现有方法。
2024-03-01 cs.CL
Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
该研究量化了多语言分词器对西里尔字母语言的分词开销，评估了LLMLingua-2、平衡字节级BPE等缓解策略，指出训练数据分配是开销成因且可在两阶段缓解。
2026-08-25 cs.AI cs.CL
AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
Higher School of Economics（俄罗斯高等经济学院）；AI Talent Hub, ITMO University（ITMO大学人工智能人才中心）；Markov Lab, Saint Petersburg State University（圣彼得堡国立大学马尔科夫实验室）
AraToken通过规范化流程和语言扩展优化阿拉伯语分词，提升Qwen3的阿拉伯语处理性能。
2025-12-20 cs.AI cs.CL
