From Smør-re-brød to Subwords: Training LLMs on Danish, One Morpheme at a Time
IT University of Copenhagen（哥本哈根信息技术大学）
本研究利用带标注的丹麦语形态学数据集训练半监督分割模型并开发定制分词器，显著提升了形态学分割准确度及生成式 transformer 模型在丹麦语下游任务中的性能。
2025-04-02 cs.CL
Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data?
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
针对预训练数据不透明问题，本研究基于BPE分词器的合并规则构建线性规划模型实现数据混合推断，高精度恢复训练数据比例，应用于现成分词器验证公开信息并得出多语言性等新推断。
2024-11-30 cs.CL cs.LG
Teaching Old Tokenizers New Words: Efficient Tokenizer Adaptation for Pre-trained Models
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）；CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt（魏玛-施维林应用技术大学）
本文提出通过继续BPE训练扩展分词器词汇并引入基于叶节点的词汇剪枝，提升分词效率和词汇利用率，提供开放源代码工具。
2026-03-23 cs.CL
Counting and Min-Cost Encoding for Tokenization in Large Language Models
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）；National-Mathematics Artificial Intelligence Institute in Chongqing (NMAII)（重庆国家数学人工智能研究院）
提出CNF分词器训练与MCE最小成本编码算法，通过全局优化分割和计数过滤构建词表，相比BPE在压缩率、词元效率和词表利用率上显著提升，且下游性能相当。
2026-10-02 cs.CL
Towards Nepali-language LLMs: Efficient GPT training with a Nepali BPE tokenizer
Khwopa College of Engineering（科瓦普学院工程学院）
本研究提出基于GPT-2的尼泊尔语模型，通过优化学习率调度、批量扩展和架构改进，结合定制BPE分词器和FlashAttention，实现高效训练并生成连贯的尼泊尔新闻文本。
2025-12-16 cs.AI cs.CL
Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers
Northeastern University（东北大学）；KAIST（韩国科学技术院）；S2W Inc.（S2W公司）
本研究揭示字节级BPE分词器产生的不完整标记在与陌生标记组合成不可能的二元组时，易引发语言模型幻觉，替代分词可降低90%幻觉率，警示分词器引入的盲点风险。
2025-10-10 cs.CL
AdaptBPE: From General Purpose to Specialized Tokenizers
Sorbonne-Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能与机器人系统研究所）
AdaptBPE通过后训练适应策略优化分词器，提升特定领域或任务的分词效率。
2026-01-29 cs.CL
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
New York University（纽约大学）
GPUTOK提出基于GPU的字节级BPE分词器，通过优化算法和内存管理，显著提升分词速度，同时保持输出质量，适用于长上下文推理任务。
2026-03-03 cs.AI cs.CL cs.DC
Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models
National University of Singapore（新加坡国立大学）；Carnegie Mellon University（卡内基梅隆大学）；SAP
本文系统比较了11种东南亚语言上的公平分词器，发现Parity-aware BPE在效率与公平的权衡中处于帕累托前沿，而Morphology-Driven Byte Encoding在语义推理上表现最佳。
2026-06-16 cs.CL
BlockBPE: Parallel BPE Tokenization
Amos You（独立研究者）
针对大模型分词受限于 CPU 且 GPU 批量推理效率不佳的问题，提出并行 BPE 实现 BlockBPE，通过消除 Regex 预分词实现高度并行化的 token 合并，将复杂度降至 $O(nd)$，在高批量推理下吞吐量显著优于现有分词器。
2025-07-16 cs.CL cs.DC
BPE Stays on SCRIPT: Structured Encoding for Robust Multilingual Pretokenization
Cohere；EleutherAI
针对 BPE 在多语言预分词中惩罚非西方文字及部分 UTF-8 序列的问题，提出基于 Unicode 属性的 SCRIPT 编码方案与强制字符完整性的受限 BPE 合并策略，消除了非拉丁文字的编码惩罚并实现了有竞争力的压缩率。
2025-05-30 cs.CL
Greed is All You Need: An Evaluation of Tokenizer Inference Methods
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Kensho Technologies（肯肖科技公司）；Massachusetts Institute of Technology（麻省理工学院）
本文对七种分词器推理方法在四种算法和三种词表规模下进行受控分析，发现贪心推理在常用分词器上表现优异，而 SaGe 在形态学对齐上最佳。
2024-05-31 cs.CL
Training and Evaluation of a Multilingual Tokenizer for GPT-SW3
AI Sweden（瑞典人工智能研究院）
本文针对GPT-SW3的多语言分词器展开研究，基于Nordic Pile数据集、SentencePiece库和BPE算法训练分词器，梳理其特性与词表细节，并针对多语言场景系统分析其属性、评估其性能。
2023-04-28 cs.AI cs.CL
Preserving Morphemes: Morphology-Guided Pre-Tokenization for Nepali
Kathmandu University（加德满都大学）；IOE Thapathali Campus（IOE塔帕塔利校区）
本研究提出形态学引导的预分词器Papaya，在BPE前拆分尼泊尔语单词为词干和词缀，以保留语素完整性，在分词和语言建模上略有提升，但下游任务影响有限。
2026-09-29 cs.CL
Batching BPE Tokenization Merges
本文提出开源纯 Python 实现 BatchBPE，通过安全批处理 BPE 合并并降低训练文本内存占用，使资源受限设备上训练和实验高质量分词器成为可能。
2024-08-05 cs.AI cs.CL
KL3M Tokenizers: A Family of Domain-Specific and Character-Level Tokenizers for Legal, Financial, and Preprocessing Applications
ALEA Institute（ALEA研究所）；Stanford CodeX（斯坦福CodeX研究机构）；Illinois Tech - Chicago Kent Law（伊利诺伊理工大学芝加哥肯特法学院）；Bucerius Law School（布塞留斯法学院）
该研究提出面向法律、金融、政务的领域专属BPE分词器及用于文本纠错的字符级BPE分词器，在专业文本上token用量显著低于通用模型，已开源相关资源以支持领域分词研究。
2025-03-21 cs.AI cs.CL
Byte BPE Tokenization as an Inverse string Homomorphism
EPFL（洛桑联邦理工学院）
本文从形式语言视角证明分词是字符串与 token 间的逆同态，并提出恰当分词概念，说明分词不会削弱神经架构识别上下文无关语言的表达能力。
2024-12-04 cs.CL
To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs
Kyutai；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institute of Intelligent Systems and Robotics（智能系统与机器人研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）
针对多语言大模型共享词汇表导致压缩不均、内存占用高和推理慢的问题，提出模块化分词器框架，通过可提取子分词器及采样预训练策略，实现高效训练与推理，不牺牲性能。
2026-09-15 cs.CL
MUTANT: A Recipe for Multilingual Tokenizer Design
Krutrim AI
本文提出MUTANT多语言分词方法，通过精心设计词汇和训练数据、语言感知预分词和子词多词感知训练，提升多语言LLM的分词效果，MUTANT-Indic在22种印度语言上实现SOTA性能。
2026-03-22 cs.CL
Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices
University of Glasgow（格拉斯哥大学）
Peek2是一种线性时间复杂度且内存消耗低的预分词算法，适用于边缘设备，提升了字节级BPE编码的吞吐量，且结果与基于正则表达式的分词器相同。
2026-04-30 cs.CL
MorphBPE: A Morpho-Aware Tokenizer Bridging Linguistic Complexity for Efficient LLM Training Across Morphologies
Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Technical University of Berlin（柏林工业大学）
本文提出形态感知分词器MorphBPE，通过将语言结构整合到子词分词中提升LLM训练效率，并引入两项形态评估指标，实验证明其在多语种和不同规模模型中能降低损失、加速收敛并改善形态对齐。
2025-02-02 cs.AI cs.CL
Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation
University of Toronto（多伦多大学）；Meta AI
本研究提出跨分词器似然评分算法，通过BPE递归结构解决词汇不匹配问题，提升蒸馏效率和性能。
2025-12-16 cs.CL cs.LG
SampoNLP: A Self-Referential Toolkit for Morphological Analysis of Subword Tokenizers
DataSpike；Neapolis University（内apolis大学）；aglabx
SampoNLP通过自指原子性评分创建形态词典，评估BPE分词器在不同词汇量下的性能，提出IPS指标并提供最优词汇量推荐。
2026-01-08 cs.CL cs.IR cs.LG
A Grapheme-Aware Indic Tokenizer for Tamil: Large-Scale Training and Intrinsic Evaluation
IIITDM Kanchipuram（印度信息技术与设计学院坎奇普兰分校）；Wadhwani School of Data Science and AI, IIT Madras（印度理工学院马德拉斯分校瓦德瓦尼数据科学与人工智能学院）
本文提出一种针对泰米尔语的字素感知分词器，通过可逆Unicode映射保留完整字素簇，在压缩比和碎片化等内在指标上优于五种主流多语言分词器。
2026-09-09 cs.CL
Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
该研究针对隐藏语料库的词元级估计问题，提出分位数引导密度估计（QGDE）方法，利用已发布的LLM分词器词汇表实现了低误差的细粒度语料估计，为相关任务提供了新的有效信号来源。
2026-09-01 cs.CL
RoBERTurk: Adjusting RoBERTa for Turkish
Bogazici University（博阿齐奇大学）
本文使用BPE分词器在土耳其语语料库上预训练了RoBERTa，该模型在较小预训练数据下，于BOUN数据集POS任务及XTREME数据集NER任务上表现优异，并已公开发布。
2024-01-07 cs.CL cs.LG
Incremental BPE Tokenization
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）
提出一种增量式 BPE 分词算法，以 O(log² t) 时间处理每个字节，总复杂度 O(n log² t)，支持流式场景，相比 Hugging Face 和 OpenAI 的实现速度提升约 3 倍并降低延迟。
2026-05-29 cs.CL cs.DS
Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
本文提出Tokka-Bench，一个跨100种自然语言和20种编程语言的多指标分词器评估框架，比较七种BPE分词器，发现词汇分配策略比词汇量更关键，且编程语言效率已趋同。
2026-10-08 cs.AI cs.CL
Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance
Bar-Ilan University（巴伊兰大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
该研究通过控制训练数据量调整BPE分词器的压缩能力，结合多语言实验证实分词压缩率与预训练语言模型下游性能正相关，指出提升分词器压缩能力是优化模型性能的有效途径。
2024-06-22 cs.AI cs.CL cs.LG
Auditing Chinese Web-scale Corpora via Sampled BPE Token Statistics
Tsinghua University（清华大学）；SiliconProspect AI（硅景人工智能）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
针对中文网页污染审计的三项挑战，提出Sampled-BPE轻量级审计流程，在大幅降低运行时间和内存消耗的同时保持精度，审计多类语料库并发布分层中文网页词元数据集。
2026-09-01 cs.AI cs.CL
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校计算机科学与工程系）；Department of CSE, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）；SCEE, Indian Institute of Technology Mandi（印度理工学院曼迪分校软件工程系）；Adobe Research（Adobe研究）
本研究针对17种印度语言，系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响，发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype
Baracoda AI Labs（Baracoda AI实验室）；NEOMA Business School（NEOMA商学院）
本研究测量了2026年主流大语言模型分词器中法语的令牌溢价（比英语多31%-58%），并提出了法语优化的字节级BPE原型Baracoda FR v1.2，在法语上比Tekken少用11.5%的令牌，但其他语言表现较差。
2026-10-01 cs.AI cs.CL
Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility
Karela Technologies Inc.（卡雷拉科技公司）
该研究指出多语言分词器因错误拆分元音附标文字的元音符号导致生成能力受限，提出修复方案并通过实验验证其能提升尼泊尔语模型性能，还统计了相关分词器的部署情况。
2026-08-28 cs.CL cs.LG
Tokenization Is More Than Compression
Kensho Technologies（肯寿科技公司）；Harvard Univ（哈佛大学）；Ben-Gurion University（本-古里安大学）；MIT（麻省理工学院）
该研究提出PathPiece分词器检验“token越少下游性能越好”的假设，发现假设不成立，进而分析分词三阶段的设计因素，训练并公开了64个不同参数规模的语言模型，为分词器设计提供新见解。
2024-10-07 cs.AI cs.CL
Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES
Independent Researcher（独立研究者）
研究对比化学SMILES上的BPE和Unigram-LM，在固定化学基础、小词汇量规模及多种语料类型和预分词边界策略下，发现二者不收敛，构建几乎不相交的子词词汇表，Unigram-LM分词更多，表明子词算法是建模决策。
2026-07-08 cs.CL cs.LG q-bio.BM
Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
EPFL（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
研究针对词元化中低资源语言词元化不合理问题，引入奇偶感知字节对编码，通过公平最大化规则平衡跨语言公平性与全局压缩，减少词元化不平等，对全局压缩和下游语言模型性能影响小。
2026-07-07 cs.AI cs.CL cs.LG
FLEXITOKENS: Flexible Tokenization for Evolving Language Models
The Ohio State University（俄亥俄州立大学）；University of Washington（华盛顿大学）
本文提出FLEXITOKENS，通过可学习的分词器实现灵活的分词，减少文本过碎片化，提升多语言和生成任务性能。
2026-05-13 cs.CL
Separate Before You Compress: The WWHO Tokenization Architecture
Remeinium Research（Remeinium 研究院）
本文提出WHHO架构和SGPE算法，通过分离语言规则与压缩过程，实现多语言标记化，显著降低复杂Abugida语言的token数量，提升推理效率。
2026-03-26 cs.CL
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
Rice University（里士德大学）；Amazon Science（亚马逊科学）
ByteFlow通过自适应字节压缩实现无分词器的语言建模，提升模型性能与适应性。
2026-03-03 cs.CL cs.LG
BHARATI: Morphology-Aware Tokenizers for Classical Indian Languages with Subword Fertility Analysis
Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (Centre for SeNSE), Indian Institute of Technology Delhi（印度理工学院德里分校传感器、仪器仪表和网络物理系统工程中心（SeNSE中心））；RSL Quantum, FITT, IIT Delhi（印度理工学院德里分校FITT的RSL量子公司）
研究针对古典印度语言分词低效问题，提出BHARATI，它基于多语言语料库训练出三个版本的分词器，经子词丰富度分析和实验验证，v3表现出色，能减少序列长度，增加下游语言模型有效上下文长度，相关模型、脚本和基准已开源。
2026-07-28 cs.CL cs.CY cs.ET
Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
National University of Computer and Emerging Sciences (FAST-NUCES)（国家计算机与新兴科学大学（FAST-NUCES））；Concordia University of Edmonton（康考迪亚埃德蒙顿大学）
本文以他加禄语为研究对象，构建MorphAustro-Tok分词器并开展对照实验，发现该分词器在机器翻译任务上优于BPE分词器，但未检测到形态正确性对分词的贡献。
2026-10-16 cs.CL cs.LG
Introducing Syllable Tokenization for Low-resource Languages: A Case Study with Swahili
Division of Information Science, NAIST（奈良先端科学技术大学院大学信息科学研究科）
本研究针对通用分词方法不适配低资源语言的问题，提出音节分词方法并构建音节分词器，以斯瓦希里语为对象通过GPT2文本生成实验验证，证明其生成的音节嵌入可有效表征该语言，拓展了子词分词相关研究。
2024-03-26 cs.CL
BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech
National Taiwan University（台湾大学）
研究针对现成语音合成系统不适配台湾普通话的问题，提出从底层解决文本问题的方法，包括训练PangolinTokenizer分词器、Barbet语言模型，构建蓝鹊语音合成系统，显著降低了字符错误率和词错误率，获多数盲听投票青睐。
2026-07-08 cs.CL cs.SD
Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging
Department of Science, Technology & Mathematics（科学、技术与数学系）
本文提出Significance-Gain BPE，通过统计方法改进子词合并，提升LLM的预测效率和压缩性能，实验显示在WikiText-103上验证了其有效性。
2026-02-26 cs.CL cs.CV cs.LG
MDL-Calibrated Significance-Gain Pair Encoding: Replication-Aware Automatic Stopping for Subword Tokenization
本文提出MDL-SG，一种三阶段子词标记化方法，通过显著性增益排序、复制检验和MDL效用评估实现自动停止，在WikiText-103和TinyGPT实验中优于SG-BPE和频率BPE，取得更低BPC。
2026-09-29 cs.CL cs.CV
From Pixels to Tokens: Byte-Pair Encoding on Quantized Visual Modalities
School of Computer Science, Peking University（北京大学计算机学院）；The Chinese University of Hong Kong（香港中文大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出将字节对编码（BPE）应用于视觉数据的图像分词器，通过直接融入结构先验增强多模态对齐，并基于此开发出性能优越且可扩展的Being-VL-0模型。
2025-03-09 cs.AI cs.CL cs.CV
ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling
Carnegie Mellon University（卡内基梅隆大学）；Allegheny Health Network（阿勒格尼健康网络）；University of Colorado（科罗拉多大学）
针对现有心电图大语言模型两阶段训练效率低、特征可解释性差的问题，提出适配字节对编码的分词器ECG-Byte，实现端到端训练，提升可解释性，训练速度快3倍且仅需48%数据量。
2025-07-29 cs.CL eess.SP
Comparative Analysis of Tokenization Algorithms for Low-Resource Language Dzongkha
Sophia University（上智大学）
本文针对低资源语言宗卡语，对比评估BPE、WordPiece和SentencePiece三种词元化算法，发现SentencePiece在子词生育率、连续词比例、归一化序列长度和执行时间等指标上表现最佳，为构建宗卡语大语言模型奠定基础。
2025-09-18 cs.CL
Compute Optimal Tokenization
FAIR at Meta（Meta 的 FAIR）；University of Washington（华盛顿大学）
通过训练988个BLT模型，研究压缩率（每token平均字节数）对缩放趋势的影响，发现计算最优配置下模型参数量与数据字节数成比例，且最优压缩率低于BPE并随计算量下降。
2026-05-26 cs.CL
A cost minimization approach to fix the vocabulary size in a tokenizer for an End-to-End ASR system
TCS Research（TCS研究中心）
本文针对端到端ASR系统中分词器词表大小缺乏明确依据的问题，提出将分词过程视为黑盒并构建代价函数以最小化代价，从而选择最优token数量，实验证明该方法在LibriSpeech 100小时数据集上有效提升了系统性能。
2024-04-29 cs.CL cs.SD eess.AS
HalleluBERT: Let Every Token That Has Meaning Bear Its Weight
Raphael Schmitt（拉斐尔·施米特）
提出基于RoBERTa的希伯来语编码器家族HalleluBERT，在49.1 GB去重希伯来语网络文本和维基百科上从头训练，使用希伯来语特定字节级BPE词汇，在命名实体识别和情感分类基准上优于单语和多语基线。
2026-06-01 cs.CL
AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
Higher School of Economics（俄罗斯高等经济学院）；AI Talent Hub, ITMO University（ITMO大学人工智能人才中心）；Markov Lab, Saint Petersburg State University（圣彼得堡国立大学马尔科夫实验室）
AraToken通过规范化流程和语言扩展优化阿拉伯语分词，提升Qwen3的阿拉伯语处理性能。
2025-12-20 cs.AI cs.CL
Length-MAX Tokenizer for Language Models
Dong Dong（董东）；Weijie Su（苏伟杰）
Length-MAX分词器通过优化平均token长度，提高了语言模型的效率和下游任务性能。
2026-08-11 cs.AI cs.CL cs.LG
Xmodel-1.5: An 1B-scale Multilingual LLM
XiaoduoAI（小多AI）
本文提出10亿参数多语言大模型 Xmodel-1.5，采用定制 unigram 分词器并在2万亿 token 上预训练，在多语言及泰语基准上表现优异，同时发布泰语评估数据集 Xdata_Thai。
2024-12-04 cs.CL
