MultiTok: Variable-Length Tokenization for Efficient LLMs Adapted from LZW Compression
University of Texas at Austin(德克萨斯大学奥斯汀分校);Nokia Bell Labs(诺基亚贝尔实验室);Boğaziçi University(博雅大学);Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology (MIT)(麻省理工学院(MIT))
本文提出基于LZW压缩的MultiTok分词方法,通过压缩重复短语提升LLM训练效率,实现更高效训练与相似准确率。
2026-04-24 cs.CL cs.IT cs.LG
How Important Is Tokenization in French Medical Masked Language Models?
LIA, Avignon University(阿维尼翁大学计算机科学与人工智能实验室);Zenidoc(Zenidoc公司);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N, UMR 6004(南特数字科学实验室)
本文研究法语生物医学领域中子词分词对掩码语言模型的影响,分析 BPE 和 SentencePiece 的不足,并提出融合语素信息的原创分词策略以改进下游 NLP 任务表现。
2024-06-09 cs.AI cs.CL cs.LG
Wine is Not v i n. -- On the Compatibility of Tokenizations Across Languages
LMU Munich(慕尼黑大学)
词汇表的大小是大型预训练语言模型的核心设计选择,考虑到性能和内存需求。通常,使用诸如字节对编码和WordPiece的子字标记化算法。在这项工作中,我们调查的多语言静态和上下文嵌入空间的标记化的兼容性,并提出了一个措施,反映了跨语言的标记化的兼容性。我们的目标是防止不兼容的标记,例如,英语中的“wine”(词级)与法语中的“v i n”(字符级),这使得很难学习良好的多语言语义表示。我们表明,我们的兼容性措施允许系统设计人员创建跨语言的词汇表是兼容的-一个迫切需要,到目前为止,一直被忽视的多语言模型。
2021-09-13 cs.CL
Words, Subwords, and Morphemes: What Really Matters in the Surprisal-Reading Time Relationship?
University of Maryland(马里兰大学)
本文通过对比正字法、形态学和BPE分词下的惊讶度估计与阅读时间数据,发现BPE分词总体不逊色,但细粒度分析揭示其潜在问题,并提出形态学感知预测的新评估方法。
2023-10-26 cs.CL
Adaptive Targeted Dynamic Chunking for Tokenization-Free Hierarchical Model
Fujitsu Research of America(富士通美国研究);Fujitsu Limited(富士通株式会社)
提出自适应目标动态分块(ATDC)机制,通过课程学习动态调整压缩比,以优化无分词层次模型的字节压缩效果,在FineWeb-Edu 100B数据集上实现竞争性的每字节比特数性能,并提升训练稳定性和下游任务表现。
2026-05-28 cs.CL
VerChol -- Grammar-First Tokenization for Agglutinative Languages
VerChol 提出了一种以语法优先的词法化方法,用于处理黏着语言中复杂的形态结构,以提高词法化效率和准确性。
2026-03-06 cs.CL
CharBench: Evaluating the Role of Tokenization in Character-Level Tasks
CharBench通过大规模字符级任务评估,揭示了分词对字符级任务性能的影响,发现tokenization与正确性弱相关,而词长和字符数更关键,且长token会掩盖字符位置信息。
2026-04-06 cs.CL
Beyond Fertility: Analyzing STRR as a Metric for Multilingual Tokenization Evaluation
University of Alberta(阿尔伯塔大学);Princess Nourah Bint Abdulrahman University(努拉·阿卜杜勒拉赫曼王后大学);Dialpad Qatar Computing Research Institute(阿联酋迪拜计算研究所);Amazon AGI(亚马逊人工智能研究所)
本文提出单标记保留率(STRR)指标,用于评估多语言分词器的跨语言公平性,弥补生育率指标忽视词汇分配的不足,并揭示英语优先、中文支持及印地语碎片化现象。
2025-10-26 cs.AI cs.CL cs.LG
Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所)
本文针对 BPE 等分词器在非拉丁语言和 MWEs 上的不足,借鉴认知科学“最小努力原则”提出 LiB 分词器,可自主学习子词、词与 MWEs 集成词汇并减少 token 与类型数量,实验表现优于现有方法。
2024-03-01 cs.CL
SpaceByte: Towards Deleting Tokenization from Large Language Modeling
Rice University(莱斯大学)
针对大语言模型分词技术存在的性能偏差等缺陷,提出新型字节级解码器架构SpaceByte,通过在词边界字节后插入更大Transformer块,在固定计算预算下达到与带分词Transformer相当的性能。
2024-10-06 cs.AI cs.CL cs.LG
Tokenization of Gaze Data
University of Hamburg(汉堡大学);University of Münster(明斯特大学);Canterbury University(坎特伯雷大学)
本文首次系统比较五种凝视数据tokenizer,发现分位数tokenizer在预测凝视位置最优,k-means在预测凝视速度最佳,填补了该领域研究空白。
2025-03-28 cs.CL cs.CV cs.HC
The Art of Breaking Words: Rethinking Multilingual Tokenizer Design
BharatGen Team(BharatGen团队)
本文系统研究了多语言分词器设计中词汇表大小、预分词规则和训练语料组成对效率与模型质量的影响,提出一种平衡多语言数据的组成算法,在印度系文字上显著降低了词元与单词比率并提升了推理速度。
2025-08-03 cs.AI cs.CL
Contextual morphologically-guided tokenization for Latin encoder models
Manning College of Information & Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Institute for the Study of the Ancient World, New York University(纽约大学古代世界研究所)
针对标准分词在形态丰富语言上表现欠佳的问题,提出面向拉丁语编码器的上下文形态引导分词方法,利用拉丁语丰富的词汇资源优化分词,在4项下游任务尤其域外文本上提升性能,为低资源语言建模提供可行路径。
2025-11-12 cs.CL
LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization
Tencent(腾讯);University of Alberta(阿尔伯塔大学)
基于大型语料库的语言模型预训练在构建丰富的上下文表示方面取得了巨大的成功,并在各种自然语言理解(NLU)任务上取得了显着的性能提升。尽管取得了成功,但大多数当前的预训练语言模型,如BERT,都是基于单粒度标记化进行训练的,通常使用细粒度字符或子词,这使得它们很难学习粗粒度单词和短语的精确含义。在本文中,我们提出了一种简单而有效的预训练方法LICHEE,以有效地整合输入文本的多粒度信息。我们的方法可以应用于各种预训练的语言模型,并提高其表示能力。在CLUE和SuperGLUE上进行的大量实验表明,我们的方法在中文和英文的各种NLU任务上实现了全面的改进,而产生的额外推理成本很小,并且我们最好的集成模型在CLUE基准竞赛中达到了最先进的性能。
2021-08-03 cs.AI cs.CL
Sub-Character Tokenization for Chinese Pretrained Language Models
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Maryland, College Park(马里兰大学帕克分校)
标记化是预训练语言模型(PLM)的基础。现有的用于中文PLM的标记化方法通常将每个字符视为不可分割的标记。然而,他们忽略了汉语书写系统的独特之处,即在字符水平之下存在额外的语言信息,即,在子角色层面上。为了利用这些信息,我们提出了子字符(简称SubChar)标记化。具体地说,我们首先将输入的文本编码,将每个汉字转换成一个短序列的基础上,其名称或发音,然后构建词汇的基础上编码的文本与子分词。实验结果表明,SubChar标记器与已有的标记器相比具有两个主要优点:1)可以将输入标记为更短的序列,从而提高了计算效率。2)基于发音的SubChar分词器可以将汉语同音字编码成相同的音译序列,并产生相同的分词输出,因此对同音字拼写错误具有鲁棒性。与此同时,使用SubChar标记器训练的模型在下游任务上表现出竞争力。我们在https://github.com/thunlp/SubCharTokenization上发布了我们的代码和模型,以促进未来的工作。
2023-02-14 cs.CL
SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
SemToken 提出语义感知分词框架,通过语义聚类和基于语义密度的异构粒度分配减少冗余 token,在长上下文建模中实现最高 2.4 倍 token 压缩和 1.9 倍加速且性能几乎不降。
2025-08-21 cs.AI cs.CL
AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
Higher School of Economics(俄罗斯高等经济学院);AI Talent Hub, ITMO University(ITMO大学人工智能人才中心);Markov Lab, Saint Petersburg State University(圣彼得堡国立大学马尔科夫实验室)
AraToken通过规范化流程和语言扩展优化阿拉伯语分词,提升Qwen3的阿拉伯语处理性能。
2025-12-20 cs.AI cs.CL
Krutrim LLM: A Novel Tokenization Strategy for Multilingual Indic Languages with Petabyte-Scale Data Processing
本文提出面向多语言印度语系大语言模型的数据准备与分词新方法,通过定制预处理、去重及多语言分词器训练策略,在3B和7B参数模型上实现了优于OpenAI Tiktoken的词元与单词比。
2025-04-01 cs.CL
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science(计算机科学系)
预训练的Transformer语言模型(LM)在自然语言处理中的成功导致了广泛的预训练设置。特别地,这些模型采用各种子字标记化方法,最显著的是字节对编码(BPE)(Sennrich等人,2016; Gage,1994),WordPiece方法(Schuster和Nakajima,2012)和unigram语言建模(Kudo,2018),以分割文本。然而,据我们所知,文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异,发现后一种方法恢复了与形态学更紧密对齐的子字单元,并避免了BPE贪婪构造过程中产生的问题。然后,我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言(英语和日语)中,我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法,而不是更流行的BPE。
2020-10-05 cs.CL
From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution
CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt(CAIRO应用技术大学(乌尔姆-施维林));JetBrains Research(JetBrains研究);TU Delft(代尔夫特理工大学)
本文通过源归属BPE(SA-BPE)正则化方法,解决代码分词器因训练数据不平衡导致的冗余token问题,提升分词效率与安全性。
2026-04-15 cs.CL
The Token Tax: Systematic Bias in Multilingual Tokenization
Institute for Disease Modeling(疾病建模研究所);Gates Foundation(盖茨基金会);University of San Francisco(旧金山大学);McGill University(麦吉尔大学)
研究发现令牌化效率对形态复杂、低资源语言有结构性劣势,影响计算资源和准确性。通过评估10种大语言模型在AfriMMLU数据集上的表现,发现令牌密度与准确性成反比,且推理模型在多语言任务中表现更优,揭示了令牌膨胀带来的经济负担。
2025-09-05 cs.AI cs.CL
How Long Is a Piece of String? A Brief Empirical Analysis of Tokenizers
University of Cambridge(剑桥大学);The University of Hong Kong(香港大学)
本文通过实证分析揭示了不同分词器和文本分布下token长度的显著差异,挑战了传统对token长度的简化假设。
2026-01-16 cs.CL
StochasTok: Improving Fine-Grained Subword Understanding in LLMs
FLAIR, University of Oxford(FLAIR,牛津大学);University of Oxford(牛津大学);National University of Singapore(新加坡国立大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出StochasTok,一种高效的随机分词方法,通过在训练中随机分割token,提升LLM在子词层面的任务表现,包括字符计数和数学任务。
2026-04-20 cs.CL
How Different Tokenization Algorithms Impact LLMs and Transformer Models for Binary Code Analysis
Ahmed Mostafa, 1Raisul Arefin, Samuel Mulder(未知)
本文系统评估了不同分词算法及参数对汇编代码分析的影响,通过内在指标和基于 Llama 3.2、BERT、BART 的下游任务实验,揭示了分词器选择与性能之间的复杂权衡,为优化底层二进制分析流程提供依据。
2025-11-05 cs.AI cs.CL cs.CR
Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment
Palo Alto Networks
研究发现BPE分词将安全关键词拆分为子词,导致对齐数据集缺乏此类碎片化输入,通过优化碎片化可绕过80-100%的安全拒绝,并定位到模型最后约30%层。
2026-07-03 cs.AI cs.CL
Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention
Alon Rozental(独立研究者)
Zonkey是一种通过可微分分词和概率注意力机制实现的分层扩散语言模型,能够从噪声中生成连贯文本并提升领域适应性。
2026-01-29 cs.CL
LBPE: Long-token-first Tokenization to Improve Large Language Models
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
针对BPE分词中长词出现频率低导致的学习不平衡问题,提出LBPE方法,按词长反向优先级生成词,平滑长短词频差,实验证明其优于原始BPE。
2024-11-08 cs.CL
Fast WordPiece Tokenization
Google Research(谷歌研究院);Kuaishou Technology(快手科技)
令牌化是几乎所有NLP任务的基本预处理步骤。在本文中,我们提出了BERT中使用的WordPiece标记化的有效算法,从单个单词标记化到一般文本(例如,句子)标记化。当标记单个单词时,WordPiece使用最长匹配优先策略,称为最大匹配。到目前为止,最著名的算法是O(n^2)(其中n是输入长度)或O(nm)(其中m是最大词汇表标记长度)。我们提出了一个新的算法,其令牌化的复杂度是严格的O(n)。我们的方法的灵感来自Aho-Corasick算法。我们引入额外的链接上的特里构建的词汇表,允许智能过渡时,特里匹配不能继续。对于一般文本,我们进一步提出了一种算法,该算法将预标记化(将文本拆分为单词)和我们的线性时间WordPiece方法结合到一个单一的过程中。实验结果表明,对于一般文本标记化,我们的方法比HuggingFace Tokenizer快8.2倍,比TensorFlow Text快5.1倍。
2021-10-05 cs.CL
dMel: Speech Tokenization made Simple
Apple(苹果公司)
本研究提出无需训练的新型语音表示dMel,将梅尔滤波器组通道离散为强度区间,并配套高维令牌并行编解码方法,在统一架构下实现了性能优异的语音合成与识别,为语音文本联合建模提供新思路。
2025-05-21 cs.AI cs.CL cs.SD
See the Text: From Tokenization to Visual Reading
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);College of Information Science and Technology and Artificial Intelligence, Nanjing Forestry University(南京林业大学信息科学技术与人工智能学院)
本文提出SeeTok方法,通过将文本渲染为图像并利用预训练多模态大模型实现视觉阅读,相比传统子词分词在资源消耗和跨语言泛化方面表现更优。
2026-03-26 cs.CL cs.CV
Tokenization Strategies for Low-Resource Agglutinative Languages in Word2Vec: Case Study on Turkish and Finnish
Phillips Academy Andover(菲利普斯安多佛学院)
针对土耳其语和芬兰语,本文在低资源维基百科语料上比较Word2Vec的多种分词策略,并通过NER评估发现词级分词稳定优于子词方法。
2025-08-27 cs.CL
Tokenization-Invariant Watermarking: A Byte-Local Method for LLM Text
本研究提出TI-WM,一种基于规范化UTF-8字节的LLM文本水印方法,其在5%单词编辑预算下的攻击AUC优于Unigram方法,但不具备通用鲁棒性或低误报率部署保证。
2026-10-14 cs.CL cs.CR
Less Is More: Reducing Token Counts Without Compromising Performance
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学);Department of Computer Science, Seoul National University(计算机科学系,首尔国立大学)
研究如何在不影响大语言模型性能的前提下减少词元数量,提出Thunder-Tok子词元分词器,先构建种子词汇表并过滤不完整候选词元,再用基于似然的词元分数修剪,实验证明该方法能有效降低词元生成率并保持性能。
2026-07-10 cs.AI cs.CL
Evaluating Sentence Segmentation and Word Tokenization Systems on Estonian Web Texts
University of Tartu(塔尔图大学)
从网络上获取的文本是嘈杂的,不一定遵循正字法句子和词边界规则。因此,在格式良好的文本上开发的句子分割和单词标记化系统在未经编辑的Web文本上可能不会表现得那么好。在本文中,我们首先描述了爱沙尼亚网络数据集的句子边界的手动注释,然后给出了三个现有的句子分割和单词标记化系统在这个语料库上的评估结果:EstNLTK,Stanza和UDPipe。虽然EstNLTK在此数据集上的句子分割方面获得了与其他系统相比最高的性能,但Stanza和UDPipe的句子分割性能仍然远低于在更完善的爱沙尼亚UD测试集上获得的结果。
2020-11-16 cs.CL
Subword Tokenization Strategies for Kurdish Word Embeddings
Department of Linguistics, University at Buffalo, Buffalo NY, USA(语言学系,布法罗大学,布法罗纽约州)
针对库尔德语低资源词嵌入任务,对比三类分词策略,发现BPE存在评估偏差,基于语素的分词综合表现更优,为低资源语言分词评估与方法选择提供参考。
2025-11-18 cs.CL
Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP
Johns Hopkins University(约翰霍普金斯大学);HuggingFace;King Fahd University of Petroleum and Minerals(法赫德国王石油矿产大学);SAP(SAP公司);Naver Labs Europe;Institute for Infocomm Research, A*STAR Singapore(新加坡科技研究局资讯通信研究院);University of Maryland(马里兰大学);BigScience Workshop(BigScience研讨会);Inria Paris(法国国家信息与自动化研究所巴黎中心);Salesforce Research Asia(Salesforce亚洲研究院);National University of Singapore(新加坡国立大学)
我们要建模的文本单元是什么?从字节到多词表达式,文本可以以多种粒度进行分析和生成。直到最近,大多数自然语言处理(NLP)模型都是在单词上运行的,将单词视为离散和原子标记,但从字节对编码(BPE)开始,基于子词的方法在许多领域都占据主导地位,支持小词汇表,同时仍然允许快速推理。路的尽头是字符级模型还是字节级处理?在这项调查中,我们连接了前神经和神经时代的几条工作线,通过展示如何提出和评估单词和字符的混合方法以及基于学习分割的基于子词的方法。我们得出的结论是,对于所有应用程序来说,永远不会有一个银弹单一解决方案,并且认真考虑令牌化对许多应用程序仍然很重要。
2021-12-20 cs.CL cs.LG
How Much Does Tokenization Affect Neural Machine Translation?
Universitat Politècnica de València(瓦伦西亚理工大学);Pangeanic / B.I Europa
标记化或分割是一个广泛的概念,它涵盖了简单的过程,如将标点符号从单词中分离出来,或更复杂的过程,如应用形态学知识。神经机器翻译(NMT)需要有限大小的词汇表来计算成本,并需要足够的示例来估计词嵌入。将标点符号分离并将标记拆分为单词或子单词已被证明有助于减少词汇量并增加每个单词的示例数量,从而提高翻译质量。当处理单词之间没有分隔符的语言时,标记化更具挑战性。为了评估标记化对NMT最终翻译质量的影响,我们对十种语言对的五个标记化器进行了实验。我们得出的结论是,分词显着影响最终的翻译质量,最好的分词器不同的语言对。
2019-06-11 cs.CL
A Study on Dialog Act Recognition using Character-Level Tokenization
INESC-ID Lisboa(里斯本系统与计算机工程研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院(ISCTE-IUL))
对话行为识别是对话系统中的一个重要环节,它揭示了话语背后的意图。大多数任务的方法都使用单词级标记。相反,本文探讨了字符级标记化的使用。这是相关的,因为在子词水平上存在与词的功能相关的信息,因此,它们的意图。我们还探讨了在每个标记周围使用不同的上下文窗口,这些窗口能够捕获重要的元素,例如词缀。此外,我们评估标点符号和大写的重要性。我们在Switchboard Dialog Act语料库和DIHANA语料库上进行了实验。在这两种情况下,实验不仅表明,字符级标记化导致更好的性能比典型的词级方法,而且这两种方法都能够捕捉互补的信息。因此,通过在两个级别上组合标记化来实现最佳结果。
2018-07-23 cs.CL
Tokenization Is More Than Compression
Kensho Technologies(肯寿科技公司);Harvard Univ(哈佛大学);Ben-Gurion University(本-古里安大学);MIT(麻省理工学院)
该研究提出PathPiece分词器检验“token越少下游性能越好”的假设,发现假设不成立,进而分析分词三阶段的设计因素,训练并公开了64个不同参数规模的语言模型,为分词器设计提供新见解。
2024-10-07 cs.AI cs.CL
Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
EPFL(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
研究针对词元化中低资源语言词元化不合理问题,引入奇偶感知字节对编码,通过公平最大化规则平衡跨语言公平性与全局压缩,减少词元化不平等,对全局压缩和下游语言模型性能影响小。
2026-07-07 cs.AI cs.CL cs.LG
More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models
Chulalongkorn University(朱拉隆功大学);Harvey Mudd College(哈维穆德学院)
传统上,潜在狄利克雷分配(LDA)摄取的词在一个集合的文件,发现他们的潜在主题使用词文档共现。然而,目前还不清楚如何在没有标记单词边界的语言(如中文和泰语)中实现最佳效果。在这里,我们将探索使用Pearson卡方检验、t统计和词对编码(WPE)来生成标记作为LDA模型的输入。卡方、t和WPE标记器在维基百科文本上进行训练,以查找应该组合在一起的单词,例如复合名词、专有名词和复杂事件动词。我们提出了一个新的度量标准,用于测量在不同的词汇表模型的设置中的聚类质量。基于这个指标和其他已建立的指标,我们表明,与未合并的模型相比,使用合并的令牌训练的主题会导致主题键更清晰,更连贯,更有效地区分主题。
2021-08-24 cs.CL
Raw-to-End Name Entity Recognition in Social Media
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
以单词序列作为输入,典型的命名实体识别(NER)模型忽略来自预处理的错误(例如,标记化)。然而,这些错误会极大地影响模型的性能,特别是对于像tweet这样的噪声文本。在这里,我们介绍了Neural-Char-CRF,这是一个对预处理错误更鲁棒的原始到端框架。它将原始字符序列作为输入,并进行端到端的预测。进一步定制词嵌入和上下文化表示模型,以捕获每个字符而不是每个词的文本信号。我们的模型既不需要从字符序列到单词序列的转换,也不假设分词器可以正确地检测所有单词边界。此外,我们观察到我们的模型性能在用字符串匹配取代标记化后保持不变,这表明它有可能是无标记化的。在两个公共数据集上的大量实验结果表明,我们提出的方法优于现有技术。实现和数据集可在:https://github.com/LiyuanLucasLiu/Raw-to-End。
2019-08-14 cs.CL cs.LG
Introducing Syllable Tokenization for Low-resource Languages: A Case Study with Swahili
Division of Information Science, NAIST(奈良先端科学技术大学院大学信息科学研究科)
本研究针对通用分词方法不适配低资源语言的问题,提出音节分词方法并构建音节分词器,以斯瓦希里语为对象通过GPT2文本生成实验验证,证明其生成的音节嵌入可有效表征该语言,拓展了子词分词相关研究。
2024-03-26 cs.CL
Compute Optimal Tokenization
FAIR at Meta(Meta 的 FAIR);University of Washington(华盛顿大学)
通过训练988个BLT模型,研究压缩率(每token平均字节数)对缩放趋势的影响,发现计算最优配置下模型参数量与数据字节数成比例,且最优压缩率低于BPE并随计算量下降。
2026-05-26 cs.CL
Comparative analysis of subword tokenization approaches for Indian languages
Indian Institute of Technology (IIT), Varanasi(印度理工学院(IIT),瓦拉纳西)
本文比较了SentencePiece、BPE和WordPiece三种子词分词技术在统计、神经及多语言神经机器翻译模型中对印度语言的效果,发现SentencePiece在多数语言对中BLEU分数最优,而BPE在多语言模型中表现最佳,且印度语到英语的翻译优于反向。
2025-05-22 cs.CL
Evaluating Embedding Frameworks for Scientific Domain
University of Oxford(牛津大学);QunaSys
针对科学领域,本研究旨在寻找最优词表示与分词方法,并构建评估套件以测试多种算法,用于下游NLP任务。
2025-10-03 cs.AI cs.CL cs.LG
More Than Words: Compositional Tokenization for Efficient Language Models
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出组合式分词方法CoBPE,将短语表示为基础词元加修饰符,在同等计算下缩短序列30%并提升下游性能1.2个百分点,为高效语言模型开辟新设计空间。
2026-10-06 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University(厦门大学);Soochow University(苏州大学);Tsinghua University(清华大学)
神经机器翻译(NMT)严重依赖于词级建模来学习输入句子的语义表示。但是,对于没有自然词分隔符的语言(例如,中文)中输入句子必须首先进行标记化,传统的NMT面临两个问题:1)难以找到用于源句子建模的最佳标记化粒度; 2)1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题,我们提出了基于词格的循环神经网络(RNN)编码器,它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入,并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此,基于词格的编码器不仅减轻了标记化错误的负面影响,而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明,该编码器优于传统的编码器。
2016-12-09 cs.CL
Crowdsourced Phrase-Based Tokenization for Low-Resourced Neural Machine Translation: The Case of Fon Language
Jacobs University Bremen(雅各布大学不来梅);Technical University of Munich(慕尼黑工业大学)
为资源非常贫乏且形态丰富的非洲土著语言构建有效的神经机器翻译(NMT)模型是一个开放的挑战。除了为它们找到可用资源的问题外,还需要进行大量的预处理和标记化工作。最近的研究表明,标准的标记化方法并不总是能够充分处理某些非洲语言的语法、变音和音调属性。再加上训练样本的可用性极低,阻碍了可靠的NMT模型的产生。在本文中,使用Fon语言作为案例研究,我们重新审视了标准的标记化方法,并引入了基于单词表达式(WEB)的标记化,这是一种人工参与的超词标记化策略,可以创建更好的代表性词汇进行训练。此外,我们将我们的标记化策略与其他人在Fon-French和French-Fon翻译任务上进行了比较。
2021-03-17 cs.AI cs.CL
Impact of Tokenization on Language Models: An Analysis for Turkish
Aselsan Research Center(阿瑟尔桑研究中心)
标记化是为深度语言模型准备输入标记的重要文本预处理步骤。WordPiece和BPE是一些重要模型(如BERT和GPT)实际使用的方法。然而,标记化的影响对于形态丰富的语言可能是不同的,例如突厥语,其中许多单词可以通过添加前缀和后缀来生成。我们比较了不同粒度级别的五个分词器,即它们的输出从最小的字符到单词的表面形式,包括形态级别的分词器。我们训练这些分词器和预训练中等规模的语言模型使用RoberTa预训练过程的OSCAR语料库的土耳其分裂。然后,我们在六个下游任务上微调我们的模型。我们的实验,统计测试的支持下,揭示了形态级的tokenizer具有挑战性的性能与事实上的tokenizer。此外,我们发现,增加词汇量的大小提高了性能的形态和词级tokenizers比事实上的tokenizers。词汇参数的数量与模型参数的总数的比率可以根据经验选择为对于事实上的分词器为20%,对于其他分词器为40%,以获得模型大小和性能之间的合理权衡。
2022-04-19 cs.CL
Learn Your Tokens: Word-Pooled Tokenization for Language Modeling
USC(南加州大学);ISI(信息科学研究所)
本文提出“学习你的词元”方案,利用单词边界将字节/字符池化为词表示输入主语言模型,并并行解码单个字符/字节。该端到端词元化器在下一词预测指标上比子词和字节/字符模型高出超300%,在罕见词上提升30倍,在效率与鲁棒性间实现了强有力权衡。
2023-10-17 cs.AI cs.CL
How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
研究探讨词法化对文本模型语音知识表示的影响,提出STAD指标量化词法化偏差,并通过IPA基础微调方法提升语音相关任务性能。
2026-04-18 cs.CL
Frequency-Ordered Tokenization for Better Text Compression
基于频率顺序的标记化通过优化词汇表结构提升文本压缩效率,适用于多种压缩算法,显著提高压缩速度和效率。
2026-10-14 cs.CL cs.IT math.IT
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University(首尔大学);University of California, Berkeley(加州大学伯克利分校);KRAFTON;Georgia Institute of Technology(佐治亚理工学院)
StreamAlign提出流式文本对齐语音分词框架,结合字符级RNN-T与词级ASR指导,降低延迟并缓解词汇不匹配,在LibriSpeech上取得最优WER和UTMOS,其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS