Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation
Nous Research
本文通过字节级预训练流程解耦子词分词的影响，探讨其对训练效率和模型性能的贡献，揭示子词边界作为语言先验的重要性。
2026-05-14 cs.CL
Back to Bytes: Revisiting Tokenization Through UTF-8
ETH Zürich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）；University of Copenhagen（哥本哈根大学）
本文提出极简字节级分词器 UTF8Tokenizer，利用 UTF-8 字节与 C0 控制字节实现无越界、无辅助词元的统一编码，并在速度、传输、嵌入复用和训练收敛上取得收益。
2025-10-19 cs.CL
Byte Latent Transformer: Patches Scale Better Than Tokens
FAIR at Meta（Meta FAIR研究院）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；University of Chicago（芝加哥大学）
该研究提出字节级大语言模型架构Byte Latent Transformer，以基于下一字节熵划分的动态块为计算单元，首次在8B参数、4T训练字节规模下验证无固定词表的字节模型可高效缩放，推理效率、鲁棒性及推理、长尾泛化表现均优于同成本的分词式模型。
2024-12-13 cs.CL
Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation
East China Normal University（华东师范大学）；Fudan University（复旦大学）
本研究探究字节级无分词器Transformer，发现其通过令牌叠加和哈希嵌入在扩展时优于子词模型，并自发形成局部文本抽象，利用这些结构可提升投机解码效率。
2026-10-06 cs.CL
Byte BPE Tokenization as an Inverse string Homomorphism
EPFL（洛桑联邦理工学院）
本文从形式语言视角证明分词是字符串与 token 间的逆同态，并提出恰当分词概念，说明分词不会削弱神经架构识别上下文无关语言的表达能力。
2024-12-04 cs.CL
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
University of Washington（华盛顿大学）；Meta FAIR
本文提出将字节模型蒸馏为更小更强模型的方法，通过高效转换词元对数几率为字节对数几率，证明字节模型在更高计算量下性能超越词元模型，且数据效率更高，存储成本更低。
2026-09-14 cs.AI cs.CL cs.LG
Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
研究在内容和下游能力受控时语言编码保留了什么，利用多语言平行句子通过共享瓶颈比较词元、字节和像素以追踪速率-效用前沿，评估三种效用，发现各编码在不同方面表现不同，选择编码需考虑多因素进行速率-效用权衡。
2026-07-20 cs.CL
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
Rice University（里士德大学）；Amazon Science（亚马逊科学）
ByteFlow通过自适应字节压缩实现无分词器的语言建模，提升模型性能与适应性。
2026-03-03 cs.CL cs.LG
Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）；Chinese Academy of Sciences（中国科学院）；Beijing Institute Of Technology（北京理工大学）
针对BPE算法产生的支架词元导致频率不平衡的问题，提出Scaffold-BPE方法，通过动态移除低频支架词元来缓解该问题并促进模型训练，在语言建模和机器翻译实验中均优于原始BPE。
2024-11-13 cs.CL
When Every Token Counts: Optimal Segmentation for Low-Resource Language Models
Sprinklr AI
针对低资源语言模型分词问题，本文通过实验证明最优BPE配置相比贪心分词能显著减少词元数量并提升性能，尤其在小型模型上效果明显，为多语言和低资源NLP应用提供了优化方向。
2025-05-01 cs.AI cs.CL cs.LG
Entropy-Driven Pre-Tokenization for Byte-Pair Encoding
Harvard University, Cambridge, MA（哈佛大学）；Kempner Institute, Allston, MA（凯姆纳研究所）；Kensho Technologies, Cambridge, MA（Kensho技术公司）
针对BPE在中文分词中忽视语言边界的问题，提出两种基于熵的预分词策略，利用互信息、左右熵或GPT-2预测熵指导分割，在PKU数据集上显著提升精确率、召回率和F1分数。
2025-06-18 cs.CL
Adaptive Targeted Dynamic Chunking for Tokenization-Free Hierarchical Model
Fujitsu Research of America（富士通美国研究）；Fujitsu Limited（富士通株式会社）
提出自适应目标动态分块（ATDC）机制，通过课程学习动态调整压缩比，以优化无分词层次模型的字节压缩效果，在FineWeb-Edu 100B数据集上实现竞争性的每字节比特数性能，并提升训练稳定性和下游任务表现。
2026-05-28 cs.CL
UTF-8 Plumbing: Byte-level Tokenizers Unavoidably Enable LLMs to Generate Ill-formed UTF-8
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对字节级分词器导致大语言模型生成格式错误UTF-8的问题，通过幺半群理论形式化证明该现象必然性，评估缓解措施并结合案例研究，为语言模型应用解决相关问题提供依据。
2025-11-05 cs.CL
Hybrid Tokenization Strategy for DNA Language Model using Byte Pair Encoding and K-MER Methods
Missouri University of Science and Technology（密苏里科技大学）
提出融合6-mer与600轮BPE token的DNA语言模型混合分词策略，以兼顾局部结构与全局上下文，并在next-k-mer预测中超越NT、DNABERT2和GROVER。
2025-07-24 cs.CL
Writing-System-Level Tokenizer Adaptation for Byte-Level BPE
Lviv Polytechnic National University（利沃夫理工国立大学）
该研究针对字节级BPE分词器在低资源语言上效率低的问题，提出BPE引导插入等方法，在乌克兰语适配中显著降低token计数，同时保持英语等语言的token计数变化极小，且保留了大部分相同ID的模型-词汇表行。
2026-08-04 cs.CL
A Pilot Study of Autocompleting Tokenizers
Williams College（威廉姆斯学院）
该研究受自动补全书写系统启发，提出用轻量级自回归字节语言模型压缩Transformer输入的方案，在多语言机器翻译任务上验证其可减少序列长度且不降低翻译质量，适用于不同书写系统。
2026-08-18 cs.CL
Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles
University of Toronto（多伦多大学）；Meta AI
本研究针对分词语言模型的分词偏差问题，提出字节-分词表示引理建立分词与字节级分布映射，开发零样本转换算法消除偏差，在FIM任务和跨词汇表模型集成中分别实现18%和3.7%的性能提升。
2025-04-11 cs.CL cs.LG
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Computer Science（计算机科学系）
预训练的Transformer语言模型（LM）在自然语言处理中的成功导致了广泛的预训练设置。特别地，这些模型采用各种子字标记化方法，最显著的是字节对编码（BPE）（Sennrich等人，2016; Gage，1994），WordPiece方法（Schuster和Nakajima，2012）和unigram语言建模（Kudo，2018），以分割文本。然而，据我们所知，文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异，发现后一种方法恢复了与形态学更紧密对齐的子字单元，并避免了BPE贪婪构造过程中产生的问题。然后，我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言（英语和日语）中，我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法，而不是更流行的BPE。
2020-10-05 cs.CL
Bolmo: Byteifying the Next Generation of Language Models
Allen Institute for AI（艾伦人工智能研究所）；University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）；University of Edinburgh（爱丁堡大学）
Bolmo通过两阶段转换将现有子词模型转换为字节级模型，实现性能和细粒度理解的平衡。
2026-02-09 cs.CL
Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities
Samsung Research（三星研究院）
提出通用字节级编码（UBE），通过UTF-8/UTF-16路由降低多语言令牌预算差异，保持解码精确，匹配语言模型质量并提升上下文效率。
2026-10-05 cs.CL cs.LG
BBPE16: UTF-16-based byte-level byte-pair encoding for improved multilingual speech recognition
BBPE16是一种基于UTF-16的字节级字节对编码方法，通过统一的2字节代码单元提高多语言语音识别的token共享效率和计算性能。
2026-02-02 cs.AI cs.CL
Distilling Sequential Computation in Transformer Language Models
The University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；Stony Brook University（石溪大学）
提出用轻量级合并模块将token序列折叠为替代嵌入，压缩Transformer输入与KV缓存，减少序列长度达40%且精度损失极小，适用于多种下游任务。
2026-09-24 cs.CL
Tokenizer-Agnostic Engram Module
该研究针对Deepseek Engram模块与分词器耦合的问题，通过替换哈希方式构建联合嵌入空间，实现了分词器无关性，同时保持了相当的性能。
2026-08-03 cs.CL
Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization
University of Chinese Academy of Sciences（中国科学院大学）；KwaiKAT Team（快手KwaiKAT团队）；Zhejiang University（浙江大学）
研究如何通过策略内蒸馏整合不同家族语言模型，提出字节前缀边缘化方法，在共享字节空间重表达教师下一个令牌分布，在数学和编程基准测试中，该方法优于现有跨分词器方法，提升了平均准确率。
2026-07-27 cs.AI cs.CL cs.LG
Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices
University of Glasgow（格拉斯哥大学）
Peek2是一种线性时间复杂度且内存消耗低的预分词算法，适用于边缘设备，提升了字节级BPE编码的吞吐量，且结果与基于正则表达式的分词器相同。
2026-04-30 cs.CL
Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models
University of Tokyo（东京大学）；National Institute of Information and Communications Technology（信息通信技术国家研究所）
研究字节级分词语言模型生成无效UTF-8序列的问题，通过多语言训练实验发现UTF-8有效性收敛比困惑度慢约一倍，且罕见字符结构有效性更高，表明可靠UTF-8生成是需要单独评估的能力。
2026-06-26 cs.CL
Bit-level BPE: Below the byte boundary
Google LLC（谷歌公司）；MBZUAI（穆罕默德·本·拉希德智能研究院）；Institute of Science Tokyo（东京科学研究院）
针对字节级回退导致 CJK 与 emoji 等长尾 token 序列变长、训练推理开销增加的问题，本文提出一种可无损缩短序列长度的简单压缩技术。
2025-06-09 cs.CL
ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling
Carnegie Mellon University（卡内基梅隆大学）；Allegheny Health Network（阿勒格尼健康网络）；University of Colorado（科罗拉多大学）
针对现有心电图大语言模型两阶段训练效率低、特征可解释性差的问题，提出适配字节对编码的分词器ECG-Byte，实现端到端训练，提升可解释性，训练速度快3倍且仅需48%数据量。
2025-07-29 cs.CL eess.SP
Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier
Kensho Technologies；Faculty of Computer and Information Science（计算机与信息科学学院）；Ben-Gurion University of the Negev（本· Gurion 内盖夫大学）
针对预分词导致BPE令牌分布偏态、大词表收益受限的问题，提出BoundlessBPE算法，通过合并预令牌形成超词，使令牌分布更均匀，文本压缩效率提升最高15%。
2025-10-02 cs.AI cs.CL
Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models
National University of Singapore（新加坡国立大学）；Carnegie Mellon University（卡内基梅隆大学）；SAP
本文系统比较了11种东南亚语言上的公平分词器，发现Parity-aware BPE在效率与公平的权衡中处于帕累托前沿，而Morphology-Driven Byte Encoding在语义推理上表现最佳。
2026-06-16 cs.CL
Fine-Tashkeel: Finetuning Byte-Level Models for Accurate Arabic Text Diacritization
Google（谷歌）
以前大多数关于学习阿拉伯语变音符号的工作都依赖于从头开始的训练模型。在本文中，我们研究了如何利用预训练的语言模型来学习变音符号。我们微调无标记的预训练多语言模型（ByT 5），以学习预测和插入阿拉伯语文本中缺失的变音符号，这是一项复杂的任务，需要理解句子语义和标记的形态结构。我们表明，我们可以在最小的训练量和没有特征工程的情况下实现最先进的变音任务，将WER降低了40%。我们发布我们的微调模型，以使社区中的研究人员获得更大的利益。
2023-03-25 cs.CL
Compute Optimal Tokenization
FAIR at Meta（Meta 的 FAIR）；University of Washington（华盛顿大学）
通过训练988个BLT模型，研究压缩率（每token平均字节数）对缩放趋势的影响，发现计算最优配置下模型参数量与数据字节数成比例，且最优压缩率低于BPE并随计算量下降。
2026-05-26 cs.CL
Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention
Department of Computer Engineering & Informatics（计算机工程与信息学系）
Kathleen通过频域处理直接在原始UTF-8字节上进行文本分类，无需分词或注意力机制，参数少于47万，引入了多种创新组件，提升了分类准确率。
2026-05-13 cs.CL
Spend Bytes on Breadth: Precision-Count Trade-offs for Decode-Time KV Compression in Long Chain-of-Thought Reasoning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对长思维链推理中KV缓存压缩，提出BreadthKV方法，通过量化与驱逐结合，在固定字节预算下优先增加缓存令牌数量而非精度，经60问题校准位宽，在多个基准上优于仅驱逐和现有方法。
2026-10-08 cs.CL
Sampling from Your Language Model One Byte at a Time
University of Washington（华盛顿大学）；Allen Institute for AI（人工智能算法研究所）
本文提出一种方法，将自回归语言模型转换为字符或字节级模型，解决提示边界问题，统一不同分词器的语言模型词汇。
2026-05-07 cs.CL cs.FL cs.LG
Neural Machine Translation without Embeddings
The Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
许多NLP模型都是在由手工标记化规则和启发式子词归纳算法产生的子词标记序列上操作的。一个简单的通用替代方案是通过UTF-8将每个计算机化的文本表示为字节序列，避免了对嵌入层的需要，因为令牌类型（256）比维度少。令人惊讶的是，用每个字节的独热表示替换无处不在的嵌入层并没有损害性能;从英语到10种不同语言的字节到字节机器翻译实验显示BLEU的一致改进，与字符级甚至标准子字级模型相媲美。更深入的研究表明，无嵌入模型与解码器输入丢弃的组合相当于令牌丢弃，这特别有利于字节到字节模型。
2021-04-12 cs.CL cs.LG stat.ML
Distilling Many-Shot In-Context Learning into a Cheat Sheet
CyberAgent
针对多示例上下文学习计算开销大的问题，提出将信息蒸馏为速查表的方法，以更少标记达到相当或更优性能，且无需测试时检索。
2025-09-25 cs.CL
VerChol -- Grammar-First Tokenization for Agglutinative Languages
VerChol 提出了一种以语法优先的词法化方法，用于处理黏着语言中复杂的形态结构，以提高词法化效率和准确性。
2026-03-06 cs.CL
MrT5: Dynamic Token Merging for Efficient Byte-level Language Models
Stanford University（斯坦福大学）
MrT5通过在ByT5编码器中引入动态token删除门机制，将已删除token的关键信息合并至紧凑序列中，在保持下游任务准确率的同时将序列长度减少高达75%，有效提升了字节级模型的推理效率。
2025-04-02 cs.AI cs.CL cs.LG
Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
该研究量化了多语言分词器对西里尔字母语言的分词开销，评估了LLMLingua-2、平衡字节级BPE等缓解策略，指出训练数据分配是开销成因且可在两阶段缓解。
2026-08-25 cs.AI cs.CL
SpaceByte: Towards Deleting Tokenization from Large Language Modeling
Rice University（莱斯大学）
针对大语言模型分词技术存在的性能偏差等缺陷，提出新型字节级解码器架构SpaceByte，通过在词边界字节后插入更大Transformer块，在固定计算预算下达到与带分词Transformer相当的性能。
2024-10-06 cs.AI cs.CL cs.LG
Disentangling Language Modeling and Boundaries
该研究提出字节级语言模型可解耦下一字节分布与边界位置分布，设计实验验证该假设，主张采用字节级接口作为共享标准以实现模型间低成本的能力传递与边界重塑。
2026-08-05 cs.CL
MonoByte: A Pool of Monolingual Byte-level Language Models
UNICAMP（坎皮纳斯州立大学）；NeuralMind
在多语言甚至单语言语料库上预训练的模型的跨语言能力zero-shot激发了许多假设来解释这个有趣的实证结果。然而，由于预训练的成本，大多数研究使用公共模型，其预训练方法，如标记化的选择，语料库大小和计算预算，可能会有很大的不同。当研究人员对自己的模型进行预训练时，他们通常会在预算有限的情况下进行预训练，因此与SOTA模型相比，最终模型的表现可能会显着落后。这些实验差异导致了各种不一致的结论，这些模型的跨语言能力的性质。为了帮助对该主题的进一步研究，我们发布了10个单语字节级模型，这些模型在相同的配置下进行了严格的预训练，具有较大的计算预算（相当于V100上的420天）和语料库，这些语料库是原始BERT的4倍。由于它们是无标记的，因此消除了不可见标记嵌入的问题，从而允许研究人员在具有不同脚本的语言中尝试更广泛的跨语言实验。此外，我们发布了两个在非自然语言文本上预训练的模型，可用于正常性检查实验。在问答和自然语言学习任务上的实验表明，我们的单语模型与多语言模型相比具有相当的性能，因此可以用来加强我们对语言模型跨语言可移植性的理解。
2022-09-27 cs.CL
Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
EPFL（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
研究针对词元化中低资源语言词元化不合理问题，引入奇偶感知字节对编码，通过公平最大化规则平衡跨语言公平性与全局压缩，减少词元化不平等，对全局压缩和下游语言模型性能影响小。
2026-07-07 cs.AI cs.CL cs.LG
MoCE: Adaptive Mixture of Contextualization Experts for Byte-based Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出MoCE方法，通过自适应选择和混合注意力头作为上下文专家，解决基于字节的神经机器翻译中字节语义信息有限及跨语言编码规则差异问题，在Ted-59数据集上以更少参数超越子词模型。
2025-02-07 cs.CL
Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding
Florida International University（佛罗里达国际大学）
本文提出Pruned BPE方法，通过训练后可见性剪枝与令牌重新分配提升BPE词汇效率，在不增加模型可见词汇规模的情况下减少编码长度，取得了优于标准BPE的效果。
2026-09-09 cs.CL cs.LG
Word-Level Representation From Bytes For Language Modeling
Fudan University（复旦大学）；Amazon（亚马逊）
现代语言模型大多采用子词作为输入，这种设计平衡了词汇量、参数数量和性能之间的权衡。然而，子词标记化仍然存在缺点，如对噪声不鲁棒，难以推广到新的语言。此外，当前模型规模扩大的趋势表明，更大的模型需要更大的嵌入，但这使得并行化变得困难。先前关于图像分类的工作证明，将原始输入分割成一系列卡盘是一种强的、与模型无关的归纳偏差。基于这一观察，我们重新思考了现有的字符感知方法，该方法采用字符级输入，但进行单词级序列建模和预测。我们通过引入直接从字节构建单词级表示的交叉注意网络和基于单词级隐藏状态的子单词级预测来彻底改造这种方法，以避免单词级预测的时间和空间要求。结合这两个改进，我们有一个无令牌模型，用于下游任务的输入嵌入很小。我们将我们的方法命名为Byte2Word，并对语言建模和文本分类进行评估。实验表明，Byte2Word算法的嵌入量仅占强子词基线BERT的10%，与强子词基线算法相当。我们进一步测试我们的方法在合成噪声和跨语言迁移，并发现它的竞争力的基线方法在这两种设置。
2022-11-23 cs.CL
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
New York University（纽约大学）
GPUTOK提出基于GPU的字节级BPE分词器，通过优化算法和内存管理，显著提升分词速度，同时保持输出质量，适用于长上下文推理任务。
2026-03-03 cs.AI cs.CL cs.DC
MANTa: Efficient Gradient-Based Tokenization for Robust End-to-End Language Modeling
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）
静态子词标记化算法已经成为语言建模的重要组成部分。然而，它们的静态性质导致了重要的缺陷，降低了模型的下游性能和鲁棒性。在这项工作中，我们提出了MANTa，一个自适应神经令牌化模块。MANTa是一个端到端使用语言模型训练的可区分标记器。由此产生的系统提供了字节级模型的表达能力和使用子字标记化训练的模型的速度之间的权衡。此外，我们的tokenizer是高度可解释的，因为它产生了一个明确的序列分割成块。我们在来自不同领域的几个英语数据集以及合成噪声上评估了我们的预训练模型。我们发现，MANTa提高了字符扰动和域外数据的鲁棒性。然后，我们表明，MANTa执行其他模型的一般域GLUE基准。最后，我们证明了它比严格的字节级模型快得多。
2022-12-14 cs.CL
Multilingual Language Processing From Bytes
Google Research（谷歌研究院）
我们描述了一个基于LSTM的模型，我们称之为Byte-to-Span（BTS），它将文本读取为字节，并输出[start，length，label]形式的span注释，其中开始位置，长度和标签是我们词汇表中的单独条目。因为我们直接操作unicode字节而不是特定于语言的单词或字符，所以我们可以用一个模型分析多种语言的文本。由于词汇量小，这些多语言模型非常紧凑，但产生的结果类似于或优于仅使用提供的训练数据集（没有外部数据源）的词性标记和命名实体识别的最新技术。我们的模型是“从头开始”学习的，因为它们不依赖于自然语言处理（包括标记化）中标准管道的任何元素，因此可以在原始文本上以独立的方式运行。
2016-04-02 cs.CL
KazByte: Adapting Qwen models to Kazakh via Byte-level Adapter
Independent Researcher（独立研究员）
通过字级别适配器适应Qwen模型至哈萨克语，解决哈萨克文本分词问题，提升模型对哈萨克语形态的掌握。
2026-03-29 cs.CL cs.NA math.NA
From Pixels to Tokens: Byte-Pair Encoding on Quantized Visual Modalities
School of Computer Science, Peking University（北京大学计算机学院）；The Chinese University of Hong Kong（香港中文大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出将字节对编码（BPE）应用于视觉数据的图像分词器，通过直接融入结构先验增强多模态对齐，并基于此开发出性能优越且可扩展的Being-VL-0模型。
2025-03-09 cs.AI cs.CL cs.CV
Learn Your Tokens: Word-Pooled Tokenization for Language Modeling
USC（南加州大学）；ISI（信息科学研究所）
本文提出“学习你的词元”方案，利用单词边界将字节/字符池化为词表示输入主语言模型，并并行解码单个字符/字节。该端到端词元化器在下一词预测指标上比子词和字节/字符模型高出超300%，在罕见词上提升30倍，在效率与鲁棒性间实现了强有力权衡。
2023-10-17 cs.AI cs.CL
MambaByte: Token-free Selective State Space Model
Cornell University（康奈尔大学）
本文提出 MambaByte，将 Mamba SSM 适配为字节级自回归语言模型，并通过分词草稿与字节验证的投机解码实现 2.6 倍加速。
2024-08-09 cs.CL cs.LG
