Bit-level BPE: Below the byte boundary
Google LLC(谷歌公司);MBZUAI(穆罕默德·本·拉希德智能研究院);Institute of Science Tokyo(东京科学研究院)
针对字节级回退导致 CJK 与 emoji 等长尾 token 序列变长、训练推理开销增加的问题,本文提出一种可无损缩短序列长度的简单压缩技术。
2025-06-09 cs.CL
SpaceByte: Towards Deleting Tokenization from Large Language Modeling
Rice University(莱斯大学)
针对大语言模型分词技术存在的性能偏差等缺陷,提出新型字节级解码器架构SpaceByte,通过在词边界字节后插入更大Transformer块,在固定计算预算下达到与带分词Transformer相当的性能。
2024-10-06 cs.AI cs.CL cs.LG
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science(计算机科学系)
预训练的Transformer语言模型(LM)在自然语言处理中的成功导致了广泛的预训练设置。特别地,这些模型采用各种子字标记化方法,最显著的是字节对编码(BPE)(Sennrich等人,2016; Gage,1994),WordPiece方法(Schuster和Nakajima,2012)和unigram语言建模(Kudo,2018),以分割文本。然而,据我们所知,文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异,发现后一种方法恢复了与形态学更紧密对齐的子字单元,并避免了BPE贪婪构造过程中产生的问题。然后,我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言(英语和日语)中,我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法,而不是更流行的BPE。
2020-10-05 cs.CL
MorphTok: Morphologically Grounded Tokenization for Indian Languages
Department of CSE, IIT Hyderabad(印度理工学院海得拉巴分校计算机科学与工程系);TIH, IIT Bombay(印度理工学院孟买分校技术创新中心);BharatGen Consortium(BharatGen联盟)
本文提出MorphTok方法,通过形态感知预分词和约束字节对编码改进印度语言分词,并引入EvalTok人工评估指标,在机器翻译和语言建模上取得更优性能。
2025-11-07 cs.CL
Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models
The School of AI(人工智能学院)
提出Kronecker嵌入,通过字节级字符-位置确定性分解替代标准嵌入表,消除91-94%输入侧可训练参数,在多个实验中实现更低验证损失、更强拼写鲁棒性和运行时效率。
2026-05-28 cs.CL cs.LG
BPE Stays on SCRIPT: Structured Encoding for Robust Multilingual Pretokenization
Cohere;EleutherAI
针对 BPE 在多语言预分词中惩罚非西方文字及部分 UTF-8 序列的问题,提出基于 Unicode 属性的 SCRIPT 编码方案与强制字符完整性的受限 BPE 合并策略,消除了非拉丁文字的编码惩罚并实现了有竞争力的压缩率。
2025-05-30 cs.CL
Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation
Nous Research
本文通过字节级预训练流程解耦子词分词的影响,探讨其对训练效率和模型性能的贡献,揭示子词边界作为语言先验的重要性。
2026-05-14 cs.CL
Theoretical Analysis of Byte-Pair Encoding
Freie Universität Berlin(柏林自由大学)
本文分析了Byte-Pair Encoding (BPE)的优化问题,证明其APX完全性,并给出0.333至0.625的近似因子,首次为BPE的压缩效用提供严格理论保证。
2026-11-03 cs.CL cs.DS
Words, Subwords, and Morphemes: What Really Matters in the Surprisal-Reading Time Relationship?
University of Maryland(马里兰大学)
本文通过对比正字法、形态学和BPE分词下的惊讶度估计与阅读时间数据,发现BPE分词总体不逊色,但细粒度分析揭示其潜在问题,并提出形态学感知预测的新评估方法。
2023-10-26 cs.CL
How Important Is Tokenization in French Medical Masked Language Models?
LIA, Avignon University(阿维尼翁大学计算机科学与人工智能实验室);Zenidoc(Zenidoc公司);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N, UMR 6004(南特数字科学实验室)
本文研究法语生物医学领域中子词分词对掩码语言模型的影响,分析 BPE 和 SentencePiece 的不足,并提出融合语素信息的原创分词策略以改进下游 NLP 任务表现。
2024-06-09 cs.AI cs.CL cs.LG
Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment
Palo Alto Networks
研究发现BPE分词将安全关键词拆分为子词,导致对齐数据集缺乏此类碎片化输入,通过优化碎片化可绕过80-100%的安全拒绝,并定位到模型最后约30%层。
2026-07-03 cs.AI cs.CL
From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
University College London(伦敦大学学院);UiPath
本文提出一种无需额外模型的动态字符分组方法,利用现有BPE结构并引入第二级压缩,实现高效、灵活且语言无关的表示,性能达到或超过现有补丁策略。
2025-10-17 cs.CL
Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance
Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
该研究通过控制训练数据量调整BPE分词器的压缩能力,结合多语言实验证实分词压缩率与预训练语言模型下游性能正相关,指出提升分词器压缩能力是优化模型性能的有效途径。
2024-06-22 cs.AI cs.CL cs.LG
Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices
University of Glasgow(格拉斯哥大学)
Peek2是一种线性时间复杂度且内存消耗低的预分词算法,适用于边缘设备,提升了字节级BPE编码的吞吐量,且结果与基于正则表达式的分词器相同。
2026-04-30 cs.CL
Tokenization-Invariant Watermarking: A Byte-Local Method for LLM Text
本研究提出TI-WM,一种基于规范化UTF-8字节的LLM文本水印方法,其在5%单词编辑预算下的攻击AUC优于Unigram方法,但不具备通用鲁棒性或低误报率部署保证。
2026-10-14 cs.CL cs.CR
Adaptive Targeted Dynamic Chunking for Tokenization-Free Hierarchical Model
Fujitsu Research of America(富士通美国研究);Fujitsu Limited(富士通株式会社)
提出自适应目标动态分块(ATDC)机制,通过课程学习动态调整压缩比,以优化无分词层次模型的字节压缩效果,在FineWeb-Edu 100B数据集上实现竞争性的每字节比特数性能,并提升训练稳定性和下游任务表现。
2026-05-28 cs.CL
From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution
CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt(CAIRO应用技术大学(乌尔姆-施维林));JetBrains Research(JetBrains研究);TU Delft(代尔夫特理工大学)
本文通过源归属BPE(SA-BPE)正则化方法,解决代码分词器因训练数据不平衡导致的冗余token问题,提升分词效率与安全性。
2026-04-15 cs.CL
From Pixels to Tokens: Byte-Pair Encoding on Quantized Visual Modalities
School of Computer Science, Peking University(北京大学计算机学院);The Chinese University of Hong Kong(香港中文大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出将字节对编码(BPE)应用于视觉数据的图像分词器,通过直接融入结构先验增强多模态对齐,并基于此开发出性能优越且可扩展的Being-VL-0模型。
2025-03-09 cs.AI cs.CL cs.CV
Counting and Min-Cost Encoding for Tokenization in Large Language Models
Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司);National-Mathematics Artificial Intelligence Institute in Chongqing (NMAII)(重庆国家数学人工智能研究院)
提出CNF分词器训练与MCE最小成本编码算法,通过全局优化分割和计数过滤构建词表,相比BPE在压缩率、词元效率和词表利用率上显著提升,且下游性能相当。
2026-10-02 cs.CL
LBPE: Long-token-first Tokenization to Improve Large Language Models
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
针对BPE分词中长词出现频率低导致的学习不平衡问题,提出LBPE方法,按词长反向优先级生成词,平滑长短词频差,实验证明其优于原始BPE。
2024-11-08 cs.CL
Temporal Tokenization Strategies for Event Sequence Modeling with Large Language Models
Capital One;Georgia Institute of Technology(佐治亚理工学院)
本文研究了大语言模型中时间序列事件建模的时间标记策略,通过对比不同编码方法发现,标记器需与数据统计特性匹配才能提升预测性能。
2026-05-11 cs.CL cs.LG
VerChol -- Grammar-First Tokenization for Agglutinative Languages
VerChol 提出了一种以语法优先的词法化方法,用于处理黏着语言中复杂的形态结构,以提高词法化效率和准确性。
2026-03-06 cs.CL
The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages
Sirena Ai India(印度Sirena人工智能公司)
研究量化印度语言子词分词跨语言成本,测量六种分词器在十四种语言上的分词丰富度,揭示字节对合并失败是高代价主因,多语言分词器可降低代价,还发现分词与阅读理解性能关联受语言资源可用性影响。
2026-07-28 cs.AI cs.CL cs.LG
Training Multilingual Pre-trained Language Model with Byte-level Subwords
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
预训练的语言模型在各种自然语言理解(NLU)任务中取得了巨大的成功,这是因为它能够通过在大规模语料库上进行预训练来捕获文本中的深层上下文信息。预训练语言模型的基本组件之一是词汇表,特别是在许多不同语言上训练多语言模型时。在技术报告中,我们介绍了我们使用BBPE训练多语言预训练语言模型的实践:字节级BPE(即,字节对编码)。在实验中,我们采用了NEZHA的架构作为底层的预训练语言模型,结果表明,使用字节级子词训练的NEZHA在多个多语言NLU任务中的表现始终优于Google多语言BERT和vanilla NEZHA。我们发布了字节级词汇构建工具和多语言预训练语言模型的源代码。
2021-06-03 cs.CL
Byte Latent Transformer: Patches Scale Better Than Tokens
FAIR at Meta(Meta FAIR研究院);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);University of Chicago(芝加哥大学)
该研究提出字节级大语言模型架构Byte Latent Transformer,以基于下一字节熵划分的动态块为计算单元,首次在8B参数、4T训练字节规模下验证无固定词表的字节模型可高效缩放,推理效率、鲁棒性及推理、长尾泛化表现均优于同成本的分词式模型。
2024-12-13 cs.CL
Stop Taking Tokenizers for Granted: They Are Core Design Decisions in Large Language Models
Princess Nourah Bint Abdulrahman University(普里丝琴·努拉·本·阿卜杜勒拉赫曼大学);Saudi Data & AI Authority (SDAIA)(沙特数据与人工智能管理局);University of Alberta(阿尔伯塔大学);Dialpad(Dialpad公司);York University(约克大学);Qatar Computing Research Institute(卡塔尔计算研究所);Amazon AGI(亚马逊人工智能研究所)
本文提出将分词视为大型语言模型的核心设计决策,强调上下文感知框架和标准化评估的重要性,以提升语言技术的公平性、效率和适应性。
2026-01-24 cs.AI cs.CL cs.LG
Towards Nepali-language LLMs: Efficient GPT training with a Nepali BPE tokenizer
Khwopa College of Engineering(科瓦普学院工程学院)
本研究提出基于GPT-2的尼泊尔语模型,通过优化学习率调度、批量扩展和架构改进,结合定制BPE分词器和FlashAttention,实现高效训练并生成连贯的尼泊尔新闻文本。
2025-12-16 cs.AI cs.CL
Egalitarian Language Representation in Language Models: It All Begins with Tokenizers
University of Jaffna(贾夫纳大学)
本文针对复杂文字语言(如泰米尔语、僧伽罗语、印地语)在分词中的不公平表示问题,提出改进的GPE算法,证明预分词比分词算法更关键,且字素提取优于字节级分词器。
2024-09-17 cs.AI cs.CL
Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所)
本文针对 BPE 等分词器在非拉丁语言和 MWEs 上的不足,借鉴认知科学“最小努力原则”提出 LiB 分词器,可自主学习子词、词与 MWEs 集成词汇并减少 token 与类型数量,实验表现优于现有方法。
2024-03-01 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University(高丽大学);Prediction(Prediction 公司);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题,提出结合子字分解的词素感知子词分词法,在PLMs中平衡语言准确性与效率,在NIKL-CoLA等任务上表现提升,证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
EPFL(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
研究针对词元化中低资源语言词元化不合理问题,引入奇偶感知字节对编码,通过公平最大化规则平衡跨语言公平性与全局压缩,减少词元化不平等,对全局压缩和下游语言模型性能影响小。
2026-07-07 cs.AI cs.CL cs.LG
SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
SemToken 提出语义感知分词框架,通过语义聚类和基于语义密度的异构粒度分配减少冗余 token,在长上下文建模中实现最高 2.4 倍 token 压缩和 1.9 倍加速且性能几乎不降。
2025-08-21 cs.AI cs.CL
Bolmo: Byteifying the Next Generation of Language Models
Allen Institute for AI(艾伦人工智能研究所);University of Cambridge(剑桥大学);University of Washington(华盛顿大学);University of Edinburgh(爱丁堡大学)
Bolmo通过两阶段转换将现有子词模型转换为字节级模型,实现性能和细粒度理解的平衡。
2026-02-09 cs.CL
BanglaByT5: Byte-Level Modelling for Bangla
Dept. of Computer Science and Engineering, Indian Institute of Technology Kanpur(计算机科学与工程系,印度理工学院坎浦尔)
本文提出BanglaByT5,首个针对孟加拉语的字节级编码器-解码器模型,基于ByT5架构在14GB语料上预训练,在生成和分类任务中超越多语言及更大模型,证明字节级建模对形态丰富语言的有效性。
2025-05-21 cs.CL
Wine is Not v i n. -- On the Compatibility of Tokenizations Across Languages
LMU Munich(慕尼黑大学)
词汇表的大小是大型预训练语言模型的核心设计选择,考虑到性能和内存需求。通常,使用诸如字节对编码和WordPiece的子字标记化算法。在这项工作中,我们调查的多语言静态和上下文嵌入空间的标记化的兼容性,并提出了一个措施,反映了跨语言的标记化的兼容性。我们的目标是防止不兼容的标记,例如,英语中的“wine”(词级)与法语中的“v i n”(字符级),这使得很难学习良好的多语言语义表示。我们表明,我们的兼容性措施允许系统设计人员创建跨语言的词汇表是兼容的-一个迫切需要,到目前为止,一直被忽视的多语言模型。
2021-09-13 cs.CL
Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models
National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);SAP
本文系统比较了11种东南亚语言上的公平分词器,发现Parity-aware BPE在效率与公平的权衡中处于帕累托前沿,而Morphology-Driven Byte Encoding在语义推理上表现最佳。
2026-06-16 cs.CL
Counting Ability of Large Language Models and Impact of Tokenization
University of British Columbia(不列颠哥伦比亚大学);Stony Brook University(纽约州立大学石溪分校)
本研究针对通用大语言模型计数能力受架构限制的问题,探究分词方式对其计数能力的影响,通过理论与实验分析揭示分词选择对模型理论可计算性的作用,为优化分词以提升大模型推理能力提供思路。
2024-10-29 cs.AI cs.CL
Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits
University of British Columbia(不列颠哥伦比亚大学);Zhejiang University(浙江大学);Cisco(思科);Stony Brook University(石溪大学)
该研究揭示大语言模型的符号推理能力受分词结构约束,提出分词感知概念形式化其影响,实验证实原子对齐的分词格式可让小模型在结构化推理中超越大模型。
2025-05-20 cs.AI cs.CL
Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging
Department of Science, Technology & Mathematics(科学、技术与数学系)
本文提出Significance-Gain BPE,通过统计方法改进子词合并,提升LLM的预测效率和压缩性能,实验显示在WikiText-103上验证了其有效性。
2026-02-26 cs.CL cs.CV cs.LG
Tokenization Falling Short: On Subword Robustness in Large Language Models
Baidu(百度);ModelBest(模贝斯特);University of Copenhagen(哥本哈根大学)
本研究针对大语言模型的分词诅咒问题,从复杂问题求解、token结构探测、排版变化复原性三方面展开研究,发现扩参可缓解问题但仍存偏差,验证了BPE-dropout等子词正则化的作用并开源了评估资源。
2024-10-04 cs.CL
DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome
Northwestern University(西北大学);Stony Brook University(石溪大学)
针对k-mer标记化低效问题,提出用BPE替代并构建DNABERT-2基因组基础模型,同时推出多物种基准GUE,以21倍更少参数和92倍更少GPU时间达到最先进性能。
2024-03-18 cs.AI cs.CE cs.CL
Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding
Florida International University(佛罗里达国际大学)
本文提出Pruned BPE方法,通过训练后可见性剪枝与令牌重新分配提升BPE词汇效率,在不增加模型可见词汇规模的情况下减少编码长度,取得了优于标准BPE的效果。
2026-09-09 cs.CL cs.LG
AdaptBPE: From General Purpose to Specialized Tokenizers
Sorbonne-Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能与机器人系统研究所)
AdaptBPE通过后训练适应策略优化分词器,提升特定领域或任务的分词效率。
2026-01-29 cs.CL
Separate Before You Compress: The WWHO Tokenization Architecture
Remeinium Research(Remeinium 研究院)
本文提出WHHO架构和SGPE算法,通过分离语言规则与压缩过程,实现多语言标记化,显著降低复杂Abugida语言的token数量,提升推理效率。
2026-03-26 cs.CL
Dynamic Multi-Byte Prediction With Hierarchical Language Models
The Ohio State University(俄亥俄州立大学);University of Florida(佛罗里达大学);University of Washington(华盛顿大学)
本文针对分层语言模型逐字节生成推理速度慢的问题,提出多字节预测方法,通过可变长度预测窗口与因果注意力掩码实现并行字节预测,在多任务中达成性能与吞吐量的最优权衡。
2026-08-25 cs.AI
Constructing a BPE Tokenization DFA
Department of Computing Science, Umeå University(乌梅大学计算机科学系);Department of Computer Science, Stellenbosch University(斯坦福博芝大学计算机科学系);National Institute for Theoretical and Computational Sciences, South Africa(南非理论与计算科学国家研究所)
本文提出一种高效构建DFA的算法,该DFA直接处理BPE分词,支持模式匹配、词典等价检查等应用,并确立状态复杂度渐近界,同时构建输入确定性转换器精确描述字符串与分词关系。
2025-05-26 cs.CL cs.FL cs.LG
UTF-8 Plumbing: Byte-level Tokenizers Unavoidably Enable LLMs to Generate Ill-formed UTF-8
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对字节级分词器导致大语言模型生成格式错误UTF-8的问题,通过幺半群理论形式化证明该现象必然性,评估缓解措施并结合案例研究,为语言模型应用解决相关问题提供依据。
2025-11-05 cs.CL
ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling
Carnegie Mellon University(卡内基梅隆大学);Allegheny Health Network(阿勒格尼健康网络);University of Colorado(科罗拉多大学)
针对现有心电图大语言模型两阶段训练效率低、特征可解释性差的问题,提出适配字节对编码的分词器ECG-Byte,实现端到端训练,提升可解释性,训练速度快3倍且仅需48%数据量。
2025-07-29 cs.CL eess.SP
LDARNet: DNA Adaptive Representation Network with Learnable Tokenization for Genomic Modeling
University of California, Berkeley(加州大学伯克利分校)
提出LDARNet,一种结合动态分块和双向路由的120M参数层次基因组基础模型,在27个任务中优于更大模型,并发现学习到的边界与生物学基序对齐。
2026-08-06 cs.CL q-bio.GN
Morphological Typology in BPE Subword Productivity and Language Modeling
University of California, Berkeley(加州大学伯克利分校)
本研究探究形态类型学对BPE分词及语言建模的影响,发现屈折型语言的BPE子词规律性与能产性更强,建模效果更优,且语言学的类型连续体在实验中有所体现,揭示了形态类型学与BPE分词效率的相关性。
2024-10-31 cs.CL
Understanding Secret Leakage Risks in Code LLMs: A Tokenization Perspective
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);University of Southern California(南加州大学);Fudan University(复旦大学)
研究揭示代码大语言模型中因分词方式导致的秘密泄露问题,指出BPE分词引发的'垃圾话偏差'现象,并探讨其成因及缓解策略。
2026-04-20 cs.AI cs.CR
Batching BPE Tokenization Merges
本文提出开源纯 Python 实现 BatchBPE,通过安全批处理 BPE 合并并降低训练文本内存占用,使资源受限设备上训练和实验高质量分词器成为可能。
2024-08-05 cs.AI cs.CL
Byte-Pair Encoding for Text-to-SQL Generation
University of Cambridge(剑桥大学)
神经序列到序列模型为将自然语言中的问题映射到SQL查询的任务提供了一种有竞争力的方法,也称为文本到SQL生成。字节对编码算法(BPE)先前已用于改进自然语言之间的机器翻译(MT)。在这项工作中,我们调整BPE的文本到SQL生成。由于与MT相比,该任务的数据集相当小,因此我们提出了一种新的停止标准,该标准可以防止BPE编码过度拟合到训练集。此外,我们还介绍了AST BPE,它是BPE的一个版本,使用SQL语句的抽象树(AST)来指导BPE合并,从而产生更好的泛化BPE编码。我们在六个英语文本到SQL任务中的五个上提高了强专注seq2seq基线的准确性,同时由于缩短了目标,其中四个任务的训练时间减少了50%以上。最后,在其中两个任务中,我们超过了以前报告的准确性。
2019-11-16 cs.CL stat.ML
Rethinking Tokenization for Rich Morphology: The Dominance of Unigram over BPE and Morphological Alignment
IIIT Hyderabad(海得拉巴国际信息技术学院);Microsoft R&D(微软研发)
本文通过小规模 BERT 在泰卢固语等语言上的实验发现,Unigram 分词器整体优于 BPE,且分词算法选择比形态对齐对下游性能影响更大,同时形态预切分仅能显著提升 BPE。
2025-11-10 cs.AI cs.CL