Improving Character-based Decoding Using Target-Side Morphological Information for Neural Machine Translation
ADAPT Centre（ADAPT研究中心）；School of Computing（计算学院）；Dublin City University（都柏林城市大学）
最近，神经机器翻译（NMT）已经成为传统统计方法的一个强大的替代方案。然而，它的性能大大下降，在形态丰富的语言（MRL）的存在。神经引擎通常无法解决MRL的大词汇量和高词汇外（OOV）单词率。因此，不适合利用现有的基于单词的模型来翻译这组语言。在本文中，我们提出了对Chung et al.（2016）的最先进模型的扩展，该模型在字符级别工作，并通过目标侧形态信息增强解码器。在我们的架构中，一个额外的形态表插入到模型中。每次解码器从目标词汇采样时，该表从最相关的词缀发送辅助信号，以丰富解码器的当前状态并约束它以提供更好的预测。我们评估了我们的模型，将英语翻译成德语，俄语和土耳其语作为三个MRL，并观察到显着的改进。
2018-04-17 cs.CL
Subword models struggle with word learning, but surprisal hides it
Computational Linguistics, Department of Linguistics（计算语言学系，语言学系）；Bielefeld University（比勒菲尔德大学）
本文通过词汇决策任务发现子词LM在区分词汇与非词上不如字符LM，且两者学习轨迹不同，质疑了子词LM在语言习得建模中的充分性。
2025-06-02 cs.CL
Subword-Delimited Downsampling for Better Character-Level Translation
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）
子词级模型一直是自然语言处理的主导范式。然而，角色级模型的好处是可以单独看到每个角色，为模型提供更详细的信息，最终可以产生更好的模型。最近的研究表明，字符级模型与子字模型具有竞争力，但在时间和计算方面代价高昂。具有下采样组件的高级模型可以缓解这种情况，但代价是质量，特别是对于机器翻译。本文分析了现有下采样方法存在的问题，提出了一种基于子字的下采样方法。这种新的下采样方法不仅优于现有的下采样方法，表明可以在不牺牲质量的情况下对字符进行下采样，而且与用于翻译的子字模型相比，还具有良好的性能。
2022-12-02 cs.CL
Extracting linguistic speech patterns of Japanese fictional characters using subword units
Ibaraki University（茨城大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本研究抽取并分析了日本动漫或游戏角色的语言语音模式。传统的形态分析器，如MeCab，分割单词的性能很高，但它们无法分割字典中没有列出的破碎表达或话语结尾，这些经常出现在动画或游戏角色的台词中。为了克服这一挑战，我们建议使用主要用于深度学习的子词单元来分割日本动漫或游戏角色的线条，并提取频繁出现的字符串以获得表征其话语的表达。我们根据性别、年龄和每个动漫角色分析了TF/IDF加权的子词单位，并表明它们是针对每个特征的语言语音模式。此外，分类实验表明，与传统的方法相比，以子词为单位的模型性能更好。
2022-03-05 cs.CL
Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish
Independent Researcher（独立研究者）
针对土耳其语粘着特性，提出Morpheus神经词素边界模型，实现无损可逆分词与结构化词嵌入，在可逆分词器中达到最低比特每字符（1.425），词素对齐F1提升至0.61，GPU内存节省约19%。
2026-10-05 cs.AI cs.CL
Char2Subword: Extending the Subword Embedding Space Using Robust Character Compositionality
University of Houston（休斯顿大学）；Salesforce Research（Salesforce研究院）
字节对编码（BPE）是语言模型的子字标记化过程中普遍存在的算法，因为它提供了多个优点。然而，这个过程完全基于预训练数据统计，使得分词器难以处理不频繁的拼写。另一方面，虽然对拼写错误很健壮，但纯字符级模型通常会导致不合理的长序列，并使模型更难学习有意义的单词。为了缓解这些挑战，我们提出了一个基于字符的子字模块（char 2subword），它可以在预训练的模型（如BERT）中学习子字嵌入表。我们的char 2subword模块从子字词汇表中的字符构建表示，它可以用作子字嵌入表的直接替代。该模块对字符级别的更改（如拼写错误、单词变形、大小写和标点符号）具有鲁棒性。我们通过预训练将其与BERT进一步集成，同时保持BERT Transformer参数固定-因此，提供了一种实用的方法。最后，我们表明，将我们的模块mBERT显着提高了社交媒体语言代码转换评估（LinCE）基准的性能。
2021-09-24 cs.CL
An Information Extraction Study: Take In Mind the Tokenization!
KU Leuven（鲁汶大学）；Language Intelligence and Information Retrieval Lab（语言智能与信息检索实验室）
该研究针对分词对序列标注类信息抽取任务的影响未被充分探索的问题，对比了基于子词和基于字符的生物医学文本信息抽取模型，发现分词带来的归纳偏置可实现最优性能，且字符模型效果可观，验证了无分词信息抽取的可行性。
2023-04-01 cs.CL
Inducing Character-level Structure in Subword-based Language Models with Type-level Interchange Intervention Training
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对子词语言模型字符级操作任务表现不佳的问题，提出基于因果干预的类型级交换干预训练方法，在融合形式、语义与上下文的复杂字符级任务上优于字符级模型，且提升了子词模型的鲁棒性与字符表示的可解释性。
2023-12-19 cs.CL
Towards Reasonably-Sized Character-Level Transformer NMT by Finetuning Subword Systems
Center for Information and Speech Processing（信息与语音处理中心）；Ludwig Maximilian University of Munich（慕尼黑大学）
在角色级别上应用Transformer体系结构通常需要非常深的体系结构，这些体系结构很难进行训练，而且速度很慢。这些问题可以通过将分割合并到模型中的标记中来部分克服。我们表明，通过最初训练一个子词模型，然后在字符上对其进行微调，我们可以获得一个神经机器翻译模型，该模型在字符级工作，而不需要标记分割。我们只使用普通的6层Transformer Base架构。我们的字符级模型更好地捕捉形态学现象，并表现出更强的鲁棒性，以牺牲更差的整体翻译质量为代价。我们的研究是朝着高性能和易于训练的基于字符的模型迈出的重要一步，这些模型不是非常大。
2020-09-29 cs.CL
2kenize: Tying Subword Sequences for Chinese Script Conversion
University of Copenhagen（哥本哈根大学）
简繁转换是中文自然语言处理中常见的预处理步骤。尽管如此，目前的方法具有较差的性能，因为它们没有考虑到简体中文字符可以对应于多个繁体中文字符。在这里，我们提出了一个模型，可以消除映射之间的歧义和两个脚本之间的转换。该模型基于子词切分、两个语言模型以及子词序列之间的映射方法。我们进一步构建了主题分类和脚本转换的基准数据集。我们提出的方法优于以前的汉字转换方法的6点的准确性。这些结果在下游应用程序中得到了进一步证实，其中2kenize用于转换主题分类的预训练数据集。错误分析表明，我们的方法的特殊优势是在处理代码混合和命名实体。
2020-05-07 cs.CL
Subword ELMo
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯AI实验室）
从语言模型嵌入（ELMo）已被证明对改善许多自然语言处理（NLP）任务是有效的，并且ELMo采用字符信息来组成单词表示来训练语言模型。然而，字符是一个不充分的和不自然的语言单位为词表示。2因此，我们介绍了嵌入从子词感知语言模型（ESuLMo）它使用无监督的词分割从子词中学习词表示。我们表明，ESuLMo可以比ELMo更有效地增强四个基准NLP任务，包括句法依存句法分析，语义角色标注，隐含语篇关系识别和语篇蕴涵，这对ELMo带来了有意义的改进。
2019-09-18 cs.CL
Subword Language Model for Query Auto-Completion
Clova AI, NAVER Corp.（NAVER公司Clova AI）
目前的神经查询自动完成（QAC）系统依赖于字符级语言模型，但当查询很长时，它们会变慢。我们提出了如何利用子字语言模型的快速和准确的生成查询完成候选。用子词表示查询显著缩短了解码长度。针对引入子词语言模型所带来的问题，提出了一种基于近似边缘化的回溯算法和重排序方法。因此，我们的模型实现了高达2.5倍的速度，同时与字符级基线相比，保持了类似的生成结果质量。此外，我们提出了一个新的评估指标，平均可恢复长度（MRL），衡量有多少即将到来的字符模型可以正确完成。它提供了更明确的含义，并消除了对现有的基于秩的度量的前缀长度采样的需要。此外，我们进行了全面的分析与消融研究，以找出每个组件的重要性。
2019-09-02 cs.CL
Neural Machine Translation with Byte-Level Subwords
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
几乎所有现有的机器翻译模型都建立在基于字符的词汇表之上：字符、子词或词。然而，来自嘈杂文本或字符丰富的语言（如日语和中文）的稀有字符可能会不必要地占用词汇表，并限制其紧凑性。在字节级别表示文本并使用256字节集作为词汇表是解决这个问题的一个潜在方案。然而，高计算成本阻碍了它在实践中的广泛部署或使用。在本文中，我们研究了字节级子词，特别是字节级BPE（BBPE），它比字符词汇表更简单，没有词汇表外的标记，但比只使用纯字节更有效。我们声称，将BBPE嵌入上下文化是必要的，这可以通过卷积层或递归层来实现。实验表明，BBPE具有与BPE相当的性能，而其大小仅为BPE的1/8。在多语言环境中，BBPE最大限度地实现了多种语言之间的词汇共享，并实现了更好的翻译质量。此外，我们表明，BBPE能够在具有非重叠字符集的语言之间传输模型。
2019-12-05 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University（高丽大学）；Prediction（Prediction 公司）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题，提出结合子字分解的词素感知子词分词法，在PLMs中平衡语言准确性与效率，在NIKL-CoLA等任务上表现提升，证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
A Systematic Study of Leveraging Subword Information for Learning Word Representations
University of Cambridge（剑桥大学）
使用子字级信息（例如，字符、字符n元语法、词素）在现代单词表示学习中变得无处不在。它的重要性是证明，特别是形态丰富的语言，产生了大量的罕见的话。尽管对这种子词信息词表征的兴趣稳步增加，但它们在类型学上不同的语言和不同任务之间的系统比较分析仍然缺失。在这项工作中，我们提供了这样一个研究重点的变化所需的两个关键组成部分的子词级集成到单词表示模型：1）分割成子词单元的单词，和2）子词组合功能，以获得最终的单词表示。我们提出了一个通用的框架，用于学习子词知情的单词表示，允许轻松实验不同的分割和组成组件，还包括更先进的技术，基于位置嵌入和自我注意。使用统一的框架，我们运行了大量的子词知情的词表示配置（共60个）的3个任务（一般和罕见的词相似性，依存句法分析，细粒度的实体类型）为5种语言，代表3种语言类型的实验。我们的主要研究结果清楚地表明，没有“一刀切”的配置，因为性能是语言和任务依赖。我们还表明，基于无监督分割的配置（例如，BPE，Morfessor）有时与基于监督分词的方法相当，甚至优于后者。
2019-05-04 cs.CL
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是一种新的机器翻译方法，它在多种语言对上的翻译性能优于传统的统计机器翻译（SMT）。翻译是一个开放词汇的问题，但现有的NMT系统大多使用固定词汇，这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度，如字符，子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一，然而，据我们所知，目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外，我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明，在词汇量不大的情况下，子词模型的翻译效果最好，而词字混合模型的翻译效果最好。不同粒度的实验结果表明，Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
Character-level Transformer-based Neural Machine Translation
University of Antwerp（安特卫普大学）；Computational Linguistics and Psycholinguistics Research Center（计算语言学与心理语言学研究中心）；Antwerp Centre for Digital Humanities and Literary Criticism（安特卫普数字人文与文学批评中心）
神经机器翻译（NMT）现在通常应用于子字级别，使用字节对编码。一种有前途的替代方法专注于字符级翻译，这大大简化了NMT中的处理管道。然而，这种方法必须考虑相对较长的序列，使得训练过程过于昂贵。在本文中，我们讨论了一种新的，基于变压器的方法，我们比较，无论是在速度和质量的Transformer在子字和字符级别，以及以前开发的字符级模型。我们在WMT'15的4个语言对上评估了我们的模型：DE-EN，CS-EN，FI-EN和RU-EN。该模型可以在单个GPU上训练，比字符级的Transformer快34%，但其结果至少与之相当。此外，该模型在FI-EN中的性能优于子字级模型，在CS-EN中的性能接近。为了促进这一领域的进一步研究并缩小与子字级NMT的差距，我们公开了所有的代码和模型。
2020-05-22 cs.CL
How Suitable Are Subword Segmentation Strategies for Translating Non-Concatenative Morphology?
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
数据驱动的子词切分已成为开放词汇机器翻译和其他NLP任务的默认策略，但对于非连接形态的最佳学习可能不够通用。我们设计了一个测试套件，以评估不同类型的形态学现象在一个受控的，半合成的设置分割策略。在我们的实验中，我们比较了在子词和字符级别上训练的机器翻译模型如何翻译这些形态学现象。我们发现，学习分析和生成形态复杂的表面表示仍然是具有挑战性的，特别是对于非连接的形态现象，如重叠或元音和谐和罕见的词干。根据我们的研究结果，我们建议在一系列类型多样的语言上测试新的文本表示策略，以尽量减少采用无意中使某些语言处于不利地位的策略的风险。
2021-09-02 cs.CL
Character-level White-Box Adversarial Attacks against Transformers via Attachable Subwords Substitution
Tsinghua University（清华大学）
提出了第一种针对Transformer模型的字符级白盒对抗攻击方法。我们的方法的直观性来自于观察，即单词在被馈送到Transformer模型之前被分成子令牌，并且两个接近的子令牌之间的替换具有与字符修改类似的效果。我们的方法主要包括三个步骤。首先，采用基于梯度的方法找到句子中最脆弱的词。然后，我们将所选单词拆分为子标记，以替换来自Transformer标记器的原始标记化结果。最后，我们利用对抗性损失来指导可附加子令牌的替换，其中引入了Gumbel-softmax技巧来确保梯度传播。同时，我们在优化过程中引入了视觉和长度约束，以达到最小的字符修改。大量的实验表明，该方法在成功率和编辑距离方面优于以前的攻击方法。此外，人类评估验证了我们的对抗性示例可以保留其原始标签。
2022-10-31 cs.CL
StochasTok: Improving Fine-Grained Subword Understanding in LLMs
FLAIR, University of Oxford（FLAIR，牛津大学）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出StochasTok，一种高效的随机分词方法，通过在训练中随机分割token，提升LLM在子词层面的任务表现，包括字符计数和数学任务。
2026-04-20 cs.CL
Learning Mutually Informed Representations for Characters and Subwords
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 entanglement 模型，将字符与子词视为两种模态并生成相互增强的表示，在多类英文 NLP 任务及噪声、低资源场景中优于骨干模型和更大的预训练模型。
2024-04-08 cs.CL cs.LG
Multitask Learning For Different Subword Segmentations In Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
在神经机器翻译（NMT）中，使用子词和字符作为源和目标单元为罕见和未见过的单词的翻译提供了简单而灵活的解决方案。然而，选择最佳的子词切分涉及表达性和灵活性之间的权衡，并且是语言和词典相关的。我们提出了块多任务学习（BMTL），一种新的NMT架构，可以同时预测不同粒度的多个目标，无需搜索最佳分割策略。与单任务基线模型相比，我们的多任务模型在每个解码器上表现出高达1.7个BLEU点的改进，其中两个语言对IWSLT15和一个来自IWSLT19的数据集具有相同数量的参数。以不同粒度生成的多个假设可以作为后处理步骤进行组合，以提供更好的翻译，这比基线模型的假设组合有所改进，同时使用更少的参数。
2019-10-27 cs.CL
Revisiting Neural Language Modelling with Syllables
University of Edinburgh（爱丁堡大学）；Pontificia Universidad Católica del Perú（秘鲁天主教大学）
语言建模通常以词、子词或字符为单位进行分析，但很少使用音节。音节提供比字符更短的序列，它们可以用规则提取，并且它们的分割通常比识别语素需要更少的专门工作。我们重新考虑了20种语言的开放式词汇生成任务的音节。我们使用基于规则的音节化方法为五种语言，并解决其余的断字工具，作为音节代理的行为是有效的。与一个可比的困惑，我们表明，音节优于字符，注释语素和无监督的子词。最后，我们还研究了其他子词片段的音节重叠，并讨论了一些限制和机会。
2020-10-24 cs.CL
Patterns versus Characters in Subword-aware Neural Language Modeling
Nazarbayev University（纳扎尔巴耶夫大学）
某些自然语言中的词可以具有复合结构。这种结构的元素包括词根（也可以是复合词）、前缀和后缀，可以表达与其他词的各种细微差别和关系。因此，为了建立一个正确的单词表示，必须考虑其内部结构。从文本的语料库中，我们提取一组频繁的子词，并从后者的集合中，我们选择模式，即封装信息的字符$n$ -文法的子词。使用基于模式的条件随机场模型和$l_1$正则化进行选择。此外，对于每个单词，我们在一个模式字母表上构造一个新的序列。新字母表的符号限制了比字符更强的局部统计上下文，因此它们允许在${\mathbb{R}}^n$中进行更好的表示，并且是单词表示的更好的构建块。在子词感知语言建模的任务中，基于模式的模型比基于字符的类似物高出2-20个困惑点。此外，将单词表示为其模式嵌入之和的递归神经网络与具有竞争力且更复杂的基于字符的卷积架构相当。
2017-09-02 cs.CL cs.LG
Character-based Neural Networks for Sentence Pair Modeling
Department of Computer Science and Engineering（计算机科学与工程系）；Ohio State University（俄亥俄州立大学）
句子对建模对于许多NLP任务至关重要，例如释义识别，语义文本相似性和自然语言推理。这些任务的大多数最先进的神经模型都依赖于预训练的词嵌入，并以各种方式组成语义级语义;然而，很少有工作试图验证我们是否真的需要在这些任务中预训练的嵌入。在本文中，我们研究如何有效的子词级（字符和字符n-gram）表示在句子对建模。虽然众所周知，子词模型在单句输入的任务中是有效的，包括语言建模和机器翻译，但它们在句子对建模任务中没有系统地研究，其中文本之间的语义和字符串相似性很重要。我们的实验表明，没有任何预训练的词嵌入的子词模型可以在两个社交媒体数据集上获得新的最先进的结果，并在新闻数据上获得具有竞争力的结果，用于释义识别。
2018-05-21 cs.CL
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization
Google Research（谷歌研究院）；DeepMind（深度思维）
自然语言处理中最先进的模型依赖于单独的刚性子词标记化算法，这限制了它们的泛化能力和对新设置的适应。在本文中，我们提出了一个新的模型归纳偏见，学习一个子词标记化端到端的模型的一部分。为此，我们引入了一个软的基于梯度的子词标记化模块（GBST），自动学习潜在的子词表示字符的数据驱动的方式。具体地说，GBST枚举候选子字块，并学习使用块评分网络以位置方式对其进行评分。我们还介绍了Charformer，一个深度的Transformer模型，它集成了GBST并在字节级别上运行。通过对英语GLUE，多语言和嘈杂文本数据集的广泛实验，我们表明Charformer优于一系列有竞争力的字节级基线，同时通常表现相当，有时优于基于子词的模型。此外，Charformer速度很快，将普通字节级和子字级Transformers的速度提高了28%-100%，同时保持了具有竞争力的质量。我们相信这项工作为完全端到端训练的高性能无令牌模型铺平了道路。
2022-02-23 cs.AI cs.CL cs.LG
Hybrid CTC-Attention based End-to-End Speech Recognition using Subword Units
Tsinghua University（清华大学）；Shanghai Liulishuo Information Technology Co., Ltd（上海流利说信息技术有限公司）
在本文中，我们提出了一个端到端的自动语音识别系统，它成功地采用子字单元的混合CTC注意力为基础的系统。子字单元由字节对编码（BPE）压缩算法获得。与使用单词作为建模单元相比，使用字符或子单词单元不会遭受词汇表外（OOV）问题。此外，使用子字单元还提供了比使用字符更长的上下文建模的能力。我们在LibriSpeech 1000 h数据集上评估了不同的系统。基于子词的混合CTC-Attention系统在没有任何词典或外部语言模型的情况下，在test_clean子集上获得6.8%的词错误率（WER）。这代表了一个显着的改善（12.8%的WER相对减少），基于字符的混合CTC的注意力系统。
2018-09-06 cs.CL cs.SD eess.AS
Character-level NMT and language similarity
Charles University（查理大学）
本文研究字符级Transformer神经机器翻译在不同语言相似度与数据规模下的表现，发现相似语言间字符级切分更优，而远距离语言中子词级更佳，并验证通过子词级模型微调可缩小字符级模型的性能差距。
2023-08-08 cs.CL
The Role of Interpretable Patterns in Deep Learning for Morphology
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Institute for Computer Science and Control（计算机科学与控制研究所）
我们研究的角色，字符模式在三个任务：形态分析，词形还原和复制。我们使用标准序列到序列模型的修改版本，其中编码器是一个模式匹配网络。每个模式在源侧对所有可能的N个字符长的子字（子串）进行评分，并且最高评分子字的分数用于初始化解码器以及对注意力机制的输入。该方法允许学习输入的哪些子字对于生成输出是重要的。通过在相同的源但不同的目标上训练模型，我们可以比较哪些子词对于不同的任务是重要的，以及它们之间的关系。我们定义了一个相似性度量，一个广义形式的Jaccard相似性，并分配一个相似性得分的每一对的三个任务，工作在同一个源，但可能不同的目标。我们研究了这三个任务是如何在12种语言中相互关联的。我们的代码是公开的。
2020-12-08 cs.CL
On the Effect of (Near) Duplicate Subwords in Language Modelling
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
本文研究（近似）重复子词对语言模型训练效率的影响，通过复制词汇表实验发现完全重复时需多17%数据，而自然出现的近似重复子词合并后性能显著下降，表明其相似性有限，提升潜力受限。
2024-07-17 cs.CL cs.LG
CharBERT: Character-aware Pre-trained Language Model
iFLYTEK Research（科大讯飞研究）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Research Center for Social Computing and Information Retrieval (SCIR)（社会计算与信息检索研究中心（SCIR））；iFLYTEK AI Research (Hebei)（科大讯飞AI研究（河北））；University of Maryland（马里兰大学）
大多数预先训练的语言模型（PLM）在子词级别上使用字节对编码（BPE）或其变体来构建词表示，通过这种方式，OOV（out-of-vocab）词几乎是可以避免的。然而，这些方法将一个词分割成子词单元，使得表示不完整和脆弱。本文针对上述问题，在已有的语言模型（如BERT，RoBERTa）的基础上，提出了一种字符感知的预训练语言模型CharBERT。我们首先从连续的字符表示中构造每个标记的上下文词嵌入，然后通过一个新的异构交互模块融合字符表示和子词表示。我们还提出了一个新的预训练任务命名为NLM（噪声LM）的无监督字符表示学习。我们评估我们的方法在问答，序列标记和文本分类任务，无论是在原始数据集和对抗性拼写错误测试集。实验结果表明，该方法可以显着提高性能和鲁棒性的PLM同时。预训练模型、评估集和代码可在https://github.com/wtma/CharBERT上获得
2020-11-03 cs.CL
Revisiting Syllables in Language Modelling and their Application on Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Pontificia Universidad Católica del Perú（秘鲁天主教教皇大学）
语言建模和机器翻译任务大多使用子词或字符输入，但很少使用音节。音节提供比字符更短的序列，需要比语素更少的专门提取规则，并且它们的分割不受语料库大小的影响。在这项研究中，我们首先探讨了21种语言中音节开放词汇语言建模的潜力。我们对六种语言使用基于规则的音节化方法，并使用断字处理其余语言，断字作为音节化代理。与一个可比的困惑，我们表明，音节优于字符和其他子词。此外，我们研究了神经机器翻译音节的重要性，为非相关和低资源的语言对（西班牙语-Shipibo-Konibo）。在成对和多语言系统中，当翻译成具有透明正字法的高度合成语言（Shipibo-Konibo）时，音节优于无监督子词和进一步的形态分割方法。最后，我们进行了一些人的评价，并讨论了限制和机会。
2022-10-05 cs.CL
On the Importance of Word Boundaries in Character-level Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Google AI（谷歌人工智能）；Amazon AI（亚马逊人工智能）；University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）模型通常使用固定大小的词汇表来执行翻译，这是其泛化能力和整体翻译质量的重要瓶颈。克服这种限制的标准方法是将单词分割成子单词单元，通常使用具有任意语法的一些外部工具，导致词汇单元不适合翻译任务。最近的研究表明，同样的方法可以扩展到直接在字符级别执行NMT，这可以提供与基于子词的模型相当的翻译准确性，另一方面，这需要相对更深的网络。在本文中，我们提出了一个计算效率更高的解决方案，字符级NMT实现了一个分层解码架构，翻译随后在单词和字符的水平上产生。我们评估了不同的方法，开放词汇NMT的机器翻译任务，从英语到五种不同的语言形态学，并表明，分层解码模型可以达到更高的翻译精度比子词级NMT模型使用显着更少的参数，同时表现出更好的能力，在学习更长距离的上下文和语法的依赖关系比标准的字符级NMT模型。
2019-10-21 cs.CL
Exploiting Cross-Lingual Subword Similarities in Low-Resource Document Classification
University of Maryland（马里兰大学）；University of Colorado（科罗拉多大学）；Google Research（谷歌研究院）
文本分类有时必须应用于没有标记训练数据的低资源语言。然而，训练数据可以以相关语言可用。我们调查是否字符级的知识转移相关的语言有助于文本分类。我们提出了一个跨语言的文档分类框架（CACO），利用跨语言的子词相似性，联合训练基于字符的嵌入器和基于词的分类器。嵌入器从输入单词的书面形式中导出输入单词的矢量表示，分类器基于单词矢量进行预测。我们使用一个联合字符表示的源语言和目标语言，这使得嵌入器概括知识的源语言的话，以目标语言的单词具有相似的形式。我们提出了一个多任务的目标，可以进一步改善模型，如果额外的跨语言或单语资源。实验证实，字符级的知识转移是更有效的数据比词级的相关语言之间的传输。
2020-04-28 cs.CL cs.LG
Token Alignment via Character Matching for Subword Completion
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出令牌对齐方法，通过回溯至完整令牌并确保生成与提示对齐，缓解生成模型处理部分令牌时的分词伪影，在代码补全等场景中显著提升性能。
2024-03-13 cs.AI cs.CL
Why don't people use character-level machine translation?
Faculty of Mathematics and Physics, Charles Univeristy（查理大学数学与物理学院）；Center for Information and Speech Processing, LMU Munich（慕尼黑大学信息与语音处理中心）
我们提出了一个文献和实证调查，批判性地评估了机器翻译（MT）的字符级建模的艺术状态。尽管文献中有证据表明字符级系统与子字系统相当，但它们实际上从未在WMT比赛中用于竞争性设置。我们的经验表明，即使最近在字符级自然语言处理的建模创新，字符级MT系统仍然难以匹配他们的子字为基础的同行。尽管经常被激励，但更高级别的MT系统既没有表现出更好的域鲁棒性，也没有表现出更好的形态学泛化。然而，我们能够显示出对源侧噪声的鲁棒性，并且在解码时，翻译质量不会随着波束大小的增加而降低。
2022-04-27 cs.CL
Bolmo: Byteifying the Next Generation of Language Models
Allen Institute for AI（艾伦人工智能研究所）；University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）；University of Edinburgh（爱丁堡大学）
Bolmo通过两阶段转换将现有子词模型转换为字节级模型，实现性能和细粒度理解的平衡。
2026-02-09 cs.CL
The Functionalizer: Lossless Functional Decomposition for Subword Tokenization
Massachusetts Institute of Technology（麻省理工学院）
Functionalizer通过将正字法和结构变体分解为可逆的操作码/操作数前缀流，实现无损子词分词，在减少词汇量需求的同时提升代码建模性能。
2026-09-21 cs.CL
On Target Segmentation for Direct Speech Translation
AppTek GmbH（AppTek 有限公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
最近对直接语音翻译的研究表明，通过数据增强技术和更大的深度学习模型，直接语音翻译不断得到改进。虽然这些方法有助于缩小这种新方法和更传统的级联方法之间的差距，但不同的研究之间存在许多不一致之处，因此难以评估最先进的技术水平。最早提出的多级分割是为了获得一个开放的词汇表，但它会导致长序列和长训练时间。然后，子词级分割成为神经机器翻译的最新技术，因为它产生更短的序列，减少了训练时间，同时优于词级模型。因此，最近的语音翻译工作开始使用目标子词，尽管最初使用的字符和一些最近声称在字符级别的更好的结果。在这项工作中，我们进行了广泛的比较，这两种方法在三个基准涵盖8个语言方向和多语言培训。子词级分割在所有设置中都比较有利，在1到3个BLEU点的范围内优于字符级分割。
2020-09-10 cs.CL
When Tokenizers Fail: Byte-Level Chunking for Zero-Shot Transfer to Low-Resource Languages
IIT Bombay（印度理工学院孟买分校）；University of Sheffield（谢菲尔德大学）
本文针对低资源语言处理中字节级模型的粒度不匹配问题，提出适配的分层网络框架，通过初始化字节嵌入、分块对齐损失及词性监督，在六种语言的词性标注任务上实现最高13.3%的性能提升。
2026-08-31 cs.CL
Reusing Weights in Subword-aware Neural Language Models
Nazarbayev University（纳扎尔巴耶夫大学）
我们提出了几种在子词感知神经语言模型中重用子词嵌入和其他权重的方法。所提出的技术并不有利于一个有竞争力的字符感知模型，但其中一些提高了音节和语素感知模型的性能，同时显示出显着减少模型的大小。我们发现了一个简单的实践原则：在多层输入嵌入模型中，如果在输出中重用，则层应该连续自底向上绑定。我们最好的词素感知模型具有正确重用的权重，在多种语言中大幅击败了竞争对手的单词级模型，并且参数减少了20%-87%。
2018-04-25 cs.CL cs.NE stat.ML
Understanding Pure Character-Based Neural Machine Translation: The Case of Translating Finnish into English
Uppsala University（乌普萨拉大学）；University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
最近的研究表明，更深层的基于字符的神经机器翻译（NMT）模型可以优于基于子词的模型。然而，目前还不清楚是什么让更深层次的基于角色的模型成功。本文以芬兰语的英译为例，对纯字符模型进行了研究，探讨了芬兰语学习者对词义、词形变化的学习能力以及注意力机制。我们证明，词级信息分布在整个字符序列，而不是在一个单一的字符，字符在不同的位置发挥不同的作用，在学习语言知识。此外，基于字符的模型需要更多的层来编码词义，这解释了为什么只有更深的模型才优于基于子词的模型。注意力分布模式表明，分隔符吸引了大量的注意力，我们探索了一个稀疏的字级注意力，以加强字符隐藏状态，以捕捉完整的字级信息。实验结果表明，单中心词水平的注意导致1.2 BLEU点下降。
2020-11-06 cs.CL
Understanding Subword Compositionality of Large Language Models
University of Copenhagen（哥本哈根大学）；ETH Zurich（苏黎世联邦理工学院）
本文通过聚焦结构相似性、语义可分解性和形式保留性的综合实验，探究大型语言模型的子词组合机制，将五个LLM家族分为三组并揭示其组合策略差异，为理解LLMs的子词信息整合提供关键见解。
2025-08-25 cs.AI cs.CL cs.LG
Phonemes to the Rescue: Multilingual Tokenization Based on International Phonetic Alphabet
University of Amsterdam（阿姆斯特丹大学）；Stanford University（斯坦福大学）
提出使用国际音标（IPA）作为多语言分词的语言无关输入表示，通过更平衡的字节-字符分布和跨语言字符重叠，显著提升分词质量，尤其对非拉丁文字和未见语言更有效。
2026-06-23 cs.CL
Causal Estimation of Tokenisation Bias
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出用断点回归设计将分词偏差作为因果效应进行估计，实验表明子词是否在词表中会显著影响模型输出的字符概率，最高可达17倍，凸显分词是语言建模的关键设计选择。
2025-06-03 cs.AI cs.CL cs.LG
Enriching Word Vectors with Subword Information
Facebook AI Research（Facebook人工智能研究院）
在大型未标记语料库上训练的连续单词表示对于许多自然语言处理任务都很有用。学习这种表示的流行模型通过为每个单词分配不同的向量来忽略单词的形态。这是一个限制，特别是对于词汇量大和有许多罕见单词的语言。在本文中，我们提出了一种新的方法的基础上skipgram模型，其中每个字表示为一袋字符$n$ -gram。矢量表示与每个字符$n$ -语法相关联;单词被表示为这些表示的和。我们的方法是快速的，允许在大型语料库上快速训练模型，并允许我们计算没有出现在训练数据中的单词的单词表示。我们评估我们的词表征九种不同的语言，无论是在词的相似性和类比任务。通过比较最近提出的形态字表示，我们表明，我们的矢量实现这些任务的最先进的性能。
2017-06-19 cs.CL cs.LG
Confusion2vec 2.0: Enriching Ambiguous Spoken Language Representations with Subwords
University of Southern California（南加州大学）
词向量表示使机器能够对人类语言进行编码以用于口语语言理解和处理。Confusion 2 vec是一种词向量表示方法，它从人类的语音产生和感知出发，除了语义和句法信息外，还对人类口语中存在的歧义进行编码。Confusion 2 vec通过考虑固有的人类语言歧义来提供鲁棒的口语表示。在本文中，我们提出了一种新的词向量空间估计的无监督学习的格子输出的自动语音识别（ASR）系统。我们在confusion 2 vec向量空间中通过其组成子字字符n-gram对每个字进行编码。我们表明，子字编码有助于更好地代表人类口语中的声学感知模糊性，通过网格结构的ASR输出建模的信息。使用语义，句法和声学类比和单词相似性任务的有用性进行评估，建议的Confusion 2 vec表示。我们还展示了子词建模的好处，声学歧义表示的任务，口语意图检测。当对错误的ASR输出进行评估时，结果显着优于现有的词向量表示。我们证明了Confusion 2 vec子词建模消除了对ASR成绩单上的自然语言理解模型进行再训练/调整的需要。
2021-02-19 cs.CL cs.SD eess.AS
A Vocabulary-Free Multilingual Neural Tokenizer for End-to-End Task Learning
University of Virginia（弗吉尼亚大学）
子词标记化是最新NLP模型中常用的输入预处理步骤。然而，它限制了模型利用端到端任务学习的能力。它基于频率的词汇表创建妥协了低资源语言中的标记化，导致模型产生次优表示。此外，对固定词汇表的依赖限制了子词模型跨语言和领域的适应性。在这项工作中，我们提出了一个词汇免费的神经分词器，通过提取分割信息，从基于语义的子词分词。我们通过处理多语言语料库中的独特单词来预训练我们的基于字符的分词器，从而广泛增加了语言之间的单词多样性。与subword方法中预定义和固定的词汇表不同，我们的tokenizer允许端到端的任务学习，从而实现最佳的特定于任务的tokenization。实验结果表明，用我们的神经分词器替换子词分词器可以持续提高多语言（NLI）和代码切换（情感分析）任务的性能，在低资源语言中有更大的收益。此外，当存在对抗性噪声（错别字和拼写错误）时，我们的神经分词器在下游任务中表现出稳健的性能，进一步提高了统计子词分词器的初始改进。
2022-04-22 cs.AI cs.CL
Local Byte Fusion for Neural Machine Translation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；ProtagoLabs；Microsoft Research（微软研究院）
针对子词分词在跨语料库及多语言低资源场景下过度分割导致性能下降的问题，提出局部字节融合（LOBEF）方法，利用字节 $n$-gram 和词边界聚合局部语义信息，在多语言翻译等任务上超越传统字节模型甚至子词技术，且参数高效、训练更快。
2023-06-28 cs.AI cs.CL
Fully Character-Level Neural Machine Translation without Explicit Segmentation
ETH Zürich（苏黎世联邦理工学院）；New York University（纽约大学）
大多数现有的机器翻译系统都是在词的层次上运行的，依赖于显式的分词来提取标记。我们介绍了一种神经机器翻译（NMT）模型，该模型将源字符序列映射到目标字符序列，而无需任何分割。我们在编码器处使用具有最大池化的字符级卷积网络来减少源表示的长度，从而使模型能够以与子字级模型相当的速度进行训练，同时捕获局部冗余。我们的字符到字符模型优于最近提出的基线与WMT'15 DE-EN和CS-EN的子字级编码器，并提供了相当的性能上的FI-EN和RU-EN。然后，我们证明，通过在多对一翻译任务上训练模型，可以在多种语言中共享单个字符级编码器。在这种多语言设置中，字符级编码器在所有语言对上的性能都明显优于子字级编码器。我们观察到，在CS-EN、FI-EN和RU-EN上，多语言字符级翻译的质量甚至超过了专门针对该语言对训练的模型，无论是在BLEU分数还是人类判断方面。
2017-06-13 cs.CL cs.LG
Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5 for Machine Translation
University of Groningen（格罗宁根大学）；Center for Language and Cognition（语言与认知中心）
本研究比较字符级ByT5与子词级mT5在神经机器翻译中的表现，发现字符级模型在有限微调数据下更优，能更好翻译相似词和稀有词，但需权衡效率，适合非时间关键场景。
2024-01-26 cs.CL
LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation
L3S Research Center Hannover（汉诺威L3S研究中心）
LGSE通过引入词法信息的子词分割方法，改进低资源语言适应中的词嵌入初始化，通过平均预训练的子词或FastText词法表示，提升表示质量。
2026-03-23 cs.AI cs.CL
Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens
Tel Aviv University（特拉维夫大学）
标准的预训练语言模型对子字标记序列进行操作，而不直接存取组成每个标记的字符串表示的字符。我们探测了预训练的语言模型的嵌入层，并表明模型在令人惊讶的程度上学习了整个单词和子单词标记的内部字符组成，而从未看到与标记相结合的字符。我们的研究结果表明，RoBERTa的嵌入层拥有足够的信息，可以准确拼写多达三分之一的词汇，并在所有标记类型上达到高平均字符ngram重叠。我们进一步测试了用额外的字符信息丰富子词模型是否可以改善语言建模，并观察到这种方法具有与没有基于拼写的丰富训练几乎相同的学习曲线。总的来说，我们的研究结果表明，语言建模目标激励模型隐式地学习一些拼写的概念，而明确地教模型如何拼写似乎并不能提高其在这些任务上的表现。
2022-06-08 cs.AI cs.CL cs.LG
Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西印度大学分校））
由语素重组所引入的歧义为一个词构造了几个可能的屈折变化，使得在形态丰富语言（Morphologically Rich Languages，MRL）中预测句法特征成为一项众所周知的复杂任务。我们提出了多任务深度形态分析器（MT-DMA），这是一种基于印地语和乌尔都语单词级标签标记的多任务学习的字符级神经形态分析器。MT-DMA通过在一个可训练的框架中联合学习所有这些标记来预测印度-雅利安语言单词的一组六个形态标记：词性（POS）、性别（G）、数字（N）、人称（P）、格（C）、时态-体-情态（TAM）标记以及引理（L）。我们通过同时优化多个损失函数和共享用于上下文感知形态分析的初始参数来展示这种深度神经网络的训练的有效性。利用多目标遗传算法为每个标签优化的语音空间中的字符级特征，我们的模型建立了一个新的国家的最先进的准确率得分后，所有七个任务的两种语言。MT-DMA是公开的：代码，模型和数据可在https://github.com/Saurav0074/morph_analyzer上获得。
2019-09-16 cs.CL
