Augmenting Statistical Machine Translation with Subword Translation of Out-of-Vocabulary Words
University of Southern California（南加州大学）；University of Washington（华盛顿大学）
大多数统计机器翻译系统无法翻译在训练数据中看不到的单词。然而，人类可以翻译许多类别的词汇表外（OOV）单词（例如，新的形态变体、拼写错误和复合词）。根据这一观察，我们描述和评估几个一般的方法只使用子字信息的OOV翻译。我们把OOV翻译问题作为一个独立的任务，并在不同的资源水平上对14种类型不同的语言进行本质上的评估。将OOV翻译器添加到统计机器翻译系统中，可以为所有14种语言产生一致的BLEU增益（平均0.5分，最高可达2.0分），特别是在低资源场景中。
2018-08-16 cs.CL
Subword-Delimited Downsampling for Better Character-Level Translation
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）
子词级模型一直是自然语言处理的主导范式。然而，角色级模型的好处是可以单独看到每个角色，为模型提供更详细的信息，最终可以产生更好的模型。最近的研究表明，字符级模型与子字模型具有竞争力，但在时间和计算方面代价高昂。具有下采样组件的高级模型可以缓解这种情况，但代价是质量，特别是对于机器翻译。本文分析了现有下采样方法存在的问题，提出了一种基于子字的下采样方法。这种新的下采样方法不仅优于现有的下采样方法，表明可以在不牺牲质量的情况下对字符进行下采样，而且与用于翻译的子字模型相比，还具有良好的性能。
2022-12-02 cs.CL
BPE-Dropout: Simple and Effective Subword Regularization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；National Research University Higher School of Economics（国家研究型高等经济大学）；University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；Yandex（Yandex公司）
子词切分被广泛用于解决机器翻译中的开放词汇问题。子词切分的主要方法是字节对编码（BPE），它保持最频繁的词完整，同时将罕见的词分割成多个标记。虽然即使使用相同的词汇表也可以进行多个分割，但BPE将单词拆分为唯一的序列;这可能会阻止模型更好地学习单词的组合性并对分割错误保持鲁棒性。到目前为止，克服这种BPE缺陷及其确定性的唯一方法是创建另一种子词切分算法（Kudo，2018）。相比之下，我们表明，BPE本身包含的能力，产生多个分割的同一个字。本文介绍了一种基于并兼容传统BPE的简单有效的子字正则化方法BPE-dropout。它随机地破坏了BPE的分割过程，这导致在同一个固定的BPE框架内产生多个分割。在训练过程中使用BPE-dropout，在推理过程中使用标准BPE，与BPE相比，将翻译质量提高了3 BLEU，与之前的子字正则化相比，提高了0.9 BLEU。
2020-05-01 cs.CL
Neural Machine Translation of Rare Words with Subword Units
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Samsung Electronics Polska sp. z o.o. - Samsung R&D Institute Poland（三星电子波兰有限公司——三星波兰研发中心）
神经机器翻译（NMT）模型通常使用固定的词汇表进行操作，但翻译是一个开放词汇表问题。以前的工作解决了词汇表外的单词的翻译，通过备份到字典。在本文中，我们介绍了一种更简单，更有效的方法，使NMT模型能够开放词汇翻译的编码罕见和未知的单词作为序列的子词单位。这是基于这样的直觉，即各种词类可以通过比单词更小的单位来翻译，例如名称（通过字符复制或音译），复合词（通过组合翻译），同源词和外来词（通过语音和形态转换）。我们讨论了不同的分词技术，包括简单的字符n-gram模型和分割的基础上的字节对编码压缩算法的适用性，并实证表明，子词模型提高了退避字典基线的WMT 15翻译任务英语-德语和英语-俄语的1.1和1.3 BLEU，分别。
2016-06-10 cs.CL
Multitask Learning For Different Subword Segmentations In Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
在神经机器翻译（NMT）中，使用子词和字符作为源和目标单元为罕见和未见过的单词的翻译提供了简单而灵活的解决方案。然而，选择最佳的子词切分涉及表达性和灵活性之间的权衡，并且是语言和词典相关的。我们提出了块多任务学习（BMTL），一种新的NMT架构，可以同时预测不同粒度的多个目标，无需搜索最佳分割策略。与单任务基线模型相比，我们的多任务模型在每个解码器上表现出高达1.7个BLEU点的改进，其中两个语言对IWSLT15和一个来自IWSLT19的数据集具有相同数量的参数。以不同粒度生成的多个假设可以作为后处理步骤进行组合，以提供更好的翻译，这比基线模型的假设组合有所改进，同时使用更少的参数。
2019-10-27 cs.CL
Incorporating Word and Subword Units in Unsupervised Machine Translation Using Language Model Rescoring
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
本文介绍了CAiRE提交的无监督机器翻译轨道的WMT'19新闻共享任务，从德国到捷克。我们利用基于短语的统计机器翻译（PBSMT）模型和预训练的语言模型来组合词级神经机器翻译（NMT）和子词级NMT模型，而不使用任何并行数据。我们提出通过分别针对德语和捷克语训练字节对编码（BPE）嵌入来解决语言的形态丰富性问题，并且使用MUSE（Conneau et al.，2018年）。为了保证译文的流畅性和一致性，提出了一种重评分机制，该机制重用预先训练好的语言模型来选择通过束搜索生成的候选译文。此外，一系列的前处理和后处理方法，以提高最终的翻译质量。
2019-11-18 cs.CL
Neural Machine Translation for Cebuano to Tagalog with Subword Unit Translation
De La Salle University（德拉萨大学）；University of the Immaculate Conception（圣母无原罪大学）
菲律宾是一个由7641个不同岛屿组成的群岛，有150多种不同的语言。这种语言的差异和多样性，虽然可以被视为一个美丽的特点，但也造成了在促进该国不同领域的教育和文化发展方面的困难。一个有效的机器翻译系统专门致力于满足菲律宾语言肯定会有助于弥合这一差距。在这项研究工作中，一个从未应用过的方法，语言翻译到菲律宾语言被用于宿务到塔霍河翻译。使用TensorFlow中的OpenNMT序列建模工具，使用递归神经网络来实现翻译器。使用BLEU Score度量来评估翻译的性能。对于Cebuano到Tagesi的翻译，BLEU给出了20.01分。动词的子词单位翻译和可复制的方法进行了常见的误译词从源到目标被纠正。BLEU评分增加至22.87。虽然这个分数稍高，但仍然表明翻译在某种程度上是可以理解的，但还不被认为是一个好的翻译。
2019-02-10 cs.CL
Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
Zero-shot神经机器翻译是一个有吸引力的目标，因为获取数据和为新的翻译方向构建翻译系统的成本很高。然而，以前的论文报道了混合成功的zero-shot翻译。与完全监督的系统相比，很难预测它在哪些设置中有效，以及什么限制了性能。在本文中，我们研究了zero-shot性能的多语种EN $\leftrightarrow$ {FR，CS，DE，FI}系统上训练的WMT数据。我们发现，zero-shot性能是非常不稳定的，可以通过超过6 BLEU的训练运行之间的变化，使其难以可靠地跟踪改进。我们观察到一个偏向复制源在zero-shot翻译，并探讨如何选择子词切分影响这种偏见。我们发现，特定于语言的子词切分的结果在训练时的子词复制较少，并导致更好的zero-shot性能相比，联合训练的分割。多语言模型中的最近趋势是不在所有语言对之间的并行数据上进行训练，而是具有单个桥接语言，例如英语。我们发现，这会对zero-shot翻译产生负面影响，并导致失败模式，即模型忽略语言标签，而是在zero-shot方向上产生英语输出。我们表明，这种偏向英语可以有效地减少，即使是少量的平行数据，在一些非英语对。
2020-11-03 cs.CL
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是一种新的机器翻译方法，它在多种语言对上的翻译性能优于传统的统计机器翻译（SMT）。翻译是一个开放词汇的问题，但现有的NMT系统大多使用固定词汇，这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度，如字符，子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一，然而，据我们所知，目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外，我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明，在词汇量不大的情况下，子词模型的翻译效果最好，而词字混合模型的翻译效果最好。不同粒度的实验结果表明，Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Utopia Analytics
有几种方法可以改进低资源语言的神经机器翻译：单语数据可以通过预训练或数据增强来利用;相关语言对的并行语料库可以通过参数共享或多语言模型中的迁移学习来使用;子词切分和正则化技术可以用于确保词汇的高覆盖率。我们回顾这些方法的上下文中的不对称资源的一对多翻译任务，其中对目标语言相关，一个是一个非常低的资源和其他较高的资源语言。我们在三个人工限制的翻译任务上测试了各种方法-英语到爱沙尼亚语（低资源）和芬兰语（高资源），英语到斯洛伐克语和捷克语，英语到丹麦语和瑞典语-以及一个真实世界的任务，挪威语到北萨米语和芬兰语。实验表明，特别是对预定的多任务学习，去噪自动编码器和子字采样的积极影响。
2020-12-09 cs.CL
Stolen Subwords: Importance of Vocabularies for Machine Translation Model Stealing
该研究针对机器翻译模型窃取场景，探究词汇表选择的作用及受害模型词汇提取的可行性，发现词汇对本地模型性能影响小，灰盒下可提取词汇，结果对黑盒知识蒸馏有重要意义。
2024-01-29 cs.CL
Neural Machine Translation with Byte-Level Subwords
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
几乎所有现有的机器翻译模型都建立在基于字符的词汇表之上：字符、子词或词。然而，来自嘈杂文本或字符丰富的语言（如日语和中文）的稀有字符可能会不必要地占用词汇表，并限制其紧凑性。在字节级别表示文本并使用256字节集作为词汇表是解决这个问题的一个潜在方案。然而，高计算成本阻碍了它在实践中的广泛部署或使用。在本文中，我们研究了字节级子词，特别是字节级BPE（BBPE），它比字符词汇表更简单，没有词汇表外的标记，但比只使用纯字节更有效。我们声称，将BBPE嵌入上下文化是必要的，这可以通过卷积层或递归层来实现。实验表明，BBPE具有与BPE相当的性能，而其大小仅为BPE的1/8。在多语言环境中，BBPE最大限度地实现了多种语言之间的词汇共享，并实现了更好的翻译质量。此外，我们表明，BBPE能够在具有非重叠字符集的语言之间传输模型。
2019-12-05 cs.CL
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
Google, Inc.（谷歌公司）
本文介绍了SentencePiece，一个独立于语言的子词分词器和去分词器，设计用于基于神经的文本处理，包括神经机器翻译。它为子字单元提供了开源的C++和Python实现。虽然现有的子词切分工具假设输入被预先标记为单词序列，但SentencePiece可以直接从原始句子中训练子词模型，这使我们能够制作一个纯粹的端到端和语言独立的系统。我们在英日机器翻译上进行了NMT的验证实验，发现它可以达到与直接从原始句子中训练子词相当的准确性。我们还比较了各种配置的子词训练和分割的性能。SentencePiece在Apache 2许可证下可用，网址为https://github.com/google/sentencepiece。
2018-08-19 cs.CL
A Call for Prudent Choice of Subword Merge Operations in Neural Machine Translation
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
大多数神经机器翻译系统构建在通过诸如字节对编码（BPE）或字段（wordpiece）的方法提取的子字单元上。然而，合并操作的数量的选择通常通过遵循现有的配方来进行。在本文中，我们对不同数量的BPE合并操作进行了系统的探索，以了解它如何与模型架构，构建词汇表和语言对的策略进行交互。本文的研究可为今后选择合适的BPE结构提供指导。最突出的是：我们表明，对于基于LSTM的体系结构，有必要试验各种不同的BPE操作，因为没有典型的最佳BPE配置，而对于Transformer体系结构，较小的BPE大小往往是典型的最佳选择。我们敦促社区对子字合并操作做出谨慎的选择，因为我们的实验表明，仅次优的BPE配置就可以很容易地将系统性能降低3-4个BLEU点。
2019-06-24 cs.CL
Lattice-Based Transformer Encoder for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
神经机器翻译（NMT）采用确定性序列作为源表示。然而，无论是词级还是子词级分割都有多种选择，可以使用不同的词分割器或不同的子词词汇量来分割源序列。我们假设分割的多样性可能会影响NMT的性能。为了将不同的分割与最先进的NMT模型Transformer相结合，我们提出了基于格的编码器，以在训练过程中自动探索有效的单词或子单词表示。我们提出了两种方法：1）格位置编码和2）格感知的自我注意。这两种方法可以结合使用，相互补充，进一步提高翻译性能。实验结果表明，基于格的编码器在字级和子字级表示上优于传统的Transformer编码器。
2019-06-04 cs.CL
Logographic Subword Model for Neural Machine Translation
McMaster University（麦克马斯特大学）；Queen’s University（女王大学）
提出了一种新的语标子词模型，将语标重新解释为神经机器翻译的抽象子词。我们的方法大大减小了人工神经网络的大小，同时保持了与基线RNN和CNN seq 2seq模型相当的BLEU分数。较小的模型大小也会导致更短的训练和推理时间。实验表明，在英汉/汉英翻译任务中，这些方面的减少可以从$11\%$到高达$77\%$。与以前的子词模型相比，抽象子词可以应用于各种语标语言。考虑到大多数的语标语言是古老的和非常低的资源语言，这些优势是非常可取的考古计算语言学应用，如资源有限的离线手持人口英语翻译。
2018-09-07 cs.CL cs.LG
An Analysis of BPE Vocabulary Trimming in Neural Machine Translation
Tokyo Institute of Technology（东京工业大学）；Fujitsu Limited（富士通公司）；University of Zurich（苏黎世大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文系统检验了神经机器翻译中BPE子词词表裁剪技术，发现该常用做法在广泛超参数设置下不仅未能提升性能，反而容易造成严重退化。
2024-03-30 cs.CL
Extending the Subwording Model of Multilingual Pretrained Models for New Languages
National Institute of Information and Communications Technology（信息通信技术研究所）
多语言预训练模型对于机器翻译和跨语言处理是有效的，因为它们在一个模型中包含多种语言。然而，它们是在它们的标记器固定之后进行预训练的;因此，在预训练之后很难改变词汇。当我们将预训练模型扩展到新语言时，我们必须同时修改标记器。在本文中，我们将新的子词添加到SentencePiece标记器中，以将多语言预训练模型应用于新语言（本文中的Inuktitut）。在我们的实验中，我们将因纽特语句子分割成子词，而不改变已经预训练的语言的分割，并将mBART-50预训练模型应用于英语-因纽特语翻译。
2022-11-29 cs.CL
Enhanced Simultaneous Machine Translation with Word-level Policies
XL8 Inc.（XL8公司）
针对现有同声机器翻译在子词级别操作与实际词级别需求不匹配的问题，提出在单步中处理多个子词的词级策略，并利用该策略结合语言模型有效解决了子词差异，显著提升了模型性能。
2023-10-25 cs.CL
Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
本文介绍了一种新的分词算法--动态规划编码（DPE）。我们认为输出句子的子词切分是一个潜在的变量，应该被边缘化的学习和推理。提出了一种特征-子字混合变换器Transformer，它能实现精确的对数边缘似然估计和精确的MAP推理，以最大后验概率找到目标分割。DPE使用轻量级的混合字符-子字转换器Transformer作为预处理并行数据的方法，以便使用动态规划对输出语句进行分段。机器翻译的实验结果表明，DPE是有效的分割输出的句子，可以结合BPE辍学源句子的随机分割。DPE实现了比BPE平均提高0.9 BLEU（Sennrich等人，2016），BLEU比BPE脱落平均改善0.55（Provilkov等人，2019）在几个WMT数据集上，包括英语<=>（德语，罗马尼亚语，爱沙尼亚语，芬兰语，匈牙利语）。
2020-08-01 cs.CL cs.LG
Comparative analysis of subword tokenization approaches for Indian languages
Indian Institute of Technology (IIT), Varanasi（印度理工学院（IIT），瓦拉纳西）
本文比较了SentencePiece、BPE和WordPiece三种子词分词技术在统计、神经及多语言神经机器翻译模型中对印度语言的效果，发现SentencePiece在多数语言对中BLEU分数最优，而BPE在多语言模型中表现最佳，且印度语到英语的翻译优于反向。
2025-05-22 cs.CL
Character-level Transformer-based Neural Machine Translation
University of Antwerp（安特卫普大学）；Computational Linguistics and Psycholinguistics Research Center（计算语言学与心理语言学研究中心）；Antwerp Centre for Digital Humanities and Literary Criticism（安特卫普数字人文与文学批评中心）
神经机器翻译（NMT）现在通常应用于子字级别，使用字节对编码。一种有前途的替代方法专注于字符级翻译，这大大简化了NMT中的处理管道。然而，这种方法必须考虑相对较长的序列，使得训练过程过于昂贵。在本文中，我们讨论了一种新的，基于变压器的方法，我们比较，无论是在速度和质量的Transformer在子字和字符级别，以及以前开发的字符级模型。我们在WMT'15的4个语言对上评估了我们的模型：DE-EN，CS-EN，FI-EN和RU-EN。该模型可以在单个GPU上训练，比字符级的Transformer快34%，但其结果至少与之相当。此外，该模型在FI-EN中的性能优于子字级模型，在CS-EN中的性能接近。为了促进这一领域的进一步研究并缩小与子字级NMT的差距，我们公开了所有的代码和模型。
2020-05-22 cs.CL
LCP-dropout: Compression-based Multiple Subword Segmentation for Neural Machine Translation
Kyushu Institute of Technology（九州工业大学）
在这项研究中，我们提出了一个简单而有效的预处理方法的基础上数据压缩算法的子词切分。基于压缩的子词切分作为神经机器翻译中训练数据的预处理方法，近年来引起了广泛关注。其中，BPE/BPE-dropout是与传统方法相比最快和最有效的方法之一。然而，基于压缩的方法具有的缺点在于，由于确定性而难以生成多个分割。为了克服这个困难，我们专注于概率字符串算法，称为本地一致性分析（LCP），已被应用到实现最佳压缩。采用LCP的概率机制，我们提出了多个子词切分，提高BPE/BPE-dropout的LCP-dropout，并表明它优于各种基线学习，特别是小训练数据。
2022-03-19 cs.CL cs.LG
How Suitable Are Subword Segmentation Strategies for Translating Non-Concatenative Morphology?
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
数据驱动的子词切分已成为开放词汇机器翻译和其他NLP任务的默认策略，但对于非连接形态的最佳学习可能不够通用。我们设计了一个测试套件，以评估不同类型的形态学现象在一个受控的，半合成的设置分割策略。在我们的实验中，我们比较了在子词和字符级别上训练的机器翻译模型如何翻译这些形态学现象。我们发现，学习分析和生成形态复杂的表面表示仍然是具有挑战性的，特别是对于非连接的形态现象，如重叠或元音和谐和罕见的词干。根据我们的研究结果，我们建议在一系列类型多样的语言上测试新的文本表示策略，以尽量减少采用无意中使某些语言处于不利地位的策略的风险。
2021-09-02 cs.CL
Exploring the Impact of Training Data Distribution and Subword Tokenization on Gender Bias in Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Charles University in Prague（布拉格查理大学）
本研究探究子词分词与训练数据性别形式不平衡对机器翻译性别偏见的影响，发现后者是主因，子词拆分可用于估计语料性别不平衡，且仅微调分词嵌入层就能在不影响翻译质量的情况下缩小性别预测准确率差距。
2023-09-30 cs.AI cs.CL
Optimizing Segmentation Granularity for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在神经机器翻译（NMT）中，使用子词单元进行翻译以允许开放的词汇表并提高对不频繁单词的准确性已经成为标准。字节对编码（BPE）及其变体是生成这些子字的主要方法，因为它们是无监督的、无资源的并且经验上有效。然而，这些子字单元的粒度是一个超参数，需要使用网格搜索等方法针对每种语言和任务进行调整。由于资源限制，调优可能会被无穷尽地完成或完全跳过，从而导致次优性能。在本文中，我们提出了一种方法来自动调整这个参数，只使用一个训练通过。我们根据保留的验证损失在网上逐步引入新的词汇，从较小的一般子词开始，在训练过程中添加较大的更具体的单元。我们的方法匹配网格搜索的结果，优化分割粒度，无需任何额外的训练时间。我们还展示了训练效率和稀有词性能提高的好处，这是由于通过组合来自较小单元的嵌入来增量构建较大单元的嵌入的方式。
2018-10-19 cs.CL
Towards Reasonably-Sized Character-Level Transformer NMT by Finetuning Subword Systems
Center for Information and Speech Processing（信息与语音处理中心）；Ludwig Maximilian University of Munich（慕尼黑大学）
在角色级别上应用Transformer体系结构通常需要非常深的体系结构，这些体系结构很难进行训练，而且速度很慢。这些问题可以通过将分割合并到模型中的标记中来部分克服。我们表明，通过最初训练一个子词模型，然后在字符上对其进行微调，我们可以获得一个神经机器翻译模型，该模型在字符级工作，而不需要标记分割。我们只使用普通的6层Transformer Base架构。我们的字符级模型更好地捕捉形态学现象，并表现出更强的鲁棒性，以牺牲更差的整体翻译质量为代价。我们的研究是朝着高性能和易于训练的基于字符的模型迈出的重要一步，这些模型不是非常大。
2020-09-29 cs.CL
Evaluating Robustness to Input Perturbations for Neural Machine Translation
Amazon AI（亚马逊人工智能）
神经机器翻译（NMT）模型对输入中的小扰动敏感。对这种扰动的鲁棒性通常使用翻译质量度量来测量，例如噪声输入上的BLEU。本文提出了额外的指标，衡量的相对退化和变化时，小的扰动被添加到输入翻译。我们专注于一类采用子字正则化来解决鲁棒性的模型，并使用提出的鲁棒性措施对这些模型进行了广泛的评估。结果表明，我们提出的指标揭示了一个明显的趋势，提高鲁棒性扰动时，使用子字正则化方法。
2020-05-01 cs.CL
Lexically Grounded Subword Segmentation
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出词汇接地的子词切分方法，结合Morfessor预分词、词嵌入代数推导和子词二元模型高效切分，在8种语言的形态合理性与词性标注上取得一致提升。
2024-10-03 cs.CL
Finding Better Subword Segmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
对于不同的语言对，具有固定大小词汇表的词级神经机器翻译（NMT）模型遇到了表示词汇表外（OOV）词的相同问题。通常的做法是用一个词符来代替这些生僻词或陌生词<UNK>，这在一定程度上限制了翻译的效果。最近的大多数工作通过将单词拆分为字符或其他专门提取的子单词单元来处理这样的问题，以实现开放词汇翻译。字节对编码（BPE）是一种成功的尝试，通过为NMT系统提供有效的子词切分而显示出极具竞争力。在本文中，我们将BPE风格分割扩展到一个通用的无监督框架，具有三个统计指标：频率（FRQ），访问者多样性（AV）和描述长度增益（DLG）。我们在两个翻译任务上测试我们的方法：德语到英语和汉语到英语。实验结果表明，AV和DLG增强系统在不同的显着水平上的频率加权方案优于FRQ基线。
2018-07-25 cs.AI cs.CL cs.LG
Revisiting Syllables in Language Modelling and their Application on Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Pontificia Universidad Católica del Perú（秘鲁天主教教皇大学）
语言建模和机器翻译任务大多使用子词或字符输入，但很少使用音节。音节提供比字符更短的序列，需要比语素更少的专门提取规则，并且它们的分割不受语料库大小的影响。在这项研究中，我们首先探讨了21种语言中音节开放词汇语言建模的潜力。我们对六种语言使用基于规则的音节化方法，并使用断字处理其余语言，断字作为音节化代理。与一个可比的困惑，我们表明，音节优于字符和其他子词。此外，我们研究了神经机器翻译音节的重要性，为非相关和低资源的语言对（西班牙语-Shipibo-Konibo）。在成对和多语言系统中，当翻译成具有透明正字法的高度合成语言（Shipibo-Konibo）时，音节优于无监督子词和进一步的形态分割方法。最后，我们进行了一些人的评价，并讨论了限制和机会。
2022-10-05 cs.CL
On the Importance of Word Boundaries in Character-level Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Google AI（谷歌人工智能）；Amazon AI（亚马逊人工智能）；University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）模型通常使用固定大小的词汇表来执行翻译，这是其泛化能力和整体翻译质量的重要瓶颈。克服这种限制的标准方法是将单词分割成子单词单元，通常使用具有任意语法的一些外部工具，导致词汇单元不适合翻译任务。最近的研究表明，同样的方法可以扩展到直接在字符级别执行NMT，这可以提供与基于子词的模型相当的翻译准确性，另一方面，这需要相对更深的网络。在本文中，我们提出了一个计算效率更高的解决方案，字符级NMT实现了一个分层解码架构，翻译随后在单词和字符的水平上产生。我们评估了不同的方法，开放词汇NMT的机器翻译任务，从英语到五种不同的语言形态学，并表明，分层解码模型可以达到更高的翻译精度比子词级NMT模型使用显着更少的参数，同时表现出更好的能力，在学习更长距离的上下文和语法的依赖关系比标准的字符级NMT模型。
2019-10-21 cs.CL
Subword Mapping and Anchoring across Languages
HEIG-VD（沃州应用科学与艺术大学）；EPFL School of Engineering（洛桑联邦理工学院工程学院）
最先进的多语言系统依赖于充分覆盖所有考虑的语言的共享词汇表。为此，一种简单而常用的方法是使用在几种语言中联合构建的子词词汇表。我们假设，这样的词汇是次优的，由于误报（相同的子词不同的含义在不同的语言）和误报（不同的子词具有相似的含义）。为了解决这些问题，我们提出了子词映射和跨语言（SMALA），一种方法来构建双语子词词汇。SMALA使用无监督的最先进的映射技术提取子词对齐，并使用它们基于子词相似性创建跨语言锚点。我们证明了SMALA的跨语言自然语言推理（XNLI）的好处，它提高了zero-shot传输到一个看不见的语言没有特定的任务数据，但只有通过共享子字嵌入。此外，在神经机器翻译中，我们表明，与SMALA获得的联合子词词汇导致更高的BLEU分数的句子，包含许多假阳性和假阴性。
2021-09-09 cs.CL
On Target Segmentation for Direct Speech Translation
AppTek GmbH（AppTek 有限公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
最近对直接语音翻译的研究表明，通过数据增强技术和更大的深度学习模型，直接语音翻译不断得到改进。虽然这些方法有助于缩小这种新方法和更传统的级联方法之间的差距，但不同的研究之间存在许多不一致之处，因此难以评估最先进的技术水平。最早提出的多级分割是为了获得一个开放的词汇表，但它会导致长序列和长训练时间。然后，子词级分割成为神经机器翻译的最新技术，因为它产生更短的序列，减少了训练时间，同时优于词级模型。因此，最近的语音翻译工作开始使用目标子词，尽管最初使用的字符和一些最近声称在字符级别的更好的结果。在这项工作中，我们进行了广泛的比较，这两种方法在三个基准涵盖8个语言方向和多语言培训。子词级分割在所有设置中都比较有利，在1到3个BLEU点的范围内优于字符级分割。
2020-09-10 cs.CL
Why don't people use character-level machine translation?
Faculty of Mathematics and Physics, Charles Univeristy（查理大学数学与物理学院）；Center for Information and Speech Processing, LMU Munich（慕尼黑大学信息与语音处理中心）
我们提出了一个文献和实证调查，批判性地评估了机器翻译（MT）的字符级建模的艺术状态。尽管文献中有证据表明字符级系统与子字系统相当，但它们实际上从未在WMT比赛中用于竞争性设置。我们的经验表明，即使最近在字符级自然语言处理的建模创新，字符级MT系统仍然难以匹配他们的子字为基础的同行。尽管经常被激励，但更高级别的MT系统既没有表现出更好的域鲁棒性，也没有表现出更好的形态学泛化。然而，我们能够显示出对源侧噪声的鲁棒性，并且在解码时，翻译质量不会随着波束大小的增加而降低。
2022-04-27 cs.CL
Character-level NMT and language similarity
Charles University（查理大学）
本文研究字符级Transformer神经机器翻译在不同语言相似度与数据规模下的表现，发现相似语言间字符级切分更优，而远距离语言中子词级更佳，并验证通过子词级模型微调可缩小字符级模型的性能差距。
2023-08-08 cs.CL
An Evaluation of Neural Machine Translation Models on Historical Spelling Normalization
Uppsala University（乌普萨拉大学）
在本文中，我们将不同的NMT模型的历史拼写规范化的问题，五种语言：英语，德语，匈牙利语，冰岛语和瑞典语。NMT模型处于不同的层次，具有不同的注意力机制和不同的神经网络结构。我们的研究结果表明，NMT模型是远远优于SMT模型的字符出错率。香草RNN在历史拼写规范化方面与GRU/LSTM竞争。只有当提供更多的训练数据时，Transformer模型才能表现得更好。我们还发现，对于低资源语言，具有小的子词词汇的子词级模型比字符级模型更好。此外，我们提出了一种混合方法，进一步提高了历史拼写规范化的性能。
2018-08-04 cs.CL
SubCharacter Chinese-English Neural Machine Translation with Wubi encoding
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（环球语音通信技术有限公司）
神经机器翻译是理解两种语言之间语义规则差异的最佳方法之一。特别是对于印欧语言，子词级模型已经取得了令人印象深刻的结果。然而，当翻译任务涉及到中文时，语义粒度仍然停留在词和字的层次上，因此仍然需要更细粒度的中文翻译模型。本文介绍了一种简单有效的子字级汉语翻译方法。我们的方法使用五笔字型的方法将中文翻译成英文，然后应用字节对编码（BPE）。我们的方法用于汉英翻译，消除了在预处理过程中复杂的分词算法的需要。此外，我们的方法允许基于递归神经网络（RNN）架构的子字符级神经翻译，而无需预处理。实验结果表明，对于汉英翻译任务，我们的子字符级模型具有可比的BLEU得分的子词模型，尽管有一个小得多的词汇。此外，小词汇量对于NMT模型压缩是非常有利的。
2019-11-07 cs.CL
Assessing the Importance of Frequency versus Compositionality for Subword-based Tokenization in NMT
HEIG-VD / HES-SO（瑞士西部应用科学与艺术大学伊韦尔东工程与管理学院）；EPFL（洛桑联邦理工学院）；Armasuisse W+T（瑞士联邦国防采购局科技部门）
本文提出基于 Huffman 编码的分词方法以分离频率与组合性影响，实验表明在 NMT 中子词分词的优势主要来自频率，组合性贡献较小。
2024-01-12 cs.CL
Local Byte Fusion for Neural Machine Translation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；ProtagoLabs；Microsoft Research（微软研究院）
针对子词分词在跨语料库及多语言低资源场景下过度分割导致性能下降的问题，提出局部字节融合（LOBEF）方法，利用字节 $n$-gram 和词边界聚合局部语义信息，在多语言翻译等任务上超越传统字节模型甚至子词技术，且参数高效、训练更快。
2023-06-28 cs.AI cs.CL
Robust Open-Vocabulary Translation from Visual Text Representations
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
机器翻译模型具有离散的词汇表，并且通常使用子词切分技术来实现“开放词汇表”。“这种方法依赖于一致且正确的底层unicode序列，并使模型容易受到常见类型的噪音和变化的影响。出于人类语言处理的鲁棒性，我们提出了使用视觉文本表示，它免除了一组有限的文本嵌入有利于连续的词汇表通过处理视觉呈现的文本与滑动窗口。我们表明，使用视觉文本表示的模型在小型和大型数据集上接近或匹配传统文本模型的性能。更重要的是，具有视觉嵌入的模型对各种类型的噪声表现出显著的鲁棒性，例如，25.9 BLEU在字符排列的德语-英语任务中，子词模型降级为1.9。
2021-12-09 cs.CL
Deterministic Reversible Data Augmentation for Neural Machine Translation
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
针对增强数据语义不一致问题，本文提出DRDA，利用确定性分词、可逆操作和多视图学习生成多粒度子词表示，在无需额外语料或改模的情况下显著提升翻译性能与鲁棒性。
2025-02-20 cs.CL
Tomato, Tomahto, Tomate: Do Multilingual Language Models Understand Based on Subword-Level Semantic Concepts?
University of Waterloo（滑铁卢大学）；Google DeepMind（谷歌DeepMind）
本研究探究多语言语言模型（mLMs）是否基于子词级语义概念理解文本，通过合并语义相似子词形成语义标记并评估，发现共享语义可提升模型预测性能，零样本结果更优，为跨语言迁移提供锚点。
2025-11-19 cs.CL
Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5 for Machine Translation
University of Groningen（格罗宁根大学）；Center for Language and Cognition（语言与认知中心）
本研究比较字符级ByT5与子词级mT5在神经机器翻译中的表现，发现字符级模型在有限微调数据下更优，能更好翻译相似词和稀有词，但需权衡效率，适合非时间关键场景。
2024-01-26 cs.CL
Morphological and Language-Agnostic Word Segmentation for NMT
Charles University（查理大学）
在神经机器翻译（NMT）中处理丰富形态学的最新技术是将单词形式分解为子单词单元，以便这些单元的总体词汇量符合NMT模型和GPU内存容量给出的实际限制。在本文中，我们比较了两种常见的但在语言上不知情的子词构造方法（BPE和STE，在Tensor2Tensor工具包中实现的方法）和两种语言动机的方法：Morfessor和一种基于派生词典的新方法。我们的实验与德语到捷克语的翻译，都形态丰富，文件，到目前为止，非动机的方法表现得更好。此外，我们确定了BPE和STE之间的关键区别，并为BPE显示了一个简单的预处理步骤，该步骤可以显著提高翻译质量，并通过自动测量进行评估。
2018-06-14 cs.CL
Neural Machine Translation without Embeddings
The Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
许多NLP模型都是在由手工标记化规则和启发式子词归纳算法产生的子词标记序列上操作的。一个简单的通用替代方案是通过UTF-8将每个计算机化的文本表示为字节序列，避免了对嵌入层的需要，因为令牌类型（256）比维度少。令人惊讶的是，用每个字节的独热表示替换无处不在的嵌入层并没有损害性能;从英语到10种不同语言的字节到字节机器翻译实验显示BLEU的一致改进，与字符级甚至标准子字级模型相媲美。更深入的研究表明，无嵌入模型与解码器输入丢弃的组合相当于令牌丢弃，这特别有利于字节到字节模型。
2021-04-12 cs.CL cs.LG stat.ML
The boundaries of meaning: a case study in neural machine translation
University of Georgia（佐治亚大学）
深度学习在自然语言处理中的成功提出了关于语言意义的本质以及自然和人工系统处理语言意义的方式的有趣问题。其中一个问题与自2016年以来广泛用于语言建模，机器翻译和其他任务的子词分割算法有关。这些算法通常将单词切割成语义不透明的片段，例如“period”、“on”、“t”和“ist”中的“period |on| t|是的。然后，系统在稠密向量空间中表示所得到的片段，期望对它们之间的语法关系进行建模。该表示又可以用于映射周期|on| t| ist'（English）to 'par |od| ont| iste'（法文）。因此，翻译不再是在词汇水平上建模，而是更普遍地被重新表述为学习两种语言的子词片段序列之间的最佳双语映射的任务;有时甚至是纯字符序列之间的映射：|t“$\rightarrow$”p |a| r |o| d |o| n |t| i |s| t| e '。这样的子词分割和对齐在高效的端到端机器翻译系统中起作用，尽管它们据称是不透明的。这些过程的计算价值是毋庸置疑的。但是，它们是否具有语言或哲学上的兼容性呢？我试图通过回顾子词分割算法的相关细节，并将它们与重要的哲学和语言学辩论联系起来，本着使人工智能更加透明和可解释的精神，来阐明这个问题。
2022-10-02 cs.AI cs.CL
Fully Character-Level Neural Machine Translation without Explicit Segmentation
ETH Zürich（苏黎世联邦理工学院）；New York University（纽约大学）
大多数现有的机器翻译系统都是在词的层次上运行的，依赖于显式的分词来提取标记。我们介绍了一种神经机器翻译（NMT）模型，该模型将源字符序列映射到目标字符序列，而无需任何分割。我们在编码器处使用具有最大池化的字符级卷积网络来减少源表示的长度，从而使模型能够以与子字级模型相当的速度进行训练，同时捕获局部冗余。我们的字符到字符模型优于最近提出的基线与WMT'15 DE-EN和CS-EN的子字级编码器，并提供了相当的性能上的FI-EN和RU-EN。然后，我们证明，通过在多对一翻译任务上训练模型，可以在多种语言中共享单个字符级编码器。在这种多语言设置中，字符级编码器在所有语言对上的性能都明显优于子字级编码器。我们观察到，在CS-EN、FI-EN和RU-EN上，多语言字符级翻译的质量甚至超过了专门针对该语言对训练的模型，无论是在BLEU分数还是人类判断方面。
2017-06-13 cs.CL cs.LG
Understanding Pure Character-Based Neural Machine Translation: The Case of Translating Finnish into English
Uppsala University（乌普萨拉大学）；University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
最近的研究表明，更深层的基于字符的神经机器翻译（NMT）模型可以优于基于子词的模型。然而，目前还不清楚是什么让更深层次的基于角色的模型成功。本文以芬兰语的英译为例，对纯字符模型进行了研究，探讨了芬兰语学习者对词义、词形变化的学习能力以及注意力机制。我们证明，词级信息分布在整个字符序列，而不是在一个单一的字符，字符在不同的位置发挥不同的作用，在学习语言知识。此外，基于字符的模型需要更多的层来编码词义，这解释了为什么只有更深的模型才优于基于子词的模型。注意力分布模式表明，分隔符吸引了大量的注意力，我们探索了一个稀疏的字级注意力，以加强字符隐藏状态，以捕捉完整的字级信息。实验结果表明，单中心词水平的注意导致1.2 BLEU点下降。
2020-11-06 cs.CL
Integrating Multi-scale Contextualized Information for Byte-based Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
针对基于字节的神经机器翻译存在的信息密度低、已有方法无法动态适配上下文范围的问题，提出多尺度上下文建模方法，通过不同隐状态维度学习多尺度上下文并动态融合，在多语言和域外场景下效果显著优于现有方法。
2024-08-11 cs.CL
MaxMatch-Dropout: Subword Regularization for WordPiece
Fujitsu Limited（富士通有限公司）；Tokyo Institute of Technology（东京工业大学）
我们提出了一个子词正则化方法的WordPiece，它使用最大匹配算法的标记。所提出的方法，MaxMatch-Dropout，使用最大匹配算法在搜索中随机丢弃单词。它通过子词正则化实现了对流行的预训练语言模型（如BERT-base）的微调。实验结果表明，MaxMatch-Dropout算法在文本分类和机器翻译任务以及其他子词正则化方法中均取得了较好的效果。此外，我们提供了子词正则化方法的比较分析：使用SentencePiece（Unigram），BPE-Dropout和MaxMatch-Dropout的子词正则化。
2022-09-09 cs.CL
A Character-Level Decoder without Explicit Segmentation for Neural Machine Translation
Université de Montréal（蒙特利尔大学）；New York University（纽约大学）
现有的机器翻译系统，无论是基于短语的还是神经的，几乎完全依赖于具有显式分割的词级建模。在本文中，我们提出了一个基本问题：神经机器翻译可以生成一个字符序列，而无需任何显式分割？为了回答这个问题，我们使用WMT'15的并行语料库评估了基于注意力的编码器-解码器，该编码器-解码器具有子字级编码器和字符级解码器，用于四种语言对-En-Cs，En-De，En-Ru和En-Fi。我们的实验表明，在所有四种语言对上，具有字符级解码器的模型都优于具有子词级解码器的模型。此外，具有字符级解码器的神经模型的集合在En-Cs、En-De和En-Fi上的性能优于最先进的非神经机器翻译系统，并且在En-Ru上进行了翻译。
2016-06-21 cs.CL cs.LG
Sicilian Translator: A Recipe for Low-Resource NMT
Arba Sicula（阿尔巴·西库拉）
Arba Sicula利用17，000对西西里语-英语翻译句子，开发了第一个西西里语神经机器翻译器。使用小的子词词汇表，我们训练了具有高dropout参数的小Transformer模型，并在20多岁时获得了BLEU分数。然后，我们用反向翻译和多语言翻译补充了我们的数据集，并将我们的分数推到了30多岁。我们还将我们的成功归功于将理论信息纳入我们的数据集中。在训练之前，我们将子词词汇偏向于教科书中的定义。我们在数据集中加入了教科书练习。
2021-10-05 cs.CL
Enhancing Neural Machine Translation with Semantic Units
Key Laboratory of Intelligent Information Processing（智能信息处理重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出SU4MT方法，通过词对编码识别语义单元边界，并用注意力语义融合层整合子词表示，以增强神经机器翻译，实验证明其优于强基线。
2023-10-17 cs.CL
