Vocabulary Selection Strategies for Neural Machine Translation
École polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）
经典的翻译模型通过基于输入句子选择翻译规则的子集来限制可能的输出空间。最近关于提高神经翻译模型效率的工作采用了类似的策略，将输出词汇限制为给定源的可能候选者的子集。在本文中，我们实验与上下文和嵌入为基础的选择方法和扩展以前的工作，更详细地检查速度和准确性的权衡。我们表明，在相同或仅可忽略不计的准确性变化的情况下，在WMT 15英语-德语和WMT 16英语-罗马尼亚语任务上，CPU上的解码时间可以减少高达90%，训练时间减少25%。这使得使用最先进的神经翻译系统在单个CPU核心上对英语-德语进行解码的时间超过每句140毫秒。
2016-10-01 cs.CL
Noisy UGC Translation at the Character Level: Revisiting Open-Vocabulary Capabilities and Robustness of Char-Based Models
CNRS（法国国家科学研究中心）；LISN（计算机科学实验室）；Université Paris-Saclay（巴黎萨克雷大学）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Université de Paris（巴黎大学）；LLF（形式语言学实验室）
这项工作探讨了基于字符的神经机器翻译翻译嘈杂的用户生成内容（UGC）的能力，重点是探索这种方法在处理富有成效的UGC现象方面的局限性，根据定义，这种现象在训练时几乎看不到。在严格的zero-shot场景中，我们首先研究了我们开发的小型注释数据集上各种用户生成内容现象对翻译性能的不利影响，然后表明这种模型确实无法处理未知字母，一旦遇到此类字符，就会导致灾难性的翻译失败。我们通过一个简单但有见地的复制任务实验进一步证实了这一行为，并强调了减少词汇量超参数以提高机器翻译基于字符模型的鲁棒性的重要性。
2021-10-24 cs.CL
Neural Machine Translation Model with a Large Vocabulary Selected by Branching Entropy
University of Tsukuba（筑波大学）；Japan Patent Information Organization（日本专利信息机构）
神经机器翻译（NMT）是机器翻译的一种新方法，与统计机器翻译（SMT）等传统方法相比，取得了令人满意的结果。尽管NMT最近取得了成功，但它不能处理更大的词汇量，因为训练复杂度和解码复杂度随着目标单词的数量成比例地增加。在翻译专利文件时，这个问题变得更加严重，因为专利文件中包含许多不经常看到的技术术语。在本文中，我们提出了选择短语，包含词汇表外的话，使用统计方法的分支熵。这使得所提出的NMT系统可以应用于任何语言对的翻译任务，而无需任何关于技术术语识别的语言特定知识。然后，在训练期间用令牌替换所选择的短语，并由SMT的短语翻译表进行翻译后。对日汉、汉日、日英和英日专利句子翻译的评价证明了分支熵选择短语的有效性，其中所提出的NMT模型比没有我们提出的技术的基线NMT模型实现了实质性的改进。此外，在没有我们提出的技术的情况下，基线NMT模型的欠翻译的翻译错误的数量减少到所提出的NMT模型的一半左右。
2017-09-06 cs.CL
An Analysis of BPE Vocabulary Trimming in Neural Machine Translation
Tokyo Institute of Technology（东京工业大学）；Fujitsu Limited（富士通公司）；University of Zurich（苏黎世大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文系统检验了神经机器翻译中BPE子词词表裁剪技术，发现该常用做法在广泛超参数设置下不仅未能提升性能，反而容易造成严重退化。
2024-03-30 cs.CL
Translation of Patent Sentences with a Large Vocabulary of Technical Terms Using Neural Machine Translation
University of Tsukuba（筑波大学）；Japan Patent Information Organization（日本专利信息组织）
神经机器翻译（NMT）是机器翻译的一种新方法，与统计机器翻译（SMT）等传统方法相比，取得了令人满意的结果。尽管NMT最近取得了成功，但它无法处理更大的词汇表，因为训练复杂度和解码复杂度随着目标单词的数量成比例地增加。在翻译专利文件时，这个问题变得更加严重，因为专利文件中包含许多不经常看到的技术术语。在NMT中，词汇表之外的单词由单个未知标记表示。在本文中，我们提出了一种方法，使NMT翻译专利句子包括大量的技术术语词汇。我们在双语数据上训练NMT系统，其中技术术语被替换为技术术语标记;这允许它翻译除技术术语之外的大多数源句子。此外，我们使用它作为一个解码器来翻译源句子与技术术语的令牌，并使用SMT技术术语翻译替换令牌。我们还使用它来对1,000个最好的SMT翻译进行重新排名，基于SMT得分的平均值和NMT对具有技术术语标记的翻译句子的重新评分的平均值。我们的实验表明，提出的NMT系统实现了高达3.1 BLEU点和2.3 RIBES点比传统的SMT系统和改进约0.6 BLEU点和0.8 RIBES点比没有我们提出的技术的等效NMT系统的实质性改善。
2017-04-14 cs.CL
Linguistically Motivated Vocabulary Reduction for Neural Machine Translation from Turkish to English
label1；label2
在最先进的神经机器翻译（NMT）系统中，使用固定大小的词汇表以控制模型复杂度的必要性是性能的重要瓶颈，特别是对于形态丰富的语言。旨在通过使用子词或字符级表示来克服这个问题的传统方法仅仅依赖于统计数据，而忽略了词的语言特性，这导致词结构的中断并导致语义和句法损失。在本文中，我们提出了一种新的词汇减少方法NMT，它可以减少在任何速度的给定输入语料库的词汇，同时还考虑到语言的形态属性。我们的方法基于无监督形态学学习，原则上可以用于预处理任何语言对。我们还提出了一种替代的分词方法的基础上监督形态分析，这有助于我们衡量我们的模型的准确性。我们评估我们的方法在土耳其语到英语的NMT任务，输入语言是形态丰富和粘着。我们分析了不同的表示方法的翻译准确性，以及所生成的输出的语义和句法属性。我们的方法比传统的词汇缩减技术获得了2.3 BLEU点的显着改进，表明它可以在形态丰富的语言的开放词汇翻译中提供更好的准确性。
2017-07-31 cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo（东京大学）；Institute of Industrial Science（产业科学研究所）；National Institute of Informatics（国立信息学研究所）
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此，从业者从资源丰富的领域中采用领域自适应，这些领域在大多数情况下远离目标领域。远域之间的领域自适应（例如，电影字幕和研究论文），然而，由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词（例如，“angstrom”）和其含义跨域变化的单词（例如，“导体”）。在这项研究中，为了解决神经机器翻译（NMT）领域自适应中的词汇不匹配问题，我们提出了词汇自适应，这是一种有效微调的简单方法，可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前，我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明，我们的方法提高了3.86和3.28 BLEU点的传统微调的性能，在En-Ja和De-En翻译，分别。
2020-10-31 cs.CL
A Latent Morphology Model for Open-Vocabulary Neural Machine Translation
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）；University of Zürich（苏黎世大学）；University of Amsterdam（阿姆斯特丹大学）
翻译成形态丰富的语言挑战神经机器翻译（NMT）模型与极其稀疏的词汇表，原子处理的表面形式是不现实的。这个问题通常通过将单词预处理成子字单元或直接在字符级别执行翻译来解决。前者基于使用语料库级统计优化的分词算法，而不考虑翻译任务。后者直接从翻译数据中学习，但需要相当深入的架构。在本文中，我们提出了一个层次隐变量模型，模仿形态变化的过程中，通过建模的构词来翻译的话。我们的模型生成的单词一个字符的时间组成两个潜在的表示：一个连续的，旨在捕捉词汇语义，和一组（近似）离散的功能，旨在捕捉形态句法功能，这是不同的表面形式之间共享。与传统的开放词汇NMT方法相比，我们的模型在翻译成三种形态丰富的语言方面实现了更好的准确性，同时在中低资源设置下也表现出更好的泛化能力。
2020-02-26 cs.CL
Transfer Learning in Multilingual Neural Machine Translation with Dynamic Vocabulary
FBK（布鲁诺·凯斯勒基金会）
我们提出了一种通过共享的动态词汇在神经机器翻译（NMT）模型之间传递知识的方法。我们的方法允许扩展给定语言对的初始模型，以通过调整其词汇表来覆盖新语言，只要新数据可用（即，如果新的词汇表项未被包括在初始模型中，则引入新的词汇表项）。参数传递机制在两种情况下进行评估：i）使经训练的单语言NMT系统适应于与新的语言对一起工作，以及ii）不断添加新的语言对以成长为多语言NMT系统。在这两种情况下，我们的目标都是提高翻译性能，同时最大限度地减少训练收敛时间。初步实验跨越具有不同训练数据大小的五种语言（即，5k和50k并行句子）在不同的语言方向上显示出从+3.85到+13.63 BLEU的显着性能增益。此外，与从头开始训练NMT模型相比，我们的迁移学习方法使我们能够在训练总训练步骤的4%后达到更高的性能。
2018-11-03 cs.CL
Stolen Subwords: Importance of Vocabularies for Machine Translation Model Stealing
该研究针对机器翻译模型窃取场景，探究词汇表选择的作用及受害模型词汇提取的可行性，发现词汇对本地模型性能影响小，灰盒下可提取词汇，结果对黑盒知识蒸馏有重要意义。
2024-01-29 cs.CL
Feature-based Decipherment for Large Vocabulary Machine Translation
University of Rochester（罗切斯特大学）
跨语言的正字法相似性为概率破译提供了强有力的信号，特别是对于密切相关的语言对。现有的解码模型，但是，不太适合利用这些正字法的相似性。我们提出了一个对数线性模型的潜变量，采用正交相似性功能。对于所提出的对数线性模型，最大似然训练在计算上昂贵。为了解决这一挑战，我们通过MCMC采样和对比发散进行近似推理。我们的研究结果表明，提出的对数线性模型与对比发散规模大的词汇，并通过利用正字法功能优于现有的生成式解密模型。
2015-08-10 cs.CL
Neural Machine Translation by Generating Multiple Linguistic Factors
LIUM, Le Mans University（勒芒大学LIUM实验室）
因子神经机器翻译（FNMT）是基于在神经网络的输出端使用词（因子）的形态和语法分解的思想。这种架构解决了两个众所周知的问题发生在MT，即目标语言词汇的大小和翻译中产生的未知令牌的数量。FNMT系统旨在管理更大的词汇量并减少训练时间（对于具有等效目标语言词汇量的系统）。此外，我们可以产生语法正确的单词，而不是词汇的一部分。FNMT模型在IWEST15英语到法语任务上进行了评估，并与基于单词的基线NMT系统和基于BPE的NMT系统进行了比较。有前途的定性和定量结果（在BLEU和METEOR方面）的报告。
2017-12-05 cs.CL
Factored Neural Machine Translation
LIUM, University of Le Mans（勒芒大学计算机科学实验室）
本文提出了一种新的神经机器翻译方法，该方法在神经网络的输出端使用词（因子）的形态和语法分解。该架构解决了机器翻译中出现的两个主要问题，即处理大的目标语言词汇和词汇外（OOV）单词。通过因子，我们能够处理更大的词汇量，减少训练时间（对于具有等效目标语言词汇量的系统）。此外，我们还可以产生词汇表中没有的新词。我们使用形态分析器来获得每个单词的因子表示（词元，词性标签，时态，人称，性别和数字）。我们扩展了NMT方法与注意力机制，以便有两个不同的输出，一个为引理和其他的因素。最终的翻译是使用某些\textit{a priori}语言信息构建的。我们比较我们的扩展与基于词的NMT系统。在从英语翻译成法语的IWIT15数据集上进行的实验表明，虽然性能并不总是提高，但系统可以管理更大的词汇量并持续降低OOV率。我们观察到高达2%的BLEU点的改进，在一个模拟的域外翻译设置。
2016-09-15 cs.CL
BiVert: Bidirectional Vocabulary Evaluation using Relations for Machine Translation
Ben Gurion University（本·古里安大学）
针对传统机器翻译评估对语义重视不足的问题，提出基于BabelNet的双向语义评估方法BiVert，通过计算源文本与回译文的语义距离实现同语言层面对比，与人工评估相关性强，且无需平行语料即可排名MT系统。
2024-03-06 cs.CL
Neural Machine Translation of Rare Words with Subword Units
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Samsung Electronics Polska sp. z o.o. - Samsung R&D Institute Poland（三星电子波兰有限公司——三星波兰研发中心）
神经机器翻译（NMT）模型通常使用固定的词汇表进行操作，但翻译是一个开放词汇表问题。以前的工作解决了词汇表外的单词的翻译，通过备份到字典。在本文中，我们介绍了一种更简单，更有效的方法，使NMT模型能够开放词汇翻译的编码罕见和未知的单词作为序列的子词单位。这是基于这样的直觉，即各种词类可以通过比单词更小的单位来翻译，例如名称（通过字符复制或音译），复合词（通过组合翻译），同源词和外来词（通过语音和形态转换）。我们讨论了不同的分词技术，包括简单的字符n-gram模型和分割的基础上的字节对编码压缩算法的适用性，并实证表明，子词模型提高了退避字典基线的WMT 15翻译任务英语-德语和英语-俄语的1.1和1.3 BLEU，分别。
2016-06-10 cs.CL
How Effective is Byte Pair Encoding for Out-Of-Vocabulary Words in Neural Machine Translation?
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
神经机器翻译（NMT）是一个开放的词汇表问题。因此，处理在训练过程中没有出现的单词（也就是说，词汇表外（OOV）单词）长期以来一直是NMT系统的基本挑战。解决这个问题的主要方法是字节对编码（BPE），它将字（包括OOV字）分成子字段。BPE在自动评估指标方面为广泛的翻译任务取得了令人印象深刻的结果。虽然人们通常认为通过使用BPE，NMT系统能够处理OOV词，但BPE在翻译OOV词中的有效性尚未明确测量。在本文中，我们研究在何种程度上BPE是成功的翻译OOV词在词的水平。我们分析了基于词的类型，段的数量，交叉注意力的权重，和频率段n-gram的训练数据的翻译质量的OOV字。我们的实验表明，虽然仔细的BPE设置在跨数据集翻译OOV单词时似乎相当有用，但相当大比例的OOV单词被错误翻译。此外，我们强调了BPE在特殊情况下翻译OOV单词时的有效性略高，例如命名实体以及所涉及的语言在语言上彼此接近时。
2022-08-17 cs.CL
Neural Machine Translation with Byte-Level Subwords
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
几乎所有现有的机器翻译模型都建立在基于字符的词汇表之上：字符、子词或词。然而，来自嘈杂文本或字符丰富的语言（如日语和中文）的稀有字符可能会不必要地占用词汇表，并限制其紧凑性。在字节级别表示文本并使用256字节集作为词汇表是解决这个问题的一个潜在方案。然而，高计算成本阻碍了它在实践中的广泛部署或使用。在本文中，我们研究了字节级子词，特别是字节级BPE（BBPE），它比字符词汇表更简单，没有词汇表外的标记，但比只使用纯字节更有效。我们声称，将BBPE嵌入上下文化是必要的，这可以通过卷积层或递归层来实现。实验表明，BBPE具有与BPE相当的性能，而其大小仅为BPE的1/8。在多语言环境中，BBPE最大限度地实现了多种语言之间的词汇共享，并实现了更好的翻译质量。此外，我们表明，BBPE能够在具有非重叠字符集的语言之间传输模型。
2019-12-05 cs.CL
Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出将词汇与句法学习解耦、冻结跨语言词嵌入的多语言NMT方法，实现完全未见语言零样本翻译，并在无监督翻译中接近监督性能。
2024-08-05 cs.CL
Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study
本文针对多语言神经机器翻译的高内存消耗问题，提出语料驱动词汇剪枝结合定向微调的框架，在英语-阿拉伯语对实验中实现60%内存节省且性能无损失，优化模型表现优于专用双语基线。
2026-08-05 cs.CL
Korean-to-Chinese Machine Translation using Chinese Character as Pivot Clue
Shanghai Jiao Tong University（上海交通大学）
韩汉是一对低资源语言对，但韩国语和汉语在词汇方面有很多共同之处。可以转换成相应汉字的汉韩词语占整个韩国语词汇的50多个。出于这一动机，我们提出了一个简单的语言动机的解决方案，以提高朝鲜语到汉语的神经机器翻译模型的性能，通过使用他们的共同词汇。我们以汉字为翻译支点，将韩语句子中的中朝词转换为汉字，然后以转换后的韩语句子为源句对机器翻译模型进行训练。对韩语到汉语的翻译实验结果表明，与基线模型相比，使用该方法的模型将翻译质量提高了1.5个BLEU点。
2019-11-25 cs.CL
Japanese Predicate Conjugation for Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）的缺点是由于输出层中softmax函数的计算成本，只能生成高频词。在日英NMT中，日语谓语动词变位导致词汇量的增加。例如，一个动词可以有多达19个表面变体。在本研究中，我们着重于压缩日语词汇量的谓词变位。词汇表上有各种形式的动词。我们提出了使用谓词共轭信息而不丢弃语言信息的方法。提出的方法可以产生低频词和处理未登录词。考虑了两种方法来引入共轭信息：第一种将其视为令牌（共轭令牌），第二种将其视为嵌入向量（共轭特征）。实验结果表明，NMT模型可以将词汇量压缩约86.1%（Tanaka语料库），并且可以输出训练数据集中没有的词汇。此外，BLEU分数在日语到英语翻译中提高了0.91分，在ASPEC的英语到日语翻译中提高了0.32分。
2018-05-25 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇表外（Out-of-Vocabulary，OOV）是神经机器翻译（NMT）的一个难题。OOV指的是在训练数据中出现率低的单词，或者指的是在训练数据中不存在的单词。为了减轻这种情况，已经使用了基于单词或短语的数据增强（DA）技术。然而，现有的DA技术只解决了这些OOV类型之一，并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术，考虑这两种类型的OOV，通过增加（1）在现有的平行语料库中的罕见的话，和（2）从双语词典的新词。在增强过程中，我们考虑了词的句法和语义属性，以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到，只有语义约束的DA，结果是可比的分数考虑到句法约束，并有利于低资源的语言，缺乏语言工具的支持。此外，通过考虑句法和语义约束，可以进一步改善结果。
2022-05-18 cs.CL
Focus on the Target's Vocabulary: Masked Label Smoothing for Machine Translation
Peking University（北京大学）
标签平滑和词汇共享是神经机器翻译模型中广泛使用的两种技术。然而，我们认为，简单地应用这两种技术可能是冲突的，甚至导致次优性能。在分配平滑概率时，原始标签平滑会将源端词中不可能出现在目标语言中的词与目标语言中的词等同对待，这会使翻译模型产生偏差。为了解决这个问题，我们提出了屏蔽标签平滑（MLS），一个新的机制，掩盖了软标签的源端字的概率为零。简单而有效，MLS设法更好地集成标签平滑与词汇共享。我们广泛的实验表明，MLS在不同的数据集上，包括双语和多语种翻译，无论是翻译质量还是模型的校准，都比原始标签平滑得到了持续的改进。我们的代码发布于https://github.com/PKUnlp-icler/MLS
2022-03-11 cs.AI cs.CL
Finding the Optimal Vocabulary Size for Neural Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们将神经机器翻译（NMT）作为自回归环境中的分类任务，并分析了分类和自回归组件的局限性。众所周知，分类器在训练期间具有平衡的类分布时表现更好。由于语言的Zipfian性质导致不平衡的类，我们探讨它对NMT的影响。我们分析了不同词汇量对NMT性能的影响，并揭示了为什么某些词汇量比其他词汇量更好的解释。
2020-10-05 cs.CL cs.LG stat.ML
Self-Vocabularizing Training for Neural Machine Translation
Virginia Tech（弗吉尼亚理工大学）；Meta
本文针对神经机器翻译提出自词汇化训练方法，通过迭代自训练动态选择更小且更优的词汇表，最高提升 1.49 BLEU，并发现更深模型架构能增加独特 token 使用并减少 6-8% 词汇表大小。
2025-04-01 cs.CL cs.LG
Training Neural Machine Translation using Word Embedding-based Loss
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在神经机器翻译（NMT）中，输出层的计算成本随着目标端词汇的大小而增加。使用有限的词汇量可能会导致翻译质量的显著下降。这种折衷是从基于softmax的损失函数导出的，该函数独立地处理字典中的单词，其中不考虑单词相似性。在本文中，我们提出了一种新的NMT损失函数，包括在词嵌入空间中的距离形式的词相似性。所提出的损失函数鼓励NMT解码器生成接近其在嵌入空间中的参考的词;这有助于解码器在实际最佳候选者由于其大小限制而不包括在词汇表中时选择类似的可接受的词。在使用ASPEC日语到英语和IWSLT 17英语到法语数据集的实验中，所提出的方法在两个数据集中都显示出对标准NMT基线的改进;特别是使用IWSLT 17 En-Fr，它在BLEU中达到了+1.72，在METEOR中达到了+1.99。当目标端词汇量非常有限，只有1,000个单词时，所提出的方法在METEOR中表现出了显著的增益，+1.72。
2018-07-30 cs.CL
Attention-based Vocabulary Selection for NMT Decoding
IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）
神经机器翻译（NMT）模型通常使用大的目标词汇量来捕获目标语言中的大部分单词。在解码新句子时，词汇量是一个很大的因素，因为最终的softmax层会对所有可能的目标词进行归一化。为了解决这个问题，广泛使用基于源句子的候选列表来限制目标词汇。通常，候选列表是外部单词到单词对齐器、短语表条目或最频繁单词的组合。在这项工作中，我们提出了一种简单而新颖的方法，在NMT训练期间直接从注意力层学习候选列表。候选列表针对当前NMT模型进行了高度优化，并且不需要对候选池进行任何外部计算。与使用整个词汇表相比，我们显示出显着的解码速度加快，并且不会损失两种语言对的任何翻译质量。
2017-06-12 cs.CL
A Systematic Analysis of Vocabulary and BPE Settings for Optimal Fine-tuning of NMT: A Case Study of In-domain Translation
Tilburg University（蒂尔堡大学）
神经机器翻译（NMT）模型的有效性在很大程度上取决于训练时使用的词汇;小词汇可能导致词汇外问题-大词汇可能导致记忆问题。子字（SW）标记化已成功用于缓解这些问题。词汇表和SW标记化的选择对NMT模型的训练和微调都有重大影响。微调是针对新数据优化MT模型的常见做法。然而，新数据可能会引入新的单词（或标记），如果不考虑这些单词，可能会导致性能不佳。此外，新数据中令牌的分布可以与原始数据的分布不同。因此，原始SW标记化模型可能不太适合新数据。通过系统的实证评估，在这项工作中，我们比较了不同的策略，SW标记和词汇生成的最终目标，以发现一个最佳的设置微调特定领域的模型。此外，我们开发了几个（域内）模型，其中最好的模型比基线提高了6个BLEU点。
2023-03-01 cs.AI cs.CL
Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation
Xinjiang Technical Institute of Physics & Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经机器翻译在机器翻译任务中取得了令人瞩目的成绩。然而，考虑到效率，仅包含前N个最高频率词的有限大小的词汇表用于模型训练，这导致许多稀有和未知词。对于那些词法复杂、词汇量大、资源贫乏、词法丰富的黏着语，翻译起来相当困难。在本文中，我们提出了一个形态分词方法的源端NMT，结合形态学知识，以保持在词结构的语言和语义信息，同时减少在训练时的词汇量。它可以作为一个预处理工具，在其他自然语言处理（NLP）任务的粘合语言的词分割。实验结果表明，本文提出的基于形态动机的分词方法更适用于NMT模型，在降低数据稀疏性和语言复杂度的同时，显著改善了土英和维汉机器翻译任务。
2020-01-02 cs.CL
Edinburgh Neural Machine Translation Systems for WMT 16
University of Edinburgh（爱丁堡大学）
我们通过为四种语言对构建神经翻译系统参与了WMT 2016共享新闻翻译任务，每种语言对都在两个方向上训练：英语<->捷克语，英语<->德语，英语<->罗马尼亚语和英语<->俄语。我们的系统是基于一个注意编码器-解码器，使用BPE子词切分的开放词汇翻译与固定的词汇。我们尝试使用自动回译的单语新闻语料库作为额外的训练数据，普遍辍学，和目标双向模型。所有报告的方法都有很大的改进，我们看到4.3- 11.2 BLEU的改进超过了我们的基线系统。在人工评估中，我们的系统是我们参与的8个翻译方向中的7个（并列）最佳约束系统。
2016-06-27 cs.CL
On the Importance of Word Boundaries in Character-level Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Google AI（谷歌人工智能）；Amazon AI（亚马逊人工智能）；University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）模型通常使用固定大小的词汇表来执行翻译，这是其泛化能力和整体翻译质量的重要瓶颈。克服这种限制的标准方法是将单词分割成子单词单元，通常使用具有任意语法的一些外部工具，导致词汇单元不适合翻译任务。最近的研究表明，同样的方法可以扩展到直接在字符级别执行NMT，这可以提供与基于子词的模型相当的翻译准确性，另一方面，这需要相对更深的网络。在本文中，我们提出了一个计算效率更高的解决方案，字符级NMT实现了一个分层解码架构，翻译随后在单词和字符的水平上产生。我们评估了不同的方法，开放词汇NMT的机器翻译任务，从英语到五种不同的语言形态学，并表明，分层解码模型可以达到更高的翻译精度比子词级NMT模型使用显着更少的参数，同时表现出更好的能力，在学习更长距离的上下文和语法的依赖关系比标准的字符级NMT模型。
2019-10-21 cs.CL
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是一种新的机器翻译方法，它在多种语言对上的翻译性能优于传统的统计机器翻译（SMT）。翻译是一个开放词汇的问题，但现有的NMT系统大多使用固定词汇，这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度，如字符，子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一，然而，据我们所知，目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外，我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明，在词汇量不大的情况下，子词模型的翻译效果最好，而词字混合模型的翻译效果最好。不同粒度的实验结果表明，Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
The Devil is in the Details: On the Pitfalls of Vocabulary Selection in Neural Machine Translation
Amazon AI Translate（亚马逊AI翻译）
词汇选择或词汇短列表是一种众所周知的技术，用于通过在推理期间约束允许的输出单词的集合来改善神经机器翻译模型的延迟。所选择的集合通常由单独训练的对齐模型参数确定，独立于推理时的源句子上下文。虽然词汇选择在以前的工作中相对于自动质量指标似乎具有竞争力，但我们表明，它可能无法选择正确的输出单词集，特别是对于语义非成分语言现象，如惯用表达，导致人类感知的翻译质量降低。通过增加允许集的大小来权衡延迟和质量，在现实世界的场景中通常不是一个选择。我们提出了一个模型的词汇选择，集成到神经翻译模型，预测一组允许的输出单词从上下文编码器表示。这恢复了无约束系统的翻译质量，如通过对WMT newstest 2020和惯用表达的人工评估所测量的，其推理延迟与使用积极阈值的基于推理的选择竞争，从而消除了对单独训练的对齐模型的依赖性。
2022-05-13 cs.AI cs.CL cs.LG
Improving Character-based Decoding Using Target-Side Morphological Information for Neural Machine Translation
ADAPT Centre（ADAPT研究中心）；School of Computing（计算学院）；Dublin City University（都柏林城市大学）
最近，神经机器翻译（NMT）已经成为传统统计方法的一个强大的替代方案。然而，它的性能大大下降，在形态丰富的语言（MRL）的存在。神经引擎通常无法解决MRL的大词汇量和高词汇外（OOV）单词率。因此，不适合利用现有的基于单词的模型来翻译这组语言。在本文中，我们提出了对Chung et al.（2016）的最先进模型的扩展，该模型在字符级别工作，并通过目标侧形态信息增强解码器。在我们的架构中，一个额外的形态表插入到模型中。每次解码器从目标词汇采样时，该表从最相关的词缀发送辅助信号，以丰富解码器的当前状态并约束它以提供更好的预测。我们评估了我们的模型，将英语翻译成德语，俄语和土耳其语作为三个MRL，并观察到显着的改进。
2018-04-17 cs.CL
Central Yup'ik and Machine Translation of Low-Resource Polysynthetic Languages
Stanford University（斯坦福大学）；Salesforce Research（Salesforce 研究院）
Yup'ik语言的机器翻译工具还不存在，Yup'ik语言是一种主要居住在阿拉斯加西南部的大约8,000人使用的综合语言。我们编制了一个Yup'ik和英语的平行文本语料库，并开发了一个基于语法规则的Yup'ik词法分析器。我们训练了一个seq 2seq神经机器翻译模型，将Yup'ik输入翻译成英语。然后，我们比较了不同的标记化方法，即基于规则的，无监督的（字节对编码），和无监督的形态（Morfessor）解析，对Yup'ik到英语翻译的BLEU分数准确性的影响。我们发现，使用标记化的输入增加了翻译的准确性相比，未解析的输入。虽然整体Morfessor做得最好的词汇量为30 k，我们的第一个实验表明，BPE表现最好的词汇量减少。
2020-09-09 cs.CL
Improved English to Russian Translation by Neural Suffix Prediction
Soochow University（苏州大学）；Alibaba Group（阿里巴巴集团）；Singapore University of Technology and Design（新加坡科技设计大学）
神经机器翻译（NMT）在处理形态丰富的语言时经常发生，当有限的词汇表不能充分覆盖源语言或目标语言时，会出现性能缺陷。为了解决这个问题，以前的工作集中在调整翻译粒度或扩大词汇量。然而，在NMT架构中，形态信息被相对地考虑不足，这可以进一步提高翻译质量。我们提出了一种新的方法，它不仅可以减少数据稀疏性，但通过一个简单而有效的机制，形态模型。通过在解码过程中分别预测词干和后缀，我们的系统实现了高达1.98 BLEU的改进，与以前的工作相比，英语到俄语的翻译。我们的方法是正交的不同NMT架构，并稳定地获得各种领域的改进。
2018-01-11 cs.CL
Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation
University of Notre Dame（圣母大学）
我们提出了一种简单的方法，使用来自相关的低资源语言对的并行数据来改进低资源语言对的神经翻译。该方法基于Zoph等人的转移方法，但是他们的方法忽略了任何源词汇的重叠，我们的方法利用了这一点。首先，我们使用字节对编码（BPE）来分割单词，以增加词汇的重叠。然后，我们在第一语言对上训练一个模型，并将其参数（包括其源词嵌入）转移到另一个模型，并继续在第二语言对上训练。我们的实验表明，迁移学习对基于单词的翻译只有轻微的帮助，但当在更强的BPE基线上使用时，它会产生高达4.3 BLEU的更大改进。
2017-09-21 cs.CL
Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU
Microsoft（微软）
多语言神经机器翻译使用Transformer模型已经取得了巨大的成功。部署这些模型具有挑战性，因为它们通常需要各种语言的大词汇量。这限制了预测最后一个词汇投影层中的输出标记的速度。为了缓解这些挑战，本文提出了一种快速的词汇投影方法，通过聚类，可用于多语言Transformers器上的GPU。首先，我们离线分割词汇搜索空间到不相交的集群给定的隐藏上下文向量的解码器输出，这导致在更小的词汇列的词汇投影。第二，在推理时，该方法预测的聚类和候选活动令牌的隐藏上下文向量的词汇投影。本文还分析了在多语言环境中构建这些集群的不同方法。我们的结果显示，float16 GPU推理的端到端速度提升高达25%，同时保持BLEU分数并略微增加内存成本。所提出的方法将词汇投影步骤本身的速度提高了2.6倍。我们还进行了广泛的人工评估，以验证所提出的方法保留了原始模型的翻译质量。
2022-08-14 cs.CL cs.LG
Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models
Stanford University（斯坦福大学）
几乎所有以前关于神经机器翻译（NMT）的工作都使用了非常有限的词汇表，也许还有一种后续的方法来修补未知的单词。本文提出了一种新的词-字解决方案，以实现开放的词汇NMT。我们构建了混合系统，主要在单词级别进行翻译，并为罕见单词咨询字符组件。我们的字符级递归神经网络计算源单词表示，并在需要时恢复未知的目标单词。这种混合方法的双重优势是，它比基于字符的方法更快、更容易进行训练;同时，它永远不会像基于单词的模型那样产生未知单词。在WMT'15英语到捷克语的翻译任务中，这种混合方法比已经处理未知单词的模型提供了+2.1-11.4 BLEU点的额外提升。我们最好的系统达到了20.7 BLEU分数的最新结果。我们证明，我们的字符模型可以成功地学习，不仅生成格式良好的单词捷克语，一个高度曲折的语言，一个非常复杂的词汇，但也建立正确的表示英语源单词。
2016-06-23 cs.CL cs.LG
Extending the Vocabulary of Fictional Languages using Neural Networks
Tel Aviv University（特拉维夫大学）
近年来，小说、电影、电视节目、漫画和电子游戏中出现的虚构语言越来越受欢迎。虽然这些虚构的语言中有一些有完整的词汇表，但大多数都没有。我们提出了一个深度学习的解决方案。使用风格转换和机器翻译工具，我们为给定的目标小说语言生成新词，同时保持其创作者的风格，从而扩展该语言词汇。
2022-01-18 cs.CL
How Much Does Tokenization Affect Neural Machine Translation?
Universitat Politècnica de València（瓦伦西亚理工大学）；Pangeanic / B.I Europa
标记化或分割是一个广泛的概念，它涵盖了简单的过程，如将标点符号从单词中分离出来，或更复杂的过程，如应用形态学知识。神经机器翻译（NMT）需要有限大小的词汇表来计算成本，并需要足够的示例来估计词嵌入。将标点符号分离并将标记拆分为单词或子单词已被证明有助于减少词汇量并增加每个单词的示例数量，从而提高翻译质量。当处理单词之间没有分隔符的语言时，标记化更具挑战性。为了评估标记化对NMT最终翻译质量的影响，我们对十种语言对的五个标记化器进行了实验。我们得出的结论是，分词显着影响最终的翻译质量，最好的分词器不同的语言对。
2019-06-11 cs.CL
Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
Google Inc.（谷歌公司）
子词单元是解决神经机器翻译中开放词汇问题的有效方法。虽然句子通常被转换成唯一的子词序列，但子词切分可能是模糊的，并且即使使用相同的词汇表也可能进行多个切分。在本文中解决的问题是，是否有可能利用分割模糊作为噪声，以提高NMT的鲁棒性。我们提出了一种简单的正则化方法，即子词正则化，它使用在训练期间概率采样的多个子词切分来训练模型。此外，为了更好地子词采样，我们提出了一种新的子词切分算法的基础上一元语言模型。我们实验多个语料库和报告一致的改进，特别是在低资源和域外设置。
2018-04-29 cs.CL
On Romanization for Model Transfer Between Scripts in Neural Machine Translation
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
迁移学习是提高低资源机器翻译质量的一种流行策略。为了实现嵌入层的最佳传输，子模型和父模型应该共享大量的词汇表。当传输到具有不同脚本的语言时，情况并非如此。我们探讨了罗马化在这种情况下的好处。我们的研究结果表明，罗马化会造成信息损失，因此并不总是优于简单的词汇迁移方法，但可以提高不同脚本的相关语言之间的迁移。我们比较了两种罗马化工具，发现它们表现出不同程度的信息损失，这影响了翻译质量。最后，我们扩展到目标方的罗马化，这可以是一个成功的策略时，再加上一个简单的去罗马化模型。
2020-09-30 cs.CL
Integrating Multi-scale Contextualized Information for Byte-based Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
针对基于字节的神经机器翻译存在的信息密度低、已有方法无法动态适配上下文范围的问题，提出多尺度上下文建模方法，通过不同隐状态维度学习多尺度上下文并动态融合，在多语言和域外场景下效果显著优于现有方法。
2024-08-11 cs.CL
Modeling Target-Side Inflection in Neural Machine Translation
LMU Munich（慕尼黑大学）；Memsource；University of Stuttgart（斯图加特大学）
NMT系统存在词汇量大的问题。字节对编码（BPE）是解决这个问题的流行方法，但是尽管BPE允许系统生成任何目标端单词，但是它不能在具有强屈折现象的形态丰富的语言中的丰富词汇上实现有效的泛化。我们引入一种简单的方法来克服这个问题，通过训练系统来产生一个词的词元及其形态丰富的POS标签，然后进行确定性生成步骤。我们将此策略应用于英语-捷克语和英语-德语翻译场景，在这两种设置中都得到了改进。此外，我们表明，改善是不是由于只添加明确的形态信息。
2017-09-05 cs.CL
SubCharacter Chinese-English Neural Machine Translation with Wubi encoding
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（环球语音通信技术有限公司）
神经机器翻译是理解两种语言之间语义规则差异的最佳方法之一。特别是对于印欧语言，子词级模型已经取得了令人印象深刻的结果。然而，当翻译任务涉及到中文时，语义粒度仍然停留在词和字的层次上，因此仍然需要更细粒度的中文翻译模型。本文介绍了一种简单有效的子字级汉语翻译方法。我们的方法使用五笔字型的方法将中文翻译成英文，然后应用字节对编码（BPE）。我们的方法用于汉英翻译，消除了在预处理过程中复杂的分词算法的需要。此外，我们的方法允许基于递归神经网络（RNN）架构的子字符级神经翻译，而无需预处理。实验结果表明，对于汉英翻译任务，我们的子字符级模型具有可比的BLEU得分的子词模型，尽管有一个小得多的词汇。此外，小词汇量对于NMT模型压缩是非常有利的。
2019-11-07 cs.CL
Neural Machine Translation with Word Predictions
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
在神经机器翻译（NMT）的编码器-解码器结构中，编码器和解码器中递归结构的隐藏状态携带着句子的关键信息，这些向量由翻译错误随时间的反向传播更新的参数生成。我们认为，传播错误通过端到端的经常性结构是不是一个直接的方式来控制隐藏的向量。在本文中，我们建议使用单词预测作为直接监督的机制。更具体地说，我们要求这些向量能够预测目标句子中的词汇。我们的简单机制确保了编码器和解码器中更好的表示，而无需使用任何额外的数据或注释。这也有助于减少目标端词汇量，提高解码效率。在汉英和德英机器翻译任务上的实验表明，BLEU分别提高了4.53和1.3
2017-08-05 cs.CL
Effective Cross-lingual Transfer of Neural Machine Translation Models without Shared Vocabularies
RWTH Aachen University（亚琛工业大学）
迁移学习或多语言模型是低资源神经机器翻译（NMT）的必要条件，但其适用性仅限于同源语言，共享其词汇。本文展示了将预训练的NMT模型转移到没有共享词汇的新的无关语言的有效技术。我们通过使用跨语言词嵌入来缓解词汇不匹配，通过注入人工噪声来训练与语言无关的编码器，并且从预训练数据容易地生成合成数据而无需反向翻译。我们的方法不需要重组词汇或重新训练模型。在五个低资源翻译任务中，我们将普通NMT传输提高了5.1% BLEU，大大优于多语言联合训练。我们还提供了关于预训练嵌入、合成数据、词汇量和参数冻结的广泛消融研究，以更好地理解NMT转移。
2019-06-05 cs.CL cs.LG
Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
Language Technology Lab（语言技术实验室）；University of Amsterdam（阿姆斯特丹大学）
针对多语言 NMT 中共享词汇因文字差异导致迁移受限的问题，提出基于词汇等价类和图网络融合跨语言词嵌入的方法，在高、低资源场景下最高提升 BLEU 2.3 分且开销很小。
2024-01-20 cs.CL cs.LG
Overcoming Vocabulary Constraints with Pixel-level Fallback
University of Copenhagen（哥本哈根大学）；Apple（苹果公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出一种无词汇表编码器，通过将文本渲染为像素生成输入嵌入来增强预训练语言模型，显著提升了机器翻译和跨语言迁移性能，无需大量重训即可增强多语能力并降低解码延迟。
2025-08-10 cs.CL
Accelerated Reinforcement Learning for Sentence Generation by Vocabulary Prediction
Salesforce Research（Salesforce研究院）；The University of Tokyo（东京大学）
基于强化学习的句子生成的一个主要障碍是动作空间太大，其大小等于目标语言的词汇量。为了提高强化学习的效率，提出了一种基于动态词汇预测的动作空间缩减方法。我们的方法首先为每个输入预测一个固定大小的小词汇表，以生成其目标句子。然后在监督和强化学习步骤以及测试时使用输入特定词汇表。在我们对六个机器翻译和两个图像描述数据集的实验中，我们的方法实现了更快的强化学习（$\sim$快2.7倍），GPU内存（$\sim$少2.3倍）比全词汇对应。使用我们的方法的强化学习始终导致BLEU分数的显着改善，并且分数等于或优于使用完整词汇表的基线，在CPU上具有更快的解码时间（$\sim$快3倍）。
2019-04-04 cs.CL
Finding Better Subword Segmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
对于不同的语言对，具有固定大小词汇表的词级神经机器翻译（NMT）模型遇到了表示词汇表外（OOV）词的相同问题。通常的做法是用一个词符来代替这些生僻词或陌生词<UNK>，这在一定程度上限制了翻译的效果。最近的大多数工作通过将单词拆分为字符或其他专门提取的子单词单元来处理这样的问题，以实现开放词汇翻译。字节对编码（BPE）是一种成功的尝试，通过为NMT系统提供有效的子词切分而显示出极具竞争力。在本文中，我们将BPE风格分割扩展到一个通用的无监督框架，具有三个统计指标：频率（FRQ），访问者多样性（AV）和描述长度增益（DLG）。我们在两个翻译任务上测试我们的方法：德语到英语和汉语到英语。实验结果表明，AV和DLG增强系统在不同的显着水平上的频率加权方案优于FRQ基线。
2018-07-25 cs.AI cs.CL cs.LG
A Universal Parent Model for Low-Resource Neural Machine Translation Transfer
USC Information Sciences Institute（南加州大学信息科学研究所）
从高资源语言对“父”的迁移学习已被证明是提高低资源语言对“子”的神经机器翻译质量的有效方法。然而，以前的方法为它们希望训练的每个子语言对构建定制父模型或至少更新现有父模型的词汇表，以努力对齐父词汇表和子词汇表。这不是一个实际的解决办法。将新语言对的大部分训练时间用于优化不相关数据集的参数是浪费的。此外，这种开销降低了神经机器翻译在人道主义援助场景中部署的实用性，其中部署新语言对的额外时间可能意味着生与死的区别。在这项工作中，我们提出了一个“通用”的预先训练的神经母模型与恒定的词汇，可以作为一个起点，几乎任何新的低资源的语言训练到一个固定的目标语言。我们证明，我们的方法，它利用正字法统一和广泛覆盖的方法来子字识别，以及推广到几种语言，从各种家庭，和翻译系统建立与我们的方法可以更快地建立比竞争的方法，以及更好的质量。
2019-09-20 cs.CL
Coverage Embedding Models for Neural Machine Translation
T.J. Watson Research Center（托马斯·J·沃森研究中心）；IBM（IBM公司）
在本文中，我们通过添加显式覆盖嵌入模型来增强基于注意力的神经机器翻译（NMT），以减轻NMT中的重复和丢弃翻译的问题。对于每个源词，我们的模型从一个完整的覆盖嵌入向量开始跟踪覆盖状态，然后随着翻译的进行，用神经网络不断更新它。在大规模汉英翻译任务上的实验表明，与强大的大词汇量NMT系统相比，我们的改进模型在各种测试集上的翻译质量都有显著提高。
2016-08-29 cs.CL
