Improving Neural Machine Translation through Phrase-based Forced Decoding
National Institute of Information and Communications Technology（国立信息通信技术研究所）；Graduate School of Information Science, Nara Institute of Science and Technology（奈良先端科学技术大学院大学信息科学研究科）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
与传统的统计机器翻译（SMT）相比，神经机器翻译（NMT）往往为了流畅性而牺牲充分性。我们提出了一种方法，结合传统的SMT和NMT的优点，利用现有的基于短语的SMT模型来计算基于短语的解码成本的NMT输出，然后使用此成本重新排名的n-最好的NMT输出。实现这种方法的主要挑战是NMT输出可能不在标准的基于短语的解码算法的搜索空间中，因为基于短语的SMT的搜索空间受到基于短语的翻译规则表的限制。我们提出了一个软强制译码算法，它总是可以成功地找到任何NMT输出的解码路径。我们表明，使用强制解码成本重新排名的NMT输出可以成功地提高翻译质量的四个不同的语言对。
2017-11-01 cs.CL
Neural System Combination for Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是机器翻译的一种新方法，与统计机器翻译（SMT）相比，其翻译结果更加流畅。然而，SMT在翻译充分性方面通常优于NMT。因此，结合NMT和SMT的优点是一个很有前途的方向。在本文中，我们提出了一个利用多源NMT的神经系统组合框架，该框架将NMT和SMT系统的输出作为输入，并产生最终的翻译。对中英翻译任务的广泛实验表明，我们的模型比最佳单个系统输出显着提高了5.3个BLEU点，比最先进的传统系统组合方法提高了3.4个BLEU点。
2017-04-21 cs.CL
Domain Robustness in Neural Machine Translation
University of Zurich（苏黎世大学）
翻译偏离训练域的文本是机器翻译的一个关键挑战。域鲁棒性-模型对未知测试域的推广-对于统计（SMT）和神经机器翻译（NMT）都很低。在本文中，我们研究了SMT和NMT模型在域外测试集上的性能。我们发现，在未知的领域，SMT和NMT遭受非常不同的问题：SMT系统大多是足够的，但不流畅，而NMT系统大多是流畅的，但不充分。对于NMT，我们将这种幻觉（流畅但与源无关的翻译）确定为域鲁棒性低的关键原因。为了缓解这个问题，我们经验比较的方法，据报道，以提高充分性或在域的鲁棒性方面的有效性，提高域的鲁棒性。在德语到英语OPUS数据的实验中，以及德语到罗曼什语（低资源设置）的实验中，我们发现有几种方法可以提高域鲁棒性。虽然这些方法确实会导致更高的BLEU分数，但与SMT相比，它们只能略微提高翻译的充分性。
2020-09-24 cs.CL
A Survey of Word Reordering in Statistical Machine Translation: Computational Models and Language Phenomena
University of Amsterdam（阿姆斯特丹大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
词的重排是统计机器翻译（SMT）的难点之一，也是影响其翻译质量和效率的重要因素。尽管迄今为止发表了大量的研究，但社区对这个问题的兴趣并没有减少，而且没有一种方法在语言对中占主导地位。相反，对于一个新的翻译任务的最佳方法的选择似乎仍然主要是由经验试验驱动的。为了使读者在这个广阔而复杂的研究领域中定位，我们提出了一个全面的调查单词重排视为一个统计建模的挑战，并作为一个自然语言现象。该调查详细描述了如何在不同的基于字符串和基于树的SMT框架中建模单词重排序，并将其作为一项独立任务，包括对高级重排序建模文献的系统概述。然后，我们质疑为什么有些方法在不同的语言对中比其他方法更成功。我们认为，除了测量重新排序的数量，重要的是要了解哪些类型的重新排序发生在一个给定的语言对。为此，我们进行了定性分析的单词重排现象在不同的语言对样本，大量收集的语言学知识的基础上。SMT文献中的实证结果表明，支持的假设，一些语言事实可以是非常有用的，以预期的语言对的重新排序的特点，并选择最适合他们的SMT框架。
2016-03-14 cs.CL
Unsupervised Neural Machine Translation with SMT as Posterior Regularization
Beihang University（北京航空航天大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Beijing Advanced Innovation Center for Big Data and Brain Computing（大数据与脑计算北京高等创新中心）
无监督神经机器翻译（NMT）在没有真实双语语料的情况下，通常需要使用反向翻译方法生成的伪并行数据进行模型训练。然而，由于监管不力，伪数据不可避免地包含噪声和错误，这些噪声和错误会在后续的训练过程中积累和强化，导致翻译性能不佳。为了解决这个问题，我们引入了基于短语的统计机器翻译（SMT）模型，这些模型对噪声数据具有鲁棒性，作为后验正则化来指导迭代回译过程中无监督NMT模型的训练。我们的方法从SMT模型开始，SMT模型是用预训练的语言模型和从跨语言嵌入推断的单词级翻译表构建的。然后，SMT和NMT模型联合优化，并在统一的EM框架中相互增强。这样一来，（1）SMT可以及时滤除短语表中的噪声，从而减轻迭代回译过程中的错误所带来的负面影响;（2）NMT可以弥补SMT在流畅性方面的不足。在英-法-译和英-德翻译任务上进行的实验表明，我们的方法优于强基线，并实现了新的最先进的无监督机器翻译性能。
2019-01-14 cs.CL
Translation of Patent Sentences with a Large Vocabulary of Technical Terms Using Neural Machine Translation
University of Tsukuba（筑波大学）；Japan Patent Information Organization（日本专利信息组织）
神经机器翻译（NMT）是机器翻译的一种新方法，与统计机器翻译（SMT）等传统方法相比，取得了令人满意的结果。尽管NMT最近取得了成功，但它无法处理更大的词汇表，因为训练复杂度和解码复杂度随着目标单词的数量成比例地增加。在翻译专利文件时，这个问题变得更加严重，因为专利文件中包含许多不经常看到的技术术语。在NMT中，词汇表之外的单词由单个未知标记表示。在本文中，我们提出了一种方法，使NMT翻译专利句子包括大量的技术术语词汇。我们在双语数据上训练NMT系统，其中技术术语被替换为技术术语标记;这允许它翻译除技术术语之外的大多数源句子。此外，我们使用它作为一个解码器来翻译源句子与技术术语的令牌，并使用SMT技术术语翻译替换令牌。我们还使用它来对1,000个最好的SMT翻译进行重新排名，基于SMT得分的平均值和NMT对具有技术术语标记的翻译句子的重新评分的平均值。我们的实验表明，提出的NMT系统实现了高达3.1 BLEU点和2.3 RIBES点比传统的SMT系统和改进约0.6 BLEU点和0.8 RIBES点比没有我们提出的技术的等效NMT系统的实质性改善。
2017-04-14 cs.CL
Explicit Reordering for Neural Machine Translation
National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
在基于transformer的神经机器翻译（NMT）中，位置编码机制帮助自注意网络学习具有顺序依赖性的源表示，使得基于transformer的NMT在各种翻译任务中都能获得最佳的结果。然而，基于变换器的NMT仅将位置的表示顺序地添加到输入句子中的词向量，并且没有显式地考虑该句子中的重排序信息。本文首先实证研究了源语重排信息与翻译效果之间的关系。实验结果表明，从双语并行数据集学习的目标顺序的源输入可以大大提高翻译性能。因此，我们提出了一种新的重排序方法来明确地为基于变换器的NMT建模这种重排序信息。在WMT 14英-德、WAT ASPEC日-英和WMT 17中-英翻译任务上的实验结果表明了该方法的有效性。
2020-04-08 cs.CL cs.LG
The AMU-UEDIN Submission to the WMT16 News Translation Task: Attention-based NMT Models as Feature Functions in Phrase-based SMT
Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；University of Edinburgh（爱丁堡大学）
本文介绍了AMU-UEDIN提交给WMT 2016新闻翻译共享任务的内容。我们探索基于注意力的神经翻译模型与基于短语的统计机器翻译的解码时间整合方法。提出并实现了GPU查询的高效批处理算法。对于英语-俄语，我们的系统在BLEU方面落后于最先进的纯神经模型。在受限系统中，手动评估将其置于与纯神经模型绑定的第一个集群中。对于俄语-英语任务，我们的提交达到了最高的BLEU结果，比最好的纯神经系统高出1.1 BLEU点，比我们自己的基于短语的基线高出1.6 BLEU。经过人工评估，该系统是最好的限制系统在自己的集群。在后续实验中，我们将结果提高了0.8 BLEU。
2016-06-23 cs.CL
Investigating Backtranslation in Neural Machine Translation
School of Computing, DCU（都柏林城市大学计算学院）；ADAPT Centre（ADAPT研究中心）
训练基于语料库的机器翻译（MT）系统（无论是统计MT（SMT）还是神经MT（NMT））的先决条件是高质量并行数据的可用性。这一点在今天比以往任何时候都更加重要，因为许多研究表明NMT的表现优于SMT，但大多数情况下是在大型并行语料库可用的情况下;在数据有限的情况下，SMT仍然可以优于NMT。最近的研究表明，回译单语数据可以用来创建合成的平行语料库，这反过来又可以用于与真实的平行数据相结合，训练一个高质量的NMT系统。由于大量新的并行文本很少可用，因此在构建最先进的NMT系统时，尤其是在资源匮乏的情况下，回译已成为常态。然而，我们断言，有许多未知因素的实际影响，回译数据的翻译能力的NMT模型。因此，在这项工作中，我们研究了如何使用反向翻译的数据作为训练语料库-既作为一个单独的独立数据集，也与人类生成的并行数据相结合-影响NMT模型的性能。我们使用越来越多的回译数据来训练一系列德语到英语的NMT系统，并分析由此产生的翻译性能。
2018-04-17 cs.CL
Neural machine translation for low-resource languages
神经机器翻译（NMT）方法在过去几年中改进了许多机器翻译设置中的现有技术，但是它们需要大量的训练数据来产生合理的输出。我们证明了NMT也可以用于低资源语言，通过引入更多的本地依赖关系和使用单词对齐来学习翻译过程中的句子重排。除了我们的新模型，我们还提出了一个基于低资源短语的统计机器翻译（SMT）和NMT的实证评估，以调查各自的技术的下限。我们发现，虽然SMT仍然是低资源设置的最佳选择，我们的方法可以产生可接受的翻译只有70000令牌的训练数据，基准NMT系统完全失败的水平。
2017-08-18 cs.CL
Machine Translation at Booking.com: Journey and Lessons Learned
我们描述了我们最近开发的神经机器翻译（NMT）系统，并将其与我们自己的统计机器翻译（SMT）系统以及其他两个通用在线引擎（统计和神经）进行基准测试。我们提出了每个系统提供的翻译输出的自动和人工评估结果。我们还分析了句子长度对SMT和NMT系统输出质量的影响。
2017-07-25 cs.CL
Translating Phrases in Neural Machine Translation
Soochow University（苏州大学）；Tencent AI Lab（腾讯人工智能实验室）
短语在自然语言理解和机器翻译中发挥着重要作用（Sag等人，2002; Villavicencio等人，2005年）。然而，很难将它们集成到当前逐词阅读和生成句子的神经机器翻译（NMT）中。在这项工作中，我们提出了一种方法来翻译NMT中的短语，通过将存储目标短语的短语存储器从基于短语的统计机器翻译（SMT）系统集成到NMT的编码器-解码器架构中。在每个解码步骤中，短语存储器首先由SMT模型重写，SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后，所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成，则NMT解码器从存储器中选择适当的短语以执行短语翻译，并通过消耗所选短语中的单词来更新其解码状态。否则，NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明，该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
Syntactically Guided Neural Machine Translation
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
我们研究了基于层次短语的SMT格在端到端神经机器翻译（NMT）中的使用。权重推送将完整翻译假设的Hiero分数与完整翻译语法分数和完整n元语言模型分数一起转换为与NMT预测概率兼容的后验。通过稍微修改的NMT波束搜索解码器，我们发现Hiero和NMT解码单独的增益，在将NMT扩展到非常大的输入和输出词汇方面具有实际优势。
2016-05-19 cs.CL
Neural Machine Translation Model with a Large Vocabulary Selected by Branching Entropy
University of Tsukuba（筑波大学）；Japan Patent Information Organization（日本专利信息机构）
神经机器翻译（NMT）是机器翻译的一种新方法，与统计机器翻译（SMT）等传统方法相比，取得了令人满意的结果。尽管NMT最近取得了成功，但它不能处理更大的词汇量，因为训练复杂度和解码复杂度随着目标单词的数量成比例地增加。在翻译专利文件时，这个问题变得更加严重，因为专利文件中包含许多不经常看到的技术术语。在本文中，我们提出了选择短语，包含词汇表外的话，使用统计方法的分支熵。这使得所提出的NMT系统可以应用于任何语言对的翻译任务，而无需任何关于技术术语识别的语言特定知识。然后，在训练期间用令牌替换所选择的短语，并由SMT的短语翻译表进行翻译后。对日汉、汉日、日英和英日专利句子翻译的评价证明了分支熵选择短语的有效性，其中所提出的NMT模型比没有我们提出的技术的基线NMT模型实现了实质性的改进。此外，在没有我们提出的技术的情况下，基线NMT模型的欠翻译的翻译错误的数量减少到所提出的NMT模型的一半左右。
2017-09-06 cs.CL
Fast Domain Adaptation for Neural Machine Translation
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
神经机器翻译（NMT）是一种将文本从一种人类语言自动翻译成另一种人类语言的新方法。NMT的基本概念是训练一个大型神经网络，使其在给定的并行语料库上的翻译性能最大化。NMT在研究界越来越受欢迎，因为它在WMT的几个翻译任务和其他评估任务/基准测试中至少在一些语言对上优于传统的SMT方法。然而，多年来SMT中的许多增强尚未被纳入NMT框架。在本文中，我们专注于这样的增强，即领域自适应。我们提出了一种适应NMT系统到一个新的域的方法。领域自适应背后的主要思想是大的域外训练数据和小的域内训练数据的可用性。我们报告了我们提出的方法在两种语言对的自动度量和人类主观评价度量方面的显着收益。与我们的适应方法，我们表现出很大的改善，而我们的一般域的性能只略有下降。此外，我们的方法足够快，可以在几个小时内将已经训练好的系统适应新的领域，而不需要在组合数据上重新训练NMT模型，这通常需要几天/几周的时间，具体取决于数据量。
2016-12-20 cs.CL
NICT's Neural and Statistical Machine Translation Systems for the WMT18 News Translation Task
本文介绍了NICT参与WMT 18共享新闻翻译任务的情况。我们参与了四种语言对的八个翻译方向：爱沙尼亚语-英语，芬兰语-英语，土耳其语-英语和汉语-英语。对于每个翻译方向，我们准备了最先进的统计（SMT）和神经（NMT）机器翻译系统。我们的NMT系统使用Transformer架构进行训练，使用提供的并行数据，这些数据通过我们使用新的增量训练框架生成的大量反向翻译单语数据进行放大。我们的主要提交任务是我们的SMT和NMT系统的简单组合的结果。根据BLEU案例，我们的系统在爱沙尼亚-英语和芬兰-英语语言对（约束）中排名第一。
2018-10-12 cs.CL
Neural Machine Translation Leveraging Phrase-based Models in a Hybrid Search
eBay Inc.（eBay公司）
在本文中，我们介绍了一种混合搜索的注意力为基础的神经机器翻译（NMT）。当NMT模型的注意力集中在由该短语翻译的源词上时，利用统计MT模型学习的目标短语扩展了NMT束搜索中的假设。以这种方式添加的短语使用NMT模型进行评分，但也使用SMT特征，包括短语级翻译概率和目标语言模型。对德语->英语新闻领域和英语->俄语电子商务领域翻译任务的实验结果表明，与强大的NMT基线相比，在NMT搜索中使用基于短语的模型将MT质量提高了2.3% BLEU绝对值。
2017-08-10 cs.CL
Neural versus Phrase-Based Machine Translation Quality: a Case Study
FBK（FBK（布鲁诺·凯斯勒基金会））；University of Amsterdam（阿姆斯特丹大学）
在统计机器翻译（SMT）领域，神经方法（NMT）最近成为第一个能够挑战基于短语的方法（PBMT）长期主导地位的技术。特别是，在IWITH 2015年的评估活动中，NMT在英语-德语上的表现优于成熟的最先进的PBMT系统，由于词法和句法差异，英语-德语是一种特别困难的语言对。为了了解NMT在哪些方面提供了比PBMT更好的翻译质量，我们对神经与基于短语的SMT输出进行了详细的分析，利用专业翻译人员对IWITOS数据进行的高质量后期编辑。这是第一次，我们的分析提供了有用的见解，哪些语言现象最好由神经模型建模-例如动词的重新排序-同时指出了其他有待改进的方面。
2016-10-09 cs.CL
Memory-augmented Chinese-Uyghur Neural Machine Translation
Beijing University of Posts and Telecommunications（北京邮电大学）；Xinjiang University（新疆大学）；Tsinghua University（清华大学）
神经机器翻译近年来取得了显著的成绩。然而，由于并行数据资源有限，以及维吾尔语的粘着性导致的大量生僻词，该方法在汉维互译中的应用并不广泛。在本文中，我们收集了约200，000个句子对，并表明使用这个中等规模的数据库，基于注意力的NMT可以在汉维/维汉翻译中表现得非常好。为了解决罕见的话，我们提出了一种新的记忆结构，以协助NMT推理。我们的实验表明，记忆增强的NMT（M-NMT）优于普通NMT和基于短语的统计机器翻译（SMT）。有趣的是，记忆结构提供了一种优雅的方式来处理词汇表之外的单词。
2017-06-27 cs.CL
Word Alignment in the Era of Deep Learning: A Tutorial
The University of Pennsylvania（宾夕法尼亚大学）
单词对齐任务，尽管在统计机器翻译（SMT）时代很突出，但在今天是利基和未充分开发的。在这个由两部分组成的教程中，我们将讨论单词对齐的持续相关性。第一部分介绍了作为传统SMT流水线核心组件的单词对齐的历史背景。我们瞄准了GIZA++，这是一个无监督的统计单词对齐器，寿命惊人。跳跃到神经机器翻译（NMT）时代，我们展示了单词对齐的见解如何启发了当今NMT的基本注意力机制。第二部分转向调查方法。我们涵盖了神经单词对齐器，显示了超越GIZA++性能的缓慢但稳定的进展。最后，我们涵盖了词对齐的当前应用，从跨语言注释投影到改进翻译。
2022-11-30 cs.CL
Does Syntactic Knowledge help English-Hindi SMT?
Language Technologies Research Centre（语言技术研究中心）
在本文中，我们将探讨各种参数设置的国家的最先进的统计机器翻译系统，以提高翻译质量的“遥远”的语言对，如英语-印地语。我们提出了新的技术，有效的重新排序。据报告，使用这些技术后，与基线相比略有改善。我们还表明，一个简单的预处理步骤可以显着提高翻译的质量。
2014-01-20 cs.AI cs.CL
Can Automatic Post-Editing Improve NMT?
Rakuten, Inc.（乐天株式会社( Rakuten, Inc. )）
自动后期编辑（APE）旨在改进机器翻译，从而减少人工后期编辑工作。APE在与统计机器翻译（SMT）系统一起使用时取得了显著的成功，但在神经机器翻译（NMT）系统上并不成功。这令人质疑在目前的情况下，核准预算案的工作是否适切。然而，APE模型的训练一直严重依赖于大规模人工语料库，仅结合有限的人类编辑后数据。我们假设APE模型在改进NMT翻译方面表现不佳，因为缺乏足够的监督。为了确定我们的假设，我们编译了一个更大的语料库的人后编辑的英语到德语NMT。我们的经验表明，在此语料库上训练的最先进的神经APE模型可以显着改善强大的域内NMT系统，挑战该领域目前的理解。我们进一步研究了不同的训练数据大小的影响，使用人工训练数据，和APE任务的域特异性。我们在CC BY-NC-SA 4.0许可下发布这个新的语料库，网址是https://github.com/shamilcm/pedra。
2020-09-30 cs.CL
Temporal Attention Model for Neural Machine Translation
IBM T.J. Watson Research Center（IBM T.J.沃森研究中心）
基于注意力的神经机器翻译（NMT）模型存在注意力不足的问题，这在最近的研究中已经观察到。我们提出了一种新的机制，以解决这些限制和提高NMT的注意力。具体来说，我们的方法记忆对齐时间（在每个句子内）和调制的注意力与积累的时间记忆，作为解码器生成的候选翻译。我们比较我们的方法对基线NMT模型和其他两个相关的方法，明确或隐含地解决这个问题。两个语言对的大规模实验表明，我们的方法实现了更好的和强大的增益比基线和相关的NMT方法。我们的模型在某些设置中甚至在不使用集合的情况下也优于强大的SMT基线。
2016-08-09 cs.CL
Statistical Machine Translation for Indic Languages
Indian Institute of Technology (IIT)（印度理工学院（IIT））
本文研究了使用统计机器翻译技术将英语翻译成十五种低资源印度语言及其反向翻译，并通过预处理和SMT工具包提升翻译质量。
2023-01-02 cs.CL
Semi-Supervised Learning for Neural Machine Translation
Baidu Inc.（百度公司）；Tsinghua University（清华大学）
虽然端到端神经机器翻译（NMT）最近取得了显着的进展，NMT系统仅依赖于并行语料库进行参数估计。由于平行语料库在数量、质量和覆盖面上都有一定的局限性，特别是对于低资源的语言，因此利用单语语料库来改进NMT是一种很有吸引力的方法。我们提出了一种半监督的方法来训练NMT模型的连接标记（平行语料库）和未标记（单语语料库）的数据。其核心思想是使用自动编码器重建单语语料库，其中源到目标和目标到源翻译模型分别作为编码器和解码器。该方法不仅可以利用目标语言的单语语料库，而且可以利用源语言的单语语料库。在中英文数据集上的实验表明，该方法与现有的SMT和NMT系统相比，取得了显著的改进。
2016-12-10 cs.CL
A Hybrid Model for Enhancing Lexical Statistical Machine Translation (SMT)
Sadat Academy for Management Sciences（萨达特管理科学院）
统计机器翻译系统的兴趣增加，目前由于在世界上的政治和社会事件。提出了一种基于统计机器翻译（SMT）的模型，该模型可以用于通过有效地结合不同的统计和自然语言处理（NLP）模型（诸如语言模型、对齐模型、基于短语的模型、重排序模型和翻译模型）来自动地将句子从源语言（英语）翻译成目标语言（阿拉伯语）。这些模型相结合，以提高统计机器翻译（SMT）的性能。在这项工作中使用了许多实现工具，如Moses，Gizaa++，IRSTLM，KenLM和BLEU。通过对该模型的实现和评价，以及与Google Translate等其他机器翻译系统的比较，证明了该模型增强了统计机器翻译的效果，是该领域一种可靠、高效的翻译模型。
2015-06-03 cs.CL
Tree-to-Sequence Attentional Neural Machine Translation
The University of Tokyo（东京大学）
现有的神经机器翻译（NMT）模型大多集中于顺序数据的转换，并不直接使用句法信息。我们提出了一种新的端到端句法NMT模型，扩展了序列到序列模型与源端短语结构。我们的模型有一个注意力机制，使解码器能够生成一个翻译的单词，同时柔和地将其与短语以及源句子的单词对齐。WAT'15英语到日语数据集上的实验结果表明，我们提出的模型大大优于序列到序列的注意力NMT模型，并与最先进的树到字符串SMT系统相媲美。
2016-06-08 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是一种新的机器翻译方法，它在多种语言对上的翻译性能优于传统的统计机器翻译（SMT）。翻译是一个开放词汇的问题，但现有的NMT系统大多使用固定词汇，这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度，如字符，子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一，然而，据我们所知，目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外，我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明，在词汇量不大的情况下，子词模型的翻译效果最好，而词字混合模型的翻译效果最好。不同粒度的实验结果表明，Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
Exploring Unsupervised Pretraining Objectives for Machine Translation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition and Computation（语言、认知与计算研究所）
无监督跨语言预训练在神经机器翻译（NMT）中取得了很好的效果，大大减少了对大型并行数据的需求。大多数方法通过掩蔽部分输入并在解码器中重构它们，使掩蔽语言建模（MLM）适应序列到序列架构。在这项工作中，我们系统地比较掩蔽与替代目标，产生类似于真实（完整）句子的输入，根据上下文重新排序和替换单词。我们用不同的方法对英语$\leftrightarrow$德语，英语$\leftrightarrow$尼泊尔语和英语$\leftrightarrow$僧伽罗语单语数据进行预训练模型，并在NMT上对其进行评估。在（半）监督NMT中，改变预训练目标会导致微调性能的微小差异，而无监督NMT对此更加敏感。为了理解这些结果，我们使用一系列探针彻底研究了预训练模型，并验证它们以不同的方式编码和使用信息。我们的结论是，对并行数据进行微调对大多数模型共享的一些属性（例如强大的解码器）非常敏感，而非无监督NMT也需要具有强大跨语言能力的模型。
2021-06-10 cs.CL
An Evaluation of Neural Machine Translation Models on Historical Spelling Normalization
Uppsala University（乌普萨拉大学）
在本文中，我们将不同的NMT模型的历史拼写规范化的问题，五种语言：英语，德语，匈牙利语，冰岛语和瑞典语。NMT模型处于不同的层次，具有不同的注意力机制和不同的神经网络结构。我们的研究结果表明，NMT模型是远远优于SMT模型的字符出错率。香草RNN在历史拼写规范化方面与GRU/LSTM竞争。只有当提供更多的训练数据时，Transformer模型才能表现得更好。我们还发现，对于低资源语言，具有小的子词词汇的子词级模型比字符级模型更好。此外，我们提出了一种混合方法，进一步提高了历史拼写规范化的性能。
2018-08-04 cs.CL
Language Model-Driven Unsupervised Neural Machine Translation
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（全球通科技有限公司）
无监督神经机器翻译（NMT）在执行香草反向翻译时与合成数据中的噪声和错误相关联。在这里，我们显式地利用语言模型（LM）来驱动无监督NMT系统的构建。这包括两个步骤。首先，我们使用通过临时统计机器翻译（SMT）生成的合成数据初始化NMT模型。其次，与普通的反向翻译不同，我们制定了一个权重函数，在后续迭代训练的每一步对合成数据进行评分;这使得无监督训练能够获得更好的结果。我们提出了详细的数学构造我们的方法。实验性WMT 2014英语-法语、WMT 2016英语-德语和英语-俄语翻译任务表明，我们的方法比之前最好的系统的性能高出3个BLEU点以上。
2019-11-10 cs.CL
Joint Training for Neural Machine Translation Models with Monolingual Data
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
单语数据已被证明有助于提高统计机器翻译（SMT）系统和神经机器翻译（NMT）系统的翻译质量，特别是在资源贫乏或并行数据不够丰富的领域自适应任务中。在本文中，我们提出了一种新的方法，以更好地利用单语数据的神经机器翻译通过联合学习源到目标和目标到源NMT模型的语言对与联合EM优化方法。训练过程开始于在每个方向的并行数据上预训练的两个初始NMT模型，并且通过递增地减少训练数据上的平移损失来迭代地更新这两个模型。在每个迭代步骤中，两个NMT模型首先用于将单语数据从一种语言翻译成另一种语言，形成另一NMT模型的伪训练数据。然后从并行数据和伪训练数据中学习两个新的NMT模型。这两种NMT模型都有待于进一步改进，以产生更好的伪训练数据。在汉英和英德翻译任务上的实验结果表明，该方法可以同时提高源到目标和目标到源模型的翻译质量，显著优于使用单语数据进行模型训练（包括回译）的强基线系统。
2018-03-01 cs.CL
Translating the Unseen? Yoruba-English MT in Low-Resource, Morphologically-Unmarked Settings
The University of British Columbia（不列颠哥伦比亚大学）
在语言之间进行翻译，其中某些特征在一种语言中被标记为形态，但在另一种语言中不存在或被标记为上下文，这是机器翻译的重要测试案例。当从Yorkebá翻译成英语时，它在形态上标记（不）确定性，Yorkebá使用裸名词，但在上下文中标记这些特征，产生歧义。在这项工作中，我们执行细粒度分析SMT系统如何与两个NMT系统（BiLSTM和Transformer）相比，在将Yorkebá中的裸名词翻译成英语时。我们研究了系统如何在多大程度上识别BN，正确翻译它们，并与人类翻译模式进行比较。我们还分析了每个模型的错误类型，并提供了这些错误的语言描述。我们收集了在低资源环境下评估模型性能的见解。在裸名词的翻译中，我们的结果显示Transformer模型在4个类别上优于SMT和BiLSTM模型，BiLSTM在3个类别上优于SMT模型，SMT在1个类别上优于NMT模型。
2021-04-06 cs.AI cs.CL cs.LG
Statistical Machine Translation for Indian Languages: Mission Hindi
CDAC Mumbai（孟买先进计算发展中心）
本文讨论了孟买高级计算发展中心（CDACM）提交给2014年印度语言统计机器翻译NLP工具竞赛（ILSMT）的作品（与ICON 2014同期举行）。比赛的目的是探讨统计机器翻译（SMT）的有效性，印度语到印度语和英语-印地语机器翻译。在本文中，我们已经提出，后缀分离和字分裂SMT从粘着语言印地语显着改善了基线（BL）。我们还表明，重新排序的因子模型优于基于短语的SMT英语印地语（\enhi）。我们报告了我们在所有五种语言上的工作，即孟加拉语-印地语（\bnhi），马拉地语-印地语（\mrhi），泰米尔语-印地语（\tahi），泰卢固语-印地语（\tehi）和健康，旅游和一般领域的\enhi。
2016-10-24 cs.CL
An Effective Approach to Unsupervised Machine Translation
University of the Basque Country (UPV/EHU)（巴斯克大学）
虽然机器翻译传统上依赖于大量的平行语料库，但最近的研究路线已经成功地仅使用单语语料库来训练神经机器翻译（NMT）和统计机器翻译（SMT）系统。在本文中，我们确定和解决现有的无监督SMT方法的几个不足之处，利用子字信息，开发一个理论上有充分依据的无监督调整方法，并将联合细化过程。此外，我们使用我们改进的SMT系统初始化一个双NMT模型，这是进一步微调，通过在飞回翻译。总之，我们在无监督机器翻译中比以前的最先进技术有了很大的改进。例如，我们在2014年英语到德语的WMT中获得了22.5分的BLEU分数，比之前最好的无监督系统高出5.5分，比2014年的（有监督）共享任务冠军高出0.5分。
2019-07-24 cs.AI cs.CL cs.LG
An Operation Sequence Model for Explainable Neural Machine Translation
University of Cambridge（剑桥大学）
我们建议通过改变输出表示来实现可解释的神经机器翻译（NMT）。我们提出了一种新的方法来NMT产生的目标句子单调遍历源句子。通过允许在目标句子中设置标记并在这些标记之间移动目标侧写入头的操作来对单词重新排序进行建模。与许多现代神经模型相比，我们的系统发出显式的单词对齐信息，这对实际的机器翻译至关重要，因为它提高了可解释性。我们的技术可以优于纯文本系统的BLEU分数在最近的Transformer架构下的日语-英语和葡萄牙语-英语，是在0.5 BLEU的差异西班牙语-英语。
2018-08-29 cs.CL
Exploiting Neural Query Translation into Cross Lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
查询翻译作为跨语言信息检索（CLIR）中的一个重要环节，面临着三个主要挑战：1）翻译的充分性; 2）缺乏域内并行训练数据; 3）对低延迟的要求。为此，现有的CLIR系统主要利用基于语法的机器翻译（SMT）而不是高级神经机器翻译（NMT），限制了翻译和检索质量的进一步提高。本文研究了如何将神经查询翻译模型应用到CLIR系统中。具体而言，我们提出了一种新的数据增强方法，提取查询翻译对，根据用户点击数据，从而减轻在NMT领域适应的问题。然后，我们提出了一种异步策略，它能够充分利用SMT的实时性和NMT的准确性的优势。实验结果表明，该方法的检索质量优于强基线，可以很好地应用于实际的CLIR系统，即Aliexpress电子商务搜索引擎。读者可以在我们的网站上检查和测试他们的案例：https://aliexpress.com。
2020-10-26 cs.CL cs.IR
JASS: Japanese-specific Sequence to Sequence Pre-training for Neural Machine Translation
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
神经机器翻译（NMT）需要大型并行语料库来实现最先进的翻译质量。低资源NMT通常通过迁移学习来解决，该学习利用大型单语或并行语料库进行预训练。单语预训练方法，如MASS（MAasked Sequence to Sequence），在提高具有小型并行语料库的语言的NMT质量方面非常有效。然而，他们没有考虑到使用句法分析器获得的语言信息，这是已知的是无价的几个自然语言处理（NLP）任务。为此，我们提出了JASS，日本特定的序列到序列，作为一种新的预训练替代MASS的NMT涉及日本作为源或目标语言。JASS是联合BMASS（Bunsetsu MASS）和BRSS（Bunsetsu Reordering Sequence to Sequence）预训练，专注于日语语言单位bunsetsus。在我们的ASPEC日本-英语和新闻评论日本-俄罗斯翻译的实验中，我们表明，JASS可以给出的结果是竞争力，如果不是更好地比那些由MASS。此外，我们首次表明，联合MASS和JASS预训练的结果显着超过了单独的方法，表明它们的互补性。我们将发布我们的代码，预训练模型和bunsetsu注释数据，作为研究人员在自己的NLP任务中使用的资源。
2020-05-07 cs.CL
Pronoun Translation in English-French Machine Translation: An Analysis of Error Types
Uppsala University（乌普萨拉大学）；University of Edinburgh（爱丁堡大学）
代词是机器翻译中一个长期存在的难题。我们提出了一系列基于规则的，统计和神经MT系统代词翻译的性能的研究，基于广泛的手动评估使用PROTEST测试套件，它可以对不同的代词类型进行细粒度的分析，并揭示了任务的困难。我们发现，基于规则的方法在我们的语料库中表现不佳，由于过度简化，而SMT和早期的NMT系统表现出显着的缺点，由于缺乏对代词的功能和指称属性的认识。最近的一个基于Transformer的跨句上下文NMT系统在非回指代词和句内回指上显示出非常有前途的结果，但在跨句依赖的例子中仍有相当大的改进空间。
2018-08-30 cs.CL
Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches
Soochow University（苏州大学）；Alibaba Group（阿里巴巴集团）
在一个格式良好的语篇中，句子之间通过各种链接相互连接，形成语篇的衔接结构。当前的神经机器翻译（NMT）系统以传统的逐句翻译方式翻译文本，忽略了这种跨句链接和依赖关系。这可能导致为连贯的源文本生成不连贯的目标文本。为了处理这个问题，我们提出了一种基于缓存的方法，通过从最近翻译的句子或整个文档中捕获上下文信息来对神经机器翻译的连贯性进行建模。特别是，我们探讨了两种类型的缓存：一个动态缓存，它存储从前面的句子的最佳翻译假设的话，和一个主题缓存，它保持了一组目标端的主题词，语义相关的文件被翻译。在此基础上，我们建立了一个新的层，在这两个缓存与基于缓存的神经模型的目标词评分。在这里，来自基于缓存的神经模型的估计概率与NMT概率通过门控机制组合成最终单词预测概率。最后，提出的基于缓存的神经模型与NMT系统以端到端的方式联合训练。本文提出的实验和分析表明，所提出的基于缓存的模型实现了实质性的改进，在几个国家的最先进的SMT和NMT基线。
2018-06-14 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）
回译（Back translation，BT）已被广泛应用并成为神经机器翻译（Neural Machine Translation，NMT）中数据增强的标准技术之一，BT已被证明有助于有效提高翻译性能，特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上，但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译（SMT）模型的影响，用于中文到越南语和越南语到中文，基于字符和基于单词的设置。部分地证实了前人工作中的一些结论，并得出了一些有趣的发现和结论，这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Towards String-to-Tree Neural Machine Translation
Bar-Ilan University（巴伊兰大学）
我们提出了一个简单的方法，将目标语言的句法信息在神经机器翻译系统中，通过转换成线性化，词汇化的选区树。WMT16德英新闻翻译任务的实验结果表明，与在相同数据集上训练的语法不可知的NMT基线相比，BLEU得分有所提高。对来自语法感知系统的翻译的分析表明，与基线相比，它在翻译期间执行更多的重新排序。一个小规模的人类评估也显示了语法感知系统的优势。
2017-05-06 cs.CL
Fixing exposure bias with imitation learning needs powerful oracles
Heidelberg University（海德堡大学）；Google Research（谷歌研究院）
我们应用模仿学习（IL）来解决NMT暴露偏差问题与纠错的预言，并评估SMT网格为基础的预言，尽管其出色的性能在无约束的预言翻译任务，原来是过于修剪和特质，作为IL的预言。
2021-09-17 cs.CL cs.LG
The Helsinki Neural Machine Translation System
Stockholm University（斯德哥尔摩大学）；University of Helsinki（赫尔辛基大学）；Uppsala University（乌普萨拉大学）
我们将介绍赫尔辛基神经机器翻译系统（HNMT）及其在WMT 2017新闻翻译任务中的应用，该系统在英语-芬兰语的人工和自动评估中均排名第一。我们讨论了英语-芬兰语翻译的成功和NMT在强大的SMT基线上的整体优势。我们还讨论我们提交的英文-拉脱维亚文、英文-中文和中文-英文。
2017-08-20 cs.CL
Dynamic Curriculum Learning for Low-Resource Neural Machine Translation
Northeastern University（东北大学）；Tencent Minority-Mandarin Translation（腾讯民汉翻译）；Tencent Inc.（腾讯公司）；NiuTrans Research（NiuTrans研究院）
近年来，大量的数据使得神经机器翻译（NMT）取得了巨大的成功。但在小规模语料库上训练这些模型仍然是一个挑战。在这种情况下，使用数据的方式显得更为重要。在这里，我们研究了低资源NMT的训练数据的有效使用。特别是，我们提出了一个动态的课程学习（DCL）的方法来重新排序训练样本的训练。与以前的工作不同，我们不使用静态评分函数进行重新排序。相反，训练样本的顺序是通过两种方式动态确定的-损失下降和模型能力。这通过突出当前模型有足够能力学习的简单样本来简化训练。我们在一个基于transformer的系统中测试我们的DCL方法。实验结果表明，DCL优于几个强基线上的三个低资源的机器翻译基准和不同大小的数据的WMT '16 En-De。
2020-11-30 cs.CL
A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource Settings
Stony Brook University（石溪大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
神经机器翻译（NMT）模型足够强大，可以将语义和句法信息从源语言传递到目标语言。然而，这些模型需要大量的数据来学习参数。因此，对于数据稀缺的语言，这些模型有表现不佳的风险。我们建议增加基于注意力的神经网络与重新排序的信息，以减轻缺乏数据。这种增强功能将英语到波斯语和波斯语到英语的翻译质量提高了6%，比基线模型的BLEU绝对值高。
2021-12-28 cs.CL
Pre-Translation for Neural Machine Translation
Institute for Anthropomatics（拟人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
近年来，神经机器翻译（NMT）的发展显著提高了自动机器翻译的翻译质量。虽然大多数句子比基于统计机器翻译（SMT）的系统翻译的句子更准确和流畅，但在某些情况下，NMT系统产生的翻译具有完全不同的含义。当出现罕见的单词时，情况尤其如此。当使用统计机器翻译时，已经表明可以通过简化预处理步骤中的输入来实现显著的增益。一个常用的例子是预重排序方法。在这项工作中，我们使用基于短语的机器翻译将输入预翻译成目标语言。然后，神经机器翻译系统使用预翻译生成最终假设。因此，我们要么只使用基于短语的机器翻译（PBMT）系统的输出，要么结合PBMT输出和源句子。我们在英语到德语翻译任务上评估该技术。使用这种方法，我们能够超过PBMT系统以及基线神经MT系统多达2个BLEU点。分析了初始系统的质量对最终结果的影响。
2016-10-17 cs.CL
Towards Neural Phrase-based Machine Translation
Microsoft Research（微软研究院）；Google（谷歌）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Citadel（城堡投资）
在本文中，我们提出了基于神经短语的机器翻译（NPMT）。我们的方法显式地使用睡眠唤醒网络（SWAN），最近提出的基于分割的序列建模方法的输出序列中的短语结构建模。为了减轻SWAN的单调对齐要求，我们引入了一个新的层来执行输入序列的（软）局部重排。与现有的神经机器翻译（NMT）方法不同，NPMT不使用基于注意力的解码机制。相反，它直接按顺序输出短语，并可以在线性时间内解码。我们的实验表明，与强大的NMT基线相比，NPMT在IWSLT 2014德语-英语/英语-德语和IWSLT 2015英语-越南语机器翻译任务上取得了优异的性能。我们还观察到，我们的方法在输出语言中产生有意义的短语。
2018-09-24 cs.CL stat.ML
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
A Parallel Corpus of Theses and Dissertations Abstracts
Instituto de Informática - UFRGS（南里奥格兰德联邦大学信息学研究所）；Escola de Engenharia - UFRGS（南里奥格兰德联邦大学工程学院）
在巴西，负责监督和协调研究生课程的政府机构CAPES记录了该国提交的所有论文和学位论文。有关这些文件的信息可在论文和论文目录（TDC）中在线访问，其中包含葡萄牙语和英语摘要以及其他元数据。因此，该数据库可以成为葡萄牙语和英语平行语料库的潜在来源。在这篇文章中，我们提出了一个平行语料库的开发TDC，这是由CAPES开放数据倡议下。收集了大约240 000份文件，并使用Hunalign工具进行了调整。我们通过训练两种语言方向的统计机器翻译（SMT）和神经机器翻译（NMT）模型来展示我们开发的语料库的能力，然后与谷歌翻译（GT）进行比较。两种翻译模型的BLEU评分均优于GT，NMT系统是最准确的翻译模型。句子对齐也进行了手动评估，平均82.30%正确对齐的句子。我们的平行语料库以TMX格式免费提供，并提供有关文档元数据的补充信息
2019-05-05 cs.CL
Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
在本研究中，我们提出了新的序列到序列预训练目标低资源机器翻译（NMT）：日语特定序列到序列（JASS）的语言对涉及日语作为源或目标语言，英语特定序列到序列（ENSS）的语言对涉及英语。JASS侧重于掩蔽和重新排序日语语言单位称为文组，而ENSS是基于短语结构掩蔽和重新排序任务。在ASPEC日语-英语和日语-汉语，维基百科日语-汉语，新闻英语-韩语语料库上的实验表明，JASS和ENSS优于MASS和其他现有的语言无关的预训练方法，对于日语-英语任务，最高可达+2.9 BLEU点，对于日语-汉语任务，最高可达+7.0 BLEU点，对于英语-韩语任务，最高可达+1.3 BLEU点。实证分析侧重于JASS和ENSS中各个部分之间的关系，揭示了JASS和ENSS子任务的互补性。使用LASER，人类评估和案例研究的准确性评估表明，我们提出的方法在没有注入语言知识的情况下显着优于预训练方法，并且与流畅性相比，它们对充分性有更大的积极影响。我们在这里发布代码：https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining.
2022-01-20 cs.CL
Testing Untestable Neural Machine Translation: An Industrial Case
Tencent Inc.（腾讯公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；ETH Zurich（苏黎世联邦理工学院）
神经机器翻译（NMT）由于其相对于传统的统计机器翻译（SMT）的优势，近年来得到了广泛的应用。然而，由于自然语言的复杂性和设计神经网络的复杂性，NMT系统仍然经常产生翻译失败。虽然内部黑盒系统测试基于参考翻译（即，有效翻译的实例）已经成为NMT质量保证的常见实践，一种越来越重要的工业实践，称为体内测试，当真实用户使用部署的工业NMT系统时，暴露了不可见的翻译失败类型或实例。为了填补缺乏测试预言机的NMT系统的体内测试的空白，在本文中，我们提出了一种新的方法，自动识别翻译失败，而不需要参考翻译的翻译任务，我们的方法可以直接作为一个测试预言机的体内测试。我们的方法专注于可以系统地检查的自然语言翻译的属性，并使用来自测试输入的信息（即，要翻译的文本）和测试输出（即，NMT系统的翻译）。我们在真实世界数据集上进行的评估表明，我们的方法可以有效地将有针对性的属性违规检测为翻译失败。我们在微信（一个月活跃用户超过10亿的信使应用程序）的生产和开发环境中部署我们的方法的经验证明了我们的方法的高效率以及高行业影响力。
2018-10-03 cs.AI cs.CL cs.SE
Learning Source Phrase Representations for Neural Machine Translation
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Tianjin University（天津大学）；China Mobile Online Services（中移在线服务有限公司）
Transformer转换模型（Vaswani等人，2017）可以有效地并行计算，并大大推动了神经机器翻译（NMT）的性能。虽然直观地说，注意力网络可以通过比RNN更短的网络路径连接遥远的单词，但实证分析表明，它仍然难以完全捕获长距离依赖性（Tang et al.，2018年）。考虑到建模短语而不是单词通过使用更大的翻译块（“短语”）及其重新排序能力显著改进了统计机器翻译（SMT）方法，在短语级别建模NMT是帮助模型捕获长距离关系的直观建议。在本文中，我们首先提出了一个专注的短语表示生成机制，它能够从相应的令牌表示生成短语表示。此外，我们将生成的短语表示到Transformer翻译模型中，以增强其捕获长距离关系的能力。在我们的实验中，我们在强大的Transformer基线上获得了WMT 14英语-德语和英语-法语任务的显着改善，这表明了我们的方法的有效性。我们的方法帮助Transformer Base模型在Transformer Big模型的水平上执行，甚至在长句方面更好，但参数和训练步骤要少得多。事实上，即使在大的背景下，短语表征也有帮助，这进一步支持了我们的猜想，即它们对长距离关系做出了有价值的贡献。
2020-06-25 cs.CL
