Analyzing Neural MT Search and Model Performance
Institute for Anthropomatics and Robotics(人体测量学与机器人研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提供了一个深入的分析建模和搜索性能。我们解决的问题,如果一个更复杂的搜索算法是必要的。此外,我们调查的问题,如果更复杂的模型,可能只适用于重新评分是有前途的。通过分离搜索空间和建模使用$n$ -最佳列表重排,我们分析了NMT系统的两个部分的影响独立。通过比较不同性能的NMT系统,我们表明,更好的翻译已经在搜索空间的翻译系统的性能较低。这一结果表明,目前的搜索算法是足够的NMT系统。此外,我们可以证明,即使是一个相对较小的$n$ -$50$假设的最佳列表也已经包含了明显更好的翻译。
2017-08-02 cs.CL
On Using Very Large Target Vocabulary for Neural Machine Translation
Université de Montréal(蒙特利尔大学)
神经机器翻译是最近提出的一种纯粹基于神经网络的机器翻译方法,与现有的方法如基于短语的统计机器翻译相比,已经显示出有希望的结果。尽管最近取得了成功,但神经机器翻译在处理更大的词汇量方面有其局限性,因为训练复杂度以及解码复杂度与目标单词的数量成比例地增加。在本文中,我们提出了一种方法,使我们能够使用一个非常大的目标词汇,而不增加训练的复杂性,基于重要性采样。我们表明,解码可以有效地完成,即使与模型有一个非常大的目标词汇,只选择一个小的子集,整个目标词汇。经验发现,通过所提出的方法训练的模型优于具有小词汇量的基线模型以及基于LSTM的神经机器翻译模型。此外,当我们使用具有非常大的目标词汇的几个模型的集成时,我们在英语->德语翻译上实现了最先进的翻译性能(由BLEU测量),并且几乎与最先进的英语->法语翻译系统一样高。
2015-03-18 cs.CL
Back-Translation Sampling by Targeting Difficult Words in Neural Machine Translation
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所)
神经机器翻译使用并行和合成数据的组合,为几种语言对实现了最先进的性能。合成数据通常通过使用反向翻译模型从单语数据中随机采样的句子进行反向翻译来生成。虽然回译在许多情况下被证明是非常有效的,但原因尚不完全清楚。在这项工作中,我们探索了反向翻译的不同方面,并表明在训练过程中具有高预测损失的单词从添加合成数据中受益最多。我们介绍了几种变化的采样策略,针对难以预测的话,使用预测损失和频率的话。此外,我们还针对难词的上下文和在上下文中相似的例句。WMT新闻翻译任务的实验结果表明,我们的方法提高了翻译质量高达1.7和1.2 Bleu点回翻译使用随机抽样为德语-英语和英语-德语,分别。
2018-09-21 cs.CL
Faithful Target Attribute Prediction in Neural Machine Translation
Amazon AI(亚马逊人工智能(Amazon AI))
NMT中使用的训练数据很少针对特定属性进行控制,例如大小写或性别,这可能会导致翻译错误。我们认为,同时预测目标词和属性是一种有效的方法,以确保翻译更忠实于训练数据分布相对于这些属性。在升级的输入翻译和性别预测两个任务上的实验结果表明,该策略有助于反映测试中的训练数据分布。它还有助于在升级的输入翻译任务上进行数据增强。
2021-09-24 cs.CL
Analyzing the Use of Character-Level Translation with Sparse and Noisy Datasets
Uppsala University(乌普萨拉大学);Qatar Computing Research Institute(卡塔尔计算研究所)
本文提供了一个字符级机器翻译模型的分析,当应用于稀疏和嘈杂的数据集,如众包电影字幕时,在基于机器翻译的翻译中使用。在我们的实验中,我们发现这样的字符级模型减少了40%以上的未翻译单词的数量,并且在有限的训练数据的情况下特别具有竞争力(提高了2-3个BLEU点)。我们探讨了字符对齐、短语表过滤、文本大小和主语言的选择对翻译质量的影响。我们进一步比较了级联的翻译模型,通过多个枢轴使用合成训练数据,我们发现,后者的工作效果明显更好。最后,我们证明,无论是字或字符BLEU与人类的判断完全相关,由于BLEU的长度的敏感性。
2021-09-27 cs.AI cs.CL cs.LG
Facilitating Terminology Translation with Target Lemma Annotations
Tilde(Tilde公司);University of Latvia(拉脱维亚大学)
大多数关于机器翻译中术语整合的最新工作都假设术语翻译已经以适合于目标语言句子的形式进行了变形。然而,在专业翻译人员的日常工作中,很少有这种情况,因为翻译人员使用双语词汇表,其中术语以字典形式给出;找到正确的目标语言形式是翻译过程的一部分。我们认为,先验指定的目标语言形式的要求是不现实的,阻碍了以前的工作的实用性。在这项工作中,我们提出了训练机器翻译系统使用源端数据增强的方法,注释随机选择的源语言单词与他们的目标语言词元。我们表明,在这种增强数据上训练的系统很容易用于现实生活中的翻译场景中的术语集成。我们的实验术语翻译成形态复杂的波罗的海和乌拉尔语系的语言显示了高达7个BLEU点的基线系统,没有手段的术语集成和4个BLEU点的平均改善比以前的工作。人工评估的结果表明,在翻译成拉脱维亚语时,术语翻译准确性比以前的工作有47.7%的绝对提高。
2021-01-25 cs.CL
Improving Bidirectional Decoding with Dynamic Target Semantics in Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent Inc(腾讯公司)
通常,神经机器翻译模型以从左到右(L2R)的方式生成目标词,并且无法利用任何未来(右)语义信息,这通常会产生不平衡的翻译。最近的工作尝试在双向解码中利用从右到左(R2L)解码器来缓解这个问题。在本文中,我们提出了一种新的\textbf{D}的\textbf{I}交互\textbf{M}对象(\textbf{DIM}),动态地利用目标语义从R2L翻译,以提高L2R翻译质量。与其他双向解码方法不同的是,DIM首先通过寻址和读取操作提取有用的目标信息,然后更新目标语义以跟踪交互历史。此外,我们还在训练目标中引入了一个\textbf{agreement regularization}术语,以缩小L2R和R2L翻译之间的差距。在NIST中文$\Rightarrow$英语和WMT'16英文$\Rightarrow$罗马尼亚语翻译任务上的实验结果表明,该系统在基线系统上取得了显著的改进,与最先进的Transformer模型相比,其参数少得多,达到了相当的效果。
2019-11-05 cs.CL
Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings
Soochow University(苏州大学);University of Lisbon(里斯本大学);Alibaba Group(阿里巴巴集团)
在神经机器翻译中,将单词的源序列编码成向量,在解码阶段从该向量生成目标序列。与统计机器翻译不同的是,源单词和它们可能的目标对应物之间的关联没有显式地存储。源字和目标字位于长信息处理过程的两端,在源编码和目标解码阶段都由隐藏状态介导。这使得源词有可能被错误地翻译成目标词,而该目标词不是目标语言中任何可接受的对等词。在本文中,我们试图通过一种被称为桥接源和目标词嵌入的方法来缩短源和目标词之间的距离,从而加强它们之间的关联。我们尝试了三种策略:(1)源端桥接模型,其中源词嵌入向输出目标序列移动一步;(2)目标端桥接模型,其探索更相关的源词嵌入以预测目标序列;(3)直接桥接模式,它直接连接源语和目标语词嵌入,以尽量减少一个词被另一个词翻译时的错误。本文提出的实验和分析表明,所提出的桥接模型是能够显着提高质量的句子翻译,在一般情况下,对齐和翻译的个别源词与目标词,特别是。
2018-05-10 cs.CL
Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学);EPFL(洛桑联邦理工学院)
针对机器翻译的幻觉与偏离目标问题,提出无需重训的源对比和语言对比解码方法,在多语言模型上显著降低两类问题发生率,且可扩展至大语言模型。
2024-01-29 cs.CL
Bag-of-Words as Target for Neural Machine Translation
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
一个句子可以翻译成不止一个正确的句子。然而,现有的神经机器翻译模型大多只使用其中一个正确的翻译作为目标,而其他正确的句子在训练阶段被当作不正确的句子进行惩罚。由于一个句子的大多数正确的翻译共享相似的词袋,因此可以通过词袋来区分正确的翻译和错误的翻译。在本文中,我们提出了一种在训练阶段同时使用句子和词袋作为目标的方法,以鼓励模型生成训练集中没有出现的潜在正确句子。我们在一个汉英翻译数据集上对我们的模型进行了评估,实验表明我们的模型比强基线的BLEU得分高出4.55。
2018-05-13 cs.CL
Target-Side Context for Discriminative Models in Statistical Machine Translation
LMU Munich(慕尼黑大学);Charles University in Prague(布拉格查理大学);Adam Mickiewicz University in Poznań(波兹南亚当·密茨凯维奇大学)
利用源上下文的区别性翻译模型已被证明有助于统计机器翻译性能。我们提出了一种新的扩展这项工作使用目标上下文信息。令人惊讶的是,我们表明,该模型可以有效地直接集成在解码过程中。我们的方法可扩展到大的训练数据大小,并在四种语言对的翻译质量的一致改善的结果。我们还提供了一个分析比较基线源上下文模型与我们的扩展源上下文和目标上下文模型的优势,我们表明,我们的扩展使我们能够更好地捕捉形态的连贯性。我们的工作是免费提供作为摩西的一部分。
2016-07-05 cs.CL
Subword Segmental Machine Translation: Unifying Segmentation and Target Sentence Generation
University of Cape Town(开普敦大学)
SSMT统一子词分段与翻译生成,通过动态解码提升黏着语言翻译质量,尤其在低资源场景下效果显著。
2023-05-11 cs.CL
Context Gates for Neural Machine Translation
Tsinghua University(清华大学)
在神经机器翻译(NMT)中,目标词的生成依赖于源上下文和目标上下文。我们发现源语语境直接影响译文的充分性,而译语语境影响译文的流畅性。直观地说,实词的生成应该更多地依赖于源语境,虚词的生成应该更多地依赖于目标语境。由于传统的翻译方法缺乏对源语语境和目的语语境的有效控制,译文往往不通顺,但也存在不足。为了解决这个问题,我们提出了上下文门,动态控制源和目标上下文有助于生成目标词的比例。通过这种方式,我们可以通过更仔细地控制来自上下文的信息流来提高NMT的充分性和流利性。实验表明,我们的方法显着提高了一个标准的基于注意力的NMT系统+2.3 BLEU点。
2017-03-08 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University(东京都立大学)
近年来,一些关于神经机器翻译(NMT)的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子,以结合先前句子的上下文,从而使用文档级上下文。这些研究的结论是,目标方的上下文是没有那么有用的比源方的上下文。然而,我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此,在这项研究中,我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法,其中NMT保存解码器状态,并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明,目标端的上下文也是有用的,如果我们插入到NMT作为解码器状态时,翻译前一句话。
2019-09-02 cs.CL
Massively Parallel Cross-Lingual Learning in Low-Resource Target Language Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们致力于从资源丰富的语言到资源贫乏的语言的翻译。我们确定的主要挑战是缺乏低资源的语言数据,跨语言迁移的有效方法,以及神经系统中常见的变量绑定问题。我们建立了一个翻译系统,以解决这些挑战,使用八个欧洲语系作为我们的测试场。首先,我们添加源和目标家族标签,并研究家族内和家族间的影响,以实现有效的跨语言迁移。与单家庭多源多目标基线相比,我们使用八个家庭的英语-瑞典语翻译的BLEU评分提高了+9.9。此外,我们发现,对最接近低资源语言的两个相邻家庭进行培训通常就足够了。其次,我们构建了一个消融研究,发现即使目标数据相当少,也可以取得相当好的结果。第三,我们通过建立一个保序命名实体翻译模型来解决变量绑定问题。我们在定性评估中获得了60.6%的准确率,其中我们的翻译在初步研究中类似于人类翻译。
2018-08-25 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University(首尔大学);Microsoft Research Asia(微软亚洲研究院)
针对多语言机器翻译中的性别偏见,提出目标语言无关的性别感知对比学习(GACL),通过微调预训练模型提升性别准确性且不损害翻译性能,并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
The Source-Target Domain Mismatch Problem in Machine Translation
Facebook AI Research(脸书人工智能研究院)
虽然我们生活在一个日益相互联系的世界中,但不同的地方仍然展现出截然不同的文化,我们在日常生活中经历的许多事件只与我们生活的特定地方有关。因此,人们经常在世界不同的地方谈论不同的事情。在这项工作中,我们研究了本地上下文在机器翻译中的作用,并假设特别是在低资源设置中,这会导致源语言和目标语言的域大大不匹配,因为这两种语言通常在世界上更遥远的地区使用,具有更独特的文化特征和不相关的本地事件。我们首先形式化的概念,源目标域不匹配,提出了一个度量来量化它,并提供实证证据证实我们的直觉,说非常不同的语言的人所产生的有机文本表现出最显着的差异。最后,我们的实证研究如何源目标域不匹配影响训练的机器翻译系统的低资源语言对。特别是,我们发现,它严重影响回翻译,但退化可以减轻回翻译与自我训练相结合,并通过增加目标侧单语数据的相对量。
2020-06-16 cs.CL
Modeling Future Cost for Neural Machine Translation
Harbin Institute of Technology(哈尔滨工业大学);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构(NICT))
现有的神经机器翻译(NMT)系统利用序列到序列的神经网络逐词生成目标译文,然后使每个时间步生成的译文与参考文献中的译文尽可能一致。然而,经训练的翻译模型倾向于集中于确保在当前时间步处生成的目标词的准确性,而不考虑其未来成本,这意味着生成后续目标翻译的预期成本(即,下一个目标词)。为了解决这个问题,我们提出了一个简单而有效的方法来模拟NMT系统中每个目标词的未来成本。具体地,基于当前生成的目标词及其上下文信息来估计时间相关的未来成本,以促进NMT模型的训练。此外,在当前时间步学习的未来上下文表示用于帮助在解码中生成下一个目标词。在WMT14德英、WMT14英法和WMT17汉英三个广泛使用的翻译数据集上的实验结果表明,该方法在基于Transformer的NMT基础上取得了显著的改进。
2020-02-28 cs.CL
Variational Neural Machine Translation
Soochow University(苏州大学);Xiamen University(厦门大学)
神经机器翻译的模型通常来自于编码器解码器的区别性家族,其在给定源句子的情况下学习目标句子的条件分布。在本文中,我们提出了一个变分模型来学习神经机器翻译的条件分布:一个可以端到端训练的变分编码器解码器模型。与仅从源语句的隐藏表示生成目标翻译的香草编码器-解码器模型不同,变分模型引入连续潜变量来显式地对源语句的底层语义进行建模并指导目标翻译的生成。为了进行有效的后验推理和大规模的训练,我们建立了一个神经后验近似器的源和目标双方的条件,并配备了一个重新参数化技术来估计变分下界。在汉英和英德两种翻译任务上的实验表明,本文提出的变分神经机器翻译比普通神经机器翻译基线有了显著的改进。
2016-09-25 cs.CL
Fully Synthetic Data Improves Neural Machine Translation with Knowledge Distillation
University of Edinburgh(爱丁堡大学)
本文探讨了神经机器翻译中知识蒸馏的单语数据扩充。源语言单语文本可以作为正向翻译合并。有趣的是,我们发现最好的方法,以纳入目标语言单语文本是将其翻译到源语言和往返翻译回目标语言,从而在一个完全合成的语料库。我们发现,结合单语数据从源和目标语言产生更好的性能比语料库的两倍大,只有一种语言。此外,实验表明,改进依赖于测试集的出处。如果测试集最初使用的是源语言(目标端由翻译人员编写),则向前翻译源单语数据很重要。如果测试集最初是用目标语言编写的(源代码由翻译人员编写),那么合并目标单语数据就很重要。
2021-09-15 cs.CL
Document Context Neural Machine Translation with Memory Networks
Faculty of Information Technology, Monash University(莫纳什大学信息技术学院)
我们提出了一个文档级神经机器翻译模型,该模型使用记忆网络将源文档和目标文档上下文都考虑在内。我们将问题建模为结构化预测问题,观察变量和隐藏变量之间存在相互依赖关系,即,文档中的源句子及其未观察到的目标翻译。由此产生的结构化预测问题是用一个神经翻译模型来解决的,该模型配备了两个记忆组件,分别用于源端和目标端,以捕获文档的相互依赖性。我们对模型进行了端到端的训练,并提出了一种基于块坐标下降的迭代解码算法。从法语,德语和爱沙尼亚语文档的英语翻译的实验结果表明,我们的模型是有效的,在利用源和目标文档上下文,并在统计上显着优于以前的工作在BLEU和METEOR。
2018-05-16 cs.CL
Target-Side Augmentation for Document-Level Machine Translation
Zhejiang University(浙江大学);Westlake University(西湖大学);Nanyang Technological University(南洋理工大学);Westlake Institute for Advanced Study(西湖高等研究院)
针对文档级机器翻译的数据稀疏问题,提出用DA模型生成多个潜在目标译文以平滑训练分布,并在News和Europarl上取得新SOTA。
2023-06-04 cs.CL
Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies
Center for Information and Language Processing(信息与语言处理中心);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);CIS, LMU Munich(慕尼黑大学信息与语言处理中心);LMU Munich(慕尼黑大学)
词法丰富的语言给机器翻译带来了困难。依赖于从并行训练数据中进行统计学习的机器翻译引擎(例如最先进的神经系统)面临着挑战,尤其是在输出语言方面具有丰富的形态学。在数据驱动的机器翻译中,丰富的目标端形态学的关键挑战包括:(1)大量不同屈折的词表面形式需要更大的词汇表,因此需要数据稀疏。(2)一些不常见术语的屈折形式通常不会出现在训练语料库中,这使得封闭词汇系统无法生成这些未观察到的变体。(3)语言协议要求系统正确匹配输出句子中的屈折词形式之间的语法类别,无论是在目标侧的形态句法wellformedness和语义充分性方面的输入。在本文中,我们重新调查两个目标方的语言处理技术:一个词元标记策略和语言知情的分词策略。我们的实验是在三个不同量级的训练语料库条件下进行的。我们发现,在域内翻译时,更强的Transformer基线比浅RNN编码器-解码器模型留下的改进空间更小。然而,我们发现,语言建模的目标端形态不受益的Transformer模型时,相同的系统被应用到域外输入文本。我们还成功地将我们的方法应用于英语到捷克语的翻译。
2022-03-25 cs.CL
Predicting Target Language CCG Supertags Improves Neural Machine Translation
University of Edinburgh(爱丁堡大学);Adam Mickiewicz University(亚当·密茨凯维奇大学);Johns Hopkins University(约翰斯·霍普金斯大学)
神经机器翻译(NMT)模型能够从连续的词汇信息中部分地学习句法信息。然而,一些复杂的句法现象,如介词短语附加,模型很差。本文的工作旨在回答两个问题:1)显式地对目标语言语法建模是否有助于NMT?2)单词和语法的紧密结合比多任务训练更好吗?我们在解码器中以CCG超标签的形式引入句法信息,通过将目标超标签与单词序列交织。我们的研究结果表明,明确建模目标语法提高机器翻译质量德语->英语,高资源对,罗马尼亚语->英语,低资源对,也有几个句法现象,包括介词短语附件。此外,单词和语法的紧密耦合比多任务训练更能提高翻译质量。通过将目标语法与在嵌入层中添加源端依赖标签相结合,我们获得了德语->英语的0.9 BLEU和罗马尼亚语->英语的1.2 BLEU的总改进。
2017-07-18 cs.CL
Local Translation Prediction with Global Sentence Representation
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室)
统计机器翻译模型在提高翻译质量方面取得了很大的进展。然而,现有的模型预测的目标翻译只有源和目标端的本地上下文信息。在实践中,区分好的翻译和坏的翻译不仅依赖于局部特征,而且依赖于全局的翻译水平的信息。在本文中,我们探讨了源端的全局翻译水平的目标端的本地翻译预测功能。我们提出了一种新的双语约束的基于块的卷积神经网络学习句子的语义表示。在此基础上,我们进一步设计了一个前馈神经网络,利用局部和全局信息更好地预测翻译。大规模的实验表明,该方法在基于短语的层次翻译模型和神经网络联合模型的基础上,能够显著提高翻译质量。
2015-02-27 cs.CL
Non-Fluent Synthetic Target-Language Data Improve Neural Machine Translation
Universitat d’Alacant(阿利坎特大学)
针对低资源平行语料不足的问题,本研究打破非流利合成目标语有害的假设,将其作为另一语言纳入多语言翻译框架,在14项高低资源任务中均超越现有合成数据方法,且鲁棒性更强、幻觉更少。
2024-01-29 cs.CL
Domain Adaptation of Machine Translation with Crowdworkers
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT集团);Tohoku University(东北大学)
虽然使用大型域内并行语料库训练的机器翻译模型取得了显著的效果,但当没有域内数据时,它仍然工作得很差。这种情况限制了机器翻译在目标域数据有限时的应用。然而,在许多领域,对高质量的特定领域机器翻译模型的需求很大。我们提出了一个框架,高效和有效地收集在一个目标领域的并行句子从网络的帮助下众工。利用收集到的并行数据,我们可以快速地将机器翻译模型适配到目标领域。我们的实验表明,该方法可以收集目标域的并行数据在几天内在一个合理的成本。我们用五个领域对其进行了测试,与通用翻译模型相比,领域适应模型将BLEU分数提高到+19.7,平均提高了+7.8分。
2022-10-28 cs.CL
Target Conditioned Sampling: Optimizing Data Selection for Multilingual Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
为了改进具有多语言语料库的低资源神经机器翻译(NMT),仅使用最相关的高资源语言进行训练通常比使用所有可用数据更有效(Neubig和Hu,2018)。然而,智能数据选择策略可能会进一步改善来自其他辅助语言的数据的低资源NMT。在本文中,我们试图在所有多语言数据上构建一个抽样分布,以便最大限度地减少低资源语言的训练损失。在此基础上,我们提出了一个有效的算法,目标条件采样(TCS),它首先采样一个目标句子,然后有条件地采样其源句子。实验表明,TCS在我们测试的四种语言中的三种语言上带来了高达2 BLEU的显着增益,并且训练开销最小。
2019-05-20 cs.CL
Rethinking Targeted Adversarial Attacks For Neural Machine Translation
HKUST(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
本文指出NMT定向对抗攻击结果被高估的问题,提出更可靠的新攻击设置及TWGA方法,实验证明其能真实有效地攻击受害NMT系统。
2024-07-07 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
为了提高神经机器翻译(NMT)在低资源语言(LRL)上的性能,一个有效的策略是利用相关高资源语言(HRL)的并行数据。然而,已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中,我们的目标是提高多语言传输的NMT模型,翻译\emph{into}的LRL的有效性,通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE},我们提出Decompression,一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明,Deconstruct在从英语翻译到四种不同语言时,可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Why Neural Machine Translation Prefers Empty Outputs
DiDi Labs(滴滴实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
我们研究为什么神经机器翻译(NMT)系统分配高概率空翻译。我们发现两种解释。首先,标签平滑使正确长度的翻译不那么自信,使空翻译更容易最终超过它们。其次,NMT系统使用相同的高频EoS词来结束所有目标句子,而不管长度如何。这将创建一个隐式平滑,以增加零长度平移。在不同长度的目标句子中使用不同的EoS类型暴露并消除了这种隐含的平滑。
2020-12-24 cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo(东京大学)
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中,但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域(和语言对)具有这样的文档级并行数据,因此我们无法在大多数领域中执行准确的上下文感知翻译。因此,我们提出了一个简单的方法,把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库,因此没有文档级的并行数据是必要的。在理论上,本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性,在三个语言对,英语到法语,英语到俄语,日语到英语,通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Asynchronous Bidirectional Decoding for Neural Machine Translation
Xiamen University(厦门大学);Tsinghua University(清华大学)
主导神经机器翻译(NMT)模型采用统一的注意力编码器-解码器神经网络进行翻译。传统上,NMT解码器采用递归神经网络(RNN)以左-右方式执行翻译,使得从右到左生成的目标侧上下文在翻译期间未被利用。在本文中,我们配备了传统的注意力编码器-解码器NMT框架与反向解码器,以探索双向解码NMT。注意由编码器产生的隐藏状态序列,我们的反向解码器首先学习从右到左生成目标端隐藏状态序列。然后,前向解码器在前向方向上执行翻译,而在每个翻译预测时间步中,它同时应用两个注意力模型来分别考虑源侧和反向目标侧隐藏状态。通过这种新的架构,我们的模型能够充分利用源端和目标端的上下文,以提高翻译质量。在NIST中文-英文和WMT英文-德文翻译任务上的实验结果表明,与传统的NMT相比,我们的模型分别获得了3.14和1.38 BLEU点的显著改进。这个工作的源代码可以从https://github.com/DeepLearnXMU/ABDNMT获得。
2018-02-03 cs.CL
Machine Translation in Pronunciation Space
Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
机器翻译界的研究主要集中在文本空间的翻译上。然而,人类其实也擅长在发音空间中进行直接翻译。一些现有的翻译系统,例如同步机器翻译,通过在发音空间中直接翻译,本质上更自然,因此潜在地更鲁棒。在本文中,我们进行了大规模的实验上自建数据集约$20$ M En-Zh对文本句子和相应的发音句子。我们提出了三种新的翻译类别:$1)$将源语言的发音句子翻译成目标语言的发音句子P2P-Tran),$2)$将源语言的文本句子翻译成目标语言的发音句子(T2 P-Tran),以及$3)$将源语言的发音句子翻译成目标语言的文本句子(P2 T-Tran),并与传统的文本翻译(T2 T-Tran)进行比较。我们的实验清楚地表明,所有$4$类别的翻译具有可比的性能,具有小的,有时是可比较的差异。
2019-11-03 cs.CL
Language-Informed Beam Search Decoding for Multilingual Machine Translation
Meta AI;Oregon State University(俄勒冈州立大学)
针对多语言NMT模型束搜索解码易产生偏离目标翻译的问题,提出与模型无关、无需额外平行数据的语言感知束搜索算法LiBS,有效提升翻译质量并大幅降低偏离目标率。
2024-08-11 cs.CL
Mitigating Gender Bias in Machine Translation with Target Gender Annotations
Tilde(蒂尔德公司);University of Latvia(拉脱维亚大学)
翻译时“秘书要求详细说明。“对于一种具有语法性别的语言,可能有必要确定主语“秘书”的性别。如果句子不包含必要的信息,就不可能总是消除歧义。在这种情况下,机器翻译系统选择最常见的翻译选项,这通常对应于刻板的翻译,从而潜在地加剧了对某些群体和人的偏见和边缘化。我们认为,一个适当的翻译所需的信息并不总是可以推断出被翻译的句子,甚至可能依赖于外部知识。因此,在这项工作中,我们建议将获取必要信息的任务与学习正确翻译的任务解耦。为此,我们提出了一种方法,用于训练机器翻译系统使用包含主题的性别信息的单词级注释。为了准备训练数据,我们用相应目标语言词的语法性别信息来注释常规源语言词。使用这样的数据来训练机器翻译系统减少了它们对性别定型观念的依赖,当关于主体性别的信息可用时。我们对五种语言对的实验表明,这可以将WinoMT测试集的准确率提高25.8个百分点。
2020-10-18 cs.CL
Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
在神经机器翻译(NMT)中,每个标记预测都以源句子和目标前缀(先前在解码步骤中已翻译的内容)为条件。然而,以往的工作主要集中在可解释性的NMT源句标记的属性。因此,我们缺乏对每个输入标记(源句子和目标前缀)在模型预测中的影响的充分理解。在这项工作中,我们提出了一个可解释性的方法,跟踪输入令牌的属性为两个上下文。我们的方法可以扩展到任何基于编码器-解码器转换器的模型,使我们能够更好地理解当前NMT模型的内部工作原理。我们将所提出的方法应用于双语和多语言的Transformers,并提出他们的行为的见解。
2022-11-04 cs.CL
Context in Neural Machine Translation: A Review of Models and Evaluations
University of Applied Sciences of Western Switzerland (HES–SO)(瑞士西部应用科学大学);School of Management and Engineering Vaud (HEIG–VD)(沃州管理与工程学院)
本文讨论了过去两年(2017-2018)中上下文如何用于神经机器翻译(NMT)。本文首先简要回顾了NMT模式的快速发展,然后回顾了从不同角度评估NMT输出的研究,重点是那些分析语境现象翻译局限性的研究。在随后的版本中,本文将介绍利用语境提高翻译质量的主要方法,并将旨在改善特定现象翻译的方法与考虑更广泛的非结构化语境的方法区分开来。
2019-01-25 cs.CL
Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models
Maastricht University(马斯特里赫特大学)
本文分析上下文感知机器翻译模型中注意力头对代词消歧的影响,发现部分头未充分利用,微调后准确率提升最多5个百分点。
2024-12-15 cs.AI cs.CL cs.LG
Modeling Target-Side Inflection in Neural Machine Translation
LMU Munich(慕尼黑大学);Memsource;University of Stuttgart(斯图加特大学)
NMT系统存在词汇量大的问题。字节对编码(BPE)是解决这个问题的流行方法,但是尽管BPE允许系统生成任何目标端单词,但是它不能在具有强屈折现象的形态丰富的语言中的丰富词汇上实现有效的泛化。我们引入一种简单的方法来克服这个问题,通过训练系统来产生一个词的词元及其形态丰富的POS标签,然后进行确定性生成步骤。我们将此策略应用于英语-捷克语和英语-德语翻译场景,在这两种设置中都得到了改进。此外,我们表明,改善是不是由于只添加明确的形态信息。
2017-09-05 cs.CL
Bilingual Synchronization: Restoring Translational Relationships with Editing Operations
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(跨学科数字科学实验室);SYSTRAN(思迪翻译)
机器翻译(MT)通常被视为一个一次性的过程,从零开始生成与源文本等价的目标语言。我们在这里考虑一个更一般的设置,它假设一个初始的目标序列,必须转换成一个有效的翻译的来源,从而恢复源和目标之间的并行性。对于这个双语同步任务,我们考虑了几种架构(自回归和非自回归)和训练机制,并尝试了多种实际设置,如模拟交互式MT,翻译记忆库(TM)和TM清理。我们的研究结果表明,一个单一的通用编辑为基础的系统,一旦微调,可以比较,甚至优于,专门为这些任务训练的专用系统。
2022-10-24 cs.CL
Isochrony-Aware Neural Machine Translation for Automatic Dubbing
Amazon(亚马逊)
我们介绍了任务的等时意识的机器翻译,其目的是在生成翻译适合配音。配音需要将源语言的内容以及语音停顿结构转换为目标语言,以实现视听连贯。实际上,这意味着正确地将停顿从源投影到目标,并确保目标语音段具有与对应的源语音段大致相同的持续时间。在这项工作中,我们提出了隐式和显式建模方法,将等时信息集成到神经机器翻译中。英语-德语/法语语言对自动度量的实验表明,最简单的考虑方法效果最好。结果通过翻译和配音视频的人工评估得到证实。
2022-07-08 cs.CL
Promoting Target Data in Context-aware Neural Machine Translation
Vicomtech Foundation(维康泰克基金会);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟(BRTA));University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU))
本研究探讨在拼接式上下文感知NMT中增强目标上下文的策略,实验证明将目标上下文并入源端可显著提升目标语言现象翻译质量,且结合双上下文效果最佳。
2024-02-09 cs.CL
Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
令牌级自适应训练方法可以缓解令牌不平衡问题,从而通过基于特定统计度量(例如,令牌频率或互信息)。鉴于标准的翻译模型预测的条件下,以前的目标上下文,我们认为,上述统计指标忽略了目标上下文信息,并可能分配不适当的权重目标令牌。虽然一种可能的解决方案是直接将目标上下文纳入这些统计度量中,但目标上下文感知统计计算是极其昂贵的,并且相应的存储开销是不现实的。为了解决上述问题,我们提出了一个目标上下文感知的度量,命名为条件双语互信息(CBMI),这使得它可行的补充目标上下文信息的统计度量。特别地,我们的CBMI可以通过分解条件联合分布形式化为翻译模型概率和语言模型概率的对数商。因此,CBMI可以在模型训练期间有效地计算,而无需任何预先特定的统计计算和大量的存储开销。此外,我们提出了一个有效的自适应训练方法的基础上的令牌和令牌级CBMI。在WMT 14英-德和WMT 19中-英任务上的实验结果表明,该方法的性能明显优于Transformer基线和其他相关方法。
2022-03-06 cs.CL
Cross-lingual neural fuzzy matching for exploiting target-language monolingual corpora in computer-aided translation
Universitat d’Alacant(阿利坎特大学)
本文提出一种跨语言神经模糊匹配方法,利用目标语单语语料库弥补翻译记忆不足,通过跨语言句子嵌入检索翻译建议并用神经模型估计译后编辑工作量,实验证明其能有效提升CAT工具中翻译建议的数量与实用性。
2024-01-16 cs.CL
On Target Segmentation for Direct Speech Translation
AppTek GmbH(AppTek 有限公司);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
最近对直接语音翻译的研究表明,通过数据增强技术和更大的深度学习模型,直接语音翻译不断得到改进。虽然这些方法有助于缩小这种新方法和更传统的级联方法之间的差距,但不同的研究之间存在许多不一致之处,因此难以评估最先进的技术水平。最早提出的多级分割是为了获得一个开放的词汇表,但它会导致长序列和长训练时间。然后,子词级分割成为神经机器翻译的最新技术,因为它产生更短的序列,减少了训练时间,同时优于词级模型。因此,最近的语音翻译工作开始使用目标子词,尽管最初使用的字符和一些最近声称在字符级别的更好的结果。在这项工作中,我们进行了广泛的比较,这两种方法在三个基准涵盖8个语言方向和多语言培训。子词级分割在所有设置中都比较有利,在1到3个BLEU点的范围内优于字符级分割。
2020-09-10 cs.CL
Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages
Microsoft AI & Research(微软人工智能与研究院)
用于神经机器翻译(NMT)的迁移学习方法训练关于辅助-目标语言对(父模型)的NMT模型,其稍后针对感兴趣的源-目标语言对(子模型)进行微调,其中目标语言是相同的。在许多情况下,辅助语言具有与源语言不同的词序。我们发现,当源语言和目标语言之间几乎没有平行语料库时,不同的词序会限制迁移学习的益处。为了弥合这种分歧,我们提出了预排序的辅助语言句子匹配源语言的词序和训练父模型。我们对许多语言对的实验表明,弥合语序差距会显着提高翻译质量。
2019-04-10 cs.CL
Multi-Source Neural Machine Translation with Data Augmentation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
多源翻译系统将多种语言翻译成单一目标语言。通过使用来自这些多个来源的信息,这些系统在准确性上获得了很大的增益。为了训练这些系统,需要有多个源和目标语言的平行文本语料库。然而,这些语料库在实践中很少是完整的,因为很难提供所有相关语言的人工翻译。在本文中,我们提出了一种数据增强的方法来填补这些不完整的部分,使用多源神经机器翻译(NMT)。在我们的实验中,不同的语言组合的结果不同,但显着的收益时,使用源语言类似的目标语言观察。
2018-11-08 cs.CL
Towards Two-Dimensional Sequence to Sequence Model in Neural Machine Translation
RWTH Aachen University(亚琛工业大学)
本文研究了神经机器翻译(NMT)的一种替代模型,并提出了一种新的架构,采用多维长短期记忆(MDLSTM)进行翻译建模。在最先进的方法中,源和目标句子被视为随时间推移的一维序列,而我们将翻译视为使用MDLSTM层定义源和目标词之间的对应关系的二维的【形】(2D)映射。我们扩展超出当前的序列到序列骨干NMT模型的2D结构,其中源和目标句子在2D网格中彼此对齐。我们提出的拓扑结构在两个WMT 2017任务上显示了基于注意力的序列到序列模型的一致改进,德语$\leftrightarrow$英语。
2018-10-09 cs.CL
Joint Training for Neural Machine Translation Models with Monolingual Data
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
单语数据已被证明有助于提高统计机器翻译(SMT)系统和神经机器翻译(NMT)系统的翻译质量,特别是在资源贫乏或并行数据不够丰富的领域自适应任务中。在本文中,我们提出了一种新的方法,以更好地利用单语数据的神经机器翻译通过联合学习源到目标和目标到源NMT模型的语言对与联合EM优化方法。训练过程开始于在每个方向的并行数据上预训练的两个初始NMT模型,并且通过递增地减少训练数据上的平移损失来迭代地更新这两个模型。在每个迭代步骤中,两个NMT模型首先用于将单语数据从一种语言翻译成另一种语言,形成另一NMT模型的伪训练数据。然后从并行数据和伪训练数据中学习两个新的NMT模型。这两种NMT模型都有待于进一步改进,以产生更好的伪训练数据。在汉英和英德翻译任务上的实验结果表明,该方法可以同时提高源到目标和目标到源模型的翻译质量,显著优于使用单语数据进行模型训练(包括回译)的强基线系统。
2018-03-01 cs.CL
Neural Machine Translation with Pivot Languages
Tsinghua University(清华大学)
虽然最近的神经机器翻译方法已经为资源丰富的语言对提供了最先进的性能,但它们遭受资源稀缺语言对的数据稀缺问题。虽然这个问题可以通过利用枢纽语言来桥接源语言和目标语言来缓解,但是源到枢纽和枢纽到目标翻译模型通常是独立训练的。在这项工作中,我们介绍了一个联合训练算法的神经机器翻译。我们提出了三种方法来连接这两个模型,并使它们能够在训练过程中相互交互。在Europarl和WMT语料库上的实验表明,源到主元和主元到目标模型的联合训练比各种语言的独立训练有显著的改进。
2017-02-21 cs.CL
It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information
University of Copenhagen(哥本哈根大学);Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Tokyo Institute of Technology(东京工业大学)
神经机器翻译系统的性能通常用BLEU来评估。然而,由于其依赖于目标语言属性和生成,BLEU度量不允许评估哪些翻译方向更难以建模。在本文中,我们提出了交叉互信息(XMI):一个不对称的信息理论度量的机器翻译难度,利用大多数神经机器翻译模型的概率性质。XMI允许我们更好地评估将文本翻译成目标语言的难度,同时控制独立于翻译任务的目标端生成组件的难度。然后,我们提出了第一个系统和控制的跨语言翻译困难的研究,使用现代神经翻译系统。复制我们实验的代码可以在https://github.com/e-bug/nmt-difficulty上找到。
2020-05-17 cs.CL
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University(天津大学)
在跨所有语言完全共享参数的多语言神经机器翻译模型中,通常使用人工语言令牌来引导翻译成期望的目标语言。然而,最近的研究表明,前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向,特别是在zero-shot翻译中。为了缓解这个问题,我们提出了两种方法,语言嵌入体现和语言感知的多头注意力,学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点,目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部,以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明,语言感知的多头注意力对监督翻译和zero-shot翻译都有好处,并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明,通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
Generating Authentic Adversarial Examples beyond Meaning-preserving with Doubly Round-trip Translation
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
通过释放意义保持限制,为神经机器翻译(NMT)生成具有单个往返翻译(RTT)的对抗性示例已经取得了令人鼓舞的结果。然而,这种方法的一个潜在陷阱是,我们无法决定生成的示例是与目标NMT模型还是辅助后向模型对抗,因为通过RTT的重建误差可能与两者都有关。为了解决这个问题,我们提出了一个新的标准NMT对抗性的例子的基础上双往返翻译(DRTT)。具体来说,除了源-目标-源RTT之外,我们还考虑了目标-源-目标RTT,它用于为目标NMT模型挑选真实的对抗性示例。此外,为了提高NMT模型的鲁棒性,我们引入了基于DRTT的掩蔽语言模型来构造双语对抗对,并直接用于NMT模型的训练。在干净和有噪声的测试集(包括人工噪声和自然噪声)上的大量实验表明,该方法大大提高了NMT模型的鲁棒性。
2022-04-19 cs.CL