Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization
Tsinghua University(清华大学);Sogou Inc.(搜狗公司)
虽然神经机器翻译最近取得了重大进展,但如何整合多个重叠的、任意的先验知识源仍然是一个挑战。在这项工作中,我们建议使用后验正则化提供一个通用的框架,将先验知识集成到神经机器翻译。我们将先验知识源表示为对数线性模型中的特征,该模型指导神经翻译模型的学习过程。汉英翻译实验表明,该方法能显著提高翻译质量。
2018-11-02 cs.CL
JUCBNMT at WMT2018 News Translation Task: Character Based Neural Machine Translation of Finnish to English
Jadavpur University(贾达布尔大学)
在当前的工作中,我们介绍了提交给WMT 2018新闻翻译共享任务的系统的描述。该系统是为了将新闻文本从芬兰语翻译成英语而创建的。该系统使用基于字符的神经机器翻译模型来完成给定的任务。目前的文件的预处理步骤,提交的系统和使用相同的结果产生的描述。我们的系统获得的BLEU评分为12.9。
2019-08-01 cs.CL
Six Challenges for Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
我们探讨了神经机器翻译的六个挑战:领域不匹配、训练数据量、稀有词、长句、词对齐和束搜索。我们显示了基于短语的统计机器翻译的质量的不足和改进。
2017-06-12 cs.CL
Zero-Resource Translation with Multi-Lingual Neural Machine Translation
Middle East Technical University(中东技术大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);New York University(纽约大学)
在本文中,我们提出了一种新的微调算法,最近推出的多路,多语言神经机器翻译,使零资源机器翻译。当与新颖的多对一翻译策略一起使用时,我们的经验表明,这种微调算法允许多路多语言模型翻译零资源语言对(1)以及用相同语言对的多达1M个直接平行句子训练的单对神经翻译模型(2)优于基于机器翻译的翻译策略,同时仅保留注意力相关参数的一个附加副本。
2016-06-13 cs.CL
A Baseline Neural Machine Translation System for Indian Languages
IIIT Hyderabad(印度海得拉巴国际信息技术学院);IIT Kanpur(印度坎普尔理工学院)
我们提出了一个简单而有效的印度语言神经机器翻译系统。我们证明了多语言对的可行性,并为进一步的研究建立了一个强有力的基线。
2019-07-29 cs.CL
Incremental Decoding and Training Methods for Simultaneous Translation in Neural Machine Translation
Qatar Computing Research Institute – HBKU(卡塔尔计算研究所–哈马德·本·哈利法大学)
我们通过修改神经MT解码器来解决同声翻译的问题,使其与动态构建的编码器和注意力一起工作。我们提出了一个可调的代理,决定最好的分割策略,用户定义的BLEU损失和平均比例(AP)的约束。我们的代理在BLEU上的性能优于先前提出的Wait-if-diff和Wait-if-worse代理(Cho和Esipova,2016),具有较低的延迟。其次,我们提出了对神经MT训练进行数据驱动的更改,以更好地匹配增量解码框架。
2018-06-10 cs.CL
Summer: WeChat Neural Machine Translation Systems for the WMT22 Biomedical Translation Task
Tencent Inc(腾讯公司)
本文介绍了微信参与WMT 2022共享的生物医学翻译任务中到英。我们的系统是基于Transformer,并使用几种不同的Transformer结构,以提高翻译质量。在我们的实验中,我们采用数据过滤,数据生成,几个变种的Transformer,微调和模型集成。我们的中文$\to$英文系统Summer在所有提交的作品中获得了最高的BLEU分数。
2022-11-28 cs.CL
Why Neural Machine Translation Prefers Empty Outputs
DiDi Labs(滴滴实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
我们研究为什么神经机器翻译(NMT)系统分配高概率空翻译。我们发现两种解释。首先,标签平滑使正确长度的翻译不那么自信,使空翻译更容易最终超过它们。其次,NMT系统使用相同的高频EoS词来结束所有目标句子,而不管长度如何。这将创建一个隐式平滑,以增加零长度平移。在不同长度的目标句子中使用不同的EoS类型暴露并消除了这种隐含的平滑。
2020-12-24 cs.CL
Neural Machine Translation from Simplified Translations
SYSTRAN
语篇简化的目的是在保持语篇意义不变的前提下,减少语篇在词汇、语法和结构上的复杂性。在机器翻译的背景下,我们引入了简化翻译的想法,以提高深度神经翻译模型的学习能力。我们进行初步的实验表明,翻译的复杂性实际上是减少了在翻译的源双文本相比,目标参考的双文本,而使用神经机器翻译(NMT)系统上学习完全相同的双文本。基于知识蒸馏的思想,我们使用简化的双文本训练了一个NMT系统,并证明了它优于在参考数据集上构建的初始系统。当使用参考和自动翻译来学习网络时,性能进一步提高。我们进行了初步分析的翻译语料库和报告的准确性结果的建议的方法对英语到法语和英语到德语的翻译任务。
2016-12-19 cs.CL
Pre-Translation for Neural Machine Translation
Institute for Anthropomatics(拟人学研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
近年来,神经机器翻译(NMT)的发展显著提高了自动机器翻译的翻译质量。虽然大多数句子比基于统计机器翻译(SMT)的系统翻译的句子更准确和流畅,但在某些情况下,NMT系统产生的翻译具有完全不同的含义。当出现罕见的单词时,情况尤其如此。当使用统计机器翻译时,已经表明可以通过简化预处理步骤中的输入来实现显著的增益。一个常用的例子是预重排序方法。在这项工作中,我们使用基于短语的机器翻译将输入预翻译成目标语言。然后,神经机器翻译系统使用预翻译生成最终假设。因此,我们要么只使用基于短语的机器翻译(PBMT)系统的输出,要么结合PBMT输出和源句子。我们在英语到德语翻译任务上评估该技术。使用这种方法,我们能够超过PBMT系统以及基线神经MT系统多达2个BLEU点。分析了初始系统的质量对最终结果的影响。
2016-10-17 cs.CL
Variational Neural Machine Translation
Soochow University(苏州大学);Xiamen University(厦门大学)
神经机器翻译的模型通常来自于编码器解码器的区别性家族,其在给定源句子的情况下学习目标句子的条件分布。在本文中,我们提出了一个变分模型来学习神经机器翻译的条件分布:一个可以端到端训练的变分编码器解码器模型。与仅从源语句的隐藏表示生成目标翻译的香草编码器-解码器模型不同,变分模型引入连续潜变量来显式地对源语句的底层语义进行建模并指导目标翻译的生成。为了进行有效的后验推理和大规模的训练,我们建立了一个神经后验近似器的源和目标双方的条件,并配备了一个重新参数化技术来估计变分下界。在汉英和英德两种翻译任务上的实验表明,本文提出的变分神经机器翻译比普通神经机器翻译基线有了显著的改进。
2016-09-25 cs.CL
Context-Aware Learning for Neural Machine Translation
New York University(纽约大学);CIFAR Azrieli Global Scholar(CIFAR Azrieli全球学者(注:CIFAR是加拿大高级研究所,非机构;此处按原文保留))
对大上下文神经机器翻译的兴趣,包括文档级和多模态翻译,一直在增长。许多作品提出了新的网络架构或评估方案,但潜在的有用的上下文有时仍然被较大的上下文翻译模型所忽略。在本文中,我们提出了一种新的学习算法,明确鼓励神经翻译模型考虑到额外的上下文使用多级成对排序损失。我们评估所提出的学习算法与基于transformer的大上下文翻译系统的文档级翻译。通过比较使用实际和随机上下文的性能,我们表明,使用该算法训练的模型对额外的上下文更敏感。
2019-03-12 cs.CL
CytonMT: an Efficient Neural Machine Translation Open-source Toolkit Implemented in C++
Advanced Translation Research and Development Promotion Center(高级翻译研发促进中心);National Institute of Information and Communications Technology, Japan(日本国立信息与通信技术研究所)
本文介绍了一个名为CytonMT(https://github.com/arthurxlw/cytonMt)的开源神经机器翻译工具包。该工具包仅使用C++和NVIDIA的GPU加速库从头开始构建。该工具包具有培训效率,代码简单和翻译质量。基准测试表明,CytonMT在各种规模的神经网络上将训练速度加快了64.5%至110.8%,并达到了具有竞争力的翻译质量。
2018-06-02 cs.CL
Augmenting Neural Machine Translation with Knowledge Graphs
University of Paderborn(帕德博恩大学);Insight Centre for Data Analytics, Data Science Institute National University of Ireland Galway(爱尔兰国立高威大学数据科学研究院洞察数据分析中心)
虽然神经网络已被广泛用于在机器翻译任务中取得实质性进展,但已知它们严重依赖于大量训练数据的可用性。最近的努力已经尝试通过使用不同的策略(诸如反向转换)来增加训练数据来缓解数据稀疏问题。随着数据的稀缺,词汇表外的单词,主要是实体和术语表达,对神经机器翻译系统提出了严峻的挑战。在本文中,我们假设知识图谱增强了神经模型的语义特征提取,从而优化了文本中实体和术语表达的翻译,从而提高了翻译质量。因此,我们研究了两种不同的策略,将知识图谱到神经模型,而不修改的神经网络架构。我们还研究了我们的增强方法对经常性和非经常性(自我注意)神经架构的有效性。我们的知识图谱增强神经翻译模型(称为KG-NMT)在2014年至2018年间针对WMT英德翻译任务的最新测试数据集上平均实现了+3 BLEU、METEOR和chrF 3的显着且一致的改进。
2019-02-23 cs.CL
Coverage Embedding Models for Neural Machine Translation
T.J. Watson Research Center(托马斯·J·沃森研究中心);IBM(IBM公司)
在本文中,我们通过添加显式覆盖嵌入模型来增强基于注意力的神经机器翻译(NMT),以减轻NMT中的重复和丢弃翻译的问题。对于每个源词,我们的模型从一个完整的覆盖嵌入向量开始跟踪覆盖状态,然后随着翻译的进行,用神经网络不断更新它。在大规模汉英翻译任务上的实验表明,与强大的大词汇量NMT系统相比,我们的改进模型在各种测试集上的翻译质量都有显著提高。
2016-08-29 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University(岐阜大学)
神经机器翻译(NMT)已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而,对于许多语言对,没有丰富的资源平行语料库存在。如本文所述,我们提出了一种语料库增强方法,通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库(ASPEC-JC)进行日汉、汉日翻译的实验结果表明,该方法提高了翻译性能。
2019-05-22 cs.CL
OpenNMT: Open-source Toolkit for Neural Machine Translation
Harvard University(哈佛大学);SYSTRAN(SYSTRAN公司)
我们为神经机器翻译(NMT)引入了一个开源工具包,以支持对模型架构、特征表示和源模态的研究,同时保持有竞争力的性能、模块化和合理的训练要求。
2017-09-12 cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology(国立信息通信技术研究所)
最近的工作在以完全无监督的方式训练神经机器翻译(NMT)系统方面取得了显着的成果,该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中,我们建议将无监督NMT(UNMT)定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构,通过用合成双语数据代替人工双语数据进行训练,提出了监督NMT。我们建议用无监督统计机器翻译(USMT)生成的合成双语数据初始化UNMT的训练。然后,利用反向翻译,逐步改进联合国地雷行动组系统。我们的初步实验表明,我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务,两个翻译方向。
2018-10-30 cs.CL
Incorporating Syntactic Uncertainty in Neural Machine Translation with Forest-to-Sequence Model
Monash University(蒙纳士大学)
在神经机器翻译模型中解释句法信息是一种补偿其对大量并行训练文本的需求的方法,特别是对于低资源语言对。以前的工作使用(不可避免地容易出错)解析器提供的语法信息一直很有前途。在本文中,我们提出了一个森林到序列的注意力神经机器翻译模型,利用指数级的源句子的分析树来补偿分析错误。我们的方法将解析树的集合表示为一个打包的森林,并学习从森林到目标句子的神经注意力转导模型。在英语到德语、汉语和波斯语的翻译实验中,我们的方法比树到序列和香草序列到序列神经翻译模型的优越性。
2017-11-24 cs.CL
A neural interlingua for multilingual machine translation
Amazon Inc.(亚马逊公司)
我们将一个显式的神经中间语言的多语言编码器-解码器神经机器翻译(NMT)架构。我们证明,我们的模型通过执行直接零镜头翻译(zero-shot translation)(不使用枢轴翻译)以及使用源句子嵌入来创建英语Yelp评论分类器来学习独立于语言的表示,该分类器通过神经中介语,也可以对法语和德语评论进行分类。此外,我们表明,尽管使用的参数数量比双语NMT模型的成对集合少,但我们的方法在WMT 15中为每个语言对产生了可比的BLEU分数。
2018-10-16 cs.CL
Domain specialization: a post-training domain adaptation for Neural Machine Translation
SYSTRAN
领域自适应是机器翻译的一个重要特征。它通常包括术语、领域和风格适应,特别是计算机辅助翻译(CAT)中的人工后期编辑工作流程。在神经机器翻译(NMT)中,我们引入了一种新的领域自适应概念,我们称之为“专业化”,它在学习速度和适应准确性方面都显示出了良好的效果。在本文中,我们建议从几个角度探讨这种方法。
2016-12-19 cs.CL
A Multifaceted Evaluation of Neural versus Phrase-Based Machine Translation for 9 Language Directions
Dublin City University(都柏林城市大学);University of Groningen(格罗宁根大学);Prompsit Language Engineering(Prompsit语言工程公司)
我们的目标是阐明新引入的神经机器翻译范式的优点和缺点。为此,我们进行了多方面的评估,其中我们比较了最先进的神经机器翻译和基于短语的机器翻译系统在多个维度上为9个语言方向产生的输出。具体来说,我们测量输出的相似性,它们的流畅性和重新排序的数量,句子长度的影响和不同错误类别的表现。我们发现,与基于短语的系统相比,神经机器翻译系统产生的翻译在词序方面有很大的不同,更流畅,更准确。神经机器翻译系统在产生屈折形式方面也更准确,但在翻译非常长的句子时表现不佳。
2017-01-11 cs.CL
Debugging Neural Machine Translations
Tilde(Tilde公司)
在本文中,我们描述了一种工具,用于调试神经机器翻译(NMT)系统的输出和注意力的权重,并改进估计的信心输出的基础上的注意。该工具的目的是帮助研究人员和开发人员找到他们的NMT系统产生的不需要参考翻译的弱和错误的示例翻译。我们的工具还包括一个选项,可以直接比较两个不同NMT引擎或实验的翻译输出。此外,我们还提供了一个工具的演示网站,其中包含好的和坏的翻译示例:http://attention.lielakeda.lv
2018-08-08 cs.CL
Using CollGram to Compare Formulaic Language in Human and Neural Machine Translation
Universite catholique de Louvain(鲁汶天主教大学)
对高质量报纸文章的人工和神经机器翻译中公式化序列的比较表明,神经机器翻译包含较少的低频但强关联的公式化序列,以及更多的高频公式化序列。这些差异具有统计学显著性,效应量几乎总是中等或大。这些观察结果可能与不同水平的第二语言学习者之间以及翻译文本和未翻译文本之间的差异有关。神经机器翻译系统之间的比较表明,一些系统产生更多的公式化序列的两种类型比其他系统。
2021-07-23 cs.CL
Assessing the Tolerance of Neural Machine Translation Systems Against Speech Recognition Errors
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Interactions, LLC(Interactions有限责任公司)
机器翻译系统传统上是在不对口语中发生的现象进行建模的文本资源上训练的。虽然在文献中积极研究了神经机器翻译系统对文本输入的评估,但很少发现使用神经模型翻译口语数据的复杂性。我们介绍和激励有趣的问题时,考虑到神经机器翻译(NMT)系统的自动语音识别(ASR)输出的翻译。我们测试了NMT编码器-解码器建模的句子编码方法的鲁棒性,重点是基于单词的字节对编码。我们将最先进的NMT编码器-解码器系统中包含ASR错误的话语的翻译与基于短语的机器翻译基线进行比较,以便更好地理解ASR输出中存在的哪些现象在NMT框架下比将翻译表示为线性模型的方法更好地表示。
2019-04-24 cs.CL
Active Learning for Interactive Neural Machine Translation of Data Streams
Pattern Recognition and Human Language Technology Research Center(模式识别与人类语言技术研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
我们研究应用主动学习技术,通过交互式神经机器翻译的无界数据流的翻译。其主要思想是从一个无限的源句子流中选择那些值得由人工智能监督的句子。用户将以交互方式翻译这些样本。一旦验证,这些数据对于调整神经机器翻译模型是有用的。我们提出了两种新的方法来选择要验证的样本。我们利用神经机器翻译系统的注意力机制的信息。我们的实验表明,将主动学习技术纳入该管道可以减少过程中所需的工作量,同时提高翻译系统的质量。此外,它能够平衡实现一定翻译质量所需的人力。此外,我们的神经系统的性能远远优于经典方法。
2018-10-25 cs.CL
Incorporating Structural Alignment Biases into an Attentional Neural Translation Model
University of Melbourne(墨尔本大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学);Monash University(莫纳什大学)
机器翻译的神经编码器-解码器模型已经取得了令人印象深刻的结果,可以与传统的翻译模型相媲美。然而,他们的建模公式过于简单化,并省略了传统模型中内置的几个关键归纳偏差。在本文中,我们扩展了注意力神经翻译模型,以包括基于单词的对齐模型的结构偏差,包括位置偏差、马尔科夫条件反射、繁殖力和翻译方向的一致性。我们显示了基线注意力模型和基于短语的标准模型在几种语言对上的改进,在低资源环境下对困难的语言进行评估。
2016-01-06 cs.CL
Variable-length Neural Interlingua Representations for Zero-shot Neural Machine Translation
Kyoto University(京都大学);NICT(日本信息通信研究机构);NII(日本国立信息学研究所)
针对零样本翻译,提出变长神经中间语言表示方法以克服固定长度表示的灵活性限制,在多个数据集上取得更优结果,并定位了特定源语言翻译效能欠佳的缺陷组件。
2023-05-17 cs.CL
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University(东京都立大学)
神经机器翻译(NMT)最近在机器翻译领域变得流行。然而,NMT在翻译中存在着重词或漏词的问题。为了解决这个问题,Tu et al.(2017)提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中,他们以与Bahdanau等人(2015)相同的方式选择了最佳的前向翻译模型,然后训练了一个双向翻译模型作为微调。他们的实验表明,它提供了显着提高BLEU分数在汉英翻译任务。我们证实,我们的重新实施也表现出同样的趋势,并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外,我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
Nematus: a Toolkit for Neural Machine Translation
University of Edinburgh(爱丁堡大学);Middle East Technical University(中东技术大学);New York University(纽约大学);Heidelberg University(海德堡大学);University of Zurich(苏黎世大学)
我们介绍了Nematus,一个神经机器翻译工具包。该工具包优先考虑高翻译准确性、可用性和可扩展性。Nematus已被用于为WMT和IWITOS的共享翻译任务构建高性能的提交,并已被用于生产环境的训练系统。
2017-03-13 cs.CL
Syntactically Guided Neural Machine Translation
University of Cambridge(剑桥大学);SDL Research(SDL研究院)
我们研究了基于层次短语的SMT格在端到端神经机器翻译(NMT)中的使用。权重推送将完整翻译假设的Hiero分数与完整翻译语法分数和完整n元语言模型分数一起转换为与NMT预测概率兼容的后验。通过稍微修改的NMT波束搜索解码器,我们发现Hiero和NMT解码单独的增益,在将NMT扩展到非常大的输入和输出词汇方面具有实际优势。
2016-05-19 cs.CL
On Using Very Large Target Vocabulary for Neural Machine Translation
Université de Montréal(蒙特利尔大学)
神经机器翻译是最近提出的一种纯粹基于神经网络的机器翻译方法,与现有的方法如基于短语的统计机器翻译相比,已经显示出有希望的结果。尽管最近取得了成功,但神经机器翻译在处理更大的词汇量方面有其局限性,因为训练复杂度以及解码复杂度与目标单词的数量成比例地增加。在本文中,我们提出了一种方法,使我们能够使用一个非常大的目标词汇,而不增加训练的复杂性,基于重要性采样。我们表明,解码可以有效地完成,即使与模型有一个非常大的目标词汇,只选择一个小的子集,整个目标词汇。经验发现,通过所提出的方法训练的模型优于具有小词汇量的基线模型以及基于LSTM的神经机器翻译模型。此外,当我们使用具有非常大的目标词汇的几个模型的集成时,我们在英语->德语翻译上实现了最先进的翻译性能(由BLEU测量),并且几乎与最先进的英语->法语翻译系统一样高。
2015-03-18 cs.CL
Learning to Parse and Translate Improves Neural Machine Translation
The University of Tokyo(东京大学);New York University(纽约大学)
在神经机器翻译之前,人们对语言学的关注相对较少。许多以前的工作进一步限制到考虑语言的源端之前。在本文中,我们提出了一个混合模型,称为NMT+RNNG,学习解析和翻译相结合的递归神经网络语法到基于注意力的神经机器翻译。我们的方法鼓励神经机器翻译模型在训练过程中加入语言先验知识,然后让它自己翻译。在四个语言对上的实验表明了NMT+RNNG的有效性。
2017-04-23 cs.CL
Towards String-to-Tree Neural Machine Translation
Bar-Ilan University(巴伊兰大学)
我们提出了一个简单的方法,将目标语言的句法信息在神经机器翻译系统中,通过转换成线性化,词汇化的选区树。WMT16德英新闻翻译任务的实验结果表明,与在相同数据集上训练的语法不可知的NMT基线相比,BLEU得分有所提高。对来自语法感知系统的翻译的分析表明,与基线相比,它在翻译期间执行更多的重新排序。一个小规模的人类评估也显示了语法感知系统的优势。
2017-05-06 cs.CL
NMTPY: A Flexible Toolkit for Advanced Neural Machine Translation Systems
Laboratoire d’Informatique de l’Université du Maine (LIUM)(曼恩大学计算机实验室(LIUM))
在本文中,我们介绍了nmtpy,一个基于Theano的灵活Python工具包,用于训练神经机器翻译和其他神经序列到序列架构。nmtpy从训练和推理实用程序中简化了网络的规范,以简化新体系结构的添加并减少要编写的样板代码的数量。2016年和2017年,nmtpy已被LIUM用于WMT多模态机器翻译和新闻翻译任务的顶级提交。
2017-06-01 cs.CL
Effective Strategies in Zero-Shot Neural Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了两个策略,可以应用于多语言神经机器翻译系统,以更好地解决zero-shot的情况下,即使没有任何平行语料库。实验结果表明,该算法在性能和计算资源方面都是有效的,尤其是在零资源条件下对不平衡数据的多语种翻译时,能够有效缓解语言偏见问题。
2017-11-22 cs.CL
Iterative Batch Back-Translation for Neural Machine Translation: A Conceptual Model
一种有效的方法来产生大量的并行句子训练改进的神经机器翻译(NMT)系统是使用目标端单语数据的回译。最近,迭代回译已被证明优于标准回译,尽管在一些语言对。这项工作提出了迭代批量回译,旨在提高标准的迭代回译,使更多的单语数据的有效利用。在每次迭代之后,将新句子的改进的反向翻译添加到并行数据中,并行数据将用于训练最终的前向模型。这项工作提出了一个概念模型所提出的方法。
2020-11-16 cs.CL
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University(天津大学)
在跨所有语言完全共享参数的多语言神经机器翻译模型中,通常使用人工语言令牌来引导翻译成期望的目标语言。然而,最近的研究表明,前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向,特别是在zero-shot翻译中。为了缓解这个问题,我们提出了两种方法,语言嵌入体现和语言感知的多头注意力,学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点,目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部,以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明,语言感知的多头注意力对监督翻译和zero-shot翻译都有好处,并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明,通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
Supervised Attentions for Neural Machine Translation
T.J. Watson Research Center(沃森研究中心);IBM
在本文中,我们通过利用训练句子对的对齐来提高神经机器翻译的注意力或对齐精度。我们简单地计算机器注意力和“真实”对齐之间的距离,并在训练过程中最小化此成本。我们在大规模汉英翻译任务上的实验表明,我们的模型比大词汇量神经机器翻译系统显著提高了翻译和对齐质量,甚至击败了最先进的传统基于语法的系统。
2016-07-30 cs.CL
Neural Machine Translation: A Review and Survey
University of Cambridge(剑桥大学);Google Research(谷歌研究院)
机器翻译(MT)是将书面文本从一种自然语言自动翻译成另一种自然语言的领域,近年来经历了重大的范式转变。统计机器翻译主要依赖于各种基于计数的模型,并且几十年来一直主导着机器翻译研究,它在很大程度上已经被神经机器翻译(NMT)所取代,后者用单个神经网络来处理翻译。在这项工作中,我们将追溯到现代NMT架构的起源字和句子嵌入和早期的编码器-解码器网络家族的例子。最后,我们将对该领域的最新趋势进行一次调查。
2020-09-29 cs.CL
Guiding Non-Autoregressive Neural Machine Translation Decoding with Reordering Information
WeChat AI, Tencent Inc.(腾讯公司微信人工智能)
非自回归神经机器翻译(NAT)并行生成每个目标词,并实现了有前途的推理加速。然而,由于巨大的解码空间,现有的NAT模型在翻译质量上与自回归神经机器翻译模型相比仍有很大的差距。为了解决这个问题,我们提出了一种新的NAT框架命名为ReorderNAT明确建模的重排序信息的解码过程。我们进一步介绍了确定性和非确定性的解码策略,利用重新排序的信息,以缩小解码搜索空间在我们提出的ReorderNAT。各种广泛使用的数据集上的实验结果表明,我们提出的模型实现了更好的性能相比,现有的NAT模型,甚至达到了相当的翻译质量的自回归翻译模型具有显着的加速。
2020-12-16 cs.CL
Universal Vector Neural Machine Translation With Effective Attention
Southern Methodist University(南卫理公会大学)
神经机器翻译(NMT)利用一个或多个经训练的神经网络来翻译短语。Sutskever引入了一种基于序列到序列的编码器-解码器模型,该模型成为基于NMT的系统的标准。后来引入了注意力机制,以解决长句翻译的问题,并提高整体准确性。在本文中,我们提出了一个奇异模型的神经机器翻译的编码器-解码器模型的基础上。大多数翻译模型都被训练成一个模型用于一个翻译。我们引入了一个中立/通用的模型表示,可以用来预测一个以上的语言取决于源和提供的目标。其次,我们引入了一个注意力模型,通过增加一个整体的学习向量的乘法模型。通过这两个变化,通过使用新颖的通用模型,减少了多语言翻译应用所需的模型数量。
2020-06-09 cs.CL
Neural System Combination for Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);CASIA(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
神经机器翻译(NMT)是机器翻译的一种新方法,与统计机器翻译(SMT)相比,其翻译结果更加流畅。然而,SMT在翻译充分性方面通常优于NMT。因此,结合NMT和SMT的优点是一个很有前途的方向。在本文中,我们提出了一个利用多源NMT的神经系统组合框架,该框架将NMT和SMT系统的输出作为输入,并产生最终的翻译。对中英翻译任务的广泛实验表明,我们的模型比最佳单个系统输出显着提高了5.3个BLEU点,比最先进的传统系统组合方法提高了3.4个BLEU点。
2017-04-21 cs.CL
Neural Machine Translation Decoding with Terminology Constraints
SDL Research(SDL研究院);Department of Engineering, University of Cambridge(剑桥大学工程系)
尽管神经机器翻译(NMT)系统产生了令人印象深刻的质量改进,但控制其翻译输出以遵守用户提供的术语约束仍然是一个悬而未决的问题。我们描述了我们的方法来约束神经解码的基础上,有限状态机和多栈解码,支持目标侧的约束,以及与相应的对齐输入文本跨度的约束。我们展示了我们的框架在多个翻译任务的性能,并激励需要约束解码与注意力作为一种手段,减少错位和重复时,翻译用户的限制。
2018-05-09 cs.CL
Discourse Cohesion Evaluation for Document-Level Neural Machine Translation
Soochow University(苏州大学)
众所周知,由优秀的文档级神经机器翻译(NMT)模型生成的翻译是一致和连贯的。然而,现有的文档级评估指标,如BLEU,很难反映模型在文档级的性能。为了解决这个问题,我们提出了一种语篇衔接评价方法(DCoEM),并提供了一个新的测试套件,考虑四种衔接方式(参考,连接,替代和词汇衔接)来衡量文档翻译的衔接性。对最近的文档级NMT系统的评估结果表明,我们的方法在文档级翻译评估方面是实用且必要的。
2022-08-19 cs.CL
Neural Machine Translation with Extended Context
University of Helsinki(赫尔辛基大学)
我们研究了扩展上下文在基于注意力的神经机器翻译中的应用。我们的实验基础上翻译的电影字幕,并讨论了增加超过单个翻译单位的片段的效果。我们研究了使用扩展的源语言上下文以及双语上下文扩展。这些模型学习区分来自不同片段的信息,并且在翻译质量方面具有惊人的鲁棒性。在这项初步研究中,我们观察到有趣的跨领域注意模式,提高文本连贯性的翻译至少在某些情况下。
2017-08-20 cs.CL
Minimum Risk Training for Neural Machine Translation
Baidu Inc.(百度公司);Tsinghua University(清华大学)
我们提出了端到端神经机器翻译的最小风险训练。与传统的最大似然估计不同,最小风险训练能够直接相对于任意评估指标优化模型参数,这些指标不一定是可微的。实验表明,我们的方法在最先进的神经机器翻译系统跨各种语言对的最大似然估计实现了显着的改善。对架构透明,我们的方法可以应用于更多的神经网络,并可能使更多的NLP任务受益。
2016-06-15 cs.CL
Incorporating Discrete Translation Lexicons into Neural Machine Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
神经机器翻译(NMT)在翻译对理解句子含义至关重要的低频内容词时经常出错。我们提出了一种方法来缓解这个问题,通过增加NMT系统与离散翻译词典,有效地编码这些低频词的翻译。我们描述了一种通过使用NMT模型的注意向量来选择模型应该关注的源词词汇概率来计算翻译候选中下一个词的词汇概率的方法。我们测试了两种方法来将此概率与标准NMT概率相结合:(1)将其用作偏差,(2)线性插值。在两个语料库上的实验表明,BLEU和NIST评分分别提高了2.0-2.3和0.13-0.44,收敛速度也更快。
2016-10-05 cs.CL
The Helsinki Neural Machine Translation System
Stockholm University(斯德哥尔摩大学);University of Helsinki(赫尔辛基大学);Uppsala University(乌普萨拉大学)
我们将介绍赫尔辛基神经机器翻译系统(HNMT)及其在WMT 2017新闻翻译任务中的应用,该系统在英语-芬兰语的人工和自动评估中均排名第一。我们讨论了英语-芬兰语翻译的成功和NMT在强大的SMT基线上的整体优势。我们还讨论我们提交的英文-拉脱维亚文、英文-中文和中文-英文。
2017-08-20 cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学)
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对,情况并非如此,导致翻译质量差。受计算机视觉工作的启发,我们提出了一种新的数据增强方法,该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明,我们的方法比基线提高了2.9个BLEU点,比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information
University of Copenhagen(哥本哈根大学);Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Tokyo Institute of Technology(东京工业大学)
神经机器翻译系统的性能通常用BLEU来评估。然而,由于其依赖于目标语言属性和生成,BLEU度量不允许评估哪些翻译方向更难以建模。在本文中,我们提出了交叉互信息(XMI):一个不对称的信息理论度量的机器翻译难度,利用大多数神经机器翻译模型的概率性质。XMI允许我们更好地评估将文本翻译成目标语言的难度,同时控制独立于翻译任务的目标端生成组件的难度。然后,我们提出了第一个系统和控制的跨语言翻译困难的研究,使用现代神经翻译系统。复制我们实验的代码可以在https://github.com/e-bug/nmt-difficulty上找到。
2020-05-17 cs.CL
Breaking the Beam Search Curse: A Study of (Re-)Scoring Methods and Stopping Criteria for Neural Machine Translation
Oregon State University(俄勒冈州立大学);Baidu Research(百度研究院)
束搜索广泛应用于神经机器翻译中,与贪婪搜索相比,通常可以提高翻译质量。然而,已经广泛观察到,大于5的光束尺寸损害平移质量。我们解释了为什么会发生这种情况,并提出了几种方法来解决这个问题。此外,我们讨论了这些方法的最佳停止准则。实验结果表明,我们的超参数无启发式方法比长度归一化的超参数无启发式方法的性能高出+2.0 BLEU,并且在所有方法中取得了最好的汉英翻译效果。
2018-10-27 cs.CL
Translating Terminological Expressions in Knowledge Bases with Neural Machine Translation
Insight Centre for Data Analytics, Data Science Institute(数据科学学院洞察数据分析中心);National University of Ireland Galway(爱尔兰国立高威大学)
我们的工作在本文中提出的重点是翻译的术语表达的语义结构化的资源,如本体或知识图谱。翻译知识库中的本体标签或术语表达的挑战在于高度特定的词汇和缺乏上下文信息,这些信息可以指导机器翻译系统将歧义词翻译到目标领域。针对这些问题,本文采用统计和神经机器翻译方法对医学和金融领域的特定领域表达的翻译质量进行了评估,并对只包含术语表达的翻译模型进行了领域自适应实验。此外,我们进行了实验的外部术语表达式注入到翻译系统。通过这些实验,我们观察到在医学和金融领域的领域特定资源的领域自适应方面的显著优势,以及子词模型相对于基于词的神经机器翻译模型在术语翻译方面的优势。
2019-07-31 cs.CL
Prompting Neural Machine Translation with Translation Memories
Northeastern University(东北大学);NiuTrans Research(纽创科技研究院)
利用翻译记忆库(translation memories,TM)来改进机器翻译(machine translation,MT)系统是MT社区的从业者非常感兴趣的问题。然而,以前的方法需要显著更新模型架构和/或额外的训练工作,以使模型在TM作为额外输入时表现良好。在本文中,我们提出了一个简单而有效的方法,将TM引入神经机器翻译(NMT)系统。具体来说,我们在测试时将TM视为NMT模型的提示,但保持训练过程不变。其结果是对现有的NMT系统进行了轻微的更新,任何熟悉NMT的人都可以在几个小时内实现。在几个数据集上的实验结果表明,我们的系统显着优于强基线。
2023-02-07 cs.CL