An Evaluation of Persian-English Machine Translation Datasets with Transformers
University of Isfahan(伊斯法罕大学)
机器翻译(Machine Translation,MT)是近年来研究的热点。然而,波斯语机器翻译仍然是未开发的,尽管大量的研究正在进行的语言与高资源,如英语。此外,虽然在统计机器翻译方面已经对波斯语的一些数据集进行了大量的研究,但目前还没有针对每个语料库的基于transformer的text 2 text模型的标准基线。本研究收集并分析了最流行和最有价值的平行语料库,用于波斯语-英语翻译。此外,我们分别在每个数据集上微调和评估了两个最先进的基于注意力的seq 2seq模型(48个结果)。我们希望这篇论文能帮助研究人员将他们的波斯语和英语以及机器翻译结果与标准基线进行比较。
2023-02-01 cs.AI cs.CL
NeoAMT: Neologism-Aware Agentic Machine Translation with Reinforcement Learning
The University of Tokyo(东京大学);NTT Communication Science Laboratories, NTT, Inc.(NTT通信科学实验室,NTT公司)
提出NeoAMT框架,利用基于Wiktionary的搜索工具和强化学习训练翻译智能体,以提升包含新词的源句翻译质量。
2026-05-24 cs.AI cs.CL
Incorporating Human Translator Style into English-Turkish Literary Machine Translation
Boğaziçi University(博阿齐奇大学)
本研究针对英语-土耳其语文学翻译场景,通过用译者人工对齐作品微调预训练模型、分析多因素影响并提出风格评估方法,实现了机器翻译对人类译者风格的高度复现。
2023-07-21 cs.AI cs.CL
An Overview on Machine Translation Evaluation
ADAPT Research Centre, Dublin City University(都柏林城市大学ADAPT研究中心)
自20世纪50年代以来,机器翻译(MT)成为AI和发展的重要任务之一,并经历了几个不同的时期和发展阶段,包括基于规则的方法、统计方法,以及最近提出的基于神经网络的学习方法。伴随这些阶段性飞跃的是机器翻译的评价研究和发展,特别是评价方法在统计翻译和神经翻译研究中的重要作用。MT的评测任务不仅是对机器翻译的质量进行评测,更重要的是及时反馈给机器翻译研究者关于机器翻译本身存在的问题,如何改进,如何优化。在一些实际应用领域,如在没有参考译文的情况下,机器翻译的质量评价作为一个指标,对揭示自动翻译的目标语言的可信度起着重要的作用。本报告主要包括以下内容:机器翻译评估(MTE)的发展简史,MTE研究方法的分类,以及最新进展,包括人工评估、自动评估和评估方法的评估(元评估)。人工评测和自动评测包括基于参考翻译和参考翻译独立参与;自动评测方法包括传统的n-gram字符串匹配、应用语法和语义的模型以及深度学习模型;评估方法的评估包括评估人的评估的可信度,自动评估的可靠性,测试集的可靠性,尖端评估方法的进展包括基于任务的评估,使用基于大数据的预训练语言模型,以及使用蒸馏技术的轻量级优化模型。
2022-02-22 cs.AI cs.CL
Generative Imagination Elevates Machine Translation
Nanyang Technological University(南洋理工大学);ByteDance AI Lab(字节跳动人工智能实验室)
文本和图像之间有共同的语义。给定一个源语言的句子,描绘视觉场景是否有助于翻译成目标语言?现有的多模态神经机器翻译方法(MNMT)需要双语句子-图像三元组进行训练,需要源句子-图像元组进行推理.在本文中,我们提出了ImagiT,一个新的机器翻译方法,通过视觉想象。ImagiT首先学习从源句子生成视觉表征,然后利用源句子和“想象表征”生成目标翻译。与以往的方法不同,它只需要在推理时的源句。实验表明,ImagiT受益于视觉想象,并显着优于纯文本神经机器翻译基线。进一步的分析表明,ImagiT中的想象过程有助于在执行降级策略时填充缺失的信息。
2021-04-13 cs.AI cs.CL
Semantic Neural Machine Translation using AMR
University of Rochester(罗切斯特大学);Westlake University(西湖大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);Xiamen University(厦门大学)
语义表示对于机器翻译是有用的,这是直观的,主要是因为它们可以帮助强制意义保持和处理机器翻译模型的数据稀疏性(许多句子对应于一个意义)。另一方面,利用语义进行神经机器翻译(NMT)的工作很少。在这项工作中,我们研究的有用性AMR(简称抽象意义表示)的NMT。在标准英语到德语数据集上的实验表明,将AMR作为额外的知识可以显着改善基于注意力的序列到序列神经翻译模型。
2019-02-19 cs.AI cs.CL
Attention based Sequence to Sequence Learning for Machine Translation of Low Resourced Indic Languages -- A case of Sanskrit to Hindi
Chhotubhai Gopalbhai Patel Institute of Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学乔图巴伊·戈帕尔巴伊·帕特尔理工学院);Babumadhav Institute of Information Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学巴布马德哈夫信息技术学院)
深度学习技术在模拟人类解决特定问题方面非常强大。他们在复杂的学习任务中表现出色。受深度学习启发的神经机器翻译(NMT)是一种优于传统机器翻译的熟练技术。考虑到印度语言丰富多样的语法,对印度语言进行机器辅助翻译一直是一项具有挑战性的任务。与传统的机器翻译方法相比,神经机器翻译已经显示出高质量的结果。全自动机器翻译在处理低资源语言时会出现问题,尤其是梵文。本文提出了一种基于注意注意力机制的神经机器翻译,在翻译过程中有选择地关注语言句子的特定部分。该工作展示了具有近10 K样本和178,000个标记的梵语到印地语双语平行语料库的构建。在梵语-印地语平行语料库上训练了具有注意力机制的神经翻译模型。这种方法显示了注意力机制的重要性,以克服长期的依赖关系,主要是与低资源的印度语。本文在测试数据上显示了注意力图,以证明源词和译文词之间的对齐。对于翻译句子的评价,采用了基于人工评分的人工评价和基于自动评价指标的技术。基于注意力机制的神经翻译在人类评估中达到了88%的准确率,在梵语到印地语的翻译中BLEU得分为0.92。
2021-09-07 cs.AI cs.CL
A Set of Recommendations for Assessing Human-Machine Parity in Language Translation
University of Zurich(苏黎世大学);ADAPT Centre, Dublin City University(都柏林城市大学ADAPT中心);Carnegie Mellon University(卡内基梅隆大学);University of Groningen(格罗宁根大学)
在过去的几年里,机器翻译的质量显著提高,以至于在一些实证调查中发现它与专业的人工翻译无法区分。我们重新评估哈桑等人。2018年对汉英新闻翻译的调查显示,人机对等的发现是由于评估设计的弱点-目前被认为是该领域的最佳实践。我们发现,专业的人工翻译包含显着更少的错误,并认为在人类评价的质量取决于评分员的选择,语言环境的可用性,并创建参考翻译。我们的研究结果要求重新审视当前的最佳实践,以评估强大的机器翻译系统,特别是人机对等,为此,我们根据我们的实证研究结果提供了一系列建议。
2020-04-03 cs.AI cs.CL
DEEP: DEnoising Entity Pre-training for Neural Machine Translation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
已经表明,机器翻译模型通常为训练语料库中不常见的命名实体生成差的翻译。早期的命名实体翻译方法主要集中在音译上,忽略了翻译的句子语境,而且在领域和语言覆盖范围上受到限制。为了解决这一限制,我们提出了DEEP,一种去噪实体预训练方法,利用大量的单语数据和知识库来提高句子中命名实体的翻译准确性。此外,我们研究了一种多任务学习策略,该策略在实体增强的单语数据和并行数据上微调预训练的神经机器翻译模型,以进一步改进实体翻译。在三种语言对上的实验结果表明,\method在强去噪自动编码基线上有显著的改进,对于英语-俄语翻译,增益高达1.3 BLEU和高达9.2实体准确度点。
2021-11-14 cs.AI cs.CL
Predicting Word Similarity in Context with Referential Translation Machines
Huawei Türkiye R&D Center(华为土耳其研发中心);Istanbul(伊斯坦布尔)
本研究将语境下的英语词语相似度判定转化为机器翻译性能预测任务,采用支持统一表示与堆叠模型的参照翻译机(RTMs),在语境分级词语相似度(GWSC)任务中取得最优结果。
2024-07-07 cs.AI cs.CL
Automatic Classification of Human Translation and Machine Translation: A Study from the Perspective of Lexical Diversity
University of St Andrews(圣安德鲁斯大学);School of Computer Science(计算机科学学院)
通过使用三元模型并微调预训练的BERT模型进行序列分类,我们表明可以以高于偶然水平的准确度对机器翻译和人类翻译进行分类,这表明机器翻译和人类翻译是不同的系统方式。机器翻译的分类准确率远高于人工翻译。我们发现,这可能是解释之间的差异词汇多样性机器翻译和人类翻译。如果机器翻译具有独立于人类翻译的模式,则测量机器翻译与人类翻译的偏差的自动度量可能将差异与质量混为一谈。我们用两种不同类型的自动度量进行的实验显示了与分类任务结果的相关性。因此,我们建议在机器翻译评价中,应更多地关注机器翻译和人工翻译在词汇多样性方面的差异。
2021-05-10 cs.CL
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案,即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外,我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Back-translation for Large-Scale Multilingual Machine Translation
eBay Inc.(易趣公司)
本文阐述了我们在第六届机器翻译会议(WMT-21)上对大规模多语种机器翻译共同任务的研究方法。这项工作的目的是建立一个单一的多语言翻译系统的假设,一个通用的跨语言表示导致更好的多语言翻译性能。我们将不同回译方法的探索从双语翻译扩展到多语言翻译。约束抽样方法得到了更好的性能,这是不同的双语翻译的发现。此外,本研究亦探讨词汇量与合成数据量之影响。令人惊讶的是,较小的词汇量表现更好,广泛的单语英语数据提供了适度的改善。我们两个小任务都提交了,取得了第二名的成绩。
2021-09-17 cs.AI cs.CL cs.LG
Can neural machine translation do simultaneous translation?
New York University(纽约大学)
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法,称为同时贪心解码,允许现有的神经机器翻译模型开始翻译之前,收到一个完整的源语句。这种方法是独特的,从以前的作品同步翻译的分割和翻译是共同完成的,以最大限度地提高翻译质量,翻译每一个部分是强烈的条件下,所有以前的部分。本文提出了第一步,建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology(国立信息通信技术研究所)
最近的工作在以完全无监督的方式训练神经机器翻译(NMT)系统方面取得了显着的成果,该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中,我们建议将无监督NMT(UNMT)定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构,通过用合成双语数据代替人工双语数据进行训练,提出了监督NMT。我们建议用无监督统计机器翻译(USMT)生成的合成双语数据初始化UNMT的训练。然后,利用反向翻译,逐步改进联合国地雷行动组系统。我们的初步实验表明,我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务,两个翻译方向。
2018-10-30 cs.CL
Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation
Tilburg University(蒂尔堡大学);University of Maryland, College Park(马里兰大学帕克分校)
最近在机器翻译(MT)和自然语言处理(NLP)领域的研究表明,现有模型放大了在训练数据中观察到的偏差。语言技术中偏见的放大主要是针对具体现象进行研究的,如性别偏见。在这项工作中,我们超越了性别的研究MT和调查如何偏见放大可能会影响语言在更广泛的意义上。我们假设,“算法偏见”,即频繁观察到的模式的恶化与较不频繁的模式的丢失相结合,不仅加剧了当前数据集中存在的社会偏见,而且还可能导致人为贫困的语言:“机器语言”。我们评估的语言丰富性(在词汇和形态水平)的翻译创建不同的数据驱动的MT范式-基于短语的统计(PB-SMT)和神经MT(NMT)。我们的实验表明,有一个损失的词汇和形态的丰富性,在两个语言对(EN<=>FR和EN<=>ES)的所有研究MT范式产生的翻译。
2021-01-30 cs.AI cs.CL cs.CY
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science(数据智能科学研究所);Osaka University(大阪大学)
神经机器翻译(NMT)是一种基于深度学习的机器翻译方法,在大规模并行语料库可用的情况下,其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的,特定领域的语料库通常是稀缺的或根本不存在,因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法,对于特定领域的翻译非常重要。在本文中,我们给出了一个全面的调查,最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
New Approach to translation of Isolated Units in English-Korean Machine Translation
Kim Il Sung University(金日成大学)
开发一个实用的机器翻译系统并将其引入翻译实践,是快速翻译大量爆炸式增长的科技信息资料的最有效途径。本文根据在开发和引进英朝机器翻译系统过程中所获得的实际资料和实验,论述了孤立单位翻译中的一些问题。换句话说,本文考虑建立孤立的单位和他们的韩语对等语和词序的信息。
2015-06-23 cs.CL
Keyframe Segmentation and Positional Encoding for Video-guided Machine Translation Challenge 2020
视频引导的机器翻译是多模态神经机器翻译任务之一,其目标是通过有形地结合视频和文本来生成高质量的文本翻译。在这项工作中,我们提出了我们的视频引导机器翻译系统,以接近视频引导机器翻译挑战2020。该系统采用基于关键帧的视频特征提取以及视频特征位置编码。在评估阶段,我们的系统获得了36.60的语料库级别BLEU-4,并在2020年视频引导机器翻译挑战赛中获得第一名。
2020-06-23 cs.CL
Pre-Translation for Neural Machine Translation
Institute for Anthropomatics(拟人学研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
近年来,神经机器翻译(NMT)的发展显著提高了自动机器翻译的翻译质量。虽然大多数句子比基于统计机器翻译(SMT)的系统翻译的句子更准确和流畅,但在某些情况下,NMT系统产生的翻译具有完全不同的含义。当出现罕见的单词时,情况尤其如此。当使用统计机器翻译时,已经表明可以通过简化预处理步骤中的输入来实现显著的增益。一个常用的例子是预重排序方法。在这项工作中,我们使用基于短语的机器翻译将输入预翻译成目标语言。然后,神经机器翻译系统使用预翻译生成最终假设。因此,我们要么只使用基于短语的机器翻译(PBMT)系统的输出,要么结合PBMT输出和源句子。我们在英语到德语翻译任务上评估该技术。使用这种方法,我们能够超过PBMT系统以及基线神经MT系统多达2个BLEU点。分析了初始系统的质量对最终结果的影响。
2016-10-17 cs.CL
A Survey of Orthographic Information in Machine Translation
Insight Centre for Data Analytics(洞察数据分析中心);Data Science Institute(数据科学研究所);National University of Ireland Galway(爱尔兰国立高威大学)
机器翻译是自然语言处理的应用之一,它已经在不同的语言中得到了探索。近年来,研究人员开始关注资源贫乏语言和密切相关语言的机器翻译。这些机器翻译系统的一个普遍的和潜在的问题是在正字法惯例的变化,导致许多问题,以传统的方法。用两种不同的正字法书写的两种语言不容易比较,但是正字法信息也可以用来改进机器翻译系统。本文综述了正字法对资源不足语言的机器翻译的影响。它介绍了资源不足的语言方面的机器翻译和如何利用正字法信息,以改善机器翻译。我们描述了以前在这方面的工作,讨论了什么基本的假设,并显示了如何拼写知识提高性能的机器翻译资源不足的语言。我们讨论了不同类型的机器翻译,并展示了最近的趋势,寻求连接正字法信息与完善的机器翻译方法。相当多的注意力给予当前的努力同源信息在不同层次的机器翻译和经验教训,可以从中吸取。此外,密切相关语言的多语言神经机器翻译在本次调查中得到了特别关注。本文最后讨论了在机器翻译的正字法信息的发展方向,重点是多语言设置和双语词典归纳。
2020-08-04 cs.CL
The Improvement of Negative Sentences Translation in English-to-Korean Machine Translation
Kim Il Sung University(金日成综合大学)
描述了在英朝机器翻译(EKMT)中将英语否定句翻译成韩语的算法。该算法是在对比研究英语和韩语否定句的基础上提出的。早期的翻译软件不能将英语否定句翻译成准确的韩语对应句。我们建立了一个新的否定句翻译算法,并对其进行了评价。
2015-12-26 cs.CL
Can Latent Alignments Improve Autoregressive Machine Translation?
The Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
潜在的对齐目标,如CTC和AXE显着改善非自回归机器翻译模型。他们也能改进自回归模型吗?我们探讨了训练具有潜在对齐目标的自回归机器翻译模型的可能性,并观察到,在实践中,这种方法会导致退化模型。我们为这些实证结果提供了一个理论解释,并证明潜在的对齐目标是不相容的教师强迫。
2021-04-19 cs.AI cs.CL cs.LG
First Result on Arabic Neural Machine Translation
New York University(纽约大学)
神经机器翻译已经成为广泛使用的基于短语的统计机器翻译的主要替代方案。然而,我们注意到,尽管神经机器翻译具有语言不可知论的性质,但大部分研究都集中在欧洲语言上。在本文中,我们将神经机器翻译应用于阿拉伯语翻译(Ar <->En)任务,并将其与标准的基于短语的翻译系统进行比较。我们在预处理阿拉伯语脚本中使用各种配置进行了广泛的比较,并表明基于短语的翻译系统和神经翻译系统相互执行,并且阿拉伯语脚本的适当预处理对这两个系统具有相似的效果。然而,我们观察到神经机器翻译在域外测试集上的表现明显优于基于短语的系统,这使得它对现实世界的部署具有吸引力。
2016-06-08 cs.CL
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics(上海财经大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
尽管神经机器翻译(NMT)取得了成功,但同时神经机器翻译(SNMT)由于句法结构差异和语义要求,在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中,我们提出了一个通用的框架,用于适应神经机器翻译同时翻译。我们的框架包含两个部分:前缀翻译,利用一个连续的NMT模型来翻译源前缀和一个停止标准,确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明,该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
Towards a general purpose machine translation system for Sranantongo
Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
Sranantongo(Sranan,srn)是一种资源匮乏的克里奥尔语,主要使用于棉兰老岛,它的机器翻译还是一块处女地。在本研究中,我们建立了一个通用的机器翻译系统。为了促进这项研究,我们介绍了SRN语料库,并行荷兰语(NL)的集合,以SRN和单语SRN数据。我们尝试了各种经过验证的机器翻译方法。我们的研究结果证明了一个强大的基线机器翻译系统的srn。
2022-12-13 cs.CL
Machine Translation in Indian Languages: Challenges and Resolution
英语到印度语的机器翻译提出了结构和形态差异的挑战。本文描述了使用预排序和后缀分离的英语到印度语的统计机器翻译。预排序使用规则在训练和翻译之前转换源句子的结构。这种句法重构有助于统计机器翻译解决结构分歧,从而提高翻译质量。后缀分离是用来解决英语和高粘着印度语言之间的形态分歧。我们证明,使用前序和后缀分离有助于提高英语到印度语机器翻译的质量。
2018-08-01 cs.CL
Neural Machine Translation
Center for Speech and Language Processing(语音与语言处理中心);Department of Computer Science(计算机科学系);Johns Hopkins University(约翰斯·霍普金斯大学)
关于神经机器翻译的教科书章节草稿。一个全面的治疗的主题,从介绍到神经网络,计算图,描述目前占主导地位的注意序列到序列模型,最近的改进,替代架构和挑战。作为教科书《统计机器翻译》的章节编写。用于JHU 2017年秋季机器翻译课程。
2017-09-22 cs.CL
An Effective Approach to Unsupervised Machine Translation
University of the Basque Country (UPV/EHU)(巴斯克大学)
虽然机器翻译传统上依赖于大量的平行语料库,但最近的研究路线已经成功地仅使用单语语料库来训练神经机器翻译(NMT)和统计机器翻译(SMT)系统。在本文中,我们确定和解决现有的无监督SMT方法的几个不足之处,利用子字信息,开发一个理论上有充分依据的无监督调整方法,并将联合细化过程。此外,我们使用我们改进的SMT系统初始化一个双NMT模型,这是进一步微调,通过在飞回翻译。总之,我们在无监督机器翻译中比以前的最先进技术有了很大的改进。例如,我们在2014年英语到德语的WMT中获得了22.5分的BLEU分数,比之前最好的无监督系统高出5.5分,比2014年的(有监督)共享任务冠军高出0.5分。
2019-07-24 cs.AI cs.CL cs.LG
Machine Translation : From Statistical to modern Deep-learning practices
ABV-IIITM Gwalior(ABV-印度信息技术与管理学院瓜廖尔分院);IIIT Pune(印度信息技术学院浦那分院)
机器翻译(MT)是自然语言处理的一个研究领域,它涉及通过计算机将人类语言从一种语言自动翻译成另一种语言。机器翻译有着近三十年的丰富研究历史,是语言学和计算界最受追捧的研究领域之一。在本文中,我们研究了基于深度学习的模型,近年来取得了实质性的进展,并成为突出的方法在机器翻译。我们将讨论两种主要的基于深度学习的机器翻译方法,一种是在组件或领域级别,利用深度学习模型来增强统计机器翻译(SMT)的效率,另一种是MT中的端到端深度学习模型,使用神经网络通过编码器-解码器架构找到源语言和目标语言之间的对应关系。我们通过提供研究人员解决的主要研究问题的时间线来结束本文,并对神经机器翻译的当前研究领域进行了全面的概述。
2018-12-11 cs.AI cs.CL cs.LG
Neural Machine Translation Advised by Statistical Machine Translation
Soochow University(苏州大学);Noah’s Ark Lab, Huawei Technologies(华为诺亚方舟实验室)
神经机器翻译(NMT)是近年来取得巨大进展的一种新的机器翻译方法。然而,最近的研究表明,NMT通常产生流畅但不充分的翻译(Tu et al. 2016 b; Tu et al. 2016 a; He et al. 2016; Tu et al. 2017)。这与传统的统计机器翻译(SMT)形成对比,后者通常产生足够但不流畅的翻译。因此,利用这两种模型的优点来实现更好的翻译是很自然的,在这项工作中,我们建议将SMT模型纳入NMT框架。更具体地,在每个解码步骤,SMT基于来自NMT的解码信息(例如,所生成的部分翻译和注意力历史)。然后,我们采用辅助分类器来对SMT建议进行评分,并采用门控函数将SMT建议与NMT生成相结合,两者都以端到端的方式在NMT架构内进行联合训练。在多个NIST测试集上的汉英翻译实验结果表明,该方法与现有的NMT和SMT系统相比,取得了显著且一致的改进。
2016-12-30 cs.CL
Six Challenges for Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
我们探讨了神经机器翻译的六个挑战:领域不匹配、训练数据量、稀有词、长句、词对齐和束搜索。我们显示了基于短语的统计机器翻译的质量的不足和改进。
2017-06-12 cs.CL
Is Neural Machine Translation Ready for Deployment? A Case Study on 30 Translation Directions
Faculty of Mathematics and Computer Science, Adam Mickiewicz University in Poznan(波兹南亚当·密茨凯维奇大学数学与计算机科学学院);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Moses Machine Translation CIC(Moses机器翻译社区利益公司)
在本文中,我们提供了基于短语的SMT和神经机器翻译在30个翻译方向上的翻译质量的最大出版比较。对于十个方向,我们还包括基于短语的分层MT。实验进行了最近出版的联合国平行语料库v1.0和大型六向平行对齐子语料库。在本文的第二部分中,我们研究了翻译速度方面,介绍了AmuNMT,我们高效的神经机器翻译解码器。我们证明,当前的神经机器翻译已经可以用于生产系统中,比较每秒单词的比率。
2016-11-30 cs.CL
Neural Machine Translation model for University Email Application
Faculty of Integrated Technologies\ Brunei Darussalam\ Darussalam;Institute of Applied Data Analytics\ Brunei Darussalam\ Darussalam
机器翻译有许多应用,如新闻翻译,电子邮件翻译,官方信件翻译等。商业翻译,如谷歌翻译在区域词汇方面滞后,无法学习输入中的源语言和目标语言的双语文本。在本文中,一个区域词汇为基础的面向应用的神经机器翻译(NMT)模型,提出了一个数据集的电子邮件在大学的通信超过三年。将ML -> EN和EN -> ML翻译的最先进的序列到序列神经网络与使用具有注意力解码器的门控递归单元递归神经网络机器翻译模型的Google翻译进行比较。与我们的模型相比,Google翻译的BLEU分数较低,这表明基于应用程序的区域模型更好。我们的模型和谷歌翻译的EN -> ML的BLEU分数较低,表明马来语具有与英语相对应的复杂语言特征。
2020-07-20 cs.AI cs.CL cs.LG
OpenNMT: Open-Source Toolkit for Neural Machine Translation
Harvard University(哈佛大学);SYSTRAN
我们描述了一个神经机器翻译(NMT)的开源工具包。该工具包优先考虑效率,模块化和可扩展性,目标是支持NMT对模型架构,特征表示和源模态的研究,同时保持有竞争力的性能和合理的培训要求。该工具包包括建模和翻译支持,以及有关底层技术的详细教学文档。
2017-03-06 cs.AI cs.CL cs.NE
Machine Translation Models are Zero-Shot Detectors of Translation Direction
Department of Computational Linguistics, University of Zurich(计算语言学系,苏黎世大学)
本研究提出一种基于翻译简化效应的无监督翻译方向检测方法,利用多语言机器翻译模型验证了其在高资源语言对上的有效性,对机器翻译和人工翻译均取得较高准确率。
2025-05-28 cs.CL
Part of Speech and Universal Dependency effects on English Arabic Machine Translation
在这篇研究论文中,我将详细介绍一种方法来评估机器翻译模型的基础上,他们的表现对英语和阿拉伯语之间的潜在句法现象。这种方法尤其重要,因为这种“神经”和“机器学习“很难微调和改变。因此,找到一种方法来评估他们容易和麻烦将大大有助于改善他们的任务。
2021-06-03 cs.AI cs.CL cs.LG
A Unified Example-Based and Lexicalist Approach to Machine Translation
我们提出了一种结合基于实例和词汇主义理论框架的思想和方法的机器翻译方法。该方法已在多语种机器翻译系统中实现。
1999-06-30 cs.CL
From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots
Renmin University of China(中国人民大学);Microsoft Research Asia(微软亚洲研究院)
神经机器翻译模型缺乏大规模的并行语料库。相比之下,我们人类通过将我们的语言与外部世界联系起来,即使没有平行文本,也可以学习多语言翻译。为了模仿这种人类学习行为,我们使用图像作为支点来实现零资源翻译学习。然而,一张图片告诉一千个单词,这使得由同一图像旋转的多语言句子像相互翻译一样嘈杂,从而阻碍了翻译模型学习。在这项工作中,我们提出了一个渐进的学习方法,图像为中心的零资源机器翻译。由于基于图像的单词多样性较低,因此我们首先使用图像枢轴学习单词级翻译,然后通过利用学习的单词翻译来抑制图像枢轴多语言句子中的噪声来学习单词级翻译。在IAPR-TC 12和Multi 30 k两个常用的图像枢轴平移数据集上的实验结果表明,该方法的性能明显优于其他最先进的方法。
2019-06-03 cs.AI cs.CL cs.CV
JUCBNMT at WMT2018 News Translation Task: Character Based Neural Machine Translation of Finnish to English
Jadavpur University(贾达布尔大学)
在当前的工作中,我们介绍了提交给WMT 2018新闻翻译共享任务的系统的描述。该系统是为了将新闻文本从芬兰语翻译成英语而创建的。该系统使用基于字符的神经机器翻译模型来完成给定的任务。目前的文件的预处理步骤,提交的系统和使用相同的结果产生的描述。我们的系统获得的BLEU评分为12.9。
2019-08-01 cs.CL
The Effect of Translationese in Machine Translation Test Sets
University of Groningen(格罗宁根大学)
在机器翻译(MT)领域中已经研究了反译语的效果,主要是关于训练数据。我们使用WMT的新闻共享任务的最后三个版本的测试集,包含17个翻译方向,深入研究了英语翻译对测试数据的影响。我们的证据表明,(i)在测试集中使用英语会导致MT系统的人工评估分数膨胀;(ii)在某些情况下,系统排名确实会发生变化;(iii)英语对翻译方向的影响与最先进的MT系统在该方向上可达到的翻译质量呈负相关。
2019-06-19 cs.CL
An Automatic Evaluation of the WMT22 General Machine Translation Task
本报告提出了一个自动评估的一般机器翻译任务的第七届会议上机器翻译(WMT 22)。它评估了21个翻译方向的185个系统,包括高资源到低资源的语言对以及与遥远语言密切相关的语言对。这种大规模的自动评估突出了当前最先进的机器翻译系统的一些局限性。它还展示了自动度量,即chrF,BLEU和COMET,如何补充自己,以减轻自己在可解释性和准确性方面的限制。
2022-11-09 cs.CL
Zero-Resource Translation with Multi-Lingual Neural Machine Translation
Middle East Technical University(中东技术大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);New York University(纽约大学)
在本文中,我们提出了一种新的微调算法,最近推出的多路,多语言神经机器翻译,使零资源机器翻译。当与新颖的多对一翻译策略一起使用时,我们的经验表明,这种微调算法允许多路多语言模型翻译零资源语言对(1)以及用相同语言对的多达1M个直接平行句子训练的单对神经翻译模型(2)优于基于机器翻译的翻译策略,同时仅保留注意力相关参数的一个附加副本。
2016-06-13 cs.CL
Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
最近的研究表明,神经机器翻译在WMT中文-英文新闻翻译任务上与专业人工翻译实现了平等。我们经验性地测试这种说法与替代的评估协议,对比单个句子和整个文件的评估。在成对排名实验中,评估充分性和流畅性的人类评分员在评估文档时,与孤立的句子相比,对人类的偏好更强,而不是机器翻译。我们的研究结果强调,有必要转向文件级的评估,因为机器翻译提高到一定程度,在翻译水平上很难或不可能发现的错误成为区分不同翻译输出质量的决定性因素。
2018-08-21 cs.CL
JUMT at WMT2019 News Translation Task: A Hybrid approach to Machine Translation for Lithuanian to English
Jadavpur University(贾达普大学)
在目前的工作中,我们介绍了提交给WMT 2019新闻翻译共享任务的系统的描述。该系统是为了将新闻文本从立陶宛语翻译成英语而创建的。为了完成给定的任务,我们的系统使用了基于词嵌入的神经机器翻译模型来后编辑由统计机器翻译模型生成的输出。目前的文件的架构,我们的模型,描述的各个模块和使用相同的结果。我们的系统获得了17.6的BLEU评分。
2019-08-01 cs.CL
Learning to Detect Unacceptable Machine Translations for Downstream Tasks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Institute for Artificial Intelligence(人工智能研究院);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
近年来,机器翻译领域取得了巨大的进步。尽管翻译质量已经显著提高,但当前系统仍然无法为各种可能的用例产生一致可接受的机器翻译。在这项工作中,我们把机器翻译在跨语言的管道,并引入下游任务来定义任务特定的可接受性的机器翻译。这使我们能够利用并行数据自动生成大规模的可接受性注释,这反过来又有助于学习下游任务的可接受性检测器。我们进行实验,以证明我们的框架的有效性,一系列的下游任务和翻译模型。
2020-05-08 cs.CL
A Baseline Neural Machine Translation System for Indian Languages
IIIT Hyderabad(印度海得拉巴国际信息技术学院);IIT Kanpur(印度坎普尔理工学院)
我们提出了一个简单而有效的印度语言神经机器翻译系统。我们证明了多语言对的可行性,并为进一步的研究建立了一个强有力的基线。
2019-07-29 cs.CL
Increasing the throughput of machine translation systems using clouds
University of Primorska(普里莫尔斯卡大学);Andrej Marusic Institute(安德烈·马鲁西奇研究所);Research Centre of the Slovenian Academy of Sciences and Arts(斯洛文尼亚科学与艺术研究院研究中心);The Fran Ramovš Institute(弗兰·拉莫夫什研究所);University of Ljubljana(卢布尔雅那大学)
本文介绍了一个在MapReduce模型下实现机器翻译系统的实验。实证评估是使用嵌入MapReduce编程模型的完全实现的翻译系统进行的。研究了两种机器翻译范式:基于浅层迁移规则的机器翻译和统计机器翻译。实验结果表明,MapReduce模型可以成功地用于提高机器翻译系统的吞吐量。此外,该方法提高了机器翻译系统的吞吐量,而不降低翻译输出的质量。因此,本手稿也代表了对自然语言处理,特别是机器翻译的开创性工作的贡献。它首先指向翻译系统的吞吐量的度量的定义的重要性,其次,机器翻译任务的MapReduce范式的适用性。
2016-11-09 cs.CL cs.DC
LIUM Machine Translation Systems for WMT17 News Translation Task
University of Le Mans(勒芒大学)
本文介绍了LIUM提交WMT 17新闻翻译任务的英语-德语,英语-土耳其语,英语-捷克语和英语-拉脱维亚语对。我们使用开源的nmtpy框架,训练基于BPE的专注神经机器翻译系统,有和没有因子输出。竞争分数是通过集成各种系统和利用目标单语语料库的回译的可用性。还分析了英语-土耳其语的回译数量和质量的影响,我们在截止日期后提交的作品超过了最好的作品+1.6 BLEU。
2017-07-14 cs.CL
A Probabilistic Model of Machine Translation
提出了一个基于英俄平行文本语料库的机器翻译系统的概率生成模型。该模型使用具有预对齐的源和目标句子的平行文本语料库进行训练。该模型的训练产生了具有相关翻译概率的单词和“单词块”的双语词典。
2004-05-10 cs.CL
Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization
Tsinghua University(清华大学);Sogou Inc.(搜狗公司)
虽然神经机器翻译最近取得了重大进展,但如何整合多个重叠的、任意的先验知识源仍然是一个挑战。在这项工作中,我们建议使用后验正则化提供一个通用的框架,将先验知识集成到神经机器翻译。我们将先验知识源表示为对数线性模型中的特征,该模型指导神经翻译模型的学习过程。汉英翻译实验表明,该方法能显著提高翻译质量。
2018-11-02 cs.CL
Machine Translation at Booking.com: Journey and Lessons Learned
我们描述了我们最近开发的神经机器翻译(NMT)系统,并将其与我们自己的统计机器翻译(SMT)系统以及其他两个通用在线引擎(统计和神经)进行基准测试。我们提出了每个系统提供的翻译输出的自动和人工评估结果。我们还分析了句子长度对SMT和NMT系统输出质量的影响。
2017-07-25 cs.CL
SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task
Shanghai Jiao Tong University (SJTU)(上海交通大学);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构(NICT));Department of Computer Science and Engineering, Shanghai Jiao Tong University (SJTU)(上海交通大学计算机科学与工程系)
在本文中,我们介绍了我们的联合团队SJTU-NICT参与WMT 2020机器翻译共享任务。在这个共享任务中,我们参与了三种语言对的四个翻译方向:英语-汉语,英语-波兰语的有监督机器翻译轨道,德语-上索布语的低资源和无监督机器翻译轨道。基于不同的语言对条件,我们实验了不同的神经机器翻译(NMT)技术:文档增强的NMT,XLM预训练的语言模型增强的NMT,双向翻译作为预训练,基于参考语言的UNMT,数据依赖的高斯先验目标,和BT-BLEU协同过滤自训练。我们还使用TF-IDF算法对训练集进行过滤,以获得与测试集更相似的领域集进行微调。在我们提交的文件中,主要系统在英语到中文,波兰语到英语和德语到上索布语翻译方向上获得了第一名。
2020-10-11 cs.CL
Optimizing example selection for retrieval-augmented machine translation with translation memories
Sorbonne Université(索邦大学);ChapsVision(沙普斯视觉公司)
本研究针对检索增强机器翻译,利用子模函数理论优化翻译记忆示例选择,以最大化源句覆盖率,提升多莱文斯坦变换器的翻译性能。
2024-05-23 cs.CL