Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
How Transformer Revitalizes Character-based Neural Machine Translation: An Investigation on Japanese-Vietnamese Translation Systems
University of Information and Communication Technology, TNU（太原大学信息与通信技术学院）；Institute of Anthropomatics and Robotics, KIT（卡尔斯鲁厄理工学院人类工程学与机器人研究所）；University of Engineering and Technology, VNU（越南国立大学工程技术大学）；School of Information Science, JAIST（北陆先端科学技术大学院大学信息科学学院）
在东亚语言之间的翻译中，许多作品都发现了以汉字为翻译单位的明显优势。遗憾的是，传统的递归神经机器翻译系统由于其架构上的限制，阻碍了这些基于字符的系统的实际使用。它们在处理极长的序列时是不利的，并且在并行计算中受到高度限制。在本文中，我们证明了新的Transformer架构可以执行基于字符的翻译比经常性的。我们在一个低资源的语言对上进行实验：日语-越南语。我们的模型大大优于采用基于单词的递归架构的最先进的系统。
2019-10-17 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University（厦门大学）；Soochow University（苏州大学）；Tsinghua University（清华大学）
神经机器翻译（NMT）严重依赖于词级建模来学习输入句子的语义表示。但是，对于没有自然词分隔符的语言（例如，中文）中输入句子必须首先进行标记化，传统的NMT面临两个问题：1）难以找到用于源句子建模的最佳标记化粒度; 2）1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题，我们提出了基于词格的循环神经网络（RNN）编码器，它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入，并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此，基于词格的编码器不仅减轻了标记化错误的负面影响，而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明，该编码器优于传统的编码器。
2016-12-09 cs.CL
Neural Machine Translation with Recurrent Attention Modeling
Carnegie Mellon University（卡内基梅隆大学）
在生成翻译的同时知道哪些词在先前的时间步骤中已经被注意到，这是预测未来将注意到哪些词的丰富信息来源。我们改进了Bahdanau et al.（2014）的注意力模型，通过使用每个输入单词的一个递归网络来明确地建模每个单词的先前和后续注意力水平之间的关系。这种架构很容易捕获信息特征，例如生育率和相对失真。在实验中，我们表明我们的参数化的注意力提高翻译质量。
2016-07-18 cs.CL cs.NE
Recurrent Graph Syntax Encoder for Neural Machine Translation
UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；University of Sydney（悉尼大学）
结合句法的机器翻译模型在提高模型的推理能力和语义保持能力方面已被证明是成功的。在本文中，我们提出了一个简单而有效的图形结构的编码器，递归图编码器，被称为\textbf{RGSE}，它提高了捕捉有用的语法信息的能力。RGSE是在标准编码器（循环或自注意编码器）上完成的，将循环网络单元视为图节点，并将语法依赖性注入为边，使得RGSE同时对语法依赖性和顺序信息（\textit{i.e.}，词序）进行建模。我们的方法在英语$\Rightarrow$德语和英语$\Rightarrow$捷克语翻译任务中实现了几个语法感知NMT模型的相当大的改进。在WMT 14 En-De任务中，配备RGSE的大模型取得了与现有模型相当的成绩。大量的分析进一步验证了RGSE可以有利于长句建模，并产生更好的翻译。
2019-08-19 cs.CL cs.LG
Extracting Parallel Sentences with Bidirectional Recurrent Neural Networks to Improve Machine Translation
Université de Montréal（蒙特利尔大学）
并行句子抽取是解决多语言自然语言处理应用中数据稀疏问题的一项任务。我们提出了一种基于双向递归神经网络的方法，从多语言文本集合中提取平行句子。我们的实验与嘈杂的平行语料库表明，我们可以实现有前途的结果对竞争力的基线消除需要特定的功能工程或额外的外部资源。为了证明我们的方法的实用性，我们从维基百科文章中提取句子对来训练机器翻译系统，并在翻译性能上显示出显着的改进。
2018-08-24 cs.CL cs.LG stat.ML
English to Bangla Machine Translation Using Recurrent Neural Network
East West University（东西大学）
在自然语言处理中，递归神经网络在机器翻译中的应用越来越多。除了其他语言，孟加拉语包含大量的词汇。改进英语到孟加拉语的机器翻译将是对孟加拉语处理的重大贡献。本文描述了一个英语到孟加拉语机器翻译系统的体系结构。该系统已实现的编码器-解码器的循环神经网络。该模型使用基于知识的上下文向量来映射英语和孟加拉语单词。在这里测量基于激活函数的模型的性能。在编码层采用线性激活函数，在解码层采用双曲正切激活函数，性能最佳。从GRU和LSTM层的执行来看，GRU的表现要优于LSTM。注意力层采用softmax和sigmoid激活函数实现。该模型的方法在交叉熵损失度量方面优于以前的最先进的系统。读者可以从本文中很容易地了解到英语到孟加拉语的机器翻译的结构和有效的激活函数。
2021-06-14 cs.CL cs.LG
Low-Resource Neural Machine Translation Using Recurrent Neural Networks and Transfer Learning: A Case Study on English-to-Igbo
Tennessee Technological University（田纳西技术大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究针对英语到伊博语这一低资源翻译任务，结合RNN（LSTM/GRU）与注意力机制及基于MarianNMT的迁移学习，在基准数据集上取得+4.83 BLEU提升，估计准确率达70%。
2025-04-24 cs.CL cs.LG
Neural Machine Translation with Recurrent Highway Networks
Indian Institute of Science（印度科学学院）
递归神经网络最近在语言建模任务中获得了很大的普及，特别是在神经机器翻译（NMT）中。最近的NMT模型基于编码器-解码器，其中基于深度LSTM的编码器用于将源句子投影到固定维度的向量，然后另一个深度LSTM从向量中解码目标句子。然而，在探索具有多个空间层（即在每个时间步中）的架构方面的工作很少。本文研究了简单递归公路网络（RHN）在NMT任务中的有效性。该模型在编码器和解码器中采用了递归高速公路神经网络，并对重构器模型进行了改进。我们证明了所有三种方法的有效性IWITONS英语-越南语数据集。我们看到RHN的表现与基于LSTM的模型相当，在某些情况下甚至更好。我们看到，由于高速公路连接，与基于LSTM的深度模型相比，深度RHN模型更容易训练。本文还研究了在每个时间步增加递归深度的影响。
2019-04-28 cs.CL cs.LG
Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation
National Institute of Information and Communications Technology（信息通信研究机构）
减少训练时间是许多任务中的一个重要问题，例如涉及神经网络的专利翻译。数据并行和模型并行是在一台机器上使用多个图形处理单元（GPU）来减少训练时间的两种常见方法。本文提出了一种用于序列到序列（Seq 2Seq）循环神经网络（RNN）机器翻译的混合数据模型并行方法。我们将模型并行方法应用于Seq 2Seq模型的RNN编码器-解码器部分，并将数据并行方法应用于模型的attention-softmax部分。与使用1个GPU时的训练速度相比，使用4个GPU时，我们实现了4.13到4.20倍的速度提升，而不会影响机器翻译的准确性（以BLEU分数衡量）。
2019-09-09 cs.CL cs.DC cs.LG
An Intrinsic Nearest Neighbor Analysis of Neural Machine Translation Architectures
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
早期的方法通过将递归和非递归神经机器翻译模型的隐藏状态馈送到不同的分类器中来间接地研究所捕获的信息。在本文中，我们期待在编码器隐藏状态的Transformer和循环机器翻译模型从最近邻居的角度来看。我们调查到什么程度的最近的邻居共享信息的基础词嵌入以及相关的WordNet条目。此外，我们还研究了最近邻居的潜在句法结构，以揭示句法相似性在将邻居聚集在一起方面的作用。我们比较Transformer和经常性的模型在一个更内在的方式捕获词汇语义和句法结构，与以前的作品使用的外在方法。与早期作品中的外在评价一致，我们的实验结果表明，Transformers在捕获词汇语义方面更优越，但在捕获底层语法方面不一定更好。此外，我们表明，在一个循环模型的向后递归层学习更多的单词的语义，而向前递归层编码更多的上下文。
2019-07-08 cs.CL cs.LG cs.NE
Neural Machine Translation with Word Predictions
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
在神经机器翻译（NMT）的编码器-解码器结构中，编码器和解码器中递归结构的隐藏状态携带着句子的关键信息，这些向量由翻译错误随时间的反向传播更新的参数生成。我们认为，传播错误通过端到端的经常性结构是不是一个直接的方式来控制隐藏的向量。在本文中，我们建议使用单词预测作为直接监督的机制。更具体地说，我们要求这些向量能够预测目标句子中的词汇。我们的简单机制确保了编码器和解码器中更好的表示，而无需使用任何额外的数据或注释。这也有助于减少目标端词汇量，提高解码效率。在汉英和德英机器翻译任务上的实验表明，BLEU分别提高了4.53和1.3
2017-08-05 cs.CL
Recurrent multiple shared layers in Depth for Neural Machine Translation
KingSoft AI Lab（金山AI实验室）；University of Groningen（格罗宁根大学）
学习更深层次的模型通常是提高模型性能的一种简单有效的方法，但是更深层次的模型具有更大的模型参数，并且更难以训练。为了获得更深层次的模型，简单地堆叠更多的模型层似乎可以很好地工作，但以前的工作声称它不能使模型受益。我们提出用递归机制来训练更深的模型，该机制在深度方向上循环Transformer的编码器和解码器块。为了解决模型参数的增加，我们选择在不同的递归时刻共享参数。我们在WMT 16英语到德语和WMT 14英语到法语翻译任务上进行了实验，我们的模型比浅的Transformer-Base/Big基线高出0.35，1.45 BLEU点，是Transformer-Big模型参数的27.23%。与深度Transformer（20层编码器，6层解码器）相比，我们的模型具有相似的模型性能和推理速度，但我们的模型参数是前者的54.72%。
2021-08-26 cs.CL cs.LG
Augmenting Neural Machine Translation with Knowledge Graphs
University of Paderborn（帕德博恩大学）；Insight Centre for Data Analytics, Data Science Institute National University of Ireland Galway（爱尔兰国立高威大学数据科学研究院洞察数据分析中心）
虽然神经网络已被广泛用于在机器翻译任务中取得实质性进展，但已知它们严重依赖于大量训练数据的可用性。最近的努力已经尝试通过使用不同的策略（诸如反向转换）来增加训练数据来缓解数据稀疏问题。随着数据的稀缺，词汇表外的单词，主要是实体和术语表达，对神经机器翻译系统提出了严峻的挑战。在本文中，我们假设知识图谱增强了神经模型的语义特征提取，从而优化了文本中实体和术语表达的翻译，从而提高了翻译质量。因此，我们研究了两种不同的策略，将知识图谱到神经模型，而不修改的神经网络架构。我们还研究了我们的增强方法对经常性和非经常性（自我注意）神经架构的有效性。我们的知识图谱增强神经翻译模型（称为KG-NMT）在2014年至2018年间针对WMT英德翻译任务的最新测试数据集上平均实现了+3 BLEU、METEOR和chrF 3的显着且一致的改进。
2019-02-23 cs.CL
LatentMT: Machine Translation with Latent Reasoning
研究提出LatentMT，将潜在推理循环语言模型用于机器翻译，采用小型主干模型经轻量级训练，在多语言翻译方向表现出色，循环推理早期提升质量后期饱和，且训练和推理计算效率高，为紧凑高效的机器翻译提供新路径。
2026-07-22 cs.AI cs.CL cs.LG
The Importance of Being Recurrent for Modeling Hierarchical Structure
University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
最近的工作表明，当训练递归神经网络（RNN）以解决常见的自然语言处理任务（例如语言建模）时，它可以隐式地捕获和利用分层信息（Linzen et al.，2016）和神经机器翻译（Shi等人，2016年）。相比之下，尽管非递归神经网络在许多NLP任务中取得了成功，但用非递归神经网络对结构化数据进行建模的能力却很少受到关注（Gehring等人，2017; Vaswani等人，2017年）。在这项工作中，我们比较了这两种架构-经常性与非经常性-关于他们的能力，模型层次结构，并发现，递归确实是重要的，为此目的。
2018-08-28 cs.CL
Accelerating Transformer Decoding via a Hybrid of Self-attention and Recurrent Neural Network
Nankai University（南开大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
由于高度并行化的架构，Transformer比基于RNN的模型更快地进行训练，并广泛用于机器翻译任务。然而，在推理时，每个输出单词需要先前生成的单词的所有隐藏状态，这限制了并行化能力，并且使其比基于RNN的算法慢得多。在本文中，我们系统地分析了Transformer和基于RNN的模型的不同组件的时间成本。在此基础上，我们提出了一种自注意和RNN结构的混合网络，其中，高度并行的自注意被用作编码器，简单的RNN结构被用作解码器。我们的混合网络解码速度比Transformer快4倍。此外，在知识蒸馏的帮助下，我们的混合网络实现了与原始Transformer相当的翻译质量。
2019-09-05 cs.CL
The University of Cambridge's Machine Translation Systems for WMT18
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
剑桥大学提交的WMT 18新闻翻译任务侧重于多种翻译模式的结合。我们在德语-英语、英语-德语和汉语-英语上比较了递归、卷积和基于自我注意力的神经模型。我们的最终系统将所有神经模型与基于MBR的方案中基于短语的SMT系统结合在一起。我们报告小，但一致的增益上强大的Transformer合奏。
2018-08-28 cs.CL
Quality Estimation of Machine Translated Texts based on Direct Evidence from Training Data
本文提出利用机器翻译系统的训练平行语料库作为直接证据来估计翻译质量，实验表明该方法对纯数据驱动的机器翻译系统具有良好前景。
2023-06-27 cs.CL
Exploring Prediction Uncertainty in Machine Translation Quality Estimation
University of Sheffield（谢菲尔德大学）；University of Melbourne（墨尔本大学）
机器翻译质量评估是一项非常困难的任务，这降低了它在现实世界翻译环境中的实用性。如果质量预测伴随着不确定性的测量，这种情况可以得到改善。然而，在这个任务中的模型，传统上只评估的点估计指标，不考虑预测的不确定性。我们研究质量估计的概率方法，可以提供校准良好的不确定性估计，并根据其完整的后验预测分布对其进行评估。我们还展示了这种后验信息如何在不对称风险场景中发挥作用，该场景旨在捕捉翻译工作流程中的典型情况。
2016-06-30 cs.CL
IntelliCAT: Intelligent Machine Translation Post-Editing with Quality Estimation and Translation Suggestion
Bering Lab（贝林实验室）；Sungkyunkwan University（成均馆大学）
我们提出了IntelliCAT，一个具有神经模型的交互式翻译界面，可以简化机器翻译输出的后期编辑过程。我们利用两个不同粒度的质量估计（QE）模型：句子级QE，预测每个机器翻译句子的质量，单词级QE，定位机器翻译句子中需要纠正的部分。此外，我们引入了一个新的翻译建议模型的条件下，左，右的上下文，提供替代特定的单词或短语进行更正。最后，通过单词对齐，IntelliCAT自动在翻译文档中保留原始文档的样式。实验结果表明，基于质量评价和翻译建议的译后编辑能显著提高译文质量。此外，一项用户研究表明，IntelliCAT中提供的三个功能显着加快了后期编辑任务，与从头开始翻译相比，翻译时间加快了52.9%。该接口可在www.example.com上公开获得。
2021-05-25 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
Carnegie Mellon University（卡内基梅隆大学）
基于注意力的编码器-解码器神经网络模型最近在机器翻译和语音识别中显示出有希望的结果。在这项工作中，我们提出了一个基于注意力的神经网络模型的联合意图检测和槽填充，这两个关键步骤，许多语音理解和对话系统。与机器翻译和语音识别不同，对齐在槽填充中是显式的。我们探索不同的策略，将此对齐信息的编码器-解码器框架。借鉴编码器-解码器模型中的注意力机制，我们进一步提出在基于编码器的RNN模型中引入注意力。这种关注为意图分类和插槽标签预测提供了额外的信息。我们的独立任务模型在基准ATIS任务上实现了最先进的意图检测出错率和插槽填充F1得分。我们的联合训练模型在意图检测上进一步获得了0.56%的绝对（23.8%的相对）错误减少，并且在独立任务模型上获得了0.23%的绝对增益。
2016-09-06 cs.CL
Deep Recurrent Models with Fast-Forward Connections for Neural Machine Translation
Baidu Research - Institute of Deep Learning（百度研究院-深度学习研究所）；Baidu Inc.（百度公司）
神经机器翻译（NMT）旨在利用神经网络解决机器翻译（MT）问题，近年来取得了可喜的成果。然而，大多数现有的NMT模型是浅的，并且单个NMT模型与最好的常规MT系统之间仍然存在性能差距。在这项工作中，我们引入了一种新型的线性连接，称为快进连接，基于深度长短期记忆（LSTM）网络，以及用于堆叠LSTM层的交错双向架构。快进连接在传播梯度和构建深度为16的深度拓扑中起着至关重要的作用。在WMT '14英语到法语的任务中，我们使用单一注意力模型实现了BLEU = 37.7，比相应的单一浅层模型高出6.2个BLEU点。这是第一次一个单一的NMT模型实现了最先进的性能，并超过最好的传统模型0.7 BLEU点。即使不使用注意力机制，我们仍然可以达到BLEU = 36.3。在对未知词和模型集成进行特殊处理后，我们获得了迄今为止在此任务上报告的最佳分数，BLEU = 40.4。我们的模型也验证了更困难的WMT '14英语到德语的任务。
2016-07-23 cs.CL cs.LG
Modeling Recurrence for Transformer
Florida State University（佛罗里达州立大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）
近年来，基于注意力机制的Transformer模型在各种机器翻译任务上取得了很大的进展。然而，最近的研究表明，缺乏重现阻碍了其翻译能力的进一步提高。为了解决这个问题，我们提出了一个额外的递归编码器直接为Transformer的递归建模。除了标准的递归神经网络之外，我们还引入了一种新的注意递归网络，以利用注意和递归网络的优势。在广泛使用的WMT 14英-德和WMT 17汉英翻译任务上的实验结果证明了该方法的有效性。我们的研究还表明，所提出的模型受益于一个捷径，桥接源和目标序列与一个单一的递归层，这优于其深对应。
2019-04-05 cs.AI cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Common Sense Advisory (CSA Research)（常识咨询公司（CSA研究））
我们提出了另一种方法来评估质量估计系统，这是基于语言动机的测试套件。我们创建了一个由14个语言错误类别组成的测试集，并为每个类别收集了一组具有正确和错误翻译的样本。然后，我们通过检查它们区分正确和错误翻译的能力来衡量5个质量估计系统的性能。详细的结果更能说明每个系统的能力。事实上，不同的质量评估系统在不同的现象下表现不同，这证实了测试套件的有用性。
2019-10-16 cs.CL
Multilingual Neural Machine Translation for Zero-Resource Languages
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
近年来，神经机器翻译（NMT）已被证明比基于短语的统计方法更有效，从而迅速成为机器翻译（MT）的最新技术。然而，NMT系统在翻译低资源语言方面受到限制，因为需要大量的并行数据来学习语言之间的有用映射。在这项工作中，我们展示了所谓的多语言NMT如何帮助解决与低资源语言翻译相关的挑战。多语言NMT的基本原理是在跨多种语言的共享语义空间中强制创建隐藏的单词表示，从而实现跨语言的正参数传输。沿着这个方向，我们提出了多语种翻译实验，三种语言（英语，意大利语，罗马尼亚语），涵盖六个翻译方向，利用循环神经网络和Transformer（或自我关注）神经网络。然后，我们专注于zero-shot翻译问题，即如何利用多语言数据来学习可用培训材料未涵盖的翻译方向。为此，我们引入了我们最近提出的迭代自训练方法，该方法仅依赖于单语数据，在zero-shot方向上逐步改进多语言NMT。我们对TED演讲数据的研究结果表明，多语言NMT优于传统的双语NMT，Transformer NMT优于递归NMT，zero-shot NMT优于传统的旋转方法，甚至与经过充分训练的双语系统的性能相匹配。
2019-09-16 cs.CL
How Effective are State Space Models for Machine Translation?
TU Munich（慕尼黑工业大学）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel（Unbabel公司）；ELLIS Unit Lisbon（ELLIS里斯本单元）
本文系统比较 Transformer 与 RetNet、Mamba 及其注意力混合模型在机器翻译中的表现，发现 Mamba 竞争力强，融入注意力可进一步提升质量、长度外推鲁棒性和命名实体记忆。
2024-07-07 cs.CL
Ensemble Fine-tuned mBERT for Translation Quality Estimation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；IQVIA
质量评估（QE）是机器翻译工作流程的重要组成部分，因为它在不咨询参考译文的情况下评估翻译输出的质量。在本文中，我们讨论了我们对WMT 2021 QE共享任务的提交。我们参与了任务2的编辑水平子任务，该任务要求参与者预测编辑水平后期编辑工作的HTER分数。我们提出的系统是一个合奏的多语言BERT（mBERT）为基础的回归模型，这是通过微调不同的输入设置。它展示了与Pearson相关性相当的性能，并在几种语言对的MAE/ RMSE中击败了基线系统。此外，我们适应我们的系统的zero-shot设置利用目标语言相关的语言对和伪参考翻译。
2021-09-08 cs.CL
Fast Neural Machine Translation Implementation
University of Edinburgh（爱丁堡大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Tilde Universitat d’Alacant（阿利坎特大学（Tilde））
本文介绍了爱丁堡大学、亚当密茨凯维奇大学、蒂尔德大学和阿利坎特大学的成员在神经机器翻译和生成研讨会上提交的GPU效率跟踪报告。我们专注于在神经机器翻译的快速推理引擎Amun中实现的循环深度学习模型的有效实现。我们通过一个高效的mini-square算法，并通过融合softmax操作与k-best提取算法来提高性能。使用Amun的提交在GPU效率跟踪中排名第一，第二和第三。
2018-06-07 cs.CL
Deep Neural Machine Translation with Linear Associative Unit
Tencent Technology Co., Ltd（腾讯科技有限公司）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Dublin City University（都柏林城市大学）；Baidu Co., Ltd（百度有限公司）
深度神经网络（DNN）已经证明增强了最先进的神经机器翻译（NMT），具有建模复杂函数和捕获复杂语言结构的能力。然而，在其编码器或解码器RNN中具有深层架构的NMT系统通常会由于非线性递归激活而遭受严重的梯度扩散，这通常会使优化变得更加困难。为了解决这个问题，我们提出了新的线性关联单元（LAU），以减少递归单元内的梯度传播长度。与传统方法（LSTM单元和GRU）不同，LAU利用递归单元的输入和输出之间的线性关联连接，这允许信息在空间和时间方向上畅通无阻。这个模型很简单，但却出奇的有效。我们对汉英翻译的实证研究表明，我们的模型与适当的配置可以提高11.7 BLEU的Groundhog和最好的报告结果在相同的设置。在WMT 14英语-德语任务和更大的WMT 14英语-法语任务上，我们的模型取得了与最先进的结果相当的结果。
2017-05-02 cs.CL cs.LG
Quality Estimation Of Machine Translation Outputs Through Stemming
Banasthali University（巴纳斯达利大学）
机器翻译是印度语言的挑战性问题。每天我们都能看到一些机器翻译器被开发出来，但获得高质量的自动翻译仍然是一个非常遥远的梦想。在本文中，我们强调英语-印地语语言对，为了保持正确的MT输出，我们提出了一个排名系统，它采用了一些机器学习技术和形态特征。在排名中，不需要人为干预。我们还通过与人类排名进行比较来验证我们的结果。
2014-07-10 cs.CL
Using Recurrent Neural Network for Learning Expressive Ontologies
FBK-irst；University of Trento（特伦托大学）
最近，神经网络已被证明在许多自然语言处理任务中非常有效，例如情感分析，问答或机器翻译。为了在本体学习过程中利用这些优势，在本技术报告中，我们详细描述了用于实现这一目标的基于循环神经网络的系统。
2016-07-14 cs.AI cs.CL
Learning to Parse and Translate Improves Neural Machine Translation
The University of Tokyo（东京大学）；New York University（纽约大学）
在神经机器翻译之前，人们对语言学的关注相对较少。许多以前的工作进一步限制到考虑语言的源端之前。在本文中，我们提出了一个混合模型，称为NMT+RNNG，学习解析和翻译相结合的递归神经网络语法到基于注意力的神经机器翻译。我们的方法鼓励神经机器翻译模型在训练过程中加入语言先验知识，然后让它自己翻译。在四个语言对上的实验表明了NMT+RNNG的有效性。
2017-04-23 cs.CL
Practical Perspectives on Quality Estimation for Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google, Inc.（谷歌公司）
用于机器翻译（MT）的句子级质量估计（QE）试图预测校正MT输出所需的后期编辑工作的翻译编辑率（TER）成本。我们描述了我们的观点，对企业层面的量化宽松所规定的几个实际设置中遇到的行业。我们发现MT输出的消费者-无论是人类还是算法-主要对二进制质量度量感兴趣：翻译的句子是否足够，还是需要后期编辑？出于这一动机，我们提出了一个质量分类（QC）的观点，在一个给定的阈值以上的精度，我们专注于最大限度地提高召回率。我们证明，虽然经典的QE回归模型在这项任务中表现不佳，但它们可以通过用二进制分类层替换输出回归层来重新利用，从而在90%的精度下实现50- 60%的召回率。对于一个高质量的机器翻译系统产生75- 80%的正确翻译，这确实承诺显着减少后期编辑工作。
2020-05-02 cs.CL
Ensemble-based Transfer Learning for Low-resource Machine Translation Quality Estimation
Georgia Institute of Technology（佐治亚理工学院）
机器翻译的质量估计是对未知的机器翻译系统输出的译文进行质量评估的任务。然而，低资源语言的QE分数通常是棘手的，很难收集。在本文中，我们专注于句子级QE共享任务的第五届机器翻译会议（WMT 20），但在一个更具挑战性的设置。我们的目标是预测给定翻译输出的QE分数，而在训练过程中几乎没有给出配对语言的QE分数。我们提出了一个基于集成的预测-估计QE模型，通过利用其他杂项语言的QE分数和目标语言的翻译结果，利用迁移学习来克服QE数据稀缺的挑战。基于评估结果，我们提供了一个详细的分析，我们的每一个扩展如何影响QE模型的可靠性和泛化能力，在多语言任务下执行迁移学习。最后，我们在集成模型上实现了最佳性能，该集成模型结合了由单个语言预训练的模型以及不同级别的并行训练语料库，Pearson相关性为0.298，是基线的2.54倍。
2021-05-17 cs.CL
Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University（纽约大学）
条件递归语言建模的最新进展主要集中在网络架构（例如，注意力机制），学习算法（例如，调度采样和序列级训练）和新颖的应用（例如，图像/视频描述生成、语音识别等）另一方面，我们注意到解码算法/策略还没有被研究得那么多，并且使用贪婪或束搜索已经成为标准。在本文中，我们提出了一种新的解码策略，其动机是早期的观察，即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性，同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
Intelligent Hybrid Man-Machine Translation Quality Estimation
Alexandria University（亚历山大大学）；Microsoft Research（微软研究院）
与使用不适合实时应用（例如，后期编辑）的当前评估度量相比，基于人类判断推断评估分数是非常宝贵的。然而，与基于对比源文本和翻译文本的指标的评估相比，这些判断的收集成本要高得多，特别是从专家翻译人员那里收集。这项工作介绍了一种新的方法，质量估计相结合的概率推理模型的基础上人类的判断，选择性的语言特征为基础的分数，其中建议的推理模型推断的可信度，以解决人类判断的稀缺性和不一致的问题。实验结果，使用具有挑战性的语言对，表现出改善与人类的判断，传统的评价指标。
2013-07-07 cs.CL
SpeechQE: Estimating the Quality of Direct Speech Translation
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对语音翻译质量估计研究不足的问题，该工作定义SpeechQE任务、构建基准，提出利用预训练文本LLM的端到端系统，验证其优于级联文本质量估计系统，并发布数据模型推动相关研究。
2024-10-28 cs.CL
Ensembling Factored Neural Machine Translation Models for Automatic Post-Editing and Quality Estimation
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
本文提出了一种基于神经机器翻译（NMT）系统的自动后期编辑（APE）和词级质量估计（QE）的新方法。已被证明对QE有效的词级特征被包括作为输入因素，扩展了原始源和机器翻译假设的表示，其用于生成自动编辑后的假设。我们训练了一套NMT模型，这些模型使用不同的输入表示，但共享相同的输出空间。然后，将这些模型组合在一起，并针对APE和QE任务进行调整。因此，我们试图在一个单一的框架内连接国家的最先进的方法，以APE和QE。我们的模型在这两项任务中都取得了最先进的结果，唯一的区别在于调整步骤，即学习集合中每个组件的权重。
2017-07-15 cs.CL
Neural Machine Translation model for University Email Application
Faculty of Integrated Technologies\ Brunei Darussalam\ Darussalam；Institute of Applied Data Analytics\ Brunei Darussalam\ Darussalam
机器翻译有许多应用，如新闻翻译，电子邮件翻译，官方信件翻译等。商业翻译，如谷歌翻译在区域词汇方面滞后，无法学习输入中的源语言和目标语言的双语文本。在本文中，一个区域词汇为基础的面向应用的神经机器翻译（NMT）模型，提出了一个数据集的电子邮件在大学的通信超过三年。将ML -> EN和EN -> ML翻译的最先进的序列到序列神经网络与使用具有注意力解码器的门控递归单元递归神经网络机器翻译模型的Google翻译进行比较。与我们的模型相比，Google翻译的BLEU分数较低，这表明基于应用程序的区域模型更好。我们的模型和谷歌翻译的EN -> ML的BLEU分数较低，表明马来语具有与英语相对应的复杂语言特征。
2020-07-20 cs.AI cs.CL cs.LG
Neural Machine Translation between Herbal Prescriptions and Diseases
目前的研究将深度学习应用于草药学。为此，我们取得了台湾全民健康保险数据库中2004年至2013年10年间的去识别医疗保险报销记录，报销记录总数为3.4亿条。两种人工智能技术被应用到数据集：残差卷积神经网络多任务分类器和基于注意力的递归神经网络。前者致力于从草药处方到疾病的翻译;后者则从疾病到草药处方。对分类结果的分析表明，中药方剂具有特定性：解剖、病理生理、患者性别和年龄、方剂的季节和年份。进一步的分析表明，温度和国内生产总值是与草药处方相关的气象和社会经济因素。对神经网络过渡结果的分析表明，递归神经网络不仅学习了句法，而且学习了疾病和方剂的语义。
2017-07-09 cs.CL cs.LG
Neural Machine Translation in Linear Time
Google Deepmind（谷歌DeepMind）
我们提出了一种新的神经网络处理序列。ByteNet是一个一维卷积神经网络，它由两部分组成，一部分对源序列进行编码，另一部分对目标序列进行解码。这两个网络部分通过将解码器堆叠在编码器之上并保持序列的时间分辨率来连接。为了解决源和目标的不同长度，我们引入了一种有效的机制，通过该机制，解码器在编码器的表示上动态展开。ByteNet在卷积层中使用膨胀来增加其接收域。由此产生的网络有两个核心属性：它在时间上运行，在序列长度上是线性的，并且它避免了过度记忆的需要。ByteNet解码器在字符级语言建模方面达到了最先进的性能，并优于以前使用递归网络获得的最佳结果。ByteNet还在英语到德语的WMT翻译任务中实现了字符到字符机器翻译的最先进性能，超过了基于具有注意力池的递归网络并在二次时间内运行的可比神经翻译模型。我们发现，潜在的对齐结构中包含的表示反映了令牌之间的预期对齐。
2017-03-15 cs.CL cs.LG
Quality Estimation Using Round-trip Translation with Sentence Embeddings
Dublin City University（都柏林城市大学）
评估机器翻译系统的质量一直是该领域研究人员面临的挑战。许多以前尝试使用往返翻译作为衡量质量的标准都失败了，对于它是否可以作为一种可行的质量评估方法存在很大分歧。在本文中，我们重新审视往返翻译，提出了一个系统，旨在解决以前的陷阱发现的方法。我们的方法利用语言表示学习的最新进展，更准确地衡量原始和往返翻译句子之间的相似性。实验表明，虽然我们的方法没有达到目前最先进的方法的性能，它可能仍然是一个有效的方法，一些语言对。
2021-10-31 cs.CL cs.LG
Computer Assisted Translation with Neural Quality Estimation and Automatic Post-Editing
Alibaba Group Inc.（阿里巴巴集团有限公司）
随着神经机器翻译的出现，已经出现了向利用和消费机器翻译结果的显著转变。然而，机器翻译系统和人工翻译之间的差距需要通过后期编辑手动弥合。在本文中，我们提出了一个端到端的深度学习框架，用于机器翻译输出的质量评估和自动后期编辑。我们的目标是提供纠错建议，并通过可解释的模型进一步减轻翻译人员的负担。为了模仿人类译者的行为，我们设计了三个高效的委托模块--质量评估、生成式后编辑和原子操作后编辑，并基于它们构建了一个分层模型。我们使用WMT 2017 APE共享任务的英语-德语数据集来检验这种方法，我们的实验结果可以达到最先进的性能。我们还验证了认证的翻译人员可以显着加快他们的编辑后处理与我们的模型在人类评估。
2020-09-28 cs.AI cs.CL
Towards Neural Machine Translation with Latent Tree Attention
Salesforce（赛富时）
在没有先验注释的情况下利用语言的层次结构来构建模型是自然语言处理的长期目标。我们为机器翻译任务引入了这样一个模型，将递归神经网络语法编码器与新型注意力RNNG解码器配对，并应用策略梯度强化学习来诱导源和目标上的无监督树结构。当在没有显式分割或解析注释的字符级数据集上训练时，模型学习合理的分割和浅层解析，获得接近注意力基线的性能。
2017-09-06 cs.AI cs.CL
ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
我们介绍ChrEnTranslate，一个在线机器翻译演示系统，用于英语和濒危语言切罗基语之间的翻译。它支持统计和神经翻译模型，并提供质量评估以告知用户可靠性，分别为专家和普通用户提供两个用户反馈界面，收集单语数据的人工翻译的示例输入，单词对齐可视化以及Cherokee-English词典中的相关术语。定量评估表明，我们的骨干翻译模型达到了最先进的翻译性能，我们的质量评估与BLEU和人类判断都有很好的相关性。通过分析216条专家反馈，我们发现NMT是更好的，因为它比SMT复制少，而且，一般来说，目前的模型可以翻译源句子的片段，但会犯重大错误。当我们将这216个专家校正的平行文本添加回训练集并重新训练模型时，观察到相同或略好的性能，这表明了人在回路学习的潜力。我们的在线演示在https://chren.cs.unc.edu/，我们的代码在https://github.com/ZhangShiyue/ChrEnTranslate开源，我们的数据在https：//github.com/ZhangShiyue/ChrEn
2021-08-02 cs.AI cs.CL
Refining Source Representations with Relation Networks for Neural Machine Translation
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Dublin City University（都柏林城市大学）
尽管基于编码器-解码器框架的神经机器翻译近年来取得了巨大的成功，但它仍然存在着遗忘遥远信息的缺点，这是递归神经网络结构的固有缺点，并且在编码步骤中忽略了源词之间的关系。而在实际操作中，往往是利用了前一步的信息和关系.我们的目标是解决这些问题，从而引入关系网络来学习更好的表示源。关系网络能够通过将源词彼此关联来增强递归神经网络的记忆能力，这也有助于保持它们之间的关系。然后，源表示和所有关系在解码时一起被馈送到注意力组件，而主编码器-解码器框架不变。在多个数据集上的实验表明，我们的方法可以显着提高传统编码器-解码器模型的翻译性能，甚至优于涉及监督句法知识的方法。
2018-09-09 cs.AI cs.CL stat.ML
Scaling Recurrent Neural Network Language Models
Cantab Research（坎塔布研究公司）
研究了循环神经网络语言模型的标度特性。我们讨论如何在GPU上训练非常大的RNN，并解决RNNLM如何在模型大小，训练集大小，计算成本和内存方面扩展的问题。我们的分析表明，尽管训练的成本更高，RNNLM在标准基准测试中获得的困惑比n-gram模型低得多。我们训练了已知最大的RNN，并在ASR任务上实现了18%的相对字出错率增益。我们还在最近发布的十亿字语言建模基准上提出了新的最低困惑，机器翻译的BLEU点增益和单词预测的17%相对命中率增益。
2015-02-02 cs.CL cs.LG
Using Source-Side Confidence Estimation for Reliable Translation into Unfamiliar Languages
University of Notre Dame（圣母大学）
本文提出一种无需对齐的源端置信度估计方法，通过测量目标词概率对源嵌入变化的敏感度来识别机器翻译中的错误，在错误翻译检测上优于传统基于对齐的方法，提升了面向不熟悉目标语言用户的交互式翻译系统的可信度与可解释性。
2025-03-30 cs.CL cs.LG
Beyond Glass-Box Features: Uncertainty Quantification Enhanced Quality Estimation for Neural Machine Translation
Alibaba Group（阿里巴巴集团）；College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
质量评估在机器翻译的应用中起着至关重要的作用。传统上，QE系统接受来自黑盒MT系统的原始源文本和翻译作为输入。近年来，有研究表明，量化引擎作为翻译的副产品，得益于翻译源机器翻译系统的模型和训练数据信息，被称为“玻璃盒子量化引擎”。本文将“玻璃盒QE”的定义推广到一般的不确定性量化，并设计了“黑箱”和“玻璃盒”两种方法，为改进QE的性能进行了新的尝试。我们提出了一个框架，融合不确定性量化的特征工程到一个预先训练的跨语言语言模型，以预测翻译质量。实验结果表明，该方法在WMT 2020 QE共享任务数据集上取得了较好的性能.
2021-09-15 cs.AI cs.CL
Efficient Inference For Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple Inc.（苹果公司）
大型Transformer模型在神经机器翻译中取得了最先进的成果，并已成为该领域的标准。在这项工作中，我们寻找已知技术的最佳组合，以优化推理速度，而不牺牲翻译质量。我们进行了一项实证研究，将各种方法叠加在一起，并证明了将解码器自注意力替换为简化的递归单元，采用深层编码器和浅层解码器架构以及多头注意力修剪的组合可以在CPU和GPU上分别实现高达109%和84%的加速比，并将参数数量减少25%，同时保持相同的BLEU翻译质量。
2020-10-07 cs.CL cs.LG
