Recurrent Stacking of Layers in Neural Networks: An Application to Neural Machine Translation
National Institute of Information and Communications Technology（信息通信技术研究所）
在深度神经网络建模中，最常见的做法是堆叠多个递归、卷积或前馈层，以获得高质量的连续空间表示，从而提高网络预测的质量。传统上，堆栈中的每一层都有自己的参数，这导致模型参数的数量显著增加。在本文中，我们建议共享所有层的参数，从而导致一个循环堆叠的神经网络模型。我们报告了一个关于神经机器翻译（NMT）的广泛案例研究，其中我们将我们提出的方法应用于基于编码器-解码器的神经网络模型，即，Transformer模型，并使用三个日语-英语翻译数据集进行实验。我们凭经验证明，一个模型的翻译质量，反复堆叠一个单一的层6次，尽管有显着更少的参数，方法的模型，堆叠6层，其中每一层有不同的参数。我们还探讨了经常性堆叠的限制，我们训练非常深的NMT模型。本文还通过利用预训练参数和知识蒸馏进行迁移学习，检查了我们的递归堆栈模型作为学生模型的实用性，并表明它可以补偿递归堆栈模型直接训练带来的翻译质量性能下降。我们还展示了迁移学习如何在由于循环堆叠而已经减少的参数数量之上帮助更快地解码。最后，我们通过可视化使用循环堆叠层的模型和不使用循环堆叠层的模型的注意力来分析循环堆叠层的影响。
2021-06-18 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University（南京大学）；University of Notre Dame（圣母大学）
大多数神经机器翻译（NMT）模型基于顺序编码器-解码器框架，该框架不使用语法信息。在本文中，我们改进了这个模型，明确纳入源端语法树。更具体地说，我们提出了（1）一个双向树编码器，学习顺序和树结构表示;（2）一个树覆盖模型，让注意力取决于源端语法。汉英翻译实验表明，我们提出的模型优于顺序注意模型，以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）最近在机器翻译领域变得流行。然而，NMT在翻译中存在着重词或漏词的问题。为了解决这个问题，Tu et al.（2017）提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中，他们以与Bahdanau等人（2015）相同的方式选择了最佳的前向翻译模型，然后训练了一个双向翻译模型作为微调。他们的实验表明，它提供了显着提高BLEU分数在汉英翻译任务。我们证实，我们的重新实施也表现出同样的趋势，并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外，我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
Translation Quality Estimation using Recurrent Neural Network
CDAC Mumbai（孟买先进计算发展中心）
本文介绍了我们在第一届统计机器翻译会议（WMT 16）上提交的关于词/短语级质量估计（QE）的共享任务。共享任务的目的是预测给定单词/短语在给定句子中是否是正确/不正确（OK/BAD）的翻译。本文提出了一种基于循环神经网络语言模型（RNN-LM）结构的词级质量估计方法。已经发现RNN-LM在不同的自然语言处理（NLP）应用中非常有效。RNN-LM主要用于不同NLP问题的向量空间语言建模。为此，我们修改了RNN-LM的架构。修改后的系统预测槽中的标签（OK/BAD），而不是预测单词。系统的输入是一个单词序列，类似于标准的RNN-LM。该方法与语言无关，只需要QE的翻译文本。为了估计短语级质量，我们使用单词级QE系统的输出。
2016-10-21 cs.CL
Recurrent Graph Syntax Encoder for Neural Machine Translation
UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；University of Sydney（悉尼大学）
结合句法的机器翻译模型在提高模型的推理能力和语义保持能力方面已被证明是成功的。在本文中，我们提出了一个简单而有效的图形结构的编码器，递归图编码器，被称为\textbf{RGSE}，它提高了捕捉有用的语法信息的能力。RGSE是在标准编码器（循环或自注意编码器）上完成的，将循环网络单元视为图节点，并将语法依赖性注入为边，使得RGSE同时对语法依赖性和顺序信息（\textit{i.e.}，词序）进行建模。我们的方法在英语$\Rightarrow$德语和英语$\Rightarrow$捷克语翻译任务中实现了几个语法感知NMT模型的相当大的改进。在WMT 14 En-De任务中，配备RGSE的大模型取得了与现有模型相当的成绩。大量的分析进一步验证了RGSE可以有利于长句建模，并产生更好的翻译。
2019-08-19 cs.CL cs.LG
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型，提高了翻译质量，超过了双语基线。然而，这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明，双语翻译使用深度编码器和浅层解码器（DESD）可以减少推理延迟，同时保持翻译质量，因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现，对于多对一的翻译，我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度，但对于一对多的翻译，浅解码器会导致明显的质量下降。为了改善这种下降，我们提出了一个深编码器与多个浅解码器（DEMSD），其中每个浅解码器负责目标语言的不相交子集。具体而言，与标准Transformer模型相比，具有2层解码器的DEMSD模型能够获得平均1.8倍的加速，而不会降低翻译质量。
2022-06-05 cs.CL
How Transformer Revitalizes Character-based Neural Machine Translation: An Investigation on Japanese-Vietnamese Translation Systems
University of Information and Communication Technology, TNU（太原大学信息与通信技术学院）；Institute of Anthropomatics and Robotics, KIT（卡尔斯鲁厄理工学院人类工程学与机器人研究所）；University of Engineering and Technology, VNU（越南国立大学工程技术大学）；School of Information Science, JAIST（北陆先端科学技术大学院大学信息科学学院）
在东亚语言之间的翻译中，许多作品都发现了以汉字为翻译单位的明显优势。遗憾的是，传统的递归神经机器翻译系统由于其架构上的限制，阻碍了这些基于字符的系统的实际使用。它们在处理极长的序列时是不利的，并且在并行计算中受到高度限制。在本文中，我们证明了新的Transformer架构可以执行基于字符的翻译比经常性的。我们在一个低资源的语言对上进行实验：日语-越南语。我们的模型大大优于采用基于单词的递归架构的最先进的系统。
2019-10-17 cs.CL
Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们提出了一个简单而有效的方法，将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络（GCN），这是最近开发的一类神经网络，用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示（即编码器的隐藏状态）。GCN将单词表示作为输入并产生单词表示作为输出，因此它们可以容易地作为层并入标准编码器（例如，在双向RNN或卷积神经网络之上）。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器，并观察到实质性的改进，在所有考虑的设置，其语法不可知的版本。
2020-06-18 cs.CL
Does Multi-Encoder Help? A Case Study on Context-Aware Neural Machine Translation
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）；Institute of Psychology, CAS（中国科学院心理研究所）；Kingsoft AI Lab（金山人工智能研究院）
在编码器-解码器神经模型中，除了单个句子之外，多个编码器通常用于表示上下文信息。本文研究了文档级神经机器翻译（NMT）中的多编码器方法。令人惊讶的是，我们发现上下文编码器不仅对周围的句子进行编码，而且还表现为噪声生成器。这让我们重新思考多编码器在上下文感知翻译中的真正好处-一些改进来自鲁棒训练。我们比较了几种方法，这些编码器的训练中引入噪声和/或良好调整的辍学设置。实验结果表明，噪声训练在基于多编码器的NMT中起着重要作用，特别是当训练数据较小时。此外，我们建立了一个新的国家的最先进的IWFRF-EN任务，仔细使用噪声产生和辍学的方法。
2020-05-17 cs.CL
Understanding Neural Machine Translation by Simplification: The Case of Encoder-free Models
Uppsala University（乌普萨拉大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
本文通过简化神经机器翻译（NMT）结构和训练无编码器的NMT模型来理解NMT。在无编码器模型中，词嵌入和位置嵌入的总和表示源。解码器是一个标准的Transformer或递归神经网络，通过注意力机制直接处理嵌入。实验结果表明：（1）无编码器模型中的注意力机制是一个强的特征提取器;（2）无编码器模型中的词嵌入与传统模型中的词嵌入相比具有竞争力;（3）非语境化的源表示导致性能大幅下降;（4）无编码器模型对德英和汉英对齐质量的影响不同。
2019-07-18 cs.CL
Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
神经机器翻译（NMT）通常采用编码器-解码器框架。充分理解编码器和解码器的特点和功能有助于解释框架的优缺点，并为NMT设计更好的模型。本文以Transformer为例，对NMT中的编码器和解码器进行了实证研究。我们发现，1）解码器比NMT中的编码器处理更容易的任务，2）解码器比编码器对输入噪声更敏感，以及3）解码器中的先前单词/令牌提供了强条件信息，这解释了上述两个观察结果。我们希望这些观察结果能够揭示编码器和解码器的特征，并启发未来对NMT的研究。
2019-08-17 cs.CL
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
最先进的多语言机器翻译依赖于通用的编码器-解码器，这需要重新训练整个系统以添加新的语言。在本文中，我们提出了一种替代方法，是基于特定语言的编码器-解码器，因此可以更容易地扩展到新的语言，通过学习其相应的模块。为了鼓励共同的中间语言表示，我们同时训练N种初始语言。我们的实验表明，所提出的方法比通用编码器-解码器平均高出3.28个BLEU点，并且在添加新语言时，不需要重新训练其余模块。总而言之，我们的工作缩小了共享和特定语言编码器-解码器之间的差距，朝着模块化多语言机器翻译系统迈进，可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
Lattice-Based Transformer Encoder for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
神经机器翻译（NMT）采用确定性序列作为源表示。然而，无论是词级还是子词级分割都有多种选择，可以使用不同的词分割器或不同的子词词汇量来分割源序列。我们假设分割的多样性可能会影响NMT的性能。为了将不同的分割与最先进的NMT模型Transformer相结合，我们提出了基于格的编码器，以在训练过程中自动探索有效的单词或子单词表示。我们提出了两种方法：1）格位置编码和2）格感知的自我注意。这两种方法可以结合使用，相互补充，进一步提高翻译性能。实验结果表明，基于格的编码器在字级和子字级表示上优于传统的Transformer编码器。
2019-06-04 cs.CL
Neural Machine Translation with Recurrent Attention Modeling
Carnegie Mellon University（卡内基梅隆大学）
在生成翻译的同时知道哪些词在先前的时间步骤中已经被注意到，这是预测未来将注意到哪些词的丰富信息来源。我们改进了Bahdanau et al.（2014）的注意力模型，通过使用每个输入单词的一个递归网络来明确地建模每个单词的先前和后续注意力水平之间的关系。这种架构很容易捕获信息特征，例如生育率和相对失真。在实验中，我们表明我们的参数化的注意力提高翻译质量。
2016-07-18 cs.CL cs.NE
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；IXA NLP Group（IXA自然语言处理组）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
我们提出了一个模块化的体系结构的语言特定的编码器-解码器，构成一个多语言的机器翻译系统，可以逐步扩展到新的语言，而不需要重新训练现有的系统时，添加新的语言。从以前的作品，我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块，这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明，我们可以成功地训练这个模块化的架构，提高了初始语言，而略有落后时，添加新的语言或做zero-shot翻译。另外，在自然语言推理任务中对句子表征质量的比较表明，交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
神经机器翻译最近显示出非常有前途的结果。大多数NMT模型遵循编码器-解码器框架。为了使编码器-解码器模型更加灵活，注意力机制被引入到机器翻译以及诸如语音识别和图像描述的其他任务中。我们观察到，当对齐不正确时，基于注意力的编码器-解码器的翻译质量可能会受到显着损害。我们将这些问题归因于缺乏扭曲和生育模型。针对这些问题，我们提出了新的基于注意力的编码器-解码器的变体，并将其与其他机器翻译模型进行了比较。我们提出的方法比原来的基于注意力的编码器-解码器提高了2个BLEU点。
2016-01-22 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了我们的第一次尝试，在建立一个统一的方法下的多语言神经机器翻译框架。然后，我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理，它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性，并有了高达2.6个BLEU点的显著改进。此外，该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
A Convolutional Encoder Model for Neural Machine Translation
Facebook AI Research（Facebook 人工智能研究院）
神经机器翻译的流行方法依赖于双向LSTM来编码源句子。在本文中，我们提出了一种更快，更简单的架构，基于一系列卷积层。这允许对整个源句子同时进行编码，而递归网络的计算受到时间依赖性的约束。在WMT'16英语-罗马尼亚语翻译中，我们达到了具有竞争力的准确性，达到了最先进的水平，并且在WMT'15英语-德语任务中，我们的表现优于最近发表的几项结果。我们的模型在WMT'14英法翻译上获得了与非常深的LSTM设置几乎相同的准确性。我们的卷积编码器以与强大的双向LSTM基线相同或更高的精度将CPU解码速度提高了两倍以上。
2017-07-25 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
最近，通用神经机器翻译（NMT）与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同，联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示，每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点，特别是当共享词汇表和模型参数的大小受到限制时。然而，在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中，我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意，我们探索最大限度地提高表示的普遍性，实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码（DAE）目标，以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明，我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外，我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力，这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation
EPFL（洛桑联邦理工学院）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Mannheim（曼海姆大学）
跨语言编码器的评估通常通过在有监督的下游任务中的zero-shot跨语言迁移或通过无监督的跨语言文本相似性来执行。在本文中，我们关注的是无参考机器翻译（MT）评估，我们直接将源文本与（有时是低质量的）系统翻译进行比较，这代表了多语言编码器的自然对抗设置。无参考评估有望对机器翻译系统进行网络规模的比较。我们系统地研究了一系列基于最先进的跨语言语义表示的指标，这些语义表示是通过预训练的M-BERT和LASER获得的。我们发现，它们作为无参考机器翻译评估的语义编码器表现不佳，并确定了它们的两个关键限制，即，（a）相互翻译表示之间的语义不匹配，更突出的是，（b）无法惩罚“翻译”，即，低质量的直译。我们提出了两个部分补救措施：（1）事后重新对齐的向量空间和（2）耦合的语义相似性为基础的指标与目标端语言建模。在段级MT评估中，我们的最佳度量超过基于参考的BLEU 5.7个相关点。
2020-06-08 cs.CL
Encoders Help You Disambiguate Word Senses in Neural Machine Translation
Uppsala University（乌普萨拉大学）；University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）在翻译歧义词方面取得了新的最先进的性能。然而，目前还不清楚哪个组成部分主导了消歧过程。在本文中，我们探讨的能力NMT编码器和解码器消除歧义的词义，通过评估隐藏状态和调查的自我注意力的分布。我们训练一个分类器来预测一个歧义名词的翻译是否正确。我们发现，编码器隐藏状态优于词嵌入显着，这表明编码器充分编码的消歧到隐藏状态的相关信息。解码器可以提供用于消除歧义的进一步相关信息。此外，注意权重和注意熵表明，自我注意可以检测出歧义名词，并将更多的注意力分配到上下文。请注意，这是一个修订版。与解码器隐藏状态相关的内容已更新。
2020-05-06 cs.CL
Modeling Source Syntax for Neural Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Soochow University（苏州大学）；Tencent AI Lab（腾讯AI实验室）
尽管神经机器翻译（NMT）中的无语言学的序列到序列模型具有一定的隐式学习源句子的句法信息的能力，但本文表明源句法可以显式地并入NMT以有效地提供进一步的改进。具体来说，我们线性化源句子的分析树，以获得结构化的标签序列。在此基础上，我们提出了三种不同类型的编码器来将源语法纳入NMT：1）并行RNN编码器，学习单词和标签注释向量; 2）分层RNN编码器，在两级层次结构中学习单词和标签注释向量;以及3）混合RNN编码器，在单词和标签混合的序列上重复学习单词和标签注释向量。实验结果表明，本文提出的三种句法编码器都能有效地提高汉英翻译的准确率。值得注意的是，最简单的RNN编码器，即，混合RNN编码器产生最佳性能，显著提高了1.4个BLEU点。此外，从几个角度进行了深入的分析，以揭示源语法的好处NMT。
2017-05-02 cs.CL
Heterogeneous Encoders Scaling In The Transformer For Neural Machine Translation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本研究提出多编码器Transformer，集成多达五个异构编码器，通过简单组合策略和性能驱动协同标准，在多种语言及数据集规模上提升翻译质量，低资源语言中最高提升7.16 BLEU。
2023-12-26 cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Telefónica I+D（西班牙电信研发部）
目前的端到端口语翻译（Spoken Language Translation，缩写为多语）方法依赖于有限的培训资源，尤其是在多语言环境中。另一方面，多语言神经机器翻译（MultiNMT）方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上，特定语言的编码器-解码器的任务，多语种翻译（多语种翻译）。我们的方法完全消除了对MultiNMT数据的依赖性，并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明，将语音编码器耦合到MultiNMT架构，与双语基线（$\pm 0.2$ BLEU）相比，可以产生类似质量的翻译，同时有效地允许zero-shot Multiplexer。此外，我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进，在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
Soochow University（苏州大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
非自回归机器翻译（NAT）模型已经证明了显著的推理加速，但遭受较差的翻译准确性。解决该问题的常见做法是将自回归机器翻译（AT）知识转移到NAT模型，例如，知识蒸馏。在这项工作中，我们假设和经验验证，AT和NAT编码器捕获不同的语言特性的源语句。因此，我们建议采用多任务学习，通过编码器共享将AT知识转移到NAT模型。具体来说，我们把AT模型作为一个辅助任务，以提高NAT模型的性能。在WMT 14英语-德语和WMT 16英语-罗马尼亚语数据集上的实验结果表明，所提出的多任务NAT比基线NAT模型有了显着的改进。此外，在大规模WMT 19和WMT 20英语-德语数据集上的性能证实了我们提出的方法的一致性。此外，实验结果表明，我们的多任务NAT是补充知识蒸馏，NAT的标准知识转移方法。
2021-05-17 cs.CL
Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation
University of Washington（华盛顿大学）；Facebook AI（脸书人工智能）；Allen Institute for AI（艾伦人工智能研究所）
最近的许多努力已经投入到非自回归神经机器翻译中，这似乎是现代GPU上最先进的自回归机器翻译的有效替代方案。与后者相比，前者允许跨目标令牌位置并行生成，后者的生成是顺序的。与自回归基线相比，一些最新的非自回归模型已经实现了令人印象深刻的翻译质量-速度权衡。在这项工作中，我们重新审视了这种权衡，并认为自回归基线可以在不损失准确性的情况下大幅加速。具体来说，我们研究自回归模型与不同深度的编码器和解码器。我们广泛的实验表明，给定足够深的编码器，单层自回归解码器可以在相当的推理速度下大大优于强非自回归模型。我们发现，自回归基线的速度劣势相比，非自回归方法已被高估在三个方面：次优层分配，不充分的速度测量，缺乏知识蒸馏。我们的研究结果为未来快速、准确的机器翻译研究建立了一个新的协议。我们的代码可在https://github.com/jungokasai/deep-shallow上获得。
2021-06-24 cs.CL
A Case Study on Context Encoding in Multi-Encoder based Document-Level Neural Machine Translation
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Wipro AI（威普罗人工智能）
本文通过多编码器文档级神经机器翻译实验，研究不同上下文设置对代词翻译的影响，发现随机上下文也能取得良好效果，且混合选定与随机上下文通常表现更优。
2023-08-11 cs.CL
Learning to Reuse Translations: Guiding Neural Machine Translation with Examples
Soochow University（苏州大学）
在本文中，我们研究的问题，使神经机器翻译（NMT）重用以前的翻译从类似的例子在目标预测。区分可重用的翻译和嘈杂的片段，并学习在NMT中重用它们是不平凡的。为了解决这些挑战，我们提出了一个示例引导的NMT（EGNMT）框架，该框架具有两个模型：（1）噪声屏蔽编码器模型，该模型根据单词对齐来屏蔽噪声单词，并使用附加的示例编码器对噪声屏蔽句子进行编码;以及（2）辅助解码器模型，该模型通过与主解码器共享参数的辅助解码器来预测可重用单词。我们使用最先进的Transformer定义并实现了这两个模型。实验表明，噪声屏蔽编码器模型允许NMT学习有用的信息，从低模糊匹配分数（FMS）的例子，而辅助解码器模型是好的高FMS的例子。在汉英、英德、英西三种语言的翻译实验中，两种EGNMT模型的结合分别比基线系统和双编码器Transformer系统的BLEU值提高了+9和+7。
2019-11-28 cs.CL
Machine translation considering context information using Encoder-Decoder model
Kanazawa University（金泽大学）
在机器翻译任务中，上下文信息是一个重要因素。但考虑上下文信息的模型没有提出。本文提出了一种新的模型，可以集成上下文信息进行翻译。在本文中，我们创建了一个新的基于模型的编码器解码器模型。在翻译当前句子时，该模型将前一个编码器的输出与当前编码器的输出相结合。该模型能够考虑上下文信息，其结果得分高于现有模型。
2019-03-30 cs.CL cs.LG
TransAlign: Machine Translation Encoders are Strong Word Aligners, Too
University of Würzburg Center for Artificial Intelligence and Data Science (CAIDAS)（乌尔姆大学人工智能与数据科学中心（CAIDAS））
提出TransAlign，利用多语言机器翻译模型编码器进行词对齐，在跨语言迁移的词元分类任务中大幅优于现有词对齐器及非词对齐标签投影方法。
2025-10-31 cs.CL
A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation
Xiamen University（厦门大学）；Tencent Inc（腾讯公司）；University of Rochester（罗切斯特大学）
多模态神经机器翻译（NMT）旨在将源语句翻译成与图像配对的目标语言。然而，占主导地位的多模态NMT模型没有充分利用不同模态的语义单元之间的细粒度语义对应关系，这有可能细化多模态表示学习。为了解决这个问题，在本文中，我们提出了一种新的基于图的NMT多模态融合编码器。具体来说，我们首先表示输入的句子和图像使用统一的多模态图，它捕捉多模态语义单位（单词和视觉对象）之间的各种语义关系。然后，我们堆叠多个基于图的多模态融合层，这些层迭代地执行语义交互以学习节点表示。最后，这些表示为解码器提供了基于注意力的上下文向量。我们在Multi30K数据集上评估了我们提出的编码器。实验结果和深入的分析表明了多模态NMT模型的优越性。
2020-07-17 cs.CL
Extracting Parallel Sentences with Bidirectional Recurrent Neural Networks to Improve Machine Translation
Université de Montréal（蒙特利尔大学）
并行句子抽取是解决多语言自然语言处理应用中数据稀疏问题的一项任务。我们提出了一种基于双向递归神经网络的方法，从多语言文本集合中提取平行句子。我们的实验与嘈杂的平行语料库表明，我们可以实现有前途的结果对竞争力的基线消除需要特定的功能工程或额外的外部资源。为了证明我们的方法的实用性，我们从维基百科文章中提取句子对来训练机器翻译系统，并在翻译性能上显示出显着的改进。
2018-08-24 cs.CL cs.LG stat.ML
Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation
Nara Institute of Science and Technology（奈良科学技术研究所）；National Institute of Information and Communications Technology（信息通信研究机构）
本文通过恒等对分析多语言神经机器翻译的表示迁移问题，揭示零样本翻译缺陷源于表示与多语言纠缠，并提出低秩语言特定嵌入和语言特定对比学习两种方法，在多个数据集上显著提升零样本翻译性能。
2025-04-08 cs.CL
Multi-channel Encoder for Neural Machine Translation
Baidu Inc.（百度公司）
基于注意力的编码器-解码器具有神经机器翻译（NMT）的有效架构，其通常依赖于递归神经网络（RNN）来构建在解码过程期间将由注意力读者最近调用的块。这种编码器的设计在源句子上产生相对均匀的组合，尽管在编码RNN时采用了门控机制。另一方面，我们往往希望解码器采取不同层次的源句适合自己的语言结构：例如，我们可能希望采取的实体名称在其原始形式，而一个成语作为一个完美的组成单位。出于这种需求，我们提出了多通道编码器（MCE），它增强了不同层次的组合编码组件。更具体地说，除了编码RNN的隐藏状态外，MCE还采用1）原始词嵌入进行原始编码，不进行合成，以及2）神经图灵机（NTM）中外部存储器的特定设计，以进行更复杂的合成，而所有三种编码策略在解码期间都被适当地混合。通过对汉英翻译的实证研究表明，该模型在强大的开源NMT系统DL 4 MT 1上可以提高6.52个BLEU点。在WMT 14英语-法语任务中，我们的单个浅层系统达到BLEU=38.8，与最先进的深层模型相当。
2017-12-06 cs.CL
English to Bangla Machine Translation Using Recurrent Neural Network
East West University（东西大学）
在自然语言处理中，递归神经网络在机器翻译中的应用越来越多。除了其他语言，孟加拉语包含大量的词汇。改进英语到孟加拉语的机器翻译将是对孟加拉语处理的重大贡献。本文描述了一个英语到孟加拉语机器翻译系统的体系结构。该系统已实现的编码器-解码器的循环神经网络。该模型使用基于知识的上下文向量来映射英语和孟加拉语单词。在这里测量基于激活函数的模型的性能。在编码层采用线性激活函数，在解码层采用双曲正切激活函数，性能最佳。从GRU和LSTM层的执行来看，GRU的表现要优于LSTM。注意力层采用softmax和sigmoid激活函数实现。该模型的方法在交叉熵损失度量方面优于以前的最先进的系统。读者可以从本文中很容易地了解到英语到孟加拉语的机器翻译的结构和有效的激活函数。
2021-06-14 cs.CL cs.LG
Modeling Latent Sentence Structure in Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
最近的研究表明，由监督解析器预测的语言结构可以有益于神经机器翻译（NMT）。在这项工作中，我们研究了一个更具挑战性的设置：我们将句子结构作为一个潜在的变量在一个标准的NMT编码器-解码器，并诱导它的方式，以利于翻译任务。我们考虑了德英和日英翻译基准，并观察到当使用RNN编码器时，模型没有或非常有限地使用结构归纳装置。相比之下，CNN和基于词嵌入的编码器依赖于潜图，并迫使它们编码有用的、潜在的长距离依赖关系。
2020-06-18 cs.CL
BERT-JAM: Boosting BERT-Enhanced Neural Machine Translation with Joint Attention
Zhejiang University（浙江大学）
BERT增强的神经机器翻译（NMT）旨在利用BERT编码的表示进行翻译任务。最近提出的一种方法使用注意力机制来融合Transformer的编码器和解码器层与BERT的最后一层表示，并显示出增强的性能。然而，他们的方法不允许在BERT表示和编码器/解码器表示之间灵活地分配注意力。在这项工作中，我们提出了一种新的BERT增强的NMT模型，称为BERT-JAM，它从两个方面改进了现有的模型：1）BERT-JAM使用联合注意力模块，允许编码器/解码器层动态分配不同的表示之间的注意力，和2）BERT-JAM允许编码器/解码器层利用BERT的中间表示，通过使用门控线性单元（GLU）组成它们。我们用一种新的三阶段优化策略来训练BERT-JAM，该策略逐步解冻BERT-JAM的不同组件。我们的实验表明，BERT-JAM在多个翻译任务上达到了SOTA BLEU分数。
2020-11-09 cs.CL
Divide and Rule: Effective Pre-Training for Context-Aware Multi-Encoder Translation Models
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
多编码器模型是一个广泛的上下文感知神经机器翻译系统家族，旨在通过对当前句子旁边的文档级上下文信息进行编码来提高翻译质量。上下文编码由上下文参数进行，在文档级数据上进行训练。在这项工作中，我们讨论了有效训练这些参数的困难，由于需要上下文的单词的稀疏性（即，训练信号）以及它们的相关上下文。我们建议在分裂的句子对上预训练上下文参数，这可以有效地利用可用的数据，原因有两个。首先，它通过打破内部句法关系来增加上下文训练信号，从而推动模型更频繁地搜索上下文以消除歧义。其次，它简化了相关上下文的检索，因为上下文段变得更短。我们提出了四种不同的分裂方法，并评估我们的方法与BLEU和对比测试集。结果表明，它始终提高学习的上下文参数，无论是在低和高的资源设置。
2022-03-15 cs.CL
On the Properties of Neural Machine Translation: Encoder-Decoder Approaches
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）
神经机器翻译是纯粹基于神经网络的统计机器翻译的一种相对较新的方法。神经机器翻译模型通常由编码器和解码器组成。编码器从一个可变长度的输入句子中提取一个固定长度的表示，解码器从这个表示中生成一个正确的翻译。在本文中，我们重点分析了两种模型的神经机器翻译的性能：RNN编码器-解码器和一个新提出的门控递归卷积神经网络。我们发现，神经机器翻译在没有未知词的短句上表现相对较好，但随着句子长度和未知词数量的增加，其性能迅速下降。此外，我们发现所提出的门控递归卷积网络可以自动学习句子的语法结构。
2014-10-07 cs.CL stat.ML
Low-Resource Neural Machine Translation Using Recurrent Neural Networks and Transfer Learning: A Case Study on English-to-Igbo
Tennessee Technological University（田纳西技术大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究针对英语到伊博语这一低资源翻译任务，结合RNN（LSTM/GRU）与注意力机制及基于MarianNMT的迁移学习，在基准数据集上取得+4.83 BLEU提升，估计准确率达70%。
2025-04-24 cs.CL cs.LG
Variational Neural Machine Translation
Soochow University（苏州大学）；Xiamen University（厦门大学）
神经机器翻译的模型通常来自于编码器解码器的区别性家族，其在给定源句子的情况下学习目标句子的条件分布。在本文中，我们提出了一个变分模型来学习神经机器翻译的条件分布：一个可以端到端训练的变分编码器解码器模型。与仅从源语句的隐藏表示生成目标翻译的香草编码器-解码器模型不同，变分模型引入连续潜变量来显式地对源语句的底层语义进行建模并指导目标翻译的生成。为了进行有效的后验推理和大规模的训练，我们建立了一个神经后验近似器的源和目标双方的条件，并配备了一个重新参数化技术来估计变分下界。在汉英和英德两种翻译任务上的实验表明，本文提出的变分神经机器翻译比普通神经机器翻译基线有了显著的改进。
2016-09-25 cs.CL
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
Carnegie Mellon University（卡内基梅隆大学）
基于注意力的编码器-解码器神经网络模型最近在机器翻译和语音识别中显示出有希望的结果。在这项工作中，我们提出了一个基于注意力的神经网络模型的联合意图检测和槽填充，这两个关键步骤，许多语音理解和对话系统。与机器翻译和语音识别不同，对齐在槽填充中是显式的。我们探索不同的策略，将此对齐信息的编码器-解码器框架。借鉴编码器-解码器模型中的注意力机制，我们进一步提出在基于编码器的RNN模型中引入注意力。这种关注为意图分类和插槽标签预测提供了额外的信息。我们的独立任务模型在基准ATIS任务上实现了最先进的意图检测出错率和插槽填充F1得分。我们的联合训练模型在意图检测上进一步获得了0.56%的绝对（23.8%的相对）错误减少，并且在独立任务模型上获得了0.23%的绝对增益。
2016-09-06 cs.CL
Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation
Chang Gung University（长庚大学）；National Chung Hsing University（国立中兴大学）
本文提出基于n-gram语言模型的多头卷积编码器（MHC编码器），结合卷积层与多头注意力改进SPARQL查询翻译，在QALD-9和LC-QuAD-1.0数据集上取得领先性能。
2024-08-24 cs.CL
Neural Machine Translation with Recurrent Highway Networks
Indian Institute of Science（印度科学学院）
递归神经网络最近在语言建模任务中获得了很大的普及，特别是在神经机器翻译（NMT）中。最近的NMT模型基于编码器-解码器，其中基于深度LSTM的编码器用于将源句子投影到固定维度的向量，然后另一个深度LSTM从向量中解码目标句子。然而，在探索具有多个空间层（即在每个时间步中）的架构方面的工作很少。本文研究了简单递归公路网络（RHN）在NMT任务中的有效性。该模型在编码器和解码器中采用了递归高速公路神经网络，并对重构器模型进行了改进。我们证明了所有三种方法的有效性IWITONS英语-越南语数据集。我们看到RHN的表现与基于LSTM的模型相当，在某些情况下甚至更好。我们看到，由于高速公路连接，与基于LSTM的深度模型相比，深度RHN模型更容易训练。本文还研究了在每个时间步增加递归深度的影响。
2019-04-28 cs.CL cs.LG
Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation
National Institute of Information and Communications Technology（信息通信研究机构）
减少训练时间是许多任务中的一个重要问题，例如涉及神经网络的专利翻译。数据并行和模型并行是在一台机器上使用多个图形处理单元（GPU）来减少训练时间的两种常见方法。本文提出了一种用于序列到序列（Seq 2Seq）循环神经网络（RNN）机器翻译的混合数据模型并行方法。我们将模型并行方法应用于Seq 2Seq模型的RNN编码器-解码器部分，并将数据并行方法应用于模型的attention-softmax部分。与使用1个GPU时的训练速度相比，使用4个GPU时，我们实现了4.13到4.20倍的速度提升，而不会影响机器翻译的准确性（以BLEU分数衡量）。
2019-09-09 cs.CL cs.DC cs.LG
An Intrinsic Nearest Neighbor Analysis of Neural Machine Translation Architectures
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
早期的方法通过将递归和非递归神经机器翻译模型的隐藏状态馈送到不同的分类器中来间接地研究所捕获的信息。在本文中，我们期待在编码器隐藏状态的Transformer和循环机器翻译模型从最近邻居的角度来看。我们调查到什么程度的最近的邻居共享信息的基础词嵌入以及相关的WordNet条目。此外，我们还研究了最近邻居的潜在句法结构，以揭示句法相似性在将邻居聚集在一起方面的作用。我们比较Transformer和经常性的模型在一个更内在的方式捕获词汇语义和句法结构，与以前的作品使用的外在方法。与早期作品中的外在评价一致，我们的实验结果表明，Transformers在捕获词汇语义方面更优越，但在捕获底层语法方面不一定更好。此外，我们表明，在一个循环模型的向后递归层学习更多的单词的语义，而向前递归层编码更多的上下文。
2019-07-08 cs.CL cs.LG cs.NE
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute（沃斯特理工学院）
本文提出Transformer-编码树(TET)，通过共享相似语言的中间表示提升低资源语言准确率，减少计算冗余，实现单次前向传递生成所有目标语言，比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
From Unsupervised Machine Translation To Adversarial Text Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了一个基于自注意力的双语对抗文本生成器（B-GAN），它可以学习从无监督神经机器翻译系统的编码器表示生成文本。B-GAN能够生成分布式潜在空间表示，该表示可以与基于注意力的解码器配对以生成流畅的句子。当在两种语言之间共享的编码器上训练并与适当的解码器配对时，它可以生成任何一种语言的句子。B-GAN使用用于自动编码器的重建损失、用于翻译的跨域损失和用于文本生成的基于GAN的对抗性损失的组合来训练。我们证明，仅使用多个损失在单语语料库上训练的B-GAN，与单语基线相比，可以生成更流畅的句子，同时有效地使用一半的参数。
2020-11-10 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research（微软研究院）；The University of Hong Kong（香港大学）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德克萨斯A&M大学）
以前的工作主要集中在使用多语言预训练编码器（MPE）改善NLU任务的跨语言迁移，或者使用BERT提高监督机器翻译的性能。然而，MPE是否有助于促进NMT模型的跨语言可移植性，这一点还有待进一步研究。本文重点研究了NMT中的零镜头（zero-shot）跨语言迁移任务。在该任务中，NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练，然后直接在zero-shot语言对上进行测试。我们提出了SixT，这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE，并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法，SixT的性能明显优于mBART，mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型，在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外，与CRISS和m2m-100两个强大的多语言NMT基线相比，我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据，实现了更好的性能。
2021-11-05 cs.CL
Is Encoder-Decoder Redundant for Neural Machine Translation?
RWTH Aachen University（亚琛工业大学）
编码器-解码器体系结构被广泛用于序列到序列建模任务。对于机器翻译，尽管从长短期记忆网络进化到了Transformer网络，再加上注意力机制的引入和发展，编码器-解码器仍然是最先进模型的事实上的神经网络架构。虽然从某些隐藏空间解码信息的动机很简单，但在模型架构中将编码和解码步骤严格分离为编码器和解码器并不一定是必须的。与目标语言中的自回归语言建模任务相比，机器翻译只是具有额外的源句子作为上下文。鉴于神经语言模型现在已经可以处理目标语言中相当长的上下文，很自然地会问，简单地连接源和目标句子并训练语言模型进行翻译是否可行。在这项工作中，我们调查上述概念的机器翻译。具体来说，我们实验双语翻译，翻译与额外的目标单语数据，和多语言翻译。在所有情况下，这种替代方法的性能与基线编码器-解码器Transformer相当，这表明编码器-解码器架构对于神经机器翻译来说可能是冗余的。
2022-10-21 cs.AI cs.CL cs.LG
