Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型，提高了翻译质量，超过了双语基线。然而，这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明，双语翻译使用深度编码器和浅层解码器（DESD）可以减少推理延迟，同时保持翻译质量，因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现，对于多对一的翻译，我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度，但对于一对多的翻译，浅解码器会导致明显的质量下降。为了改善这种下降，我们提出了一个深编码器与多个浅解码器（DEMSD），其中每个浅解码器负责目标语言的不相交子集。具体而言，与标准Transformer模型相比，具有2层解码器的DEMSD模型能够获得平均1.8倍的加速，而不会降低翻译质量。
2022-06-05 cs.CL
Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation
Qiyi（爱奇艺）
神经机器翻译（NMT）模型通常通过单向解码器进行训练，这对应于优化一步预测。然而，这种单向解码框架可能倾向于关注局部结构而不是全局连贯性。为了解决这个问题，我们提出了一种新的方法，自知识蒸馏与双向解码器的神经机器翻译（SBD-NMT）。我们部署了一个后向解码器，它可以作为一个有效的正则化方法的前向解码器。通过利用后向解码器关于长期未来的信息，提取在后向解码器中学习的知识可以鼓励自回归NMT模型提前计划。实验表明，在多个机器翻译数据集上，我们的方法明显优于强Transformer基线。
2022-03-11 cs.CL
Multi-branch Attentive Transformer
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
虽然多分支体系结构是计算机视觉任务成功的关键因素之一，但在自然语言处理中，特别是序列学习任务中，它还没有得到很好的研究。在这项工作中，我们提出了一个简单而有效的变形Transformer称为多分支注意Transformer（简称MAT），其中的注意层是多个分支的平均值，每个分支是一个独立的多头注意力层。我们利用两种训练技术来正则化训练：drop-branch，在训练期间随机删除单个分支，以及近端初始化，使用预训练的Transformer模型来初始化多个分支。在机器翻译、代码生成和自然语言理解方面的实验表明，这种简单的Transformer变体带来了显著的改进。我们的代码可在\url{https://github.com/HA-Transformer}上获得。
2020-07-26 cs.CL
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）最近在机器翻译领域变得流行。然而，NMT在翻译中存在着重词或漏词的问题。为了解决这个问题，Tu et al.（2017）提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中，他们以与Bahdanau等人（2015）相同的方式选择了最佳的前向翻译模型，然后训练了一个双向翻译模型作为微调。他们的实验表明，它提供了显着提高BLEU分数在汉英翻译任务。我们证实，我们的重新实施也表现出同样的趋势，并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外，我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder
Beijing Institute of Technology（北京理工大学）
针对非自回归机器翻译质量较低的问题，提出依赖感知解码器DePA，通过自回归前向后向预训练和注意力转换过程增强目标依赖建模，在WMT和IWSLT基准上实现最高1.88 BLEU增益且不增加推理延迟。
2023-08-02 cs.CL
Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
神经机器翻译（NMT）通常采用编码器-解码器框架。充分理解编码器和解码器的特点和功能有助于解释框架的优缺点，并为NMT设计更好的模型。本文以Transformer为例，对NMT中的编码器和解码器进行了实证研究。我们发现，1）解码器比NMT中的编码器处理更容易的任务，2）解码器比编码器对输入噪声更敏感，以及3）解码器中的先前单词/令牌提供了强条件信息，这解释了上述两个观察结果。我们希望这些观察结果能够揭示编码器和解码器的特征，并启发未来对NMT的研究。
2019-08-17 cs.CL
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
最先进的多语言机器翻译依赖于通用的编码器-解码器，这需要重新训练整个系统以添加新的语言。在本文中，我们提出了一种替代方法，是基于特定语言的编码器-解码器，因此可以更容易地扩展到新的语言，通过学习其相应的模块。为了鼓励共同的中间语言表示，我们同时训练N种初始语言。我们的实验表明，所提出的方法比通用编码器-解码器平均高出3.28个BLEU点，并且在添加新语言时，不需要重新训练其余模块。总而言之，我们的工作缩小了共享和特定语言编码器-解码器之间的差距，朝着模块化多语言机器翻译系统迈进，可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Decoder-only Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文提出首个仅解码器同声机器翻译模型DST，通过分别编码源与目标前缀位置并设计流式自注意力机制，在三个翻译任务上达到最优性能。
2024-06-06 cs.CL
LIUM Machine Translation Systems for WMT17 News Translation Task
University of Le Mans（勒芒大学）
本文介绍了LIUM提交WMT 17新闻翻译任务的英语-德语，英语-土耳其语，英语-捷克语和英语-拉脱维亚语对。我们使用开源的nmtpy框架，训练基于BPE的专注神经机器翻译系统，有和没有因子输出。竞争分数是通过集成各种系统和利用目标单语语料库的回译的可用性。还分析了英语-土耳其语的回译数量和质量的影响，我们在截止日期后提交的作品超过了最好的作品+1.6 BLEU。
2017-07-14 cs.CL
Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
虽然教师强迫已经成为神经机器翻译的主要训练范式，但它通常只根据过去的信息进行预测，因此缺乏对未来的全局规划。为了解决这个问题，我们在训练期间将另一个解码器（称为seer解码器）引入到编码器-解码器框架中，该框架涉及目标预测中的未来信息。同时，我们通过知识蒸馏迫使传统的解码器模拟seer解码器的行为。在汉英、英德、英罗翻译任务上的实验结果表明，该方法在较大的数据集上能显著地优于竞争基准，并取得了较大的改进。此外，实验还证明了知识蒸馏是将知识从seer解码器转移到传统解码器的最佳方式，与对抗学习和L2正则化相比。
2021-06-12 cs.CL
Analysis of Levenshtein Transformer's Decoder and Its Variants
Télécom Paris（巴黎电信学院）
本文分析 LevT 解码器在长度、子词生成和删除能力上的不足，并比较原始、知识蒸馏及翻译记忆变体，以探索改进方向。
2024-02-19 cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Chunk-Based Bi-Scale Decoder for Neural Machine Translation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
在典型的神经机器翻译~（NMT）中，解码器逐词生成句子，将所有语言粒度打包在RNN的相同时间尺度中。在本文中，我们提出了一种新的解码器NMT，它分裂成两个部分的解码状态，并更新他们在两个不同的时间尺度。具体来说，我们首先预测短语建模的块时间尺度状态，在此基础上生成多个单词时间尺度状态。通过这种方式，目标句子被分层地从块翻译成词，利用不同粒度的信息。实验表明，我们提出的模型显着提高了翻译性能比国家的最先进的NMT模型。
2017-05-03 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University（南京大学）；University of Notre Dame（圣母大学）
大多数神经机器翻译（NMT）模型基于顺序编码器-解码器框架，该框架不使用语法信息。在本文中，我们改进了这个模型，明确纳入源端语法树。更具体地说，我们提出了（1）一个双向树编码器，学习顺序和树结构表示;（2）一个树覆盖模型，让注意力取决于源端语法。汉英翻译实验表明，我们提出的模型优于顺序注意模型，以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
神经机器翻译最近显示出非常有前途的结果。大多数NMT模型遵循编码器-解码器框架。为了使编码器-解码器模型更加灵活，注意力机制被引入到机器翻译以及诸如语音识别和图像描述的其他任务中。我们观察到，当对齐不正确时，基于注意力的编码器-解码器的翻译质量可能会受到显着损害。我们将这些问题归因于缺乏扭曲和生育模型。针对这些问题，我们提出了新的基于注意力的编码器-解码器的变体，并将其与其他机器翻译模型进行了比较。我们提出的方法比原来的基于注意力的编码器-解码器提高了2个BLEU点。
2016-01-22 cs.CL
Asynchronous Bidirectional Decoding for Neural Machine Translation
Xiamen University（厦门大学）；Tsinghua University（清华大学）
主导神经机器翻译（NMT）模型采用统一的注意力编码器-解码器神经网络进行翻译。传统上，NMT解码器采用递归神经网络（RNN）以左-右方式执行翻译，使得从右到左生成的目标侧上下文在翻译期间未被利用。在本文中，我们配备了传统的注意力编码器-解码器NMT框架与反向解码器，以探索双向解码NMT。注意由编码器产生的隐藏状态序列，我们的反向解码器首先学习从右到左生成目标端隐藏状态序列。然后，前向解码器在前向方向上执行翻译，而在每个翻译预测时间步中，它同时应用两个注意力模型来分别考虑源侧和反向目标侧隐藏状态。通过这种新的架构，我们的模型能够充分利用源端和目标端的上下文，以提高翻译质量。在NIST中文-英文和WMT英文-德文翻译任务上的实验结果表明，与传统的NMT相比，我们的模型分别获得了3.14和1.38 BLEU点的显著改进。这个工作的源代码可以从https://github.com/DeepLearnXMU/ABDNMT获得。
2018-02-03 cs.CL
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；IXA NLP Group（IXA自然语言处理组）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
我们提出了一个模块化的体系结构的语言特定的编码器-解码器，构成一个多语言的机器翻译系统，可以逐步扩展到新的语言，而不需要重新训练现有的系统时，添加新的语言。从以前的作品，我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块，这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明，我们可以成功地训练这个模块化的架构，提高了初始语言，而略有落后时，添加新的语言或做zero-shot翻译。另外，在自然语言推理任务中对句子表征质量的比较表明，交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
Neural Machine Translation with Dynamic Graph Convolutional Decoder
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group Inc.（阿里巴巴集团）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Peng Cheng Lab（鹏城实验室）
本文提出动态时空图卷积解码器Dyn-STGCD，在端到端框架中联合建模并同时生成目标译文及其句法图，在五个翻译基准上取得一致提升。
2023-05-28 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了我们的第一次尝试，在建立一个统一的方法下的多语言神经机器翻译框架。然后，我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理，它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性，并有了高达2.6个BLEU点的显著改进。此外，该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
最近，通用神经机器翻译（NMT）与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同，联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示，每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点，特别是当共享词汇表和模型参数的大小受到限制时。然而，在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中，我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意，我们探索最大限度地提高表示的普遍性，实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码（DAE）目标，以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明，我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外，我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力，这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Joint Representation Learning of Cross-lingual Words and Entities via Attentive Distant Supervision
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University of Bonn（波恩大学）
词和实体的联合表示学习有益于许多NLP任务，但在跨语言环境中尚未得到很好的探索。在本文中，我们提出了一种新的跨语言的单词和实体的联合表示学习的方法。它捕获相互补充的知识，并使跨语言的知识库和文本之间的推理。我们的方法不需要平行语料库，并自动生成可比数据，通过远程监督使用多语言的知识库。我们利用两种类型的正则化器来对齐跨语言的单词和实体，并设计知识注意和跨语言注意，以进一步减少噪音。我们进行了一系列的实验三个任务：词的翻译，实体相关性，跨语言实体连接。定性和定量的结果都证明了我们方法的重要性。
2018-11-27 cs.CL
Improving Language Transfer Capability of Decoder-only Architecture in Multilingual Neural Machine Translation
Nara Institute of Science and Technology（奈良科学技术大学）；National Institute of Information and Communications Technology（日本信息通信研究机构）
本文针对 decoder-only 架构在多语言神经机器翻译中语言迁移不足的问题，提出两阶段解码与翻译指令对比学习，在零样本翻译上显著超越 encoder-decoder 基线。
2024-12-03 cs.CL
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation
University of Washington（华盛顿大学）；Facebook AI（脸书人工智能）；Allen Institute for AI（艾伦人工智能研究所）
最近的许多努力已经投入到非自回归神经机器翻译中，这似乎是现代GPU上最先进的自回归机器翻译的有效替代方案。与后者相比，前者允许跨目标令牌位置并行生成，后者的生成是顺序的。与自回归基线相比，一些最新的非自回归模型已经实现了令人印象深刻的翻译质量-速度权衡。在这项工作中，我们重新审视了这种权衡，并认为自回归基线可以在不损失准确性的情况下大幅加速。具体来说，我们研究自回归模型与不同深度的编码器和解码器。我们广泛的实验表明，给定足够深的编码器，单层自回归解码器可以在相当的推理速度下大大优于强非自回归模型。我们发现，自回归基线的速度劣势相比，非自回归方法已被高估在三个方面：次优层分配，不充分的速度测量，缺乏知识蒸馏。我们的研究结果为未来快速、准确的机器翻译研究建立了一个新的协议。我们的代码可在https://github.com/jungokasai/deep-shallow上获得。
2021-06-24 cs.CL
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.（Aylien有限公司）
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练，在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT，以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知，就我们使用的训练数据的总大小而言，这是迄今为止对多语言翻译进行的最大评估，就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估，突出了共享解码器参数的方法之间的权衡。我们发现，具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
Memory-enhanced Decoder for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Technologies（华为技术有限公司）；Dublin City University（都柏林城市大学）
我们建议在具有外部存储器的神经机器翻译器（NMT）中增强RNN解码器，作为解码RNN中状态的自然但强大的扩展。这种内存增强的RNN解码器被称为\textsc{MemDec}。在解码期间的每一次，\textsc{MemDec}将从该存储器读取并写入该存储器一次，两者都使用基于内容的寻址。与以前的工作\cite{RNNsearch}中存储源语句的表示的无界存储器不同，\textsc{MemDec}中的存储器是具有预定大小的矩阵，其设计用于在每个时间步更好地捕获对解码过程重要的信息。我们的汉英翻译实验表明，在相同的训练集下，使用$4.8$ BLEU对Groundhog和$5.3$ BLEU对Moses的翻译效果最好。
2016-06-07 cs.CL
Learning to Reuse Translations: Guiding Neural Machine Translation with Examples
Soochow University（苏州大学）
在本文中，我们研究的问题，使神经机器翻译（NMT）重用以前的翻译从类似的例子在目标预测。区分可重用的翻译和嘈杂的片段，并学习在NMT中重用它们是不平凡的。为了解决这些挑战，我们提出了一个示例引导的NMT（EGNMT）框架，该框架具有两个模型：（1）噪声屏蔽编码器模型，该模型根据单词对齐来屏蔽噪声单词，并使用附加的示例编码器对噪声屏蔽句子进行编码;以及（2）辅助解码器模型，该模型通过与主解码器共享参数的辅助解码器来预测可重用单词。我们使用最先进的Transformer定义并实现了这两个模型。实验表明，噪声屏蔽编码器模型允许NMT学习有用的信息，从低模糊匹配分数（FMS）的例子，而辅助解码器模型是好的高FMS的例子。在汉英、英德、英西三种语言的翻译实验中，两种EGNMT模型的结合分别比基线系统和双编码器Transformer系统的BLEU值提高了+9和+7。
2019-11-28 cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Telefónica I+D（西班牙电信研发部）
目前的端到端口语翻译（Spoken Language Translation，缩写为多语）方法依赖于有限的培训资源，尤其是在多语言环境中。另一方面，多语言神经机器翻译（MultiNMT）方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上，特定语言的编码器-解码器的任务，多语种翻译（多语种翻译）。我们的方法完全消除了对MultiNMT数据的依赖性，并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明，将语音编码器耦合到MultiNMT架构，与双语基线（$\pm 0.2$ BLEU）相比，可以产生类似质量的翻译，同时有效地允许zero-shot Multiplexer。此外，我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进，在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Why not be Versatile? Applications of the SGNMT Decoder for Machine Translation
Department of Engineering, University of Cambridge, UK（剑桥大学工程系）；SDL Research, Cambridge, UK（剑桥SDL研究（SDL Research））；University of Cambridge, UK（剑桥大学）
SGNMT是一个用于机器翻译的解码平台，它允许用不同种类的约束和符号模型对各种现代神经翻译模型进行配对。在本文中，我们描述了SGNMT目前发挥积极作用的三个用例：（1）教学，因为SGNMT被用于剑桥大学机器学习、语音和语言技术的哲学硕士的课程工作和学生论文，（2）研究，因为剑桥MT小组的大部分研究工作都基于SGNMT，和（3）技术转移，因为我们展示了SGNMT如何帮助将研究成果从实验室转移到行业，例如。SDL plc的产品。
2018-03-20 cs.CL
Towards Bidirectional Hierarchical Representations for Attention-Based Neural Machine Translation
University of Macau（澳门大学）；Northeastern University（东北大学）
本文提出了一种分层注意神经翻译模型，其重点是通过使用基于双向树的编码器覆盖局部和全局语义信息来增强源端的分层表示。为了最大化目标词的预测可能性，使用注意力机制的加权变体来平衡词汇向量和短语向量之间的注意力信息。使用基于树的稀有词编码，该模型被扩展到子词级，以减轻词汇表（OOV）的问题。实验结果表明，在英汉翻译任务中，该模型的性能明显优于基于序列到序列注意力和基于树的神经翻译模型。
2017-07-17 cs.CL
A Tree-based Decoder for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
神经机器翻译（NMT）的最新进展表明，向NMT系统中添加句法信息可以提高其翻译质量。大多数现有的工作利用一些特定类型的语言启发的树结构，如选区和依赖解析树。这通常通过对线性化目标树结构进行操作的标准RNN解码器来完成。然而，这是一个悬而未决的问题，具体的语言形式主义，如果有的话，是最好的结构表示NMT。在本文中，我们（1）提出了一个NMT模型，可以自然地产生一个任意的树结构的拓扑结构在目标端，（2）实验与各种目标树结构。我们的实验显示了令人惊讶的结果，即我们的模型在没有任何语言知识的情况下构建了平衡二叉树，从而提供了最佳的改进;该模型比标准seq 2seq模型的性能高出2.1个BLEU点，并且比其他方法的性能高出0.7个BLEU点。
2018-08-28 cs.CL
Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures
Research Center for Cognitive Science and Artificial Intelligence（认知科学与人工智能研究中心）；Tilburg School of Humanities and Digital Sciences（蒂尔堡人文与数字科学学院）；Tilburg University（蒂尔堡大学）
本文针对机器翻译中性别偏见问题，提出新的评估框架，揭示解码器-only模型在性别特定指标上的表现及后训练对偏见的缓解作用。
2026-03-18 cs.CL
BERT-JAM: Boosting BERT-Enhanced Neural Machine Translation with Joint Attention
Zhejiang University（浙江大学）
BERT增强的神经机器翻译（NMT）旨在利用BERT编码的表示进行翻译任务。最近提出的一种方法使用注意力机制来融合Transformer的编码器和解码器层与BERT的最后一层表示，并显示出增强的性能。然而，他们的方法不允许在BERT表示和编码器/解码器表示之间灵活地分配注意力。在这项工作中，我们提出了一种新的BERT增强的NMT模型，称为BERT-JAM，它从两个方面改进了现有的模型：1）BERT-JAM使用联合注意力模块，允许编码器/解码器层动态分配不同的表示之间的注意力，和2）BERT-JAM允许编码器/解码器层利用BERT的中间表示，通过使用门控线性单元（GLU）组成它们。我们用一种新的三阶段优化策略来训练BERT-JAM，该策略逐步解冻BERT-JAM的不同组件。我们的实验表明，BERT-JAM在多个翻译任务上达到了SOTA BLEU分数。
2020-11-09 cs.CL
Neural Machine Translation by Minimising the Bayes-risk with Respect to Syntactic Translation Lattices
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
提出了一种新的方案，将神经机器翻译（NMT）与传统的统计机器翻译（SMT）相结合。我们的方法借用的想法，从线性格最小贝叶斯风险解码SMT。NMT分数根据SMT网格与翻译的贝叶斯风险相结合。这使得我们的方法比$n$ -最佳列表或网格重新评分更灵活，因为神经解码器不限于SMT搜索空间。我们展示了一种有效和简单的方法来集成风险估计到NMT解码器，这是适合字级以及子字单元级NMT。我们测试我们的方法对英语-德语和日语-英语和报告显着的增益在几个数据集上的晶格rescoring为单一和集成NMT。MBR解码器产生全新的假设，远远超出了简单地重新评分SMT搜索空间或修复NMT输出中的UNK。
2017-02-13 cs.CL
Translating Phrases in Neural Machine Translation
Soochow University（苏州大学）；Tencent AI Lab（腾讯人工智能实验室）
短语在自然语言理解和机器翻译中发挥着重要作用（Sag等人，2002; Villavicencio等人，2005年）。然而，很难将它们集成到当前逐词阅读和生成句子的神经机器翻译（NMT）中。在这项工作中，我们提出了一种方法来翻译NMT中的短语，通过将存储目标短语的短语存储器从基于短语的统计机器翻译（SMT）系统集成到NMT的编码器-解码器架构中。在每个解码步骤中，短语存储器首先由SMT模型重写，SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后，所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成，则NMT解码器从存储器中选择适当的短语以执行短语翻译，并通过消耗所选短语中的单词来更新其解码状态。否则，NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明，该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
A Mixture of $h-1$ Heads is Better than $h$ Heads
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多头注意神经架构在各种自然语言处理任务上取得了最先进的成果。有证据表明，它们是过度参数化的;注意力头可以被修剪，而不会造成显着的性能损失。在这项工作中，我们相反地“重新分配”它们-模型学习在不同的输入上激活不同的头部。将多头注意力与混合专家模型联系起来，提出了混合注意专家模型（MAE）。MAE使用块坐标下降算法进行训练，该算法在更新（1）专家的职责和（2）他们的参数之间交替。在机器翻译和语言建模上的实验表明，MAE在这两个任务上都优于强基线。特别是，在WMT 14英语到德语的翻译数据集上，MAE比“transformer-base”提高了0.8 BLEU，参数数量相当。我们的分析表明，我们的模型学习将不同的专家专门化到不同的输入。
2020-05-13 cs.CL
On the Properties of Neural Machine Translation: Encoder-Decoder Approaches
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）
神经机器翻译是纯粹基于神经网络的统计机器翻译的一种相对较新的方法。神经机器翻译模型通常由编码器和解码器组成。编码器从一个可变长度的输入句子中提取一个固定长度的表示，解码器从这个表示中生成一个正确的翻译。在本文中，我们重点分析了两种模型的神经机器翻译的性能：RNN编码器-解码器和一个新提出的门控递归卷积神经网络。我们发现，神经机器翻译在没有未知词的短句上表现相对较好，但随着句子长度和未知词数量的增加，其性能迅速下降。此外，我们发现所提出的门控递归卷积网络可以自动学习句子的语法结构。
2014-10-07 cs.CL stat.ML
A Character-Level Decoder without Explicit Segmentation for Neural Machine Translation
Université de Montréal（蒙特利尔大学）；New York University（纽约大学）
现有的机器翻译系统，无论是基于短语的还是神经的，几乎完全依赖于具有显式分割的词级建模。在本文中，我们提出了一个基本问题：神经机器翻译可以生成一个字符序列，而无需任何显式分割？为了回答这个问题，我们使用WMT'15的并行语料库评估了基于注意力的编码器-解码器，该编码器-解码器具有子字级编码器和字符级解码器，用于四种语言对-En-Cs，En-De，En-Ru和En-Fi。我们的实验表明，在所有四种语言对上，具有字符级解码器的模型都优于具有子词级解码器的模型。此外，具有字符级解码器的神经模型的集合在En-Cs、En-De和En-Fi上的性能优于最先进的非神经机器翻译系统，并且在En-Ru上进行了翻译。
2016-06-21 cs.CL cs.LG
Machine translation considering context information using Encoder-Decoder model
Kanazawa University（金泽大学）
在机器翻译任务中，上下文信息是一个重要因素。但考虑上下文信息的模型没有提出。本文提出了一种新的模型，可以集成上下文信息进行翻译。在本文中，我们创建了一个新的基于模型的编码器解码器模型。在翻译当前句子时，该模型将前一个编码器的输出与当前编码器的输出相结合。该模型能够考虑上下文信息，其结果得分高于现有模型。
2019-03-30 cs.CL cs.LG
Improved Variational Neural Machine Translation by Promoting Mutual Information
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
后崩溃困扰着文本的VAE，特别是对于具有强自回归解码器的条件文本生成。在这项工作中，我们解决了这个问题，变分神经机器翻译显式促进之间的潜在变量和数据的互信息。我们的模型扩展了条件变分自编码器（CVAE）与两个新的成分：首先，我们提出了一个修改的证据下限（ELBO）的目标，明确促进互信息;其次，我们正则化的解码器的概率混合辅助因式分解分布，这是直接预测的潜变量。我们提出的经验结果的Transformer架构，并显示所提出的模型有效地解决后崩溃：潜在变量不再被忽略，在强大的解码器的存在。因此，该模型提高了翻译质量，同时在数据效率和鲁棒性方面表现出卓越的性能。
2019-09-19 cs.CL
Generating Diverse Translation by Manipulating Multi-Head Attention
Nanjing University（南京大学）
Transformer模型在机器翻译任务中得到了广泛的应用，并取得了很好的效果。在本文中，我们报告了一个有趣的现象，在其编码器-解码器的多头注意力：不同的注意头的最终解码器层对齐不同的单词翻译候选。我们经验验证了这一发现，并提出了一种方法来产生不同的翻译操纵头。此外，我们利用这些不同的翻译与回译技术更好的数据增强。实验结果表明，我们的方法产生不同的翻译没有严重下降的翻译质量。实验还表明，这些不同的翻译回译可以带来显着的提高翻译任务的性能。会话反应生成任务的辅助实验也证明了多样性的影响。
2019-11-21 cs.CL
Neural Machine Translation with Word Predictions
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
在神经机器翻译（NMT）的编码器-解码器结构中，编码器和解码器中递归结构的隐藏状态携带着句子的关键信息，这些向量由翻译错误随时间的反向传播更新的参数生成。我们认为，传播错误通过端到端的经常性结构是不是一个直接的方式来控制隐藏的向量。在本文中，我们建议使用单词预测作为直接监督的机制。更具体地说，我们要求这些向量能够预测目标句子中的词汇。我们的简单机制确保了编码器和解码器中更好的表示，而无需使用任何额外的数据或注释。这也有助于减少目标端词汇量，提高解码效率。在汉英和德英机器翻译任务上的实验表明，BLEU分别提高了4.53和1.3
2017-08-05 cs.CL
Scaling Laws of Decoder-Only Models on the Multilingual Machine Translation Task
Lingua Custodia
本研究探讨了decoder-only模型在多语言和多领域机器翻译任务上的缩放定律，发现其损失可用类似大型语言模型的缩放定律估计，但难以泛化至过大模型或不同数据分布，且深度与宽度缩放对效率影响不同。
2024-09-23 cs.AI cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Sharp Models on Dull Hardware: Fast and Accurate Neural Machine Translation Decoding on the CPU
Microsoft Research（微软研究院）
注意序列到序列模型已经成为机器翻译的新标准，但是与基于短语的系统相比，这种模型的一个挑战是训练和解码成本的显著增加。在这里，我们专注于高效解码，目标是实现接近神经机器翻译（NMT）的最新技术水平的准确性，同时实现接近短语解码器的CPU解码速度/吞吐量。我们从两个角度来解决这个问题：首先，我们描述了几种用于加速NMT束搜索解码器的技术，这些技术在不改变解码器输出的情况下，在非常有效的基线解码器上获得了4.4倍的加速。其次，我们提出了一个简单但功能强大的网络架构，它在底部使用RNN（GRU/LSTM）层，然后在每个时间步应用一系列堆叠的全连接层。这种架构实现了与深度递归模型相似的精度，而训练和解码成本只有一小部分。通过结合这些技术，我们最好的系统在WMT英法NewsTest 2014上实现了38.3 BLEU的非常有竞争力的准确度，同时在单线程CPU上以100字/秒的速度解码。我们相信这是NMT系统中最好的精度/速度权衡。
2017-05-04 cs.CL
Dense Information Flow for Neural Machine Translation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research, Asia（微软亚洲研究院）；Peking University（北京大学）
最近，神经机器翻译通过将精心设计的深度神经网络引入其编码器-解码器框架中，取得了显著进展。从优化的角度来看，在大多数这些深度架构中，采用残差连接来提高编码器和解码器的学习性能，并且还应用了高级注意力连接。受DenseNet模型在计算机视觉问题中的成功的启发，在本文中，我们提出了一个密集连接的NMT架构（DenseNMT），能够更有效地训练NMT。所提出的DenseNMT不仅允许密集连接为编码器和解码器创建新的特征，而且还使用密集注意结构来提高注意质量。我们在多个数据集上的实验表明，DenseNMT结构更具竞争力和效率。
2018-07-02 cs.CL
A GRU-Gated Attention Model for Neural Machine Translation
Xiamen University（厦门大学）；Soochow University（苏州大学）
神经机器翻译（NMT）严重依赖于注意力网络来为每个目标词预测产生上下文向量。在实践中，我们发现不同目标词的上下文向量彼此非常相似，因此不足以区分地预测目标词。这可能是因为vanilla attention网络产生的上下文向量只是对解码器状态不变的源表示的加权和。在本文中，我们提出了一种新的GRU门控注意力模型（GAtt）的NMT，提高了歧视程度的上下文向量，使源表示是敏感的解码器产生的部分翻译。GAtt使用门控递归单元（GRU）来组合两种类型的信息：将双向编码器最初产生的源注释向量视为历史状态，而将对应的先前解码器状态视为GRU的输入。GRU组合的信息形成新的源注释向量。通过这种方式，我们可以获得对注意力敏感的源表示，然后将其馈送到注意力网络中以生成有区别的上下文向量。我们进一步提出了一个变体，将源注释向量视为当前输入，而先前的解码器状态作为历史。在NIST汉英翻译任务上的实验表明，这两种基于GATT的模型都比基于注意力的NMT有显著的改进。对注意力权重和上下文向量的进一步分析表明，GAtt在提高表征的区分能力和处理具有挑战性的过度翻译问题方面是有效的。
2019-11-13 cs.CL
Exploiting Cross-Sentence Context for Neural Machine Translation
Dublin City University（都柏林城市大学）；Tencent AI Lab（腾讯AI实验室）
在翻译过程中，将文件作为一个整体来考虑有助于解决歧义和不一致的问题。本文提出了一种跨句子上下文感知方法，并研究了历史上下文信息对神经机器翻译（NMT）性能的影响。首先，这段历史是以一种分层的方式总结的。然后，我们以两种策略将历史表示集成到NMT中：1）编码器和解码器状态的热启动，以及2）用于更新解码器状态的辅助上下文源。在一个大型的汉英翻译任务上的实验结果表明，我们的方法显着提高了一个强大的基于注意力的NMT系统高达+2.1 BLEU点。
2017-07-23 cs.CL
Learning Hard Retrieval Decoder Attention for Transformers
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）；China Mobile Online Services（中国移动在线服务有限公司）；Tianjin University（天津大学）；Global Tone Communication Technology Co., Ltd.（全球语通通信技术有限公司）
Transformer翻译模型基于多头注意力机制，易于并行化。多头注意力网络并行执行缩放点积注意力函数，通过联合关注来自不同位置的不同表示子空间的信息来赋予模型能力。在本文中，我们提出了一种方法来学习一个硬提取注意，注意头只参加一个令牌的句子，而不是所有的令牌。因此，注意概率与标准标度点积注意中的值序列之间的矩阵乘法可以由简单且有效的检索操作代替。我们表明，我们的硬检索注意力机制是1.43倍的解码速度，同时保留翻译质量的广泛的机器翻译任务时，使用的解码器的自我和交叉注意力网络。
2021-09-10 cs.CL
Encoders Help You Disambiguate Word Senses in Neural Machine Translation
Uppsala University（乌普萨拉大学）；University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）在翻译歧义词方面取得了新的最先进的性能。然而，目前还不清楚哪个组成部分主导了消歧过程。在本文中，我们探讨的能力NMT编码器和解码器消除歧义的词义，通过评估隐藏状态和调查的自我注意力的分布。我们训练一个分类器来预测一个歧义名词的翻译是否正确。我们发现，编码器隐藏状态优于词嵌入显着，这表明编码器充分编码的消歧到隐藏状态的相关信息。解码器可以提供用于消除歧义的进一步相关信息。此外，注意权重和注意熵表明，自我注意可以检测出歧义名词，并将更多的注意力分配到上下文。请注意，这是一个修订版。与解码器隐藏状态相关的内容已更新。
2020-05-06 cs.CL
Is Encoder-Decoder Redundant for Neural Machine Translation?
RWTH Aachen University（亚琛工业大学）
编码器-解码器体系结构被广泛用于序列到序列建模任务。对于机器翻译，尽管从长短期记忆网络进化到了Transformer网络，再加上注意力机制的引入和发展，编码器-解码器仍然是最先进模型的事实上的神经网络架构。虽然从某些隐藏空间解码信息的动机很简单，但在模型架构中将编码和解码步骤严格分离为编码器和解码器并不一定是必须的。与目标语言中的自回归语言建模任务相比，机器翻译只是具有额外的源句子作为上下文。鉴于神经语言模型现在已经可以处理目标语言中相当长的上下文，很自然地会问，简单地连接源和目标句子并训练语言模型进行翻译是否可行。在这项工作中，我们调查上述概念的机器翻译。具体来说，我们实验双语翻译，翻译与额外的目标单语数据，和多语言翻译。在所有情况下，这种替代方法的性能与基线编码器-解码器Transformer相当，这表明编码器-解码器架构对于神经机器翻译来说可能是冗余的。
2022-10-21 cs.AI cs.CL cs.LG
Unbabel's Submission to the WMT2019 APE Shared Task: BERT-based Encoder-Decoder for Automatic Post-Editing
Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
本文介绍了Unbabel提交给WMT 2019 APE共享任务的英语-德语语言对。随着最近大型、强大的预训练模型的兴起，我们对BERT预训练模型进行了调整，以在编码器-解码器框架中执行自动后期编辑。类似于双编码器架构，我们开发了一个基于BERT的编码器-解码器（BED）模型，其中单个预训练的BERT编码器接收源src和机器翻译tgt字符串。此外，我们探索了一个保守性因素，以限制APE系统执行更少的编辑。正如官方结果所示，当在域内和人工训练数据的加权组合上进行训练时，我们的具有保守性惩罚的BED系统分别在TER和BLEU方面通过$-0.78$和$+1.23$显着提高了强大神经机器翻译系统的翻译。最后，我们的提交达到了一个新的国家的最先进的，前aequo，在英语-德语APE的NMT。
2019-06-29 cs.CL
Breaking Down Multilingual Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；The University of Tokyo（东京大学）
虽然多语言训练现在是机器翻译（MT）系统中的一个重要组成部分，但最近的工作表明，它在不同的多语言环境中具有不同的效果，例如多对一，一对多和多对多学习。这些训练设置将编码器和解码器暴露在具有不同数据分布的机器翻译模型中。在本文中，我们研究了不同种类的多语言训练如何有助于学习MT模型的这两个组成部分。具体来说，我们将双语模型与通过多语言训练初始化的编码器和/或解码器进行比较。我们表明，多语言训练一般有利于编码器，而它只有利于低资源语言（LRL）的解码器。我们进一步发现每个语言对的重要注意力，并在推理过程中比较它们的相关性。我们的分析揭示了多语言翻译模型的工作原理，并使我们能够提出通过使用高度相关的语言进行训练来提高性能的方法。我们针对高资源语言的多对一模型和针对LRL的一对多模型优于Aharoni等人（2019）报告的最佳结果。
2022-04-03 cs.CL
Plan, Attend, Generate: Character-level Neural Machine Translation with Planning in the Decoder
University of Montreal（蒙特利尔大学）；Microsoft Maluuba（微软 Maluuba）
我们研究的规划机制集成到一个编码器-解码器架构与字符级机器翻译的显式对齐。我们开发了一个模型，在计算源序列和目标序列之间的比对时提前计划，构建拟议的未来比对矩阵和控制是否遵循或重新计算计划的承诺向量。这一机制的灵感来自于策略性的专注读者和作者（StrategicAttentive Reader and Writer，缩写为ESTA）模型。我们提出的模型是端到端可训练的，具有完全可区分的操作。我们证明了它在WMT'15语料库上的三个字符级解码器神经机器翻译上的性能优于强基线。我们的分析表明，我们的模型可以计算定性直观的路线，并实现了更少的参数优越的性能。
2017-06-23 cs.CL cs.NE
