Multi-Layer Softmaxing during Training Neural Machine Translation for Flexible Decoding with Fewer Layers
National Institute of Information and Communications Technology（信息通信技术研究所）
本文提出了一种用于训练基于编码器-解码器的深度神经网络的新过程，该深度神经网络将NxM模型压缩成单个模型，使我们能够动态选择用于解码的编码器和解码器层的数量。通常，N层编码器的最后一层的输出被馈送到M层解码器，并且最后一个解码器层的输出用于计算softmax损失。相反，我们的方法计算由NXM个损失组成的单个损失：使用N个编码器层中的每个编码器层的输出导出的M个解码器层中的每个解码器层的输出的softmax损失。通过我们的方法训练的单个模型可以用于具有任意数量的编码器和解码器层的解码。在实际场景中，这（a）使得能够在翻译质量损失不显著的情况下进行更快的解码，以及（b）消除了对训练NxM模型的需要，从而节省空间。我们以神经机器翻译为例，展示了我们的方法的优势，并给出了成本效益分析。
2019-08-28 cs.CL cs.LG
Exploring the Use of Attention within an Neural Machine Translation Decoder States to Translate Idioms
Applied Intelligence Research Centre（应用智能研究中心）；School of Computing（计算学院）；Dublin Institute of Technology（都柏林理工学院）
习语给几乎所有的机器翻译系统都带来了问题。这类语言在日常语言使用中非常频繁，不能简单地忽略。最近的兴趣在语言建模领域的内存增强模型，帮助系统实现良好的效果，通过桥接长距离的依赖关系。在本文中，我们探讨了使用这些技术到神经机器翻译系统，以帮助翻译的惯用语言。
2018-10-10 cs.CL cs.LG stat.ML
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）最近在机器翻译领域变得流行。然而，NMT在翻译中存在着重词或漏词的问题。为了解决这个问题，Tu et al.（2017）提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中，他们以与Bahdanau等人（2015）相同的方式选择了最佳的前向翻译模型，然后训练了一个双向翻译模型作为微调。他们的实验表明，它提供了显着提高BLEU分数在汉英翻译任务。我们证实，我们的重新实施也表现出同样的趋势，并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外，我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder
Beijing Institute of Technology（北京理工大学）
针对非自回归机器翻译质量较低的问题，提出依赖感知解码器DePA，通过自回归前向后向预训练和注意力转换过程增强目标依赖建模，在WMT和IWSLT基准上实现最高1.88 BLEU增益且不增加推理延迟。
2023-08-02 cs.CL
Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
神经机器翻译（NMT）通常采用编码器-解码器框架。充分理解编码器和解码器的特点和功能有助于解释框架的优缺点，并为NMT设计更好的模型。本文以Transformer为例，对NMT中的编码器和解码器进行了实证研究。我们发现，1）解码器比NMT中的编码器处理更容易的任务，2）解码器比编码器对输入噪声更敏感，以及3）解码器中的先前单词/令牌提供了强条件信息，这解释了上述两个观察结果。我们希望这些观察结果能够揭示编码器和解码器的特征，并启发未来对NMT的研究。
2019-08-17 cs.CL
Calibration of Encoder Decoder Models for Neural Machine Translation
University of California Berkeley（加州大学伯克利分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们研究了几个国家的最先进的神经机器翻译（NMT）系统的基于注意力的编码器-解码器模型的校准。对于像NMT中的结构化输出，校准不仅对于预测的可靠置信度很重要，而且对于波束搜索推理的正确功能也很重要。我们发现，大多数现代NMT模型是令人惊讶的错误校准，即使在真正的以前的令牌的条件。我们的调查导致两个主要原因-EOS（序列结束标记）的严重误校准和抑制的注意不确定性。我们根据这些信号设计了重新校准方法，并证明了更高的准确性，更好的序列级校准，以及更直观的波束搜索结果。
2019-03-03 cs.CL cs.LG stat.ML
Doubly-Attentive Decoder for Multi-modal Neural Machine Translation
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）；Trinity College Dublin（都柏林三一学院）
我们引入了一个多模态神经机器翻译模型，其中一个双重注意的解码器自然地结合了使用预先训练的卷积神经网络获得的空间视觉特征，弥合了图像描述和翻译之间的差距。我们的解码器在生成目标语言的单词时，通过两种独立的注意力机制学习独立地关注源语言单词和图像的部分。我们发现，我们的模型不仅可以有效地利用回翻译领域内的多模态数据，但也大一般领域的纯文本MT语料库。我们还报告了Multi30k数据集的最新结果。
2017-02-04 cs.CL
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
最先进的多语言机器翻译依赖于通用的编码器-解码器，这需要重新训练整个系统以添加新的语言。在本文中，我们提出了一种替代方法，是基于特定语言的编码器-解码器，因此可以更容易地扩展到新的语言，通过学习其相应的模块。为了鼓励共同的中间语言表示，我们同时训练N种初始语言。我们的实验表明，所提出的方法比通用编码器-解码器平均高出3.28个BLEU点，并且在添加新语言时，不需要重新训练其余模块。总而言之，我们的工作缩小了共享和特定语言编码器-解码器之间的差距，朝着模块化多语言机器翻译系统迈进，可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Decoder-only Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文提出首个仅解码器同声机器翻译模型DST，通过分别编码源与目标前缀位置并设计流式自注意力机制，在三个翻译任务上达到最优性能。
2024-06-06 cs.CL
Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
虽然教师强迫已经成为神经机器翻译的主要训练范式，但它通常只根据过去的信息进行预测，因此缺乏对未来的全局规划。为了解决这个问题，我们在训练期间将另一个解码器（称为seer解码器）引入到编码器-解码器框架中，该框架涉及目标预测中的未来信息。同时，我们通过知识蒸馏迫使传统的解码器模拟seer解码器的行为。在汉英、英德、英罗翻译任务上的实验结果表明，该方法在较大的数据集上能显著地优于竞争基准，并取得了较大的改进。此外，实验还证明了知识蒸馏是将知识从seer解码器转移到传统解码器的最佳方式，与对抗学习和L2正则化相比。
2021-06-12 cs.CL
A Stochastic Decoder for Neural Machine Translation
Amazon Research（亚马逊研究院）；University of Amsterdam（阿姆斯特丹大学）；University of Melbourne（墨尔本大学）
翻译的过程是模棱两可的，因为对于一个给定的句子通常有许多有效的翻译。这就导致了平行语料库中的显著差异，然而，大多数当前的机器翻译模型并没有考虑这种差异，而是将问题视为确定性过程。为此，我们提出了一个机器翻译的深层生成模型，该模型包含一系列潜在变量，以考虑并行语料库中的局部词汇和句法变化。我们提供了对用于训练深度生成模型的变分推断中遇到的陷阱的深入分析。在几种不同语言对上的实验表明，该模型在强基线上持续改进。
2018-05-28 cs.CL cs.LG stat.ML
Analysis of Levenshtein Transformer's Decoder and Its Variants
Télécom Paris（巴黎电信学院）
本文分析 LevT 解码器在长度、子词生成和删除能力上的不足，并比较原始、知识蒸馏及翻译记忆变体，以探索改进方向。
2024-02-19 cs.CL
On the Properties of Neural Machine Translation: Encoder-Decoder Approaches
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）
神经机器翻译是纯粹基于神经网络的统计机器翻译的一种相对较新的方法。神经机器翻译模型通常由编码器和解码器组成。编码器从一个可变长度的输入句子中提取一个固定长度的表示，解码器从这个表示中生成一个正确的翻译。在本文中，我们重点分析了两种模型的神经机器翻译的性能：RNN编码器-解码器和一个新提出的门控递归卷积神经网络。我们发现，神经机器翻译在没有未知词的短句上表现相对较好，但随着句子长度和未知词数量的增加，其性能迅速下降。此外，我们发现所提出的门控递归卷积网络可以自动学习句子的语法结构。
2014-10-07 cs.CL stat.ML
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Chunk-Based Bi-Scale Decoder for Neural Machine Translation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
在典型的神经机器翻译~（NMT）中，解码器逐词生成句子，将所有语言粒度打包在RNN的相同时间尺度中。在本文中，我们提出了一种新的解码器NMT，它分裂成两个部分的解码状态，并更新他们在两个不同的时间尺度。具体来说，我们首先预测短语建模的块时间尺度状态，在此基础上生成多个单词时间尺度状态。通过这种方式，目标句子被分层地从块翻译成词，利用不同粒度的信息。实验表明，我们提出的模型显着提高了翻译性能比国家的最先进的NMT模型。
2017-05-03 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University（南京大学）；University of Notre Dame（圣母大学）
大多数神经机器翻译（NMT）模型基于顺序编码器-解码器框架，该框架不使用语法信息。在本文中，我们改进了这个模型，明确纳入源端语法树。更具体地说，我们提出了（1）一个双向树编码器，学习顺序和树结构表示;（2）一个树覆盖模型，让注意力取决于源端语法。汉英翻译实验表明，我们提出的模型优于顺序注意模型，以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
神经机器翻译最近显示出非常有前途的结果。大多数NMT模型遵循编码器-解码器框架。为了使编码器-解码器模型更加灵活，注意力机制被引入到机器翻译以及诸如语音识别和图像描述的其他任务中。我们观察到，当对齐不正确时，基于注意力的编码器-解码器的翻译质量可能会受到显着损害。我们将这些问题归因于缺乏扭曲和生育模型。针对这些问题，我们提出了新的基于注意力的编码器-解码器的变体，并将其与其他机器翻译模型进行了比较。我们提出的方法比原来的基于注意力的编码器-解码器提高了2个BLEU点。
2016-01-22 cs.CL
Asynchronous Bidirectional Decoding for Neural Machine Translation
Xiamen University（厦门大学）；Tsinghua University（清华大学）
主导神经机器翻译（NMT）模型采用统一的注意力编码器-解码器神经网络进行翻译。传统上，NMT解码器采用递归神经网络（RNN）以左-右方式执行翻译，使得从右到左生成的目标侧上下文在翻译期间未被利用。在本文中，我们配备了传统的注意力编码器-解码器NMT框架与反向解码器，以探索双向解码NMT。注意由编码器产生的隐藏状态序列，我们的反向解码器首先学习从右到左生成目标端隐藏状态序列。然后，前向解码器在前向方向上执行翻译，而在每个翻译预测时间步中，它同时应用两个注意力模型来分别考虑源侧和反向目标侧隐藏状态。通过这种新的架构，我们的模型能够充分利用源端和目标端的上下文，以提高翻译质量。在NIST中文-英文和WMT英文-德文翻译任务上的实验结果表明，与传统的NMT相比，我们的模型分别获得了3.14和1.38 BLEU点的显著改进。这个工作的源代码可以从https://github.com/DeepLearnXMU/ABDNMT获得。
2018-02-03 cs.CL
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；IXA NLP Group（IXA自然语言处理组）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
我们提出了一个模块化的体系结构的语言特定的编码器-解码器，构成一个多语言的机器翻译系统，可以逐步扩展到新的语言，而不需要重新训练现有的系统时，添加新的语言。从以前的作品，我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块，这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明，我们可以成功地训练这个模块化的架构，提高了初始语言，而略有落后时，添加新的语言或做zero-shot翻译。另外，在自然语言推理任务中对句子表征质量的比较表明，交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
Neural Machine Translation with Dynamic Graph Convolutional Decoder
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group Inc.（阿里巴巴集团）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Peng Cheng Lab（鹏城实验室）
本文提出动态时空图卷积解码器Dyn-STGCD，在端到端框架中联合建模并同时生成目标译文及其句法图，在五个翻译基准上取得一致提升。
2023-05-28 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了我们的第一次尝试，在建立一个统一的方法下的多语言神经机器翻译框架。然后，我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理，它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性，并有了高达2.6个BLEU点的显著改进。此外，该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer结构由一系列编码器和解码器网络层堆叠而成，在神经机器翻译中取得了重大发展。然而，vanilla Transformer主要利用顶层表示，假设较低层提供琐碎或冗余的信息，因此忽略了潜在有价值的底层功能。在这项工作中，我们提出了组转换器模型（GTrans），灵活地将编码器和解码器的多层表示分为不同的组，然后融合这些组特征来生成目标词。为了验证该方法的有效性，在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明，我们的模型优于它的Transformer同行一致的增益。此外，它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
最近，通用神经机器翻译（NMT）与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同，联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示，每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点，特别是当共享词汇表和模型参数的大小受到限制时。然而，在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中，我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意，我们探索最大限度地提高表示的普遍性，实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码（DAE）目标，以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明，我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外，我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力，这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）；Université du Maine（曼恩大学）
在本文中，我们提出了一种新的神经网络模型称为RNN编码器-解码器，由两个递归神经网络（RNN）。一个RNN将符号序列编码为固定长度的向量表示，另一个将表示解码为另一个符号序列。所提出的模型的编码器和解码器联合训练，以最大限度地提高给定源序列的目标序列的条件概率。通过使用由RNN编码器-解码器计算的短语对的条件概率作为现有对数线性模型中的附加特征，经验地发现统计机器翻译系统的性能得到改善。定性，我们表明，该模型学习语义和语法有意义的语言短语表示。
2014-09-03 cs.CL cs.LG cs.NE
Scaling Laws of Decoder-Only Models on the Multilingual Machine Translation Task
Lingua Custodia
本研究探讨了decoder-only模型在多语言和多领域机器翻译任务上的缩放定律，发现其损失可用类似大型语言模型的缩放定律估计，但难以泛化至过大模型或不同数据分布，且深度与宽度缩放对效率影响不同。
2024-09-23 cs.AI cs.CL
Improving Language Transfer Capability of Decoder-only Architecture in Multilingual Neural Machine Translation
Nara Institute of Science and Technology（奈良科学技术大学）；National Institute of Information and Communications Technology（日本信息通信研究机构）
本文针对 decoder-only 架构在多语言神经机器翻译中语言迁移不足的问题，提出两阶段解码与翻译指令对比学习，在零样本翻译上显著超越 encoder-decoder 基线。
2024-12-03 cs.CL
Efficient Inference For Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple Inc.（苹果公司）
大型Transformer模型在神经机器翻译中取得了最先进的成果，并已成为该领域的标准。在这项工作中，我们寻找已知技术的最佳组合，以优化推理速度，而不牺牲翻译质量。我们进行了一项实证研究，将各种方法叠加在一起，并证明了将解码器自注意力替换为简化的递归单元，采用深层编码器和浅层解码器架构以及多头注意力修剪的组合可以在CPU和GPU上分别实现高达109%和84%的加速比，并将参数数量减少25%，同时保持相同的BLEU翻译质量。
2020-10-07 cs.CL cs.LG
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Inc（腾讯公司）
非自回归Transformer（NAT）算法通过丢弃自回归机制，独立生成目标词来加速Transformer模型，但不能充分利用目标词的序列信息。由于上述原因，过度翻译和欠翻译错误经常发生，特别是在长句翻译的情况下。在本文中，我们提出了两种方法来检索的目标顺序信息的NAT，以提高其翻译能力，同时保持快速解码属性。首先，我们提出了一种基于一种新的NAT强化算法（Reinforce-NAT）的序列级训练方法，以减少方差并稳定训练过程。其次，我们提出了一个创新的Transformer解码器FS-解码器，融合的目标序列信息到解码器的顶层。三个翻译任务的实验结果表明，增强NAT超过基线NAT系统的BLEU上的显着保证金，而不会降低解码速度和FS解码器实现相当的翻译性能的自回归Transformer具有相当大的加速比。
2019-06-22 cs.AI cs.CL cs.LG
Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation
University of Washington（华盛顿大学）；Facebook AI（脸书人工智能）；Allen Institute for AI（艾伦人工智能研究所）
最近的许多努力已经投入到非自回归神经机器翻译中，这似乎是现代GPU上最先进的自回归机器翻译的有效替代方案。与后者相比，前者允许跨目标令牌位置并行生成，后者的生成是顺序的。与自回归基线相比，一些最新的非自回归模型已经实现了令人印象深刻的翻译质量-速度权衡。在这项工作中，我们重新审视了这种权衡，并认为自回归基线可以在不损失准确性的情况下大幅加速。具体来说，我们研究自回归模型与不同深度的编码器和解码器。我们广泛的实验表明，给定足够深的编码器，单层自回归解码器可以在相当的推理速度下大大优于强非自回归模型。我们发现，自回归基线的速度劣势相比，非自回归方法已被高估在三个方面：次优层分配，不充分的速度测量，缺乏知识蒸馏。我们的研究结果为未来快速、准确的机器翻译研究建立了一个新的协议。我们的代码可在https://github.com/jungokasai/deep-shallow上获得。
2021-06-24 cs.CL
Doubly Attentive Transformer Machine Translation
本文提出了一种双注意力Transformer机器翻译模型（DATNMT），该模型中双注意力Transformer解码器通常将通过预训练的卷积神经网络获得的空间视觉特征连接起来，克服了图像描述和翻译之间的任何间隙。在这个框架中，Transformer解码器在生成目标语言的单词时，通过双注意力Transformer的增强型多头注意力层中的两个独立注意力组件的方法来自由地处理源语言单词和图像的部分。我们发现，该模型不仅可以有效地利用稀缺的多模态机器翻译数据，但也大一般领域的纯文本机器翻译语料库，或图像-文本图像描述语料库。实验结果表明，本文提出的双注意转换器-解码器模型的性能优于单解码器Transformer模型，并在英-德多模态机器翻译任务中取得了较好的效果。
2018-07-30 cs.CL
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.（Aylien有限公司）
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练，在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT，以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知，就我们使用的训练数据的总大小而言，这是迄今为止对多语言翻译进行的最大评估，就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估，突出了共享解码器参数的方法之间的权衡。我们发现，具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
Memory-enhanced Decoder for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Technologies（华为技术有限公司）；Dublin City University（都柏林城市大学）
我们建议在具有外部存储器的神经机器翻译器（NMT）中增强RNN解码器，作为解码RNN中状态的自然但强大的扩展。这种内存增强的RNN解码器被称为\textsc{MemDec}。在解码期间的每一次，\textsc{MemDec}将从该存储器读取并写入该存储器一次，两者都使用基于内容的寻址。与以前的工作\cite{RNNsearch}中存储源语句的表示的无界存储器不同，\textsc{MemDec}中的存储器是具有预定大小的矩阵，其设计用于在每个时间步更好地捕获对解码过程重要的信息。我们的汉英翻译实验表明，在相同的训练集下，使用$4.8$ BLEU对Groundhog和$5.3$ BLEU对Moses的翻译效果最好。
2016-06-07 cs.CL
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Plan, Attend, Generate: Character-level Neural Machine Translation with Planning in the Decoder
University of Montreal（蒙特利尔大学）；Microsoft Maluuba（微软 Maluuba）
我们研究的规划机制集成到一个编码器-解码器架构与字符级机器翻译的显式对齐。我们开发了一个模型，在计算源序列和目标序列之间的比对时提前计划，构建拟议的未来比对矩阵和控制是否遵循或重新计算计划的承诺向量。这一机制的灵感来自于策略性的专注读者和作者（StrategicAttentive Reader and Writer，缩写为ESTA）模型。我们提出的模型是端到端可训练的，具有完全可区分的操作。我们证明了它在WMT'15语料库上的三个字符级解码器神经机器翻译上的性能优于强基线。我们的分析表明，我们的模型可以计算定性直观的路线，并实现了更少的参数优越的性能。
2017-06-23 cs.CL cs.NE
Learning to Reuse Translations: Guiding Neural Machine Translation with Examples
Soochow University（苏州大学）
在本文中，我们研究的问题，使神经机器翻译（NMT）重用以前的翻译从类似的例子在目标预测。区分可重用的翻译和嘈杂的片段，并学习在NMT中重用它们是不平凡的。为了解决这些挑战，我们提出了一个示例引导的NMT（EGNMT）框架，该框架具有两个模型：（1）噪声屏蔽编码器模型，该模型根据单词对齐来屏蔽噪声单词，并使用附加的示例编码器对噪声屏蔽句子进行编码;以及（2）辅助解码器模型，该模型通过与主解码器共享参数的辅助解码器来预测可重用单词。我们使用最先进的Transformer定义并实现了这两个模型。实验表明，噪声屏蔽编码器模型允许NMT学习有用的信息，从低模糊匹配分数（FMS）的例子，而辅助解码器模型是好的高FMS的例子。在汉英、英德、英西三种语言的翻译实验中，两种EGNMT模型的结合分别比基线系统和双编码器Transformer系统的BLEU值提高了+9和+7。
2019-11-28 cs.CL
Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation
University of South Florida（南佛罗里达大学）；Snap Inc.（Snap公司）
提出Epi-Curriculum方法，结合情节训练框架与去噪课程学习，提升神经机器翻译在低资源领域适应中的鲁棒性与适应性，实验验证其在英德、英罗翻译上的有效性。
2023-09-06 cs.CL cs.LG
Efficient Bidirectional Neural Machine Translation
Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
基于编码器-解码器的神经机器翻译通常从左到右逐标记地生成目标序列。由于错误传播，生成序列右侧的标记通常比左侧的标记质量差。在本文中，我们提出了一种有效的方法来生成一个序列在两个从左到右和从右到左的方式使用一个单一的编码器和解码器，结合两个生成方向的优点。三个翻译任务的实验表明，我们的方法取得了显着的改善，传统的单向方法。与传统的集成方法训练和组合两个不同生成方向的模型相比，该方法节省了50%的模型参数和约40%的训练时间，同时提高了推理速度。
2019-08-25 cs.CL cs.LG
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Telefónica I+D（西班牙电信研发部）
目前的端到端口语翻译（Spoken Language Translation，缩写为多语）方法依赖于有限的培训资源，尤其是在多语言环境中。另一方面，多语言神经机器翻译（MultiNMT）方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上，特定语言的编码器-解码器的任务，多语种翻译（多语种翻译）。我们的方法完全消除了对MultiNMT数据的依赖性，并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明，将语音编码器耦合到MultiNMT架构，与双语基线（$\pm 0.2$ BLEU）相比，可以产生类似质量的翻译，同时有效地允许zero-shot Multiplexer。此外，我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进，在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Why not be Versatile? Applications of the SGNMT Decoder for Machine Translation
Department of Engineering, University of Cambridge, UK（剑桥大学工程系）；SDL Research, Cambridge, UK（剑桥SDL研究（SDL Research））；University of Cambridge, UK（剑桥大学）
SGNMT是一个用于机器翻译的解码平台，它允许用不同种类的约束和符号模型对各种现代神经翻译模型进行配对。在本文中，我们描述了SGNMT目前发挥积极作用的三个用例：（1）教学，因为SGNMT被用于剑桥大学机器学习、语音和语言技术的哲学硕士的课程工作和学生论文，（2）研究，因为剑桥MT小组的大部分研究工作都基于SGNMT，和（3）技术转移，因为我们展示了SGNMT如何帮助将研究成果从实验室转移到行业，例如。SDL plc的产品。
2018-03-20 cs.CL
Non-Autoregressive Machine Translation with Auxiliary Regularization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Peking University（北京大学）
非自回归机器翻译（NAT）作为一种新的神经机器翻译方法，因其高效的推理能力而受到广泛关注。然而，高效率是以不捕获对转换的目标侧的顺序依赖性为代价的，这导致NAT遭受两种类型的转换错误：1）重复的转换（由于不可区分的相邻解码器隐藏状态），以及2）不完整的转换（由于经由解码器隐藏状态的源侧信息的不完整传输）。在本文中，我们建议通过在NAT模型的训练过程中通过两个辅助正则化项来提高解码器隐藏表示的质量来解决这两个问题。首先，为了使隐藏状态更加可区分，我们根据相应的目标令牌来正则化连续隐藏状态之间的相似性。其次，为了迫使隐藏状态包含源句子中的所有信息，我们利用翻译任务的双重性质（例如，英语到德语和德语到英语），并最小化后向重构误差，以确保NAT解码器的隐藏状态能够恢复源侧语句。在多个基准数据集上进行的大量实验表明，这两种正则化策略都是有效的，可以缓解NAT模型中的重复翻译和不完整翻译问题。因此，NAT模型的准确性相对于最先进的NAT模型显著提高，具有更好的推理效率。
2019-02-22 cs.CL cs.LG stat.ML
Neural Machine Translation in Linear Time
Google Deepmind（谷歌DeepMind）
我们提出了一种新的神经网络处理序列。ByteNet是一个一维卷积神经网络，它由两部分组成，一部分对源序列进行编码，另一部分对目标序列进行解码。这两个网络部分通过将解码器堆叠在编码器之上并保持序列的时间分辨率来连接。为了解决源和目标的不同长度，我们引入了一种有效的机制，通过该机制，解码器在编码器的表示上动态展开。ByteNet在卷积层中使用膨胀来增加其接收域。由此产生的网络有两个核心属性：它在时间上运行，在序列长度上是线性的，并且它避免了过度记忆的需要。ByteNet解码器在字符级语言建模方面达到了最先进的性能，并优于以前使用递归网络获得的最佳结果。ByteNet还在英语到德语的WMT翻译任务中实现了字符到字符机器翻译的最先进性能，超过了基于具有注意力池的递归网络并在二次时间内运行的可比神经翻译模型。我们发现，潜在的对齐结构中包含的表示反映了令牌之间的预期对齐。
2017-03-15 cs.CL cs.LG
A Tree-based Decoder for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
神经机器翻译（NMT）的最新进展表明，向NMT系统中添加句法信息可以提高其翻译质量。大多数现有的工作利用一些特定类型的语言启发的树结构，如选区和依赖解析树。这通常通过对线性化目标树结构进行操作的标准RNN解码器来完成。然而，这是一个悬而未决的问题，具体的语言形式主义，如果有的话，是最好的结构表示NMT。在本文中，我们（1）提出了一个NMT模型，可以自然地产生一个任意的树结构的拓扑结构在目标端，（2）实验与各种目标树结构。我们的实验显示了令人惊讶的结果，即我们的模型在没有任何语言知识的情况下构建了平衡二叉树，从而提供了最佳的改进;该模型比标准seq 2seq模型的性能高出2.1个BLEU点，并且比其他方法的性能高出0.7个BLEU点。
2018-08-28 cs.CL
Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures
Research Center for Cognitive Science and Artificial Intelligence（认知科学与人工智能研究中心）；Tilburg School of Humanities and Digital Sciences（蒂尔堡人文与数字科学学院）；Tilburg University（蒂尔堡大学）
本文针对机器翻译中性别偏见问题，提出新的评估框架，揭示解码器-only模型在性别特定指标上的表现及后训练对偏见的缓解作用。
2026-03-18 cs.CL
Memory-Augmented Neural Networks for Machine Translation
Trinity College Dublin（都柏林圣三一学院）
记忆增强神经网络（MANN）已被证明在一系列人工序列学习任务上优于其他递归神经网络架构，但它们在现实世界任务中的应用有限。我们评估神经图灵机（NTM）和可微分神经计算机（DNC）直接应用于机器翻译。我们进一步提出并评估了两个模型，扩展了注意编码器-解码器的能力，灵感来自记忆增强神经网络。我们评估了我们提出的模型IWERTOS越南语到英语和ACL罗马尼亚语到英语数据集。我们提出的模型和记忆增强的神经网络在越南语到英语翻译任务上的表现类似于注意编码器-解码器，而在罗马尼亚语到英语任务上的BLEU得分低0.3-1.9。有趣的是，我们的分析表明，尽管配备了额外的灵活性和随机初始化的记忆增强神经网络学习机器翻译的算法几乎相同的注意编码器-解码器。
2019-09-18 cs.CL cs.LG stat.ML
BERT-JAM: Boosting BERT-Enhanced Neural Machine Translation with Joint Attention
Zhejiang University（浙江大学）
BERT增强的神经机器翻译（NMT）旨在利用BERT编码的表示进行翻译任务。最近提出的一种方法使用注意力机制来融合Transformer的编码器和解码器层与BERT的最后一层表示，并显示出增强的性能。然而，他们的方法不允许在BERT表示和编码器/解码器表示之间灵活地分配注意力。在这项工作中，我们提出了一种新的BERT增强的NMT模型，称为BERT-JAM，它从两个方面改进了现有的模型：1）BERT-JAM使用联合注意力模块，允许编码器/解码器层动态分配不同的表示之间的注意力，和2）BERT-JAM允许编码器/解码器层利用BERT的中间表示，通过使用门控线性单元（GLU）组成它们。我们用一种新的三阶段优化策略来训练BERT-JAM，该策略逐步解冻BERT-JAM的不同组件。我们的实验表明，BERT-JAM在多个翻译任务上达到了SOTA BLEU分数。
2020-11-09 cs.CL
DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
Fondazione Bruno Kessler（布鲁诺·克塞塞基金会）
提出DOA策略，利用解码器自注意力导出代理对齐，无需训练即可实现语音大语言模型在长形式同声传译中的流式决策。
2026-05-29 cs.AI cs.CL cs.SD
Trainable Greedy Decoding for Neural Machine Translation
The University of Hong Kong（香港大学）；New York University（纽约大学）
神经机器翻译的最新研究主要集中在两个方面：神经网络架构和端到端学习算法。然而，解码的问题却很少受到研究界的关注。在本文中，我们只专注于一个训练的神经机器翻译模型的解码问题。而不是试图建立一个新的解码算法的任何特定的解码目标，我们提出了可训练的解码算法的想法，其中我们训练解码算法，以找到一个翻译，最大限度地提高任意解码目标。更具体地说，我们设计了一个演员，观察和操纵的神经机器翻译解码器的隐藏状态，并建议训练它使用确定性的策略梯度的变体。我们广泛评估所提出的算法，使用四种语言对和两个解码目标，并表明我们确实可以训练一个可训练的贪婪解码器，产生一个更好的翻译（在目标解码目标方面），以最小的计算开销。
2017-02-08 cs.CL cs.LG
Memory Reviving, Continuing Learning and Beyond: Evaluation of Pre-trained Encoders and Decoders for Multimodal Machine Translation
Department of Automation, Shanghai Jiao Tong University（上海交通大学自动化系）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Labs, Huawei Technologies CO., LTD（华为技术有限公司2012实验室）
本研究系统评估预训练编码器与解码器在多模态机器翻译中的影响，发现预训练作用关键但不对称，解码器提升流畅度与准确性，编码器效果依赖视觉-文本对齐质量，为架构设计提供指导。
2025-04-25 cs.AI cs.CL
Neural Machine Translation by Minimising the Bayes-risk with Respect to Syntactic Translation Lattices
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
提出了一种新的方案，将神经机器翻译（NMT）与传统的统计机器翻译（SMT）相结合。我们的方法借用的想法，从线性格最小贝叶斯风险解码SMT。NMT分数根据SMT网格与翻译的贝叶斯风险相结合。这使得我们的方法比$n$ -最佳列表或网格重新评分更灵活，因为神经解码器不限于SMT搜索空间。我们展示了一种有效和简单的方法来集成风险估计到NMT解码器，这是适合字级以及子字单元级NMT。我们测试我们的方法对英语-德语和日语-英语和报告显着的增益在几个数据集上的晶格rescoring为单一和集成NMT。MBR解码器产生全新的假设，远远超出了简单地重新评分SMT搜索空间或修复NMT输出中的UNK。
2017-02-13 cs.CL
Translating Phrases in Neural Machine Translation
Soochow University（苏州大学）；Tencent AI Lab（腾讯人工智能实验室）
短语在自然语言理解和机器翻译中发挥着重要作用（Sag等人，2002; Villavicencio等人，2005年）。然而，很难将它们集成到当前逐词阅读和生成句子的神经机器翻译（NMT）中。在这项工作中，我们提出了一种方法来翻译NMT中的短语，通过将存储目标短语的短语存储器从基于短语的统计机器翻译（SMT）系统集成到NMT的编码器-解码器架构中。在每个解码步骤中，短语存储器首先由SMT模型重写，SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后，所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成，则NMT解码器从存储器中选择适当的短语以执行短语翻译，并通过消耗所选短语中的单词来更新其解码状态。否则，NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明，该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
Multilingual Machine Translation with Quantum Encoder Decoder Attention-based Convolutional Variational Circuits
Indian Institute of Information Technology, Pune（印度浦那信息技术学院）
本文提出 QEDACVC，用量子卷积、池化、变分电路和注意力构建编码器-解码器，在 OPUS 四语种语料上实现 82% 准确率。
2025-05-14 cs.AI cs.CL cs.ET
Refining Source Representations with Relation Networks for Neural Machine Translation
虽然神经机器翻译（NMT）与编码器-解码器框架在最近取得了巨大的成功，但它仍然存在一些缺点：RNN往往会忘记旧的信息，这些信息通常是有用的，编码器只通过单词进行操作，而不考虑单词之间的关系。为了解决这些问题，我们引入了一个关系网络（RN）的NMT细化的编码表示的源。在我们的方法中，RN首先用它的邻居来增强每个源词的表示，并推理它们之间所有可能的成对关系。然后，源表示和所有关系一起被馈送到注意模块和解码器，保持主编码器-解码器架构不变。在两个不同规模的汉英数据集上的实验都表明，我们的方法可以显着优于竞争基线。
2018-05-25 cs.AI cs.CL cs.LG
Neural Machine Translation by Jointly Learning to Align and Translate
Jacobs University Bremen（不来梅雅各布大学）；Université de Montréal（蒙特利尔大学）
神经机器翻译是最近提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译旨在构建一个单一的神经网络，可以联合调整，以最大限度地提高翻译性能。最近提出的用于神经机器翻译的模型通常属于编码器-解码器家族，并且由编码器组成，该编码器将源句子编码成固定长度的向量，解码器从该向量生成翻译。在本文中，我们推测，使用一个固定长度的向量是一个瓶颈，在提高性能的这种基本的编码器-解码器架构，并建议通过允许一个模型自动（软）搜索部分的源句子是相关的预测一个目标词，而不必形成这些部分作为一个硬段显式扩展。有了这种新的方法，我们实现了翻译性能相媲美的现有国家的最先进的短语为基础的系统上的英法翻译的任务。此外，定性分析表明，（软）对齐发现的模型同意我们的直觉。
2016-05-19 cs.CL cs.LG cs.NE
