Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
神经机器翻译（NMT）通常采用编码器-解码器框架。充分理解编码器和解码器的特点和功能有助于解释框架的优缺点，并为NMT设计更好的模型。本文以Transformer为例，对NMT中的编码器和解码器进行了实证研究。我们发现，1）解码器比NMT中的编码器处理更容易的任务，2）解码器比编码器对输入噪声更敏感，以及3）解码器中的先前单词/令牌提供了强条件信息，这解释了上述两个观察结果。我们希望这些观察结果能够揭示编码器和解码器的特征，并启发未来对NMT的研究。
2019-08-17 cs.CL
Doubly Attentive Transformer Machine Translation
本文提出了一种双注意力Transformer机器翻译模型（DATNMT），该模型中双注意力Transformer解码器通常将通过预训练的卷积神经网络获得的空间视觉特征连接起来，克服了图像描述和翻译之间的任何间隙。在这个框架中，Transformer解码器在生成目标语言的单词时，通过双注意力Transformer的增强型多头注意力层中的两个独立注意力组件的方法来自由地处理源语言单词和图像的部分。我们发现，该模型不仅可以有效地利用稀缺的多模态机器翻译数据，但也大一般领域的纯文本机器翻译语料库，或图像-文本图像描述语料库。实验结果表明，本文提出的双注意转换器-解码器模型的性能优于单解码器Transformer模型，并在英-德多模态机器翻译任务中取得了较好的效果。
2018-07-30 cs.CL
Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
最先进的多语言机器翻译依赖于通用的编码器-解码器，这需要重新训练整个系统以添加新的语言。在本文中，我们提出了一种替代方法，是基于特定语言的编码器-解码器，因此可以更容易地扩展到新的语言，通过学习其相应的模块。为了鼓励共同的中间语言表示，我们同时训练N种初始语言。我们的实验表明，所提出的方法比通用编码器-解码器平均高出3.28个BLEU点，并且在添加新语言时，不需要重新训练其余模块。总而言之，我们的工作缩小了共享和特定语言编码器-解码器之间的差距，朝着模块化多语言机器翻译系统迈进，可以在终身学习环境中灵活扩展。
2020-04-14 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University（厦门大学）；Soochow University（苏州大学）；Tsinghua University（清华大学）
神经机器翻译（NMT）严重依赖于词级建模来学习输入句子的语义表示。但是，对于没有自然词分隔符的语言（例如，中文）中输入句子必须首先进行标记化，传统的NMT面临两个问题：1）难以找到用于源句子建模的最佳标记化粒度; 2）1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题，我们提出了基于词格的循环神经网络（RNN）编码器，它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入，并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此，基于词格的编码器不仅减轻了标记化错误的负面影响，而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明，该编码器优于传统的编码器。
2016-12-09 cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；IXA NLP Group（IXA自然语言处理组）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
我们提出了一个模块化的体系结构的语言特定的编码器-解码器，构成一个多语言的机器翻译系统，可以逐步扩展到新的语言，而不需要重新训练现有的系统时，添加新的语言。从以前的作品，我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块，这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明，我们可以成功地训练这个模块化的架构，提高了初始语言，而略有落后时，添加新的语言或做zero-shot翻译。另外，在自然语言推理任务中对句子表征质量的比较表明，交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
神经机器翻译最近显示出非常有前途的结果。大多数NMT模型遵循编码器-解码器框架。为了使编码器-解码器模型更加灵活，注意力机制被引入到机器翻译以及诸如语音识别和图像描述的其他任务中。我们观察到，当对齐不正确时，基于注意力的编码器-解码器的翻译质量可能会受到显着损害。我们将这些问题归因于缺乏扭曲和生育模型。针对这些问题，我们提出了新的基于注意力的编码器-解码器的变体，并将其与其他机器翻译模型进行了比较。我们提出的方法比原来的基于注意力的编码器-解码器提高了2个BLEU点。
2016-01-22 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了我们的第一次尝试，在建立一个统一的方法下的多语言神经机器翻译框架。然后，我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理，它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性，并有了高达2.6个BLEU点的显著改进。此外，该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
A Convolutional Encoder Model for Neural Machine Translation
Facebook AI Research（Facebook 人工智能研究院）
神经机器翻译的流行方法依赖于双向LSTM来编码源句子。在本文中，我们提出了一种更快，更简单的架构，基于一系列卷积层。这允许对整个源句子同时进行编码，而递归网络的计算受到时间依赖性的约束。在WMT'16英语-罗马尼亚语翻译中，我们达到了具有竞争力的准确性，达到了最先进的水平，并且在WMT'15英语-德语任务中，我们的表现优于最近发表的几项结果。我们的模型在WMT'14英法翻译上获得了与非常深的LSTM设置几乎相同的准确性。我们的卷积编码器以与强大的双向LSTM基线相同或更高的精度将CPU解码速度提高了两倍以上。
2017-07-25 cs.CL
Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归模型在神经机器翻译中实现了显著的解码加速，但缺乏捕获顺序依赖的能力。有向无环Transformer（DA-Transformer）是最近提出的一种基于有向无环图的序列依赖模型。因此，它必须在推理时应用顺序决策过程，这损害了全局翻译精度。在本文中，我们提出了一个维特比解码框架的DA-变压器，它保证找到联合最优解的翻译和解码路径下的任何长度约束。实验结果表明，我们的方法始终提高DA-变压器的性能，同时保持类似的解码加速比。
2023-03-02 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
最近，通用神经机器翻译（NMT）与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同，联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示，每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点，特别是当共享词汇表和模型参数的大小受到限制时。然而，在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中，我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意，我们探索最大限度地提高表示的普遍性，实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码（DAE）目标，以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明，我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外，我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力，这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation
EPFL（洛桑联邦理工学院）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Mannheim（曼海姆大学）
跨语言编码器的评估通常通过在有监督的下游任务中的zero-shot跨语言迁移或通过无监督的跨语言文本相似性来执行。在本文中，我们关注的是无参考机器翻译（MT）评估，我们直接将源文本与（有时是低质量的）系统翻译进行比较，这代表了多语言编码器的自然对抗设置。无参考评估有望对机器翻译系统进行网络规模的比较。我们系统地研究了一系列基于最先进的跨语言语义表示的指标，这些语义表示是通过预训练的M-BERT和LASER获得的。我们发现，它们作为无参考机器翻译评估的语义编码器表现不佳，并确定了它们的两个关键限制，即，（a）相互翻译表示之间的语义不匹配，更突出的是，（b）无法惩罚“翻译”，即，低质量的直译。我们提出了两个部分补救措施：（1）事后重新对齐的向量空间和（2）耦合的语义相似性为基础的指标与目标端语言建模。在段级MT评估中，我们的最佳度量超过基于参考的BLEU 5.7个相关点。
2020-06-08 cs.CL
Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Tsinghua University（清华大学）；ByteDance（字节跳动）
非自回归Transformers（NAT）通过并行生成所有令牌来显著减少解码延迟。然而，这样的独立预测阻止NAT捕获令牌之间的依赖性以生成多个可能的翻译。在本文中，我们提出了有向无环变换器（DA-变换器），它表示隐藏状态的有向无环图（DAG），其中DAG的每条路径对应于一个特定的翻译。整个DAG同时捕获多个翻译，并以非自回归方式促进快速预测。在WMT基准测试的原始训练数据上进行的实验表明，DA-Transformer的平均性能比以往的NAT高出约3 BLEU，这是第一个在不依赖知识蒸馏的情况下，与自回归Transformers实现竞争结果的NAT模型。
2022-05-16 cs.CL
Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation
Zhengzhou University（郑州大学）；Peng Cheng Laboratory（鹏城实验室）
本文研究了深度Transformer翻译模型在CCMT 2022汉泰低资源机器翻译任务中的使用。我们首先探索实验设置（包括BPE合并操作的数量，丢弃概率，嵌入大小等）。对于6层Transformer的低资源场景。考虑到增加层数也会增加对新模型参数的正则化（使用更多层数时也会引入dropout模块），我们采用最高性能设置，但将Transformer的深度增加到24层，以获得更高的翻译质量。我们的工作获得了SOTA在汉泰翻译中的约束评价性能。
2022-12-24 cs.CL
Encoders Help You Disambiguate Word Senses in Neural Machine Translation
Uppsala University（乌普萨拉大学）；University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）在翻译歧义词方面取得了新的最先进的性能。然而，目前还不清楚哪个组成部分主导了消歧过程。在本文中，我们探讨的能力NMT编码器和解码器消除歧义的词义，通过评估隐藏状态和调查的自我注意力的分布。我们训练一个分类器来预测一个歧义名词的翻译是否正确。我们发现，编码器隐藏状态优于词嵌入显着，这表明编码器充分编码的消歧到隐藏状态的相关信息。解码器可以提供用于消除歧义的进一步相关信息。此外，注意权重和注意熵表明，自我注意可以检测出歧义名词，并将更多的注意力分配到上下文。请注意，这是一个修订版。与解码器隐藏状态相关的内容已更新。
2020-05-06 cs.CL
Modeling Source Syntax for Neural Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Soochow University（苏州大学）；Tencent AI Lab（腾讯AI实验室）
尽管神经机器翻译（NMT）中的无语言学的序列到序列模型具有一定的隐式学习源句子的句法信息的能力，但本文表明源句法可以显式地并入NMT以有效地提供进一步的改进。具体来说，我们线性化源句子的分析树，以获得结构化的标签序列。在此基础上，我们提出了三种不同类型的编码器来将源语法纳入NMT：1）并行RNN编码器，学习单词和标签注释向量; 2）分层RNN编码器，在两级层次结构中学习单词和标签注释向量;以及3）混合RNN编码器，在单词和标签混合的序列上重复学习单词和标签注释向量。实验结果表明，本文提出的三种句法编码器都能有效地提高汉英翻译的准确率。值得注意的是，最简单的RNN编码器，即，混合RNN编码器产生最佳性能，显著提高了1.4个BLEU点。此外，从几个角度进行了深入的分析，以揭示源语法的好处NMT。
2017-05-02 cs.CL
Heterogeneous Encoders Scaling In The Transformer For Neural Machine Translation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本研究提出多编码器Transformer，集成多达五个异构编码器，通过简单组合策略和性能驱动协同标准，在多种语言及数据集规模上提升翻译质量，低资源语言中最高提升7.16 BLEU。
2023-12-26 cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Telefónica I+D（西班牙电信研发部）
目前的端到端口语翻译（Spoken Language Translation，缩写为多语）方法依赖于有限的培训资源，尤其是在多语言环境中。另一方面，多语言神经机器翻译（MultiNMT）方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上，特定语言的编码器-解码器的任务，多语种翻译（多语种翻译）。我们的方法完全消除了对MultiNMT数据的依赖性，并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明，将语音编码器耦合到MultiNMT架构，与双语基线（$\pm 0.2$ BLEU）相比，可以产生类似质量的翻译，同时有效地允许zero-shot Multiplexer。此外，我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进，在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
Soochow University（苏州大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
非自回归机器翻译（NAT）模型已经证明了显著的推理加速，但遭受较差的翻译准确性。解决该问题的常见做法是将自回归机器翻译（AT）知识转移到NAT模型，例如，知识蒸馏。在这项工作中，我们假设和经验验证，AT和NAT编码器捕获不同的语言特性的源语句。因此，我们建议采用多任务学习，通过编码器共享将AT知识转移到NAT模型。具体来说，我们把AT模型作为一个辅助任务，以提高NAT模型的性能。在WMT 14英语-德语和WMT 16英语-罗马尼亚语数据集上的实验结果表明，所提出的多任务NAT比基线NAT模型有了显着的改进。此外，在大规模WMT 19和WMT 20英语-德语数据集上的性能证实了我们提出的方法的一致性。此外，实验结果表明，我们的多任务NAT是补充知识蒸馏，NAT的标准知识转移方法。
2021-05-17 cs.CL
Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation
University of Washington（华盛顿大学）；Facebook AI（脸书人工智能）；Allen Institute for AI（艾伦人工智能研究所）
最近的许多努力已经投入到非自回归神经机器翻译中，这似乎是现代GPU上最先进的自回归机器翻译的有效替代方案。与后者相比，前者允许跨目标令牌位置并行生成，后者的生成是顺序的。与自回归基线相比，一些最新的非自回归模型已经实现了令人印象深刻的翻译质量-速度权衡。在这项工作中，我们重新审视了这种权衡，并认为自回归基线可以在不损失准确性的情况下大幅加速。具体来说，我们研究自回归模型与不同深度的编码器和解码器。我们广泛的实验表明，给定足够深的编码器，单层自回归解码器可以在相当的推理速度下大大优于强非自回归模型。我们发现，自回归基线的速度劣势相比，非自回归方法已被高估在三个方面：次优层分配，不充分的速度测量，缺乏知识蒸馏。我们的研究结果为未来快速、准确的机器翻译研究建立了一个新的协议。我们的代码可在https://github.com/jungokasai/deep-shallow上获得。
2021-06-24 cs.CL
A Case Study on Context Encoding in Multi-Encoder based Document-Level Neural Machine Translation
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Wipro AI（威普罗人工智能）
本文通过多编码器文档级神经机器翻译实验，研究不同上下文设置对代词翻译的影响，发现随机上下文也能取得良好效果，且混合选定与随机上下文通常表现更优。
2023-08-11 cs.CL
Summer: WeChat Neural Machine Translation Systems for the WMT22 Biomedical Translation Task
Tencent Inc（腾讯公司）
本文介绍了微信参与WMT 2022共享的生物医学翻译任务中到英。我们的系统是基于Transformer，并使用几种不同的Transformer结构，以提高翻译质量。在我们的实验中，我们采用数据过滤，数据生成，几个变种的Transformer，微调和模型集成。我们的中文$\to$英文系统Summer在所有提交的作品中获得了最高的BLEU分数。
2022-11-28 cs.CL
Glancing Transformer for Non-Autoregressive Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
非自回归神经机器翻译（NAT）的最新研究工作旨在通过并行解码提高效率而不牺牲质量。然而，现有的NAT方法要么不如Transformer，要么需要多个解码通道，导致加速降低。我们提出了扫视语言模型（GLM），一种方法来学习单词的相互依赖性的单通道并行生成模型。借助GLM，我们开发了用于机器翻译的Glancing Transformer（GLAT）。仅使用单遍并行解码，GLAT能够以8-15倍的加速生成高质量的翻译。在多个WMT语言方向上的实验表明，GLAT优于所有以前的单通道非自回归方法，并且几乎与Transformer相当，将差距缩小到0.25-0.9 BLEU点。
2021-05-13 cs.CL
DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers
University of Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；University of Groningen（格罗宁根大学）
本文提出 DecoderLens，通过让解码器交叉注意编码器中间层表示，逐层分析编码器-解码器 Transformer，并在多任务模型中揭示低层和中间层完成的子任务。
2024-04-03 cs.CL
How Transformer Revitalizes Character-based Neural Machine Translation: An Investigation on Japanese-Vietnamese Translation Systems
University of Information and Communication Technology, TNU（太原大学信息与通信技术学院）；Institute of Anthropomatics and Robotics, KIT（卡尔斯鲁厄理工学院人类工程学与机器人研究所）；University of Engineering and Technology, VNU（越南国立大学工程技术大学）；School of Information Science, JAIST（北陆先端科学技术大学院大学信息科学学院）
在东亚语言之间的翻译中，许多作品都发现了以汉字为翻译单位的明显优势。遗憾的是，传统的递归神经机器翻译系统由于其架构上的限制，阻碍了这些基于字符的系统的实际使用。它们在处理极长的序列时是不利的，并且在并行计算中受到高度限制。在本文中，我们证明了新的Transformer架构可以执行基于字符的翻译比经常性的。我们在一个低资源的语言对上进行实验：日语-越南语。我们的模型大大优于采用基于单词的递归架构的最先进的系统。
2019-10-17 cs.CL
Learning to Reuse Translations: Guiding Neural Machine Translation with Examples
Soochow University（苏州大学）
在本文中，我们研究的问题，使神经机器翻译（NMT）重用以前的翻译从类似的例子在目标预测。区分可重用的翻译和嘈杂的片段，并学习在NMT中重用它们是不平凡的。为了解决这些挑战，我们提出了一个示例引导的NMT（EGNMT）框架，该框架具有两个模型：（1）噪声屏蔽编码器模型，该模型根据单词对齐来屏蔽噪声单词，并使用附加的示例编码器对噪声屏蔽句子进行编码;以及（2）辅助解码器模型，该模型通过与主解码器共享参数的辅助解码器来预测可重用单词。我们使用最先进的Transformer定义并实现了这两个模型。实验表明，噪声屏蔽编码器模型允许NMT学习有用的信息，从低模糊匹配分数（FMS）的例子，而辅助解码器模型是好的高FMS的例子。在汉英、英德、英西三种语言的翻译实验中，两种EGNMT模型的结合分别比基线系统和双编码器Transformer系统的BLEU值提高了+9和+7。
2019-11-28 cs.CL
Machine translation considering context information using Encoder-Decoder model
Kanazawa University（金泽大学）
在机器翻译任务中，上下文信息是一个重要因素。但考虑上下文信息的模型没有提出。本文提出了一种新的模型，可以集成上下文信息进行翻译。在本文中，我们创建了一个新的基于模型的编码器解码器模型。在翻译当前句子时，该模型将前一个编码器的输出与当前编码器的输出相结合。该模型能够考虑上下文信息，其结果得分高于现有模型。
2019-03-30 cs.CL cs.LG
Scalable Transformers for Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；SenseTime Research（商汤科技研究院）
Transformer由于其大容量和序列生成的并行训练而被广泛应用于神经机器翻译中。然而，Transformer的部署具有挑战性，因为不同的场景需要不同复杂性和规模的模型。单纯地训练多个Transformers在计算和内存方面都是冗余的。在本文中，我们提出了一种新的可伸缩的Transformers，它自然包含不同规模的子Transformers，并有共享的参数。通过裁剪最大Transformer的参数可以轻松获得每个子Transformer。针对可伸缩Transformers的训练困难，提出了一种三阶段训练方案，该方案引入了来自字级和序列级自升华的额外监督。在WMT EN-De和En-Fr上进行了大量的实验，以验证我们提出的可扩展Transformers。
2021-06-18 cs.CL
Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
与字面表达不同，习语的意义并不直接从其部件中推导出来，这给神经机器翻译（NMT）带来了挑战。NMT模型通常无法准确地翻译习语，并且过度生成合成的字面翻译。本文以英语为源语言，欧洲七种语言中的一种为目标语言，通过分析模式的隐藏状态和注意模式，探讨习语的非组合性是否反映在主导的NMT模型Transformer的机制中。当Transformer发出一个非字面翻译时--也就是说，将表达式标识为惯用的--与字面表达式相比，编码器更强烈地将惯用作为单个词汇单元处理。这主要表现在习语的各个部分通过注意力的作用而被组合在一起，习语与语境之间的互动减少。在解码器的交叉注意中，比喻性输入导致对源端令牌的注意力降低。这些结果表明，Transformer倾向于将成语作为组合表达进行处理，这有助于成语的字面翻译。
2022-05-30 cs.CL
American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
Institut Teknologi Sepuluh Nopember（十一月理工学院）
本研究针对手语转文本翻译任务，对比了Transformer与Seq2Seq模型的性能，还测试了添加ResidualLSTM的Transformer效果，发现纯Transformer表现优于Seq2Seq，添加ResidualLSTM反而降低性能。
2024-09-17 cs.CL
Effective General-Domain Data Inclusion for the Machine Translation Task by Vanilla Transformers
Saarland University（萨尔大学）
机器翻译史上的一个重要突破是Transformer模型的发展。它不仅对各种翻译任务具有革命性意义，而且对大多数其他NLP任务也具有革命性意义。在本文中，我们的目标是一个基于transformer的系统，能够翻译德语中的源句子到其对应的目标句子在英语中。我们对WMT'13数据集上的新闻评论德英平行句进行了实验。此外，我们还研究了在从IWELK '16数据集进行训练时包含额外的通用域数据以提高Transformer模型性能的效果。我们发现，在训练中包含IWIT16数据集有助于在WMT'13数据集的测试集上获得2个BLEU得分点。定性分析被引入到分析如何使用通用领域的数据有助于提高翻译句子的质量。
2022-09-28 cs.CL
TransAlign: Machine Translation Encoders are Strong Word Aligners, Too
University of Würzburg Center for Artificial Intelligence and Data Science (CAIDAS)（乌尔姆大学人工智能与数据科学中心（CAIDAS））
提出TransAlign，利用多语言机器翻译模型编码器进行词对齐，在跨语言迁移的词元分类任务中大幅优于现有词对齐器及非词对齐标签投影方法。
2025-10-31 cs.CL
Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese
University of Groningen（格罗宁根大学）
本研究提出了一个细粒度的人的评价比较Transformer和递归的方法神经机器翻译（MT），翻译方向上的英语到汉语。为此，我们开发了一个符合多维质量管理（MQM）框架的错误分类，该框架是定制的翻译方向的相关现象。然后，我们在WMT2019新闻测试集的一个子集上，使用这种自定义的错误分类法对最先进的基于递归和基于transformer的MT系统的输出进行错误注释。由此产生的注释表明，与最佳递归系统相比，最佳Transformer系统导致错误总数减少31%，并且在22个错误类别中的10个中产生的错误显著减少。我们还注意到，两个系统的评估不产生任何错误的一个类别，这是相关的翻译方向之前出现的NMT系统：中国的分类。
2020-06-15 cs.CL
A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation
Xiamen University（厦门大学）；Tencent Inc（腾讯公司）；University of Rochester（罗切斯特大学）
多模态神经机器翻译（NMT）旨在将源语句翻译成与图像配对的目标语言。然而，占主导地位的多模态NMT模型没有充分利用不同模态的语义单元之间的细粒度语义对应关系，这有可能细化多模态表示学习。为了解决这个问题，在本文中，我们提出了一种新的基于图的NMT多模态融合编码器。具体来说，我们首先表示输入的句子和图像使用统一的多模态图，它捕捉多模态语义单位（单词和视觉对象）之间的各种语义关系。然后，我们堆叠多个基于图的多模态融合层，这些层迭代地执行语义交互以学习节点表示。最后，这些表示为解码器提供了基于注意力的上下文向量。我们在Multi30K数据集上评估了我们提出的编码器。实验结果和深入的分析表明了多模态NMT模型的优越性。
2020-07-17 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
Very Deep Transformers for Neural Machine Translation
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们探讨了神经机器翻译（NMT）的非常深的Transformer模型的应用。使用一种简单而有效的初始化技术来稳定训练，我们证明了构建标准的基于Transformer的模型是可行的，最多有60个编码器层和12个解码器层。这些深度模型比基线6层模型的性能高出2.5 BLEU，并在WMT 14英法（43.8 BLEU和46.4 BLEU，带回译）和WMT 14英德（30.1 BLEU）上实现了最先进的基准测试结果。代码和训练模型将在https://github.com/namisan/exdeep-nmt上公开。
2020-10-14 cs.CL
Regularized Context Gates on Transformer for Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；National Institute of Information and Communications Technology（信息通信研究机构）
在基于递归神经网络（RNN）的神经机器翻译（NMT）中，上下文门可以有效地控制源上下文和目标上下文的贡献。然而，将它们扩展到高级Transformer架构中具有挑战性，该架构比RNN更复杂。本文首先提出了一种识别源上下文和目标上下文的方法，然后在Transformer中引入门机制来控制源上下文和目标上下文的贡献。此外，为了进一步减少门机制中的偏差问题，本文提出了一种正则化方法来指导门的学习，并使用逐点互信息自动生成监督。在4个翻译数据集上的大量实验表明，该模型在强Transformer基线上获得了1.0 BLEU得分的平均增益。
2020-04-20 cs.CL
Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation
Nara Institute of Science and Technology（奈良科学技术研究所）；National Institute of Information and Communications Technology（信息通信研究机构）
本文通过恒等对分析多语言神经机器翻译的表示迁移问题，揭示零样本翻译缺陷源于表示与多语言纠缠，并提出低秩语言特定嵌入和语言特定对比学习两种方法，在多个数据集上显著提升零样本翻译性能。
2025-04-08 cs.CL
Multi-channel Encoder for Neural Machine Translation
Baidu Inc.（百度公司）
基于注意力的编码器-解码器具有神经机器翻译（NMT）的有效架构，其通常依赖于递归神经网络（RNN）来构建在解码过程期间将由注意力读者最近调用的块。这种编码器的设计在源句子上产生相对均匀的组合，尽管在编码RNN时采用了门控机制。另一方面，我们往往希望解码器采取不同层次的源句适合自己的语言结构：例如，我们可能希望采取的实体名称在其原始形式，而一个成语作为一个完美的组成单位。出于这种需求，我们提出了多通道编码器（MCE），它增强了不同层次的组合编码组件。更具体地说，除了编码RNN的隐藏状态外，MCE还采用1）原始词嵌入进行原始编码，不进行合成，以及2）神经图灵机（NTM）中外部存储器的特定设计，以进行更复杂的合成，而所有三种编码策略在解码期间都被适当地混合。通过对汉英翻译的实证研究表明，该模型在强大的开源NMT系统DL 4 MT 1上可以提高6.52个BLEU点。在WMT 14英语-法语任务中，我们的单个浅层系统达到BLEU=38.8，与最先进的深层模型相当。
2017-12-06 cs.CL
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力，并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验，通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明，仅微调交叉注意参数几乎与微调所有参数一样有效（即，整个翻译模式）。我们提供的见解，为什么会出现这种情况，并观察到，以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘，zero-shot翻译的潜力，以及将机器翻译模型扩展到几种新语言对的能力，同时减少参数存储开销。
2021-09-14 cs.CL
Capsule-Transformer for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
Transformer从其多头自注意网络（SAN）的关键设计中受益匪浅，该网络通过将给定的输入转换到不同的子空间来从各种角度提取信息。然而，其简单的线性转换聚合策略仍然可能无法完全捕获更深层次的上下文信息。因此，在本文中，我们提出了胶囊变压器，它扩展了线性变换到一个更一般的胶囊路由算法，通过将SAN作为一个特殊的情况下胶囊网络。因此，所产生的胶囊变压器是能够获得一个更好的注意力分布表示的输入序列，通过不同的头部和单词之间的信息聚合。具体来说，我们看到SAN中的注意力权重组是低层胶囊。通过应用迭代胶囊路由算法，它们可以被进一步聚合成包含更深的上下文信息的高层胶囊。在广泛使用的机器翻译数据集上的实验结果表明，我们提出的胶囊-Transformer显著优于强Transformer基线。
2020-04-30 cs.CL
Syntactically Supervised Transformers for Faster Neural Machine Translation
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于神经机器翻译的标准解码器在每个时间步长自回归地生成单个目标令牌，这减慢了推理，特别是对于长输出。虽然诸如Transformer之类的架构进步在训练时完全并行化解码器计算，但推理仍按顺序进行。非自回归解码和半自回归解码自回归解码的最新发展在每个时间步独立于其他时间步产生多个令牌，这提高了推理速度，但降低了翻译质量。在这项工作中，我们提出了语法监督的Transformer（SynST），它首先自回归预测一个分块的解析树，然后生成所有的目标令牌在一个镜头的条件下预测的解析。一系列对照实验表明，SynST解码句子的速度比基线自回归Transformer快约5倍，同时在En-De和En-Fr数据集上获得比大多数竞争方法更高的BLEU分数。
2019-06-06 cs.CL
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.（eBay公司）；Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany（德国亚琛工业大学人类语言技术与模式识别小组）
基于神经网络的机器翻译（NMT）通常用于低资源设置，特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对，并且针对两个子任务训练单个系统。然而，这些模型在训练期间没有连接，并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中，我们提出了训练一个基于NMT系统的强化学习（RL）的方法，已被调查的各种文本生成任务，包括机器翻译（MT）。我们利用非自回归Transformer，并提出了一个端到端的基于自回归的集成模型，使源目标数据的训练。
2021-09-27 cs.CL
Modeling Latent Sentence Structure in Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
最近的研究表明，由监督解析器预测的语言结构可以有益于神经机器翻译（NMT）。在这项工作中，我们研究了一个更具挑战性的设置：我们将句子结构作为一个潜在的变量在一个标准的NMT编码器-解码器，并诱导它的方式，以利于翻译任务。我们考虑了德英和日英翻译基准，并观察到当使用RNN编码器时，模型没有或非常有限地使用结构归纳装置。相比之下，CNN和基于词嵌入的编码器依赖于潜图，并迫使它们编码有用的、潜在的长距离依赖关系。
2020-06-18 cs.CL
BERT-JAM: Boosting BERT-Enhanced Neural Machine Translation with Joint Attention
Zhejiang University（浙江大学）
BERT增强的神经机器翻译（NMT）旨在利用BERT编码的表示进行翻译任务。最近提出的一种方法使用注意力机制来融合Transformer的编码器和解码器层与BERT的最后一层表示，并显示出增强的性能。然而，他们的方法不允许在BERT表示和编码器/解码器表示之间灵活地分配注意力。在这项工作中，我们提出了一种新的BERT增强的NMT模型，称为BERT-JAM，它从两个方面改进了现有的模型：1）BERT-JAM使用联合注意力模块，允许编码器/解码器层动态分配不同的表示之间的注意力，和2）BERT-JAM允许编码器/解码器层利用BERT的中间表示，通过使用门控线性单元（GLU）组成它们。我们用一种新的三阶段优化策略来训练BERT-JAM，该策略逐步解冻BERT-JAM的不同组件。我们的实验表明，BERT-JAM在多个翻译任务上达到了SOTA BLEU分数。
2020-11-09 cs.CL
On the Properties of Neural Machine Translation: Encoder-Decoder Approaches
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）
神经机器翻译是纯粹基于神经网络的统计机器翻译的一种相对较新的方法。神经机器翻译模型通常由编码器和解码器组成。编码器从一个可变长度的输入句子中提取一个固定长度的表示，解码器从这个表示中生成一个正确的翻译。在本文中，我们重点分析了两种模型的神经机器翻译的性能：RNN编码器-解码器和一个新提出的门控递归卷积神经网络。我们发现，神经机器翻译在没有未知词的短句上表现相对较好，但随着句子长度和未知词数量的增加，其性能迅速下降。此外，我们发现所提出的门控递归卷积网络可以自动学习句子的语法结构。
2014-10-07 cs.CL stat.ML
Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
引入因子，也就是说，诸如涉及源标记的语言信息的词特征，已知在某些设置中（通常在递归架构中）改进神经机器翻译系统的结果。这项研究提出了增强当前最先进的神经机器翻译架构，Transformer，以便它允许引入外部知识。特别是，我们提出的修改，因子化的Transformer，使用语言因素，插入额外的知识到机器翻译系统。除了使用不同类型的功能，我们研究了不同的建筑配置的效果。具体来说，我们分析了在嵌入级别或在编码器级别结合单词和特征的性能，并尝试了两种不同的组合策略。使用最好的配置，我们在IWITOS德语到英语的任务中显示出比基线Transformer提高了0.8 BLEU。此外，我们还尝试了更具挑战性的FLoRes英语到尼泊尔语基准，其中包括极低资源和非常遥远的语言，并获得了1.2 BLEU的改进。
2020-12-24 cs.CL
Divide and Rule: Effective Pre-Training for Context-Aware Multi-Encoder Translation Models
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
多编码器模型是一个广泛的上下文感知神经机器翻译系统家族，旨在通过对当前句子旁边的文档级上下文信息进行编码来提高翻译质量。上下文编码由上下文参数进行，在文档级数据上进行训练。在这项工作中，我们讨论了有效训练这些参数的困难，由于需要上下文的单词的稀疏性（即，训练信号）以及它们的相关上下文。我们建议在分裂的句子对上预训练上下文参数，这可以有效地利用可用的数据，原因有两个。首先，它通过打破内部句法关系来增加上下文训练信号，从而推动模型更频繁地搜索上下文以消除歧义。其次，它简化了相关上下文的检索，因为上下文段变得更短。我们提出了四种不同的分裂方法，并评估我们的方法与BLEU和对比测试集。结果表明，它始终提高学习的上下文参数，无论是在低和高的资源设置。
2022-03-15 cs.CL
Analysis of Levenshtein Transformer's Decoder and Its Variants
Télécom Paris（巴黎电信学院）
本文分析 LevT 解码器在长度、子词生成和删除能力上的不足，并比较原始、知识蒸馏及翻译记忆变体，以探索改进方向。
2024-02-19 cs.CL
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
Machine Translation of Novels in the Age of Transformer
University of Alicante（阿利坎特大学）；Universitat Oberta de Catalunya (UOC)（加泰罗尼亚开放大学）
在本章中，我们构建了一个适合文学领域的机器翻译（MT）系统，特别是小说，基于神经MT（NMT）中最先进的架构，Transformer（Vaswani等人，2017年），翻译方向英语到加泰罗尼亚语。随后，我们评估在何种程度上这样一个系统可以是有用的，通过评估其翻译，通过比较这个MT系统对其他三个系统（两个特定领域的系统下经常性和短语为基础的范式和流行的通用在线系统）的三个评价。第一个评估是自动的，使用最广泛使用的自动评估指标BLEU。其余两项评估是人工评估，分别评估为使翻译无误所需的优先选择和后期编辑量。正如预期的那样，特定领域的基于Transformer的系统在所有三个评估中的表现都超过了其他三个系统，在所有情况下都有很大的优势。
2020-11-30 cs.CL
Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation
LORIA（洛林计算机科学及其应用实验室）；Posos（Posos公司）
一些基于transformer的模型可以执行跨语言迁移学习：这些模型可以在一种语言的特定任务上进行训练，并在另一种语言的相同任务上给出相对较好的结果，尽管只在单语任务上进行了预训练。但是，对于这些基于transformer的模型是否能够跨语言学习通用模式，目前还没有达成共识。我们提出了一个词级的任务不可知的方法来评估这种模型建立的上下文表示的对齐。我们表明，我们的方法提供了更准确的翻译词对比以前的方法来评估字级对齐。我们的研究结果表明，基于多语言transformer的模型的一些内层优于其他显式对齐的表示，根据更严格的多语言对齐定义，甚至更是如此。
2022-07-19 cs.CL
