How Transformer Revitalizes Character-based Neural Machine Translation: An Investigation on Japanese-Vietnamese Translation Systems
University of Information and Communication Technology, TNU（太原大学信息与通信技术学院）；Institute of Anthropomatics and Robotics, KIT（卡尔斯鲁厄理工学院人类工程学与机器人研究所）；University of Engineering and Technology, VNU（越南国立大学工程技术大学）；School of Information Science, JAIST（北陆先端科学技术大学院大学信息科学学院）
在东亚语言之间的翻译中，许多作品都发现了以汉字为翻译单位的明显优势。遗憾的是，传统的递归神经机器翻译系统由于其架构上的限制，阻碍了这些基于字符的系统的实际使用。它们在处理极长的序列时是不利的，并且在并行计算中受到高度限制。在本文中，我们证明了新的Transformer架构可以执行基于字符的翻译比经常性的。我们在一个低资源的语言对上进行实验：日语-越南语。我们的模型大大优于采用基于单词的递归架构的最先进的系统。
2019-10-17 cs.CL
Scalable Transformers for Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；SenseTime Research（商汤科技研究院）
Transformer由于其大容量和序列生成的并行训练而被广泛应用于神经机器翻译中。然而，Transformer的部署具有挑战性，因为不同的场景需要不同复杂性和规模的模型。单纯地训练多个Transformers在计算和内存方面都是冗余的。在本文中，我们提出了一种新的可伸缩的Transformers，它自然包含不同规模的子Transformers，并有共享的参数。通过裁剪最大Transformer的参数可以轻松获得每个子Transformer。针对可伸缩Transformers的训练困难，提出了一种三阶段训练方案，该方案引入了来自字级和序列级自升华的额外监督。在WMT EN-De和En-Fr上进行了大量的实验，以验证我们提出的可扩展Transformers。
2021-06-18 cs.CL
Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
与字面表达不同，习语的意义并不直接从其部件中推导出来，这给神经机器翻译（NMT）带来了挑战。NMT模型通常无法准确地翻译习语，并且过度生成合成的字面翻译。本文以英语为源语言，欧洲七种语言中的一种为目标语言，通过分析模式的隐藏状态和注意模式，探讨习语的非组合性是否反映在主导的NMT模型Transformer的机制中。当Transformer发出一个非字面翻译时--也就是说，将表达式标识为惯用的--与字面表达式相比，编码器更强烈地将惯用作为单个词汇单元处理。这主要表现在习语的各个部分通过注意力的作用而被组合在一起，习语与语境之间的互动减少。在解码器的交叉注意中，比喻性输入导致对源端令牌的注意力降低。这些结果表明，Transformer倾向于将成语作为组合表达进行处理，这有助于成语的字面翻译。
2022-05-30 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
Institut Teknologi Sepuluh Nopember（十一月理工学院）
本研究针对手语转文本翻译任务，对比了Transformer与Seq2Seq模型的性能，还测试了添加ResidualLSTM的Transformer效果，发现纯Transformer表现优于Seq2Seq，添加ResidualLSTM反而降低性能。
2024-09-17 cs.CL
Effective General-Domain Data Inclusion for the Machine Translation Task by Vanilla Transformers
Saarland University（萨尔大学）
机器翻译史上的一个重要突破是Transformer模型的发展。它不仅对各种翻译任务具有革命性意义，而且对大多数其他NLP任务也具有革命性意义。在本文中，我们的目标是一个基于transformer的系统，能够翻译德语中的源句子到其对应的目标句子在英语中。我们对WMT'13数据集上的新闻评论德英平行句进行了实验。此外，我们还研究了在从IWELK '16数据集进行训练时包含额外的通用域数据以提高Transformer模型性能的效果。我们发现，在训练中包含IWIT16数据集有助于在WMT'13数据集的测试集上获得2个BLEU得分点。定性分析被引入到分析如何使用通用领域的数据有助于提高翻译句子的质量。
2022-09-28 cs.CL
Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese
University of Groningen（格罗宁根大学）
本研究提出了一个细粒度的人的评价比较Transformer和递归的方法神经机器翻译（MT），翻译方向上的英语到汉语。为此，我们开发了一个符合多维质量管理（MQM）框架的错误分类，该框架是定制的翻译方向的相关现象。然后，我们在WMT2019新闻测试集的一个子集上，使用这种自定义的错误分类法对最先进的基于递归和基于transformer的MT系统的输出进行错误注释。由此产生的注释表明，与最佳递归系统相比，最佳Transformer系统导致错误总数减少31%，并且在22个错误类别中的10个中产生的错误显著减少。我们还注意到，两个系统的评估不产生任何错误的一个类别，这是相关的翻译方向之前出现的NMT系统：中国的分类。
2020-06-15 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
Very Deep Transformers for Neural Machine Translation
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们探讨了神经机器翻译（NMT）的非常深的Transformer模型的应用。使用一种简单而有效的初始化技术来稳定训练，我们证明了构建标准的基于Transformer的模型是可行的，最多有60个编码器层和12个解码器层。这些深度模型比基线6层模型的性能高出2.5 BLEU，并在WMT 14英法（43.8 BLEU和46.4 BLEU，带回译）和WMT 14英德（30.1 BLEU）上实现了最先进的基准测试结果。代码和训练模型将在https://github.com/namisan/exdeep-nmt上公开。
2020-10-14 cs.CL
Regularized Context Gates on Transformer for Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；National Institute of Information and Communications Technology（信息通信研究机构）
在基于递归神经网络（RNN）的神经机器翻译（NMT）中，上下文门可以有效地控制源上下文和目标上下文的贡献。然而，将它们扩展到高级Transformer架构中具有挑战性，该架构比RNN更复杂。本文首先提出了一种识别源上下文和目标上下文的方法，然后在Transformer中引入门机制来控制源上下文和目标上下文的贡献。此外，为了进一步减少门机制中的偏差问题，本文提出了一种正则化方法来指导门的学习，并使用逐点互信息自动生成监督。在4个翻译数据集上的大量实验表明，该模型在强Transformer基线上获得了1.0 BLEU得分的平均增益。
2020-04-20 cs.CL
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力，并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验，通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明，仅微调交叉注意参数几乎与微调所有参数一样有效（即，整个翻译模式）。我们提供的见解，为什么会出现这种情况，并观察到，以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘，zero-shot翻译的潜力，以及将机器翻译模型扩展到几种新语言对的能力，同时减少参数存储开销。
2021-09-14 cs.CL
Capsule-Transformer for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
Transformer从其多头自注意网络（SAN）的关键设计中受益匪浅，该网络通过将给定的输入转换到不同的子空间来从各种角度提取信息。然而，其简单的线性转换聚合策略仍然可能无法完全捕获更深层次的上下文信息。因此，在本文中，我们提出了胶囊变压器，它扩展了线性变换到一个更一般的胶囊路由算法，通过将SAN作为一个特殊的情况下胶囊网络。因此，所产生的胶囊变压器是能够获得一个更好的注意力分布表示的输入序列，通过不同的头部和单词之间的信息聚合。具体来说，我们看到SAN中的注意力权重组是低层胶囊。通过应用迭代胶囊路由算法，它们可以被进一步聚合成包含更深的上下文信息的高层胶囊。在广泛使用的机器翻译数据集上的实验结果表明，我们提出的胶囊-Transformer显著优于强Transformer基线。
2020-04-30 cs.CL
Syntactically Supervised Transformers for Faster Neural Machine Translation
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于神经机器翻译的标准解码器在每个时间步长自回归地生成单个目标令牌，这减慢了推理，特别是对于长输出。虽然诸如Transformer之类的架构进步在训练时完全并行化解码器计算，但推理仍按顺序进行。非自回归解码和半自回归解码自回归解码的最新发展在每个时间步独立于其他时间步产生多个令牌，这提高了推理速度，但降低了翻译质量。在这项工作中，我们提出了语法监督的Transformer（SynST），它首先自回归预测一个分块的解析树，然后生成所有的目标令牌在一个镜头的条件下预测的解析。一系列对照实验表明，SynST解码句子的速度比基线自回归Transformer快约5倍，同时在En-De和En-Fr数据集上获得比大多数竞争方法更高的BLEU分数。
2019-06-06 cs.CL
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.（eBay公司）；Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany（德国亚琛工业大学人类语言技术与模式识别小组）
基于神经网络的机器翻译（NMT）通常用于低资源设置，特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对，并且针对两个子任务训练单个系统。然而，这些模型在训练期间没有连接，并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中，我们提出了训练一个基于NMT系统的强化学习（RL）的方法，已被调查的各种文本生成任务，包括机器翻译（MT）。我们利用非自回归Transformer，并提出了一个端到端的基于自回归的集成模型，使源目标数据的训练。
2021-09-27 cs.CL
Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
引入因子，也就是说，诸如涉及源标记的语言信息的词特征，已知在某些设置中（通常在递归架构中）改进神经机器翻译系统的结果。这项研究提出了增强当前最先进的神经机器翻译架构，Transformer，以便它允许引入外部知识。特别是，我们提出的修改，因子化的Transformer，使用语言因素，插入额外的知识到机器翻译系统。除了使用不同类型的功能，我们研究了不同的建筑配置的效果。具体来说，我们分析了在嵌入级别或在编码器级别结合单词和特征的性能，并尝试了两种不同的组合策略。使用最好的配置，我们在IWITOS德语到英语的任务中显示出比基线Transformer提高了0.8 BLEU。此外，我们还尝试了更具挑战性的FLoRes英语到尼泊尔语基准，其中包括极低资源和非常遥远的语言，并获得了1.2 BLEU的改进。
2020-12-24 cs.CL
Lattice-Based Transformer Encoder for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
神经机器翻译（NMT）采用确定性序列作为源表示。然而，无论是词级还是子词级分割都有多种选择，可以使用不同的词分割器或不同的子词词汇量来分割源序列。我们假设分割的多样性可能会影响NMT的性能。为了将不同的分割与最先进的NMT模型Transformer相结合，我们提出了基于格的编码器，以在训练过程中自动探索有效的单词或子单词表示。我们提出了两种方法：1）格位置编码和2）格感知的自我注意。这两种方法可以结合使用，相互补充，进一步提高翻译性能。实验结果表明，基于格的编码器在字级和子字级表示上优于传统的Transformer编码器。
2019-06-04 cs.CL
Analysis of Levenshtein Transformer's Decoder and Its Variants
Télécom Paris（巴黎电信学院）
本文分析 LevT 解码器在长度、子词生成和删除能力上的不足，并比较原始、知识蒸馏及翻译记忆变体，以探索改进方向。
2024-02-19 cs.CL
Machine Translation of Novels in the Age of Transformer
University of Alicante（阿利坎特大学）；Universitat Oberta de Catalunya (UOC)（加泰罗尼亚开放大学）
在本章中，我们构建了一个适合文学领域的机器翻译（MT）系统，特别是小说，基于神经MT（NMT）中最先进的架构，Transformer（Vaswani等人，2017年），翻译方向英语到加泰罗尼亚语。随后，我们评估在何种程度上这样一个系统可以是有用的，通过评估其翻译，通过比较这个MT系统对其他三个系统（两个特定领域的系统下经常性和短语为基础的范式和流行的通用在线系统）的三个评价。第一个评估是自动的，使用最广泛使用的自动评估指标BLEU。其余两项评估是人工评估，分别评估为使翻译无误所需的优先选择和后期编辑量。正如预期的那样，特定领域的基于Transformer的系统在所有三个评估中的表现都超过了其他三个系统，在所有情况下都有很大的优势。
2020-11-30 cs.CL
Multi-Unit Transformers for Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）
Transformer模型在神经机器翻译中取得了显著的成功。许多努力致力于通过堆叠几个单元（即，多头注意力和FFN的组合），而对多个并行单元的研究很少引起注意。在本文中，我们提出了多单元Transformers（MUTE），其目的是提高表现力的Transformer通过引入不同的和互补的单位。具体来说，我们使用几个并行单元，并表明多个单元的建模提高了模型性能，并引入了多样性。此外，为了更好地利用多单元设置的优势，我们设计了偏向模块和顺序依赖，引导和鼓励不同单元之间的互补性。三个机器翻译任务的实验结果，NIST中文到英文，WMT'14英文到德文和WMT'18中文到英文，表明MUTE模型显著优于Transformer-Base，高达+1.52，+1.90和+1.10 BLEU点，推理速度仅略有下降（约3.1%）。此外，我们的方法也超过了Transformer-Big模型，只有54%的参数。这些结果证明了MUTE的有效性，以及它在推理过程和参数使用方面的效率。
2020-10-23 cs.CL
Marathi To English Neural Machine Translation With Near Perfect Corpus And Transformers
Dailyhunt
很少有人尝试对印度语言的神经机器翻译任务的最先进算法的性能进行基准测试。Google、Bing、Facebook和Yandex是少数几家为少数几种印度语言建立翻译系统的公司。其中，谷歌的翻译结果应该更好，基于一般检查。Bing-Translator甚至不支持马拉地语，马拉地语拥有约9500万使用者，在主要和次要使用者中排名世界第15位。在这个练习中，我们训练和比较了各种神经机器Marathi到英语翻译器，这些翻译器使用huggingface和各种基于Transformer的架构，使用Facebook的Fairseq平台，使用有限但几乎正确的并行语料库，在Tatoeba和Wikimedia开放数据集上获得比Google更好的BLEU分数。
2020-02-26 cs.CL
Jointly Learning to Align and Translate with Transformer Models
Apple Inc.（苹果公司）
机器翻译（MT）的现有技术由神经方法控制，神经方法通常提供优于统计方法的翻译准确性。然而，在密切相关的词对齐任务上，传统的统计词对齐模型往往仍然是首选的解决方案。在本文中，我们提出了一种方法来训练一个Transformer模型，以产生准确的平移和对齐。我们从常规神经机器翻译模型训练期间学习的注意力概率中提取离散对齐，并在多任务框架中利用它们来优化翻译和对齐目标。我们证明，我们的方法产生竞争力的结果相比，GIZA++训练的IBM对齐模型，而不牺牲翻译的准确性和优于以前的尝试基于Transformer模型的单词对齐。最后，通过将IBM模型对齐纳入我们的多任务训练，我们报告了在三个公开数据集上与GIZA++相比显著更好的对齐精度。
2019-09-04 cs.CL
Lexically Constrained Neural Machine Translation with Levenshtein Transformer
Rakuten Institute of Technology Singapore（新加坡乐天技术研究所）；Rakuten, Inc.（乐天株式会社）
提出了一种简单有效的神经机器翻译词汇约束融合算法。以前的工作要么需要重新训练现有的模型与词汇的约束，或将它们合并在束搜索解码与显着更高的计算开销。利用最近提出的Levenshtein Transformer模型的灵活性和速度（Gu等人，2019），我们的方法在推理时注入术语约束，而不会对解码速度产生任何影响。我们的方法不需要对训练过程进行任何修改，并且可以在运行时使用自定义字典轻松应用。在英语-德语WMT数据集上的实验表明，我们的方法改进了无约束的基线和以前的方法。
2020-04-27 cs.CL
Analysing Coreference in Transformer Outputs
Saarland University（萨尔兰大学）；DFKI GmbH（德国人工智能研究中心）
我们分析了三个神经机器翻译系统中的共指现象，这些系统使用不同的数据设置进行训练，有或没有访问显式的内部和跨领域的回指信息。我们比较了两种不同类型的系统性能：新闻和TED演讲。为此，我们手动注释MT输出中的（可能不正确的）共指链，并评估共指链翻译。我们定义了一个错误类型学，旨在进一步比代词翻译的充分性，包括类型，如不正确的词选择或遗漏的话。本文还将自动翻译中的共指链特征与源文本和人工翻译中的共指链特征进行了比较。分析表明，机器翻译输出比人工翻译更强的潜在的反译效应。
2019-11-04 cs.CL
Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Meta AI
在神经机器翻译（NMT）中，每个标记预测都以源句子和目标前缀（先前在解码步骤中已翻译的内容）为条件。然而，以往的工作主要集中在可解释性的NMT源句标记的属性。因此，我们缺乏对每个输入标记（源句子和目标前缀）在模型预测中的影响的充分理解。在这项工作中，我们提出了一个可解释性的方法，跟踪输入令牌的属性为两个上下文。我们的方法可以扩展到任何基于编码器-解码器转换器的模型，使我们能够更好地理解当前NMT模型的内部工作原理。我们将所提出的方法应用于双语和多语言的Transformers，并提出他们的行为的见解。
2022-11-04 cs.CL
ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）
已经发现，残差网络是常微分方程（ODE）的解的欧拉离散化。在本文中，我们探讨了Transformer和常微分方程数值方法之间更深层次的关系。我们表明，在Transformer层的残留块可以被描述为一个高阶的解决方案常微分方程。这导致我们设计一个新的架构（称之为ODE Transformer）类似的龙格库塔方法，在常微分方程的动机。作为对Transformer的自然扩展，ODE Transformer具有易于实现和参数高效的特点.我们在三个WMT任务上的实验证明了该模型的通用性，以及在几个强基线上的性能大幅提高。在WMT'14 En-De和En-Fr测试数据上，其BLEU得分分别为30.76和44.11。这为WMT'14 En-Fr任务设定了一个新的最先进水平。
2021-04-06 cs.CL
P-Transformer: Towards Better Document-to-Document Neural Machine Translation
Northwest Minzu University（西北民族大学）；Soochow University（苏州大学）；Huawei Translation Services Center（华为翻译服务中心）
通过Transformer从头开始直接训练文档到文档（Doc 2Doc）神经机器翻译（NMT），特别是在小数据集上，通常无法收敛。我们专门的探测任务表明：1）绝对位置和相对位置信息一旦到达编码器上层就会逐渐减弱甚至消失，2）编码器输出中绝对位置信息的消失导致Doc 2Doc NMT的训练失败。为了缓解这个问题，我们提出了一个位置感知的Transformer（P-Transformer），以提高绝对和相对位置信息的自我注意和交叉注意。具体地，我们整合绝对位置信息，即，位置嵌入，通过一个简单而有效的加法运算，在自注意和交叉注意中的查询键对中。此外，我们还整合了自我注意中的相对位置编码。所提出的P-变压器利用正弦位置编码，不需要任何任务指定的位置嵌入，段嵌入，或注意力机制。通过上述方法，我们使用P-Transformer构建了一个Doc 2Doc NMT模型，该模型以序列到序列（seq 2seq）的方式摄取源文档并完整地生成目标文档。此外，P-Transformer还可以应用于基于seq 2seq的文档到句子（Doc 2Sent）和句子到句子（Sent 2Sent）翻译。Doc 2Doc NMT的大量实验结果表明，P-Transformer在广泛使用的9个文档级数据集、7个语言对上的表现显著优于强基线，达到了新的水平。对话语现象的实验表明，我们的Doc 2Doc NMT模型在BLEU和话…
2022-12-12 cs.CL
Heterogeneous Encoders Scaling In The Transformer For Neural Machine Translation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本研究提出多编码器Transformer，集成多达五个异构编码器，通过简单组合策略和性能驱动协同标准，在多种语言及数据集规模上提升翻译质量，低资源语言中最高提升7.16 BLEU。
2023-12-26 cs.CL
Character-Level Translation with Self-attention
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们探讨了自注意模型对字符级神经机器翻译的适用性。我们测试了标准的Transformer模型，以及一个新的变体，其中编码器块使用卷积将附近字符的信息结合起来。我们在WMT和UN数据集上进行了广泛的实验，使用最多三种输入语言（法语，西班牙语和中文）测试双语和多语言翻译为英语。我们的Transformer变体在字符级的性能始终优于标准Transformer，并且收敛速度更快，同时学习更强大的字符级对齐。
2020-04-30 cs.CL
Multi-Pass Transformer for Machine Translation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）
与以前的方法相比，信息只流向堆栈的更深层，我们考虑了多通道Transformer（MPT）架构，其中允许较早的层根据较晚层的输出来处理信息。为了维持有向非循环图结构，Transformer的编码器堆栈沿着新的多遍维度重复，从而保持参数绑定，并且允许信息朝向编码器堆栈内的较深层以及朝向后续堆栈的任何层单向地前进。我们认为两者都是软的（即，连续的）和硬的（即，离散的）并行编码器栈之间的连接，依赖于神经架构搜索来找到困难情况下的最佳连接模式。我们进行了广泛的消融研究所提出的MPT架构，并将其与其他国家的最先进的Transformer架构。令人惊讶的是，在具有挑战性的机器翻译En-De和En-Fr数据集上，配备MPT的Base Transformer可以超越Large Transformer的性能。在硬连接的情况下，最佳的连接模式发现En-De也导致提高性能的En-Fr。
2020-09-23 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
Learning Light-Weight Translation Models from Deep Transformer
Northeastern University（东北大学）；NiuTrans Research（NiuTrans研究中心）
最近，深度模型在神经机器翻译（NMT）方面取得了巨大的进步。然而，这种类型的系统在计算上是昂贵的并且是存储密集的。在本文中，我们采取了自然的步骤来学习强大但轻量级的NMT系统。提出了一种新的基于群置换的知识蒸馏方法，将深层Transformer模型压缩为浅层模型。在多个基准上的实验结果验证了该方法的有效性。我们的压缩模型比深度模型浅8倍，BLEU几乎没有损失。为了进一步增强教师模型，我们提出了一种跳过子层的方法来随机忽略子层，以将扰动引入训练中，该方法在2014年英语-德语newest 2014上获得了30.63的BLEU分数。该代码可在https://github.com/libeineu/GPKD上公开获取。
2020-12-27 cs.CL
Analyzing Architectures for Neural Machine Translation Using Low Computational Resources
随着自然语言处理领域的最新发展，在神经机器翻译中使用不同架构的情况有所增加。Transformer体系结构用于实现最先进的精度，但它们的训练计算成本非常高。每个人都不可能拥有这样的由高端GPU和其他资源组成的设置。我们在低计算资源上训练我们的模型并研究结果。正如预期的那样，Transformers优于其他架构，但也有一些令人惊讶的结果。由更多编码器和解码器组成的Transformers花费更多的时间来训练，但具有较少的BLEU分数。LSTM在实验中表现良好，并且比Transformers花费相对较少的训练时间，使其适合在时间限制的情况下使用。
2021-11-06 cs.CL
The NiuTrans Machine Translation Systems for WMT21
Northeastern University（东北大学）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；NLP Lab, School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院自然语言处理实验室）
本文介绍了NiuTrans神经机器翻译系统的WMT 2021新闻翻译任务。我们提交了9个语言方向，包括英语$\leftrightarrow$ $\{$中文，日语，俄语，冰岛语$\}$和英语$\rightarrow$豪萨语任务。我们的主要系统是建立在Transformer的几个有效变体上的，例如，变压器-DLCL，ODE-变压器。我们还利用回译，知识蒸馏，后集成，和迭代微调技术，以进一步提高模型的性能。
2021-09-22 cs.CL
The Volctrans Machine Translation System for WMT20
ByteDance AI Lab（字节跳动人工智能实验室）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文介绍了我们的VolcTrans系统在WMT20共享新闻翻译任务。我们参加了8个翻译方向。我们的基本系统基于Transformer，有几个变体（更宽或更深的Transformers，动态卷积）。最终的系统包括文本预处理、数据选择、合成数据生成、高级模型集成和多语言预训练。
2020-11-19 cs.CL
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
随着基于transformer的模型的出现，机器翻译取得了快速的进展。这些模型没有显式的语言结构，但它们仍然可以通过关注相关的标记来隐式地学习结构化关系。我们假设，这种结构学习可以通过明确赋予Transformers结构偏差来变得更加强大，我们研究了两种方法来构建这种偏差。TP-Transformer是一种扩展传统Transformer体系结构的方法，它包括一个额外的组件来表示结构。第二种方法通过形态标记化对数据进行分割，从而在数据级别上注入结构。我们测试这些方法从英语翻译成形态丰富的语言，土耳其语和因纽特语，并考虑自动指标和人类的评价。我们发现，这两种方法都可以使网络获得更好的性能，但这种改进取决于数据集的大小。总之，结构化编码方法使Transformers更具采样效率，使它们能够从更少量的数据中获得更好的性能。
2022-08-11 cs.CL
Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.（亚马逊公司）
本文介绍了在ACL 2020第四届神经生成和翻译（WNGT）研讨会上，语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型，并使用Transformer架构与过采样策略相结合，以实现有竞争力的性能。该系统在匈牙利语（加权宏F1评分绝对提高27%）和葡萄牙语（绝对提高33%）上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院人工智能研究院）
提出了非自回归神经机器翻译（NAT）模型，以加速推理过程，同时保持相对较高的性能。然而，现有的NAT模型很难达到期望的效率-质量权衡。首先，具有有效推理的完全NAT模型的性能不如自回归模型。另一方面，迭代NAT模型可以实现相当的性能，同时减少速度的优势。在本文中，我们提出了RenewNAT，一个灵活的框架，具有高效率和有效性，将充分和迭代NAT模型的优点。RenewNAT首先生成潜在的翻译结果，然后在一次传递中更新它们。它可以在与传统NAT模型相同的代价下实现显着的性能改进（无需引入额外的模型参数和解码延迟）。各种翻译基准测试的实验结果（例如，\textbf{4} WMT）表明，我们的框架始终提高了强完全NAT方法的性能（例如，GLAT和DSLP），无需额外的速度开销。
2023-03-14 cs.CL
Optimizing Transformer for Low-Resource Neural Machine Translation
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
并行数据量有限的语言对，也称为低资源语言，仍然是神经机器翻译的一个挑战。虽然Transformer模型已经为许多语言对实现了显著的改进，并且已经成为事实上的主流架构，但是其在低资源条件下的能力尚未被充分研究。我们在IWSLT14训练数据的不同子集上的实验表明，Transformer在低资源条件下的有效性高度依赖于超参数设置。我们的实验表明，与使用Transformer默认设置相比，在低资源条件下使用优化的Transformer可将翻译质量提高7.3个BLEU点。
2020-11-04 cs.CL cs.LG
The Bottom-up Evolution of Representations in the Transformer: A Study with Machine Translation and Language Modeling Objectives
Yandex（Yandex（亚德斯））；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
我们试图理解在不同的学习目标下，个体标记的表示和学习特征空间的结构如何在深度神经网络的层之间演变。我们专注于Transformers进行分析，因为它们在各种任务中表现出了有效性，包括机器翻译（MT），标准的从左到右语言模型（LM）和掩码语言建模（MLM）。以前的工作使用黑盒探测任务，以表明由Transformer学习的表示显着不同的目标。在这项工作中，我们使用典型相关分析和互信息估计研究信息如何在Transformer层之间流动，以及这个过程如何取决于学习目标的选择。例如，当你从底层到顶层时，从左到右的语言模型中关于过去的信息会消失，而关于未来的预测会形成。相比之下，对于MLM，表示最初获取有关令牌周围的上下文的信息，部分忘记令牌身份并产生更一般化的令牌表示。然后，令牌身份在MLM顶层重新创建。
2019-09-03 cs.CL
DiMS: Distilling Multiple Steps of Iterative Non-Autoregressive Transformers for Machine Translation
Layer6 AI（Layer6人工智能公司）
针对迭代非自回归Transformer解码步数多、计算收益下降的问题，提出DiMS多步蒸馏技术，通过学生-教师模型的滑动平均蒸馏机制，在不增加推理开销的前提下显著提升单步翻译质量。
2023-06-09 cs.CL
Revisiting Robust Neural Machine Translation: A Transformer Case Study
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Waterloo（滑铁卢大学）
Transformers（Vaswani等人，2017年）在神经机器翻译（NMT）系统的性能方面带来了显着的改进，但它们可能会令人惊讶地容易受到噪声的影响。在这项工作中，我们试图调查如何噪音打破Transformers，如果存在的解决方案来处理这些问题。在NMT文献中有大量的工作是针对噪声问题分析传统模型的行为，但在此背景下对Transformers的研究相对不足。受此启发，我们引入了一种新的数据驱动技术，称为目标增强微调（TAFT），以在训练过程中加入噪声。这个想法与众所周知的微调策略相当。此外，我们还对原始Transformer提出了另外两种新颖的扩展：受控降噪（CD）和双通道解码（DCD），它们修改了神经架构以及处理噪声的训练过程。我们的技术的一个重要特点是，它们只影响训练阶段，不会在推理时施加任何开销。我们评估了我们在两个方向上翻译英语-德语对的技术，并观察到我们的模型对噪音有更高的容忍度。更具体地说，它们在高达10%的整个测试词被噪声感染的情况下没有恶化。
2021-09-10 cs.CL
Decoder-only Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文提出首个仅解码器同声机器翻译模型DST，通过分别编码源与目标前缀位置并设计流式自注意力机制，在三个翻译任务上达到最优性能。
2024-06-06 cs.CL
Attentive fine-tuning of Transformers for Translation of low-resourced languages @LoResMT 2021
Indian Institute of Information Technology Tiruchirappalli（印度特里奇拉帕利信息技术学院）；ULTRA Arts and Science College（ULTRA文理学院）；Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院）；Kongu Engineering College（孔古工程学院）；Sultan Idris Education University（苏丹依德里斯教育大学）；National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
本文报告了IIITT团队为英语-马拉地语和英语-爱尔兰语语言对LoResMT 2021共享任务提交的机器翻译（MT）系统。该任务的重点是为爱尔兰语和马拉地语等资源相对较低的语言提供出色的翻译。我们微调IndicTrans，这是一个针对英语->马拉地语的预训练多语言NMT模型，使用外部并行语料库作为额外训练的输入。我们对后一种语言对使用了预先训练的Helsinki-NLP Opus MT English->Irish模型。我们的方法在BLEU指标上产生了相对有希望的结果。在团队名称IIITT下，我们的系统分别在英语->马拉地语，爱尔兰语->英语和英语->爱尔兰语中排名1，1和2。
2021-08-31 cs.CL
Source Dependency-Aware Transformer with Supervised Self-Attention
Nankai University（南开大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
最近，Transformer在许多机器翻译任务上实现了最先进的性能。然而，在编码器中没有明确考虑语法知识的情况下，违反语法结构的不正确的上下文信息可能被集成到源隐藏状态中，从而导致错误的翻译。在本文中，我们提出了一种新的方法，将源依赖到Transformer。具体来说，我们采用源依赖树，并定义了两个矩阵来表示依赖关系。在此基础上，对多头自注意模块中的两个头进行有监督的训练，并在训练目标函数中引入两个额外的交叉熵损失。在此训练目标下，模型被训练成直接学习源依赖关系。在推理过程中不需要预解析的输入，我们的模型可以使用依赖感知的上下文信息生成更好的翻译。在汉英、英日和英德双向翻译任务上的实验表明，该方法能显著提高Transformer的基线。
2019-09-05 cs.CL
Learning Source Phrase Representations for Neural Machine Translation
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Tianjin University（天津大学）；China Mobile Online Services（中移在线服务有限公司）
Transformer转换模型（Vaswani等人，2017）可以有效地并行计算，并大大推动了神经机器翻译（NMT）的性能。虽然直观地说，注意力网络可以通过比RNN更短的网络路径连接遥远的单词，但实证分析表明，它仍然难以完全捕获长距离依赖性（Tang et al.，2018年）。考虑到建模短语而不是单词通过使用更大的翻译块（“短语”）及其重新排序能力显著改进了统计机器翻译（SMT）方法，在短语级别建模NMT是帮助模型捕获长距离关系的直观建议。在本文中，我们首先提出了一个专注的短语表示生成机制，它能够从相应的令牌表示生成短语表示。此外，我们将生成的短语表示到Transformer翻译模型中，以增强其捕获长距离关系的能力。在我们的实验中，我们在强大的Transformer基线上获得了WMT 14英语-德语和英语-法语任务的显着改善，这表明了我们的方法的有效性。我们的方法帮助Transformer Base模型在Transformer Big模型的水平上执行，甚至在长句方面更好，但参数和训练步骤要少得多。事实上，即使在大的背景下，短语表征也有帮助，这进一步支持了我们的猜想，即它们对长距离关系做出了有价值的贡献。
2020-06-25 cs.CL
Adaptive Sparse Transformer for Multilingual Translation
Meta AI
多语言机器翻译由于其支持语言间的知识转移以及与众多双语模型相比的低训练和部署成本，近年来引起了人们的广泛关注。多语言模型的一个已知挑战是负面语言干扰。为了提高翻译质量，更深和更广泛的体系结构被应用到多语言建模，以获得更大的模型容量，这同时也增加了推理成本。近年来的研究指出，语言之间的共同参数是干扰的原因，但它们也可能促进正迁移。基于这些见解，我们提出了一种自适应和稀疏的多语言建模架构，并训练模型学习共享和语言特定的参数，以提高正迁移和减轻干扰。稀疏结构只激活保持推理效率的子网络，自适应设计根据输入语言选择不同的子网络。我们的模型在多个基准测试中优于强基线。在使用$100$语言的大规模OPUS数据集上，与标准Transformer相比，在不增加推理成本的情况下，分别实现了一对多、多对一和zero-shot任务下的$+2.1$、$+1.3$和$+6.2$ BLEU改进。
2022-01-22 cs.CL
Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation
本文提出基于句子增强和Transformer架构的方法，解决巴拿语翻译中的资源限制问题，提升翻译准确性和可及性。
2026-01-27 cs.CL
Semantics-aware Attention Improves Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
将句法结构整合到Transformer机器翻译中已经取得了积极的成果，但据我们所知，还没有工作试图这样做语义结构。在这项工作中，我们提出了两种新的无参数的方法注入语义信息到Transformers，都依赖于语义感知掩蔽（一些）的注意头。一种这样的方法通过场景感知自注意（SASA）头在编码器上操作。另一个在解码器上，通过场景感知交叉注意（SACrA）头。我们表现出一致的改进香草Transformer和语法感知模型的四种语言对。我们进一步表明，在一些语言对使用语义和句法结构时，额外的收益。
2022-05-24 cs.CL
An Evaluation of Persian-English Machine Translation Datasets with Transformers
University of Isfahan（伊斯法罕大学）
机器翻译（Machine Translation，MT）是近年来研究的热点。然而，波斯语机器翻译仍然是未开发的，尽管大量的研究正在进行的语言与高资源，如英语。此外，虽然在统计机器翻译方面已经对波斯语的一些数据集进行了大量的研究，但目前还没有针对每个语料库的基于transformer的text 2 text模型的标准基线。本研究收集并分析了最流行和最有价值的平行语料库，用于波斯语-英语翻译。此外，我们分别在每个数据集上微调和评估了两个最先进的基于注意力的seq 2seq模型（48个结果）。我们希望这篇论文能帮助研究人员将他们的波斯语和英语以及机器翻译结果与标准基线进行比较。
2023-02-01 cs.AI cs.CL
G-Transformer for Document-level Machine Translation
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；DAMO Academy, Alibaba Group Inc.（阿里巴巴集团达摩院）
文档级的机器翻译模型仍然远远不能令人满意。已有的工作将翻译单位从单句扩展到多句。然而，研究表明，当我们进一步扩大翻译单元到一个完整的文件，监督训练的Transformer可能会失败。在本文中，我们发现这种失败不是由过拟合引起的，而是由于在训练过程中坚持局部极小值。我们的分析表明，目标到源注意的复杂性增加是失败的原因。作为解决方案，我们提出了G-Transformer，在Transformer中引入局部性假设作为一种归纳偏差，减少了目标到源的注意力的假设空间。实验表明，G-Transformer比Transformer收敛得更快、更稳定，在三个基准数据集上的非预训练和预训练设置下都获得了新的最先进的BLEU分数。
2021-05-31 cs.CL cs.LG
TranSFormer: Slow-Fast Transformer for Machine Translation
Northeastern University（东北大学）；Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）；NiuTrans Research（小牛翻译研究院）
本文提出TranSFormer，通过慢-快双流Transformer同时建模子词和字符序列，以轻量快分支提供细粒度特征，在多个机器翻译基准上取得超过1个BLEU点的稳定提升。
2023-05-26 cs.AI cs.CL
GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer结构由一系列编码器和解码器网络层堆叠而成，在神经机器翻译中取得了重大发展。然而，vanilla Transformer主要利用顶层表示，假设较低层提供琐碎或冗余的信息，因此忽略了潜在有价值的底层功能。在这项工作中，我们提出了组转换器模型（GTrans），灵活地将编码器和解码器的多层表示分为不同的组，然后融合这些组特征来生成目标词。为了验证该方法的有效性，在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明，我们的模型优于它的Transformer同行一致的增益。此外，它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
Hidden Markov Transformer for Simultaneous Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
同步机器翻译（SiMT）在接收源序列的同时输出目标序列，因此学习何时开始翻译每个目标令牌是SiMT任务的核心挑战。然而，在许多可能的开始翻译的时刻中学习最佳时刻是不平凡的，因为开始翻译的时刻总是隐藏在模型中，并且只能用观察到的目标序列来监督。在本文中，我们提出了一个隐马尔可夫Transformer（HMT），它把开始翻译的时刻作为隐藏事件和目标序列作为相应的观察事件，从而组织它们作为一个隐马尔可夫模型。HMT显式地将开始翻译的多个时刻建模为候选隐藏事件，然后选择一个来生成目标令牌。在训练期间，通过在开始翻译的多个时刻最大化目标序列的边际似然，HMT学习在可以更准确地生成目标标记的时刻开始翻译。在多个SiMT基准测试上的实验表明，HMT的性能优于强基线，达到了最先进的性能。
2023-03-01 cs.CL
