GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer结构由一系列编码器和解码器网络层堆叠而成，在神经机器翻译中取得了重大发展。然而，vanilla Transformer主要利用顶层表示，假设较低层提供琐碎或冗余的信息，因此忽略了潜在有价值的底层功能。在这项工作中，我们提出了组转换器模型（GTrans），灵活地将编码器和解码器的多层表示分为不同的组，然后融合这些组特征来生成目标词。为了验证该方法的有效性，在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明，我们的模型优于它的Transformer同行一致的增益。此外，它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
EDITOR: an Edit-Based Transformer with Repositioning for Neural Machine Translation with Soft Lexical Constraints
University of Maryland（马里兰大学）
我们介绍了一个基于编辑的Transformer与重新定位（EDITOR），这使得序列生成灵活，无缝地允许用户指定的偏好在输出词汇的选择。基于最近的非自回归序列生成模型（Gu等人，2019），EDITOR通过迭代编辑假设来生成新序列。它依赖于一种新的重新定位操作，旨在将词汇选择从单词定位决策中解脱出来，同时在解码时实现有效的模仿学习和并行编辑。经验上，EDITOR比Levenshtein Transformer更有效地使用软词汇约束（Gu等人，2019），同时与受约束的束搜索相比，大大加快了解码速度（Post和Vilar，2018）。在标准的罗马尼亚语-英语、英语-德语和英语-日语机器翻译任务中，EDITOR的解码速度比Levenshtein Transformer快，翻译质量相当或更好。
2021-01-19 cs.CL cs.LG
Hierarchical Transformer for Multilingual Machine Translation
Innopolis University（因诺波利斯大学）；University of Campinas（坎皮纳斯大学）
多语言机器翻译模型中参数共享策略的选择决定了参数空间的最优使用，从而直接影响最终的翻译质量。受语言树的启发，最近提出了多语言机器翻译中参数共享的通用方法。主要思想是使用这些专家语言层次结构作为多语言架构的基础：两种语言越接近，它们共享的参数就越多。在这项工作中，我们使用Transformer架构来测试这个想法，并表明尽管在以前的工作中取得了成功，但训练这种分层模型存在固有的问题。我们证明，在精心选择的训练策略的情况下，层次结构可以优于双语模型和多语言模型与充分的参数共享。
2021-03-05 cs.CL cs.LG
Learning Deep Transformer Models for Machine Translation
Northeastern University（东北大学）；NiuTrans Co., Ltd.（牛转有限公司）；University of Macau（澳门大学）；Kingsoft AI Lab（金山人工智能实验室）
Transformer是最近机器翻译评估中最先进的模型。有两种研究有望改进这类模型：第一种是使用广泛的网络（也称为“网络”）。Transformer-Big）并已成为Transformer系统开发的事实上的标准，另一种使用更深层次的语言表示，但面临着学习深度网络带来的困难。在这里，我们继续对后者的研究路线。我们声称，一个真正深入的Transformer模型可以通过以下方式超越Transformer-Big模型：1）正确使用层归一化; 2）将前一层的组合传递到下一层的新方法。在WMT'16英语-德语，NIST OpenMT'12中文-英语和更大的WMT'18中文-英语任务中，我们的深层系统（30/25层编码器）比浅层Transformer-Big/Base基线（6层编码器）高出0.4-2.4 BLEU点。作为另一个好处，深度模型的尺寸比Transformer-Big小1.6倍，训练速度快3倍。
2019-06-05 cs.CL cs.LG
Implicit Memory Transformer for Computationally Efficient Simultaneous Speech Translation
Oregon State University（俄勒冈州立大学）
本文提出隐式记忆Transformer，用上一段注意力输出作为左上下文替代记忆库，在MuST-C上以几乎相同的翻译质量显著加速同声传译编码器计算。
2023-07-03 cs.CL cs.LG
Explicit Reordering for Neural Machine Translation
National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
在基于transformer的神经机器翻译（NMT）中，位置编码机制帮助自注意网络学习具有顺序依赖性的源表示，使得基于transformer的NMT在各种翻译任务中都能获得最佳的结果。然而，基于变换器的NMT仅将位置的表示顺序地添加到输入句子中的词向量，并且没有显式地考虑该句子中的重排序信息。本文首先实证研究了源语重排信息与翻译效果之间的关系。实验结果表明，从双语并行数据集学习的目标顺序的源输入可以大大提高翻译性能。因此，我们提出了一种新的重排序方法来明确地为基于变换器的NMT建模这种重排序信息。在WMT 14英-德、WAT ASPEC日-英和WMT 17中-英翻译任务上的实验结果表明了该方法的有效性。
2020-04-08 cs.CL cs.LG
Learning Accurate Integer Transformer Machine-Translation Models
Xilinx, Inc.（赛灵思公司）
我们描述了一种训练精确的Transformer机器翻译模型的方法，以使用8位整数（INT 8）硬件矩阵乘法器来运行推理，而不是更昂贵的单精度浮点（FP 32）硬件。与以前的工作不同，以前的工作只将85个Transformer矩阵乘法转换为INT 8，由于不可接受的精度损失，其中133个中的48个留在FP 32中，我们将它们全部转换为INT 8而不影响精度。在最新的2014年英语到德语翻译任务测试中，我们的INT 8 Transformer Base和Transformer Big型号的BLEU评分比相应的FP 32型号高99.3%到100%。我们的方法通过在训练过程中自动进行范围-精度权衡，将现有FP 32模型中的所有矩阵乘法张量转换为INT 8张量。为了证明这种方法的鲁棒性，我们还包括从INT 6 Transformer模型的结果。
2020-01-03 cs.CL cs.LG stat.ML
Doubly Attentive Transformer Machine Translation
本文提出了一种双注意力Transformer机器翻译模型（DATNMT），该模型中双注意力Transformer解码器通常将通过预训练的卷积神经网络获得的空间视觉特征连接起来，克服了图像描述和翻译之间的任何间隙。在这个框架中，Transformer解码器在生成目标语言的单词时，通过双注意力Transformer的增强型多头注意力层中的两个独立注意力组件的方法来自由地处理源语言单词和图像的部分。我们发现，该模型不仅可以有效地利用稀缺的多模态机器翻译数据，但也大一般领域的纯文本机器翻译语料库，或图像-文本图像描述语料库。实验结果表明，本文提出的双注意转换器-解码器模型的性能优于单解码器Transformer模型，并在英-德多模态机器翻译任务中取得了较好的效果。
2018-07-30 cs.CL
Towards Santali Linguistic Inclusion: Building the First Santali-to-English Translation Model using mT5 Transformer and Data Augmentation
BRAC University（BRAC大学）
针对桑塔利语缺乏翻译模型的问题，本文使用mT5 Transformer和数据增强构建首个桑塔利语-英语翻译模型，解决低资源挑战，验证迁移学习有效性及数据增强的性能提升作用。
2024-11-29 cs.CL cs.LG
Deep Transformers with Latent Depth
Facebook AI；University of Edinburgh（爱丁堡大学）
在许多序列建模任务中，Transformer模型已经达到了最先进的性能。然而，如何利用具有大或可变深度的模型容量仍然是一个开放的挑战。我们提出了一个概率框架，通过学习层选择的后验分布来自动学习要使用的层。作为该框架的扩展，我们提出了一种新的方法来训练一个共享的Transformer网络的多语言机器翻译与不同的层选择后验的每一个语言对。所提出的方法消除了消失梯度问题，并且实现了深度Transformers（例如，100层）的稳定训练。我们评估WMT英语-德语机器翻译和掩蔽语言建模任务，其中我们的方法优于现有的方法，用于训练更深的Transformers。在多语言机器翻译上的实验表明，该方法可以有效地利用模型容量的增加，并为不同语言对的多对一和一对多翻译带来普遍的改进。
2020-10-16 cs.CL cs.LG
Fully Quantized Transformer for Machine Translation
Mila, Université de Montréal（Mila（蒙特利尔大学））；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最先进的神经机器翻译方法使用大量的参数。到目前为止，在不影响性能的情况下大幅降低这种方法的计算成本是不成功的。为此，我们提出了FullyQT：一个包罗万象的量化策略的Transformer。据我们所知，我们是第一个证明完全量化的Transformer可以避免翻译质量损失的人。事实上，与全精度相比，我们的8位模型在大多数任务上的BLEU得分更高或相等。比较自己所有以前提出的方法，我们实现了国家的最先进的量化结果。
2020-03-22 cs.CL cs.LG stat.ML
Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归模型在神经机器翻译中实现了显著的解码加速，但缺乏捕获顺序依赖的能力。有向无环Transformer（DA-Transformer）是最近提出的一种基于有向无环图的序列依赖模型。因此，它必须在推理时应用顺序决策过程，这损害了全局翻译精度。在本文中，我们提出了一个维特比解码框架的DA-变压器，它保证找到联合最优解的翻译和解码路径下的任何长度约束。实验结果表明，我们的方法始终提高DA-变压器的性能，同时保持类似的解码加速比。
2023-03-02 cs.CL
Neutron: An Implementation of the Transformer Translation Model and its Variants
Saarland University（萨尔兰大学）；DFKI（德国人工智能研究中心）；China Mobile Online Services（中国移动在线服务有限公司）
与递归seq2seq模型相比，Transformer翻译模型更容易并行化，并提供更好的性能，这使得它在工业和研究社区中很受欢迎。我们在这项工作中实现了中子，包括Transformer模型及其最近研究的几个变体。它经过高度优化，易于修改，并在保持可读性的同时提供具有有趣功能的可比性能。
2020-03-20 cs.CL
Quick Back-Translation for Unsupervised Machine Translation
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
本文提出快速回译（QBT）方法，通过将 Transformer 编码器重新用作生成模型并与自回归回译结合训练解码器，在多个 WMT 基准上以更少的精炼步骤显著提升无监督机器翻译模型的训练效率。
2023-12-01 cs.CL cs.LG cs.PL
Directed Acyclic Transformer for Non-Autoregressive Machine Translation
Tsinghua University（清华大学）；ByteDance（字节跳动）
非自回归Transformers（NAT）通过并行生成所有令牌来显著减少解码延迟。然而，这样的独立预测阻止NAT捕获令牌之间的依赖性以生成多个可能的翻译。在本文中，我们提出了有向无环变换器（DA-变换器），它表示隐藏状态的有向无环图（DAG），其中DAG的每条路径对应于一个特定的翻译。整个DAG同时捕获多个翻译，并以非自回归方式促进快速预测。在WMT基准测试的原始训练数据上进行的实验表明，DA-Transformer的平均性能比以往的NAT高出约3 BLEU，这是第一个在不依赖知识蒸馏的情况下，与自回归Transformers实现竞争结果的NAT模型。
2022-05-16 cs.CL
Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation
Zhengzhou University（郑州大学）；Peng Cheng Laboratory（鹏城实验室）
本文研究了深度Transformer翻译模型在CCMT 2022汉泰低资源机器翻译任务中的使用。我们首先探索实验设置（包括BPE合并操作的数量，丢弃概率，嵌入大小等）。对于6层Transformer的低资源场景。考虑到增加层数也会增加对新模型参数的正则化（使用更多层数时也会引入dropout模块），我们采用最高性能设置，但将Transformer的深度增加到24层，以获得更高的翻译质量。我们的工作获得了SOTA在汉泰翻译中的约束评价性能。
2022-12-24 cs.CL
Lattice Transformer for Speech Translation
Alibaba Group Inc.（阿里巴巴集团）
序列建模的最新进展突出了Transformer架构的优势，特别是在实现最先进的机器翻译结果方面。然而，取决于上游系统，例如，语音识别或分词，翻译系统的输入可能变化很大。这项工作的目标是扩展Transformer的注意力机制，除了传统的顺序输入之外，还可以自然地消耗晶格。我们首先提出了一个通用的格型Transformer的语音翻译的输入是输出的自动语音识别（ASR），其中包含多个路径和后验分数。为了充分利用来自格结构的额外信息，我们开发了一种新的可控格注意力机制来获得潜在表征。在LDC西班牙语-英语语音翻译语料库上，我们的实验表明，lattice Transformer的泛化效果明显更好，并且优于Transformer基线和lattice LSTM。此外，我们在WMT 2017汉英翻译任务中验证了我们的方法，该任务使用来自不同BPE分割的格输入。在这项任务中，我们还观察了强基线的改进。
2019-06-13 cs.CL
Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers
University of Oxford（牛津大学）
我们使用Transformer模型的贝叶斯深度学习等价物检测神经机器翻译中的训练分布外句子。为此，我们开发了一种新的不确定性测量方法，专门用于离散随机变量的长序列，即输出句子中的单词。我们的新措施的不确定性解决了一个主要的棘手问题，在天真的应用现有的方法对长句。我们使用我们的新措施上的Transformer模型训练辍学近似推理。在使用WMT13和Europarl进行德英翻译的任务中，我们证明了在辍学不确定性的情况下，我们的措施能够识别何时使用与德语相同的单词类型的荷兰语源句子，而不是德语。
2020-06-08 cs.CL cs.LG stat.ML
The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models
KTH Royal Institute of Technology（瑞典皇家理工学院）
编码位置信息的机制是基于转换器的语言模型的核心。在本文中，我们分析了现有的语言模型的位置嵌入，发现强有力的证据，翻译不变性，无论是嵌入本身和他们的自我注意的影响。翻译不变性的程度在训练过程中增加，并与模型性能呈正相关。我们的研究结果使我们提出了一种不变性自我注意（TISA），它以一种可解释的方式解释了标记之间的相对位置，而不需要传统的位置嵌入。我们的建议有几个理论上的优势，现有的位置表示方法。实验结果表明，该算法在GLUE任务上比常规ALBERT算法有了明显的改进，而位置参数的增加数量级更少。
2021-06-03 cs.AI cs.CL cs.LG
On Optimal Transformer Depth for Low-Resource Language Translation
InstaDeep Ltd（InstaDeep公司）；Stellenbosch University（斯泰伦博斯大学）；Heidelberg University（海德堡大学）
Transformers作为低资源语言的神经机器翻译（NMT）方法已经显示出很大的前景。然而，与此同时，Transformer模型仍然难以优化，需要仔细调整超参数才能在此设置中使用。许多NMT工具包都带有一组默认的超参数，研究人员和实践者经常为了方便和避免调优而采用这些参数。然而，这些配置已经针对大规模机器翻译数据集进行了优化，这些数据集包含数百万个欧洲语言（如英语和法语）的并行句子。在这项工作中，我们发现该领域目前使用非常大的模型的趋势对低资源语言是有害的，因为它使训练更加困难，并损害了整体性能，证实了以前的观察结果。我们认为我们的工作是对Masakhane项目的补充（“Masakhane”在祖鲁语中的意思是“我们一起建设”）。本着这种精神，最需要资源的社区正在建造低资源的NMT系统。然而，社区中的许多人仍然只能获得非常有限的计算资源，而这些资源是构建工业研究所推动的超大型模型所需的。因此，通过展示Transformer模型在低到中等深度下表现良好（通常是最好的），我们希望说服研究人员在开发这些系统时投入更少的计算资源和时间来探索过大的模型。
2020-04-14 cs.CL cs.LG
Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation
University of Surrey（萨里大学）；Microsoft（微软）
先前关于手语翻译的工作表明，具有中等水平的符号注释表示（有效地识别单个符号）可以大大提高翻译性能。事实上，目前最先进的翻译需要注释级别标记化才能工作。我们引入了一种新的基于Transformer的架构，该架构可以在端到端的方式下共同学习连续手语识别和翻译。这是通过使用一个连接时间分类（CTC）损失绑定到一个单一的统一架构的识别和翻译问题。这种联合方法不需要任何地面实况定时信息，同时解决了两个相互依赖的序列到序列学习问题，并导致显着的性能增益。我们评估了我们的方法在具有挑战性的RWTH-PHOENIX-Weather-2014 T（PHOENIX 14 T）数据集上的识别和翻译性能。我们报告了我们的手语Transformers所实现的最先进的手语识别和翻译结果。我们的翻译网络优于手语视频到口语和注释到口语翻译模型，在某些情况下，性能提高了一倍以上（9.58比21.80 BLEU-4分数）。我们还分享了使用Transformer网络进行其他几个文本到文本手语翻译任务的新基线翻译结果。
2020-03-30 cs.CL cs.CV cs.HC
Dynamic Transformer for Efficient Machine Translation on Embedded Devices
University of Southampton（南安普顿大学）
Transformer架构广泛用于机器翻译任务。然而，其资源密集型的性质使得它具有挑战性的约束嵌入式设备上实现，特别是在可用的硬件资源可以在运行时变化。我们提出了一个动态的机器翻译模型，根据任何特定时间的可用资源来扩展Transformer架构。所提出的方法，“动态HAT”，使用一个HAT超级变压器作为骨干搜索SubTransformers与不同的精度延迟权衡在设计时。最佳SubTransformer在运行时从SuperTransformer中采样，这取决于延迟约束。动态HAT在Jetson Nano上进行了测试，该方法使用直接从SuperTransformer采样的继承SubTransformers，切换时间<1 s。使用继承的SubTransformers会导致BLEU分数损失<1.5%，因为SubTransformer配置在采样后没有从头开始重新训练。然而，为了恢复这种性能损失，可以减小设计空间的尺寸以将其定制为目标硬件系列。新的设计空间减少导致次优模型的BLEU分数从原始设计空间增加约1%，GPU的性能扩展范围为0.356s - 1.526s，CPU的性能扩展范围为2.9s - 7.31s。
2021-07-30 cs.CL cs.LG
Summer: WeChat Neural Machine Translation Systems for the WMT22 Biomedical Translation Task
Tencent Inc（腾讯公司）
本文介绍了微信参与WMT 2022共享的生物医学翻译任务中到英。我们的系统是基于Transformer，并使用几种不同的Transformer结构，以提高翻译质量。在我们的实验中，我们采用数据过滤，数据生成，几个变种的Transformer，微调和模型集成。我们的中文$\to$英文系统Summer在所有提交的作品中获得了最高的BLEU分数。
2022-11-28 cs.CL
Power Law Graph Transformer for Machine Translation and Representation Learning
Fromthesky Research Labs LLC（Fromthesky研究实验室有限责任公司）
我们提出了幂律图Transformer，一个Transformer模型，具有定义良好的演绎和归纳任务，用于预测和表示学习。演绎任务根据可学习的幂律分布参数学习数据集级别（全局）和实例级别（局部）图结构。归纳任务使用演绎任务输出来输出预测概率，类似于转换模型。我们用来自TED演讲稿的土耳其语-英语和葡萄牙语-英语数据集训练了我们的模型，用于机器翻译，并将模型的性能和特征与Transformer模型进行了比较，该模型具有在相同实验设置上训练的缩放点积注意力。我们报告BLEU分数的$17.79$和$28.33$的土耳其语-英语和葡萄牙语-英语翻译任务与我们的模型，分别。我们还展示了如何利用量化集和N维流形表示之间的对偶，使用连续应用线性和非线性变换端到端在局部和全局演绎归纳输出之间进行变换。
2021-06-27 cs.AI cs.CL cs.LG
Glancing Transformer for Non-Autoregressive Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
非自回归神经机器翻译（NAT）的最新研究工作旨在通过并行解码提高效率而不牺牲质量。然而，现有的NAT方法要么不如Transformer，要么需要多个解码通道，导致加速降低。我们提出了扫视语言模型（GLM），一种方法来学习单词的相互依赖性的单通道并行生成模型。借助GLM，我们开发了用于机器翻译的Glancing Transformer（GLAT）。仅使用单遍并行解码，GLAT能够以8-15倍的加速生成高质量的翻译。在多个WMT语言方向上的实验表明，GLAT优于所有以前的单通道非自回归方法，并且几乎与Transformer相当，将差距缩小到0.25-0.9 BLEU点。
2021-05-13 cs.CL
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT（麻省理工学院）
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers，同时保持了BLEU。然而，目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers，我们发现复杂的语义信息首先被降级。内部激活的分析表明，高层分歧最修剪的过程中，逐渐变得不那么复杂，比密集的同行。同时，稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加，注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
How Transformer Revitalizes Character-based Neural Machine Translation: An Investigation on Japanese-Vietnamese Translation Systems
University of Information and Communication Technology, TNU（太原大学信息与通信技术学院）；Institute of Anthropomatics and Robotics, KIT（卡尔斯鲁厄理工学院人类工程学与机器人研究所）；University of Engineering and Technology, VNU（越南国立大学工程技术大学）；School of Information Science, JAIST（北陆先端科学技术大学院大学信息科学学院）
在东亚语言之间的翻译中，许多作品都发现了以汉字为翻译单位的明显优势。遗憾的是，传统的递归神经机器翻译系统由于其架构上的限制，阻碍了这些基于字符的系统的实际使用。它们在处理极长的序列时是不利的，并且在并行计算中受到高度限制。在本文中，我们证明了新的Transformer架构可以执行基于字符的翻译比经常性的。我们在一个低资源的语言对上进行实验：日语-越南语。我们的模型大大优于采用基于单词的递归架构的最先进的系统。
2019-10-17 cs.CL
Better Sign Language Translation with STMC-Transformer
École Polytechnique（巴黎综合理工学院）；Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）；LIX, Ecole Polytechnique（巴黎综合理工学院计算机实验室）；Institut Polytechnique de Paris（巴黎理工学院）
手语翻译（Sign Language Translation，简称SLR）首先使用手语识别（SLR）系统从视频中提取手语注释。然后，翻译系统从手语注释生成口语翻译。本文重点介绍了翻译系统，并介绍了STMC-Transformer，该系统在PHOENIX-Weather 2014 T数据集的光泽到文本和视频到文本翻译方面分别比当前最先进的系统提高了5和7个BLEU。在ASLG-PC 12语料库上，我们报告增加了超过16个BLEU。我们还证明了目前的方法，依靠光泽监督的问题。STMC-Transformer的视频到文本翻译优于GT注释的翻译。这与之前的说法相矛盾，即GT注释翻译作为一个上限的翻译性能，并揭示了注释是一个低效的手语表示。因此，对于未来的手语研究，我们建议对识别和翻译模型进行端到端的训练，或者使用不同的手语注释方案。
2020-11-03 cs.CL cs.CV cs.HC
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言T5（mT5）在大量单语文本上预训练序列到序列模型，这在许多跨语言任务上显示出有希望的结果。在本文中，我们改进了多语言文本到文本传输Transformer与翻译对（mT6）。具体来说，我们探索了三个跨语言文本到文本的预训练任务，即，机器翻译，翻译对跨度腐败和翻译跨度腐败。此外，我们提出了一个部分非自回归目标的文本到文本的预训练。我们在八个多语言基准数据集上评估了这些方法，包括句子分类、命名实体识别、问答和抽象摘要。实验结果表明，建议mT6提高跨语言的可移植性mT5。
2021-09-13 cs.CL
Scalable Transformers for Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；SenseTime Research（商汤科技研究院）
Transformer由于其大容量和序列生成的并行训练而被广泛应用于神经机器翻译中。然而，Transformer的部署具有挑战性，因为不同的场景需要不同复杂性和规模的模型。单纯地训练多个Transformers在计算和内存方面都是冗余的。在本文中，我们提出了一种新的可伸缩的Transformers，它自然包含不同规模的子Transformers，并有共享的参数。通过裁剪最大Transformer的参数可以轻松获得每个子Transformer。针对可伸缩Transformers的训练困难，提出了一种三阶段训练方案，该方案引入了来自字级和序列级自升华的额外监督。在WMT EN-De和En-Fr上进行了大量的实验，以验证我们提出的可扩展Transformers。
2021-06-18 cs.CL
Transformer-based Cascaded Multimodal Speech Translation
Imperial College London（帝国理工学院）；University of Sheffield（谢菲尔德大学）
本文介绍了伦敦帝国理工学院为IWIT 2019评估活动开发的级联多模态语音翻译系统。该体系结构包括一个自动语音识别（ASR）系统，其次是基于transformer的多模态机器翻译（MMT）系统。虽然ASR组件在实验中是相同的，但MMT模型在整合视觉上下文的方式（简单条件反射与注意力）、所利用的视觉特征类型（池化、卷积、动作类别）和底层架构方面有所不同。对于后者，我们探讨了典型的Transformer和它的审议版本添加剂和级联变量，不同的是，他们如何整合文本的注意。通过大量的实验，我们发现：（1）所研究的视觉整合方案往往会损害Transformer和加法审议的翻译效果，但却能显著提高级联审议的翻译效果;（2）不一致分析表明，Transformer和级联审议对视觉模态的整合效果优于加法审议。
2019-11-08 cs.CL
Improving the Transformer Translation Model with Document-Level Context
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Sogou Inc.（搜狗公司）；Soochow University（苏州大学）
虽然Transformer转换模型（Vaswani等人，2017）在各种翻译任务中取得了最先进的表现，但如何利用文档级语境处理Transformer存在问题的话语现象仍然是一个挑战。在这项工作中，我们扩展了Transformer模型与一个新的上下文编码器来表示文档级的上下文，然后将其合并到原来的编码器和解码器。由于大规模的文档级平行语料库通常是不可用的，我们引入了两步训练方法，以充分利用丰富的文档级平行语料库和有限的文档级平行语料库。在NIST汉英数据集和IWALNET法英数据集上的实验表明，该方法比Transformer有明显的改进.
2018-10-08 cs.CL
Streaming Simultaneous Speech Translation with Augmented Memory Transformer
Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型在语音翻译任务上取得了最先进的性能。然而，该模型架构对于流场景不够有效，因为自注意力是在整个输入序列上计算的，并且计算成本随着输入序列的长度二次增长。然而，大多数关于同时语音翻译的先前工作，即从部分音频输入生成翻译的任务，在分析延迟时忽略了生成翻译所花费的时间。在这种假设下，系统可能具有良好的延迟质量权衡，但在实时场景中不适用。在本文中，我们重点关注流同步语音翻译的任务，其中系统不仅能够在部分输入的情况下进行翻译，而且还能够处理非常长或连续的输入。我们提出了一个端到端的变压器为基础的序列到序列模型，配备了一个增强内存的Transformer编码器，它已显示出巨大的成功，在流自动语音识别任务与混合或基于传感器的模型。我们进行实证评估的建议模型段，上下文和内存大小，我们比较我们的方法与单向掩码的Transformer。
2020-10-30 cs.CL
Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
与字面表达不同，习语的意义并不直接从其部件中推导出来，这给神经机器翻译（NMT）带来了挑战。NMT模型通常无法准确地翻译习语，并且过度生成合成的字面翻译。本文以英语为源语言，欧洲七种语言中的一种为目标语言，通过分析模式的隐藏状态和注意模式，探讨习语的非组合性是否反映在主导的NMT模型Transformer的机制中。当Transformer发出一个非字面翻译时--也就是说，将表达式标识为惯用的--与字面表达式相比，编码器更强烈地将惯用作为单个词汇单元处理。这主要表现在习语的各个部分通过注意力的作用而被组合在一起，习语与语境之间的互动减少。在解码器的交叉注意中，比喻性输入导致对源端令牌的注意力降低。这些结果表明，Transformer倾向于将成语作为组合表达进行处理，这有助于成语的字面翻译。
2022-05-30 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Residual Tree Aggregation of Layers for Neural Machine Translation
KingSoft AI Lab（金山人工智能实验室）；Massey University（梅西大学）
虽然基于注意力的神经机器翻译在最近几层取得了显著的进展，但它仍然存在未充分利用每层输出的问题。在Transformer中，它在后续的过程中只使用了编码器和解码器的顶层，这使得它无法利用其他层中的有用信息。为了解决这个问题，我们提出了一个残留的树聚合层的Transformer（RTAL），这有助于跨层融合信息。具体来说，我们试图通过构建后序二叉树来融合跨层的信息。除了最后一个节点之外，我们将剩余连接添加到生成子节点的过程中。我们的模型基于神经机器翻译模型Transformer，并在WMT 14英语到德语和WMT 17英语到法国的翻译任务上进行了实验。跨语言对的实验结果表明，该方法的性能明显优于强基线模型
2021-07-19 cs.CL cs.LG
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；China Mobile Online Services（中移在线服务有限公司）；Tianjin University（天津大学）
由于其有效性和性能，Transformer翻译模型引起了广泛的关注，最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止，单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息，而解码器层进行转换。在这项工作中，我们表明情况并非如此：翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是，我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法，我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化：如果翻译已经发生在编码器层中，也许我们可以增加编码器层的数量，同时减少解码器层的数量，提高解码速度，而不会损失翻译质量？我们的实验表明确实如此：我们可以将速度提高到2.3倍，而翻译质量略有提高，而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU（En-De）。
2021-04-20 cs.CL
American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
Institut Teknologi Sepuluh Nopember（十一月理工学院）
本研究针对手语转文本翻译任务，对比了Transformer与Seq2Seq模型的性能，还测试了添加ResidualLSTM的Transformer效果，发现纯Transformer表现优于Seq2Seq，添加ResidualLSTM反而降低性能。
2024-09-17 cs.CL
Effective General-Domain Data Inclusion for the Machine Translation Task by Vanilla Transformers
Saarland University（萨尔大学）
机器翻译史上的一个重要突破是Transformer模型的发展。它不仅对各种翻译任务具有革命性意义，而且对大多数其他NLP任务也具有革命性意义。在本文中，我们的目标是一个基于transformer的系统，能够翻译德语中的源句子到其对应的目标句子在英语中。我们对WMT'13数据集上的新闻评论德英平行句进行了实验。此外，我们还研究了在从IWELK '16数据集进行训练时包含额外的通用域数据以提高Transformer模型性能的效果。我们发现，在训练中包含IWIT16数据集有助于在WMT'13数据集的测试集上获得2个BLEU得分点。定性分析被引入到分析如何使用通用领域的数据有助于提高翻译句子的质量。
2022-09-28 cs.CL
Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese
University of Groningen（格罗宁根大学）
本研究提出了一个细粒度的人的评价比较Transformer和递归的方法神经机器翻译（MT），翻译方向上的英语到汉语。为此，我们开发了一个符合多维质量管理（MQM）框架的错误分类，该框架是定制的翻译方向的相关现象。然后，我们在WMT2019新闻测试集的一个子集上，使用这种自定义的错误分类法对最先进的基于递归和基于transformer的MT系统的输出进行错误注释。由此产生的注释表明，与最佳递归系统相比，最佳Transformer系统导致错误总数减少31%，并且在22个错误类别中的10个中产生的错误显著减少。我们还注意到，两个系统的评估不产生任何错误的一个类别，这是相关的翻译方向之前出现的NMT系统：中国的分类。
2020-06-15 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
University of Notre Dame（圣母大学）
神经序列到序列模型，特别是Transformer，是机器翻译的最新技术。然而，这些神经网络对架构和超参数设置非常敏感。通过网格或随机搜索优化这些设置在计算上是昂贵的，因为它需要许多训练运行。在本文中，我们通过自动调整将架构搜索纳入到单个训练运行中，该自动调整使用正则化在训练过程中删除网络中的神经元。在资源非常少的语言对上，我们发现自动调整大小可以将BLEU分数提高3.9分，同时从模型中删除三分之一的参数。
2019-10-01 cs.CL cs.LG stat.ML
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
Very Deep Transformers for Neural Machine Translation
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们探讨了神经机器翻译（NMT）的非常深的Transformer模型的应用。使用一种简单而有效的初始化技术来稳定训练，我们证明了构建标准的基于Transformer的模型是可行的，最多有60个编码器层和12个解码器层。这些深度模型比基线6层模型的性能高出2.5 BLEU，并在WMT 14英法（43.8 BLEU和46.4 BLEU，带回译）和WMT 14英德（30.1 BLEU）上实现了最先进的基准测试结果。代码和训练模型将在https://github.com/namisan/exdeep-nmt上公开。
2020-10-14 cs.CL
ODE-Based Transformer Decoders for Iterative Sign Language Translation
ASELSAN（阿塞尔桑（土耳其国防工业公司））；Hacettepe University（哈杰泰佩大学）
该研究将受常微分方程启发的高阶数值积分格式应用于迭代手语翻译，提出参数高效的解码器，在不增参数下提升性能，在两个基准上优于IPSLT基线。
2026-08-13 cs.CL cs.LG
Regularized Context Gates on Transformer for Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；National Institute of Information and Communications Technology（信息通信研究机构）
在基于递归神经网络（RNN）的神经机器翻译（NMT）中，上下文门可以有效地控制源上下文和目标上下文的贡献。然而，将它们扩展到高级Transformer架构中具有挑战性，该架构比RNN更复杂。本文首先提出了一种识别源上下文和目标上下文的方法，然后在Transformer中引入门机制来控制源上下文和目标上下文的贡献。此外，为了进一步减少门机制中的偏差问题，本文提出了一种正则化方法来指导门的学习，并使用逐点互信息自动生成监督。在4个翻译数据集上的大量实验表明，该模型在强Transformer基线上获得了1.0 BLEU得分的平均增益。
2020-04-20 cs.CL
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力，并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验，通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明，仅微调交叉注意参数几乎与微调所有参数一样有效（即，整个翻译模式）。我们提供的见解，为什么会出现这种情况，并观察到，以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘，zero-shot翻译的潜力，以及将机器翻译模型扩展到几种新语言对的能力，同时减少参数存储开销。
2021-09-14 cs.CL
Capsule-Transformer for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
Transformer从其多头自注意网络（SAN）的关键设计中受益匪浅，该网络通过将给定的输入转换到不同的子空间来从各种角度提取信息。然而，其简单的线性转换聚合策略仍然可能无法完全捕获更深层次的上下文信息。因此，在本文中，我们提出了胶囊变压器，它扩展了线性变换到一个更一般的胶囊路由算法，通过将SAN作为一个特殊的情况下胶囊网络。因此，所产生的胶囊变压器是能够获得一个更好的注意力分布表示的输入序列，通过不同的头部和单词之间的信息聚合。具体来说，我们看到SAN中的注意力权重组是低层胶囊。通过应用迭代胶囊路由算法，它们可以被进一步聚合成包含更深的上下文信息的高层胶囊。在广泛使用的机器翻译数据集上的实验结果表明，我们提出的胶囊-Transformer显著优于强Transformer基线。
2020-04-30 cs.CL
Syntactically Supervised Transformers for Faster Neural Machine Translation
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于神经机器翻译的标准解码器在每个时间步长自回归地生成单个目标令牌，这减慢了推理，特别是对于长输出。虽然诸如Transformer之类的架构进步在训练时完全并行化解码器计算，但推理仍按顺序进行。非自回归解码和半自回归解码自回归解码的最新发展在每个时间步独立于其他时间步产生多个令牌，这提高了推理速度，但降低了翻译质量。在这项工作中，我们提出了语法监督的Transformer（SynST），它首先自回归预测一个分块的解析树，然后生成所有的目标令牌在一个镜头的条件下预测的解析。一系列对照实验表明，SynST解码句子的速度比基线自回归Transformer快约5倍，同时在En-De和En-Fr数据集上获得比大多数竞争方法更高的BLEU分数。
2019-06-06 cs.CL
A U-Net and Transformer Pipeline for Multilingual Image Translation
Department of Machine Learning（机器学习系）；B.M.S. College of Engineering（B.M.S. 工程学院）
本文提出一个端到端多语言图像翻译流水线，集成定制U-Net检测文本、Tesseract识别及从零训练的Seq2Seq Transformer翻译，在5种语言上验证了定制系统的可行性与有效性。
2025-10-27 cs.CL cs.CV cs.LG
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.（eBay公司）；Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany（德国亚琛工业大学人类语言技术与模式识别小组）
基于神经网络的机器翻译（NMT）通常用于低资源设置，特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对，并且针对两个子任务训练单个系统。然而，这些模型在训练期间没有连接，并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中，我们提出了训练一个基于NMT系统的强化学习（RL）的方法，已被调查的各种文本生成任务，包括机器翻译（MT）。我们利用非自回归Transformer，并提出了一个端到端的基于自回归的集成模型，使源目标数据的训练。
2021-09-27 cs.CL
Extremely Low Bit Transformer Quantization for On-Device Neural Machine Translation
Samsung Research（三星研究院）
广泛使用的Transformer架构的部署是具有挑战性的，因为在推理期间的繁重计算负载和存储器开销，特别是当目标设备在计算资源方面受到限制时，例如移动或边缘设备。量化是应对这些挑战的有效技术。我们的分析表明，对于给定数量的量化位，每个块的Transformer有助于翻译质量和推理计算以不同的方式。此外，即使在一个嵌入块中，每个单词的贡献也大不相同。相应地，我们提出了一种混合精度量化策略，以通过极低数量的比特来表示Transformer权重（例如，低于3比特）。例如，对于嵌入块中的每个字，我们基于统计特性分配不同的量化比特。我们的量化Transformer模型实现了比基线模型小11.8 $\times$的模型大小，具有小于-0.5 BLEU。我们实现了8.3 $\times$减少运行时内存占用和3.5 $\times$加速（银河N10+），使我们提出的压缩策略，使设备上的NMT的有效实施。
2020-10-13 cs.CL cs.LG stat.ML
Recurrent multiple shared layers in Depth for Neural Machine Translation
KingSoft AI Lab（金山AI实验室）；University of Groningen（格罗宁根大学）
学习更深层次的模型通常是提高模型性能的一种简单有效的方法，但是更深层次的模型具有更大的模型参数，并且更难以训练。为了获得更深层次的模型，简单地堆叠更多的模型层似乎可以很好地工作，但以前的工作声称它不能使模型受益。我们提出用递归机制来训练更深的模型，该机制在深度方向上循环Transformer的编码器和解码器块。为了解决模型参数的增加，我们选择在不同的递归时刻共享参数。我们在WMT 16英语到德语和WMT 14英语到法语翻译任务上进行了实验，我们的模型比浅的Transformer-Base/Big基线高出0.35，1.45 BLEU点，是Transformer-Big模型参数的27.23%。与深度Transformer（20层编码器，6层解码器）相比，我们的模型具有相似的模型性能和推理速度，但我们的模型参数是前者的54.72%。
2021-08-26 cs.CL cs.LG
Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
引入因子，也就是说，诸如涉及源标记的语言信息的词特征，已知在某些设置中（通常在递归架构中）改进神经机器翻译系统的结果。这项研究提出了增强当前最先进的神经机器翻译架构，Transformer，以便它允许引入外部知识。特别是，我们提出的修改，因子化的Transformer，使用语言因素，插入额外的知识到机器翻译系统。除了使用不同类型的功能，我们研究了不同的建筑配置的效果。具体来说，我们分析了在嵌入级别或在编码器级别结合单词和特征的性能，并尝试了两种不同的组合策略。使用最好的配置，我们在IWITOS德语到英语的任务中显示出比基线Transformer提高了0.8 BLEU。此外，我们还尝试了更具挑战性的FLoRes英语到尼泊尔语基准，其中包括极低资源和非常遥远的语言，并获得了1.2 BLEU的改进。
2020-12-24 cs.CL
