Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Learning Policies for Multilingual Training of Neural Machine Translation Systems
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
低资源多语言神经机器翻译（MNMT）通常的任务是在高资源语言对的帮助下提高一个或多个语言对的翻译性能。在本文中，我们提出了两个简单的搜索为基础的课程-排序的多语种训练数据-这有助于提高翻译性能与现有的技术，如微调。此外，我们试图从头开始学习MNMT课程，并在上下文多臂强盗的帮助下训练翻译系统。我们在FLORES低资源翻译数据集上表明，这些学习课程可以为微调提供更好的起点，并提高翻译系统的整体性能。
2021-03-11 cs.CL
Massively Multilingual Neural Machine Translation
Bar Ilan University（巴伊兰大学）；Google AI（谷歌人工智能）
多语言神经机器翻译（NMT）能够训练支持从多个源语言翻译成多个目标语言的单个模型。在本文中，我们推动了多语言NMT在使用的语言数量方面的限制。我们在训练大规模多语言NMT模型方面进行了广泛的实验，在单个模型中将多达102种语言翻译为英语。我们探索了训练这些模型的不同设置，并分析了翻译质量和各种建模决策之间的权衡。我们在公开的TED演讲多语言语料库上报告了结果，我们在其中表明，大规模多语言多对多模型在低资源环境中是有效的，在支持多达59种语言的同时，性能优于以前的最先进技术。我们在一个大规模数据集上进行的实验，该数据集包含102种语言和英语之间的语言，每个方向多达100万个示例，也显示出了令人鼓舞的结果，超过了强大的双语基线，并鼓励未来在大规模多语言NMT方面的工作。
2019-07-02 cs.CL
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University（查尔斯大学）
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明，使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明，字符级双语模型是非常相似的语言对（加泰罗尼亚语-欧西坦语）的竞争力，但更遥远的对。我们还描述了我们的多任务学习实验，除了文本翻译外，模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Can Multilinguality benefit Non-autoregressive Machine Translation?
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
非自回归（NAR）机器翻译最近取得了显着的改进，现在在一些基准测试中优于自回归（AR）模型，为AR推理提供了一种有效的替代方案。然而，虽然AR翻译通常使用受益于语言之间的转换和提高服务效率的多语言模型来实现，但多语言NAR模型仍然相对未被探索。本文以联结主义时间分类（CTC）为例，以Imputer为半NAR模型，对多语言NAR进行了全面的实证研究。我们测试了它在相关语言之间的正迁移和容量限制下的负迁移能力。由于NAR模型需要经过提炼的训练集，我们仔细研究了双语教师与多语种教师的影响。最后，我们适合多语言NAR的缩放定律，随着模型规模的增加，量化其相对于AR模型的性能。
2021-12-16 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了我们的第一次尝试，在建立一个统一的方法下的多语言神经机器翻译框架。然后，我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理，它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性，并有了高达2.6个BLEU点的显著改进。此外，该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
Multilingual Neural Machine Translation with Task-Specific Attention
IBM Research AI（IBM研究院人工智能部门）
多语言机器翻译解决了在多个源语言和目标语言之间进行翻译的任务。我们提出了特定任务的注意力模型，这是一种简单但有效的技术，可以提高序列到序列的神经多语言翻译的质量。我们的方法旨在尽可能多地保留NMT模型的参数共享泛化，同时仍然允许将注意力模型针对特定语言对或任务进行语言特定的专业化。我们对四种语言的Europarl语料库的实验表明，使用特定于目标的注意力模型提供一致的收益，在翻译质量的所有可能的翻译方向，相比，所有参数共享的模型。我们观察到改进的翻译质量，即使在（极端）低资源的zero-shot翻译方向的模型从来没有看到明确配对的并行数据。
2018-06-08 cs.CL
Multilingual Neural Machine Translation with Knowledge Distillation
Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）；Peking University（北京大学）
多语种机器翻译是一种用单一模型翻译多种语言的翻译技术，由于其离线训练和在线服务的高效性而备受关注。然而，由于语言多样性和模型容量的限制，传统的多语言翻译通常会产生较低的准确性，与使用每个语言对的单独模型的对应物相比。在本文中，我们提出了一种基于蒸馏的方法来提高多语言机器翻译的准确性。具体而言，首先训练个体模型并将其视为教师，然后通过知识蒸馏训练多语言模型以同时拟合训练数据并匹配个体模型的输出。在IWITOWN、WMT和Ted talk翻译数据集上的实验证明了该方法的有效性。特别是，我们证明了一个模型足以处理多种语言（在我们的实验中多达44种语言），其准确性与单个模型相当甚至更好。
2019-04-30 cs.CL
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University（天津大学）
在跨所有语言完全共享参数的多语言神经机器翻译模型中，通常使用人工语言令牌来引导翻译成期望的目标语言。然而，最近的研究表明，前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向，特别是在zero-shot翻译中。为了缓解这个问题，我们提出了两种方法，语言嵌入体现和语言感知的多头注意力，学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点，目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部，以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明，语言感知的多头注意力对监督翻译和zero-shot翻译都有好处，并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明，通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
A Study of Multilingual Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
多语言神经机器翻译（NMT）最近已经从不同方面进行了研究（例如，枢轴平移、zero-shot平移、微调或从头开始训练）和在不同的设置中（例如，富资源和低资源、一对多和多对一翻译）。本文对多语种NMT进行了深入的理解，并对一个包含20多种语言的多语种数据集进行了全面的研究。我们的研究结果表明：（1）低资源语言对从多语言训练中受益匪浅，而资源丰富的语言对在有限的模型容量下可能会受到伤害，并且使用相似语言的训练比不相似语言的训练受益更多;（2）在一对多设置中，微调比从头开始训练表现得更好，而在多对一设置中，从头开始训练表现得更好;（3）编码器的底层和解码器的顶层捕获更多的语言特定信息，并且仅仅微调这些部分就可以实现低资源语言对的良好准确性;（4）当源语言与目标语言相似时（例如，在相同的语言分支中），即使直接训练数据的大小小得多;（5）给定固定的训练数据预算，最好将更多的语言引入到多语言训练中以进行zero-shot翻译。
2019-12-25 cs.CL
University of Cape Town's WMT22 System: Multilingual Machine Translation for Southern African Languages
University of Cape Town（开普敦大学）
本文介绍了开普敦大学提交的WMT 22共享任务的约束轨道：大规模机器翻译评估非洲语言。我们的系统是一个单一的多语言翻译模型，可以在英语和8种南部/东南非洲语言之间以及特定的非洲语言对之间进行翻译。我们使用了几种适用于低资源机器翻译（MT）的技术，包括重叠BPE、反向翻译、合成训练数据生成以及在训练期间添加更多翻译方向。我们的研究结果显示了这些技术的价值，特别是在很少或没有双语训练数据的方向。
2022-10-21 cs.CL
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research（谷歌研究院）
最近提出的大规模多语言神经机器翻译（NMT）系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中，我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性，这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT（mBERT）进行比较，并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
提出两阶段方法EcXTra，通过多语言微调与反向翻译训练单一NMT模型，实现未见语言与英语间的双向无监督翻译，在7种低资源语言上取得竞争性表现并刷新英译哈萨克语纪录。
2023-04-03 cs.CL
Breaking Down Multilingual Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；The University of Tokyo（东京大学）
虽然多语言训练现在是机器翻译（MT）系统中的一个重要组成部分，但最近的工作表明，它在不同的多语言环境中具有不同的效果，例如多对一，一对多和多对多学习。这些训练设置将编码器和解码器暴露在具有不同数据分布的机器翻译模型中。在本文中，我们研究了不同种类的多语言训练如何有助于学习MT模型的这两个组成部分。具体来说，我们将双语模型与通过多语言训练初始化的编码器和/或解码器进行比较。我们表明，多语言训练一般有利于编码器，而它只有利于低资源语言（LRL）的解码器。我们进一步发现每个语言对的重要注意力，并在推理过程中比较它们的相关性。我们的分析揭示了多语言翻译模型的工作原理，并使我们能够提出通过使用高度相关的语言进行训练来提高性能的方法。我们针对高资源语言的多对一模型和针对LRL的一对多模型优于Aharoni等人（2019）报告的最佳结果。
2022-04-03 cs.CL
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations
University of Edinburgh（爱丁堡大学）
来自语言类型学数据库的稀疏语言向量和来自多语言机器翻译等任务的学习嵌入已经被孤立地研究，而没有分析它们如何从彼此的语言特征中受益。我们建议使用奇异向量典型相关分析来融合这两种观点，并研究从每个来源诱导出什么样的信息。通过推断类型学特征和语言同源性，我们观察到我们的表征嵌入类型学，并加强与语言关系的相关性。然后，我们利用我们的多视图语言向量空间进行多语言机器翻译，在需要语言相似性信息的任务中，我们实现了具有竞争力的整体翻译准确性，例如语言聚类和多语言转换的候选人排名。使用我们的方法，这也是作为一种工具发布的，我们可以很容易地项目和评估新的语言，而无需昂贵的大量多语言或排名模型的重新训练，这是相关方法的主要缺点。
2020-10-25 cs.CL
Tencent's Multilingual Machine Translation System for WMT22 Large-Scale African Languages
Tencent AI Lab（腾讯人工智能实验室）
本文介绍了腾讯为WMT 22非洲语言大规模机器翻译评估共享任务开发的多语种机器翻译系统。我们参加了$\mathbf{constrained}$翻译跟踪，其中只允许组织者提供的数据和预训练模型。该任务是具有挑战性的，由于三个问题，包括缺乏训练数据的一些待评估的语言对，数据不平衡导致的语言对的不均匀优化，和多语言的诅咒。为了解决这些问题，我们采用数据增强，分布鲁棒优化，和语言族分组，分别开发我们的多语言神经机器翻译（MNMT）模型。我们提交的作品在盲测集的自动评估指标方面赢得了$\mathbf{1st\ place}$。代码、模型和详细的竞赛结果可在https://github.com/wxjiao/WMT2022-Large-Scale-African上获得。
2022-10-18 cs.CL
Using Machine Translation to Augment Multilingual Classification
GumGum（GumGum公司）
本文研究利用机器翻译生成跨语言标注数据以微调多语言分类器，并引入源自图像字幕领域的损失技术缓解翻译数据负面影响，实验证明其可带来性能提升。
2024-05-09 cs.CL
A neural interlingua for multilingual machine translation
Amazon Inc.（亚马逊公司）
我们将一个显式的神经中间语言的多语言编码器-解码器神经机器翻译（NMT）架构。我们证明，我们的模型通过执行直接零镜头翻译（zero-shot translation）（不使用枢轴翻译）以及使用源句子嵌入来创建英语Yelp评论分类器来学习独立于语言的表示，该分类器通过神经中介语，也可以对法语和德语评论进行分类。此外，我们表明，尽管使用的参数数量比双语NMT模型的成对集合少，但我们的方法在WMT 15中为每个语言对产生了可比的BLEU分数。
2018-10-16 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University（大阪大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
本文针对纯注意神经机器翻译（NMT）模型，提出了两种新的领域自适应方法，Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调，这是已知的是非常有效的领域自适应的黑箱方法相结合。此外，我们将多语言纳入领域自适应框架。实验表明，多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译，并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）；Facebook AI（脸书人工智能）；Naver Labs Europe（Naver欧洲实验室）
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数，并在层之间注入轻量级模块，从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时，本文提出了多语言语音翻译（ST）适配器的全面分析。从不同的预训练模型开始（在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART（mBART）），我们表明适配器可用于：（a）以参数方面的低额外成本将ST有效地专门化为特定语言对，以及（b）从自动语音识别（ASR）任务和mBART预训练模型转换为多语言ST任务。实验表明，适配器调整提供了与完全微调相竞争的结果，同时参数效率更高。
2021-07-12 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
Learning Language Specific Sub-network for Multilingual Machine Translation
ByteDance AI Lab（字节跳动人工智能实验室）
多语言神经机器翻译旨在学习多种语言的单一翻译模型。这些联合训练的模型通常会在资源丰富的语言对上性能下降。我们把这种退化归因于参数干扰。在本文中，我们提出了LaSS联合训练一个统一的多语言MT模型。LaSS为每个语言对学习语言特定子网络（LaSS）以对抗参数干扰。在具有各种Transformer架构的IWSTs和WMT数据集上的综合实验表明，LaSS在36种语言对上获得了高达1.2 BLEU的增益。此外，LaSS在易于扩展到新的语言对和zero-shot翻译方面表现出了很强的泛化性能，LaSS在30个语言对上的平均BLEU为8.3，提高了zero-shot翻译。代码和训练模型可在https://github.com/NLP-Playground/LaSS上获得。
2021-07-23 cs.CL
Controlling Translation Formality Using Pre-trained Multilingual Language Models
University of Maryland（马里兰大学）
本文介绍了马里兰大学提交给\iwslt的口语翻译形式控制特别任务，该任务评估了从英语到6种语言的翻译，这些语言具有不同的语法形式标记。我们调查在何种程度上可以解决这个问题的\textit{single multilingual model}，同时控制其输出的目标语言和正式。实验结果表明，该策略可以达到专用翻译模型所能达到的翻译质量和形式控制的效果。然而，底层预训练语言模型和微调样本的性质极大地影响结果。
2022-05-13 cs.CL
Can Domains Be Transferred Across Languages in Multi-Domain Multilingual Neural Machine Translation?
Monash University（莫纳什大学）；eBay Inc.（易贝公司）
以前的工作主要集中在神经机器翻译（NMT）的多语言或多领域方面。本文研究了多领域多语言NMT组合中领域信息能否跨语言传递的问题，特别是在某些语言对缺少领域内双文本的不完全数据情况下。我们在策展的leave-one-domain-out实验中的结果表明，多域多语言（MDML）NMT可以将zero-shot翻译性能提高到BLEU的+10增益，并有助于将多域NMT推广到缺失的域。我们还探索了有效整合多语言和多领域NMT的策略，包括语言和领域标签组合以及辅助任务训练。我们发现，学习领域感知表示和添加目标语言标签的编码器导致有效的MDML-NMT。
2022-10-20 cs.CL
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型，提高了翻译质量，超过了双语基线。然而，这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明，双语翻译使用深度编码器和浅层解码器（DESD）可以减少推理延迟，同时保持翻译质量，因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现，对于多对一的翻译，我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度，但对于一对多的翻译，浅解码器会导致明显的质量下降。为了改善这种下降，我们提出了一个深编码器与多个浅解码器（DEMSD），其中每个浅解码器负责目标语言的不相交子集。具体而言，与标准Transformer模型相比，具有2层解码器的DEMSD模型能够获得平均1.8倍的加速，而不会降低翻译质量。
2022-06-05 cs.CL
Synergy with Translation Artifacts for Training and Inference in Multilingual Tasks
KAIST（韩国科学技术院）
翻译在提高多语言任务的性能方面发挥了至关重要的作用：（1）从源语言数据生成目标语言数据用于训练，以及（2）从目标语言数据生成源语言数据用于推理。然而，以前的作品没有考虑同时使用这两种翻译。本文表明，将它们结合起来可以协同各种多语言句子分类任务的结果。实证研究发现，译者风格化的翻译产物是影响翻译效果的主要因素。基于此分析，我们采用了两种训练方法，SupCon和MixUp，考虑翻译工件。此外，我们提出了一个跨语言微调算法称为MUSC，它使用SupCon和MixUp联合，提高了性能。我们的代码可在https://github.com/jongwooko/MUSC上获得。
2022-10-18 cs.CL
Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task
Microsoft Corporation（微软公司）
本报告介绍了微软的机器翻译系统，用于WMT 21大规模多语言机器翻译共享任务。我们参加了所有三个评估轨道，包括大轨道和两个小轨道，其中前一个是不受约束的，后两个是完全受约束的。我们向共享任务提交的模型使用DeltaLM \footnote{\url{https://aka.ms/deltalm}}初始化，这是一种通用的预训练多语言编码器-解码器模型，并根据跟踪设置使用大量收集的并行数据和允许的数据源进行相应的微调，同时应用渐进学习和迭代反向翻译方法来进一步提高性能。我们最终提交的作品在自动评估指标方面在三个轨道上排名第一。
2021-11-03 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University（首尔大学）；Microsoft Research Asia（微软亚洲研究院）
针对多语言机器翻译中的性别偏见，提出目标语言无关的性别感知对比学习（GACL），通过微调预训练模型提升性别准确性且不损害翻译性能，并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models
Baidu Inc.（百度公司）
本文提出跨语言一致性正则化XConST，通过改进微调提示策略，提升大型语言模型在多对多多语言翻译中的零样本翻译性能。
2024-02-07 cs.CL
Life-long Learning for Multilingual Neural Machine Translation with Knowledge Distillation
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Fanyu AI Research, Beijing Fanyu Technology Ltd.（北京凡语科技有限公司凡语人工智能研究院）
多语言神经机器翻译（MNMT）的一个常见场景是每个翻译任务以顺序的方式到达，并且先前任务的训练数据不可用。在这种情况下，目前的方法严重遭受灾难性遗忘（CF）。为了缓解CF，我们研究了基于知识蒸馏的终身学习方法。具体而言，在一个tomany场景中，我们提出了一种多语言蒸馏方法，使新模型（学生）共同学习旧模型（教师）和新任务的多语言输出。在多对一的情况下，我们发现直接蒸馏面临极端的部分蒸馏问题，我们提出了两种不同的方法来解决它：伪输入蒸馏和反向教师蒸馏。在12个翻译任务上的实验结果表明，该方法能更好地巩固已有知识，并能显著地降低错误率。
2022-12-06 cs.CL
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（卓越人类语言技术中心）
本文通过内在维度和IsoScore分析双语与多语言翻译模型的表征几何差异，发现多语言解码器表征各向同性更低且占用维度更少，其各向异性源于建模特定语言信息，进而限制了表征容量。
2024-03-26 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
为了提高神经机器翻译（NMT）在低资源语言（LRL）上的性能，一个有效的策略是利用相关高资源语言（HRL）的并行数据。然而，已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中，我们的目标是提高多语言传输的NMT模型，翻译\emph{into}的LRL的有效性，通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE}，我们提出Decompression，一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明，Deconstruct在从英语翻译到四种不同语言时，可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；ByteDance Research（字节跳动研究院）；Damo Academy, Alibaba（阿里巴巴达摩院）
本文提出M-DAT方法，利用无需知识蒸馏的有向无环Transformer实现高效多语言非自回归机器翻译，并通过枢轴回译提升对未见翻译方向的泛化能力，取得最先进性能。
2025-02-06 cs.CL
Competence-based Curriculum Learning for Multilingual Machine Translation
Peking University（北京大学）；Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯公司微信人工智能模式识别中心）
目前，多语言机器翻译正受到越来越多的关注，因为它为低资源语言（LRL）带来了更好的性能，并节省了更多的空间。然而，现有的多语种机器翻译模型面临着一个严峻的挑战：不平衡。因此，不同语言在多语言翻译模型中的翻译性能差异很大。我们认为，这种不平衡的问题源于不同的语言学习能力的不同。因此，我们着眼于平衡不同语言的学习能力，提出了基于能力的多语种机器翻译课程学习，命名为CCL-M。具体来说，我们首先定义了两种能力来帮助安排高资源语言（HRL）和低资源语言：1）自我评估能力，评估语言本身的学习情况; 2）HRL评估能力，根据HRL的自我评估能力评估LRL是否准备好学习。基于上述能力，我们利用所提出的CCL-M算法，以课程学习的方式逐渐将新的语言添加到训练集中。此外，我们提出了一种新的竞争力的动态平衡抽样策略，更好地选择训练样本的多语言训练。实验结果表明，我们的方法已经取得了稳定和显着的性能增益相比，以前的国家的最先进的方法在TED会谈数据集。
2021-09-09 cs.CL
Multilingual Unsupervised Neural Machine Translation with Denoising Adapters
University of Groningen（格罗宁根大学）；NAVER LABS Europe（NAVER LABS 欧洲）
我们考虑的问题，多语言无监督机器翻译，翻译和语言，只有单语数据使用辅助并行语言对。对于这个问题，到目前为止，利用单语数据的标准过程是反向翻译，这是计算成本高，难以调整。在本文中，我们建议在预训练的mBART-50之上使用去噪适配器，具有去噪目标的适配器层。除了这种方法的模块化和灵活性之外，我们还证明了所产生的翻译与BLEU测量的反向翻译相当，而且它允许增量地添加看不见的语言。
2021-10-20 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town（开普敦大学）
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响，发现子词正则化促进多语言建模协同，BPE更利于跨语言微调，并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
Multilingual Transfer Learning for QA Using Translation as Data Augmentation
IBM Research AI Thomas J. Watson Research Center（IBM研究AI托马斯·J·沃森研究中心）
之前关于多语言问答的工作主要集中在使用大型多语言预训练语言模型（LM）来执行zero-shot语言学习：训练英语QA模型并测试其他语言。在这项工作中，我们探索的策略，提高跨语言迁移，使多语言嵌入更接近的语义空间。我们的第一个策略是用机器翻译生成的数据来增强原始的英语训练数据。这导致多语言银标记QA对的语料库比原始训练集大14倍。此外，我们提出了两种新的策略，语言对抗训练和语言仲裁框架，显着提高（零资源）跨语言迁移的性能，并导致LM嵌入的语言变量较少。从经验上讲，我们表明，所提出的模型优于以前的zero-shot基线上最近推出的多语言MLQA和TyDiQA数据集。
2020-12-10 cs.CL
Paraphrases as Foreign Languages in Multilingual Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
释义是对同一语义的改写，有助于提高概括能力和翻译水平。然而，以前的作品只探讨释义在词或短语的水平，而不是在句子或语料库的水平。与以往只在单词或短语层面上探索释义的工作不同，我们在语料库层面上使用结构一致的整个训练数据的不同翻译作为释义。我们训练平行释义在多种语言从各种来源。我们将释义视为外语，用释义标签标记源句子，并以多语言神经机器翻译（NMT）的风格对平行释义进行训练。我们的多释义NMT仅在两种语言上训练，优于多语言基线。增加释义可以提高生僻词的翻译，增加词汇选择的熵和多样性。添加源释义比添加目标释义更能提高性能。将源和目标释义结合起来可以进一步提高性能;将释义与多语言数据结合起来会有所帮助，但性能参差不齐。我们使用24个语料库级别的圣经释义，实现了法语到英语翻译的BLEU得分为57.2，优于多语言基线，比单源单目标NMT基线高出+34.7。
2021-10-01 cs.CL
Multilingual Neural Machine Translation for Zero-Resource Languages
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
近年来，神经机器翻译（NMT）已被证明比基于短语的统计方法更有效，从而迅速成为机器翻译（MT）的最新技术。然而，NMT系统在翻译低资源语言方面受到限制，因为需要大量的并行数据来学习语言之间的有用映射。在这项工作中，我们展示了所谓的多语言NMT如何帮助解决与低资源语言翻译相关的挑战。多语言NMT的基本原理是在跨多种语言的共享语义空间中强制创建隐藏的单词表示，从而实现跨语言的正参数传输。沿着这个方向，我们提出了多语种翻译实验，三种语言（英语，意大利语，罗马尼亚语），涵盖六个翻译方向，利用循环神经网络和Transformer（或自我关注）神经网络。然后，我们专注于zero-shot翻译问题，即如何利用多语言数据来学习可用培训材料未涵盖的翻译方向。为此，我们引入了我们最近提出的迭代自训练方法，该方法仅依赖于单语数据，在zero-shot方向上逐步改进多语言NMT。我们对TED演讲数据的研究结果表明，多语言NMT优于传统的双语NMT，Transformer NMT优于递归NMT，zero-shot NMT优于传统的旋转方法，甚至与经过充分训练的双语系统的性能相匹配。
2019-09-16 cs.CL
From Bilingual to Multilingual Neural Machine Translation by Incremental Training
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多语言神经机器翻译方法基于特定任务模型的使用，并且只能通过重新训练整个系统来添加一种语言。在这项工作中，我们提出了一个新的训练计划，允许系统扩展到更多的语言，而无需修改以前的组件的基础上联合训练和语言独立的编码器/解码器模块，允许zero-shot翻译。这项正在进行的工作显示出与WMT任务最先进水平接近的结果。
2019-07-11 cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
A Brief Survey of Multilingual Neural Machine Translation
NICT（日本信息通信研究机构）；Institute for Datability Science（数据可及性科学研究所）；Osaka University（大阪大学）；Microsoft AI & Research（微软人工智能研究院）
我们提出了一个调查多语言神经机器翻译（MNMT），这在最近几年获得了很大的牵引力。MNMT作为知识转移的结果，在提高翻译质量方面是有用的。MNMT比它的统计机器翻译同行更有前途和有趣，因为端到端建模和分布式表示开辟了新的途径。为了提高翻译质量，人们提出了许多方法来利用多语言平行语料库。然而，由于缺乏全面的调查，难以确定哪些方法是有希望的，因此值得进一步探讨。在本文中，我们提出了一个深入的调查现有的文献MNMT。我们根据资源场景以及底层建模原则对各种方法进行了分类。我们希望本文将作为一个起点，研究人员和工程师有兴趣在MNMT。
2020-01-04 cs.CL
Efficient Inference for Multilingual Neural Machine Translation
NAVER LABS Europe（NAVER LABS 欧洲）；NAVER Corp.（NAVER 公司）
多语言NMT已经成为生产中MT部署的一个有吸引力的解决方案。但为了达到双语质量，它的代价是更大更慢的模型。在这项工作中，我们考虑了几种方法，使多语言NMT更快的推理，而不会降低其质量。我们在两个20种语言的多并行设置中实验了几种“轻解码器”架构：小规模的TED演讲和大规模的ParaCrawl。我们的实验表明，将浅层解码器与词汇过滤相结合，可以在不损失翻译质量的情况下，使推理速度提高两倍以上。我们用BLEU和chrF（380个语言对），鲁棒性评估和人类评估来验证我们的发现。
2021-11-08 cs.CL
Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；IXA NLP Group（IXA自然语言处理组）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
我们提出了一个模块化的体系结构的语言特定的编码器-解码器，构成一个多语言的机器翻译系统，可以逐步扩展到新的语言，而不需要重新训练现有的系统时，添加新的语言。从以前的作品，我们同时训练$N$语言的所有翻译方向交替冻结编码器或解码器模块，这间接迫使系统训练在一个共同的中间表示所有的语言。多语言机器翻译的实验结果表明，我们可以成功地训练这个模块化的架构，提高了初始语言，而略有落后时，添加新的语言或做zero-shot翻译。另外，在自然语言推理任务中对句子表征质量的比较表明，交替冻结训练也有利于这一方向。
2020-05-29 cs.CL
Impact of Domain-Adapted Multilingual Neural Machine Translation in the Medical Domain
University of Vienna（维也纳大学）
多语言神经机器翻译（MNMT）模型在训练期间利用许多语言对，通过从高资源语言转移知识来提高低资源语言的翻译质量。我们研究的质量域适应MNMT模型在医疗领域的英语，罗马尼亚语与自动度量和人为错误类型学注释，其中包括特定术语的错误类别。我们比较了域外MNMT与域内自适应MNMT。域内MNMT模型在所有测量的自动度量中优于域外MNMT，并且产生更少的术语错误。
2022-12-05 cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Telefónica I+D（西班牙电信研发部）
目前的端到端口语翻译（Spoken Language Translation，缩写为多语）方法依赖于有限的培训资源，尤其是在多语言环境中。另一方面，多语言神经机器翻译（MultiNMT）方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上，特定语言的编码器-解码器的任务，多语种翻译（多语种翻译）。我们的方法完全消除了对MultiNMT数据的依赖性，并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明，将语音编码器耦合到MultiNMT架构，与双语基线（$\pm 0.2$ BLEU）相比，可以产生类似质量的翻译，同时有效地允许zero-shot Multiplexer。此外，我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进，在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Language-Informed Beam Search Decoding for Multilingual Machine Translation
Meta AI；Oregon State University（俄勒冈州立大学）
针对多语言NMT模型束搜索解码易产生偏离目标翻译的问题，提出与模型无关、无需额外平行数据的语言感知束搜索算法LiBS，有效提升翻译质量并大幅降低偏离目标率。
2024-08-11 cs.CL
Unifying the Convergences in Multilingual Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）
尽管多语言神经机器翻译（多语NMT）的多模型化已经取得了显著的进展，但联合训练中的收敛不一致性被忽视，即，不同的语言对在不同的时代达到趋同。这导致训练好的MNMT模型过度拟合低资源语言翻译，而不拟合高资源翻译。在本文中，我们提出了一种新的训练策略LSSD（特定于语言的自蒸馏），它可以减轻收敛不一致性，并帮助MNMT模型同时在每个语言对上实现最佳性能。具体来说，LSSD为每个语言对挑选特定于语言的最佳检查点，以动态地教授当前模型。此外，我们系统地探讨了三个样本级的知识转移操作。在三个数据集上的实验结果表明，LSSD对所有语言对都取得了一致的改进，达到了最先进的水平。
2022-10-19 cs.CL
Multilingual k-Nearest-Neighbor Machine Translation
University of Amsterdam（阿姆斯特丹大学）
本文提出将多种语言表示组合到单一数据存储中，解决k近邻机器翻译在低资源语言上的局限，不仅提升了低资源翻译质量，还通过利用语言相似性缩小数据存储规模并大幅提高速度。
2023-10-23 cs.CL
Multilingual Neural Machine Translation With Soft Decoupled Encoding
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）；Monash University（莫纳什大学）
神经机器翻译（NMT）系统的多语言训练已经在低资源语言上取得了令人印象深刻的准确性改进。然而，在数据匮乏的情况下，有效地学习单词表示仍然存在重大挑战。在本文中，我们提出了软解耦编码（Soft Decoupled Encoding，缩写为DCN），这是一种多语言词典编码框架，专门设计用于智能地共享词典级信息，而不需要启发式预处理，如预分割数据。它通过字符编码来表示单词的拼写，并通过所有语言共享的潜在嵌入空间来表示其语义。在四种低资源语言的标准数据集上进行的实验显示，与强大的多语言NMT基线相比，性能得到了一致的改善，其中一种测试语言的增益高达2 BLEU，在所有四种语言对上都达到了最新的水平。
2019-02-09 cs.CL
Automatic Discrimination of Human and Neural Machine Translation in Multilingual Scenarios
Bernoulli Institute（伯努利研究所）；University of Groningen（格罗宁根大学）；CLCG（语言与认知中心）
本文研究多语言场景下人类与机器翻译的自动判别，证明源文本融入多语言分类器可提升准确率与跨系统鲁棒性，多源语言训练数据和更长文本序列训练均能进一步改善分类性能。
2023-05-31 cs.CL
It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT
Computer Science Department, Bar Ilan University（巴伊兰大学计算机科学系）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
最近的工作表明，多语言BERT（mBERT）学习丰富的跨语言表示，允许跨语言的传输。我们研究了嵌入在mBERT中的单词级翻译信息，并提出了两种简单的方法，这些方法无需微调即可显示出色的翻译功能。结果表明，这些信息中的大部分是以非线性方式编码的，而其中一些信息也可以用纯线性工具恢复。作为我们分析的一部分，我们测试的假设，mBERT学习表示，其中包含一个语言编码组件和一个抽象的，跨语言的组件，并明确确定一个经验的语言身份子空间内mBERT表示。
2020-10-16 cs.CL
An Empirical Study on the Robustness of Massively Multilingual Neural Machine Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本研究针对印尼语-汉语翻译的鲁棒性展开实证研究，构建了对应评估基准数据集，借助不同规模NLLB-200模型测试并结合自动与人工评估，揭示了噪声与错误的关联及评估指标的关系，公开了数据集。
2024-05-13 cs.CL
