Massively Multilingual Neural Machine Translation
Bar Ilan University(巴伊兰大学);Google AI(谷歌人工智能)
多语言神经机器翻译(NMT)能够训练支持从多个源语言翻译成多个目标语言的单个模型。在本文中,我们推动了多语言NMT在使用的语言数量方面的限制。我们在训练大规模多语言NMT模型方面进行了广泛的实验,在单个模型中将多达102种语言翻译为英语。我们探索了训练这些模型的不同设置,并分析了翻译质量和各种建模决策之间的权衡。我们在公开的TED演讲多语言语料库上报告了结果,我们在其中表明,大规模多语言多对多模型在低资源环境中是有效的,在支持多达59种语言的同时,性能优于以前的最先进技术。我们在一个大规模数据集上进行的实验,该数据集包含102种语言和英语之间的语言,每个方向多达100万个示例,也显示出了令人鼓舞的结果,超过了强大的双语基线,并鼓励未来在大规模多语言NMT方面的工作。
2019-07-02 cs.CL
Self-Paced Learning for Neural Machine Translation
University of Macau(澳门大学);Alibaba Group(阿里巴巴集团);DAMO Academy(达摩院)
最近的研究已经证明,神经机器翻译(NMT)的训练可以通过模仿人类的学习过程来促进。然而,这类课程学习的成就依赖于人工制定的时间表的质量,这些时间表具有手工制作的特征,例如句子长度或单词稀有度。我们通过提出自定进度学习,以更灵活的方式改进了该过程,其中NMT模型允许1)自动量化训练样本的学习置信度; 2)通过调节每个迭代步骤中的损失来灵活地管理其学习。多个翻译任务的实验结果表明,该模型产生更好的性能比强基线和那些模型训练与人类设计的课程的翻译质量和收敛速度。
2020-10-13 cs.CL cs.LG
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
为了提高神经机器翻译(NMT)在低资源语言(LRL)上的性能,一个有效的策略是利用相关高资源语言(HRL)的并行数据。然而,已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中,我们的目标是提高多语言传输的NMT模型,翻译\emph{into}的LRL的有效性,通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE},我们提出Decompression,一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明,Deconstruct在从英语翻译到四种不同语言时,可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Continual Learning in Multilingual NMT via Language-Specific Embeddings
NAVER LABS Europe(NAVER LABS 欧洲)
本文提出了一种新的源语言或目标语言添加到现有的多语言NMT模型,而无需重新训练它的初始语言集的技术。它包括用一个小的特定于语言的词汇表替换共享词汇表,并在新语言的并行数据上微调新嵌入。可以训练一些附加的语言特定组件以提高性能(例如,Transformer层或适配器模块)。由于原始模型的参数未被修改,因此其在初始语言上的性能不会降低。我们在两组实验(TED Talks上的小规模实验和ParaCrawl上的大规模实验)中表明,这种方法的性能与成本更高的替代方案一样好或更好;并且它具有出色的zero-shot性能:以英语为中心的数据的训练足以在新语言和任何初始语言之间进行翻译。
2021-10-20 cs.CL
Optimizing the Training Schedule of Multilingual NMT using Reinforcement Learning
HEIG-VD / HES-SO;Pi School;EPFL(苏黎世联邦理工学院)
针对多语言NMT中训练调度影响低资源语言翻译质量的问题,提出使用Teacher-Student Curriculum Learning和Deep Q Network两种强化学习算法优化训练调度,在8对1翻译数据集上有效提升了BLEU和COMET分数。
2025-06-02 cs.CL
Language-Informed Beam Search Decoding for Multilingual Machine Translation
Meta AI;Oregon State University(俄勒冈州立大学)
针对多语言NMT模型束搜索解码易产生偏离目标翻译的问题,提出与模型无关、无需额外平行数据的语言感知束搜索算法LiBS,有效提升翻译质量并大幅降低偏离目标率。
2024-08-11 cs.CL
Exploiting Multilingualism in Low-resource Neural Machine Translation via Adversarial Learning
提出DAASI方法通过学习多语言潜在表示进行句子插值,并结合Wasserstein-GAN计算奖励优化多语言NMT模型,在低资源翻译上提升4 BLEU点且在零样本场景表现鲁棒。
2023-03-31 cs.CL
Measuring Semantic Abstraction of Multilingual NMT with Paraphrase Recognition and Generation Tasks
Department of Digital Humanities / HELDIG(数字人文系 / HELDIG);University of Helsinki(赫尔辛基大学)
在本文中,我们研究了多语言神经翻译模型是否比双语模型学习更强的句子语义抽象。我们通过测量这些模型在应用于源语言的释义时的困惑度来测试这一假设。直觉是,如果解码器能够识别同一语言中的同义句,即使模型从未受过训练,编码器也会产生更好的表示。在我们的设置中,我们将16种不同的辅助语言添加到双向双语基线模型(英语-法语)中,并使用英语的域内和域外释义对其进行测试。结果表明,在每一种情况下,困惑都显着减少,这表明意义可以在翻译中扎根。这是进一步支持的释义生成的研究,我们也包括在论文的最后。
2019-05-03 cs.CL
Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation
School of Mathematical and Computational Sciences, Massey University(马歇尔大学数学与计算科学学院);Mila – Quebec AI Institutes(魁北克人工智能研究院);Computer Science, Ontario Technology University and University of Toronto(安大略技术大学与多伦多大学计算机科学系)
本文研究了如何通过领域特定平行数据提升低资源语言翻译效果,探讨了预训练和微调技术对模型性能的影响,并提出优化策略。
2026-03-26 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University(东京都立大学);National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译(NMT),具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景,例如多语言NMT和回译,但我们已经根据经验证实,当仅限于域内数据时,它们的成功有限。因此,我们建议通过迁移学习来利用域外数据,首先使用它来训练多语言NMT模型,然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译,在这种资源极其匮乏的情况下,在较强的基线上,帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Translationese as a Language in "Multilingual" NMT
University of Rochester(罗切斯特大学);Google Research(谷歌研究院)
机器翻译有一个不受欢迎的倾向,即产生“伪像”,这可能导致更高的BLEU分数,同时不太受人类评分者的喜欢。基于此,我们在多语言模型中将中文和原始(即自然)文本建模为单独的语言,并提出问题:我们可以在原始源文本和原始目标文本之间执行zero-shot翻译吗?由于不存在具有原始源和原始目标的数据,因此我们训练训练语义级分类器来区分语义和原始目标文本,并使用该分类器为NMT模型标记训练数据。使用这种技术,我们使模型在测试时产生更自然的输出,从而在准确性和流畅性方面获得人类评估分数。此外,我们还证明了有可能对模型进行偏置,以产生警告和游戏BLEU分数,增加它,同时降低人类评级的质量。我们分析这些模型使用指标来衡量输出中的谨慎程度,并提出了一个分析的随机性的训练数据标记。
2020-07-09 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research(微软研究院);The University of Hong Kong(香港大学);Shanghai University of Finance and Economics(上海财经大学);Texas A&M University(德克萨斯A&M大学)
以前的工作主要集中在使用多语言预训练编码器(MPE)改善NLU任务的跨语言迁移,或者使用BERT提高监督机器翻译的性能。然而,MPE是否有助于促进NMT模型的跨语言可移植性,这一点还有待进一步研究。本文重点研究了NMT中的零镜头(zero-shot)跨语言迁移任务。在该任务中,NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练,然后直接在zero-shot语言对上进行测试。我们提出了SixT,这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE,并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法,SixT的性能明显优于mBART,mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型,在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外,与CRISS和m2m-100两个强大的多语言NMT基线相比,我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据,实现了更好的性能。
2021-11-05 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);MMT Srl(MMT有限公司)
最近,神经机器翻译(NMT)已经扩展到多语言,即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是,在低资源环境中,它被证明是有效和高效的,这要归功于跨语言强制共享的表征空间,并诱导了一种迁移学习。此外,多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大,但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此,我们的工作(i)提供了双语,多语言和zero-shot系统产生的翻译的定量和比较分析;(ii)研究了MT中目前占主导地位的两种神经结构的翻译质量,这两种结构是递归的和Transformer的;(iii)定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑,并重点关注自动标准度量(BLEU和TER)和广泛使用的错误类别,即词汇,词法和词序错误。
2018-06-20 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
神经机器翻译(NMT)的大规模多语言模型在理论上很有吸引力,但通常表现不佳的双语模型,并且提供较差的zero-shot翻译。在本文中,我们将探讨如何改善它们。我们认为,多语言NMT需要更强的建模能力,以支持不同类型特征的语言对,并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题(即翻译成错误的目标语言)作为低zero-shot性能的主要来源,并提出随机在线回译,以强制翻译看不见的训练语言对。在OPUS-100(一种包含100种语言的新型多语言数据集)上的实验表明,我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距,并将zero-shot性能提高了约10 BLEU,接近传统的基于XML的方法。
2020-04-24 cs.CL
Investigating Multilingual NMT Representations at Scale
Google AI(谷歌人工智能)
多语言神经机器翻译(NMT)模型在迁移学习环境中取得了巨大的经验成功。然而,人们对这些黑箱表示的理解很少,它们的传输模式仍然难以捉摸。在这项工作中,我们试图使用奇异值典型相关分析(SVCCA)来理解大规模多语言NMT表示(103种语言),SVCCA是一种表示相似性框架,允许我们比较不同语言,层和模型的表示。我们的分析验证了几个经验结果和长期的直觉,并揭示了关于表征如何在多语言翻译模型中演变的新观察。我们从分析中得出三个主要结论,并对跨语言迁移学习产生影响:(ii)由编码器学习的源语言的表示依赖于目标语言,反之亦然,以及(iii)当对任意语言对进行微调时,高资源和/或语言相似语言的表示更鲁棒,这对于确定在零或Few-Shot设置中可以预期多少跨语言迁移是关键的。我们进一步将我们的发现与多语言NMT和迁移学习中现有的经验观察相联系。
2019-09-11 cs.CL cs.LG
Improving Zero-shot Multilingual Neural Machine Translation for Low-Resource Languages
Beihang University(北京航空航天大学);University of Chinese Academy of Sciences(中国科学院大学)
多语言神经机器翻译(NMT)扩展了Google的多语言NMT,具有zero-shot翻译能力,迭代自学习算法可以提高zero-shot翻译的质量,但它面临两个问题:多语言NMT模型在实现zero-shot翻译时容易产生错误的目标语言;使用束搜索来生成合成并行数据的自学习算法破坏了所生成的源语言的多样性,并且在迭代学习过程期间放大了相同噪声的影响。本文针对这两个问题,提出了标记多语言NMT模型,并改进了自学习算法。首先,我们扩展了Google的多语言NMT模型,为目标语言添加目标标记,将开始标记与目标语言相关联,以确保源语言可以翻译为所需的目标语言。其次,改进了自学习算法,用随机样本代替束搜索,增加了生成数据的多样性,使其能适当覆盖真实数据分布。在IWITOS上的实验结果表明,在2010年和2017年的罗马尼亚-意大利语测试集上,调整后的标记多语言NMT分别获得了9.41和7.85的BLEU分数。同样,它在意大利语-罗马尼亚语zero-shot翻译上获得了9.08和7.99的BLEU分数。此外,改进后的自学习算法在zero-shot翻译方面也显示出其优于传统自学习算法的优势。
2021-10-02 cs.AI cs.CL
MultiSlav: Using Cross-Lingual Knowledge Transfer to Combat the Curse of Multilinguality
针对斯拉夫语族NMT研究不足的问题,该研究探索跨语言知识迁移方法,证实其在低资源零样本场景下的增益,推出了该语族的最优开源NMT模型并公开发布。
2025-02-20 cs.CL
Multi-Source Neural Machine Translation with Missing Data
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
多源翻译是一种利用多个输入(例如两种不同语言)来提高翻译准确性的方法。在本文中,我们研究的方法,多源神经机器翻译(NMT)使用不完整的多语言语料库,其中一些翻译是缺失的。在实践中,许多多语言语料库并不完整,因为很难提供所有相关语言的翻译(例如,在TED演讲中,大多数英语演讲只有TED支持的一小部分语言的字幕)。现有的多源翻译研究没有明确处理这种情况。本研究的重点是使用不完整的多语言语料库在多编码器NMT和混合NMT专家,并检查了一个非常简单的实现,缺失的源翻译被替换为一个特殊的符号<NULL>。这些方法允许我们在训练时和测试时使用不完整的语料库。在对真实的不完整多语种TED演讲语料库的实验中,使用令牌的多源NMT<NULL>获得了BLEU测量的更高的翻译准确率,而不是任何一对一NMT系统。
2018-06-08 cs.CL
Exploring Pair-Wise NMT for Indian Languages
IIIT-H(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
在本文中,我们解决的任务,提高对明智的机器翻译特定的低资源印度语言。多语言NMT模型在资源贫乏的语言上表现出了合理的有效性。在这项工作中,我们表明,这些模型的性能可以显着提高后,通过过滤回译过程和随后的微调有限的成对语言语料库使用回译。本文的分析表明,这种方法可以显着提高多语言模型的基线性能,为各种印度语言产生最先进的结果。
2020-12-10 cs.CL
Using Interlinear Glosses as Pivot in Low-Resource Multilingual Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们展示了一种新的方法,神经机器翻译(NMT)的低资源的语言使用无处不在的语言资源,跨线性Glossed文本(IGT)。IGT将非英语句子表示为英语词元和词素标签的序列。因此,它可以作为NMT的枢纽或中间语。我们的贡献是四方面的。首先,我们在ODIN中汇集了1,497种语言的IGT(54,545个注释),在Arapaho中汇集了70,918个注释,并训练了从IGT到英语的注释到目标NMT系统,BLEU得分为25.94。我们引入了一个多语言NMT模型,该模型使用注释源语言标签标记所有注释文本,并训练一个跨1,497种语言共享注意力的通用系统。其次,我们使用IGT的注释到目标的翻译作为一个关键步骤,在英语-土耳其语MT系统的培训只有865行ODIN。第三,当BLEU不再足够时,我们提出了五个评估极低资源翻译的指标,并使用BLEU评估土耳其低资源系统,并使用匹配名词,动词,一致性,时态和虚假重复的准确性,显示出很大的改进。
2020-03-03 cs.CL
Transfer Learning in Multilingual Neural Machine Translation with Dynamic Vocabulary
FBK(布鲁诺·凯斯勒基金会)
我们提出了一种通过共享的动态词汇在神经机器翻译(NMT)模型之间传递知识的方法。我们的方法允许扩展给定语言对的初始模型,以通过调整其词汇表来覆盖新语言,只要新数据可用(即,如果新的词汇表项未被包括在初始模型中,则引入新的词汇表项)。参数传递机制在两种情况下进行评估:i)使经训练的单语言NMT系统适应于与新的语言对一起工作,以及ii)不断添加新的语言对以成长为多语言NMT系统。在这两种情况下,我们的目标都是提高翻译性能,同时最大限度地减少训练收敛时间。初步实验跨越具有不同训练数据大小的五种语言(即,5k和50k并行句子)在不同的语言方向上显示出从+3.85到+13.63 BLEU的显着性能增益。此外,与从头开始训练NMT模型相比,我们的迁移学习方法使我们能够在训练总训练步骤的4%后达到更高的性能。
2018-11-03 cs.CL
Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters
University of Edinburgh(爱丁堡大学);NAVER LABS Europe(NAVER LABS 欧洲)
适配器层是插入在Transformer层之间的轻量级、可学习的单元。最近的工作探索将这些层用于神经机器翻译(NMT),以使预训练模型适应新的领域或语言对,仅为每个新设置(语言对或领域)训练一小部分参数。在这项工作中,我们研究的组合性的语言和领域适配器的背景下,机器翻译。我们的目标是研究,1)参数有效的适应多个领域和语言同时(全资源的情况下)和2)跨语言迁移的领域,并行数据是不可用的某些语言对(部分资源的情况下)。我们发现,在部分资源的情况下,一个天真的特定于域和特定于语言的适配器的组合往往会导致“灾难性遗忘”的失踪的语言。我们研究其他方法来结合适配器,以减轻这个问题,并最大限度地提高跨语言迁移。使用我们最好的适配器组合,对于没有域内数据的源语言,我们平均获得3-4个BLEU的改进。对于没有域内数据的目标语言,我们通过将适配器与反向翻译相结合来实现类似的改进。补充材料可在https://tinyurl.com/r66stbxj上获得
2021-10-18 cs.CL
A neural interlingua for multilingual machine translation
Amazon Inc.(亚马逊公司)
我们将一个显式的神经中间语言的多语言编码器-解码器神经机器翻译(NMT)架构。我们证明,我们的模型通过执行直接零镜头翻译(zero-shot translation)(不使用枢轴翻译)以及使用源句子嵌入来创建英语Yelp评论分类器来学习独立于语言的表示,该分类器通过神经中介语,也可以对法语和德语评论进行分类。此外,我们表明,尽管使用的参数数量比双语NMT模型的成对集合少,但我们的方法在WMT 15中为每个语言对产生了可比的BLEU分数。
2018-10-16 cs.CL
Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation
The University of Hong Kong(香港大学);Microsoft Research(微软研究院);Shanghai University of Finance and Economics(上海财经大学);Texas A&M University(德州农工大学)
本文证明了多语言预训练和多语言微调对于促进zero-shot翻译中的跨语言迁移至关重要,其中神经机器翻译(NMT)模型在监督训练期间看不到的源语言上进行测试。根据这一想法,我们提出了SixT+,这是一个强大的多对英语NMT模型,支持100种源语言,但只使用六种源语言的并行数据集进行训练。SixT+使用XLM-R large初始化解码器嵌入和完整编码器,然后使用简单的两阶段训练策略训练编码器和解码器层。SixT+在多对英翻译方面取得了令人印象深刻的性能。它明显优于CRISS和m2m-100,这两个强大的多语言NMT系统,平均增益分别为7.2和5.0 BLEU。此外,SixT+提供了一组模型参数,可以进一步微调到其他无监督任务。我们证明,添加SixT+初始化的性能优于Si En和Ne En上最先进的显式设计的无监督NMT模型<-><->,平均BLEU超过1.2。当应用于zero-shot跨语言抽象摘要时,它产生比mBART-ft平均12.3 ROUGE-L的性能增益。我们进行了详细的分析,以了解SixT+的关键成分,包括辅助并行数据的多语言性,位置解纠缠编码器及其编码器的跨语言可移植性。
2022-04-13 cs.CL
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research(谷歌研究院)
最近提出的大规模多语言神经机器翻译(NMT)系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中,我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性,这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT(mBERT)进行比较,并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
Efficient Inference for Multilingual Neural Machine Translation
NAVER LABS Europe(NAVER LABS 欧洲);NAVER Corp.(NAVER 公司)
多语言NMT已经成为生产中MT部署的一个有吸引力的解决方案。但为了达到双语质量,它的代价是更大更慢的模型。在这项工作中,我们考虑了几种方法,使多语言NMT更快的推理,而不会降低其质量。我们在两个20种语言的多并行设置中实验了几种“轻解码器”架构:小规模的TED演讲和大规模的ParaCrawl。我们的实验表明,将浅层解码器与词汇过滤相结合,可以在不损失翻译质量的情况下,使推理速度提高两倍以上。我们用BLEU和chrF(380个语言对),鲁棒性评估和人类评估来验证我们的发现。
2021-11-08 cs.CL
Multilingual Multi-modal Embeddings for Natural Language Processing
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林三一学院)
我们提出了一种新的判别模型,可以从多语言和多模态数据中学习嵌入,这意味着我们的模型可以利用多种语言的图像和描述来提高嵌入质量。为此,我们引入了成对对比估计优化函数的修改作为我们的训练目标。我们评估我们的嵌入图像句子排名(ISR),语义文本相似性(STS),和神经机器翻译(NMT)任务。我们发现,额外的多语言信号导致ISR和STS任务的改进,和歧视性成本也可以用于重新排名$n$ -最好的NMT模型产生的列表,产生强大的改进。
2017-02-03 cs.CL
Paraphrases as Foreign Languages in Multilingual Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
释义是对同一语义的改写,有助于提高概括能力和翻译水平。然而,以前的作品只探讨释义在词或短语的水平,而不是在句子或语料库的水平。与以往只在单词或短语层面上探索释义的工作不同,我们在语料库层面上使用结构一致的整个训练数据的不同翻译作为释义。我们训练平行释义在多种语言从各种来源。我们将释义视为外语,用释义标签标记源句子,并以多语言神经机器翻译(NMT)的风格对平行释义进行训练。我们的多释义NMT仅在两种语言上训练,优于多语言基线。增加释义可以提高生僻词的翻译,增加词汇选择的熵和多样性。添加源释义比添加目标释义更能提高性能。将源和目标释义结合起来可以进一步提高性能;将释义与多语言数据结合起来会有所帮助,但性能参差不齐。我们使用24个语料库级别的圣经释义,实现了法语到英语翻译的BLEU得分为57.2,优于多语言基线,比单源单目标NMT基线高出+34.7。
2021-10-01 cs.CL
Zero-Shot Cross-lingual Classification Using Multilingual Neural Machine Translation
The University of Tokyo(东京大学);Google AI(谷歌人工智能)
将表示从大型监督任务转移到下游任务已经在计算机视觉和自然语言处理(NLP)等AI领域显示出有希望的结果。与此同时,机器翻译(MT)的最新进展使人们能够训练多语言神经MT(NMT)系统,该系统可以在多种语言之间进行翻译,并且还能够执行zero-shot翻译。然而,很少有人注意到利用多语言NMT系统学习的表示来实现其他NLP任务中的zero-shot多语言性。在本文中,我们展示了一个简单的框架,一个多语言编码器分类器,跨语言迁移学习重用的编码器从多语言NMT系统,并将其与特定于任务的分类器组件。我们提出的模型在三个基准任务-亚马逊评论,SST和SNLI的英语设置上取得了显着的改进。此外,我们的系统可以在训练期间没有看到分类数据的新语言中执行分类,这表明zero-shot分类是可能的,并且具有显著的竞争力。为了理解导致这一发现的潜在因素,我们对共享词汇表、NMT的训练数据类型、分类器复杂度、编码器表示能力和模型泛化对zero-shot性能的影响进行了一系列分析。我们的研究结果提供了强有力的证据表明,从多语言NMT系统中学习到的表征广泛适用于各种语言和任务。
2018-09-12 cs.AI cs.CL
Target Conditioned Sampling: Optimizing Data Selection for Multilingual Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
为了改进具有多语言语料库的低资源神经机器翻译(NMT),仅使用最相关的高资源语言进行训练通常比使用所有可用数据更有效(Neubig和Hu,2018)。然而,智能数据选择策略可能会进一步改善来自其他辅助语言的数据的低资源NMT。在本文中,我们试图在所有多语言数据上构建一个抽样分布,以便最大限度地减少低资源语言的训练损失。在此基础上,我们提出了一个有效的算法,目标条件采样(TCS),它首先采样一个目标句子,然后有条件地采样其源句子。实验表明,TCS在我们测试的四种语言中的三种语言上带来了高达2 BLEU的显着增益,并且训练开销最小。
2019-05-20 cs.CL
Multilingual Neural Machine Translation With Soft Decoupled Encoding
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑);Monash University(莫纳什大学)
神经机器翻译(NMT)系统的多语言训练已经在低资源语言上取得了令人印象深刻的准确性改进。然而,在数据匮乏的情况下,有效地学习单词表示仍然存在重大挑战。在本文中,我们提出了软解耦编码(Soft Decoupled Encoding,缩写为DCN),这是一种多语言词典编码框架,专门设计用于智能地共享词典级信息,而不需要启发式预处理,如预分割数据。它通过字符编码来表示单词的拼写,并通过所有语言共享的潜在嵌入空间来表示其语义。在四种低资源语言的标准数据集上进行的实验显示,与强大的多语言NMT基线相比,性能得到了一致的改善,其中一种测试语言的增益高达2 BLEU,在所有四种语言对上都达到了最新的水平。
2019-02-09 cs.CL
Revisiting Modularized Multilingual NMT to Meet Industrial Demands
Kakao Enterprise(Kakao企业公司);Seoul National University(首尔国立大学);Soongsil University(崇实大学)
多语言翻译(1-1)的参数完全共享已成为当前研究的主流方法。然而,由于容量瓶颈和低可维护性而导致的性能下降阻碍了其在工业中的广泛采用。在这项研究中,我们重新审视了多语言神经机器翻译模型,该模型仅在相同的语言(M2)之间共享模块,作为1-1的实用替代方案,以满足工业需求。通过全面的实验,我们确定了多路训练的好处,并证明了M2可以享受这些好处,而不会受到容量瓶颈的影响。此外,M2的语际空间允许方便地修改模型。通过利用经过训练的模块,我们发现增量添加的模块比单独训练的模型表现出更好的性能。添加的模块的zero-shot性能甚至可以与监督模型相媲美。我们的研究结果表明,M2可以成为行业多语言翻译的合格候选人。
2020-10-19 cs.CL cs.LG
Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院);Yonsei University(延世大学)
针对联邦多语言机器翻译中通信受限问题,提出基于元学习的自适应参数选择方法MetaSend,通过动态阈值过滤参数提升传输效率,在有限通信预算下于不同语言分布数据集上显著优于基线模型。
2025-04-18 cs.AI cs.CL
$\varepsilon$ KÚ <MASK>: Integrating Yorùbá cultural greetings into machine translation
University of Ibadan(伊巴丹大学);Saarland University(萨尔大学);University College London(伦敦大学学院)
针对多语言 NMT 翻译约鲁巴语文化问候语不佳的问题,本文构建 IkiniYorùbá 数据集并通过微调获得优于 Google、NLLB 等预训练模型的约鲁巴语—英语翻译模型。
2023-04-24 cs.CL
Low Resource Neural Machine Translation: A Benchmark for Five African Languages
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
神经机器翻译(NMT)的最新进展已经显示出低资源语言(LRL)翻译任务的改进。在这项工作中,我们基准NMT之间的英语和五个非洲LRL对(斯瓦希里语,阿姆哈拉语,提格里纳,奥罗莫,索马里[SATOS])。我们收集了SATOS语言的可用资源,以评估LRL的NMT的当前状态。我们的评估比较了基线单语言对NMT模型与半监督学习,迁移学习和多语言建模,显示了En-LRL和LRL-En方向的显着性能改进。就平均BLEU分数而言,多语言方法在十个翻译方向中的六个方向上显示出最大的收益,高达+5分。为了证明每个模型的泛化能力,我们还报告了多域测试集的结果。我们发布了标准化的实验数据和测试集,用于未来解决NMT在资源不足环境中的挑战,特别是SATOS语言。
2020-03-31 cs.CL
Improving Zero-shot Translation with Language-Independent Constraints
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
训练多语言神经机器翻译(NMT)的一个重要问题是在训练过程中看不到的语言对之间进行翻译,即zero-shot翻译。通过提供一种替代枢轴翻译的方法来提高这种能力,这也使我们能够更好地理解模型如何捕获语言之间的信息,从而实现一石二鸟的效果。在这项工作中,我们进行了调查的多语言NMT模型的这种能力。首先,我们有意创建一个编码器架构,这是独立于源语言。总体而言,此类实验揭示了NMT编码器学习多语言表示的能力。基于这样的概念证明,我们能够将正则化方法设计到标准Transformer模型中,从而使整个架构在zero-shot条件下变得更加健壮。我们研究了这些模型在标准IWIT2017多语言数据集上的行为。与最先进的多语言系统的zero-shot性能相比,我们在12种语言对上实现了平均2.23 BLEU点的改进。此外,我们进行了进一步的实验中,效果得到证实,即使是多个中间枢纽语言对。
2019-06-20 cs.CL
Evaluation of NMT-Assisted Grammar Transfer for a Multi-Language Configurable Data-to-Text System
AX Semantics
本文提出一种基于规则的多语言NLG方法,通过NMT结合人工审查翻译语法配置,并引入跨语言语法依赖模型,实现无人工干预的文本生成扩展,在SportSett:Basketball数据集上验证了其语法正确性。
2025-01-27 cs.CL
Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation
Google Research(谷歌研究院)
在过去的几年里,在低资源神经机器翻译(NMT)中出现了两个有前途的研究方向。第一个重点是利用高资源语言,通过多语言NMT来提高低资源语言的质量。第二个方向采用具有自我监督的单语数据来预训练翻译模型,然后对少量监督数据进行微调。在这项工作中,我们加入了这两条研究路线,并证明了多语言NMT中自我监督的单语数据的有效性。我们提供三大成果:(i)使用单语数据可以显著提高多语言模型中低资源语言的翻译质量。(ii)自我监督提高了多语言模型中的zero-shot翻译质量。(iii)利用具有自我监督的单语数据为向多语言模型添加新语言提供了一条可行的途径,在没有任何并行数据或反向翻译的情况下,在ro-en翻译上获得多达33个BLEU。
2020-05-11 cs.CL cs.LG
Cross-lingual Supervision Improves Unsupervised Neural Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
神经机器翻译~(NMT)对于零资源语言是无效的。最近的工作探索无监督神经机器翻译(UNMT)的可能性,只有单语数据可以取得可喜的成果。然而,联合国监测组与实行平行监督的国家监测组之间仍存在很大差距。在这项工作中,我们引入了一个多语言无监督NMT(\method)框架,利用弱监督信号从高资源的语言对零资源的翻译方向。更具体地说,对于无监督语言对\texttt{En-De},我们可以充分利用来自并行数据集\texttt{En-Fr}的信息,在一个模型中联合训练无监督翻译方向。\method基于多语言模型,无需对标准无监督NMT进行更改。实验结果表明,\method显着提高了翻译质量超过3 BLEU分数在六个基准无监督翻译方向。
2021-04-01 cs.CL
Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation
Nanjing University(南京大学);ByteDance(字节跳动)
最近邻机器翻译(kNNMT)是一种简单有效的增强神经机器翻译(NMT)的方法。kNNMT的有效性直接取决于检索的邻居的质量。然而,原始的kNNMT基于NMT模型的表示来构建数据存储,这将导致当NMT模型不够好时检索准确性差,从而导致次优的翻译性能。在本文中,我们提出了PRED,这是一个利用kNN-MT中数据存储的预训练模型的框架。来自预训练模型的更好的表示使我们能够构建更好质量的数据存储。我们还设计了一个新的对比对齐目标,以减轻NMT模型和预训练模型之间的表示差距,使NMT模型能够从更好的数据存储中检索。我们对双语和多语言翻译基准进行了广泛的实验,包括WMT 17英语$\leftrightarrow$中文,WMT 14英语$\leftrightarrow$德语,IWSLT 14德语$\leftrightarrow$英语和IWSLT 14多语言数据集。实证结果证明了PRED的有效性。
2022-12-17 cs.CL
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University(约翰斯·霍普金斯大学)
最近的研究表明,多语言神经机器翻译(NMT)模型可以用来判断一个句子对同一语言中另一个句子的释义程度(Thompson and Post,2020);然而,试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法,该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外,输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估,将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较(Hu等人,2019 c),并发现我们的方法产生的释义,更好地保留意义,更符合语法,为同一水平的词汇多样性。其他较小的人类评估表明,我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages
Microsoft AI & Research(微软人工智能与研究院)
用于神经机器翻译(NMT)的迁移学习方法训练关于辅助-目标语言对(父模型)的NMT模型,其稍后针对感兴趣的源-目标语言对(子模型)进行微调,其中目标语言是相同的。在许多情况下,辅助语言具有与源语言不同的词序。我们发现,当源语言和目标语言之间几乎没有平行语料库时,不同的词序会限制迁移学习的益处。为了弥合这种分歧,我们提出了预排序的辅助语言句子匹配源语言的词序和训练父模型。我们对许多语言对的实验表明,弥合语序差距会显着提高翻译质量。
2019-04-10 cs.CL
Code-Switching with Word Senses for Pretraining in Neural Machine Translation
University of Edinburgh(爱丁堡大学);Sapienza University of Rome(罗马第一大学)
针对NMT预训练中忽略词义导致偏差的问题,提出WSP-NMT方法,利用知识库的词义信息进行端到端预训练,显著提升翻译质量并在DiBiMT基准上取得细粒度准确率提升。
2023-10-21 cs.CL
Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges
Google AI(谷歌人工智能)
我们介绍了我们的努力,建立一个通用的神经机器翻译(NMT)系统,能够在任何语言对之间进行翻译。我们通过构建一个单一的大规模多语言NMT模型来处理103种语言,并在超过250亿个示例中进行训练,从而实现了这一目标。我们的系统展示了有效的迁移学习能力,显著提高了低资源语言的翻译质量,同时使高资源语言的翻译质量与竞争性双语基线保持一致。我们对模型构建的各个方面进行了深入分析,这些方面对于在通用NMT中实现质量和实用性至关重要。虽然我们原型的高质量的通用翻译系统,我们广泛的实证分析暴露出需要进一步解决的问题,我们建议未来的研究方向。
2019-07-11 cs.CL cs.LG
Evaluating Multiway Multilingual NMT in the Turkic Languages
Turkic Interlingua(突厥语国际语);University of South Florida(南佛罗里达大学);University of Helsinki(赫尔辛基大学);Tashkent State University of Uzbek Language and Literature(塔什干国立乌兹别克语言文学大学);Namangan State University(纳曼干国立大学);NYU(纽约大学);Google Research(谷歌研究院);Indiana University(印第安纳大学)
尽管越来越多的大型和全面的机器翻译(MT)系统,这些方法在各种语言的评估一直受到限制,缺乏高质量的平行语料库,以及与讲这些语言的人的参与。在这项研究中,我们提出了一个国家的最先进的方法来训练和评估MT系统在22种语言从突厥语系,其中大部分是非常不足的探索评估。首先,我们采用了TIL语料库,对训练和评估集进行了一些关键改进。然后,我们训练26双语基线以及多路神经MT(MNMT)模型使用语料库,并进行广泛的分析,使用自动度量以及人类的评价。我们发现MNMT模型在域外测试集中的表现优于几乎所有双语基线,并且在单个对的下游任务上微调模型也会在低资源和高资源情况下导致巨大的性能提升。我们仔细分析了突厥语MT模型的评价标准,也指出了在这个方向上进一步研究的必要性。我们向公众发布语料库分割,测试集以及模型。
2021-09-13 cs.CL
English2Gbe: A multilingual machine translation model for {Fon/Ewe}Gbe
Masakhane NLP;Ai4Innov
语言是解放的一个重要因素。不幸的是,在2,000多种非洲语言中,大多数都是低资源的。该社区最近使用机器翻译来复兴和加强几种非洲语言。然而,经训练的模型通常是双语的,导致潜在指数数量的模型要训练和维护以覆盖所有可能的翻译方向。此外,双语模型没有利用某些语言之间的相似性。因此,多语言神经机器翻译(NMT)获得了相当大的兴趣,特别是对于低资源的语言。然而,社区的采用仍然有限。本文介绍了English 2Gbe,一个多语种的NMT模型,能够从英语翻译到Ewe或Fon。使用Sacrebleu(Post,2018)软件包计算的BLEU,CHRF和TER分数进行再现性分析,我们表明English 2Gbe优于双语模型(英语到Ewe和英语到Fon),并在Nekoto等人建立的Fon JW 300基准上给出了最先进的结果。我们希望这项工作将有助于社区内多语言模型的大规模采用。我们的代码可以从Github访问。
2021-12-13 cs.CL
Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本文提出跨语言一致性正则化CrossConST,通过弥合语言表示差距提升零样本多语言神经机器翻译性能,并在低资源和高资源基准上验证了其有效性。
2023-05-12 cs.AI cs.CL
Sicilian Translator: A Recipe for Low-Resource NMT
Arba Sicula(阿尔巴·西库拉)
Arba Sicula利用17,000对西西里语-英语翻译句子,开发了第一个西西里语神经机器翻译器。使用小的子词词汇表,我们训练了具有高dropout参数的小Transformer模型,并在20多岁时获得了BLEU分数。然后,我们用反向翻译和多语言翻译补充了我们的数据集,并将我们的分数推到了30多岁。我们还将我们的成功归功于将理论信息纳入我们的数据集中。在训练之前,我们将子词词汇偏向于教科书中的定义。我们在数据集中加入了教科书练习。
2021-10-05 cs.CL
A Study of Multilingual Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
多语言神经机器翻译(NMT)最近已经从不同方面进行了研究(例如,枢轴平移、zero-shot平移、微调或从头开始训练)和在不同的设置中(例如,富资源和低资源、一对多和多对一翻译)。本文对多语种NMT进行了深入的理解,并对一个包含20多种语言的多语种数据集进行了全面的研究。我们的研究结果表明:(1)低资源语言对从多语言训练中受益匪浅,而资源丰富的语言对在有限的模型容量下可能会受到伤害,并且使用相似语言的训练比不相似语言的训练受益更多;(2)在一对多设置中,微调比从头开始训练表现得更好,而在多对一设置中,从头开始训练表现得更好;(3)编码器的底层和解码器的顶层捕获更多的语言特定信息,并且仅仅微调这些部分就可以实现低资源语言对的良好准确性;(4)当源语言与目标语言相似时(例如,在相同的语言分支中),即使直接训练数据的大小小得多;(5)给定固定的训练数据预算,最好将更多的语言引入到多语言训练中以进行zero-shot翻译。
2019-12-25 cs.CL
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对低资源语言(LRL)的多语言神经机器翻译(MNMT)可以通过相关高资源语言(HRL)的存在来增强,但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近,MNMT适应LRL已被证明可以大大提高性能。在这项工作中,我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT,我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择,即在(zero-shot)翻译中,以及在两个方向(LRL-en)的多语言预训练模型的适应中。我们进一步表明,动态适应模型的词汇结果在一个更有利的分割LRL相比,直接适应。实验表明,即使LRL数据为零(+13.0 BLEU),也可以减少训练时间,并在LRL基线上获得显着的性能提升,对于预训练的多语言模型动态自适应与相关数据选择,最高可达+17.0 BLEU。我们的方法优于目前的方法,如大规模多语言模型和数据增强,在四个LRL。
2019-10-30 cs.CL
Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本研究提出支持220余种语言的通用多语言句子表示模型MuSR,结合CrossConST跨语言一致性正则化技术训练模型,在多语言相似度搜索和双语文本挖掘任务上性能优于由148个独立编码器构成的LASER3。
2023-06-12 cs.AI cs.CL
Checks and Strategies for Enabling Code-Switched Machine Translation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
语码转换是多语言使用者之间的一种普遍现象,即在同一会话中两种或多种语言之间的交替使用。虽然多语言人类可以在语言之间无缝地来回切换,但多语言神经机器翻译(NMT)模型对输入的这种突然变化并不鲁棒。这项工作探讨了多语言NMT模型处理代码转换文本的能力。首先,我们提出检查来衡量开关能力。其次,我们研究简单有效的数据增强方法,可以提高NMT模型的能力,以支持代码转换。最后,通过对注意力模块的玻璃盒分析,我们证明了这些方法在提高鲁棒性方面的有效性。
2022-10-11 cs.AI cs.CL cs.CY
Multi-task Learning for Multilingual Neural Machine Translation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软)
虽然单语数据已被证明在改进双语神经机器翻译(NMT)方面是有用的,但有效且高效地利用单语数据用于多语言NMT(MNMT)系统是一个较少探索的领域。在这项工作中,我们提出了一个多任务学习(MTL)框架,该框架联合训练模型与双文本数据上的翻译任务和单语数据上的两个去噪任务。我们进行了广泛的实证研究MNMT系统与10个语言对WMT数据集。我们表明,该方法可以有效地提高翻译质量的高资源和低资源的语言与大幅度,取得了显着优于个别双语模型。我们还证明了所提出的方法的有效性,在zero-shot设置语言对没有bitext训练数据。此外,我们证明了MTL在NMT和跨语言迁移学习NLU任务的预训练方法上的有效性;所提出的方法优于在单个任务上训练的大规模模型。
2020-10-06 cs.CL cs.LG
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究零样本多语言神经机器翻译中的性别偏见,发现语言无关表示可减轻男性偏见,且桥接语言性别屈折程度越高,枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL