Automatic Machine Translation Detection Using a Surrogate Multilingual Translation Model
Dep. de Llenguatges i Sistemes Informàtics(语言与信息系统系);Institut Universitari d’Investigació Informàtica(大学信息研究所);Universitat d’Alacant(阿莱康特大学)
提出利用代理多语言MT模型内部表示区分人类与机器翻译的新方法,在非英语语言对上准确率至少提升5个百分点。
2025-11-04 cs.CL cs.LG
Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges
Google AI(谷歌人工智能)
我们介绍了我们的努力,建立一个通用的神经机器翻译(NMT)系统,能够在任何语言对之间进行翻译。我们通过构建一个单一的大规模多语言NMT模型来处理103种语言,并在超过250亿个示例中进行训练,从而实现了这一目标。我们的系统展示了有效的迁移学习能力,显著提高了低资源语言的翻译质量,同时使高资源语言的翻译质量与竞争性双语基线保持一致。我们对模型构建的各个方面进行了深入分析,这些方面对于在通用NMT中实现质量和实用性至关重要。虽然我们原型的高质量的通用翻译系统,我们广泛的实证分析暴露出需要进一步解决的问题,我们建议未来的研究方向。
2019-07-11 cs.CL cs.LG
Improving Multilingual Neural Machine Translation For Low-Resource Languages: French,English - Vietnamese
Thai Nguyen University(太原大学);Vietnam National University(越南国立大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);JAIST(日本北陆先端科学技术大学院大学)
先前的工作已经证明,低资源的语言对可以从依赖于许多语言对的联合训练的多语言机器翻译(MT)系统中受益。本文提出了两种简单的策略来解决两个低资源的语言对:法语-越南语和英语-越南语的多语言机器翻译系统中的稀有词问题。第一种策略是在源语言共享空间中动态学习词的相似度,第二种策略是通过在训练过程中更新嵌入量来增强稀有词的翻译能力。此外,我们利用单语数据的多语种机器翻译系统,以增加合成并行语料库的数量,同时处理数据稀疏性问题。我们已经显示了两种语言对的双语基线系统的显著改进,分别为+1.62和+2.54 BLEU点,并为研究社区发布了我们的数据集。
2021-07-10 cs.CL cs.LG
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
文档级神经机器翻译(DocNMT)通过结合跨句子上下文来实现连贯的翻译。然而,对于大多数语言对来说,尽管并行句子很容易获得,但并行文档还是很短缺。在本文中,我们研究是否以及如何在DocNMT上下文建模是通过多语言建模可转移。我们专注于zero-shot传输的情况下,从教师语言的文档级数据的学生语言没有文件,但句子级数据,并首次将文档级翻译作为一个迁移学习问题。使用简单的基于拼接的DocNMT,我们探讨了3个因素对迁移的影响:具有文档级数据的教师语言的数量,训练时文档和句子级数据之间的平衡,以及并行文档的数据条件(真实与回译)。我们的实验在Europarl-7和IWITOS-10上显示了DocNMT多语言传输的可行性,特别是在文档特定的指标上。我们观察到,更多的教师语言和足够的数据平衡都有助于更好的传输质量。令人惊讶的是,传输对数据条件不太敏感,多语言DocNMT在回译或真正的文档对中提供了不错的性能。
2022-05-17 cs.CL cs.LG
Towards Continual Learning for Multilingual Machine Translation via Vocabulary Substitution
Google Research(谷歌研究院)
我们提出了一个简单的词汇自适应方案,以扩展多语言机器翻译模型的语言能力,为多语言机器翻译的有效持续学习铺平了道路。我们的方法适用于大规模数据集,适用于具有看不见的脚本的遥远语言,对原始语言对的翻译性能只会产生轻微的退化,即使在我们只拥有新语言的单语数据的情况下,也能提供有竞争力的性能。
2021-03-11 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh(爱丁堡大学);Saarland University(萨尔兰大学);Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
我们描述了在第六届机器翻译会议(WMT 2021)上,萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型,用于冰岛语(is),挪威语-博克马尔语(nb)和瑞典语(sv)之间的翻译。我们采用各种实验方法,包括多语言预训练,回译,微调和集成。在大多数翻译方向上,我们的模型优于其他提交的系统。
2021-09-29 cs.CL
HLT-MT: High-resource Language-specific Training for Multilingual Neural Machine Translation
Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
基于多语言对的多语言神经机器翻译(MNMT)具有模型参数少、多语言知识共享、训练成本低等优点,受到了广泛关注。然而,由于不同翻译方向之间的负干扰,特别是在高资源语言上,多语言训练受到共享参数中语言干扰退化的困扰。本文提出了一种多语言翻译模型--高资源特定语言训练模型(HLT-MT),采用两阶段训练和特定语言选择机制来减轻负面干扰。具体来说,我们首先只使用高资源对训练多语言模型,并在解码器的顶部选择语言特定的模块,以提高高资源方向的翻译质量。接下来,该模型在所有可用的语料库上进行进一步训练,以将知识从高资源语言(HRL)转移到低资源语言(LRL)。实验结果表明,HLT-MT在WMT-10和OPUS-100基准测试中优于各种强基线。此外,分析实验验证了我们的方法在减轻多语言训练中的负面干扰的有效性。
2022-07-15 cs.AI cs.CL cs.LG
UM4: Unified Multilingual Multiple Teacher-Student Model for Zero-Resource Neural Machine Translation
Microsoft Research(微软研究院);Tencent Cloud(腾讯云);Beihang University(北京航空航天大学)
语言间的翻译任务大多属于零资源翻译问题,在这种情况下,平行语料库不可用。多语言神经机器翻译(MNMT)与两遍枢轴翻译相比,可以使用所有语言的共享语义空间进行一遍翻译,但通常表现不佳。在本文中,我们提出了一种新的方法,命名为统一的多语言多师生模型NMT(UM 4)。我们的方法统一了源教师,目标教师,并指导学生模型的零资源翻译的教师模型。源语教师和译语教师通过源语和译语双方的知识精华迫使学生学习直接源语到译语的翻译。单语语料库被进一步利用的教师-教师模型,以提高学生模型。实验结果表明,我们的72个方向的模型显着优于以前的方法在WMT基准。
2022-08-24 cs.AI cs.CL cs.LG
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
神经机器翻译(NMT)的大规模多语言模型在理论上很有吸引力,但通常表现不佳的双语模型,并且提供较差的zero-shot翻译。在本文中,我们将探讨如何改善它们。我们认为,多语言NMT需要更强的建模能力,以支持不同类型特征的语言对,并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题(即翻译成错误的目标语言)作为低zero-shot性能的主要来源,并提出随机在线回译,以强制翻译看不见的训练语言对。在OPUS-100(一种包含100种语言的新型多语言数据集)上的实验表明,我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距,并将zero-shot性能提高了约10 BLEU,接近传统的基于XML的方法。
2020-04-24 cs.CL
Revamping Multilingual Agreement Bidirectionally via Switched Back-translation for Multilingual Neural Machine Translation
The Chinese University of Hong Kong(香港中文大学);Microsoft Corporation(微软公司)
针对多语言神经机器翻译中多语言一致性方法依赖平行数据且优化方向模糊的问题,提出BMA-SBT框架,通过切换反向翻译生成合成文本并双向优化一致性,在三个基准上显著提升性能。
2023-05-15 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示,发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征,并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
A Framework for Hierarchical Multilingual Machine Translation
Boise State University(博伊西州立大学)
多语言机器翻译最近流行起来,因为它有潜力通过迁移学习来提高低资源语言的机器翻译性能。然而,证明现有多语言机器翻译策略成功的实证研究仅限于特定语言组的实验。在本文中,我们提出了一个分层框架,建立多语言机器翻译战略,利用类型学的语言家谱,使类似的语言之间的转移,同时避免了负面影响,结果是太不同的语言。在41种语言的数据集上进行的详尽实验证明了所提出的框架的有效性,特别是当它通过使用类型相关的家族来提高低资源语言的性能时,这些家族可以提供更丰富的资源。
2020-05-12 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University(东京都立大学);National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译(NMT),具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景,例如多语言NMT和回译,但我们已经根据经验证实,当仅限于域内数据时,它们的成功有限。因此,我们建议通过迁移学习来利用域外数据,首先使用它来训练多语言NMT模型,然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译,在这种资源极其匮乏的情况下,在较强的基线上,帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Learning Policies for Multilingual Training of Neural Machine Translation Systems
Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰斯·霍普金斯大学)
低资源多语言神经机器翻译(MNMT)通常的任务是在高资源语言对的帮助下提高一个或多个语言对的翻译性能。在本文中,我们提出了两个简单的搜索为基础的课程-排序的多语种训练数据-这有助于提高翻译性能与现有的技术,如微调。此外,我们试图从头开始学习MNMT课程,并在上下文多臂强盗的帮助下训练翻译系统。我们在FLORES低资源翻译数据集上表明,这些学习课程可以为微调提供更好的起点,并提高翻译系统的整体性能。
2021-03-11 cs.CL
Massively Multilingual Neural Machine Translation
Bar Ilan University(巴伊兰大学);Google AI(谷歌人工智能)
多语言神经机器翻译(NMT)能够训练支持从多个源语言翻译成多个目标语言的单个模型。在本文中,我们推动了多语言NMT在使用的语言数量方面的限制。我们在训练大规模多语言NMT模型方面进行了广泛的实验,在单个模型中将多达102种语言翻译为英语。我们探索了训练这些模型的不同设置,并分析了翻译质量和各种建模决策之间的权衡。我们在公开的TED演讲多语言语料库上报告了结果,我们在其中表明,大规模多语言多对多模型在低资源环境中是有效的,在支持多达59种语言的同时,性能优于以前的最先进技术。我们在一个大规模数据集上进行的实验,该数据集包含102种语言和英语之间的语言,每个方向多达100万个示例,也显示出了令人鼓舞的结果,超过了强大的双语基线,并鼓励未来在大规模多语言NMT方面的工作。
2019-07-02 cs.CL
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University(查尔斯大学)
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明,使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明,字符级双语模型是非常相似的语言对(加泰罗尼亚语-欧西坦语)的竞争力,但更遥远的对。我们还描述了我们的多任务学习实验,除了文本翻译外,模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Can Multilinguality benefit Non-autoregressive Machine Translation?
University of Maryland(马里兰大学);Google Research(谷歌研究院)
非自回归(NAR)机器翻译最近取得了显着的改进,现在在一些基准测试中优于自回归(AR)模型,为AR推理提供了一种有效的替代方案。然而,虽然AR翻译通常使用受益于语言之间的转换和提高服务效率的多语言模型来实现,但多语言NAR模型仍然相对未被探索。本文以联结主义时间分类(CTC)为例,以Imputer为半NAR模型,对多语言NAR进行了全面的实证研究。我们测试了它在相关语言之间的正迁移和容量限制下的负迁移能力。由于NAR模型需要经过提炼的训练集,我们仔细研究了双语教师与多语种教师的影响。最后,我们适合多语言NAR的缩放定律,随着模型规模的增加,量化其相对于AR模型的性能。
2021-12-16 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation(微软公司)
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中,受最近语言模型预训练成功的启发,我们提出了XLM-T,它使用现成的预训练跨语言Transformer编码器对模型进行了优化,并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是,即使在具有反向平移的强基线上,该方法也是有效的。此外,对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了我们的第一次尝试,在建立一个统一的方法下的多语言神经机器翻译框架。然后,我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理,它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性,并有了高达2.6个BLEU点的显著改进。此外,该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
Multilingual Neural Machine Translation with Task-Specific Attention
IBM Research AI(IBM研究院人工智能部门)
多语言机器翻译解决了在多个源语言和目标语言之间进行翻译的任务。我们提出了特定任务的注意力模型,这是一种简单但有效的技术,可以提高序列到序列的神经多语言翻译的质量。我们的方法旨在尽可能多地保留NMT模型的参数共享泛化,同时仍然允许将注意力模型针对特定语言对或任务进行语言特定的专业化。我们对四种语言的Europarl语料库的实验表明,使用特定于目标的注意力模型提供一致的收益,在翻译质量的所有可能的翻译方向,相比,所有参数共享的模型。我们观察到改进的翻译质量,即使在(极端)低资源的zero-shot翻译方向的模型从来没有看到明确配对的并行数据。
2018-06-08 cs.CL
Do Multilingual Neural Machine Translation Models Contain Language Pair Specific Attention Heads?
NAVER LABS Europe(NAVER欧洲实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室)
最近的多语言表示分析的研究集中在确定是否出现了语言无关的表示,或是否一个多语言模型划分其权重之间的不同语言。虽然大多数此类工作都是以“黑箱”方式进行的,但本文旨在分析多语言神经翻译(NMT)模型的各个组件。特别是,我们研究了编码器自我注意力和编码器-解码器注意力头(在多对一NMT模型中),这些注意力头比其他注意力头更具体地针对某个语言对的翻译,方法是(1)采用量化注意力权重的某些方面的度量,如“方差”或“置信度”,以及(2)系统地对注意力头相对于翻译质量的重要性进行排名。实验结果表明,令人惊讶的是,最重要的注意力中心语的集合在语言对之间非常相似,并且可以在不严重损害翻译质量的情况下删除近三分之一的不太重要的中心语。
2021-05-31 cs.AI cs.CL cs.LG
Multilingual Neural Machine Translation with Knowledge Distillation
Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学);Peking University(北京大学)
多语种机器翻译是一种用单一模型翻译多种语言的翻译技术,由于其离线训练和在线服务的高效性而备受关注。然而,由于语言多样性和模型容量的限制,传统的多语言翻译通常会产生较低的准确性,与使用每个语言对的单独模型的对应物相比。在本文中,我们提出了一种基于蒸馏的方法来提高多语言机器翻译的准确性。具体而言,首先训练个体模型并将其视为教师,然后通过知识蒸馏训练多语言模型以同时拟合训练数据并匹配个体模型的输出。在IWITOWN、WMT和Ted talk翻译数据集上的实验证明了该方法的有效性。特别是,我们证明了一个模型足以处理多种语言(在我们的实验中多达44种语言),其准确性与单个模型相当甚至更好。
2019-04-30 cs.CL
Claim2Vec: Embedding Fact-Check Claims for Multilingual Similarity and Clustering
Queen Mary University of London(伦敦玛丽女王大学)
本文提出Claim2Vec,一种多语言嵌入模型,通过对比学习提升声明聚类性能,实现跨语言知识迁移。
2026-04-14 cs.CL
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University(天津大学)
在跨所有语言完全共享参数的多语言神经机器翻译模型中,通常使用人工语言令牌来引导翻译成期望的目标语言。然而,最近的研究表明,前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向,特别是在zero-shot翻译中。为了缓解这个问题,我们提出了两种方法,语言嵌入体现和语言感知的多头注意力,学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点,目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部,以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明,语言感知的多头注意力对监督翻译和zero-shot翻译都有好处,并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明,通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
A Study of Multilingual Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
多语言神经机器翻译(NMT)最近已经从不同方面进行了研究(例如,枢轴平移、zero-shot平移、微调或从头开始训练)和在不同的设置中(例如,富资源和低资源、一对多和多对一翻译)。本文对多语种NMT进行了深入的理解,并对一个包含20多种语言的多语种数据集进行了全面的研究。我们的研究结果表明:(1)低资源语言对从多语言训练中受益匪浅,而资源丰富的语言对在有限的模型容量下可能会受到伤害,并且使用相似语言的训练比不相似语言的训练受益更多;(2)在一对多设置中,微调比从头开始训练表现得更好,而在多对一设置中,从头开始训练表现得更好;(3)编码器的底层和解码器的顶层捕获更多的语言特定信息,并且仅仅微调这些部分就可以实现低资源语言对的良好准确性;(4)当源语言与目标语言相似时(例如,在相同的语言分支中),即使直接训练数据的大小小得多;(5)给定固定的训练数据预算,最好将更多的语言引入到多语言训练中以进行zero-shot翻译。
2019-12-25 cs.CL
University of Cape Town's WMT22 System: Multilingual Machine Translation for Southern African Languages
University of Cape Town(开普敦大学)
本文介绍了开普敦大学提交的WMT 22共享任务的约束轨道:大规模机器翻译评估非洲语言。我们的系统是一个单一的多语言翻译模型,可以在英语和8种南部/东南非洲语言之间以及特定的非洲语言对之间进行翻译。我们使用了几种适用于低资源机器翻译(MT)的技术,包括重叠BPE、反向翻译、合成训练数据生成以及在训练期间添加更多翻译方向。我们的研究结果显示了这些技术的价值,特别是在很少或没有双语训练数据的方向。
2022-10-21 cs.CL
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research(谷歌研究院)
最近提出的大规模多语言神经机器翻译(NMT)系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中,我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性,这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT(mBERT)进行比较,并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
University of Pennsylvania(宾夕法尼亚大学);Microsoft(微软)
提出两阶段方法EcXTra,通过多语言微调与反向翻译训练单一NMT模型,实现未见语言与英语间的双向无监督翻译,在7种低资源语言上取得竞争性表现并刷新英译哈萨克语纪录。
2023-04-03 cs.CL
Breaking Down Multilingual Machine Translation
Carnegie Mellon University(卡内基梅隆大学);The University of Tokyo(东京大学)
虽然多语言训练现在是机器翻译(MT)系统中的一个重要组成部分,但最近的工作表明,它在不同的多语言环境中具有不同的效果,例如多对一,一对多和多对多学习。这些训练设置将编码器和解码器暴露在具有不同数据分布的机器翻译模型中。在本文中,我们研究了不同种类的多语言训练如何有助于学习MT模型的这两个组成部分。具体来说,我们将双语模型与通过多语言训练初始化的编码器和/或解码器进行比较。我们表明,多语言训练一般有利于编码器,而它只有利于低资源语言(LRL)的解码器。我们进一步发现每个语言对的重要注意力,并在推理过程中比较它们的相关性。我们的分析揭示了多语言翻译模型的工作原理,并使我们能够提出通过使用高度相关的语言进行训练来提高性能的方法。我们针对高资源语言的多对一模型和针对LRL的一对多模型优于Aharoni等人(2019)报告的最佳结果。
2022-04-03 cs.CL
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations
University of Edinburgh(爱丁堡大学)
来自语言类型学数据库的稀疏语言向量和来自多语言机器翻译等任务的学习嵌入已经被孤立地研究,而没有分析它们如何从彼此的语言特征中受益。我们建议使用奇异向量典型相关分析来融合这两种观点,并研究从每个来源诱导出什么样的信息。通过推断类型学特征和语言同源性,我们观察到我们的表征嵌入类型学,并加强与语言关系的相关性。然后,我们利用我们的多视图语言向量空间进行多语言机器翻译,在需要语言相似性信息的任务中,我们实现了具有竞争力的整体翻译准确性,例如语言聚类和多语言转换的候选人排名。使用我们的方法,这也是作为一种工具发布的,我们可以很容易地项目和评估新的语言,而无需昂贵的大量多语言或排名模型的重新训练,这是相关方法的主要缺点。
2020-10-25 cs.CL
Tencent's Multilingual Machine Translation System for WMT22 Large-Scale African Languages
Tencent AI Lab(腾讯人工智能实验室)
本文介绍了腾讯为WMT 22非洲语言大规模机器翻译评估共享任务开发的多语种机器翻译系统。我们参加了$\mathbf{constrained}$翻译跟踪,其中只允许组织者提供的数据和预训练模型。该任务是具有挑战性的,由于三个问题,包括缺乏训练数据的一些待评估的语言对,数据不平衡导致的语言对的不均匀优化,和多语言的诅咒。为了解决这些问题,我们采用数据增强,分布鲁棒优化,和语言族分组,分别开发我们的多语言神经机器翻译(MNMT)模型。我们提交的作品在盲测集的自动评估指标方面赢得了$\mathbf{1st\ place}$。代码、模型和详细的竞赛结果可在https://github.com/wxjiao/WMT2022-Large-Scale-African上获得。
2022-10-18 cs.CL
Using Machine Translation to Augment Multilingual Classification
GumGum(GumGum公司)
本文研究利用机器翻译生成跨语言标注数据以微调多语言分类器,并引入源自图像字幕领域的损失技术缓解翻译数据负面影响,实验证明其可带来性能提升。
2024-05-09 cs.CL
A neural interlingua for multilingual machine translation
Amazon Inc.(亚马逊公司)
我们将一个显式的神经中间语言的多语言编码器-解码器神经机器翻译(NMT)架构。我们证明,我们的模型通过执行直接零镜头翻译(zero-shot translation)(不使用枢轴翻译)以及使用源句子嵌入来创建英语Yelp评论分类器来学习独立于语言的表示,该分类器通过神经中介语,也可以对法语和德语评论进行分类。此外,我们表明,尽管使用的参数数量比双语NMT模型的成对集合少,但我们的方法在WMT 15中为每个语言对产生了可比的BLEU分数。
2018-10-16 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University(大阪大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
本文针对纯注意神经机器翻译(NMT)模型,提出了两种新的领域自适应方法,Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调,这是已知的是非常有效的领域自适应的黑箱方法相结合。此外,我们将多语言纳入领域自适应框架。实验表明,多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译,并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室);Facebook AI(脸书人工智能);Naver Labs Europe(Naver欧洲实验室)
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数,并在层之间注入轻量级模块,从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时,本文提出了多语言语音翻译(ST)适配器的全面分析。从不同的预训练模型开始(在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART(mBART)),我们表明适配器可用于:(a)以参数方面的低额外成本将ST有效地专门化为特定语言对,以及(b)从自动语音识别(ASR)任务和mBART预训练模型转换为多语言ST任务。实验表明,适配器调整提供了与完全微调相竞争的结果,同时参数效率更高。
2021-07-12 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);MMT Srl(MMT有限公司)
最近,神经机器翻译(NMT)已经扩展到多语言,即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是,在低资源环境中,它被证明是有效和高效的,这要归功于跨语言强制共享的表征空间,并诱导了一种迁移学习。此外,多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大,但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此,我们的工作(i)提供了双语,多语言和zero-shot系统产生的翻译的定量和比较分析;(ii)研究了MT中目前占主导地位的两种神经结构的翻译质量,这两种结构是递归的和Transformer的;(iii)定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑,并重点关注自动标准度量(BLEU和TER)和广泛使用的错误类别,即词汇,词法和词序错误。
2018-06-20 cs.CL
Learning Language Specific Sub-network for Multilingual Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室)
多语言神经机器翻译旨在学习多种语言的单一翻译模型。这些联合训练的模型通常会在资源丰富的语言对上性能下降。我们把这种退化归因于参数干扰。在本文中,我们提出了LaSS联合训练一个统一的多语言MT模型。LaSS为每个语言对学习语言特定子网络(LaSS)以对抗参数干扰。在具有各种Transformer架构的IWSTs和WMT数据集上的综合实验表明,LaSS在36种语言对上获得了高达1.2 BLEU的增益。此外,LaSS在易于扩展到新的语言对和zero-shot翻译方面表现出了很强的泛化性能,LaSS在30个语言对上的平均BLEU为8.3,提高了zero-shot翻译。代码和训练模型可在https://github.com/NLP-Playground/LaSS上获得。
2021-07-23 cs.CL
Controlling Translation Formality Using Pre-trained Multilingual Language Models
University of Maryland(马里兰大学)
本文介绍了马里兰大学提交给\iwslt的口语翻译形式控制特别任务,该任务评估了从英语到6种语言的翻译,这些语言具有不同的语法形式标记。我们调查在何种程度上可以解决这个问题的\textit{single multilingual model},同时控制其输出的目标语言和正式。实验结果表明,该策略可以达到专用翻译模型所能达到的翻译质量和形式控制的效果。然而,底层预训练语言模型和微调样本的性质极大地影响结果。
2022-05-13 cs.CL
Can Domains Be Transferred Across Languages in Multi-Domain Multilingual Neural Machine Translation?
Monash University(莫纳什大学);eBay Inc.(易贝公司)
以前的工作主要集中在神经机器翻译(NMT)的多语言或多领域方面。本文研究了多领域多语言NMT组合中领域信息能否跨语言传递的问题,特别是在某些语言对缺少领域内双文本的不完全数据情况下。我们在策展的leave-one-domain-out实验中的结果表明,多域多语言(MDML)NMT可以将zero-shot翻译性能提高到BLEU的+10增益,并有助于将多域NMT推广到缺失的域。我们还探索了有效整合多语言和多领域NMT的策略,包括语言和领域标签组合以及辅助任务训练。我们发现,学习领域感知表示和添加目标语言标签的编码器导致有效的MDML-NMT。
2022-10-20 cs.CL
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型,提高了翻译质量,超过了双语基线。然而,这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明,双语翻译使用深度编码器和浅层解码器(DESD)可以减少推理延迟,同时保持翻译质量,因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现,对于多对一的翻译,我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度,但对于一对多的翻译,浅解码器会导致明显的质量下降。为了改善这种下降,我们提出了一个深编码器与多个浅解码器(DEMSD),其中每个浅解码器负责目标语言的不相交子集。具体而言,与标准Transformer模型相比,具有2层解码器的DEMSD模型能够获得平均1.8倍的加速,而不会降低翻译质量。
2022-06-05 cs.CL
Synergy with Translation Artifacts for Training and Inference in Multilingual Tasks
KAIST(韩国科学技术院)
翻译在提高多语言任务的性能方面发挥了至关重要的作用:(1)从源语言数据生成目标语言数据用于训练,以及(2)从目标语言数据生成源语言数据用于推理。然而,以前的作品没有考虑同时使用这两种翻译。本文表明,将它们结合起来可以协同各种多语言句子分类任务的结果。实证研究发现,译者风格化的翻译产物是影响翻译效果的主要因素。基于此分析,我们采用了两种训练方法,SupCon和MixUp,考虑翻译工件。此外,我们提出了一个跨语言微调算法称为MUSC,它使用SupCon和MixUp联合,提高了性能。我们的代码可在https://github.com/jongwooko/MUSC上获得。
2022-10-18 cs.CL
Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation
Google Research(谷歌研究院)
神经机器翻译(NMT)在过去几年中发展迅速,现代模型能够仅使用单语文本数据实现相对较高的质量,这种方法被称为无监督机器翻译(UNMT)。然而,这些模型仍然在各种各样的方面挣扎,包括对人类来说最简单的翻译方面-例如,正确翻译普通名词。这项工作探索了一种廉价而丰富的资源来解决这个问题:双语词汇。我们在真实世界的设置中测试了双语词典的功效,在网络抓取文本上训练了200种语言的翻译模型。我们提出了几个发现:(1)使用词汇数据增强,我们证明了无监督翻译的可观性能增益;(2)我们比较了几个数据增强家族,证明它们产生了类似的改进,并且可以组合以获得更大的改进;(3)我们证明了精心策划的词汇相对于更大,更嘈杂的词汇的重要性,特别是对于更大的模型;(4)比较了多语种词典数据和人工翻译的平行数据的有效性。最后,我们开源了GATITOS(可在https://github.com/google-research/url-nlp/tree/main/gatitos获得),这是一个新的多语言词典,适用于26种低资源语言,在我们的实验中,它在所有词典中表现最好。
2023-03-27 cs.AI cs.CL cs.LG
Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task
Microsoft Corporation(微软公司)
本报告介绍了微软的机器翻译系统,用于WMT 21大规模多语言机器翻译共享任务。我们参加了所有三个评估轨道,包括大轨道和两个小轨道,其中前一个是不受约束的,后两个是完全受约束的。我们向共享任务提交的模型使用DeltaLM \footnote{\url{https://aka.ms/deltalm}}初始化,这是一种通用的预训练多语言编码器-解码器模型,并根据跟踪设置使用大量收集的并行数据和允许的数据源进行相应的微调,同时应用渐进学习和迭代反向翻译方法来进一步提高性能。我们最终提交的作品在自动评估指标方面在三个轨道上排名第一。
2021-11-03 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University(首尔大学);Microsoft Research Asia(微软亚洲研究院)
针对多语言机器翻译中的性别偏见,提出目标语言无关的性别感知对比学习(GACL),通过微调预训练模型提升性别准确性且不损害翻译性能,并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models
Baidu Inc.(百度公司)
本文提出跨语言一致性正则化XConST,通过改进微调提示策略,提升大型语言模型在多对多多语言翻译中的零样本翻译性能。
2024-02-07 cs.CL
Life-long Learning for Multilingual Neural Machine Translation with Knowledge Distillation
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Fanyu AI Research, Beijing Fanyu Technology Ltd.(北京凡语科技有限公司凡语人工智能研究院)
多语言神经机器翻译(MNMT)的一个常见场景是每个翻译任务以顺序的方式到达,并且先前任务的训练数据不可用。在这种情况下,目前的方法严重遭受灾难性遗忘(CF)。为了缓解CF,我们研究了基于知识蒸馏的终身学习方法。具体而言,在一个tomany场景中,我们提出了一种多语言蒸馏方法,使新模型(学生)共同学习旧模型(教师)和新任务的多语言输出。在多对一的情况下,我们发现直接蒸馏面临极端的部分蒸馏问题,我们提出了两种不同的方法来解决它:伪输入蒸馏和反向教师蒸馏。在12个翻译任务上的实验结果表明,该方法能更好地巩固已有知识,并能显著地降低错误率。
2022-12-06 cs.CL
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(卓越人类语言技术中心)
本文通过内在维度和IsoScore分析双语与多语言翻译模型的表征几何差异,发现多语言解码器表征各向同性更低且占用维度更少,其各向异性源于建模特定语言信息,进而限制了表征容量。
2024-03-26 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
为了提高神经机器翻译(NMT)在低资源语言(LRL)上的性能,一个有效的策略是利用相关高资源语言(HRL)的并行数据。然而,已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中,我们的目标是提高多语言传输的NMT模型,翻译\emph{into}的LRL的有效性,通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE},我们提出Decompression,一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明,Deconstruct在从英语翻译到四种不同语言时,可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Building Multilingual Machine Translation Systems That Serve Arbitrary X-Y Translations
Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
多语言神经机器翻译(MNMT)使一个系统能够将多个源语言的句子翻译成多个目标语言,与传统的双语系统相比,大大降低了部署成本。然而,MNMT培训的好处往往局限于多对一的方向。该模型在zero-shot设置下的一对多和多对多性能较差。为了解决这个问题,本文讨论了如何实际构建MNMT系统,该系统可以提供任意X-Y翻译方向,同时利用多语言性,并采用预训练和微调的两阶段训练策略。通过对WMT'21多语言翻译任务的实验,我们证明了我们的系统在大多数方向上都优于直接双语模型和枢轴翻译模型的传统基线,平均给出+6.0和4.1 BLEU,而无需更改架构或收集额外的数据汇集。此外,我们还研究了我们提出的方法,在一个非常大规模的数据设置,以适应实际的部署方案。
2022-06-30 cs.AI cs.CL
Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));ByteDance Research(字节跳动研究院);Damo Academy, Alibaba(阿里巴巴达摩院)
本文提出M-DAT方法,利用无需知识蒸馏的有向无环Transformer实现高效多语言非自回归机器翻译,并通过枢轴回译提升对未见翻译方向的泛化能力,取得最先进性能。
2025-02-06 cs.CL
Competence-based Curriculum Learning for Multilingual Machine Translation
Peking University(北京大学);Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯公司微信人工智能模式识别中心)
目前,多语言机器翻译正受到越来越多的关注,因为它为低资源语言(LRL)带来了更好的性能,并节省了更多的空间。然而,现有的多语种机器翻译模型面临着一个严峻的挑战:不平衡。因此,不同语言在多语言翻译模型中的翻译性能差异很大。我们认为,这种不平衡的问题源于不同的语言学习能力的不同。因此,我们着眼于平衡不同语言的学习能力,提出了基于能力的多语种机器翻译课程学习,命名为CCL-M。具体来说,我们首先定义了两种能力来帮助安排高资源语言(HRL)和低资源语言:1)自我评估能力,评估语言本身的学习情况; 2)HRL评估能力,根据HRL的自我评估能力评估LRL是否准备好学习。基于上述能力,我们利用所提出的CCL-M算法,以课程学习的方式逐渐将新的语言添加到训练集中。此外,我们提出了一种新的竞争力的动态平衡抽样策略,更好地选择训练样本的多语言训练。实验结果表明,我们的方法已经取得了稳定和显着的性能增益相比,以前的国家的最先进的方法在TED会谈数据集。
2021-09-09 cs.CL
Multilingual Unsupervised Neural Machine Translation with Denoising Adapters
University of Groningen(格罗宁根大学);NAVER LABS Europe(NAVER LABS 欧洲)
我们考虑的问题,多语言无监督机器翻译,翻译和语言,只有单语数据使用辅助并行语言对。对于这个问题,到目前为止,利用单语数据的标准过程是反向翻译,这是计算成本高,难以调整。在本文中,我们建议在预训练的mBART-50之上使用去噪适配器,具有去噪目标的适配器层。除了这种方法的模块化和灵活性之外,我们还证明了所产生的翻译与BLEU测量的反向翻译相当,而且它允许增量地添加看不见的语言。
2021-10-20 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town(开普敦大学)
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响,发现子词正则化促进多语言建模协同,BPE更利于跨语言微调,并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
Multilingual Transfer Learning for QA Using Translation as Data Augmentation
IBM Research AI Thomas J. Watson Research Center(IBM研究AI托马斯·J·沃森研究中心)
之前关于多语言问答的工作主要集中在使用大型多语言预训练语言模型(LM)来执行zero-shot语言学习:训练英语QA模型并测试其他语言。在这项工作中,我们探索的策略,提高跨语言迁移,使多语言嵌入更接近的语义空间。我们的第一个策略是用机器翻译生成的数据来增强原始的英语训练数据。这导致多语言银标记QA对的语料库比原始训练集大14倍。此外,我们提出了两种新的策略,语言对抗训练和语言仲裁框架,显着提高(零资源)跨语言迁移的性能,并导致LM嵌入的语言变量较少。从经验上讲,我们表明,所提出的模型优于以前的zero-shot基线上最近推出的多语言MLQA和TyDiQA数据集。
2020-12-10 cs.CL