Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
低资源语言中的数据稀缺已经成为构建强大的神经机器翻译系统的瓶颈。微调多语言预训练模型（例如，mBART（Liu等人，2020年））是一个很好的方法，用于低资源语言;然而，当翻译对中有看不见的语言时，它的性能将受到极大的限制。在本文中，我们提出了一个mBART的持续预训练（CPT）框架，以有效地适应看不见的语言。我们首先从翻译对中目标语言的单语语料库中构建噪声混合语言文本，以覆盖源语言和目标语言，然后，我们继续预训练mBART来重建原始单语文本。结果表明，我们的方法可以在mBART基线以及其他强基线上，在所有测试的包含未见过语言的低资源翻译对中持续提高微调性能。此外，我们的方法还提高了翻译对的性能，其中两种语言都可以在原始mBART的预训练中看到。该代码可在https://github.com/zliucr/cpt-nmt上获得。
2021-05-09 cs.AI cs.CL
Improving Low-Resource Machine Translation via Round-Trip Reinforcement Learning
MBZUAI Masdar City（MBZUAI马斯达尔城）
本文提出通过往返强化学习提升低资源机器翻译，利用NLLB模型进行往返训练，结合chrF++和BLEU作为奖励函数，提升多语言翻译的流畅性和语义准确性。
2026-03-17 cs.AI cs.CL
Low-resource Machine Translation: what for? who for? An observational study on a dedicated Tetun language translation service
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息学院）；Instituto Nacional de Linguística, Dili（迪利国家语言研究所）；The Australian National University（澳大利亚国立大学）
通过分析 tetun$.$org 的 100,000 条请求，研究揭示 Tetun 用户多为移动端学生且需求集中于高资源语言到 Tetun 的教育等领域翻译，为低资源 MT 开发提供真实需求依据。
2025-04-02 cs.AI cs.CL
Crowdsourced Phrase-Based Tokenization for Low-Resourced Neural Machine Translation: The Case of Fon Language
Jacobs University Bremen（雅各布大学不来梅）；Technical University of Munich（慕尼黑工业大学）
为资源非常贫乏且形态丰富的非洲土著语言构建有效的神经机器翻译（NMT）模型是一个开放的挑战。除了为它们找到可用资源的问题外，还需要进行大量的预处理和标记化工作。最近的研究表明，标准的标记化方法并不总是能够充分处理某些非洲语言的语法、变音和音调属性。再加上训练样本的可用性极低，阻碍了可靠的NMT模型的产生。在本文中，使用Fon语言作为案例研究，我们重新审视了标准的标记化方法，并引入了基于单词表达式（WEB）的标记化，这是一种人工参与的超词标记化策略，可以创建更好的代表性词汇进行训练。此外，我们将我们的标记化策略与其他人在Fon-French和French-Fon翻译任务上进行了比较。
2021-03-17 cs.AI cs.CL
Translation as a Decision Space: A Multi-Agent Perspective on Low-Resource Dialect Generation
Sakarya University（萨卡里亚大学）；TU Clausthal（克劳斯塔尔工业大学）；University of Luxembourg（卢森堡大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
该研究将翻译视为多智能体探索的决策空间，针对土耳其语-叙利亚阿拉伯语翻译开展实证研究，提出可解释低资源方言生成的框架，轻量稳定化可提升方言标记使用量并降低结构不稳定性。
2026-09-04 cs.AI cs.CL
Neural Machine Translation For Low Resource Languages
Nanyang Technological University（南洋理工大学）；CodeAssist, Inc.（CodeAssist公司）
本文研究低资源语言神经机器翻译，基于 mBART 模型并结合回译与迁移学习等技术进行增强，以构建达到最先进性能的翻译模型。
2023-04-18 cs.AI cs.CL
The Low-Resource Double Bind: An Empirical Study of Pruning for Low-Resource Machine Translation
Masakhane NLP（Masakhane自然语言处理）；Google Research（谷歌研究院）；Google Research, Brain（谷歌研究院大脑团队）
深度神经网络中参数数量的“越大越好”爆炸使得在计算受限的环境中访问最先进的网络变得越来越具有挑战性。压缩技术作为弥合这一差距的一种方式，具有新的重要性。然而，流行的压缩技术所带来的权衡评估一直集中在高资源数据集。在这项工作中，我们反而考虑在数据有限的制度压缩的影响。我们引入术语低资源双重绑定来指代数据限制和计算资源约束的同时出现。这是低资源语言的NLP的常见设置，但对性能的权衡研究很少。我们的工作为机器翻译的任务提供了令人惊讶的见解，在数据有限的制度能力和泛化之间的关系。我们的实验幅度修剪翻译从英语到约鲁巴语，豪萨语，伊博语和德语表明，在低资源制度，稀疏保留频繁的句子的性能，但有不同的影响不频繁的。然而，它提高了对分布偏移的鲁棒性，特别是对于与训练分布非常不同的数据集。我们的研究结果表明，稀疏性可以发挥有益的作用，抑制记忆的低频属性，因此提供了一个有前途的解决方案，低资源的双重束缚。
2021-10-06 cs.AI cs.CL
Attention based Sequence to Sequence Learning for Machine Translation of Low Resourced Indic Languages -- A case of Sanskrit to Hindi
Chhotubhai Gopalbhai Patel Institute of Technology, Uka Tarsadia University（乌卡·塔萨迪亚大学乔图巴伊·戈帕尔巴伊·帕特尔理工学院）；Babumadhav Institute of Information Technology, Uka Tarsadia University（乌卡·塔萨迪亚大学巴布马德哈夫信息技术学院）
深度学习技术在模拟人类解决特定问题方面非常强大。他们在复杂的学习任务中表现出色。受深度学习启发的神经机器翻译（NMT）是一种优于传统机器翻译的熟练技术。考虑到印度语言丰富多样的语法，对印度语言进行机器辅助翻译一直是一项具有挑战性的任务。与传统的机器翻译方法相比，神经机器翻译已经显示出高质量的结果。全自动机器翻译在处理低资源语言时会出现问题，尤其是梵文。本文提出了一种基于注意注意力机制的神经机器翻译，在翻译过程中有选择地关注语言句子的特定部分。该工作展示了具有近10 K样本和178，000个标记的梵语到印地语双语平行语料库的构建。在梵语-印地语平行语料库上训练了具有注意力机制的神经翻译模型。这种方法显示了注意力机制的重要性，以克服长期的依赖关系，主要是与低资源的印度语。本文在测试数据上显示了注意力图，以证明源词和译文词之间的对齐。对于翻译句子的评价，采用了基于人工评分的人工评价和基于自动评价指标的技术。基于注意力机制的神经翻译在人类评估中达到了88%的准确率，在梵语到印地语的翻译中BLEU得分为0.92。
2021-09-07 cs.AI cs.CL
The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation
Brandeis University（布兰迪斯大学）
该研究针对低资源神经机器翻译场景，对比BPE与LMVR、MORSEL等基于形态学的子词分词方法在英-尼、英-僧、英-哈翻译任务中的表现，发现不同分词方法无一致可靠的性能差异，最优方法随任务变化且统计上常无显著区别。
2021-03-20 cs.AI cs.CL
From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）
神经机器翻译模型缺乏大规模的并行语料库。相比之下，我们人类通过将我们的语言与外部世界联系起来，即使没有平行文本，也可以学习多语言翻译。为了模仿这种人类学习行为，我们使用图像作为支点来实现零资源翻译学习。然而，一张图片告诉一千个单词，这使得由同一图像旋转的多语言句子像相互翻译一样嘈杂，从而阻碍了翻译模型学习。在这项工作中，我们提出了一个渐进的学习方法，图像为中心的零资源机器翻译。由于基于图像的单词多样性较低，因此我们首先使用图像枢轴学习单词级翻译，然后通过利用学习的单词翻译来抑制图像枢轴多语言句子中的噪声来学习单词级翻译。在IAPR-TC 12和Multi 30 k两个常用的图像枢轴平移数据集上的实验结果表明，该方法的性能明显优于其他最先进的方法。
2019-06-03 cs.AI cs.CL cs.CV
Zero-Resource Translation with Multi-Lingual Neural Machine Translation
Middle East Technical University（中东技术大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；New York University（纽约大学）
在本文中，我们提出了一种新的微调算法，最近推出的多路，多语言神经机器翻译，使零资源机器翻译。当与新颖的多对一翻译策略一起使用时，我们的经验表明，这种微调算法允许多路多语言模型翻译零资源语言对（1）以及用相同语言对的多达1M个直接平行句子训练的单对神经翻译模型（2）优于基于机器翻译的翻译策略，同时仅保留注意力相关参数的一个附加副本。
2016-06-13 cs.CL
Language Graph Distillation for Low-Resource Machine Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于缺乏双语句子对，低资源语言上的神经机器翻译具有挑战性。以前的作品通常解决低资源的翻译问题，在多语言环境中的知识转移。本文提出了语言图的概念，并进一步设计了一种新的图蒸馏算法，该算法通过前向和后向知识蒸馏来提高图中低资源翻译的准确性。在TED演讲多语种数据集上的初步实验证明了该方法的有效性。具体来说，我们在BLEU得分方面将低资源翻译对提高了3.13分以上。
2019-08-17 cs.CL
Generalized Data Augmentation for Low-Resource Translation
Carnegie Mellon University（卡内基梅隆大学）
低资源语言LRL之间的互译对机器翻译在充分性和流畅性方面提出了挑战。利用大量单语数据的数据增强被认为是缓解这些问题的有效途径。在本文中，我们提出了一个通用的框架，在低资源的机器翻译，不仅使用目标方单语数据，但也通过相关的高资源语言HRL的枢轴数据增强。具体来说，我们尝试使用两步旋转方法将高资源数据转换为LRL，利用可用资源更好地近似LRL的真实数据分布。首先，我们注入LRL词HRL句子通过诱导双语词典。其次，我们使用修改后的无监督机器翻译框架进一步编辑这些修改后的句子。在四个低资源数据集上进行的大量实验表明，在极端低资源设置下，与有监督的反向翻译基线相比，我们的数据增强技术将翻译质量提高了约1.5到约8个BLEU点
2019-06-10 cs.CL
UM4: Unified Multilingual Multiple Teacher-Student Model for Zero-Resource Neural Machine Translation
Microsoft Research（微软研究院）；Tencent Cloud（腾讯云）；Beihang University（北京航空航天大学）
语言间的翻译任务大多属于零资源翻译问题，在这种情况下，平行语料库不可用。多语言神经机器翻译（MNMT）与两遍枢轴翻译相比，可以使用所有语言的共享语义空间进行一遍翻译，但通常表现不佳。在本文中，我们提出了一种新的方法，命名为统一的多语言多师生模型NMT（UM 4）。我们的方法统一了源教师，目标教师，并指导学生模型的零资源翻译的教师模型。源语教师和译语教师通过源语和译语双方的知识精华迫使学生学习直接源语到译语的翻译。单语语料库被进一步利用的教师-教师模型，以提高学生模型。实验结果表明，我们的72个方向的模型显着优于以前的方法在WMT基准。
2022-08-24 cs.AI cs.CL cs.LG
Survey of Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Inria（法国国家信息与自动化研究所）
我们提出了一个调查，涵盖了最先进的低资源机器翻译的研究。目前世界上大约有7000种语言，几乎所有的语言对都缺乏用于训练机器翻译模型的重要资源。当只有很少的翻译后的训练数据可用时，解决产生有用的翻译模型的挑战的研究已经引起了越来越多的兴趣。我们提出了这个专题研究领域的总结，并提供了一个描述的技术评估的研究人员在最近的几个共享任务，在低资源MT。
2022-02-07 cs.CL
HLT-MT: High-resource Language-specific Training for Multilingual Neural Machine Translation
Microsoft Research（微软研究院）；Beihang University（北京航空航天大学）
基于多语言对的多语言神经机器翻译（MNMT）具有模型参数少、多语言知识共享、训练成本低等优点，受到了广泛关注。然而，由于不同翻译方向之间的负干扰，特别是在高资源语言上，多语言训练受到共享参数中语言干扰退化的困扰。本文提出了一种多语言翻译模型--高资源特定语言训练模型（HLT-MT），采用两阶段训练和特定语言选择机制来减轻负面干扰。具体来说，我们首先只使用高资源对训练多语言模型，并在解码器的顶部选择语言特定的模块，以提高高资源方向的翻译质量。接下来，该模型在所有可用的语料库上进行进一步训练，以将知识从高资源语言（HRL）转移到低资源语言（LRL）。实验结果表明，HLT-MT在WMT-10和OPUS-100基准测试中优于各种强基线。此外，分析实验验证了我们的方法在减轻多语言训练中的负面干扰的有效性。
2022-07-15 cs.AI cs.CL cs.LG
Simulated Multiple Reference Training Improves Low-Resource Machine Translation
Johns Hopkins University（约翰霍普金斯大学）
对于给定的句子，存在许多有效的翻译，然而机器翻译（MT）是用单个参考翻译训练的，这加剧了低资源设置中的数据稀疏性。我们介绍了模拟多参考训练（SMRT），一种新的MT训练方法，通过从释义者中对参考句子的释义进行采样，并训练MT模型来预测释义者在可能的标记上的分布，从而近似可能翻译的整个空间。我们证明了SMRT在低资源环境下翻译成英语时的有效性，BLEU提高了1.2到7.0。我们还发现SMRT与回译是互补的。
2020-10-13 cs.CL
Neural machine translation for low-resource languages
神经机器翻译（NMT）方法在过去几年中改进了许多机器翻译设置中的现有技术，但是它们需要大量的训练数据来产生合理的输出。我们证明了NMT也可以用于低资源语言，通过引入更多的本地依赖关系和使用单词对齐来学习翻译过程中的句子重排。除了我们的新模型，我们还提出了一个基于低资源短语的统计机器翻译（SMT）和NMT的实证评估，以调查各自的技术的下限。我们发现，虽然SMT仍然是低资源设置的最佳选择，我们的方法可以产生可接受的翻译只有70000令牌的训练数据，基准NMT系统完全失败的水平。
2017-08-18 cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对，情况并非如此，导致翻译质量差。受计算机视觉工作的启发，我们提出了一种新的数据增强方法，该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明，我们的方法比基线提高了2.9个BLEU点，比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）
回译（Back translation，BT）已被广泛应用并成为神经机器翻译（Neural Machine Translation，NMT）中数据增强的标准技术之一，BT已被证明有助于有效提高翻译性能，特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上，但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译（SMT）模型的影响，用于中文到越南语和越南语到中文，基于字符和基于单词的设置。部分地证实了前人工作中的一些结论，并得出了一些有趣的发现和结论，这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University（岐阜大学）
神经机器翻译（NMT）已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而，对于许多语言对，没有丰富的资源平行语料库存在。如本文所述，我们提出了一种语料库增强方法，通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库（ASPEC-JC）进行日汉、汉日翻译的实验结果表明，该方法提高了翻译性能。
2019-05-22 cs.CL
Extremely low-resource machine translation for closely related languages
University of Tartu（塔尔图大学）
一种有效的方法来改善极低资源的神经机器翻译是多语言训练，这可以通过利用单语数据使用反向翻译方法创建合成双语语料库来改善。这项工作的重点是乌拉尔语系的密切相关的语言：从爱沙尼亚和芬兰的地理区域。我们发现，多语言学习和合成语料库提高了我们有数据的每个语言对的翻译质量。我们证明了迁移学习和微调对于进行低资源机器翻译非常有效，并取得了最佳效果。我们收集了新的平行数据Vagrero，北，南萨米语和目前的神经机器翻译这些语言的第一个结果。
2021-05-27 cs.CL
Building a resource for studying translation shifts
本文介绍了一种跨学科的方法，它汇集了语料库语言学和翻译研究领域。它介绍了正在进行的工作，创建一个语料库资源，翻译转移明确注释。翻译移位是指在翻译过程中发生的偏离源文本和目标文本之间的正式对应关系的现象。如果机器翻译的输出与人类翻译相似，那么以系统的方式注释这种转变的资源将使研究需要解决的现象成为可能。本文中描述的资源包含英语源文本（议会议事录）及其德语翻译。移位注释基于谓词-论元结构，并分两步进行：首先，以简单的方式单语注释谓词及其论元。然后，相应的英语和德语谓词和参数彼此对齐。无论何时发生变化（主要是语法或语义上的变化），对齐都会被相应地标记。
2006-06-22 cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)（韩国科学技术大学（UST））；Electronics and Telecommunication Research Institute (ETRI)（电子通信研究院（ETRI））
在机器翻译中，我们经常尝试收集资源以提高性能。然而，大多数语言对，如朝鲜语-阿拉伯语和朝鲜语-越南语，没有足够的资源来训练机器翻译系统。在本文中，我们提出了使用合成方法来扩展低资源语料库，并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子，使目标句子更好，包括使用合成方法。我们发现，语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外，当这两种方法一起使用时，我们发现更好的机器翻译性能。
2018-02-14 cs.CL
Application of Low-resource Machine Translation Techniques to Russian-Tatar Language Pair
Innopolis University（伊诺波利斯大学）
神经机器翻译是当前机器翻译的最新发展。虽然它在资源丰富的环境中是成功的，但它对低资源语言对的适用性仍然存在争议。在本文中，我们探讨了不同的技术，以提高机器翻译质量时，并行语料库是小到324 000句，作为一个例子，以前未开发的俄罗斯-鞑靼语对。我们将迁移学习和半监督学习等技术应用于基础Transformer模型，并实证表明，由此产生的模型分别将俄语到鞑靼语和鞑靼语到俄语的翻译质量提高了+2.57和+3.66 BLEU。
2019-10-01 cs.CL
Transfer Learning for Low-Resource Neural Machine Translation
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Koç University（科奇大学）
神经机器翻译（NMT）的编码器-解码器框架在大数据场景中已经被证明是有效的，但对于低资源语言则不太有效。我们提出了一种迁移学习方法，该方法可以显着提高一系列低资源语言的Bleu分数。我们的核心思想是首先训练一个高资源的语言对（父模型），然后将一些学习到的参数转移到低资源对（子模型）来初始化和约束训练。使用我们的迁移学习方法，我们在四个低资源语言对上将基线NMT模型平均提高了5.6 Bleu。集成和未知词替换增加了另一个2 Bleu，这使得NMT在低资源机器翻译上的性能接近于基于强语法的机器翻译（SBMT）系统，超过了它在一个语言对上的性能。此外，使用迁移学习模型进行重新评分，我们可以将SBMT系统平均提高1.3 Bleu，提高低资源机器翻译的最新水平。
2016-04-08 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh（爱丁堡大学）
中文分词已经进入了深度学习时代，大大减少了特征工程的麻烦。近年来，一些研究者尝试将其作为字符级翻译，进一步简化了模型的设计，但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作，我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术，包括正则化，数据增强，客观加权，迁移学习和集成。与以前的作品相比，我们的低资源的基于简化的方法保持了轻松的模型设计，但在不使用额外的数据的情况下，在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
COMET-QE and Active Learning for Low-Resource Machine Translation
University of Cape Town（开普敦大学）；South African Astronomical Observatory（南非天文台）
主动学习的目的是在资源稀缺时提供最大效益。我们使用COMET-QE，一个无参考的评估指标，选择低资源神经机器翻译的句子。使用斯瓦希里语，基尼亚卢旺达语和西班牙语为我们的实验，我们表明，COMET-QE显着优于两个变种的往返翻译可能性（RTTL）和随机句子选择高达5个BLEU点的20 k句子选择主动学习在30 k基线。这表明，COMET-QE是一个强大的工具，在非常低的资源限制的句子选择。
2022-10-27 cs.CL
A Tulu Resource for Machine Translation
University of Zurich（苏黎世大学）
本文构建首个英语-图鲁语平行数据集，并利用南达罗毗荼语系相关语言资源通过迁移学习训练英-图鲁语机器翻译系统，在不使用平行数据的情况下超越Google Translate 19个BLEU分数。
2024-03-28 cs.CL
Handling Syntactic Divergence in Low-resource Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
尽管神经机器翻译（NMT）在标准基准测试中取得了令人印象深刻的经验成功，但有限的并行数据阻碍了NMT模型在许多语言对中的应用。诸如反向翻译的数据增强方法使得使用单语数据来帮助缓解这些问题成为可能，但是反向翻译本身在极端低资源情况下失败，特别是对于句法不同的语言。在本文中，我们提出了一个简单而有效的解决方案，即目标语言的句子被重新排序，以匹配源的顺序，并作为一个额外的来源，训练时间的监督。通过模拟低资源日语到英语和真实低资源维吾尔语到英语场景的实验，发现与其他半监督替代方案相比有显着改善。
2019-08-30 cs.CL
Bi-Directional Differentiable Input Reconstruction for Low-Resource Neural Machine Translation
University of Maryland（马里兰大学）
我们的目标是通过引入神经机器翻译（NMT）的可区分重建损失，更好地利用在低资源环境中可用的有限数量的并行文本。这种损失将原始输入与通过将翻译假设回译到输入语言中获得的重构输入进行比较。我们利用可微分采样和双向NMT来端到端地训练模型，而不引入额外的参数。这种方法在两个翻译方向上对四种语言对实现了小但一致的BLEU改进，并且优于基于隐藏状态的替代可微重建策略。
2019-04-03 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh（爱丁堡大学）；Saarland University（萨尔兰大学）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
我们描述了在第六届机器翻译会议（WMT 2021）上，萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型，用于冰岛语（is），挪威语-博克马尔语（nb）和瑞典语（sv）之间的翻译。我们采用各种实验方法，包括多语言预训练，回译，微调和集成。在大多数翻译方向上，我们的模型优于其他提交的系统。
2021-09-29 cs.CL
Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation
Zhengzhou University（郑州大学）；Peng Cheng Laboratory（鹏城实验室）
本文研究了深度Transformer翻译模型在CCMT 2022汉泰低资源机器翻译任务中的使用。我们首先探索实验设置（包括BPE合并操作的数量，丢弃概率，嵌入大小等）。对于6层Transformer的低资源场景。考虑到增加层数也会增加对新模型参数的正则化（使用更多层数时也会引入dropout模块），我们采用最高性能设置，但将Transformer的深度增加到24层，以获得更高的翻译质量。我们的工作获得了SOTA在汉泰翻译中的约束评价性能。
2022-12-24 cs.CL
Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning
NAVER；Korea University（高丽大学）；KAIST（韩国科学技术院）；Upstage AI Research（Upstage AI 研究院）
无监督机器翻译利用未配对的单语语料库作为训练数据，已经取得了与有监督机器翻译相当的性能。然而，它仍然受到数据稀缺领域的影响。为了解决这个问题，本文提出了一种新的Meta学习算法的无监督神经机器翻译（UNMT），训练模型，以适应另一个领域，通过只利用少量的训练数据。我们假设域一般知识是处理数据稀缺域的一个重要因素。因此，我们扩展了Meta学习算法，它利用从高资源域学习到的知识，以提高低资源UNMT的性能。我们的模型超过了基于迁移学习的方法高达2-4 BLEU分数。大量的实验结果表明，我们提出的算法适用于快速自适应，并且始终优于其他基线模型。
2021-05-07 cs.AI cs.CL cs.LG
BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation
University of Maryland（马里兰大学）；Facebook AI Research（脸书人工智能研究院）
挖掘的双文本可能包含不完美的翻译，为神经机器翻译（NMT）产生不可靠的训练信号。虽然过滤掉这样的配对可以提高最终的模型质量，但我们认为，在低资源条件下，即使挖掘的数据也是有限的，这是次优的。在我们的工作中，我们建议通过自动编辑来细化挖掘的双文本：给定一个语言xf的句子，以及它的一个可能不完美的翻译xe，我们的模型生成一个修订的版本xf'或xe'，产生一个更等价的翻译对（即，<xf，xe '>或<xf'，xe>）。我们使用一种简单的编辑策略，通过（1）挖掘给定双文本中每个句子的潜在不完美翻译，（2）学习一个模型来重建原始翻译并以多任务方式进行翻译。实验表明，我们的方法成功地提高了5个低资源语言对和10个翻译方向的CCMatrix挖掘的bitext的质量高达~ 8 BLEU点，在大多数情况下，提高了有竞争力的反向翻译基线。
2022-05-30 cs.CL
Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
我们探索了结合双语词典来实现半监督神经机器翻译的方法。传统的反向翻译方法已经在利用目标侧单语数据方面取得了成功。然而，由于回译模型的质量与可用并行语料库的大小有关，因此这可能会对低资源设置中的合成生成的句子产生不利影响。我们提出了一个简单的数据增强技术来解决这两个缺点。我们将广泛使用的双语词典，产生逐字翻译生成合成句子。这会自动扩展模型的词汇表，同时保持高质量的内容。我们的方法在强基线上显示出明显的性能改善。
2020-04-05 cs.CL
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University（查尔斯大学）
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明，使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明，字符级双语模型是非常相似的语言对（加泰罗尼亚语-欧西坦语）的竞争力，但更遥远的对。我们还描述了我们的多任务学习实验，除了文本翻译外，模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Neural Machine Translation for Extremely Low-Resource African Languages: A Case Study on Bambara
Rochester Institute of Technology（罗切斯特理工学院）；Centre National Collaboratif de l’Education en Robotique et en Intelligence Artificielle (RobotsMali)（国家机器人与人工智能教育合作中心（马里机器人））；Google Research（谷歌研究院）；Orange Silicon Valley（奥兰治硅谷）
低资源语言对（神经）机器翻译提出了独特的挑战。我们讨论的情况下，班巴拉，曼德语的训练数据是稀缺的，需要大量的预处理。除了班巴拉语本身的语言情况外，班巴拉语使用者所生活的社会文化背景也对这种语言的自动化处理提出了挑战。在本文中，我们提出了第一个并行数据集的机器翻译的Bambara到英语和法语和第一个基准结果的机器翻译和Bambara。我们讨论了在低资源语言工作的挑战，并提出了策略，以应对低资源机器翻译（MT）的数据稀缺性。
2020-11-10 cs.CL
Exploring Diversity in Back Translation for Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition, and Computation（语言、认知与计算研究所）
本研究提出区分词汇与句法多样性的框架及新指标，实证发现核采样生成反向翻译性能更优，且词汇多样性比句法多样性更重要。
2022-06-01 cs.CL
A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation
Innopolis University（伊诺波利斯大学）
神经机器翻译已经成为大型平行语料库语言对的最新技术。然而，低资源语言的机器翻译的质量还有很多需要改进的地方。有几种方法可以缓解这个问题，例如迁移学习，半监督和无监督学习技术。在本文中，我们回顾了现有的方法，其主要思想是利用单语数据的力量，这与并行相比，通常更容易获得和显着更大的量。
2019-10-01 cs.CL
Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
针对低资源神经机器翻译泛化能力不足的问题，提出Joint Dropout方法，通过用变量替换短语增强组合性，在低资源语言对上显著提升翻译质量，并增强跨领域鲁棒性与适应性。
2023-07-24 cs.CL
Improving Statistical Machine Translation for a Resource-Poor Language Using Related Resource-Rich Languages
Qatar Computing Research Institute（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
我们提出了一种新的语言独立的方法，通过利用资源丰富的语言的相似性，提高资源贫乏的语言的机器翻译。更准确地说，我们改进了从资源贫乏的源语言X_1到资源丰富的语言Y的翻译，给定了包含有限数量的X_1-Y的平行句子的双文本和包含与X_1密切相关的资源丰富的语言X_2的X_2-Y的较大双文本。这是通过利用语言X_1和X_2在拼写、词序和语法方面的词汇重叠和相似性来实现的：（1）我们为资源贫乏的语言改进了单词对齐，（2）我们通过额外的翻译选项进一步增强了它，以及（3）我们通过适当的音译来照顾潜在的拼写差异。印度尼西亚语- >英语使用马来语和西班牙语->英语使用葡萄牙语和假装西班牙语是资源贫乏的评估分别显示了高达1.35和3.37 BLEU点的绝对增益，这是最好的竞争方法的改进，同时使用更少的额外数据。总的来说，我们的方法将必要的“真实训练数据”的数量减少了2- 5倍。
2014-01-23 cs.CL
Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Utopia Analytics
有几种方法可以改进低资源语言的神经机器翻译：单语数据可以通过预训练或数据增强来利用;相关语言对的并行语料库可以通过参数共享或多语言模型中的迁移学习来使用;子词切分和正则化技术可以用于确保词汇的高覆盖率。我们回顾这些方法的上下文中的不对称资源的一对多翻译任务，其中对目标语言相关，一个是一个非常低的资源和其他较高的资源语言。我们在三个人工限制的翻译任务上测试了各种方法-英语到爱沙尼亚语（低资源）和芬兰语（高资源），英语到斯洛伐克语和捷克语，英语到丹麦语和瑞典语-以及一个真实世界的任务，挪威语到北萨米语和芬兰语。实验表明，特别是对预定的多任务学习，去噪自动编码器和子字采样的积极影响。
2020-12-09 cs.CL
Data Augmentation by Concatenation for Low-Resource Translation: A Mystery and a Solution
University of Notre Dame（圣母大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们研究了拼接背后的驱动因素，这是一种简单但有效的低资源神经机器翻译数据增强方法。我们的实验表明，话语语境不太可能是四种语言对的BLEU提高约+1的原因。相反，我们证明，改善来自其他三个因素无关的话语：上下文的多样性，长度的多样性，（在较小程度上）的位置转移。
2021-07-02 cs.CL
Massively Parallel Cross-Lingual Learning in Low-Resource Target Language Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们致力于从资源丰富的语言到资源贫乏的语言的翻译。我们确定的主要挑战是缺乏低资源的语言数据，跨语言迁移的有效方法，以及神经系统中常见的变量绑定问题。我们建立了一个翻译系统，以解决这些挑战，使用八个欧洲语系作为我们的测试场。首先，我们添加源和目标家族标签，并研究家族内和家族间的影响，以实现有效的跨语言迁移。与单家庭多源多目标基线相比，我们使用八个家庭的英语-瑞典语翻译的BLEU评分提高了+9.9。此外，我们发现，对最接近低资源语言的两个相邻家庭进行培训通常就足够了。其次，我们构建了一个消融研究，发现即使目标数据相当少，也可以取得相当好的结果。第三，我们通过建立一个保序命名实体翻译模型来解决变量绑定问题。我们在定性评估中获得了60.6%的准确率，其中我们的翻译在初步研究中类似于人类翻译。
2018-08-25 cs.CL
How effective is Multi-source pivoting for Translation of Low Resource Indian Languages?
Indian Institute of Technology Bombay（印度理工学院孟买分校）；NICT（日本情报通信研究机构）；IIT Madras（印度理工学院马德拉斯分校）
本文针对低资源印度语言机器翻译问题，探索结合源语句与枢轴语句的多源枢轴翻译方法，实验发现该方法较现有最优仅获边际提升，但可通过合成目标语数据增强效果，为低资源翻译提供了有前景的方向。
2024-06-19 cs.CL
Revisiting Low-Resource Neural Machine Translation: A Case Study
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下明显下降，表现不如基于短语的统计机器翻译（PBSMT），并且需要大量辅助数据才能实现有竞争力的结果。在本文中，我们重新评估这些结果的有效性，认为它们是缺乏系统适应低资源环境的结果。我们讨论了在训练低资源NMT系统时需要注意的一些陷阱，以及最近在低资源环境中特别有用的技术，从而为低资源NMT提供了一套最佳实践。在我们的实验中，德语-英语与不同数量的IWSLT 14训练数据，我们表明，在不使用任何辅助单语或多语言数据，优化的NMT系统可以优于PBSMT与远少于以前声称的数据。我们还将这些技术应用于低资源的韩语-英语数据集，超过了以前报道的结果4 BLEU。
2019-05-28 cs.CL
Investigating Neural Machine Translation for Low-Resource Languages: Using Bavarian as a Case Study
University of Regensburg（雷根斯堡大学）；Information Science（信息科学学院）
本研究以巴伐利亚语为案例，针对低资源语言数据稀缺等问题，采用回译、迁移学习及文本预处理等方法构建德-巴伐利亚语翻译系统，经多指标评估验证回译可显著提升性能，并分析了系统错误与局限。
2024-04-12 cs.CL
Pretraining Strategies using Monolingual and Parallel Data for Low-Resource Machine Translation
AIMS Senegal（塞内加尔AIMS）
该研究针对低资源语言林加拉语，基于Reid和Artetxe的预训练方法，探索多语言融合、单语与平行数据并用的预训练策略，证实其能显著提升翻译质量，为缩小高低资源语言翻译性能差距、构建普惠NLP模型提供参考，代码与数据集（部分除外）已公开。
2025-10-29 cs.CL
Reflective Translation: Improving Low-Resource Machine Translation via Structured Self-Reflection
Independent Researcher（独立研究者）
本文提出反思性翻译框架，通过结构化自我反思提升低资源语言的机器翻译质量，实验表明其在BLEU和COMET评分上均有显著提升。
2026-01-27 cs.CL
Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation
University of Notre Dame（圣母大学）
我们提出了一种简单的方法，使用来自相关的低资源语言对的并行数据来改进低资源语言对的神经翻译。该方法基于Zoph等人的转移方法，但是他们的方法忽略了任何源词汇的重叠，我们的方法利用了这一点。首先，我们使用字节对编码（BPE）来分割单词，以增加词汇的重叠。然后，我们在第一语言对上训练一个模型，并将其参数（包括其源词嵌入）转移到另一个模型，并继续在第二语言对上训练。我们的实验表明，迁移学习对基于单词的翻译只有轻微的帮助，但当在更强的BPE基线上使用时，它会产生高达4.3 BLEU的更大改进。
2017-09-21 cs.CL
A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations
SCTR’s Pune Institute of Computer Technology（SCTR浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本文针对英语-马拉地语低资源机器翻译中数据噪声问题，提出基于IndicSBERT跨语言句子表示的数据过滤方法，通过语义等价性评估筛选训练数据，显著提升了翻译质量，并为其他低资源语言翻译任务提供了可借鉴的框架。
2024-09-04 cs.CL cs.LG
The Saturation Point of Backtranslation in High Quality Low Resource English Gujarati Machine Translation
Independent Researcher（独立研究者）
本文使用 MBART50 模型研究高质量低资源英语-古吉拉特语机器翻译中回译的有效性，发现添加过滤后的回译合成数据未能提升翻译性能，反而可能导致饱和或轻微下降，表明回译在此类特定低资源场景中存在边际收益递减。
2025-06-12 cs.AI cs.CL cs.LG
