Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对，情况并非如此，导致翻译质量差。受计算机视觉工作的启发，我们提出了一种新的数据增强方法，该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明，我们的方法比基线提高了2.9个BLEU点，比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）
回译（Back translation，BT）已被广泛应用并成为神经机器翻译（Neural Machine Translation，NMT）中数据增强的标准技术之一，BT已被证明有助于有效提高翻译性能，特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上，但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译（SMT）模型的影响，用于中文到越南语和越南语到中文，基于字符和基于单词的设置。部分地证实了前人工作中的一些结论，并得出了一些有趣的发现和结论，这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University（岐阜大学）
神经机器翻译（NMT）已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而，对于许多语言对，没有丰富的资源平行语料库存在。如本文所述，我们提出了一种语料库增强方法，通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库（ASPEC-JC）进行日汉、汉日翻译的实验结果表明，该方法提高了翻译性能。
2019-05-22 cs.CL
Extremely low-resource machine translation for closely related languages
University of Tartu（塔尔图大学）
一种有效的方法来改善极低资源的神经机器翻译是多语言训练，这可以通过利用单语数据使用反向翻译方法创建合成双语语料库来改善。这项工作的重点是乌拉尔语系的密切相关的语言：从爱沙尼亚和芬兰的地理区域。我们发现，多语言学习和合成语料库提高了我们有数据的每个语言对的翻译质量。我们证明了迁移学习和微调对于进行低资源机器翻译非常有效，并取得了最佳效果。我们收集了新的平行数据Vagrero，北，南萨米语和目前的神经机器翻译这些语言的第一个结果。
2021-05-27 cs.CL
Building a resource for studying translation shifts
本文介绍了一种跨学科的方法，它汇集了语料库语言学和翻译研究领域。它介绍了正在进行的工作，创建一个语料库资源，翻译转移明确注释。翻译移位是指在翻译过程中发生的偏离源文本和目标文本之间的正式对应关系的现象。如果机器翻译的输出与人类翻译相似，那么以系统的方式注释这种转变的资源将使研究需要解决的现象成为可能。本文中描述的资源包含英语源文本（议会议事录）及其德语翻译。移位注释基于谓词-论元结构，并分两步进行：首先，以简单的方式单语注释谓词及其论元。然后，相应的英语和德语谓词和参数彼此对齐。无论何时发生变化（主要是语法或语义上的变化），对齐都会被相应地标记。
2006-06-22 cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)（韩国科学技术大学（UST））；Electronics and Telecommunication Research Institute (ETRI)（电子通信研究院（ETRI））
在机器翻译中，我们经常尝试收集资源以提高性能。然而，大多数语言对，如朝鲜语-阿拉伯语和朝鲜语-越南语，没有足够的资源来训练机器翻译系统。在本文中，我们提出了使用合成方法来扩展低资源语料库，并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子，使目标句子更好，包括使用合成方法。我们发现，语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外，当这两种方法一起使用时，我们发现更好的机器翻译性能。
2018-02-14 cs.CL
Application of Low-resource Machine Translation Techniques to Russian-Tatar Language Pair
Innopolis University（伊诺波利斯大学）
神经机器翻译是当前机器翻译的最新发展。虽然它在资源丰富的环境中是成功的，但它对低资源语言对的适用性仍然存在争议。在本文中，我们探讨了不同的技术，以提高机器翻译质量时，并行语料库是小到324 000句，作为一个例子，以前未开发的俄罗斯-鞑靼语对。我们将迁移学习和半监督学习等技术应用于基础Transformer模型，并实证表明，由此产生的模型分别将俄语到鞑靼语和鞑靼语到俄语的翻译质量提高了+2.57和+3.66 BLEU。
2019-10-01 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh（爱丁堡大学）
中文分词已经进入了深度学习时代，大大减少了特征工程的麻烦。近年来，一些研究者尝试将其作为字符级翻译，进一步简化了模型的设计，但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作，我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术，包括正则化，数据增强，客观加权，迁移学习和集成。与以前的作品相比，我们的低资源的基于简化的方法保持了轻松的模型设计，但在不使用额外的数据的情况下，在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
COMET-QE and Active Learning for Low-Resource Machine Translation
University of Cape Town（开普敦大学）；South African Astronomical Observatory（南非天文台）
主动学习的目的是在资源稀缺时提供最大效益。我们使用COMET-QE，一个无参考的评估指标，选择低资源神经机器翻译的句子。使用斯瓦希里语，基尼亚卢旺达语和西班牙语为我们的实验，我们表明，COMET-QE显着优于两个变种的往返翻译可能性（RTTL）和随机句子选择高达5个BLEU点的20 k句子选择主动学习在30 k基线。这表明，COMET-QE是一个强大的工具，在非常低的资源限制的句子选择。
2022-10-27 cs.CL
A Tulu Resource for Machine Translation
University of Zurich（苏黎世大学）
本文构建首个英语-图鲁语平行数据集，并利用南达罗毗荼语系相关语言资源通过迁移学习训练英-图鲁语机器翻译系统，在不使用平行数据的情况下超越Google Translate 19个BLEU分数。
2024-03-28 cs.CL
Handling Syntactic Divergence in Low-resource Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
尽管神经机器翻译（NMT）在标准基准测试中取得了令人印象深刻的经验成功，但有限的并行数据阻碍了NMT模型在许多语言对中的应用。诸如反向翻译的数据增强方法使得使用单语数据来帮助缓解这些问题成为可能，但是反向翻译本身在极端低资源情况下失败，特别是对于句法不同的语言。在本文中，我们提出了一个简单而有效的解决方案，即目标语言的句子被重新排序，以匹配源的顺序，并作为一个额外的来源，训练时间的监督。通过模拟低资源日语到英语和真实低资源维吾尔语到英语场景的实验，发现与其他半监督替代方案相比有显着改善。
2019-08-30 cs.CL
Bi-Directional Differentiable Input Reconstruction for Low-Resource Neural Machine Translation
University of Maryland（马里兰大学）
我们的目标是通过引入神经机器翻译（NMT）的可区分重建损失，更好地利用在低资源环境中可用的有限数量的并行文本。这种损失将原始输入与通过将翻译假设回译到输入语言中获得的重构输入进行比较。我们利用可微分采样和双向NMT来端到端地训练模型，而不引入额外的参数。这种方法在两个翻译方向上对四种语言对实现了小但一致的BLEU改进，并且优于基于隐藏状态的替代可微重建策略。
2019-04-03 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh（爱丁堡大学）；Saarland University（萨尔兰大学）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
我们描述了在第六届机器翻译会议（WMT 2021）上，萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型，用于冰岛语（is），挪威语-博克马尔语（nb）和瑞典语（sv）之间的翻译。我们采用各种实验方法，包括多语言预训练，回译，微调和集成。在大多数翻译方向上，我们的模型优于其他提交的系统。
2021-09-29 cs.CL
Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation
Zhengzhou University（郑州大学）；Peng Cheng Laboratory（鹏城实验室）
本文研究了深度Transformer翻译模型在CCMT 2022汉泰低资源机器翻译任务中的使用。我们首先探索实验设置（包括BPE合并操作的数量，丢弃概率，嵌入大小等）。对于6层Transformer的低资源场景。考虑到增加层数也会增加对新模型参数的正则化（使用更多层数时也会引入dropout模块），我们采用最高性能设置，但将Transformer的深度增加到24层，以获得更高的翻译质量。我们的工作获得了SOTA在汉泰翻译中的约束评价性能。
2022-12-24 cs.CL
BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation
University of Maryland（马里兰大学）；Facebook AI Research（脸书人工智能研究院）
挖掘的双文本可能包含不完美的翻译，为神经机器翻译（NMT）产生不可靠的训练信号。虽然过滤掉这样的配对可以提高最终的模型质量，但我们认为，在低资源条件下，即使挖掘的数据也是有限的，这是次优的。在我们的工作中，我们建议通过自动编辑来细化挖掘的双文本：给定一个语言xf的句子，以及它的一个可能不完美的翻译xe，我们的模型生成一个修订的版本xf'或xe'，产生一个更等价的翻译对（即，<xf，xe '>或<xf'，xe>）。我们使用一种简单的编辑策略，通过（1）挖掘给定双文本中每个句子的潜在不完美翻译，（2）学习一个模型来重建原始翻译并以多任务方式进行翻译。实验表明，我们的方法成功地提高了5个低资源语言对和10个翻译方向的CCMatrix挖掘的bitext的质量高达~ 8 BLEU点，在大多数情况下，提高了有竞争力的反向翻译基线。
2022-05-30 cs.CL
Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
我们探索了结合双语词典来实现半监督神经机器翻译的方法。传统的反向翻译方法已经在利用目标侧单语数据方面取得了成功。然而，由于回译模型的质量与可用并行语料库的大小有关，因此这可能会对低资源设置中的合成生成的句子产生不利影响。我们提出了一个简单的数据增强技术来解决这两个缺点。我们将广泛使用的双语词典，产生逐字翻译生成合成句子。这会自动扩展模型的词汇表，同时保持高质量的内容。我们的方法在强基线上显示出明显的性能改善。
2020-04-05 cs.CL
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University（查尔斯大学）
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明，使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明，字符级双语模型是非常相似的语言对（加泰罗尼亚语-欧西坦语）的竞争力，但更遥远的对。我们还描述了我们的多任务学习实验，除了文本翻译外，模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Neural Machine Translation for Extremely Low-Resource African Languages: A Case Study on Bambara
Rochester Institute of Technology（罗切斯特理工学院）；Centre National Collaboratif de l’Education en Robotique et en Intelligence Artificielle (RobotsMali)（国家机器人与人工智能教育合作中心（马里机器人））；Google Research（谷歌研究院）；Orange Silicon Valley（奥兰治硅谷）
低资源语言对（神经）机器翻译提出了独特的挑战。我们讨论的情况下，班巴拉，曼德语的训练数据是稀缺的，需要大量的预处理。除了班巴拉语本身的语言情况外，班巴拉语使用者所生活的社会文化背景也对这种语言的自动化处理提出了挑战。在本文中，我们提出了第一个并行数据集的机器翻译的Bambara到英语和法语和第一个基准结果的机器翻译和Bambara。我们讨论了在低资源语言工作的挑战，并提出了策略，以应对低资源机器翻译（MT）的数据稀缺性。
2020-11-10 cs.CL
Exploring Diversity in Back Translation for Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition, and Computation（语言、认知与计算研究所）
本研究提出区分词汇与句法多样性的框架及新指标，实证发现核采样生成反向翻译性能更优，且词汇多样性比句法多样性更重要。
2022-06-01 cs.CL
A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation
Innopolis University（伊诺波利斯大学）
神经机器翻译已经成为大型平行语料库语言对的最新技术。然而，低资源语言的机器翻译的质量还有很多需要改进的地方。有几种方法可以缓解这个问题，例如迁移学习，半监督和无监督学习技术。在本文中，我们回顾了现有的方法，其主要思想是利用单语数据的力量，这与并行相比，通常更容易获得和显着更大的量。
2019-10-01 cs.CL
Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
针对低资源神经机器翻译泛化能力不足的问题，提出Joint Dropout方法，通过用变量替换短语增强组合性，在低资源语言对上显著提升翻译质量，并增强跨领域鲁棒性与适应性。
2023-07-24 cs.CL
Improving Statistical Machine Translation for a Resource-Poor Language Using Related Resource-Rich Languages
Qatar Computing Research Institute（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
我们提出了一种新的语言独立的方法，通过利用资源丰富的语言的相似性，提高资源贫乏的语言的机器翻译。更准确地说，我们改进了从资源贫乏的源语言X_1到资源丰富的语言Y的翻译，给定了包含有限数量的X_1-Y的平行句子的双文本和包含与X_1密切相关的资源丰富的语言X_2的X_2-Y的较大双文本。这是通过利用语言X_1和X_2在拼写、词序和语法方面的词汇重叠和相似性来实现的：（1）我们为资源贫乏的语言改进了单词对齐，（2）我们通过额外的翻译选项进一步增强了它，以及（3）我们通过适当的音译来照顾潜在的拼写差异。印度尼西亚语- >英语使用马来语和西班牙语->英语使用葡萄牙语和假装西班牙语是资源贫乏的评估分别显示了高达1.35和3.37 BLEU点的绝对增益，这是最好的竞争方法的改进，同时使用更少的额外数据。总的来说，我们的方法将必要的“真实训练数据”的数量减少了2- 5倍。
2014-01-23 cs.CL
Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Utopia Analytics
有几种方法可以改进低资源语言的神经机器翻译：单语数据可以通过预训练或数据增强来利用;相关语言对的并行语料库可以通过参数共享或多语言模型中的迁移学习来使用;子词切分和正则化技术可以用于确保词汇的高覆盖率。我们回顾这些方法的上下文中的不对称资源的一对多翻译任务，其中对目标语言相关，一个是一个非常低的资源和其他较高的资源语言。我们在三个人工限制的翻译任务上测试了各种方法-英语到爱沙尼亚语（低资源）和芬兰语（高资源），英语到斯洛伐克语和捷克语，英语到丹麦语和瑞典语-以及一个真实世界的任务，挪威语到北萨米语和芬兰语。实验表明，特别是对预定的多任务学习，去噪自动编码器和子字采样的积极影响。
2020-12-09 cs.CL
Data Augmentation by Concatenation for Low-Resource Translation: A Mystery and a Solution
University of Notre Dame（圣母大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们研究了拼接背后的驱动因素，这是一种简单但有效的低资源神经机器翻译数据增强方法。我们的实验表明，话语语境不太可能是四种语言对的BLEU提高约+1的原因。相反，我们证明，改善来自其他三个因素无关的话语：上下文的多样性，长度的多样性，（在较小程度上）的位置转移。
2021-07-02 cs.CL
Massively Parallel Cross-Lingual Learning in Low-Resource Target Language Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们致力于从资源丰富的语言到资源贫乏的语言的翻译。我们确定的主要挑战是缺乏低资源的语言数据，跨语言迁移的有效方法，以及神经系统中常见的变量绑定问题。我们建立了一个翻译系统，以解决这些挑战，使用八个欧洲语系作为我们的测试场。首先，我们添加源和目标家族标签，并研究家族内和家族间的影响，以实现有效的跨语言迁移。与单家庭多源多目标基线相比，我们使用八个家庭的英语-瑞典语翻译的BLEU评分提高了+9.9。此外，我们发现，对最接近低资源语言的两个相邻家庭进行培训通常就足够了。其次，我们构建了一个消融研究，发现即使目标数据相当少，也可以取得相当好的结果。第三，我们通过建立一个保序命名实体翻译模型来解决变量绑定问题。我们在定性评估中获得了60.6%的准确率，其中我们的翻译在初步研究中类似于人类翻译。
2018-08-25 cs.CL
How effective is Multi-source pivoting for Translation of Low Resource Indian Languages?
Indian Institute of Technology Bombay（印度理工学院孟买分校）；NICT（日本情报通信研究机构）；IIT Madras（印度理工学院马德拉斯分校）
本文针对低资源印度语言机器翻译问题，探索结合源语句与枢轴语句的多源枢轴翻译方法，实验发现该方法较现有最优仅获边际提升，但可通过合成目标语数据增强效果，为低资源翻译提供了有前景的方向。
2024-06-19 cs.CL
Revisiting Low-Resource Neural Machine Translation: A Case Study
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下明显下降，表现不如基于短语的统计机器翻译（PBSMT），并且需要大量辅助数据才能实现有竞争力的结果。在本文中，我们重新评估这些结果的有效性，认为它们是缺乏系统适应低资源环境的结果。我们讨论了在训练低资源NMT系统时需要注意的一些陷阱，以及最近在低资源环境中特别有用的技术，从而为低资源NMT提供了一套最佳实践。在我们的实验中，德语-英语与不同数量的IWSLT 14训练数据，我们表明，在不使用任何辅助单语或多语言数据，优化的NMT系统可以优于PBSMT与远少于以前声称的数据。我们还将这些技术应用于低资源的韩语-英语数据集，超过了以前报道的结果4 BLEU。
2019-05-28 cs.CL
Investigating Neural Machine Translation for Low-Resource Languages: Using Bavarian as a Case Study
University of Regensburg（雷根斯堡大学）；Information Science（信息科学学院）
本研究以巴伐利亚语为案例，针对低资源语言数据稀缺等问题，采用回译、迁移学习及文本预处理等方法构建德-巴伐利亚语翻译系统，经多指标评估验证回译可显著提升性能，并分析了系统错误与局限。
2024-04-12 cs.CL
Pretraining Strategies using Monolingual and Parallel Data for Low-Resource Machine Translation
AIMS Senegal（塞内加尔AIMS）
该研究针对低资源语言林加拉语，基于Reid和Artetxe的预训练方法，探索多语言融合、单语与平行数据并用的预训练策略，证实其能显著提升翻译质量，为缩小高低资源语言翻译性能差距、构建普惠NLP模型提供参考，代码与数据集（部分除外）已公开。
2025-10-29 cs.CL
Reflective Translation: Improving Low-Resource Machine Translation via Structured Self-Reflection
Independent Researcher（独立研究者）
本文提出反思性翻译框架，通过结构化自我反思提升低资源语言的机器翻译质量，实验表明其在BLEU和COMET评分上均有显著提升。
2026-01-27 cs.CL
Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation
University of Notre Dame（圣母大学）
我们提出了一种简单的方法，使用来自相关的低资源语言对的并行数据来改进低资源语言对的神经翻译。该方法基于Zoph等人的转移方法，但是他们的方法忽略了任何源词汇的重叠，我们的方法利用了这一点。首先，我们使用字节对编码（BPE）来分割单词，以增加词汇的重叠。然后，我们在第一语言对上训练一个模型，并将其参数（包括其源词嵌入）转移到另一个模型，并继续在第二语言对上训练。我们的实验表明，迁移学习对基于单词的翻译只有轻微的帮助，但当在更强的BPE基线上使用时，它会产生高达4.3 BLEU的更大改进。
2017-09-21 cs.CL
Triangular Transfer: Freezing the Pivot for Triangular Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
三角机器翻译是低资源机器翻译的一种特殊情况，其中感兴趣的语言对具有有限的并行数据，但两种语言都具有丰富的并行数据与枢轴语言。自然，三角形机器翻译的关键是成功地利用这种辅助数据。在这项工作中，我们提出了一种基于迁移学习的方法，利用所有类型的辅助数据。当我们训练辅助源-枢轴和辅助目标-目标翻译模型时，我们使用预训练的语言模型初始化枢轴侧的一些参数，并冻结它们以鼓励两个翻译模型在相同的枢轴语言空间中工作，以便它们可以平滑地转换到源-目标翻译模型。实验表明，我们的方法可以优于以前的。
2022-03-17 cs.CL
Neural Machine Translation on Scarce-Resource Condition: A case-study on Persian-English
Amirkabir University of Technology（阿米尔卡比尔理工大学）
神经机器翻译（NMT）是机器翻译（MT）的一种新方法，由于其成功的应用，引起了该领域研究者的广泛关注。在本文中，我们研究NMT模型的波斯语-英语语言对，分析模型，并调查的适当性，该模型的稀缺资源的情况下，存在的情况下，以波斯语为中心的翻译系统。我们调整了波斯语的模型，并找到了两个任务的最佳参数和超参数：翻译和音译。我们还在波斯数据集上应用了一些预处理任务，这使得BLEU分数增加了大约一个点。此外，我们还修改了损失函数，以增强模型的单词对齐。这个新的损失函数在翻译质量的BLEU评分方面总共提高了1.87分。
2017-01-07 cs.CL
Inferring Shallow-Transfer Machine Translation Rules from Small Parallel Corpora
本文描述了一种从小型平行语料库中自动推理结构迁移规则的方法，该方法可用于浅迁移机器翻译（MT）系统。结构转移规则基于比对模板，如在统计MT中使用的那些。对齐模板是从对齐的平行语料库中提取的，并扩展了一组限制，这些限制来自于MT系统的双语词典，并控制它们的应用程序作为传输规则。在免费/开源MT平台Atrium中使用三种不同的语言对进行的实验表明，与逐字翻译相比（当不使用转换规则时），翻译质量得到了提高，并且最终的翻译质量接近使用手工编码的转换规则获得的翻译质量。我们提出的方法是完全无监督的，并受益于MT系统的其余模块中的信息，其中应用推断的规则。
2014-01-15 cs.CL
Low Resource Neural Machine Translation: A Benchmark for Five African Languages
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
神经机器翻译（NMT）的最新进展已经显示出低资源语言（LRL）翻译任务的改进。在这项工作中，我们基准NMT之间的英语和五个非洲LRL对（斯瓦希里语，阿姆哈拉语，提格里纳，奥罗莫，索马里[SATOS]）。我们收集了SATOS语言的可用资源，以评估LRL的NMT的当前状态。我们的评估比较了基线单语言对NMT模型与半监督学习，迁移学习和多语言建模，显示了En-LRL和LRL-En方向的显着性能改进。就平均BLEU分数而言，多语言方法在十个翻译方向中的六个方向上显示出最大的收益，高达+5分。为了证明每个模型的泛化能力，我们还报告了多域测试集的结果。我们发布了标准化的实验数据和测试集，用于未来解决NMT在资源不足环境中的挑战，特别是SATOS语言。
2020-03-31 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Building the Language Resource for a Cebuano-Filipino Neural Machine Translation System
De La Salle University（德拉萨大学）；University of the Immaculate Conception（圣母无原罪大学）
平行语料库是基于机器学习的翻译中的重要资源。收集、提取和对齐文本以构建可接受的语料库进行翻译的任务非常繁琐，尤其是对于低资源语言。在本文中，我们提出了努力建立一个平行语料库宿务和菲律宾从两个不同的领域：圣经文本和网络。对于圣经资源，动词的子词单位翻译和名词的可复制方法被应用于纠正翻译中的不一致。这种校正机制被用作预处理技术。另一方面，维基百科是主要的网络资源，经常出现的主题段提取的源语言和目标语言。这些观察到的主题片段在4个不同的类别中是唯一的。这些主题段的识别可以用于句子的自动提取。使用递归神经网络来实现翻译，使用TensorFlow中的OpenNMT序列建模工具。然后，通过将这两个不同的语料库作为神经网络中的两个单独的输入来评估它们。结果表明，在两个语料库的BLEU分数的差异。
2021-10-05 cs.CL
Self-supervised and Supervised Joint Training for Resource-rich Machine Translation
Google Research, Google LLC（谷歌有限责任公司谷歌研究院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
文本表示的自监督预训练已成功应用于低资源神经机器翻译（NMT）。然而，它通常无法在资源丰富的NMT上取得显着的收益。在本文中，我们提出了一种联合训练方法，$F_2$ -XEnDec，结合自监督和监督学习优化NMT模型。为了利用互补的自监督信号进行监督学习，NMT模型通过一个称为交叉编码器-解码器的新过程在单语和平行句子混合的例子上进行训练。两个资源丰富的翻译基准，WMT'14英语-德语和WMT'14英语-法语，实验表明，我们的方法实现了实质性的改进，几个强大的基线方法，并获得了新的艺术状态的46.19 BLEU英语-法语时，纳入回译。结果还表明，我们的方法能够提高模型对输入扰动的鲁棒性，例如经常出现在社交媒体上的代码切换噪声。
2021-06-08 cs.CL
Phrase Pair Mappings for Hindi-English Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
在本文中，我们提出了我们的工作，创造词汇资源的机器翻译之间的英语和印地语。我们描述了短语对映射的发展，我们的实验和不同的训练模型之间的比较性能评估的基础上的统计机器翻译系统。我们致力于通过探索不同的方法来增加平行语料库中的词汇量以及各种屈折形式。我们使用各种词汇资源（例如词汇词、同义词、虚词和动词短语）扩展了训练语料库。我们已经描述了案例研究，自动和主观评价，详细的错误分析的英语到印地语和印地语到英语的机器翻译系统。进一步分析表明，随着各种词汇资源的使用，机器翻译的质量也在不断提高。因此，词汇资源确实有助于提高资源贫乏语言的翻译质量。
2017-11-10 cs.CL
Sub-Word Alignment Is Still Useful: A Vest-Pocket Method for Enhancing Low-Resource Machine Translation
Soochow University（苏州大学）
我们利用对齐子词之间的嵌入重复来扩展父子迁移学习方法，从而改进低资源机器翻译。我们在My-En，Id-En和Tr-En翻译场景的基准数据集上进行实验。测试结果表明，我们的方法产生了实质性的改善，实现的BLEU分数分别为22.5，28.0和18.1。此外，该方法计算效率高，将训练时间消耗减少了63.8%，在Tesla 16 GB P100 GPU上训练时达到1.6小时。实验中的所有模型和源代码都将公开，以支持可重复的研究。
2022-05-09 cs.CL
Neural Machine Translation: A Review of Methods, Resources, and Tools
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
机器翻译（MT）是自然语言处理的一个重要子领域，其目的是使用计算机翻译自然语言。近年来，端到端神经机器翻译（NMT）取得了巨大的成功，并已成为实际机器翻译系统中新的主流方法。在这篇文章中，我们首先提供了一个广泛的审查的方法，NMT和专注于有关的架构，解码和数据增强的方法。然后我们总结了对研究人员有用的资源和工具。最后，我们讨论了未来可能的研究方向。
2020-12-31 cs.CL
Neural Machine Translation for Coptic-French: Strategies for Low-Resource Ancient Languages
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Université Laval（拉瓦尔大学）
本文系统研究了科普特语到法语翻译策略，评估了中介翻译与直接翻译、预训练影响、多版本微调效益及模型对噪声的鲁棒性，证明了使用风格多样且噪声敏感的训练语料能显著提升翻译质量。
2025-08-14 cs.CL
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
Zero-Resource Neural Machine Translation with Multi-Agent Communication Game
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系）；State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology（清华大学信息科学与技术国家实验室）；Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电机与电子工程系）
虽然端到端神经机器翻译（NMT）在过去几年中在翻译少数资源丰富的语言对方面取得了显着的成功，但它仍然面临着低资源语言对和领域的数据稀缺问题。为了解决这个问题，我们提出了一个交互式多模态框架的零资源神经机器翻译。我们的学习者（实现为编码器-解码器架构）参与合作的图像描述游戏，而不是被动地接触大量的并行语料库，从而开发自己的图像字幕或神经机器翻译模型，以便在游戏中取得成功。在IAPR-TC 12和Multi 30 K数据集上的实验结果表明，该学习机制与现有方法相比有明显的改进.
2018-02-09 cs.CL
Analyzing Architectures for Neural Machine Translation Using Low Computational Resources
随着自然语言处理领域的最新发展，在神经机器翻译中使用不同架构的情况有所增加。Transformer体系结构用于实现最先进的精度，但它们的训练计算成本非常高。每个人都不可能拥有这样的由高端GPU和其他资源组成的设置。我们在低计算资源上训练我们的模型并研究结果。正如预期的那样，Transformers优于其他架构，但也有一些令人惊讶的结果。由更多编码器和解码器组成的Transformers花费更多的时间来训练，但具有较少的BLEU分数。LSTM在实验中表现良好，并且比Transformers花费相对较少的训练时间，使其适合在时间限制的情况下使用。
2021-11-06 cs.CL
Machine Translation of Low-Resource Indo-European Languages
Natural Language Processing Lab（自然语言处理实验室）；The University of British Columbia（英属哥伦比亚大学）
在这项工作中，我们研究的方法具有挑战性的任务之间的低资源的语言对，表现出一定程度的相似性翻译。特别是，我们考虑了迁移学习的实用性，从日耳曼和罗曼语系的几个印欧低资源语言之间的翻译。特别是，我们建立了两个主要类的转移为基础的系统，研究如何相关性可以有利于翻译性能。主系统微调在相关语言对上预训练的模型，对比系统微调在不相关语言对上预训练的模型。我们的实验表明，虽然相关性不是迁移学习工作的必要条件，但它确实有益于模型性能。
2021-09-30 cs.CL
A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource Settings
Stony Brook University（石溪大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
神经机器翻译（NMT）模型足够强大，可以将语义和句法信息从源语言传递到目标语言。然而，这些模型需要大量的数据来学习参数。因此，对于数据稀缺的语言，这些模型有表现不佳的风险。我们建议增加基于注意力的神经网络与重新排序的信息，以减轻缺乏数据。这种增强功能将英语到波斯语和波斯语到英语的翻译质量提高了6%，比基线模型的BLEU绝对值高。
2021-12-28 cs.CL
Single Model Ensemble for Subword Regularized Models in Low-Resource Machine Translation
Tokyo Institute of Technology（东京工业大学）
子字正则化在训练期间使用多子词切分来提高神经机器翻译模型的鲁棒性。在以前的子词正则化中，我们在训练过程中使用多个分割，但在推理中只使用一个分割。在本研究中，我们提出了一种推理策略来解决这种差异。所提出的策略近似边缘化的可能性，通过使用多个分割，包括最合理的分割和几个采样分割。由于所提出的策略聚合了来自多个分割的预测，因此我们可以将其视为单个模型集成，不需要任何额外的训练成本。实验结果表明，该策略在低资源机器翻译任务中提高了子词正则化训练模型的性能。
2022-03-25 cs.CL
CUNI Systems for the Unsupervised and Very Low Resource Translation Task in WMT20
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文介绍了一种描述CUNI系统提交给WMT 20任务的无监督和非常低的资源监督机器翻译之间的德语和上索布语。我们尝试了在合成数据上进行训练，并在相关语言对上进行预训练。在完全无监督的情况下，我们分别实现了25.5和23.7 BLEU从上索布语翻译和翻译为上索布语。我们的低资源系统依赖于来自德国-捷克并行数据的迁移学习，并实现了57.4 BLEU和56.1 BLEU，这比仅在可用的小型德国-上索布语并行语料库上训练的基线提高了10个BLEU点。
2020-10-22 cs.CL
Using Interlinear Glosses as Pivot in Low-Resource Multilingual Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们展示了一种新的方法，神经机器翻译（NMT）的低资源的语言使用无处不在的语言资源，跨线性Glossed文本（IGT）。IGT将非英语句子表示为英语词元和词素标签的序列。因此，它可以作为NMT的枢纽或中间语。我们的贡献是四方面的。首先，我们在ODIN中汇集了1，497种语言的IGT（54，545个注释），在Arapaho中汇集了70，918个注释，并训练了从IGT到英语的注释到目标NMT系统，BLEU得分为25.94。我们引入了一个多语言NMT模型，该模型使用注释源语言标签标记所有注释文本，并训练一个跨1,497种语言共享注意力的通用系统。其次，我们使用IGT的注释到目标的翻译作为一个关键步骤，在英语-土耳其语MT系统的培训只有865行ODIN。第三，当BLEU不再足够时，我们提出了五个评估极低资源翻译的指标，并使用BLEU评估土耳其低资源系统，并使用匹配名词，动词，一致性，时态和虚假重复的准确性，显示出很大的改进。
2020-03-03 cs.CL
Exploiting Linguistic Resources for Neural Machine Translation Using Multi-task Learning
Institute for Anthropomatics and Robotics（人体工程学与机器人研究所）；KIT - Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
诸如词性（POS）标记的语言资源已被广泛用于统计机器翻译（SMT）框架中，并产生了更好的性能。然而，在神经机器翻译（NMT）系统中使用这样的语言注释一直没有得到充分的探索。在这项工作中，我们表明，多任务学习是一个成功的和简单的方法来引入额外的知识到一个端到端的神经注意力模型。通过在一个系统中联合训练多个自然语言处理（NLP）任务，我们能够利用公共信息并提高单个任务的性能。我们分析了三个设计决策在多任务学习中的影响：训练中使用的任务，训练时间表，以及由网络架构定义的任务之间的参数共享程度。实验是针对德语到英语的翻译任务进行的。作为额外的语言资源，我们利用POS信息和命名实体（NE）。实验表明，在低资源条件下，翻译质量最高可提高1.5个BLEU点。使用多任务学习方案也提高了POS标注器的性能。
2017-08-03 cs.CL
To Translate or Not to Translate: A Systematic Investigation of Translation-Based Cross-Lingual Transfer to Low-Resource Languages
University of Würzburg（维尔茨堡大学）；Center for Artificial Intelligence and Data Science (CAIDAS)（人工智能与数据科学中心（CAIDAS））
该研究系统性评估并提出了面向低资源语言的基于翻译的跨语言迁移方法，证明其效果优于多语言语言模型零样本迁移，还提出了适配无MT支持语言的策略及更优的模型选择方法，为XLT研究的基线设置提供参考。
2024-07-10 cs.CL
Trivial Transfer Learning for Low-Resource Neural Machine Translation
Charles University（查理大学）
迁移学习已被证明是低资源条件下神经机器翻译的有效技术。现有的方法需要一个共同的目标语言，语言相关性，或特定的训练技巧和制度。我们提出了一个简单的迁移学习方法，我们首先训练的“父”模型的高资源的语言对，然后继续训练的lowresource对只有通过更换训练语料库。这个“孩子”模型的表现明显好于仅为低资源对训练的基线。我们是第一个针对不同语言展示这一点的人，我们甚至观察到了具有不同字母表的不相关语言的改进。
2018-09-02 cs.CL
