Refining Low-Resource Unsupervised Translation by Language Disentanglement of Multilingual Model
Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
最近关于无监督机器翻译(UMT)的许多工作表明,只有在大规模多语言环境中训练模型,才有可能对低资源和不相关的语言(如尼泊尔语或僧伽罗语)进行合格的无监督翻译,在这种环境中,这些低资源语言与高资源语言混合。然而,虽然高资源语言极大地帮助启动目标低资源翻译任务,但它们之间的语言差异可能会阻碍它们的进一步改进。在这项工作中,我们提出了一个简单的细化过程,将语言从预训练的多语言UMT模型中分离出来,使其只关注目标低资源任务。我们的方法在英语到尼泊尔语,僧伽罗语,古吉拉特语,拉脱维亚语,爱沙尼亚语和哈萨克语的完全无监督翻译任务中达到了最先进的水平,BLEU得分分别为3.5,3.5,3.3,4.1,4.2和3.3。我们的代码库可以在https://github.com/nxphi47/refine_unsup_multilingual_mt上找到
2022-10-01 cs.AI cs.CL
Optimizing Transformer for Low-Resource Neural Machine Translation
Informatics Institute(信息学研究所);University of Amsterdam(阿姆斯特丹大学)
并行数据量有限的语言对,也称为低资源语言,仍然是神经机器翻译的一个挑战。虽然Transformer模型已经为许多语言对实现了显著的改进,并且已经成为事实上的主流架构,但是其在低资源条件下的能力尚未被充分研究。我们在IWSLT14训练数据的不同子集上的实验表明,Transformer在低资源条件下的有效性高度依赖于超参数设置。我们的实验表明,与使用Transformer默认设置相比,在低资源条件下使用优化的Transformer可将翻译质量提高7.3个BLEU点。
2020-11-04 cs.CL cs.LG
Investigating Multi-Pivot Ensembling with Massively Multilingual Machine Translation Models
University of Zurich(苏黎世大学);EPFL(洛桑联邦理工学院)
本文研究多语言机器翻译模型在低资源方向上的多枢轴集成方法,提出MaxEns策略偏向高置信预测,有效提升了翻译质量并减少幻觉,但整体仍不及单一英语枢轴。
2024-04-28 cs.AI cs.CL cs.LG
Enhanced back-translation for low resource neural machine translation using self-training
Ahmadu Bello University(艾哈迈德·贝罗大学);Bayero University(拜罗大学)
使用单语目标数据(合成并行数据)的反向翻译来改进神经机器翻译(NMT)模型是目前用于训练改进的翻译系统的最先进的方法。反向系统的质量-在可用的并行数据上进行训练并用于反向翻译-在许多研究中已被证明会影响最终NMT模型的性能。在低资源条件下,可用的并行数据通常不足以训练能够产生训练标准翻译模型所需的定性合成数据的后向模型。这项工作提出了一种自我训练策略,其中向后模型的输出用于通过向前翻译技术来改进模型本身。该技术被证明可以分别将基线低资源的IWALK '14英语-德语和IWALK'15英语-越南语向后翻译模型提高11.06和1.5 BLEU。由改进的英德后向模型生成的合成数据被用于训练前向模型,该前向模型的性能优于使用2.7 BLEU的标准后向翻译训练的另一前向模型。
2020-12-24 cs.CL cs.LG
Back-Translation Still Matters: Leveraging Monolingual Data for Low-Resource Machine Translation with LLMs
IIT Roorkee(印度理工学院罗尔基);IIT Delhi(印度理工学院德里)
该研究针对低资源语言机器翻译,提出利用回译技术结合中等规模单语数据,在5种低资源语言实验中,其翻译性能较仅用平行语料微调提升16%至173%,优于继续预训练及使用10倍平行数据的模型。
2026-10-27 cs.AI cs.CL
High-Quality Data Augmentation for Low-Resource NMT: Combining a Translation Memory, a GAN Generator, and Filtering
Waseda University(早稻田大学)
本文提出一种结合GAN、翻译记忆和过滤流程的新方法,在源端利用单语语料进行高质量数据增强,有效提升了低资源神经机器翻译的性能。
2024-08-22 cs.AI cs.CL
Attention Link: An Efficient Attention-Based Low Resource Machine Translation Architecture
Peking University(北京大学)
Transformers在机器翻译中取得了巨大的成功,但基于transformer的NMT模型往往需要数百万双语并行语料进行训练。在本文中,我们提出了一种新的架构命名为注意力链接(AL),以帮助提高Transformer模型的性能,特别是在低训练资源。我们从理论上证明了我们的注意力链接架构在低训练资源的优势。此外,我们在IWSLT 14数据集上进行了大量的实验,包括en-de,de-en,en-fr,en-it,it-en,en-ro翻译任务,以及在CVIT PIB数据集上进行的bn-gu和gu-ta翻译任务。所有的实验结果表明,我们的注意力链接是强大的,可以导致显着的改善。此外,我们实现了37.9 BLEU得分,一个新的sota,在IWSLT 14 de-en任务,通过结合我们的注意力链接和其他先进的方法。
2023-02-01 cs.AI cs.CL
MetaMT,a MetaLearning Method Leveraging Multiple Domain Data for Low Resource Machine Translation
School of Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校计算机科学学院);Department of Computer Science, University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校计算机科学系);Bedford Veterans Affairs Medical Center(贝德福德退伍军人事务医疗中心);Department of Medicine, University of Massachusetts Medical School(马萨诸塞大学医学院医学系)
本文提出MetaMT元学习方法,通过操纵训练数据并利用多领域数据提升低资源机器翻译模型的鲁棒性。
2019-12-11 cs.CL cs.LG
Knowledge Based Template Machine Translation In Low-Resource Setting
Boston University(波士顿大学)
将标记引入神经机器翻译(NMT)系统,在帮助翻译命名实体(NE)等稀有词方面显示出了有希望的结果。然而,在低资源环境下翻译NE仍然是一个挑战。在这项工作中,我们研究了在不同的资源条件水平的平行语料库中使用标签和NE上位词从知识图谱(KG)的效果。我们发现,标记和复制机制(标记的NE在源句中,并复制到目标句)提高翻译只有在高资源设置。复制的引入也导致了不同词性翻译的两极分化效应。有趣的是,我们发现上位词的复制准确性始终高于实体。作为避免“硬”复制和在引导稀有实体时利用上位词的一种方式,我们引入了“软”标记机制,并发现在高资源和低资源设置中的一致改进。
2022-09-08 cs.CL cs.LG
The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation
Facebook AI Research(脸书人工智能研究院);LORIA(洛林计算机科学及其应用研究实验室)
阻碍低资源和多语言机器翻译取得进展的最大挑战之一是缺乏良好的评估基准。当前的评估基准要么缺乏对低资源语言的良好覆盖,要么只考虑有限的领域,要么质量低下,因为它们是使用半自动程序构建的。在这项工作中,我们介绍了FLORES-101评估基准,由3001句从英文维基百科中提取,涵盖了各种不同的主题和领域。这些句子由专业翻译人员通过精心控制的过程翻译成101种语言。由此产生的数据集可以更好地评估低资源语言长尾的模型质量,包括评估多对多多语言翻译系统,因为所有翻译都是多语言对齐的。通过公开发布这样一个高质量和高覆盖率的数据集,我们希望促进机器翻译社区及其他领域的进步。
2021-06-06 cs.AI cs.CL
From LLM to NMT: Advancing Low-Resource Machine Translation with Claude
Williams College(威廉姆斯学院)
本文证明 Claude 3 Opus 在低资源机器翻译中具有卓越能力和资源效率,并利用其生成合成数据进行知识蒸馏,将 LLM 的优势压缩进传统 NMT 模型,在约鲁巴语-英语翻译上超越了现有强基线。
2024-04-22 cs.AI cs.CL
Replicable Benchmarking of Neural Machine Translation (NMT) on Low-Resource Local Languages in Indonesia
University of Indonesia(印度尼西亚大学);Bandung Institute of Technology(万隆理工学院);Boston University(波士顿大学);Monash University Indonesia(莫纳什大学印度尼西亚校区)
本文针对印尼四种低资源语言构建可复现NMT基准,系统比较不同训练方法与数据规模,并初步探索大模型合成平行数据,证明有限资源下NMT性能可媲美零样本gpt-3.5-turbo。
2023-11-02 cs.AI cs.CL
Finding the Right Recipe for Low Resource Domain Adaptation in Neural Machine Translation
NVIDIA(英伟达)
通用翻译模型通常仍然难以在专业领域中生成准确的翻译。为了指导机器翻译从业者并表征领域自适应方法在不同数据可用性场景下的有效性,我们对单语和并行数据方法进行了深入的实证探索,以在架构更改不切实际的情况下对预先训练的第三方NMT模型进行领域自适应。我们比较数据为中心的适应方法的隔离和组合。我们研究方法的有效性,在非常低的资源(8 k并行的例子)和适度低的资源(46 k并行的例子)的条件下,并提出了一个集成的方法,以减轻减少原始域的翻译质量。我们的工作包括三个领域:消费电子,临床和生物医学,并跨越四个语言对- Zh-En,Ja-En,Es-En和Ru-En。我们还提出了实现高域内性能的具体建议,并发布了所有语言的消费电子和医疗领域数据集,并公开了我们的代码。
2022-06-02 cs.CL cs.LG
Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
低资源语言中的数据稀缺已经成为构建强大的神经机器翻译系统的瓶颈。微调多语言预训练模型(例如,mBART(Liu等人,2020年))是一个很好的方法,用于低资源语言;然而,当翻译对中有看不见的语言时,它的性能将受到极大的限制。在本文中,我们提出了一个mBART的持续预训练(CPT)框架,以有效地适应看不见的语言。我们首先从翻译对中目标语言的单语语料库中构建噪声混合语言文本,以覆盖源语言和目标语言,然后,我们继续预训练mBART来重建原始单语文本。结果表明,我们的方法可以在mBART基线以及其他强基线上,在所有测试的包含未见过语言的低资源翻译对中持续提高微调性能。此外,我们的方法还提高了翻译对的性能,其中两种语言都可以在原始mBART的预训练中看到。该代码可在https://github.com/zliucr/cpt-nmt上获得。
2021-05-09 cs.AI cs.CL
Low-resource Machine Translation for Code-switched Kazakh-Russian Language Pair
ITMO University(ITMO大学);Nazarbayev University(纳扎尔巴耶夫大学)
针对低资源哈萨克语-俄语代码切换语言对,提出基于合成数据生成的无标注机器翻译方法,构建了首个平行语料库,模型BLEU达16.48,接近并人工评估超越商业系统。
2025-03-25 cs.CL cs.LG
From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots
Renmin University of China(中国人民大学);Microsoft Research Asia(微软亚洲研究院)
神经机器翻译模型缺乏大规模的并行语料库。相比之下,我们人类通过将我们的语言与外部世界联系起来,即使没有平行文本,也可以学习多语言翻译。为了模仿这种人类学习行为,我们使用图像作为支点来实现零资源翻译学习。然而,一张图片告诉一千个单词,这使得由同一图像旋转的多语言句子像相互翻译一样嘈杂,从而阻碍了翻译模型学习。在这项工作中,我们提出了一个渐进的学习方法,图像为中心的零资源机器翻译。由于基于图像的单词多样性较低,因此我们首先使用图像枢轴学习单词级翻译,然后通过利用学习的单词翻译来抑制图像枢轴多语言句子中的噪声来学习单词级翻译。在IAPR-TC 12和Multi 30 k两个常用的图像枢轴平移数据集上的实验结果表明,该方法的性能明显优于其他最先进的方法。
2019-06-03 cs.AI cs.CL cs.CV
A Hybrid Approach for Improved Low Resource Neural Machine Translation using Monolingual Data
Bayero University(巴耶罗大学);Ahmadu Bello University(艾哈迈杜·贝罗大学);National Open University of Nigeria(尼日利亚国立开放大学)
许多语言对都是低资源的,这意味着可用并行数据的数量和/或质量不足以训练能够达到可接受的准确性标准的神经机器翻译(NMT)模型。许多著作已经探索了使用一种或两种语言中现成的单语数据来提高低,甚至高,资源语言的翻译模型的标准。其中最成功的工作之一是利用目标语言单语数据的翻译来增加训练数据的量的回译。已经证明,在可用的并行数据上训练的反向模型的质量决定了反向转换方法的性能。尽管如此,在标准的反向翻译中,只有前向模型在单语目标数据上得到了改进。先前的研究提出了一种迭代回译方法,用于在几次迭代中改进这两个模型。但与传统的回译不同,它同时依赖于目标和源单语数据。因此,这项工作,提出了一种新的方法,使向后和向前的模型,以受益于单语目标数据,通过混合的自学习和反向翻译分别。实验结果表明,该方法在低资源的英-德神经机器翻译中优于传统的回译方法。我们还提出了一种迭代自学习方法,该方法的性能优于迭代反向翻译,同时仅依赖于单语目标数据,并且需要较少的模型训练。
2021-11-22 cs.CL cs.LG
Zero-Resource Translation with Multi-Lingual Neural Machine Translation
Middle East Technical University(中东技术大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);New York University(纽约大学)
在本文中,我们提出了一种新的微调算法,最近推出的多路,多语言神经机器翻译,使零资源机器翻译。当与新颖的多对一翻译策略一起使用时,我们的经验表明,这种微调算法允许多路多语言模型翻译零资源语言对(1)以及用相同语言对的多达1M个直接平行句子训练的单对神经翻译模型(2)优于基于机器翻译的翻译策略,同时仅保留注意力相关参数的一个附加副本。
2016-06-13 cs.CL
Improving Low-Resource Machine Translation via Cross-Linguistic Transfer from Typologically Similar High-Resource Languages
本研究针对低资源机器翻译问题,通过多语系语言对实验验证了从类型学相似高资源语言迁移学习的有效性,并给出超参数调优的实用指导。
2025-08-29 cs.CL cs.LG
Improving Low-Resource Machine Translation via Round-Trip Reinforcement Learning
MBZUAI Masdar City(MBZUAI马斯达尔城)
本文提出通过往返强化学习提升低资源机器翻译,利用NLLB模型进行往返训练,结合chrF++和BLEU作为奖励函数,提升多语言翻译的流畅性和语义准确性。
2026-03-17 cs.AI cs.CL
Language Graph Distillation for Low-Resource Machine Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
由于缺乏双语句子对,低资源语言上的神经机器翻译具有挑战性。以前的作品通常解决低资源的翻译问题,在多语言环境中的知识转移。本文提出了语言图的概念,并进一步设计了一种新的图蒸馏算法,该算法通过前向和后向知识蒸馏来提高图中低资源翻译的准确性。在TED演讲多语种数据集上的初步实验证明了该方法的有效性。具体来说,我们在BLEU得分方面将低资源翻译对提高了3.13分以上。
2019-08-17 cs.CL
Generalized Data Augmentation for Low-Resource Translation
Carnegie Mellon University(卡内基梅隆大学)
低资源语言LRL之间的互译对机器翻译在充分性和流畅性方面提出了挑战。利用大量单语数据的数据增强被认为是缓解这些问题的有效途径。在本文中,我们提出了一个通用的框架,在低资源的机器翻译,不仅使用目标方单语数据,但也通过相关的高资源语言HRL的枢轴数据增强。具体来说,我们尝试使用两步旋转方法将高资源数据转换为LRL,利用可用资源更好地近似LRL的真实数据分布。首先,我们注入LRL词HRL句子通过诱导双语词典。其次,我们使用修改后的无监督机器翻译框架进一步编辑这些修改后的句子。在四个低资源数据集上进行的大量实验表明,在极端低资源设置下,与有监督的反向翻译基线相比,我们的数据增强技术将翻译质量提高了约1.5到约8个BLEU点
2019-06-10 cs.CL
Low-resource Machine Translation: what for? who for? An observational study on a dedicated Tetun language translation service
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息学院);Instituto Nacional de Linguística, Dili(迪利国家语言研究所);The Australian National University(澳大利亚国立大学)
通过分析 tetun$.$org 的 100,000 条请求,研究揭示 Tetun 用户多为移动端学生且需求集中于高资源语言到 Tetun 的教育等领域翻译,为低资源 MT 开发提供真实需求依据。
2025-04-02 cs.AI cs.CL
Survey of Low-Resource Machine Translation
University of Edinburgh(爱丁堡大学);Inria(法国国家信息与自动化研究所)
我们提出了一个调查,涵盖了最先进的低资源机器翻译的研究。目前世界上大约有7000种语言,几乎所有的语言对都缺乏用于训练机器翻译模型的重要资源。当只有很少的翻译后的训练数据可用时,解决产生有用的翻译模型的挑战的研究已经引起了越来越多的兴趣。我们提出了这个专题研究领域的总结,并提供了一个描述的技术评估的研究人员在最近的几个共享任务,在低资源MT。
2022-02-07 cs.CL
Simulated Multiple Reference Training Improves Low-Resource Machine Translation
Johns Hopkins University(约翰霍普金斯大学)
对于给定的句子,存在许多有效的翻译,然而机器翻译(MT)是用单个参考翻译训练的,这加剧了低资源设置中的数据稀疏性。我们介绍了模拟多参考训练(SMRT),一种新的MT训练方法,通过从释义者中对参考句子的释义进行采样,并训练MT模型来预测释义者在可能的标记上的分布,从而近似可能翻译的整个空间。我们证明了SMRT在低资源环境下翻译成英语时的有效性,BLEU提高了1.2到7.0。我们还发现SMRT与回译是互补的。
2020-10-13 cs.CL
Neural machine translation for low-resource languages
神经机器翻译(NMT)方法在过去几年中改进了许多机器翻译设置中的现有技术,但是它们需要大量的训练数据来产生合理的输出。我们证明了NMT也可以用于低资源语言,通过引入更多的本地依赖关系和使用单词对齐来学习翻译过程中的句子重排。除了我们的新模型,我们还提出了一个基于低资源短语的统计机器翻译(SMT)和NMT的实证评估,以调查各自的技术的下限。我们发现,虽然SMT仍然是低资源设置的最佳选择,我们的方法可以产生可接受的翻译只有70000令牌的训练数据,基准NMT系统完全失败的水平。
2017-08-18 cs.CL
Crowdsourced Phrase-Based Tokenization for Low-Resourced Neural Machine Translation: The Case of Fon Language
Jacobs University Bremen(雅各布大学不来梅);Technical University of Munich(慕尼黑工业大学)
为资源非常贫乏且形态丰富的非洲土著语言构建有效的神经机器翻译(NMT)模型是一个开放的挑战。除了为它们找到可用资源的问题外,还需要进行大量的预处理和标记化工作。最近的研究表明,标准的标记化方法并不总是能够充分处理某些非洲语言的语法、变音和音调属性。再加上训练样本的可用性极低,阻碍了可靠的NMT模型的产生。在本文中,使用Fon语言作为案例研究,我们重新审视了标准的标记化方法,并引入了基于单词表达式(WEB)的标记化,这是一种人工参与的超词标记化策略,可以创建更好的代表性词汇进行训练。此外,我们将我们的标记化策略与其他人在Fon-French和French-Fon翻译任务上进行了比较。
2021-03-17 cs.AI cs.CL
Translation as a Decision Space: A Multi-Agent Perspective on Low-Resource Dialect Generation
Sakarya University(萨卡里亚大学);TU Clausthal(克劳斯塔尔工业大学);University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学技术研究院)
该研究将翻译视为多智能体探索的决策空间,针对土耳其语-叙利亚阿拉伯语翻译开展实证研究,提出可解释低资源方言生成的框架,轻量稳定化可提升方言标记使用量并降低结构不稳定性。
2026-09-04 cs.AI cs.CL
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
神经方法已经在机器翻译上实现了最先进的准确性,但是遭受收集大规模并行数据的高成本。因此,已经对具有非常有限的并行数据的神经机器翻译(NMT)进行了大量研究,即,低资源配置。本文综述了低资源的NMT,并根据其使用的辅助数据将相关工作分为三类:(1)利用源语言和/或目标语言的单语数据,(2)利用辅助语言的数据,(3)利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法,并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Neural Machine Translation For Low Resource Languages
Nanyang Technological University(南洋理工大学);CodeAssist, Inc.(CodeAssist公司)
本文研究低资源语言神经机器翻译,基于 mBART 模型并结合回译与迁移学习等技术进行增强,以构建达到最先进性能的翻译模型。
2023-04-18 cs.AI cs.CL
The Low-Resource Double Bind: An Empirical Study of Pruning for Low-Resource Machine Translation
Masakhane NLP(Masakhane自然语言处理);Google Research(谷歌研究院);Google Research, Brain(谷歌研究院大脑团队)
深度神经网络中参数数量的“越大越好”爆炸使得在计算受限的环境中访问最先进的网络变得越来越具有挑战性。压缩技术作为弥合这一差距的一种方式,具有新的重要性。然而,流行的压缩技术所带来的权衡评估一直集中在高资源数据集。在这项工作中,我们反而考虑在数据有限的制度压缩的影响。我们引入术语低资源双重绑定来指代数据限制和计算资源约束的同时出现。这是低资源语言的NLP的常见设置,但对性能的权衡研究很少。我们的工作为机器翻译的任务提供了令人惊讶的见解,在数据有限的制度能力和泛化之间的关系。我们的实验幅度修剪翻译从英语到约鲁巴语,豪萨语,伊博语和德语表明,在低资源制度,稀疏保留频繁的句子的性能,但有不同的影响不频繁的。然而,它提高了对分布偏移的鲁棒性,特别是对于与训练分布非常不同的数据集。我们的研究结果表明,稀疏性可以发挥有益的作用,抑制记忆的低频属性,因此提供了一个有前途的解决方案,低资源的双重束缚。
2021-10-06 cs.AI cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学)
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对,情况并非如此,导致翻译质量差。受计算机视觉工作的启发,我们提出了一种新的数据增强方法,该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明,我们的方法比基线提高了2.9个BLEU点,比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
Attention based Sequence to Sequence Learning for Machine Translation of Low Resourced Indic Languages -- A case of Sanskrit to Hindi
Chhotubhai Gopalbhai Patel Institute of Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学乔图巴伊·戈帕尔巴伊·帕特尔理工学院);Babumadhav Institute of Information Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学巴布马德哈夫信息技术学院)
深度学习技术在模拟人类解决特定问题方面非常强大。他们在复杂的学习任务中表现出色。受深度学习启发的神经机器翻译(NMT)是一种优于传统机器翻译的熟练技术。考虑到印度语言丰富多样的语法,对印度语言进行机器辅助翻译一直是一项具有挑战性的任务。与传统的机器翻译方法相比,神经机器翻译已经显示出高质量的结果。全自动机器翻译在处理低资源语言时会出现问题,尤其是梵文。本文提出了一种基于注意注意力机制的神经机器翻译,在翻译过程中有选择地关注语言句子的特定部分。该工作展示了具有近10 K样本和178,000个标记的梵语到印地语双语平行语料库的构建。在梵语-印地语平行语料库上训练了具有注意力机制的神经翻译模型。这种方法显示了注意力机制的重要性,以克服长期的依赖关系,主要是与低资源的印度语。本文在测试数据上显示了注意力图,以证明源词和译文词之间的对齐。对于翻译句子的评价,采用了基于人工评分的人工评价和基于自动评价指标的技术。基于注意力机制的神经翻译在人类评估中达到了88%的准确率,在梵语到印地语的翻译中BLEU得分为0.92。
2021-09-07 cs.AI cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院)
回译(Back translation,BT)已被广泛应用并成为神经机器翻译(Neural Machine Translation,NMT)中数据增强的标准技术之一,BT已被证明有助于有效提高翻译性能,特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上,但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译(SMT)模型的影响,用于中文到越南语和越南语到中文,基于字符和基于单词的设置。部分地证实了前人工作中的一些结论,并得出了一些有趣的发现和结论,这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation
Google Research(谷歌研究院)
在过去的几年里,在低资源神经机器翻译(NMT)中出现了两个有前途的研究方向。第一个重点是利用高资源语言,通过多语言NMT来提高低资源语言的质量。第二个方向采用具有自我监督的单语数据来预训练翻译模型,然后对少量监督数据进行微调。在这项工作中,我们加入了这两条研究路线,并证明了多语言NMT中自我监督的单语数据的有效性。我们提供三大成果:(i)使用单语数据可以显著提高多语言模型中低资源语言的翻译质量。(ii)自我监督提高了多语言模型中的zero-shot翻译质量。(iii)利用具有自我监督的单语数据为向多语言模型添加新语言提供了一条可行的途径,在没有任何并行数据或反向翻译的情况下,在ro-en翻译上获得多达33个BLEU。
2020-05-11 cs.CL cs.LG
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University(岐阜大学)
神经机器翻译(NMT)已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而,对于许多语言对,没有丰富的资源平行语料库存在。如本文所述,我们提出了一种语料库增强方法,通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库(ASPEC-JC)进行日汉、汉日翻译的实验结果表明,该方法提高了翻译性能。
2019-05-22 cs.CL
Extremely low-resource machine translation for closely related languages
University of Tartu(塔尔图大学)
一种有效的方法来改善极低资源的神经机器翻译是多语言训练,这可以通过利用单语数据使用反向翻译方法创建合成双语语料库来改善。这项工作的重点是乌拉尔语系的密切相关的语言:从爱沙尼亚和芬兰的地理区域。我们发现,多语言学习和合成语料库提高了我们有数据的每个语言对的翻译质量。我们证明了迁移学习和微调对于进行低资源机器翻译非常有效,并取得了最佳效果。我们收集了新的平行数据Vagrero,北,南萨米语和目前的神经机器翻译这些语言的第一个结果。
2021-05-27 cs.CL
Meta-Learning for Low-Resource Neural Machine Translation
The University of Hong Kong(香港大学);New York University(纽约大学)
在本文中,我们提出了扩展最近推出的模型无关Meta学习算法(MAML)的低资源神经机器翻译(NMT)。我们将低资源翻译视为元学习问题,并根据多语言高资源语言任务学习适应低资源语言。我们使用通用的词汇表示~ \citep{gu2018universal}来克服不同语言之间的输入输出不匹配。我们使用十八种欧洲语言(Bg,Cs,Da,De,El,Es,Et,Fr,Hu,It,Lt,Nl,Pl,Pt,Sk,Sl,Sv和Ru)作为源任务和五种不同的语言(Ro,Lv,Fi,Tr和Ko)作为目标任务来评估所提出的元学习策略。我们表明,所提出的方法显着优于多语言,迁移学习为基础的方法\citep{zoph2016transfer},使我们能够训练一个有竞争力的NMT系统,只有一小部分的训练样本。例如,所提出的方法可以在罗马尼亚语-英语WMT'16上实现高达22.04 BLEU,只需要看到16,000个翻译单词(约600个平行句子)。
2018-08-25 cs.CL cs.LG
Building a resource for studying translation shifts
本文介绍了一种跨学科的方法,它汇集了语料库语言学和翻译研究领域。它介绍了正在进行的工作,创建一个语料库资源,翻译转移明确注释。翻译移位是指在翻译过程中发生的偏离源文本和目标文本之间的正式对应关系的现象。如果机器翻译的输出与人类翻译相似,那么以系统的方式注释这种转变的资源将使研究需要解决的现象成为可能。本文中描述的资源包含英语源文本(议会议事录)及其德语翻译。移位注释基于谓词-论元结构,并分两步进行:首先,以简单的方式单语注释谓词及其论元。然后,相应的英语和德语谓词和参数彼此对齐。无论何时发生变化(主要是语法或语义上的变化),对齐都会被相应地标记。
2006-06-22 cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)(韩国科学技术大学(UST));Electronics and Telecommunication Research Institute (ETRI)(电子通信研究院(ETRI))
在机器翻译中,我们经常尝试收集资源以提高性能。然而,大多数语言对,如朝鲜语-阿拉伯语和朝鲜语-越南语,没有足够的资源来训练机器翻译系统。在本文中,我们提出了使用合成方法来扩展低资源语料库,并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子,使目标句子更好,包括使用合成方法。我们发现,语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外,当这两种方法一起使用时,我们发现更好的机器翻译性能。
2018-02-14 cs.CL
Application of Low-resource Machine Translation Techniques to Russian-Tatar Language Pair
Innopolis University(伊诺波利斯大学)
神经机器翻译是当前机器翻译的最新发展。虽然它在资源丰富的环境中是成功的,但它对低资源语言对的适用性仍然存在争议。在本文中,我们探讨了不同的技术,以提高机器翻译质量时,并行语料库是小到324 000句,作为一个例子,以前未开发的俄罗斯-鞑靼语对。我们将迁移学习和半监督学习等技术应用于基础Transformer模型,并实证表明,由此产生的模型分别将俄语到鞑靼语和鞑靼语到俄语的翻译质量提高了+2.57和+3.66 BLEU。
2019-10-01 cs.CL
Transfer Learning for Low-Resource Neural Machine Translation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Koç University(科奇大学)
神经机器翻译(NMT)的编码器-解码器框架在大数据场景中已经被证明是有效的,但对于低资源语言则不太有效。我们提出了一种迁移学习方法,该方法可以显着提高一系列低资源语言的Bleu分数。我们的核心思想是首先训练一个高资源的语言对(父模型),然后将一些学习到的参数转移到低资源对(子模型)来初始化和约束训练。使用我们的迁移学习方法,我们在四个低资源语言对上将基线NMT模型平均提高了5.6 Bleu。集成和未知词替换增加了另一个2 Bleu,这使得NMT在低资源机器翻译上的性能接近于基于强语法的机器翻译(SBMT)系统,超过了它在一个语言对上的性能。此外,使用迁移学习模型进行重新评分,我们可以将SBMT系统平均提高1.3 Bleu,提高低资源机器翻译的最新水平。
2016-04-08 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh(爱丁堡大学)
中文分词已经进入了深度学习时代,大大减少了特征工程的麻烦。近年来,一些研究者尝试将其作为字符级翻译,进一步简化了模型的设计,但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作,我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术,包括正则化,数据增强,客观加权,迁移学习和集成。与以前的作品相比,我们的低资源的基于简化的方法保持了轻松的模型设计,但在不使用额外的数据的情况下,在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
COMET-QE and Active Learning for Low-Resource Machine Translation
University of Cape Town(开普敦大学);South African Astronomical Observatory(南非天文台)
主动学习的目的是在资源稀缺时提供最大效益。我们使用COMET-QE,一个无参考的评估指标,选择低资源神经机器翻译的句子。使用斯瓦希里语,基尼亚卢旺达语和西班牙语为我们的实验,我们表明,COMET-QE显着优于两个变种的往返翻译可能性(RTTL)和随机句子选择高达5个BLEU点的20 k句子选择主动学习在30 k基线。这表明,COMET-QE是一个强大的工具,在非常低的资源限制的句子选择。
2022-10-27 cs.CL
The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation
Brandeis University(布兰迪斯大学)
该研究针对低资源神经机器翻译场景,对比BPE与LMVR、MORSEL等基于形态学的子词分词方法在英-尼、英-僧、英-哈翻译任务中的表现,发现不同分词方法无一致可靠的性能差异,最优方法随任务变化且统计上常无显著区别。
2021-03-20 cs.AI cs.CL
Quality Estimation Using Round-trip Translation with Sentence Embeddings
Dublin City University(都柏林城市大学)
评估机器翻译系统的质量一直是该领域研究人员面临的挑战。许多以前尝试使用往返翻译作为衡量质量的标准都失败了,对于它是否可以作为一种可行的质量评估方法存在很大分歧。在本文中,我们重新审视往返翻译,提出了一个系统,旨在解决以前的陷阱发现的方法。我们的方法利用语言表示学习的最新进展,更准确地衡量原始和往返翻译句子之间的相似性。实验表明,虽然我们的方法没有达到目前最先进的方法的性能,它可能仍然是一个有效的方法,一些语言对。
2021-10-31 cs.CL cs.LG
A Tulu Resource for Machine Translation
University of Zurich(苏黎世大学)
本文构建首个英语-图鲁语平行数据集,并利用南达罗毗荼语系相关语言资源通过迁移学习训练英-图鲁语机器翻译系统,在不使用平行数据的情况下超越Google Translate 19个BLEU分数。
2024-03-28 cs.CL
Low-Resource Neural Machine Translation Using Recurrent Neural Networks and Transfer Learning: A Case Study on English-to-Igbo
Tennessee Technological University(田纳西技术大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本研究针对英语到伊博语这一低资源翻译任务,结合RNN(LSTM/GRU)与注意力机制及基于MarianNMT的迁移学习,在基准数据集上取得+4.83 BLEU提升,估计准确率达70%。
2025-04-24 cs.CL cs.LG
Handling Syntactic Divergence in Low-resource Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
尽管神经机器翻译(NMT)在标准基准测试中取得了令人印象深刻的经验成功,但有限的并行数据阻碍了NMT模型在许多语言对中的应用。诸如反向翻译的数据增强方法使得使用单语数据来帮助缓解这些问题成为可能,但是反向翻译本身在极端低资源情况下失败,特别是对于句法不同的语言。在本文中,我们提出了一个简单而有效的解决方案,即目标语言的句子被重新排序,以匹配源的顺序,并作为一个额外的来源,训练时间的监督。通过模拟低资源日语到英语和真实低资源维吾尔语到英语场景的实验,发现与其他半监督替代方案相比有显着改善。
2019-08-30 cs.CL
Computer Assisted Translation with Neural Quality Estimation and Automatic Post-Editing
Alibaba Group Inc.(阿里巴巴集团有限公司)
随着神经机器翻译的出现,已经出现了向利用和消费机器翻译结果的显著转变。然而,机器翻译系统和人工翻译之间的差距需要通过后期编辑手动弥合。在本文中,我们提出了一个端到端的深度学习框架,用于机器翻译输出的质量评估和自动后期编辑。我们的目标是提供纠错建议,并通过可解释的模型进一步减轻翻译人员的负担。为了模仿人类译者的行为,我们设计了三个高效的委托模块--质量评估、生成式后编辑和原子操作后编辑,并基于它们构建了一个分层模型。我们使用WMT 2017 APE共享任务的英语-德语数据集来检验这种方法,我们的实验结果可以达到最先进的性能。我们还验证了认证的翻译人员可以显着加快他们的编辑后处理与我们的模型在人类评估。
2020-09-28 cs.AI cs.CL
Bi-Directional Differentiable Input Reconstruction for Low-Resource Neural Machine Translation
University of Maryland(马里兰大学)
我们的目标是通过引入神经机器翻译(NMT)的可区分重建损失,更好地利用在低资源环境中可用的有限数量的并行文本。这种损失将原始输入与通过将翻译假设回译到输入语言中获得的重构输入进行比较。我们利用可微分采样和双向NMT来端到端地训练模型,而不引入额外的参数。这种方法在两个翻译方向上对四种语言对实现了小但一致的BLEU改进,并且优于基于隐藏状态的替代可微重建策略。
2019-04-03 cs.CL
ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍ChrEnTranslate,一个在线机器翻译演示系统,用于英语和濒危语言切罗基语之间的翻译。它支持统计和神经翻译模型,并提供质量评估以告知用户可靠性,分别为专家和普通用户提供两个用户反馈界面,收集单语数据的人工翻译的示例输入,单词对齐可视化以及Cherokee-English词典中的相关术语。定量评估表明,我们的骨干翻译模型达到了最先进的翻译性能,我们的质量评估与BLEU和人类判断都有很好的相关性。通过分析216条专家反馈,我们发现NMT是更好的,因为它比SMT复制少,而且,一般来说,目前的模型可以翻译源句子的片段,但会犯重大错误。当我们将这216个专家校正的平行文本添加回训练集并重新训练模型时,观察到相同或略好的性能,这表明了人在回路学习的潜力。我们的在线演示在https://chren.cs.unc.edu/,我们的代码在https://github.com/ZhangShiyue/ChrEnTranslate开源,我们的数据在https://github.com/ZhangShiyue/ChrEn
2021-08-02 cs.AI cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University(东京都立大学);National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译(NMT),具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景,例如多语言NMT和回译,但我们已经根据经验证实,当仅限于域内数据时,它们的成功有限。因此,我们建议通过迁移学习来利用域外数据,首先使用它来训练多语言NMT模型,然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译,在这种资源极其匮乏的情况下,在较强的基线上,帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh(爱丁堡大学);Saarland University(萨尔兰大学);Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
我们描述了在第六届机器翻译会议(WMT 2021)上,萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型,用于冰岛语(is),挪威语-博克马尔语(nb)和瑞典语(sv)之间的翻译。我们采用各种实验方法,包括多语言预训练,回译,微调和集成。在大多数翻译方向上,我们的模型优于其他提交的系统。
2021-09-29 cs.CL