Translation Circuit Discovery and Targeted Optimization for Low-Resource Multilingual Translation
Indraprastha Institute of Information Technology Delhi(英迪拉普拉斯塔信息技术学院德里分校)
本研究针对低资源多语言翻译,提出TITAN框架发现并优化仅解码器LLM的翻译回路,仅更新不到5%参数,在印地语到乌尔都语、信德语翻译上获显著BLEU提升,且揭示多语言翻译的稀疏回路机制。
2026-10-16 cs.CL
Compensating for Data with Reasoning: Low-Resource Machine Translation with LLMs
Department of Computer Science / University of Innsbruck(计算机科学系 / 因斯布鲁克大学)
本文提出Fragment-Shot Prompting及其无平行数据扩展Pivoted Fragment-Shot方法,利用LLM的推理能力补偿低资源语言翻译数据的不足,实验证明句法覆盖度与翻译质量正相关,且强推理模型能更有效地利用检索知识提升低资源语言间的翻译效果。
2025-05-28 cs.CL
Compositional Translation: A Novel LLM-based Approach for Low-resource Machine Translation
Inria(法国国家信息与自动化研究所)
针对低资源机器翻译,提出组合式翻译范式:利用LLM将句子分解为短语并检索示例翻译,再借助自生成短语对辅助初始句子翻译,在多个主流基准上显著提升性能。
2025-03-06 cs.CL
Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation
Institute of Information Science, Academia Sinica(台湾“中央研究院”信息科学研究所);National Taiwan University of Science and Technology(台湾科技大学);Ecole Centrale de Marseille(马赛中央理工学院);National University of Singapore(新加坡国立大学)
本研究探索了通过扩展上下文长度来改进低资源机器翻译的ICL方法,发现增加上下文可提升性能但存在饱和点,且不同语料库类型对结果影响显著。
2026-02-04 cs.CL
Structurally Speaking: Motif-Oriented Graph Captioning through Bidirectional Graph-Text Translation
University of California, Davis(加州大学戴维斯分校)
本文提出Structurally Speaking结构化提示协议,引导LLM在双向图-文本翻译中生成简洁、模体一致且可恢复的图描述,无需微调。
2026-09-11 cs.CL cs.LG
When Readability and Source Retention Diverge: An Evaluability Gap in AI Translation
Lehigh University(里海大学)
该研究针对AI翻译中可读性与源保留分歧导致的可评估性差距,通过TransLingo开展2×2对比实验,揭示了源文本条件与输出呈现方式对感知质量等的影响,明确了任务绩效信任与披露意愿的关联。
2026-08-20 cs.CL cs.HC
Learning Translation Quality Evaluation on Low Resource Languages from Large Language Models
EPFL(洛桑联邦理工学院);Google(谷歌)
近年来,BLEURT等学习指标已被广泛用于评估机器翻译系统的质量。训练这样的指标需要昂贵且难以获得的数据,特别是对于低资源语言。我们展示了如何从大语言模型(LLM)中提取知识,以改善这种学习的指标,而不需要人工注释,通过创建合成数据集,可以混合到现有的数据集,只需要一个语料库的文本在目标语言。我们表明,低资源语言的BLEURT类模型的性能可以通过这种方式得到改善。
2023-02-07 cs.CL cs.LG
Aligning Large Language Models to Low-Resource Languages through LLM-Based Selective Translation: A Systematic Study
NVIDIA
本研究系统探究了基于LLM的选择性翻译方法,用于将多语言大模型与低资源语言(如印地语)对齐,证明其比普通翻译更有效,且混合原始英语数据能提升对齐效果。
2025-10-15 cs.CL cs.LG
LLMs for Low-Resource Dialect Translation Using Context-Aware Prompting: A Case Study on Sylheti
University of Vermont(佛蒙特大学);Santa Fe Institute(圣塔菲研究所)
本研究提出斯利赫蒂-CAP框架,通过上下文感知提示提升低资源方言翻译质量,验证了其在方言特定词汇处理上的有效性。
2025-11-24 cs.CL cs.CY
Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem
The Ohio State University(俄亥俄州立大学)
本文通过南克丘亚语到西班牙语的检索增强上下文翻译消融实验,发现LLM的低资源翻译同时受限于上下文检索质量与语言理解利用能力。
2024-10-24 cs.AI cs.CL cs.LG
How Far Can Machine Translation Quality Take You? Extrinsic Discourse Evaluation in Goal-Oriented Setups
Language Technology Lab, University of Amsterdam(语言技术实验室,阿姆斯特丹大学)
研究机器翻译在静态和交互式目标导向任务中的外在话语评估,发现高内在翻译质量不能保证下游话语成功,且强系统仍存在指代不一致问题。
2026-06-16 cs.CL
Is 42 the Answer to Everything in Subtitling-oriented Speech Translation?
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
由于每天都有大量视听内容,字幕对传播信息越来越重要。虽然神经机器翻译(NMT)可以加快翻译视听内容的过程,但是仍然需要大量的手动工作来转录源语言,以及将文本定位和分割成适当的字幕。在时间和分段方面创建适当的字幕在很大程度上取决于音频中存在的信息(话语持续时间,自然停顿)。在这项工作中,我们探讨了两种方法应用语音翻译(ST)的字幕:a)直接端到端和b)一个经典的级联方法。我们讨论的好处,有机会获得的源语言的语音,以提高所生成的字幕的空间和时间的字幕限制的一致性,并表明,长度是不是一切的情况下,面向字幕ST的答案。
2020-06-01 cs.CL
BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text
University of Wolverhampton(伍尔弗汉普顿大学);University of Surrey(萨里大学)
社交媒体公司和当局广泛使用人工智能(AI)工具来监控仇恨言论,庆祝暴力或亵渎的帖子。由于人工智能软件需要大量数据来训练计算机,因此在线内容的机器翻译(MT)通常用于处理用多种语言编写的帖子,从而增加训练所需的数据。然而,在翻译情感导向的用户生成内容(UGC)时,机器翻译错误是经常发生的,特别是当涉及低资源语言时。整个过程的充分性取决于这样一个假设,即所使用的评价标准能够可靠地表明翻译的质量。在本文中,我们评估的能力,自动质量指标检测关键的机器翻译错误,可能会导致严重的误解的影响消息。我们比较了三个规范的性能指标无意义的翻译,语义内容严重受损相比,有意义的翻译与要害差错,专门扭曲的感情的源文本。我们的结论是,有必要微调的自动指标,使他们更强大的检测情感要害差错。
2021-09-29 cs.CL
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
我们提出了一种用于语音识别评估的常用字错误率(WER)指标的变体,该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后,相邻错误的跨度被转换成具有单词和音节边界的音素,并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词,这些单词调整每个错误区域中的单词对齐标签。我们证明,我们的语音导向的单词错误率(POWER)产生类似的分数WER与更好的单词对齐的附加优势,并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Hedges in Bidirectional Translations of Publicity-Oriented Documents
School of Foreign Languages(外国语学院);Shanghai Jiao Tong University(上海交通大学);Department of Computer Science and Engineering(计算机科学与工程系)
本研究基于中国和联合国官方政治文本构建语料库,对比分析了模糊限制语在双向翻译中的历时频率变化及翻译策略,发现方向性对频率和策略有重要影响且英语政治文本中模糊限制语更频繁。
2023-05-23 cs.CL
Machine Translation for Machines: the Sentiment Classification Use Case
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
我们提出了一种神经机器翻译(NMT)方法,该方法不是追求充分性和流畅性(“以人为本”的质量标准),而是旨在生成最适合作为为特定下游任务设计的自然语言处理组件的输入的翻译(“面向机器”的标准)。为了实现这一目标,我们提出了一种基于新的候选抽样策略的强化学习技术,该策略利用下游任务作为弱反馈获得的结果。在德语和意大利语的Twitter数据的情感分类实验表明,喂养一个英语分类器与面向机器的翻译显着提高其性能。分类结果优于通用NMT模型产生的翻译以及基于强化学习的方法。此外,我们对这两种语言的结果近似的黄金标准英语推文计算的分类精度。
2019-10-01 cs.CL
Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation
本文提出基于句子增强和Transformer架构的方法,解决巴拿语翻译中的资源限制问题,提升翻译准确性和可及性。
2026-01-27 cs.CL
Neural Machine Translation with Adequacy-Oriented Learning
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
神经机器翻译(NMT)模型在机器翻译中具有先进的性能,但也面临着翻译不充分等问题。我们认为这是因为标准的最大似然估计法(MLE)由于其自身的局限性而无法对真实的翻译质量进行判断。在这项工作中,我们提出了一个充分性为导向的学习机制NMT铸造翻译作为一个随机的政策,在强化学习(RL),其中的奖励估计明确衡量翻译充分。受益于RL策略的序列级训练和专门为翻译设计的更准确的奖励,我们的模型优于多个强基线,包括(1)基于MLE训练的标准和覆盖增强注意力模型,以及(2)基于单词级BLEU和字符级chrF3的高级强化和对抗训练策略。对不同语言对和NMT结构的定量和定性分析表明了该方法的有效性和通用性。
2018-11-21 cs.AI cs.CL
Zero-Resource Translation with Multi-Lingual Neural Machine Translation
Middle East Technical University(中东技术大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);New York University(纽约大学)
在本文中,我们提出了一种新的微调算法,最近推出的多路,多语言神经机器翻译,使零资源机器翻译。当与新颖的多对一翻译策略一起使用时,我们的经验表明,这种微调算法允许多路多语言模型翻译零资源语言对(1)以及用相同语言对的多达1M个直接平行句子训练的单对神经翻译模型(2)优于基于机器翻译的翻译策略,同时仅保留注意力相关参数的一个附加副本。
2016-06-13 cs.CL
Language Graph Distillation for Low-Resource Machine Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
由于缺乏双语句子对,低资源语言上的神经机器翻译具有挑战性。以前的作品通常解决低资源的翻译问题,在多语言环境中的知识转移。本文提出了语言图的概念,并进一步设计了一种新的图蒸馏算法,该算法通过前向和后向知识蒸馏来提高图中低资源翻译的准确性。在TED演讲多语种数据集上的初步实验证明了该方法的有效性。具体来说,我们在BLEU得分方面将低资源翻译对提高了3.13分以上。
2019-08-17 cs.CL
Generalized Data Augmentation for Low-Resource Translation
Carnegie Mellon University(卡内基梅隆大学)
低资源语言LRL之间的互译对机器翻译在充分性和流畅性方面提出了挑战。利用大量单语数据的数据增强被认为是缓解这些问题的有效途径。在本文中,我们提出了一个通用的框架,在低资源的机器翻译,不仅使用目标方单语数据,但也通过相关的高资源语言HRL的枢轴数据增强。具体来说,我们尝试使用两步旋转方法将高资源数据转换为LRL,利用可用资源更好地近似LRL的真实数据分布。首先,我们注入LRL词HRL句子通过诱导双语词典。其次,我们使用修改后的无监督机器翻译框架进一步编辑这些修改后的句子。在四个低资源数据集上进行的大量实验表明,在极端低资源设置下,与有监督的反向翻译基线相比,我们的数据增强技术将翻译质量提高了约1.5到约8个BLEU点
2019-06-10 cs.CL
Using Machine Translation to Localize Task Oriented NLG Output
Google, Inc.(谷歌公司)
面向任务的自然语言应用程序(如Google Assistant,Siri或Alexa)的挑战之一是将输出本地化为多种语言。本文通过将机器翻译应用到英语输出中来探索这一点。使用机器翻译是非常可扩展的,因为它可以与任何英语输出,并可以处理动态文本,但除此之外的问题是一个穷人的适合。所需的质量棒接近完美,句子的范围极窄,而且句子往往与机器翻译训练数据中的句子有很大不同。这种需求的组合在机器翻译的领域自适应领域中是新颖的。我们能够通过建立现有的想法并添加新的想法来达到所需的质量标准:对域内翻译进行微调,添加来自Web的句子,添加语义注释以及使用自动错误检测。本文分享了我们的方法和结果,以及一个蒸馏模型,以服务于大规模的翻译模型。
2021-07-09 cs.CL cs.LG
Survey of Low-Resource Machine Translation
University of Edinburgh(爱丁堡大学);Inria(法国国家信息与自动化研究所)
我们提出了一个调查,涵盖了最先进的低资源机器翻译的研究。目前世界上大约有7000种语言,几乎所有的语言对都缺乏用于训练机器翻译模型的重要资源。当只有很少的翻译后的训练数据可用时,解决产生有用的翻译模型的挑战的研究已经引起了越来越多的兴趣。我们提出了这个专题研究领域的总结,并提供了一个描述的技术评估的研究人员在最近的几个共享任务,在低资源MT。
2022-02-07 cs.CL
Simulated Multiple Reference Training Improves Low-Resource Machine Translation
Johns Hopkins University(约翰霍普金斯大学)
对于给定的句子,存在许多有效的翻译,然而机器翻译(MT)是用单个参考翻译训练的,这加剧了低资源设置中的数据稀疏性。我们介绍了模拟多参考训练(SMRT),一种新的MT训练方法,通过从释义者中对参考句子的释义进行采样,并训练MT模型来预测释义者在可能的标记上的分布,从而近似可能翻译的整个空间。我们证明了SMRT在低资源环境下翻译成英语时的有效性,BLEU提高了1.2到7.0。我们还发现SMRT与回译是互补的。
2020-10-13 cs.CL
Neural machine translation for low-resource languages
神经机器翻译(NMT)方法在过去几年中改进了许多机器翻译设置中的现有技术,但是它们需要大量的训练数据来产生合理的输出。我们证明了NMT也可以用于低资源语言,通过引入更多的本地依赖关系和使用单词对齐来学习翻译过程中的句子重排。除了我们的新模型,我们还提出了一个基于低资源短语的统计机器翻译(SMT)和NMT的实证评估,以调查各自的技术的下限。我们发现,虽然SMT仍然是低资源设置的最佳选择,我们的方法可以产生可接受的翻译只有70000令牌的训练数据,基准NMT系统完全失败的水平。
2017-08-18 cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学)
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对,情况并非如此,导致翻译质量差。受计算机视觉工作的启发,我们提出了一种新的数据增强方法,该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明,我们的方法比基线提高了2.9个BLEU点,比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院)
回译(Back translation,BT)已被广泛应用并成为神经机器翻译(Neural Machine Translation,NMT)中数据增强的标准技术之一,BT已被证明有助于有效提高翻译性能,特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上,但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译(SMT)模型的影响,用于中文到越南语和越南语到中文,基于字符和基于单词的设置。部分地证实了前人工作中的一些结论,并得出了一些有趣的发现和结论,这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University(岐阜大学)
神经机器翻译(NMT)已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而,对于许多语言对,没有丰富的资源平行语料库存在。如本文所述,我们提出了一种语料库增强方法,通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库(ASPEC-JC)进行日汉、汉日翻译的实验结果表明,该方法提高了翻译性能。
2019-05-22 cs.CL
Extremely low-resource machine translation for closely related languages
University of Tartu(塔尔图大学)
一种有效的方法来改善极低资源的神经机器翻译是多语言训练,这可以通过利用单语数据使用反向翻译方法创建合成双语语料库来改善。这项工作的重点是乌拉尔语系的密切相关的语言:从爱沙尼亚和芬兰的地理区域。我们发现,多语言学习和合成语料库提高了我们有数据的每个语言对的翻译质量。我们证明了迁移学习和微调对于进行低资源机器翻译非常有效,并取得了最佳效果。我们收集了新的平行数据Vagrero,北,南萨米语和目前的神经机器翻译这些语言的第一个结果。
2021-05-27 cs.CL
OCR Improves Machine Translation for Low-Resource Languages
University of Michigan(密歇根大学);Meta AI;Microsoft Turing(微软图灵研究院)
我们的目标是调查目前的OCR系统的性能低资源的语言和低资源的脚本。我们介绍并公开提供一个新的基准,OCR4MT,由真实和合成数据,丰富的噪音,为60个低资源的语言在低资源脚本。我们在基准测试中评估最先进的OCR系统,并分析最常见的错误。我们表明,OCR单语数据是一个有价值的资源,可以提高性能的机器翻译模型,当用于回译。然后,我们进行消融研究,以调查OCR错误如何影响机器翻译的性能,并确定什么是最低水平的OCR质量所需的单语数据是有用的机器翻译。
2022-03-13 cs.CL
Minimal Dependency Translation: a Framework for Computer-Assisted Translation for Under-Resourced Languages
Indiana University(印第安纳大学)
本文介绍了最小依赖翻译(MDT),一个正在进行的项目,以开发一个基于规则的框架,创建基本的双语词汇语法的机器翻译和计算机辅助翻译成和出资源不足的语言,以及对英语到阿姆哈拉语翻译实施MDT的初步步骤。MDT中的基本单位称为组,是以多项序列为标题的。除了词形之外,组还可能包含词素、句法语义类别和语法特征。每个组与一个或多个翻译相关联,每个翻译是目标语言的组。在翻译过程中,使用约束满足来为输入句子选择一组源语言组,并对相关联的目标语言组中的单词进行排序。
2017-10-02 cs.CL
Building a resource for studying translation shifts
本文介绍了一种跨学科的方法,它汇集了语料库语言学和翻译研究领域。它介绍了正在进行的工作,创建一个语料库资源,翻译转移明确注释。翻译移位是指在翻译过程中发生的偏离源文本和目标文本之间的正式对应关系的现象。如果机器翻译的输出与人类翻译相似,那么以系统的方式注释这种转变的资源将使研究需要解决的现象成为可能。本文中描述的资源包含英语源文本(议会议事录)及其德语翻译。移位注释基于谓词-论元结构,并分两步进行:首先,以简单的方式单语注释谓词及其论元。然后,相应的英语和德语谓词和参数彼此对齐。无论何时发生变化(主要是语法或语义上的变化),对齐都会被相应地标记。
2006-06-22 cs.CL
Leveraging translations for speech transcription in low-resource settings
University of Notre Dame(圣母大学)
最近提出的濒危语言文献的数据汇集框架的目的不仅是收集语音在感兴趣的语言,但也收集翻译成一个高资源的语言,将使收集到的资源可解释。我们专注于这种情况下,并探讨我们是否可以提高转录质量在这些极低的资源设置与文本翻译的协助下。我们提出了一个神经多源模型,并在三个低资源数据集上评估了它的几个变体。我们发现,我们的多源模型与共享注意优于基线,降低转录字符出错率高达12.3%。
2018-06-11 cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)(韩国科学技术大学(UST));Electronics and Telecommunication Research Institute (ETRI)(电子通信研究院(ETRI))
在机器翻译中,我们经常尝试收集资源以提高性能。然而,大多数语言对,如朝鲜语-阿拉伯语和朝鲜语-越南语,没有足够的资源来训练机器翻译系统。在本文中,我们提出了使用合成方法来扩展低资源语料库,并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子,使目标句子更好,包括使用合成方法。我们发现,语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外,当这两种方法一起使用时,我们发现更好的机器翻译性能。
2018-02-14 cs.CL
Massively Multilingual Text Translation For Low-Resource Languages
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对低资源语言翻译需求,本研究利用高资源语言资源,通过大规模源端并行、语料级释义和模型分步适配策略,提升封闭文本的低资源语言翻译质量,助力人机协作加速翻译进程。
2024-01-29 cs.CL
Application of Low-resource Machine Translation Techniques to Russian-Tatar Language Pair
Innopolis University(伊诺波利斯大学)
神经机器翻译是当前机器翻译的最新发展。虽然它在资源丰富的环境中是成功的,但它对低资源语言对的适用性仍然存在争议。在本文中,我们探讨了不同的技术,以提高机器翻译质量时,并行语料库是小到324 000句,作为一个例子,以前未开发的俄罗斯-鞑靼语对。我们将迁移学习和半监督学习等技术应用于基础Transformer模型,并实证表明,由此产生的模型分别将俄语到鞑靼语和鞑靼语到俄语的翻译质量提高了+2.57和+3.66 BLEU。
2019-10-01 cs.CL
Transfer Learning for Low-Resource Neural Machine Translation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Koç University(科奇大学)
神经机器翻译(NMT)的编码器-解码器框架在大数据场景中已经被证明是有效的,但对于低资源语言则不太有效。我们提出了一种迁移学习方法,该方法可以显着提高一系列低资源语言的Bleu分数。我们的核心思想是首先训练一个高资源的语言对(父模型),然后将一些学习到的参数转移到低资源对(子模型)来初始化和约束训练。使用我们的迁移学习方法,我们在四个低资源语言对上将基线NMT模型平均提高了5.6 Bleu。集成和未知词替换增加了另一个2 Bleu,这使得NMT在低资源机器翻译上的性能接近于基于强语法的机器翻译(SBMT)系统,超过了它在一个语言对上的性能。此外,使用迁移学习模型进行重新评分,我们可以将SBMT系统平均提高1.3 Bleu,提高低资源机器翻译的最新水平。
2016-04-08 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh(爱丁堡大学)
中文分词已经进入了深度学习时代,大大减少了特征工程的麻烦。近年来,一些研究者尝试将其作为字符级翻译,进一步简化了模型的设计,但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作,我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术,包括正则化,数据增强,客观加权,迁移学习和集成。与以前的作品相比,我们的低资源的基于简化的方法保持了轻松的模型设计,但在不使用额外的数据的情况下,在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
COMET-QE and Active Learning for Low-Resource Machine Translation
University of Cape Town(开普敦大学);South African Astronomical Observatory(南非天文台)
主动学习的目的是在资源稀缺时提供最大效益。我们使用COMET-QE,一个无参考的评估指标,选择低资源神经机器翻译的句子。使用斯瓦希里语,基尼亚卢旺达语和西班牙语为我们的实验,我们表明,COMET-QE显着优于两个变种的往返翻译可能性(RTTL)和随机句子选择高达5个BLEU点的20 k句子选择主动学习在30 k基线。这表明,COMET-QE是一个强大的工具,在非常低的资源限制的句子选择。
2022-10-27 cs.CL
Evaluation and Ranking of Machine Translated Output in Hindi Language using Precision and Recall Oriented Metrics
CDAC(印度先进计算发展中心)
评价在机器翻译系统的开发中起着至关重要的作用。为了判断现有MT系统的质量,即翻译的输出是否具有人工翻译质量,存在各种自动度量。我们在这里提出了不同的指标时,使用印地语的实现结果,以及它们的比较,说明如何有效的是这些指标的语言,如印地语(自由词序语言)。
2014-04-07 cs.CL
A Tulu Resource for Machine Translation
University of Zurich(苏黎世大学)
本文构建首个英语-图鲁语平行数据集,并利用南达罗毗荼语系相关语言资源通过迁移学习训练英-图鲁语机器翻译系统,在不使用平行数据的情况下超越Google Translate 19个BLEU分数。
2024-03-28 cs.CL
An Unsupervised Probability Model for Speech-to-Translation Alignment of Low-Resource Languages
University of Notre Dame(圣母大学);University of Melbourne(墨尔本大学)
对于许多低资源的语言,口语资源更有可能用翻译而不是translation来注释。翻译后的语音数据对于记录濒危语言或训练语音翻译系统具有潜在的价值。利用这些数据的第一步是自动将口语与其翻译对齐。我们提出了一个模型,结合戴尔等人。的IBM Model 2(快速对齐)和k-means聚类的重新参数化,使用Dynamic Time Warping作为距离度量。这两个组件使用期望最大化联合训练。在资源极其匮乏的情况下,我们的模型的表现明显优于神经模型和强基线。
2016-09-26 cs.CL
Handling Syntactic Divergence in Low-resource Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
尽管神经机器翻译(NMT)在标准基准测试中取得了令人印象深刻的经验成功,但有限的并行数据阻碍了NMT模型在许多语言对中的应用。诸如反向翻译的数据增强方法使得使用单语数据来帮助缓解这些问题成为可能,但是反向翻译本身在极端低资源情况下失败,特别是对于句法不同的语言。在本文中,我们提出了一个简单而有效的解决方案,即目标语言的句子被重新排序,以匹配源的顺序,并作为一个额外的来源,训练时间的监督。通过模拟低资源日语到英语和真实低资源维吾尔语到英语场景的实验,发现与其他半监督替代方案相比有显着改善。
2019-08-30 cs.CL
Bi-Directional Differentiable Input Reconstruction for Low-Resource Neural Machine Translation
University of Maryland(马里兰大学)
我们的目标是通过引入神经机器翻译(NMT)的可区分重建损失,更好地利用在低资源环境中可用的有限数量的并行文本。这种损失将原始输入与通过将翻译假设回译到输入语言中获得的重构输入进行比较。我们利用可微分采样和双向NMT来端到端地训练模型,而不引入额外的参数。这种方法在两个翻译方向上对四种语言对实现了小但一致的BLEU改进,并且优于基于隐藏状态的替代可微重建策略。
2019-04-03 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University(东京都立大学);National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译(NMT),具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景,例如多语言NMT和回译,但我们已经根据经验证实,当仅限于域内数据时,它们的成功有限。因此,我们建议通过迁移学习来利用域外数据,首先使用它来训练多语言NMT模型,然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译,在这种资源极其匮乏的情况下,在较强的基线上,帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh(爱丁堡大学);Saarland University(萨尔兰大学);Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
我们描述了在第六届机器翻译会议(WMT 2021)上,萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型,用于冰岛语(is),挪威语-博克马尔语(nb)和瑞典语(sv)之间的翻译。我们采用各种实验方法,包括多语言预训练,回译,微调和集成。在大多数翻译方向上,我们的模型优于其他提交的系统。
2021-09-29 cs.CL
Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation
Zhengzhou University(郑州大学);Peng Cheng Laboratory(鹏城实验室)
本文研究了深度Transformer翻译模型在CCMT 2022汉泰低资源机器翻译任务中的使用。我们首先探索实验设置(包括BPE合并操作的数量,丢弃概率,嵌入大小等)。对于6层Transformer的低资源场景。考虑到增加层数也会增加对新模型参数的正则化(使用更多层数时也会引入dropout模块),我们采用最高性能设置,但将Transformer的深度增加到24层,以获得更高的翻译质量。我们的工作获得了SOTA在汉泰翻译中的约束评价性能。
2022-12-24 cs.CL
BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation
University of Maryland(马里兰大学);Facebook AI Research(脸书人工智能研究院)
挖掘的双文本可能包含不完美的翻译,为神经机器翻译(NMT)产生不可靠的训练信号。虽然过滤掉这样的配对可以提高最终的模型质量,但我们认为,在低资源条件下,即使挖掘的数据也是有限的,这是次优的。在我们的工作中,我们建议通过自动编辑来细化挖掘的双文本:给定一个语言xf的句子,以及它的一个可能不完美的翻译xe,我们的模型生成一个修订的版本xf'或xe',产生一个更等价的翻译对(即,<xf,xe '>或<xf',xe>)。我们使用一种简单的编辑策略,通过(1)挖掘给定双文本中每个句子的潜在不完美翻译,(2)学习一个模型来重建原始翻译并以多任务方式进行翻译。实验表明,我们的方法成功地提高了5个低资源语言对和10个翻译方向的CCMatrix挖掘的bitext的质量高达~ 8 BLEU点,在大多数情况下,提高了有竞争力的反向翻译基线。
2022-05-30 cs.CL
Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
我们探索了结合双语词典来实现半监督神经机器翻译的方法。传统的反向翻译方法已经在利用目标侧单语数据方面取得了成功。然而,由于回译模型的质量与可用并行语料库的大小有关,因此这可能会对低资源设置中的合成生成的句子产生不利影响。我们提出了一个简单的数据增强技术来解决这两个缺点。我们将广泛使用的双语词典,产生逐字翻译生成合成句子。这会自动扩展模型的词汇表,同时保持高质量的内容。我们的方法在强基线上显示出明显的性能改善。
2020-04-05 cs.CL
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University(查尔斯大学)
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明,使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明,字符级双语模型是非常相似的语言对(加泰罗尼亚语-欧西坦语)的竞争力,但更遥远的对。我们还描述了我们的多任务学习实验,除了文本翻译外,模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Extending the adverbial coverage of a NLP oriented resource for French
LIGM, Université Paris-Est(巴黎东部大学LIGM研究所)
本文介绍了对面向自然语言处理的法语句法资源LGLex的状语词条进行扩展的工作。副词是从词汇语法表中提取的,包括以“-ly”结尾的简单副词(Molinier和Levrier,2000)和复合副词(Gross,1986; 1990)。这项工作依赖于利用现有资源中提供的细粒度语言信息。各种功能都编码在两个LG表,他们还没有被利用。它们分别描述了简单副词与复合副词之间以及不同类型的复合副词之间的删除、置换、强化和释义关系。生成的语法资源是手动评估的,并在LGPL-LR许可下免费提供。
2011-11-15 cs.CL
Neural Machine Translation for Extremely Low-Resource African Languages: A Case Study on Bambara
Rochester Institute of Technology(罗切斯特理工学院);Centre National Collaboratif de l’Education en Robotique et en Intelligence Artificielle (RobotsMali)(国家机器人与人工智能教育合作中心(马里机器人));Google Research(谷歌研究院);Orange Silicon Valley(奥兰治硅谷)
低资源语言对(神经)机器翻译提出了独特的挑战。我们讨论的情况下,班巴拉,曼德语的训练数据是稀缺的,需要大量的预处理。除了班巴拉语本身的语言情况外,班巴拉语使用者所生活的社会文化背景也对这种语言的自动化处理提出了挑战。在本文中,我们提出了第一个并行数据集的机器翻译的Bambara到英语和法语和第一个基准结果的机器翻译和Bambara。我们讨论了在低资源语言工作的挑战,并提出了策略,以应对低资源机器翻译(MT)的数据稀缺性。
2020-11-10 cs.CL
Exploring Diversity in Back Translation for Low-Resource Machine Translation
University of Edinburgh(爱丁堡大学);Institute for Language, Cognition, and Computation(语言、认知与计算研究所)
本研究提出区分词汇与句法多样性的框架及新指标,实证发现核采样生成反向翻译性能更优,且词汇多样性比句法多样性更重要。
2022-06-01 cs.CL
A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation
Innopolis University(伊诺波利斯大学)
神经机器翻译已经成为大型平行语料库语言对的最新技术。然而,低资源语言的机器翻译的质量还有很多需要改进的地方。有几种方法可以缓解这个问题,例如迁移学习,半监督和无监督学习技术。在本文中,我们回顾了现有的方法,其主要思想是利用单语数据的力量,这与并行相比,通常更容易获得和显着更大的量。
2019-10-01 cs.CL