Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室);Facebook AI(脸书人工智能);Naver Labs Europe(Naver欧洲实验室)
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数,并在层之间注入轻量级模块,从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时,本文提出了多语言语音翻译(ST)适配器的全面分析。从不同的预训练模型开始(在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART(mBART)),我们表明适配器可用于:(a)以参数方面的低额外成本将ST有效地专门化为特定语言对,以及(b)从自动语音识别(ASR)任务和mBART预训练模型转换为多语言ST任务。实验表明,适配器调整提供了与完全微调相竞争的结果,同时参数效率更高。
2021-07-12 cs.CL
BERTTune: Fine-Tuning Neural Machine Translation with BERTScore
RoZetta Technology(罗泽塔科技);University of Technology Sydney(悉尼科技大学)
神经机器翻译模型通常偏向于训练期间看到的有限翻译参考。为了修正这种形式的过拟合,在本文中,我们提出了一个新的训练目标的基础上最近提出的BERTScore评估指标微调模型。BERTScore是一个基于上下文嵌入的评分函数,它克服了基于n-gram的度量(例如同义词,释义)的典型限制,允许与参考文献不同但在上下文嵌入空间中接近的翻译被视为基本正确。为了能够使用BERTScore作为训练目标,我们提出了三种生成软预测的方法,使网络保持端到端的完全可区分。在四个不同的语言对上进行的实验在微调强基线时,BLEU分数提高了0.58 pp(3.28%),BERTScore(F_BERT)提高了0.76 pp(0.98%)。
2021-06-04 cs.CL
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力,并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验,通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明,仅微调交叉注意参数几乎与微调所有参数一样有效(即,整个翻译模式)。我们提供的见解,为什么会出现这种情况,并观察到,以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘,zero-shot翻译的潜力,以及将机器翻译模型扩展到几种新语言对的能力,同时减少参数存储开销。
2021-09-14 cs.CL
Don't Go Far Off: An Empirical Study on Neural Poetry Translation
Columbia University(哥伦比亚大学)
尽管机器翻译质量不断提高,但由于缺乏开源的并行诗歌语料库,以及保留诗歌的语义,风格和比喻性质所涉及的内在复杂性,自动诗歌翻译仍然是一个具有挑战性的问题。我们从几个方面对诗歌翻译进行了实证研究:1)训练数据的大小和风格(诗歌与非诗歌),包括zero-shot设置; 2)双语与多语言学习;以及3)特定于语言家族的模型与混合多语言模型。为了实现这一点,我们贡献了一个并行数据集的诗歌翻译几种语言对。我们的研究结果表明,多语言微调的诗歌文本显着优于多语言微调的非诗歌文本是35倍大的大小,无论是在自动指标(BLEU,BERTScore)和人类的评价指标,如忠诚度(意义和诗歌风格)。此外,对诗歌数据的多语言微调优于对诗歌数据的\emph{bilingual}微调。
2021-09-10 cs.CL
Exploring Intrinsic Language-specific Subspaces in Fine-tuning Multilingual Neural Machine Translation
Nara Institute of Science and Technology(奈良科学技术研究所)
本文提出语言特定 LoRA、架构学习与渐进剪枝,以隔离并探索多语言 NMT 微调中的最小语言子空间,在 FLORES-101 上提升 spBLEU 并大幅减少可训练参数。
2024-09-08 cs.CL
Dynamic Jointly Batch Selection for Data Efficient Machine Translation Fine-Tuning
Department of Electrical and Computer Engineering, College of Engineering, University of Tehran(电气与计算机工程系,工程学院,塔里赫安大学)
本文提出一种基于可学习性分数和批内依赖关系的动态联合批选择方法,利用学习者模型与预训练参考模型协同筛选数据,在mBART微调中实现最高5倍数据效率提升和24倍计算效率提升。
2025-11-06 cs.CL
MERIT: Multilingual Expert-Reward Informed Tuning for Chinese-Centric Low-Resource Machine Translation
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对中文到低资源东南亚语言的机器翻译,MERIT框架通过语料预处理和奖励引导优化,显著提升了翻译质量,优于单纯模型扩展。
2026-04-06 cs.CL
Beyond Vanilla Fine-Tuning: Leveraging Multistage, Multilingual, and Domain-Specific Methods for Low-Resource Machine Translation
University of Moratuwa(莫拉图瓦大学);Saarland University(萨尔大学);University of Toronto(多伦多大学);University of Ontario of Technology(安大略理工大学);Massey University(梅西大学)
针对极低资源机器翻译,提出持续预训练与中间任务迁移学习两种方法,在僧伽罗语、泰米尔语和英语的六个语言对上平均提升BLEU分数1.47,并验证多模型集成的额外增益。
2025-03-28 cs.CL
Conditions for Catastrophic Forgetting in Multilingual Translation
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工大学)
本研究以机器翻译为测试平台,通过系统性实证研究明确了多语言微调中灾难性遗忘的触发条件,发现模型与数据的相对规模是主要决定因素,指令遵循能力比架构更关键,参数高效微调无明显优势,跨语言对齐可缓解遗忘并促进正向迁移。
2025-10-22 cs.CL
Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation
University of Edinburgh(爱丁堡大学);Facebook AI(脸书人工智能研究院)
最近在单语数据的预训练和机器翻译(MT)的微调方面取得了成功,但目前还不清楚如何最好地利用给定MT任务的预训练模型。本文研究了在MT上微调预训练模型时冻结参数和添加新参数的优点和缺点。我们专注于1)微调仅在英语单语数据上训练的模型,BART。2)微调在25种语言的单语数据上训练的模型,mBART。对于BART,我们通过冻结大多数模型参数并添加额外的位置嵌入来获得最佳性能。对于mBART,我们匹配或优于大多数语言对的朴素微调的性能,编码器和大多数解码器被冻结。编码器-解码器注意参数对于微调是最重要的。当我们将自己限制在越南语到英语的域外训练集时,我们看到了微调基线的最大改进。
2022-06-20 cs.CL
Speed-Constrained Tuning for Statistical Machine Translation Using Bayesian Optimization
University of Sheffield(谢菲尔德大学);SDL Research(SDL研究院)
我们解决的问题,自动找到的统计机器翻译系统,最大化BLEU分数,同时确保解码速度超过最小值的参数。我们建议使用贝叶斯优化,以有效地调整速度相关的解码参数,很容易将速度作为一个嘈杂的约束函数。所获得的参数值保证满足具有相关联的置信度的速度约束。在三种语言对和两个速度约束值,我们报告整体优化时间减少相比,网格和随机搜索。我们还表明,贝叶斯优化可以解耦速度和BLEU测量,从而进一步减少整体优化时间,因为速度是在一小部分句子上测量的。
2016-04-18 cs.CL
An Empirical Comparison of Simple Domain Adaptation Methods for Neural Machine Translation
Japan Science and Technology Agency(日本科学技术振兴机构);Kyoto University(京都大学)
本文提出了一种新的神经机器翻译领域自适应方法--“混合微调”。我们结合现有的两种方法,即微调和多域NMT。我们首先在一个域外平行语料库上训练一个NMT模型,然后在一个混合了域内和域外语料库的平行语料库上对其进行微调。所有语料库都增加了人工标签,以指示特定的领域。我们经验比较我们提出的方法对微调和多域的方法,并讨论其优点和缺点。
2017-02-03 cs.CL
Regularization techniques for fine-tuning in neural machine translation
School of Informatics, The University of Edinburgh(爱丁堡大学信息学院)
我们研究了神经机器翻译的监督领域自适应技术,其中在大型域外数据集上训练的现有模型适用于小型域内数据集。在这种情况下,过度拟合是一个重大挑战。我们研究了许多技术来减少过拟合和改善迁移学习,包括正则化技术,如dropout和L2正则化到域外先验。此外,我们还介绍了tuneout,一种受dropout启发的新型正则化技术。我们将这些技术单独或组合应用于神经机器翻译,在英语->德语和英语->俄语的IWITOS数据集上获得改进。我们还研究了NMT中领域自适应所需的域内训练数据量,并发现训练数据量与BLEU分数的增益之间存在对数关系。
2017-07-31 cs.CL
Attentive fine-tuning of Transformers for Translation of low-resourced languages @LoResMT 2021
Indian Institute of Information Technology Tiruchirappalli(印度特里奇拉帕利信息技术学院);ULTRA Arts and Science College(ULTRA文理学院);Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院);Kongu Engineering College(孔古工程学院);Sultan Idris Education University(苏丹依德里斯教育大学);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
本文报告了IIITT团队为英语-马拉地语和英语-爱尔兰语语言对LoResMT 2021共享任务提交的机器翻译(MT)系统。该任务的重点是为爱尔兰语和马拉地语等资源相对较低的语言提供出色的翻译。我们微调IndicTrans,这是一个针对英语->马拉地语的预训练多语言NMT模型,使用外部并行语料库作为额外训练的输入。我们对后一种语言对使用了预先训练的Helsinki-NLP Opus MT English->Irish模型。我们的方法在BLEU指标上产生了相对有希望的结果。在团队名称IIITT下,我们的系统分别在英语->马拉地语,爱尔兰语->英语和英语->爱尔兰语中排名1,1和2。
2021-08-31 cs.CL
HW-TSC's Submission to the CCMT 2024 Machine Translation Tasks
Huawei Translation Service Center(华为翻译服务中心)
本文介绍HW-TSC参加CCMT 2024双语及多领域机器翻译任务的方案,基于Transformer-big架构结合多种训练策略训练NMT模型,并用监督微调的llama2-13b作APE模型优化多领域翻译结果,最终取得有竞争力的成绩。
2024-10-08 cs.AI cs.CL
Selecting Artificially-Generated Sentences for Fine-Tuning Neural Machine Translation
ADAPT Centre(ADAPT研究中心);Dublin City University(都柏林城市大学)
神经机器翻译(NMT)模型在提供较大的并行句子集用于训练时往往会实现最佳性能。因此,使用人工生成的句子对来增强训练集可以提高性能。尽管如此,如果它们与测试集处于相同的域中,则也可以使用少量的句子来提高性能。因此,我们希望探索使用人工生成的句子以及数据选择算法来改进仅使用真实数据训练的德语到英语NMT模型。在这项工作中,我们展示了人工生成的句子如何比真实的句子对更有益,并展示了它们在与数据选择算法结合使用时的优势。
2019-09-26 cs.CL
Neural Machine Translation Training in a Multi-Domain Scenario
Qatar Computing Research Institute -- HBKU(卡塔尔计算研究所——哈马德·本·哈利法大学);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在本文中,我们探索替代方法来训练神经机器翻译系统在多领域的情况下。我们研究数据拼接(微调),模型堆叠(多级微调),数据选择和多模型集成。我们的研究结果表明,最好的翻译质量可以通过建立一个初始系统上的可用域外数据的串联,然后微调它的域内数据。当训练从最远的域外数据开始,然后模型根据下一个最远的域进行增量微调时,模型堆叠效果最好。数据选择并没有给出最佳结果,但可以被视为训练时间和翻译质量之间的适当折衷。不同个体模型的加权集合比数据选择更好。在没有时间对已经训练好的模型进行微调的情况下,这是有益的。
2018-11-20 cs.CL
Learning from Many Voices: Literary MT Using Multi-Reference Human and Synthetic Data
Northeastern University(东北大学);Google DeepMind(谷歌DeepMind)
本文提出基于语义相似度的过滤框架,利用多参考人工与合成数据开展文学机器翻译研究,发现中高语义相似度数据微调效果更优,且人工专家译文的微调效果优于合成数据。
2026-09-17 cs.CL
Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts
NICT(日本国立信息通信技术研究所);Kyoto University(京都大学);NII(日本国立信息学研究所)
针对课堂讲稿翻译缺乏公开平行语料的问题,提出基于动态规划的句子对齐算法从Coursera挖掘平行语料,结合多阶段微调提升翻译质量,还公开了语料与代码。
2023-11-07 cs.CL
When does Parameter-Efficient Transfer Learning Work for Machine Translation?
University of Groningen(格罗宁根大学);University of Edinburgh(爱丁堡大学)
参数高效微调方法(PEFT)提供了适应大型预训练模型的承诺,同时只调整少量参数。他们已被证明是竞争力与完整的模型微调许多下游任务。然而,先前的工作表明,PEFT可能不工作,以及机器翻译(MT),并没有全面的研究表明,当PEFT工作的MT。我们对机器翻译的PEFT进行了全面的实证研究,考虑到(1)各种参数预算,(2)各种语言对,以及(3)不同的预训练模型。我们发现,“适配器”,其中小的前馈网络后,每一层,确实是等同于完整的模型微调时,参数预算对应于总模型参数的10%。然而,随着调谐参数数量的减少,PEFT的性能降低。这种下降的幅度取决于语言对,PEFT特别努力寻找远亲语言对。我们发现,使用具有较大预训练模型的PEFT优于具有较小模型的完全微调,并且对于较小的训练数据大小,PEFT优于相同预训练模型的完全微调。
2022-10-24 cs.CL
Using natural language prompts for machine translation
Google(谷歌)
我们探索使用自然语言提示来控制由机器翻译模型生成的输出的各个方面。我们证明,自然语言提示允许我们影响的输出像正式或特定方言的属性。我们表明,使用语言名称来控制多语言翻译模型的输出语言,可以为看不见的语言对实现正迁移。这解锁了通过使用他们的英文名字翻译成微调期间看不到的语言的能力。我们研究了规模,预训练步骤的数量,微调中的语言数量以及语言相似性如何影响这种现象。
2022-02-23 cs.CL
Learning Policies for Multilingual Training of Neural Machine Translation Systems
Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰斯·霍普金斯大学)
低资源多语言神经机器翻译(MNMT)通常的任务是在高资源语言对的帮助下提高一个或多个语言对的翻译性能。在本文中,我们提出了两个简单的搜索为基础的课程-排序的多语种训练数据-这有助于提高翻译性能与现有的技术,如微调。此外,我们试图从头开始学习MNMT课程,并在上下文多臂强盗的帮助下训练翻译系统。我们在FLORES低资源翻译数据集上表明,这些学习课程可以为微调提供更好的起点,并提高翻译系统的整体性能。
2021-03-11 cs.CL
Sparse Regression for Machine Translation
Koç University(科克大学)
本文提出用L1正则化回归和dice实例选择方法学习平行语料特征映射以改进机器翻译,实验表明其在德英和西英翻译中优于L2回归。
2024-06-27 cs.AI cs.CL
Leveraging Auxiliary Domain Parallel Data in Intermediate Task Fine-tuning for Low-resource Translation
Microsoft(微软);University of Moratuwa(莫拉图瓦大学);University of Toronto(多伦多大学)
本文提出对预训练多语言序列到序列模型进行中间任务微调,以缓解低资源语言在领域特定神经机器翻译中因平行数据不足和领域分歧导致的性能下降问题。
2023-09-24 cs.CL
Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab(字节跳动人工智能实验室);Nanjing University(南京大学)
领域自适应是神经机器翻译面临的一个重要挑战。然而,传统的微调解决方案需要多次额外的训练,并产生高成本。在本文中,我们提出了一个非调优的范例,解决领域自适应与基于调优的方法。具体来说,我们构建了一个双语短语级数据库,并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库(RePP),我们有效地提高了翻译质量。实验表明,我们的方法提高了特定领域的机器翻译为6.2 BLEU分数,并提高了11.5%的准确率,而无需额外的训练翻译约束。
2022-09-23 cs.CL
Power Law Graph Transformer for Machine Translation and Representation Learning
Fromthesky Research Labs LLC(Fromthesky研究实验室有限责任公司)
我们提出了幂律图Transformer,一个Transformer模型,具有定义良好的演绎和归纳任务,用于预测和表示学习。演绎任务根据可学习的幂律分布参数学习数据集级别(全局)和实例级别(局部)图结构。归纳任务使用演绎任务输出来输出预测概率,类似于转换模型。我们用来自TED演讲稿的土耳其语-英语和葡萄牙语-英语数据集训练了我们的模型,用于机器翻译,并将模型的性能和特征与Transformer模型进行了比较,该模型具有在相同实验设置上训练的缩放点积注意力。我们报告BLEU分数的$17.79$和$28.33$的土耳其语-英语和葡萄牙语-英语翻译任务与我们的模型,分别。我们还展示了如何利用量化集和N维流形表示之间的对偶,使用连续应用线性和非线性变换端到端在局部和全局演绎归纳输出之间进行变换。
2021-06-27 cs.AI cs.CL cs.LG
Neural Machine Translation for Coptic-French: Strategies for Low-Resource Ancient Languages
Department of Computer Science and Software Engineering(计算机科学与软件工程系);Université Laval(拉瓦尔大学)
本文系统研究了科普特语到法语翻译策略,评估了中介翻译与直接翻译、预训练影响、多版本微调效益及模型对噪声的鲁棒性,证明了使用风格多样且噪声敏感的训练语料能显著提升翻译质量。
2025-08-14 cs.CL
A Study of Multilingual Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
多语言神经机器翻译(NMT)最近已经从不同方面进行了研究(例如,枢轴平移、zero-shot平移、微调或从头开始训练)和在不同的设置中(例如,富资源和低资源、一对多和多对一翻译)。本文对多语种NMT进行了深入的理解,并对一个包含20多种语言的多语种数据集进行了全面的研究。我们的研究结果表明:(1)低资源语言对从多语言训练中受益匪浅,而资源丰富的语言对在有限的模型容量下可能会受到伤害,并且使用相似语言的训练比不相似语言的训练受益更多;(2)在一对多设置中,微调比从头开始训练表现得更好,而在多对一设置中,从头开始训练表现得更好;(3)编码器的底层和解码器的顶层捕获更多的语言特定信息,并且仅仅微调这些部分就可以实现低资源语言对的良好准确性;(4)当源语言与目标语言相似时(例如,在相同的语言分支中),即使直接训练数据的大小小得多;(5)给定固定的训练数据预算,最好将更多的语言引入到多语言训练中以进行zero-shot翻译。
2019-12-25 cs.CL
Acquiring Knowledge from Pre-trained Model to Neural Machine Translation
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
预训练和微调在自然语言处理领域取得了巨大的成功。利用它们的标准范例包括两个步骤:首先,用大规模未标记的单语数据预训练模型,例如BERT。然后,使用来自下游任务的标记数据微调预训练模型。然而,在神经机器翻译(NMT)中,我们解决了双语任务的训练目标与单语预训练模型相差甚远的问题。这一差距导致仅使用微调不能充分利用已有的语言知识。在本文中,我们提出了一个APT框架,用于从预训练模型中获取知识到NMT。所提出的方法包括两个模块:1)。一种动态融合机制,用于将从一般知识适应的任务特定特征融合到NMT网络中,2)。一种知识蒸馏范式,在NMT训练过程中不断学习语言知识。所提出的方法可以从预先训练的模型中整合合适的知识来改进NMT。在WMT英-德、德-英和中-英机器翻译任务上的实验结果表明,该模型的性能优于强基线和微调模型。
2019-12-04 cs.CL
Pronoun-Targeted Fine-tuning for NMT with Hybrid Losses
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
流行的神经机器翻译模型训练使用反向翻译等策略来提高BLEU分数,这需要大量的额外数据和训练。我们引入了一类条件生成-判别混合损失,我们使用它来微调训练好的机器翻译模型。通过结合有针对性的微调目标和直观的重用训练数据的模型未能充分学习,我们提高了模型的性能,一个层次和上下文模型,而不使用任何额外的数据。我们的目标是通过微调来改进代词翻译,并在代词基准测试集上评估我们的模型。我们的上下文级别模型在WMT 14和IWSLT 13 De-En测试集上都显示出0.5 BLEU的改进,而我们的上下文模型则取得了最佳结果,在WMT 14 De-En测试集上从31.81 BLEU提高到32 BLEU,在IWSLT 13 De-En测试集上从32.10提高到33.13 BLEU,代词翻译也有相应的改进。我们进一步显示了我们的方法的普遍性,通过复制两个额外的语言对,Fr-En和CS-En的改进。代码可在<https://github.com/ntunlp/pronoun-finetuning>获得。
2020-10-15 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University(大阪大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
本文针对纯注意神经机器翻译(NMT)模型,提出了两种新的领域自适应方法,Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调,这是已知的是非常有效的领域自适应的黑箱方法相结合。此外,我们将多语言纳入领域自适应框架。实验表明,多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译,并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University(东京都立大学);National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译(NMT),具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景,例如多语言NMT和回译,但我们已经根据经验证实,当仅限于域内数据时,它们的成功有限。因此,我们建议通过迁移学习来利用域外数据,首先使用它来训练多语言NMT模型,然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译,在这种资源极其匮乏的情况下,在较强的基线上,帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.(亚马逊公司)
本文介绍了在ACL 2020第四届神经生成和翻译(WNGT)研讨会上,语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型,并使用Transformer架构与过采样策略相结合,以实现有竞争力的性能。该系统在匈牙利语(加权宏F1评分绝对提高27%)和葡萄牙语(绝对提高33%)上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
Nearest Neighbor Machine Translation is Meta-Optimizer on Output Projection Layer
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);University of Science and Technology of China(中国科学技术大学)
本文从理论与实证角度揭示$k$NN-MT是在NMT输出投影层上隐式执行梯度下降的微调特例,发现其结合adapters在域外表现更优,且额外adapter层可弥补低频词召回率差距。
2023-10-24 cs.CL
Summer: WeChat Neural Machine Translation Systems for the WMT22 Biomedical Translation Task
Tencent Inc(腾讯公司)
本文介绍了微信参与WMT 2022共享的生物医学翻译任务中到英。我们的系统是基于Transformer,并使用几种不同的Transformer结构,以提高翻译质量。在我们的实验中,我们采用数据过滤,数据生成,几个变种的Transformer,微调和模型集成。我们的中文$\to$英文系统Summer在所有提交的作品中获得了最高的BLEU分数。
2022-11-28 cs.CL
Parallel Corpus for Indigenous Language Translation: Spanish-Mazatec and Spanish-Mixtec
Instituto Politécnico Nacional (IPN)(国立理工学院);Transdisciplinary Research for Augmented Innovation - Laboratory (TRAI-L)(增强创新跨学科研究实验室);Tecnológico Nacional de México(墨西哥国家技术学院)
本文构建了西班牙语-马萨特克语和西班牙语-米斯特克语平行语料库,并通过微调M2M100-48模型验证其在低资源机器翻译中的有效性,强调土著语言作为目标语言时表现更优。
2023-05-27 cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo(东京大学);Institute of Industrial Science(产业科学研究所);National Institute of Informatics(国立信息学研究所)
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此,从业者从资源丰富的领域中采用领域自适应,这些领域在大多数情况下远离目标领域。远域之间的领域自适应(例如,电影字幕和研究论文),然而,由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词(例如,“angstrom”)和其含义跨域变化的单词(例如,“导体”)。在这项研究中,为了解决神经机器翻译(NMT)领域自适应中的词汇不匹配问题,我们提出了词汇自适应,这是一种有效微调的简单方法,可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前,我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明,我们的方法提高了3.86和3.28 BLEU点的传统微调的性能,在En-Ja和De-En翻译,分别。
2020-10-31 cs.CL
Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation
China University of Petroleum (East China)(中国石油大学(华东));Zhejiang University(浙江大学);University of Sydney(悉尼大学);JD Explore Academy at JD.com(京东探索研究院);University of Amsterdam(阿姆斯特丹大学)
针对零样本翻译中语言ID易受脱靶token干扰的问题,本文通过对比ON/OFF表示揭示其失效原因,并对负样本进行非似然调优,在40个方向上显著降低脱靶率并提升BLEU。
2023-09-28 cs.CL
A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books
University of Zurich(苏黎世大学)
研究针对濒危语言机器翻译缺平行数据问题,利用大语言模型从语法书提取内容生成合成语料库微调,经三种低资源语言验证,通过析因研究确定增益因素组合,证明可将静态语言文档用于机器翻译微调,为资源匮乏语言提供翻译工具路径。
2026-09-11 cs.CL
Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation
Oregon State University(俄勒冈州立大学)
针对现有同传大模型微调的提示优化方法存在训练集冗余、计算低效等问题,本文提出基于注意力掩码的SimulMask微调新范式,在多语言对上实现翻译质量提升与成本降低。
2024-10-09 cs.CL cs.LG
Non-parametric, Nearest-neighbor-assisted Fine-tuning for Neural Machine Translation
University College London(伦敦大学学院);Alibaba DAMO Academy(阿里巴巴达摩院)
本文探索在微调阶段利用kNN预测统计信息指导基线翻译模型梯度更新,通过门控机制、真实概率和强化学习三种方法,在四个数据集上实现最高1.45 BLEU提升,并改善语法关系与功能词翻译的流畅度。
2023-05-23 cs.AI cs.CL
Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey
University of Cambridge(剑桥大学)
深度学习技术的发展使得神经机器翻译(NMT)模型变得非常强大,只要有足够的训练数据和训练时间。然而,系统在翻译来自具有不同风格或词汇的新领域的文本时会遇到困难。对域内数据的微调允许良好的领域自适应,但需要足够的相关双语数据。即使这是可用的,简单的微调可能会导致过度拟合新的数据和“灾难性遗忘”以前学到的行为。我们专注于强大的方法,领域自适应的NMT,特别是在一个系统可能需要跨多个域的翻译。我们将技术分为围绕数据选择或生成,模型架构,参数自适应过程和推理过程。最后,我们强调的好处领域自适应和多领域自适应技术的NMT研究的其他线路。
2022-03-22 cs.CL
XDLM: Cross-lingual Diffusion Language Model for Machine Translation
University of Tokyo(东京大学);Yale University(耶鲁大学)
本文提出 XDLM 跨语言扩散模型用于机器翻译,通过引入 TLDM 训练目标进行跨语言预训练并微调构建翻译系统,在多个基准上超越扩散和 Transformer 基线。
2023-07-31 cs.CL
Data Selection with Feature Decay Algorithms Using an Approximated Target Side
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学)
应用于神经机器翻译(NMT)的数据选择技术旨在通过检索句子的子集以用作训练数据来提高模型的性能。可能的数据选择技术之一是转换学习方法,它基于测试集(即待翻译的文档)选择数据。迄今为止,这些方法的局限性在于,使用源端测试集本身并不能保证选择具有正确翻译的句子,或者在给定测试集域的情况下选择合适的翻译。一些语料库,如字幕语料库,可能包含由于本地化或长度限制而导致翻译不准确的平行句子。为了尝试解决这个问题,在本文中,我们建议在选择合适的训练模型的训练对时,除了源端之外,还使用近似的目标端。这个近似的目标端是通过预翻译源端来构建的。在这项工作中,我们探讨了一个特定的数据选择方法,称为特征衰减算法(FDA)的一般思想的性能。我们训练德-英NMT模型的数据选择使用测试集(源),近似的目标侧,以及两者的混合。我们的研究结果表明,使用FDA的输出组合(使用测试集和近似的目标侧)建立的模型比单独使用测试集的模型表现更好。我们获得了超过1.5个BLEU点的统计学显着改善,超过所有数据训练的模型,超过0.5个BLEU点,超过仅使用源端信息的强大FDA基线。
2018-11-07 cs.CL
Machine Translation Robustness to Natural Asemantic Variation
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Amazon(亚马逊)
当前的机器翻译(MT)模型仍然难以处理更具挑战性的输入,例如噪声数据和尾端单词和短语。一些工作已经解决了这个鲁棒性问题,通过识别特定类别的噪声和变化,然后调整模型,以更好地执行它们。一个重要但研究不足的类别涉及细微差别(非错别字)的微小变化,这些变化保留了w.r.t.的含义。目标语言。我们介绍和形式化这一类的自然Asemantic变化(NAV),并调查它的MT鲁棒性的背景下。我们发现,现有的MT模型失败时,与NAV数据,但我们展示的策略,以提高性能的NAV微调与人类产生的变化。我们还表明,NAV的鲁棒性可以跨语言转移,并发现合成扰动可以实现一些,但不是所有的好处,有机NAV数据。
2022-11-09 cs.CL
PiDA: Phonetically-Informed Data Augmentation for Robust Vietnamese Speech Translation
VinUniversity(Vin大学);University of Technology Sydney(悉尼技术大学);Monash University(莫纳什大学)
针对级联语音翻译中ASR错误传播问题,提出基于语音信息的数据增强方法PiDA,通过语音词嵌入生成相似音替换,在FLEURS越南语-英语上提升错误ASR输出翻译质量(BLEU+2.04)。
2026-06-12 cs.CL
Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages
Apple(苹果公司);Sony Group Corporation(索尼集团公司)
本文提出对比对齐指令AlignInstruct,通过跨语言判别器增强跨语言监督,微调BLOOMZ模型,在24种未见语言和48个翻译方向上显著提升机器翻译质量,并改善零样本性能。
2024-07-20 cs.AI cs.CL
Adapting Large Language Models for Document-Level Machine Translation
Monash University(莫纳什大学);Google Research(谷歌研究院)
本研究针对特定语言对适配LLMs进行文档级机器翻译,通过多种微调方法、主干网络和翻译任务进行实验,发现专用模型有时超越GPT-4但仍存错误传播问题,为未来研究奠定基础。
2024-10-11 cs.CL
QCRI Machine Translation Systems for IWSLT 16
Qatar Computing Research Institute – HBKU(卡塔尔计算研究所 – 哈马德·本·哈利法大学)
本文介绍了QCRI的机器翻译系统的IWITH 2016评估活动。我们参加了阿拉伯语->英语和英语->阿拉伯语轨道。我们建立了基于短语和神经机器翻译模型,以探讨新出现的NMT框架是否优于传统的基于短语的系统在阿拉伯语-英语语言对。我们训练了一个非常强大的基于短语的系统,包括一个大的语言模型,操作序列模型,神经网络联合模型和基于类的模型,以及不同的领域自适应技术,如MML过滤,混合建模和使用微调NNJM模型。然而,通过微调堆叠来自不同流派的数据并应用8个模型的集成来训练的神经MT系统,在阿拉伯语->英语方向上以显着的2 BLEU点优势击败了我们非常强大的基于短语的系统。我们在另一个方向上没有获得类似的收益,但仍然能够胜过基于短语的系统。我们还将系统组合应用于基于短语的输出和NMT输出。
2017-01-14 cs.CL
Enhancing Scientific Discourse: Machine Translation for the Scientific Domain
Institute for Speech and Language Processing(语音与语言处理研究所);Athena RC(雅典研究中心)
本文针对科学领域中由于专业术语和复杂句式带来的翻译挑战,构建了多语种平行和单语语料库,并通过微调通用神经机器翻译系统评估语料库质量。
2026-05-20 cs.CL
Removing Biases from Trainable MT Metrics by Using Self-Training
ILLC(语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
大多数可训练的机器翻译(MT)度量训练它们的权重是基于人类对最先进的MT系统输出的判断。这使得可训练的指标在许多方面存在偏差。其中之一是喜欢较长的翻译。当用于调优时,这些有偏见的指标正在评估不同类型的翻译-具有非常不同质量的n个最佳翻译列表。使用这些指标调优的系统往往会产生过长的翻译,这是指标所偏好的,但不是人类所偏好的。这通常是通过手动调整指标的权重来解决的,以使召回率和精度相等。我们的解决方案更通用:(1)它不仅解决了召回偏差,而且还解决了数据中可能存在的所有其他偏差,以及(2)它不需要任何关于所使用的特征类型的知识,这在不可能手动调整度量的权重的情况下是有用的。这是通过使用最初在标准人类判断上训练的度量在未标记的n最佳列表上进行自我训练来实现的。看待这一点的一种方式是将其视为从最先进的MT翻译领域到不同的n最佳列表翻译的领域自适应。
2015-08-10 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh(爱丁堡大学);Saarland University(萨尔兰大学);Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
我们描述了在第六届机器翻译会议(WMT 2021)上,萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型,用于冰岛语(is),挪威语-博克马尔语(nb)和瑞典语(sv)之间的翻译。我们采用各种实验方法,包括多语言预训练,回译,微调和集成。在大多数翻译方向上,我们的模型优于其他提交的系统。
2021-09-29 cs.CL
Refining the state-of-the-art in Machine Translation, optimizing NMT for the JA <-> EN language pair by leveraging personal domain expertise
Queen Mary University of London(伦敦玛丽女王大学)
基于Transformer架构,利用OpenNMT框架,构建了一个用于En/Ja的NMT(神经机器翻译)系统。为了获得最佳性能,对语料库预处理、超参数调整和模型结构进行了系统的探索。该系统是使用标准的自动评估指标,如BLEU,和我的主观意见,作为一个日本语言学家进行评估。
2022-02-23 cs.CL
Incorporating BERT into Neural Machine Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Sun Yat-sen University(中山大学);Peking University(北京大学)
最近提出的BERT在文本分类、阅读理解等多种自然语言理解任务中表现出强大的能力,但如何将BERT有效地应用于神经机器翻译(NMT)还缺乏足够的探索。虽然BERT更常用于微调,而不是用于下游语言理解任务的上下文嵌入,但在NMT中,我们初步探索使用BERT作为上下文嵌入比用于微调更好。这促使我们思考如何沿着这个方向更好地利用BERT进行NMT。提出了一种新的BERT融合模型,该模型首先利用BERT提取输入序列的表示,然后通过注意力机制将表示与NMT模型的编码器和解码器的每一层进行融合。我们对监督(包括文档级和文档级翻译),半监督和无监督机器翻译进行了实验,并在七个基准数据集上取得了最先进的结果。我们的代码可在\url{https://github.com/bert-nmt/bert-nmt}上获得。
2020-02-17 cs.CL