Instance-Based Model Adaptation For Direct Speech Translation
FBK(布鲁诺·凯斯勒基金会)
尽管最近的技术进步,神经方法的有效性,端到端的语音到文本翻译仍然是有限的公开可用的训练语料库的缺乏。我们用一种方法来解决这个限制,以提高数据利用和提高系统在推理时的性能。我们的方法允许我们针对每个传入的翻译请求“动态”定制现有模型。在其核心,它利用一个实例选择过程来检索,从一个给定的数据池,一个小的样本集类似于输入查询的潜在属性的音频信号。然后将检索到的样本用于模型的特定于实例的微调。我们在三种不同的情况下评估我们的方法。在所有的数据条件(不同的语言,在/出的领域自适应),我们的基于实例的适应产生一致的性能增益静态模型。
2019-10-23 cs.CL eess.AS
Exploiting Language Relatedness in Machine Translation Through Domain Adaptation Techniques
Indian Institute of Technology (Banaras Hindu University) Varanasi(印度理工学院(贝拿勒斯印度教大学)瓦拉纳西校区)
机器翻译面临的一个重大挑战是缺乏大量的数据,主要是平行句子对齐的语料库。如果评估像资源丰富的语言一样严格,那么神经机器翻译(NMT)和统计机器翻译(SMT)都可以在如此大量的数据下产生良好的结果。然而,对于低资源语言,特别是NMT和SMT,提高MT输出的质量是具有挑战性的。为了解决MT所面临的挑战,我们提出了一种新的方法,使用一个缩放的相似性分数的句子,特别是相关的语言的基础上,5-gram KenLM语言模型与Kneser-ney平滑技术过滤域内数据从域外语料库,提高MT的翻译质量。此外,我们采用其他领域自适应技术,如多域,微调和迭代回译方法比较我们的新方法对NMT和SMT的印地语-尼泊尔语对。我们的方法成功地增加了~2 BLEU点的多域方法,~3 BLEU点的微调NMT和~2 BLEU点的迭代反平移方法。
2023-03-03 cs.AI cs.CL
PATMT2: Two-stage domain adaptation for multilingual patent translation
Renmin University of China(中国人民大学);Beijing Bayuegua Technology Co., Ltd.(北京八月瓜科技有限公司)
本研究提出两阶段LoRA流水线PatMT2,将Hy-MT2-7B适配到四语言专利翻译,在六个方向上BLEU值提升显著,且对低资源语言探测展现出特定失效模式,增益经统计检验显著。
2026-10-14 cs.AI cs.CL
LocQE: Principled Domain Adaptation for Localisation Quality Estimation by Leveraging Post-Edits
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);LILT
针对质量评估模型在本地化领域域适应差的问题,提出利用后期编辑数据通过多任务微调和分词器干预,显著提升区分优选与拒绝翻译的能力。
2026-09-17 cs.CL
Multilingual Transfer and Domain Adaptation for Low-Resource Languages of Spain
Huawei Translation Service Center(华为翻译服务中心)
针对西班牙低资源语言翻译任务,本文提出结合多语言迁移、正则化dropout、正反向翻译、LaBSE去噪与转导集成学习的深度Transformer-Big NMT方法,在WMT 2024三项翻译任务中取得有竞争力的结果。
2024-09-29 cs.AI cs.CL
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation
从特定领域进行高质量的数据标记是昂贵的,并且耗时。在这项工作中,我们提出了一个自我监督的领域自适应方法,基于迭代伪强制对齐算法。所产生的对齐被用于定制端到端自动语音识别(ASR)并迭代地细化。该算法由种子ASR产生的逐帧字符后验提供,用域外数据进行训练,并在整个连接主义时间分类(CTC)损失中进行优化。在广播电视的语料库上迭代地计算对准。通过减少要对齐的文本数量或扩大对齐窗口来重复该过程,直到找到最佳的音频-文本对齐。起始时间戳或时间锚是基于最后对齐的话语的置信度分数唯一地产生的。这个分数是用CTC比对矩阵的路径计算的。使用这种方法,不需要人工修改的文本参考。来自具有低质量透明度的长音频文件的对齐(如电视字幕)通过置信度分数过滤掉,并准备好进一步的ASR适配。在西班牙RTVE 2022和CommonVoice数据库上获得的结果支持了使用基于CTC的系统执行以下操作的可行性:高度准确的音频文本对齐、领域自适应和端到端ASR的半监督训练。
2023-01-15 cs.CL cs.SD eess.AS
Improving Zero-Shot Translation of Low-Resource Languages
FBK(布鲁诺·凯斯勒基金会)
最近关于多语言神经机器翻译的工作报告了双语模型的竞争性能,甚至在训练时没有观察到的(零拍)翻译方向上也有令人惊讶的良好性能。我们在这里调查一个zero-shot翻译在一个特别低资源的多语言环境。我们提出了一个简单的迭代训练过程,利用直接由系统生成的zero-shot方向的平移的对偶性。然后,系统产生的翻译(次优,因为它们包含来自共享词汇表的混合语言)与原始并行数据一起用于馈送和迭代地重新训练多语言网络。随着时间的推移,这允许系统从自己生成的越来越好的输出中学习。我们的方法被证明是有效的,在改善我们的多语言模型的两个zero-shot方向。特别是,我们观察到在基线多语言模型上获得约9个BLEU点,在使用两个双语模型的旋转机制上获得高达2.08个BLEU点。进一步的分析表明,在非零镜头语言方向上也有轻微的改善。
2018-11-04 cs.CL
From Priest to Doctor: Domain Adaptation for Low-Resource Neural Machine Translation
University of Colorado Boulder(科罗拉多大学博尔德分校);Indiana University Bloomington(印第安纳大学伯明顿分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古滕贝格大学)
针对低资源语言NMT领域自适应研究不足、仅能获取宗教文本等有限数据的问题,本文在真实场景下评估多种方法,发现最简单的DALI效果最优,同时人工评估显示该方向仍需深入研究。
2025-02-21 cs.CL cs.LG
Domain specialization: a post-training domain adaptation for Neural Machine Translation
SYSTRAN
领域自适应是机器翻译的一个重要特征。它通常包括术语、领域和风格适应,特别是计算机辅助翻译(CAT)中的人工后期编辑工作流程。在神经机器翻译(NMT)中,我们引入了一种新的领域自适应概念,我们称之为“专业化”,它在学习速度和适应准确性方面都显示出了良好的效果。在本文中,我们建议从几个角度探讨这种方法。
2016-12-19 cs.CL
Rapid Domain Adaptation for Machine Translation with Monolingual Data
Google Research(谷歌研究院)
机器翻译的一个挑战是如何在面对COVID-19等激增的事件时快速适应看不见的领域,在这种情况下,将领域内信息及时准确地翻译成多种语言至关重要,但目前几乎没有并行数据可用。在本文中,我们提出了一种方法,使快速领域自适应的角度来看,无监督翻译。我们提出的方法只需要域内单语数据,并且可以快速应用于在一般域上训练的现有翻译系统,在域内翻译质量上获得显着收益,而在一般域上几乎没有下降。我们还提出了一个有效的程序,同时适应多个领域和语言。据我们所知,这是第一次尝试,旨在解决无监督的多语言领域自适应。
2020-10-23 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University(大阪大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
本文针对纯注意神经机器翻译(NMT)模型,提出了两种新的领域自适应方法,Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调,这是已知的是非常有效的领域自适应的黑箱方法相结合。此外,我们将多语言纳入领域自适应框架。实验表明,多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译,并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab(字节跳动人工智能实验室);Nanjing University(南京大学)
领域自适应是神经机器翻译面临的一个重要挑战。然而,传统的微调解决方案需要多次额外的训练,并产生高成本。在本文中,我们提出了一个非调优的范例,解决领域自适应与基于调优的方法。具体来说,我们构建了一个双语短语级数据库,并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库(RePP),我们有效地提高了翻译质量。实验表明,我们的方法提高了特定领域的机器翻译为6.2 BLEU分数,并提高了11.5%的准确率,而无需额外的训练翻译约束。
2022-09-23 cs.CL
Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey
University of Cambridge(剑桥大学)
深度学习技术的发展使得神经机器翻译(NMT)模型变得非常强大,只要有足够的训练数据和训练时间。然而,系统在翻译来自具有不同风格或词汇的新领域的文本时会遇到困难。对域内数据的微调允许良好的领域自适应,但需要足够的相关双语数据。即使这是可用的,简单的微调可能会导致过度拟合新的数据和“灾难性遗忘”以前学到的行为。我们专注于强大的方法,领域自适应的NMT,特别是在一个系统可能需要跨多个域的翻译。我们将技术分为围绕数据选择或生成,模型架构,参数自适应过程和推理过程。最后,我们强调的好处领域自适应和多领域自适应技术的NMT研究的其他线路。
2022-03-22 cs.CL
A User-Study on Online Adaptation of Neural Machine Translation to Human Post-Edits
Kazan Federal University(喀山联邦大学);Heidelberg University(海德堡大学)
神经机器翻译(NMT)的优势已经被广泛验证,用于离线翻译口语和书面语的不同领域的几种语言对。然而,NMT的交互式学习的研究,以适应人类的后编辑迄今为止,仅限于模拟实验。我们提出了第一个用户研究的在线适应NMT用户后编辑领域的专利翻译。我们的研究涉及29名人类受试者(翻译学生),他们的后期编辑工作和翻译质量是在人类后期编辑和集成在线自适应学习算法的机器翻译系统的大约4,500次交互上测量的。我们的实验结果显示,根据几个评估指标,包括hTER,hBLEU和KSMR,由于NMT中的在线适应,人类编辑后的工作量显着减少。此外,我们发现NMT输出和授权专利中的专业翻译之间的BLEU/TER有显着改善,为在线自适应NMT在交互式设置中的优势提供了进一步的证据。
2018-09-18 cs.CL
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics(上海财经大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
尽管神经机器翻译(NMT)取得了成功,但同时神经机器翻译(SNMT)由于句法结构差异和语义要求,在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中,我们提出了一个通用的框架,用于适应神经机器翻译同时翻译。我们的框架包含两个部分:前缀翻译,利用一个连续的NMT模型来翻译源前缀和一个停止标准,确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明,该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
Iterative Batch Back-Translation for Neural Machine Translation: A Conceptual Model
一种有效的方法来产生大量的并行句子训练改进的神经机器翻译(NMT)系统是使用目标端单语数据的回译。最近,迭代回译已被证明优于标准回译,尽管在一些语言对。这项工作提出了迭代批量回译,旨在提高标准的迭代回译,使更多的单语数据的有效利用。在每次迭代之后,将新句子的改进的反向翻译添加到并行数据中,并行数据将用于训练最终的前向模型。这项工作提出了一个概念模型所提出的方法。
2020-11-16 cs.CL
Revisiting Simple Domain Adaptation Methods in Unsupervised Neural Machine Translation
Harbin Institute of Technology(哈尔滨工业大学);National Institute of Information and Communications Technology(信息通信研究机构);Osaka University(大阪大学)
领域自适应在监督神经机器翻译(SNMT)中得到了充分研究。然而,对于无监督神经机器翻译(UNMT),它还没有得到很好的研究,尽管UNMT最近在几个特定领域的语言对中取得了显着的成果。除了SNMT的训练数据和测试数据之间的不一致域之外,UNMT的两个单语训练数据之间有时也存在不一致域。在这项工作中,我们经验性地展示了无监督神经机器翻译的不同场景。基于这些场景,我们重新审视现有的领域自适应方法,包括批量加权和微调方法在UNMT的效果。最后,我们提出了改进的方法,以提高特定领域的UNMT系统的性能。
2020-05-05 cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo(东京大学);Institute of Industrial Science(产业科学研究所);National Institute of Informatics(国立信息学研究所)
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此,从业者从资源丰富的领域中采用领域自适应,这些领域在大多数情况下远离目标领域。远域之间的领域自适应(例如,电影字幕和研究论文),然而,由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词(例如,“angstrom”)和其含义跨域变化的单词(例如,“导体”)。在这项研究中,为了解决神经机器翻译(NMT)领域自适应中的词汇不匹配问题,我们提出了词汇自适应,这是一种有效微调的简单方法,可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前,我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明,我们的方法提高了3.86和3.28 BLEU点的传统微调的性能,在En-Ja和De-En翻译,分别。
2020-10-31 cs.CL
Domain Adaptation for Statistical Machine Translation
University of Macau(澳门大学)
统计机器翻译(SMT)系统在应用于新的目标领域时表现不佳。我们的目标是探索领域自适应方法和技术,以提高特定领域SMT系统的翻译质量。然而,翻译来自特定领域的文本(例如,医学充满了挑战。第一个挑战是模糊性。单词或短语在不同的上下文中有不同的含义。二是语言风格,因为不同体裁的语篇往往以不同的句法、长度和结构形式呈现。第三个问题是词汇表外词(OOVs)问题。域内训练数据通常很少,术语覆盖率低。在这篇论文中,我们探讨了最先进的领域自适应方法,并提出了有效的解决方案,以解决这些问题。
2018-04-05 cs.CL
Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness
Naver Labs Europe(Naver欧洲实验室)
我们分享了Foursquare餐厅评论的法语-英语平行语料库(https://europe.naverlabs.com/research/natural-language-processing/machine-translation-of-restaurant-reviews),并定义了一个新的任务,以鼓励对神经机器翻译鲁棒性和领域自适应的研究,在现实世界中,更好的MT将非常有益。我们讨论了这样的用户生成的内容的挑战,并训练良好的基线模型,建立在最新的技术MT的鲁棒性。我们还进行了广泛的评估(自动和人工),显示了对现有在线系统的显着改进。最后,我们提出了基于情感分析或领域特定的多义词的翻译准确性的特定任务的度量。
2019-10-31 cs.CL
Efficient Machine Translation Domain Adaptation
Instituto de Telecomunicações(电信研究所);DeepMind(深度思维);Institute of Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院);Unbabel(Unbabel公司)
机器翻译模型在翻译域外文本时会遇到困难,这使得领域自适应成为一个至关重要的话题。然而,大多数领域自适应方法集中于在每个新领域上微调或训练整个或部分模型,这可能是昂贵的。另一方面,半参数模型已经被证明通过从域内自适应器中检索示例来成功地执行领域自适应(Khandelwal等人,2021年)。然而,这些检索增强模型的一个缺点是,它们往往要慢得多。在本文中,我们探讨了几种方法来加快最近邻机器翻译。我们调整了He等人最近提出的方法。(2021)用于语言建模,并引入了一种简单但有效的缓存策略,该策略避免了在之前看到类似上下文时执行检索。几个领域的翻译质量和运行时间表明所提出的解决方案的有效性。
2022-04-26 cs.CL
Extreme Adaptation for Personalized Neural Machine Translation
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
每个人都说或写自己的母语,受许多因素的影响:他们倾向于谈论的内容,他们的性别,他们的社会地位或他们的地理来源。当尝试执行机器翻译(MT)时,这些变化对系统应该如何执行翻译具有显著影响,但是标准的一刀切模型不能很好地捕捉到这一点。在本文中,我们提出了一个简单的和参数有效的自适应技术,只需要适应输出softmax的偏差MT系统的每个特定的用户,无论是直接或通过因子近似。在三种语言的TED演讲上的实验表明,翻译的准确性有所提高,并且在目标文本中更好地反映了演讲者的特征。
2018-05-04 cs.CL
Iterative Refinement for Machine Translation
Ecole Polytechnique(巴黎综合理工学院);Facebook AI Research(Facebook人工智能研究院)
现有的机器翻译解码算法以严格单调的方式生成翻译,并且从不重新访问先前的决策。因此,早期的错误无法在后期纠正。在本文中,我们提出了一个翻译方案,从一个初始的猜测,然后进行迭代改进,可能会重新访问以前的决定。我们将我们的模型参数化为一个卷积神经网络,该网络基于源句子和当前翻译输出的注意力机制预测对现有翻译的离散替换。通过对每个句子进行不到一次修改,我们将基于短语的翻译系统的输出在WMT 15德英翻译上提高了0.4 BLEU。
2018-04-13 cs.CL
Compact Personalized Models for Neural Machine Translation
Lilt, Inc.(Lilt公司)
我们提出并比较了自注意神经机器翻译模型的基于梯度的领域自适应方法。我们证明了在自适应过程中可以冻结大部分模型参数,通过组套索正则化在学习过程中鼓励偏移张量集合中的结构稀疏性,从而使翻译质量降低最小或不降低。我们评估这种技术在多个数据集和语言对的批量和增量适应。我们的系统架构-结合了最先进的自关注模型和紧凑的领域自适应-提供了高质量的个性化机器翻译,既节省空间又节省时间。
2018-11-05 cs.CL
Curriculum Learning for Domain Adaptation in Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
我们引入了一种课程学习方法来适应通用神经机器翻译模型到一个特定的领域。样本通过它们与感兴趣的域的相似性进行分组,并且每个组都以特定的时间表被馈送到训练算法。这种方法很容易在任何神经框架或架构上实现,并且在两个不同领域和两种语言对的实验中始终优于未适应和适应的基线。
2019-05-14 cs.CL
An Empirical Comparison of Simple Domain Adaptation Methods for Neural Machine Translation
Japan Science and Technology Agency(日本科学技术振兴机构);Kyoto University(京都大学)
本文提出了一种新的神经机器翻译领域自适应方法--“混合微调”。我们结合现有的两种方法,即微调和多域NMT。我们首先在一个域外平行语料库上训练一个NMT模型,然后在一个混合了域内和域外语料库的平行语料库上对其进行微调。所有语料库都增加了人工标签,以指示特定的领域。我们经验比较我们提出的方法对微调和多域的方法,并讨论其优点和缺点。
2017-02-03 cs.CL
FGraDA: A Dataset and Benchmark for Fine-Grained Domain Adaptation in Machine Translation
Nanjing University(南京大学);University of Michigan(密歇根大学);Sogou Inc.(搜狗公司)
传统的神经机器翻译(NMT)模型适应特定领域的研究往往忽略了同一领域内翻译的多样性,而这是领域自适应的核心问题。这种具有挑战性的场景的一个代表是为具有特定主题的会议部署翻译系统,全球变暖或冠状病毒,由于时间有限,通常资源极其少。为了激励更广泛的调查,在这样的情况下,我们提出了一个现实世界的细粒度领域自适应任务在机器翻译(FGraDA)。FGraDA数据集包括信息技术四个子领域的中英翻译任务:自动驾驶汽车,人工智能教育,实时网络和智能手机。每个子域都配备了用于评估目的的开发集和测试集。为了更接近实际,FGrada不使用任何领域内的双语训练数据,但提供双语词典和wiki知识库,可以在短时间内更容易地获得。我们对细粒度的领域自适应任务进行了基准测试,并进行了深入的分析,结果表明,在异构资源的情况下,进一步提高性能仍然存在一些具有挑战性的问题。
2021-11-07 cs.CL
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时,需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而,这些方法使用文本的通用表示,而不管域转移,这使得翻译模型无法控制特定域的输出条件。在这项工作中,我们提出了一种方法,通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性,在多个实验环境中实现了一致的改善。此外,我们表明,将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
Connecting Phrase based Statistical Machine Translation Adaptation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(信息通信研究机构)
虽然统计机器翻译(SMT)可以使用更多的附加语料,但只有那些与原始语料属于相同或相似领域的语料才能直接提高SMT的性能。现有的改编方法大多集中在句子选择上。相比之下,短语是一个更小,更细粒度的数据选择单元,因此,我们提出了一个简单而有效的连接短语的适应方法,这是适用于双语短语对和单语n-gram适应。在IWELT/NIST数据集上对该方法进行了测试,结果表明,基于短语的SMT性能得到了显著提高(与基于短语的SMT基线系统相比提高了+1.6,与现有方法相比提高了+0.9).
2016-07-29 cs.CL
Domain Differential Adaptation for Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
众所周知,神经网络是数据饥渴和领域敏感的,但几乎不可能为我们感兴趣的每个领域获得大量的标记数据。这需要使用领域自适应策略。一种常见的策略是通过对齐源域和目标域之间的全局分布统计数据来鼓励泛化,但一个缺点是不同域或任务的统计数据本质上是发散的,并且平滑这些差异可能导致次优性能。在本文中,我们提出了{ \it域差分自适应(DDA)}的框架,而不是平滑这些差异,我们拥抱他们,直接建模域之间的差异使用模型在相关的任务。然后,我们使用这些学习到的域差异来相应地调整目标任务的模型。神经机器翻译领域自适应的实验结果证明了该策略的有效性,在多个实验环境中实现了与其他自适应策略一致的改进。
2019-10-07 cs.CL
Rapid Adaptation of Neural Machine Translation to New Languages
Carnegie Mellon University(卡内基梅隆大学)
本文探讨了如何使神经机器翻译系统尽可能有效和快速地适应新的低资源语言(LRL)的问题。我们提出的方法基于从大量多语言“种子模型”开始,这些模型可以提前训练,然后继续训练与LRL相关的数据。我们对比了一些策略,导致了一种新颖的,简单的,但有效的方法“相似的语言正则化”,我们共同训练感兴趣的LRL和类似的高资源语言,以防止过拟合小LRL数据。实验表明,大规模多语言模型,即使没有任何显式的适应,也是令人惊讶的有效,在没有LRL数据的情况下,BLEU得分高达15.5,并且所提出的相似语言正则化方法比其他适应方法在4个LRL设置上平均提高了1.7个BLEU点。在https://github.com/neubig/rapid-adaptation上复制实验的代码
2018-08-13 cs.CL
Domain Adaptation of Neural Machine Translation by Lexicon Induction
Language Technologies Institute(语言技术研究所);School of Computer Science(计算机学院);Carnegie Mellon University(卡内基梅隆大学)
先前已经注意到,神经机器翻译(NMT)对域移位非常敏感。在本文中,我们认为,这是一个双重影响的高度词汇化的性质,NMT,导致失败的句子与大量的未知词,缺乏监督的领域特定的词。为了解决这个问题,我们提出了一种无监督自适应方法,该方法使用伪域内语料库对预训练的域外NMT模型进行微调。具体来说,我们进行词汇归纳提取领域内的词汇,并通过执行字对字的回译的单语领域内的目标句子构建一个伪并行的领域内语料库。在五个领域超过20个成对适应设置和两个模型架构中,我们的方法实现了一致的改进,而不使用任何域内并行语句,在未适应的模型上提高了14个BLEU,在强反向翻译基线上提高了2个BLEU。
2019-06-02 cs.CL
The Highs and Lows of Simple Lexical Domain Adaptation Approaches for Neural Machine Translation
University of Edinburgh(爱丁堡大学)
机器翻译系统易受域不匹配的影响,特别是在资源不足的情况下。由于暴露偏差和充当语言模型的解码器,域外翻译通常质量差并且容易产生幻觉。我们采用两种方法来缓解这个问题:受IBM统计对齐限制的词汇入围,以及基于相似性的假设重新排名。这些方法在计算上是便宜的,广为人知的,但没有广泛的实验上的领域自适应。我们证明了成功的低资源域外测试集,但是,当有足够的数据或太大的域不匹配的方法是无效的。这是由于IBM模型失去了其相对于隐式学习的神经对齐的优势,以及域外词的子词切分的问题。
2021-09-21 cs.CL
Fast Domain Adaptation for Neural Machine Translation
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
神经机器翻译(NMT)是一种将文本从一种人类语言自动翻译成另一种人类语言的新方法。NMT的基本概念是训练一个大型神经网络,使其在给定的并行语料库上的翻译性能最大化。NMT在研究界越来越受欢迎,因为它在WMT的几个翻译任务和其他评估任务/基准测试中至少在一些语言对上优于传统的SMT方法。然而,多年来SMT中的许多增强尚未被纳入NMT框架。在本文中,我们专注于这样的增强,即领域自适应。我们提出了一种适应NMT系统到一个新的域的方法。领域自适应背后的主要思想是大的域外训练数据和小的域内训练数据的可用性。我们报告了我们提出的方法在两种语言对的自动度量和人类主观评价度量方面的显着收益。与我们的适应方法,我们表现出很大的改善,而我们的一般域的性能只略有下降。此外,我们的方法足够快,可以在几个小时内将已经训练好的系统适应新的领域,而不需要在组合数据上重新训练NMT模型,这通常需要几天/几周的时间,具体取决于数据量。
2016-12-20 cs.CL
Domain Adaptation of Machine Translation with Crowdworkers
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT集团);Tohoku University(东北大学)
虽然使用大型域内并行语料库训练的机器翻译模型取得了显著的效果,但当没有域内数据时,它仍然工作得很差。这种情况限制了机器翻译在目标域数据有限时的应用。然而,在许多领域,对高质量的特定领域机器翻译模型的需求很大。我们提出了一个框架,高效和有效地收集在一个目标领域的并行句子从网络的帮助下众工。利用收集到的并行数据,我们可以快速地将机器翻译模型适配到目标领域。我们的实验表明,该方法可以收集目标域的并行数据在几天内在一个合理的成本。我们用五个领域对其进行了测试,与通用翻译模型相比,领域适应模型将BLEU分数提高到+19.7,平均提高了+7.8分。
2022-10-28 cs.CL
Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection
Monash University(莫纳什大学)
本文考虑神经机器翻译(NMT)的无监督领域自适应问题,假设在新的域中只访问源语言或目标语言中的单语文本。我们提出了一种跨语言的数据选择方法,以提取领域内的句子在缺失的语言侧从一个大型的通用单语语料库。我们提出的方法通过对比学习在多语言BERT之上训练一个自适应层,以对齐源语言和目标语言之间的表示。然后,这使得域分类器能够以zero-shot方式在语言之间转移。一旦分类器检测到域内数据,NMT模型就通过联合学习翻译和域判别任务来适应新的域。我们在NMT上评估了三种语言对中五个不同领域的跨语言数据选择方法,以及COVID-19的真实翻译场景。结果表明,我们提出的方法优于其他选择基线高达+1.5 BLEU得分。
2021-09-09 cs.CL
Domain Adaptation in Neural Machine Translation using a Qualia-Enriched FrameNet
Federal University of Juiz de Fora(茹伊斯迪福拉联邦大学);FrameNet Brasil(巴西FrameNet)
在本文中,我们提出了Scylla,神经机器翻译(NMT)系统,利用一个多语言的FrameNet丰富的感受质关系作为外部知识库域领域自适应的方法。NMT中使用的领域自适应技术通常需要微调和域内训练数据,这可能会给那些使用资源较少的语言的人带来困难,也可能导致NMT系统对域外句子的性能下降。Scylla不需要对NMT模型进行微调,避免了模型过度拟合的风险,从而降低了域外翻译的性能。Scylla的两个版本:一个使用源句子作为输入,另一个使用目标句子。我们评估锡拉相比,一个国家的最先进的商业NMT系统在实验中,50句从体育领域从巴西葡萄牙语翻译成英语。这两个版本的Scylla在HTER中的表现明显优于基准商业系统。
2022-02-21 cs.CL
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
多语言神经机器翻译模型(MNMT)在对来自训练时看到的领域和语言对的数据进行评估时,会产生最先进的性能。然而,当MNMT模型用于在域转移下翻译或翻译到新的语言对时,性能急剧下降。我们认为一个非常具有挑战性的情况下:适应MNMT模型,以一个新的领域和一个新的语言对在同一时间。在本文中,我们提出了$m^4Adapter$(多语言多领域自适应机器翻译与元适配器),它结合领域和语言知识,使用元学习与适配器。我们目前的结果表明,我们的方法是一个参数有效的解决方案,有效地适应一个新的语言对和一个新的域的模型,同时优于其他适配器的方法。消融研究还表明,我们的方法更有效地跨不同的语言和语言信息跨不同的领域转移领域知识。
2022-10-21 cs.CL
Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data
本文提出利用双语翻译数据提升大规模多语言大语言模型在500种语言上的适应性能,通过构建MaLA语料库和开发EMMA-500模型,验证了双语数据对语言迁移和低资源语言性能的积极影响。
2025-12-04 cs.CL
Dynamic Data Selection and Weighting for Iterative Back-Translation
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Department of Computer Science, George Mason University(乔治梅森大学计算机科学系)
在神经机器翻译(NMT)中,反向翻译被证明是一种有效的利用单语数据的方法,迭代地进行反向翻译可以进一步提高模型的性能。选择哪些单语数据进行反向翻译至关重要,因为我们要求得到的合成数据具有高质量并反映目标域。为了实现这两个目标,已经提出了数据选择和加权策略,通常的做法是选择接近目标域的样本,但也不同于平均的一般域文本。在本文中,我们提供了这种常用的方法的见解,并将其推广到一个动态的课程学习策略,这是适用于迭代回译模型。此外,我们提出了加权策略的基础上,当前的质量的句子和它的改进,在以前的迭代。我们评估我们的模型领域自适应,低资源,高资源MT设置和两种语言对。实验结果表明,我们的方法实现了高达1.8 BLEU点的竞争基线的改进。
2020-10-07 cs.CL
Reducing Gender Bias in Neural Machine Translation as a Domain Adaptation Problem
University of Cambridge(剑桥大学)
NLP任务的训练数据往往表现出性别偏见,因为涉及女性的句子比男性少。在神经机器翻译(NMT)中,性别偏见已被证明会降低翻译质量,特别是当目标语言具有语法性别时。最近的WinoMT挑战集使我们能够直接测量这种影响(Stanovsky等人,2019年)。理想情况下,我们可以通过在训练之前简单地消除所有数据的偏置来减少系统偏置,但有效地实现这一点本身就是一个挑战。我们没有试图创建一个“平衡”的数据集,而是在一小部分可信的、性别平衡的例子上使用迁移学习。这种方法在性别去偏见方面提供了强大而一致的改进,计算成本比从头开始训练要少得多。一个已知的陷阱迁移学习的新领域是“灾难性遗忘”,我们解决的适应和推理。在适应过程中,我们表明弹性权重合并允许在一般翻译质量和偏差减少之间进行性能权衡。在推理过程中,我们提出了一种格重评分方案,该方案优于Stanovsky等人(2019)在WinoMT上评估的所有系统,并且没有一般测试集BLEU的退化,我们表明该方案可以应用于消除“黑盒”在线商业MT系统输出中的性别偏见。我们展示了我们的方法从英语翻译成三种语言,不同的语言属性和数据的可用性。
2020-07-09 cs.CL
Incremental Adaptation of NMT for Professional Post-editors: A User Study
PRHLT Research Center - Universitat Politècnica de València(PRHLT研究中心 - 瓦伦西亚理工大学);Pangeanic / B.I Europa
机器翻译在行业中的一个常见用途是提供初始翻译假设,然后由人类专家进行监督和后期编辑。在这一修订过程中,不断产生新的双语数据。机器翻译系统可以从这些新数据中受益,在在线学习范例下增量地更新底层模型。我们对神经机器翻译系统的这种情况进行了用户研究。实验是由专业翻译人员进行的,他们在机器翻译后期编辑方面有着丰富的经验。结果表明,对系统产出进行后期编辑所需的人力减少,翻译质量提高,用户对自适应系统的看法积极。
2019-06-21 cs.CL
Domain adapted machine translation: What does catastrophic forgetting forget and why?
RWS;Language Weaver(语言织网)
本文通过研究数据的影响,首次调查了神经机器翻译领域适应中灾难性遗忘的内容、原因及其与领域内数据目标词汇覆盖率的关系,为更好地进行领域适应提供了指导。
2024-12-23 cs.CL
Adaptation of Machine Translation Models with Back-translated Data using Transductive Data Selection Methods
ADAPT Centre(ADAPT中心);School of Computing, Dublin City University(都柏林城市大学计算机学院)
当应用于真实数据时,数据选择已经证明了其对于改进神经机器翻译(NMT)的优点。但是,在NMT训练中使用合成数据的好处,由流行的反向翻译技术产生,提出了一个问题,如果数据选择也可以用于合成数据?在这项工作中,我们使用不频繁的N元恢复(INR)和特征衰减算法(FDA),两个转换的数据选择方法,以获得从合成数据的句子子集。这些方法确保所选句子与测试集共享n-gram,因此NMT模型可以进行调整以翻译它。对反向翻译数据执行数据选择会带来新的挑战,因为源端可能包含由反向翻译中使用的模型产生的噪声。因此,找到测试集中存在的n-gram变得更加困难。尽管如此,在我们的工作中,我们表明,适应一个模型与选择的合成数据是一个有用的方法。
2019-06-18 cs.CL
Refining Translations with LLMs: A Constraint-Aware Iterative Prompting Approach
Zhengzhou University of Light Industry(郑州轻工业大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出一种约束感知的迭代提示方法,通过多步提示链结合RAG检索关键术语翻译,并利用自检机制优化,显著提升了LLMs在低资源场景下的翻译忠实度。
2024-11-13 cs.CL
Freezing Subnetworks to Analyze Domain Adaptation in Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Notre Dame(圣母大学);Air Force Research Laboratory(空军研究实验室)
为了更好地理解持续训练的有效性,我们分析了神经机器翻译系统的主要组件(编码器、解码器和每个嵌入空间),并考虑每个组件对领域自适应的贡献和能力。我们发现,在持续训练期间冻结任何单个组件对性能的影响都很小,并且当单个组件被调整而模型的其余部分保持固定时,性能出奇地好。我们还发现,持续的训练并没有将模型从领域模型中移走很远,与敏感性分析指标相比,这表明领域模型可以为新领域提供良好的通用初始化。
2019-01-15 cs.CL
A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation
MIT(麻省理工学院);Amazon Web Services(亚马逊云科技);A*STAR(新加坡科技研究局)
最先进的神经机器翻译(NMT)系统是数据饥饿的,在没有监督数据的新领域表现不佳。由于数据汇集是昂贵的,并且在许多情况下是不可行的,因此需要领域自适应方法。在这项工作中,我们提出了一个简单但有效的方法,半监督领域自适应的情况下,NMT,其目的是提高性能的翻译模型的目标域仅由非并行数据的帮助下,监督源域数据。这种方法通过三个训练目标迭代地训练基于Transformer的NMT模型:语言建模,回译和监督翻译。我们评估这种方法的两个适应设置:特定领域之间的适应和适应从一般域到特定域,和两种语言对:德语到英语和罗马尼亚语到英语。随着性能的大幅提升--比最强基线的BLEU提高了+19.31BLEU,比未调整的模型的BLEU提高了+47.69BLEU--我们将这种方法作为半监督领域中简单但难以击败的基线NMT的领域自适应。
2020-06-06 cs.CL cs.LG
Translating Across Cultures: LLMs for Intralingual Cultural Adaptation
TCS Research(塔塔咨询服务研究中心)
本文定义语内文化适配任务,构建评估框架以考察现代 LLM 的跨文化知识、文化指称改写能力及自动适配问题。
2024-10-14 cs.CL
Simplifying Translations for Children: Iterative Simplification Considering Age of Acquisition with LLMs
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学研究所)
本文提出利用大语言模型,根据词汇习得年龄迭代替换译文中的高难度词,以生成适合儿童理解水平的简化翻译,并在保持BLEU和COMET分数的同时有效降低词汇难度。
2024-08-08 cs.CL
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science(数据智能科学研究所);Osaka University(大阪大学)
神经机器翻译(NMT)是一种基于深度学习的机器翻译方法,在大规模并行语料库可用的情况下,其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的,特定领域的语料库通常是稀缺的或根本不存在,因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法,对于特定领域的翻译非常重要。在本文中,我们给出了一个全面的调查,最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Finding the Right Recipe for Low Resource Domain Adaptation in Neural Machine Translation
NVIDIA(英伟达)
通用翻译模型通常仍然难以在专业领域中生成准确的翻译。为了指导机器翻译从业者并表征领域自适应方法在不同数据可用性场景下的有效性,我们对单语和并行数据方法进行了深入的实证探索,以在架构更改不切实际的情况下对预先训练的第三方NMT模型进行领域自适应。我们比较数据为中心的适应方法的隔离和组合。我们研究方法的有效性,在非常低的资源(8 k并行的例子)和适度低的资源(46 k并行的例子)的条件下,并提出了一个集成的方法,以减轻减少原始域的翻译质量。我们的工作包括三个领域:消费电子,临床和生物医学,并跨越四个语言对- Zh-En,Ja-En,Es-En和Ru-En。我们还提出了实现高域内性能的具体建议,并发布了所有语言的消费电子和医疗领域数据集,并公开了我们的代码。
2022-06-02 cs.CL cs.LG
Cultural Adaptation of Menus: A Fine-Grained Approach
University of Edinburgh(爱丁堡大学)
本文引入最大的中英菜单语料库ChineseMenuCSI数据集,定义三级CSI比喻性并开发自动识别方法,首次将人类翻译理论整合到LLM翻译过程,显著提升翻译准确率。
2024-08-24 cs.CL
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
Microsoft Research Asia(微软亚洲研究院)
人类智能表现出合成概括(即,理解和产生可见成分的不可见组合的能力),但目前的神经seq2seq模型缺乏这种能力。在本文中,我们重新审视迭代反向翻译,一个简单而有效的半监督方法,调查它是否以及如何提高组合泛化。在这项工作中:(1)我们首先经验性地表明,迭代回译大大提高了组合泛化基准(CFQ和SCAN)的性能。(2)为了理解为什么迭代反向翻译是有用的,我们仔细检查了性能增益,发现迭代反向翻译可以越来越多地纠正伪并行数据中的错误。(3)为了进一步鼓励这种机制,我们提出了课程迭代回译,更好地提高伪并行数据的质量,从而进一步提高性能。
2020-12-08 cs.AI cs.CL
DiMS: Distilling Multiple Steps of Iterative Non-Autoregressive Transformers for Machine Translation
Layer6 AI(Layer6人工智能公司)
针对迭代非自回归Transformer解码步数多、计算收益下降的问题,提出DiMS多步蒸馏技术,通过学生-教师模型的滑动平均蒸馏机制,在不增加推理开销的前提下显著提升单步翻译质量。
2023-06-09 cs.CL