Incremental Adaptation of NMT for Professional Post-editors: A User Study
PRHLT Research Center - Universitat Politècnica de València(PRHLT研究中心 - 瓦伦西亚理工大学);Pangeanic / B.I Europa
机器翻译在行业中的一个常见用途是提供初始翻译假设,然后由人类专家进行监督和后期编辑。在这一修订过程中,不断产生新的双语数据。机器翻译系统可以从这些新数据中受益,在在线学习范例下增量地更新底层模型。我们对神经机器翻译系统的这种情况进行了用户研究。实验是由专业翻译人员进行的,他们在机器翻译后期编辑方面有着丰富的经验。结果表明,对系统产出进行后期编辑所需的人力减少,翻译质量提高,用户对自适应系统的看法积极。
2019-06-21 cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo(东京大学);Institute of Industrial Science(产业科学研究所);National Institute of Informatics(国立信息学研究所)
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此,从业者从资源丰富的领域中采用领域自适应,这些领域在大多数情况下远离目标领域。远域之间的领域自适应(例如,电影字幕和研究论文),然而,由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词(例如,“angstrom”)和其含义跨域变化的单词(例如,“导体”)。在这项研究中,为了解决神经机器翻译(NMT)领域自适应中的词汇不匹配问题,我们提出了词汇自适应,这是一种有效微调的简单方法,可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前,我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明,我们的方法提高了3.86和3.28 BLEU点的传统微调的性能,在En-Ja和De-En翻译,分别。
2020-10-31 cs.CL
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics(上海财经大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
尽管神经机器翻译(NMT)取得了成功,但同时神经机器翻译(SNMT)由于句法结构差异和语义要求,在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中,我们提出了一个通用的框架,用于适应神经机器翻译同时翻译。我们的框架包含两个部分:前缀翻译,利用一个连续的NMT模型来翻译源前缀和一个停止标准,确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明,该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
Domain Adaptation of NMT models for English-Hindi Machine Translation Task at AdapMT ICON 2020
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
神经机器翻译(NMT)模型的最新进展已被证明在低资源印度语言的机器翻译上产生了最先进的结果。本文描述了AdapMT共享任务ICON 2020中提出的英语-印地语神经机器翻译系统。该共享任务旨在使用小型域内并行语料库为人工智能(AI)和化学等特定领域的印度语言构建翻译系统。我们基于BLEU分数评估了两种流行的NMT模型的有效性,即LSTM和Transformer架构用于英语-印地语机器翻译任务。我们训练这些模型主要使用域外数据,并采用简单的领域自适应技术的基础上,域内数据集的特点。微调和混合域数据方法用于领域自适应。我们的团队在化学和一般领域En-Hi翻译任务中排名第一,在AI领域En-Hi翻译任务中排名第二。
2020-12-23 cs.CL cs.LG
Domain Adaptation of Neural Machine Translation by Lexicon Induction
Language Technologies Institute(语言技术研究所);School of Computer Science(计算机学院);Carnegie Mellon University(卡内基梅隆大学)
先前已经注意到,神经机器翻译(NMT)对域移位非常敏感。在本文中,我们认为,这是一个双重影响的高度词汇化的性质,NMT,导致失败的句子与大量的未知词,缺乏监督的领域特定的词。为了解决这个问题,我们提出了一种无监督自适应方法,该方法使用伪域内语料库对预训练的域外NMT模型进行微调。具体来说,我们进行词汇归纳提取领域内的词汇,并通过执行字对字的回译的单语领域内的目标句子构建一个伪并行的领域内语料库。在五个领域超过20个成对适应设置和两个模型架构中,我们的方法实现了一致的改进,而不使用任何域内并行语句,在未适应的模型上提高了14个BLEU,在强反向翻译基线上提高了2个BLEU。
2019-06-02 cs.CL
Domain adapted machine translation: What does catastrophic forgetting forget and why?
RWS;Language Weaver(语言织网)
本文通过研究数据的影响,首次调查了神经机器翻译领域适应中灾难性遗忘的内容、原因及其与领域内数据目标词汇覆盖率的关系,为更好地进行领域适应提供了指导。
2024-12-23 cs.CL
Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection
Monash University(莫纳什大学)
本文考虑神经机器翻译(NMT)的无监督领域自适应问题,假设在新的域中只访问源语言或目标语言中的单语文本。我们提出了一种跨语言的数据选择方法,以提取领域内的句子在缺失的语言侧从一个大型的通用单语语料库。我们提出的方法通过对比学习在多语言BERT之上训练一个自适应层,以对齐源语言和目标语言之间的表示。然后,这使得域分类器能够以zero-shot方式在语言之间转移。一旦分类器检测到域内数据,NMT模型就通过联合学习翻译和域判别任务来适应新的域。我们在NMT上评估了三种语言对中五个不同领域的跨语言数据选择方法,以及COVID-19的真实翻译场景。结果表明,我们提出的方法优于其他选择基线高达+1.5 BLEU得分。
2021-09-09 cs.CL
A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation
MIT(麻省理工学院);Amazon Web Services(亚马逊云科技);A*STAR(新加坡科技研究局)
最先进的神经机器翻译(NMT)系统是数据饥饿的,在没有监督数据的新领域表现不佳。由于数据汇集是昂贵的,并且在许多情况下是不可行的,因此需要领域自适应方法。在这项工作中,我们提出了一个简单但有效的方法,半监督领域自适应的情况下,NMT,其目的是提高性能的翻译模型的目标域仅由非并行数据的帮助下,监督源域数据。这种方法通过三个训练目标迭代地训练基于Transformer的NMT模型:语言建模,回译和监督翻译。我们评估这种方法的两个适应设置:特定领域之间的适应和适应从一般域到特定域,和两种语言对:德语到英语和罗马尼亚语到英语。随着性能的大幅提升--比最强基线的BLEU提高了+19.31BLEU,比未调整的模型的BLEU提高了+47.69BLEU--我们将这种方法作为半监督领域中简单但难以击败的基线NMT的领域自适应。
2020-06-06 cs.CL cs.LG
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau(澳门大学)
元学习已被充分验证,对低资源神经机器翻译(NMT)有益。然而,我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中,我们的目的是缓解这个问题,提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中,NMT首先学习各领域的相似课程,避免过早陷入局部最优,最后学习各领域的个性化课程,提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明,Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
Adaptation of Machine Translation Models with Back-translated Data using Transductive Data Selection Methods
ADAPT Centre(ADAPT中心);School of Computing, Dublin City University(都柏林城市大学计算机学院)
当应用于真实数据时,数据选择已经证明了其对于改进神经机器翻译(NMT)的优点。但是,在NMT训练中使用合成数据的好处,由流行的反向翻译技术产生,提出了一个问题,如果数据选择也可以用于合成数据?在这项工作中,我们使用不频繁的N元恢复(INR)和特征衰减算法(FDA),两个转换的数据选择方法,以获得从合成数据的句子子集。这些方法确保所选句子与测试集共享n-gram,因此NMT模型可以进行调整以翻译它。对反向翻译数据执行数据选择会带来新的挑战,因为源端可能包含由反向翻译中使用的模型产生的噪声。因此,找到测试集中存在的n-gram变得更加困难。尽管如此,在我们的工作中,我们表明,适应一个模型与选择的合成数据是一个有用的方法。
2019-06-18 cs.CL
Simple, Scalable Adaptation for Neural Machine Translation
Google AI(谷歌人工智能)
微调预训练的神经机器翻译(NMT)模型是适应新语言和领域的主要方法。然而,微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器,只有原始模型大小的一小部分,使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法:(i)领域自适应和(ii)大规模多语言NMT。领域自适应的实验表明,我们提出的方法是与各种领域,数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上,我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距,为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science(数据智能科学研究所);Osaka University(大阪大学)
神经机器翻译(NMT)是一种基于深度学习的机器翻译方法,在大规模并行语料库可用的情况下,其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的,特定领域的语料库通常是稀缺的或根本不存在,因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法,对于特定领域的翻译非常重要。在本文中,我们给出了一个全面的调查,最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning
Soochow University(苏州大学);Zhejiang University(浙江大学);RoyalFlush AI Research Institute(RoyalFlush AI 研究院)
本文针对NMT对同义多样化输入翻译不稳定问题,提出基于MAML的一致性感知元学习框架CoNMT,通过外层学习一致元表示、内层学习到目标句的映射,在多个翻译任务上验证了其提升翻译质量和可靠性的效果。
2023-09-19 cs.CL
Domain Adaptation for Arabic Machine Translation: The Case of Financial Texts
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);ASAS AI Lab(ASAS人工智能实验室)
本文针对阿拉伯语金融新闻翻译领域自适应研究不足的问题,构建了AR-EN金融平行语料库,并微调多种NMT及大语言模型,首次证明ChatGPT-3.5 Turbo经少量领域数据微调后可取得最优翻译质量。
2023-09-22 cs.AI cs.CL
DaLC: Domain Adaptation Learning Curve Prediction for Neural Machine Translation
NAVER Corp.(NAVER公司);NAVER LABS Europe(NAVER欧洲实验室)
神经机器翻译(NMT)模型的领域自适应(DA)通常依赖于一个预先训练好的通用NMT模型,该模型在域内并行数据样本上适应新的领域。如果没有并行数据,就无法估计DA的潜在益处,也无法估计它所需的并行样本量。然而,这是一个理想的功能,可以帮助MT从业者在投入资源创建数据集之前做出明智的决定。我们提出了一个领域自适应学习曲线预测(DaLC)模型,该模型基于源语言中的领域内单语样本预测未来DA性能。我们的模型依赖于NMT编码器表示与各种实例和语料库级别的功能相结合。我们证明,实例级是更好地区分不同的领域相比,在以前的研究中提出的语料库级别的框架。最后,我们对结果进行了深入的分析,强调了我们方法的局限性,并为未来的研究提供了方向。
2022-04-20 cs.AI cs.CL
Addressing the Vulnerability of NMT in Input Perturbations
Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
神经机器翻译(NMT)在性能上取得了重大突破,但已知其易受输入扰动的影响。由于在训练过程中很难预测真实的输入噪声,因此鲁棒性是系统部署的一个大问题。在本文中,我们提高了NMT模型的鲁棒性,通过上下文增强重建(CER)的方法减少噪音的影响。CER通过两个步骤训练模型抵抗噪声:(1)扰动步骤,用虚构的单词破坏输入序列的自然性;(2)重建步骤,通过生成更好和更鲁棒的上下文表示来防御噪声传播。中文-英文(ZH-EN)和法文-英文(FR-EN)翻译任务的实验结果表明,新闻和社交媒体文本的鲁棒性提高。在社交媒体文本上的进一步微调实验表明,我们的方法可以在更高的位置收敛,并提供更好的适应性。
2021-04-20 cs.CL
Efficient Continual Learning in Neural Machine Translation: A Low-Rank Adaptation Approach
Pattern Recognition and Human Language Technology, Universitat Politècnica de València(模式识别与人类语言技术,瓦伦西亚理工大学);Valencian Graduate School and Research Network of Artificial Intelligence, Universitat Politècnica de València(瓦伦西亚人工智能研究生学院与研究网络,瓦伦西亚理工大学)
本文提出了一种低秩适应方法,用于解决神经机器翻译中的持续学习问题,通过参数高效的方法实现语言和领域适应,同时减少计算成本。
2025-12-10 cs.AI cs.CL
Non-Parametric Adaptation for Neural Machine Translation
Google AI(谷歌人工智能)
已知用梯度下降训练的神经网络容易受到在训练过程中由参数偏移引起的灾难性遗忘的影响。在神经机器翻译(NMT)的背景下,这导致异构数据集和子任务(如罕见短语翻译)的性能较差。另一方面,非参数方法对遗忘免疫,完美地补充了NMT的泛化能力。然而,尝试将非参数或基于检索的方法与NMT相结合,只在狭窄的领域取得了成功,这可能是由于过度依赖句子级检索。我们提出了一种新的n-gram级别的检索方法,依赖于本地短语级别的相似性,使我们能够检索邻居,即使在整体句子相似性低,是有用的翻译。我们用一个表达性的神经网络来补充这一点,使我们的模型能够从嘈杂的检索上下文中提取信息。我们评估了我们的半参数NMT方法的异构数据集组成的WMT,IWITAL,JRC-Accounts和OpenSubtitles,并证明所有4个评估集的收益。我们的方法的半参数性质打开了非参数领域自适应的大门,展示了强大的推理时间适应性能的新领域,而不需要任何参数更新。
2019-06-18 cs.CL cs.LG stat.ML
Domain specialization: a post-training domain adaptation for Neural Machine Translation
SYSTRAN
领域自适应是机器翻译的一个重要特征。它通常包括术语、领域和风格适应,特别是计算机辅助翻译(CAT)中的人工后期编辑工作流程。在神经机器翻译(NMT)中,我们引入了一种新的领域自适应概念,我们称之为“专业化”,它在学习速度和适应准确性方面都显示出了良好的效果。在本文中,我们建议从几个角度探讨这种方法。
2016-12-19 cs.CL
Simple and Scalable Nearest Neighbor Machine Translation
University of Science and Technology of China(中国科学技术大学);Tencent AI Lab(腾讯人工智能实验室)
$k$ NN-MT是一种简单而强大的快速域自适应方法,它直接将预训练的神经机器翻译(NMT)模型与特定于域的令牌级$k$ -最近邻($k$ NN)检索插入,以实现领域自适应,而无需重新训练。尽管在概念上很有吸引力,但$k$ NN-MT由于在整个参考语料库上进行最近邻搜索而具有大量存储需求和高计算复杂性。在本文中,我们提出了一个简单且可扩展的最近邻机器翻译框架,以大幅提高基于$k$ NN的模型的解码和存储效率,同时保持翻译性能。为此,我们动态地构建一个非常小的搜索每个输入通过检索级检索,以避免搜索整个搜索香草$k$ NN-MT,在此基础上,我们进一步引入了一个距离感知适配器,自适应地将$k$ NN检索结果到预训练的NMT模型。在静态领域自适应和在线学习两种环境下的机器翻译实验表明,该方法不仅在不降低性能的情况下实现了NMT模型的近90%的速度,而且显著降低了$k$ NN-MT的存储需求。
2023-02-23 cs.CL
Adapting High-resource NMT Models to Translate Low-resource Related Languages without Parallel Data
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI(脸书人工智能研究院);The Hong Kong University of Science and Technology(香港科技大学);Johns Hopkins University(约翰斯·霍普金斯大学);Twitter Cortex(推特Cortex部门)
并行数据的缺乏是训练低资源语言的高质量机器翻译系统的主要障碍。幸运的是,一些低资源语言在语言上与高资源语言相关或相似;这些相关语言可能共享许多词汇或句法结构。在这项工作中,我们利用这种语言的重叠,以促进翻译和从一个低资源的语言只有单语数据,除了在相关的高资源语言的任何并行数据。我们的方法NMT-Adapt结合了去噪自动编码,反向翻译和对抗目标,利用单语数据进行低资源适应。我们对来自三个不同语系的7种语言进行了实验,结果表明,与其他翻译基准相比,我们的技术显著提高了翻译成低资源语言的能力。
2021-06-02 cs.CL
Joint Training for Neural Machine Translation Models with Monolingual Data
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
单语数据已被证明有助于提高统计机器翻译(SMT)系统和神经机器翻译(NMT)系统的翻译质量,特别是在资源贫乏或并行数据不够丰富的领域自适应任务中。在本文中,我们提出了一种新的方法,以更好地利用单语数据的神经机器翻译通过联合学习源到目标和目标到源NMT模型的语言对与联合EM优化方法。训练过程开始于在每个方向的并行数据上预训练的两个初始NMT模型,并且通过递增地减少训练数据上的平移损失来迭代地更新这两个模型。在每个迭代步骤中,两个NMT模型首先用于将单语数据从一种语言翻译成另一种语言,形成另一NMT模型的伪训练数据。然后从并行数据和伪训练数据中学习两个新的NMT模型。这两种NMT模型都有待于进一步改进,以产生更好的伪训练数据。在汉英和英德翻译任务上的实验结果表明,该方法可以同时提高源到目标和目标到源模型的翻译质量,显著优于使用单语数据进行模型训练(包括回译)的强基线系统。
2018-03-01 cs.CL
Post-editing Productivity with Neural Machine Translation: An Empirical Assessment of Speed and Quality in the Banking and Finance Domain
TextShuttle AG(TextShuttle股份公司);Institute of Computational Linguistics, University of Zurich(苏黎世大学计算语言学研究所);Migros Bank AG(米格罗斯银行股份公司)
神经机器翻译(NMT)为自动翻译设定了新的质量标准,但其对译后生产率的影响仍有待深入研究。我们实证测试了NMT的加入,以及特定领域的翻译记忆和术语库,如何影响金融文本专业翻译的速度和质量。我们发现,即使是在研究环境中很少受到关注的语言对和少量用于系统适应的域内数据,NMT后期编辑也可以节省大量时间,并带来相等或稍好的质量。
2019-06-04 cs.CL
Revisiting Low-Resource Neural Machine Translation: A Case Study
University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
研究表明,神经机器翻译(NMT)的性能在低资源条件下明显下降,表现不如基于短语的统计机器翻译(PBSMT),并且需要大量辅助数据才能实现有竞争力的结果。在本文中,我们重新评估这些结果的有效性,认为它们是缺乏系统适应低资源环境的结果。我们讨论了在训练低资源NMT系统时需要注意的一些陷阱,以及最近在低资源环境中特别有用的技术,从而为低资源NMT提供了一套最佳实践。在我们的实验中,德语-英语与不同数量的IWSLT 14训练数据,我们表明,在不使用任何辅助单语或多语言数据,优化的NMT系统可以优于PBSMT与远少于以前声称的数据。我们还将这些技术应用于低资源的韩语-英语数据集,超过了以前报道的结果4 BLEU。
2019-05-28 cs.CL
Towards Example-Based NMT with Multi-Levenshtein Transformers
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Systran(Systran公司)
本研究提出一种多莱文斯坦变换器架构,通过同时编辑多个检索到的模糊匹配示例,提升检索增强机器翻译的决策透明度,并实验证明其能提高翻译得分及目标片段复制率。
2023-10-13 cs.CL
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对低资源语言(LRL)的多语言神经机器翻译(MNMT)可以通过相关高资源语言(HRL)的存在来增强,但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近,MNMT适应LRL已被证明可以大大提高性能。在这项工作中,我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT,我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择,即在(zero-shot)翻译中,以及在两个方向(LRL-en)的多语言预训练模型的适应中。我们进一步表明,动态适应模型的词汇结果在一个更有利的分割LRL相比,直接适应。实验表明,即使LRL数据为零(+13.0 BLEU),也可以减少训练时间,并在LRL基线上获得显着的性能提升,对于预训练的多语言模型动态自适应与相关数据选择,最高可达+17.0 BLEU。我们的方法优于目前的方法,如大规模多语言模型和数据增强,在四个LRL。
2019-10-30 cs.CL
Synthesizing Monolingual Data for Neural Machine Translation
National Institute of Information and Communications Technology(日本信息通信技术研究所)
在神经机器翻译(NMT)中,通常通过所谓的“回译”方法利用目标语言的单语数据来合成额外的训练并行数据。实验结果表明,合成数据有助于训练更好的NMT,特别是对于低资源的语言对和领域。然而,目标领域或语言中的大型单语数据并不总是可用于生成大型合成并行数据。在这项工作中,我们提出了一种新的方法来生成大的合成并行数据,利用非常小的单语数据在一个特定的域。我们在这样小的域内单语数据上微调预训练的GPT-2模型,并使用生成的模型生成大量的合成域内单语数据。然后,我们执行反向翻译或正向翻译,以生成合成的域内并行数据。我们对三种语言对和五个域的初步实验表明,我们的方法可以有效地生成完全合成但有用的域内并行数据,以改善所有配置中的NMT。我们还在个性化NMT的极端适应中显示出有希望的结果。
2021-01-29 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University(大阪大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
本文针对纯注意神经机器翻译(NMT)模型,提出了两种新的领域自适应方法,Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调,这是已知的是非常有效的领域自适应的黑箱方法相结合。此外,我们将多语言纳入领域自适应框架。实验表明,多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译,并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University(东京都立大学);National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译(NMT),具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景,例如多语言NMT和回译,但我们已经根据经验证实,当仅限于域内数据时,它们的成功有限。因此,我们建议通过迁移学习来利用域外数据,首先使用它来训练多语言NMT模型,然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译,在这种资源极其匮乏的情况下,在较强的基线上,帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Rule-based Morphological Inflection Improves Neural Terminology Translation
University of Maryland(马里兰大学)
在机器翻译(MT)中结合术语约束的当前方法通常假设约束术语以其正确的形态形式提供。这限制了它们在现实世界中的应用,其中约束条件作为引理提供。在本文中,我们介绍了一个模块化的框架,将引理约束的神经MT(NMT)中的语言知识和不同类型的NMT模型可以灵活地应用。它是基于一种新的跨语言的变形模块,变形的目标词元的约束的基础上的源上下文。我们探索语言动机的规则为基础的和数据驱动的神经为基础的变形模块和设计英语-德语健康和英语-立陶宛语新闻测试套件,以评估他们在领域自适应和低资源MT设置。结果表明,我们基于规则的拐点模块有助于NMT模型比神经模块更准确地纳入引理约束,并且以更低的训练成本优于现有的端到端方法。
2021-10-08 cs.CL
On Instruction-Finetuning Neural Machine Translation Models
Microsoft Azure AI(微软Azure人工智能部门)
本研究提出神经机器翻译模型的指令微调方法,将大语言模型的指令遵循能力蒸馏到小型NMT模型中,实现多类翻译任务的联合处理,性能媲美GPT-3.5-Turbo,提升定制化翻译服务效率。
2024-10-07 cs.AI cs.CL
On the Evaluation of Machine Translation for Terminology Consistency
George Mason University(乔治梅森大学);NAVER Labs(NAVER实验室);Facebook(脸书);Johns Hopkins University(约翰斯·霍普金斯大学)
随着神经机器翻译(NMT)系统成为专业翻译管道的重要组成部分,越来越多的工作集中在将NMT与术语相结合。在许多情况下,特别是在领域自适应的情况下,人们期望MT输出遵守术语提供的约束。在这项工作中,我们提出了度量MT输出的一致性方面的领域术语。我们对5种语言的COVID-19领域进行研究,还进行针对术语的人类评估。我们开源了计算所有建议指标的代码:https://github.com/mahfuzibnalam/terminology_evaluation
2021-06-24 cs.CL
Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院);Yonsei University(延世大学)
针对联邦多语言机器翻译中通信受限问题,提出基于元学习的自适应参数选择方法MetaSend,通过动态阈值过滤参数提升传输效率,在有限通信预算下于不同语言分布数据集上显著优于基线模型。
2025-04-18 cs.AI cs.CL
Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation
Nanjing University(南京大学);Alibaba DAMO Academy(阿里巴巴达摩院);Peng Cheng Laboratory(鹏城实验室)
最近,$k$ NN-MT已经显示出直接将预训练的神经机器翻译(NMT)模型与特定于域的令牌级$k$ -最近邻($k$ NN)检索相结合以实现领域自适应而无需再训练的有前途的能力。尽管在概念上很有吸引力,但它严重依赖于高质量的域内平行语料库,限制了其在无监督领域自适应方面的能力,其中域内平行语料库很少或不存在。在本文中,我们提出了一个新的框架,直接使用领域内的单语句子在目标语言中构建一个有效的$k$最近邻检索的搜索引擎。为此,我们首先引入一个基于目标语言的自动编码任务,然后在原NMT模型中插入轻量级适配器,将该任务的标记级表示映射为翻译任务的理想表示。多域数据集上的实验表明,我们提出的方法显着提高了目标端单语数据的翻译精度,同时实现了与反向翻译相当的性能。
2022-05-25 cs.AI cs.CL cs.LG
Automatic Dialect Adaptation in Finnish and its Effect on Perceived Creativity
Lab. LATTICE, ENS/PSL & CNRS & Univ. Sorbonne nouvelle(LATTICE实验室,巴黎高等师范学院/巴黎文理研究大学、法国国家科学研究中心、新索邦大学);Rootroo Ltd(Rootroo有限公司);University of Helsinki(赫尔辛基大学)
我们提出了一种新的方法,以适应不同的方言写在标准芬兰语的文本。我们通过使用多方言和迁移学习方法对字符级NMT模型进行了实验。这些模型用20多种不同的方言进行了测试。结果似乎有利于迁移学习,虽然不是强烈的多方言的方法。我们研究的影响方言适应感知创造力的计算机生成的诗歌。我们的研究结果表明,越是偏离标准的芬兰语方言,人们往往会给现有的评价指标较低的分数。然而,在词汇联想测试中,人们更多地将创造力和独创性与方言联系在一起,而流利性则与标准芬兰语联系在一起。
2020-09-06 cs.CL
Defining Boundaries: The Impact of Domain Specification on Cross-Language and Cross-Domain Transfer in Machine Translation
Uppsala University(乌普萨拉大学)
本文研究了NMT的零样本跨语言领域适应,发现语言和领域特定因素均影响迁移效果,强调了明确定义领域边界的重要性。
2024-09-21 cs.CL
Neural Machine Translation with Monolingual Translation Memory
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
先前的工作已经证明,翻译记忆(TM)可以提高神经机器翻译(NMT)的性能。在现有的工作,使用双语语料库TM和采用源端相似性搜索的记忆检索相比,我们提出了一个新的框架,使用单语记忆,并进行可学习的记忆检索在跨语言的方式。我们的框架具有独特的优势。首先,跨语言记忆检索器允许大量的单语数据被TM。第二,记忆检索器和NMT模型可以联合优化最终的翻译目标。实验结果表明,该方法具有明显的改进效果.值得注意的是,它甚至优于使用双语TM的强大TM增强NMT基线。由于能够利用单语数据,我们的模型还在低资源和领域自适应场景中表现出有效性。
2021-06-02 cs.AI cs.CL
Guided Alignment Training for Topic-Aware Neural Machine Translation
RWTH Aachen University(亚琛工业大学);eBay, Inc.(eBay公司)
在本文中,我们提出了一种有效的方法,使序列到序列神经机器翻译(NMT)模型的注意力机制偏向于研究得很好的统计词对齐模型。我们发现,我们新的引导对齐训练方法提高了由产品标题和描述组成的真实电子商务文本的翻译质量,克服了许多未知词和大的类型/标记比率所带来的问题。我们还表明,与输入文本相关的元数据,如主题或类别信息,可以显着提高翻译质量时,作为一个额外的信号,以解码器的网络部分。通过这两个新功能,NMT系统对产品标题集的BLEU评分从18.6%提高到21.3%。通过一般领域NMT系统对电子商务数据的领域自适应,获得甚至更大的MT质量增益。所开发的NMT系统在IWITOS语音翻译任务上也表现良好,其中四个变体系统的集合超过基于短语的基线2.1%BLEU绝对值。
2016-07-06 cs.CL cs.NE
Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);University of Alberta(阿尔伯塔大学)
在本文中,我们提出了一个实质性的一步,更好地理解SOTA序列到序列(Seq 2Seq)神经机器翻译~(NMT)的预训练。我们专注于研究联合预训练解码器的影响,这是Seq 2Seq预训练和以前基于编码器的NMT预训练方法之间的主要区别。通过对三种语言对进行精心设计的实验,我们发现Seq 2Seq预训练是一把双刃剑:一方面,它有助于NMT模型产生更多样化的翻译,减少与充分性相关的翻译错误。另一方面,Seq 2Seq预训练和NMT微调之间的差异限制了翻译质量(即,域差异)并引起过估计问题(即,客观差异)。基于这些观察,我们进一步提出了简单有效的策略,命名为域内预训练和输入自适应,以弥补域和目标的差异,分别。在几个语言对上的实验结果表明,我们的方法可以在Seq 2Seq预训练后持续提高翻译性能和模型鲁棒性。
2022-03-16 cs.AI cs.CL
Cost-Effective Training in Low-Resource Neural Machine Translation
Maastricht University(马斯特里赫特大学)
虽然在神经机器翻译(NMT)中探索了主动学习(AL)技术,但只有少数作品专注于解决低注释预算,其中可以翻译的句子数量有限。这种情况尤其具有挑战性,并且可能发生在濒危语言中,这些语言很少有人类注释者或具有标记大量数据的成本限制。虽然AL被证明是有帮助的大预算,这是不够的,以建立高质量的翻译系统,在这些低资源的条件。在这项工作中,我们提出了一个具有成本效益的训练过程,利用少量的注释句子和字典条目来提高NMT模型的性能。我们的方法利用单语数据与自我监督的目标和一个小规模的,廉价的字典进行额外的监督,以初始化NMT模型之前,应用AL。我们表明,使用这些知识源的组合来改进模型是必不可少的利用AL策略,并增加收益在低资源条件下。我们还提出了一种新的AL策略的启发领域自适应的NMT,并表明它是有效的低预算。我们提出了一种新的混合数据驱动的方法,该方法对与标记数据不同且与未标记数据最相似的句子进行采样。最后,我们表明,初始化的NMT模型,并进一步使用我们的AL策略可以实现收益高达$13$ BLEU相比,传统的AL方法。
2022-01-14 cs.AI cs.CL
Iterative Dual Domain Adaptation for Neural Machine Translation
Xiamen University(厦门大学);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Rochester(罗切斯特大学)
以往神经机器翻译领域自适应的研究主要集中在将领域外的翻译知识一次性转换到领域内的机器翻译模型上。在本文中,我们认为,这样的策略未能充分提取领域共享的翻译知识,和重复利用不同领域的语料库,可以导致更好地提炼领域共享的翻译知识。为此,我们提出了一个迭代的双重领域自适应框架的NMT。具体而言,首先分别使用域内和域外NMT模型的训练语料对它们进行预训练,然后基于知识蒸馏迭代地进行双向翻译知识转移(域内到域外,反之亦然),直到域内NMT模型收敛。此外,我们将所提出的框架扩展到多个域外训练语料库的场景,其中上述转移是在域内和每个域外NMT模型之间按其域相似性的升序顺序依次执行的。在汉英和英德翻译任务上的实验结果证明了该框架的有效性。
2019-12-16 cs.CL
FGraDA: A Dataset and Benchmark for Fine-Grained Domain Adaptation in Machine Translation
Nanjing University(南京大学);University of Michigan(密歇根大学);Sogou Inc.(搜狗公司)
传统的神经机器翻译(NMT)模型适应特定领域的研究往往忽略了同一领域内翻译的多样性,而这是领域自适应的核心问题。这种具有挑战性的场景的一个代表是为具有特定主题的会议部署翻译系统,全球变暖或冠状病毒,由于时间有限,通常资源极其少。为了激励更广泛的调查,在这样的情况下,我们提出了一个现实世界的细粒度领域自适应任务在机器翻译(FGraDA)。FGraDA数据集包括信息技术四个子领域的中英翻译任务:自动驾驶汽车,人工智能教育,实时网络和智能手机。每个子域都配备了用于评估目的的开发集和测试集。为了更接近实际,FGrada不使用任何领域内的双语训练数据,但提供双语词典和wiki知识库,可以在短时间内更容易地获得。我们对细粒度的领域自适应任务进行了基准测试,并进行了深入的分析,结果表明,在异构资源的情况下,进一步提高性能仍然存在一些具有挑战性的问题。
2021-11-07 cs.CL
Songs Across Borders: Singable and Controllable Neural Lyric Translation
National University of Singapore(新加坡国立大学)
本文将歌词翻译形式化为约束翻译问题,结合翻译学理论与提示驱动NMT方法构建英汉歌词翻译系统,在长度、押韵和词边界指标上均超过95%,整体质量较朴素微调提升75%。
2023-05-26 cs.CL
Reducing Gender Bias in Machine Translation through Counterfactual Data Generation
Microsoft(微软)
本文提出通过补充随机训练样本和基于反事实数据生成的领域自适应技术,在减少神经机器翻译性别偏见的同时缓解灾难性遗忘并保持翻译质量。
2023-11-27 cs.CL
Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学)
神经机器翻译(NMT)模型通常在连续训练期间遭受灾难性遗忘,其中模型倾向于逐渐忘记先前学习的知识并摆动以拟合可能具有不同分布(例如,不同域)的新添加的数据。虽然已经提出了许多方法来解决这个问题,但我们还不能知道是什么导致了这种现象。在领域适应的背景下,我们从模块和参数(神经元)的角度探讨了灾难性遗忘的成因。通过对NMT模型中各模块的研究发现,有些模块与通用领域知识有着紧密的联系,而有些模块则是领域自适应中更为重要的模块。对参数的研究表明,某些参数对一般域和域内翻译都很重要,在连续训练过程中参数的较大变化会导致一般域的翻译性能下降。我们在不同的语言对和领域进行实验,以确保我们的研究结果的有效性和可靠性。
2020-11-30 cs.AI cs.CL
QCRI Machine Translation Systems for IWSLT 16
Qatar Computing Research Institute – HBKU(卡塔尔计算研究所 – 哈马德·本·哈利法大学)
本文介绍了QCRI的机器翻译系统的IWITH 2016评估活动。我们参加了阿拉伯语->英语和英语->阿拉伯语轨道。我们建立了基于短语和神经机器翻译模型,以探讨新出现的NMT框架是否优于传统的基于短语的系统在阿拉伯语-英语语言对。我们训练了一个非常强大的基于短语的系统,包括一个大的语言模型,操作序列模型,神经网络联合模型和基于类的模型,以及不同的领域自适应技术,如MML过滤,混合建模和使用微调NNJM模型。然而,通过微调堆叠来自不同流派的数据并应用8个模型的集成来训练的神经MT系统,在阿拉伯语->英语方向上以显着的2 BLEU点优势击败了我们非常强大的基于短语的系统。我们在另一个方向上没有获得类似的收益,但仍然能够胜过基于短语的系统。我们还将系统组合应用于基于短语的输出和NMT输出。
2017-01-14 cs.CL
Reducing Gender Bias in Neural Machine Translation as a Domain Adaptation Problem
University of Cambridge(剑桥大学)
NLP任务的训练数据往往表现出性别偏见,因为涉及女性的句子比男性少。在神经机器翻译(NMT)中,性别偏见已被证明会降低翻译质量,特别是当目标语言具有语法性别时。最近的WinoMT挑战集使我们能够直接测量这种影响(Stanovsky等人,2019年)。理想情况下,我们可以通过在训练之前简单地消除所有数据的偏置来减少系统偏置,但有效地实现这一点本身就是一个挑战。我们没有试图创建一个“平衡”的数据集,而是在一小部分可信的、性别平衡的例子上使用迁移学习。这种方法在性别去偏见方面提供了强大而一致的改进,计算成本比从头开始训练要少得多。一个已知的陷阱迁移学习的新领域是“灾难性遗忘”,我们解决的适应和推理。在适应过程中,我们表明弹性权重合并允许在一般翻译质量和偏差减少之间进行性能权衡。在推理过程中,我们提出了一种格重评分方案,该方案优于Stanovsky等人(2019)在WinoMT上评估的所有系统,并且没有一般测试集BLEU的退化,我们表明该方案可以应用于消除“黑盒”在线商业MT系统输出中的性别偏见。我们展示了我们的方法从英语翻译成三种语言,不同的语言属性和数据的可用性。
2020-07-09 cs.CL
Non-Parametric Online Learning from Human Feedback for Neural Machine Translation
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);Machine Intelligence Technology Lab, Alibaba DAMO Academy(阿里巴巴达摩院机器智能技术实验室)
本文研究了人在回路机器翻译中的在线学习问题,即译员对机器翻译结果进行修改,然后将修改后的译文用于改进神经机器翻译(NMT)系统。然而,以前的方法需要在线模型更新或额外的翻译记忆网络来实现高质量的性能,这使得它们在实践中不灵活且效率低下。在本文中,我们提出了一种新的非参数在线学习方法,而不改变模型的结构。该方法引入了两个k-nearest-neighbor(knn)模块:一个模块存储人类反馈,即翻译者提供的正确句子;另一个模块自适应地平衡历史人类反馈和原始NMT模型的使用。在EMEA和JRC-Accounts基准上进行的实验表明,我们提出的方法在翻译准确率上获得了实质性的提高,并在较少重复的人工校正操作的情况下实现了更好的自适应性能。
2021-12-14 cs.CL
Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It
University of Cambridge(剑桥大学)
神经机器翻译(NMT)已经被证明与依赖于人类指代物的性别的语法性别作斗争,这可能导致性别偏见效应。针对这一问题,现有的许多方法试图通过在源句中显式或隐式地添加性别特征来控制目标语言中的性别屈折变化,通常是在句子层面上。在本文中,我们提出了将显式的词级性别变化标签到NMT的计划。我们探索这种性别变化控制的翻译时,性别特征可以从人类参考确定的潜力,或者当一个测试句子可以自动性别标记,评估英语到西班牙语和英语到德语的翻译。我们发现,简单的现有方法可以过度概括的性别功能,在一个句子中的多个实体,并建议有效的替代品的形式标记的共指适应数据。我们还提出了一个扩展,以评估翻译的性别中立的实体从英语给出了相应的语言公约,如非二进制的拐点,在目标语言。
2020-12-10 cs.CL
Diving Deep into Context-Aware Neural Machine Translation
eBay, Inc.(易趣公司);RWTH Aachen University(亚琛工业大学);Human Language Technology and Pattern Recognition GroupRWTH Aachen University(亚琛工业大学人类语言技术与模式识别小组)
上下文感知的神经机器翻译(NMT)是利用附加上下文(例如,文档级翻译,或具有元信息。虽然有各种各样的架构和分析,不同的上下文感知NMT模型的有效性还没有得到很好的探讨。本文分析了文档级NMT模型在四个不同领域的性能与不同数量的并行文档级双语数据。我们进行了一组全面的实验,以调查文档级NMT的影响。我们发现,文档级NMT没有单一的最佳方法,而是不同的架构在不同的任务中脱颖而出。看看特定于任务的问题,如代词解析或标题翻译,我们发现上下文感知系统的改进,即使在像BLEU这样的语料库级别指标没有显着改善的情况下。我们还表明,文档级回译显着有助于弥补缺乏文档级的双文本。
2020-10-19 cs.AI cs.CL
Finding the Right Recipe for Low Resource Domain Adaptation in Neural Machine Translation
NVIDIA(英伟达)
通用翻译模型通常仍然难以在专业领域中生成准确的翻译。为了指导机器翻译从业者并表征领域自适应方法在不同数据可用性场景下的有效性,我们对单语和并行数据方法进行了深入的实证探索,以在架构更改不切实际的情况下对预先训练的第三方NMT模型进行领域自适应。我们比较数据为中心的适应方法的隔离和组合。我们研究方法的有效性,在非常低的资源(8 k并行的例子)和适度低的资源(46 k并行的例子)的条件下,并提出了一个集成的方法,以减轻减少原始域的翻译质量。我们的工作包括三个领域:消费电子,临床和生物医学,并跨越四个语言对- Zh-En,Ja-En,Es-En和Ru-En。我们还提出了实现高域内性能的具体建议,并发布了所有语言的消费电子和医疗领域数据集,并公开了我们的代码。
2022-06-02 cs.CL cs.LG
Exploiting Neural Query Translation into Cross Lingual Information Retrieval
Alibaba Group(阿里巴巴集团)
查询翻译作为跨语言信息检索(CLIR)中的一个重要环节,面临着三个主要挑战:1)翻译的充分性; 2)缺乏域内并行训练数据; 3)对低延迟的要求。为此,现有的CLIR系统主要利用基于语法的机器翻译(SMT)而不是高级神经机器翻译(NMT),限制了翻译和检索质量的进一步提高。本文研究了如何将神经查询翻译模型应用到CLIR系统中。具体而言,我们提出了一种新的数据增强方法,提取查询翻译对,根据用户点击数据,从而减轻在NMT领域适应的问题。然后,我们提出了一种异步策略,它能够充分利用SMT的实时性和NMT的准确性的优势。实验结果表明,该方法的检索质量优于强基线,可以很好地应用于实际的CLIR系统,即Aliexpress电子商务搜索引擎。读者可以在我们的网站上检查和测试他们的案例:https://aliexpress.com。
2020-10-26 cs.CL cs.IR
Multi-Domain Neural Machine Translation with Word-Level Adaptive Layer-wise Domain Mixing
Georgia Institute of Technology(佐治亚理工学院);ByteDance(字节跳动)
许多多域神经机器翻译(NMT)模型通过强制一个编码器学习跨域的共享嵌入来实现知识转移。然而,这种设计缺乏对各个领域的适应。为了克服这一限制,我们提出了一种新的多域NMT模型,每个域使用单独的模块,我们应用字级,自适应和逐层域混合。我们首先观察到,一个句子中的单词通常与多个域相关。因此,我们假设每个词都有一个领域比例,这表明了它的领域偏好。然后,通过基于其域比例将其嵌入到各个域中来获得单词表示。我们表明,这可以通过精心设计的多头点产品的注意力模块为不同的领域,并最终采取加权平均值的参数字级逐层域的比例。通过这种方式,我们可以实现有效的领域知识共享,并捕获细粒度的特定领域的知识。我们的实验表明,我们提出的模型优于现有的几个NMT任务。
2021-02-12 cs.CL cs.LG
Revisiting the Weaknesses of Reinforcement Learning for Neural Machine Translation
Heidelberg University(海德堡大学);Google Research(谷歌研究院)
策略梯度算法在NLP中得到了广泛的应用,但最近受到了批评,怀疑它们是否适合NMT。Choshen et al.(2020)发现了多个弱点,并怀疑它们的成功取决于输出分布的形状,而不是奖励。在本文中,我们重新审视这些索赔,并在更广泛的配置下研究它们。我们对领域内和跨领域自适应的实验揭示了探索和奖励尺度的重要性,并为这些说法提供了经验反证。
2021-06-16 cs.CL