Revisiting Simple Domain Adaptation Methods in Unsupervised Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology（信息通信研究机构）；Osaka University（大阪大学）
领域自适应在监督神经机器翻译（SNMT）中得到了充分研究。然而，对于无监督神经机器翻译（UNMT），它还没有得到很好的研究，尽管UNMT最近在几个特定领域的语言对中取得了显着的成果。除了SNMT的训练数据和测试数据之间的不一致域之外，UNMT的两个单语训练数据之间有时也存在不一致域。在这项工作中，我们经验性地展示了无监督神经机器翻译的不同场景。基于这些场景，我们重新审视现有的领域自适应方法，包括批量加权和微调方法在UNMT的效果。最后，我们提出了改进的方法，以提高特定领域的UNMT系统的性能。
2020-05-05 cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo（东京大学）；Institute of Industrial Science（产业科学研究所）；National Institute of Informatics（国立信息学研究所）
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此，从业者从资源丰富的领域中采用领域自适应，这些领域在大多数情况下远离目标领域。远域之间的领域自适应（例如，电影字幕和研究论文），然而，由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词（例如，“angstrom”）和其含义跨域变化的单词（例如，“导体”）。在这项研究中，为了解决神经机器翻译（NMT）领域自适应中的词汇不匹配问题，我们提出了词汇自适应，这是一种有效微调的简单方法，可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前，我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明，我们的方法提高了3.86和3.28 BLEU点的传统微调的性能，在En-Ja和De-En翻译，分别。
2020-10-31 cs.CL
Domain Adaptation for Statistical Machine Translation
University of Macau（澳门大学）
统计机器翻译（SMT）系统在应用于新的目标领域时表现不佳。我们的目标是探索领域自适应方法和技术，以提高特定领域SMT系统的翻译质量。然而，翻译来自特定领域的文本（例如，医学充满了挑战。第一个挑战是模糊性。单词或短语在不同的上下文中有不同的含义。二是语言风格，因为不同体裁的语篇往往以不同的句法、长度和结构形式呈现。第三个问题是词汇表外词（OOVs）问题。域内训练数据通常很少，术语覆盖率低。在这篇论文中，我们探讨了最先进的领域自适应方法，并提出了有效的解决方案，以解决这些问题。
2018-04-05 cs.CL
Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness
Naver Labs Europe（Naver欧洲实验室）
我们分享了Foursquare餐厅评论的法语-英语平行语料库（https：//europe.naverlabs.com/research/natural-language-processing/machine-translation-of-restaurant-reviews），并定义了一个新的任务，以鼓励对神经机器翻译鲁棒性和领域自适应的研究，在现实世界中，更好的MT将非常有益。我们讨论了这样的用户生成的内容的挑战，并训练良好的基线模型，建立在最新的技术MT的鲁棒性。我们还进行了广泛的评估（自动和人工），显示了对现有在线系统的显着改进。最后，我们提出了基于情感分析或领域特定的多义词的翻译准确性的特定任务的度量。
2019-10-31 cs.CL
Efficient Machine Translation Domain Adaptation
Instituto de Telecomunicações（电信研究所）；DeepMind（深度思维）；Institute of Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）；Unbabel（Unbabel公司）
机器翻译模型在翻译域外文本时会遇到困难，这使得领域自适应成为一个至关重要的话题。然而，大多数领域自适应方法集中于在每个新领域上微调或训练整个或部分模型，这可能是昂贵的。另一方面，半参数模型已经被证明通过从域内自适应器中检索示例来成功地执行领域自适应（Khandelwal等人，2021年）。然而，这些检索增强模型的一个缺点是，它们往往要慢得多。在本文中，我们探讨了几种方法来加快最近邻机器翻译。我们调整了He等人最近提出的方法。（2021）用于语言建模，并引入了一种简单但有效的缓存策略，该策略避免了在之前看到类似上下文时执行检索。几个领域的翻译质量和运行时间表明所提出的解决方案的有效性。
2022-04-26 cs.CL
Extreme Adaptation for Personalized Neural Machine Translation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
每个人都说或写自己的母语，受许多因素的影响：他们倾向于谈论的内容，他们的性别，他们的社会地位或他们的地理来源。当尝试执行机器翻译（MT）时，这些变化对系统应该如何执行翻译具有显著影响，但是标准的一刀切模型不能很好地捕捉到这一点。在本文中，我们提出了一个简单的和参数有效的自适应技术，只需要适应输出softmax的偏差MT系统的每个特定的用户，无论是直接或通过因子近似。在三种语言的TED演讲上的实验表明，翻译的准确性有所提高，并且在目标文本中更好地反映了演讲者的特征。
2018-05-04 cs.CL
Compact Personalized Models for Neural Machine Translation
Lilt, Inc.（Lilt公司）
我们提出并比较了自注意神经机器翻译模型的基于梯度的领域自适应方法。我们证明了在自适应过程中可以冻结大部分模型参数，通过组套索正则化在学习过程中鼓励偏移张量集合中的结构稀疏性，从而使翻译质量降低最小或不降低。我们评估这种技术在多个数据集和语言对的批量和增量适应。我们的系统架构-结合了最先进的自关注模型和紧凑的领域自适应-提供了高质量的个性化机器翻译，既节省空间又节省时间。
2018-11-05 cs.CL
Curriculum Learning for Domain Adaptation in Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）
我们引入了一种课程学习方法来适应通用神经机器翻译模型到一个特定的领域。样本通过它们与感兴趣的域的相似性进行分组，并且每个组都以特定的时间表被馈送到训练算法。这种方法很容易在任何神经框架或架构上实现，并且在两个不同领域和两种语言对的实验中始终优于未适应和适应的基线。
2019-05-14 cs.CL
An Empirical Comparison of Simple Domain Adaptation Methods for Neural Machine Translation
Japan Science and Technology Agency（日本科学技术振兴机构）；Kyoto University（京都大学）
本文提出了一种新的神经机器翻译领域自适应方法--“混合微调”。我们结合现有的两种方法，即微调和多域NMT。我们首先在一个域外平行语料库上训练一个NMT模型，然后在一个混合了域内和域外语料库的平行语料库上对其进行微调。所有语料库都增加了人工标签，以指示特定的领域。我们经验比较我们提出的方法对微调和多域的方法，并讨论其优点和缺点。
2017-02-03 cs.CL
FGraDA: A Dataset and Benchmark for Fine-Grained Domain Adaptation in Machine Translation
Nanjing University（南京大学）；University of Michigan（密歇根大学）；Sogou Inc.（搜狗公司）
传统的神经机器翻译（NMT）模型适应特定领域的研究往往忽略了同一领域内翻译的多样性，而这是领域自适应的核心问题。这种具有挑战性的场景的一个代表是为具有特定主题的会议部署翻译系统，全球变暖或冠状病毒，由于时间有限，通常资源极其少。为了激励更广泛的调查，在这样的情况下，我们提出了一个现实世界的细粒度领域自适应任务在机器翻译（FGraDA）。FGraDA数据集包括信息技术四个子领域的中英翻译任务：自动驾驶汽车，人工智能教育，实时网络和智能手机。每个子域都配备了用于评估目的的开发集和测试集。为了更接近实际，FGrada不使用任何领域内的双语训练数据，但提供双语词典和wiki知识库，可以在短时间内更容易地获得。我们对细粒度的领域自适应任务进行了基准测试，并进行了深入的分析，结果表明，在异构资源的情况下，进一步提高性能仍然存在一些具有挑战性的问题。
2021-11-07 cs.CL
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时，需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而，这些方法使用文本的通用表示，而不管域转移，这使得翻译模型无法控制特定域的输出条件。在这项工作中，我们提出了一种方法，通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性，在多个实验环境中实现了一致的改善。此外，我们表明，将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
Connecting Phrase based Statistical Machine Translation Adaptation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（信息通信研究机构）
虽然统计机器翻译（SMT）可以使用更多的附加语料，但只有那些与原始语料属于相同或相似领域的语料才能直接提高SMT的性能。现有的改编方法大多集中在句子选择上。相比之下，短语是一个更小，更细粒度的数据选择单元，因此，我们提出了一个简单而有效的连接短语的适应方法，这是适用于双语短语对和单语n-gram适应。在IWELT/NIST数据集上对该方法进行了测试，结果表明，基于短语的SMT性能得到了显著提高（与基于短语的SMT基线系统相比提高了+1.6，与现有方法相比提高了+0.9）.
2016-07-29 cs.CL
Domain Differential Adaptation for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
众所周知，神经网络是数据饥渴和领域敏感的，但几乎不可能为我们感兴趣的每个领域获得大量的标记数据。这需要使用领域自适应策略。一种常见的策略是通过对齐源域和目标域之间的全局分布统计数据来鼓励泛化，但一个缺点是不同域或任务的统计数据本质上是发散的，并且平滑这些差异可能导致次优性能。在本文中，我们提出了{ \it域差分自适应（DDA）}的框架，而不是平滑这些差异，我们拥抱他们，直接建模域之间的差异使用模型在相关的任务。然后，我们使用这些学习到的域差异来相应地调整目标任务的模型。神经机器翻译领域自适应的实验结果证明了该策略的有效性，在多个实验环境中实现了与其他自适应策略一致的改进。
2019-10-07 cs.CL
Rapid Adaptation of Neural Machine Translation to New Languages
Carnegie Mellon University（卡内基梅隆大学）
本文探讨了如何使神经机器翻译系统尽可能有效和快速地适应新的低资源语言（LRL）的问题。我们提出的方法基于从大量多语言“种子模型”开始，这些模型可以提前训练，然后继续训练与LRL相关的数据。我们对比了一些策略，导致了一种新颖的，简单的，但有效的方法“相似的语言正则化”，我们共同训练感兴趣的LRL和类似的高资源语言，以防止过拟合小LRL数据。实验表明，大规模多语言模型，即使没有任何显式的适应，也是令人惊讶的有效，在没有LRL数据的情况下，BLEU得分高达15.5，并且所提出的相似语言正则化方法比其他适应方法在4个LRL设置上平均提高了1.7个BLEU点。在https://github.com/neubig/rapid-adaptation上复制实验的代码
2018-08-13 cs.CL
Domain Adaptation of Neural Machine Translation by Lexicon Induction
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
先前已经注意到，神经机器翻译（NMT）对域移位非常敏感。在本文中，我们认为，这是一个双重影响的高度词汇化的性质，NMT，导致失败的句子与大量的未知词，缺乏监督的领域特定的词。为了解决这个问题，我们提出了一种无监督自适应方法，该方法使用伪域内语料库对预训练的域外NMT模型进行微调。具体来说，我们进行词汇归纳提取领域内的词汇，并通过执行字对字的回译的单语领域内的目标句子构建一个伪并行的领域内语料库。在五个领域超过20个成对适应设置和两个模型架构中，我们的方法实现了一致的改进，而不使用任何域内并行语句，在未适应的模型上提高了14个BLEU，在强反向翻译基线上提高了2个BLEU。
2019-06-02 cs.CL
The Highs and Lows of Simple Lexical Domain Adaptation Approaches for Neural Machine Translation
University of Edinburgh（爱丁堡大学）
机器翻译系统易受域不匹配的影响，特别是在资源不足的情况下。由于暴露偏差和充当语言模型的解码器，域外翻译通常质量差并且容易产生幻觉。我们采用两种方法来缓解这个问题：受IBM统计对齐限制的词汇入围，以及基于相似性的假设重新排名。这些方法在计算上是便宜的，广为人知的，但没有广泛的实验上的领域自适应。我们证明了成功的低资源域外测试集，但是，当有足够的数据或太大的域不匹配的方法是无效的。这是由于IBM模型失去了其相对于隐式学习的神经对齐的优势，以及域外词的子词切分的问题。
2021-09-21 cs.CL
Fast Domain Adaptation for Neural Machine Translation
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
神经机器翻译（NMT）是一种将文本从一种人类语言自动翻译成另一种人类语言的新方法。NMT的基本概念是训练一个大型神经网络，使其在给定的并行语料库上的翻译性能最大化。NMT在研究界越来越受欢迎，因为它在WMT的几个翻译任务和其他评估任务/基准测试中至少在一些语言对上优于传统的SMT方法。然而，多年来SMT中的许多增强尚未被纳入NMT框架。在本文中，我们专注于这样的增强，即领域自适应。我们提出了一种适应NMT系统到一个新的域的方法。领域自适应背后的主要思想是大的域外训练数据和小的域内训练数据的可用性。我们报告了我们提出的方法在两种语言对的自动度量和人类主观评价度量方面的显着收益。与我们的适应方法，我们表现出很大的改善，而我们的一般域的性能只略有下降。此外，我们的方法足够快，可以在几个小时内将已经训练好的系统适应新的领域，而不需要在组合数据上重新训练NMT模型，这通常需要几天/几周的时间，具体取决于数据量。
2016-12-20 cs.CL
Domain Adaptation of Machine Translation with Crowdworkers
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Corporation（NTT集团）；Tohoku University（东北大学）
虽然使用大型域内并行语料库训练的机器翻译模型取得了显著的效果，但当没有域内数据时，它仍然工作得很差。这种情况限制了机器翻译在目标域数据有限时的应用。然而，在许多领域，对高质量的特定领域机器翻译模型的需求很大。我们提出了一个框架，高效和有效地收集在一个目标领域的并行句子从网络的帮助下众工。利用收集到的并行数据，我们可以快速地将机器翻译模型适配到目标领域。我们的实验表明，该方法可以收集目标域的并行数据在几天内在一个合理的成本。我们用五个领域对其进行了测试，与通用翻译模型相比，领域适应模型将BLEU分数提高到+19.7，平均提高了+7.8分。
2022-10-28 cs.CL
Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection
Monash University（莫纳什大学）
本文考虑神经机器翻译（NMT）的无监督领域自适应问题，假设在新的域中只访问源语言或目标语言中的单语文本。我们提出了一种跨语言的数据选择方法，以提取领域内的句子在缺失的语言侧从一个大型的通用单语语料库。我们提出的方法通过对比学习在多语言BERT之上训练一个自适应层，以对齐源语言和目标语言之间的表示。然后，这使得域分类器能够以zero-shot方式在语言之间转移。一旦分类器检测到域内数据，NMT模型就通过联合学习翻译和域判别任务来适应新的域。我们在NMT上评估了三种语言对中五个不同领域的跨语言数据选择方法，以及COVID-19的真实翻译场景。结果表明，我们提出的方法优于其他选择基线高达+1.5 BLEU得分。
2021-09-09 cs.CL
Domain Adaptation in Neural Machine Translation using a Qualia-Enriched FrameNet
Federal University of Juiz de Fora（茹伊斯迪福拉联邦大学）；FrameNet Brasil（巴西FrameNet）
在本文中，我们提出了Scylla，神经机器翻译（NMT）系统，利用一个多语言的FrameNet丰富的感受质关系作为外部知识库域领域自适应的方法。NMT中使用的领域自适应技术通常需要微调和域内训练数据，这可能会给那些使用资源较少的语言的人带来困难，也可能导致NMT系统对域外句子的性能下降。Scylla不需要对NMT模型进行微调，避免了模型过度拟合的风险，从而降低了域外翻译的性能。Scylla的两个版本：一个使用源句子作为输入，另一个使用目标句子。我们评估锡拉相比，一个国家的最先进的商业NMT系统在实验中，50句从体育领域从巴西葡萄牙语翻译成英语。这两个版本的Scylla在HTER中的表现明显优于基准商业系统。
2022-02-21 cs.CL
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
多语言神经机器翻译模型（MNMT）在对来自训练时看到的领域和语言对的数据进行评估时，会产生最先进的性能。然而，当MNMT模型用于在域转移下翻译或翻译到新的语言对时，性能急剧下降。我们认为一个非常具有挑战性的情况下：适应MNMT模型，以一个新的领域和一个新的语言对在同一时间。在本文中，我们提出了$m^4Adapter$（多语言多领域自适应机器翻译与元适配器），它结合领域和语言知识，使用元学习与适配器。我们目前的结果表明，我们的方法是一个参数有效的解决方案，有效地适应一个新的语言对和一个新的域的模型，同时优于其他适配器的方法。消融研究还表明，我们的方法更有效地跨不同的语言和语言信息跨不同的领域转移领域知识。
2022-10-21 cs.CL
Reducing Gender Bias in Neural Machine Translation as a Domain Adaptation Problem
University of Cambridge（剑桥大学）
NLP任务的训练数据往往表现出性别偏见，因为涉及女性的句子比男性少。在神经机器翻译（NMT）中，性别偏见已被证明会降低翻译质量，特别是当目标语言具有语法性别时。最近的WinoMT挑战集使我们能够直接测量这种影响（Stanovsky等人，2019年）。理想情况下，我们可以通过在训练之前简单地消除所有数据的偏置来减少系统偏置，但有效地实现这一点本身就是一个挑战。我们没有试图创建一个“平衡”的数据集，而是在一小部分可信的、性别平衡的例子上使用迁移学习。这种方法在性别去偏见方面提供了强大而一致的改进，计算成本比从头开始训练要少得多。一个已知的陷阱迁移学习的新领域是“灾难性遗忘”，我们解决的适应和推理。在适应过程中，我们表明弹性权重合并允许在一般翻译质量和偏差减少之间进行性能权衡。在推理过程中，我们提出了一种格重评分方案，该方案优于Stanovsky等人（2019）在WinoMT上评估的所有系统，并且没有一般测试集BLEU的退化，我们表明该方案可以应用于消除“黑盒”在线商业MT系统输出中的性别偏见。我们展示了我们的方法从英语翻译成三种语言，不同的语言属性和数据的可用性。
2020-07-09 cs.CL
Incremental Adaptation of NMT for Professional Post-editors: A User Study
PRHLT Research Center - Universitat Politècnica de València（PRHLT研究中心 - 瓦伦西亚理工大学）；Pangeanic / B.I Europa
机器翻译在行业中的一个常见用途是提供初始翻译假设，然后由人类专家进行监督和后期编辑。在这一修订过程中，不断产生新的双语数据。机器翻译系统可以从这些新数据中受益，在在线学习范例下增量地更新底层模型。我们对神经机器翻译系统的这种情况进行了用户研究。实验是由专业翻译人员进行的，他们在机器翻译后期编辑方面有着丰富的经验。结果表明，对系统产出进行后期编辑所需的人力减少，翻译质量提高，用户对自适应系统的看法积极。
2019-06-21 cs.CL
Domain adapted machine translation: What does catastrophic forgetting forget and why?
RWS；Language Weaver（语言织网）
本文通过研究数据的影响，首次调查了神经机器翻译领域适应中灾难性遗忘的内容、原因及其与领域内数据目标词汇覆盖率的关系，为更好地进行领域适应提供了指导。
2024-12-23 cs.CL
Adaptation of Machine Translation Models with Back-translated Data using Transductive Data Selection Methods
ADAPT Centre（ADAPT中心）；School of Computing, Dublin City University（都柏林城市大学计算机学院）
当应用于真实数据时，数据选择已经证明了其对于改进神经机器翻译（NMT）的优点。但是，在NMT训练中使用合成数据的好处，由流行的反向翻译技术产生，提出了一个问题，如果数据选择也可以用于合成数据？在这项工作中，我们使用不频繁的N元恢复（INR）和特征衰减算法（FDA），两个转换的数据选择方法，以获得从合成数据的句子子集。这些方法确保所选句子与测试集共享n-gram，因此NMT模型可以进行调整以翻译它。对反向翻译数据执行数据选择会带来新的挑战，因为源端可能包含由反向翻译中使用的模型产生的噪声。因此，找到测试集中存在的n-gram变得更加困难。尽管如此，在我们的工作中，我们表明，适应一个模型与选择的合成数据是一个有用的方法。
2019-06-18 cs.CL
Freezing Subnetworks to Analyze Domain Adaptation in Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Notre Dame（圣母大学）；Air Force Research Laboratory（空军研究实验室）
为了更好地理解持续训练的有效性，我们分析了神经机器翻译系统的主要组件（编码器、解码器和每个嵌入空间），并考虑每个组件对领域自适应的贡献和能力。我们发现，在持续训练期间冻结任何单个组件对性能的影响都很小，并且当单个组件被调整而模型的其余部分保持固定时，性能出奇地好。我们还发现，持续的训练并没有将模型从领域模型中移走很远，与敏感性分析指标相比，这表明领域模型可以为新领域提供良好的通用初始化。
2019-01-15 cs.CL
A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）；A*STAR（新加坡科技研究局）
最先进的神经机器翻译（NMT）系统是数据饥饿的，在没有监督数据的新领域表现不佳。由于数据汇集是昂贵的，并且在许多情况下是不可行的，因此需要领域自适应方法。在这项工作中，我们提出了一个简单但有效的方法，半监督领域自适应的情况下，NMT，其目的是提高性能的翻译模型的目标域仅由非并行数据的帮助下，监督源域数据。这种方法通过三个训练目标迭代地训练基于Transformer的NMT模型：语言建模，回译和监督翻译。我们评估这种方法的两个适应设置：特定领域之间的适应和适应从一般域到特定域，和两种语言对：德语到英语和罗马尼亚语到英语。随着性能的大幅提升--比最强基线的BLEU提高了+19.31BLEU，比未调整的模型的BLEU提高了+47.69BLEU--我们将这种方法作为半监督领域中简单但难以击败的基线NMT的领域自适应。
2020-06-06 cs.CL cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Finding the Right Recipe for Low Resource Domain Adaptation in Neural Machine Translation
NVIDIA（英伟达）
通用翻译模型通常仍然难以在专业领域中生成准确的翻译。为了指导机器翻译从业者并表征领域自适应方法在不同数据可用性场景下的有效性，我们对单语和并行数据方法进行了深入的实证探索，以在架构更改不切实际的情况下对预先训练的第三方NMT模型进行领域自适应。我们比较数据为中心的适应方法的隔离和组合。我们研究方法的有效性，在非常低的资源（8 k并行的例子）和适度低的资源（46 k并行的例子）的条件下，并提出了一个集成的方法，以减轻减少原始域的翻译质量。我们的工作包括三个领域：消费电子，临床和生物医学，并跨越四个语言对- Zh-En，Ja-En，Es-En和Ru-En。我们还提出了实现高域内性能的具体建议，并发布了所有语言的消费电子和医疗领域数据集，并公开了我们的代码。
2022-06-02 cs.CL cs.LG
Domain Adaptation of NMT models for English-Hindi Machine Translation Task at AdapMT ICON 2020
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
神经机器翻译（NMT）模型的最新进展已被证明在低资源印度语言的机器翻译上产生了最先进的结果。本文描述了AdapMT共享任务ICON 2020中提出的英语-印地语神经机器翻译系统。该共享任务旨在使用小型域内并行语料库为人工智能（AI）和化学等特定领域的印度语言构建翻译系统。我们基于BLEU分数评估了两种流行的NMT模型的有效性，即LSTM和Transformer架构用于英语-印地语机器翻译任务。我们训练这些模型主要使用域外数据，并采用简单的领域自适应技术的基础上，域内数据集的特点。微调和混合域数据方法用于领域自适应。我们的团队在化学和一般领域En-Hi翻译任务中排名第一，在AI领域En-Hi翻译任务中排名第二。
2020-12-23 cs.CL cs.LG
Tailoring Domain Adaptation for Machine Translation Quality Estimation
Tilburg University（蒂尔堡大学）
本文提出结合领域自适应与数据增强的质量估计方法，通过先训练通用模型再在特定领域微调，缓解数据稀缺和领域不匹配，显著提升跨语言推理和零样本性能。
2023-05-09 cs.CL
Simple, Scalable Adaptation for Neural Machine Translation
Google AI（谷歌人工智能）
微调预训练的神经机器翻译（NMT）模型是适应新语言和领域的主要方法。然而，微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器，只有原始模型大小的一小部分，使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法：（i）领域自适应和（ii）大规模多语言NMT。领域自适应的实验表明，我们提出的方法是与各种领域，数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上，我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距，为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
针对低资源语言（LRL）的多语言神经机器翻译（MNMT）可以通过相关高资源语言（HRL）的存在来增强，但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近，MNMT适应LRL已被证明可以大大提高性能。在这项工作中，我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT，我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择，即在（zero-shot）翻译中，以及在两个方向（LRL-en）的多语言预训练模型的适应中。我们进一步表明，动态适应模型的词汇结果在一个更有利的分割LRL相比，直接适应。实验表明，即使LRL数据为零（+13.0 BLEU），也可以减少训练时间，并在LRL基线上获得显着的性能提升，对于预训练的多语言模型动态自适应与相关数据选择，最高可达+17.0 BLEU。我们的方法优于目前的方法，如大规模多语言模型和数据增强，在四个LRL。
2019-10-30 cs.CL
Distill, Adapt, Distill: Training Small, In-Domain Models for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们探索了在领域自适应环境中训练具有序列级知识蒸馏的小型内存高效机器翻译模型的最佳实践。虽然领域自适应和知识蒸馏都被广泛使用，但它们之间的相互作用仍然知之甚少。我们在机器翻译中的大规模实证结果（在三种语言对上，每种语言对有三个领域）建议进行两次提取以获得最佳性能：一次使用通用领域数据，另一次使用适应教师的领域内数据。
2020-06-23 cs.CL
Learning cross-lingual phonological and orthagraphic adaptations: a case study in improving neural machine translation between low-resource languages
MNNIT Allahabad（莫蒂拉尔·尼赫鲁国家理工学院阿拉哈巴德分校）；IIT (BHU)（印度理工学院（贝纳拉斯印度教大学））
词汇表外（OOV）单词可能对机器翻译（MT）任务构成严重挑战，特别是对低资源语言（LRL）对，即，很少或没有平行语料库存在的语言对。我们的工作适应seq 2seq模型的变体来执行从印地语到Bhojpuri（LRL实例）的这些单词的转导，从印地语-Bhojpuri单词的双语词典中构建的一组同源对中学习。我们证明，我们的模型可以有效地用于语言对有限的平行语料库，我们的模型工作在字符水平上把握语音和正字法的相似性，跨多种类型的词适应，无论是共时或历时，借词或同源词。我们描述了几个字符级别的NMT系统，我们适应这项任务的培训方面，并描述其典型的错误。我们的方法在Hindi到Bhojpuri翻译任务上将BLEU分数提高了6.3。此外，我们表明，这种转换可以推广到其他语言成功地将其应用到印地语-孟加拉语同源对。我们的工作可以被看作是一个重要的步骤，在这个过程中：（i）解决机器翻译任务中出现的OOV单词问题，（ii）为资源受限的语言创建有效的并行语料库，以及（iii）利用增强的语义知识捕获的单词级嵌入执行字符级任务。
2019-07-22 cs.CL
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau（澳门大学）
元学习已被充分验证，对低资源神经机器翻译（NMT）有益。然而，我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中，我们的目的是缓解这个问题，提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中，NMT首先学习各领域的相似课程，避免过早陷入局部最优，最后学习各领域的个性化课程，提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明，Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
Survey of Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Inria（法国国家信息与自动化研究所）
我们提出了一个调查，涵盖了最先进的低资源机器翻译的研究。目前世界上大约有7000种语言，几乎所有的语言对都缺乏用于训练机器翻译模型的重要资源。当只有很少的翻译后的训练数据可用时，解决产生有用的翻译模型的挑战的研究已经引起了越来越多的兴趣。我们提出了这个专题研究领域的总结，并提供了一个描述的技术评估的研究人员在最近的几个共享任务，在低资源MT。
2022-02-07 cs.CL
Neural Machine Translation Models Can Learn to be Few-shot Learners
Lilt
本文提出通过专门微调使小规模神经机器翻译模型具备上下文学习能力，在领域适应任务中利用少样本示例实现高效批量推理，并在翻译质量和即时术语适应率上超越现有基线。
2023-09-15 cs.CL
Neural Machine Translation: A Review and Survey
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
机器翻译（MT）是将书面文本从一种自然语言自动翻译成另一种自然语言的领域，近年来经历了重大的范式转变。统计机器翻译主要依赖于各种基于计数的模型，并且几十年来一直主导着机器翻译研究，它在很大程度上已经被神经机器翻译（NMT）所取代，后者用单个神经网络来处理翻译。在这项工作中，我们将追溯到现代NMT架构的起源字和句子嵌入和早期的编码器-解码器网络家族的例子。最后，我们将对该领域的最新趋势进行一次调查。
2020-09-29 cs.CL
Simple and Scalable Nearest Neighbor Machine Translation
University of Science and Technology of China（中国科学技术大学）；Tencent AI Lab（腾讯人工智能实验室）
$k$ NN-MT是一种简单而强大的快速域自适应方法，它直接将预训练的神经机器翻译（NMT）模型与特定于域的令牌级$k$ -最近邻（$k$ NN）检索插入，以实现领域自适应，而无需重新训练。尽管在概念上很有吸引力，但$k$ NN-MT由于在整个参考语料库上进行最近邻搜索而具有大量存储需求和高计算复杂性。在本文中，我们提出了一个简单且可扩展的最近邻机器翻译框架，以大幅提高基于$k$ NN的模型的解码和存储效率，同时保持翻译性能。为此，我们动态地构建一个非常小的搜索每个输入通过检索级检索，以避免搜索整个搜索香草$k$ NN-MT，在此基础上，我们进一步引入了一个距离感知适配器，自适应地将$k$ NN检索结果到预训练的NMT模型。在静态领域自适应和在线学习两种环境下的机器翻译实验表明，该方法不仅在不降低性能的情况下实现了NMT模型的近90%的速度，而且显著降低了$k$ NN-MT的存储需求。
2023-02-23 cs.CL
Learning Kernel-Smoothed Machine Translation with Retrieved Examples
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；ByteDance（字节跳动）；ByteDance AI Lab（字节跳动人工智能实验室）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
如何根据新出现的案例有效地调整神经机器翻译（NMT）模型，而无需重新训练？尽管神经机器翻译取得了巨大成功，但在线更新部署的模型仍然是一个挑战。现有的非参数方法从数据库中检索相似的例子来指导翻译过程是有前途的，但容易过拟合检索到的例子。在这项工作中，我们提出了学习Kernel-Smoothed Translation with Example Retrieval（KSTER），这是一种在线适应神经机器翻译模型的有效方法。在领域自适应和多领域机器翻译数据集上的实验表明，即使没有昂贵的再训练，KSTER也能够比现有的最佳在线自适应方法提高1.1到1.5的BLEU分数。代码和训练的模型在https://github.com/jiangqn/KSTER上发布。
2021-12-08 cs.CL
Translating Terminological Expressions in Knowledge Bases with Neural Machine Translation
Insight Centre for Data Analytics, Data Science Institute（数据科学学院洞察数据分析中心）；National University of Ireland Galway（爱尔兰国立高威大学）
我们的工作在本文中提出的重点是翻译的术语表达的语义结构化的资源，如本体或知识图谱。翻译知识库中的本体标签或术语表达的挑战在于高度特定的词汇和缺乏上下文信息，这些信息可以指导机器翻译系统将歧义词翻译到目标领域。针对这些问题，本文采用统计和神经机器翻译方法对医学和金融领域的特定领域表达的翻译质量进行了评估，并对只包含术语表达的翻译模型进行了领域自适应实验。此外，我们进行了实验的外部术语表达式注入到翻译系统。通过这些实验，我们观察到在医学和金融领域的领域特定资源的领域自适应方面的显著优势，以及子词模型相对于基于词的神经机器翻译模型在术语翻译方面的优势。
2019-07-31 cs.CL
Machine Translation using Semantic Web Technologies: A Survey
University of Leipzig（莱比锡大学）；University of Paderborn（帕德博恩大学）
最近已经开发了大量的机器翻译方法来促进跨语言的内容的流畅迁移。然而，文献表明，许多障碍仍然必须处理，以实现更好的自动翻译。这些障碍之一是词汇和句法歧义。解决这个问题的一个有希望的方法是使用语义Web技术。本文介绍了一个系统的审查结果的机器翻译方法，依赖于语义网技术翻译文本。总体而言，我们的调查表明，虽然语义Web技术可以提高各种问题的机器翻译输出的质量，但两者的结合仍处于起步阶段。
2018-07-17 cs.CL
A Brief Survey of Multilingual Neural Machine Translation
NICT（日本信息通信研究机构）；Institute for Datability Science（数据可及性科学研究所）；Osaka University（大阪大学）；Microsoft AI & Research（微软人工智能研究院）
我们提出了一个调查多语言神经机器翻译（MNMT），这在最近几年获得了很大的牵引力。MNMT作为知识转移的结果，在提高翻译质量方面是有用的。MNMT比它的统计机器翻译同行更有前途和有趣，因为端到端建模和分布式表示开辟了新的途径。为了提高翻译质量，人们提出了许多方法来利用多语言平行语料库。然而，由于缺乏全面的调查，难以确定哪些方法是有希望的，因此值得进一步探讨。在本文中，我们提出了一个深入的调查现有的文献MNMT。我们根据资源场景以及底层建模原则对各种方法进行了分类。我们希望本文将作为一个起点，研究人员和工程师有兴趣在MNMT。
2020-01-04 cs.CL
Domain Adaptation for Arabic Machine Translation: The Case of Financial Texts
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；ASAS AI Lab（ASAS人工智能实验室）
本文针对阿拉伯语金融新闻翻译领域自适应研究不足的问题，构建了AR-EN金融平行语料库，并微调多种NMT及大语言模型，首次证明ChatGPT-3.5 Turbo经少量领域数据微调后可取得最优翻译质量。
2023-09-22 cs.AI cs.CL
A Survey of Deep Learning Techniques for Neural Machine Translation
Hong Kong Baptist University（香港浸会大学）；Department of Computer science（计算机科学系）
近年来，自然语言处理（NLP）随着深度学习技术的发展得到了长足的发展。在机器翻译领域，一种新的方法--神经机器翻译（NMT）已经出现，并得到了学术界和工业界的广泛关注。然而，在过去的几年里，提出了大量的研究，有很少的工作，在调查的发展过程中，这一新的技术趋势。本研究回顾了NMT的起源和主要发展时间轴，考察了NMT的重要分支，对不同的研究方向进行了分类，并讨论了该领域未来的研究趋势。
2020-02-18 cs.CL
A Survey of Orthographic Information in Machine Translation
Insight Centre for Data Analytics（洞察数据分析中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
机器翻译是自然语言处理的应用之一，它已经在不同的语言中得到了探索。近年来，研究人员开始关注资源贫乏语言和密切相关语言的机器翻译。这些机器翻译系统的一个普遍的和潜在的问题是在正字法惯例的变化，导致许多问题，以传统的方法。用两种不同的正字法书写的两种语言不容易比较，但是正字法信息也可以用来改进机器翻译系统。本文综述了正字法对资源不足语言的机器翻译的影响。它介绍了资源不足的语言方面的机器翻译和如何利用正字法信息，以改善机器翻译。我们描述了以前在这方面的工作，讨论了什么基本的假设，并显示了如何拼写知识提高性能的机器翻译资源不足的语言。我们讨论了不同类型的机器翻译，并展示了最近的趋势，寻求连接正字法信息与完善的机器翻译方法。相当多的注意力给予当前的努力同源信息在不同层次的机器翻译和经验教训，可以从中吸取。此外，密切相关语言的多语言神经机器翻译在本次调查中得到了特别关注。本文最后讨论了在机器翻译的正字法信息的发展方向，重点是多语言设置和双语词典归纳。
2020-08-04 cs.CL
Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation
Nanjing University（南京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Peng Cheng Laboratory（鹏城实验室）
最近，$k$ NN-MT已经显示出直接将预训练的神经机器翻译（NMT）模型与特定于域的令牌级$k$ -最近邻（$k$ NN）检索相结合以实现领域自适应而无需再训练的有前途的能力。尽管在概念上很有吸引力，但它严重依赖于高质量的域内平行语料库，限制了其在无监督领域自适应方面的能力，其中域内平行语料库很少或不存在。在本文中，我们提出了一个新的框架，直接使用领域内的单语句子在目标语言中构建一个有效的$k$最近邻检索的搜索引擎。为此，我们首先引入一个基于目标语言的自动编码任务，然后在原NMT模型中插入轻量级适配器，将该任务的标记级表示映射为翻译任务的理想表示。多域数据集上的实验表明，我们提出的方法显着提高了目标端单语数据的翻译精度，同时实现了与反向翻译相当的性能。
2022-05-25 cs.AI cs.CL cs.LG
A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation
Innopolis University（伊诺波利斯大学）
神经机器翻译已经成为大型平行语料库语言对的最新技术。然而，低资源语言的机器翻译的质量还有很多需要改进的地方。有几种方法可以缓解这个问题，例如迁移学习，半监督和无监督学习技术。在本文中，我们回顾了现有的方法，其主要思想是利用单语数据的力量，这与并行相比，通常更容易获得和显着更大的量。
2019-10-01 cs.CL
DaLC: Domain Adaptation Learning Curve Prediction for Neural Machine Translation
NAVER Corp.（NAVER公司）；NAVER LABS Europe（NAVER欧洲实验室）
神经机器翻译（NMT）模型的领域自适应（DA）通常依赖于一个预先训练好的通用NMT模型，该模型在域内并行数据样本上适应新的领域。如果没有并行数据，就无法估计DA的潜在益处，也无法估计它所需的并行样本量。然而，这是一个理想的功能，可以帮助MT从业者在投入资源创建数据集之前做出明智的决定。我们提出了一个领域自适应学习曲线预测（DaLC）模型，该模型基于源语言中的领域内单语样本预测未来DA性能。我们的模型依赖于NMT编码器表示与各种实例和语料库级别的功能相结合。我们证明，实例级是更好地区分不同的领域相比，在以前的研究中提出的语料库级别的框架。最后，我们对结果进行了深入的分析，强调了我们方法的局限性，并为未来的研究提供了方向。
2022-04-20 cs.AI cs.CL
A Survey on Document-level Neural Machine Translation: Methods and Evaluation
Monash University（莫纳什大学）
机器翻译是自然语言处理中的一项重要任务，它使翻译过程自动化，减少了对人工翻译的依赖。随着神经网络的复兴，翻译质量超过了大多数语言对使用统计技术获得的翻译。直到几年前，几乎所有的神经翻译模型都是独立地翻译句子，而没有将更广泛的文档上下文和句子之间的相互依赖性结合起来。本文的目的是突出神经革命后在文档级机器翻译领域所做的主要工作，以便研究人员能够认识到该领域的现状和未来方向。我们提供了一个组织的文学的基础上的新颖性建模和架构，以及培训和解码策略。此外，我们还介绍了评估策略，以说明文档MT的改进，包括自动度量和以话语为目标的测试集。最后，我们提出了在这一研究领域的未来探索的可能途径。
2021-01-13 cs.CL
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong University of Science and Technology（香港科技大学）
基于多语言预训练语言模型的跨语言自适应主要包括两大类：zero-shot方法和基于预训练语言模型的方法。我们进一步验证了这些跨语言适应方法的有效性，通过评估其性能更细粒度的序列标记任务。在重新审视它们的优点和缺点之后，我们提出了一个新的框架来巩固zero-shot方法和基于自适应的方法，以获得更好的自适应性能。我们不是简单地用机器翻译的数据来增加源数据，而是量身定制了一个预热机制，用一些翻译数据上估计的梯度来快速更新mPTLM。然后，将自适应方法应用于改进的参数，并以热启动方式执行跨语言迁移。在九种目标语言上的实验结果表明，该方法有利于不同序列标注任务的跨语言适应。
2021-06-22 cs.CL
Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation
University of South Florida（南佛罗里达大学）；Snap Inc.（Snap公司）
提出Epi-Curriculum方法，结合情节训练框架与去噪课程学习，提升神经机器翻译在低资源领域适应中的鲁棒性与适应性，实验验证其在英德、英罗翻译上的有效性。
2023-09-06 cs.CL cs.LG
A Survey on Multi-modal Machine Translation: Tasks, Methods and Challenges
School of Informatics, Xiamen University（厦门大学信息学院）
本文综述了多模态机器翻译的任务、方法与挑战，梳理99项研究，分析影响因素，并探讨未来方向，涵盖新兴类型，助研究者把握现状。
2024-05-23 cs.CL
