From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）
神经机器翻译模型缺乏大规模的并行语料库。相比之下，我们人类通过将我们的语言与外部世界联系起来，即使没有平行文本，也可以学习多语言翻译。为了模仿这种人类学习行为，我们使用图像作为支点来实现零资源翻译学习。然而，一张图片告诉一千个单词，这使得由同一图像旋转的多语言句子像相互翻译一样嘈杂，从而阻碍了翻译模型学习。在这项工作中，我们提出了一个渐进的学习方法，图像为中心的零资源机器翻译。由于基于图像的单词多样性较低，因此我们首先使用图像枢轴学习单词级翻译，然后通过利用学习的单词翻译来抑制图像枢轴多语言句子中的噪声来学习单词级翻译。在IAPR-TC 12和Multi 30 k两个常用的图像枢轴平移数据集上的实验结果表明，该方法的性能明显优于其他最先进的方法。
2019-06-03 cs.AI cs.CL cs.CV
Identifying Intensity of the Structure and Content in Tweets and the Discriminative Power of Attributes in Context with Referential Translation Machines
AI Enablement（AI赋能部门）；Huawei Türkiye R&D Center（华为土耳其研发中心）
本文提出用堆叠RTM将属性—词语相似性及多语言推文情感强度预测建模为MTPP，在任务10与任务1上均取得良好效果。
2024-07-06 cs.AI cs.CL
Improving Word Sense Disambiguation in Neural Machine Translation with Salient Document Context
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对机器翻译中的词汇歧义问题，提出一种利用伪文档显著词作为源句前缀的可扩展方法，无需词义标注或修改模型架构，在降低训练成本的同时有效提升了歧义词翻译质量。
2023-11-27 cs.AI cs.CL
Domain Adaptation for Arabic Machine Translation: The Case of Financial Texts
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；ASAS AI Lab（ASAS人工智能实验室）
本文针对阿拉伯语金融新闻翻译领域自适应研究不足的问题，构建了AR-EN金融平行语料库，并微调多种NMT及大语言模型，首次证明ChatGPT-3.5 Turbo经少量领域数据微调后可取得最优翻译质量。
2023-09-22 cs.AI cs.CL
Unsupervised Word Translation Pairing using Refinement based Point Set Registration
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
词嵌入的跨语言对齐在跨语言知识传递中起着重要作用，用于改进机器翻译和其他多语言应用。目前的无监督方法依赖于跨语言的词嵌入空间的几何结构的相似性，使用对抗网络和细化策略来学习保持结构的线性变换。然而，在实践中，这样的技术往往遭受不稳定性和收敛问题，需要繁琐的微调精确的参数设置。本文提出了BioSpere，一种新的框架，用于无监督映射的双语词嵌入到一个共享的向量空间，通过结合对抗初始化和细化过程与点集配准算法用于图像处理。我们表明，我们的框架弥补了现有方法的缺点，并且对可变对抗学习性能相对不变，在参数选择和训练损失方面具有鲁棒性。并行词典归纳任务的实验评估表明，我们的框架在不同的语言对的最先进的结果。
2020-11-26 cs.AI cs.CL
Back-Translation Sampling by Targeting Difficult Words in Neural Machine Translation
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
神经机器翻译使用并行和合成数据的组合，为几种语言对实现了最先进的性能。合成数据通常通过使用反向翻译模型从单语数据中随机采样的句子进行反向翻译来生成。虽然回译在许多情况下被证明是非常有效的，但原因尚不完全清楚。在这项工作中，我们探索了反向翻译的不同方面，并表明在训练过程中具有高预测损失的单词从添加合成数据中受益最多。我们介绍了几种变化的采样策略，针对难以预测的话，使用预测损失和频率的话。此外，我们还针对难词的上下文和在上下文中相似的例句。WMT新闻翻译任务的实验结果表明，我们的方法提高了翻译质量高达1.7和1.2 Bleu点回翻译使用随机抽样为德语-英语和英语-德语，分别。
2018-09-21 cs.CL
Rapid Domain Adaptation for Machine Translation with Monolingual Data
Google Research（谷歌研究院）
机器翻译的一个挑战是如何在面对COVID-19等激增的事件时快速适应看不见的领域，在这种情况下，将领域内信息及时准确地翻译成多种语言至关重要，但目前几乎没有并行数据可用。在本文中，我们提出了一种方法，使快速领域自适应的角度来看，无监督翻译。我们提出的方法只需要域内单语数据，并且可以快速应用于在一般域上训练的现有翻译系统，在域内翻译质量上获得显着收益，而在一般域上几乎没有下降。我们还提出了一个有效的程序，同时适应多个领域和语言。据我们所知，这是第一次尝试，旨在解决无监督的多语言领域自适应。
2020-10-23 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University（大阪大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
本文针对纯注意神经机器翻译（NMT）模型，提出了两种新的领域自适应方法，Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调，这是已知的是非常有效的领域自适应的黑箱方法相结合。此外，我们将多语言纳入领域自适应框架。实验表明，多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译，并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
领域自适应是神经机器翻译面临的一个重要挑战。然而，传统的微调解决方案需要多次额外的训练，并产生高成本。在本文中，我们提出了一个非调优的范例，解决领域自适应与基于调优的方法。具体来说，我们构建了一个双语短语级数据库，并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库（RePP），我们有效地提高了翻译质量。实验表明，我们的方法提高了特定领域的机器翻译为6.2 BLEU分数，并提高了11.5%的准确率，而无需额外的训练翻译约束。
2022-09-23 cs.CL
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Augmenting Statistical Machine Translation with Subword Translation of Out-of-Vocabulary Words
University of Southern California（南加州大学）；University of Washington（华盛顿大学）
大多数统计机器翻译系统无法翻译在训练数据中看不到的单词。然而，人类可以翻译许多类别的词汇表外（OOV）单词（例如，新的形态变体、拼写错误和复合词）。根据这一观察，我们描述和评估几个一般的方法只使用子字信息的OOV翻译。我们把OOV翻译问题作为一个独立的任务，并在不同的资源水平上对14种类型不同的语言进行本质上的评估。将OOV翻译器添加到统计机器翻译系统中，可以为所有14种语言产生一致的BLEU增益（平均0.5分，最高可达2.0分），特别是在低资源场景中。
2018-08-16 cs.CL
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey
University of Cambridge（剑桥大学）
深度学习技术的发展使得神经机器翻译（NMT）模型变得非常强大，只要有足够的训练数据和训练时间。然而，系统在翻译来自具有不同风格或词汇的新领域的文本时会遇到困难。对域内数据的微调允许良好的领域自适应，但需要足够的相关双语数据。即使这是可用的，简单的微调可能会导致过度拟合新的数据和“灾难性遗忘”以前学到的行为。我们专注于强大的方法，领域自适应的NMT，特别是在一个系统可能需要跨多个域的翻译。我们将技术分为围绕数据选择或生成，模型架构，参数自适应过程和推理过程。最后，我们强调的好处领域自适应和多领域自适应技术的NMT研究的其他线路。
2022-03-22 cs.CL
Characterizing Departures from Linearity in Word Translation
University of California, San Diego（加州大学圣地亚哥分校）
我们研究了通过机器翻译方法学习的地图的行为。映射通过在不同语言的词嵌入空间之间投影来翻译词。我们使用线性映射局部地近似这些映射，并且发现它们在词嵌入空间中变化。这表明底层映射是非线性的。重要的是，我们证明了局部线性映射的变化量与它们所训练的邻域之间的距离密切相关。我们的研究结果可用于测试非线性方法，并推动设计更准确的单词翻译地图。
2018-06-15 cs.CL
A User-Study on Online Adaptation of Neural Machine Translation to Human Post-Edits
Kazan Federal University（喀山联邦大学）；Heidelberg University（海德堡大学）
神经机器翻译（NMT）的优势已经被广泛验证，用于离线翻译口语和书面语的不同领域的几种语言对。然而，NMT的交互式学习的研究，以适应人类的后编辑迄今为止，仅限于模拟实验。我们提出了第一个用户研究的在线适应NMT用户后编辑领域的专利翻译。我们的研究涉及29名人类受试者（翻译学生），他们的后期编辑工作和翻译质量是在人类后期编辑和集成在线自适应学习算法的机器翻译系统的大约4,500次交互上测量的。我们的实验结果显示，根据几个评估指标，包括hTER，hBLEU和KSMR，由于NMT中的在线适应，人类编辑后的工作量显着减少。此外，我们发现NMT输出和授权专利中的专业翻译之间的BLEU/TER有显着改善，为在线自适应NMT在交互式设置中的优势提供了进一步的证据。
2018-09-18 cs.CL
Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
Debiasing Word Embeddings Improves Multimodal Machine Translation
Tokyo Metropolitan University（东京都立大学）
近年来，预训练的词嵌入已被证明适用于多模态神经机器翻译（NMT）模型，以解决可用数据集短缺的问题。然而，预训练的词嵌入的整合还没有被广泛探索。此外，据报道，在高维空间中预训练的词嵌入遭受hubness问题。虽然已经提出了一些去偏置技术来解决这个问题的其他自然语言处理任务，他们很少被研究多模态NMT模型。在这项研究中，我们研究了各种词嵌入，并介绍了两种去偏置技术的三个多模态NMT模型和两个语言对-英语-德语翻译和英语-法语翻译。通过我们的优化设置，多模态模型的整体性能在英语-德语翻译中提高了+1.93 BLEU和+2.02 METEOR，在英语-法语翻译中提高了+1.73 BLEU和+0.95 METEOR。
2019-06-22 cs.CL
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center（TALP研究中心）；Univesitat Politècnica de Catalunya（加泰罗尼亚理工大学）
词汇表外的单词在机器翻译系统中占很大比例的错误，特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题，我们建议使用一个基于对数双线性softmax的模型进行词汇扩展，这样，给定一个词汇外的源单词，该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入，并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中，并在英语-西班牙语对上获得翻译质量的一致改进。特别是，我们得到了3.9 BLEU点的改进时，测试的域外测试集。
2016-08-05 cs.CL
Learned in Translation: Contextualized Word Vectors
Salesforce（赛富时）
计算机视觉受益于使用在ImageNet等大型监督训练集上预训练的权重初始化多个深层。自然语言处理（NLP）通常只使用预训练的词向量初始化最低层的深度模型。在本文中，我们使用来自为机器翻译（MT）训练的注意序列到序列模型的深度LSTM编码器来对词向量进行上下文化。我们发现，添加这些上下文向量（CoVe）可以在各种常见的NLP任务上仅使用无监督的单词和字符向量来提高性能：情感分析（SST，IMDb），问题分类（TREC），蕴涵（SNLI）和问答（SQuAD）。对于细粒度的情感分析和蕴涵，CoVe将我们的基线模型的性能提高到最先进的水平。
2018-06-20 cs.AI cs.CL cs.LG
Neural Machine Translation of Rare Words with Subword Units
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Samsung Electronics Polska sp. z o.o. - Samsung R&D Institute Poland（三星电子波兰有限公司——三星波兰研发中心）
神经机器翻译（NMT）模型通常使用固定的词汇表进行操作，但翻译是一个开放词汇表问题。以前的工作解决了词汇表外的单词的翻译，通过备份到字典。在本文中，我们介绍了一种更简单，更有效的方法，使NMT模型能够开放词汇翻译的编码罕见和未知的单词作为序列的子词单位。这是基于这样的直觉，即各种词类可以通过比单词更小的单位来翻译，例如名称（通过字符复制或音译），复合词（通过组合翻译），同源词和外来词（通过语音和形态转换）。我们讨论了不同的分词技术，包括简单的字符n-gram模型和分割的基础上的字节对编码压缩算法的适用性，并实证表明，子词模型提高了退避字典基线的WMT 15翻译任务英语-德语和英语-俄语的1.1和1.3 BLEU，分别。
2016-06-10 cs.CL
ReWE: Regressing Word Embeddings for Regularization of Neural Machine Translation Systems
University of Technology Sydney（悉尼科技大学）；Capital Markets Cooperative Research Centre（资本市场合作研究中心）
神经机器翻译的正则化仍然是一个重要的问题，特别是在低资源环境中。为了解决这个问题，我们提出了回归词嵌入（ReWE）作为一种新的正则化技术，该系统经过联合训练，以预测翻译中的下一个词（分类值）及其词嵌入（连续值）。这样的联合训练允许所提出的系统学习由词嵌入表示的分布特性，凭经验提高对看不见的句子的泛化。在三个翻译数据集上的实验表明，在0.91到2.54 BLEU点之间的强基线上有一致的改进，并且在最先进的系统上也有显著的改进。
2019-04-04 cs.CL
Character-based Neural Machine Translation
Instituto Superior Técnico（高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
我们引入了一个神经机器翻译模型，将输入和输出的句子视为字符序列而不是单词。由于单词级信息提供了一个重要的偏差来源，我们的输入模型将字符序列的表示组成单词的表示（由空白边界确定），然后使用联合注意力/翻译模型翻译这些表示。在目标语言中，翻译被建模为一系列词向量，但每个词每次生成一个字符，条件是每个词中的前一个字符生成。由于单词的表示和生成是在字符级别进行的，因此我们的模型能够解释和生成看不见的单词形式。这种方法的第二个好处是，它消除了与源语言和目标语言的预处理/标记化相关的许多挑战。我们表明，我们的模型可以实现与传统的基于单词的模型相媲美的翻译结果。
2015-11-14 cs.CL
Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation
Nanjing University（南京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Peng Cheng Laboratory（鹏城实验室）
最近，$k$ NN-MT已经显示出直接将预训练的神经机器翻译（NMT）模型与特定于域的令牌级$k$ -最近邻（$k$ NN）检索相结合以实现领域自适应而无需再训练的有前途的能力。尽管在概念上很有吸引力，但它严重依赖于高质量的域内平行语料库，限制了其在无监督领域自适应方面的能力，其中域内平行语料库很少或不存在。在本文中，我们提出了一个新的框架，直接使用领域内的单语句子在目标语言中构建一个有效的$k$最近邻检索的搜索引擎。为此，我们首先引入一个基于目标语言的自动编码任务，然后在原NMT模型中插入轻量级适配器，将该任务的标记级表示映射为翻译任务的理想表示。多域数据集上的实验表明，我们提出的方法显着提高了目标端单语数据的翻译精度，同时实现了与反向翻译相当的性能。
2022-05-25 cs.AI cs.CL cs.LG
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Word Representation Models for Morphologically Rich Languages in Neural Machine Translation
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
形态丰富的语言中复杂的词形处理是语言处理中的一个开放性问题，在翻译中尤为重要。与大多数现代神经系统的翻译，这放弃了罕见的单词的身份，在本文中，我们提出了几个架构学习字表示字符和语素级的字分解。我们将这些表示在一个新的机器翻译模型，共同学习单词对齐和翻译通过硬注意力机制。从几种形态丰富的语言翻译成英语的评估，我们表现出一致的改进强基线方法，1和1.5 BLEU点之间。
2016-06-14 cs.CL cs.NE
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics（上海财经大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
尽管神经机器翻译（NMT）取得了成功，但同时神经机器翻译（SNMT）由于句法结构差异和语义要求，在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中，我们提出了一个通用的框架，用于适应神经机器翻译同时翻译。我们的框架包含两个部分：前缀翻译，利用一个连续的NMT模型来翻译源前缀和一个停止标准，确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明，该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
Context-Dependent Word Representation for Neural Machine Translation
Samsung Electronics（三星电子）；University of Montreal（蒙特利尔大学）；New York University（纽约大学）
我们首先观察到神经机器翻译中符号的连续向量表示的潜在弱点。也就是说，符号的连续向量表示或词嵌入向量对相似性的多个维度进行编码，相当于对词的多个含义进行编码。这导致神经机器翻译中的编码器和解码器递归网络需要花费大量的容量来基于由源句子定义的上下文来消除源和目标词的歧义。基于这一观察，在本文中，我们提出了上下文的词嵌入向量使用的非线性袋的词表示的源句子。此外，我们建议用类型化符号表示特殊标记（如数字、专有名词和首字母缩略词），以便于翻译那些不适合通过连续向量翻译的单词。在En-Fr和En-De上的实验表明，本文提出的语境化和符号化方法显著提高了神经机器翻译系统的翻译质量。
2016-07-03 cs.CL
Revisiting Simple Domain Adaptation Methods in Unsupervised Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology（信息通信研究机构）；Osaka University（大阪大学）
领域自适应在监督神经机器翻译（SNMT）中得到了充分研究。然而，对于无监督神经机器翻译（UNMT），它还没有得到很好的研究，尽管UNMT最近在几个特定领域的语言对中取得了显着的成果。除了SNMT的训练数据和测试数据之间的不一致域之外，UNMT的两个单语训练数据之间有时也存在不一致域。在这项工作中，我们经验性地展示了无监督神经机器翻译的不同场景。基于这些场景，我们重新审视现有的领域自适应方法，包括批量加权和微调方法在UNMT的效果。最后，我们提出了改进的方法，以提高特定领域的UNMT系统的性能。
2020-05-05 cs.CL
Bag-of-Words as Target for Neural Machine Translation
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
一个句子可以翻译成不止一个正确的句子。然而，现有的神经机器翻译模型大多只使用其中一个正确的翻译作为目标，而其他正确的句子在训练阶段被当作不正确的句子进行惩罚。由于一个句子的大多数正确的翻译共享相似的词袋，因此可以通过词袋来区分正确的翻译和错误的翻译。在本文中，我们提出了一种在训练阶段同时使用句子和词袋作为目标的方法，以鼓励模型生成训练集中没有出现的潜在正确句子。我们在一个汉英翻译数据集上对我们的模型进行了评估，实验表明我们的模型比强基线的BLEU得分高出4.55。
2018-05-13 cs.CL
To Swap or Not to Swap? Exploiting Dependency Word Pairs for Reordering in Statistical Machine Translation
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
在语序有显著差异的两种语言之间进行机器翻译时，重新排序是一个主要的挑战。在本文中，我们提出了一种新的重新排序方法，利用稀疏特征的依赖词对的基础上。这些特征的每个实例捕获在源句子依存关系解析树中通过依存关系链接相关的两个单词是否遵循相同的顺序或在翻译输出中交换。中文到英文的翻译实验表明，使用我们的方法，统计上显着的改善1.21 BLEU点，相比，一个国家的最先进的统计MT系统，采用先前的重新排序方法。
2016-08-03 cs.CL
When do Contrastive Word Alignments Improve Many-to-many Neural Machine Translation?
Kyoto University（京都大学）；NICT（日本信息通信研究机构）
单词对齐已被证明有利于多对多神经机器翻译（NMT）。然而，在以前的方法中，高质量的地面实况双语词典被用于预编辑，这对于大多数语言对是不可用的。同时，对比目标可以隐含地利用自动学习的词对齐，这在多对多NMT中还没有被探索。这项工作提出了一个词级的对比目标，利用词对齐多对多NMT。实证结果表明，这导致了0.8 BLEU增益为几个语言对。分析表明，在多对多NMT中，编码器的句子检索性能与翻译质量高度相关，这解释了所提出的方法何时影响翻译。这激发了未来对多对多NMT的探索，以提高编码器的句子检索性能。
2022-04-26 cs.CL
How Effective is Byte Pair Encoding for Out-Of-Vocabulary Words in Neural Machine Translation?
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
神经机器翻译（NMT）是一个开放的词汇表问题。因此，处理在训练过程中没有出现的单词（也就是说，词汇表外（OOV）单词）长期以来一直是NMT系统的基本挑战。解决这个问题的主要方法是字节对编码（BPE），它将字（包括OOV字）分成子字段。BPE在自动评估指标方面为广泛的翻译任务取得了令人印象深刻的结果。虽然人们通常认为通过使用BPE，NMT系统能够处理OOV词，但BPE在翻译OOV词中的有效性尚未明确测量。在本文中，我们研究在何种程度上BPE是成功的翻译OOV词在词的水平。我们分析了基于词的类型，段的数量，交叉注意力的权重，和频率段n-gram的训练数据的翻译质量的OOV字。我们的实验表明，虽然仔细的BPE设置在跨数据集翻译OOV单词时似乎相当有用，但相当大比例的OOV单词被错误翻译。此外，我们强调了BPE在特殊情况下翻译OOV单词时的有效性略高，例如命名实体以及所涉及的语言在语言上彼此接近时。
2022-08-17 cs.CL
A Hybrid Morpheme-Word Representation for Machine Translation of Morphologically Rich Languages
National University of Singapore（新加坡国立大学）
我们提出了一种独立于语言的方法，用于改进统计机器翻译的形态丰富的语言，使用混合词素-单词表示，翻译的基本单位是词素，但在翻译过程的所有阶段都尊重单词边界。我们的模型通过以下方式扩展了经典的基于短语的模型：（1）单词边界感知的词素级短语提取，（2）使用单词级BLEU的词素级翻译模型的最小错误率训练，以及（3）与词素和单词级语言模型的联合评分。通过与经典模型的结合，进一步改进了模型。使用Europarl对英语到芬兰语的评估（714 K句子对; 1550万英语单词）显示，与基于BLEU和人类判断的经典模型相比，统计学上有显着改善。
2019-11-19 cs.CL cs.LG
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo（东京大学）；Institute of Industrial Science（产业科学研究所）；National Institute of Informatics（国立信息学研究所）
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此，从业者从资源丰富的领域中采用领域自适应，这些领域在大多数情况下远离目标领域。远域之间的领域自适应（例如，电影字幕和研究论文），然而，由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词（例如，“angstrom”）和其含义跨域变化的单词（例如，“导体”）。在这项研究中，为了解决神经机器翻译（NMT）领域自适应中的词汇不匹配问题，我们提出了词汇自适应，这是一种有效微调的简单方法，可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前，我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明，我们的方法提高了3.86和3.28 BLEU点的传统微调的性能，在En-Ja和De-En翻译，分别。
2020-10-31 cs.CL
Neural Name Translation Improves Neural Machine Translation
为了控制计算复杂性，神经机器翻译（NMT）系统将词汇表之外的所有罕见单词转换为单个未知符号。先前的解决方案（Luong等人，2015）采取使用多个编号的unk来学习源和目标稀有词之间的对应关系。然而，这种方法不能处理训练语料库中未发现的测试词。而且它还受到单词对齐噪音的影响。本文针对稀有词的一种主要类型--命名实体，提出了用字符级序列到序列模型的翻译方法。NE翻译模型进一步用于在双语训练语料库中导出高质量的NE对齐。通过整合NE翻译和对齐模块，我们的NMT系统在中文到英文的任务中能够超过基线系统2.9 BLEU点。
2016-07-07 cs.CL
Monotonic Simultaneous Translation with Chunk-wise Reordering and Refinement
Samsung Research（三星研究院）；New York University（纽约大学）
最近的同步机器翻译工作通常是用传统的整句翻译语料库进行训练的，这导致在处理语序显著不同的语言对时，过度的延迟或需要预测尚未到达的单词。这与同声传译不同，同声传译人员以牺牲被翻译句子的语法性为代价，产生大量单调的翻译。因此，在本文中，我们提出了一种算法来重新排序和完善的目标方的一个完整的句子翻译语料库，使源和目标句子之间的单词/短语主要是单调对齐，使用单词对齐和非自回归神经机器翻译。然后，我们训练一个广泛使用的wait-k同声翻译模型在这个重新排序和细化语料库。所提出的方法提高了BLEU分数，并产生的翻译表现出增强的单调性与源句子。
2021-10-18 cs.AI cs.CL cs.LG
Domain Adaptation for Statistical Machine Translation
University of Macau（澳门大学）
统计机器翻译（SMT）系统在应用于新的目标领域时表现不佳。我们的目标是探索领域自适应方法和技术，以提高特定领域SMT系统的翻译质量。然而，翻译来自特定领域的文本（例如，医学充满了挑战。第一个挑战是模糊性。单词或短语在不同的上下文中有不同的含义。二是语言风格，因为不同体裁的语篇往往以不同的句法、长度和结构形式呈现。第三个问题是词汇表外词（OOVs）问题。域内训练数据通常很少，术语覆盖率低。在这篇论文中，我们探讨了最先进的领域自适应方法，并提出了有效的解决方案，以解决这些问题。
2018-04-05 cs.CL
Resolution of Unidentified Words in Machine Translation
Inha University（仁荷大学）
本文提出了一种基于文本的机器翻译（TBMT）中不可识别词汇单元的消解机制。在机器翻译（MT）系统中，不太可能拥有完整的词典，因此迫切需要一种新的机制来处理未识别单词的问题。这些未知词可能是缩写、名称、首字母缩略词和新引入的术语。我们提出了一个算法的决议不明的话。该算法以语篇单元（原语语篇）为分析单位，对词典进行实时的更新。我们已经手动地将该算法应用于报纸片段。随着前指和下指的解决，许多未登录的单词，特别是名称和缩写被更新到词典。
2010-07-28 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
Lilt, Inc.（Lilt公司）
与更简单和更浅的模型相比，每层具有多个注意力头的多层模型提供了更好的翻译质量，但因此确定什么源上下文与每个目标词最相关更具挑战性。因此，从最先进的神经机器翻译模型的激活中获得高精度的单词对齐是一个开放的挑战。我们提出了一个简单的模型扩展的Transformer架构，利用其隐藏的表示，并仅限于参加编码器信息预测下一个字。它可以在没有单词对齐信息的双语数据上训练。我们进一步引入了一种新的对齐推理过程，该过程应用随机梯度下降来直接优化对给定目标词的注意激活。由此产生的对齐显着优于天真的方法来解释Transformer的注意力激活，并与吉萨++在两个公开的数据集。
2019-01-31 cs.CL
Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness
Naver Labs Europe（Naver欧洲实验室）
我们分享了Foursquare餐厅评论的法语-英语平行语料库（https：//europe.naverlabs.com/research/natural-language-processing/machine-translation-of-restaurant-reviews），并定义了一个新的任务，以鼓励对神经机器翻译鲁棒性和领域自适应的研究，在现实世界中，更好的MT将非常有益。我们讨论了这样的用户生成的内容的挑战，并训练良好的基线模型，建立在最新的技术MT的鲁棒性。我们还进行了广泛的评估（自动和人工），显示了对现有在线系统的显着改进。最后，我们提出了基于情感分析或领域特定的多义词的翻译准确性的特定任务的度量。
2019-10-31 cs.CL
Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation
Xinjiang Technical Institute of Physics & Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经机器翻译在机器翻译任务中取得了令人瞩目的成绩。然而，考虑到效率，仅包含前N个最高频率词的有限大小的词汇表用于模型训练，这导致许多稀有和未知词。对于那些词法复杂、词汇量大、资源贫乏、词法丰富的黏着语，翻译起来相当困难。在本文中，我们提出了一个形态分词方法的源端NMT，结合形态学知识，以保持在词结构的语言和语义信息，同时减少在训练时的词汇量。它可以作为一个预处理工具，在其他自然语言处理（NLP）任务的粘合语言的词分割。实验结果表明，本文提出的基于形态动机的分词方法更适用于NMT模型，在降低数据稀疏性和语言复杂度的同时，显著改善了土英和维汉机器翻译任务。
2020-01-02 cs.CL
Predicting Anchored Text from Translation Memories for Machine Translation Using Deep Learning Methods
Northeastern University（东北大学）；Institute for Experiential AI, Northeastern University（东北大学体验式人工智能研究院）
本文提出利用Word2Vec、BERT和GPT-4等深度学习方法替代机器翻译，从翻译记忆中预测并修复法语到英语的锚定词，在CBOW范式下取得了更优或相当的翻译效果。
2024-09-26 cs.AI cs.CL cs.LG
Towards one-shot learning for rare-word translation with external experts
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
神经机器翻译（NMT）显著提高了自动翻译模型的质量。当前系统中的主要挑战之一是稀有词的翻译。我们提出了一种通用的方法来解决这个弱点，通过外部模型将训练数据注释为专家，并使用指针网络和强化学习控制模型与专家的交互。我们使用基于短语的模型来模拟专家以补充神经机器翻译模型的实验表明，该模型可以被训练成一致地将注释复制到输出中。我们证明了我们提出的框架在只有词汇资源的域外翻译场景中的好处，在英语到西班牙语和德语到英语的两个翻译方向上提高了1.0 BLEU点以上
2018-09-10 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh（爱丁堡大学）
中文分词已经进入了深度学习时代，大大减少了特征工程的麻烦。近年来，一些研究者尝试将其作为字符级翻译，进一步简化了模型的设计，但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作，我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术，包括正则化，数据增强，客观加权，迁移学习和集成。与以前的作品相比，我们的低资源的基于简化的方法保持了轻松的模型设计，但在不使用额外的数据的情况下，在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
Efficient Machine Translation Domain Adaptation
Instituto de Telecomunicações（电信研究所）；DeepMind（深度思维）；Institute of Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）；Unbabel（Unbabel公司）
机器翻译模型在翻译域外文本时会遇到困难，这使得领域自适应成为一个至关重要的话题。然而，大多数领域自适应方法集中于在每个新领域上微调或训练整个或部分模型，这可能是昂贵的。另一方面，半参数模型已经被证明通过从域内自适应器中检索示例来成功地执行领域自适应（Khandelwal等人，2021年）。然而，这些检索增强模型的一个缺点是，它们往往要慢得多。在本文中，我们探讨了几种方法来加快最近邻机器翻译。我们调整了He等人最近提出的方法。（2021）用于语言建模，并引入了一种简单但有效的缓存策略，该策略避免了在之前看到类似上下文时执行检索。几个领域的翻译质量和运行时间表明所提出的解决方案的有效性。
2022-04-26 cs.CL
Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages
Microsoft AI & Research（微软人工智能与研究院）
用于神经机器翻译（NMT）的迁移学习方法训练关于辅助-目标语言对（父模型）的NMT模型，其稍后针对感兴趣的源-目标语言对（子模型）进行微调，其中目标语言是相同的。在许多情况下，辅助语言具有与源语言不同的词序。我们发现，当源语言和目标语言之间几乎没有平行语料库时，不同的词序会限制迁移学习的益处。为了弥合这种分歧，我们提出了预排序的辅助语言句子匹配源语言的词序和训练父模型。我们对许多语言对的实验表明，弥合语序差距会显着提高翻译质量。
2019-04-10 cs.CL
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
Google（谷歌）
神经机器翻译（NMT）是一种端到端的自动翻译学习方法，有可能克服传统的基于短语的翻译系统的许多弱点。不幸的是，NMT系统在训练和翻译推理方面都是计算昂贵的。此外，大多数NMT系统在处理罕见单词方面存在困难。这些问题阻碍了NMT在实际部署和服务中的使用，其中准确性和速度都是至关重要的。在这项工作中，我们提出了GNMT，谷歌的神经机器翻译系统，它试图解决许多这些问题。我们的模型由一个深度LSTM网络组成，具有8个编码器和8个解码器层，使用注意力和残差连接。为了提高并行性，从而减少训练时间，我们的注意力机制将解码器的底层连接到编码器的顶层。为了加快最终的翻译速度，我们在推理计算过程中采用了低精度算法。为了提高对罕见单词的处理，我们将单词划分为一组有限的公共子单词单元（“单词块”），用于输入和输出。该方法在“字符”定界模型的灵活性和“词”定界模型的效率之间提供了良好的平衡，自然地处理稀有词的翻译，并最终提高了系统的整体准确性。我们的束搜索技术采用了长度归一化过程，并使用覆盖惩罚，这鼓励生成的输出句子，最有可能覆盖源句子中的所有单词。在WMT的14个英法和英德基准测试中，GNMT取得了最先进的有竞争力的结果。与谷歌基于短语的翻译系统相比，GNMT对一组孤立的简单句子进行了人工并排评估，平均减少了60%的翻译错误。
2016-10-08 cs.AI cs.CL cs.LG
Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings
Soochow University（苏州大学）；University of Lisbon（里斯本大学）；Alibaba Group（阿里巴巴集团）
在神经机器翻译中，将单词的源序列编码成向量，在解码阶段从该向量生成目标序列。与统计机器翻译不同的是，源单词和它们可能的目标对应物之间的关联没有显式地存储。源字和目标字位于长信息处理过程的两端，在源编码和目标解码阶段都由隐藏状态介导。这使得源词有可能被错误地翻译成目标词，而该目标词不是目标语言中任何可接受的对等词。在本文中，我们试图通过一种被称为桥接源和目标词嵌入的方法来缩短源和目标词之间的距离，从而加强它们之间的关联。我们尝试了三种策略：（1）源端桥接模型，其中源词嵌入向输出目标序列移动一步;（2）目标端桥接模型，其探索更相关的源词嵌入以预测目标序列;（3）直接桥接模式，它直接连接源语和目标语词嵌入，以尽量减少一个词被另一个词翻译时的错误。本文提出的实验和分析表明，所提出的桥接模型是能够显着提高质量的句子翻译，在一般情况下，对齐和翻译的个别源词与目标词，特别是。
2018-05-10 cs.CL
Extreme Adaptation for Personalized Neural Machine Translation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
每个人都说或写自己的母语，受许多因素的影响：他们倾向于谈论的内容，他们的性别，他们的社会地位或他们的地理来源。当尝试执行机器翻译（MT）时，这些变化对系统应该如何执行翻译具有显著影响，但是标准的一刀切模型不能很好地捕捉到这一点。在本文中，我们提出了一个简单的和参数有效的自适应技术，只需要适应输出softmax的偏差MT系统的每个特定的用户，无论是直接或通过因子近似。在三种语言的TED演讲上的实验表明，翻译的准确性有所提高，并且在目标文本中更好地反映了演讲者的特征。
2018-05-04 cs.CL
Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement
Tencent Inc（腾讯公司）
机器翻译中的词级质量评估旨在发现译文中潜在的错误。通常，关于词级QE的传统工作被设计为根据编辑后的努力来预测翻译质量，其中，通过翻译出错率（TER）工具包比较MT句子和编辑后的句子之间的词来自动生成词标签（“OK”和“BAD”）。虽然编辑后的努力在一定程度上可以用来衡量翻译质量，但我们发现它通常与人类对单词翻译的好坏的判断相冲突。为了克服这一局限性，我们首先创建了一个黄金基准数据集，即\emph{HJQE}（Human Judgement on Quality Estimation），专家翻译人员直接对他们的判断进行注释。此外，为了进一步利用并行语料库，本文提出了自监督预训练的两种标签修正策略，即标签细化策略和基于树的标注策略，使基于TER的人工QE语料库更接近于\emph{HJQE}。我们进行了大量的实验的基础上公开可用的WMT En-De和En-Zh语料库。实验结果不仅表明我们提出的数据集更符合人类的判断，而且也证实了所提出的标签校正策略的有效性。\footnote{The data can be found at \url{https://github.com/ZhenYangIACAS/HJQE}.}
2022-09-13 cs.CL
Multimodal Machine Translation with Embedding Prediction
Tokyo Metropolitan University（东京都立大学）
多模态机器翻译是神经机器翻译的一个重要应用。它帮助计算机深入理解视觉对象及其与自然语言的关系。然而，多模态NMT系统遭受可用训练数据的短缺，导致翻译稀有词的性能差。在NMT中，预训练的词嵌入已被证明可以改善低资源域的NMT，并提出了一种基于搜索的方法来解决罕见词问题。在这项研究中，我们有效地结合这两种方法在多模态NMT的背景下，并探讨我们如何能够充分利用预训练的词嵌入，以更好地翻译罕见的话。我们报告了1.24 METEOR和2.49 BLEU的整体性能改进，并实现了7.67的罕见词翻译F分数的提高。
2019-04-01 cs.CL
Combining Word and Character Vector Representation on Neural Machine Translation
PT Prosa Solusi Cerdas（普罗萨智能解决方案公司）
本文描述了英语-印尼语神经机器翻译（NMT）中词向量表示和字符向量表示的组合。使用不同的输入向量表示构建了NMT模型的六种配置：基于单词的、使用双向LSTM（bi-LSTM）的单词和字符表示的组合、使用CNN的单词和字符表示的组合、通过组合bi-LSTM和CNN来组合单词和字符表示通过三种不同的向量运算：加法、逐点乘法和平均。实验结果表明，除了使用双LSTM和CNN通过加法运算组合单词和字符表示的模型外，所有组合单词和字符表示的NMT模型的BLEU得分都高于基线模型，范围在9.14到11.65分之间。达到的最高BLEU评分为42.48，而基线模型为30.83。
2020-09-13 cs.CL
Compact Personalized Models for Neural Machine Translation
Lilt, Inc.（Lilt公司）
我们提出并比较了自注意神经机器翻译模型的基于梯度的领域自适应方法。我们证明了在自适应过程中可以冻结大部分模型参数，通过组套索正则化在学习过程中鼓励偏移张量集合中的结构稀疏性，从而使翻译质量降低最小或不降低。我们评估这种技术在多个数据集和语言对的批量和增量适应。我们的系统架构-结合了最先进的自关注模型和紧凑的领域自适应-提供了高质量的个性化机器翻译，既节省空间又节省时间。
2018-11-05 cs.CL
