Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models
Stanford University（斯坦福大学）
几乎所有以前关于神经机器翻译（NMT）的工作都使用了非常有限的词汇表，也许还有一种后续的方法来修补未知的单词。本文提出了一种新的词-字解决方案，以实现开放的词汇NMT。我们构建了混合系统，主要在单词级别进行翻译，并为罕见单词咨询字符组件。我们的字符级递归神经网络计算源单词表示，并在需要时恢复未知的目标单词。这种混合方法的双重优势是，它比基于字符的方法更快、更容易进行训练;同时，它永远不会像基于单词的模型那样产生未知单词。在WMT'15英语到捷克语的翻译任务中，这种混合方法比已经处理未知单词的模型提供了+2.1-11.4 BLEU点的额外提升。我们最好的系统达到了20.7 BLEU分数的最新结果。我们证明，我们的字符模型可以成功地学习，不仅生成格式良好的单词捷克语，一个高度曲折的语言，一个非常复杂的词汇，但也建立正确的表示英语源单词。
2016-06-23 cs.CL cs.LG
Machine Translation with Cross-lingual Word Embeddings
利用分布信息学习词嵌入是一个被许多研究者研究的课题，并且在文献中报道了大量的研究。相反，对多种语言的研究较少。其思想是专注于一对语言的单一表示，使得语义相似的单词在诱导表示中彼此更接近，而不管语言如何。通过这种方式，当特定语言的数据丢失时，可以使用另一种语言的分类器。
2020-04-14 cs.CL cs.LG
Phrase Table as Recommendation Memory for Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）由于其良好的翻译性能而受到广泛关注。然而，一些研究表明，NMT往往产生流畅，但不忠实的翻译。在本文中，我们提出了一种方法来缓解这个问题，使用短语表作为推荐记忆。其主要思想是为值得推荐的单词添加奖金，以便NMT能够做出正确的预测。具体地说，我们首先根据源句子搜索短语翻译表，得到一个前缀树来容纳所有候选目标短语。然后，我们通过NMT将候选目标短语与先前翻译的目标词进行匹配来构建推荐词集。之后，我们通过使用注意向量和短语翻译概率来确定每个可重复单词的具体奖励值。最后，我们将此奖金值集成到NMT中，以改善翻译结果。大量的实验表明，所提出的方法得到显着的改善，基于强注意力的NMT。
2018-05-25 cs.CL
Modeling Fluency and Faithfulness for Diverse Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Language and Culture University（北京语言大学）；Tencent Inc.（腾讯公司）
神经机器翻译模型通常采用教师强迫策略进行训练，该策略要求预测序列逐词匹配地面实况，并迫使每个预测的概率接近0-1分布。然而，该策略将分布的所有部分投射到地面实况词，并且忽略目标词汇表中的其他词，即使地面实况词不能支配分布。为了解决教师强迫的问题，我们提出了一种方法，引入一个评估模块来指导预测的分布。评价模块从流利度和忠实度的角度对每个预测进行评估，以鼓励模型生成与其过去和未来翻译具有流利联系的词，同时倾向于形成与源在意义上等效的翻译。在多个翻译任务上的实验表明，我们的方法可以在强基线上取得显着的改善。
2019-11-30 cs.CL cs.LG
Leveraging Neural Machine Translation for Word Alignment
Charles University（查理大学）
最常见的单词对齐工具依赖于大量的平行句子，然后通常根据IBM模型算法之一进行处理。然而，训练数据与机器翻译（MT）系统相同，特别是对于神经MT（NMT），其本身能够使用训练的注意力头部产生单词对齐。这很方便，因为词对齐理论上是任何基于注意力的NMT的可行副产品，它也能够为翻译的句子对提供解码器评分。我们总结了如何从对齐分数中提取单词对齐的不同方法，然后探索了从NMT中提取分数的方法，重点是基于输出句子和令牌概率推断单词对齐分数。我们将此与从注意力中提取对齐分数进行比较。最后，我们将所有对齐分数的来源聚合到一个简单的前馈网络中，当使用组合对齐提取器时，该网络可以获得最佳结果。
2021-03-31 cs.CL cs.LG
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
TransDocs: Optical Character Recognition with word to word translation
Cranberry-Lemon University（蔓越莓柠檬大学）
本文提出TransDocs，将OCR与基于LSTM和注意力机制的seq2seq模型结合，在ANKI英西数据集上实现文档翻译，并以BLEU-4评估端到端性能。
2023-04-15 cs.CL cs.CV cs.LG
Multi-Domain Neural Machine Translation with Word-Level Adaptive Layer-wise Domain Mixing
Georgia Institute of Technology（佐治亚理工学院）；ByteDance（字节跳动）
许多多域神经机器翻译（NMT）模型通过强制一个编码器学习跨域的共享嵌入来实现知识转移。然而，这种设计缺乏对各个领域的适应。为了克服这一限制，我们提出了一种新的多域NMT模型，每个域使用单独的模块，我们应用字级，自适应和逐层域混合。我们首先观察到，一个句子中的单词通常与多个域相关。因此，我们假设每个词都有一个领域比例，这表明了它的领域偏好。然后，通过基于其域比例将其嵌入到各个域中来获得单词表示。我们表明，这可以通过精心设计的多头点产品的注意力模块为不同的领域，并最终采取加权平均值的参数字级逐层域的比例。通过这种方式，我们可以实现有效的领域知识共享，并捕获细粒度的特定领域的知识。我们的实验表明，我们提出的模型优于现有的几个NMT任务。
2021-02-12 cs.CL cs.LG
Back-Translation Sampling by Targeting Difficult Words in Neural Machine Translation
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
神经机器翻译使用并行和合成数据的组合，为几种语言对实现了最先进的性能。合成数据通常通过使用反向翻译模型从单语数据中随机采样的句子进行反向翻译来生成。虽然回译在许多情况下被证明是非常有效的，但原因尚不完全清楚。在这项工作中，我们探索了反向翻译的不同方面，并表明在训练过程中具有高预测损失的单词从添加合成数据中受益最多。我们介绍了几种变化的采样策略，针对难以预测的话，使用预测损失和频率的话。此外，我们还针对难词的上下文和在上下文中相似的例句。WMT新闻翻译任务的实验结果表明，我们的方法提高了翻译质量高达1.7和1.2 Bleu点回翻译使用随机抽样为德语-英语和英语-德语，分别。
2018-09-21 cs.CL
Overcoming the Rare Word Problem for Low-Resource Language Pairs in Neural Machine Translation
Thai Nguyen University（太原大学）；Vietnam National University（越南国家大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；JAIST（北陆先端科学技术大学院大学）
在Koehn和Knowles（2017）提出的神经机器翻译（NMT）的六个挑战中，罕见词问题被认为是最严重的一个，特别是在低资源语言的翻译中。在本文中，我们提出了三种解决方案，以解决神经机器翻译系统中的罕见的话。首先，我们通过将源嵌入直接连接到NMT中的注意力组件的输出来增强源上下文以预测目标词。其次，我们提出了一个算法来学习未登录词的形态学英语监督的方式，以尽量减少罕见的词问题的不利影响。最后，我们利用WordNet中的同义关系来克服NMT的词汇表外（OOV）问题。我们评估我们的方法对两个低资源的语言对：英语越南语和日语越南语。在我们的实验中，我们在两种语言对中都取得了大约+1.0 BLEU点的显着改进。
2019-10-17 cs.CL cs.LG stat.ML
Augmenting Statistical Machine Translation with Subword Translation of Out-of-Vocabulary Words
University of Southern California（南加州大学）；University of Washington（华盛顿大学）
大多数统计机器翻译系统无法翻译在训练数据中看不到的单词。然而，人类可以翻译许多类别的词汇表外（OOV）单词（例如，新的形态变体、拼写错误和复合词）。根据这一观察，我们描述和评估几个一般的方法只使用子字信息的OOV翻译。我们把OOV翻译问题作为一个独立的任务，并在不同的资源水平上对14种类型不同的语言进行本质上的评估。将OOV翻译器添加到统计机器翻译系统中，可以为所有14种语言产生一致的BLEU增益（平均0.5分，最高可达2.0分），特别是在低资源场景中。
2018-08-16 cs.CL
Characterizing Departures from Linearity in Word Translation
University of California, San Diego（加州大学圣地亚哥分校）
我们研究了通过机器翻译方法学习的地图的行为。映射通过在不同语言的词嵌入空间之间投影来翻译词。我们使用线性映射局部地近似这些映射，并且发现它们在词嵌入空间中变化。这表明底层映射是非线性的。重要的是，我们证明了局部线性映射的变化量与它们所训练的邻域之间的距离密切相关。我们的研究结果可用于测试非线性方法，并推动设计更准确的单词翻译地图。
2018-06-15 cs.CL
Exploiting Similarities among Languages for Machine Translation
Google Inc.（谷歌公司）
词典和短语表是现代统计机器翻译系统的基础。本文提出了一种方法，可以自动生成和扩展字典和短语表的过程。我们的方法可以通过学习语言结构的基础上大单语数据和语言之间的映射，从小双语数据翻译丢失的单词和短语条目。它使用单词的分布式表示，并学习语言向量空间之间的线性映射。尽管简单，我们的方法是令人惊讶的有效：我们可以实现几乎90%的精度@5英语和西班牙语之间的单词翻译。这种方法对语言的假设很少，因此它可以用于扩展和改进任何语言对的词典和翻译表。
2013-09-17 cs.CL
Debiasing Word Embeddings Improves Multimodal Machine Translation
Tokyo Metropolitan University（东京都立大学）
近年来，预训练的词嵌入已被证明适用于多模态神经机器翻译（NMT）模型，以解决可用数据集短缺的问题。然而，预训练的词嵌入的整合还没有被广泛探索。此外，据报道，在高维空间中预训练的词嵌入遭受hubness问题。虽然已经提出了一些去偏置技术来解决这个问题的其他自然语言处理任务，他们很少被研究多模态NMT模型。在这项研究中，我们研究了各种词嵌入，并介绍了两种去偏置技术的三个多模态NMT模型和两个语言对-英语-德语翻译和英语-法语翻译。通过我们的优化设置，多模态模型的整体性能在英语-德语翻译中提高了+1.93 BLEU和+2.02 METEOR，在英语-法语翻译中提高了+1.73 BLEU和+0.95 METEOR。
2019-06-22 cs.CL
UAlacant machine translation quality estimation at WMT 2018: a simple approach using phrase tables and feed-forward neural networks
Universitat d’Alacant（阿利坎特大学）
我们描述了Universitat d'Alacant提交给WMT 2018的单词和词典级机器翻译（MT）质量评估（QE）共享任务。我们的方法词级MT QE建立在以前的工作，标记的话在机器翻译的句子作为\textit{OK}或\textit{BAD}，并扩展到确定是否一个词或一系列的话需要插入在每个字后的间隙。我们的文档级提交只是使用词级方法预测的编辑操作来近似TER。所提出的方法在识别六个数据集中的三个数据集的间隙中的插入的子任务中排名第一，在其余数据集中排名第二。
2018-11-06 cs.CL
Learned in Translation: Contextualized Word Vectors
Salesforce（赛富时）
计算机视觉受益于使用在ImageNet等大型监督训练集上预训练的权重初始化多个深层。自然语言处理（NLP）通常只使用预训练的词向量初始化最低层的深度模型。在本文中，我们使用来自为机器翻译（MT）训练的注意序列到序列模型的深度LSTM编码器来对词向量进行上下文化。我们发现，添加这些上下文向量（CoVe）可以在各种常见的NLP任务上仅使用无监督的单词和字符向量来提高性能：情感分析（SST，IMDb），问题分类（TREC），蕴涵（SNLI）和问答（SQuAD）。对于细粒度的情感分析和蕴涵，CoVe将我们的基线模型的性能提高到最先进的水平。
2018-06-20 cs.AI cs.CL cs.LG
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center（TALP研究中心）；Univesitat Politècnica de Catalunya（加泰罗尼亚理工大学）
词汇表外的单词在机器翻译系统中占很大比例的错误，特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题，我们建议使用一个基于对数双线性softmax的模型进行词汇扩展，这样，给定一个词汇外的源单词，该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入，并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中，并在英语-西班牙语对上获得翻译质量的一致改进。特别是，我们得到了3.9 BLEU点的改进时，测试的域外测试集。
2016-08-05 cs.CL
Neural Machine Translation of Rare Words with Subword Units
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Samsung Electronics Polska sp. z o.o. - Samsung R&D Institute Poland（三星电子波兰有限公司——三星波兰研发中心）
神经机器翻译（NMT）模型通常使用固定的词汇表进行操作，但翻译是一个开放词汇表问题。以前的工作解决了词汇表外的单词的翻译，通过备份到字典。在本文中，我们介绍了一种更简单，更有效的方法，使NMT模型能够开放词汇翻译的编码罕见和未知的单词作为序列的子词单位。这是基于这样的直觉，即各种词类可以通过比单词更小的单位来翻译，例如名称（通过字符复制或音译），复合词（通过组合翻译），同源词和外来词（通过语音和形态转换）。我们讨论了不同的分词技术，包括简单的字符n-gram模型和分割的基础上的字节对编码压缩算法的适用性，并实证表明，子词模型提高了退避字典基线的WMT 15翻译任务英语-德语和英语-俄语的1.1和1.3 BLEU，分别。
2016-06-10 cs.CL
Addressing the Rare Word Problem in Neural Machine Translation
Stanford（斯坦福大学）；Google（谷歌）；New York University（纽约大学）
神经机器翻译（NMT）是一种新的机器翻译方法，已经显示出与传统方法相当的有前途的结果。传统NMT系统的一个显著弱点是它们无法正确翻译非常罕见的单词：端到端NMT往往具有相对较小的词汇表，其中单个Unk符号表示每个可能的词汇表外（OOV）单词。在本文中，我们提出并实施了一种有效的技术来解决这个问题。我们训练一个NMT系统的数据是由一个词对齐算法的输出增强，允许NMT系统发出，为目标句子中的每个OOV词，其相应的词在源句子中的位置。该信息稍后在使用字典翻译每个OOV单词的后处理步骤中使用。我们在WMT 14英语到法语翻译任务上的实验表明，该方法比不使用该技术的等效NMT系统提供了高达2.8 BLEU点的实质性改进。我们的NMT系统获得37.5 BLEU分数，是第一个超越WMT 14竞赛任务最好成绩的系统。
2015-05-30 cs.CL cs.LG cs.NE
ReWE: Regressing Word Embeddings for Regularization of Neural Machine Translation Systems
University of Technology Sydney（悉尼科技大学）；Capital Markets Cooperative Research Centre（资本市场合作研究中心）
神经机器翻译的正则化仍然是一个重要的问题，特别是在低资源环境中。为了解决这个问题，我们提出了回归词嵌入（ReWE）作为一种新的正则化技术，该系统经过联合训练，以预测翻译中的下一个词（分类值）及其词嵌入（连续值）。这样的联合训练允许所提出的系统学习由词嵌入表示的分布特性，凭经验提高对看不见的句子的泛化。在三个翻译数据集上的实验表明，在0.91到2.54 BLEU点之间的强基线上有一致的改进，并且在最先进的系统上也有显著的改进。
2019-04-04 cs.CL
Character-based Neural Machine Translation
Instituto Superior Técnico（高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
我们引入了一个神经机器翻译模型，将输入和输出的句子视为字符序列而不是单词。由于单词级信息提供了一个重要的偏差来源，我们的输入模型将字符序列的表示组成单词的表示（由空白边界确定），然后使用联合注意力/翻译模型翻译这些表示。在目标语言中，翻译被建模为一系列词向量，但每个词每次生成一个字符，条件是每个词中的前一个字符生成。由于单词的表示和生成是在字符级别进行的，因此我们的模型能够解释和生成看不见的单词形式。这种方法的第二个好处是，它消除了与源语言和目标语言的预处理/标记化相关的许多挑战。我们表明，我们的模型可以实现与传统的基于单词的模型相媲美的翻译结果。
2015-11-14 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Word and Phrase Translation with word2vec
单词和短语表是机器翻译的关键输入，但制作成本很高。新的无监督学习方法在高维向量空间中表示单词和短语，这些单语嵌入已被证明可以编码语言元素之间的句法和语义关系。这些嵌入捕获的信息可以通过学习转换矩阵来用于双语翻译，该转换矩阵允许在两个单语向量空间中匹配相对位置。该方法旨在从未标记的数据中更经济有效地识别高质量的单词和短语翻译候选。本文将以前的双语翻译尝试的范围扩大到四种语言（英语，德语，西班牙语和法语）。它展示了如何处理源数据，训练一个神经网络来学习各个语言的高维嵌入，并扩展了测试英语之外的质量的框架。此外，它还展示了如何学习双语转换矩阵，获得单词和短语翻译的候选项，并评估其质量。
2018-04-24 cs.AI cs.CL
Word Representation Models for Morphologically Rich Languages in Neural Machine Translation
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
形态丰富的语言中复杂的词形处理是语言处理中的一个开放性问题，在翻译中尤为重要。与大多数现代神经系统的翻译，这放弃了罕见的单词的身份，在本文中，我们提出了几个架构学习字表示字符和语素级的字分解。我们将这些表示在一个新的机器翻译模型，共同学习单词对齐和翻译通过硬注意力机制。从几种形态丰富的语言翻译成英语的评估，我们表现出一致的改进强基线方法，1和1.5 BLEU点之间。
2016-06-14 cs.CL cs.NE
Context-Dependent Word Representation for Neural Machine Translation
Samsung Electronics（三星电子）；University of Montreal（蒙特利尔大学）；New York University（纽约大学）
我们首先观察到神经机器翻译中符号的连续向量表示的潜在弱点。也就是说，符号的连续向量表示或词嵌入向量对相似性的多个维度进行编码，相当于对词的多个含义进行编码。这导致神经机器翻译中的编码器和解码器递归网络需要花费大量的容量来基于由源句子定义的上下文来消除源和目标词的歧义。基于这一观察，在本文中，我们提出了上下文的词嵌入向量使用的非线性袋的词表示的源句子。此外，我们建议用类型化符号表示特殊标记（如数字、专有名词和首字母缩略词），以便于翻译那些不适合通过连续向量翻译的单词。在En-Fr和En-De上的实验表明，本文提出的语境化和符号化方法显著提高了神经机器翻译系统的翻译质量。
2016-07-03 cs.CL
Augmenting Phrase Table by Employing Lexicons for Pivot-based SMT
Harbin Institute of Technology（哈尔滨工业大学）
Pivot语言被用来解决机器翻译中的数据稀疏问题，特别是当特定语言对的数据不存在时。源-主元翻译模式和主元-目标翻译模式的结合可以通过主元语言产生一种新的翻译模式。然而，两个模型中的误差可能会混合为噪声，并且组合模型仍然可能遭受严重的短语稀疏性问题。在本文中，我们直接使用IBM模型中的单词词法模型作为一个额外的资源，以增加枢轴短语表。此外，我们还提出了一个短语表修剪方法，同时考虑到源和目标短语覆盖率。实验结果表明，我们的修剪方法显着优于传统的，它只考虑源端短语覆盖。此外，通过将词条包含在词典模型中，短语覆盖率增加，并且我们在以英语为中心语言的中日翻译中取得了改善的结果。
2015-12-01 cs.CL
Bag-of-Words as Target for Neural Machine Translation
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
一个句子可以翻译成不止一个正确的句子。然而，现有的神经机器翻译模型大多只使用其中一个正确的翻译作为目标，而其他正确的句子在训练阶段被当作不正确的句子进行惩罚。由于一个句子的大多数正确的翻译共享相似的词袋，因此可以通过词袋来区分正确的翻译和错误的翻译。在本文中，我们提出了一种在训练阶段同时使用句子和词袋作为目标的方法，以鼓励模型生成训练集中没有出现的潜在正确句子。我们在一个汉英翻译数据集上对我们的模型进行了评估，实验表明我们的模型比强基线的BLEU得分高出4.55。
2018-05-13 cs.CL
To Swap or Not to Swap? Exploiting Dependency Word Pairs for Reordering in Statistical Machine Translation
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
在语序有显著差异的两种语言之间进行机器翻译时，重新排序是一个主要的挑战。在本文中，我们提出了一种新的重新排序方法，利用稀疏特征的依赖词对的基础上。这些特征的每个实例捕获在源句子依存关系解析树中通过依存关系链接相关的两个单词是否遵循相同的顺序或在翻译输出中交换。中文到英文的翻译实验表明，使用我们的方法，统计上显着的改善1.21 BLEU点，相比，一个国家的最先进的统计MT系统，采用先前的重新排序方法。
2016-08-03 cs.CL
When do Contrastive Word Alignments Improve Many-to-many Neural Machine Translation?
Kyoto University（京都大学）；NICT（日本信息通信研究机构）
单词对齐已被证明有利于多对多神经机器翻译（NMT）。然而，在以前的方法中，高质量的地面实况双语词典被用于预编辑，这对于大多数语言对是不可用的。同时，对比目标可以隐含地利用自动学习的词对齐，这在多对多NMT中还没有被探索。这项工作提出了一个词级的对比目标，利用词对齐多对多NMT。实证结果表明，这导致了0.8 BLEU增益为几个语言对。分析表明，在多对多NMT中，编码器的句子检索性能与翻译质量高度相关，这解释了所提出的方法何时影响翻译。这激发了未来对多对多NMT的探索，以提高编码器的句子检索性能。
2022-04-26 cs.CL
How Effective is Byte Pair Encoding for Out-Of-Vocabulary Words in Neural Machine Translation?
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
神经机器翻译（NMT）是一个开放的词汇表问题。因此，处理在训练过程中没有出现的单词（也就是说，词汇表外（OOV）单词）长期以来一直是NMT系统的基本挑战。解决这个问题的主要方法是字节对编码（BPE），它将字（包括OOV字）分成子字段。BPE在自动评估指标方面为广泛的翻译任务取得了令人印象深刻的结果。虽然人们通常认为通过使用BPE，NMT系统能够处理OOV词，但BPE在翻译OOV词中的有效性尚未明确测量。在本文中，我们研究在何种程度上BPE是成功的翻译OOV词在词的水平。我们分析了基于词的类型，段的数量，交叉注意力的权重，和频率段n-gram的训练数据的翻译质量的OOV字。我们的实验表明，虽然仔细的BPE设置在跨数据集翻译OOV单词时似乎相当有用，但相当大比例的OOV单词被错误翻译。此外，我们强调了BPE在特殊情况下翻译OOV单词时的有效性略高，例如命名实体以及所涉及的语言在语言上彼此接近时。
2022-08-17 cs.CL
An Investigation of the Sampling-Based Alignment Method and Its Contributions
Waseda University（早稻田大学）
通过研究短语对在短语翻译表中的分布情况，提出了一种基于抽样的短语翻译表对齐方法，以增加短语翻译表中n-gram对齐的数量。这种方法包括在不同的翻译子表中强制对齐n-gram，以增加n-gram的数量。采用标准正态分布在翻译子表之间分配对齐时间，调整了n元语法的分布。这导致统计机器翻译任务的评估结果比原始的基于采样的对齐方法更好。此外，通过合并从基于采样的对齐方法和从MGIZA++计算的短语翻译表获得的翻译质量进行检查。
2013-08-21 cs.CL
Neural Name Translation Improves Neural Machine Translation
为了控制计算复杂性，神经机器翻译（NMT）系统将词汇表之外的所有罕见单词转换为单个未知符号。先前的解决方案（Luong等人，2015）采取使用多个编号的unk来学习源和目标稀有词之间的对应关系。然而，这种方法不能处理训练语料库中未发现的测试词。而且它还受到单词对齐噪音的影响。本文针对稀有词的一种主要类型--命名实体，提出了用字符级序列到序列模型的翻译方法。NE翻译模型进一步用于在双语训练语料库中导出高质量的NE对齐。通过整合NE翻译和对齐模块，我们的NMT系统在中文到英文的任务中能够超过基线系统2.9 BLEU点。
2016-07-07 cs.CL
Monotonic Simultaneous Translation with Chunk-wise Reordering and Refinement
Samsung Research（三星研究院）；New York University（纽约大学）
最近的同步机器翻译工作通常是用传统的整句翻译语料库进行训练的，这导致在处理语序显著不同的语言对时，过度的延迟或需要预测尚未到达的单词。这与同声传译不同，同声传译人员以牺牲被翻译句子的语法性为代价，产生大量单调的翻译。因此，在本文中，我们提出了一种算法来重新排序和完善的目标方的一个完整的句子翻译语料库，使源和目标句子之间的单词/短语主要是单调对齐，使用单词对齐和非自回归神经机器翻译。然后，我们训练一个广泛使用的wait-k同声翻译模型在这个重新排序和细化语料库。所提出的方法提高了BLEU分数，并产生的翻译表现出增强的单调性与源句子。
2021-10-18 cs.AI cs.CL cs.LG
Predicting Anchored Text from Translation Memories for Machine Translation Using Deep Learning Methods
Northeastern University（东北大学）；Institute for Experiential AI, Northeastern University（东北大学体验式人工智能研究院）
本文提出利用Word2Vec、BERT和GPT-4等深度学习方法替代机器翻译，从翻译记忆中预测并修复法语到英语的锚定词，在CBOW范式下取得了更优或相当的翻译效果。
2024-09-26 cs.AI cs.CL cs.LG
Resolution of Unidentified Words in Machine Translation
Inha University（仁荷大学）
本文提出了一种基于文本的机器翻译（TBMT）中不可识别词汇单元的消解机制。在机器翻译（MT）系统中，不太可能拥有完整的词典，因此迫切需要一种新的机制来处理未识别单词的问题。这些未知词可能是缩写、名称、首字母缩略词和新引入的术语。我们提出了一个算法的决议不明的话。该算法以语篇单元（原语语篇）为分析单位，对词典进行实时的更新。我们已经手动地将该算法应用于报纸片段。随着前指和下指的解决，许多未登录的单词，特别是名称和缩写被更新到词典。
2010-07-28 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
Lilt, Inc.（Lilt公司）
与更简单和更浅的模型相比，每层具有多个注意力头的多层模型提供了更好的翻译质量，但因此确定什么源上下文与每个目标词最相关更具挑战性。因此，从最先进的神经机器翻译模型的激活中获得高精度的单词对齐是一个开放的挑战。我们提出了一个简单的模型扩展的Transformer架构，利用其隐藏的表示，并仅限于参加编码器信息预测下一个字。它可以在没有单词对齐信息的双语数据上训练。我们进一步引入了一种新的对齐推理过程，该过程应用随机梯度下降来直接优化对给定目标词的注意激活。由此产生的对齐显着优于天真的方法来解释Transformer的注意力激活，并与吉萨++在两个公开的数据集。
2019-01-31 cs.CL
Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation
Xinjiang Technical Institute of Physics & Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经机器翻译在机器翻译任务中取得了令人瞩目的成绩。然而，考虑到效率，仅包含前N个最高频率词的有限大小的词汇表用于模型训练，这导致许多稀有和未知词。对于那些词法复杂、词汇量大、资源贫乏、词法丰富的黏着语，翻译起来相当困难。在本文中，我们提出了一个形态分词方法的源端NMT，结合形态学知识，以保持在词结构的语言和语义信息，同时减少在训练时的词汇量。它可以作为一个预处理工具，在其他自然语言处理（NLP）任务的粘合语言的词分割。实验结果表明，本文提出的基于形态动机的分词方法更适用于NMT模型，在降低数据稀疏性和语言复杂度的同时，显著改善了土英和维汉机器翻译任务。
2020-01-02 cs.CL
Towards one-shot learning for rare-word translation with external experts
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
神经机器翻译（NMT）显著提高了自动翻译模型的质量。当前系统中的主要挑战之一是稀有词的翻译。我们提出了一种通用的方法来解决这个弱点，通过外部模型将训练数据注释为专家，并使用指针网络和强化学习控制模型与专家的交互。我们使用基于短语的模型来模拟专家以补充神经机器翻译模型的实验表明，该模型可以被训练成一致地将注释复制到输出中。我们证明了我们提出的框架在只有词汇资源的域外翻译场景中的好处，在英语到西班牙语和德语到英语的两个翻译方向上提高了1.0 BLEU点以上
2018-09-10 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh（爱丁堡大学）
中文分词已经进入了深度学习时代，大大减少了特征工程的麻烦。近年来，一些研究者尝试将其作为字符级翻译，进一步简化了模型的设计，但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作，我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术，包括正则化，数据增强，客观加权，迁移学习和集成。与以前的作品相比，我们的低资源的基于简化的方法保持了轻松的模型设计，但在不使用额外的数据的情况下，在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages
Microsoft AI & Research（微软人工智能与研究院）
用于神经机器翻译（NMT）的迁移学习方法训练关于辅助-目标语言对（父模型）的NMT模型，其稍后针对感兴趣的源-目标语言对（子模型）进行微调，其中目标语言是相同的。在许多情况下，辅助语言具有与源语言不同的词序。我们发现，当源语言和目标语言之间几乎没有平行语料库时，不同的词序会限制迁移学习的益处。为了弥合这种分歧，我们提出了预排序的辅助语言句子匹配源语言的词序和训练父模型。我们对许多语言对的实验表明，弥合语序差距会显着提高翻译质量。
2019-04-10 cs.CL
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
Google（谷歌）
神经机器翻译（NMT）是一种端到端的自动翻译学习方法，有可能克服传统的基于短语的翻译系统的许多弱点。不幸的是，NMT系统在训练和翻译推理方面都是计算昂贵的。此外，大多数NMT系统在处理罕见单词方面存在困难。这些问题阻碍了NMT在实际部署和服务中的使用，其中准确性和速度都是至关重要的。在这项工作中，我们提出了GNMT，谷歌的神经机器翻译系统，它试图解决许多这些问题。我们的模型由一个深度LSTM网络组成，具有8个编码器和8个解码器层，使用注意力和残差连接。为了提高并行性，从而减少训练时间，我们的注意力机制将解码器的底层连接到编码器的顶层。为了加快最终的翻译速度，我们在推理计算过程中采用了低精度算法。为了提高对罕见单词的处理，我们将单词划分为一组有限的公共子单词单元（“单词块”），用于输入和输出。该方法在“字符”定界模型的灵活性和“词”定界模型的效率之间提供了良好的平衡，自然地处理稀有词的翻译，并最终提高了系统的整体准确性。我们的束搜索技术采用了长度归一化过程，并使用覆盖惩罚，这鼓励生成的输出句子，最有可能覆盖源句子中的所有单词。在WMT的14个英法和英德基准测试中，GNMT取得了最先进的有竞争力的结果。与谷歌基于短语的翻译系统相比，GNMT对一组孤立的简单句子进行了人工并排评估，平均减少了60%的翻译错误。
2016-10-08 cs.AI cs.CL cs.LG
Bridging the Gap between Training and Inference for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）；Worcester Polytechnic Institute（伍斯特理工学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经机器翻译以预测下一个词为条件，按顺序生成目标词。在训练时，它使用地面真值词作为上下文进行预测，而在推理时，它必须从头开始生成整个序列。这种被馈送上下文的差异导致路径之间的误差累积。此外，单词级训练需要在生成的序列和地面真值序列之间进行严格匹配，这导致对不同但合理的翻译的过度校正。在本文中，我们解决这些问题的采样上下文的话，不仅从地面真值序列，而且从预测序列的模型在训练过程中，其中预测序列是选择一个最佳的水平。在汉语-英语和WMT'14英语-德语翻译任务上的实验结果表明，该方法可以在多个数据集上取得显着的改进。
2019-06-17 cs.CL cs.LG stat.ML
Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings
Soochow University（苏州大学）；University of Lisbon（里斯本大学）；Alibaba Group（阿里巴巴集团）
在神经机器翻译中，将单词的源序列编码成向量，在解码阶段从该向量生成目标序列。与统计机器翻译不同的是，源单词和它们可能的目标对应物之间的关联没有显式地存储。源字和目标字位于长信息处理过程的两端，在源编码和目标解码阶段都由隐藏状态介导。这使得源词有可能被错误地翻译成目标词，而该目标词不是目标语言中任何可接受的对等词。在本文中，我们试图通过一种被称为桥接源和目标词嵌入的方法来缩短源和目标词之间的距离，从而加强它们之间的关联。我们尝试了三种策略：（1）源端桥接模型，其中源词嵌入向输出目标序列移动一步;（2）目标端桥接模型，其探索更相关的源词嵌入以预测目标序列;（3）直接桥接模式，它直接连接源语和目标语词嵌入，以尽量减少一个词被另一个词翻译时的错误。本文提出的实验和分析表明，所提出的桥接模型是能够显着提高质量的句子翻译，在一般情况下，对齐和翻译的个别源词与目标词，特别是。
2018-05-10 cs.CL
Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement
Tencent Inc（腾讯公司）
机器翻译中的词级质量评估旨在发现译文中潜在的错误。通常，关于词级QE的传统工作被设计为根据编辑后的努力来预测翻译质量，其中，通过翻译出错率（TER）工具包比较MT句子和编辑后的句子之间的词来自动生成词标签（“OK”和“BAD”）。虽然编辑后的努力在一定程度上可以用来衡量翻译质量，但我们发现它通常与人类对单词翻译的好坏的判断相冲突。为了克服这一局限性，我们首先创建了一个黄金基准数据集，即\emph{HJQE}（Human Judgement on Quality Estimation），专家翻译人员直接对他们的判断进行注释。此外，为了进一步利用并行语料库，本文提出了自监督预训练的两种标签修正策略，即标签细化策略和基于树的标注策略，使基于TER的人工QE语料库更接近于\emph{HJQE}。我们进行了大量的实验的基础上公开可用的WMT En-De和En-Zh语料库。实验结果不仅表明我们提出的数据集更符合人类的判断，而且也证实了所提出的标签校正策略的有效性。\footnote{The data can be found at \url{https://github.com/ZhenYangIACAS/HJQE}.}
2022-09-13 cs.CL
Multimodal Machine Translation with Embedding Prediction
Tokyo Metropolitan University（东京都立大学）
多模态机器翻译是神经机器翻译的一个重要应用。它帮助计算机深入理解视觉对象及其与自然语言的关系。然而，多模态NMT系统遭受可用训练数据的短缺，导致翻译稀有词的性能差。在NMT中，预训练的词嵌入已被证明可以改善低资源域的NMT，并提出了一种基于搜索的方法来解决罕见词问题。在这项研究中，我们有效地结合这两种方法在多模态NMT的背景下，并探讨我们如何能够充分利用预训练的词嵌入，以更好地翻译罕见的话。我们报告了1.24 METEOR和2.49 BLEU的整体性能改进，并实现了7.67的罕见词翻译F分数的提高。
2019-04-01 cs.CL
Combining Word and Character Vector Representation on Neural Machine Translation
PT Prosa Solusi Cerdas（普罗萨智能解决方案公司）
本文描述了英语-印尼语神经机器翻译（NMT）中词向量表示和字符向量表示的组合。使用不同的输入向量表示构建了NMT模型的六种配置：基于单词的、使用双向LSTM（bi-LSTM）的单词和字符表示的组合、使用CNN的单词和字符表示的组合、通过组合bi-LSTM和CNN来组合单词和字符表示通过三种不同的向量运算：加法、逐点乘法和平均。实验结果表明，除了使用双LSTM和CNN通过加法运算组合单词和字符表示的模型外，所有组合单词和字符表示的NMT模型的BLEU得分都高于基线模型，范围在9.14到11.65分之间。达到的最高BLEU评分为42.48，而基线模型为30.83。
2020-09-13 cs.CL
Look It Up: Bilingual Dictionaries Improve Neural Machine Translation
University of Notre Dame（圣母大学）
尽管神经机器翻译（NMT）的质量有所提高，但生僻词仍然存在问题。对于人类来说，解决罕见词问题的方法一直是字典，但字典不能直接纳入NMT。在本文中，我们描述了一种将字典定义“附加”到稀有单词的新方法，以便网络可以学习使用它们的最佳方式。我们展示了高达1.8 BLEU使用双语词典的改进。
2022-01-28 cs.AI cs.CL cs.LG
Modeling Future Cost for Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构(NICT)）
现有的神经机器翻译（NMT）系统利用序列到序列的神经网络逐词生成目标译文，然后使每个时间步生成的译文与参考文献中的译文尽可能一致。然而，经训练的翻译模型倾向于集中于确保在当前时间步处生成的目标词的准确性，而不考虑其未来成本，这意味着生成后续目标翻译的预期成本（即，下一个目标词）。为了解决这个问题，我们提出了一个简单而有效的方法来模拟NMT系统中每个目标词的未来成本。具体地，基于当前生成的目标词及其上下文信息来估计时间相关的未来成本，以促进NMT模型的训练。此外，在当前时间步学习的未来上下文表示用于帮助在解码中生成下一个目标词。在WMT14德英、WMT14英法和WMT17汉英三个广泛使用的翻译数据集上的实验结果表明，该方法在基于Transformer的NMT基础上取得了显著的改进。
2020-02-28 cs.CL
Predicting Word Similarity in Context with Referential Translation Machines
Huawei Türkiye R&D Center（华为土耳其研发中心）；Istanbul（伊斯坦布尔）
本研究将语境下的英语词语相似度判定转化为机器翻译性能预测任务，采用支持统一表示与堆叠模型的参照翻译机（RTMs），在语境分级词语相似度（GWSC）任务中取得最优结果。
2024-07-07 cs.AI cs.CL
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是一种新的机器翻译方法，它在多种语言对上的翻译性能优于传统的统计机器翻译（SMT）。翻译是一个开放词汇的问题，但现有的NMT系统大多使用固定词汇，这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度，如字符，子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一，然而，据我们所知，目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外，我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明，在词汇量不大的情况下，子词模型的翻译效果最好，而词字混合模型的翻译效果最好。不同粒度的实验结果表明，Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
Learning When to Attend for Neural Machine Translation
Soochow University（苏州大学）；Tencent AI Lab（腾讯AI实验室）
在过去的几年中，注意力机制已经成为端到端神经机器翻译模型中不可或缺的组成部分。然而，以往的注意力模型在预测目标词时总是参考一些源词，这与某些目标词没有对应的源词的事实相矛盾。出于这一观察，我们提出了一种新的注意力模型，它有能力确定解码器什么时候应该注意源字，什么时候不应该。在NIST汉英翻译任务上的实验结果表明，新模型的BLEU得分比最先进的基线提高了0.8。
2017-05-31 cs.CL
Integrating Weakly Supervised Word Sense Disambiguation into Neural Machine Translation
Nuance Communications（Nuance通讯公司）；Idiap Research Institute（Idiap研究所）；HEIG-VD / HES-SO（瑞士西部高等专业学院沃州管理与工程学院/瑞士西部高等专业学院）
本文表明，词义消歧（WSD）可以改善神经机器翻译（NMT），通过扩大源上下文时考虑建模潜在的歧义词的意义。我们首先介绍了三个自适应聚类算法的WSD，基于k-means，中国餐馆的过程，和随机游走，然后将其应用到大的单词上下文表示在一个低秩空间和SemEval共享任务数据进行评估。然后，我们在最先进的NMT系统中学习词向量和由我们最好的WSD方法定义的意义向量。我们表明，这些向量的串联，并使用一个意义上的选择机制的基础上加权平均的意义向量，优于几个基线，包括意义感知的。这是通过五种语言对的翻译来证明的。这些改进在强大的NMT基线上超过一个BLEU点，在所有模糊名词和动词上的准确率为+4%，或者在几个具有挑战性的单词上手动评分时为+20%。
2018-10-05 cs.CL
