Phrase-Based & Neural Unsupervised Machine Translation
Facebook AI Research（脸书人工智能研究院）；Sorbonne Universités（索邦大学）；Université Le Mans（勒芒大学）
机器翻译系统在某些语言上实现了接近人类水平的性能，但它们的有效性强烈依赖于大量并行句子的可用性，这阻碍了它们对大多数语言对的适用性。这项工作研究了在只能访问每种语言的大型单语语料库时如何学习翻译。我们提出了两种模型变体，神经和基于短语的模型。这两个版本都利用了参数的仔细初始化、语言模型的去噪效果以及通过迭代反向翻译自动生成并行数据。这些模型明显优于文献中的方法，同时更简单，超参数更少。在广泛使用的WMT'14英-法和WMT'16德-英基准测试中，我们的模型在不使用单个平行句子的情况下分别获得了28.1和25.2个BLEU点，比现有技术高出11个BLEU点。在英语-乌尔都语和英语-罗马尼亚语等低资源语言上，我们的方法比半监督和监督方法利用可用双文本的缺乏取得了更好的结果。我们的NMT和PBSMT代码是公开的。
2018-08-13 cs.CL
Neural Machine Translation with External Phrase Memory
The University of Hong Kong（香港大学）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
在本文中，我们提出了phraseNet，一个神经机器翻译与短语记忆存储短语对符号形式，从语料库中挖掘或由人类专家指定。对于任何给定的源句子，phraseNet扫描短语存储器以确定候选短语对，并相应地将标记信息集成到源句子的表示中。该解码器采用词生成组件和短语生成组件的混合，并采用专门设计的策略一次生成多个词的序列。PhraseNet不仅向将外部知识融入神经机器翻译迈出了一步，而且还努力扩展了递归神经网络的逐词生成机制。我们对汉英翻译的实证研究表明，在记忆中仔细选择短语表，phraseNet比通用神经机器翻译器产生3.45 BLEU的改进。
2016-06-06 cs.CL
Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
领域自适应是神经机器翻译面临的一个重要挑战。然而，传统的微调解决方案需要多次额外的训练，并产生高成本。在本文中，我们提出了一个非调优的范例，解决领域自适应与基于调优的方法。具体来说，我们构建了一个双语短语级数据库，并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库（RePP），我们有效地提高了翻译质量。实验表明，我们的方法提高了特定领域的机器翻译为6.2 BLEU分数，并提高了11.5%的准确率，而无需额外的训练翻译约束。
2022-09-23 cs.CL
Learning Semantic Representations for the Phrase Translation Model
Microsoft Research（微软研究院）
本文提出了一种新的基于语义的短语翻译模型。将一对源短语和目标短语投影到低维潜在语义空间中的连续值向量表示中，在该低维潜在语义空间中，通过该对短语之间的距离来计算它们的翻译得分。投影是由一个多层神经网络，其权重是学习并行训练数据。该学习旨在直接优化端到端机器翻译结果的质量。实验评估已进行两个Europarl翻译任务，英语-法语和德语-英语。实验结果表明，新的基于语义的短语翻译模型显著提高了基于短语的统计机器翻译系统的性能，获得了0.7-1.0的BLEU积分。
2013-11-28 cs.CL
An Effective Method using Phrase Mechanism in Neural Machine Translation
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
本研究针对神经机器翻译任务，提出融合短语机制的PhraseTransformer方法以改进Transformer基线，在VLSP 2022越中翻译数据集上取得了更优的BLEU成绩。
2023-08-22 cs.CL cs.LG
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）
语言模型是统计机器翻译中最重要的模块之一，目前基于词的语言模型占据主导地位。然而，许多翻译模型（例如，基于短语的模型）通过渲染和合成短语而不是单词来生成目标语言句子。因此，对短语之间的依赖关系进行建模更为合理，但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题，该模型试图解决三个关键子问题：1，如何在语言模型中定义短语; 2，如何在大规模单语数据中确定短语边界以扩大训练集; 3，如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题，大量的汉英翻译实验表明，我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
QCRI Machine Translation Systems for IWSLT 16
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所 – 哈马德·本·哈利法大学）
本文介绍了QCRI的机器翻译系统的IWITH 2016评估活动。我们参加了阿拉伯语->英语和英语->阿拉伯语轨道。我们建立了基于短语和神经机器翻译模型，以探讨新出现的NMT框架是否优于传统的基于短语的系统在阿拉伯语-英语语言对。我们训练了一个非常强大的基于短语的系统，包括一个大的语言模型，操作序列模型，神经网络联合模型和基于类的模型，以及不同的领域自适应技术，如MML过滤，混合建模和使用微调NNJM模型。然而，通过微调堆叠来自不同流派的数据并应用8个模型的集成来训练的神经MT系统，在阿拉伯语->英语方向上以显着的2 BLEU点优势击败了我们非常强大的基于短语的系统。我们在另一个方向上没有获得类似的收益，但仍然能够胜过基于短语的系统。我们还将系统组合应用于基于短语的输出和NMT输出。
2017-01-14 cs.CL
Multi-Granularity Self-Attention for Neural Machine Translation
Florida State University（佛罗里达州立大学）；Tencent AI Lab（腾讯AI实验室）
当前最先进的神经机器翻译（NMT）使用深度多头自注意网络，没有显式短语信息。然而，统计机器翻译的先前工作已经表明，将基本翻译单元从单词扩展到短语已经产生了实质性的改进，这表明通过短语的显式建模来提高NMT性能的可能性。在这项工作中，我们提出了多粒度自注意（Mg-Sa）：一个神经网络，结合多头自注意和短语建模。具体来说，我们训练了几个注意力头来注意n元语法或句法形式主义中的短语。此外，我们利用短语之间的相互作用来增强结构建模的强度-这是自我注意力的一个常见弱点。在WMT 14英语到德语和NIST汉语到英语翻译任务上的实验结果表明，该方法持续提高了性能。有针对性的语言分析表明，Mg-Sa确实捕捉有用的短语信息在不同的粒度水平。
2019-09-05 cs.CL
Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
针对低资源神经机器翻译泛化能力不足的问题，提出Joint Dropout方法，通过用变量替换短语增强组合性，在低资源语言对上显著提升翻译质量，并增强跨领域鲁棒性与适应性。
2023-07-24 cs.CL
Gender Bias Amplification During Speed-Quality Optimization in Neural Machine Translation
Facebook AI（脸书人工智能研究院）
当神经机器翻译（NMT）模型针对速度进行优化并使用BLEU在通用测试集上进行评估时，偏差是否会被放大？我们研究了在基于Transformer的模型中常用的加速解码的架构和技术，例如贪婪搜索、量化、平均注意力网络（AAN）和浅层解码器模型，并展示了它们对性别名词翻译的影响。我们构建了一个新的性别偏见测试集，SimpleGEN，基于性别名词短语，其中有一个单一的，明确的，正确的答案。虽然我们在应用速度优化时发现整体BLEU性能下降最小，但我们观察到性别化名词翻译性能以更快的速度下降。
2021-06-01 cs.CL
A Hybrid Morpheme-Word Representation for Machine Translation of Morphologically Rich Languages
National University of Singapore（新加坡国立大学）
我们提出了一种独立于语言的方法，用于改进统计机器翻译的形态丰富的语言，使用混合词素-单词表示，翻译的基本单位是词素，但在翻译过程的所有阶段都尊重单词边界。我们的模型通过以下方式扩展了经典的基于短语的模型：（1）单词边界感知的词素级短语提取，（2）使用单词级BLEU的词素级翻译模型的最小错误率训练，以及（3）与词素和单词级语言模型的联合评分。通过与经典模型的结合，进一步改进了模型。使用Europarl对英语到芬兰语的评估（714 K句子对; 1550万英语单词）显示，与基于BLEU和人类判断的经典模型相比，统计学上有显着改善。
2019-11-19 cs.CL cs.LG
Hard-Coded Gaussian Attention for Neural Machine Translation
最近的工作已经质疑了Transformer的多头注意力对于实现高翻译质量的重要性。我们通过开发一个没有任何学习参数的“硬编码”注意力变体来进一步推动这个方向。令人惊讶的是，用固定的、与输入无关的高斯分布替换编码器和解码器中所有学习到的自我注意头部，对四种不同语言对的BLEU分数的影响最小。然而，额外的硬编码交叉注意（将解码器连接到编码器）显着降低了BLEU，这表明它比自我注意更重要。这种BLEU下降的大部分可以通过向硬编码的Transformer添加单个学习的交叉注意头部来恢复。总的来说，我们的研究结果提供了对Transformer的哪些组件实际上是重要的见解，我们希望这将指导未来的工作，开发更简单，更有效的基于注意力的模型。
2020-05-02 cs.CL
Learning synchronous context-free grammars with multiple specialised non-terminals for hierarchical phrase-based translation
Universitat d’Alacant（阿利坎特大学）
基于分层短语统计机器翻译（HSMT）的翻译模型在某些语言对上表现出比非分层短语统计翻译模型更好的性能。HSMT的标准方法学习并应用带有单个非终结符的同步上下文无关文法。在这项工作中提出的语法细化算法背后的假设是，这个单一的非终端是过载的，并且没有足够的区分，因此，将其充分分割成更专业的符号可以导致改进的模型。本文提出了一种学习同步上下文无关文法的方法，该方法具有大量的初始非终结符，然后通过聚类算法对初始非终结符进行分组。我们的实验表明，由此产生的较小的一组非终端正确捕获的上下文信息，使其有可能在统计上显着提高标准HSMT方法的BLEU分数。
2020-04-03 cs.CL cs.LG
Phrase Table as Recommendation Memory for Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）由于其良好的翻译性能而受到广泛关注。然而，一些研究表明，NMT往往产生流畅，但不忠实的翻译。在本文中，我们提出了一种方法来缓解这个问题，使用短语表作为推荐记忆。其主要思想是为值得推荐的单词添加奖金，以便NMT能够做出正确的预测。具体地说，我们首先根据源句子搜索短语翻译表，得到一个前缀树来容纳所有候选目标短语。然后，我们通过NMT将候选目标短语与先前翻译的目标词进行匹配来构建推荐词集。之后，我们通过使用注意向量和短语翻译概率来确定每个可重复单词的具体奖励值。最后，我们将此奖金值集成到NMT中，以改善翻译结果。大量的实验表明，所提出的方法得到显着的改善，基于强注意力的NMT。
2018-05-25 cs.CL
Predicting Target Language CCG Supertags Improves Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）模型能够从连续的词汇信息中部分地学习句法信息。然而，一些复杂的句法现象，如介词短语附加，模型很差。本文的工作旨在回答两个问题：1）显式地对目标语言语法建模是否有助于NMT？2)单词和语法的紧密结合比多任务训练更好吗？我们在解码器中以CCG超标签的形式引入句法信息，通过将目标超标签与单词序列交织。我们的研究结果表明，明确建模目标语法提高机器翻译质量德语->英语，高资源对，罗马尼亚语->英语，低资源对，也有几个句法现象，包括介词短语附件。此外，单词和语法的紧密耦合比多任务训练更能提高翻译质量。通过将目标语法与在嵌入层中添加源端依赖标签相结合，我们获得了德语->英语的0.9 BLEU和罗马尼亚语->英语的1.2 BLEU的总改进。
2017-07-18 cs.CL
Empirical Methods for Compound Splitting
复合词对于诸如机器翻译（MT）之类的NLP应用是一个挑战。我们介绍了从单语和平行语料库中学习分裂规则的方法。我们评估他们对黄金标准，并衡量其对统计MT系统的性能的影响。结果显示，在德语-英语名词短语翻译任务中，MT的准确率为99.1%，性能增益为0.039 BLEU。
2003-02-22 cs.CL
On Using Monolingual Corpora in Neural Machine Translation
Université de Montréal（蒙特利尔大学）；Middle East Technical University（中东技术大学）；Université du Maine（曼恩大学）
最近在用于机器翻译的基于端到端神经网络的架构上的工作已经显示出用于En-Fr和En-De翻译的有希望的结果。可以说，这一成功背后的主要因素之一是高质量的平行语料库的可用性。在这项工作中，我们研究如何利用丰富的单语语料库的神经机器翻译。与基于短语和分层的基线相比，我们在低资源语言对土耳其语-英语上获得了高达$1.96$ BLEU的改进，在中文-英语聊天消息的重点领域任务上获得了$1.59$ BLEU。虽然我们的方法最初针对的是并行数据较少的任务，但我们发现它也扩展到了高资源语言，如Cs-En和De-En，在这些语言中，我们分别获得了神经机器翻译基线上的$0.39$和$0.47$ BLEU分数的提高。
2015-06-12 cs.CL
A Neural Approach to Language Variety Translation
University of Wolverhampton（伍尔弗汉普顿大学）；Saarland University（萨尔大学）
在本文中，我们提出了第一个基于神经的机器翻译系统训练，以翻译标准的国家之间的品种相同的语言。我们以一对巴西-欧洲葡萄牙语为例，并比较该方法的性能，基于短语的统计机器翻译系统。我们报告的性能提高了0.9 BLEU点从欧洲翻译到巴西葡萄牙语和0.2 BLEU点时，在相反的方向翻译。我们还进行了一个人的评价实验与母语为巴西葡萄牙语，这表明，人类更喜欢的输出相比，基于神经系统的统计系统。
2018-07-02 cs.CL
Assamese-English Bilingual Machine Translation
Gauhati University（高哈蒂大学）
机器翻译是将文本从一种语言翻译成另一种语言的过程。本文利用阿萨姆语和英语的平行语料库，对阿萨姆语和英语进行了统计机器翻译。这里使用了一个基于统计短语的翻译工具包Moses。为了开发语言模型和对齐单词，我们分别使用了另外两个工具IRSTLM和GIZA。BLEU评分用于检查我们的翻译系统性能，它有多好。在BLEU分数的差异，而获得翻译句子从阿萨姆语到英语，反之亦然。由于印度语言在形态上非常丰富，因此从英语到阿萨姆语的翻译相对较难，导致BLEU分数较低。我们的翻译系统还引入了一个统计音译系统，基本上处理专有名词，OOV（词汇表外）的话，这是不存在于我们的语料库。
2014-07-08 cs.CL
Effective Approaches to Attention-based Neural Machine Translation
Stanford University（斯坦福大学）
注意机制最近被用来改善神经机器翻译（NMT）的翻译过程中选择性地集中在源语句的部分。然而，一直很少有工作探索有用的架构，注意为基础的NMT。本文探讨了两种简单而有效的注意机制：一种是关注所有源词的全局方法，另一种是一次只关注源词的一个子集的局部方法。我们证明了这两种方法的有效性在WMT翻译任务之间的英语和德语在两个方向。通过局部注意力，我们实现了5.0 BLEU点的显着增益，超过了已经包含已知技术（如dropout）的非注意力系统。我们使用不同注意力架构的集成模型在WMT'15英语到德语翻译任务中建立了一个新的最先进的结果，具有25.9 BLEU点，比NMT和n-gram reranker支持的现有最佳系统提高了1.0 BLEU点。
2015-09-20 cs.CL
Phrase-level Active Learning for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
神经机器翻译（NMT）对域移位敏感。在本文中，我们在一个主动学习环境中解决了这个问题，在这个环境中，我们可以花费给定的预算来翻译域内数据，并在新翻译的数据上逐渐微调预训练的域外NMT模型。现有的用于NMT的主动学习方法通常基于不确定性分数来选择句子，但是这些方法即使在句子中只有一个或两个关键短语是信息的情况下也需要对完整句子进行昂贵的翻译。为了解决这一限制，我们重新审视以前的工作，从基于短语的机器翻译（PBMT）时代，选择不是完整的句子，而是个别短语。然而，虽然将这些短语合并到PBMT系统中相对简单，但对于NMT系统来说就不那么简单了，NMT系统需要在完整序列上进行训练，以捕获新领域特有的句子的更大结构特性。为了克服这些障碍，我们建议从新领域的未标记数据中选择完整的句子和单个短语，以路由到人工翻译。在德英翻译任务中，我们的主动学习方法与基于不确定性的句子选择方法相比实现了一致的改进，在强主动学习基线上提高了高达1.2的BLEU分数。
2021-06-21 cs.AI cs.CL
Unsupervised Statistical Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
虽然现代机器翻译依赖于大型并行语料库，但最近的工作已经设法仅从单语语料库训练训练神经机器翻译（NMT）系统（Artetxe等人，2018 c; Lample等人，2018年）。尽管这种方法在低资源环境中具有潜力，但现有系统远远落后于其监督的同行，限制了其实际利益。在本文中，我们提出了一种基于短语的统计机器翻译（SMT）的替代方法，该方法显着缩小了与监督系统的差距。我们的方法得益于SMT的模块化架构：我们首先通过跨语言嵌入映射从单语语料库中导出短语表，将其与n-gram语言模型相结合，并通过无监督MERT变体微调超参数。此外，迭代反向翻译进一步改善了结果，例如，在WMT 2014英语-德语和英语-法语中分别产生14.08和26.22 BLEU点，比以前的无监督系统提高了7-10多个BLEU点，并将监督SMT（Moses在Europarl上训练）的差距缩小到2-5 BLEU点。我们的实现可以在https://github.com/artetxem/monoses上获得
2018-09-04 cs.AI cs.CL cs.LG
Reordering rules for English-Hindi SMT
CDAC Mumbai（孟买电子发展中心）
重排序是统计机器翻译（SMT）系统的一个预处理阶段，在SMT系统中，源语句的单词按照目标语言的语法进行重排序。我们提出了一套丰富的规则来更好地重新排序。我们的想法是促进训练过程中更好的对齐和并行短语提取的短语为基础的SMT系统。重新排序也有助于解码过程，从而提高机器翻译的质量。我们已经观察到，通过使用我们的方法，与基线SMT相比，翻译质量有了显着提高。我们使用BLEU、NIST、多参考字出错率、多参考位置无关出错率来判断改进。我们利用开放源代码的SMT工具包MOSES来开发该系统。
2016-10-24 cs.CL
Dynamic Data Selection for Neural Machine Translation
训练数据的智能选择已被证明是一种成功的技术，可以同时提高基于短语的机器翻译（PBMT）的训练效率和翻译性能。随着最近神经机器翻译（NMT）的普及，我们在本文中探讨了NMT在多大程度上以及如何从数据选择中受益。虽然现有技术的数据选择（Axelrod等人，2011）一贯表现良好的PBMT，我们表明，收益大大低于NMT。接下来，我们将介绍NMT的动态数据选择，在这种方法中，我们在不同的训练时期之间改变所选择的训练数据子集。我们的实验表明，当应用我们称之为渐进微调的技术时，可以获得最佳结果，与原始数据选择方法相比，其BLEU提高了+2.6，与一般基线相比，其BLEU提高了+3.1。
2017-08-02 cs.CL
CUNI Systems for the Unsupervised News Translation Task in WMT 2019
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
在本文中，我们描述了用于ACL 2019第四届机器翻译会议（WMT 19）的无监督新闻共享任务的CUNI翻译系统。我们遵循Artexte et al.（2018 b）的策略，创建了一个基于种子短语的系统，其中短语表是从单语数据训练的跨语言嵌入映射初始化的，然后是在合成并行数据上训练的神经机器翻译系统。合成语料库是由一个单语语料库的调整PBMT模型，通过迭代回译细化。我们进一步关注命名实体的处理，即词汇表的一部分，其中跨语言嵌入映射受到最大的影响。我们的系统在德国-捷克WMT 19共享任务上的BLEU得分为15.3。
2019-07-29 cs.CL
Demo of Sanskrit-Hindi SMT System
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
演示提案提出了一个基于短语的梵语-印地语（SaHiT）统计机器翻译系统。该系统是在摩西身上开发的。使用了43 k个梵语-印地语平行语料库的句子和56 k个目标语言（印地语）单语语料库的句子。该系统给出57 BLEU评分。
2018-04-13 cs.CL
Learning Source Phrase Representations for Neural Machine Translation
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Tianjin University（天津大学）；China Mobile Online Services（中移在线服务有限公司）
Transformer转换模型（Vaswani等人，2017）可以有效地并行计算，并大大推动了神经机器翻译（NMT）的性能。虽然直观地说，注意力网络可以通过比RNN更短的网络路径连接遥远的单词，但实证分析表明，它仍然难以完全捕获长距离依赖性（Tang et al.，2018年）。考虑到建模短语而不是单词通过使用更大的翻译块（“短语”）及其重新排序能力显著改进了统计机器翻译（SMT）方法，在短语级别建模NMT是帮助模型捕获长距离关系的直观建议。在本文中，我们首先提出了一个专注的短语表示生成机制，它能够从相应的令牌表示生成短语表示。此外，我们将生成的短语表示到Transformer翻译模型中，以增强其捕获长距离关系的能力。在我们的实验中，我们在强大的Transformer基线上获得了WMT 14英语-德语和英语-法语任务的显着改善，这表明了我们的方法的有效性。我们的方法帮助Transformer Base模型在Transformer Big模型的水平上执行，甚至在长句方面更好，但参数和训练步骤要少得多。事实上，即使在大的背景下，短语表征也有帮助，这进一步支持了我们的猜想，即它们对长距离关系做出了有价值的贡献。
2020-06-25 cs.CL
Telemedicine as a special case of Machine Translation
Medical University of Warsaw（华沙医科大学）；Polish Telemedicine Society（波兰远程医疗协会）
机器翻译在质量方面发展得相当快。目前，我们在网上有几个机器翻译系统，它们提供合理的翻译。然而，这些系统并不完美，在某些特定领域，它们的质量可能会下降。本文探讨了不同的训练方法的效果时，它涉及到波兰-英语统计机器翻译系统用于医疗数据。EMEA平行文本语料库的许多元素和不相关的OPUS开放字幕项目被用作创建短语表和不同语言模型的基础，包括这些翻译系统的开发、调整和测试。BLEU、NIST、METEOR和TER指标已被用于评估各种系统的结果。我们的实验涉及的系统，包括词性标注，因子短语模型，层次模型，句法标记，和其他对齐方法。我们还对波兰语数据进行了深入分析，作为自动化数据处理（如真正的大小写或标点符号规范化阶段）之前的准备工作。标准化指标用于比较结果。分数低于15%意味着机器翻译引擎无法提供令人满意的质量，分数大于30%意味着翻译应该是可以理解的，没有问题，分数超过50表示翻译足够。BLEU、NIST、METEOR和TER的波兰语到英语翻译评分的平均结果相对较高，范围从70.58到82.72。最低分是64.38。英语翻译成波兰语的平均结果范围略低（67，58 - 78，97）。所提出的高质量机器翻译系统的现实生活中的实现，预计在一般的医疗实践和远程医疗。
2015-10-15 cs.CL
Are BLEU and Meaning Representation in Opposition?
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
获得连续空间句子表示的可能方法之一是通过训练神经机器翻译（NMT）系统。然而，最近的注意力机制去除了神经网络中可以从中提取源句子表示的单个点。我们提出了几个变化的细心NMT架构，使这个会议点回来。经验评估表明，翻译质量越好，学习的句子表征服务于广泛的分类和相似性任务越差。
2018-05-16 cs.CL
Self-Attention with Relative Position Representations
Google（谷歌）；Google Brain（谷歌大脑）
完全依靠注意力机制，Vaswani等人（2017）引入的Transformer实现了机器翻译的最新成果。与递归和卷积神经网络相比，它没有明确地在其结构中对相对或绝对位置信息进行建模。相反，它需要将绝对位置的表示添加到其输入。在这项工作中，我们提出了一种替代方法，扩展自我注意力机制，有效地考虑表示的相对位置，或序列元素之间的距离。在WMT 2014英语到德语和英语到法语的翻译任务中，这种方法分别比绝对位置表示提高了1.3 BLEU和0.3 BLEU。值得注意的是，我们观察到，结合相对和绝对位置表示不会进一步提高翻译质量。我们描述了一个有效的实现我们的方法，并把它作为一个实例的关系感知自我注意力机制，可以推广到任意图形标记的输入。
2018-04-12 cs.CL
Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
在本研究中，我们提出了新的序列到序列预训练目标低资源机器翻译（NMT）：日语特定序列到序列（JASS）的语言对涉及日语作为源或目标语言，英语特定序列到序列（ENSS）的语言对涉及英语。JASS侧重于掩蔽和重新排序日语语言单位称为文组，而ENSS是基于短语结构掩蔽和重新排序任务。在ASPEC日语-英语和日语-汉语，维基百科日语-汉语，新闻英语-韩语语料库上的实验表明，JASS和ENSS优于MASS和其他现有的语言无关的预训练方法，对于日语-英语任务，最高可达+2.9 BLEU点，对于日语-汉语任务，最高可达+7.0 BLEU点，对于英语-韩语任务，最高可达+1.3 BLEU点。实证分析侧重于JASS和ENSS中各个部分之间的关系，揭示了JASS和ENSS子任务的互补性。使用LASER，人类评估和案例研究的准确性评估表明，我们提出的方法在没有注入语言知识的情况下显着优于预训练方法，并且与流畅性相比，它们对充分性有更大的积极影响。我们在这里发布代码：https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining.
2022-01-20 cs.CL
Vocabulary Manipulation for Neural Machine Translation
T.J. Watson Research Center（托马斯·J·沃森研究中心）；IBM
为了捕捉丰富的语言现象，神经机器翻译模型必须使用大的词汇量，这需要高计算时间和大内存使用。在本文中，我们缓解这个问题，通过引入一个并行级或批量级词汇，这只是一个非常小的子集的完整输出词汇。对于每一个句子或批次，我们只预测其词汇水平或批次水平词汇中的目标词。因此，我们减少了计算时间和内存的使用。我们的方法简单地考虑了源句子中每个单词或短语的翻译选项，并基于从传统机器翻译模型中学习的单词到单词的翻译模型或双语短语库为每个句子选择一个非常小的目标词汇。在大规模英法翻译任务上的实验结果表明，我们的方法比Jean et al.（2015）的大词汇量神经机器翻译系统的翻译性能好1个BLEU点。
2016-05-10 cs.CL
Tree-to-Sequence Attentional Neural Machine Translation
The University of Tokyo（东京大学）
现有的神经机器翻译（NMT）模型大多集中于顺序数据的转换，并不直接使用句法信息。我们提出了一种新的端到端句法NMT模型，扩展了序列到序列模型与源端短语结构。我们的模型有一个注意力机制，使解码器能够生成一个翻译的单词，同时柔和地将其与短语以及源句子的单词对齐。WAT'15英语到日语数据集上的实验结果表明，我们提出的模型大大优于序列到序列的注意力NMT模型，并与最先进的树到字符串SMT系统相媲美。
2016-06-08 cs.CL
Interactive Attention for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Technology Co., Ltd.（腾讯科技有限公司）；Huawei Technologies（华为技术有限公司）；Dublin City University（都柏林城市大学）
传统的基于注意力的神经机器翻译（NMT）在生成目标句子时进行动态对齐。通过重复读取源句子的表示，其在由编码器生成之后保持固定（Bahdanau等人，2015），注意力机制极大地增强了最先进的NMT。本文提出了一种新的注意力机制，称为交互注意力（INTERACTIVE ATTENTION），它通过阅读和写作两种操作来模拟翻译过程中解码者和源语句表征之间的交互。交互式注意可以跟踪交互历史，从而提高翻译性能。在NIST汉英翻译任务上的实验表明，交互式注意力可以实现比先前的基于注意力的NMT基线和基于注意力的NMT的一些最先进的变体（即，覆盖模型（Tu等人，2016））。在多个测试集上，具有我们的交互式注意力的神经机器翻译器可以比基于注意力的开源NMT系统Groundhog平均高出4.22个BLEU点，比基于短语的开源系统Moses平均高出3.94个BLEU点。
2016-10-17 cs.CL
From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们检查了三种源语言的Transformer NMT编码器中的多头自注意，寻找可能具有语法解释的模式。在许多注意中心语中，我们经常发现关注同一位置的连续状态序列，这类似于句法短语。我们提出了一个透明的确定性的方法，量化的句法信息量存在于自我注意力，基于自动构建和评估短语结构树的短语序列。我们将得到的树与现有的选区树库进行比较，手动和计算精度和召回。
2019-06-05 cs.CL cs.LG
Lite Transformer with Long-Short Range Attention
Shanghai Jiao Tong University（上海交通大学）；Massachusetts Institute of Technology（麻省理工学院）
Transformer在自然语言处理（例如，机器翻译、问答）;然而，它需要大量的计算来实现高性能，这使得它不适合于受到硬件资源和电池严格限制的移动应用。在本文中，我们提出了一个有效的移动NLP架构，精简版Transformer，以方便部署移动NLP应用程序的边缘设备。关键的原语是长短距离注意力（LSRA），其中一组头部专门用于本地上下文建模（通过卷积），而另一组专门用于长距离关系建模（通过注意力）。这种专门化在三个成熟的语言任务上带来了比普通Transformer一致的改进：机器翻译、抽象摘要和语言建模。在有限的资源（500 M/100 M MAC）下，Lite Transformer在WMT'14英语-法语上的性能分别优于Transformer 1.2/1.7 BLEU。Lite Transformer将Transformer基础模型的计算量减少了2.5倍，BLEU评分降低了0.3。结合修剪和量化，我们进一步将Lite Transformer的模型大小压缩了18.2倍。对于语言建模，Lite Transformer在大约500 M MAC时实现了比Transformer低1.8的困惑。值得注意的是，Lite Transformer在移动NLP设置中的BLEU比基于AutoML的Evolved Transformer高0.5倍，而无需进行需要超过250年GPU的昂贵架构搜索。代码已…
2020-04-24 cs.CL
Analyzing the Use of Character-Level Translation with Sparse and Noisy Datasets
Uppsala University（乌普萨拉大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提供了一个字符级机器翻译模型的分析，当应用于稀疏和嘈杂的数据集，如众包电影字幕时，在基于机器翻译的翻译中使用。在我们的实验中，我们发现这样的字符级模型减少了40%以上的未翻译单词的数量，并且在有限的训练数据的情况下特别具有竞争力（提高了2-3个BLEU点）。我们探讨了字符对齐、短语表过滤、文本大小和主语言的选择对翻译质量的影响。我们进一步比较了级联的翻译模型，通过多个枢轴使用合成训练数据，我们发现，后者的工作效果明显更好。最后，我们证明，无论是字或字符BLEU与人类的判断完全相关，由于BLEU的长度的敏感性。
2021-09-27 cs.AI cs.CL cs.LG
On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation
RWTH Aachen University（亚琛工业大学）
本文研究了基于Transformer结构的多头注意力模型中的对齐问题。我们证明，对准提取Transformer模型可以通过增加一个额外的对准头的多头源到目标的注意力组件。这用于计算更清晰的注意力权重。我们描述了如何使用对准头来实现有竞争力的性能。为了研究添加对齐头的效果，我们模拟了一个字典引导的翻译任务，其中用户希望使用预定义的字典条目来指导翻译。使用所提出的方法，我们实现了$3.8$ % BLEU的改善时，使用的字典相比，在基线情况下的$2.4$ % BLEU。我们还提出了对齐修剪，以加快解码基于语义的神经机器翻译（ANMT），这加快了翻译的一个因素的$1.8$没有损失的翻译性能。我们在共享的WMT 2016英语$\to$罗马尼亚语新闻任务和BOLT中文$\to$英语论坛任务上进行实验。
2018-09-11 cs.CL
Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
NLP的总趋势是通过更深的神经网络来增加模型容量和性能。然而，简单地堆叠用于机器翻译的流行的Transformer架构的更多层会导致差的收敛和高的计算开销。我们的经验分析表明，收敛性差，由于梯度消失所造成的残留连接和层归一化之间的相互作用。我们提出了深度缩放初始化（DS-Init），它减少了初始化阶段的参数方差，并减少了残差连接的输出方差，从而简化了通过归一化层的梯度反向传播。为了解决计算成本，我们提出了一个合并的注意力子层（MAtt），它结合了一个简化的平均为基础的自我注意力子层和encoderdecoder注意力子层的解码器侧。具有五个翻译方向的WMT和IWITR翻译任务的结果表明，具有DS-Init和MAtt的深度Transformers在BLEU方面可以大大超过其基础对应物（12层模型平均+1.1 BLEU），同时由于MAtt的效率提高，与基线模型的解码速度相匹配。
2019-08-29 cs.CL
Context-Dependent Translation Selection Using Convolutional Neural Network
Huawei Technologies Noah’s Ark Lab（华为技术诺亚方舟实验室）；Harbin Institute of Technology, Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）
提出了一种新的统计机器翻译译文选择方法，利用卷积神经网络对两种语言中的短语对进行相似性判断。专门设计的卷积架构不仅对翻译对的语义相似性进行编码，还对包含源语言中的短语的上下文进行编码。因此，我们的方法是能够捕捉上下文相关的翻译对的语义相似性。采用课程学习策略对模型进行训练：将训练样本分为易、中、难三类，由易到难逐步建立使用训练样本表示短语和句子层次上下文的能力。实验结果表明，我们的方法显着优于基线系统高达1.4 BLEU点。
2015-06-24 cs.CL cs.LG cs.NE
Improving Lexical Choice in Neural Machine Translation
University of Notre Dame（圣母大学）
我们探讨了神经机器翻译中生僻词误译问题的两种解决方案。首先，我们认为标准输出层，它计算一个向量的内积表示上下文与所有可能的输出词嵌入，奖励频繁的话不成比例，我们建议固定两个向量的范数为一个常数。其次，我们集成了一个简单的词汇模块，它与模型的其余部分联合训练。我们在8种语言对上评估了我们的方法，数据大小从10万到800万个单词，并实现了高达+4.3 BLEU的改进，几乎在所有设置中都超过了基于短语的翻译。
2018-04-17 cs.CL
Simplifying the Bible and Wikipedia Using Statistical Machine Translation
Language Technologies Institute（语言技术研究所）
我开始这项工作的希望是生成一个文本合成器（像音乐合成器），可以模仿某些语言风格。报告的大部分内容都集中在使用统计机器翻译（SMT）技术进行文本简化。我将摩西书应用于一个平行的《圣经》语料库（钦定版和易读版）和维基百科文章（普通版和简化版）。我报告了SMT的三个主要组成部分的重要性-短语翻译，语言模型和记录-通过改变它们的权重和比较METEOR和BLEU方面的简化文本的质量。在报告的最后，将提出一些文本的例子“合成”到国王詹姆斯风格。
2017-03-25 cs.CL
Improving Neural Machine Translation Models with Monolingual Data
University of Edinburgh（爱丁堡大学）；Samsung R&D Institute Poland（三星波兰研发中心）
神经机器翻译（NMT）在几种语言对上都获得了最先进的性能，而只使用并行数据进行训练。目标侧单语数据在提高基于短语的统计机器翻译的流畅性方面起着重要作用，我们研究了单语数据在NMT中的使用。与以前的工作相比，它将NMT模型与单独训练的语言模型相结合，我们注意到编码器-解码器NMT架构已经具有学习与语言模型相同的信息的能力，并且我们探索了在不改变神经网络架构的情况下使用单语数据进行训练的策略。通过将单语训练数据与自动反向翻译配对，我们可以将其视为额外的并行训练数据，并且我们在WMT 15任务英语<->德语（+2.8-3.7 BLEU）上获得了实质性的改进，并且对于低资源的IWMT 14任务土耳其语->英语（+2.1-3.4 BLEU），获得了新的最先进的结果。我们还表明，微调域单语和并行数据提供了实质性的改善IWIT 15任务英语->德语。
2016-06-03 cs.CL
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
Iterative Refinement for Machine Translation
Ecole Polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）
现有的机器翻译解码算法以严格单调的方式生成翻译，并且从不重新访问先前的决策。因此，早期的错误无法在后期纠正。在本文中，我们提出了一个翻译方案，从一个初始的猜测，然后进行迭代改进，可能会重新访问以前的决定。我们将我们的模型参数化为一个卷积神经网络，该网络基于源句子和当前翻译输出的注意力机制预测对现有翻译的离散替换。通过对每个句子进行不到一次修改，我们将基于短语的翻译系统的输出在WMT 15德英翻译上提高了0.4 BLEU。
2018-04-13 cs.CL
Syntactic Knowledge via Graph Attention with BERT in Machine Translation
University of Leeds（利兹大学）
针对Transformer深层句法建模不足的问题，提出SGB方法，利用GAT与BERT将句法依存特征作为显式知识融入机器翻译，实验证明其在三个任务中提升了翻译质量且未损失BLEU分数。
2023-05-22 cs.CL
Pre-Translation for Neural Machine Translation
Institute for Anthropomatics（拟人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
近年来，神经机器翻译（NMT）的发展显著提高了自动机器翻译的翻译质量。虽然大多数句子比基于统计机器翻译（SMT）的系统翻译的句子更准确和流畅，但在某些情况下，NMT系统产生的翻译具有完全不同的含义。当出现罕见的单词时，情况尤其如此。当使用统计机器翻译时，已经表明可以通过简化预处理步骤中的输入来实现显著的增益。一个常用的例子是预重排序方法。在这项工作中，我们使用基于短语的机器翻译将输入预翻译成目标语言。然后，神经机器翻译系统使用预翻译生成最终假设。因此，我们要么只使用基于短语的机器翻译（PBMT）系统的输出，要么结合PBMT输出和源句子。我们在英语到德语翻译任务上评估该技术。使用这种方法，我们能够超过PBMT系统以及基线神经MT系统多达2个BLEU点。分析了初始系统的质量对最终结果的影响。
2016-10-17 cs.CL
Attention Is All You Need
Google Brain（谷歌大脑）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Google（谷歌）
主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积神经网络。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络架构，Transformer，完全基于注意力机制，完全免除了递归和卷积。两个机器翻译任务的实验表明，这些模型是优越的质量，同时更并行化，并需要显着更少的时间来训练。我们的模型在WMT 2014年英语到德语翻译任务中达到了28.4 BLEU，比现有的最佳结果有所改善，包括超过2 BLEU的集成。在WMT 2014英语到法语的翻译任务中，我们的模型在8个GPU上训练了3.5天后，建立了一个新的单模型最先进的BLEU得分为41.8，这是文献中最好模型训练成本的一小部分。我们表明，Transformer推广到其他任务，成功地将其应用于英语选区分析与大型和有限的训练数据。
2023-08-02 cs.CL cs.LG
Paraphrases as Foreign Languages in Multilingual Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
释义是对同一语义的改写，有助于提高概括能力和翻译水平。然而，以前的作品只探讨释义在词或短语的水平，而不是在句子或语料库的水平。与以往只在单词或短语层面上探索释义的工作不同，我们在语料库层面上使用结构一致的整个训练数据的不同翻译作为释义。我们训练平行释义在多种语言从各种来源。我们将释义视为外语，用释义标签标记源句子，并以多语言神经机器翻译（NMT）的风格对平行释义进行训练。我们的多释义NMT仅在两种语言上训练，优于多语言基线。增加释义可以提高生僻词的翻译，增加词汇选择的熵和多样性。添加源释义比添加目标释义更能提高性能。将源和目标释义结合起来可以进一步提高性能;将释义与多语言数据结合起来会有所帮助，但性能参差不齐。我们使用24个语料库级别的圣经释义，实现了法语到英语翻译的BLEU得分为57.2，优于多语言基线，比单源单目标NMT基线高出+34.7。
2021-10-01 cs.CL
Incremental Decoding and Training Methods for Simultaneous Translation in Neural Machine Translation
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所–哈马德·本·哈利法大学）
我们通过修改神经MT解码器来解决同声翻译的问题，使其与动态构建的编码器和注意力一起工作。我们提出了一个可调的代理，决定最好的分割策略，用户定义的BLEU损失和平均比例（AP）的约束。我们的代理在BLEU上的性能优于先前提出的Wait-if-diff和Wait-if-worse代理（Cho和Esipova，2016），具有较低的延迟。其次，我们提出了对神经MT训练进行数据驱动的更改，以更好地匹配增量解码框架。
2018-06-10 cs.CL
Neural Phrase-to-Phrase Machine Translation
Fudan University（复旦大学）；DeepMind（深度思维）；Google（谷歌）；Tsinghua University（清华大学）
在本文中，我们提出了神经短语到短语的机器翻译（NP $^2$ MT）。我们的模型使用短语注意力机制来发现相关的输入（源）片段，这些片段被解码器用来生成输出（目标）短语。我们还设计了一种高效的动态规划算法来解码片段，使模型的训练速度比Huang等人（2018）现有的基于神经短语的机器翻译方法更快。此外，我们的方法可以在解码过程中自然地与外部短语词典集成。实证实验表明，我们的方法达到了与基准数据集上的最先进的方法相当的性能。然而，当训练和测试数据来自不同的分布或域时，我们的方法表现得更好。
2018-11-06 cs.CL cs.LG stat.ML
Towards one-shot learning for rare-word translation with external experts
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
神经机器翻译（NMT）显著提高了自动翻译模型的质量。当前系统中的主要挑战之一是稀有词的翻译。我们提出了一种通用的方法来解决这个弱点，通过外部模型将训练数据注释为专家，并使用指针网络和强化学习控制模型与专家的交互。我们使用基于短语的模型来模拟专家以补充神经机器翻译模型的实验表明，该模型可以被训练成一致地将注释复制到输出中。我们证明了我们提出的框架在只有词汇资源的域外翻译场景中的好处，在英语到西班牙语和德语到英语的两个翻译方向上提高了1.0 BLEU点以上
2018-09-10 cs.CL
Sequence to Sequence Networks for Roman-Urdu to Urdu Transliteration
NUCES Islamabad（巴基斯坦国立计算机与新兴科学大学伊斯兰堡校区）
神经机器翻译模型已经取代了传统的基于短语的统计翻译方法，因为前者采用通用的、可扩展的、数据驱动的方法，而不是依赖于人工的、手工制作的特征。神经机器翻译系统基于一个神经网络，该神经网络由两部分组成，一部分负责输入语言句子，另一部分处理期望的输出语言句子。该模型基于编码器-解码器架构，还将源语言的分布式表示作为输入，这丰富了学习的依赖关系，并为网络提供了一个热启动。在这项工作中，我们将罗马乌尔都语到乌尔都语的音译转化为序列到序列的学习问题。为此，我们作出以下贡献。我们创建了第一个罗马乌尔都语到乌尔都语的并行语料库，创建了第一个罗马乌尔都语的分布式表示，并提出了第一个将文本从罗马乌尔都语翻译为乌尔都语的神经机器翻译模型。我们的模型已经取得了国家的最先进的结果，使用BLEU作为评估指标。准确地说，我们的模型能够正确预测长度为10的句子，同时在测试集上获得48.6的BLEU分数。我们希望我们的模型和结果将作为使用分布式表示的神经机器翻译领域的进一步工作的基线。
2017-12-08 cs.CL
Neural Machine Translation Quality and Post-Editing Performance
Charles University（查理大学）；Memsource
我们测试了在专业翻译中使用机器翻译节省人类处理时间的自然期望。最后一项此类研究由Sanchez-Torron和Koehn（2016）使用基于短语的机器翻译进行，人为地降低了翻译质量。相比之下，我们专注于高质量的神经机器翻译（NMT），这已经成为最先进的方法，也被大多数翻译公司采用。本文通过对30多名专业翻译人员进行的英语-捷克语翻译的实验研究，考察了NMT的表现与后期编辑时间和质量之间的关系。在所有模型中，我们发现更好的机器翻译系统确实会导致这个行业环境中句子的变化更少。然而，系统质量和后期编辑时间之间的关系并不简单，与基于短语的MT的结果相反，BLEU绝对不是时间或最终输出质量的稳定预测因子。
2021-09-10 cs.CL cs.HC
