A Survey of Word Reordering in Statistical Machine Translation: Computational Models and Language Phenomena
University of Amsterdam（阿姆斯特丹大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
词的重排是统计机器翻译（SMT）的难点之一，也是影响其翻译质量和效率的重要因素。尽管迄今为止发表了大量的研究，但社区对这个问题的兴趣并没有减少，而且没有一种方法在语言对中占主导地位。相反，对于一个新的翻译任务的最佳方法的选择似乎仍然主要是由经验试验驱动的。为了使读者在这个广阔而复杂的研究领域中定位，我们提出了一个全面的调查单词重排视为一个统计建模的挑战，并作为一个自然语言现象。该调查详细描述了如何在不同的基于字符串和基于树的SMT框架中建模单词重排序，并将其作为一项独立任务，包括对高级重排序建模文献的系统概述。然后，我们质疑为什么有些方法在不同的语言对中比其他方法更成功。我们认为，除了测量重新排序的数量，重要的是要了解哪些类型的重新排序发生在一个给定的语言对。为此，我们进行了定性分析的单词重排现象在不同的语言对样本，大量收集的语言学知识的基础上。SMT文献中的实证结果表明，支持的假设，一些语言事实可以是非常有用的，以预期的语言对的重新排序的特点，并选择最适合他们的SMT框架。
2016-03-14 cs.CL
Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
与传统的统计机器翻译将翻译任务分解为不同的独立学习组件不同，神经机器翻译使用单个神经网络来建模整个翻译过程。尽管神经机器翻译是事实标准，但仍然不清楚NMT模型如何在训练过程中获得不同的能力，以及这如何反映传统SMT中的不同模型。在这项工作中，我们研究了与三个核心SMT组件相关的能力，并发现在培训过程中，NMT首先专注于学习目标端语言建模，然后提高翻译质量，接近逐字翻译，最后学习更复杂的重新排序模式。我们表明，这种行为适用于几个模型和语言对。此外，我们解释了这种对训练过程的理解在实践中是如何有用的，并作为一个例子，展示了如何通过指导教师模型选择来改进香草非自回归神经机器翻译。
2021-09-03 cs.CL
Reordering rules for English-Hindi SMT
CDAC Mumbai（孟买电子发展中心）
重排序是统计机器翻译（SMT）系统的一个预处理阶段，在SMT系统中，源语句的单词按照目标语言的语法进行重排序。我们提出了一套丰富的规则来更好地重新排序。我们的想法是促进训练过程中更好的对齐和并行短语提取的短语为基础的SMT系统。重新排序也有助于解码过程，从而提高机器翻译的质量。我们已经观察到，通过使用我们的方法，与基线SMT相比，翻译质量有了显着提高。我们使用BLEU、NIST、多参考字出错率、多参考位置无关出错率来判断改进。我们利用开放源代码的SMT工具包MOSES来开发该系统。
2016-10-24 cs.CL
Building a reordering system using tree-to-string hierarchical model
Yandex School of Data Analysis（Yandex数据分析学院）
本文介绍了我们提交的第一次研讨会上重新排序的统计机器翻译。我们决定构建一个基于树到字符串模型的重排序系统，只使用公开可用的工具来完成这项任务。利用提供的训练数据，我们使用Moses工具包建立了一个翻译模型，然后我们应用Moses中实现的图表解码器来重新排序句子。尽管我们的提交只涵盖了英语-波斯语语言对，但我们认为无论语言的选择如何，这种方法本身都应该起作用，因此我们还对英语-意大利语和英语-乌尔都语进行了实验。对于这些语言对，我们注意到BLEU，Kendall-Tau和Hamming指标的基线有了显着改善。给出了详细的描述，以便每个人都可以重现我们的结果。最后，对进一步改进的方向进行了讨论。
2013-02-13 cs.CL
Improving Transformer Models by Reordering their Sublayers
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；Facebook AI Research（Facebook人工智能研究院）
多层Transformer网络由交错的自注意和前馈子层组成。以不同的模式对子层进行排序会带来更好的性能吗？我们生成随机排序的Transformers，并用语言建模目标对它们进行训练。我们观察到，其中一些模型能够实现比交错基线更好的性能，并且那些成功的变体往往在底部具有更多的自我注意力，在顶部具有更多的前馈子层。我们提出了一个新的Transformer模式，坚持这一属性，三明治Transformer，并表明，它提高了多个单词级和字符级语言建模基准的困惑，在参数，内存或训练时间没有成本。然而，三明治重新排序模式并不能保证每个任务的性能增益，正如我们在机器翻译模型上所展示的那样。相反，我们建议，需要进一步探索特定于任务的子层重新排序，以解锁额外的收益。
2020-04-23 cs.CL cs.LG
Anticipation-Free Training for Simultaneous Machine Translation
National Taiwan University（台湾大学）
同步机器翻译（SimulMT）通过在源句子完全可用之前开始翻译来加快翻译过程。这是困难的，由于有限的上下文和语序之间的差异语言。现有方法增加了延迟或为SimulMT模型引入了自适应读写策略，以处理本地重新排序并提高翻译质量。然而，长距离的重新排序会使SimulMT模型错误地学习翻译。具体地，当对应的源令牌尚未被读取时，可以强制模型预测目标令牌。这导致了推理过程中的攻击性预期，从而导致了幻觉现象。为了缓解这个问题，我们提出了一个新的框架，将翻译过程分解为单调的翻译步骤和重新排序步骤，并通过辅助排序网络（SANN）对后者进行建模。该算法根据目标语言中的顺序重新排列隐藏状态，使SimulMT模型能够更合理地学习翻译。整个模型是端到端优化的，不依赖于外部校准器或数据。在推理过程中，删除了数据流以实现流式处理。实验表明，该框架可以在更少的延迟下优于以前的方法。
2022-05-04 cs.CL
Structured Reordering for Modeling Latent Alignments in Sequence Transduction
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
尽管在许多领域取得了成功，但神经模型在训练和测试示例来自不同分布的环境中挣扎。特别地，与人类相反，常规的序列到序列（seq 2seq）模型不能系统地概括，即，解释表示概念的新颖组合的句子（例如，文本段）在训练中看到的。传统的语法形式主义通过隐式编码输入和输出段之间的对齐在这种设置中表现出色，但难以扩展和维护。而不是工程的语法，我们直接建模段到段的对齐作为离散的结构化的潜变量在神经seq 2seq模型。为了有效地探索大空间的比对，我们引入了一个重排序的第一次，稍后的框架，其中心组件是一个神经重排序模块产生{ \it可分离}排列。我们提出了一个有效的动态规划算法进行精确的边际推理的可分离排列，从而使我们的模型的端到端的可微训练。所得到的seq 2seq模型在合成问题和NLP任务上表现出比标准模型更好的系统泛化（即，语义解析和机器翻译）。
2021-10-26 cs.CL cs.LG
Phrase Based Language Model for Statistical Machine Translation: Empirical Study
重排序是机器翻译系统面临的一个挑战。在机器翻译中，广泛使用的方法是应用基于词的语言模型（LM），它将句子的组成单位视为词。在语音识别（SR）中，已经提出了一些基于短语的LM。然而，这些LM不一定适合于重新排序或对于重新排序是最佳的。我们提出了两个短语为基础的LM认为一个句子的组成单位作为短语。实验表明，我们的短语为基础的LM优于基于词的LM方面的困惑和n-best列表重新排名。
2015-02-18 cs.CL
ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
最近，一种新的训练oaxe损失已被证明有效地改善非自回归翻译（NAT）的多模态效果，它消除了标准交叉熵损失中的词序错误的惩罚。从直觉出发，重新排序通常发生在短语之间，我们通过只允许ngram短语之间的重新排序来扩展oaxe，并且仍然要求短语内的词序严格匹配。在跨语言对和数据规模的NAT基准测试上进行的大量实验证明了该方法的有效性和通用性。进一步的分析表明，所提出的ngram-oaxe解决了多模态问题，更好地建模短语翻译。进一步的分析表明，ngram-oaxe确实改善了ngram短语的翻译，并产生了更流畅的翻译与更好的句子结构建模。
2022-10-08 cs.CL
An empirical analysis of phrase-based and neural machine translation
Universiteit van Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；German Center for AI (DFKI)（德国人工智能研究中心）
两种流行的机器翻译（MT）类型是基于短语的和神经机器翻译系统。这两种类型的系统都由多个复杂的模型或层组成。这些模型和层中的每一个学习源语言的不同语言方面。然而，对于这些模型和层中的一些，尚不清楚哪些语言现象是学习的，或者这些信息是如何学习的。对于基于短语的机器翻译系统，通常很清楚每个模型学习了什么信息，问题是如何学习这些信息，特别是对于其短语重新排序模型。对于神经机器翻译系统，情况甚至更加复杂，因为在许多情况下，并不完全清楚学习了什么信息以及如何学习。为了阐明MT系统捕获的语言现象，我们分析了基于短语和神经MT系统中重要模型的行为。我们考虑短语的机器翻译系统的短语重新排序模型，以调查从一个短语内部的单词定义的短语重新排序行为的影响最大。此外，为了有助于神经MT系统的可解释性，我们研究了注意力模型的行为，注意力模型是神经MT系统的关键组成部分，也是基于短语的系统中最接近短语重排模型的模型。注意力模型与编码器隐藏状态表示一起形成神经MT中编码源侧语言信息的主要组件。为此，我们还分析了神经MT系统的编码器隐藏状态表示中捕获的信息。我们调查的程度，从源侧的语法和词汇语义信息被捕获的隐藏状态表示不同的神经MT架构。
2021-03-04 cs.AI cs.CL cs.LG
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归翻译（NAT）模型通常使用交叉熵损失进行训练，这迫使模型输出与目标句子逐字对齐，并且会严重惩罚单词位置的微小变化。潜在比对模型通过边缘化CTC损失的所有单调潜在比对来放松显式比对。然而，它们不能处理非单调对齐，这是不可忽略的，因为在机器翻译中通常存在全局单词重新排序。在这项工作中，我们探索非单调潜在的NAT对齐。我们扩展对齐空间的非单调对齐，以允许全球单词重新排序，并进一步考虑所有对齐与目标句子重叠。我们非单调地将对齐与目标句子进行匹配，并训练潜在对齐模型以最大化非单调匹配的F1得分。在主要的WMT基准测试上的大量实验表明，我们的方法大大提高了基于CTC的模型的翻译性能。我们的最佳模型在WMT 14 En-De上仅用一次迭代解码就实现了30.06 BLEU，缩小了非自回归模型和自回归模型之间的差距。
2022-10-08 cs.CL
Statistical Machine Translation Systems of English-Pnar Language Pair : Some Insights of the Emperical Study
National Institute of Technology Meghalaya（梅加拉亚国家理工学院）
本文针对资源匮乏的普纳尔语，构建首个英语-普纳尔语统计机器翻译系统，基于10234句平行语料训练，建立定量基准，分析错误并探讨未来方向。
2026-08-25 cs.AI cs.CL
Towards String-to-Tree Neural Machine Translation
Bar-Ilan University（巴伊兰大学）
我们提出了一个简单的方法，将目标语言的句法信息在神经机器翻译系统中，通过转换成线性化，词汇化的选区树。WMT16德英新闻翻译任务的实验结果表明，与在相同数据集上训练的语法不可知的NMT基线相比，BLEU得分有所提高。对来自语法感知系统的翻译的分析表明，与基线相比，它在翻译期间执行更多的重新排序。一个小规模的人类评估也显示了语法感知系统的优势。
2017-05-06 cs.CL
Automatically Extracting Challenge Sets for Non local Phenomena in Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们表明，最先进的Transformer机器翻译（MT）模型并不偏向于单调重排序（与以前的递归神经网络模型不同），但尽管如此，长距离依赖性仍然是该模型的一个挑战。由于大多数依赖关系都是短距离的，因此系统对它们的性能影响很小。因此，我们提出了一种自动的方法来提取充满长距离依赖的挑战集，并认为使用这种方法的评价提供了一个互补的角度来看系统性能。为了支持我们的主张，我们编译了英语-德语和德语-英语的挑战集，这些挑战集比以前发布的任何MT挑战集都要大得多。所提取的集合足够大，以允许可靠的自动评估，这使得所提出的方法是一个可扩展的和实用的解决方案，用于评估机器翻译性能的长尾的语法现象。
2019-09-25 cs.CL cs.LG
Simultaneous Neural Machine Translation with Constituent Label Prediction
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；RIKEN（日本理化学研究所）
同声翻译是一种在说话人说完话之前就开始翻译的任务，因此决定何时开始翻译过程很重要。然而，对于具有不同词序的语言对（例如英语和日语），决定是阅读更多输入单词还是开始翻译是困难的。受预重排序概念的启发，我们提出了几个简单的决策规则，使用增量成分标签预测的下一个成分的标签。在英日同声翻译的实验中，该方法在质量-延迟权衡方面优于基线。
2021-10-26 cs.CL
Statistical Machine Translation for Indic Languages
Indian Institute of Technology (IIT)（印度理工学院（IIT））
本文研究了使用统计机器翻译技术将英语翻译成十五种低资源印度语言及其反向翻译，并通过预处理和SMT工具包提升翻译质量。
2023-01-02 cs.CL
A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource Settings
Stony Brook University（石溪大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
神经机器翻译（NMT）模型足够强大，可以将语义和句法信息从源语言传递到目标语言。然而，这些模型需要大量的数据来学习参数。因此，对于数据稀缺的语言，这些模型有表现不佳的风险。我们建议增加基于注意力的神经网络与重新排序的信息，以减轻缺乏数据。这种增强功能将英语到波斯语和波斯语到英语的翻译质量提高了6%，比基线模型的BLEU绝对值高。
2021-12-28 cs.CL
Neural machine translation for low-resource languages
神经机器翻译（NMT）方法在过去几年中改进了许多机器翻译设置中的现有技术，但是它们需要大量的训练数据来产生合理的输出。我们证明了NMT也可以用于低资源语言，通过引入更多的本地依赖关系和使用单词对齐来学习翻译过程中的句子重排。除了我们的新模型，我们还提出了一个基于低资源短语的统计机器翻译（SMT）和NMT的实证评估，以调查各自的技术的下限。我们发现，虽然SMT仍然是低资源设置的最佳选择，我们的方法可以产生可接受的翻译只有70000令牌的训练数据，基准NMT系统完全失败的水平。
2017-08-18 cs.CL
Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
在本研究中，我们提出了新的序列到序列预训练目标低资源机器翻译（NMT）：日语特定序列到序列（JASS）的语言对涉及日语作为源或目标语言，英语特定序列到序列（ENSS）的语言对涉及英语。JASS侧重于掩蔽和重新排序日语语言单位称为文组，而ENSS是基于短语结构掩蔽和重新排序任务。在ASPEC日语-英语和日语-汉语，维基百科日语-汉语，新闻英语-韩语语料库上的实验表明，JASS和ENSS优于MASS和其他现有的语言无关的预训练方法，对于日语-英语任务，最高可达+2.9 BLEU点，对于日语-汉语任务，最高可达+7.0 BLEU点，对于英语-韩语任务，最高可达+1.3 BLEU点。实证分析侧重于JASS和ENSS中各个部分之间的关系，揭示了JASS和ENSS子任务的互补性。使用LASER，人类评估和案例研究的准确性评估表明，我们提出的方法在没有注入语言知识的情况下显着优于预训练方法，并且与流畅性相比，它们对充分性有更大的积极影响。我们在这里发布代码：https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining.
2022-01-20 cs.CL
Does Syntactic Knowledge help English-Hindi SMT?
Language Technologies Research Centre（语言技术研究中心）
在本文中，我们将探讨各种参数设置的国家的最先进的统计机器翻译系统，以提高翻译质量的“遥远”的语言对，如英语-印地语。我们提出了新的技术，有效的重新排序。据报告，使用这些技术后，与基线相比略有改善。我们还表明，一个简单的预处理步骤可以显着提高翻译的质量。
2014-01-20 cs.AI cs.CL
An Operation Sequence Model for Explainable Neural Machine Translation
University of Cambridge（剑桥大学）
我们建议通过改变输出表示来实现可解释的神经机器翻译（NMT）。我们提出了一种新的方法来NMT产生的目标句子单调遍历源句子。通过允许在目标句子中设置标记并在这些标记之间移动目标侧写入头的操作来对单词重新排序进行建模。与许多现代神经模型相比，我们的系统发出显式的单词对齐信息，这对实际的机器翻译至关重要，因为它提高了可解释性。我们的技术可以优于纯文本系统的BLEU分数在最近的Transformer架构下的日语-英语和葡萄牙语-英语，是在0.5 BLEU的差异西班牙语-英语。
2018-08-29 cs.CL
IOT: Instance-wise Layer Reordering for Transformer Structures
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
Transformer具有顺序堆叠的自注意、（可选的）编码器-解码器注意和前馈层，在自然语言处理（NLP）中取得了巨大成功，并且已经提出了许多变体。目前，几乎所有这些模型都假设层顺序是固定的，并且在数据样本中保持相同。我们观察到，不同的数据样本实际上有利于不同的层的顺序。基于这一观察，在这项工作中，我们打破了Transformer中固定层顺序的假设，并将实例层重新排序引入模型结构。我们的实例有序Transformer（IOT）可以通过重新排序的层来建模变量函数，这使得每个样本能够在几乎相同数量的参数约束下选择更好的一个来提高模型性能。为了实现这一点，我们引入了一个轻预测器，其参数和推理成本可以忽略不计，以决定任何输入序列的最有能力和最有利的层顺序。在3个任务（神经机器翻译、抽象摘要和代码生成）和9个数据集上的实验证明了我们的方法的一致改进。我们进一步表明，我们的方法也可以适用于其他架构以外的Transformer。我们的代码在Github上发布。
2021-03-05 cs.AI cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland（马里兰大学）；Microsoft Research Asia（微软亚洲研究院）
虽然非自回归（NAR）模型在机器翻译中显示出巨大的前景，但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题，我们试图了解为什么蒸馏如此有效。先前的工作表明，提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验，本文表明不同类型的复杂性具有不同的影响：虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐，从而提高翻译质量，但词汇多样性是蒸馏增加模型置信度的主要原因，这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
Assessing the Ability of Self-Attention Networks to Learn Word Order
University of Macau（澳门大学）；Tencent AI Lab（腾讯人工智能实验室）
自注意力网络（SAN）由于其高度并行化和在各种NLP任务（例如机器翻译）上的强大性能而引起了很多兴趣。由于缺乏递归神经网络（RNN）等递归结构，SAN在学习单词的位置信息以进行序列建模方面很弱。然而，这一推测既没有得到实证证实，也没有解释他们的强大性能时，“缺乏位置信息”的机器翻译任务进行了探索。为此，我们提出了一种新的单词重排检测任务，以量化SAN和RNN学习的单词顺序信息。具体来说，我们随机地将一个单词移动到另一个位置，并检查经过训练的模型是否可以检测到原始位置和插入位置。实验结果表明：1）在单词重排检测上训练的SAN确实很难学习位置信息，即使是位置嵌入; 2）在机器翻译上训练的SAN比RNN对手学习更好的位置信息，其中位置嵌入起着关键作用。虽然递归结构使模型在学习词序方面更普遍有效，但学习目标在下游任务（如机器翻译）中更重要。
2019-06-03 cs.AI cs.CL
A Multifaceted Evaluation of Neural versus Phrase-Based Machine Translation for 9 Language Directions
Dublin City University（都柏林城市大学）；University of Groningen（格罗宁根大学）；Prompsit Language Engineering（Prompsit语言工程公司）
我们的目标是阐明新引入的神经机器翻译范式的优点和缺点。为此，我们进行了多方面的评估，其中我们比较了最先进的神经机器翻译和基于短语的机器翻译系统在多个维度上为9个语言方向产生的输出。具体来说，我们测量输出的相似性，它们的流畅性和重新排序的数量，句子长度的影响和不同错误类别的表现。我们发现，与基于短语的系统相比，神经机器翻译系统产生的翻译在词序方面有很大的不同，更流畅，更准确。神经机器翻译系统在产生屈折形式方面也更准确，但在翻译非常长的句子时表现不佳。
2017-01-11 cs.CL
Statistical Machine Translation for Indian Languages: Mission Hindi
CDAC Mumbai（孟买先进计算发展中心）
本文讨论了孟买高级计算发展中心（CDACM）提交给2014年印度语言统计机器翻译NLP工具竞赛（ILSMT）的作品（与ICON 2014同期举行）。比赛的目的是探讨统计机器翻译（SMT）的有效性，印度语到印度语和英语-印地语机器翻译。在本文中，我们已经提出，后缀分离和字分裂SMT从粘着语言印地语显着改善了基线（BL）。我们还表明，重新排序的因子模型优于基于短语的SMT英语印地语（\enhi）。我们报告了我们在所有五种语言上的工作，即孟加拉语-印地语（\bnhi），马拉地语-印地语（\mrhi），泰米尔语-印地语（\tahi），泰卢固语-印地语（\tehi）和健康，旅游和一般领域的\enhi。
2016-10-24 cs.CL
Dependency Graph-to-String Statistical Machine Translation
Huawei Technologies（华为技术有限公司）；Dublin City University（都柏林城市大学）
我们提出了基于图的翻译模型，将源图转换为目标字符串。源图由具有额外链接的依赖树构建，以便连接非句法短语。受基于短语的模型的启发，我们首先引入了一个翻译模型，该模型将图分割成一系列不相交的子图，并通过使用束搜索从左到右组合子图翻译来生成翻译。然而，与基于短语的模型类似，该模型在短语重排序方面较弱。因此，我们进一步引入了一个基于同步节点替换语法的模型，该模型学习递归翻译规则。我们提供了两种不同的限制，使源图可以有效地解析模型的实现。实验表明，我们的基于图的模型是显着优于相应的序列和树为基础的基线。
2021-03-20 cs.AI cs.CL
A Hybrid Model for Enhancing Lexical Statistical Machine Translation (SMT)
Sadat Academy for Management Sciences（萨达特管理科学院）
统计机器翻译系统的兴趣增加，目前由于在世界上的政治和社会事件。提出了一种基于统计机器翻译（SMT）的模型，该模型可以用于通过有效地结合不同的统计和自然语言处理（NLP）模型（诸如语言模型、对齐模型、基于短语的模型、重排序模型和翻译模型）来自动地将句子从源语言（英语）翻译成目标语言（阿拉伯语）。这些模型相结合，以提高统计机器翻译（SMT）的性能。在这项工作中使用了许多实现工具，如Moses，Gizaa++，IRSTLM，KenLM和BLEU。通过对该模型的实现和评价，以及与Google Translate等其他机器翻译系统的比较，证明了该模型增强了统计机器翻译的效果，是该领域一种可靠、高效的翻译模型。
2015-06-03 cs.CL
Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一个新的训练目标命名为顺序不可知交叉熵（OaXE）的完全非自回归翻译（NAT）模型。OaXE改进了标准的交叉熵损失，以改善单词重排的效果，这是NAT中关键多模态问题的常见来源。具体地，OaXE消除了单词顺序错误的惩罚，并基于模型预测和目标令牌之间的最佳对齐来计算交叉熵损失。由于日志丢失对无效引用非常敏感，因此我们利用交叉熵初始化和丢失截断来确保模型集中在搜索空间的很大一部分。在主要的WMT基准测试上进行的大量实验表明，OaXE大大提高了翻译性能，为完全NAT模型创造了新的技术水平。进一步的分析表明，OaXE通过减少令牌重复和增加预测置信度来解决多模态问题。我们的代码、数据和训练模型可以在https://github.com/tencent-ailab/ICML21_OAXE上找到。
2021-06-09 cs.AI cs.CL cs.LG
Online Learning for Neural Machine Translation Post-editing
Pattern Recognition and Human Language Technology Research Center（模式识别与人类语言技术研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
神经机器翻译意味着该领域的一场革命。不过，对于要求高翻译质量的任务，必须对系统的产出进行事后编辑。后编辑为改进神经机器翻译系统提供了一个独特的机会，使用在线学习技术，并将后编辑的翻译视为新的、新鲜的训练数据。我们回顾了经典的学习方法，并提出了一个新的优化算法。我们彻底比较在线学习算法在编辑后的情况。结果表明，翻译质量和工作量减少显着改善。
2017-06-10 cs.CL cs.LG
Pre-Translation for Neural Machine Translation
Institute for Anthropomatics（拟人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
近年来，神经机器翻译（NMT）的发展显著提高了自动机器翻译的翻译质量。虽然大多数句子比基于统计机器翻译（SMT）的系统翻译的句子更准确和流畅，但在某些情况下，NMT系统产生的翻译具有完全不同的含义。当出现罕见的单词时，情况尤其如此。当使用统计机器翻译时，已经表明可以通过简化预处理步骤中的输入来实现显著的增益。一个常用的例子是预重排序方法。在这项工作中，我们使用基于短语的机器翻译将输入预翻译成目标语言。然后，神经机器翻译系统使用预翻译生成最终假设。因此，我们要么只使用基于短语的机器翻译（PBMT）系统的输出，要么结合PBMT输出和源句子。我们在英语到德语翻译任务上评估该技术。使用这种方法，我们能够超过PBMT系统以及基线神经MT系统多达2个BLEU点。分析了初始系统的质量对最终结果的影响。
2016-10-17 cs.CL
PETCI: A Parallel English Translation Dataset of Chinese Idioms
The University of Chicago（芝加哥大学）
成语是汉语中一种重要的语言现象，但成语翻译是出了名的难。现有的机器翻译模型在习语翻译上表现不佳，而习语在许多翻译数据集中是稀疏的。我们提出了PETCI，一个平行的英语翻译数据集的中国成语，旨在提高成语翻译的人力和机器。数据集是通过利用人类和机器的努力来构建的。基线生成模型在提高翻译质量方面表现不佳，而结构感知分类模型在区分好的翻译方面表现出良好的性能。此外，PETCI的规模可以很容易地增加，而无需专业知识。总的来说，PETCI可以帮助语言学习者和机器翻译系统。
2022-02-19 cs.CL cs.LG
Automatic Machine Translation Detection Using a Surrogate Multilingual Translation Model
Dep. de Llenguatges i Sistemes Informàtics（语言与信息系统系）；Institut Universitari d’Investigació Informàtica（大学信息研究所）；Universitat d’Alacant（阿莱康特大学）
提出利用代理多语言MT模型内部表示区分人类与机器翻译的新方法，在非英语语言对上准确率至少提升5个百分点。
2025-11-04 cs.CL cs.LG
Generalizing Back-Translation in Neural Machine Translation
RWTH Aachen University（亚琛工业大学）；eBay, Inc.（易贝公司）
反向翻译-通过翻译目标单语数据来数据增强-是现代神经机器翻译（NMT）的关键组成部分。在这项工作中，我们在NMT模型的交叉熵优化范围内重新制定了反向翻译，澄清了其基本的数学假设和近似，超出了其启发式用法。我们的公式涵盖了更广泛的合成数据生成方案，包括从目标到源NMT模型的采样。有了这个公式，我们指出了基本问题的采样为基础的方法，并建议纠正他们（i）禁用标签平滑的目标到源模型和（ii）从一个有限的搜索空间采样。我们的声明在WMT 2018德英新闻翻译任务中进行了调查。
2019-06-17 cs.CL cs.LG
Neural versus Phrase-Based Machine Translation Quality: a Case Study
FBK（FBK（布鲁诺·凯斯勒基金会））；University of Amsterdam（阿姆斯特丹大学）
在统计机器翻译（SMT）领域，神经方法（NMT）最近成为第一个能够挑战基于短语的方法（PBMT）长期主导地位的技术。特别是，在IWITH 2015年的评估活动中，NMT在英语-德语上的表现优于成熟的最先进的PBMT系统，由于词法和句法差异，英语-德语是一种特别困难的语言对。为了了解NMT在哪些方面提供了比PBMT更好的翻译质量，我们对神经与基于短语的SMT输出进行了详细的分析，利用专业翻译人员对IWITOS数据进行的高质量后期编辑。这是第一次，我们的分析提供了有用的见解，哪些语言现象最好由神经模型建模-例如动词的重新排序-同时指出了其他有待改进的方面。
2016-10-09 cs.CL
Towards Neural Phrase-based Machine Translation
Microsoft Research（微软研究院）；Google（谷歌）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Citadel（城堡投资）
在本文中，我们提出了基于神经短语的机器翻译（NPMT）。我们的方法显式地使用睡眠唤醒网络（SWAN），最近提出的基于分割的序列建模方法的输出序列中的短语结构建模。为了减轻SWAN的单调对齐要求，我们引入了一个新的层来执行输入序列的（软）局部重排。与现有的神经机器翻译（NMT）方法不同，NPMT不使用基于注意力的解码机制。相反，它直接按顺序输出短语，并可以在线性时间内解码。我们的实验表明，与强大的NMT基线相比，NPMT在IWSLT 2014德语-英语/英语-德语和IWSLT 2015英语-越南语机器翻译任务上取得了优异的性能。我们还观察到，我们的方法在输出语言中产生有意义的短语。
2018-09-24 cs.CL stat.ML
Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation
National Taiwan University（台湾大学）
我们研究了使用连接主义时间分类（CTC）建立非自回归语音到文本翻译模型的可能性，并使用基于CTC的自动语音识别作为辅助任务，以提高性能。由于CTC的单调性假设，它在翻译上的成功是违反直觉的，因此我们分析了它的重排能力。Kendall的tau距离被引入作为定量度量，基于梯度的可视化提供了一种直观的方式来更仔细地观察模型。分析表明，Transformer编码器具有改变语序的能力，并指出了非自回归语音翻译的未来研究方向。
2021-05-11 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Dynamic Curriculum Learning for Low-Resource Neural Machine Translation
Northeastern University（东北大学）；Tencent Minority-Mandarin Translation（腾讯民汉翻译）；Tencent Inc.（腾讯公司）；NiuTrans Research（NiuTrans研究院）
近年来，大量的数据使得神经机器翻译（NMT）取得了巨大的成功。但在小规模语料库上训练这些模型仍然是一个挑战。在这种情况下，使用数据的方式显得更为重要。在这里，我们研究了低资源NMT的训练数据的有效使用。特别是，我们提出了一个动态的课程学习（DCL）的方法来重新排序训练样本的训练。与以前的工作不同，我们不使用静态评分函数进行重新排序。相反，训练样本的顺序是通过两种方式动态确定的-损失下降和模型能力。这通过突出当前模型有足够能力学习的简单样本来简化训练。我们在一个基于transformer的系统中测试我们的DCL方法。实验结果表明，DCL优于几个强基线上的三个低资源的机器翻译基准和不同大小的数据的WMT '16 En-De。
2020-11-30 cs.CL
An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation
Bar-Ilan University（巴伊兰大学）；University of Zurich（苏黎世大学）
本文提出一个开源的口语到手语翻译基线系统，通过文本到注释、注释到姿态再到视频的流水线，支持德语、法语和意大利语到瑞士手语的转换，并组合词形还原、规则重排和神经机器翻译三种方法。
2023-05-28 cs.CL cs.CV
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
A Focus on Neural Machine Translation for African Languages
Explore；Retro Rabbit
非洲语言数量众多、复杂且资源匮乏。机器翻译所需的数据集很难发现，现有的研究也很难复制。对非洲语言的机器翻译关注最少，因此对使用机器翻译技术时出现的问题的研究很少。为了开始解决这些问题，我们训练模型将英语翻译成五种南非官方语言（南非荷兰语、祖鲁语、北苏丹语、塞萨洛尼基语、Xitsonga语），利用现代神经机器翻译技术。获得的结果显示了将神经机器翻译技术用于非洲语言的前景。通过提供可复制的公开数据，代码和结果，本研究旨在为非洲机器翻译的其他研究人员提供一个起点，以进行比较和建立。
2019-06-14 cs.CL cs.LG stat.ML
Back-translation for Large-Scale Multilingual Machine Translation
eBay Inc.（易趣公司）
本文阐述了我们在第六届机器翻译会议（WMT-21）上对大规模多语种机器翻译共同任务的研究方法。这项工作的目的是建立一个单一的多语言翻译系统的假设，一个通用的跨语言表示导致更好的多语言翻译性能。我们将不同回译方法的探索从双语翻译扩展到多语言翻译。约束抽样方法得到了更好的性能，这是不同的双语翻译的发现。此外，本研究亦探讨词汇量与合成数据量之影响。令人惊讶的是，较小的词汇量表现更好，广泛的单语英语数据提供了适度的改善。我们两个小任务都提交了，取得了第二名的成绩。
2021-09-17 cs.AI cs.CL cs.LG
Automatic Classification of Human Translation and Machine Translation: A Study from the Perspective of Lexical Diversity
University of St Andrews（圣安德鲁斯大学）；School of Computer Science（计算机科学学院）
通过使用三元模型并微调预训练的BERT模型进行序列分类，我们表明可以以高于偶然水平的准确度对机器翻译和人类翻译进行分类，这表明机器翻译和人类翻译是不同的系统方式。机器翻译的分类准确率远高于人工翻译。我们发现，这可能是解释之间的差异词汇多样性机器翻译和人类翻译。如果机器翻译具有独立于人类翻译的模式，则测量机器翻译与人类翻译的偏差的自动度量可能将差异与质量混为一谈。我们用两种不同类型的自动度量进行的实验显示了与分类任务结果的相关性。因此，我们建议在机器翻译评价中，应更多地关注机器翻译和人工翻译在词汇多样性方面的差异。
2021-05-10 cs.CL
Hindi to English Transfer Based Machine Translation System
Banasthali Vidyapith（巴纳斯塔利大学）；Centre for development of advanced computing（先进计算发展中心）
在像印度这样的大社会中，将一种人类语言转换为另一种语言的需求巨大。在这方面已经做了大量的工作。许多基于转移的MTS已经开发了英语到其他语言，如MANTRA CDAC Pune，MATRA CDAC Pune，SHAKTI IISc Bangalore和IIIT Hyderabad。还有一点工作做印地语到其他语言。目前我们正在研究它。在本文中，我们重点设计一个系统，通过使用基于迁移的方法将文档从印地语翻译为英语。该系统通过解析来检查输入文本的结构。重新排序规则用于生成目标语言的文本。它比基于语料库的MTS更好，因为基于语料库的MTS需要大量的词对齐数据用于翻译，这对于许多语言是不可用的，而基于迁移的MTS只需要两种语言（源语言和目标语言）的知识来制定迁移规则。我们得到正确的翻译简单断言句和复杂和复合句几乎正确。
2015-07-08 cs.CL
Does Neural Machine Translation Benefit from Larger Context?
New York University（纽约大学）
我们提出了一种神经机器翻译架构，除了源句子之外，还可以对周围的文本进行建模。这些模型在小语料库上训练时，在一般翻译质量和代词预测方面都有更好的性能，尽管在使用较大语料库训练时，这种改进基本上消失了。我们还发现，基于注意力的神经机器翻译非常适合代词预测，并且与专门为此任务设计的其他方法相比毫不逊色。
2017-04-17 cs.CL cs.LG stat.ML
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Can neural machine translation do simultaneous translation?
New York University（纽约大学）
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法，称为同时贪心解码，允许现有的神经机器翻译模型开始翻译之前，收到一个完整的源语句。这种方法是独特的，从以前的作品同步翻译的分割和翻译是共同完成的，以最大限度地提高翻译质量，翻译每一个部分是强烈的条件下，所有以前的部分。本文提出了第一步，建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
Exploring Unsupervised Pretraining Objectives for Machine Translation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition and Computation（语言、认知与计算研究所）
无监督跨语言预训练在神经机器翻译（NMT）中取得了很好的效果，大大减少了对大型并行数据的需求。大多数方法通过掩蔽部分输入并在解码器中重构它们，使掩蔽语言建模（MLM）适应序列到序列架构。在这项工作中，我们系统地比较掩蔽与替代目标，产生类似于真实（完整）句子的输入，根据上下文重新排序和替换单词。我们用不同的方法对英语$\leftrightarrow$德语，英语$\leftrightarrow$尼泊尔语和英语$\leftrightarrow$僧伽罗语单语数据进行预训练模型，并在NMT上对其进行评估。在（半）监督NMT中，改变预训练目标会导致微调性能的微小差异，而无监督NMT对此更加敏感。为了理解这些结果，我们使用一系列探针彻底研究了预训练模型，并验证它们以不同的方式编码和使用信息。我们的结论是，对并行数据进行微调对大多数模型共享的一些属性（例如强大的解码器）非常敏感，而非无监督NMT也需要具有强大跨语言能力的模型。
2021-06-10 cs.CL
Can Latent Alignments Improve Autoregressive Machine Translation?
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
潜在的对齐目标，如CTC和AXE显着改善非自回归机器翻译模型。他们也能改进自回归模型吗？我们探讨了训练具有潜在对齐目标的自回归机器翻译模型的可能性，并观察到，在实践中，这种方法会导致退化模型。我们为这些实证结果提供了一个理论解释，并证明潜在的对齐目标是不相容的教师强迫。
2021-04-19 cs.AI cs.CL cs.LG
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology（国立信息通信技术研究所）
最近的工作在以完全无监督的方式训练神经机器翻译（NMT）系统方面取得了显着的成果，该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中，我们建议将无监督NMT（UNMT）定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构，通过用合成双语数据代替人工双语数据进行训练，提出了监督NMT。我们建议用无监督统计机器翻译（USMT）生成的合成双语数据初始化UNMT的训练。然后，利用反向翻译，逐步改进联合国地雷行动组系统。我们的初步实验表明，我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务，两个翻译方向。
2018-10-30 cs.CL
An Effective Approach to Unsupervised Machine Translation
University of the Basque Country (UPV/EHU)（巴斯克大学）
虽然机器翻译传统上依赖于大量的平行语料库，但最近的研究路线已经成功地仅使用单语语料库来训练神经机器翻译（NMT）和统计机器翻译（SMT）系统。在本文中，我们确定和解决现有的无监督SMT方法的几个不足之处，利用子字信息，开发一个理论上有充分依据的无监督调整方法，并将联合细化过程。此外，我们使用我们改进的SMT系统初始化一个双NMT模型，这是进一步微调，通过在飞回翻译。总之，我们在无监督机器翻译中比以前的最先进技术有了很大的改进。例如，我们在2014年英语到德语的WMT中获得了22.5分的BLEU分数，比之前最好的无监督系统高出5.5分，比2014年的（有监督）共享任务冠军高出0.5分。
2019-07-24 cs.AI cs.CL cs.LG
Machine Translation : From Statistical to modern Deep-learning practices
ABV-IIITM Gwalior（ABV-印度信息技术与管理学院瓜廖尔分院）；IIIT Pune（印度信息技术学院浦那分院）
机器翻译（MT）是自然语言处理的一个研究领域，它涉及通过计算机将人类语言从一种语言自动翻译成另一种语言。机器翻译有着近三十年的丰富研究历史，是语言学和计算界最受追捧的研究领域之一。在本文中，我们研究了基于深度学习的模型，近年来取得了实质性的进展，并成为突出的方法在机器翻译。我们将讨论两种主要的基于深度学习的机器翻译方法，一种是在组件或领域级别，利用深度学习模型来增强统计机器翻译（SMT）的效率，另一种是MT中的端到端深度学习模型，使用神经网络通过编码器-解码器架构找到源语言和目标语言之间的对应关系。我们通过提供研究人员解决的主要研究问题的时间线来结束本文，并对神经机器翻译的当前研究领域进行了全面的概述。
2018-12-11 cs.AI cs.CL cs.LG
