Can Synthetic Translations Improve Bitext Quality?
University of Maryland（马里兰大学）
合成翻译已被广泛用于NLP任务，主要作为数据增强的一种手段。相反，这项工作探讨了如何合成翻译可以用来修改潜在的不完善的参考翻译挖掘的bitext。我们发现，合成样本可以提高bitext的质量，而无需任何额外的双语监督时，他们取代原来的语义等价分类，有助于减轻NMT噪声的基础上。通过人工评估和双语归纳和机器翻译任务的提取，从本质上证实了修改后的双语文本质量的提高。
2022-03-15 cs.CL
Tagged Back-Translation
Google Research（谷歌研究院）
神经机器翻译（NMT）的最新研究表明，在反向翻译（一种生成合成并行数据的方法）过程中，噪声波束解码可以显著提高质量。我们表明，这种合成噪声的主要作用是不多样化的源侧，如前所述，但只是为了表明该模型，给定的源是合成的。我们提出了一个更简单的替代噪声技术，包括标记回翻译的源句子与一个额外的令牌。我们的结果WMT优于噪声回翻译在英语-罗马尼亚语和匹配性能的英语-德语，重新定义国家的最先进的在前者。
2019-06-15 cs.CL cs.LG
Building a Neural Machine Translation System Using Only Synthetic Parallel Data
Seoul National University（首尔大学）
最近的工作表明，翻译模型自动生成的合成并行数据可以有效地用于各种神经机器翻译（NMT）问题。在这项研究中，我们建立NMT系统只使用合成并行数据。作为一种有效的替代真正的并行数据，我们还提出了一种新的类型的合成并行语料库。所提出的伪并行数据与以前的作品不同，因为在句子对的两侧混合了地面真值和合成示例。捷克-德国和法国-德国的翻译实验表明，建议的伪平行语料库，这不仅显示出增强的结果，双向翻译任务，但也有很大的改善与地面真实的真实平行语料库的帮助下的有效性。
2017-09-17 cs.CL
Improving English to Sinhala Neural Machine Translation using Part-of-Speech Tag
University of Moratuwa（莫拉图瓦大学）
神经机器翻译（NMT）的性能很大程度上取决于可用并行语料库的大小。由于这个事实，与高资源语言对相比，低资源语言对表现出较低的翻译性能。当对形态丰富的语言执行NMT时，翻译质量进一步降低。尽管网络包含大量信息，但斯里兰卡的大多数人无法正确阅读和理解英语。因此，需要将英语内容翻译成当地语言，以便在当地人之间共享信息。僧伽罗语是斯里兰卡的主要语言，由于这两种语言在低资源限制下的句法差异，建立一个能够产生高质量英语到僧伽罗语翻译的NMT系统是困难的。因此，在这项研究中，我们探索有效的方法，将词性（POS）标签的Transformer输入嵌入和位置编码，以进一步提高基线英语到僧伽罗语神经机器翻译模型的性能。
2022-02-17 cs.CL cs.LG
AR: Auto-Repair the Synthetic Data for Neural Machine Translation
Alibaba（阿里巴巴）
与仅使用有限的真实平行语料作为训练语料相比，许多研究已经证明，将通过回译（BT）或前向翻译（FT）生成的合成平行语料纳入NMT训练过程可以显著提高翻译质量。然而，作为一个众所周知的缺点，合成的并行数据是嘈杂的，因为它们是由一个不完美的NMT系统产生的。结果，由合成并行数据带来的翻译质量的改善被大大削弱。在本文中，我们提出了一种新的自动修复（AR）框架，以提高质量的合成数据。我们提出的AR模型可以学习从低质量（噪声）的输入句子的转换为高质量的句子的基础上大规模的单语数据与BT和FT技术。该AR模型能够有效地消除合成并行数据中的噪声，修复后的合成并行数据能够帮助NMT模型获得更大的改进。实验结果表明，该方法能有效提高合成并行数据的质量，修复后的合成数据在WMT 14 EN！DE和IWSLT 14 DE！EN翻译任务。
2020-04-05 cs.CL
Alternated Training with Synthetic and Authentic Data for Neural Machine Translation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
虽然合成双语语料库在低资源神经机器翻译（NMT）中已经证明了它们的有效性，但添加更多的合成数据往往会降低翻译性能。在这项工作中，我们提出了NMT的合成和真实数据的交替训练。其基本思想是在训练过程中迭代地交替合成语料库和真实语料库。与以往的工作相比，我们引入真实数据作为指导，以防止NMT模型的训练受到噪声合成数据的干扰。在汉英和德英翻译任务上的实验表明，该方法在几个强基线上提高了性能。我们将BLEU景观可视化，以进一步研究真实数据和合成数据在交替训练期间的作用。从可视化中，我们发现真实数据有助于将NMT模型参数指向具有较高BLEU分数的点，并导致一致的翻译性能改善。
2021-06-16 cs.CL
Domain, Translationese and Noise in Synthetic Data for Neural Machine Translation
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
神经机器翻译的质量可以通过利用额外的单语资源来创建合成训练数据来提高。源端单语数据可以（正）翻译成目标语言进行自我训练;目标端单语数据可以反向翻译。据广泛报道，反向翻译提供了更好的结果，但这可能是由于测试集中的伪影？我们进行了一个案例研究，使用法语-英语新闻翻译任务和单独的测试集的基础上，他们的原始语言。我们发现，前向翻译提供了优越的收益，在BLEU的句子，原来在源语言，补充以前的研究表明，与回译的句子，原来在目标语言有很大的改善。为了更好地理解前向和反向翻译何时以及为何有效，我们研究了域、语义和噪声的作用。虽然众所周知，人工智能效应会影响机器翻译评估，但我们也发现证据表明，来自不同语言的新闻数据显示出细微的领域差异，这是测试集不同部分表现不同的另一种解释。我们进行了额外的低资源实验，这表明正向翻译比反向翻译对初始翻译系统的质量更敏感，并且在低资源设置中表现更差。
2020-10-03 cs.CL cs.LG stat.ML
Training on Synthetic Noise Improves Robustness to Natural Noise in Machine Translation
Facebook Artificial Intelligence Research（脸书人工智能研究院）
我们考虑的问题，使机器翻译更强大的字符水平的变化在源端，如错别字。现有的方法通过应用子字模型如字节对编码（BPE）和字符级编码器来实现更大的覆盖率，但是这些方法对拼写错误高度敏感。我们展示了如何在少量随机合成噪声上进行训练，可以显着提高对这些变化的鲁棒性，而不会降低对干净文本的性能。我们专注于自然噪声的翻译性能，如维基百科编辑日志中的频繁更正所捕获的那样，并表明在训练时使用简单合成噪声的均衡饮食可以实现对这种噪声的鲁棒性，而无需访问自然噪声数据或分布。
2019-02-05 cs.CL cs.LG stat.ML
Enhanced back-translation for low resource neural machine translation using self-training
Ahmadu Bello University（艾哈迈德·贝罗大学）；Bayero University（拜罗大学）
使用单语目标数据（合成并行数据）的反向翻译来改进神经机器翻译（NMT）模型是目前用于训练改进的翻译系统的最先进的方法。反向系统的质量-在可用的并行数据上进行训练并用于反向翻译-在许多研究中已被证明会影响最终NMT模型的性能。在低资源条件下，可用的并行数据通常不足以训练能够产生训练标准翻译模型所需的定性合成数据的后向模型。这项工作提出了一种自我训练策略，其中向后模型的输出用于通过向前翻译技术来改进模型本身。该技术被证明可以分别将基线低资源的IWALK '14英语-德语和IWALK'15英语-越南语向后翻译模型提高11.06和1.5 BLEU。由改进的英德后向模型生成的合成数据被用于训练前向模型，该前向模型的性能优于使用2.7 BLEU的标准后向翻译训练的另一前向模型。
2020-12-24 cs.CL cs.LG
Leveraging Synthetic Targets for Machine Translation
Universite de Montreal（蒙特利尔大学）；NVIDIA（英伟达）；Mila（米拉研究所）
提出利用大型预训练模型生成的合成目标数据训练机器翻译模型，在资源受限时优于真实数据，并初步分析性能提升原因及分布外表现。
2023-05-07 cs.AI cs.CL cs.LG
Improving Indigenous Language Machine Translation with Synthetic Data and Language-Specific Preprocessing
University of Florida（佛罗里达大学）
本研究通过合成数据生成和语言特定预处理方法，改进低资源原住民语言的神经机器翻译效果，实验显示合成数据增强对翻译质量有积极影响，但通用预处理在高度屈折语言中存在局限。
2026-01-10 cs.CL
Synthetic Data Generation and Joint Learning for Robust Code-Mixed Translation
Washington Post（华盛顿邮报）；IIIT Delhi（德里 Indraprastha 信息技术学院）；IIT Delhi（印度理工学院德里分校）；Microsoft India（微软印度）
本文针对代码混合语言到英语的翻译问题，构建了约420万句对的Hinglish-English平行语料库HINMIX，并提出基于鲁棒扰动的联合训练模型RCMT，通过参数共享处理噪声，在Hinglish和零样本Bengalish翻译任务上均优于现有方法。
2024-04-29 cs.CL cs.LG
Non-Fluent Synthetic Target-Language Data Improve Neural Machine Translation
Universitat d’Alacant（阿利坎特大学）
针对低资源平行语料不足的问题，本研究打破非流利合成目标语有害的假设，将其作为另一语言纳入多语言翻译框架，在14项高低资源任务中均超越现有合成数据方法，且鲁棒性更强、幻觉更少。
2024-01-29 cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation
National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室）；Huawei Translation Services Center, Beijing, China（华为翻译服务中心）
提出DCSQE框架，通过约束束搜索、多样生成模型及参考引导标注缓解合成QE数据分布偏移，在监督和无监督设置下超越SOTA基线。
2025-06-18 cs.CL
Improving Multilingual Neural Machine Translation For Low-Resource Languages: French,English - Vietnamese
Thai Nguyen University（太原大学）；Vietnam National University（越南国立大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；JAIST（日本北陆先端科学技术大学院大学）
先前的工作已经证明，低资源的语言对可以从依赖于许多语言对的联合训练的多语言机器翻译（MT）系统中受益。本文提出了两种简单的策略来解决两个低资源的语言对：法语-越南语和英语-越南语的多语言机器翻译系统中的稀有词问题。第一种策略是在源语言共享空间中动态学习词的相似度，第二种策略是通过在训练过程中更新嵌入量来增强稀有词的翻译能力。此外，我们利用单语数据的多语种机器翻译系统，以增加合成并行语料库的数量，同时处理数据稀疏性问题。我们已经显示了两种语言对的双语基线系统的显著改进，分别为+1.62和+2.54 BLEU点，并为研究社区发布了我们的数据集。
2021-07-10 cs.CL cs.LG
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London（帝国理工学院）
神经机器翻译（NMT）模型在翻译干净的文本时已被证明是强大的，但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对，但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个：第一，我们提出了新的数据增强方法来扩展有限的噪声数据，并进一步提高NMT对噪声的鲁棒性，同时保持模型小。其次，我们探讨了以语音转录的形式利用外部数据中的噪声的效果，并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
Improving Lexically Constrained Neural Machine Translation with Source-Conditioned Masked Span Prediction
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
准确的术语翻译对于确保神经机器翻译（NMT）系统的实用性和可靠性至关重要。为了解决这个问题，词汇约束NMT探索了各种方法来确保翻译输出中出现预先指定的单词和短语。然而，在许多情况下，这些方法是在一般领域语料库中研究的，其中术语大多是uni-gram和bi-gram（>98%）。在本文中，我们解决了一个更具挑战性的设置，由特定领域的语料库组成，具有更长的n-gram和高度专业化的术语。受最近成功的掩蔽跨度预测模型的启发，我们提出了一种简单有效的训练策略，该策略在两种语言对中的三个特定领域语料库的术语和句子级别翻译上实现了一致的改进。
2021-08-12 cs.AI cs.CL cs.LG
Synthetic Data for Neural Machine Translation of Spoken-Dialects
Microsoft AI & Research（微软人工智能与研究事业部）
在本文中，我们介绍了一种新的方法来生成训练神经机器翻译系统的合成数据。该方法将书面语和目标语言之间的平行语料库转换为方言口语变体和目标语言之间的平行语料库。我们的方法是独立于语言的，可以用来生成数据的任何变体的源语言，如俚语或口语方言，甚至是一个不同的语言是密切相关的源语言。该方法基于分布式表示的局部嵌入投影，利用单语嵌入来转换跨语言变体的并行数据。我们报告了使用神经机器翻译进行黎凡特语到英语翻译的实验结果。我们表明，所生成的数据可以提高一个非常大的规模的系统超过2.8蓝点使用合成口语数据，这表明它可以用来提供一个可靠的翻译系统口语方言，没有足够的并行数据。
2017-11-28 cs.CL
Improving Scheduled Sampling with Elastic Weight Consolidation for Neural Machine Translation
University of Cambridge（剑桥大学）
尽管在许多序列到序列任务中表现出色，但使用最大似然估计训练的自回归模型存在暴露偏差，即训练期间使用的地面实况前缀与推理时使用的模型生成的前缀之间的差异。预定采样是一种简单且经验上成功的方法，它通过将模型生成的前缀纳入训练来解决这个问题。然而，有人认为这是一个不一致的训练目标，导致模型完全忽略前缀。在本文中，我们进行了系统的实验，发现定时采样，虽然它改善了暴露偏差，通过增加模型对输入序列的依赖，在推理时的前缀是正确的，灾难性遗忘的一种形式时的性能。我们建议使用弹性权重合并来更好地平衡减轻暴露偏差与保留性能。在四个IWITAL '14和WMT'14翻译数据集上的实验表明，我们的方法消除了灾难性遗忘，并显着优于最大似然估计和预定的采样基线。
2023-01-10 cs.CL cs.LG
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下会急剧下降，通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中，我们提出了一个Tigrinya的案例研究，我们调查了几个回译方法来生成合成源句子。我们发现，在低资源的条件下，回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的，从而大大提高了基线。
2021-04-04 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women（卡明斯女子工程学院）；Banasthali University（班纳斯塔利大学）
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译，翻译的有效性可以得到提高。我们已经表明，古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
Improving Simultaneous Translation by Incorporating Pseudo-References with Fewer Reorderings
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）；Columbia University（哥伦比亚大学）
同声翻译与整句翻译有很大的不同，因为它在源句结束之前就开始翻译，只有几个字的延迟。然而，由于缺乏大规模，高质量的同声翻译数据集，大多数这样的系统仍然是在传统的整句双文本上训练的。这对于同时发生的场景来说是非常不理想的，因为在这些双文本中存在大量不必要的长距离重新排序。我们提出了一种新的方法，改写现有的整句语料库的目标方到错误风格的翻译。在Zh->En和Ja->En同声翻译上的实验表明，添加这些生成的伪引用后，翻译效果有了很大的改善（最高可达+2.7 BLEU）。
2021-09-23 cs.CL
No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data
PAO Severstal / Moscow, Russia（莫斯科俄罗斯塞维尔塔尔公司）
本文通过合成与原创数据构建多突厥语翻译系统，展示了不同方法在各语言上的翻译效果，并发布相关数据集和模型权重。
2026-02-04 cs.AI cs.CL cs.LG
Synthesizing Monolingual Data for Neural Machine Translation
National Institute of Information and Communications Technology（日本信息通信技术研究所）
在神经机器翻译（NMT）中，通常通过所谓的“回译”方法利用目标语言的单语数据来合成额外的训练并行数据。实验结果表明，合成数据有助于训练更好的NMT，特别是对于低资源的语言对和领域。然而，目标领域或语言中的大型单语数据并不总是可用于生成大型合成并行数据。在这项工作中，我们提出了一种新的方法来生成大的合成并行数据，利用非常小的单语数据在一个特定的域。我们在这样小的域内单语数据上微调预训练的GPT-2模型，并使用生成的模型生成大量的合成域内单语数据。然后，我们执行反向翻译或正向翻译，以生成合成的域内并行数据。我们对三种语言对和五个域的初步实验表明，我们的方法可以有效地生成完全合成但有用的域内并行数据，以改善所有配置中的NMT。我们还在个性化NMT的极端适应中显示出有希望的结果。
2021-01-29 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
ParaCotta: Synthetic Multilingual Paraphrase Corpora from the Most Diverse Translation Sample Pair
Kata.ai Research Team（Kata.ai研究团队）；Kumamoto University（熊本大学）；University of Edinburgh（爱丁堡大学）；Universitas Indonesia（印度尼西亚大学）；Oracle Digital Assistant（甲骨文数字助手）；Brawijaya University（布拉维贾亚大学）
我们发布了17种语言的合成平行释义语料库：阿拉伯语，加泰罗尼亚语，捷克语，德语，英语，西班牙语，爱沙尼亚语，法语，印地语，印度尼西亚语，意大利语，荷兰语，罗马尼亚语，俄语，瑞典语，越南语和中文。我们的方法仅依赖于单语数据和神经机器翻译系统来生成释义，因此应用简单。我们使用束搜索生成多个翻译样本，并根据它们的句子BLEU选择词汇最多样化的对。我们比较我们生成的语料库与\texttt{ParaBank2}。根据我们的评估，我们的合成释义对语义相似，词汇多样。
2022-05-10 cs.CL
Improving Neural Machine Translation by Multi-Knowledge Integration with Prompting
Alibaba Group（阿里巴巴集团）
本文提出统一的多知识提示框架，将句子、术语/短语和翻译模板作为编码器与解码器的前缀提示，在不改变架构、不重新训练的情况下提升领域翻译性能。
2023-12-08 cs.CL
Improving Language Model Integration for Neural Machine Translation
RWTH Aachen University（亚琛工业大学）
本文将自动语音识别中中和隐式语言模型的思想迁移到机器翻译，以增强外部语言模型融合，并与回译方法进行比较。
2023-06-08 cs.AI cs.CL cs.LG
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University（巴纳斯塔利大学）
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中，名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验，它们是：专有名称，位置名称，组织名称和杂项。为了音节化的目的，已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
Controlling Neural Machine Translation Formality with Synthetic Supervision
Amazon AWS AI（亚马逊AWS人工智能）；University of Maryland（马里兰大学）
这项工作的目的是产生翻译，传达源语言内容在正式的水平，是适合特定的观众。将这个问题框架为神经序列到序列任务，理想情况下需要训练由标有目标语言形式的双语句子对组成的三元组。然而，在实践中，现有的训练样本仅限于不同风格的英语句子对和形式不明的双语平行句。我们为多任务模型引入了一种新的训练方案，该方案通过动态推断缺失的元素来自动生成合成训练三元组，从而实现端到端训练。全面的自动和人工评估表明，我们的最佳模型通过生成更好地匹配所需正式级别的翻译，同时保留源含义，从而优于现有模型。
2019-11-28 cs.CL
Improving Neural Machine Translation with Pre-trained Representation
单语数据已被证明有助于提高神经机器翻译（NMT）的翻译质量。现有的方法多停留在词级知识的利用上，如生成合成并行数据或从词嵌入中提取信息。相比之下，在自然语言生成过程中起着重要作用的、更为复杂多样的文本级上下文知识的力量却没有得到充分的利用。在本文中，我们提出了一种新的结构，它可以利用单语数据来获取会话级上下文表示。然后，我们设计了一个框架，将源语言和目标语言的语义级表示集成到NMT模型中，以提高翻译质量。在汉英、德英机器翻译任务上的实验结果表明，我们提出的模型在强Transformer基线上取得了较好的效果，而在英语-土耳其语上的实验进一步证明了我们的方法在低资源场景下的有效性。
2019-08-21 cs.CL
Improving CAT Tools in the Translation Workflow: New Approaches and Evaluation
Saarland University（萨尔大学）；DFKI（德国人工智能研究中心）；University of Wolverhampton（伍尔弗汉普顿大学）；Jadavpur University（贾达普大学）
本文介绍了策略，以改善现有的基于网络的计算机辅助翻译（CAT）工具，名为CATaLog在线。CATaLog Online提供了一个具有简单而有用的项目管理工具的后期编辑环境。它提供来自翻译记忆库（TM）、机器翻译（MT）和自动后期编辑（APE）的翻译建议，并记录后期编辑活动的详细日志。为了测试本文提出的新方法，我们进行了用户研究的英语-德语翻译任务使用CATaLog在线。用户反馈显示，在某些方面，用户更喜欢使用CATaLog Online而不是现有的CAT工具，特别是通过选择MT系统的输出和利用TM建议的配色方案。
2019-08-16 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不佳的双语模型，并且提供较差的zero-shot翻译。在本文中，我们将探讨如何改善它们。我们认为，多语言NMT需要更强的建模能力，以支持不同类型特征的语言对，并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题（即翻译成错误的目标语言）作为低zero-shot性能的主要来源，并提出随机在线回译，以强制翻译看不见的训练语言对。在OPUS-100（一种包含100种语言的新型多语言数据集）上的实验表明，我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距，并将zero-shot性能提高了约10 BLEU，接近传统的基于XML的方法。
2020-04-24 cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology（国立信息通信技术研究所）
最近的工作在以完全无监督的方式训练神经机器翻译（NMT）系统方面取得了显着的成果，该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中，我们建议将无监督NMT（UNMT）定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构，通过用合成双语数据代替人工双语数据进行训练，提出了监督NMT。我们建议用无监督统计机器翻译（USMT）生成的合成双语数据初始化UNMT的训练。然后，利用反向翻译，逐步改进联合国地雷行动组系统。我们的初步实验表明，我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务，两个翻译方向。
2018-10-30 cs.CL
Data-Driven Approach for Formality-Sensitive Machine Translation: Language-Specific Handling and Synthetic Data Generation
Korea University（高丽大学）；Upstage
本文提出一种面向形式敏感性机器翻译的数据驱动方法，通过特定语言数据处理与基于大模型的合成数据生成两项核心策略，显著超越基线并提升翻译性能。
2023-06-27 cs.AI cs.CL
Improving Gender Translation Accuracy with Filtered Self-Training
Texas A&M University（德克萨斯A&M大学）；Amazon AI（亚马逊AI）
有针对性的评价发现，机器翻译系统经常输出不正确的性别，即使性别在上下文中很清楚。此外，这些不正确的性别翻译有可能反映或放大社会偏见。我们提出了一种性别过滤的自我训练技术，以提高性别翻译准确性的明确性别的输入。该方法使用源单语语料库和初始模型来生成特定性别的伪平行语料库，然后将其添加到训练数据中。我们在源端和目标端对性别特定语料进行过滤，以确保句子对包含并正确翻译指定的性别。我们评估了我们将英语翻译成五种语言的方法，发现我们的模型提高了性别翻译的准确性，而不会对通用翻译质量造成任何损失。此外，我们展示了我们的方法在几种设置上的可行性，包括从头开始重新训练，微调，控制训练数据的平衡，向前翻译和向后翻译。
2021-04-15 cs.CL
Improving the Performance of Neural Machine Translation Involving Morphologically Rich Languages
SSN College Of Engineering（SSN工程学院）
神经机器翻译模型中注意力机制的出现通过实现对源语句的选择性查找而提高了机器翻译系统的性能。在本文中，使用双向编码器注意解码器模型的翻译效率进行了研究，翻译涉及形态丰富的语言。选择英语-泰米尔语对进行分析。首先，对英语和泰米尔语单词使用Word 2 Vec嵌入将翻译结果提高了0.73个BLEU点，比基线RNNSearch模型提高了4.84个BLEU分数。在词向量化之前使用形态分割将形态丰富的泰米尔语词在翻译之前分割成各自的语素，导致目标词汇量减少了8倍。此外，该模型（RNNMorph）将神经机器翻译的性能提高了7.05个BLEU点，超过了在相同语料库上使用的RNNSearch模型。由于RNNMorph模型的BLEU评估可能由于每个句子的匹配标记数量的增加而不可靠，因此还通过适当性，流畅性和相对排名的人类评估指标来比较翻译的性能。此外，形态分割的使用还提高了注意力机制的功效。
2017-01-08 cs.CL cs.LG cs.NE
Fully Synthetic Data Improves Neural Machine Translation with Knowledge Distillation
University of Edinburgh（爱丁堡大学）
本文探讨了神经机器翻译中知识蒸馏的单语数据扩充。源语言单语文本可以作为正向翻译合并。有趣的是，我们发现最好的方法，以纳入目标语言单语文本是将其翻译到源语言和往返翻译回目标语言，从而在一个完全合成的语料库。我们发现，结合单语数据从源和目标语言产生更好的性能比语料库的两倍大，只有一种语言。此外，实验表明，改进依赖于测试集的出处。如果测试集最初使用的是源语言（目标端由翻译人员编写），则向前翻译源单语数据很重要。如果测试集最初是用目标语言编写的（源代码由翻译人员编写），那么合并目标单语数据就很重要。
2021-09-15 cs.CL
Learning from Many Voices: Literary MT Using Multi-Reference Human and Synthetic Data
Northeastern University（东北大学）；Google DeepMind（谷歌DeepMind）
本文提出基于语义相似度的过滤框架，利用多参考人工与合成数据开展文学机器翻译研究，发现中高语义相似度数据微调效果更优，且人工专家译文的微调效果优于合成数据。
2026-09-17 cs.CL
Improving Retrieval Augmented Neural Machine Translation by Controlling Source and Fuzzy-Match Interactions
AWS AI Labs（亚马逊云科技人工智能实验室）
我们探讨zero-shot适应，其中一般的领域模型可以访问客户或领域特定的并行数据在推理时间，但不是在训练。我们建立在检索增强翻译（RAT）的思想上，其中为源句子找到了top-k域内模糊匹配，并且在推理时将这些模糊匹配句子的目标语言翻译提供给翻译模型。我们提出了一种新的架构来控制源句子和前k个模糊目标语言匹配之间的交互，并将其与以前工作的架构进行比较。我们在两个语言对（En-De和En-Fr）中进行实验，在WMT数据上训练模型，并分别用五个和七个多域数据集进行测试。我们的方法始终优于其他架构，提高BLEU跨语言对，域和模糊匹配的数量k。
2022-10-10 cs.CL
Improving Stability in Simultaneous Speech Translation: A Revision-Controllable Decoding Approach
Microsoft（微软）
针对同声语音翻译中部分结果闪烁的稳定性问题，提出一种在束搜索剪枝中引入允许修订窗口的修订可控解码方法，可大幅减少甚至消除闪烁，在保障翻译质量的同时显著提升解码稳定性。
2023-10-06 cs.CL
Tag-less Back-Translation
Ahmadu Bello University（艾哈迈杜·贝罗大学）；Bayero University（巴耶罗大学）
利用目标语单语数据的回译，可以有效地生成大量的并行句子，用于训练改进的神经机器翻译（NMT）系统。标准的反向翻译方法已被证明无法有效地利用现有的大量单语数据，因为翻译模型无法在训练期间区分真实的和合成的并行数据。标记或使用门已被用于使翻译模型能够区分合成数据和真实数据，从而改进标准反向翻译，并且还使得能够对使用标准反向翻译表现不佳的语言对使用迭代反向翻译。在这项工作中，我们接近回翻译作为一个领域自适应问题，消除了显式标记的需要。在该方法-- \emph{tag-less back-translation} --中，合成和真实的并行数据分别被视为域外和域内数据，并且通过预训练和微调，翻译模型被证明能够在训练期间更有效地从它们中学习。实验结果表明，该方法在低资源的英越语和英德语神经机器翻译中的性能优于标准回译方法和标记回译方法。
2021-02-09 cs.AI cs.CL cs.LG
Improving Lexical Choice in Neural Machine Translation
University of Notre Dame（圣母大学）
我们探讨了神经机器翻译中生僻词误译问题的两种解决方案。首先，我们认为标准输出层，它计算一个向量的内积表示上下文与所有可能的输出词嵌入，奖励频繁的话不成比例，我们建议固定两个向量的范数为一个常数。其次，我们集成了一个简单的词汇模块，它与模型的其余部分联合训练。我们在8种语言对上评估了我们的方法，数据大小从10万到800万个单词，并实现了高达+4.3 BLEU的改进，几乎在所有设置中都超过了基于短语的翻译。
2018-04-17 cs.CL
Chasing COMET: Leveraging Minimum Bayes Risk Decoding for Self-Improving Machine Translation
Laniqo（拉尼克公司）；Faculty of Mathematics and Computer Science, Adam Mickiewicz University（亚当·密茨凯维奇大学数学与计算机科学学院）
本文提出用 COMET 作为 MBR 解码效用指标，并基于模型自身正向翻译微调，实现机器翻译在领域适配和低资源场景下的迭代自我改进。
2024-05-20 cs.AI cs.CL cs.LG
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
University of Notre Dame（圣母大学）
神经序列到序列模型，特别是Transformer，是机器翻译的最新技术。然而，这些神经网络对架构和超参数设置非常敏感。通过网格或随机搜索优化这些设置在计算上是昂贵的，因为它需要许多训练运行。在本文中，我们通过自动调整将架构搜索纳入到单个训练运行中，该自动调整使用正则化在训练过程中删除网络中的神经元。在资源非常少的语言对上，我们发现自动调整大小可以将BLEU分数提高3.9分，同时从模型中删除三分之一的参数。
2019-10-01 cs.CL cs.LG stat.ML
Improving Robustness of Retrieval Augmented Translation via Shuffling of Suggestions
AWS AI Labs（亚马逊云科技人工智能实验室）
最近的几项研究报告称，通过在推理时使用从翻译记忆（TM）检索的模糊匹配来增强翻译，神经机器翻译（NMT）的性能得到了显着提高。然而，这些研究都是在假设测试时可用的TM与测试集高度相关的前提下进行的。我们证明，对于现有的检索增强翻译方法，使用TM与域不匹配的测试集可以导致大幅下降的性能相比，根本不使用TM。我们提出了一种简单的方法，在训练过程中暴露模糊匹配NMT系统，并表明它会导致一个系统，这是更宽容（恢复高达5.8 BLEU）与域不匹配的TM推理。此外，当从相关TM获得建议时，该模型仍然与基线具有竞争力。
2022-10-11 cs.CL
Visually Grounded Word Embeddings and Richer Visual Features for Improving Multimodal Neural Machine Translation
University of Mons（蒙斯大学）
在多模态神经机器翻译（MNMT）中，神经模型生成描述图像的翻译句子，给定图像本身和英语的一个源描述。这被认为是多模态图像字幕翻译任务。用卷积神经网络（CNN）处理图像以提取可由翻译模型利用的视觉特征。到目前为止，所使用的CNN是在目标检测和定位任务上进行预训练的。我们假设，更丰富的架构，如密集的字幕模型，可能更适合MNMT，并可能导致改进的翻译。我们将这种直觉扩展到词嵌入，在那里我们为我们的语料库词汇计算语言和视觉表示。我们结合并比较了不同的配置，
2017-12-16 cs.CL
Improving Zero-Shot Translation by Disentangling Positional Information
Maastricht University（马斯特里赫特大学）；Facebook AI（脸书人工智能研究院）
多语言神经机器翻译已经显示出在训练中看不到的语言对之间直接翻译的能力，即zero-shot翻译。尽管在概念上很有吸引力，但它往往受到低输出质量的影响。推广到新的翻译方向的困难表明，模型表示对于训练中看到的语言对是高度特定的。我们证明了一个主要因素，导致特定语言的表示是位置对应的输入令牌。我们表明，这可以很容易地减轻通过删除编码器层中的残留连接。通过这种修改，我们在zero-shot翻译上获得了高达18.5个BLEU点，同时保持了监督方向的质量。这些改进在相关语言之间尤为突出，我们提出的模型优于基于XML的翻译。此外，我们的方法允许轻松集成新语言，这大大扩展了翻译范围。通过对隐藏层输出的彻底检查，我们表明我们的方法确实导致了更多的语言独立的表示。
2021-06-30 cs.CL
Bi-Directional Neural Machine Translation with Synthetic Parallel Data
University of Maryland（马里兰大学）；Amazon.com, Inc.（亚马逊公司）
尽管在高资源环境中取得了令人印象深刻的进展，但神经机器翻译（NMT）仍然在低资源和域外场景中挣扎，通常无法匹配基于短语的翻译质量。我们提出了一种新的技术，结合回译和多语言NMT，以提高性能，在这些困难的情况下。我们的技术为语言对的两个方向训练单个模型，使我们能够在不需要辅助模型的情况下反向翻译源或目标单语数据。然后，我们继续在增强的并行数据上进行训练，从而实现单个模型的改进周期，该模型可以包含任何源、目标或并行数据，以改进两个翻译方向。作为副产品，与单向模型相比，这些模型可以显著降低培训和部署成本。大量的实验表明，我们的技术在低资源情况下优于标准的反向翻译，提高了跨域任务的质量，并有效地降低了成本。
2018-05-30 cs.CL
Improving the Quality of Neural Machine Translation Through Proper Translation of Name Entities
Banasthali Vidyapith（班斯塔里维迪亚皮斯大学）；Centre for Artificial Intelligence, Banasthali Vidyapith（班斯塔里维迪亚皮斯大学人工智能中心）
本文提出将命名实体翻译/音译作为预处理步骤，以提高神经机器翻译质量，实验显示人名、地名和组织名准确率分别达99.86%、99.63%和99.05%，总体准确率99.52%。
2023-05-12 cs.AI cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)（韩国科学技术大学（UST））；Electronics and Telecommunication Research Institute (ETRI)（电子通信研究院（ETRI））
在机器翻译中，我们经常尝试收集资源以提高性能。然而，大多数语言对，如朝鲜语-阿拉伯语和朝鲜语-越南语，没有足够的资源来训练机器翻译系统。在本文中，我们提出了使用合成方法来扩展低资源语料库，并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子，使目标句子更好，包括使用合成方法。我们发现，语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外，当这两种方法一起使用时，我们发现更好的机器翻译性能。
2018-02-14 cs.CL
On Synthetic Data for Back Translation
Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）
本研究通过理论和实证识别出影响回译性能的合成数据的两大关键因素（质量与重要性），并提出一种平衡二者的简单有效方法，在WMT14多语言任务上显著超越标准基线。
2023-10-20 cs.CL
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University（萨维特里拜·普纳大学）
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练，并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调，一直显示出示范性的结果。在这项工作中，我们提出了一个多任务微调方法，它结合了双语机器翻译任务与辅助因果语言建模任务，以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究，马拉地语-印地语，马拉地语-英语和印地语-英语，在那里我们将多任务微调方法与标准微调方法进行了比较，为此我们使用了mBART 50模型。我们的研究表明，多任务微调方法可能是一种比标准微调更好的技术，可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
