Testing the Deliteralization Hypothesis in Human and Machine Translation
Inria（法国国家信息与自动化研究所）
通过比较人类翻译、NMT系统与LLM在54个语言对上的字面化程度，验证去字面化假设是否适用于LLM生成与修订过程。
2026-05-25 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；University of Washington（华盛顿大学）
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因，发现词汇、句法相似性不足以解释其成功，而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
Exploring Diversity in Back Translation for Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition, and Computation（语言、认知与计算研究所）
本研究提出区分词汇与句法多样性的框架及新指标，实证发现核采样生成反向翻译性能更优，且词汇多样性比句法多样性更重要。
2022-06-01 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）
回译（Back translation，BT）已被广泛应用并成为神经机器翻译（Neural Machine Translation，NMT）中数据增强的标准技术之一，BT已被证明有助于有效提高翻译性能，特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上，但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译（SMT）模型的影响，用于中文到越南语和越南语到中文，基于字符和基于单词的设置。部分地证实了前人工作中的一些结论，并得出了一些有趣的发现和结论，这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
对大型平行语料库的过度依赖极大地限制了机器翻译系统对大多数语言对的适用性。在以前的无监督神经机器翻译方法中，主要使用反向翻译，其中生成伪句子对以训练具有重建损失的模型。然而，伪句子通常是低质量的，因为翻译错误在训练过程中积累。为了避免这个根本问题，我们提出了一种替代的，但更有效的方法，提取编辑，提取，然后编辑的目标单语语料库的真实句子。此外，我们还引入了一个比较翻译损失来评估翻译的目标句子，从而训练无监督翻译系统。实验表明，所提出的方法始终优于以前的国家的最先进的无监督机器翻译系统在两个基准（英语-法语和英语-德语）和两个低资源的语言对（英语-罗马尼亚语和英语-俄罗斯）超过2（高达3.63）BLEU点。
2019-04-04 cs.CL
Understanding Back-Translation at Scale
Facebook AI Research（Facebook人工智能研究院）；Google Brain（谷歌大脑）
利用单语数据改进神经机器翻译的一种有效方法是用目标语言句子的回译来扩充并行训练语料库。本文的工作拓宽了对回译的理解，并探讨了一些生成合成源句的方法。我们发现，在所有，但资源贫乏的设置后，通过采样或噪声光束输出获得的翻译是最有效的。我们的分析表明，采样或噪声合成数据给出了一个更强的训练信号比波束或贪婪搜索产生的数据。我们还比较了合成数据与真正的双文本的比较，并研究了各种域效应。最后，我们扩展到数亿个单语句子，并在WMT'14英语-德语测试集上达到了35 BLEU的新水平。
2018-10-03 cs.CL
Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation
Qiyi（爱奇艺）
神经机器翻译（NMT）模型通常通过单向解码器进行训练，这对应于优化一步预测。然而，这种单向解码框架可能倾向于关注局部结构而不是全局连贯性。为了解决这个问题，我们提出了一种新的方法，自知识蒸馏与双向解码器的神经机器翻译（SBD-NMT）。我们部署了一个后向解码器，它可以作为一个有效的正则化方法的前向解码器。通过利用后向解码器关于长期未来的信息，提取在后向解码器中学习的知识可以鼓励自回归NMT模型提前计划。实验表明，在多个机器翻译数据集上，我们的方法明显优于强Transformer基线。
2022-03-11 cs.CL
The UMD Neural Machine Translation Systems at WMT17 Bandit Learning Task
University of Maryland, College Park（马里兰大学帕克分校）
我们描述了马里兰大学的机器翻译系统提交给WMT 17德英班迪特学习任务。任务是使翻译系统适应一个新的领域，只使用强盗反馈：系统接收一个德语句子进行翻译，生成一个英语句子，并且只得到一个标量分数作为反馈。针对这两个挑战（自适应和强盗学习），我们构建了一个标准的神经机器翻译系统，并以两种方式对其进行扩展：（1）鲁棒的强化学习技术，以有效地从强盗反馈中学习，以及（2）使用从大型并行数据库中选择数据的领域自适应。
2017-08-07 cs.AI cs.CL cs.HC
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London（帝国理工学院）
神经机器翻译（NMT）模型在翻译干净的文本时已被证明是强大的，但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对，但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个：第一，我们提出了新的数据增强方法来扩展有限的噪声数据，并进一步提高NMT对噪声的鲁棒性，同时保持模型小。其次，我们探讨了以语音转录的形式利用外部数据中的噪声的效果，并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
Dynamic Data Selection and Weighting for Iterative Back-Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）
在神经机器翻译（NMT）中，反向翻译被证明是一种有效的利用单语数据的方法，迭代地进行反向翻译可以进一步提高模型的性能。选择哪些单语数据进行反向翻译至关重要，因为我们要求得到的合成数据具有高质量并反映目标域。为了实现这两个目标，已经提出了数据选择和加权策略，通常的做法是选择接近目标域的样本，但也不同于平均的一般域文本。在本文中，我们提供了这种常用的方法的见解，并将其推广到一个动态的课程学习策略，这是适用于迭代回译模型。此外，我们提出了加权策略的基础上，当前的质量的句子和它的改进，在以前的迭代。我们评估我们的模型领域自适应，低资源，高资源MT设置和两种语言对。实验结果表明，我们的方法实现了高达1.8 BLEU点的竞争基线的改进。
2020-10-07 cs.CL
Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
提出两阶段方法EcXTra，通过多语言微调与反向翻译训练单一NMT模型，实现未见语言与英语间的双向无监督翻译，在7种低资源语言上取得竞争性表现并刷新英译哈萨克语纪录。
2023-04-03 cs.CL
Adaptation of Machine Translation Models with Back-translated Data using Transductive Data Selection Methods
ADAPT Centre（ADAPT中心）；School of Computing, Dublin City University（都柏林城市大学计算机学院）
当应用于真实数据时，数据选择已经证明了其对于改进神经机器翻译（NMT）的优点。但是，在NMT训练中使用合成数据的好处，由流行的反向翻译技术产生，提出了一个问题，如果数据选择也可以用于合成数据？在这项工作中，我们使用不频繁的N元恢复（INR）和特征衰减算法（FDA），两个转换的数据选择方法，以获得从合成数据的句子子集。这些方法确保所选句子与测试集共享n-gram，因此NMT模型可以进行调整以翻译它。对反向翻译数据执行数据选择会带来新的挑战，因为源端可能包含由反向翻译中使用的模型产生的噪声。因此，找到测试集中存在的n-gram变得更加困难。尽管如此，在我们的工作中，我们表明，适应一个模型与选择的合成数据是一个有用的方法。
2019-06-18 cs.CL
ViBidirectionMT-Eval: Machine Translation for Vietnamese-Chinese and Vietnamese-Lao language pair
University of Engineering and Technology, Vietnam National University（越南国家大学工程技术大学）
本文介绍VLSP 2022-2023共享任务的越中、越老双向机器翻译评测工作，采用自动指标与专家人工评判结合的方式，在1000个多领域测试句对上评估参赛系统，保障了评测的全面性。
2025-01-15 cs.AI cs.CL
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下会急剧下降，通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中，我们提出了一个Tigrinya的案例研究，我们调查了几个回译方法来生成合成源句子。我们发现，在低资源的条件下，回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的，从而大大提高了基线。
2021-04-04 cs.CL
Unsupervised Multi-modal Neural Machine Translation
University of South California（南加利福尼亚大学）；Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
无监督神经机器翻译（UNMT）最近取得了显着的成果，只有大型单语语料库中的每种语言。然而，目标与源语句之间的不确定性使得UNMT在理论上是一个不适定问题。这项工作探讨了利用图像消除歧义的可能性，以提高联合国布隆迪综合办事处的业绩。我们的假设直观上是基于图像的不变性，即，不同语言对同一可视内容的描述应该大致相似。提出了一种基于图像的语言翻译周期一致性损失的无监督多模态机器翻译（UMNMT）框架，旨在同时学习双向多模态翻译。通过多模态和单模态之间的交替训练，我们的推理模型可以在有或没有图像的情况下进行翻译。在广泛使用的Multi30K数据集上，我们的方法在2016年测试数据集上的实验结果明显优于纯文本UNMT。
2019-05-27 cs.CL cs.CV
Investigating Backtranslation in Neural Machine Translation
School of Computing, DCU（都柏林城市大学计算学院）；ADAPT Centre（ADAPT研究中心）
训练基于语料库的机器翻译（MT）系统（无论是统计MT（SMT）还是神经MT（NMT））的先决条件是高质量并行数据的可用性。这一点在今天比以往任何时候都更加重要，因为许多研究表明NMT的表现优于SMT，但大多数情况下是在大型并行语料库可用的情况下;在数据有限的情况下，SMT仍然可以优于NMT。最近的研究表明，回译单语数据可以用来创建合成的平行语料库，这反过来又可以用于与真实的平行数据相结合，训练一个高质量的NMT系统。由于大量新的并行文本很少可用，因此在构建最先进的NMT系统时，尤其是在资源匮乏的情况下，回译已成为常态。然而，我们断言，有许多未知因素的实际影响，回译数据的翻译能力的NMT模型。因此，在这项工作中，我们研究了如何使用反向翻译的数据作为训练语料库-既作为一个单独的独立数据集，也与人类生成的并行数据相结合-影响NMT模型的性能。我们使用越来越多的回译数据来训练一系列德语到英语的NMT系统，并分析由此产生的翻译性能。
2018-04-17 cs.CL
LIUM Machine Translation Systems for WMT17 News Translation Task
University of Le Mans（勒芒大学）
本文介绍了LIUM提交WMT 17新闻翻译任务的英语-德语，英语-土耳其语，英语-捷克语和英语-拉脱维亚语对。我们使用开源的nmtpy框架，训练基于BPE的专注神经机器翻译系统，有和没有因子输出。竞争分数是通过集成各种系统和利用目标单语语料库的回译的可用性。还分析了英语-土耳其语的回译数量和质量的影响，我们在截止日期后提交的作品超过了最好的作品+1.6 BLEU。
2017-07-14 cs.CL
Enhanced back-translation for low resource neural machine translation using self-training
Ahmadu Bello University（艾哈迈德·贝罗大学）；Bayero University（拜罗大学）
使用单语目标数据（合成并行数据）的反向翻译来改进神经机器翻译（NMT）模型是目前用于训练改进的翻译系统的最先进的方法。反向系统的质量-在可用的并行数据上进行训练并用于反向翻译-在许多研究中已被证明会影响最终NMT模型的性能。在低资源条件下，可用的并行数据通常不足以训练能够产生训练标准翻译模型所需的定性合成数据的后向模型。这项工作提出了一种自我训练策略，其中向后模型的输出用于通过向前翻译技术来改进模型本身。该技术被证明可以分别将基线低资源的IWALK '14英语-德语和IWALK'15英语-越南语向后翻译模型提高11.06和1.5 BLEU。由改进的英德后向模型生成的合成数据被用于训练前向模型，该前向模型的性能优于使用2.7 BLEU的标准后向翻译训练的另一前向模型。
2020-12-24 cs.CL cs.LG
Combining SMT and NMT Back-Translated Data for Efficient NMT
School of Computing, DCU（都柏林城市大学计算学院）；ADAPT Centre（ADAPT中心）
神经机器翻译（NMT）模型在使用大量并行数据进行训练时达到最佳性能。因此，用于扩充训练集的技术最近变得流行。这些方法之一是回译（Sennrich等人，2016年），它包括通过使用机器翻译（MT）模型翻译一组单语目标语言句子来生成合成句子。通常，NMT模型用于回译。在这项工作中，我们分析了模型的性能时，训练数据扩展合成数据使用不同的MT方法。特别是，我们不仅研究了NMT生成的回译数据，还研究了统计机器翻译（SMT）模型及其组合生成的回译数据。结果表明，当训练集增加了通过合并不同MT方法创建的反向翻译数据时，模型达到了最佳性能。
2019-09-09 cs.CL
Backdoor Attack on Multilingual Machine Translation
The University of Melbourne（墨尔本大学）；Macquarie University（麦考瑞大学）；University College London（伦敦大学学院）
本文揭示多语言机器翻译系统面临隐蔽后门攻击风险，实验证明仅向低资源语言对注入不到0.01%中毒数据即可对高资源语言对实现平均20%攻击成功率，呼吁关注低资源语言场景下的翻译安全问题。
2024-04-03 cs.CL
Generating Diverse Translation by Manipulating Multi-Head Attention
Nanjing University（南京大学）
Transformer模型在机器翻译任务中得到了广泛的应用，并取得了很好的效果。在本文中，我们报告了一个有趣的现象，在其编码器-解码器的多头注意力：不同的注意头的最终解码器层对齐不同的单词翻译候选。我们经验验证了这一发现，并提出了一种方法来产生不同的翻译操纵头。此外，我们利用这些不同的翻译与回译技术更好的数据增强。实验结果表明，我们的方法产生不同的翻译没有严重下降的翻译质量。实验还表明，这些不同的翻译回译可以带来显着的提高翻译任务的性能。会话反应生成任务的辅助实验也证明了多样性的影响。
2019-11-21 cs.CL
CUNI Systems for the WMT22 Czech-Ukrainian Translation Task
Charles University（查理大学）
我们目前查尔斯大学提交给WMT 22通用翻译共享任务捷克-乌克兰和乌克兰-捷克机器翻译。我们提出了两个限制提交的基础上块回翻译和标记回翻译和实验与基于规则的罗马化乌克兰语。我们的研究结果表明，罗马化对翻译质量的影响很小。此外，我们还介绍了Charles Translator，这是一个于2022年3月开发的系统，用于应对从乌克兰到捷克共和国的移民。与我们的受限系统相比，它没有使用罗马化，而是使用了一些专有数据源。
2022-12-01 cs.CL
Revamping Multilingual Agreement Bidirectionally via Switched Back-translation for Multilingual Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
针对多语言神经机器翻译中多语言一致性方法依赖平行数据且优化方向模糊的问题，提出BMA-SBT框架，通过切换反向翻译生成合成文本并双向优化一致性，在三个基准上显著提升性能。
2023-05-15 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Semi-Supervised Text Simplification with Back-Translation and Asymmetric Denoising Autoencoders
Shanghai Jiao Tong University（上海交通大学）
文本简化（TS）将长句重组为简化的变体，同时保留固有的语义。传统的序列到序列模型严重依赖于平行句的数量和质量，这限制了它们在不同语言和领域的适用性。本文研究了如何在TS任务中利用大量的非配对语料。我们在无监督机器翻译（NMT）中采用了反向翻译架构，包括用于语言建模的去噪自动编码器和通过迭代反向翻译自动生成并行数据。然而，如果我们直接将简单语料集和复杂语料集视为两种不同的语言，则生成适当的复杂-简单对是不平凡的，因为这两种类型的句子非常相似，并且模型难以捕捉不同类型句子的特征。为了解决这个问题，我们提出了不同复杂度的句子的非对称去噪方法。当使用自动编码器对简单和复杂句子进行建模时，我们会在训练过程中引入不同类型的噪声。这种方法可以显著提高简化性能。我们的模型可以以无监督和半监督的方式进行训练。自动和人工评估表明，我们的无监督模型优于以前的系统，并且在有限的监督下，我们的模型可以与多个最先进的简化系统竞争。
2020-04-30 cs.CL
High Quality Rather than High Model Probability: Minimum Bayes Risk Decoding with Neural Metrics
Google Research（谷歌研究院）
在神经机器翻译中，通常假设具有最高估计概率的句子也应该是具有人类测量的最高质量的翻译。在这项工作中，我们质疑这一假设，并表明模型估计和翻译质量只有模糊的相关性。我们将最小贝叶斯风险（MBR）解码应用于无偏样本，以优化翻译质量的各种自动化指标，作为束搜索的替代推理策略。MBR解码不是以具有最高模型概率的假设为目标，而是提取具有最高估计质量的假设。我们的实验表明，将神经翻译模型与基于神经参考的度量BLEURT相结合，可以显著改善人类评估。这种改进是通过与经典波束搜索输出不同的平移获得的：这些平移具有低得多的模型似然性，并且不太受BLEU等表面度量的青睐。
2022-04-25 cs.AI cs.CL cs.LG
Generalizing Back-Translation in Neural Machine Translation
RWTH Aachen University（亚琛工业大学）；eBay, Inc.（易贝公司）
反向翻译-通过翻译目标单语数据来数据增强-是现代神经机器翻译（NMT）的关键组成部分。在这项工作中，我们在NMT模型的交叉熵优化范围内重新制定了反向翻译，澄清了其基本的数学假设和近似，超出了其启发式用法。我们的公式涵盖了更广泛的合成数据生成方案，包括从目标到源NMT模型的采样。有了这个公式，我们指出了基本问题的采样为基础的方法，并建议纠正他们（i）禁用标签平滑的目标到源模型和（ii）从一个有限的搜索空间采样。我们的声明在WMT 2018德英新闻翻译任务中进行了调查。
2019-06-17 cs.CL cs.LG
Benchmarking Gender Bias in Machine Translation Evaluation Metrics across Occupations
Instituto de Telecomunicações（电信研究所）；National Technical University of Athens（雅典国立技术大学）；University of Amsterdam（阿姆斯特丹大学）
本研究在WMT 2026共享任务中，基于GAMBIT+职业平衡子集，评估七个语言对的机器翻译评估指标，发现阳性译文普遍得分更高且存在职业刻板差异，表明性别偏见仍存，需多维分析。
2026-09-21 cs.CL
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）最近在机器翻译领域变得流行。然而，NMT在翻译中存在着重词或漏词的问题。为了解决这个问题，Tu et al.（2017）提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中，他们以与Bahdanau等人（2015）相同的方式选择了最佳的前向翻译模型，然后训练了一个双向翻译模型作为微调。他们的实验表明，它提供了显着提高BLEU分数在汉英翻译任务。我们证实，我们的重新实施也表现出同样的趋势，并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外，我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
Meta Back-translation
Carnegie Mellon University（卡内基梅隆大学）；Google AI（谷歌人工智能）
反向翻译是一种通过产生伪并行数据来提高神经机器翻译~（NMT）性能的有效策略。然而，最近的一些研究发现，伪并行数据的更好的翻译质量并不一定会导致更好的最终翻译模型，而质量较低但更多样化的数据往往会产生更强的结果。在本文中，我们提出了一种新的方法来生成伪并行数据从一个预先训练的反向翻译模型。我们的方法是一种Meta学习算法，该算法适应预先训练的反向翻译模型，使得它生成的伪并行数据将训练正向翻译模型，以在验证集上表现良好。在我们对标准数据集WMT En-De'14和WMT En-Fr'14以及多语言翻译环境的评估中，我们的方法在强大的基线上取得了显着的改进。我们的代码将提供。
2021-02-15 cs.CL cs.LG
Quick Back-Translation for Unsupervised Machine Translation
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
本文提出快速回译（QBT）方法，通过将 Transformer 编码器重新用作生成模型并与自回归回译结合训练解码器，在多个 WMT 基准上以更少的精炼步骤显著提升无监督机器翻译模型的训练效率。
2023-12-01 cs.CL cs.LG cs.PL
Bi-Directional Neural Machine Translation with Synthetic Parallel Data
University of Maryland（马里兰大学）；Amazon.com, Inc.（亚马逊公司）
尽管在高资源环境中取得了令人印象深刻的进展，但神经机器翻译（NMT）仍然在低资源和域外场景中挣扎，通常无法匹配基于短语的翻译质量。我们提出了一种新的技术，结合回译和多语言NMT，以提高性能，在这些困难的情况下。我们的技术为语言对的两个方向训练单个模型，使我们能够在不需要辅助模型的情况下反向翻译源或目标单语数据。然后，我们继续在增强的并行数据上进行训练，从而实现单个模型的改进周期，该模型可以包含任何源、目标或并行数据，以改进两个翻译方向。作为副产品，与单向模型相比，这些模型可以显著降低培训和部署成本。大量的实验表明，我们的技术在低资源情况下优于标准的反向翻译，提高了跨域任务的质量，并有效地降低了成本。
2018-05-30 cs.CL
Selecting Backtranslated Data from Multiple Sources for Improved Neural Machine Translation
University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；Dublin City University（都柏林城市大学）
机器翻译（MT）已经受益于使用源自翻译单语语料库的合成训练数据，这是一种被称为回译的技术。将来自不同来源的反向翻译数据组合在一起，比单独使用这些数据会产生更好的结果。在这项工作中，我们分析了基于规则，基于短语的统计和神经MT系统翻译的数据对新的MT系统的影响。我们使用一个真实世界的低资源用例（巴斯克语到西班牙语在临床领域）以及高资源语言对（德语到英语）来测试不同的场景与回译，并采用数据选择来优化合成语料库。我们采用不同的数据选择策略，以减少使用的数据量，同时保持高质量的MT系统。我们进一步调整的数据选择方法，考虑到质量的MT系统用于回译和词汇多样性的语料库。我们的实验表明，将来自不同来源的反向翻译数据合并可能是有益的，并且利用数据选择可以提高性能。
2020-05-01 cs.CL
TransBench: Benchmarking Machine Translation for Industrial-Scale Applications
Alibaba International Digital Commerce（阿里巴巴国际数字商务集团）；Beijing Language and Culture University（北京语言大学）
针对通用机器翻译评估基准与工业实际应用效果脱节的问题，本研究提出三级翻译能力评估框架，推出面向电商场景的工业机器翻译基准TransBench，整合多维度指标并开源工具，填补了专业领域翻译评估的空白。
2025-05-20 cs.CL
Tag-less Back-Translation
Ahmadu Bello University（艾哈迈杜·贝罗大学）；Bayero University（巴耶罗大学）
利用目标语单语数据的回译，可以有效地生成大量的并行句子，用于训练改进的神经机器翻译（NMT）系统。标准的反向翻译方法已被证明无法有效地利用现有的大量单语数据，因为翻译模型无法在训练期间区分真实的和合成的并行数据。标记或使用门已被用于使翻译模型能够区分合成数据和真实数据，从而改进标准反向翻译，并且还使得能够对使用标准反向翻译表现不佳的语言对使用迭代反向翻译。在这项工作中，我们接近回翻译作为一个领域自适应问题，消除了显式标记的需要。在该方法-- \emph{tag-less back-translation} --中，合成和真实的并行数据分别被视为域外和域内数据，并且通过预训练和微调，翻译模型被证明能够在训练期间更有效地从它们中学习。实验结果表明，该方法在低资源的英越语和英德语神经机器翻译中的性能优于标准回译方法和标记回译方法。
2021-02-09 cs.AI cs.CL cs.LG
Using Monolingual Data in Neural Machine Translation: a Systematic Study
Lingua Custodia；LIMSI, CNRS, Université Paris Saclay（法国国家科学研究中心、巴黎萨克雷大学LIMSI实验室）
神经机器翻译（MT）从根本上改变了系统的开发方式。与上一代（基于短语的机器翻译）的一个主要区别是单语目标数据的方式，这往往是丰富的，在这两个范例中使用。虽然基于短语的机器翻译可以无缝集成在数十亿个句子上训练的非常大语言模型，但神经机器翻译开发人员的最佳选择似乎是通过\textsl{back-translation}生成人工并行数据-这种技术无法充分利用现有的数据集。在本文中，我们进行了系统的研究回译，比较替代使用的单语数据，以及多个数据生成过程。我们的研究结果证实了回译是非常有效的，并给出了新的解释，为什么会这样。我们还介绍了新的数据模拟技术，几乎一样有效，但更便宜的实施。
2019-03-27 cs.CL
Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
我们探索了结合双语词典来实现半监督神经机器翻译的方法。传统的反向翻译方法已经在利用目标侧单语数据方面取得了成功。然而，由于回译模型的质量与可用并行语料库的大小有关，因此这可能会对低资源设置中的合成生成的句子产生不利影响。我们提出了一个简单的数据增强技术来解决这两个缺点。我们将广泛使用的双语词典，产生逐字翻译生成合成句子。这会自动扩展模型的词汇表，同时保持高质量的内容。我们的方法在强基线上显示出明显的性能改善。
2020-04-05 cs.CL
Backtranslation Augmented Direct Preference Optimization for Neural Machine Translation
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出基于直接偏好优化的强化学习后训练框架，利用通用文本语料和专家反馈纠正神经机器翻译错误，在英德翻译任务上将COMET分数从0.703提升至0.747。
2026-08-04 cs.CL
Tagged Back-Translation
Google Research（谷歌研究院）
神经机器翻译（NMT）的最新研究表明，在反向翻译（一种生成合成并行数据的方法）过程中，噪声波束解码可以显著提高质量。我们表明，这种合成噪声的主要作用是不多样化的源侧，如前所述，但只是为了表明该模型，给定的源是合成的。我们提出了一个更简单的替代噪声技术，包括标记回翻译的源句子与一个额外的令牌。我们的结果WMT优于噪声回翻译在英语-罗马尼亚语和匹配性能的英语-德语，重新定义国家的最先进的在前者。
2019-06-15 cs.CL cs.LG
Unsupervised Neural Machine Translation with SMT as Posterior Regularization
Beihang University（北京航空航天大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Beijing Advanced Innovation Center for Big Data and Brain Computing（大数据与脑计算北京高等创新中心）
无监督神经机器翻译（NMT）在没有真实双语语料的情况下，通常需要使用反向翻译方法生成的伪并行数据进行模型训练。然而，由于监管不力，伪数据不可避免地包含噪声和错误，这些噪声和错误会在后续的训练过程中积累和强化，导致翻译性能不佳。为了解决这个问题，我们引入了基于短语的统计机器翻译（SMT）模型，这些模型对噪声数据具有鲁棒性，作为后验正则化来指导迭代回译过程中无监督NMT模型的训练。我们的方法从SMT模型开始，SMT模型是用预训练的语言模型和从跨语言嵌入推断的单词级翻译表构建的。然后，SMT和NMT模型联合优化，并在统一的EM框架中相互增强。这样一来，（1）SMT可以及时滤除短语表中的噪声，从而减轻迭代回译过程中的错误所带来的负面影响;（2）NMT可以弥补SMT在流畅性方面的不足。在英-法-译和英-德翻译任务上进行的实验表明，我们的方法优于强基线，并实现了新的最先进的无监督机器翻译性能。
2019-01-14 cs.CL
AdMix: A Mixed Sample Data Augmentation Method for Neural Machine Translation
Soochow University（苏州大学）
在神经机器翻译（NMT）中，诸如反向翻译的数据增强方法已经证明了它们在提高翻译性能方面的有效性。在本文中，我们提出了一种新的数据增强方法，这是独立于任何额外的训练数据的NMT。我们的方法，AdMix，包括两个部分：1）引入微弱的离散噪声（词替换，词丢弃，词交换）到原始的句子对，形成增强的样本; 2）产生新的合成训练数据，通过软混合的增强样本与它们的原始样本在训练语料库。在三个不同尺度的翻译数据集上的实验表明，AdMix在强Transformer基线上实现了显著的改进（1.0到2.7个BLEU点）。当与其他数据增强技术（例如，回译），我们的方法可以得到进一步的改进。
2022-05-10 cs.CL
A Hybrid Approach for Improved Low Resource Neural Machine Translation using Monolingual Data
Bayero University（巴耶罗大学）；Ahmadu Bello University（艾哈迈杜·贝罗大学）；National Open University of Nigeria（尼日利亚国立开放大学）
许多语言对都是低资源的，这意味着可用并行数据的数量和/或质量不足以训练能够达到可接受的准确性标准的神经机器翻译（NMT）模型。许多著作已经探索了使用一种或两种语言中现成的单语数据来提高低，甚至高，资源语言的翻译模型的标准。其中最成功的工作之一是利用目标语言单语数据的翻译来增加训练数据的量的回译。已经证明，在可用的并行数据上训练的反向模型的质量决定了反向转换方法的性能。尽管如此，在标准的反向翻译中，只有前向模型在单语目标数据上得到了改进。先前的研究提出了一种迭代回译方法，用于在几次迭代中改进这两个模型。但与传统的回译不同，它同时依赖于目标和源单语数据。因此，这项工作，提出了一种新的方法，使向后和向前的模型，以受益于单语目标数据，通过混合的自学习和反向翻译分别。实验结果表明，该方法在低资源的英-德神经机器翻译中优于传统的回译方法。我们还提出了一种迭代自学习方法，该方法的性能优于迭代反向翻译，同时仅依赖于单语目标数据，并且需要较少的模型训练。
2021-11-22 cs.CL cs.LG
Language Model-Driven Unsupervised Neural Machine Translation
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（全球通科技有限公司）
无监督神经机器翻译（NMT）在执行香草反向翻译时与合成数据中的噪声和错误相关联。在这里，我们显式地利用语言模型（LM）来驱动无监督NMT系统的构建。这包括两个步骤。首先，我们使用通过临时统计机器翻译（SMT）生成的合成数据初始化NMT模型。其次，与普通的反向翻译不同，我们制定了一个权重函数，在后续迭代训练的每一步对合成数据进行评分;这使得无监督训练能够获得更好的结果。我们提出了详细的数学构造我们的方法。实验性WMT 2014英语-法语、WMT 2016英语-德语和英语-俄语翻译任务表明，我们的方法比之前最好的系统的性能高出3个BLEU点以上。
2019-11-10 cs.CL
On Synthetic Data for Back Translation
Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）
本研究通过理论和实证识别出影响回译性能的合成数据的两大关键因素（质量与重要性），并提出一种平衡二者的简单有效方法，在WMT14多语言任务上显著超越标准基线。
2023-10-20 cs.CL
Back-translation for Large-Scale Multilingual Machine Translation
eBay Inc.（易趣公司）
本文阐述了我们在第六届机器翻译会议（WMT-21）上对大规模多语种机器翻译共同任务的研究方法。这项工作的目的是建立一个单一的多语言翻译系统的假设，一个通用的跨语言表示导致更好的多语言翻译性能。我们将不同回译方法的探索从双语翻译扩展到多语言翻译。约束抽样方法得到了更好的性能，这是不同的双语翻译的发现。此外，本研究亦探讨词汇量与合成数据量之影响。令人惊讶的是，较小的词汇量表现更好，广泛的单语英语数据提供了适度的改善。我们两个小任务都提交了，取得了第二名的成绩。
2021-09-17 cs.AI cs.CL cs.LG
Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
当几乎没有并行数据时，反向翻译因其在神经机器翻译中的有效性而广为人知。在这种方法中，源到目标模型与并行训练的目标到源模型耦合。目标到源模型生成噪声源，而源到目标模型被训练以重建目标，反之亦然。多语言预训练序列到序列模型的程序设计语言的最新发展已经非常有效的下游软件工程任务的广泛范围。因此，通过反向翻译来训练他们构建程序设计语言翻译系统是很有吸引力的。然而，这些模型不能通过反向翻译进行进一步训练，因为它们在预训练期间学习以与输入相同的语言输出序列。作为替代方案，我们建议通过代码总结和生成执行反向翻译。在代码摘要中，模型学习生成给定代码片段的自然语言（NL）摘要。在代码生成中，模型学习做相反的事情。因此，反向翻译中的目标到源生成可以被视为目标到NL到源生成。我们表明，我们提出的方法具有竞争力的国家的最先进的方法。我们已经公开了代码。
2023-02-11 cs.CL cs.PL
Multilingual Unsupervised Neural Machine Translation with Denoising Adapters
University of Groningen（格罗宁根大学）；NAVER LABS Europe（NAVER LABS 欧洲）
我们考虑的问题，多语言无监督机器翻译，翻译和语言，只有单语数据使用辅助并行语言对。对于这个问题，到目前为止，利用单语数据的标准过程是反向翻译，这是计算成本高，难以调整。在本文中，我们建议在预训练的mBART-50之上使用去噪适配器，具有去噪目标的适配器层。除了这种方法的模块化和灵活性之外，我们还证明了所产生的翻译与BLEU测量的反向翻译相当，而且它允许增量地添加看不见的语言。
2021-10-20 cs.CL
AI translation of literary texts is "fine", but readers still prefer human translations
Simon Fraser University（西蒙菲莎大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Microsoft（微软）
通过15位读者对15部法、波、日小说的人工翻译与AI翻译的比较实验，发现AI翻译虽可接受，但读者更偏好人工翻译的流畅性、清晰度和沉浸感，且无法可靠区分两者。
2026-09-10 cs.CL
Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation
IXA Group, University of the Basque Country (UPV/EHU)（巴斯克大学 IXA 研究组）；TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学 TALP 研究中心）
回译为神经机器翻译中利用单语语料提供了一种简单而有效的方法。它的迭代变体，其中两个相反的NMT模型通过交替使用由反向模型生成的合成并行语料库来联合训练，在无监督机器翻译中起着核心作用。为了开始产生声音翻译并向彼此提供有意义的训练信号，现有方法依赖于单独的机器翻译系统来预热迭代过程，或者依赖于某种形式的预训练来初始化模型的权重。在本文中，我们分析的作用，这样的初始化在迭代反平移。最终系统的行为是否严重依赖于它？或者迭代反平移是否会在给定任何合理的初始化条件下收敛到类似的解？通过一系列的经验性实验，在一组不同的热身系统，我们表明，虽然初始系统的质量确实影响最终的性能，其影响相对较小，迭代回翻译有很强的倾向收敛到一个类似的解决方案。因此，初始化方法的改进余地很小，这表明未来的研究应该更多地关注迭代机制本身的改进。
2020-02-28 cs.CL cs.LG
Handling Syntactic Divergence in Low-resource Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
尽管神经机器翻译（NMT）在标准基准测试中取得了令人印象深刻的经验成功，但有限的并行数据阻碍了NMT模型在许多语言对中的应用。诸如反向翻译的数据增强方法使得使用单语数据来帮助缓解这些问题成为可能，但是反向翻译本身在极端低资源情况下失败，特别是对于句法不同的语言。在本文中，我们提出了一个简单而有效的解决方案，即目标语言的句子被重新排序，以匹配源的顺序，并作为一个额外的来源，训练时间的监督。通过模拟低资源日语到英语和真实低资源维吾尔语到英语场景的实验，发现与其他半监督替代方案相比有显着改善。
2019-08-30 cs.CL
The University of Edinburgh's Submissions to the WMT19 News Translation Task
University of Edinburgh（爱丁堡大学）
爱丁堡大学参加了WMT 19新闻翻译共享任务，涉及六种语言：英语到古吉拉特语，古吉拉特语到英语，英语到汉语，汉语到英语，德语到英语和英语到捷克语。对于所有翻译方向，我们创建或使用目标语言的单语数据的反向翻译作为附加的合成训练数据。对于英语-古吉拉特语，我们还探索了具有跨语言语言模型预训练的半监督MT，以及通过印地语的翻译旋转。对于中文翻译，我们研究了基于字符的分词与中文文本的子分词。对于德语到英语，我们研究了大量反向翻译的训练数据对翻译质量的影响，获得了一些额外的见解。对于英语到捷克语，我们比较了不同的预处理和标记化制度。
2019-07-12 cs.CL
Explicit Sentence Compression for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
现有的基于transformer的神经机器翻译（NMT）系统仍然遵循标准的编码器-解码器框架，其中源句子表示可以由具有自注意力机制的编码器很好地完成。虽然基于transformer的编码器可以有效地捕捉其产生的源句子表示的一般信息，骨干信息，代表一个句子的要旨，没有特别关注。本文中，我们提出了一个显式的句子压缩方法，以提高NMT的源句子表示。在实践中，一个显式的句子压缩目标用于学习句子中的主干信息。我们提出了三种方法，包括骨干源端融合，目标端融合，双方融合，压缩句子集成到NMT。我们的WMT英语到法语和英语到德语的翻译任务的实证测试表明，所提出的句子压缩方法显着提高了翻译性能超过强基线。
2019-12-27 cs.CL
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
