Better Alignment with Instruction Back-and-Forth Translation
University of Washington（华盛顿大学）；Meta FAIR
该研究提出指令往返翻译方法，基于网络语料构建高质量合成数据用于大语言模型对齐，在AlpacaEval上胜率优于多个常见指令数据集，兼具网络信息规模与回复质量优势。
2024-08-13 cs.AI cs.CL cs.LG
Back to School: Translation Using Grammar Books
George Mason University（乔治梅森大学）；Athena Research Center（雅典娜研究中心）
本文提出将语法书作为提示上下文引入GPT-4，在16种低资源语言上验证该方法能有效提升大语言模型的机器翻译性能。
2024-10-20 cs.CL
Kun: Answer Polishment for Chinese Self-Alignment with Instruction Back-Translation
University of Waterloo（滑铁卢大学）；HKUST（香港科技大学）；University of Manchester（曼彻斯特大学）；Multimodal Art Projection Research Community（多模态艺术投影研究共同体）
提出Kun方法，利用指令反向翻译和答案润色，从无标注数据生成超百万中文指令数据，减少人工标注，提升LLM指令遵循能力。
2024-11-05 cs.AI cs.CL
POMP: Probability-driven Meta-graph Prompter for LLMs in Low-resource Unsupervised Neural Machine Translation
National University of Defense Technology（国防科技大学）；JD Explore Academy（京东探索研究院）
本文提出POMP方法，通过构建多辅助语言的有向无环元图并动态采样路径来提示大语言模型，以概率驱动方式缓解语言噪声，从而提升低资源语言的无监督神经机器翻译质量。
2024-01-16 cs.AI cs.CL
LLM-BT-Terms: Back-Translation as a Framework for Terminology Standardization and Dynamic Semantic Embedding
TransLab, Computer Science Department University of Brasilia（翻译实验室、计算机科学系巴西大学）；Math Department Federal Institute of Brasilia（数学系巴西联邦理工学院）
针对英语技术术语快速扩张下传统人工标准化难以维持多语言一致性的问题，提出LLM驱动的回译框架LLM-BT，实现术语验证标准化，兼具多路径验证鲁棒性与动态语义嵌入价值，推动人机协作的术语标准化。
2025-06-11 cs.CL
From Hypothesis to Premises: LLM-based Backward Logical Reasoning with Selective Symbolic Translation
本文提出HBLR框架，通过结合自信符号翻译与假设驱动反向推理，提升逻辑推理的准确性和效率。
2025-12-03 cs.CL
Artificial intelligence contribution to translation industry: looking back and forward
Ibb University（伊卜大学）；Open Arab University（阿拉伯开放大学）
本研究回顾了人工智能在翻译行业45年的发展历程，分析了机器翻译、低资源语言等热点问题，并指出需进一步研究以解决多方言和文化语域等挑战。
2025-11-18 cs.CL
Ensuring Consistency for In-Image Translation
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
针对图内机器翻译任务中的一致性缺失问题，提出两阶段框架HCIIT，结合多模态大语言模型与扩散模型，利用思维链学习与40万伪数据集，有效保障翻译与图像生成双重一致性。
2024-12-24 cs.CL
Revisiting Round-Trip Translation for Quality Estimation
Naver Papago
质量评估（QE）是在没有人工翻译参考的情况下自动评估翻译质量的任务。计算输入句子和往返翻译（RTT）之间的BLEU曾经被认为是QE的一个指标，然而，它被发现是一个差的翻译质量预测。最近，各种预先训练的语言模型通过提供语义上有意义的单词和句子嵌入在NLP任务中取得了突破。在本文中，我们采用语义嵌入RTT为基础的QE。与之前提交的WMT 2019质量估计指标任务相比，我们的方法与人类判断的相关性最高。虽然向后翻译模型可以是一个缺点，当使用RTT，我们观察到，语义级的指标，基于RTT的QE是强大的向后翻译系统的选择。此外，所提出的方法在SMT和NMT前向翻译系统中表现出一致的性能，这意味着该方法不会惩罚某种类型的模型。
2020-04-29 cs.CL cs.LG
Qwen-MT-Lumen at WMT2026: Instruction-Specialized Translation via Quality-Aware Training and On-Policy Distillation
Alibaba Token Hub（阿里 Token Hub）
该研究针对WMT2026通用机器翻译任务提交Qwen-MT-Lumen模型，通过四阶段流程优化指令专用翻译，在23个翻译方向上总体平均得分达4.60，性能可媲美领先专有系统。
2026-10-15 cs.CL
Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation
Gaoling School of Artificial Intelligence（中关村人工智能学院）
研究针对分子大语言模型缺乏可靠结构基础的问题，提出MolBasic框架，通过SMILES-图翻译加强结构理解，用多级结构感知基准和渐进学习方案，提升了结构理解及下游任务表现。
2026-07-07 cs.AI cs.LG q-bio.BM
Language Models and Cycle Consistency for Self-Reflective Machine Translation
Tsinghua University（清华大学）
本文提出利用循环一致性隐式评估并优化LLM的机器翻译质量，无需平行语料，实验验证了模型规模与推理计算缩放定律。
2024-11-05 cs.AI cs.CL cs.IR
Prompting ChatGPT for Translation: A Comparative Analysis of Translation Brief and Persona Prompts
本文比较了翻译简报与角色提示在ChatGPT翻译任务中的效果，发现某些元素虽有助于人与人之间的交流，但对提升翻译质量有限，需进一步探索如何将翻译理论工具应用于人机交互的新流程。
2024-04-28 cs.CL cs.CY cs.HC
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
Microsoft Research Asia（微软亚洲研究院）
人类智能表现出合成概括（即，理解和产生可见成分的不可见组合的能力），但目前的神经seq2seq模型缺乏这种能力。在本文中，我们重新审视迭代反向翻译，一个简单而有效的半监督方法，调查它是否以及如何提高组合泛化。在这项工作中：（1）我们首先经验性地表明，迭代回译大大提高了组合泛化基准（CFQ和SCAN）的性能。(2)为了理解为什么迭代反向翻译是有用的，我们仔细检查了性能增益，发现迭代反向翻译可以越来越多地纠正伪并行数据中的错误。(3)为了进一步鼓励这种机制，我们提出了课程迭代回译，更好地提高伪并行数据的质量，从而进一步提高性能。
2020-12-08 cs.AI cs.CL
Tag-less Back-Translation
Ahmadu Bello University（艾哈迈杜·贝罗大学）；Bayero University（巴耶罗大学）
利用目标语单语数据的回译，可以有效地生成大量的并行句子，用于训练改进的神经机器翻译（NMT）系统。标准的反向翻译方法已被证明无法有效地利用现有的大量单语数据，因为翻译模型无法在训练期间区分真实的和合成的并行数据。标记或使用门已被用于使翻译模型能够区分合成数据和真实数据，从而改进标准反向翻译，并且还使得能够对使用标准反向翻译表现不佳的语言对使用迭代反向翻译。在这项工作中，我们接近回翻译作为一个领域自适应问题，消除了显式标记的需要。在该方法-- \emph{tag-less back-translation} --中，合成和真实的并行数据分别被视为域外和域内数据，并且通过预训练和微调，翻译模型被证明能够在训练期间更有效地从它们中学习。实验结果表明，该方法在低资源的英越语和英德语神经机器翻译中的性能优于标准回译方法和标记回译方法。
2021-02-09 cs.AI cs.CL cs.LG
Back-translation for Large-Scale Multilingual Machine Translation
eBay Inc.（易趣公司）
本文阐述了我们在第六届机器翻译会议（WMT-21）上对大规模多语种机器翻译共同任务的研究方法。这项工作的目的是建立一个单一的多语言翻译系统的假设，一个通用的跨语言表示导致更好的多语言翻译性能。我们将不同回译方法的探索从双语翻译扩展到多语言翻译。约束抽样方法得到了更好的性能，这是不同的双语翻译的发现。此外，本研究亦探讨词汇量与合成数据量之影响。令人惊讶的是，较小的词汇量表现更好，广泛的单语英语数据提供了适度的改善。我们两个小任务都提交了，取得了第二名的成绩。
2021-09-17 cs.AI cs.CL cs.LG
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
On The Evaluation of Machine Translation Systems Trained With Back-Translation
Facebook AI Research（Facebook 人工智能研究院）
反向翻译是一种广泛使用的数据增强技术，它利用目标单语数据。然而，它的有效性受到了挑战，因为BLEU等自动度量仅在源代码本身是翻译或翻译的测试示例中显示出显着的改进。这被认为是由于翻译输入更好地匹配反翻译的训练数据。在这项工作中，我们表明，这一猜想是没有经验支持，回译提高了翻译质量的自然发生的文本，以及根据专业的人类翻译。我们提供了经验证据来支持这样的观点，即回译是首选的人类，因为它产生更流畅的输出。BLEU无法捕捉人类的偏好，因为当源句子是自然文本时，引用是抽象的。我们建议使用语言模型分数来补充BLEU，以衡量流利程度。
2020-08-18 cs.CL
Iterative Batch Back-Translation for Neural Machine Translation: A Conceptual Model
一种有效的方法来产生大量的并行句子训练改进的神经机器翻译（NMT）系统是使用目标端单语数据的回译。最近，迭代回译已被证明优于标准回译，尽管在一些语言对。这项工作提出了迭代批量回译，旨在提高标准的迭代回译，使更多的单语数据的有效利用。在每次迭代之后，将新句子的改进的反向翻译添加到并行数据中，并行数据将用于训练最终的前向模型。这项工作提出了一个概念模型所提出的方法。
2020-11-16 cs.CL
CantonMT: Cantonese to English NMT Platform with Fine-Tuned Models Using Synthetic Back-Translation Data
The University of Manchester（曼彻斯特大学）
本文提出CantonMT平台，通过回译数据增强微调OpusMT、NLLB和mBART模型，实现粤语到英语低资源神经机器翻译，并提供开源工具包和用户界面以促进相关研究。
2024-06-09 cs.AI cs.CL
Scaling Back-Translation with Domain Text Generation for Sign Language Gloss Translation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent AI Lab（腾讯人工智能实验室）
手语注释翻译的目的是将手语注释翻译成口语文本，由于标注注释文本的平行数据的缺乏，这是一个挑战。反向翻译（BT）通过将领域内的口语文本翻译成符号注释来生成伪并行数据，已被应用于缓解数据稀缺问题。然而，大规模高质量领域口语文本数据的缺乏限制了BT的效果。针对这一问题，本文提出了一种基于提示的领域文本生成方法（PGEN）来生成大规模的领域口语文本数据。具体地，PGEN随机地连接来自原始域内口语文本数据的句子作为提示，以诱导预先训练的语言模型（即，GPT-2）生成类似风格的口语文本。在三个不同语言的手语注释翻译基准上的实验结果表明，与PGEN生成的口语文本的BT显着优于比较方法。此外，随着PGEN生成的口语文本规模的增加，BT技术可以实现进一步的改进，证明了我们的方法的有效性。我们发布的代码和数据，以促进在这一领域的未来研究。
2023-02-07 cs.AI cs.CL
Back-Translation Sampling by Targeting Difficult Words in Neural Machine Translation
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
神经机器翻译使用并行和合成数据的组合，为几种语言对实现了最先进的性能。合成数据通常通过使用反向翻译模型从单语数据中随机采样的句子进行反向翻译来生成。虽然回译在许多情况下被证明是非常有效的，但原因尚不完全清楚。在这项工作中，我们探索了反向翻译的不同方面，并表明在训练过程中具有高预测损失的单词从添加合成数据中受益最多。我们介绍了几种变化的采样策略，针对难以预测的话，使用预测损失和频率的话。此外，我们还针对难词的上下文和在上下文中相似的例句。WMT新闻翻译任务的实验结果表明，我们的方法提高了翻译质量高达1.7和1.2 Bleu点回翻译使用随机抽样为德语-英语和英语-德语，分别。
2018-09-21 cs.CL
Explaining and Generalizing Back-Translation through Wake-Sleep
Johns Hopkins University（约翰斯·霍普金斯大学）；Heidelberg University（海德堡大学）
反向翻译已经成为半监督神经机器翻译中常用的启发式算法。该技术既简单易行，又能产生最先进的结果。在这项工作中，我们提供了一个原则性的解释回翻译的生成模型中的bitext近似推理，并显示回翻译的标准实现对应于我们提出的模型中的唤醒-睡眠算法的一次迭代。此外，这种解释表明，一个自然的迭代推广，我们证明导致进一步改善高达1.6 BLEU。
2018-06-12 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；University of Washington（华盛顿大学）
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因，发现词汇、句法相似性不足以解释其成功，而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
Enhanced back-translation for low resource neural machine translation using self-training
Ahmadu Bello University（艾哈迈德·贝罗大学）；Bayero University（拜罗大学）
使用单语目标数据（合成并行数据）的反向翻译来改进神经机器翻译（NMT）模型是目前用于训练改进的翻译系统的最先进的方法。反向系统的质量-在可用的并行数据上进行训练并用于反向翻译-在许多研究中已被证明会影响最终NMT模型的性能。在低资源条件下，可用的并行数据通常不足以训练能够产生训练标准翻译模型所需的定性合成数据的后向模型。这项工作提出了一种自我训练策略，其中向后模型的输出用于通过向前翻译技术来改进模型本身。该技术被证明可以分别将基线低资源的IWALK '14英语-德语和IWALK'15英语-越南语向后翻译模型提高11.06和1.5 BLEU。由改进的英德后向模型生成的合成数据被用于训练前向模型，该前向模型的性能优于使用2.7 BLEU的标准后向翻译训练的另一前向模型。
2020-12-24 cs.CL cs.LG
Quick Back-Translation for Unsupervised Machine Translation
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
本文提出快速回译（QBT）方法，通过将 Transformer 编码器重新用作生成模型并与自回归回译结合训练解码器，在多个 WMT 基准上以更少的精炼步骤显著提升无监督机器翻译模型的训练效率。
2023-12-01 cs.CL cs.LG cs.PL
Exploring Diversity in Back Translation for Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition, and Computation（语言、认知与计算研究所）
本研究提出区分词汇与句法多样性的框架及新指标，实证发现核采样生成反向翻译性能更优，且词汇多样性比句法多样性更重要。
2022-06-01 cs.CL
Unsupervised Text Summarization via Mixed Model Back-Translation
Facebook AI Research（脸书人工智能研究院）
基于反向翻译的方法最近在无监督的序列到序列任务（诸如机器翻译或风格转移）中取得了重大进展。在这项工作中，我们扩展的范式学习的句子摘要系统从不对齐的数据的问题。我们提出了几个初始模型，依赖于任务的不对称性来执行第一个回译步骤，并展示了将这些不同的初始化方法创建的数据相结合的价值。我们的系统在从完全未对齐的数据中进行无监督句子摘要方面优于当前最先进的技术超过2个ROUGE，并且与最近的半监督方法的性能相匹配。
2019-08-22 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）
回译（Back translation，BT）已被广泛应用并成为神经机器翻译（Neural Machine Translation，NMT）中数据增强的标准技术之一，BT已被证明有助于有效提高翻译性能，特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上，但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译（SMT）模型的影响，用于中文到越南语和越南语到中文，基于字符和基于单词的设置。部分地证实了前人工作中的一些结论，并得出了一些有趣的发现和结论，这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
CANTONMT: Investigating Back-Translation and Model-Switch Mechanisms for Cantonese-English Neural Machine Translation
University of Manchester（曼彻斯特大学）
针对粤语-英语低资源翻译问题，构建新的平行与单语语料库，结合回译、模型切换等方法训练的NLLB-mBART模型性能比肩甚至优于顶尖商用翻译工具，还开源了相关网页应用。
2024-05-13 cs.AI cs.CL
Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
对大型平行语料库的过度依赖极大地限制了机器翻译系统对大多数语言对的适用性。在以前的无监督神经机器翻译方法中，主要使用反向翻译，其中生成伪句子对以训练具有重建损失的模型。然而，伪句子通常是低质量的，因为翻译错误在训练过程中积累。为了避免这个根本问题，我们提出了一种替代的，但更有效的方法，提取编辑，提取，然后编辑的目标单语语料库的真实句子。此外，我们还引入了一个比较翻译损失来评估翻译的目标句子，从而训练无监督翻译系统。实验表明，所提出的方法始终优于以前的国家的最先进的无监督机器翻译系统在两个基准（英语-法语和英语-德语）和两个低资源的语言对（英语-罗马尼亚语和英语-俄罗斯）超过2（高达3.63）BLEU点。
2019-04-04 cs.CL
Understanding Back-Translation at Scale
Facebook AI Research（Facebook人工智能研究院）；Google Brain（谷歌大脑）
利用单语数据改进神经机器翻译的一种有效方法是用目标语言句子的回译来扩充并行训练语料库。本文的工作拓宽了对回译的理解，并探讨了一些生成合成源句的方法。我们发现，在所有，但资源贫乏的设置后，通过采样或噪声光束输出获得的翻译是最有效的。我们的分析表明，采样或噪声合成数据给出了一个更强的训练信号比波束或贪婪搜索产生的数据。我们还比较了合成数据与真正的双文本的比较，并研究了各种域效应。最后，我们扩展到数亿个单语句子，并在WMT'14英语-德语测试集上达到了35 BLEU的新水平。
2018-10-03 cs.CL
Generalizing Back-Translation in Neural Machine Translation
RWTH Aachen University（亚琛工业大学）；eBay, Inc.（易贝公司）
反向翻译-通过翻译目标单语数据来数据增强-是现代神经机器翻译（NMT）的关键组成部分。在这项工作中，我们在NMT模型的交叉熵优化范围内重新制定了反向翻译，澄清了其基本的数学假设和近似，超出了其启发式用法。我们的公式涵盖了更广泛的合成数据生成方案，包括从目标到源NMT模型的采样。有了这个公式，我们指出了基本问题的采样为基础的方法，并建议纠正他们（i）禁用标签平滑的目标到源模型和（ii）从一个有限的搜索空间采样。我们的声明在WMT 2018德英新闻翻译任务中进行了调查。
2019-06-17 cs.CL cs.LG
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc（PeopleTec公司）；Auburn University（奥本大学）
自然语言处理（NLP）在很大程度上依赖于训练数据。随着Transformers变得越来越大，它们需要大量的训练数据。为了满足这个要求，文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言，然后再翻译回英语。在本文中，我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
Meta Back-translation
Carnegie Mellon University（卡内基梅隆大学）；Google AI（谷歌人工智能）
反向翻译是一种通过产生伪并行数据来提高神经机器翻译~（NMT）性能的有效策略。然而，最近的一些研究发现，伪并行数据的更好的翻译质量并不一定会导致更好的最终翻译模型，而质量较低但更多样化的数据往往会产生更强的结果。在本文中，我们提出了一种新的方法来生成伪并行数据从一个预先训练的反向翻译模型。我们的方法是一种Meta学习算法，该算法适应预先训练的反向翻译模型，使得它生成的伪并行数据将训练正向翻译模型，以在验证集上表现良好。在我们对标准数据集WMT En-De'14和WMT En-Fr'14以及多语言翻译环境的评估中，我们的方法在强大的基线上取得了显着的改进。我们的代码将提供。
2021-02-15 cs.CL cs.LG
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London（帝国理工学院）
神经机器翻译（NMT）模型在翻译干净的文本时已被证明是强大的，但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对，但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个：第一，我们提出了新的数据增强方法来扩展有限的噪声数据，并进一步提高NMT对噪声的鲁棒性，同时保持模型小。其次，我们探讨了以语音转录的形式利用外部数据中的噪声的效果，并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
Iterative Domain-Repaired Back-Translation
Machine Intelligence Technology Lab（机器智能技术实验室）；Alibaba Group（阿里巴巴集团）
在本文中，我们专注于特定领域的翻译资源少，在领域内的平行语料库是稀缺的或根本不存在。对于这种情况，一种常见且有效的策略是使用反向翻译方法来利用域内单语数据。然而，合成的并行数据是非常嘈杂的，因为它们是由不完善的域外系统产生的，导致领域自适应的性能差。为了解决这个问题，我们提出了一种新的迭代域修复回翻译框架，它引入域修复（DR）模型来改进合成双语数据中的翻译。为此，我们通过对单语句子进行往返翻译，构建相应的数据用于DR模型训练，然后设计统一的训练框架，对配对的DR和NMT模型进行联合优化。在特定域之间以及从一般域到特定域之间调整NMT模型的实验证明了我们所提出的方法的有效性，与未调整的模型和反向翻译相比，平均实现了15.79和4.47的BLEU改进。
2020-10-06 cs.CL
The Saturation Point of Backtranslation in High Quality Low Resource English Gujarati Machine Translation
Independent Researcher（独立研究者）
本文使用 MBART50 模型研究高质量低资源英语-古吉拉特语机器翻译中回译的有效性，发现添加过滤后的回译合成数据未能提升翻译性能，反而可能导致饱和或轻微下降，表明回译在此类特定低资源场景中存在边际收益递减。
2025-06-12 cs.AI cs.CL cs.LG
Unsupervised Neural Machine Translation with Generative Language Models Only
OpenAI
我们展示了如何从生成的预训练语言模型中获得最先进的无监督神经机器翻译系统。我们的方法包括三个步骤：Few-Shot放大，蒸馏和回译。我们首先使用大型预训练语言模型的zero-shot翻译能力来为一小部分未标记的句子生成翻译。然后，我们放大这些zero-shot的翻译，使用它们作为Few-Shot示范采样一个更大的合成数据集。该数据集通过丢弃Few-Shot演示并进行微调而得到提炼。在回译过程中，我们为一组输入重复生成翻译，然后同时在翻译任务的两个方向上微调单个语言模型，通过在微调时交换黄金单文本和生成的翻译的角色来确保周期一致性。通过使用我们的方法来利用GPT-3的zero-shot翻译功能，我们在WMT 14英法基准测试中实现了最先进的无监督翻译，获得了42.1的BLEU分数。
2021-10-11 cs.AI cs.CL
Tagged Back-Translation
Google Research（谷歌研究院）
神经机器翻译（NMT）的最新研究表明，在反向翻译（一种生成合成并行数据的方法）过程中，噪声波束解码可以显著提高质量。我们表明，这种合成噪声的主要作用是不多样化的源侧，如前所述，但只是为了表明该模型，给定的源是合成的。我们提出了一个更简单的替代噪声技术，包括标记回翻译的源句子与一个额外的令牌。我们的结果WMT优于噪声回翻译在英语-罗马尼亚语和匹配性能的英语-德语，重新定义国家的最先进的在前者。
2019-06-15 cs.CL cs.LG
Dynamic Data Selection and Weighting for Iterative Back-Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）
在神经机器翻译（NMT）中，反向翻译被证明是一种有效的利用单语数据的方法，迭代地进行反向翻译可以进一步提高模型的性能。选择哪些单语数据进行反向翻译至关重要，因为我们要求得到的合成数据具有高质量并反映目标域。为了实现这两个目标，已经提出了数据选择和加权策略，通常的做法是选择接近目标域的样本，但也不同于平均的一般域文本。在本文中，我们提供了这种常用的方法的见解，并将其推广到一个动态的课程学习策略，这是适用于迭代回译模型。此外，我们提出了加权策略的基础上，当前的质量的句子和它的改进，在以前的迭代。我们评估我们的模型领域自适应，低资源，高资源MT设置和两种语言对。实验结果表明，我们的方法实现了高达1.8 BLEU点的竞争基线的改进。
2020-10-07 cs.CL
A Hybrid Approach for Improved Low Resource Neural Machine Translation using Monolingual Data
Bayero University（巴耶罗大学）；Ahmadu Bello University（艾哈迈杜·贝罗大学）；National Open University of Nigeria（尼日利亚国立开放大学）
许多语言对都是低资源的，这意味着可用并行数据的数量和/或质量不足以训练能够达到可接受的准确性标准的神经机器翻译（NMT）模型。许多著作已经探索了使用一种或两种语言中现成的单语数据来提高低，甚至高，资源语言的翻译模型的标准。其中最成功的工作之一是利用目标语言单语数据的翻译来增加训练数据的量的回译。已经证明，在可用的并行数据上训练的反向模型的质量决定了反向转换方法的性能。尽管如此，在标准的反向翻译中，只有前向模型在单语目标数据上得到了改进。先前的研究提出了一种迭代回译方法，用于在几次迭代中改进这两个模型。但与传统的回译不同，它同时依赖于目标和源单语数据。因此，这项工作，提出了一种新的方法，使向后和向前的模型，以受益于单语目标数据，通过混合的自学习和反向翻译分别。实验结果表明，该方法在低资源的英-德神经机器翻译中优于传统的回译方法。我们还提出了一种迭代自学习方法，该方法的性能优于迭代反向翻译，同时仅依赖于单语目标数据，并且需要较少的模型训练。
2021-11-22 cs.CL cs.LG
Back-Translation-Style Data Augmentation for Mandarin Chinese Polyphone Disambiguation
Kwai（快手）
汉语形音转换（G2 P）在汉语文语转换（TTS）系统中占有重要地位，其中最大的挑战之一就是多音字消歧。大多数以前的多音字消歧模型都是在手动标注的数据集上训练的，并且用于多音字消歧的公开数据集很少。本文提出了一种简单的回译式数据增强方法用于汉语多音字消歧。受机器翻译领域提出的回译技术的启发，本文分别建立了一个用于多音字发音预测的字-音（G2 P）模型和一个用于语音文本预测的音-字（P2 G）模型。同时，提出了基于窗口的匹配策略和多模型评分策略来判断伪标签的正确性。针对训练集分布不均衡或数据稀缺的情况，设计了一种数据均衡策略，以提高对一些典型多音字的识别准确率。实验结果表明了所提出的反平移式数据增强方法的有效性。
2022-11-17 cs.AI cs.CL cs.SD
Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
提出两阶段方法EcXTra，通过多语言微调与反向翻译训练单一NMT模型，实现未见语言与英语间的双向无监督翻译，在7种低资源语言上取得竞争性表现并刷新英译哈萨克语纪录。
2023-04-03 cs.CL
Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
当几乎没有并行数据时，反向翻译因其在神经机器翻译中的有效性而广为人知。在这种方法中，源到目标模型与并行训练的目标到源模型耦合。目标到源模型生成噪声源，而源到目标模型被训练以重建目标，反之亦然。多语言预训练序列到序列模型的程序设计语言的最新发展已经非常有效的下游软件工程任务的广泛范围。因此，通过反向翻译来训练他们构建程序设计语言翻译系统是很有吸引力的。然而，这些模型不能通过反向翻译进行进一步训练，因为它们在预训练期间学习以与输入相同的语言输出序列。作为替代方案，我们建议通过代码总结和生成执行反向翻译。在代码摘要中，模型学习生成给定代码片段的自然语言（NL）摘要。在代码生成中，模型学习做相反的事情。因此，反向翻译中的目标到源生成可以被视为目标到NL到源生成。我们表明，我们提出的方法具有竞争力的国家的最先进的方法。我们已经公开了代码。
2023-02-11 cs.CL cs.PL
NAP at SemEval-2023 Task 3: Is Less Really More? (Back-)Translation as Data Augmentation Strategies for Detecting Persuasion Techniques
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
针对多语言新闻说服技巧检测中训练数据不足的问题，本研究采用（反向）翻译作为数据增强策略结合多语言Transformer模型，经自动与人工评估验证两种策略均能提升性能，且平衡人工与机器生成数据十分关键。
2023-04-27 cs.CL
Adaptation of Machine Translation Models with Back-translated Data using Transductive Data Selection Methods
ADAPT Centre（ADAPT中心）；School of Computing, Dublin City University（都柏林城市大学计算机学院）
当应用于真实数据时，数据选择已经证明了其对于改进神经机器翻译（NMT）的优点。但是，在NMT训练中使用合成数据的好处，由流行的反向翻译技术产生，提出了一个问题，如果数据选择也可以用于合成数据？在这项工作中，我们使用不频繁的N元恢复（INR）和特征衰减算法（FDA），两个转换的数据选择方法，以获得从合成数据的句子子集。这些方法确保所选句子与测试集共享n-gram，因此NMT模型可以进行调整以翻译它。对反向翻译数据执行数据选择会带来新的挑战，因为源端可能包含由反向翻译中使用的模型产生的噪声。因此，找到测试集中存在的n-gram变得更加困难。尽管如此，在我们的工作中，我们表明，适应一个模型与选择的合成数据是一个有用的方法。
2019-06-18 cs.CL
Improving Sign Language Translation with Monolingual Data by Sign Back-Translation
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
尽管已有关于手语翻译的开创性工作，但仍存在一个不小的障碍，即，并行签名文本数据的有限数量。为了解决这种并行数据瓶颈，我们提出了一种符号回译（SignBT）方法，该方法将大量口语文本纳入训练。使用文本到注释翻译模型，我们首先将单语文本回译到其注释序列。然后，通过在特征级上拼接来自估计的光泽到符号库的片段来生成成对符号序列。最后，合成的并行数据作为编码器-解码器并行框架的端到端训练的有力补充。为了进一步促进对网络安全的研究，我们进一步贡献了CSL-Daily，一个大规模的连续网络安全数据集。它提供口语翻译和注释级别的注释。主题围绕着人们的日常生活（例如，旅游、购物、医疗），最有可能的物联网应用场景。CSL-Daily上报道了大量的实验结果和对这些方法的分析。与建议的符号回翻译的方法，我们得到了很大的改善，比以前的国家的最先进的翻译方法。
2021-05-26 cs.CL cs.CV
Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation
IXA Group, University of the Basque Country (UPV/EHU)（巴斯克大学 IXA 研究组）；TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学 TALP 研究中心）
回译为神经机器翻译中利用单语语料提供了一种简单而有效的方法。它的迭代变体，其中两个相反的NMT模型通过交替使用由反向模型生成的合成并行语料库来联合训练，在无监督机器翻译中起着核心作用。为了开始产生声音翻译并向彼此提供有意义的训练信号，现有方法依赖于单独的机器翻译系统来预热迭代过程，或者依赖于某种形式的预训练来初始化模型的权重。在本文中，我们分析的作用，这样的初始化在迭代反平移。最终系统的行为是否严重依赖于它？或者迭代反平移是否会在给定任何合理的初始化条件下收敛到类似的解？通过一系列的经验性实验，在一组不同的热身系统，我们表明，虽然初始系统的质量确实影响最终的性能，其影响相对较小，迭代回翻译有很强的倾向收敛到一个类似的解决方案。因此，初始化方法的改进余地很小，这表明未来的研究应该更多地关注迭代机制本身的改进。
2020-02-28 cs.CL cs.LG
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下会急剧下降，通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中，我们提出了一个Tigrinya的案例研究，我们调查了几个回译方法来生成合成源句子。我们发现，在低资源的条件下，回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的，从而大大提高了基线。
2021-04-04 cs.CL
Bridging Background Knowledge Gaps in Translation with Automatic Explicitation
University of Maryland（马里兰大学）
本文针对直译因背景知识缺失而难以理解的问题，提出基于 WikiExpl 数据集的自动显化生成技术，并在多语言问答中验证其能提升回答准确性。
2023-12-03 cs.CL
HintedBT: Augmenting Back-Translation with Quality and Transliteration Hints
Google Research（谷歌研究院）
目标单语语料的回译是神经机器翻译中广泛使用的数据增强策略，尤其适用于低资源语言对。为了提高可用BT数据的有效性，我们引入了HintedBT --一种向编码器和解码器提供提示（通过标签）的技术。首先，我们提出了一种新的方法，使用高质量和低质量的BT数据，通过提供提示（作为编码器上的源标签），每个源-目标对的质量模型。我们没有过滤掉低质量的数据，而是表明这些提示使模型能够有效地从噪声数据中学习。其次，我们解决了预测源标记是否需要被翻译或音译为目标语言的问题，这在跨脚本翻译任务中是常见的（即，其中源和目标不共享所编写的脚本）。对于这种情况，我们建议使用额外的提示（作为解码器上的目标标签）来训练模型，这些提示提供了有关源代码所需操作（翻译或翻译和音译）的信息。我们进行实验和详细的分析标准WMT基准三个跨脚本低/中资源的语言对：{印地语，古吉拉特语，泰米尔语}到英语。我们的方法与五个强大而完善的基线相比毫不逊色。我们表明，使用这些提示，无论是单独和一起，显着提高翻译质量，并导致国家的最先进的性能在所有三种语言对在相应的双语设置。
2021-09-09 cs.AI cs.CL cs.LG
Data Augmentation With Back translation for Low Resource languages: A case of English and Luganda
Mbarara University of Science and Technology, Dept. of Information Technology（马拉拉大学科学与技术学院）；Handong Global University, Dept. of Computer Science and Electrical Engineering（汉东全球大学计算机科学与电气工程学院）
本文以英语-卢干达语为例，研究利用回译生成合成数据缓解低资源语言双语数据稀缺问题，通过迭代与增量回译技术提升神经机器翻译性能，超过先前基准10个以上BLEU分数。
2025-05-05 cs.CL
