Language Model-Driven Unsupervised Neural Machine Translation
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（全球通科技有限公司）
无监督神经机器翻译（NMT）在执行香草反向翻译时与合成数据中的噪声和错误相关联。在这里，我们显式地利用语言模型（LM）来驱动无监督NMT系统的构建。这包括两个步骤。首先，我们使用通过临时统计机器翻译（SMT）生成的合成数据初始化NMT模型。其次，与普通的反向翻译不同，我们制定了一个权重函数，在后续迭代训练的每一步对合成数据进行评分;这使得无监督训练能够获得更好的结果。我们提出了详细的数学构造我们的方法。实验性WMT 2014英语-法语、WMT 2016英语-德语和英语-俄语翻译任务表明，我们的方法比之前最好的系统的性能高出3个BLEU点以上。
2019-11-10 cs.CL
On Systematic Style Differences between Unsupervised and Supervised MT and an Application for High-Resource Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
现代无监督机器翻译（MT）系统在干净和受控的数据条件下达到合理的翻译质量。随着有监督和无监督机器翻译之间的性能差距缩小，有趣的是，不同的训练方法是否会导致系统性的不同输出，而不是通过适当性或BLEU等质量指标可见的输出。我们比较了来自类似质量的监督和无监督MT系统的翻译，发现无监督输出比监督MT更流畅，与人工翻译相比结构上更不同。然后，我们展示了一种将这两种方法的优点结合到单个系统中的方法，从而提高了人类评估人员评估的充分性和流畅性。我们的研究结果为有趣的讨论打开了大门，讨论监督和无监督的MT如何不同但互利。
2022-04-13 cs.CL
Machine Translation with Unsupervised Length-Constraints
Maastricht University（马斯特里赫特大学）
由于使用了深度学习，我们看到了机器翻译的显着改进。虽然翻译质量的提高令人印象深刻，但编码器-解码器架构实现了更多的可能性。在本文中，我们将探讨其中之一，生成的约束翻译。我们重点关注长度约束，如果翻译应该以给定的格式显示，这是必不可少的。在这项工作中，我们提出了一个端到端的方法来完成这项任务。与先翻译然后执行句子压缩的传统方法相比，文本压缩是完全无监督学习的。通过将该思想与zero-shot多语言机器翻译相结合，我们也能够执行无监督单语句子压缩。为了满足长度约束，我们研究了几种方法来将约束集成到模型中。使用所提出的技术，我们能够在约束条件下显着提高翻译质量。此外，我们能够执行无监督单语句子压缩。
2020-04-07 cs.CL
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
When Does Unsupervised Machine Translation Work?
Johns Hopkins University（约翰斯·霍普金斯大学）
尽管无监督机器翻译（MT）的成功报道，该领域还没有检查这些方法成功的条件，以及它们失败的地方。我们使用不同的语言对，不同的领域，不同的数据集和真实的低资源语言对无监督机器翻译进行了广泛的实证评估。我们发现，性能迅速恶化时，源和目标语料库是来自不同的领域，随机词嵌入初始化可以显着影响下游的翻译性能。我们还发现，当源语言和目标语言使用不同的脚本时，无监督MT性能下降，并且在真实的低资源语言对上观察到非常差的性能。我们提倡对无监督机器翻译系统进行广泛的实证评估，以突出失败点，并鼓励对最有前途的范例进行持续研究。
2020-11-19 cs.CL
Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
当几乎没有并行数据时，反向翻译因其在神经机器翻译中的有效性而广为人知。在这种方法中，源到目标模型与并行训练的目标到源模型耦合。目标到源模型生成噪声源，而源到目标模型被训练以重建目标，反之亦然。多语言预训练序列到序列模型的程序设计语言的最新发展已经非常有效的下游软件工程任务的广泛范围。因此，通过反向翻译来训练他们构建程序设计语言翻译系统是很有吸引力的。然而，这些模型不能通过反向翻译进行进一步训练，因为它们在预训练期间学习以与输入相同的语言输出序列。作为替代方案，我们建议通过代码总结和生成执行反向翻译。在代码摘要中，模型学习生成给定代码片段的自然语言（NL）摘要。在代码生成中，模型学习做相反的事情。因此，反向翻译中的目标到源生成可以被视为目标到NL到源生成。我们表明，我们提出的方法具有竞争力的国家的最先进的方法。我们已经公开了代码。
2023-02-11 cs.CL cs.PL
A Multilingual View of Unsupervised Machine Translation
Google AI Residency（谷歌人工智能 residency项目）
我们提出了一个多语言神经机器翻译的概率框架，包括监督和无监督设置，重点是无监督翻译。除了研究香草的情况下，只有单语数据可用，我们提出了一种新的设置，其中一种语言（源，目标）对不与任何并行数据，但可能存在辅助并行数据，包含其他。这种辅助数据可以自然地通过新的交叉翻译损失项在我们的概率框架中使用。从经验上讲，我们表明，我们的方法在大多数方向上都会在WMT'14英语-法语，WMT'16英语-德语和WMT'16英语-罗马尼亚语数据集上获得更高的BLEU分数。特别是，我们在罗马尼亚语-英语方向上获得了比性能最好的无监督模型更高的+1.65 BLEU优势。
2020-10-16 cs.CL
Explicit Cross-lingual Pre-training for Unsupervised Machine Translation
SKLSDE Lab, Beihang University（北航SKLSDE实验室）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算先进创新中心）；Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）
预训练在无监督机器翻译中被证明是有效的，因为它能够在跨语言场景中对深度上下文信息进行建模。然而，从共享BPE空间获得的跨语言信息是不明确且有限的。在本文中，我们提出了一种新的跨语言的预训练方法，无监督机器翻译通过合并显式的跨语言的训练信号。具体来说，我们首先计算跨语言的n-gram嵌入，并从中推断出一个n-gram翻译表。利用这些n元语法翻译对，我们提出了一种新的预训练模型，称为跨语言掩蔽语言模型（CMLM），它在输入文本流中随机选择源n元语法，并在每个时间步预测其翻译候选。实验表明，我们的方法可以将有益的跨语言信息纳入预训练模型。采用预先训练好的CMLM模型作为编码器和解码器，显著提高了无监督机器翻译的性能。
2019-08-31 cs.CL
Unsupervised Pivot Translation for Distant Languages
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
无监督神经机器翻译（NMT）近年来引起了广泛的关注。虽然用于无监督翻译的最先进的方法通常在相似的语言之间表现良好（例如，英语-德语翻译），它们在遥远的语言之间表现不佳，因为无监督对齐对于遥远的语言不起作用。在这项工作中，我们引入了无监督的枢轴翻译远距离语言，它通过多跳将一种语言翻译成远距离语言，并且每一跳的无监督翻译比原始的直接翻译相对容易。我们提出了一个学习路由（LTR）的方法来选择源语言和目标语言之间的翻译路径。LTR在最佳翻译路径可用的语言对上进行训练，并应用于未见过的语言对以进行路径选择。在20种语言和294个远距离语言对上的实验证明了无监督枢轴翻译对远距离语言的优势，以及所提出的LTR路径选择的有效性。具体来说，在最好的情况下，LTR比传统的直接无监督方法提高了5.58个BLEU点。
2019-06-25 cs.AI cs.CL cs.LG
Unsupervised Neural Dialect Translation with Commonality and Diversity Modeling
University of Macau（澳门大学）
方言翻译作为一种特殊的机器翻译任务，具有两个主要特点：1）缺乏平行的训练语料; 2）翻译双方具有相似的语法。在本文中，我们研究如何利用方言之间的共性和差异，从而建立无监督的翻译模型，只访问单语数据。具体来说，我们利用私有嵌入，层协调，以及参数共享充分建模的共性和多样性之间的源和目标，从词汇，通过句法，语义水平。为了检验所提出的模型的有效性，我们收集了2000万单语语料库的普通话和粤语，这是官方语言和最广泛使用的方言在中国。实验结果表明，我们的方法优于基于规则的简体中文和繁体中文转换和传统的无监督翻译模型超过12 BLEU分数。
2019-12-11 cs.CL
Revisiting Simple Domain Adaptation Methods in Unsupervised Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology（信息通信研究机构）；Osaka University（大阪大学）
领域自适应在监督神经机器翻译（SNMT）中得到了充分研究。然而，对于无监督神经机器翻译（UNMT），它还没有得到很好的研究，尽管UNMT最近在几个特定领域的语言对中取得了显着的成果。除了SNMT的训练数据和测试数据之间的不一致域之外，UNMT的两个单语训练数据之间有时也存在不一致域。在这项工作中，我们经验性地展示了无监督神经机器翻译的不同场景。基于这些场景，我们重新审视现有的领域自适应方法，包括批量加权和微调方法在UNMT的效果。最后，我们提出了改进的方法，以提高特定领域的UNMT系统的性能。
2020-05-05 cs.CL
Flow-Adapter Architecture for Unsupervised Machine Translation
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）
在这项工作中，我们提出了一个流适配器架构的无监督NMT。它利用规范化流来显式地对翻译级潜在表示的分布进行建模，随后将其与用于翻译任务的注意力机制结合使用。我们的模型的主要创新之处是：（a）使用规范化流分别为每种语言捕获特定于语言的句子表示，以及（b）使用这些潜在表示的简单转换从一种语言翻译到另一种语言。这种架构允许独立地对每种语言进行无监督训练。虽然有监督MT的潜变量的工作，据我们所知，这是第一个工作，使用潜变量和规范化流程的无监督MT。我们在几个无监督的MT基准测试中获得了有竞争力的结果。
2022-04-26 cs.CL
Unsupervised Neural Machine Translation with SMT as Posterior Regularization
Beihang University（北京航空航天大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Beijing Advanced Innovation Center for Big Data and Brain Computing（大数据与脑计算北京高等创新中心）
无监督神经机器翻译（NMT）在没有真实双语语料的情况下，通常需要使用反向翻译方法生成的伪并行数据进行模型训练。然而，由于监管不力，伪数据不可避免地包含噪声和错误，这些噪声和错误会在后续的训练过程中积累和强化，导致翻译性能不佳。为了解决这个问题，我们引入了基于短语的统计机器翻译（SMT）模型，这些模型对噪声数据具有鲁棒性，作为后验正则化来指导迭代回译过程中无监督NMT模型的训练。我们的方法从SMT模型开始，SMT模型是用预训练的语言模型和从跨语言嵌入推断的单词级翻译表构建的。然后，SMT和NMT模型联合优化，并在统一的EM框架中相互增强。这样一来，（1）SMT可以及时滤除短语表中的噪声，从而减轻迭代回译过程中的错误所带来的负面影响;（2）NMT可以弥补SMT在流畅性方面的不足。在英-法-译和英-德翻译任务上进行的实验表明，我们的方法优于强基线，并实现了新的最先进的无监督机器翻译性能。
2019-01-14 cs.CL
Multilingual Unsupervised Neural Machine Translation with Denoising Adapters
University of Groningen（格罗宁根大学）；NAVER LABS Europe（NAVER LABS 欧洲）
我们考虑的问题，多语言无监督机器翻译，翻译和语言，只有单语数据使用辅助并行语言对。对于这个问题，到目前为止，利用单语数据的标准过程是反向翻译，这是计算成本高，难以调整。在本文中，我们建议在预训练的mBART-50之上使用去噪适配器，具有去噪目标的适配器层。除了这种方法的模块化和灵活性之外，我们还证明了所产生的翻译与BLEU测量的反向翻译相当，而且它允许增量地添加看不见的语言。
2021-10-20 cs.CL
Unsupervised Neural Machine Translation with Weight Sharing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
无监督神经机器翻译（NMT）是最近提出的一种机器翻译方法，其目的是在不使用任何标记数据的情况下训练模型。针对无监督NMT提出的模型通常只使用一个共享编码器将来自不同语言的句子对映射到共享潜在空间，这在保持每种语言的独特性和内部特征方面很弱，例如风格，术语和句子结构。为了解决这个问题，我们引入了一个扩展，利用两个独立的编码器，但共享一些部分权重，负责提取高层次的表示输入句子。此外，提出了两种不同的生成对抗网络（GANs），即局部GAN和全局GAN，以增强跨语言翻译。通过这种新方法，我们在英德、英法和中英翻译任务上取得了显著的改进。
2018-04-24 cs.CL
SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task
Shanghai Jiao Tong University (SJTU)（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构(NICT)）；Department of Computer Science and Engineering, Shanghai Jiao Tong University (SJTU)（上海交通大学计算机科学与工程系）
在本文中，我们介绍了我们的联合团队SJTU-NICT参与WMT 2020机器翻译共享任务。在这个共享任务中，我们参与了三种语言对的四个翻译方向：英语-汉语，英语-波兰语的有监督机器翻译轨道，德语-上索布语的低资源和无监督机器翻译轨道。基于不同的语言对条件，我们实验了不同的神经机器翻译（NMT）技术：文档增强的NMT，XLM预训练的语言模型增强的NMT，双向翻译作为预训练，基于参考语言的UNMT，数据依赖的高斯先验目标，和BT-BLEU协同过滤自训练。我们还使用TF-IDF算法对训练集进行过滤，以获得与测试集更相似的领域集进行微调。在我们提交的文件中，主要系统在英语到中文，波兰语到英语和德语到上索布语翻译方向上获得了第一名。
2020-10-11 cs.CL
Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
CUNI Systems for the Unsupervised News Translation Task in WMT 2019
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
在本文中，我们描述了用于ACL 2019第四届机器翻译会议（WMT 19）的无监督新闻共享任务的CUNI翻译系统。我们遵循Artexte et al.（2018 b）的策略，创建了一个基于种子短语的系统，其中短语表是从单语数据训练的跨语言嵌入映射初始化的，然后是在合成并行数据上训练的神经机器翻译系统。合成语料库是由一个单语语料库的调整PBMT模型，通过迭代回译细化。我们进一步关注命名实体的处理，即词汇表的一部分，其中跨语言嵌入映射受到最大的影响。我们的系统在德国-捷克WMT 19共享任务上的BLEU得分为15.3。
2019-07-29 cs.CL
Unsupervised Mandarin-Cantonese Machine Translation
Saarland University（萨尔大学）
无监督机器翻译的进步已经使得能够开发能够在没有大量并行数据可用的语言之间进行翻译的机器翻译系统。我们探讨了普通话和粤语之间的无监督机器翻译。尽管以粤语为母语的人数众多，但由于粤语主要用于口语交流，因此仍然没有大规模的粤语语料库。我们项目的主要贡献包括：1。建立一个包含约100万个粤语句子的新语料库，以及2.不同模型架构、标记化方案和嵌入结构的大规模比较。我们使用基于字符的标记化和Transformer架构训练的最佳模型在从普通话翻译到粤语时实现了25.1的字符级BLEU，在从粤语翻译到普通话时实现了24.4。在本文中，我们讨论了我们的研究过程，实验和结果。
2023-01-10 cs.CL
The LMU Munich System for the WMT 2020 Unsupervised Machine Translation Shared Task
LMU Munich（慕尼黑大学）
本文介绍了提交LMU慕尼黑WMT 2020无监督的共享任务，在两个语言方向，德语<->上索布语。我们的核心无监督神经机器翻译（UNMT）系统遵循Chronopoulou等人（2020）的策略，使用单语预训练的语言生成模型（德语）并在德语和上索布语上对其进行微调，然后初始化UNMT模型，该模型通过在线反向翻译进行训练。从无监督统计机器翻译（USMT）系统获得的伪并行数据用于微调UNMT模型。我们还应用BPE辍学的低资源（上索布族）的数据，以获得一个更强大的系统。我们还用残余适配器进行了实验，发现它们在上索布语->德语方向上很有用。我们探讨了在回译和课程学习中的抽样，以更有原则的方式使用SMT翻译。最后，我们集成了我们表现最好的系统，并在德语->上索布语和上索布语->德语上达到32.4和35.2的BLEU分数。
2020-10-25 cs.CL
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo（东京大学）
无监督跨语言词嵌入（CLWE）方法学习线性变换矩阵，该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设，这通常不一定成立。在本文中，我们认为，使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性，提高质量的CLWEs在无监督映射方法。我们表明，在相同的数据量下，我们的方法优于其他替代方法，并且，通过详细的分析，我们表明，使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效，因为（1）伪数据使源语料库和目标语料库（部分）并行;（2）伪数据包含关于原始语言的信息，其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
An Effective Approach to Unsupervised Machine Translation
University of the Basque Country (UPV/EHU)（巴斯克大学）
虽然机器翻译传统上依赖于大量的平行语料库，但最近的研究路线已经成功地仅使用单语语料库来训练神经机器翻译（NMT）和统计机器翻译（SMT）系统。在本文中，我们确定和解决现有的无监督SMT方法的几个不足之处，利用子字信息，开发一个理论上有充分依据的无监督调整方法，并将联合细化过程。此外，我们使用我们改进的SMT系统初始化一个双NMT模型，这是进一步微调，通过在飞回翻译。总之，我们在无监督机器翻译中比以前的最先进技术有了很大的改进。例如，我们在2014年英语到德语的WMT中获得了22.5分的BLEU分数，比之前最好的无监督系统高出5.5分，比2014年的（有监督）共享任务冠军高出0.5分。
2019-07-24 cs.AI cs.CL cs.LG
Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin
InstaDeep
尼日利亚皮钦语可以说是尼日利亚使用最广泛的语言。这种语言的变体也在西非和中非使用，使其成为非常重要的语言。这项工作的目的是建立监督和无监督的神经机器翻译（NMT）之间的基线英语和尼日利亚洋泾浜。我们实现并比较了不同标记化方法的NMT模型，为未来的工作奠定了坚实的基础。
2020-03-27 cs.CL cs.LG
Unsupervised Identification of Translationese
University of Haifa（海法大学）
翻译文本与原始文本有着明显的不同，以至于监督文本分类方法可以高精度地区分它们。这些差异被证明是有用的统计机器翻译。然而，有人建议，翻译检测的准确性恶化时，分类器进行评估的领域之外，它是训练。我们表明，这确实是这样的，在各种评估方案。然后，我们表明，无监督分类是高度准确的这项任务。我们提出了一种方法来确定聚类结果的正确标签，然后使用标签进行投票，进一步提高准确性。此外，我们提出了一个简单的方法，在具有挑战性的情况下，混合域数据集的聚类，尽管领域相关的功能的优势，在相关的。其结果是一种有效的，完全无监督的方法，用于区分原始文本和翻译文本，可以以合理的准确度应用于新的领域。
2016-09-11 cs.CL
Chinese-Japanese Unsupervised Neural Machine Translation Using Sub-character Level Information
Tokyo Metropolitan University（东京都立大学）
无监督神经机器翻译（UNMT）在训练期间仅需要相似语言对的单语数据，并且可以产生在字母语言上具有相对良好性能的双向翻译模型（Lample等人，2018年）。然而，没有研究已经做了语标语言对。本研究的重点是中日UNMT训练的数据包含子字符（表意或笔画）的水平信息，从字符水平的数据分解。比较了字符和子字符水平系统的BLEU得分，结果表明，尽管UNMT对字符水平数据有效，但子字符水平数据可以进一步提高性能，其中笔画水平系统优于表意水平系统。
2019-03-01 cs.CL
CUNI Systems for the Unsupervised and Very Low Resource Translation Task in WMT20
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文介绍了一种描述CUNI系统提交给WMT 20任务的无监督和非常低的资源监督机器翻译之间的德语和上索布语。我们尝试了在合成数据上进行训练，并在相关语言对上进行预训练。在完全无监督的情况下，我们分别实现了25.5和23.7 BLEU从上索布语翻译和翻译为上索布语。我们的低资源系统依赖于来自德国-捷克并行数据的迁移学习，并实现了57.4 BLEU和56.1 BLEU，这比仅在可用的小型德国-上索布语并行语料库上训练的基线提高了10个BLEU点。
2020-10-22 cs.CL
Incorporating Word and Subword Units in Unsupervised Machine Translation Using Language Model Rescoring
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
本文介绍了CAiRE提交的无监督机器翻译轨道的WMT'19新闻共享任务，从德国到捷克。我们利用基于短语的统计机器翻译（PBSMT）模型和预训练的语言模型来组合词级神经机器翻译（NMT）和子词级NMT模型，而不使用任何并行数据。我们提出通过分别针对德语和捷克语训练字节对编码（BPE）嵌入来解决语言的形态丰富性问题，并且使用MUSE（Conneau et al.，2018年）。为了保证译文的流畅性和一致性，提出了一种重评分机制，该机制重用预先训练好的语言模型来选择通过束搜索生成的候选译文。此外，一系列的前处理和后处理方法，以提高最终的翻译质量。
2019-11-18 cs.CL
Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages
Google Research（谷歌研究院）
无监督翻译在资源丰富的语言对（如英语-法语和英语-德语）上达到了令人印象深刻的性能。然而，早期的研究表明，在涉及低资源，稀有语言的更现实的环境中，无监督翻译表现不佳，达到不到3.0 BLEU。在这项工作中，我们证明了多语言对于使无监督系统在低资源环境中实用至关重要。特别是，我们为5种低资源语言（古吉拉特语，哈萨克语，尼泊尔语，僧伽罗语和土耳其语）和英语方向提供了一个单一的模型，该模型通过三阶段训练计划利用来自其他高资源语言对的单语和辅助并行数据。我们超越了这些语言的所有当前最先进的无监督基线，实现了高达14.4 BLEU的增益。此外，我们的表现优于各种语言对的大量监督WMT提交，并与尼泊尔语-英语的当前最先进的监督模型的表现相匹配。我们进行了一系列的消融研究，以建立我们的模型在不同程度的数据质量的鲁棒性，以及分析的因素，导致所提出的方法优于传统的无监督模型的性能。
2021-03-12 cs.CL
Unsupervised Neural Machine Translation with Generative Language Models Only
OpenAI
我们展示了如何从生成的预训练语言模型中获得最先进的无监督神经机器翻译系统。我们的方法包括三个步骤：Few-Shot放大，蒸馏和回译。我们首先使用大型预训练语言模型的zero-shot翻译能力来为一小部分未标记的句子生成翻译。然后，我们放大这些zero-shot的翻译，使用它们作为Few-Shot示范采样一个更大的合成数据集。该数据集通过丢弃Few-Shot演示并进行微调而得到提炼。在回译过程中，我们为一组输入重复生成翻译，然后同时在翻译任务的两个方向上微调单个语言模型，通过在微调时交换黄金单文本和生成的翻译的角色来确保周期一致性。通过使用我们的方法来利用GPT-3的zero-shot翻译功能，我们在WMT 14英法基准测试中实现了最先进的无监督翻译，获得了42.1的BLEU分数。
2021-10-11 cs.AI cs.CL
Unsupervised Sign Language Translation and Generation
Shanghai Jiao Tong University（上海交通大学）
提出无监督手语翻译与生成网络USLNet，利用单模态重建和跨模态反向翻译从无平行数据中学习，通过滑动窗口解决跨模态对齐问题，实现统一生成文本与手语视频。
2024-02-12 cs.CL
Unsupervised Paraphrasing without Translation
Google Research（谷歌研究院）
释义增强了从表面形式中抽象出语义内容的能力。最近的自动释义工作主要是利用机器翻译（MT）作为中间步骤的方法。这与人类形成了鲜明对比，人类可以在没有双语的情况下进行释义。本文提出了一种从单语语料库中学习释义模型的方法。为此，我们提出了一种矢量量化变分自动编码器的残差变体。我们比较基于MT的方法的释义识别，生成和训练增强。单语释义优于无监督翻译在所有设置。与监督翻译的比较更加复杂：单语释义对于识别和增强来说很有趣;监督翻译在生成方面更优越。
2019-05-29 cs.CL cs.LG stat.ML
USCORE: An Effective Approach to Fully Unsupervised Evaluation Metrics for Machine Translation
Bielefeld University（比勒费尔德大学）
本文提出 USCORE，通过协同无监督指标归纳、伪平行语料挖掘、向量空间迭代重映射、无监督 MT 伪参考及多语言句子嵌入，构建完全无监督的机译评估指标，并在 5 个数据集中的 4 个上超越有监督方法。
2023-02-11 cs.CL
Improving Cascaded Unsupervised Speech Translation with Denoising Back-translation
National Taiwan University（国立台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出去噪反向翻译方法构建无监督级联语音翻译系统，在CoVoST 2和CVSS上取得与早期监督方法相当的结果，并将BLEU分数提升0.7--0.9。
2023-05-12 cs.CL cs.SD eess.AS
Refining Low-Resource Unsupervised Translation by Language Disentanglement of Multilingual Model
Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
最近关于无监督机器翻译（UMT）的许多工作表明，只有在大规模多语言环境中训练模型，才有可能对低资源和不相关的语言（如尼泊尔语或僧伽罗语）进行合格的无监督翻译，在这种环境中，这些低资源语言与高资源语言混合。然而，虽然高资源语言极大地帮助启动目标低资源翻译任务，但它们之间的语言差异可能会阻碍它们的进一步改进。在这项工作中，我们提出了一个简单的细化过程，将语言从预训练的多语言UMT模型中分离出来，使其只关注目标低资源任务。我们的方法在英语到尼泊尔语，僧伽罗语，古吉拉特语，拉脱维亚语，爱沙尼亚语和哈萨克语的完全无监督翻译任务中达到了最先进的水平，BLEU得分分别为3.5，3.5，3.3，4.1，4.2和3.3。我们的代码库可以在https://github.com/nxphi47/refine_unsup_multilingual_mt上找到
2022-10-01 cs.AI cs.CL
Self-Training for Unsupervised Neural Machine Translation in Unbalanced Training Data Scenarios
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（信息通信技术研究所）
无监督神经机器翻译（UNMT）仅依赖于大量的单语语料库，在一些翻译任务中取得了显着的效果。然而，在现实世界的情况下，大量的单语语料库并不存在一些资源非常低的语言，如爱沙尼亚语，和UNMT系统通常表现不佳时，没有足够的训练语料库的一种语言。在本文中，我们首先定义和分析了不平衡的训练数据的情况下，为联合国地雷行动。基于这种情况下，我们提出了UNMT自我训练机制，训练一个强大的UNMT系统，并提高其性能在这种情况下。在多个语言对上的实验结果表明，所提出的方法大大优于传统的UNMT系统。
2021-05-24 cs.CL
Unsupervised Machine Translation On Dravidian Languages
Maastricht University（马斯特里赫特大学）
无监督神经机器翻译（UNMT）特别有益于低资源语言，例如德拉维语系语言。然而，联合国MT系统往往在涉及实际低资源语言的现实情况下失败。最近的工作提出利用辅助并行数据，并取得了国家的最先进的成果。在这项工作中，我们专注于英语和卡纳达语，低资源达罗毗荼语之间的无监督翻译。我们还利用英语和其他相关的达罗毗荼语之间的辅助数据有限。我们表明，统一的书写系统是必不可少的，在无监督的翻译之间的达罗毗荼语。我们探索了几种使用辅助数据的模型架构，以最大限度地提高知识共享，并使UNMT对遥远的语言对。我们的实验表明，包括与我们的重点语言卡纳达语相似的辅助语言是至关重要的。此外，我们提出了一个度量来衡量语言相似性，并表明它作为一个很好的指标，选择辅助语言。
2021-03-29 cs.AI cs.CL
From Unsupervised Machine Translation To Adversarial Text Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了一个基于自注意力的双语对抗文本生成器（B-GAN），它可以学习从无监督神经机器翻译系统的编码器表示生成文本。B-GAN能够生成分布式潜在空间表示，该表示可以与基于注意力的解码器配对以生成流畅的句子。当在两种语言之间共享的编码器上训练并与适当的解码器配对时，它可以生成任何一种语言的句子。B-GAN使用用于自动编码器的重建损失、用于翻译的跨域损失和用于文本生成的基于GAN的对抗性损失的组合来训练。我们证明，仅使用多个损失在单语语料库上训练的B-GAN，与单语基线相比，可以生成更流畅的句子，同时有效地使用一半的参数。
2020-11-10 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；University of Washington（华盛顿大学）
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因，发现词汇、句法相似性不足以解释其成功，而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时，需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而，这些方法使用文本的通用表示，而不管域转移，这使得翻译模型无法控制特定域的输出条件。在这项工作中，我们提出了一种方法，通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性，在多个实验环境中实现了一致的改善。此外，我们表明，将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting
Carnegie Mellon University（卡内基梅隆大学）；Monash University（莫纳什大学）
无监督机器翻译（MT）最近仅在单语语料库上取得了令人印象深刻的结果。然而，它仍然是具有挑战性的关联源-目标句子的潜在空间。由于说不同语言的人在生物学上共享相似的视觉系统，通过视觉内容实现更好对齐的潜力是有希望的，但在无监督多模态MT（MMT）中尚未充分探索。在本文中，我们研究如何利用视觉内容消歧和促进潜在的空间对齐在无监督MMT。我们的模型采用多模态反向翻译和伪视觉旋转的功能，我们学习一个共享的多语言视觉语义嵌入空间，并将视觉旋转字幕作为额外的弱监督。在广泛使用的Multi 30 K数据集上的实验结果表明，该模型显着改善了最先进的方法，并在测试时图像不可用时具有良好的泛化能力。
2020-05-06 cs.CL cs.CV
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Leveraging Automated Unit Tests for Unsupervised Code Translation
Facebook AI Research（脸书人工智能研究院）；Paris-Dauphine University（巴黎第九大学）；University College London（伦敦大学学院）；Facebook（脸书）
由于程序设计语言几乎没有并行数据，无监督方法非常适合源代码翻译。然而，大多数无监督机器翻译方法依赖于回译，这是在自然语言翻译的背景下开发的一种方法，并且本质上涉及对噪声输入的训练。不幸的是，源代码对微小的变化非常敏感;单个标记可能导致编译失败或错误的程序，这与自然语言不同，在自然语言中，微小的不准确可能不会改变句子的含义。为了解决这个问题，我们建议利用一个自动化的单元测试系统来过滤掉无效的翻译，从而创建一个完全测试的并行语料库。我们发现，使用此过滤数据集对无监督模型进行微调，可以显著降低如此生成的翻译中的噪声，对于所研究的所有语言对，其表现都优于最先进的技术。特别是，对于Java $\to$ Python和Python $\to$ C++，我们的性能分别比以前最好的方法高出16%和24%以上，出错率降低了35%以上。
2022-02-16 cs.CL cs.LG cs.SE
Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
反向翻译是无监督神经机器翻译（UNMT）的一个关键组成部分，它从目标单语数据生成伪并行数据。UNMT模型在具有翻译源的伪并行数据上训练，并在推理中翻译自然源语句。训练和推理之间的源差异阻碍了UNMT模型的翻译性能。通过精心设计的实验，我们确定了源数据缺口的两个代表性特征：（1）风格缺口（即，翻译文本风格与自然文本风格），这导致泛化能力差;（2）内容差距，这导致模型产生偏向于目标语言的幻觉内容。为了缩小数据差距，我们提出了一种在线自训练方法，该方法同时使用伪并行数据{自然源，翻译目标}来模拟推理场景。几个广泛使用的语言对的实验结果表明，我们的方法优于两个强基线（XLM和MASS）通过弥补风格和内容的差距。
2022-03-23 cs.CL
Unsupervised Multi-modal Neural Machine Translation
University of South California（南加利福尼亚大学）；Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
无监督神经机器翻译（UNMT）最近取得了显着的成果，只有大型单语语料库中的每种语言。然而，目标与源语句之间的不确定性使得UNMT在理论上是一个不适定问题。这项工作探讨了利用图像消除歧义的可能性，以提高联合国布隆迪综合办事处的业绩。我们的假设直观上是基于图像的不变性，即，不同语言对同一可视内容的描述应该大致相似。提出了一种基于图像的语言翻译周期一致性损失的无监督多模态机器翻译（UMNMT）框架，旨在同时学习双向多模态翻译。通过多模态和单模态之间的交替训练，我们的推理模型可以在有或没有图像的情况下进行翻译。在广泛使用的Multi30K数据集上，我们的方法在2016年测试数据集上的实验结果明显优于纯文本UNMT。
2019-05-27 cs.CL cs.CV
Boosting Unsupervised Machine Translation with Pseudo-Parallel Data
Charles University（查理大学）
针对低资源语言无监督机器翻译质量落后的问题，提出结合单语语料库挖掘的伪平行句对与反向翻译合成句对的训练策略，在英译乌任务上取得高达14.5 BLEU分的提升。
2023-10-22 cs.CL
Unsupervised Clinical Language Translation
Massachusetts Institute of Technology（麻省理工学院）
随着患者获取医生的临床笔记变得普遍，将专业的临床术语翻译成外行人可以理解的语言对于改善患者与临床医生的沟通至关重要。这种翻译通过增强患者对自身健康状况的了解，从而提高患者对自身护理的参与度，从而产生更好的临床结果。现有的研究已经使用基于词典的单词替换或定义插入来满足需求。然而，这些方法受到专家策展的限制，专家策展难以扩展，并且难以推广到不共享重叠词汇的不可见数据集。相比之下，我们以完全无监督的方式处理临床单词和句子翻译问题。我们发现，一个框架，使用表示学习，双语词典归纳和统计机器翻译产生的最佳精度在10的0.827专业到消费者的单词翻译，和平均意见得分为4.10和4.28的5临床正确性和外行可读性，分别对句子翻译。我们的完全无监督策略克服了策展问题，并且临床上有意义的评估减少了不适当评估者的偏见，这在临床机器学习中至关重要。
2019-05-26 cs.CL cs.LG
Style Transfer as Unsupervised Machine Translation
University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research and AI Group（微软研究与人工智能集团）
语言风格转移是指在保留原有的与属性无关的内容的同时，重新表达具有特定风格属性的文本。学习风格转换系统的一个主要挑战是缺乏平行数据，其中源句子是一种风格，目标句子是另一种风格。有了这个限制，在本文中，我们适应无监督的机器翻译方法的任务，自动风格转换。我们首先利用风格偏好信息和词嵌入相似性来产生伪并行数据与统计机器翻译（SMT）框架。然后采用迭代反向翻译方法联合训练两个基于神经机器翻译（NMT）的转换系统。为了控制联合训练过程中产生的噪声，引入了风格分类器，以保证风格转移的准确性，并惩罚生成的伪数据中的不良候选。在基准数据集上的实验表明，我们提出的方法在风格转换的准确性和输入输出对应的质量方面都优于以前的最先进的模型。
2018-08-23 cs.CL
Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
无监督神经机器翻译（UNMT）最近引起了机器翻译界的极大兴趣。UNMT的主要优势在于它可以轻松地收集所需的大型训练文本句子，而性能仅略差于监督神经机器翻译，后者在某些翻译任务中需要昂贵的注释翻译对。在大多数研究中，UMNT是用干净的数据训练的，而没有考虑它对噪声数据的鲁棒性。然而，在现实世界的场景中，通常存在噪声在收集的输入句子，这降低了翻译系统的性能，因为UNMT是敏感的输入句子的小扰动。在本文中，我们第一次明确地考虑到噪声数据，以提高基于UNMT系统的鲁棒性。首先，我们在训练句子中明确定义了两种类型的噪音，即，词噪声和词序噪声，并实证研究其在UNMT中的影响，然后我们提出了在UNMT中具有去噪过程的对抗训练方法。几个语言对的实验结果表明，我们提出的方法大大提高了传统的UNMT系统在嘈杂的情况下的鲁棒性。
2020-12-03 cs.CL
Reference Language based Unsupervised Neural Machine Translation
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构）
在机器翻译中，利用共同语言作为更好翻译的辅助工具具有悠久的传统，并且在缺乏源语言到目标语言的并行语料库的情况下，让基于监督学习的机器翻译享受由使用良好的主语言提供的增强。无监督神经机器翻译（UNMT）的兴起几乎完全缓解了平行语料库的诅咒，尽管由于可用于其核心回译训练的线索的复杂性，UNMT仍然受到不令人满意的性能。通过扩展平行语料库的使用，进一步丰富了枢轴翻译的思想，超越了源-目标范例，我们提出了一个新的参考语言为基础的框架UNMT，RUNMT，其中的参考语言只共享一个平行语料库与源，但这个语料库仍然表明一个信号足够清晰，以帮助重建训练的UNMT通过建议的参考协议机制。实验结果表明，我们的方法提高了UNMT的质量超过了一个强大的基线，只使用一种辅助语言，证明了建议的参考语言为基础的UNMT的有用性，并建立了一个良好的开端，为社会。
2020-10-09 cs.CL
An Empirical study of Unsupervised Neural Machine Translation: analyzing NMT output, model's behavior and sentences' contribution
Boston University（波士顿大学）
该研究实证分析了无监督神经机器翻译（UNMT）在法语、古吉拉特语和哈萨克语上的输出质量、模型行为及句子贡献，发现UNMT在低资源场景下具有优势，并利用逐层相关性传播揭示了句子对翻译结果的贡献机制。
2023-12-19 cs.CL
Exploiting Curriculum Learning in Unsupervised Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
反向翻译（Back-translation，BT）已经成为无监督神经机器翻译（unsupervised neural machine translation，UNMT）的一个事实上的组成部分，它明确地赋予了UNMT翻译能力。然而，BT生成的所有伪双文本在优化过程中都被视为干净数据，没有考虑质量差异，导致收敛速度慢，翻译性能有限。为了解决这个问题，我们提出了一个课程学习方法，逐步利用伪双文本的质量的基础上，从多个粒度。具体来说，我们首先应用跨语言词嵌入来计算单语句子的潜在翻译难度（质量）。然后，这些句子从易到难一批一批地输入联合国布隆迪特派团。此外，考虑到特定批次中的句子/令牌的质量也是不同的，我们进一步采用模型本身来计算细粒度的质量分数，这些分数作为学习因素，以平衡计算损失时不同部分的贡献，并鼓励UNMT模型专注于更高质量的伪数据。在WMT 14 En-Fr、WMT 16 En-De、WMT 16 En-Ro和LDC En-Zh翻译任务上的实验结果表明，该方法具有更快的收敛速度，并取得了一致的改进。
2021-09-23 cs.CL
Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection
Monash University（莫纳什大学）
本文考虑神经机器翻译（NMT）的无监督领域自适应问题，假设在新的域中只访问源语言或目标语言中的单语文本。我们提出了一种跨语言的数据选择方法，以提取领域内的句子在缺失的语言侧从一个大型的通用单语语料库。我们提出的方法通过对比学习在多语言BERT之上训练一个自适应层，以对齐源语言和目标语言之间的表示。然后，这使得域分类器能够以zero-shot方式在语言之间转移。一旦分类器检测到域内数据，NMT模型就通过联合学习翻译和域判别任务来适应新的域。我们在NMT上评估了三种语言对中五个不同领域的跨语言数据选择方法，以及COVID-19的真实翻译场景。结果表明，我们提出的方法优于其他选择基线高达+1.5 BLEU得分。
2021-09-09 cs.CL
