Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Unsupervised Pivot Translation for Distant Languages
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
无监督神经机器翻译（NMT）近年来引起了广泛的关注。虽然用于无监督翻译的最先进的方法通常在相似的语言之间表现良好（例如，英语-德语翻译），它们在遥远的语言之间表现不佳，因为无监督对齐对于遥远的语言不起作用。在这项工作中，我们引入了无监督的枢轴翻译远距离语言，它通过多跳将一种语言翻译成远距离语言，并且每一跳的无监督翻译比原始的直接翻译相对容易。我们提出了一个学习路由（LTR）的方法来选择源语言和目标语言之间的翻译路径。LTR在最佳翻译路径可用的语言对上进行训练，并应用于未见过的语言对以进行路径选择。在20种语言和294个远距离语言对上的实验证明了无监督枢轴翻译对远距离语言的优势，以及所提出的LTR路径选择的有效性。具体来说，在最好的情况下，LTR比传统的直接无监督方法提高了5.58个BLEU点。
2019-06-25 cs.AI cs.CL cs.LG
Unsupervised Word Translation Pairing using Refinement based Point Set Registration
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
词嵌入的跨语言对齐在跨语言知识传递中起着重要作用，用于改进机器翻译和其他多语言应用。目前的无监督方法依赖于跨语言的词嵌入空间的几何结构的相似性，使用对抗网络和细化策略来学习保持结构的线性变换。然而，在实践中，这样的技术往往遭受不稳定性和收敛问题，需要繁琐的微调精确的参数设置。本文提出了BioSpere，一种新的框架，用于无监督映射的双语词嵌入到一个共享的向量空间，通过结合对抗初始化和细化过程与点集配准算法用于图像处理。我们表明，我们的框架弥补了现有方法的缺点，并且对可变对抗学习性能相对不变，在参数选择和训练损失方面具有鲁棒性。并行词典归纳任务的实验评估表明，我们的框架在不同的语言对的最先进的结果。
2020-11-26 cs.AI cs.CL
Unsupervised Translation of Emergent Communication
Technion – Israel Institute of Technology（以色列理工学院）；University of California, Berkeley（加州大学伯克利分校）
本研究首次在无平行数据辅助下，采用无监督神经机器翻译技术破译不同任务复杂度下形成的涌现通信，发现语义多样性提升其可译性，语义受限的语用型EC虽难解释仍可翻译，为EC与自然语言关系研究提供新方法。
2025-02-11 cs.AI cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology（国立信息通信技术研究所）
最近的工作在以完全无监督的方式训练神经机器翻译（NMT）系统方面取得了显着的成果，该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中，我们建议将无监督NMT（UNMT）定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构，通过用合成双语数据代替人工双语数据进行训练，提出了监督NMT。我们建议用无监督统计机器翻译（USMT）生成的合成双语数据初始化UNMT的训练。然后，利用反向翻译，逐步改进联合国地雷行动组系统。我们的初步实验表明，我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务，两个翻译方向。
2018-10-30 cs.CL
An Effective Approach to Unsupervised Machine Translation
University of the Basque Country (UPV/EHU)（巴斯克大学）
虽然机器翻译传统上依赖于大量的平行语料库，但最近的研究路线已经成功地仅使用单语语料库来训练神经机器翻译（NMT）和统计机器翻译（SMT）系统。在本文中，我们确定和解决现有的无监督SMT方法的几个不足之处，利用子字信息，开发一个理论上有充分依据的无监督调整方法，并将联合细化过程。此外，我们使用我们改进的SMT系统初始化一个双NMT模型，这是进一步微调，通过在飞回翻译。总之，我们在无监督机器翻译中比以前的最先进技术有了很大的改进。例如，我们在2014年英语到德语的WMT中获得了22.5分的BLEU分数，比之前最好的无监督系统高出5.5分，比2014年的（有监督）共享任务冠军高出0.5分。
2019-07-24 cs.AI cs.CL cs.LG
On the Copying Problem of Unsupervised NMT: A Training Schedule with a Language Discriminator Loss
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
针对无监督 NMT 在远距离及低资源语言对中的复制问题，本文提出引入语言判别器损失的训练调度方案，约束在线回译的中间译文语言，并通过多语言对实验验证其可缓解复制并提升性能。
2023-06-04 cs.AI cs.CL
Robust Guidance for Unsupervised Data Selection: Capturing Perplexing Named Entities for Domain-Specific Machine Translation
Ahancompany corporation（Ahancompany 公司）；TelePIX（TelePIX 公司）
针对低资源领域机器翻译无监督数据选择标准难统一的问题，提出以翻译命名实体的最大推理熵为指标的捕获困惑命名实体方法，经专业领域韩英平行语料库验证，跨领域识别训练高效数据的鲁棒性优于现有方法。
2024-05-21 cs.AI cs.CL
Cross-lingual Supervision Improves Unsupervised Neural Machine Translation
ByteDance AI Lab（字节跳动人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
神经机器翻译~（NMT）对于零资源语言是无效的。最近的工作探索无监督神经机器翻译（UNMT）的可能性，只有单语数据可以取得可喜的成果。然而，联合国监测组与实行平行监督的国家监测组之间仍存在很大差距。在这项工作中，我们引入了一个多语言无监督NMT（\method）框架，利用弱监督信号从高资源的语言对零资源的翻译方向。更具体地说，对于无监督语言对\texttt{En-De}，我们可以充分利用来自并行数据集\texttt{En-Fr}的信息，在一个模型中联合训练无监督翻译方向。\method基于多语言模型，无需对标准无监督NMT进行更改。实验结果表明，\method显着提高了翻译质量超过3 BLEU分数在六个基准无监督翻译方向。
2021-04-01 cs.CL
Translating Translationese: A Two-Step Approach to Unsupervised Machine Translation
Amazon（亚马逊）；USC Information Sciences Institute（南加州大学信息科学研究所）；Facebook AI Research（脸书人工智能研究院）；DiDi Labs（滴滴实验室）
如果对一个源语言句子进行粗略的逐字注释，目标语言的母语者就可以发现潜在的、完全流畅的翻译。在这项工作中，我们探索这种直觉打破翻译成两个步骤的过程：生成一个粗略的注释通过字典，然后“翻译”所产生的伪翻译，或“翻译”成一个完全流畅的翻译。我们从具有共同目标语言的并行数据的大杂烩中构建我们的翻译解码器，然后可以使用无监督技术按需构建词典，从而为许多源语言快速生成无监督神经MT系统。我们将这个过程应用于14种测试语言，在高资源语言上获得了比以前发表的无监督MT研究更好或相当的翻译结果，并为从未在无监督MT场景中使用过的低资源语言获得了高质量的结果。
2019-06-11 cs.CL
When and Why is Unsupervised Neural Machine Translation Useless?
RWTH Aachen University（亚琛工业大学）
本文研究了神经机器翻译（NMT）中当前最先进的无监督方法的实用性。在10个具有不同数据设置的翻译任务中，我们分析了无监督方法无法产生合理翻译的条件。我们发现，他们的表现受到严重影响的语言相异和域之间的不匹配源和目标单语数据。这种情况在低资源语言对中很常见，在这种情况下，无监督学习效果很差。在我们所有的实验中，有监督和半监督的基线与50k句双语数据的表现优于最好的无监督结果。我们的分析指出了当前无监督NMT的局限性，并提出了立即的研究方向。
2020-04-22 cs.CL
Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
对大型平行语料库的过度依赖极大地限制了机器翻译系统对大多数语言对的适用性。在以前的无监督神经机器翻译方法中，主要使用反向翻译，其中生成伪句子对以训练具有重建损失的模型。然而，伪句子通常是低质量的，因为翻译错误在训练过程中积累。为了避免这个根本问题，我们提出了一种替代的，但更有效的方法，提取编辑，提取，然后编辑的目标单语语料库的真实句子。此外，我们还引入了一个比较翻译损失来评估翻译的目标句子，从而训练无监督翻译系统。实验表明，所提出的方法始终优于以前的国家的最先进的无监督机器翻译系统在两个基准（英语-法语和英语-德语）和两个低资源的语言对（英语-罗马尼亚语和英语-俄罗斯）超过2（高达3.63）BLEU点。
2019-04-04 cs.CL
Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning
NAVER；Korea University（高丽大学）；KAIST（韩国科学技术院）；Upstage AI Research（Upstage AI 研究院）
无监督机器翻译利用未配对的单语语料库作为训练数据，已经取得了与有监督机器翻译相当的性能。然而，它仍然受到数据稀缺领域的影响。为了解决这个问题，本文提出了一种新的Meta学习算法的无监督神经机器翻译（UNMT），训练模型，以适应另一个领域，通过只利用少量的训练数据。我们假设域一般知识是处理数据稀缺域的一个重要因素。因此，我们扩展了Meta学习算法，它利用从高资源域学习到的知识，以提高低资源UNMT的性能。我们的模型超过了基于迁移学习的方法高达2-4 BLEU分数。大量的实验结果表明，我们提出的算法适用于快速自适应，并且始终优于其他基线模型。
2021-05-07 cs.AI cs.CL cs.LG
Language Model-Driven Unsupervised Neural Machine Translation
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（全球通科技有限公司）
无监督神经机器翻译（NMT）在执行香草反向翻译时与合成数据中的噪声和错误相关联。在这里，我们显式地利用语言模型（LM）来驱动无监督NMT系统的构建。这包括两个步骤。首先，我们使用通过临时统计机器翻译（SMT）生成的合成数据初始化NMT模型。其次，与普通的反向翻译不同，我们制定了一个权重函数，在后续迭代训练的每一步对合成数据进行评分;这使得无监督训练能够获得更好的结果。我们提出了详细的数学构造我们的方法。实验性WMT 2014英语-法语、WMT 2016英语-德语和英语-俄语翻译任务表明，我们的方法比之前最好的系统的性能高出3个BLEU点以上。
2019-11-10 cs.CL
On Systematic Style Differences between Unsupervised and Supervised MT and an Application for High-Resource Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
现代无监督机器翻译（MT）系统在干净和受控的数据条件下达到合理的翻译质量。随着有监督和无监督机器翻译之间的性能差距缩小，有趣的是，不同的训练方法是否会导致系统性的不同输出，而不是通过适当性或BLEU等质量指标可见的输出。我们比较了来自类似质量的监督和无监督MT系统的翻译，发现无监督输出比监督MT更流畅，与人工翻译相比结构上更不同。然后，我们展示了一种将这两种方法的优点结合到单个系统中的方法，从而提高了人类评估人员评估的充分性和流畅性。我们的研究结果为有趣的讨论打开了大门，讨论监督和无监督的MT如何不同但互利。
2022-04-13 cs.CL
Machine Translation with Unsupervised Length-Constraints
Maastricht University（马斯特里赫特大学）
由于使用了深度学习，我们看到了机器翻译的显着改进。虽然翻译质量的提高令人印象深刻，但编码器-解码器架构实现了更多的可能性。在本文中，我们将探讨其中之一，生成的约束翻译。我们重点关注长度约束，如果翻译应该以给定的格式显示，这是必不可少的。在这项工作中，我们提出了一个端到端的方法来完成这项任务。与先翻译然后执行句子压缩的传统方法相比，文本压缩是完全无监督学习的。通过将该思想与zero-shot多语言机器翻译相结合，我们也能够执行无监督单语句子压缩。为了满足长度约束，我们研究了几种方法来将约束集成到模型中。使用所提出的技术，我们能够在约束条件下显着提高翻译质量。此外，我们能够执行无监督单语句子压缩。
2020-04-07 cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
When Does Unsupervised Machine Translation Work?
Johns Hopkins University（约翰斯·霍普金斯大学）
尽管无监督机器翻译（MT）的成功报道，该领域还没有检查这些方法成功的条件，以及它们失败的地方。我们使用不同的语言对，不同的领域，不同的数据集和真实的低资源语言对无监督机器翻译进行了广泛的实证评估。我们发现，性能迅速恶化时，源和目标语料库是来自不同的领域，随机词嵌入初始化可以显着影响下游的翻译性能。我们还发现，当源语言和目标语言使用不同的脚本时，无监督MT性能下降，并且在真实的低资源语言对上观察到非常差的性能。我们提倡对无监督机器翻译系统进行广泛的实证评估，以突出失败点，并鼓励对最有前途的范例进行持续研究。
2020-11-19 cs.CL
A Multilingual View of Unsupervised Machine Translation
Google AI Residency（谷歌人工智能 residency项目）
我们提出了一个多语言神经机器翻译的概率框架，包括监督和无监督设置，重点是无监督翻译。除了研究香草的情况下，只有单语数据可用，我们提出了一种新的设置，其中一种语言（源，目标）对不与任何并行数据，但可能存在辅助并行数据，包含其他。这种辅助数据可以自然地通过新的交叉翻译损失项在我们的概率框架中使用。从经验上讲，我们表明，我们的方法在大多数方向上都会在WMT'14英语-法语，WMT'16英语-德语和WMT'16英语-罗马尼亚语数据集上获得更高的BLEU分数。特别是，我们在罗马尼亚语-英语方向上获得了比性能最好的无监督模型更高的+1.65 BLEU优势。
2020-10-16 cs.CL
Explicit Cross-lingual Pre-training for Unsupervised Machine Translation
SKLSDE Lab, Beihang University（北航SKLSDE实验室）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算先进创新中心）；Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）
预训练在无监督机器翻译中被证明是有效的，因为它能够在跨语言场景中对深度上下文信息进行建模。然而，从共享BPE空间获得的跨语言信息是不明确且有限的。在本文中，我们提出了一种新的跨语言的预训练方法，无监督机器翻译通过合并显式的跨语言的训练信号。具体来说，我们首先计算跨语言的n-gram嵌入，并从中推断出一个n-gram翻译表。利用这些n元语法翻译对，我们提出了一种新的预训练模型，称为跨语言掩蔽语言模型（CMLM），它在输入文本流中随机选择源n元语法，并在每个时间步预测其翻译候选。实验表明，我们的方法可以将有益的跨语言信息纳入预训练模型。采用预先训练好的CMLM模型作为编码器和解码器，显著提高了无监督机器翻译的性能。
2019-08-31 cs.CL
Unsupervised Statistical Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
虽然现代机器翻译依赖于大型并行语料库，但最近的工作已经设法仅从单语语料库训练训练神经机器翻译（NMT）系统（Artetxe等人，2018 c; Lample等人，2018年）。尽管这种方法在低资源环境中具有潜力，但现有系统远远落后于其监督的同行，限制了其实际利益。在本文中，我们提出了一种基于短语的统计机器翻译（SMT）的替代方法，该方法显着缩小了与监督系统的差距。我们的方法得益于SMT的模块化架构：我们首先通过跨语言嵌入映射从单语语料库中导出短语表，将其与n-gram语言模型相结合，并通过无监督MERT变体微调超参数。此外，迭代反向翻译进一步改善了结果，例如，在WMT 2014英语-德语和英语-法语中分别产生14.08和26.22 BLEU点，比以前的无监督系统提高了7-10多个BLEU点，并将监督SMT（Moses在Europarl上训练）的差距缩小到2-5 BLEU点。我们的实现可以在https://github.com/artetxem/monoses上获得
2018-09-04 cs.AI cs.CL cs.LG
Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation
Nanjing University（南京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Peng Cheng Laboratory（鹏城实验室）
最近，$k$ NN-MT已经显示出直接将预训练的神经机器翻译（NMT）模型与特定于域的令牌级$k$ -最近邻（$k$ NN）检索相结合以实现领域自适应而无需再训练的有前途的能力。尽管在概念上很有吸引力，但它严重依赖于高质量的域内平行语料库，限制了其在无监督领域自适应方面的能力，其中域内平行语料库很少或不存在。在本文中，我们提出了一个新的框架，直接使用领域内的单语句子在目标语言中构建一个有效的$k$最近邻检索的搜索引擎。为此，我们首先引入一个基于目标语言的自动编码任务，然后在原NMT模型中插入轻量级适配器，将该任务的标记级表示映射为翻译任务的理想表示。多域数据集上的实验表明，我们提出的方法显着提高了目标端单语数据的翻译精度，同时实现了与反向翻译相当的性能。
2022-05-25 cs.AI cs.CL cs.LG
Unsupervised Neural Dialect Translation with Commonality and Diversity Modeling
University of Macau（澳门大学）
方言翻译作为一种特殊的机器翻译任务，具有两个主要特点：1）缺乏平行的训练语料; 2）翻译双方具有相似的语法。在本文中，我们研究如何利用方言之间的共性和差异，从而建立无监督的翻译模型，只访问单语数据。具体来说，我们利用私有嵌入，层协调，以及参数共享充分建模的共性和多样性之间的源和目标，从词汇，通过句法，语义水平。为了检验所提出的模型的有效性，我们收集了2000万单语语料库的普通话和粤语，这是官方语言和最广泛使用的方言在中国。实验结果表明，我们的方法优于基于规则的简体中文和繁体中文转换和传统的无监督翻译模型超过12 BLEU分数。
2019-12-11 cs.CL
Revisiting Simple Domain Adaptation Methods in Unsupervised Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology（信息通信研究机构）；Osaka University（大阪大学）
领域自适应在监督神经机器翻译（SNMT）中得到了充分研究。然而，对于无监督神经机器翻译（UNMT），它还没有得到很好的研究，尽管UNMT最近在几个特定领域的语言对中取得了显着的成果。除了SNMT的训练数据和测试数据之间的不一致域之外，UNMT的两个单语训练数据之间有时也存在不一致域。在这项工作中，我们经验性地展示了无监督神经机器翻译的不同场景。基于这些场景，我们重新审视现有的领域自适应方法，包括批量加权和微调方法在UNMT的效果。最后，我们提出了改进的方法，以提高特定领域的UNMT系统的性能。
2020-05-05 cs.CL
Flow-Adapter Architecture for Unsupervised Machine Translation
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）
在这项工作中，我们提出了一个流适配器架构的无监督NMT。它利用规范化流来显式地对翻译级潜在表示的分布进行建模，随后将其与用于翻译任务的注意力机制结合使用。我们的模型的主要创新之处是：（a）使用规范化流分别为每种语言捕获特定于语言的句子表示，以及（b）使用这些潜在表示的简单转换从一种语言翻译到另一种语言。这种架构允许独立地对每种语言进行无监督训练。虽然有监督MT的潜变量的工作，据我们所知，这是第一个工作，使用潜变量和规范化流程的无监督MT。我们在几个无监督的MT基准测试中获得了有竞争力的结果。
2022-04-26 cs.CL
Unsupervised Neural Machine Translation with SMT as Posterior Regularization
Beihang University（北京航空航天大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Beijing Advanced Innovation Center for Big Data and Brain Computing（大数据与脑计算北京高等创新中心）
无监督神经机器翻译（NMT）在没有真实双语语料的情况下，通常需要使用反向翻译方法生成的伪并行数据进行模型训练。然而，由于监管不力，伪数据不可避免地包含噪声和错误，这些噪声和错误会在后续的训练过程中积累和强化，导致翻译性能不佳。为了解决这个问题，我们引入了基于短语的统计机器翻译（SMT）模型，这些模型对噪声数据具有鲁棒性，作为后验正则化来指导迭代回译过程中无监督NMT模型的训练。我们的方法从SMT模型开始，SMT模型是用预训练的语言模型和从跨语言嵌入推断的单词级翻译表构建的。然后，SMT和NMT模型联合优化，并在统一的EM框架中相互增强。这样一来，（1）SMT可以及时滤除短语表中的噪声，从而减轻迭代回译过程中的错误所带来的负面影响;（2）NMT可以弥补SMT在流畅性方面的不足。在英-法-译和英-德翻译任务上进行的实验表明，我们的方法优于强基线，并实现了新的最先进的无监督机器翻译性能。
2019-01-14 cs.CL
Multilingual Unsupervised Neural Machine Translation with Denoising Adapters
University of Groningen（格罗宁根大学）；NAVER LABS Europe（NAVER LABS 欧洲）
我们考虑的问题，多语言无监督机器翻译，翻译和语言，只有单语数据使用辅助并行语言对。对于这个问题，到目前为止，利用单语数据的标准过程是反向翻译，这是计算成本高，难以调整。在本文中，我们建议在预训练的mBART-50之上使用去噪适配器，具有去噪目标的适配器层。除了这种方法的模块化和灵活性之外，我们还证明了所产生的翻译与BLEU测量的反向翻译相当，而且它允许增量地添加看不见的语言。
2021-10-20 cs.CL
Unsupervised Neural Machine Translation with Weight Sharing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
无监督神经机器翻译（NMT）是最近提出的一种机器翻译方法，其目的是在不使用任何标记数据的情况下训练模型。针对无监督NMT提出的模型通常只使用一个共享编码器将来自不同语言的句子对映射到共享潜在空间，这在保持每种语言的独特性和内部特征方面很弱，例如风格，术语和句子结构。为了解决这个问题，我们引入了一个扩展，利用两个独立的编码器，但共享一些部分权重，负责提取高层次的表示输入句子。此外，提出了两种不同的生成对抗网络（GANs），即局部GAN和全局GAN，以增强跨语言翻译。通过这种新方法，我们在英德、英法和中英翻译任务上取得了显著的改进。
2018-04-24 cs.CL
SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task
Shanghai Jiao Tong University (SJTU)（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构(NICT)）；Department of Computer Science and Engineering, Shanghai Jiao Tong University (SJTU)（上海交通大学计算机科学与工程系）
在本文中，我们介绍了我们的联合团队SJTU-NICT参与WMT 2020机器翻译共享任务。在这个共享任务中，我们参与了三种语言对的四个翻译方向：英语-汉语，英语-波兰语的有监督机器翻译轨道，德语-上索布语的低资源和无监督机器翻译轨道。基于不同的语言对条件，我们实验了不同的神经机器翻译（NMT）技术：文档增强的NMT，XLM预训练的语言模型增强的NMT，双向翻译作为预训练，基于参考语言的UNMT，数据依赖的高斯先验目标，和BT-BLEU协同过滤自训练。我们还使用TF-IDF算法对训练集进行过滤，以获得与测试集更相似的领域集进行微调。在我们提交的文件中，主要系统在英语到中文，波兰语到英语和德语到上索布语翻译方向上获得了第一名。
2020-10-11 cs.CL
CUNI Systems for the Unsupervised News Translation Task in WMT 2019
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
在本文中，我们描述了用于ACL 2019第四届机器翻译会议（WMT 19）的无监督新闻共享任务的CUNI翻译系统。我们遵循Artexte et al.（2018 b）的策略，创建了一个基于种子短语的系统，其中短语表是从单语数据训练的跨语言嵌入映射初始化的，然后是在合成并行数据上训练的神经机器翻译系统。合成语料库是由一个单语语料库的调整PBMT模型，通过迭代回译细化。我们进一步关注命名实体的处理，即词汇表的一部分，其中跨语言嵌入映射受到最大的影响。我们的系统在德国-捷克WMT 19共享任务上的BLEU得分为15.3。
2019-07-29 cs.CL
Unsupervised Mandarin-Cantonese Machine Translation
Saarland University（萨尔大学）
无监督机器翻译的进步已经使得能够开发能够在没有大量并行数据可用的语言之间进行翻译的机器翻译系统。我们探讨了普通话和粤语之间的无监督机器翻译。尽管以粤语为母语的人数众多，但由于粤语主要用于口语交流，因此仍然没有大规模的粤语语料库。我们项目的主要贡献包括：1。建立一个包含约100万个粤语句子的新语料库，以及2.不同模型架构、标记化方案和嵌入结构的大规模比较。我们使用基于字符的标记化和Transformer架构训练的最佳模型在从普通话翻译到粤语时实现了25.1的字符级BLEU，在从粤语翻译到普通话时实现了24.4。在本文中，我们讨论了我们的研究过程，实验和结果。
2023-01-10 cs.CL
Bilingual Lexicon Induction through Unsupervised Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近的一项研究在双语词典归纳方面取得了很好的成果，即通过对齐两种语言中独立训练的词嵌入，并使用所得到的跨语言嵌入通过最近邻或相关检索方法来归纳词翻译对。在本文中，我们提出了一种替代方法，这个问题的基础上，最近的工作无监督机器翻译。这种方式，而不是直接从跨语言嵌入中诱导双语词典，我们使用它们来构建短语表，将其与语言模型相结合，并使用由此产生的机器翻译系统来生成一个合成的平行语料库，从其中我们使用统计词对齐技术提取双语词典。因此，我们的方法可以与任何词嵌入和跨语言映射技术，它不需要任何额外的资源，除了用于训练嵌入的单语语料库。当在完全相同的跨语言嵌入上进行评估时，我们提出的方法比最近邻平均提高了6个精度点，比CSLS检索平均提高了4个精度点，在标准MUSE数据集中建立了一个新的最先进的技术。
2019-07-24 cs.AI cs.CL cs.LG
The LMU Munich System for the WMT 2020 Unsupervised Machine Translation Shared Task
LMU Munich（慕尼黑大学）
本文介绍了提交LMU慕尼黑WMT 2020无监督的共享任务，在两个语言方向，德语<->上索布语。我们的核心无监督神经机器翻译（UNMT）系统遵循Chronopoulou等人（2020）的策略，使用单语预训练的语言生成模型（德语）并在德语和上索布语上对其进行微调，然后初始化UNMT模型，该模型通过在线反向翻译进行训练。从无监督统计机器翻译（USMT）系统获得的伪并行数据用于微调UNMT模型。我们还应用BPE辍学的低资源（上索布族）的数据，以获得一个更强大的系统。我们还用残余适配器进行了实验，发现它们在上索布语->德语方向上很有用。我们探讨了在回译和课程学习中的抽样，以更有原则的方式使用SMT翻译。最后，我们集成了我们表现最好的系统，并在德语->上索布语和上索布语->德语上达到32.4和35.2的BLEU分数。
2020-10-25 cs.CL
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo（东京大学）
无监督跨语言词嵌入（CLWE）方法学习线性变换矩阵，该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设，这通常不一定成立。在本文中，我们认为，使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性，提高质量的CLWEs在无监督映射方法。我们表明，在相同的数据量下，我们的方法优于其他替代方法，并且，通过详细的分析，我们表明，使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效，因为（1）伪数据使源语料库和目标语料库（部分）并行;（2）伪数据包含关于原始语言的信息，其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
Unsupervised Neural Machine Translation
IXA NLP Group（IXA自然语言处理组）；University of the Basque Country (UPV/EHU)（巴斯克地区大学（UPV/EHU））；New York University（纽约大学）
尽管神经机器翻译（NMT）最近在标准基准测试中取得了成功，但缺乏大型并行语料库对许多语言对构成了一个主要的实际问题。已经有几个建议来缓解这个问题，例如，三角测量和半监督学习技术，但它们仍然需要一个强大的跨语言信号。在这项工作中，我们完全消除了并行数据的需要，并提出了一种新的方法，训练NMT系统在一个完全无监督的方式，只依赖于单语语料库。我们的模型建立在最近关于无监督嵌入映射的工作基础上，由一个稍微修改的注意编码器-解码器模型组成，该模型可以单独使用去噪和反向翻译的组合在单语语料库上进行训练。尽管方法简单，但我们的系统在WMT 2014法语到英语和德语到英语翻译中获得了15.56和10.21 BLEU点。该模型也可以从小型平行语料库中获益，当结合10万个平行句子时，分别获得21.81和15.24分。我们的实现作为一个开源项目发布。
2018-02-26 cs.AI cs.CL cs.LG
Unsupervised Identification of Translationese
University of Haifa（海法大学）
翻译文本与原始文本有着明显的不同，以至于监督文本分类方法可以高精度地区分它们。这些差异被证明是有用的统计机器翻译。然而，有人建议，翻译检测的准确性恶化时，分类器进行评估的领域之外，它是训练。我们表明，这确实是这样的，在各种评估方案。然后，我们表明，无监督分类是高度准确的这项任务。我们提出了一种方法来确定聚类结果的正确标签，然后使用标签进行投票，进一步提高准确性。此外，我们提出了一个简单的方法，在具有挑战性的情况下，混合域数据集的聚类，尽管领域相关的功能的优势，在相关的。其结果是一种有效的，完全无监督的方法，用于区分原始文本和翻译文本，可以以合理的准确度应用于新的领域。
2016-09-11 cs.CL
Chinese-Japanese Unsupervised Neural Machine Translation Using Sub-character Level Information
Tokyo Metropolitan University（东京都立大学）
无监督神经机器翻译（UNMT）在训练期间仅需要相似语言对的单语数据，并且可以产生在字母语言上具有相对良好性能的双向翻译模型（Lample等人，2018年）。然而，没有研究已经做了语标语言对。本研究的重点是中日UNMT训练的数据包含子字符（表意或笔画）的水平信息，从字符水平的数据分解。比较了字符和子字符水平系统的BLEU得分，结果表明，尽管UNMT对字符水平数据有效，但子字符水平数据可以进一步提高性能，其中笔画水平系统优于表意水平系统。
2019-03-01 cs.CL
Unsupervised Word-level Quality Estimation for Machine Translation Through the Lens of Annotators (Dis)agreement
CLCG, University of Groningen（格罗宁根大学认知语言学与认知科学研究中心）；ETH Zurich（苏黎世联邦理工学院）
针对机器翻译词级质量估计（WQE）现有技术成本高的问题，本研究提出利用语言模型可解释性与不确定性量化的无监督替代方案，经多标签评估发现其未开发潜力，同时揭示了监督方法在标签不确定性下的不足及单一标注者评估的脆弱性。
2025-05-29 cs.AI cs.CL cs.HC
CUNI Systems for the Unsupervised and Very Low Resource Translation Task in WMT20
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文介绍了一种描述CUNI系统提交给WMT 20任务的无监督和非常低的资源监督机器翻译之间的德语和上索布语。我们尝试了在合成数据上进行训练，并在相关语言对上进行预训练。在完全无监督的情况下，我们分别实现了25.5和23.7 BLEU从上索布语翻译和翻译为上索布语。我们的低资源系统依赖于来自德国-捷克并行数据的迁移学习，并实现了57.4 BLEU和56.1 BLEU，这比仅在可用的小型德国-上索布语并行语料库上训练的基线提高了10个BLEU点。
2020-10-22 cs.CL
Incorporating Word and Subword Units in Unsupervised Machine Translation Using Language Model Rescoring
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
本文介绍了CAiRE提交的无监督机器翻译轨道的WMT'19新闻共享任务，从德国到捷克。我们利用基于短语的统计机器翻译（PBSMT）模型和预训练的语言模型来组合词级神经机器翻译（NMT）和子词级NMT模型，而不使用任何并行数据。我们提出通过分别针对德语和捷克语训练字节对编码（BPE）嵌入来解决语言的形态丰富性问题，并且使用MUSE（Conneau et al.，2018年）。为了保证译文的流畅性和一致性，提出了一种重评分机制，该机制重用预先训练好的语言模型来选择通过束搜索生成的候选译文。此外，一系列的前处理和后处理方法，以提高最终的翻译质量。
2019-11-18 cs.CL
Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages
Google Research（谷歌研究院）
无监督翻译在资源丰富的语言对（如英语-法语和英语-德语）上达到了令人印象深刻的性能。然而，早期的研究表明，在涉及低资源，稀有语言的更现实的环境中，无监督翻译表现不佳，达到不到3.0 BLEU。在这项工作中，我们证明了多语言对于使无监督系统在低资源环境中实用至关重要。特别是，我们为5种低资源语言（古吉拉特语，哈萨克语，尼泊尔语，僧伽罗语和土耳其语）和英语方向提供了一个单一的模型，该模型通过三阶段训练计划利用来自其他高资源语言对的单语和辅助并行数据。我们超越了这些语言的所有当前最先进的无监督基线，实现了高达14.4 BLEU的增益。此外，我们的表现优于各种语言对的大量监督WMT提交，并与尼泊尔语-英语的当前最先进的监督模型的表现相匹配。我们进行了一系列的消融研究，以建立我们的模型在不同程度的数据质量的鲁棒性，以及分析的因素，导致所提出的方法优于传统的无监督模型的性能。
2021-03-12 cs.CL
Unsupervised Sign Language Translation and Generation
Shanghai Jiao Tong University（上海交通大学）
提出无监督手语翻译与生成网络USLNet，利用单模态重建和跨模态反向翻译从无平行数据中学习，通过滑动窗口解决跨模态对齐问题，实现统一生成文本与手语视频。
2024-02-12 cs.CL
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
USCORE: An Effective Approach to Fully Unsupervised Evaluation Metrics for Machine Translation
Bielefeld University（比勒费尔德大学）
本文提出 USCORE，通过协同无监督指标归纳、伪平行语料挖掘、向量空间迭代重映射、无监督 MT 伪参考及多语言句子嵌入，构建完全无监督的机译评估指标，并在 5 个数据集中的 4 个上超越有监督方法。
2023-02-11 cs.CL
Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin
InstaDeep
尼日利亚皮钦语可以说是尼日利亚使用最广泛的语言。这种语言的变体也在西非和中非使用，使其成为非常重要的语言。这项工作的目的是建立监督和无监督的神经机器翻译（NMT）之间的基线英语和尼日利亚洋泾浜。我们实现并比较了不同标记化方法的NMT模型，为未来的工作奠定了坚实的基础。
2020-03-27 cs.CL cs.LG
Self-Training for Unsupervised Neural Machine Translation in Unbalanced Training Data Scenarios
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（信息通信技术研究所）
无监督神经机器翻译（UNMT）仅依赖于大量的单语语料库，在一些翻译任务中取得了显着的效果。然而，在现实世界的情况下，大量的单语语料库并不存在一些资源非常低的语言，如爱沙尼亚语，和UNMT系统通常表现不佳时，没有足够的训练语料库的一种语言。在本文中，我们首先定义和分析了不平衡的训练数据的情况下，为联合国地雷行动。基于这种情况下，我们提出了UNMT自我训练机制，训练一个强大的UNMT系统，并提高其性能在这种情况下。在多个语言对上的实验结果表明，所提出的方法大大优于传统的UNMT系统。
2021-05-24 cs.CL
From Unsupervised Machine Translation To Adversarial Text Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了一个基于自注意力的双语对抗文本生成器（B-GAN），它可以学习从无监督神经机器翻译系统的编码器表示生成文本。B-GAN能够生成分布式潜在空间表示，该表示可以与基于注意力的解码器配对以生成流畅的句子。当在两种语言之间共享的编码器上训练并与适当的解码器配对时，它可以生成任何一种语言的句子。B-GAN使用用于自动编码器的重建损失、用于翻译的跨域损失和用于文本生成的基于GAN的对抗性损失的组合来训练。我们证明，仅使用多个损失在单语语料库上训练的B-GAN，与单语基线相比，可以生成更流畅的句子，同时有效地使用一半的参数。
2020-11-10 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；University of Washington（华盛顿大学）
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因，发现词汇、句法相似性不足以解释其成功，而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时，需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而，这些方法使用文本的通用表示，而不管域转移，这使得翻译模型无法控制特定域的输出条件。在这项工作中，我们提出了一种方法，通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性，在多个实验环境中实现了一致的改善。此外，我们表明，将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
IIITT@Dravidian-CodeMix-FIRE2021: Transliterate or translate? Sentiment analysis of code-mixed text in Dravidian languages
Indian Institute of Information Technology Tiruchirappalli（蒂鲁吉拉帕利信息技术学院）；SSN College of Engineering（SSN工程学院）
出于各种营销和情感目的对社交媒体帖子和评论进行情感分析的做法正在得到认可。随着各种本机语言中代码混合内容的日益增多，需要进行热情的研究以产生有希望的结果。本研究论文对这项研究做出了微小的贡献，对流行的德拉威语卡纳达语、泰米尔语和马拉雅拉姆语中的代码混合社交媒体评论进行了情感分析。它描述了Dravidian-CodeMix在FIRE 2021上进行的共享任务的工作，通过采用预训练的模型，如ULMFiT和多语言BERT，在代码混合数据集上进行微调，相同的音译（TRAI），TRAI数据的英语翻译（TRAA）以及所有三者的组合。结果记录在本研究论文中，最好的模型分别在泰米尔语，卡纳达语和马拉雅拉姆语任务中排名第4，第5和第10。
2021-11-15 cs.CL
Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
反向翻译是无监督神经机器翻译（UNMT）的一个关键组成部分，它从目标单语数据生成伪并行数据。UNMT模型在具有翻译源的伪并行数据上训练，并在推理中翻译自然源语句。训练和推理之间的源差异阻碍了UNMT模型的翻译性能。通过精心设计的实验，我们确定了源数据缺口的两个代表性特征：（1）风格缺口（即，翻译文本风格与自然文本风格），这导致泛化能力差;（2）内容差距，这导致模型产生偏向于目标语言的幻觉内容。为了缩小数据差距，我们提出了一种在线自训练方法，该方法同时使用伪并行数据{自然源，翻译目标}来模拟推理场景。几个广泛使用的语言对的实验结果表明，我们的方法优于两个强基线（XLM和MASS）通过弥补风格和内容的差距。
2022-03-23 cs.CL
Boosting Unsupervised Machine Translation with Pseudo-Parallel Data
Charles University（查理大学）
针对低资源语言无监督机器翻译质量落后的问题，提出结合单语语料库挖掘的伪平行句对与反向翻译合成句对的训练策略，在英译乌任务上取得高达14.5 BLEU分的提升。
2023-10-22 cs.CL
