Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables
Rutgers University（罗格斯大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；University of Science and Technology of China（中国科学技术大学）
Zero-shot翻译，直接在训练中看不到的语言对之间进行翻译，是多语言神经机器翻译（NMT）的一种有前途的能力。然而，由于最大似然训练目标，它通常会捕获输出语言和语言不变语义之间的虚假相关性，从而导致zero-shot翻译的传输性能较差。本文在传统的训练目标中引入了一种基于主元语言的去噪自编码目标，以提高zero-shot方向上的翻译精度。从隐变量的角度进行的理论分析表明，我们的方法实际上隐式地最大化了zero-shot方向的概率分布。在两个基准机器翻译数据集上，我们证明了该方法能够有效地消除虚假相关性，并显著优于最先进的方法，具有显着的性能。我们的代码可在https://github.com/Victorwz/zs-nmt-dae上获得。
2021-09-10 cs.CL
Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
Zero-shot神经机器翻译是一个有吸引力的目标，因为获取数据和为新的翻译方向构建翻译系统的成本很高。然而，以前的论文报道了混合成功的zero-shot翻译。与完全监督的系统相比，很难预测它在哪些设置中有效，以及什么限制了性能。在本文中，我们研究了zero-shot性能的多语种EN $\leftrightarrow$ {FR，CS，DE，FI}系统上训练的WMT数据。我们发现，zero-shot性能是非常不稳定的，可以通过超过6 BLEU的训练运行之间的变化，使其难以可靠地跟踪改进。我们观察到一个偏向复制源在zero-shot翻译，并探讨如何选择子词切分影响这种偏见。我们发现，特定于语言的子词切分的结果在训练时的子词复制较少，并导致更好的zero-shot性能相比，联合训练的分割。多语言模型中的最近趋势是不在所有语言对之间的并行数据上进行训练，而是具有单个桥接语言，例如英语。我们发现，这会对zero-shot翻译产生负面影响，并导致失败模式，即模型忽略语言标签，而是在zero-shot方向上产生英语输出。我们表明，这种偏向英语可以有效地减少，即使是少量的平行数据，在一些非英语对。
2020-11-03 cs.CL
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即zero-shot翻译。然而，zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言（例如英语）的统治，但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中，我们提出了一个简单的，轻量级的，但有效的语言特定的建模方法，通过适应非中心的语言，并结合共享信息和语言特定的信息，以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明，该方法不仅在中心数据条件下表现得比强基线更好，而且可以很容易地适应非中心数据条件。通过进一步研究层属性，我们表明，我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
The unreasonable effectiveness of few-shot learning for machine translation
Google Research（谷歌研究院）；Google Translate（谷歌翻译）
我们展示了Few-Shot翻译系统的潜力，该系统使用未配对的语言数据进行训练，用于高资源和低资源语言对。我们表明，只有5个高质量的翻译数据的例子显示在推理，一个Transformer解码器的模型训练完全与自监督学习，能够匹配专业的监督国家的最先进的模型，以及更一般的商业翻译系统。特别是，在WMT'21英汉新闻翻译任务中，我们仅使用五个英汉平行数据进行推理，就超过了表现最好的系统。此外，我们建立这些模型的方法不需要联合多语言训练或回译，概念上很简单，并显示出扩展到多语言环境的潜力。此外，所得到的模型比最新的语言模型小两个数量级。然后，我们分析了影响Few-Shot翻译系统性能的因素，并强调了Few-Shot演示的质量在很大程度上决定了我们的模型生成的翻译质量。最后，我们表明，Few-Shot范式也提供了一种方法来控制某些属性的翻译-我们表明，我们能够控制区域品种和正式使用只有五个例子在推理，铺平了道路，走向可控的机器翻译系统。
2023-02-02 cs.CL
Improving Zero-Shot Translation by Disentangling Positional Information
Maastricht University（马斯特里赫特大学）；Facebook AI（脸书人工智能研究院）
多语言神经机器翻译已经显示出在训练中看不到的语言对之间直接翻译的能力，即zero-shot翻译。尽管在概念上很有吸引力，但它往往受到低输出质量的影响。推广到新的翻译方向的困难表明，模型表示对于训练中看到的语言对是高度特定的。我们证明了一个主要因素，导致特定语言的表示是位置对应的输入令牌。我们表明，这可以很容易地减轻通过删除编码器层中的残留连接。通过这种修改，我们在zero-shot翻译上获得了高达18.5个BLEU点，同时保持了监督方向的质量。这些改进在相关语言之间尤为突出，我们提出的模型优于基于XML的翻译。此外，我们的方法允许轻松集成新语言，这大大扩展了翻译范围。通过对隐藏层输出的彻底检查，我们表明我们的方法确实导致了更多的语言独立的表示。
2021-06-30 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations
Facebook AI Research（脸书人工智能研究院）；The University of Hong Kong（香港大学）；New York University（纽约大学）
在神经机器翻译（NMT）系统从未训练过的语言对之间进行Zero-shot翻译，是在多语言环境中训练系统时出现的一种特性。然而，zero-shot NMT的朴素训练容易失败，并且对超参数设置敏感。性能通常远远落后于更传统的基于XML的方法，该方法使用第三种语言作为枢轴翻译两次。在这项工作中，我们解决退化问题，由于捕获虚假的相关性，通过定量分析源和解码句子的语言ID之间的互信息。受此分析的启发，我们建议使用两种简单但有效的方法：（1）解码器预训练;（2）反向翻译。这些方法在三个具有挑战性的多语言数据集上显示出比vanilla zero-shot翻译显著的改进（4~22个BLEU点），并且实现了与基于BLEU的方法相似或更好的结果。
2019-06-04 cs.CL
Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出将词汇与句法学习解耦、冻结跨语言词嵌入的多语言NMT方法，实现完全未见语言零样本翻译，并在无监督翻译中接近监督性能。
2024-08-05 cs.CL
Machine Translation Models are Zero-Shot Detectors of Translation Direction
Department of Computational Linguistics, University of Zurich（计算语言学系，苏黎世大学）
本研究提出一种基于翻译简化效应的无监督翻译方向检测方法，利用多语言机器翻译模型验证了其在高资源语言对上的有效性，对机器翻译和人工翻译均取得较高准确率。
2025-05-28 cs.CL
Variable-length Neural Interlingua Representations for Zero-shot Neural Machine Translation
Kyoto University（京都大学）；NICT（日本信息通信研究机构）；NII（日本国立信息学研究所）
针对零样本翻译，提出变长神经中间语言表示方法以克服固定长度表示的灵活性限制，在多个数据集上取得更优结果，并定位了特定源语言翻译效能欠佳的缺陷组件。
2023-05-17 cs.CL
TPDM: Selectively Removing Positional Information for Zero-shot Translation via Token-Level Position Disentangle Module
University of Michigan（密歇根大学）；University of Waterloo（滑铁卢大学）；BAAI（北京智源人工智能研究院）
本文提出词元级位置解耦模块TPDM，从语言学角度选择性保留有用位置信息，在提升零样本翻译的同时减少有监督方向性能损失。
2023-05-31 cs.CL
Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多对多多语言神经机器翻译可以在训练期间看不到的语言对之间进行翻译，即，zero-shot翻译改进zero-shot翻译需要模型学习通用表示和交叉映射关系，以将在监督方向上学习的知识转移到zero-shot方向。在这项工作中，我们提出了基于最优理论的状态移动器距离来对编码器输出的表示的差异进行建模。然后，我们通过最小化建议的距离来学习通用表示，从而在令牌级别上弥合不同语言的语义等价表示之间的差距。此外，我们提出了一个基于协议的训练方案，它可以帮助模型做出一致的预测的基础上语义等价的句子学习通用的交叉映射关系的所有翻译方向。在多种多语言数据集上的实验结果表明，与基线系统和其他对比方法相比，该方法可以提高一致性。分析表明，该方法能更好地对齐语义空间，提高预测一致性。
2022-10-28 cs.CL
Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）
领域自适应是神经机器翻译面临的一个重要挑战。然而，传统的微调解决方案需要多次额外的训练，并产生高成本。在本文中，我们提出了一个非调优的范例，解决领域自适应与基于调优的方法。具体来说，我们构建了一个双语短语级数据库，并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库（RePP），我们有效地提高了翻译质量。实验表明，我们的方法提高了特定领域的机器翻译为6.2 BLEU分数，并提高了11.5%的准确率，而无需额外的训练翻译约束。
2022-09-23 cs.CL
Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
不同语言对之间的迁移学习在低资源环境下的神经机器翻译（NMT）中显示出了其有效性。然而，现有的涉及共同目标语言的转换方法在zero-shot翻译的极端场景下远未成功，这是由于源侧的转换者（父模型）和转换者（子模型）之间的语言空间失配问题。为了应对这一挑战，我们提出了一种有效的基于跨语言预训练的迁移学习方法。我们的核心思想是使所有源语言共享相同的特征空间，从而实现zero-shot翻译的平滑过渡。为此，我们引入了一种单语预训练方法和两种双语预训练方法，以获得适用于不同语言的通用编码器。一旦构建了通用编码器，在这种编码器上构建的父模型用大规模注释数据训练，然后直接应用于zero-shot翻译场景。在两个公共数据集上的实验表明，我们的方法显着优于强基于NMT的基线和各种多语言NMT方法。
2019-12-03 cs.CL
Towards one-shot learning for rare-word translation with external experts
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
神经机器翻译（NMT）显著提高了自动翻译模型的质量。当前系统中的主要挑战之一是稀有词的翻译。我们提出了一种通用的方法来解决这个弱点，通过外部模型将训练数据注释为专家，并使用指针网络和强化学习控制模型与专家的交互。我们使用基于短语的模型来模拟专家以补充神经机器翻译模型的实验表明，该模型可以被训练成一致地将注释复制到输出中。我们证明了我们提出的框架在只有词汇资源的域外翻译场景中的好处，在英语到西班牙语和德语到英语的两个翻译方向上提高了1.0 BLEU点以上
2018-09-10 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
最近，通用神经机器翻译（NMT）与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同，联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示，每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点，特别是当共享词汇表和模型参数的大小受到限制时。然而，在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中，我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意，我们探索最大限度地提高表示的普遍性，实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码（DAE）目标，以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明，我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外，我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力，这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Benchmarking Arabic--Russian Machine Translation: A Comparison of Fine-tuned NMT and Few-shot LLMs under Rich Morphology and Low Lexical Overlap
Kazan Federal University（喀山联邦大学）
本研究针对阿拉伯语-俄语低资源翻译，对比微调NMT与少样本LLM，发现微调NLLB-1.3B以BLEU 16.3领先，显著优于LLM，低词汇重叠为主要挑战。
2026-09-25 cs.CL
Improving Zero-shot Translation with Language-Independent Constraints
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
训练多语言神经机器翻译（NMT）的一个重要问题是在训练过程中看不到的语言对之间进行翻译，即zero-shot翻译。通过提供一种替代枢轴翻译的方法来提高这种能力，这也使我们能够更好地理解模型如何捕获语言之间的信息，从而实现一石二鸟的效果。在这项工作中，我们进行了调查的多语言NMT模型的这种能力。首先，我们有意创建一个编码器架构，这是独立于源语言。总体而言，此类实验揭示了NMT编码器学习多语言表示的能力。基于这样的概念证明，我们能够将正则化方法设计到标准Transformer模型中，从而使整个架构在zero-shot条件下变得更加健壮。我们研究了这些模型在标准IWIT2017多语言数据集上的行为。与最先进的多语言系统的zero-shot性能相比，我们在12种语言对上实现了平均2.23 BLEU点的改进。此外，我们进行了进一步的实验中，效果得到证实，即使是多个中间枢纽语言对。
2019-06-20 cs.CL
PsFuture: A Pseudo-Future-based Zero-Shot Adaptive Policy for Simultaneous Machine Translation
South China University of Technology（华南理工大学）；Shien-Ming Wu School of Intelligent Engineering（史维智能工程学院）；Hong Kong Polytechnic University（香港理工大学）；Research Centre for Data Science & Artificial Intelligence（数据科学与人工智能研究中心）
该研究提出首个用于同声传译的零样本自适应读/写策略PsFuture，无需额外训练即可让模型自主决策读写动作，还提出适配SiMT的P2F训练策略，在多个基准上实现了翻译质量与延迟的出色权衡。
2024-10-05 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research（谷歌研究院）
本研究提出面向少样本区域感知机器翻译的基准FRMT，含英语转葡语、普通话各地域变体的专业译文，探索验证了自动评估指标与人工评估的相关性，给出基线模型及研究指南，相关资源已公开。
2023-10-03 cs.CL
Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation
Nara Institute of Science and Technology（奈良科学技术研究所）；National Institute of Information and Communications Technology（信息通信研究机构）
本文通过恒等对分析多语言神经机器翻译的表示迁移问题，揭示零样本翻译缺陷源于表示与多语言纠缠，并提出低秩语言特定嵌入和语言特定对比学习两种方法，在多个数据集上显著提升零样本翻译性能。
2025-04-08 cs.CL
Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing
Johns Hopkins University（约翰斯·霍普金斯大学）
我们将机器翻译评估的任务定义为以人类参考为条件，用序列到序列释义器对机器翻译输出进行评分。我们建议将释义器训练为多语言NMT系统，将释义视为zero-shot翻译任务（例如，捷克语（Czech）这导致释义器的输出模式以输入序列的副本为中心，这表示MT系统输出与人类参考匹配的最佳情况。我们的方法简单直观，不需要人为判断来训练。我们的单一模型（用39种语言训练）在所有语言（不包括古吉拉特语，因为该模型没有训练数据）的WMT 2019段级共享指标任务中优于或统计上与所有先前指标保持一致。我们还探索了使用我们的模型进行质量估计任务作为度量标准-以源代码而不是参考为条件-并发现它在每个语言对中的质量估计方面明显优于WMT 2019共享任务的每个提交。
2020-10-27 cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Telefónica I+D（西班牙电信研发部）
目前的端到端口语翻译（Spoken Language Translation，缩写为多语）方法依赖于有限的培训资源，尤其是在多语言环境中。另一方面，多语言神经机器翻译（MultiNMT）方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上，特定语言的编码器-解码器的任务，多语种翻译（多语种翻译）。我们的方法完全消除了对MultiNMT数据的依赖性，并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明，将语音编码器耦合到MultiNMT架构，与双语基线（$\pm 0.2$ BLEU）相比，可以产生类似质量的翻译，同时有效地允许zero-shot Multiplexer。此外，我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进，在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
Zero-Shot Translation Quality Estimation with Explicit Cross-Lingual Patterns
The University of Sydney（悉尼大学）；Nagoya University（名古屋大学）
本文介绍了我们提交的WMT 2020句子水平直接评估，质量评估（QE）共享任务。在本研究中，我们经验性地揭示了直接采用BERTScore进行量化评估时的\textit{mismatching issue}。具体而言，在具有标记对相似度的翻译候选句和源句之间存在大量的不匹配错误。针对这一问题，我们提出了明确的跨语言模式，\textit{e.g.}词对齐和生成分数，我们提出的zero-shot模型。实验表明，我们提出的QE模型与明确的跨语言模式可以减轻不匹配的问题，从而提高性能。令人鼓舞的是，我们的zero-shot QE方法可以实现与监督QE方法相当的性能，甚至在6个方向中的2个方向上优于监督QE方法。我们希望我们的工作可以阐明zero-shot QE模型的改进。
2020-10-10 cs.CL
Neural Machine Translation Models Can Learn to be Few-shot Learners
Lilt
本文提出通过专门微调使小规模神经机器翻译模型具备上下文学习能力，在领域适应任务中利用少样本示例实现高效批量推理，并在翻译质量和即时术语适应率上超越现有基线。
2023-09-15 cs.CL
MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation
BITS Pilani（博拉理工学院）
大型预训练语言模型为NLP带来了显著的进步。预训练和微调在文本处理的任务中提供了最先进的性能。数据增强技术也有助于在低资源或零资源任务上构建最先进的模型。过去的许多工作都试图学习一个单一的多语种机器翻译模型的zero-shot翻译。虽然这些翻译模型产生了正确的翻译，但主要的挑战是这些模型产生了错误的语言用于zero-shot翻译。这项工作和它的结果表明，提示条件大模型不遭受小康目标语言的错误，即由于翻译错误的语言所产生的错误。我们实证证明了自监督预训练和数据增强对于zero-shot多语言机器翻译的有效性。
2022-10-01 cs.CL cs.LG
CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation
Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）
命名实体识别（NER）面临着标注训练数据缺乏的问题，特别是对于没有标注数据的低资源语言。跨语言NER已经被提出来通过经由对齐的跨语言表示或机器翻译结果将知识从高资源语言转移到低资源语言来缓解这个问题。然而，跨语言NER方法的性能受到翻译或标签投影质量不理想的严重影响。为了解决这些问题，我们提出了一个跨语言实体投影框架（CROP），使zero-shot跨语言NER的帮助下，多语言标记序列翻译模型。具体地，目标序列首先被翻译成源语言，然后由源NER模型标记。我们进一步采用标记序列翻译模型，将标记序列映射回目标语言，并标记目标原始句子。最终，整个管道通过自我训练的方式集成到端到端模型中。两个基准测试的实验结果表明，我们的方法大大优于以前的强基线+3 7 F1分数的大幅度，并实现了最先进的性能。
2022-10-13 cs.CL
Zero-Shot Dual Machine Translation
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
神经机器翻译（NMT）系统依赖于大量并行数据。这对低资源语言来说是一个巨大的挑战。基于最近的无监督和半监督方法的工作，我们提出了一种结合zero-shot和双重学习的方法。后者依赖于强化学习，以利用机器翻译任务的二元性，并且只需要目标语言对的单语数据。实验表明，在英语-法语和英语-西班牙语上训练的zero-shot双系统在西班牙语-法语（两个方向）上的zero-shot翻译性能上大大优于标准NMT系统。zero-shot dual方法接近可比较的监督设置的性能，在2.2 BLEU点内。我们的方法也可以获得改进的设置，其中少量的并行数据的zero-shot语言对是可用的。添加俄语，将我们的实验扩展到联合建模6个zero-shot翻译方向，所有方向都提高了4到15个BLEU点，再次达到接近监督设置的性能。
2018-05-25 cs.CL cs.NE
Zero-shot Cross-lingual NER via Mitigating Language Difference: An Entity-aligned Translation Perspective
School of Computer Science & Technology, NLP Lab, Soochow University, China（计算机科学与技术学院、自然语言处理实验室、苏州大学）；Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University（中文与双语研究系、香港理工大学）
针对现有零样本跨语言NER方法在非拉丁文字语言上性能下降的问题，提出基于大语言模型的实体对齐翻译方法，通过双重翻译策略及多语言维基百科数据微调增强跨语言实体对齐效果。
2025-09-01 cs.CL
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Zero-Shot Translation using Diffusion Models
Facebook AI Research（Facebook人工智能研究院）；Tel-Aviv University（特拉维夫大学）
在这项工作中，我们展示了一种新的神经机器翻译（NMT）方法，使用去噪扩散概率模型（DDPM），调整文本数据，在该领域的最新进展。我们表明，它是可能的翻译句子的非自回归使用扩散模型的源句子的条件。我们还表明，我们的模型能够在训练过程中看不到的语言对之间进行翻译（零样本学习）。
2021-11-02 cs.CL cs.LG
Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages
PES University（PES大学）
本文利用音译和语言相似性构建单编码器-解码器模型，在达罗毗荼语系多语言翻译中实现零样本翻译，并在50%语言方向上训练时达到与大规模枢轴模型相差3 BLEU以内的性能。
2023-08-10 cs.CL cs.CV
Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization
Baidu Inc.（百度公司）
本文提出跨语言一致性正则化CrossConST，通过弥合语言表示差距提升零样本多语言神经机器翻译性能，并在低资源和高资源基准上验证了其有效性。
2023-05-12 cs.AI cs.CL
Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models
Baidu Inc.（百度公司）
本文提出跨语言一致性正则化XConST，通过改进微调提示策略，提升大型语言模型在多对多多语言翻译中的零样本翻译性能。
2024-02-07 cs.CL
RAMP: Retrieval and Attribute-Marking Enhanced Prompting for Attribute-Controlled Translation
University of Groningen（格罗宁根大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对属性控制翻译受限于数据集可用性的问题，提出RAMP方法，利用大型多语言模型在少样本和零样本设置下，通过语义相似度检索和属性注释标记上下文示例，有效提升了翻译生成准确性。
2023-05-26 cs.CL
Unsupervised Neural Machine Translation with Generative Language Models Only
OpenAI
我们展示了如何从生成的预训练语言模型中获得最先进的无监督神经机器翻译系统。我们的方法包括三个步骤：Few-Shot放大，蒸馏和回译。我们首先使用大型预训练语言模型的zero-shot翻译能力来为一小部分未标记的句子生成翻译。然后，我们放大这些zero-shot的翻译，使用它们作为Few-Shot示范采样一个更大的合成数据集。该数据集通过丢弃Few-Shot演示并进行微调而得到提炼。在回译过程中，我们为一组输入重复生成翻译，然后同时在翻译任务的两个方向上微调单个语言模型，通过在微调时交换黄金单文本和生成的翻译的角色来确保周期一致性。通过使用我们的方法来利用GPT-3的zero-shot翻译功能，我们在WMT 14英法基准测试中实现了最先进的无监督翻译，获得了42.1的BLEU分数。
2021-10-11 cs.AI cs.CL
Automatic Classification of Human Translation and Machine Translation: A Study from the Perspective of Lexical Diversity
University of St Andrews（圣安德鲁斯大学）；School of Computer Science（计算机科学学院）
通过使用三元模型并微调预训练的BERT模型进行序列分类，我们表明可以以高于偶然水平的准确度对机器翻译和人类翻译进行分类，这表明机器翻译和人类翻译是不同的系统方式。机器翻译的分类准确率远高于人工翻译。我们发现，这可能是解释之间的差异词汇多样性机器翻译和人类翻译。如果机器翻译具有独立于人类翻译的模式，则测量机器翻译与人类翻译的偏差的自动度量可能将差异与质量混为一谈。我们用两种不同类型的自动度量进行的实验显示了与分类任务结果的相关性。因此，我们建议在机器翻译评价中，应更多地关注机器翻译和人工翻译在词汇多样性方面的差异。
2021-05-10 cs.CL
Multilingual LLM Prompting Strategies for Medical English-Vietnamese Machine Translation
本研究在MedEV数据集上系统评估了六种多语言大语言模型（0.5B-9B参数）的提示策略，发现模型规模是性能主因，术语感知提示和嵌入检索能提升医学英越翻译质量。
2025-10-23 cs.CL
Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德州农工大学）
本文证明了多语言预训练和多语言微调对于促进zero-shot翻译中的跨语言迁移至关重要，其中神经机器翻译（NMT）模型在监督训练期间看不到的源语言上进行测试。根据这一想法，我们提出了SixT+，这是一个强大的多对英语NMT模型，支持100种源语言，但只使用六种源语言的并行数据集进行训练。SixT+使用XLM-R large初始化解码器嵌入和完整编码器，然后使用简单的两阶段训练策略训练编码器和解码器层。SixT+在多对英翻译方面取得了令人印象深刻的性能。它明显优于CRISS和m2m-100，这两个强大的多语言NMT系统，平均增益分别为7.2和5.0 BLEU。此外，SixT+提供了一组模型参数，可以进一步微调到其他无监督任务。我们证明，添加SixT+初始化的性能优于Si En和Ne En上最先进的显式设计的无监督NMT模型<-><->，平均BLEU超过1.2。当应用于zero-shot跨语言抽象摘要时，它产生比mBART-ft平均12.3 ROUGE-L的性能增益。我们进行了详细的分析，以了解SixT+的关键成分，包括辅助并行数据的多语言性，位置解纠缠编码器及其编码器的跨语言可移植性。
2022-04-13 cs.CL
Can neural machine translation do simultaneous translation?
New York University（纽约大学）
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法，称为同时贪心解码，允许现有的神经机器翻译模型开始翻译之前，收到一个完整的源语句。这种方法是独特的，从以前的作品同步翻译的分割和翻译是共同完成的，以最大限度地提高翻译质量，翻译每一个部分是强烈的条件下，所有以前的部分。本文提出了第一步，建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research（微软研究院）；The University of Hong Kong（香港大学）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德克萨斯A&M大学）
以前的工作主要集中在使用多语言预训练编码器（MPE）改善NLU任务的跨语言迁移，或者使用BERT提高监督机器翻译的性能。然而，MPE是否有助于促进NMT模型的跨语言可移植性，这一点还有待进一步研究。本文重点研究了NMT中的零镜头（zero-shot）跨语言迁移任务。在该任务中，NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练，然后直接在zero-shot语言对上进行测试。我们提出了SixT，这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE，并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法，SixT的性能明显优于mBART，mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型，在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外，与CRISS和m2m-100两个强大的多语言NMT基线相比，我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据，实现了更好的性能。
2021-11-05 cs.CL
Exploring the Impact of Layer Normalization for Zero-shot Neural Machine Translation
Kyoto University（京都大学）；NICT（日本信息通信研究机构）；NII（日本国立信息学研究所）
本文研究了层归一化对零样本翻译的影响，发现残差连接后归一化（PostNorm）在54个翻译方向上显著优于默认的PreNorm，最高提升12.3 BLEU，强调了ZST中需谨慎选择LayerNorm设置。
2023-05-16 cs.CL
Consistency by Agreement in Zero-shot Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google AI Language（谷歌AI语言部门）
多语言翻译的通用性和可靠性通常高度依赖于每个感兴趣的语言对的可用并行数据的数量。在本文中，我们专注于zero-shot泛化--一种具有挑战性的设置，它在训练时尚未优化的平移方向上测试模型。为了解决这个问题，我们（i）将多语言翻译重新定义为概率推理，（ii）定义zero-shot一致性的概念，并说明为什么标准训练通常会导致模型不适合zero-shot任务，以及（iii）引入一种基于一致性协议的训练方法，鼓励模型在辅助语言中产生平行句子的等效翻译。我们在多个公共zero-shot翻译基准测试（IWSLT 17，UN语料库，Europarl）上测试了我们的多语言NMT模型，并表明基于协议的学习通常会在强基线上获得2-3个BLEU zero-shot改进，而不会在监督翻译方向上损失任何性能。
2019-04-10 cs.CL cs.LG cs.NE
Improving Zero-shot Multilingual Neural Machine Translation for Low-Resource Languages
Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）
多语言神经机器翻译（NMT）扩展了Google的多语言NMT，具有zero-shot翻译能力，迭代自学习算法可以提高zero-shot翻译的质量，但它面临两个问题：多语言NMT模型在实现zero-shot翻译时容易产生错误的目标语言;使用束搜索来生成合成并行数据的自学习算法破坏了所生成的源语言的多样性，并且在迭代学习过程期间放大了相同噪声的影响。本文针对这两个问题，提出了标记多语言NMT模型，并改进了自学习算法。首先，我们扩展了Google的多语言NMT模型，为目标语言添加目标标记，将开始标记与目标语言相关联，以确保源语言可以翻译为所需的目标语言。其次，改进了自学习算法，用随机样本代替束搜索，增加了生成数据的多样性，使其能适当覆盖真实数据分布。在IWITOS上的实验结果表明，在2010年和2017年的罗马尼亚-意大利语测试集上，调整后的标记多语言NMT分别获得了9.41和7.85的BLEU分数。同样，它在意大利语-罗马尼亚语zero-shot翻译上获得了9.08和7.99的BLEU分数。此外，改进后的自学习算法在zero-shot翻译方面也显示出其优于传统自学习算法的优势。
2021-10-02 cs.AI cs.CL
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，多语言神经机器翻译（NMT）模型可以用来判断一个句子对同一语言中另一个句子的释义程度（Thompson and Post，2020）;然而，试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法，该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外，输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估，将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较（Hu等人，2019 c），并发现我们的方法产生的释义，更好地保留意义，更符合语法，为同一水平的词汇多样性。其他较小的人类评估表明，我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology（国立信息通信技术研究所）
最近的工作在以完全无监督的方式训练神经机器翻译（NMT）系统方面取得了显着的成果，该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中，我们建议将无监督NMT（UNMT）定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构，通过用合成双语数据代替人工双语数据进行训练，提出了监督NMT。我们建议用无监督统计机器翻译（USMT）生成的合成双语数据初始化UNMT的训练。然后，利用反向翻译，逐步改进联合国地雷行动组系统。我们的初步实验表明，我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务，两个翻译方向。
2018-10-30 cs.CL
Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability
Google（谷歌）
研究以PaLM为例，通过混合方法大规模测量附带双语现象，发现PaLM接触超3000万跨44种语言翻译对，并证实其对零样本翻译能力有重大影响且随模型规模增大而减弱。
2023-05-17 cs.CL
Understanding and Mitigating the Uncertainty in Zero-Shot Translation
本文从不确定性角度分析零样本翻译中的偏离目标问题，识别外在数据不确定性和内在模型不确定性，并提出数据去噪与非似然训练两种互补方法，显著提升零样本翻译性能。
2024-10-19 cs.AI cs.CL cs.LG
New Approach to translation of Isolated Units in English-Korean Machine Translation
Kim Il Sung University（金日成大学）
开发一个实用的机器翻译系统并将其引入翻译实践，是快速翻译大量爆炸式增长的科技信息资料的最有效途径。本文根据在开发和引进英朝机器翻译系统过程中所获得的实际资料和实验，论述了孤立单位翻译中的一些问题。换句话说，本文考虑建立孤立的单位和他们的韩语对等语和词序的信息。
2015-06-23 cs.CL
Keyframe Segmentation and Positional Encoding for Video-guided Machine Translation Challenge 2020
视频引导的机器翻译是多模态神经机器翻译任务之一，其目标是通过有形地结合视频和文本来生成高质量的文本翻译。在这项工作中，我们提出了我们的视频引导机器翻译系统，以接近视频引导机器翻译挑战2020。该系统采用基于关键帧的视频特征提取以及视频特征位置编码。在评估阶段，我们的系统获得了36.60的语料库级别BLEU-4，并在2020年视频引导机器翻译挑战赛中获得第一名。
2020-06-23 cs.CL
Pre-Translation for Neural Machine Translation
Institute for Anthropomatics（拟人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
近年来，神经机器翻译（NMT）的发展显著提高了自动机器翻译的翻译质量。虽然大多数句子比基于统计机器翻译（SMT）的系统翻译的句子更准确和流畅，但在某些情况下，NMT系统产生的翻译具有完全不同的含义。当出现罕见的单词时，情况尤其如此。当使用统计机器翻译时，已经表明可以通过简化预处理步骤中的输入来实现显著的增益。一个常用的例子是预重排序方法。在这项工作中，我们使用基于短语的机器翻译将输入预翻译成目标语言。然后，神经机器翻译系统使用预翻译生成最终假设。因此，我们要么只使用基于短语的机器翻译（PBMT）系统的输出，要么结合PBMT输出和源句子。我们在英语到德语翻译任务上评估该技术。使用这种方法，我们能够超过PBMT系统以及基线神经MT系统多达2个BLEU点。分析了初始系统的质量对最终结果的影响。
2016-10-17 cs.CL
A Survey of Orthographic Information in Machine Translation
Insight Centre for Data Analytics（洞察数据分析中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
机器翻译是自然语言处理的应用之一，它已经在不同的语言中得到了探索。近年来，研究人员开始关注资源贫乏语言和密切相关语言的机器翻译。这些机器翻译系统的一个普遍的和潜在的问题是在正字法惯例的变化，导致许多问题，以传统的方法。用两种不同的正字法书写的两种语言不容易比较，但是正字法信息也可以用来改进机器翻译系统。本文综述了正字法对资源不足语言的机器翻译的影响。它介绍了资源不足的语言方面的机器翻译和如何利用正字法信息，以改善机器翻译。我们描述了以前在这方面的工作，讨论了什么基本的假设，并显示了如何拼写知识提高性能的机器翻译资源不足的语言。我们讨论了不同类型的机器翻译，并展示了最近的趋势，寻求连接正字法信息与完善的机器翻译方法。相当多的注意力给予当前的努力同源信息在不同层次的机器翻译和经验教训，可以从中吸取。此外，密切相关语言的多语言神经机器翻译在本次调查中得到了特别关注。本文最后讨论了在机器翻译的正字法信息的发展方向，重点是多语言设置和双语词典归纳。
2020-08-04 cs.CL
The Improvement of Negative Sentences Translation in English-to-Korean Machine Translation
Kim Il Sung University（金日成综合大学）
描述了在英朝机器翻译（EKMT）中将英语否定句翻译成韩语的算法。该算法是在对比研究英语和韩语否定句的基础上提出的。早期的翻译软件不能将英语否定句翻译成准确的韩语对应句。我们建立了一个新的否定句翻译算法，并对其进行了评价。
2015-12-26 cs.CL
First Result on Arabic Neural Machine Translation
New York University（纽约大学）
神经机器翻译已经成为广泛使用的基于短语的统计机器翻译的主要替代方案。然而，我们注意到，尽管神经机器翻译具有语言不可知论的性质，但大部分研究都集中在欧洲语言上。在本文中，我们将神经机器翻译应用于阿拉伯语翻译（Ar <->En）任务，并将其与标准的基于短语的翻译系统进行比较。我们在预处理阿拉伯语脚本中使用各种配置进行了广泛的比较，并表明基于短语的翻译系统和神经翻译系统相互执行，并且阿拉伯语脚本的适当预处理对这两个系统具有相似的效果。然而，我们观察到神经机器翻译在域外测试集上的表现明显优于基于短语的系统，这使得它对现实世界的部署具有吸引力。
2016-06-08 cs.CL
