Hallucinations in Large Multilingual Translation Models
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；University of Edinburgh（爱丁堡大学）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院）；Unbabel（Unbabel公司）
大规模的多语言机器翻译系统已经展示了在多种语言之间直接翻译的卓越能力，这使得它们对现实世界的应用越来越有吸引力。然而，当部署在野外时，这些模型可能会产生幻觉翻译，这有可能严重破坏用户的信任并引发安全问题。现有的关于幻觉的研究主要集中在高资源语言训练的小型双语模型上，这使得我们在不同翻译场景下对大规模多语言模型中的幻觉的理解存在差距。在这项工作中，我们通过对传统神经机器翻译模型的M2M家族和ChatGPT（一种可以提示翻译的通用大语言模型~（LLM））进行全面分析来填补这一空白。我们的调查涵盖了广泛的条件，跨越了100多个不同资源级别的翻译方向，超越了以英语为中心的语言对。我们提供了关于幻觉的患病率，属性和缓解的关键见解，为更负责任和可靠的机器翻译系统铺平了道路。
2023-03-28 cs.CL
SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models
Bar-Ilan University（巴伊兰大学）；University of Zürich（苏黎世大学）
本文提出清理版多语言手语数据集SignBank+，证明传统文本到文本翻译方法在该数据集上同样有效，模型表现超越原数据集并确立了新基准。
2024-03-21 cs.CL
Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data
本文提出利用双语翻译数据提升大规模多语言大语言模型在500种语言上的适应性能，通过构建MaLA语料库和开发EMMA-500模型，验证了双语数据对语言迁移和低资源语言性能的积极影响。
2025-12-04 cs.CL
A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification
Algoverse AI Research（Algoverse AI研究）
本研究系统评估了15种语言下多语言LLMs在跨语言声明验证中的翻译偏差与准确性，发现低资源语言直接推理准确率较低，而较大模型在自翻译中表现更优且偏差更小。
2024-10-14 cs.CL
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
TAPO通过引入翻译增强策略优化框架，提升多语言数学推理能力，有效结合语言理解和推理能力，优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation
MediaTek Research（联发科研究院）
本研究通过探索提示格式、数据集成、决策标记、思维链推理及翻译流水线等策略，增强LLMs的函数调用能力，发现指令遵循数据可提升准确率与相关性检测，决策标记及翻译流水线也能带来显著改进。
2024-12-04 cs.CL
AILS-NTUA at SemEval-2025 Task 3: Leveraging Large Language Models and Translation Strategies for Multilingual Hallucination Detection
School of Electrical and Computer Engineering（电气与计算机工程学院）；AILS Laboratory（AILS实验室）；National Technical University of Athens（雅典国家技术大学）
针对多语言幻觉检测探索不足的问题，提出无需训练的LLM提示策略，通过将多语言文本译为英文提升检测效果，在多语言上取得竞争力排名，低资源语言获两项第一，验证了该翻译策略的通用性。
2025-03-04 cs.CL
Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation Without Parallel Data
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学）；ByteDance Research（字节跳动研究）
针对多语言机器翻译依赖平行数据、低资源语言数据稀缺及灾难性遗忘问题，提出结合G-MCTS与偏好优化的自博弈框架TRANS-ZERO，仅用单语数据就达到媲美有监督方法的性能，且在非英语翻译方向表现优异。
2025-05-17 cs.CL
Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里达摩院）；Hupan Lab（虎斑实验室）；National University of Singapore（新加坡国立大学）；Shanda AI Research Institute（沙达AI研究院）
本研究探讨翻译对多语言任务的影响，发现翻译成英语虽能提升英语中心LLMs的NLP性能，但对文化相关任务，母语提示更有效，呼吁超越英语中心的多语言评估与开发。
2025-04-21 cs.CL
Scaling Model and Data for Multilingual Machine Translation with Open Large Language Models
School of Informatics, Xiamen University, China（厦门大学信息学院）；MiLM Plus, Xiaomi Inc., Beijing, China（小米公司）
本文提出MiLMMT-46模型，通过模型和数据扩展提升多语言机器翻译性能，超越现有SOTA模型并接近Google Translate等强 proprietary 系统。
2026-07-21 cs.CL
BigTranslate: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Wuhan AI Research（武汉人工智能研究院）
本研究提出BigTranslate，基于LLaMA-13B通过中文单语数据继续训练、102种语言平行数据集训练及多语言翻译指令微调三步优化，增强其100多种语言翻译能力，实验表现与ChatGPT和Google Translate相当，8个语言对上更优。
2023-11-21 cs.CL
Tower: An Open Multilingual Large Language Model for Translation-Related Tasks
Carnegie Mellon University（卡内基梅隆大学）
本文提出Tower开源多语言大语言模型，通过多语言混合数据持续预训练和翻译指令微调，在翻译工作流多任务上超越开源模型并比肩闭源模型，同时发布模型、数据集与评估框架。
2024-02-27 cs.CL
Mufu: Multilingual Fused Learning for Low-Resource Translation with LLM
The University of Melbourne（墨尔本大学）；Google（谷歌）
Mufu通过自动生成多语言候选译文并将翻译任务转化为译后编辑，利用LLM推理能力提升低资源翻译质量，在Flores-200上64%的低资源语言对中超越NLLB 1.3B蒸馏模型，蒸馏后仍平均提升3.1 chrF。
2025-11-10 cs.CL
Is Multilingual LLM Watermarking Truly Multilingual? Scaling Robustness to 100+ Languages via Back-Translation
African Institute for Mathematical Sciences Parameter Lab（非洲数学科学研究所参数实验室）
本文指出现有多语言水印方法在中低资源语言中鲁棒性不足，提出STEAM方法通过回译恢复水印强度，提升跨语言水印鲁棒性。
2026-09-14 cs.AI cs.CL
Breaking the Language Barrier: Can Direct Inference Outperform Pre-Translation in Multilingual LLM Applications?
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
该研究针对大语言模型预翻译的局限，基于PaLM2模型开展跨108种语言、6个基准的研究，证实直接推理在多数语言下优于预翻译，为多语言应用提供更高效方案。
2024-03-04 cs.CL cs.LG
Translation as a Scalable Proxy for Multilingual Evaluation
University of California, Los Angeles（加州大学洛杉矶分校）；African Languages Lab（非洲语言实验室）；Mila - Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本研究通过评估翻译质量与多语言任务表现的关系，提出翻译作为多语言评估的可扩展代理，为模型评估提供低成本的初步筛选方法。
2026-01-16 cs.AI cs.CL
How Multilingual Are Large Language Models Fine-Tuned for Translation?
University of Maryland（马里兰大学）；AMSC
本文评估了TOWER系列语言模型在FLORES-200的132个翻译任务上的表现，发现翻译微调平均能提升零样本语言的翻译质量，但效果因语言对而异，呼吁进一步研究基于LLM的大规模多语言翻译。
2024-05-30 cs.CL cs.LG
FuxiMT: Sparsifying Large Language Models for Chinese-Centric Multilingual Machine Translation
College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）；School of Software, Tsinghua University（软件学院，清华大学）
本研究提出以中文为中心的稀疏化多语言翻译模型FuxiMT，采用两阶段训练、MoE结构与课程学习策略，在65种语言任务上显著优于基线，低资源场景及零样本翻译表现突出。
2025-05-20 cs.AI cs.CL
Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck
本文提出DIBJudge框架，通过解耦信息瓶颈缓解多语言LLM的翻译偏差问题，有效提升多语言评估的公平性和准确性。
2026-03-11 cs.AI cs.CL
Bootstrapping Multilingual Semantic Parsers using Large Language Models
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Google Research India（谷歌印度研究院）
尽管预先训练的多语言模型证明了跨语言泛化，但跨多种语言传输英语数据集的快速训练范式仍然是训练特定任务的多语言模型的关键机制。然而，对于许多低资源语言，可靠的翻译服务的可用性需要大量昂贵的人工注释翻译对。此外，由于特定于任务的输入文本和用于训练翻译模型的通用文本之间的域不匹配，翻译服务可能继续是脆弱的。对于多语言语义解析，我们证明了通过Few-Shot提示将英语数据集翻译成多种语言的大语言模型（LLM）所提供的有效性和灵活性。通过对两个公共数据集MTOP和MASSIVE进行广泛的比较，跨越50种语言和多个领域，我们表明，我们使用LLM翻译数据的方法在50种语言中的41种语言上优于强大的快速训练基线。我们研究的关键设计选择，使更有效的多语言数据翻译，通过提示LLM。
2023-02-11 cs.CL cs.LG
MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
提出首个多语言多模态歌词翻译基准MAVL，并设计音节约束的音视频大语言模型SylAVL-CoT，利用音视频线索和音节约束提升歌词可唱性和翻译准确性。
2026-06-01 cs.CL cs.LG cs.MM
Towards Continual Learning for Multilingual Machine Translation via Vocabulary Substitution
Google Research（谷歌研究院）
我们提出了一个简单的词汇自适应方案，以扩展多语言机器翻译模型的语言能力，为多语言机器翻译的有效持续学习铺平了道路。我们的方法适用于大规模数据集，适用于具有看不见的脚本的遥远语言，对原始语言对的翻译性能只会产生轻微的退化，即使在我们只拥有新语言的单语数据的情况下，也能提供有竞争力的性能。
2021-03-11 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh（爱丁堡大学）；Saarland University（萨尔兰大学）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
我们描述了在第六届机器翻译会议（WMT 2021）上，萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型，用于冰岛语（is），挪威语-博克马尔语（nb）和瑞典语（sv）之间的翻译。我们采用各种实验方法，包括多语言预训练，回译，微调和集成。在大多数翻译方向上，我们的模型优于其他提交的系统。
2021-09-29 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不佳的双语模型，并且提供较差的zero-shot翻译。在本文中，我们将探讨如何改善它们。我们认为，多语言NMT需要更强的建模能力，以支持不同类型特征的语言对，并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题（即翻译成错误的目标语言）作为低zero-shot性能的主要来源，并提出随机在线回译，以强制翻译看不见的训练语言对。在OPUS-100（一种包含100种语言的新型多语言数据集）上的实验表明，我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距，并将zero-shot性能提高了约10 BLEU，接近传统的基于XML的方法。
2020-04-24 cs.CL
Revamping Multilingual Agreement Bidirectionally via Switched Back-translation for Multilingual Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
针对多语言神经机器翻译中多语言一致性方法依赖平行数据且优化方向模糊的问题，提出BMA-SBT框架，通过切换反向翻译生成合成文本并双向优化一致性，在三个基准上显著提升性能。
2023-05-15 cs.CL
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言T5（mT5）在大量单语文本上预训练序列到序列模型，这在许多跨语言任务上显示出有希望的结果。在本文中，我们改进了多语言文本到文本传输Transformer与翻译对（mT6）。具体来说，我们探索了三个跨语言文本到文本的预训练任务，即，机器翻译，翻译对跨度腐败和翻译跨度腐败。此外，我们提出了一个部分非自回归目标的文本到文本的预训练。我们在八个多语言基准数据集上评估了这些方法，包括句子分类、命名实体识别、问答和抽象摘要。实验结果表明，建议mT6提高跨语言的可移植性mT5。
2021-09-13 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
A Framework for Hierarchical Multilingual Machine Translation
Boise State University（博伊西州立大学）
多语言机器翻译最近流行起来，因为它有潜力通过迁移学习来提高低资源语言的机器翻译性能。然而，证明现有多语言机器翻译策略成功的实证研究仅限于特定语言组的实验。在本文中，我们提出了一个分层框架，建立多语言机器翻译战略，利用类型学的语言家谱，使类似的语言之间的转移，同时避免了负面影响，结果是太不同的语言。在41种语言的数据集上进行的详尽实验证明了所提出的框架的有效性，特别是当它通过使用类型相关的家族来提高低资源语言的性能时，这些家族可以提供更丰富的资源。
2020-05-12 cs.CL
Multilingual Translation with Extensible Multilingual Pretraining and Finetuning
Facebook AI（Facebook 人工智能研究院）
最近的工作证明了多语言预训练的潜力，即创建一个可用于不同语言的各种任务的模型。以前在多语言预训练方面的工作已经证明，机器翻译系统可以通过对bitext进行微调来创建。在这项工作中，我们展示了可以通过多语言微调创建多语言翻译模型。预先训练的模型不是在一个方向上进行微调，而是同时在多个方向上进行微调。与从头开始训练的多语言模型相比，从预训练模型开始融合了大量未标记单语数据的好处，这对于没有双文本的低资源语言尤为重要。我们证明了预训练的模型可以扩展到包含其他语言而不会损失性能。我们将mBART中的语言数量增加了一倍，以支持50种语言的多语言机器翻译模型。最后，我们创建了ML50基准测试，涵盖了低、中和高资源语言，通过标准化训练和评估数据来促进可重复的研究。在ML50上，我们证明了多语言微调比最强的基线（无论是从头开始的多语言还是双语微调）平均提高了1 BLEU，而从从头开始的双语基线平均提高了9.3 BLEU。
2020-08-02 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Learning Policies for Multilingual Training of Neural Machine Translation Systems
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
低资源多语言神经机器翻译（MNMT）通常的任务是在高资源语言对的帮助下提高一个或多个语言对的翻译性能。在本文中，我们提出了两个简单的搜索为基础的课程-排序的多语种训练数据-这有助于提高翻译性能与现有的技术，如微调。此外，我们试图从头开始学习MNMT课程，并在上下文多臂强盗的帮助下训练翻译系统。我们在FLORES低资源翻译数据集上表明，这些学习课程可以为微调提供更好的起点，并提高翻译系统的整体性能。
2021-03-11 cs.CL
NMTScore: A Multilingual Analysis of Translation-based Text Similarity Measures
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
能够对短文本片段的相似性进行排名是神经机器翻译的一个有趣的额外功能。基于翻译的相似性度量包括直接翻译概率和主翻译概率，以及翻译交叉似然度。我们在多语言NMT的通用框架中分析了这些度量，并发布了NMTScore库（可在https：//github.com/NMTichNLP/nmtscore获得）。与诸如句子嵌入之类的基线相比，基于解释的措施在释义识别方面具有竞争力，并且对对抗性或多语言输入更鲁棒，特别是如果应用适当的规范化。当用于2个任务和17种语言的数据到文本生成的基于参考的评估时，基于预防的措施显示出与人类判断的相对较高的相关性。
2022-10-19 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team（Index LLM 团队）
Index-Translate是一个多语言翻译模型家族，通过共享基础与专门训练结合，在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
Massively Multilingual Neural Machine Translation
Bar Ilan University（巴伊兰大学）；Google AI（谷歌人工智能）
多语言神经机器翻译（NMT）能够训练支持从多个源语言翻译成多个目标语言的单个模型。在本文中，我们推动了多语言NMT在使用的语言数量方面的限制。我们在训练大规模多语言NMT模型方面进行了广泛的实验，在单个模型中将多达102种语言翻译为英语。我们探索了训练这些模型的不同设置，并分析了翻译质量和各种建模决策之间的权衡。我们在公开的TED演讲多语言语料库上报告了结果，我们在其中表明，大规模多语言多对多模型在低资源环境中是有效的，在支持多达59种语言的同时，性能优于以前的最先进技术。我们在一个大规模数据集上进行的实验，该数据集包含102种语言和英语之间的语言，每个方向多达100万个示例，也显示出了令人鼓舞的结果，超过了强大的双语基线，并鼓励未来在大规模多语言NMT方面的工作。
2019-07-02 cs.CL
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University（查尔斯大学）
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明，使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明，字符级双语模型是非常相似的语言对（加泰罗尼亚语-欧西坦语）的竞争力，但更遥远的对。我们还描述了我们的多任务学习实验，除了文本翻译外，模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Can Multilinguality benefit Non-autoregressive Machine Translation?
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
非自回归（NAR）机器翻译最近取得了显着的改进，现在在一些基准测试中优于自回归（AR）模型，为AR推理提供了一种有效的替代方案。然而，虽然AR翻译通常使用受益于语言之间的转换和提高服务效率的多语言模型来实现，但多语言NAR模型仍然相对未被探索。本文以联结主义时间分类（CTC）为例，以Imputer为半NAR模型，对多语言NAR进行了全面的实证研究。我们测试了它在相关语言之间的正迁移和容量限制下的负迁移能力。由于NAR模型需要经过提炼的训练集，我们仔细研究了双语教师与多语种教师的影响。最后，我们适合多语言NAR的缩放定律，随着模型规模的增加，量化其相对于AR模型的性能。
2021-12-16 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了我们的第一次尝试，在建立一个统一的方法下的多语言神经机器翻译框架。然后，我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理，它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性，并有了高达2.6个BLEU点的显著改进。此外，该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
Multilingual Neural Machine Translation with Task-Specific Attention
IBM Research AI（IBM研究院人工智能部门）
多语言机器翻译解决了在多个源语言和目标语言之间进行翻译的任务。我们提出了特定任务的注意力模型，这是一种简单但有效的技术，可以提高序列到序列的神经多语言翻译的质量。我们的方法旨在尽可能多地保留NMT模型的参数共享泛化，同时仍然允许将注意力模型针对特定语言对或任务进行语言特定的专业化。我们对四种语言的Europarl语料库的实验表明，使用特定于目标的注意力模型提供一致的收益，在翻译质量的所有可能的翻译方向，相比，所有参数共享的模型。我们观察到改进的翻译质量，即使在（极端）低资源的zero-shot翻译方向的模型从来没有看到明确配对的并行数据。
2018-06-08 cs.CL
Multilingual Neural Machine Translation with Knowledge Distillation
Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）；Peking University（北京大学）
多语种机器翻译是一种用单一模型翻译多种语言的翻译技术，由于其离线训练和在线服务的高效性而备受关注。然而，由于语言多样性和模型容量的限制，传统的多语言翻译通常会产生较低的准确性，与使用每个语言对的单独模型的对应物相比。在本文中，我们提出了一种基于蒸馏的方法来提高多语言机器翻译的准确性。具体而言，首先训练个体模型并将其视为教师，然后通过知识蒸馏训练多语言模型以同时拟合训练数据并匹配个体模型的输出。在IWITOWN、WMT和Ted talk翻译数据集上的实验证明了该方法的有效性。特别是，我们证明了一个模型足以处理多种语言（在我们的实验中多达44种语言），其准确性与单个模型相当甚至更好。
2019-04-30 cs.CL
Cognate-aware morphological segmentation for multilingual neural translation
Aalto University（阿尔托大学）；Utopia Analytics
本文介绍了阿尔托大学进入WMT18新闻翻译共享任务。我们参与了多语言子轨道的系统训练下的约束条件下，从英语翻译到芬兰语和爱沙尼亚语。该系统基于Transformer模型。我们专注于提高的一致性形态分割的字是相似的正字法，语义和分布，这样的话，包括词源同源词，借词和专有名词。为此，我们引入同源Morfessor，Morfessor方法的多语言变体。我们表明，我们的方法提高了翻译质量，特别是对于爱沙尼亚语，它有较少的资源来训练翻译模型。
2018-08-31 cs.CL
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University（天津大学）
在跨所有语言完全共享参数的多语言神经机器翻译模型中，通常使用人工语言令牌来引导翻译成期望的目标语言。然而，最近的研究表明，前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向，特别是在zero-shot翻译中。为了缓解这个问题，我们提出了两种方法，语言嵌入体现和语言感知的多头注意力，学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点，目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部，以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明，语言感知的多头注意力对监督翻译和zero-shot翻译都有好处，并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明，通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
A Study of Multilingual Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
多语言神经机器翻译（NMT）最近已经从不同方面进行了研究（例如，枢轴平移、zero-shot平移、微调或从头开始训练）和在不同的设置中（例如，富资源和低资源、一对多和多对一翻译）。本文对多语种NMT进行了深入的理解，并对一个包含20多种语言的多语种数据集进行了全面的研究。我们的研究结果表明：（1）低资源语言对从多语言训练中受益匪浅，而资源丰富的语言对在有限的模型容量下可能会受到伤害，并且使用相似语言的训练比不相似语言的训练受益更多;（2）在一对多设置中，微调比从头开始训练表现得更好，而在多对一设置中，从头开始训练表现得更好;（3）编码器的底层和解码器的顶层捕获更多的语言特定信息，并且仅仅微调这些部分就可以实现低资源语言对的良好准确性;（4）当源语言与目标语言相似时（例如，在相同的语言分支中），即使直接训练数据的大小小得多;（5）给定固定的训练数据预算，最好将更多的语言引入到多语言训练中以进行zero-shot翻译。
2019-12-25 cs.CL
University of Cape Town's WMT22 System: Multilingual Machine Translation for Southern African Languages
University of Cape Town（开普敦大学）
本文介绍了开普敦大学提交的WMT 22共享任务的约束轨道：大规模机器翻译评估非洲语言。我们的系统是一个单一的多语言翻译模型，可以在英语和8种南部/东南非洲语言之间以及特定的非洲语言对之间进行翻译。我们使用了几种适用于低资源机器翻译（MT）的技术，包括重叠BPE、反向翻译、合成训练数据生成以及在训练期间添加更多翻译方向。我们的研究结果显示了这些技术的价值，特别是在很少或没有双语训练数据的方向。
2022-10-21 cs.CL
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research（谷歌研究院）
最近提出的大规模多语言神经机器翻译（NMT）系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中，我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性，这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT（mBERT）进行比较，并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
提出两阶段方法EcXTra，通过多语言微调与反向翻译训练单一NMT模型，实现未见语言与英语间的双向无监督翻译，在7种低资源语言上取得竞争性表现并刷新英译哈萨克语纪录。
2023-04-03 cs.CL
Breaking Down Multilingual Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；The University of Tokyo（东京大学）
虽然多语言训练现在是机器翻译（MT）系统中的一个重要组成部分，但最近的工作表明，它在不同的多语言环境中具有不同的效果，例如多对一，一对多和多对多学习。这些训练设置将编码器和解码器暴露在具有不同数据分布的机器翻译模型中。在本文中，我们研究了不同种类的多语言训练如何有助于学习MT模型的这两个组成部分。具体来说，我们将双语模型与通过多语言训练初始化的编码器和/或解码器进行比较。我们表明，多语言训练一般有利于编码器，而它只有利于低资源语言（LRL）的解码器。我们进一步发现每个语言对的重要注意力，并在推理过程中比较它们的相关性。我们的分析揭示了多语言翻译模型的工作原理，并使我们能够提出通过使用高度相关的语言进行训练来提高性能的方法。我们针对高资源语言的多对一模型和针对LRL的一对多模型优于Aharoni等人（2019）报告的最佳结果。
2022-04-03 cs.CL
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations
University of Edinburgh（爱丁堡大学）
来自语言类型学数据库的稀疏语言向量和来自多语言机器翻译等任务的学习嵌入已经被孤立地研究，而没有分析它们如何从彼此的语言特征中受益。我们建议使用奇异向量典型相关分析来融合这两种观点，并研究从每个来源诱导出什么样的信息。通过推断类型学特征和语言同源性，我们观察到我们的表征嵌入类型学，并加强与语言关系的相关性。然后，我们利用我们的多视图语言向量空间进行多语言机器翻译，在需要语言相似性信息的任务中，我们实现了具有竞争力的整体翻译准确性，例如语言聚类和多语言转换的候选人排名。使用我们的方法，这也是作为一种工具发布的，我们可以很容易地项目和评估新的语言，而无需昂贵的大量多语言或排名模型的重新训练，这是相关方法的主要缺点。
2020-10-25 cs.CL
Tencent's Multilingual Machine Translation System for WMT22 Large-Scale African Languages
Tencent AI Lab（腾讯人工智能实验室）
本文介绍了腾讯为WMT 22非洲语言大规模机器翻译评估共享任务开发的多语种机器翻译系统。我们参加了$\mathbf{constrained}$翻译跟踪，其中只允许组织者提供的数据和预训练模型。该任务是具有挑战性的，由于三个问题，包括缺乏训练数据的一些待评估的语言对，数据不平衡导致的语言对的不均匀优化，和多语言的诅咒。为了解决这些问题，我们采用数据增强，分布鲁棒优化，和语言族分组，分别开发我们的多语言神经机器翻译（MNMT）模型。我们提交的作品在盲测集的自动评估指标方面赢得了$\mathbf{1st\ place}$。代码、模型和详细的竞赛结果可在https://github.com/wxjiao/WMT2022-Large-Scale-African上获得。
2022-10-18 cs.CL
Using Machine Translation to Augment Multilingual Classification
GumGum（GumGum公司）
本文研究利用机器翻译生成跨语言标注数据以微调多语言分类器，并引入源自图像字幕领域的损失技术缓解翻译数据负面影响，实验证明其可带来性能提升。
2024-05-09 cs.CL
A neural interlingua for multilingual machine translation
Amazon Inc.（亚马逊公司）
我们将一个显式的神经中间语言的多语言编码器-解码器神经机器翻译（NMT）架构。我们证明，我们的模型通过执行直接零镜头翻译（zero-shot translation）（不使用枢轴翻译）以及使用源句子嵌入来创建英语Yelp评论分类器来学习独立于语言的表示，该分类器通过神经中介语，也可以对法语和德语评论进行分类。此外，我们表明，尽管使用的参数数量比双语NMT模型的成对集合少，但我们的方法在WMT 15中为每个语言对产生了可比的BLEU分数。
2018-10-16 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University（大阪大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
本文针对纯注意神经机器翻译（NMT）模型，提出了两种新的领域自适应方法，Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调，这是已知的是非常有效的领域自适应的黑箱方法相结合。此外，我们将多语言纳入领域自适应框架。实验表明，多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译，并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）；Facebook AI（脸书人工智能）；Naver Labs Europe（Naver欧洲实验室）
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数，并在层之间注入轻量级模块，从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时，本文提出了多语言语音翻译（ST）适配器的全面分析。从不同的预训练模型开始（在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART（mBART）），我们表明适配器可用于：（a）以参数方面的低额外成本将ST有效地专门化为特定语言对，以及（b）从自动语音识别（ASR）任务和mBART预训练模型转换为多语言ST任务。实验表明，适配器调整提供了与完全微调相竞争的结果，同时参数效率更高。
2021-07-12 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
