Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation
TUD Dresden University of Technology and ScaDS.AI（德累斯顿技术大学和ScaDS.AI）；InfAI e.V.（InfAI协会）；Amazon（亚马逊）
研究机器翻译基准中的翻译错误如何影响多语言LLM评估的可靠性，通过自动错误跨度检测和准确性下降分析揭示翻译错误与评估指标之间的关联。
2026-05-24 cs.CL
The Translation Barrier Hypothesis: Multilingual Generation with Large Language Models Suffers from Implicit Translation Failure
Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学，语言与语音处理中心）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
该研究提出翻译障碍假说，发现大语言模型多语言生成存在隐性“任务求解→翻译”流水线，翻译阶段失败是中低资源语言生成质量差的主要原因，为改进LLM多语言能力指明了瓶颈方向。
2025-10-20 cs.CL
Information Loss in LLMs' Multilingual Translation: The Role of Training Data, Language Proximity, and Language Family
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology（香港科技大学）
本研究系统调查了训练数据量、语言邻近度和语系对LLMs多语言翻译信息损失的影响，发现丰富的训练数据可缓解语言差异，且语言间结构关系是翻译质量的关键预测因子。
2025-06-29 cs.CL
Hallucinations in Large Multilingual Translation Models
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；University of Edinburgh（爱丁堡大学）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院）；Unbabel（Unbabel公司）
大规模的多语言机器翻译系统已经展示了在多种语言之间直接翻译的卓越能力，这使得它们对现实世界的应用越来越有吸引力。然而，当部署在野外时，这些模型可能会产生幻觉翻译，这有可能严重破坏用户的信任并引发安全问题。现有的关于幻觉的研究主要集中在高资源语言训练的小型双语模型上，这使得我们在不同翻译场景下对大规模多语言模型中的幻觉的理解存在差距。在这项工作中，我们通过对传统神经机器翻译模型的M2M家族和ChatGPT（一种可以提示翻译的通用大语言模型~（LLM））进行全面分析来填补这一空白。我们的调查涵盖了广泛的条件，跨越了100多个不同资源级别的翻译方向，超越了以英语为中心的语言对。我们提供了关于幻觉的患病率，属性和缓解的关键见解，为更负责任和可靠的机器翻译系统铺平了道路。
2023-03-28 cs.CL
MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
提出首个多语言多模态歌词翻译基准MAVL，并设计音节约束的音视频大语言模型SylAVL-CoT，利用音视频线索和音节约束提升歌词可唱性和翻译准确性。
2026-06-01 cs.CL cs.LG cs.MM
SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models
Bar-Ilan University（巴伊兰大学）；University of Zürich（苏黎世大学）
本文提出清理版多语言手语数据集SignBank+，证明传统文本到文本翻译方法在该数据集上同样有效，模型表现超越原数据集并确立了新基准。
2024-03-21 cs.CL
Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data
本文提出利用双语翻译数据提升大规模多语言大语言模型在500种语言上的适应性能，通过构建MaLA语料库和开发EMMA-500模型，验证了双语数据对语言迁移和低资源语言性能的积极影响。
2025-12-04 cs.CL
A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification
Algoverse AI Research（Algoverse AI研究）
本研究系统评估了15种语言下多语言LLMs在跨语言声明验证中的翻译偏差与准确性，发现低资源语言直接推理准确率较低，而较大模型在自翻译中表现更优且偏差更小。
2024-10-14 cs.CL
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
TAPO通过引入翻译增强策略优化框架，提升多语言数学推理能力，有效结合语言理解和推理能力，优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Is Multilingual LLM Watermarking Truly Multilingual? Scaling Robustness to 100+ Languages via Back-Translation
African Institute for Mathematical Sciences Parameter Lab（非洲数学科学研究所参数实验室）
本文指出现有多语言水印方法在中低资源语言中鲁棒性不足，提出STEAM方法通过回译恢复水印强度，提升跨语言水印鲁棒性。
2026-09-14 cs.AI cs.CL
Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation
MediaTek Research（联发科研究院）
本研究通过探索提示格式、数据集成、决策标记、思维链推理及翻译流水线等策略，增强LLMs的函数调用能力，发现指令遵循数据可提升准确率与相关性检测，决策标记及翻译流水线也能带来显著改进。
2024-12-04 cs.CL
AILS-NTUA at SemEval-2025 Task 3: Leveraging Large Language Models and Translation Strategies for Multilingual Hallucination Detection
School of Electrical and Computer Engineering（电气与计算机工程学院）；AILS Laboratory（AILS实验室）；National Technical University of Athens（雅典国家技术大学）
针对多语言幻觉检测探索不足的问题，提出无需训练的LLM提示策略，通过将多语言文本译为英文提升检测效果，在多语言上取得竞争力排名，低资源语言获两项第一，验证了该翻译策略的通用性。
2025-03-04 cs.CL
Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation Without Parallel Data
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学）；ByteDance Research（字节跳动研究）
针对多语言机器翻译依赖平行数据、低资源语言数据稀缺及灾难性遗忘问题，提出结合G-MCTS与偏好优化的自博弈框架TRANS-ZERO，仅用单语数据就达到媲美有监督方法的性能，且在非英语翻译方向表现优异。
2025-05-17 cs.CL
Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里达摩院）；Hupan Lab（虎斑实验室）；National University of Singapore（新加坡国立大学）；Shanda AI Research Institute（沙达AI研究院）
本研究探讨翻译对多语言任务的影响，发现翻译成英语虽能提升英语中心LLMs的NLP性能，但对文化相关任务，母语提示更有效，呼吁超越英语中心的多语言评估与开发。
2025-04-21 cs.CL
Scaling Model and Data for Multilingual Machine Translation with Open Large Language Models
School of Informatics, Xiamen University, China（厦门大学信息学院）；MiLM Plus, Xiaomi Inc., Beijing, China（小米公司）
本文提出MiLMMT-46模型，通过模型和数据扩展提升多语言机器翻译性能，超越现有SOTA模型并接近Google Translate等强 proprietary 系统。
2026-07-21 cs.CL
BigTranslate: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Wuhan AI Research（武汉人工智能研究院）
本研究提出BigTranslate，基于LLaMA-13B通过中文单语数据继续训练、102种语言平行数据集训练及多语言翻译指令微调三步优化，增强其100多种语言翻译能力，实验表现与ChatGPT和Google Translate相当，8个语言对上更优。
2023-11-21 cs.CL
Tower: An Open Multilingual Large Language Model for Translation-Related Tasks
Carnegie Mellon University（卡内基梅隆大学）
本文提出Tower开源多语言大语言模型，通过多语言混合数据持续预训练和翻译指令微调，在翻译工作流多任务上超越开源模型并比肩闭源模型，同时发布模型、数据集与评估框架。
2024-02-27 cs.CL
Translation as a Scalable Proxy for Multilingual Evaluation
University of California, Los Angeles（加州大学洛杉矶分校）；African Languages Lab（非洲语言实验室）；Mila - Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本研究通过评估翻译质量与多语言任务表现的关系，提出翻译作为多语言评估的可扩展代理，为模型评估提供低成本的初步筛选方法。
2026-01-16 cs.AI cs.CL
FuxiMT: Sparsifying Large Language Models for Chinese-Centric Multilingual Machine Translation
College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）；School of Software, Tsinghua University（软件学院，清华大学）
本研究提出以中文为中心的稀疏化多语言翻译模型FuxiMT，采用两阶段训练、MoE结构与课程学习策略，在65种语言任务上显著优于基线，低资源场景及零样本翻译表现突出。
2025-05-20 cs.AI cs.CL
Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck
本文提出DIBJudge框架，通过解耦信息瓶颈缓解多语言LLM的翻译偏差问题，有效提升多语言评估的公平性和准确性。
2026-03-11 cs.AI cs.CL
Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation
Google Research（谷歌研究院）
在过去的几年里，在低资源神经机器翻译（NMT）中出现了两个有前途的研究方向。第一个重点是利用高资源语言，通过多语言NMT来提高低资源语言的质量。第二个方向采用具有自我监督的单语数据来预训练翻译模型，然后对少量监督数据进行微调。在这项工作中，我们加入了这两条研究路线，并证明了多语言NMT中自我监督的单语数据的有效性。我们提供三大成果：（i）使用单语数据可以显著提高多语言模型中低资源语言的翻译质量。(ii)自我监督提高了多语言模型中的zero-shot翻译质量。(iii)利用具有自我监督的单语数据为向多语言模型添加新语言提供了一条可行的途径，在没有任何并行数据或反向翻译的情况下，在ro-en翻译上获得多达33个BLEU。
2020-05-11 cs.CL cs.LG
Hierarchical Transformer for Multilingual Machine Translation
Innopolis University（因诺波利斯大学）；University of Campinas（坎皮纳斯大学）
多语言机器翻译模型中参数共享策略的选择决定了参数空间的最优使用，从而直接影响最终的翻译质量。受语言树的启发，最近提出了多语言机器翻译中参数共享的通用方法。主要思想是使用这些专家语言层次结构作为多语言架构的基础：两种语言越接近，它们共享的参数就越多。在这项工作中，我们使用Transformer架构来测试这个想法，并表明尽管在以前的工作中取得了成功，但训练这种分层模型存在固有的问题。我们证明，在精心选择的训练策略的情况下，层次结构可以优于双语模型和多语言模型与充分的参数共享。
2021-03-05 cs.CL cs.LG
Contrastive Learning for Many-to-many Multilingual Neural Machine Translation
ByteDance AI Lab（字节跳动人工智能实验室）
现有的多语种机器翻译方法主要集中在以英语为中心的方向，而非英语方向的研究还比较滞后。在这项工作中，我们的目标是建立一个多对多的翻译系统，强调非英语语言的质量方向。我们的直觉是基于这样一个假设，即通用的跨语言表示会带来更好的多语言翻译性能。为此，我们提出了mRASP2，这是一种获得单一统一多语言翻译模型的训练方法。mRASP2由两种技术授权：a）对比学习方案，以缩小不同语言的表示之间的差距，以及b）对多个并行和单语数据的数据增强，以进一步对齐标记表示。对于以英语为中心的方向，mRASP2优于现有的最佳统一模型，并在数十个WMT的翻译方向上实现了与预训练和微调模型mBART竞争甚至更好的性能。对于非英语方向，与多语言Transformer基线相比，mRASP2实现了平均10+ BLEU的改进。代码、数据和训练模型可在https://github.com/PANXiao1994/mRASP2上获得。
2021-07-22 cs.CL cs.LG
Back-translation for Large-Scale Multilingual Machine Translation
eBay Inc.（易趣公司）
本文阐述了我们在第六届机器翻译会议（WMT-21）上对大规模多语种机器翻译共同任务的研究方法。这项工作的目的是建立一个单一的多语言翻译系统的假设，一个通用的跨语言表示导致更好的多语言翻译性能。我们将不同回译方法的探索从双语翻译扩展到多语言翻译。约束抽样方法得到了更好的性能，这是不同的双语翻译的发现。此外，本研究亦探讨词汇量与合成数据量之影响。令人惊讶的是，较小的词汇量表现更好，广泛的单语英语数据提供了适度的改善。我们两个小任务都提交了，取得了第二名的成绩。
2021-09-17 cs.AI cs.CL cs.LG
Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning
Google Research（谷歌研究院）
实现所有人类语言对之间的通用翻译是机器翻译（MT）研究的圣杯。虽然最近在大规模多语言机器翻译方面取得的进展离实现这一目标又近了一步，但很明显，简单地通过在更多并行数据上进行训练来扩展多语言机器翻译系统是不可扩展的，因为低资源和非英语为中心的语言对的标记数据的可用性非常有限。为此，我们提出了一种实用的方法来构建一个多语言MT模型，涵盖数百种语言，使用监督和自我监督的目标的混合物，这取决于不同语言对的数据可用性。我们证明了这两种训练范式之间的协同作用使模型能够在零资源环境中产生高质量的翻译，甚至超过了中低资源语言的监督翻译质量。我们进行了大量的实验，以了解多语言监督的程度，域不匹配以及并行和单语数据量对我们的自监督多语言模型质量的影响。为了证明该方法的可扩展性，我们用200多种语言训练模型，并在几种以前研究不足的语言上展示了零资源翻译的高性能。我们希望我们的发现能够成为实现下一千种语言翻译的垫脚石。
2022-01-13 cs.CL cs.LG
Parameter Sharing Methods for Multilingual Self-Attentional Translation Models
Petuum Inc.（Petuum公司）；Carnegie Mellon University（卡内基梅隆大学）
在多语言神经机器翻译中，已经证明，在多种语言之间共享单个翻译模型可以实现有竞争力的性能，有时甚至导致比双语训练模型更高的性能。然而，这些改进并不统一;由于翻译模型无法在其有限的参数空间中容纳不同的语言，因此多语言参数共享通常会导致准确性降低。在这项工作中，我们研究参数共享技术，充分共享和个人训练之间的一个愉快的媒介，特别是专注于自我注意力的Transformer模型。我们发现，完全参数共享的方法，主要是当目标语言是从一个类似的语言家庭导致BLEU分数的增加。然而，即使在目标语言是来自不同的家庭，其中完全参数共享导致BLEU分数显着下降的情况下，我们提出的部分共享参数的方法可以导致翻译准确性的大幅提高。
2018-09-13 cs.CL cs.LG
Automatic Machine Translation Detection Using a Surrogate Multilingual Translation Model
Dep. de Llenguatges i Sistemes Informàtics（语言与信息系统系）；Institut Universitari d’Investigació Informàtica（大学信息研究所）；Universitat d’Alacant（阿莱康特大学）
提出利用代理多语言MT模型内部表示区分人类与机器翻译的新方法，在非英语语言对上准确率至少提升5个百分点。
2025-11-04 cs.CL cs.LG
Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges
Google AI（谷歌人工智能）
我们介绍了我们的努力，建立一个通用的神经机器翻译（NMT）系统，能够在任何语言对之间进行翻译。我们通过构建一个单一的大规模多语言NMT模型来处理103种语言，并在超过250亿个示例中进行训练，从而实现了这一目标。我们的系统展示了有效的迁移学习能力，显著提高了低资源语言的翻译质量，同时使高资源语言的翻译质量与竞争性双语基线保持一致。我们对模型构建的各个方面进行了深入分析，这些方面对于在通用NMT中实现质量和实用性至关重要。虽然我们原型的高质量的通用翻译系统，我们广泛的实证分析暴露出需要进一步解决的问题，我们建议未来的研究方向。
2019-07-11 cs.CL cs.LG
Improving Multilingual Neural Machine Translation For Low-Resource Languages: French,English - Vietnamese
Thai Nguyen University（太原大学）；Vietnam National University（越南国立大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；JAIST（日本北陆先端科学技术大学院大学）
先前的工作已经证明，低资源的语言对可以从依赖于许多语言对的联合训练的多语言机器翻译（MT）系统中受益。本文提出了两种简单的策略来解决两个低资源的语言对：法语-越南语和英语-越南语的多语言机器翻译系统中的稀有词问题。第一种策略是在源语言共享空间中动态学习词的相似度，第二种策略是通过在训练过程中更新嵌入量来增强稀有词的翻译能力。此外，我们利用单语数据的多语种机器翻译系统，以增加合成并行语料库的数量，同时处理数据稀疏性问题。我们已经显示了两种语言对的双语基线系统的显著改进，分别为+1.62和+2.54 BLEU点，并为研究社区发布了我们的数据集。
2021-07-10 cs.CL cs.LG
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
文档级神经机器翻译（DocNMT）通过结合跨句子上下文来实现连贯的翻译。然而，对于大多数语言对来说，尽管并行句子很容易获得，但并行文档还是很短缺。在本文中，我们研究是否以及如何在DocNMT上下文建模是通过多语言建模可转移。我们专注于zero-shot传输的情况下，从教师语言的文档级数据的学生语言没有文件，但句子级数据，并首次将文档级翻译作为一个迁移学习问题。使用简单的基于拼接的DocNMT，我们探讨了3个因素对迁移的影响：具有文档级数据的教师语言的数量，训练时文档和句子级数据之间的平衡，以及并行文档的数据条件（真实与回译）。我们的实验在Europarl-7和IWITOS-10上显示了DocNMT多语言传输的可行性，特别是在文档特定的指标上。我们观察到，更多的教师语言和足够的数据平衡都有助于更好的传输质量。令人惊讶的是，传输对数据条件不太敏感，多语言DocNMT在回译或真正的文档对中提供了不错的性能。
2022-05-17 cs.CL cs.LG
Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究评估了多语言大语言模型在跨语言任务中的表现，发现其虽具备表层跨语言能力但存在深层知识转移壁垒，提出通过混合语言数据微调有效缩小差距，强调需显式优化以释放模型跨语言潜力。
2025-03-04 cs.CL cs.LG
A Multilingual Neural Machine Translation Model for Biomedical Data
Naver Labs Europe（Naver Labs 欧洲研究院）；Naver Papago
我们发布了一个多语言神经机器翻译模型，可用于生物医学领域的文本翻译。该模型可以从5种语言（法语，德语，意大利语，韩语和西班牙语）翻译成英语。它使用大量通用和生物医学数据进行训练，使用域标签。我们的基准测试表明，它在新闻（通用领域）和生物医学测试集上的表现接近最先进的水平，并且优于现有的公开发布的模型。我们相信，此次发布将有助于对COVID-19危机的数字内容及其对社会、经济和医疗保健政策的影响进行大规模多语言分析。我们还发布了一个测试集的生物医学文本的韩国英语。它由官方指南和最近的论文中的758句话组成，都是关于COVID-19的。
2020-08-06 cs.CL cs.LG
Towards Continual Learning for Multilingual Machine Translation via Vocabulary Substitution
Google Research（谷歌研究院）
我们提出了一个简单的词汇自适应方案，以扩展多语言机器翻译模型的语言能力，为多语言机器翻译的有效持续学习铺平了道路。我们的方法适用于大规模数据集，适用于具有看不见的脚本的遥远语言，对原始语言对的翻译性能只会产生轻微的退化，即使在我们只拥有新语言的单语数据的情况下，也能提供有竞争力的性能。
2021-03-11 cs.CL
EdinSaar@WMT21: North-Germanic Low-Resource Multilingual NMT
The University of Edinburgh（爱丁堡大学）；Saarland University（萨尔兰大学）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
我们描述了在第六届机器翻译会议（WMT 2021）上，萨尔提交给北日耳曼语言多语言低资源翻译的共同任务。我们提供多语言翻译模型，用于冰岛语（is），挪威语-博克马尔语（nb）和瑞典语（sv）之间的翻译。我们采用各种实验方法，包括多语言预训练，回译，微调和集成。在大多数翻译方向上，我们的模型优于其他提交的系统。
2021-09-29 cs.CL
HLT-MT: High-resource Language-specific Training for Multilingual Neural Machine Translation
Microsoft Research（微软研究院）；Beihang University（北京航空航天大学）
基于多语言对的多语言神经机器翻译（MNMT）具有模型参数少、多语言知识共享、训练成本低等优点，受到了广泛关注。然而，由于不同翻译方向之间的负干扰，特别是在高资源语言上，多语言训练受到共享参数中语言干扰退化的困扰。本文提出了一种多语言翻译模型--高资源特定语言训练模型（HLT-MT），采用两阶段训练和特定语言选择机制来减轻负面干扰。具体来说，我们首先只使用高资源对训练多语言模型，并在解码器的顶部选择语言特定的模块，以提高高资源方向的翻译质量。接下来，该模型在所有可用的语料库上进行进一步训练，以将知识从高资源语言（HRL）转移到低资源语言（LRL）。实验结果表明，HLT-MT在WMT-10和OPUS-100基准测试中优于各种强基线。此外，分析实验验证了我们的方法在减轻多语言训练中的负面干扰的有效性。
2022-07-15 cs.AI cs.CL cs.LG
UM4: Unified Multilingual Multiple Teacher-Student Model for Zero-Resource Neural Machine Translation
Microsoft Research（微软研究院）；Tencent Cloud（腾讯云）；Beihang University（北京航空航天大学）
语言间的翻译任务大多属于零资源翻译问题，在这种情况下，平行语料库不可用。多语言神经机器翻译（MNMT）与两遍枢轴翻译相比，可以使用所有语言的共享语义空间进行一遍翻译，但通常表现不佳。在本文中，我们提出了一种新的方法，命名为统一的多语言多师生模型NMT（UM 4）。我们的方法统一了源教师，目标教师，并指导学生模型的零资源翻译的教师模型。源语教师和译语教师通过源语和译语双方的知识精华迫使学生学习直接源语到译语的翻译。单语语料库被进一步利用的教师-教师模型，以提高学生模型。实验结果表明，我们的72个方向的模型显着优于以前的方法在WMT基准。
2022-08-24 cs.AI cs.CL cs.LG
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不佳的双语模型，并且提供较差的zero-shot翻译。在本文中，我们将探讨如何改善它们。我们认为，多语言NMT需要更强的建模能力，以支持不同类型特征的语言对，并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题（即翻译成错误的目标语言）作为低zero-shot性能的主要来源，并提出随机在线回译，以强制翻译看不见的训练语言对。在OPUS-100（一种包含100种语言的新型多语言数据集）上的实验表明，我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距，并将zero-shot性能提高了约10 BLEU，接近传统的基于XML的方法。
2020-04-24 cs.CL
Revamping Multilingual Agreement Bidirectionally via Switched Back-translation for Multilingual Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
针对多语言神经机器翻译中多语言一致性方法依赖平行数据且优化方向模糊的问题，提出BMA-SBT框架，通过切换反向翻译生成合成文本并双向优化一致性，在三个基准上显著提升性能。
2023-05-15 cs.CL
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言T5（mT5）在大量单语文本上预训练序列到序列模型，这在许多跨语言任务上显示出有希望的结果。在本文中，我们改进了多语言文本到文本传输Transformer与翻译对（mT6）。具体来说，我们探索了三个跨语言文本到文本的预训练任务，即，机器翻译，翻译对跨度腐败和翻译跨度腐败。此外，我们提出了一个部分非自回归目标的文本到文本的预训练。我们在八个多语言基准数据集上评估了这些方法，包括句子分类、命名实体识别、问答和抽象摘要。实验结果表明，建议mT6提高跨语言的可移植性mT5。
2021-09-13 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
A Framework for Hierarchical Multilingual Machine Translation
Boise State University（博伊西州立大学）
多语言机器翻译最近流行起来，因为它有潜力通过迁移学习来提高低资源语言的机器翻译性能。然而，证明现有多语言机器翻译策略成功的实证研究仅限于特定语言组的实验。在本文中，我们提出了一个分层框架，建立多语言机器翻译战略，利用类型学的语言家谱，使类似的语言之间的转移，同时避免了负面影响，结果是太不同的语言。在41种语言的数据集上进行的详尽实验证明了所提出的框架的有效性，特别是当它通过使用类型相关的家族来提高低资源语言的性能时，这些家族可以提供更丰富的资源。
2020-05-12 cs.CL
Multilingual Translation with Extensible Multilingual Pretraining and Finetuning
Facebook AI（Facebook 人工智能研究院）
最近的工作证明了多语言预训练的潜力，即创建一个可用于不同语言的各种任务的模型。以前在多语言预训练方面的工作已经证明，机器翻译系统可以通过对bitext进行微调来创建。在这项工作中，我们展示了可以通过多语言微调创建多语言翻译模型。预先训练的模型不是在一个方向上进行微调，而是同时在多个方向上进行微调。与从头开始训练的多语言模型相比，从预训练模型开始融合了大量未标记单语数据的好处，这对于没有双文本的低资源语言尤为重要。我们证明了预训练的模型可以扩展到包含其他语言而不会损失性能。我们将mBART中的语言数量增加了一倍，以支持50种语言的多语言机器翻译模型。最后，我们创建了ML50基准测试，涵盖了低、中和高资源语言，通过标准化训练和评估数据来促进可重复的研究。在ML50上，我们证明了多语言微调比最强的基线（无论是从头开始的多语言还是双语微调）平均提高了1 BLEU，而从从头开始的双语基线平均提高了9.3 BLEU。
2020-08-02 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Learning Policies for Multilingual Training of Neural Machine Translation Systems
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
低资源多语言神经机器翻译（MNMT）通常的任务是在高资源语言对的帮助下提高一个或多个语言对的翻译性能。在本文中，我们提出了两个简单的搜索为基础的课程-排序的多语种训练数据-这有助于提高翻译性能与现有的技术，如微调。此外，我们试图从头开始学习MNMT课程，并在上下文多臂强盗的帮助下训练翻译系统。我们在FLORES低资源翻译数据集上表明，这些学习课程可以为微调提供更好的起点，并提高翻译系统的整体性能。
2021-03-11 cs.CL
NMTScore: A Multilingual Analysis of Translation-based Text Similarity Measures
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
能够对短文本片段的相似性进行排名是神经机器翻译的一个有趣的额外功能。基于翻译的相似性度量包括直接翻译概率和主翻译概率，以及翻译交叉似然度。我们在多语言NMT的通用框架中分析了这些度量，并发布了NMTScore库（可在https：//github.com/NMTichNLP/nmtscore获得）。与诸如句子嵌入之类的基线相比，基于解释的措施在释义识别方面具有竞争力，并且对对抗性或多语言输入更鲁棒，特别是如果应用适当的规范化。当用于2个任务和17种语言的数据到文本生成的基于参考的评估时，基于预防的措施显示出与人类判断的相对较高的相关性。
2022-10-19 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team（Index LLM 团队）
Index-Translate是一个多语言翻译模型家族，通过共享基础与专门训练结合，在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
Massively Multilingual Neural Machine Translation
Bar Ilan University（巴伊兰大学）；Google AI（谷歌人工智能）
多语言神经机器翻译（NMT）能够训练支持从多个源语言翻译成多个目标语言的单个模型。在本文中，我们推动了多语言NMT在使用的语言数量方面的限制。我们在训练大规模多语言NMT模型方面进行了广泛的实验，在单个模型中将多达102种语言翻译为英语。我们探索了训练这些模型的不同设置，并分析了翻译质量和各种建模决策之间的权衡。我们在公开的TED演讲多语言语料库上报告了结果，我们在其中表明，大规模多语言多对多模型在低资源环境中是有效的，在支持多达59种语言的同时，性能优于以前的最先进技术。我们在一个大规模数据集上进行的实验，该数据集包含102种语言和英语之间的语言，每个方向多达100万个示例，也显示出了令人鼓舞的结果，超过了强大的双语基线，并鼓励未来在大规模多语言NMT方面的工作。
2019-07-02 cs.CL
CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task
Charles University（查尔斯大学）
本文描述了查尔斯大学在WMT 21上提交的印欧语言多语言低资源翻译共享任务。我们参加了加泰罗尼亚语到罗马尼亚语、意大利语和欧西坦语的翻译比赛。我们的系统基于共享的多语言模型。我们表明，使用联合模型的多个相似的语言对提高翻译质量在每一对。我们还表明，字符级双语模型是非常相似的语言对（加泰罗尼亚语-欧西坦语）的竞争力，但更遥远的对。我们还描述了我们的多任务学习实验，除了文本翻译外，模型还经过训练以执行字素到音素的转换。
2021-09-20 cs.CL
Can Multilinguality benefit Non-autoregressive Machine Translation?
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
非自回归（NAR）机器翻译最近取得了显着的改进，现在在一些基准测试中优于自回归（AR）模型，为AR推理提供了一种有效的替代方案。然而，虽然AR翻译通常使用受益于语言之间的转换和提高服务效率的多语言模型来实现，但多语言NAR模型仍然相对未被探索。本文以联结主义时间分类（CTC）为例，以Imputer为半NAR模型，对多语言NAR进行了全面的实证研究。我们测试了它在相关语言之间的正迁移和容量限制下的负迁移能力。由于NAR模型需要经过提炼的训练集，我们仔细研究了双语教师与多语种教师的影响。最后，我们适合多语言NAR的缩放定律，随着模型规模的增加，量化其相对于AR模型的性能。
2021-12-16 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了我们的第一次尝试，在建立一个统一的方法下的多语言神经机器翻译框架。然后，我们可以使用基于注意力的NMT来完成多对多的多语言翻译任务。我们的方法不需要对网络架构进行任何特殊处理，它允许我们以标准的训练方式学习最少数量的自由参数。我们的方法在资源不足的翻译场景中表现出了其有效性，并有了高达2.6个BLEU点的显著改进。此外，该方法在源语言和目标语言之间没有直接平行语料库的翻译任务中取得了有趣和有希望的结果。
2016-11-15 cs.CL
SMaLL-100: Introducing Shallow Multilingual Machine Translation Model for Low-Resource Languages
NAVER LABS Europe（NAVER欧洲实验室）；IDIAP Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）
近年来，多语言机器翻译模型通过在相似语言之间共享信息，从而实现zero-shot翻译，在低资源语言对上取得了令人鼓舞的性能。为了克服“多语诅咒”，这些模型往往选择增加参数数量，这使得它们在资源有限的环境中的使用具有挑战性。我们介绍SMaLL-100，M2M-100（12 B）模型的一个精简版本，一个涵盖100种语言的大规模多语言机器翻译模型。我们训练SMaLL-100时对所有语言对进行统一采样，因此专注于保留低资源语言的性能。我们在不同的低资源基准测试上评估了SMaLL-100：FLORES-101，Tatoeba和TICO-19，并证明它优于以前类似大小（200- 600 M）的大规模多语言模型，同时改善了推理延迟和内存使用。此外，我们的模型实现了与M2M-100（1.2B）相当的结果，同时在推理方面小3.6倍，快4.3倍。代码和预训练模型：https://github.com/alirezamshi/small100
2022-10-20 cs.AI cs.CL cs.LG
Multilingual Neural Machine Translation with Task-Specific Attention
IBM Research AI（IBM研究院人工智能部门）
多语言机器翻译解决了在多个源语言和目标语言之间进行翻译的任务。我们提出了特定任务的注意力模型，这是一种简单但有效的技术，可以提高序列到序列的神经多语言翻译的质量。我们的方法旨在尽可能多地保留NMT模型的参数共享泛化，同时仍然允许将注意力模型针对特定语言对或任务进行语言特定的专业化。我们对四种语言的Europarl语料库的实验表明，使用特定于目标的注意力模型提供一致的收益，在翻译质量的所有可能的翻译方向，相比，所有参数共享的模型。我们观察到改进的翻译质量，即使在（极端）低资源的zero-shot翻译方向的模型从来没有看到明确配对的并行数据。
2018-06-08 cs.CL
Do Multilingual Neural Machine Translation Models Contain Language Pair Specific Attention Heads?
NAVER LABS Europe（NAVER欧洲实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）
最近的多语言表示分析的研究集中在确定是否出现了语言无关的表示，或是否一个多语言模型划分其权重之间的不同语言。虽然大多数此类工作都是以“黑箱”方式进行的，但本文旨在分析多语言神经翻译（NMT）模型的各个组件。特别是，我们研究了编码器自我注意力和编码器-解码器注意力头（在多对一NMT模型中），这些注意力头比其他注意力头更具体地针对某个语言对的翻译，方法是（1）采用量化注意力权重的某些方面的度量，如“方差”或“置信度”，以及（2）系统地对注意力头相对于翻译质量的重要性进行排名。实验结果表明，令人惊讶的是，最重要的注意力中心语的集合在语言对之间非常相似，并且可以在不严重损害翻译质量的情况下删除近三分之一的不太重要的中心语。
2021-05-31 cs.AI cs.CL cs.LG
