FuxiMT：面向以中文为中心的多语言机器翻译的大语言模型稀疏化方法
FuxiMT: Sparsifying Large Language Models for Chinese-Centric Multilingual Machine Translation
AI总结：
本研究提出以中文为中心的稀疏化多语言翻译模型FuxiMT，采用两阶段训练、MoE结构与课程学习策略，在65种语言任务上显著优于基线，低资源场景及零样本翻译表现突出。
摘要：
本文提出FuxiMT，这是一种以中文为中心的新型多语言机器翻译模型，由稀疏化大语言模型（LLM）提供支持。我们采用两阶段策略训练FuxiMT：首先在大规模中文语料上对模型进行预训练，随后在涵盖65种语言的大规模平行数据集上开展多语言微调。FuxiMT融合了混合专家模型（MoEs），并采用课程学习策略，以在不同资源水平下实现稳健性能。实验结果表明，FuxiMT的性能显著优于包括前沿LLM和机器翻译模型在内的强基线模型，在低资源场景下表现尤为突出。此外，FuxiMT对未见过的语言对展现出卓越的零样本翻译能力，这表明它有望在平行数据稀缺或缺失的场景下搭建沟通桥梁。
英文摘要：
In this paper, we present FuxiMT, a novel Chinese-centric multilingual machine translation model powered by a sparsified large language model (LLM). We adopt a two-stage strategy to train FuxiMT. We first pre-train the model on a massive Chinese corpus and then conduct multilingual fine-tuning on a large parallel dataset encompassing 65 languages. FuxiMT incorporates Mixture-of-Experts (MoEs) and employs a curriculum learning strategy for robust performance across various resource levels. Experimental results demonstrate that FuxiMT significantly outperforms strong baselines, including state-of-the-art LLMs and machine translation models, particularly under low-resource scenarios. Furthermore, FuxiMT exhibits remarkable zero-shot translation capabilities for unseen language pairs, indicating its potential to bridge communication gaps where parallel data are scarce or unavailable.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
