M-MiniGPT4：通过翻译数据实现多语言VLLM对齐
M-MiniGPT4: Multilingual VLLM Alignment via Translated Data
AI总结：
本文提出M-MiniGPT4多语言视觉大语言模型，通过混合原生多语言和翻译数据提升MiniGPT4的多语言视觉理解能力，并引入多语言对齐训练阶段，使模型在多语言MMMU基准测试中达到36%的准确率。
摘要：
本文提出一种名为M-MiniGPT4的多语言视觉大语言模型。我们的模型在11种语言中展现出强大的视觉-语言理解（VLU）能力。我们利用混合的原生多语言和翻译数据来推动MiniGPT4架构的多语言VLU性能。此外，我们提出了一种多语言对齐训练阶段，利用平行文本语料库进一步增强模型的多语言能力。M-MiniGPT4在多语言MMMU基准测试中达到36%的准确率，优于同重量级的最新模型，包括在本文大部分工作完成后发布的基础模型。我们开源了我们的模型、代码和翻译数据集，以促进未来低资源和多语言研究。
英文摘要：
This paper presents a Multilingual Vision Large Language Model, named M-MiniGPT4. Our model exhibits strong vision-language understanding (VLU) capabilities across 11 languages. We utilize a mixture of native multilingual and translated data to push the multilingual VLU performance of the MiniGPT4 architecture. In addition, we propose a multilingual alignment training stage that uses parallel text corpora to further enhance the multilingual capabilities of our model. M-MiniGPT4 achieves 36% accuracy on the multilingual MMMU benchmark, outperforming state-of-the-art models in the same weight class, including foundation models released after the majority of this work was completed. We open-source our models, code, and translated datasets to facilitate future research in low-resource and multilingual settings.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
