Chitranuvad：使多语言大语言模型适应多模态翻译
Chitranuvad: Adapting Multi-Lingual LLMs for Multimodal Translation
AI总结：
Chitranuvad通过ViT图像编码器和适配器层将视觉信息融入多语言大语言模型，实现多模态翻译，在WAT2024印地语挑战集上取得SOTA。
摘要：
在这项工作中，我们提供了我们作为亚洲翻译研讨会（WAT2024）英语到低资源多模态翻译任务参赛的系统描述。我们介绍了Chitranuvad，一种有效整合多语言大语言模型和视觉模块的多模态翻译模型。我们的方法使用ViT图像编码器提取视觉表示作为视觉令牌嵌入，这些嵌入通过适配器层投影到大语言模型空间，并以自回归方式生成翻译。我们参加了印度语言（即英语到印地语、孟加拉语和马拉雅拉姆语的翻译）的所有三个赛道（图像描述、纯文本和多模态翻译任务），并在挑战集上对印地语在所有赛道中取得了最先进的结果，同时在共享任务中对其他语言保持了竞争力。
英文摘要：
In this work, we provide the system description of our submission as part of the English to Lowres Multimodal Translation Task at the Workshop on Asian Translation (WAT2024). We introduce Chitranuvad, a multimodal model that effectively integrates Multilingual LLM and a vision module for Multimodal Translation. Our method uses a ViT image encoder to extract visual representations as visual token embeddings which are projected to the LLM space by an adapter layer and generates translation in an autoregressive fashion. We participated in all the three tracks (Image Captioning, Text only and Multimodal translation tasks) for Indic languages (ie. English translation to Hindi, Bengali and Malyalam) and achieved SOTA results for Hindi in all of them on the Challenge set while remaining competitive for the other languages in the shared task.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
