Brotherhood 在 WMT 2024：利用 LLM 生成的上下文对话进行跨语言图像描述
Brotherhood at WMT 2024: Leveraging LLM-Generated Contextual Conversations for Cross-Lingual Image Captioning
AI总结：
本文提出利用 GPT-4o 和 Claude 3.5 Sonnet 等 LLM 生成上下文对话并结合加权提示策略，在无需训练或微调的情况下提升跨语言图像描述性能，并在 WMT 2024 低资源多模态翻译任务中取得领先结果。
摘要：
本文描述了我们在团队名称 Brotherhood 下参加英语到低资源多模态翻译任务的系统。我们参与了英语-印地语、英语-豪萨语、英语-孟加拉语和英语-马拉雅拉姆语语言对的多模态翻译任务。我们提出了一种利用多模态大语言模型（LLMs）的方法，具体使用 GPT-4o 和 Claude 3.5 Sonnet，在无需传统训练或微调的情况下增强跨语言图像描述。我们的方法利用指令调优提示来生成关于裁剪图像的丰富上下文对话，并使用其英语描述作为额外上下文。这些合成对话随后被翻译成目标语言。最后，我们采用加权提示策略，在原始英语描述与翻译后的对话之间进行平衡，以生成目标语言的描述。该方法取得了具有竞争力的结果，在英语-印地语挑战集上获得 37.90 BLEU 分，并在英语-豪萨语的挑战排行榜和评估排行榜上分别排名第一和第二。我们还在 250 张图像的子集上进行了额外实验，探索了各种加权方案下 BLEU 分数与语义相似度之间的权衡。
英文摘要：
In this paper, we describe our system under the team name Brotherhood for the English-to-Lowres Multi-Modal Translation Task. We participate in the multi-modal translation tasks for English-Hindi, English-Hausa, English-Bengali, and English-Malayalam language pairs. We present a method leveraging multi-modal Large Language Models (LLMs), specifically GPT-4o and Claude 3.5 Sonnet, to enhance cross-lingual image captioning without traditional training or fine-tuning. Our approach utilizes instruction-tuned prompting to generate rich, contextual conversations about cropped images, using their English captions as additional context. These synthetic conversations are then translated into the target languages. Finally, we employ a weighted prompting strategy, balancing the original English caption with the translated conversation to generate captions in the target language. This method achieved competitive results, scoring 37.90 BLEU on the English-Hindi Challenge Set and ranking first and second for English-Hausa on the Challenge and Evaluation Leaderboards, respectively. We conduct additional experiments on a subset of 250 images, exploring the trade-offs between BLEU scores and semantic similarity across various weighting schemes.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
