LMCap：基于检索增强语言模型提示的少样本多语言图像描述
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
AI总结：
本文提出LMCap，一种无需多语言描述训练数据的少样本图像描述模型，通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述，在XM3600上达到与全监督模型相当的性能。
摘要：
多语言图像描述最近通过使用大规模机器翻译数据进行训练来解决，但这是一个昂贵、嘈杂且耗时的过程。在不需要任何多语言描述数据的情况下，我们提出了LMCap，一种图像盲的少样本多语言描述模型，它通过向语言模型提示检索到的描述来工作。具体而言，不同于遵循标准的编码器-解码器范式，给定一幅图像，LMCap首先使用多语言CLIP编码器检索相似图像的描述。然后将这些描述组合成XGLM解码器的提示，以便生成所需语言的描述。换句话说，生成模型不直接处理图像，而是处理检索到的描述。在包含地理多样性图像的XM3600数据集上的实验表明，我们的模型与完全监督的多语言描述模型具有竞争力，而无需在任何描述数据上进行任何监督训练。
英文摘要：
Multilingual image captioning has recently been tackled by training with large-scale machine translated data, which is an expensive, noisy, and time-consuming process. Without requiring any multilingual caption data, we propose LMCap, an image-blind few-shot multilingual captioning model that works by prompting a language model with retrieved captions. Specifically, instead of following the standard encoder-decoder paradigm, given an image, LMCap first retrieves the captions of similar images using a multilingual CLIP encoder. These captions are then combined into a prompt for an XGLM decoder, in order to generate captions in the desired language. In other words, the generation model does not directly process the image, instead processing retrieved captions. Experiments on the XM3600 dataset of geographically diverse images show that our model is competitive with fully-supervised multilingual captioning models, without requiring any supervised training on any captioning data.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
