在多模态大语言模型兴起的时代重新思考图像检索的稀疏词法表示
Rethinking Sparse Lexical Representations for Image Retrieval in the Age of Rising Multi-Modal Large Language Models
AI总结：
本文利用支持视觉提示的多模态大语言模型提取图像特征并转换为文本，采用稀疏检索算法进行图像检索，结合数据增强扩展关键词，在多个数据集上取得了优于传统方法的准确率和召回率。
摘要：
本文重新思考了图像检索中的稀疏词法表示。通过利用支持视觉提示的多模态大语言模型（M-LLMs），我们可以提取图像特征并将其转换为文本数据，从而能够使用自然语言处理中高效的稀疏检索算法来完成图像检索任务。为辅助LLM提取图像特征，我们应用数据增强技术进行关键词扩展，并利用图像与文本数据之间的相关性度量来分析其影响。我们通过实验证明，在以关键词作为搜索查询的基于关键词的图像检索场景中，与传统的基于视觉-语言模型的方法相比，我们的图像检索方法在MS-COCO、PASCAL VOC和NUS-WIDE数据集上表现出更优的准确率和召回率性能。我们还证明，通过迭代地将关键词纳入搜索查询，可以提升检索性能。
英文摘要：
In this paper, we rethink sparse lexical representations for image retrieval. By utilizing multi-modal large language models (M-LLMs) that support visual prompting, we can extract image features and convert them into textual data, enabling us to utilize efficient sparse retrieval algorithms employed in natural language processing for image retrieval tasks. To assist the LLM in extracting image features, we apply data augmentation techniques for key expansion and analyze the impact with a metric for relevance between images and textual data. We empirically show the superior precision and recall performance of our image retrieval method compared to conventional vision-language model-based methods on the MS-COCO, PASCAL VOC, and NUS-WIDE datasets in a keyword-based image retrieval scenario, where keywords serve as search queries. We also demonstrate that the retrieval performance can be improved by iteratively incorporating keywords into search queries.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
