OPI 在 SemEval 2023 任务 1：面向视觉词义消歧的图像-文本嵌入与多模态信息检索
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
AI总结：
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统，在 SemEval 2023 多语言任务中获第三名，并在波斯语赛道夺冠。
摘要：
视觉词义消歧的目标是找到与所给词义描述最匹配的图像。这是一个具有挑战性的问题，需要结合语言与图像理解的方法。本文介绍了我们提交给 SemEval 2023 视觉词义消歧共享任务的系统。所提系统融合了多模态嵌入、排序学习方法和基于知识的方法。我们构建了一个基于 CLIP 模型的分类器，并用从维基百科和词汇数据库中检索到的额外信息对其结果进行增强。我们的方案在多语言任务中排名第三，并在波斯语赛道（三个语言子任务之一）中获胜。
英文摘要：
The goal of visual word sense disambiguation is to find the image that best matches the provided description of the word's meaning. It is a challenging problem, requiring approaches that combine language and image understanding. In this paper, we present our submission to SemEval 2023 visual word sense disambiguation shared task. The proposed system integrates multimodal embeddings, learning to rank methods, and knowledge-based approaches. We build a classifier based on the CLIP model, whose results are enriched with additional information retrieved from Wikipedia and lexical databases. Our solution was ranked third in the multilingual task and won in the Persian track, one of the three language subtasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
