SEA-CLIP-Tiny：面向东南亚语言的高效多语言文本-视觉嵌入模型
SEA-CLIP-Tiny: Efficient Multilingual Text-Vision Embedding for Southeast Asian Languages
浏览论文内容
中文总结 AI 辅助
本文提出SEA-CLIP-Tiny，一个参数少于50M的紧凑多语言文本-视觉嵌入模型，通过区域数据整理和CLIP-KD风格框架适配东南亚语言，在七种语言上取得最优平均检索性能，并比MobileCLIP2参数减少38.4%、R@10提升12.1点。
中文摘要 AI 辅助
多语言文本-视觉嵌入模型对于跨语言图像-文本检索至关重要，但由于东南亚地区的语言多样性以及有限的数据和计算资源，该地区的语言在现有模型中支持不足。在本文中，我们介绍了SEA-CLIP-Tiny，一个面向东南亚的紧凑型多语言文本-视觉嵌入模型，其参数少于5000万。我们的模型通过区域数据整理和多语言教师指导，将CLIP-KD风格的框架适配到东南亚多语言设置中。在七种东南亚语言上的实验表明，SEA-CLIP-Tiny在评估的学生模型中取得了最强的平均检索性能，在R@1、R@5和R@10上分别达到12.9%、31.5%和42.2%。与MobileCLIP2相比，它在使用参数减少38.4%且CPU延迟更低的情况下，将平均R@10提高了12.1个百分点。这些结果凸显了区域感知训练对于东南亚高效多语言文本-视觉模型的重要性。
英文摘要
Multilingual text-vision embedding models are essential for cross-lingual image-text retrieval, but Southeast Asian languages remain poorly supported due to the region's linguistic diversity and limited data and computing resources. In this paper, we introduce SEA-CLIP-Tiny, a compact multilingual text-vision embedding model for Southeast Asia with fewer than 50M parameters. Our model adapts a CLIP-KD-style framework to Southeast Asian multilingual settings through regional data curation and multilingual teacher guidance. Experiments across seven Southeast Asian languages show that SEA-CLIP-Tiny achieves the strongest average retrieval performance among the evaluated student models, reaching 12.9%, 31.5%, and 42.2% at R@1, R@5, and R@10, respectively. Compared with MobileCLIP2, it improves average R@10 by 12.1 points while using 38.4% fewer parameters and lower measured CPU latency. These results highlight the importance of region-aware training for efficient multilingual text-vision models in Southeast Asia.
发表机构
- SEACrowd
- University of Indonesia（印度尼西亚大学）
- Cohere Labs Community（Cohere Labs 社区）
- Technical University of Denmark（丹麦技术大学）
- Chulalongkorn University（朱拉隆功大学）
- Vidyasirimedhi Institute of Science and Technology（维迪亚西里梅迪科学技术研究所）
- AI Singapore（新加坡人工智能）
机构由 AI 辅助整理，请以论文原文为准。
