arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2509.22123cs.CL

多语言视觉-语言模型:综述

Multilingual Vision-Language Models, A Survey

Faculty of Mathematics and Physics, Charles University, V Holešovičkách 747/2, Prague, Czech Republic(数学与物理系,查尔斯大学,V Holešovičkách 747/2,布拉格,捷克共和国)

Andrei-Alexandru Manea, Jindřich Libovický

AI总结:

本文综述了处理多语言文本和图像的视觉-语言模型,分析了语言中立性与文化意识之间的矛盾,指出对比学习在训练中的主导地位及文化适应性的数据依赖性。

摘要:

本文综述了多语言视觉-语言模型,探讨了处理跨语言文本和图像的模型。我们回顾了33个模型和23个基准测试,涵盖了仅编码器架构和生成式架构。研究发现语言中立性(一致的跨语言表示)与文化意识(适应文化背景)之间存在关键矛盾。当前训练方法通过对比学习倾向于中立性,而文化意识依赖于多样化数据。三分之二的评估基准使用基于翻译的方法优先考虑语义一致性,尽管近期工作纳入了文化相关的内容。我们发现跨语言能力的不一致性和训练目标与评估目标之间的差距。

英文摘要:

This survey examines multilingual vision-language models that process text and images across languages. We review 33 models and 23 benchmarks, spanning encoder-only and generative architectures, and identify a key tension between language neutrality (consistent cross-lingual representations) and cultural awareness (adaptation to cultural contexts). Current training methods favor neutrality through contrastive learning, while cultural awareness depends on diverse data. Two-thirds of evaluation benchmarks use translation-based approaches prioritizing semantic consistency, though recent work incorporates culturally grounded content. We find discrepancies in cross-lingual capabilities and gaps between training objectives and evaluation goals.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑