Generative Giants, Retrieval Weaklings: Why do Multimodal Large Language Models Fail at Multimodal Retrieval?
生成巨人,检索弱者:为何多模态大语言模型在多模态检索中表现不佳?
机构 * University of Electronic Science and Technology of China(电子科技大学) ; Peking University(北京大学) ; Tencent Inc(腾讯公司) ; Zhongguancun Academy(中关村学院)
专题命中 指令微调 :large language model(title,abstract);language model(title,abstract)
AI总结 研究揭示多模态大语言模型在多模态检索中表现不佳的原因,通过稀疏自编码器分析发现其表示空间主要由文本语义构成,视觉语义不足,导致检索性能下降,提出ReAlign方法提升检索效果。