隐藏在显而易见之处：VLM 忽视了其视觉表征
Hidden in plain sight: VLMs overlook their visual representations
AI总结：
本文通过将 VLM 与其视觉编码器直接读出比较，发现 VLM 在深度估计、对应关系等视觉基准上接近随机表现，瓶颈在于 LLM 未能有效利用视觉信息而继承语言先验。
摘要：
语言为指定和评估视觉任务上的性能提供了一种自然接口。要实现这一可能性，视觉语言模型（VLM）必须成功整合视觉与语言信息。我们的工作将 VLM 与其视觉编码器的直接读出结果进行比较，以理解它们跨这些模态进行整合的能力。在一系列以视觉为中心的基准测试（例如深度估计、对应关系）上，我们发现 VLM 的表现显著差于其视觉编码器，性能降至接近随机水平。我们通过对整个 VLM 的一系列分析来研究这些结果：即 1）视觉表征的退化，2）对任务提示的脆弱性，以及 3）语言模型在解决任务中的作用。我们发现，执行这些以视觉为中心任务的瓶颈在于第三类；VLM 没有有效利用在整个模型中都易于获取的视觉信息，并且它们继承了 LLM 中存在的语言先验。我们的工作有助于诊断开源 VLM 的失败模式，并提出了一系列评估，可用于未来对 VLM 内部视觉理解的研究。
英文摘要：
Language provides a natural interface to specify and evaluate performance on visual tasks. To realize this possibility, vision language models (VLMs) must successfully integrate visual and linguistic information. Our work compares VLMs to a direct readout of their visual encoders to understand their ability to integrate across these modalities. Across a series of vision-centric benchmarks (e.g., depth estimation, correspondence), we find that VLMs perform substantially worse than their visual encoders, dropping to near-chance performance. We investigate these results through a series of analyses across the entire VLM: namely 1) the degradation of vision representations, 2) brittleness to task prompt, and 3) the language model's role in solving the task. We find that the bottleneck in performing these vision-centric tasks lies in this third category; VLMs are not effectively using visual information easily accessible throughout the entire model, and they inherit the language priors present in the LLM. Our work helps diagnose the failure modes of open-source VLMs, and presents a series of evaluations useful for future investigations into visual understanding within VLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
