LatentLens: 揭示大语言模型中高度可解释的视觉标记
LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs
AI总结：
提出 LatentLens 方法，通过将视觉标记与文本语料库中的上下文标记表示进行最近邻匹配，实现视觉标记的可解释性，发现大多数视觉标记在各层均具有可解释性。
摘要：
将大型语言模型（LLM）转换为视觉语言模型（VLM）可以通过将视觉编码器输出的视觉标记映射到LLM的嵌入空间来实现。有趣的是，这种映射可以简单到浅层MLP变换。为了理解LLM为何能如此容易地处理视觉标记，我们需要可解释性方法来揭示在LLM处理的每一层中视觉标记表示所编码的内容。在这项工作中，我们引入了LatentLens，一种将潜在表示映射到自然语言描述的新方法。LatentLens编码一个大型文本语料库，并存储该语料库中每个标记的上下文化标记表示。然后将视觉标记表示与这些上下文化表示进行比较，并将最邻近的表示作为视觉标记的描述。我们在15个不同的VLM上评估了该方法，结果表明，常用的方法（如LogitLens）大大低估了视觉标记的可解释性。相反，使用LatentLens，大多数视觉标记在所有研究的模型和所有层中都是可解释的。定性上，我们展示了LatentLens产生的描述在语义上有意义，并且与单个标记相比，为人类提供了更细粒度的解释。更广泛地说，我们的发现为视觉和语言表示之间的对齐提供了新的证据，并为分析LLM的潜在表示开辟了新的方向。
英文摘要：
Transforming a large language model (LLM) into a vision-language model (VLM) can be achieved by mapping the visual tokens from a vision encoder into the embedding space of an LLM. Intriguingly, this mapping can be as simple as a shallow MLP transformation. To understand why LLMs can so readily process visual tokens, we need interpretability methods that reveal what is encoded in the visual token representations at every layer of LLM processing. In this work, we introduce LatentLens, a novel approach for mapping latent representations to descriptions in natural language. LatentLens encodes a large text corpus and stores contextualized token representations for each token in that corpus. Visual token representations are then compared to these contextualized representations and the top-nearest neighbor representations serve as descriptions of the visual token. We evaluate this method on 15 different VLMs, showing that commonly used methods, such as LogitLens, substantially underestimate the interpretability of visual tokens. With LatentLens instead, the majority of visual tokens are interpretable across all studied models and all layers. Qualitatively, we show that the descriptions produced by LatentLens are semantically meaningful and provide more fine-grained interpretations for humans compared to individual tokens. More broadly, our findings contribute new evidence on the alignment between vision and language representations and open up new directions for analyzing the latent representations of LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
