在视觉语言模型中保留局部化补丁语义
Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models
AI总结：
为解决视觉语言模型中图像与文本 tokens 信息扩散问题，提出 Logit Lens Loss（LLL）以保留图像 tokens 的局部化语义，提升模型可解释性和分割任务性能。
摘要：
Logit Lens 已被提出用于可视化对 LLM 回答贡献最大的 tokens。最近，Logit Lens 也被证明适用于自回归的视觉语言模型（VLMs），其中它以热图的形式展示图像 tokens 的概念内容，例如在给定图像中哪些图像 tokens 可能描绘猫的概念。然而，图像 tokens 的视觉内容往往扩散到语言 tokens，从而导致视觉信息的局部性大部分被破坏，这使得 Logit Lens 可视化在可解释性上不可用。为了解决这个问题，我们引入了一个互补的损失函数到下一个 token 预测（NTP）中，以防止视觉 tokens 丢失从相应图像补丁继承的视觉表示。所提出的 Logit Lens 损失（LLL）旨在使视觉 token 嵌入更语义上与描述其图像区域的文本概念对齐（例如，包含猫的补丁与单词“cat”）。无需任何架构修改或大规模训练。这样，LLL 会约束自注意力层中图像和文本 tokens 的混合，以防止图像 tokens 丢失其局部化的视觉信息。正如我们的实验所显示的，LLL 不仅使 Logit Lens 实用，通过在图像中产生有意义的对象置信度图，还提高了在以视觉为中心的任务如分割上的性能，而无需附加任何特殊头。
英文摘要：
Modern autoregressive Vision-Language Models (VLMs) can generate fluent answers while their visual-token representations become weakly tied to the image regions from which they originate. This limits patch-level explainability: a visual token should remain interpretable as the image patch it represents. We study this issue through Logit Lens maps, obtained by projecting each visual-token embedding through the LLM vocabulary head to measure how strongly each image patch is associated with a queried textual concept, such as "cat". We introduce Logit Lens Loss (LLL), a lightweight auxiliary objective that preserves localized visual semantics by directly aligning object-related visual tokens with the vocabulary concepts describing their image regions. LLL requires no architectural modification, mask decoder, or large-scale retraining. We evaluate LLL through both explanation quality and downstream performance. Across LLaVA-v1.5-7B and Qwen2.5-VL-7B, LLL yields sharper object confidence maps, improves grounding and hallucination metrics, transfers to zero-shot pointing, and preserves VQA performance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
