PIN：位置插入解锁 VLMs 中的目标定位能力
PIN: Positional Insert Unlocks Object Localisation Abilities in VLMs
AI总结：
本文提出 PIN 方法，通过在冻结的描述型 VLM 中引入可学习的空间提示，无需监督检测数据即可解锁目标定位能力，在多种图像上实现了强大的零样本定位性能。
摘要：
视觉语言模型（VLMs），如 Flamingo 和 GPT-4V，通过将大型语言模型与视觉系统集成，展现出了巨大的潜力。然而，这些模型在目标定位这一基础计算机视觉任务上面临挑战，因为它们的训练数据多模态多包含缺乏明确空间基础的描述。虽然可以构建带有边界框标注的自定义监督训练管道与 VLMs 集成，但这会导致模型专业化且难以扩展。本文旨在探索基于描述的 VLMs 的极限，并提出以更简单的方式应对挑战：i）保持基于描述的 VLM 权重冻结，ii）不使用任何监督检测数据。为此，我们引入了输入无关的位置插入（PIN），这是一种可学习的空间提示，包含少量参数，在冻结的 VLM 内部滑动，从而解锁目标定位能力。我们的 PIN 模块通过在合成数据上进行简单的下一 token 预测任务训练，无需引入新的输出头。实验表明，该方法在多种图像上表现出强大的零样本定位性能，包括 Pascal VOC、COCO、LVIS 以及绘画或卡通等多样化图像。
英文摘要：
Vision-Language Models (VLMs), such as Flamingo and GPT-4V, have shown immense potential by integrating large language models with vision systems. Nevertheless, these models face challenges in the fundamental computer vision task of object localisation, due to their training on multimodal data containing mostly captions without explicit spatial grounding. While it is possible to construct custom, supervised training pipelines with bounding box annotations that integrate with VLMs, these result in specialized and hard-to-scale models. In this paper, we aim to explore the limits of caption-based VLMs and instead propose to tackle the challenge in a simpler manner by i) keeping the weights of a caption-based VLM frozen and ii) not using any supervised detection data. To this end, we introduce an input-agnostic Positional Insert (PIN), a learnable spatial prompt, containing a minimal set of parameters that are slid inside the frozen VLM, unlocking object localisation capabilities. Our PIN module is trained with a simple next-token prediction task on synthetic data without requiring the introduction of new output heads. Our experiments demonstrate strong zero-shot localisation performances on a variety of images, including Pascal VOC, COCO, LVIS, and diverse images like paintings or cartoons.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
