用于开放词汇零样本分割的合成描述
Synthetic Captions for Open-Vocabulary Zero-Shot Segmentation
AI总结：
本研究通过将图像与VLMs生成的低成本、可扩展合成描述进行密集对齐，结合了生成式VLM与表示学习两条路线，在零样本开放词汇分割基准上超越了先前工作且数据效率更高。
摘要：
我们的研究结果表明，生成式视觉语言模型（VLMs）展现出强大的高层图像理解能力，但在视觉与语言模态之间缺乏空间上密集的对齐。与生成式VLMs的进展正交，另一条研究路线专注于用于视觉语言对齐的表示学习，旨在实现如分割等密集任务的零样本推理。在本研究中，我们通过将图像与VLMs生成的合成描述进行密集对齐，将这两个方向联系起来。合成描述成本低廉、可扩展且易于生成，使其成为密集对齐方法的高层语义理解的绝佳来源。在经验上，我们的方法在标准的零样本开放词汇分割基准/数据集上优于先前的工作，同时具有更高的数据效率。
英文摘要：
Generative vision-language models (VLMs) exhibit strong high-level image understanding but lack spatially dense alignment between vision and language modalities, as our findings indicate. Orthogonal to advancements in generative VLMs, another line of research has focused on representation learning for vision-language alignment, targeting zero-shot inference for dense tasks like segmentation. In this work, we bridge these two directions by densely aligning images with synthetic descriptions generated by VLMs. Synthetic captions are inexpensive, scalable, and easy to generate, making them an excellent source of high-level semantic understanding for dense alignment methods. Empirically, our approach outperforms prior work on standard zero-shot open-vocabulary segmentation benchmarks/datasets, while also being more data-efficient.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
