arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2304.06212cs.CV
收藏

[CLS] Token 就是零样本语义分割所需的全部

[CLS] Token is All You Need for Zero-Shot Semantic Segmentation

Southeast University(东南大学);Shanghai Jiao Tong University(上海交通大学);Eastern Institute for Advanced Study(东方理工高等研究院);Wuhan University(武汉大学)

Letian Wu, Wenyao Zhang, Tengping Jiang, Wankou Yang, Xin Jin, Wenjun Zeng

AI总结:

本文提出 ClsCLIP,利用 CLIP 文本分支的 [CLS] token 作为类别先验,通过单向导航引导视觉编码器实现零样本语义分割,并结合局部放大策略提升微小目标分割性能,达到 SOTA 水平。

摘要:

在本文中,我们提出了一种极其简单但高效的零样本语义分割(ZS3)方法,该方法基于预训练的视觉-语言模型 CLIP。首先,我们的研究提供了几个关键发现:(i)CLIP 中文本分支的全局 token(即 Transformer 中的 [CLS] token)提供了强大的语义信息表示;(ii)这些文本侧的 [CLS] token 可以被视为类别先验,引导 CLIP 视觉编码器更加关注相应的感兴趣区域。基于此,我们以 CLIP 模型为骨干,扩展了一种从文本到视觉分支的单向 [CLS] token 导航机制,实现零样本密集预测,命名为 ClsCLIP。具体而言,我们使用文本分支输出的 [CLS] token 作为辅助语义提示,替换基于 ViT 的视觉编码器浅层中的 [CLS] token。这种单向导航更早地嵌入了全局类别先验,从而促进语义分割。此外,为了更好地分割 ZS3 中的微小目标,我们进一步通过局部放大策略增强 ClsCLIP,该策略采用区域提议预处理,得到 ClsCLIP+。大量实验表明,我们提出的 ZS3 方法达到了 SOTA 性能,甚至可与那些少样本语义分割方法相媲美。

英文摘要:

In this paper, we propose an embarrassingly simple yet highly effective zero-shot semantic segmentation (ZS3) method, based on the pre-trained vision-language model CLIP. First, our study provides a couple of key discoveries: (i) the global tokens (a.k.a [CLS] tokens in Transformer) of the text branch in CLIP provide a powerful representation of semantic information and (ii) these text-side [CLS] tokens can be regarded as category priors to guide CLIP visual encoder pay more attention on the corresponding region of interest. Based on that, we build upon the CLIP model as a backbone which we extend with a One-Way [CLS] token navigation from text to the visual branch that enables zero-shot dense prediction, dubbed \textbf{ClsCLIP}. Specifically, we use the [CLS] token output from the text branch, as an auxiliary semantic prompt, to replace the [CLS] token in shallow layers of the ViT-based visual encoder. This one-way navigation embeds such global category prior earlier and thus promotes semantic segmentation. Furthermore, to better segment tiny objects in ZS3, we further enhance ClsCLIP with a local zoom-in strategy, which employs a region proposal pre-processing and we get ClsCLIP+. Extensive experiments demonstrate that our proposed ZS3 method achieves a SOTA performance, and it is even comparable with those few-shot semantic segmentation methods.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑