CountCLIP——[重新]教会CLIP数到十
CountCLIP -- [Re] Teaching CLIP to Count to Ten
AI总结：
本文复现了“教会CLIP数到十”的方法，通过引入计数对比损失微调CLIP，在更小数据子集和更低计算资源下提升零样本计数准确率，同时保持零样本分类性能。
摘要：
大型视觉-语言模型（VLM）已被证明能够学习丰富的联合图像-文本表示，从而在相关下游任务中实现高性能。然而，它们未能展示对物体的定量理解，并且缺乏良好的计数感知表示。本文对“教会CLIP数到十”（Paiss等人，2023）进行了可复现性研究，该研究提出了一种方法，通过引入计数对比损失项来微调CLIP模型（Radford等人，2021），以提高图像中的零样本计数准确率，同时保持零样本分类的性能。我们在其训练数据的一个较小子集上以较低的计算资源提升了模型性能。我们通过使用自己的代码复现他们的研究来验证这些声明。实现代码可在https://github.com/SforAiDl/CountCLIP找到。
英文摘要：
Large vision-language models (VLMs) are shown to learn rich joint image-text representations enabling high performances in relevant downstream tasks. However, they fail to showcase their quantitative understanding of objects, and they lack good counting-aware representation. This paper conducts a reproducibility study of 'Teaching CLIP to Count to Ten' (Paiss et al., 2023), which presents a method to finetune a CLIP model (Radford et al., 2021) to improve zero-shot counting accuracy in an image while maintaining the performance for zero-shot classification by introducing a counting-contrastive loss term. We improve the model's performance on a smaller subset of their training data with lower computational resources. We verify these claims by reproducing their study with our own code. The implementation can be found at https://github.com/SforAiDl/CountCLIP.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
