从图像中挖掘情境化视觉关联以理解创造力
Mining Contextualized Visual Associations from Images for Creativity Understanding
AI总结：
本文提出可扩展至未标注图像的情境化视觉关联挖掘方法，据此为 MSCOCO 构建170万条分层抽象的创意描述，并提升创意领域零样本图文检索性能。
摘要：
理解他人的创造性产出需要一种共享的联想语言。然而，在训练 CLIP 等视觉-语言模型时，我们依赖的是从网络抓取的数据集，其中包含简短且主要是字面性的替代文本。在本研究中，我们提出一种为图像中的显著视觉元素挖掘情境化关联的方法，该方法可扩展到任何未标注数据集。给定一幅图像，我们可以利用这些挖掘出的关联，以不断提高的抽象程度生成高质量的创意描述。利用该方法，我们为 MSCOCO 中的图像构建了一个新的视觉关联数据集和 170 万条创意描述。人工评估证实，这些描述既保持了视觉依据，又呈现出可辨识的、不断增强的抽象性。此外，在该数据集上微调视觉编码器，可在诗歌和隐喻可视化两个创意领域的零样本图文检索中取得有意义的提升。我们向更广泛的社区发布数据集、生成代码和模型。
英文摘要：
Understanding another person's creative output requires a shared language of association. However, when training vision-language models such as CLIP, we rely on web-scraped datasets containing short, predominantly literal, alt-text. In this work, we introduce a method for mining contextualized associations for salient visual elements in an image that can scale to any unlabeled dataset. Given an image, we can use these mined associations to generate high quality creative captions at increasing degrees of abstraction. With our method, we produce a new dataset of visual associations and 1.7m creative captions for the images in MSCOCO. Human evaluation confirms that these captions remain visually grounded while exhibiting recognizably increasing abstraction. Moreover, fine-tuning a visual encoder on this dataset yields meaningful improvements in zero-shot image-text retrieval in two creative domains: poetry and metaphor visualization. We release our dataset, our generation code and our models for use by the broader community.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
