arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2301.08784cs.CLcs.CV

面向图像字幕的视觉语义相关性数据集

Visual Semantic Relatedness Dataset for Image Captioning

Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);TALP Research Center(TALP研究中心);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所)

Ahmed Sabir, Francesc Moreno-Noguer, Lluís Padró

AI总结:

本研究针对图像字幕任务,在COCO Captions数据集基础上扩展场景文本信息,构建文本视觉上下文数据集,支持将多种NLP方法以端到端或后处理方式融入字幕系统。

摘要:

现代图像字幕系统高度依赖从图像中提取知识以捕捉静态故事的概念。本文提出了一种用于字幕任务的文本视觉上下文数据集,该数据集在公开数据集COCO Captions(Lin等人,2014)的基础上,扩展了场景相关信息(如图像中的物体)。由于这些信息采用文本形式,因此可将文本相似度、语义关系方法等任意NLP任务应用于字幕系统,既可以作为端到端训练策略,也可以作为基于后处理的方法。

英文摘要:

Modern image captioning system relies heavily on extracting knowledge from images to capture the concept of a static story. In this paper, we propose a textual visual context dataset for captioning, in which the publicly available dataset COCO Captions (Lin et al., 2014) has been extended with information about the scene (such as objects in the image). Since this information has a textual form, it can be used to leverage any NLP task, such as text similarity or semantic relation methods, into captioning systems, either as an end-to-end training strategy or a post-processing based approach.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑