面向艺术的上下文融合视觉定位
Context-Infused Visual Grounding for Art
AI总结：
本文提出CIGAr方法，通过在训练中利用艺术品描述作为上下文实现面向艺术的视觉定位，并构建新数据集Ukiyo-eVG，在两个艺术品数据集上取得目标检测新SOTA。
摘要：
许多艺术品收藏包含提供丰富且情境化艺术品描述的文本属性。视觉定位提供了在这些描述中将主体定位到图像上的潜力，然而，现有方法在自然图像上训练，且对艺术的泛化能力较差。在本文中，我们提出了CIGAr（Context-Infused GroundingDINO for Art，面向艺术的上下文融合GroundingDINO），这是一种在训练期间利用艺术品描述作为上下文的视觉定位方法，从而实现了对艺术的视觉定位。此外，我们提出了一个新数据集Ukiyo-eVG，包含手动标注的短语定位标注，并在两个艺术品数据集上设定了目标检测的新最先进水平。
英文摘要：
Many artwork collections contain textual attributes that provide rich and contextualised descriptions of artworks. Visual grounding offers the potential for localising subjects within these descriptions on images, however, existing approaches are trained on natural images and generalise poorly to art. In this paper, we present CIGAr (Context-Infused GroundingDINO for Art), a visual grounding approach which utilises the artwork descriptions during training as context, thereby enabling visual grounding on art. In addition, we present a new dataset, Ukiyo-eVG, with manually annotated phrase-grounding annotations, and we set a new state-of-the-art for object detection on two artwork datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
