将人脸插入字幕中：基于注意力引导合并的图像字幕生成
Inserting Faces inside Captions: Image Captioning with Attention Guided Merging
AI总结：
本文提出 AstroCaptions 数据集和一种基于可解释AI与视觉-语言模型的后处理方法，将识别出的人物姓名插入图像字幕，显著提升字幕质量并减少幻觉。
摘要：
图像字幕生成模型被广泛用于描述近期和存档图片，目的是提高其可访问性和检索能力。然而，这些方法在检索人物姓名方面往往效率低下且存在偏差。在这项工作中，我们引入了 AstroCaptions，一个用于图像字幕生成任务的数据集。该数据集特别包含数千个传统模型难以识别的公众人物。我们还提出了一种新颖的后处理方法，利用可解释人工智能工具和视觉-语言模型的定位能力，将识别出的人物姓名插入字幕中。使用该方法获得的结果表明，字幕质量显著提高，并且有减少幻觉的潜力。高达 93.2% 的检测到的人物可以被插入图像字幕中，从而使每个字幕生成模型的 BLEU、ROUGE、CIDEr 和 METEOR 分数得到提升。
英文摘要：
Image captioning models are widely used to describe recent and archived pictures with the objective of improving their accessibility and retrieval. Yet, these approaches tend to be inefficient and biased at retrieving people's names. In this work we introduce AstroCaptions, a dataset for the image captioning task. This dataset specifically contains thousands of public fig-ures that are complex to identify for a traditional model. We also propose a novel post-processing method to insert identified people's names inside the caption using explainable AI tools and the grounding capabilities of vi-sion-language models. The results obtained with this method show signifi-cant improvements of captions quality and a potential of reducing halluci-nations. Up to 93.2% of the persons detected can be inserted in the image captions leading to improvements in the BLEU, ROUGE, CIDEr and METEOR scores of each captioning model.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
