EAMA：基于实体感知多模态对齐的新闻图像描述方法
EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning
AI总结：
针对新闻图像描述中实体信息处理不足及文本输入充分性与简洁性权衡问题，提出EAMA方法，通过实体感知句子选择和实体选择两个对齐任务增强MLLM，在两个主流数据集上超越先前模型。
摘要：
新闻图像描述要求模型结合新闻图像和相关的新闻文章，生成富含实体的信息丰富的描述。当前的多模态大语言模型（MLLMs）在处理新闻图像描述任务中的实体信息方面仍存在局限性。此外，生成高质量的新闻图像描述需要在文本输入信息的充分性和简洁性之间进行权衡。为了探索MLLMs的潜力并解决我们发现的问题，我们提出了EAMA：一种基于实体感知多模态对齐的新闻图像描述方法。我们的方法首先通过两个额外的对齐任务（实体感知句子选择任务和实体选择任务）以及新闻图像描述任务来对齐MLLM。对齐后的MLLM将利用其自身提取的额外实体相关信息，在生成新闻图像描述时补充文本输入。我们的方法在两个主流新闻图像描述数据集上取得了优于所有先前模型的结果。
英文摘要：
News image captioning requires model to generate an informative caption rich in entities, with the news image and the associated news article. Current MLLMs still bear limitations in handling entity information in news image captioning tasks. Besides, generating high-quality news image captions requires a trade-off between sufficiency and conciseness of textual input information. To explore the potential of MLLMs and address problems we discovered, we propose EAMA: an Entity-Aware Multimodal Alignment based approach for News Image Captioning. Our approach first aligns the MLLM with two extra alignment tasks: Entity-Aware Sentence Selection task and Entity Selection task, together with News Image Captioning task. The aligned MLLM will utilize the additional entity-related information extracted by itself to supplement the textual input while generating news image captions. Our approach achieves better results than all previous models on two mainstream news image captioning datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
