视频摘要：迈向实体感知字幕
Video Summarization: Towards Entity-Aware Captions
AI总结：
针对新闻视频字幕缺乏命名实体的问题，提出实体感知字幕任务，发布VIEWS数据集，并利用外部知识增强视觉信息，在三个模型上验证有效性。
摘要：
现有的流行视频字幕基准和模型处理的是缺乏特定人物、地点或组织命名实体的通用字幕。相比之下，新闻视频呈现了一个具有挑战性的场景，其中字幕需要此类命名实体才能进行有意义的摘要。因此，我们提出了将新闻视频直接摘要为实体感知字幕的任务。我们还发布了一个大规模数据集VIEWS（视频新闻），以支持该任务的研究。此外，我们提出了一种方法，该方法通过从外部世界知识中检索的上下文来增强视频的视觉信息，以生成实体感知字幕。我们在三个视频字幕模型上展示了我们方法的有效性。我们还表明，我们的方法可以推广到现有的新闻图像字幕数据集。凭借所有广泛的实验和见解，我们相信我们为这一具有挑战性的任务的未来研究奠定了坚实的基础。
英文摘要：
Existing popular video captioning benchmarks and models deal with generic captions devoid of specific person, place or organization named entities. In contrast, news videos present a challenging setting where the caption requires such named entities for meaningful summarization. As such, we propose the task of summarizing news video directly to entity-aware captions. We also release a large-scale dataset, VIEWS (VIdeo NEWS), to support research on this task. Further, we propose a method that augments visual information from videos with context retrieved from external world knowledge to generate entity-aware captions. We demonstrate the effectiveness of our approach on three video captioning models. We also show that our approach generalizes to existing news image captions dataset. With all the extensive experiments and insights, we believe we establish a solid basis for future research on this challenging task.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
