这只是又一天：通过判别性提示进行唯一视频字幕生成
It's Just Another Day: Unique Video Captioning by Discriminative Prompting
AI总结：
本文提出唯一视频字幕生成问题及CDP方法，通过预测区分相同字幕片段的属性生成唯一字幕，在第一人称视频和时间循环电影基准上显著提升了文本到视频检索R@1指标。
摘要：
长视频包含许多重复的动作、事件和镜头。这些重复内容经常被赋予相同的字幕，这使得通过文本搜索检索确切的所需片段变得困难。在本文中，我们提出了唯一字幕生成问题：给定多个具有相同字幕的片段，我们为每个片段生成一个能唯一标识它的新字幕。我们提出了通过判别性提示进行字幕生成（CDP），该方法预测一个能够区分具有相同字幕的片段的属性，并利用它来生成唯一字幕。我们引入了两个用于唯一字幕生成的基准，分别基于第一人称视角视频和时间循环电影——这些场景中重复动作很常见。我们证明，由CDP生成的字幕在第一人称视频中使文本到视频的R@1提高了15%，在时间循环电影中提高了10%。
英文摘要：
Long videos contain many repeating actions, events and shots. These repetitions are frequently given identical captions, which makes it difficult to retrieve the exact desired clip using a text search. In this paper, we formulate the problem of unique captioning: Given multiple clips with the same caption, we generate a new caption for each clip that uniquely identifies it. We propose Captioning by Discriminative Prompting (CDP), which predicts a property that can separate identically captioned clips, and use it to generate unique captions. We introduce two benchmarks for unique captioning, based on egocentric footage and timeloop movies - where repeating actions are common. We demonstrate that captions generated by CDP improve text-to-video R@1 by 15% for egocentric videos and 10% in timeloop movies.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
