从叙述型自我中心视频中学习时间句子定位
Learning Temporal Sentence Grounding From Narrated EgoVideos
AI总结：
本文提出 CliMer 方法，仅利用叙述文本和粗略时间戳，通过片段合并和文本条件注意力进行对比训练，在 Ego4D 和 EPIC-Kitchens 上显著提升了时间句子定位性能。
摘要：
Ego4D 和 EPIC-Kitchens 等长时程自我中心数据集的出现，为时间句子定位（TSG）任务带来了新的挑战。与评估该任务的传统基准相比，这些数据集提供了更细粒度的句子，需要在明显更长的视频中进行定位。在本文中，我们提出了一种方法，仅利用叙述文本及其对应的粗略叙述时间戳，在这些数据集上学习句子定位。我们提出人为合并视频片段，利用文本条件注意力以对比方式进行时间定位训练。实验表明，与高性能 TSG 方法相比，这种片段合并（CliMer）方法是有效的——例如，在 Ego4D 上平均 R@1 从 3.9 提升到 5.7，在 EPIC-Kitchens 上从 10.7 提升到 13.0。代码和数据划分可从 https://github.com/keflanagan/CliMer 获取。
英文摘要：
The onset of long-form egocentric datasets such as Ego4D and EPIC-Kitchens presents a new challenge for the task of Temporal Sentence Grounding (TSG). Compared to traditional benchmarks on which this task is evaluated, these datasets offer finer-grained sentences to ground in notably longer videos. In this paper, we develop an approach for learning to ground sentences in these datasets using only narrations and their corresponding rough narration timestamps. We propose to artificially merge clips to train for temporal grounding in a contrastive manner using text-conditioning attention. This Clip Merging (CliMer) approach is shown to be effective when compared with a high performing TSG method -- e.g. mean R@1 improves from 3.9 to 5.7 on Ego4D and from 10.7 to 13.0 on EPIC-Kitchens. Code and data splits available from: https://github.com/keflanagan/CliMer
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
