MS-DETR：基于采样时刻-时刻交互的自然语言视频定位
MS-DETR: Natural Language Video Localization with Sampling Moment-Moment Interaction
AI总结：
针对自然语言视频定位任务，提出 MS-DETR，通过可学习模板采样候选时刻并建模时刻间关系，结合多尺度跨模态编码器与锚点引导解码器，在三个公开数据集上取得优越性能。
摘要：
给定一个查询，自然语言视频定位（NLVL）任务旨在从未裁剪视频中定位一个在语义上与该查询匹配的时间时刻。本文采用一种基于提议的解决方案：先生成提议（即候选时刻），再选择最佳匹配提议。除了对候选时刻与查询之间的跨模态交互进行建模外，本文提出的 Moment Sampling DETR（MS-DETR）还能够实现高效的时刻-时刻关系建模。其核心思想是在采用 DETR（DEtection TRansformer）框架的情况下，由可学习模板引导采样一个时刻子集。为此，作者设计了一个多尺度视觉-语言编码器，以及一个与一组可学习模板配对的锚点引导时刻解码器。在三个公开数据集上的实验结果证明了 MS-DETR 的优越性能。
英文摘要：
Given a query, the task of Natural Language Video Localization (NLVL) is to localize a temporal moment in an untrimmed video that semantically matches the query. In this paper, we adopt a proposal-based solution that generates proposals (i.e., candidate moments) and then select the best matching proposal. On top of modeling the cross-modal interaction between candidate moments and the query, our proposed Moment Sampling DETR (MS-DETR) enables efficient moment-moment relation modeling. The core idea is to sample a subset of moments guided by the learnable templates with an adopted DETR (DEtection TRansformer) framework. To achieve this, we design a multi-scale visual-linguistic encoder, and an anchor-guided moment decoder paired with a set of learnable templates. Experimental results on three public datasets demonstrate the superior performance of MS-DETR.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
