探索基于扩散模型的迭代细化用于视频定位
Exploring Iterative Refinement with Diffusion Models for Video Grounding
AI总结：
本文提出DiffusionVG框架，将视频定位视为条件生成任务，利用扩散模型从高斯噪声迭代细化目标跨度，在多个基准上取得优于现有方法的性能。
摘要：
视频定位旨在根据给定的句子查询，在未修剪的视频中定位目标时刻。现有方法通常从一组预定义的建议中选择最佳预测，或以单次方式直接回归目标跨度，导致缺乏系统性的预测细化过程。在本文中，我们提出了DiffusionVG，一种新颖的基于扩散模型的框架，将视频定位视为条件生成任务，其中目标跨度从高斯噪声输入生成，并在反向扩散过程中进行迭代细化。在训练期间，DiffusionVG通过固定的前向扩散过程逐步向目标跨度添加噪声，并学习在反向扩散过程中恢复目标跨度。在推理时，DiffusionVG可以通过学习到的、以视频-句子表示为条件的反向扩散过程，从高斯噪声输入生成目标跨度。无需额外技巧，我们的DiffusionVG在主流Charades-STA、ActivityNet Captions和TACoS基准上展示了优于现有精心设计模型的性能。
英文摘要：
Video grounding aims to localize the target moment in an untrimmed video corresponding to a given sentence query. Existing methods typically select the best prediction from a set of predefined proposals or directly regress the target span in a single-shot manner, resulting in the absence of a systematical prediction refinement process. In this paper, we propose DiffusionVG, a novel framework with diffusion models that formulates video grounding as a conditional generation task, where the target span is generated from Gaussian noise inputs and interatively refined in the reverse diffusion process. During training, DiffusionVG progressively adds noise to the target span with a fixed forward diffusion process and learns to recover the target span in the reverse diffusion process. In inference, DiffusionVG can generate the target span from Gaussian noise inputs by the learned reverse diffusion process conditioned on the video-sentence representations. Without bells and whistles, our DiffusionVG demonstrates superior performance compared to existing well-crafted models on mainstream Charades-STA, ActivityNet Captions and TACoS benchmarks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
