VTG-GPT：基于 GPT 的免训练零样本视频时序定位
VTG-GPT: Tuning-Free Zero-Shot Video Temporal Grounding with GPT
AI总结：
本文提出免训练、免微调的 VTG-GPT，通过 Baichuan2 去偏查询、MiniGPT-v2 生成精确字幕，并结合提议生成与后处理实现零样本视频时序定位，性能优于现有零样本与无监督方法并接近监督方法。
摘要：
视频时序定位（VTG）旨在根据语言查询从未经裁剪的视频中定位特定时间段。现有大多数 VTG 模型都在大量带标注的视频-文本对上进行训练，这一过程不仅会引入查询中的人类偏见，还会产生高昂的计算成本。为应对这些挑战，我们提出 VTG-GPT，这是一种基于 GPT 的零样本 VTG 方法，无需训练或微调。为减少原始查询中的偏见，我们采用 Baichuan2 生成去偏查询。为减少视频中的冗余信息，我们应用 MiniGPT-v2 将视觉内容转换为更精确的字幕。最后，我们设计了提议生成器和后处理流程，以根据去偏查询和图像字幕生成准确的时间段。大量实验表明，VTG-GPT 在零样本设置下显著优于 SOTA 方法，并超过无监督方法。更值得注意的是，它取得了可与监督方法相媲美的具有竞争力的性能。代码可在 https://github.com/YoucanBaby/VTG-GPT 获取。
英文摘要：
Video temporal grounding (VTG) aims to locate specific temporal segments from an untrimmed video based on a linguistic query. Most existing VTG models are trained on extensive annotated video-text pairs, a process that not only introduces human biases from the queries but also incurs significant computational costs. To tackle these challenges, we propose VTG-GPT, a GPT-based method for zero-shot VTG without training or fine-tuning. To reduce prejudice in the original query, we employ Baichuan2 to generate debiased queries. To lessen redundant information in videos, we apply MiniGPT-v2 to transform visual content into more precise captions. Finally, we devise the proposal generator and post-processing to produce accurate segments from debiased queries and image captions. Extensive experiments demonstrate that VTG-GPT significantly outperforms SOTA methods in zero-shot settings and surpasses unsupervised approaches. More notably, it achieves competitive performance comparable to supervised methods. The code is available on https://github.com/YoucanBaby/VTG-GPT
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
