利用生成式语言模型进行视频-语言联合学习中的弱监督句子成分分析
Leveraging Generative Language Models for Weakly Supervised Sentence Component Analysis in Video-Language Joint Learning
AI总结：
本文提出利用预训练 LLM 生成针对句子成分的文本，并通过弱监督模块估计成分重要性，以提升视频-文本检索和视频时刻检索等联合学习任务性能。
摘要：
对文本数据的透彻理解是多模态视频分析任务中的一个基本要素。然而，近期研究表明，当前模型在面向目标下游任务的训练过程中并未实现对文本数据的全面理解。与以往解决这一局限的方法不同，我们假设：根据目标任务理解句子成分的重要性，有可能提升模型的性能。因此，我们利用预训练大语言模型（LLM）的知识，从原始文本样本中生成针对特定句子成分的文本样本。我们提出了一个弱监督重要性估计模块，用于计算各成分的相对重要性，并利用这些重要性来改进不同的视频-语言任务。通过严格的定量分析，我们提出的方法在多个视频-语言任务上均表现出显著提升。特别是，在视频-文本检索方面，以 R@1 衡量，我们的方法相对于基线在视频到文本检索上实现了 8.3% 的相对提升，在文本到视频检索上实现了 1.4% 的相对提升。此外，在视频时刻检索中，不同基线上的平均 mAP 显示出 2.0% 至 13.7% 的相对提升。
英文摘要：
A thorough comprehension of textual data is a fundamental element in multi-modal video analysis tasks. However, recent works have shown that the current models do not achieve a comprehensive understanding of the textual data during the training for the target downstream tasks. Orthogonal to the previous approaches to this limitation, we postulate that understanding the significance of the sentence components according to the target task can potentially enhance the performance of the models. Hence, we utilize the knowledge of a pre-trained large language model (LLM) to generate text samples from the original ones, targeting specific sentence components. We propose a weakly supervised importance estimation module to compute the relative importance of the components and utilize them to improve different video-language tasks. Through rigorous quantitative analysis, our proposed method exhibits significant improvement across several video-language tasks. In particular, our approach notably enhances video-text retrieval by a relative improvement of 8.3\% in video-to-text and 1.4\% in text-to-video retrieval over the baselines, in terms of R@1. Additionally, in video moment retrieval, average mAP shows a relative improvement ranging from 2.0\% to 13.7 \% across different baselines.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
