弥合文本-视频检索中的信息不对称：一种以数据为中心的方法
Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach
AI总结：
本文提出一种以数据为中心的方法，通过事件级视频字幕和LLM生成多样查询来弥合文本-视频检索中的信息不对称，并设计查询选择机制提升效率，在多个基准上取得最优结果。
摘要：
随着在线视频内容的快速增长，文本-视频检索（TVR）任务变得越来越重要。TVR中的一个关键挑战是视频与文本之间的信息不对称：视频本身信息更丰富，而其文本描述往往只捕捉到这种复杂性的一部分。本文提出了一种新颖的、以数据为中心的框架，通过丰富文本表示来更好地匹配视频内容的丰富性，从而弥合这一差距。在训练过程中，视频被分割成事件级片段并添加字幕，以确保全面覆盖。在检索过程中，大型语言模型（LLM）生成语义多样的查询，以捕捉更广泛的可能匹配范围。为了提高检索效率，我们提出了一种查询选择机制，用于识别最相关且最具多样性的查询，从而在提高准确性的同时降低计算成本。我们的方法在多个基准上取得了最先进的结果，展示了以数据为中心的方法在解决TVR中信息不对称问题上的能力。这项工作为专注于利用数据改进跨模态检索的新研究铺平了道路。
英文摘要：
As online video content rapidly grows, the task of text-video retrieval (TVR) becomes increasingly important. A key challenge in TVR is the information asymmetry between video and text: videos are inherently richer in information, while their textual descriptions often capture only fragments of this complexity. This paper introduces a novel, data-centric framework to bridge this gap by enriching textual representations to better match the richness of video content. During training, videos are segmented into event-level clips and captioned to ensure comprehensive coverage. During retrieval, a large language model (LLM) generates semantically diverse queries to capture a broader range of possible matches. To enhance retrieval efficiency, we propose a query selection mechanism that identifies the most relevant and diverse queries, reducing computational cost while improving accuracy. Our method achieves state-of-the-art results across multiple benchmarks, demonstrating the power of data-centric approaches in addressing information asymmetry in TVR. This work paves the way for new research focused on leveraging data to improve cross-modal retrieval.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
