In-Style：通过风格迁移桥接文本与未整理视频以实现文本-视频检索
In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval
AI总结：
本文提出In-Style方法，在仅使用未配对文本查询与未整理网络视频的新设定下，通过多风格对比训练将文本风格迁移到视频，提升零样本文本-视频检索性能。
摘要：
大规模噪声网络图像-文本数据集已被证明能够高效地学习鲁棒的视觉-语言模型。然而，当将这些模型迁移到视频检索任务时，模型仍需要在人工整理的成对文本-视频数据上进行微调，以适应视频描述风格的多样性。为了解决这一问题而无需人工标注的成对数据，我们提出了一种新的设定，即使用未整理且未配对数据的文本-视频检索，在训练过程中仅利用文本查询以及未整理的网络视频，不使用任何成对的文本-视频数据。为此，我们提出了一种方法，名为In-Style，该方法学习文本查询的风格并将其迁移到未整理的网络视频上。此外，为了提高泛化能力，我们证明一个模型可以用多种文本风格进行训练。为此，我们引入了一种多风格对比训练过程，该过程能够同时提升在多个数据集上的泛化能力。我们在多个数据集上评估了模型的检索性能，以展示我们的风格迁移框架在未整理且未配对的文本-视频检索这一新任务上的优势，并在零样本文本-视频检索上提升了最先进的性能。
英文摘要：
Large-scale noisy web image-text datasets have been proven to be efficient for learning robust vision-language models. However, when transferring them to the task of video retrieval, models still need to be fine-tuned on hand-curated paired text-video data to adapt to the diverse styles of video descriptions. To address this problem without the need for hand-annotated pairs, we propose a new setting, text-video retrieval with uncurated & unpaired data, that during training utilizes only text queries together with uncurated web videos without any paired text-video data. To this end, we propose an approach, In-Style, that learns the style of the text queries and transfers it to uncurated web videos. Moreover, to improve generalization, we show that one model can be trained with multiple text styles. To this end, we introduce a multi-style contrastive training procedure that improves the generalizability over several datasets simultaneously. We evaluate our model on retrieval performance over multiple datasets to demonstrate the advantages of our style transfer framework on the new task of uncurated & unpaired text-video retrieval and improve state-of-the-art performance on zero-shot text-video retrieval.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
