使用多模态查询的端到端知识检索
End-to-end Knowledge Retrieval with Multi-modal Queries
AI总结：
本文面向图文信息分散的多模态知识检索，构建 ReMuQ 数据集，提出端到端检索模型 ReViz 及专用预训练任务，在零样本和微调设置下均取得提升。
摘要：
我们研究了使用多模态查询的知识检索，即查询所包含的信息分散在图像和文本输入中。这是一项具有挑战性的任务，不同于以往关于跨模态检索的工作。我们构建了一个名为 ReMuQ 的新数据集，用于基准评测该任务的进展。ReMuQ 要求系统通过整合文本查询和图像查询中的内容，从大型语料库中检索知识。我们提出了一个名为“ReViz”的检索器模型，它能够直接处理输入文本和图像，以端到端方式检索相关知识，而不依赖目标检测器或描述生成器等中间模块。我们引入了一项新的预训练任务，可有效学习利用多模态查询进行知识检索，并提升下游任务性能。我们证明，在零样本设置下，该方法在 ReMuQ 和 OK-VQA 两个数据集上取得了优异的检索性能；在这些数据集上进行微调时，性能还会进一步提升。
英文摘要：
We investigate knowledge retrieval with multi-modal queries, i.e. queries containing information split across image and text inputs, a challenging task that differs from previous work on cross-modal retrieval. We curate a new dataset called ReMuQ for benchmarking progress on this task. ReMuQ requires a system to retrieve knowledge from a large corpus by integrating contents from both text and image queries. We introduce a retriever model ``ReViz'' that can directly process input text and images to retrieve relevant knowledge in an end-to-end fashion without being dependent on intermediate modules such as object detectors or caption generators. We introduce a new pretraining task that is effective for learning knowledge retrieval with multimodal queries and also improves performance on downstream tasks. We demonstrate superior performance in retrieval on two datasets (ReMuQ and OK-VQA) under zero-shot settings as well as further improvements when finetuned on these datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
