arXiv 2310.201592023-10-31cs.CVcs.AI

语言引导的视觉问答：利用知识增强提示提升多模态语言模型

Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts

Singapore University of Technology and Design（新加坡科技设计大学）；University of Michigan（密歇根大学）

Deepanway Ghosal, Navonil Majumder, Roy Ka-Wei Lee, Rada Mihalcea, Soujanya Poria

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出 LG-VQA 多模态框架，通过理由、图像描述、场景图等语言引导增强 CLIP 和 BLIP 模型，在 A-OKVQA、Science-QA、VSR 和 IconQA 上显著提升视觉问答准确率。

摘要：

视觉问答（VQA）是回答关于图像的问题的任务。该任务假定需要同时理解图像和问题，以提供自然语言答案。近年来，VQA 因其在机器人、教育和医疗等广泛领域的潜在应用而受到越来越多的关注。在本文中，我们专注于知识增强的视觉问答，其中回答问题需要常识知识、世界知识以及对图像中不存在的思想和概念进行推理。我们提出了一个多模态框架，该框架使用理由、图像描述、场景图等形式作为语言引导（LG），以更准确地回答问题。我们使用 CLIP 和 BLIP 模型，在 A-OKVQA、Science-QA、VSR 和 IconQA 数据集的多项选择问答任务上对我们的方法进行了基准测试。我们表明，使用语言引导是一种简单但强大且有效的视觉问答策略。我们的语言引导在具有挑战性的 A-OKVQA 数据集上将 CLIP 的性能提高了 7.6%，将 BLIP-2 的性能提高了 4.8%。我们还观察到，在使用所提出的语言引导时，Science-QA、VSR 和 IconQA 数据集上的性能持续提升。LG-VQA 的实现已在 https://github.com/declare-lab/LG-VQA 公开可用。

英文摘要：

Visual question answering (VQA) is the task of answering questions about an image. The task assumes an understanding of both the image and the question to provide a natural language answer. VQA has gained popularity in recent years due to its potential applications in a wide range of fields, including robotics, education, and healthcare. In this paper, we focus on knowledge-augmented VQA, where answering the question requires commonsense knowledge, world knowledge, and reasoning about ideas and concepts not present in the image. We propose a multimodal framework that uses language guidance (LG) in the form of rationales, image captions, scene graphs, etc to answer questions more accurately. We benchmark our method on the multi-choice question-answering task of the A-OKVQA, Science-QA, VSR, and IconQA datasets using CLIP and BLIP models. We show that the use of language guidance is a simple but powerful and effective strategy for visual question answering. Our language guidance improves the performance of CLIP by 7.6% and BLIP-2 by 4.8% in the challenging A-OKVQA dataset. We also observe consistent improvement in performance on the Science-QA, VSR, and IconQA datasets when using the proposed language guidances. The implementation of LG-VQA is publicly available at https:// github.com/declare-lab/LG-VQA.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。