来自在线社区的完全真实视觉问答数据集
Fully Authentic Visual Question Answering Dataset from Online Communities
AI总结：
本文提出首个完全来自在线社区真实问答的VQA数据集VQAonline，评估六个先进模型，发现长答案挑战，并分析最佳评估指标。
摘要：
视觉问答（VQA）涉及回答关于图像的问题。我们引入了第一个所有内容均源自真实用例的VQA数据集。该数据集来源于在线问答社区论坛，我们称之为VQAonline。我们描述了这个数据集的特征及其与八个主流VQA数据集的关系。观察到我们数据集中的答案往往更长（即平均173个单词），因此与标准VQA评估指标不兼容，我们转而采用流行的长文本评估指标来评估六个最先进的VQA模型在VQAonline上的表现，并报告它们最困难的方面。最后，我们分析了哪些评估指标与人类判断最一致。为了促进未来的扩展，我们在https://vqaonline.github.io/公开分享了该数据集。
英文摘要：
Visual Question Answering (VQA) entails answering questions about images. We introduce the first VQA dataset in which all contents originate from an authentic use case. Sourced from online question answering community forums, we call it VQAonline. We characterize this dataset and how it relates to eight mainstream VQA datasets. Observing that answers in our dataset tend to be much longer (i.e., a mean of 173 words) and so incompatible with standard VQA evaluation metrics, we instead utilize popular metrics for longer text evaluation for evaluating six state-of-the-art VQA models on VQAonline and report where they struggle most. Finally, we analyze which evaluation metrics align best with human judgments. To facilitate future extensions, we publicly-share the dataset at: https://vqaonline.github.io/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
