EgoTextVQA: 面向具备场景文本感知能力的第一视角视频问答
EgoTextVQA: Towards Egocentric Scene-Text Aware Video Question Answering
AI总结：
本研究推出面向第一视角场景文本问答的基准EgoTextVQA，评估发现现有多模态大模型表现不佳，同时指出了提升性能的关键方向，为相关研究提供可靠测试平台。
摘要：
我们推出了EgoTextVQA，这是一个全新且构建严谨的基准测试集，用于支持涉及场景文本的第一视角问答辅助任务。EgoTextVQA包含1500段第一视角视频和7000个具备场景文本感知属性的问题，这些问题反映了户外驾驶和室内家务活动中的真实用户需求，设计初衷是引导模型在第一视角动态环境中完成场景文本的识别与推理。借助EgoTextVQA，我们对10个主流多模态大语言模型开展了综合评估。当前所有模型的表现都不佳，最优结果（Gemini 1.5 Pro）的准确率仅约33%，凸显了现有技术在第一视角问答辅助领域的严重不足。我们的进一步研究表明，精准的时间定位、多帧推理，搭配高分辨率与辅助场景文本输入，是提升性能的关键。通过全面的分析与启发性建议，我们希望EgoTextVQA能成为第一视角场景文本问答辅助研究的可靠测试平台。我们的数据集已发布于：https://github.com/zhousheng97/EgoTextVQA。
英文摘要：
We introduce EgoTextVQA, a novel and rigorously constructed benchmark for egocentric QA assistance involving scene text. EgoTextVQA contains 1.5K ego-view videos and 7K scene-text aware questions that reflect real user needs in outdoor driving and indoor house-keeping activities. The questions are designed to elicit identification and reasoning on scene text in an egocentric and dynamic environment. With EgoTextVQA, we comprehensively evaluate 10 prominent multimodal large language models. Currently, all models struggle, and the best results (Gemini 1.5 Pro) are around 33\% accuracy, highlighting the severe deficiency of these techniques in egocentric QA assistance. Our further investigations suggest that precise temporal grounding and multi-frame reasoning, along with high resolution and auxiliary scene-text inputs, are key for better performance. With thorough analyses and heuristic suggestions, we hope EgoTextVQA can serve as a solid testbed for research in egocentric scene-text QA assistance. Our dataset is released at: https://github.com/zhousheng97/EgoTextVQA.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
