EASG-Bench：具有自我中心动作场景图的视频问答基准
EASG-Bench: Video Q&A Benchmark with Egocentric Action Scene Graphs
AI总结：
提出EASG-Bench，基于时空动态场景图的自我中心视频问答基准，评估语言与视频大模型，发现时间顺序理解差距，并公开代码。
摘要：
我们引入了EASG-Bench，一个用于自我中心视频的问答基准，其中问答对是由时空接地动态场景图创建的，该场景图捕捉了演员、动作和物体之间的复杂关系。我们提出了一个系统性的评估框架，并在此基准上评估了几种仅语言模型和视频大语言模型（video-LLMs）。我们观察到仅语言模型和视频-LLMs之间存在性能差距，尤其是在关注时间顺序的问题上，从而识别出长上下文视频理解领域的一个研究空白。为了促进我们发现的可复现性并便于进一步研究，该基准及附带代码可在以下GitHub页面获取：https://github.com/fpv-iplab/EASG-bench。
英文摘要：
We introduce EASG-Bench, a question-answering benchmark for egocentric videos where the question-answering pairs are created from spatio-temporally grounded dynamic scene graphs capturing intricate relationships among actors, actions, and objects. We propose a systematic evaluation framework and evaluate several language-only and video large language models (video-LLMs) on this benchmark. We observe a performance gap in language-only and video-LLMs, especially on questions focusing on temporal ordering, thus identifying a research gap in the area of long-context video understanding. To promote the reproducibility of our findings and facilitate further research, the benchmark and accompanying code are available at the following GitHub page: https://github.com/fpv-iplab/EASG-bench.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
