尽管现有视频基准主要考虑检索或问答（QA）等专门的下游任务，但当代多模态 AI 系统必须具备类似于人类视觉理解的全面常识推理能力。人类时间-视觉感知的一个关键组成部分，是我们识别并在认知上建模“正在发生的事情”（即事件）的能力。从历史上看，视频基准任务一直在隐含地测试这种能力（例如，视频字幕生成，模型用自然语言描述视觉事件），但它们并未将视频事件理解本身视为一项任务。近期工作已开始探索文本事件抽取的视频对应物，却由相互竞争的任务定义组成，且数据集局限于高度特定的事件类型。因此，尽管过去十多年间存在丰富的、以事件为中心的视频研究领域，但应如何界定视频事件理解，以及我们有哪些资源来研究它，仍不明确。在本文中，我们调研了 105 个需要事件理解能力的视频数据集，考察它们如何助力研究视频中稳健的事件理解，并在这一研究整体背景下评估已提出的视频事件抽取任务。基于本次调研，我们针对数据集策划和任务框架提出建议，重点强调视频事件独特的时间性质以及视觉内容中的歧义性。
英文摘要：
While existing video benchmarks largely consider specialized downstream tasks like retrieval or question-answering (QA), contemporary multimodal AI systems must be capable of well-rounded common-sense reasoning akin to human visual understanding. A critical component of human temporal-visual perception is our ability to identify and cognitively model "things happening", or events. Historically, video benchmark tasks have implicitly tested for this ability (e.g., video captioning, in which models describe visual events with natural language), but they do not consider video event understanding as a task in itself. Recent work has begun to explore video analogues to textual event extraction but consists of competing task definitions and datasets limited to highly specific event types. Therefore, while there is a rich domain of event-centric video research spanning the past 10+ years, it is unclear how video event understanding should be framed and what resources we have to study it. In this paper, we survey 105 video datasets that require event understanding capability, consider how they contribute to the study of robust event understanding in video, and assess proposed video event extraction tasks in the context of this body of research. We propose suggestions informed by this survey for dataset curation and task framing, with an emphasis on the uniquely temporal nature of video events and ambiguity in visual content.
Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（布拉格捷克理工大学捷克信息学、机器人学与控制论研究所）；Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、PSL大学）
本文提出了grounded video caption generation新任务，构建了GROC测试集和HowToGround训练集，并开发了VideoGround模型，通过统一视频字幕生成与目标定位，在时间一致的边界框基础上实现了该任务的最新技术水平。
VSTAR: A Video-grounded Dialogue Dataset for Situated Semantic Understanding with Scene and Topic Transitions
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）
PhyCheck: Fine-Grained Evidence-Grounded Dataset for Physical Law Understanding in Video-LLMs
Zhejiang University（浙江大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科技创新中心）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields
Institute for AI, Peking University（北京大学人工智能研究院）；School of Psychological and Cognitive Sciences, Peking University（北京大学心理学与认知科学学院）；School of EECS, Peking University（北京大学电子工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Yuanpei College, Peking University（北京大学元培学院）；State Key Lab of General AI, Peking University（北京大学通用人工智能国家重点实验室）；Beijing Key Laboratory of Behavior and Mental Health, Peking University（北京行为与心理健康重点实验室）
Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Institute of High-Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）；Centre for Frontier AI Research, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心）
OPIS: An Input-Grounded Benchmark for Multi-Object Memory in Video World Models
USTC（中国科学技术大学）；CASIA（中国科学院自动化研究所）；HKUST（香港科技大学）；Infrec；Tsinghua University（清华大学）；UCAS（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）；Sun Yat-sen University（中山大学）；University of Waterloo（滑铁卢大学）；Jiangnan University（江南大学）；NUS（新加坡国立大学）；Fiveages；SUTD（新加坡科技设计大学）
Large-scale Pre-training for Grounded Video Caption Generation
Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（捷克信息技术、机器人与自动化研究所（捷克技术大学））；Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所、法国高等师范学校、法国国家科学研究中心、巴黎-萨克勒大学）
EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation
ByteDance Intelligent Creation（字节跳动智能创作）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Merced（加州大学默塞德分校）；University of California, Los Angeles（加州大学洛杉矶分校）
A Video-grounded Dialogue Dataset and Metric for Event-driven Activities
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究所（AIST））；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
M$^3$Eval: Multi-Modal Memory Evaluation through Cognitively-Grounded Video Tasks
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）；Yuanpei College, Peking University（北京大学元培学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Psychological and Cognitive Sciences, Peking University（北京大学心理学与认知科学学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
Video2Layout: Recall and Reconstruct Metric-Grounded Cognitive Map for Spatial Reasoning
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of Microelectronics of the Chinese Academy of Sciences（中国科学院微电子研究所）
Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models
University of California, Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；The Chinese University of Hong Kong（香港中文大学）；NVIDIA；Adobe Research（Adobe研究）；Fudan University（复旦大学）；Meta AI
VGNMN: Video-grounded Neural Module Network to Video-Grounded Language Tasks
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））
MUPA: Towards Multi-Path Agentic Reasoning for Grounded Video Question Answering
Lanzhou University（兰州大学）；National University of Singapore（新加坡国立大学）；Sun Yat-sen University（中山大学）；Jinan University（暨南大学）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
Physics-Grounded Motion Forecasting via Equation Discovery for Trajectory-Guided Image-to-Video Generation
Monash University（墨尔本大学）；Harbin Institute of Technology（哈尔滨工业大学）；Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（巴黎-罗quentcourt研究所）；Rajiv Gandhi University（拉朱·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）
Uncovering Hidden Connections: Iterative Search and Reasoning for Video-grounded Dialog
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；Pengcheng Laboratory（鹏城实验室）；School of Computer Science and Technology, Shandong Jianzhu University（山东建筑大学计算机科学与技术学院）
Motion-Grounded Video Reasoning: Understanding and Perceiving Motion at Pixel Level
University of Central Florida（中佛罗里达大学）；University of Western Australia（西澳大学）；Amazon Web Services（亚马逊网络服务）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
VideoResearchAgent: Grounded Task Synthesis and Sim-to-Real RL for Open-Web Video Research
Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身智能研究院）；Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身智能重点实验室）；Singapore Management University（新加坡管理大学）
TimeSuite: Improving MLLMs for Long Video Understanding via Grounded Tuning
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
