VIVID: Beyond Static Multi-Image Reasoning with Localized Visual Differences and Textual Entity Dynamics in Video MLLMs
VIVID:视频多模态大语言模型中超越静态多图像推理的局部视觉差异与文本实体动态
机构 * Peking University(北京大学) ; Shanghai Jiao Tong University(上海交通大学) ; Harbin Institute of Technology(哈尔滨工业大学) ; Southeast University(东南大学) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; Zhejiang University(浙江大学) ; Nanyang Technological University(南洋理工大学) ; Xiamen University(厦门大学)
AI总结 本研究针对视频MLLM的静态推理缺陷,提出VIVID模型,通过ADKP、DRCM等技术保留帧间动态,VIVID-Small在8083个问题上超11个基线,VIVID-Large在多基准任务中领先。
Comments 14 pages, 2 figures, 5 tables. Code: https://github.com/step-out/VIVID