视频大模型

Video DataFlywheel: Resolving the Impossible Data Trinity in Video-Language Understanding

Xiao Wang, Jianlong Wu, Zijia Lin, Fuzheng Zhang, Di Zhang, Liqiang Nie

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV、cs.MM

Comments Under peer review

Searching Videos as Trees: Self-Correcting Agents for Grounded Long Video QA

将视频搜索为树：用于有基础的长视频问答的自校正智能体

Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Sony（索尼） 纠错

专题命中 视频问答 ：long video(title,abstract)；分类 cs.CV

AI总结 研究有基础的长视频问答问题，提出VideoTreeSearch框架，通过构建自适应时间树及可学习的离散操作让智能体导航，经监督微调与强化学习训练，在多个基准测试中表现出色，证明自校正分层搜索是关键机制。

NeMo: Needle in a Montage for Video-Language Understanding

NeMo：视频语言理解中的蒙太奇之针

Zi-Yuan Hu, Shuo Liang, Duo Zheng, Yanyang Li, Yeyao Tao, Shijia Huang, Wei Feng, Jia Qin, Jianguang Yu, Jing Huang, Meng Fang, Yin Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Phoenix TV（凤凰电视台） ； Stanford University（斯坦福大学） ； University of Liverpool（利物浦大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

AI总结 为评估视频大语言模型时间理解能力，提出蒙太奇之针（NeMo）任务，开发自动数据生成管道并构建NeMoBench基准，能生成高质量数据，评估了20个模型，展现其能力与局限。

Towards Sparse Video Understanding and Reasoning

迈向稀疏视频理解与推理

Chenwei Xu, Zhen Ye, Shang Wu, Weijian Li, Zihan Wang, Zhuofan Xia, Lie Lu, Pranav Maneriker, Fan Du, Manling Li, Han Liu

机构 * Northwestern University（西北大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 视频问答 ：video understanding(title)；video reasoning(abstract)；分类 cs.CV

AI总结 提出一种多轮视频问答代理，通过稀疏帧选择、状态摘要和早期停止机制，在减少帧数和令牌数的同时提升准确率。

Comments Accepted to CVPR 2026. Project page: https://sparsevideounderstanding.github.io

Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

视频主动感知：基于视觉-语言模型的高效推理时长视频理解

Martin Q. Ma, Willis Guo, Aditya Agrawal, Ankit Gupta, Paul Pu Liang, Ruslan Salakhutdinov, Louis-Philippe Morency

机构 * Carnegie Mellon University（卡内基梅隆大学） ； MIT（麻省理工学院） 纠错

专题命中 视频问答 ：video understanding(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出视频主动感知方法，通过主动感知理论提升长视频问答性能，实现帧效率提升5.6倍，优于现有模型。

Comments ICCV 2025 workshop

Cluster-Wise Spatio-Temporal Masking for Efficient Video-Language Pretraining

基于簇的时空掩码用于高效的视频-语言预训练

Weijun Zhuang, Yuqing Huang, Weikang Meng, Xin Li, Ming Liu, Xiaopeng Hong, Yaowei Wang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

AI总结 本文提出ClusterSTM策略，通过簇内掩码保留关键时空信息，提升视频-语言预训练效率，并在多任务上取得新状态。

Comments Accepted by CVPR 2026

V2P-Bench: Evaluating Video-Language Understanding with Visual Prompts for Better Human-Model Interaction

V2P-Bench: 通过视觉提示评估视频语言理解以提升人机交互

Yiming Zhao, Yu Zeng, Yukun Qi, YaoYang Liu, Xikun Bao, Lin Chen, Zehui Chen, Qing Miao, Chenxi Liu, Jie Zhao, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视频问答 ：video-language(title)；video understanding(abstract)；分类 cs.CV

AI总结 V2P-Bench通过视觉提示评估视频语言理解，提升人机交互效率与体验，揭示模型在时空理解上的不足及Hack现象。

Comments Project Page: https://vlm-reasoning.github.io/V2P-Bench/

Video-R4: Reinforcing Text-Rich Video Reasoning with Visual Rumination

Video-R4：通过视觉沉思强化文本丰富的视频推理

Yolo Y. Tang, Daiki Shimada, Hang Hua, Chao Huang, Jing Bi, Rogerio Feris, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； Sony Group Corporation（索尼集团） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 视频问答 ：video reasoning(title,abstract)；分类 cs.CV

AI总结 Video-R4通过视觉沉思机制提升文本丰富视频的推理能力，采用多阶段学习框架实现像素基础的多模态推理。

NeuS-QA: Grounding Long-Form Video Understanding in Temporal Logic and Neuro-Symbolic Reasoning

Sahil Shah, S P Sharan, Harsh Goel, Minkyu Choi, Mustafa Munir, Manvik Pasula, Radu Marculescu, Sandeep Chinchali

专题命中 视频问答 ：video understanding(title)；long video(abstract)；分类 cs.CV

ReWatch-R1: Boosting Complex Video Reasoning in Large Vision-Language Models through Agentic Data Synthesis

Congzhi Zhang, Zhibin Wang, Yinchao Ma, Jiawei Peng, Yihan Wang, Qiang Zhou, Jun Song, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频问答 ：video reasoning(title,abstract)；分类 cs.CV

FineQuest: Adaptive Knowledge-Assisted Sports Video Understanding via Agent-of-Thoughts Reasoning

Haodong Chen, Haojian Huang, XinXiang Yin, Dian Shao

机构 * School of Automation, Northwestern Polytechnical University（自动化学院，西北工业大学） ； The University of Hong Kong（香港大学） ； School of Software, Northwestern Polytechnical University（软件学院，西北工业大学） ； Unmanned System Research Institute, Northwestern Polytechnical University（无人系统研究院，西北工业大学） 纠错

专题命中 视频问答 ：video understanding(title,abstract)；分类 cs.CV

Comments ACM MM 2025

Reinforcing Video Reasoning with Focused Thinking

Jisheng Dang, Jingze Wu, Teng Wang, Xuanhui Lin, Nannan Zhu, Hongbo Chen, Wei-Shi Zheng, Meng Wang, Tat-Seng Chua

机构 * Sun Yat-sen University（中山大学） ； Lanzhou University（兰州大学） ； University of Hong Kong（香港大学） ； Hefei University of Technology（合肥工业大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频问答 ：video reasoning(title,abstract)；分类 cs.CV

Uncertainty-Guided Self-Questioning and Answering for Video-Language Alignment

Jin Chen, Kaijing Ma, Haojian Huang, Han Fang, Hao Sun, Mehdi Hosseinzadeh, Zhe Liu

机构 * School of Computer Science, Duy Tan University（计算机科学学院，杜益坦大学） ； School of Computer Sciences, Universiti Sains Malaysia（计算机科学学院，马来亚大学） 纠错

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

Jinhui Yi, Syed Talal Wasim, Yanan Luo, Muzammal Naseer, Juergen Gall

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments CVPR 2025 camera-ready version

M-LLM Based Video Frame Selection for Efficient Video Understanding

Kai Hu, Feng Gao, Xiaohan Nie, Peng Zhou, Son Tran, Tal Neiman, Lingyun Wang, Mubarak Shah, Raffay Hamid, Bing Yin, Trishul Chilimbi

专题命中 视频问答 ：video understanding(title)；video reasoning(abstract)；分类 cs.CV

LION-FS: Fast & Slow Video-Language Thinker as Online Video Assistant

Wei Li, Bing Hu, Rui Shao, Leyang Shen, Liqiang Nie

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments Accept to CVPR 2025, Project page: https://github.com/JiuTian-VL/LION-FS

Vista-LLaMA: Reducing Hallucination in Video Language Models via Equal Distance to Visual Tokens

Fan Ma, Xiaojie Jin, Heng Wang, Yuchen Xian, Jiashi Feng, Yi Yang

专题命中 视频问答 ：video language model(title)；video-language(abstract)；分类 cs.CV

TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes

Xingcheng Zhou, Konstantinos Larintzakis, Hao Guo, Walter Zimmer, Mingyu Liu, Hu Cao, Jiajie Zhang, Venkatnarayanan Lakshminarasimhan, Leah Strand, Alois C. Knoll

专题命中 视频问答 ：video understanding(title,abstract)；分类 cs.CV

MAMA: Meta-optimized Angular Margin Contrastive Framework for Video-Language Representation Learning

Thong Nguyen, Yi Bin, Xiaobao Wu, Xinshuai Dong, Zhiyuan Hu, Khoi Le, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments Accepted to ECCV 2024

ViLA: Efficient Video-Language Alignment for Video Question Answering

Xijun Wang, Junbang Liang, Chun-Kai Wang, Kenan Deng, Yu Lou, Ming Lin, Shan Yang

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments ECCV 2024

Video-Language Alignment via Spatio-Temporal Graph Transformer

Shi-Xue Zhang, Hongfa Wang, Xiaobin Zhu, Weibo Gu, Tianjin Zhang, Chun Yang, Wei Liu, Xu-Cheng Yin

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments under review

Long Story Short: a Summarize-then-Search Method for Long Video Question Answering

Jiwan Chung, Youngjae Yu

专题命中 视频问答 ：long video(title,abstract)；分类 cs.CV

Comments Published in BMVC 2023

TESTA: Temporal-Spatial Token Aggregation for Long-form Video-Language Understanding

Shuhuai Ren, Sishuo Chen, Shicheng Li, Xu Sun, Lu Hou

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments 16 pages, 9 figures, code is available at https://github.com/RenShuhuai-Andy/TESTA

LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling

Dongsheng Chen, Chaofan Tao, Lu Hou, Lifeng Shang, Xin Jiang, Qun Liu

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments 13 pages, 6 figures, accepted by EMNLP 2022 main conference

All in One: Exploring Unified Video-Language Pre-training

Alex Jinpeng Wang, Yixiao Ge, Rui Yan, Yuying Ge, Xudong Lin, Guanyu Cai, Jianping Wu, Ying Shan, Xiaohu Qie, Mike Zheng Shou

专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV

Comments 18 pages. 11 figures. Code: https://github.com/showlab/all-in-one

The Multi-Modal Video Reasoning and Analyzing Competition

Haoran Peng, He Huang, Li Xu, Tianjiao Li, Jun Liu, Hossein Rahmani, Qiuhong Ke, Zhicheng Guo, Cong Wu, Rongchang Li, Mang Ye, Jiahao Wang, Jiaxu Zhang, Yuanzhong Liu, Tao He, Fuwei Zhang, Xianbin Liu, Tao Lin

专题命中 视频问答 ：video reasoning(title,abstract)；分类 cs.CV

Comments Accepted to ICCV 2021 Workshops

SUTD-TrafficQA: A Question Answering Benchmark and an Efficient Network for Video Reasoning over Traffic Events

Li Xu, He Huang, Jun Liu

专题命中 视频问答 ：video reasoning(title,abstract)；分类 cs.CV

Comments Accepted by CVPR 2021

Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models

Olga Loginova, Oleksandr Bezrukov, Ravi Shekhar, Alexey Kravets

机构 * University of Trento（特伦托大学） ； Gran Sasso Science Institute（格兰萨索科学研究所） ； University of Essex（埃塞克斯大学） ； University of Bath（巴斯大学） 纠错

专题命中 视频问答 ：video language model(title,abstract)

Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

先构建图！通过场景图实现长视频第一人称视频推理

Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci

机构 * Politecnico di Milano（米兰理工大学） ； Bocconi University（博科尼大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；video reasoning(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出利用第一人称场景图（EgoSGs）将长视频压缩为紧凑文本表示，在保持语义丰富性的同时大幅减少输入长度，使多模态大模型能在令牌预算内高效推理，在HD-EPIC VQA上取得最优结果。

Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering

推理前的感知：面向视频理解与问答的动态隐式推理

Haotian Xia, Zilin Xiao, Junbo Zou, Vicente Ordonez, Hanjie Chen

机构 * Rice University（莱斯大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频问答 ：video understanding(title)；分类 cs.CV

AI总结 该研究针对视频问答现有方法依赖长文本思维链的问题，提出DyLaR模型，通过动态调整感知与推理隐式变量的使用，在9个视频基准上提升准确率且缩短响应长度。