视频大模型

Dense Video Understanding with Gated Residual Tokenization

Haichao Zhang, Wenhao Chai, Shwai He, Ang Li, Yun Fu

机构 * Northeastern University（东北大学） ； Princeton University（普林斯顿大学） ； University of Maryland（马里兰大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Open-ended Hierarchical Streaming Video Understanding with Vision Language Models

Hyolim Kang, Yunsu Park, Youngbeom Yoo, Yeeun Choi, Seon Joo Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments 17 pages

Temporal Preference Optimization for Long-Form Video Understanding

Rui Li, Xiaohan Wang, Yuhui Zhang, Orr Zohar, Zeyu Wang, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding

Zhen Chen, Xingjian Luo, Kun Yuan, Jinlin Wu, Danny T. M. Chan, Nassir Navab, Hongbin Liu, Zhen Lei, Jiebo Luo

机构 * Hong Kong Institute of Science & Innovation（香港科学与工业创新研究院） ； CAMP, Technische Universität München（CAMP，慕尼黑技术大学） ； Department of Surgery, Faculty of Medicine, The Chinese University of Hong Kong（香港中文大学医学院外科部） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

SV3.3B: A Sports Video Understanding Model for Action Recognition

Sai Varun Kodathala, Yashwanth Reddy Vutukoori, Rakesh Vunnam

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments 8 pages, 6 figures, 4 tables. Submitted to AIxSET 2025

DreamFrame: Enhancing Video Understanding via Automatically Generated QA and Style-Consistent Keyframes

Zhende Song, Chenchen Wang, Jiamu Sheng, Chi Zhang, Shengji Tang, Jiayuan Fan, Tao Chen

机构 * Fudan University（复旦大学） ； Westlake University, Tencent PCG（西湖大学、腾讯PCG） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments Accepted by ACMM'MM 2025

EgoExoBench: A Benchmark for First- and Third-person View Video Understanding in MLLMs

Yuping He, Yifei Huang, Guo Chen, Baoqi Pei, Jilan Xu, Tong Lu, Jiangmiao Pang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The University of Tokyo（东京大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

DynImg: Key Frames with Visual Prompts are Good Representation for Multi-Modal Video Understanding

Xiaoyi Bao, Chenwei Xie, Hao Tang, Tingyu Weng, Xiaofeng Wang, Yun Zheng, Xingang Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Alibaba Group（阿里巴巴集团） ； Peking University（北京大学） ； Luoyang Institute for Robot and Intelligent Equipment（洛阳机器人与智能装备研究所） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments Accepted by ICCV 2025

MCAM: Multimodal Causal Analysis Model for Ego-Vehicle-Level Driving Video Understanding

Tongtong Cheng, Rongzhen Li, Yixin Xiong, Tao Zhang, Jing Wang, Kai Liu

机构 * Department of Computer Science, Chongqing University, China（重庆大学计算机科学系） ； National Elite Institute of Engineering, Chongqing University, China（重庆大学工程精英研究院） ； College of Computer Science and Technology, National University of Deffense Technology, China（国防科技大学计算机科学与技术学院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Journal ref ICCV 2025

IPFormer-VideoLLM: Enhancing Multi-modal Video Understanding for Multi-shot Scenes

Yujia Liang, Jile Jiao, Xuetao Feng, Zixuan Ye, Yuan Wang, Zhicheng Wang

机构 * School of AIA, Huazhong University of Science and Technology（华中科技大学人工智能学院） ； Deepeleph Intelligent Technology（DeepEleph智能技术） ； JD Explore Academy（JD探索学院） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

M$^3$-Med: A Benchmark for Multi-lingual, Multi-modal, and Multi-hop Reasoning in Medical Instructional Video Understanding

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li, Shoujun Zhou, Hongliang Li, Fuxia Yang

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Chinese Academy of Sciences（中国科学院） ； Air Force Hospital of Southern Theater Command of PLA（中国人民解放军南部战区空军医院） ； Shenzhen Traditional Chinese Medicine Hospital（深圳中医药医院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments 19 pages, 8 figures, 7 tables

Domain Adaptation of VLM for Soccer Video Understanding

Tiancheng Jiang, Henry Wang, Md Sirajus Salekin, Parmida Atighehchian, Shinan Zhang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments 8 pages, 5 figures, accepted to the 11th IEEE International Workshop on Computer Vision in Sports (CVSports) at CVPR 2025; supplementary appendix included

Fine-Grained Captioning of Long Videos through Scene Graph Consolidation

Sanghyeok Chu, Seonguk Seo, Bohyung Han

机构 * ECE, Seoul National University, Korea.（电子工程系，首尔国立大学，韩国） ； IPAI, Seoul National University, Korea.（人工智能研究所，首尔国立大学，韩国） 纠错

专题命中 视频理解 ：long video(title,abstract)；分类 cs.CV

Comments Accepted to the 42nd International Conference on Machine Learning (ICML 2025)

Improving LLM Video Understanding with 16 Frames Per Second

Yixuan Li, Changli Tang, Jimin Zhuang, Yudong Yang, Guangzhi Sun, Wei Li, Zejun Ma, Chao Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Unifying Specialized Visual Encoders for Video Language Models

Jihoon Chung, Tyler Zhu, Max Gonzalez Saez-Diez, Juan Carlos Niebles, Honglu Zhou, Olga Russakovsky

机构 * Department of Computer Science, Princeton University, Princeton, NJ, United States（普林斯顿大学计算机科学系） ； Salesforce Research, Palo Alto, CA, United States（Salesforce研究） 纠错

专题命中 视频理解 ：video language model(title)；video understanding(abstract)；分类 cs.CV

Comments Accepted to ICML 2025 as a Poster. Project page: https://tylerzhu.com/merv/

TinyLLaVA-Video: Towards Smaller LMMs for Video Understanding with Group Resampler

Xingjian Zhang, Xi Weng, Yihao Yue, Zhaoxin Fan, Wenjun Wu, Lei Huang

机构 * SKLCCSE, Institute of Artificial Intelligence, Beihang University, Beijing, China（信息与通信工程学院，人工智能研究院，北京航空航天大学，北京，中国） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University（未来区块链与隐私计算先进创新中心，北京航空航天大学） ； Hangzhou International Innovation Institute, Beihang University, Hangzhou, China（杭州国际创新研究院，北京航空航天大学，杭州，中国） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments code and training recipes are available at https://github.com/ZhangXJ199/TinyLLaVA-Video

CyberV: Cybernetics for Test-time Scaling in Video Understanding

Jiahao Meng, Shuyang Sun, Yue Tan, Lu Qi, Yunhai Tong, Xiangtai Li, Longyin Wen

机构 * Peking University（北京大学） ； ByteDance（字节跳动） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

SceneRAG: Scene-level Retrieval-Augmented Generation for Video Understanding

Nianbo Zeng, Haowen Hou, Fei Richard Yu, Si Shi, Ying Tiffany He

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室） ； College of Computer Science and Software Engineering（计算机科学与软件工程学院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

VideoPrism: A Foundational Visual Encoder for Video Understanding

Long Zhao, Nitesh B. Gundavarapu, Liangzhe Yuan, Hao Zhou, Shen Yan, Jennifer J. Sun, Luke Friedman, Rui Qian, Tobias Weyand, Yue Zhao, Rachel Hornung, Florian Schroff, Ming-Hsuan Yang, David A. Ross, Huisheng Wang, Hartwig Adam, Mikhail Sirotenko, Ting Liu, Boqing Gong

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments Accepted to ICML 2024. v2: added retrieval results on MSRVTT (1K-A), more data analyses, and ablation studies; v3: released models at https://github.com/google-deepmind/videoprism

LoViT: Long Video Transformer for Surgical Phase Recognition

Yang Liu, Maxence Boels, Luis C. Garcia-Peraza-Herrera, Tom Vercauteren, Prokar Dasgupta, Alejandro Granados, Sebastien Ourselin

机构 * Department of Surgical & Interventional Engineering, King’s College London（外科与介入工程系，伦敦国王学院） ； Department of Peter Gorer（彼得·戈尔德系） ； Department of Immunobiology, King’s College London（免疫生物学系，伦敦国王学院） 纠错

专题命中 视频理解 ：long video(title,abstract)；分类 cs.CV

Comments Code link: https://github.com/MRUIL/LoViT

Vid-SME: Membership Inference Attacks against Large Video Understanding Models

Qi Li, Runpeng Yu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

HaploOmni: Unified Single Transformer for Multimodal Video Understanding and Generation

Yicheng Xiao, Lin Song, Rui Yang, Cheng Cheng, Zunnan Xu, Zhaoyang Zhang, Yixiao Ge, Xiu Li, Ying Shan

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） ； The University of Hong Kong（香港大学） ； Xi’an JiaoTong University（西安交通大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

Boqiang Zhang, Kehan Li, Zesen Cheng, Zhiqiang Hu, Yuqian Yuan, Guanzheng Chen, Sicong Leng, Yuming Jiang, Hang Zhang, Xin Li, Peng Jin, Wenqi Zhang, Fan Wang, Lidong Bing, Deli Zhao

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（虎派实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments BZ, KL, ZC, ZH, YY, GC, SL, YJ, HZ, and XL contributed equally to this project. Code: https://github.com/DAMO-NLP-SG/VideoLLaMA3

MOOSE: Pay Attention to Temporal Dynamics for Video Understanding via Optical Flows

Hong Nguyen, Dung Tran, Hieu Hoang, Phong Nguyen, Shrikanth Narayanan

机构 * Department of Computer Science（计算机科学系） ； Cranberry-Lemon University（Cranberry-Lemon 大学） ； University of Southern California（南加州大学） ； Hanoi University of Science and Technology（河内科学技术大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Universal Visuo-Tactile Video Understanding for Embodied Interaction

Yifan Xie, Mingyang Li, Shoujie Li, Xingting Li, Guangyu Chen, Fei Ma, Fei Richard Yu, Wenbo Ding

机构 * Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（SZ）） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments 13 pages, 5 figures

Temporal-Oriented Recipe for Transferring Large Vision-Language Model to Video Understanding

Thong Nguyen, Zhiyuan Hu, Xu Lin, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

Comments In Progress

MINERVA: Evaluating Complex Video Reasoning

Arsha Nagrani, Sachit Menon, Ahmet Iscen, Shyamal Buch, Ramin Mehran, Nilpa Jha, Anja Hauth, Yukun Zhu, Carl Vondrick, Mikhail Sirotenko, Cordelia Schmid, Tobias Weyand

机构 * Google DeepMind（谷歌DeepMind） ； Columbia University（哥伦比亚大学） 纠错

专题命中 视频理解 ：video reasoning(title,abstract)；分类 cs.CV

MASR: Self-Reflective Reasoning through Multimodal Hierarchical Attention Focusing for Agent-based Video Understanding

Shiwen Cao, Zhaoxing Zhang, Junming Jiao, Juyi Qiao, Guowen Song, Rong Shen, Xiangbing Meng

机构 * Li Auto Inc.（利亚汽车公司） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

An LMM for Efficient Video Understanding via Reinforced Compression of Video Cubes

Ji Qi, Yuan Yao, Yushi Bai, Bin Xu, Juanzi Li, Zhiyuan Liu, Tat-Seng Chua

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

ResNetVLLM -- Multi-modal Vision LLM for the Video Understanding Task

Ahmad Khalil, Mahmoud Khalil, Alioune Ngom

机构 * University of Windsor（温莎大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV