多模态大模型

OVG-HQ: Online Video Grounding with Hybrid-modal Queries

Runhao Zeng, Jiaqi Mao, Minghao Lai, Minh Hieu Phan, Yanjie Dong, Wei Wang, Qi Chen, Xiping Hu

机构 * Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（人工智能研究院，深圳MSU-BIT大学） ； University of Adelaide（阿德莱德大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted to ICCV 2025

LET-US: Long Event-Text Understanding of Scenes

Rui Chen, Xingyu Chen, Shaoan Wang, Shihan Kong, Junzhi Yu

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

How Can Objects Help Video-Language Understanding?

Zitian Tang, Shijie Wang, Junho Cho, Jaewook Yoo, Chen Sun

机构 * Brown University（布朗大学） ； Samsung Electronics（三星电子） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference

Kuo Wang, Quanlong Zheng, Junlin Xie, Yanhao Zhang, Jinguo Luo, Haonan Lu, Liang Lin, Fan Zhou, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； OPPO AI Center（OPPO人工智能中心） ； Research Institute（研究 institute） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Harbin Institute of Technology（哈尔滨工业大学） ； Shenzhen Key Laboratory of Digital Living Network and Content Service（深圳数字生活网络与内容服务重点实验室） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments published in ICCV 2025

EventVAD: Training-Free Event-Aware Video Anomaly Detection

Yihua Shao, Haojin He, Sijie Li, Siyu Chen, Xinwei Long, Fanhu Zeng, Yuxuan Fan, Muyang Zhang, Ziyang Yan, Ao Ma, Xiaochen Wang, Hao Tang, Yan Wang, Shuyan Li

机构 * Peking University（北京大学） ； Guangdong University of Technology（广东工业大学） ； The University of Sheffield（谢菲尔德大学） ； University of Science and Technology Beijing（北京科技大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nanjing University（南京大学） ； University of Trento（特伦特大学） ； Queen's University Belfast（贝尔法斯特女王大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Paper was accepted by ACM MM 2025; Code: https://github.com/YihuaJerry/EventVAD

Flash-VStream: Efficient Real-Time Understanding for Long Video Streams

Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Xiaojie Jin

机构 * Tsinghua University（清华大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Beijing Jiaotong University（北京交通大学） ； ByteDance Inc（字节跳动公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted by ICCV 2025

XRF V2: A Dataset for Action Summarization with Wi-Fi Signals, and IMUs in Phones, Watches, Earbuds, and Glasses

Bo Lan, Pei Li, Jiaxi Yin, Yunpeng Song, Ge Wang, Han Ding, Jinsong Han, Fei Wang

机构 * School of Software Engineering, Xi'an Jiaotong University（西安交通大学软件工程学院） ； State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学信息网络服务国家重点实验室） ； MOE KLINNS Lab, Xi'an Jiaotong University（教育部KLINNS实验室） ； School of Computer Science and Technology, Xi'an Jiaotong University（西安交通大学计算机科学与技术学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

Comments accepted by ACM IMWUT/UBICOMP 2025

DisCo: Towards Distinct and Coherent Visual Encapsulation in Video MLLMs

Jiahe Zhao, Rongkun Zheng, Yi Wang, Helin Wang, Hengshuang Zhao

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments ICCV 2025

InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling

Yi Wang, Xinhao Li, Ziang Yan, Yinan He, Jiashuo Yu, Xiangyu Zeng, Chenting Wang, Changlian Ma, Haian Huang, Jianfei Gao, Min Dou, Kai Chen, Wenhai Wang, Yu Qiao, Yali Wang, Limin Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments technical report

VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling

Xinhao Li, Yi Wang, Jiashuo Yu, Xiangyu Zeng, Yuhan Zhu, Haian Huang, Jianfei Gao, Kunchang Li, Yinan He, Chenting Wang, Yu Qiao, Yali Wang, Limin Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

SAM4D: Segment Anything in Camera and LiDAR Streams

Jianyun Xu, Song Wang, Ziqian Ni, Chunyong Hu, Sheng Yang, Jianke Zhu, Qiang Li

机构 * Unmanned Vehicle Dept., CaiNiao Inc., Alibaba Group（阿里巴巴集团 Cainiao 部门） ； Zhejiang University（浙江大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted by ICCV2025, Project Page: https://SAM4D-Project.github.io

CyberV: Cybernetics for Test-time Scaling in Video Understanding

Jiahao Meng, Shuyang Sun, Yue Tan, Lu Qi, Yunhai Tong, Xiangtai Li, Longyin Wen

机构 * Peking University（北京大学） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Vad-R1: Towards Video Anomaly Reasoning via Perception-to-Cognition Chain-of-Thought

Chao Huang, Benfeng Wang, Jie Wen, Chengliang Liu, Wei Wang, Li Shen, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments 9 pages, 4 figures

Transforming faces into video stories -- VideoFace2.0

Branko Brkljač, Vladimir Kalušev, Branislav Popović, Milan Sečujski

机构 * Department of Power, Electronic and Telecommunication Engineering（电力、电子与电信工程系） ； Faculty of Technical Sciences, University of Novi Sad（技术科学学院，诺维萨德大学） ； Visual Computing & Perception Group（视觉计算与感知组） ； The Institute for Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研究与开发研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Comments 4 Pages, 2 Figures, 1 Table, 1 Algorithm; Associated VideoFace2.0 code, test videos and results visualizations are available at https://github.com/brkljac/VideoFace2.0 ; Preprint accepted for publication at the 14th Mediterranean Conference on Embedded Computing (MECO), 10-14 June 2025, Budva, Montenegro

Artificial Intelligence for Personalized Prediction of Alzheimer's Disease Progression: A Survey of Methods, Data Challenges, and Future Directions

Gulsah Hancerliogullari Koksalmis, Bulent Soykan, Laura J. Brattain, Hsin-Hsiung Huang

机构 * Department of Industrial Engineering and Management Systems University of Central Florida（工业工程与管理系统系 佛罗里达中央大学） ； Institute for Simulation and Training University of Central Florida（模拟与培训研究所 佛罗里达中央大学） ； Department of Internal Medicine University of Central Florida（内科医学系 佛罗里达中央大学） ； Department of Statistics and Data Science University of Central Florida（统计学与数据科学系 佛罗里达中央大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.AI

Comments 25 pages, 11 figures

Flow Intelligence: Robust Feature Matching via Temporal Signature Correlation

Jie Wang, Chen Ye Gan, Caoqi Wei, Jiangtao Wen, Yuxing Han

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

ExpertAF: Expert Actionable Feedback from Video

Kumar Ashutosh, Tushar Nagarajan, Georgios Pavlakos, Kris Kitani, Kristen Grauman

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Comments CVPR 2025

GLUS: Global-Local Reasoning Unified into A Single Large Language Model for Video Segmentation

Lang Lin, Xueyang Yu, Ziqi Pang, Yu-Xiong Wang

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

Comments CVPR 2025

VideoExpert: Augmented LLM for Temporal-Sensitive Video Understanding

Henghao Zhao, Ge-Peng Ji, Rui Yan, Huan Xiong, Zechao Li

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

CaReBench: A Fine-Grained Benchmark for Video Captioning and Retrieval

Yifan Xu, Xinhao Li, Yichun Yang, Desen Meng, Rui Huang, Limin Wang

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Contextual Self-paced Learning for Weakly Supervised Spatio-Temporal Video Grounding

Akash Kumar, Zsolt Kira, Yogesh Singh Rawat

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Comments ICLR'25 Main Conference. Project Page: https://akash2907.github.io/cospal_webpage

MTV-Inpaint: Multi-Task Long Video Inpainting

Shiyuan Yang, Zheng Gu, Liang Hou, Xin Tao, Pengfei Wan, Xiaodong Chen, Jing Liao

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Early Detection of Mental Health Issues Using Social Media Posts

Qasim Bin Saeed, Ijaz Ahmed

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CL

Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs

Zijia Zhao, Haoyu Lu, Yuqi Huo, Yifan Du, Tongtian Yue, Longteng Guo, Bingning Wang, Weipeng Chen, Jing Liu

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments ICLR 2025

Efficient Masked AutoEncoder for Video Object Counting and A Large-Scale Benchmark

Bing Cao, Quanhao Lu, Jiekang Feng, Qilong Wang, Qinghua Hu, Pengfei Zhu

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments ICLR25

LightFC-X: Lightweight Convolutional Tracker for RGB-X Tracking

Yunfeng Li, Bo Wang, Ye Li

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Learning Human Skill Generators at Key-Step Levels

Yilu Wu, Chenhui Zhu, Shuai Wang, Hanlin Wang, Jing Wang, Zhaoxiang Zhang, Limin Wang

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

TV-Dialogue: Crafting Theme-Aware Video Dialogues with Immersive Interaction

Sai Wang, Fan Ma, Xinyi Li, Hehe Fan, Yu Wu

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Optimizing Multitask Industrial Processes with Predictive Action Guidance

Naval Kishore Mehta, Arvind, Shyam Sunder Prasad, Sumeet Saurav, Sanjay Singh

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

SeFAR: Semi-supervised Fine-grained Action Recognition with Temporal Perturbation and Learning Stabilization

Yongle Huang, Haodong Chen, Zhenbang Xu, Zihan Jia, Haozhou Sun, Dian Shao

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

Comments AAAI 2025; Code: https://github.com/KyleHuang9/SeFAR