视频大模型

Not All Modalities Are Equal: Instruction-Aware Gating for Multimodal Videos

并非所有模态都平等：面向多模态视频的指令感知门控

Bonan Ding, Umair Nawaz, Ufaq Khan, Abdelrahman M. Shaker, Muhammad Haris Khan, Jiale Cao, Jin Xie, Fahad Shahbaz Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能学院） ； Tianjin University（天津大学） ； Chongqing University（重庆大学） ； Linköping University（林奈大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出UniMVU框架，通过内模态和模态级指令感知动态门控实现多模态视频理解，在六个基准上优于静态融合方法。

Comments 19 pages, 8 figures, 7 tables, preprint

LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence

LLaVA-OneVision-2：迈向下一代感知智能

Xiang An, Yin Xie, Feilong Tang, Yunyao Yan, Huajie Tan, Didi Zhu, Changrui Chen, Xiuwei Zhao, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Kaichen Zhang, Wenkang Zhang, Zheng Cheng, Nansen Zhang, Chunsheng Wu, Chunjiang Ge, Zimin Ran, Dehua Song, Chunyuan Li, Shikun Feng, Ming Hu, Zhangquan Chen, Junbo Niu, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

机构 * Glint Lab（Glint实验室） ； AIM for Health Lab（健康AI实验室） ； MVP Lab（MVP实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出LLaVA-OV-2模型，通过编解码流令牌化、窗口注意力和3D RoPE实现统一视频理解与时空定位，在多项基准上超越Qwen3-VL-8B。

UAV-OVO: Out-of-Viewpoint Generalization in UAV Action Recognition

UAV-OVO：无人机动作识别中的视点外泛化

Yu Xia, Zhengbo Zhang, Shuaihu Zhang, Zhigang Tu

机构 * Wuhan University（武汉大学） ； Singapore University of Technology and Design（新加坡科技与设计大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对无人机动作识别中训练与测试视点不一致导致的性能下降问题，提出UAV-OVO基准和LATER方法，通过视点隔离和LoRA锚定特征重中心化实现视点鲁棒泛化。

LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs

LiteFrame: 高效视觉编码器解锁视频大语言模型中的帧缩放

Jihwan Kim, Nikhil Parthasarathy, Danfeng Qin, Junhwa Hur, Deqing Sun, Bohyung Han, Ming-Hsuan Yang, Boqing Gong

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对视频大语言模型处理长视频时视觉令牌上下文长度爆炸的问题，提出LiteFrame高效视频编码器，通过压缩令牌蒸馏（CTD）训练框架，使紧凑的学生模型直接预测教师模型的信息密集时空压缩表示，从而在降低35%端到端延迟的同时处理8倍帧数并提升视频理解精度。

Comments Project Page: https://jjihwan.github.io/projects/LiteFrame

ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning

ParaVT: 平衡工具先验悖论以实现代理视频强化学习中的并行工具使用

Zuhao Yang, Kaichen Zhang, Sudong Wang, Keming Wu, Zhongyu Yang, Bo Li, Xiaojuan Qi, Shijian Lu, Xingxuan Li, Lidong Bing

机构 * MiroMind ； NTU（国立台湾大学） ； HKU（香港大学） ； HKUST(GZ)（香港科技大学（广州）） ； THU（清华大学） ； LMMs-Lab（LMMs实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出ParaVT，一种用于并行视频工具调用的端到端强化学习框架，通过引入PARA-GRPO机制解决工具先验悖论，提升了长视频理解的性能。

Comments Project Page: https://evolvinglmms-lab.github.io/ParaVT/

Enhancing Visual Token Representations for Video Large Language Models via Training-Free Spatial-Temporal Pooling and Gridding

通过无训练空间-时间池化和栅格化增强视频大语言模型的视觉令牌表示

Bingjun Luo, Tony Wang, Hanqi Chen, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出了一种无需训练的空间-时间池化和栅格化方法ST-GridPool，用于提升视频大语言模型的视觉令牌表示，通过多级时空交互和基于规范的空间池化技术，在不需重新训练的情况下提高性能。

Comments Accepted by ICLR 2026

Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding

Foresee-to-Ground: 从预测性时间感知到证据驱动推理的视频时间接地

Zelin Zheng, Xinyan Liu, Ruixin Li, Antoni B. Chan, Guorong Li, Qingming Huang, Laiyun Qing

机构 * Qwen3-VL-8B-Instruct 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出了一种新的视频时间接地框架F2G，通过将时间接地问题重新表述为可验证的识别-测量问题，结合预测性时间感知和证据驱动推理，以提高时间接地的准确性和鲁棒性。

Comments Accepted by ICML 2026

Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly

Flat-Pack Bench: 通过家具组装评估大视觉-语言模型的时空理解

Aditya Chetan, Eric Cai, Peeyush Kushwaha, Bharath Raj Nagoor Kani, Utkarsh Mall, Qianqian Wang, Noah Snavely, Bharath Hariharan

机构 * Cornell University（康奈尔大学） ； Cornell Tech（康奈尔科技） ； MBZUAI（麦吉尔-伯克利-浙江大学人工智能研究院） ； UC Berkeley（伯克利大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出Flat-Pack Bench基准，用于评估大视觉-语言模型在复杂视频场景中的时空理解能力，发现当前模型在细粒度时空推理上存在显著不足。

Comments CVPR 2026

USV: Towards Understanding the User-generated Short-form Videos

USV: 向理解用户生成的短视频迈进

Haoyue Cheng, Su Xu, Liwei Jin, Wayne Wu, Chen Qian, Limin Wang

机构 * State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出了USV数据集，用于高层面的视频语义理解，通过用户生成的短视频进行主题识别和视频-文本检索任务，提出了MMF-Net和VTCL两种有效基线方法。

EgoCoT-Bench: Benchmarking Grounded and Verifiable Operation-Centric Chain of Thought Reasoning for MLLMs

EgoCoT-Bench: 用于MLLMs的 grounded 和可验证的 operation-centric 思维链推理基准测试

Yang Dai, Dian Jiao, Tianwei Lin, Wenqiao Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出EgoCoT-Bench，一个用于评估MLLMs在第一人称视角下细粒度操作中心推理能力的基准测试，包含3172个可验证的问答对，涵盖感知、预见和高层次推理等任务，旨在解决现有基准测试在细粒度推理和证据验证方面的不足。

Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models

迈向数据高效的视频预训练：使用冻结的图像基础模型

Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文探讨了如何通过冻结预训练的图像基础模型并仅训练时间模块来实现数据高效的视频预训练，从而减少对大规模视频数据和计算资源的需求。

Comments Accepted to CVPR 2026 Workshops CV4Smalls

Seeing Together: Multi-Robot Cooperative Egocentric Spatial Reasoning with Multimodal Large Language Models

协同视见：基于多模态大语言模型的多机器人协作自体空间推理

Kunyu Peng, Zhikun Zhou, Kailun Yang, Di Wen, Ruiping Liu, Yufan Chen, Junwei Zheng, Hao Shi, Yi Zhou, M. Saquib Sarfraz, Danda Pani Paudel, Luc Van Gool

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Hunan University（湖南大学） ； University of Oxford（牛津大学） ； Zhejiang University（浙江大学） ； ETH Zurich（苏黎世联邦理工学院） ； Ant Group（蚂蚁集团） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文研究了多机器人协作动态空间推理问题，提出了首个针对该任务的基准CoopSR以及多机器人自体问答数据集EgoTeam，通过引入SP-CoR框架实现了细粒度的协作空间推理，显著提升了多机器人协作推理性能。

SPATIOROUTE: Dynamic Prompt Routing for Zero-Shot Spatial Reasoning

SPATIOROUTE: 动态提示路由用于零样本空间推理

Pawat Chunhachatrachai, Gueter Josmy Faure, Hung-Ting Su, Winston H. Hsu

机构 * National Taiwan University（台湾国立大学） ； Delta Robotics Innovation Center（Delta机器人创新中心） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出SpatioRoute，一种动态提示生成方法，通过语义定制的提示模板路由问题，无需额外训练或3D传感器输入，在零样本设置下提升空间推理性能，同时发现Chain-of-Thought提示在空间视频理解中效果不佳。

Comments 10 pages, 2 figures, 2nd Workshop on 3D-LLM/VLA, CVPR 2026

Are Multimodal LLMs Ready for Surveillance? A Reality Check on Zero-Shot Anomaly Detection in the Wild

多模态大语言模型是否准备好用于监控？对零样本异常检测在现实中的检验

Shanle Yao, Armin Danesh Pazho, Narges Rashvand, Hamed Tabkhi

机构 * Electrical and Computer Engineering Department（电气与计算机工程系） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文研究了多模态大语言模型在现实中的零样本异常检测性能，发现其存在保守偏差，通过特定指令可以提升F1分数，但召回率仍是关键瓶颈。

Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models

Fourier Compressor: 频域视觉令牌压缩用于视觉-语言模型

Huanyu Wang, Jushi Kai, Haoli Bai, Lu Hou, Bo Jiang, Ziwei He, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Noah’s Ark Lab（诺亚实验室） ； Huawei Technologies Ltd.（华为技术有限公司） ； School of Computer Science（计算机科学学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出了一种基于频域的视觉令牌压缩策略，通过傅里叶变换减少计算开销并提升效率，同时保持语义准确性，实验表明其在图像和视频任务中均表现出色。

VVitCutLER: Towards Unsupervised Object Detection and Segmentation in Videos

VVitCutLER: 向视频中无监督的目标检测和分割迈进

Zhijing Lu, Khurram Azeem Hashmi, Didier Stricker, Muhammad Zeshan Afzal

机构 * RPTU University of Kaiserslautern-Landau（莱茵-瓦尔德大学凯撒斯劳滕-兰道分校） ； German Research Center for Artificial Intelligence（德国人工智能研究中心） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 该研究提出VVitCutLER框架，通过引入时间一致性提升视频中伪标签的质量，从而改进目标检测和实例分割的性能，减少时间不稳定性。

Comments 11 figures, cvpr workshop

StreamPro: From Reactive Perception to Proactive Decision-Making in Streaming Video

StreamPro: 从反应式感知到主动决策的流视频处理

Ao Li, Zihan Xiao, Zihao Yue, Boshen Xu, Linli Yao, Jiaze Li, Pei Fu, Jianzhong Ju, Jian Luan, Qin Jin

机构 * AIM3 Lab, Renmin University of China（中国人民大学AIM3实验室） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 StreamPro通过引入CB-Stream损失和GRPO算法，提升流视频处理的主动决策能力，在StreamPro-Bench上取得显著成效，性能优于先前最佳。

LRCP: Low-Rank Compressibility Guided Visual Token Pruning for Efficient LVLMs

LRCP: 低秩压缩性引导的视觉标记修剪用于高效的LVLMs

Hongyu Lu, Feng Zhang, Wenwei Jin, Huanling Hu, Tianjun Shi, Shikai Jiang, Yao Hu, Jiawei Li

机构 * Xiaohongshu（小红书） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） 纠错

专题命中 视频理解 ：long video(abstract)；分类 cs.CV

AI总结 本文提出LRCP，通过低秩压缩性引导视觉标记修剪，有效减少视觉语言模型的推理成本，实现94.7%的图像理解性能保留和88.9%的标记减少。

Comments The paper includes 11 figures, multiple tables, comprehensive experimental results on 11 image understanding benchmarks and 3 video benchmarks, with extensive ablation studies and qualitative visualizations

ViMU: Benchmarking Video Metaphorical Understanding

ViMU：视频隐喻理解基准测试

Qi Li, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 ViMU旨在评估视频理解模型对隐含意义的识别能力，通过多模态证据推理，解决现有模型对隐喻、讽刺和社会意义理解不足的问题。

Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context

通过超越128K上下文的泛化有效训练长上下文视觉-语言模型

Zhaowei Wang, Lishu Luo, Haodong Duan, Weiwei Liu, Sijin Wu, Ji Luo, Shen Yan, Shuai Peng, Sihang Yuan, Chaoyi Huang, Yi Lin, Yangqiu Song

机构 * CSE Department, HKUST（香港科技大学计算机科学与工程系） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文研究了长上下文视觉-语言模型的持续预训练，通过平衡数据和检索优化，提出MMProLong模型在长文档VQA等任务中表现优异，且能扩展至更长上下文和多任务场景。

Comments work in progress

Learning to See What You Need: Gaze Attention for Multimodal Large Language Models

学习你需要看到的东西：多模态大语言模型的注视注意力

Junha Song, Byeongho Heo, Geonmo Gu, Jaegul Choo, Dongyoon Han, Sangdoo Yun

机构 * NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出Gaze Attention机制，使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域，减少冗余计算并提升聚焦效果，实验表明其在图像和视频理解任务中性能优于密集注意力基线。

LDDR: Linear-DPP-Based Dynamic-Resolution Frame Sampling for Video MLLMs

LDDR：基于线性DPP的动态分辨率帧采样用于视频MLLMs

Jingfeng Chen, Jiawen Qian, Wendi Deng, Yinuo Guo, Jiaqi Yu, Sicong Leng, Raghuveer Thirukovalluru, Bhuwan Dhingra

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Individual Researcher（个人研究员） ； National University Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Duke University（杜克大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出LDDR框架，通过任务条件特征空间中查询感知的DPP帧选择，在有限视觉token预算下提升视频理解，实现3倍速度提升，并通过组DPP重要性度量动态分配分辨率，优于现有基线方法。

Comments 21 pages, 4 figures

EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs

EchoPrune: 将冗余视为时间回声以实现高效的视频大语言模型

Jiameng Li, Minye Wu, Jiezhang Cao, Aleksei Tiulpin, Matthew B. Blaschko

机构 * KU Leuven（鲁文大学） ； Shanghai Jiaotong University（上海交通大学） ； Weill Cornell Medicine（韦尔医学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出EchoPrune方法，通过将冗余视频token视为时间回声，提升视频大语言模型在固定token预算下的时间分辨率，实验表明其在六个视频理解基准上使模型处理20倍帧数，性能提升8.6%且推理速度提升5.6倍。

Comments 9 pages

Uncertainty-Aware and Decoder-Aligned Learning for Video Summarization

面向视频摘要的不确定性感知与解码器对齐学习

Omer Tariq, Syed Muhammad Raza, Jeongbae Son

机构 * Perception AI Neubility Inc.（感知AI Neubility公司） 纠错

专题命中 视频理解 ：long video(abstract)；分类 cs.CV

AI总结 本文提出VASTSum框架，通过建模不确定性并使学习目标与解码阶段对齐，提升视频摘要的鲁棒性与效率。

Comments Accepted for presentation at the 2026 International Joint Conference on Neural Networks (IJCNN 2026)

Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs

无参与的感知：LMMs中因果发现缺陷的剖析

Jiafeng Liang, Zhihao Zhu, Zihan Zhang, Baoqi Ren, Shixin Jiang, Runxuan Liu, Tao Ren, Ming Liu, See-Kiong Ng, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Harvard University（哈佛大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文探讨了大型多模态模型在因果发现中的缺陷，提出ProCauEval评估协议和ADPO框架，通过扰动分析揭示模型在视觉和文本模态间的依赖关系，提升视觉推理能力。

Comments 17 pages, 5 figures

Detector-Empowered Video Large Language Model for Efficient Spatio-Temporal Grounding

基于检测器的视频大语言模型用于高效的时空定位

Shida Gao, Feng Xue, Xiangfeng Wang, Anlong Ming, Zhaowen Lin, Haiyang Zhang, Teng Long, Nicu Sebe, Yihua Shao, Haozhe Wang, Wei Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Trento（特伦特大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hong Kong University of Science and Technology（香港科技大学） ； ZTE Corporation（中兴通讯） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出DEViL模型，通过将密集空间定位任务转移给训练良好的检测器，提升视频时空定位的效率与性能，实现43.1%的m_vIoU和14.33 FPS的高效表现。

REMAP: Regularized Matching and Partial Alignment of Video Embeddings

REMAP：基于正则化的视频嵌入匹配与部分对齐

Soumyadeep Chandra, Kaushik Roy

机构 * Elmore Family School of Electrical and Computer Engineering（埃尔摩家庭电气与计算机工程学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 REMAP通过正则化的融合部分Gromov-Wasserstein最优传输框架，解决现实视频中噪声、冗余和执行差异等问题，提升过程学习效果。

Comments 9 pages, 4 figures, 6 tables

DenseStep2M: A Scalable, Training-Free Pipeline for Dense Instructional Video Annotation

DenseStep2M: 一种可扩展且无需训练的密集指令视频标注流水线

Mingji Ge, Qirui Chen, Zeqian Li, Weidi Xie

机构 * SAI, Shanghai Jiao Tong University（上海交通大学人工智能研究院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出无需训练的DenseStep2M流水线，通过分割视频、过滤对齐不佳内容并利用先进多模态模型生成高质量步骤注释，构建了包含10万视频和200万步骤的大型数据集，支持长期视频理解。

Align then Adapt: Rethinking Parameter-Efficient Transfer Learning in 4D Perception

对齐后再适应：重新思考4D感知中的参数高效迁移学习

Yiding Sun, Jihua Zhu, Haozhe Cheng, Chaoyi Lu, Zhichuan Yang, Lin Chen, Yaonan Wang

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University（西安交通大学人机混合增强智能国家重点实验室） ； School of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院） ； National Engineering Research Center for Robot Visual Perception and Control Technology（机器人视觉感知与控制技术国家工程研究中心） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出PointATA方法，通过分阶段对齐和适应解决4D感知中的模态差距和过拟合问题，实现参数高效迁移学习，实验显示其在动作识别、分割等任务中表现优异。

Comments Accepted by IEEE Transactions on Multimedia (Regular Paper)

PushupBench: Your VLM is not good at counting pushups

PushupBench: 你的VLM在计数俯卧撑时并不出色

Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

机构 * Shengzhi Li（李盛之） ； Jiarun Chen（陈佳润） ； Karun Sharma（Sharma 卡鲁恩） ； Jiaqi Su（苏佳琦） ； Shichao Pei（裴世超） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 PushupBench通过446个长视频片段评估重复计数任务，发现最佳模型准确率仅42.1%，开源模型表现更差，表明计数能力反映更广泛的时序推理能力。