视频大模型

Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning

数据更少，收敛更快：面向多模态指令微调的目标驱动数据优化

Rujie Wu, Haozhe Zhao, Hai Ci, Yizhou Wang

机构 * Peking University（北京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出目标驱动数据优化框架GDO，通过优化训练样本实现更快收敛和更高精度，适用于多模态指令微调任务。

Comments Accepted to ECCV 2026

RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion

RoboMirror: 在模仿之前理解以实现视频到仿人运动

Zhe Li, Boan Zhu, Yangyang Wei, Shuanghao Bai, Yuheng Ji, Yibo Peng, Tao Huang, Pengwei Wang, Zhongyuan Wang, S. -H. Gary Chan, Chang Xu, Cheng Chi, Jianfei Yang, Shanghang Zhang

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 RoboMirror通过视觉语言模型将视频提炼为视觉运动意图，直接生成物理合理的仿人运动，无需姿态重建，实现远程存在并提升任务成功率。

SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding

SmartMage：面向3D场景理解的动态模态编排

Yue Zhang, Yingzhao Jian, Yunqiu Xu, Xiaoxiao Sun, Hehe Fan

机构 * Zhejiang University（浙江大学） ； Stanford University（斯坦福大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文针对现有MLLMs采用固定模态组合的缺陷，提出SmartMage模型，通过SMART和MAGE模块动态编排模态，在5个3D场景理解基准上取得最优性能，在RGB视频理解基准上表现具竞争力。

Comments Accepted to ACM MM 2026

Versatile Video Representation via Feed-Forward 2D Gaussian Splatting Tokenization

基于前馈二维高斯溅射标记化的通用视频表示

Zhenghao Chen, Zicong Chen, Lei Liu, Yiming Wu, Dong Xu

专题命中 视频理解 ：video generation(abstract)；分类 cs.CV

AI总结 本研究提出基于前馈2DGS标记化的GVT框架，通过STGE与GSP策略实现通用视频表示，在四项视频任务的多数据集评估中，其重建、压缩性能达先进水平，动作识别提升，生成性能可与MAGVIT-v2媲美。

Comments Accepted by ACM MM 2026, Rio de Janeiro, Brazil

RSVideo: Are Your Vision-Language Models Ready for Remote Sensing Videos?

RSVideo：你的视觉-语言模型准备好应对遥感视频了吗？

Hongjie Zhou, Shiqin Wang, Haoyang Chen, Haonan Guo, Di Wang, Juhua Liu, Fu Lin, Yong Luo

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 该研究构建了遥感视频数据集RSVideo-10K与评估基准RSVideo-Bench，发现现有视觉-语言模型在遥感视频理解上存在不足，提出强化学习框架RSVideo提升小目标时空聚焦能力，取得显著性能提升。

A Closer Look at Dynamic Scene Graph Generation In the Era of Multimodal Large Language Models

多模态大语言模型时代的动态场景图生成研究

Xuanming Cui, Jaiminkumar Ashokbhai Bhoi, Chionh Wei Peng, Adriel Kuek, Ser Nam Lim

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本研究针对多模态大语言模型时代动态场景图生成的局限，从任务设置优化评估指标、基于MLLM改进模型设计，在多个数据集上实现了最优性能。

Detect Before You Leap: Mirage Detection in Vision-Language Models

在跳跃前检测：视觉语言模型中的幻象检测

Sayeed Shafayet Chowdhury, Md. Shaown Miah, S. M. Taiabul Haque, Syed Ishtiaque Ahmed

机构 * Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对视觉语言模型在缺乏视觉证据时产生自信但无根据回答的幻象问题，提出文本条件层内对齐方法，通过分析视觉编码器各层补丁令牌与问题嵌入的对齐轨迹，结合像素统计、零样本域路由和结构化自评估，实现高精度预响应幻象检测。

GeoTrace: Geometry-Aware Trajectory Token Compression for Video Large Language Models

GeoTrace：用于视频大语言模型的几何感知轨迹令牌压缩

Guohuan Xie, Mengqi Lei, Chuan Shi, Wei Bao, Yue Gao, Siqi Li

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 研究针对Video LLMs视觉令牌多致效率受限问题，提出GeoTrace框架，通过CFPA和TCRC分别处理骨架与残差令牌，经实验评估证明该框架在多模型架构和场景下有效，能在大幅减少计算量时保留高比例性能。

Comments Withdrawn by the authors due to an incomplete internal approval process

GHR-VLM: Making Zero-Shot Transit Video Analytics Realizable with Grounded Hybrid Reasoning

GHR-VLM：通过基于视觉基础的混合推理实现零样本公交视频分析

Kaicong Huang, Weiheng Oh, Jack M. Reilly, Thomas Guggisberg, Ruimin Ke

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 研究旨在实现零样本公交视频分析，提出GHR-VLM框架，利用边缘-云设计，通过轻量级边缘监视器跟踪门状态、分割乘客片段，后端VLM经两阶段细化识别乘客与支付行为，减少云推理，评估显示其在公交支付分析中有潜力且面临视频条件挑战。

Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

视频流思考：VideoLLMs可以同时观看和思考

Yiran Guan, Liang Yin, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus Xiaomi Inc.（小米公司） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 VST提出了一种视频流理解的新范式，通过在流式过程中激活推理，提高实时响应和理解能力，同时在多个基准测试中表现出更高的效率和泛化能力。

Comments Accepted by ECCV 2026, project page https://1ranguan.github.io/VST/

Xray-Visual Models: Scaling Vision models on Industry Scale Data

Xray-Visual模型：在产业级数据上扩展视觉模型

Shlok Mishra, Tsung-Yu Lin, Linda Wang, Hongli Xu, Yimin Liu, Michael Hsu, Chaitanya Ahuja, Hao Yuan, Jianpeng Cheng, Hong-You Chen, Haoyuan Xu, Chao Li, Sreya Dutta Roy, Abhijeet Awasthi, Jihye Moon, Don Husa, Michael Ge, Sumedha Singla, Arkabandhu Chowdhury, Phong Dingh, Satya Narayan Shukla, Yonghuan Yang, David Jacobs, Qi Guo, Jun Xiao, Xiangjun Fan, Aashu Singh

机构 * Meta-AI ； MIT（麻省理工学院） ； University of Maryland（马里兰大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 Xray-Visual通过三阶段训练流程和LLM2CLIP技术，在产业级数据上实现高效多模态视觉模型，取得最佳性能并提升鲁棒性与泛化能力。

From My View to Yours: Learning Egocentric Cues from Exocentric Video using Privileged Egocentric Supervision

从我的视角到你的视角：利用特权自我中心监督从外中心视频中学习自我中心线索

Dominick Reilly, Manish Kumar Govind, Le Xue, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； Elorian AI 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型难以从外中心视频推断自我中心属性的问题，提出Ego2ExoVLM框架，利用时间同步视频对及特权监督，通过两个组件实现此能力，在多任务评估中取得领先性能。

Comments ECCV 2026

Learning to Visually Connect Actions and their Effects

学习在视觉上连接动作及其效果

Paritosh Parmar, Eric Peh, Basura Fernando

机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 该研究引入视觉连接动作及其效果（CATE）概念，探索其动作选择和效果亲和力评估两方面，设计基线模型，发现模型在该任务中表现不佳，人类远超模型，还表明CATE可作为自监督任务学习视频表征。

Comments WACV 2025 (Two Reviewer Nominations for Best Paper Candidate; Oral Presentation)

An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models

一种丰富手术视频数据集的方法，用于视觉-语言模型的细粒度时空理解

Lennart Maack, Alexander Schlaefer

机构 * Hamburg University of Technology（汉堡理工大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出SurgSTU-Pipeline生成管道，通过时空连续性过滤创建细粒度时空问答数据集SurgSTU，提升视觉-语言模型在手术视频中的时空理解能力。

IWP: Token Pruning as Implicit Weight Pruning in Large Vision Language Models

IWP：大型视觉语言模型中的隐式权重剪枝与令牌剪枝

Dong-Jae Lee, Sunghyun Baek, Junmo Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出基于注意力对偶形式的无训练令牌剪枝框架，通过度量令牌的信息量和冗余度，结合渐进式分块最大边际相关性选择子集，在保持性能的同时提升效率。

Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback

Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法

Derek Shi, Ruben Glatt, Christine Klymko, Shubham Mohole, Hongjun Choi, Shashank Kushwaha, Sam Sakla, Felipe Leno da Silva

机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司） 纠错

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV

AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。

Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)

Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026

Mitigating Cross-Image Information Leakage in Multi-Image Understanding with Large Vision-Language Models

缓解多图像理解中大型视觉语言模型的跨图像信息泄露

Yeji Park, Minyoung Lee, Sanghyuk Chun, Junsuk Choe

机构 * Sogang University（ソガン大学） ； Princeton University（普林斯顿大学） ； NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型在多图像输入时性能下降的问题，提出无需训练且架构无关的FOCUS方法，通过随机噪声掩码和噪声参考输入抑制跨图像信息泄露，显著提升多图像和视频理解性能。

Comments Source code is available at https://github.com/yejipark-m/FOCUS

E-VAds: An E-commerce Short Videos Understanding Benchmark for MLLMs

E-VAds：面向多模态大语言模型的电商短视频理解基准

Xianjie Liu, Yiman Hu, Liang Wu, Ping Hu, Yixiong Zou, Jian Xu, Bo Zheng

机构 * Alimama Tech, Taobao \& Tmail Group of Alibaba ； Huazhong University of Science ； Vin University 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出电商短视频理解基准E-VAds，通过多模态信息密度评估框架量化领域复杂性，并构建多智能体生成的问答数据集，最后开发基于强化学习的推理模型E-VAds-R1，在商业意图推理上实现109.2%的性能提升。

Comments Accepted by ICML2026

MarkIt: Training-Free Visual Markers for Precise Video Temporal Grounding

MarkIt: 免训练视觉标记用于精确视频时间定位

Pengcheng Fang, Yuxia Chen, Xiaohao Cai

专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM

AI总结 提出免训练框架MarkIt，通过无标注查询到掩码桥接生成标记视频，增强视频语言大模型的时间定位能力，在多个基准上取得最优结果。

FrameOracle: Learning What to See and How Much to See in Videos

FrameOracle: 学习在视频中看什么以及看多少

Chaoyu Li, Tianzhi Li, Fei Tao, Zhenyu Zhao, Ziqian Wu, Maozheng Zhao, Juntong Song, Cheng Niu, Pooyan Fazli

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出FrameOracle轻量模块，预测相关帧及其数量，通过课程学习从弱代理信号到强监督，在多个VLM和基准上以更少帧数保持或提升精度。

Comments ICML 2026. Project page: https://people-robots.github.io/frameoracle/

SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

SMART: 基于音频增强多模态大模型的镜头感知视频时刻检索

An Yu, Weiheng Lu, Jian Li, Zhenfei Zhang, Yunhang Shen, Felix X. -F. Ye, Ming-Ching Chang

机构 * Department of Computer Science, University at Albany - SUNY（University at Albany - SUNY 计算机科学系） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Department of Mathematics and Statistics, University at Albany - SUNY（University at Albany - SUNY 数学与统计学系） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出SMART框架，融合音频与视觉特征，利用镜头感知令牌压缩技术，在多模态大模型基础上实现视频时刻检索，在Charades-STA和QVHighlights上取得显著提升。

Enhancing Video Representations with Spatiotemporal-Semantic Residual to Mitigate Hallucinations in Video Large Multimodal Models

增强视频表示中的时空语义残差以缓解视频大型多模态模型中的幻觉

Yuansheng Gao, Jinman Zhao, Tong Zhang, Xingguo Xu, Wenbin Xing, Han Bao, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） ； Dalian University of Technology（大连理工大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。

Comments Preprint