视频大模型

SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model

SurgVidLM：迈向多粒度外科视频理解的大型语言模型

Guankun Wang, Junyi Wang, Wenjin Mo, Long Bai, Kun Yuan, Ming Hu, Jinlin Wu, Junjun He, Yiming Huang, Nicolas Padoy, Zhen Lei, Hongbin Liu, Nassir Navab, Hongliang Ren

机构 * The Chinese University of Hong Kong（香港中文大学） ； Sun Yat-sen University（中山大学） ； University of Strasbourg（斯特拉斯堡大学） ； Technical University of Munich（慕尼黑技术大学） ； Monash University（墨尔本大学） ； Centre for Artificial Intelligence and Robotics, HKISI-CAS（人工智能与机器人中心，HKISI-CAS） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；video language model(abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 SurgVidLM通过多粒度分析提升外科视频理解能力，结合全局与局部机制实现更精确的手术流程解析。

KTV: Keyframes and Key Tokens Selection for Efficient Training-Free Video LLMs

KTV: 关键帧与关键令牌选择用于高效无训练视频大语言模型

Baiyang Song, Jun Peng, Yuxin Zhang, Guangyao Chen, Feidiao Yang, Jianyuan Guo

专题命中 视频理解 ：video understanding(abstract)；long video(abstract)；分类 cs.CV

AI总结 KTV通过两阶段框架高效选择关键帧和令牌，提升无训练视频理解的性能和效率。

SlowFocus: Enhancing Fine-grained Temporal Understanding in Video LLM

SlowFocus: 提升视频大语言模型中的细粒度时间理解

Ming Nie, Dan Ding, Chunwei Wang, Yuanfan Guo, Jianhua Han, Hang Xu, Li Zhang

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） ； Yinwang Intelligent Technology Co., Ltd.（亿万象智能科技有限公司） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 SlowFocus通过提升等效采样频率和引入多频率混合注意力模块，提升视频大语言模型对细粒度时间理解的能力。

Comments NeurIPS 2024

Morphe: High-Fidelity Generative Video Streaming with Vision Foundation Model

Morphe: 基于视觉基础模型的高保真生成视频流媒体

Tianyi Gong, Zijian Cao, Zixing Zhang, Jiangkai Wu, Xinggong Zhang, Shuguang Cui, Fangxin Wang

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳）） ； Shenzhen Future Network of Intelligence Institute（深圳未来网络智能研究院） ； Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM

AI总结 Morphe基于视觉基础模型，通过联合训练和智能分组丢弃技术，实现高保真度、低带宽的实时视频流媒体传输。

Comments Accepted by NSDI 2026 Fall

BridgeV2W: Bridging Video Generation Models to Embodied World Models via Embodiment Masks

BridgeV2W: 通过具身遮罩将视频生成模型与具身世界模型 bridging

Yixiang Chen, Peiyan Li, Jiabing Yang, Keji He, Xiangnan Wu, Yuan Xu, Kai Wang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences（模式识别新实验室（NLPR），自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Shandong University（山东大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 BridgeV2W 通过具身遮罩将视频生成模型与具身世界模型结合，解决坐标空间动作与像素空间视频的不匹配问题，并提升视频生成质量与跨具身统一性。

InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation

InstaDrive: 为真实和一致的视频生成实例感知的驾驶世界模型

Zhuoran Yang, Xi Guo, Chenjing Ding, Chiyu Wang, Wei Wu, Yanyong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； SenseAuto（感etime） ； Tsinghua University（清华大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 InstaDrive通过实例感知机制提升驾驶视频生成质量，增强自动驾驶任务性能。

RANKVIDEO: Reasoning Reranking for Text-to-Video Retrieval

RANKVIDEO: 文本到视频检索中的推理重排序

Tyler Skow, Alexander Martin, Benjamin Van Durme, Rama Chellappa, Reno Kriz

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Human Language Technology Center of Excellence（人机语言技术卓越中心） 纠错

专题命中 视频生成 ：text-to-video(title)；分类 cs.CV

AI总结 RANKVIDEO通过基于视频内容的推理机制，提升了文本到视频检索的重排序性能，实验显示在nDCG@10上平均提升31%，优于现有方法。

Making Avatars Interact: Towards Text-Driven Human-Object Interaction for Controllable Talking Avatars

让拟人化角色互动：面向文本驱动的人-物体交互的可控对话拟人化

Youliang Zhang, Zhengguang Zhou, Zhentao Yu, Ziyao Huang, Teng Hu, Sen Liang, Guozhen Zhang, Ziqiao Peng, Shunkai Li, Yi Chen, Zixiang Zhou, Yuan Zhou, Qinglin Lu, Xiu Li

机构 * Tsinghua University（清华大学） ； Tencent HY（腾讯） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出InteractAvatar框架，通过双流结构实现文本驱动的人-物体交互生成，解决环境感知与控制质量矛盾，建立GroundedInter基准验证方法有效性。

V2P-Bench: Evaluating Video-Language Understanding with Visual Prompts for Better Human-Model Interaction

V2P-Bench: 通过视觉提示评估视频语言理解以提升人机交互

Yiming Zhao, Yu Zeng, Yukun Qi, YaoYang Liu, Xikun Bao, Lin Chen, Zehui Chen, Qing Miao, Chenxi Liu, Jie Zhao, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视频问答 ：video-language(title)；video understanding(abstract)；分类 cs.CV

AI总结 V2P-Bench通过视觉提示评估视频语言理解，提升人机交互效率与体验，揭示模型在时空理解上的不足及Hack现象。

Comments Project Page: https://vlm-reasoning.github.io/V2P-Bench/

video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM

视频-SALMONN S：内存增强的流式音频视觉大语言模型

Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 长视频与时序推理 ：video understanding(abstract)；long video(abstract)；分类 cs.CV

AI总结 视频-SALMONN S通过引入测试时训练机制，实现高效流式视频理解，显著提升长视频任务的性能和准确性。

Saliency-Guided DETR for Moment Retrieval and Highlight Detection

基于显著性的DETR用于时刻检索和突出检测

Aleksandr Gordeev, Vladimir Dokholyan, Irina Tolstykh, Maksim Kuprashevich

机构 * SALUTEDEV LLC 纠错

专题命中 视频数据与评测 ：video-language(abstract)；分类 cs.CV

AI总结 本文提出基于显著性的DETR架构，通过引入显著性引导交叉注意力机制和混合DETR结构，提升视频时刻检索和突出检测性能，并在多个基准上取得最佳结果。

Comments 8 pages, 2 figure, 6 tables