多模态大模型

ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search

ShotFinder: 通过网络搜索驱动的开放域视频镜头检索

Tao Yu, Haopeng Jin, Hao Wang, Shenghua Chai, Yujia Yang, Junhao Gong, Jiaming Guo, Minghui Zhang, Xinlong Chen, Zhenghao Zhang, Yuxuan Zhou, Yufei Xiong, Shanbin Zhang, Jiabing Yang, Hongzhu Yi, Xinming Wang, Cheng Zhong, Xiao Ma, Zhang Zhang, Yan Huang, Liang Wang

机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） ； Lenovo（联想集团） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ShotFinder通过网络搜索驱动开放域视频镜头检索，提出三阶段检索流程并揭示多模态大模型在开放域视频检索中的性能差距。

Comments 28 pages, 7 figures, Project website: https://github.com/yutao1024/ShotFinder

Vista: Scene-Aware Optimization for Streaming Video Question Answering under Post-Hoc Queries

Vista：面向事后查询的场景感知流视频问答优化

Haocheng Lu, Nan Zhang, Wei Tao, Xiaoyang Qu, Guokuan Li, Jiguang Wan, Jianzong Wang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Vista通过场景感知分割、压缩和召回技术，实现了高效且可扩展的流视频问答，提升了长上下文推理能力，同时保持低延迟和内存效率。

Comments Accepted to AAAI 2026 (Main Technical Track)

AD-MIR: Bridging the Gap from Perception to Persuasion in Advertising Video Understanding via Structured Reasoning

AD-MIR：通过结构化推理弥合从感知到说服的广告视频理解鸿沟

Binxiao Xu, Junyu Feng, Xiaopeng Lin, Haodong Li, Zhiyuan Feng, Bohan Zeng, Shaolin Lu, Ming Lu, Qi She, Wentao Zhang

机构 * Peking University, Beijing, China（北京大学） ； Tsinghua University, Beijing, China（清华大学） ； Xi'an Jiaotong University, Xi'an, China（西安交通大学） ； South China University of Technology, Guangzhou, China（华南理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 AD-MIR通过结构化推理框架，结合语义检索与精确关键词匹配，有效解码广告意图，提升广告视频理解的准确性与说服策略分析能力。

Simulating the Visual World with Artificial Intelligence: A Roadmap

用人工智能模拟视觉世界：一条路线图

Jingtong Yue, Ziqi Huang, Zhaoxi Chen, Xintao Wang, Pengfei Wan, Ziwei Liu

机构 * Robotics Institute Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； S-Lab Nanyang Technological University（南洋理工大学S实验室） ； Kling Team Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于隐式世界模型和视频渲染器的视频基础模型，用于模拟物理动态、智能体交互和任务规划，涵盖四代视频生成技术，应用于机器人、自动驾驶和互动游戏等领域。

Comments Project page: https://world-model-roadmap.github.io/ Github Repo: https://github.com/ziqihuangg/Awesome-From-Video-Generation-to-World-Model

RISE-Video: Can Video Generators Decode Implicit World Rules?

RISE-Video: 视频生成器能否解码隐含的世界规则？

Mingxin Liu, Shuran Ma, Shibei Meng, Xiangyu Zhao, Zicheng Zhang, Shaofeng Zhang, Zhihang Zhong, Peixian Chen, Haoyu Cao, Xing Sun, Haodong Duan, Xue Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Xidian University（西安电子科技大学） ； Beijing Normal University（北京师范大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 RISE-Video通过多维评估框架评估视频生成模型在隐含世界规则推理能力，揭示其在复杂场景模拟中的不足，推动未来生成模型的发展。

Comments 38 pages, 16 figures, 3 tables; Code: https://github.com/VisionXLab/RISE-Video; HuggingFace: https://huggingface.co/datasets/VisionXLab/RISE-Video

EEO-TFV: Escape-Explore Optimizer for Web-Scale Time-Series Forecasting and Vision Analysis

EEO-TFV：面向网络级时间序列预测和视觉分析的逃逸-探索优化器

Hua Wang, Jinghao Lu, Fan Zhang

机构 * School of Computer and Artificial Intelligence, Ludong University（计算机与人工智能学院，鲁东大学） ； School of Computer Science and Technology, Shandong Technology and Business University（计算机科学与技术学院，山东技术与商务大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 EEO-TFV通过轻量级Transformer架构与逃逸-探索优化器，提升网络级时间序列预测和视觉分析的性能与泛化能力。

Comments Main paper: 12 pages

SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model

SurgVidLM：迈向多粒度外科视频理解的大型语言模型

Guankun Wang, Junyi Wang, Wenjin Mo, Long Bai, Kun Yuan, Ming Hu, Jinlin Wu, Junjun He, Yiming Huang, Nicolas Padoy, Zhen Lei, Hongbin Liu, Nassir Navab, Hongliang Ren

机构 * The Chinese University of Hong Kong（香港中文大学） ； Sun Yat-sen University（中山大学） ； University of Strasbourg（斯特拉斯堡大学） ； Technical University of Munich（慕尼黑技术大学） ； Monash University（墨尔本大学） ； Centre for Artificial Intelligence and Robotics, HKISI-CAS（人工智能与机器人中心，HKISI-CAS） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SurgVidLM通过多粒度分析提升外科视频理解能力，结合全局与局部机制实现更精确的手术流程解析。

FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding

FreshMem: 基于大脑的频率-空间混合内存用于流视频理解

Kangcong Li, Peng Ye, Lin Zhang, Chao Wang, Huafeng Qin, Tao Chen

机构 * College of Future Information Technology, Fudan University, Shanghai, China（复旦大学未来信息科技学院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 FreshMem通过频率-空间混合内存网络，提升流视频理解的连续感知能力，实现短期保真与长期一致性的平衡。

Fire on Motion: Optimizing Video Pass-bands for Efficient Spiking Action Recognition

运动中的火焰：为高效脉冲动作识别优化视频通过带

Shuhan Ye, Yuanbin Qian, Yi Yu, Chong Wang, Yuqi Xie, Jiazhen Xu, Kun Wang, Xudong Jiang

机构 * Ningbo University（宁波大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PBO模块，通过优化时间通过带以提升动态视频中脉冲神经网络的动作识别性能。

Less is More: Label-Guided Summarization of Procedural and Instructional Videos

少即是多：基于标签的程序性和教学视频摘要

Shreya Rajpal, Michal Golovanevsky, Carsten Eickhoff

机构 * University of Tübingen（图宾根大学） ； Vellore Institute of Technology（维洛雷理工学院） ； Brown University（布朗大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 PRISM提出了一种基于标签的视频摘要方法，通过集成语义和多模态分析，生成语义准确且上下文连贯的摘要，有效提升摘要质量。

Comments 22 pages, 6 figures

VideoNSA: Native Sparse Attention Scales Video Understanding

VideoNSA：原生稀疏注意力扩展视频理解

Enxin Song, Wenhao Chai, Shusheng Yang, Ethan Armand, Xiaojun Shan, Haiyang Xu, Jianwen Xie, Zhuowen Tu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VideoNSA通过端到端训练提升视频理解，结合原生稀疏注意力实现长视频和时间推理的性能优化

Comments ICLR 2026

MORPH: PDE Foundation Models with Arbitrary Data Modality

MORPH：具有任意数据模态的PDE基础模型

Mahindra Singh Rautela, Alexander Most, Siddharth Mansingh, Bradley C. Love, Alexander Scheinker, Diane Oyen, Nathan Debardeleben, Earl Lawrence, Ayan Biswas

机构 * Computing and Artificial Intelligence Division (CAI), Los Alamos National Laboratory, NM, US（计算与人工智能部门（CAI），洛斯阿拉莫斯国家实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MORPH是一种基于卷积视觉变压器的PDE基础模型，通过多模态处理和高效注意机制实现对异质科学数据的高效学习。

MAViS: A Multi-Agent Framework for Long-Sequence Video Storytelling

MAViS：一个用于长序列视频叙事的多智能体框架

Qian Wang, Ziqi Huang, Ruoxi Jia, Paul Debevec, Ning Yu

机构 * Virginia Tech（弗吉尼亚理工大学） ； Nanyang Technological University（南洋理工大学） ； Eyeline Studios（Eyeline工作室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MAViS通过多智能体协作框架提升长序列视频生成的辅助能力、视觉质量和表达性，支持多模态输出。

Comments Video Generation Agent

Event-VStream: Event-Driven Real-Time Understanding for Long Video Streams

Event-VStream: 基于事件驱动的长视频流实时理解

Zhenghui Guo, Yuanbin Man, Junyuan Sheng, Bowen Lin, Ahmed Ahmed, Bo Jiang, Boyuan Zhang, Miao Yin, Sian Jin, Omprakash Gnawal, Chengming Zhang

机构 * University of Houston（德克萨斯大学休斯顿分校） ； The University of Texas at Arlington（德克萨斯理工大学） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Temple University（特拉华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Event-VStream通过事件感知框架实现长视频流的实时理解，利用事件序列进行语义连贯的处理，提升性能并保持低延迟。

GAT-NeRF: Geometry-Aware-Transformer Enhanced Neural Radiance Fields for High-Fidelity 4D Facial Avatars

GAT-NeRF：基于几何感知的Transformer增强神经辐射场用于高保真的4D面部虚拟人物

Zhe Chang, Haodong Jin, Ying Sun, Yan Song, Hui Yu

机构 * Department of Control Science and Engineering, University of Shanghai for Science and Technology（控制科学与工程系，上海科学技术大学） ； Business School, University of Shanghai for Science and Technology（商学院，上海科学技术大学） ； School of Psychology and Neuroscience, University of Glasgow（心理学与神经科学学院，格拉斯哥大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 GAT-NeRF通过整合Transformer机制与几何感知模块，提升从单目视频重建高保真4D动态面部虚拟人物的能力。

Image-to-Video Transfer Learning based on Image-Language Foundation Models: A Comprehensive Survey

基于图像-语言基础模型的图像到视频迁移学习：全面综述

Jinxuan Li, Chaolei Tan, Haoxuan Chen, Jianxin Ma, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng

机构 * School of Computer Science and Engineering, Sun Yat-sen University（计算机科学与工程学院，中山大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了基于图像-语言基础模型的图像到视频迁移学习，系统分类了现有技术并分析了其在视频-文本任务中的应用与挑战。

Comments Updated version, github repository is available at https://github.com/YuriPreisdent/awesome-image-to-video-transfer

Think-Clip-Sample: Slow-Fast Frame Selection for Video Understanding

Think-Clip-Sample: 慢-快帧选择用于视频理解

Wenhui Tan, Ruihua Song, Jiaze Li, Jianzhong Ju, Zhenbo Luo

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 Think-Clip-Sample通过多查询推理和慢-快采样提升长视频理解的效率和效果

Comments Accepted by ICASSP2026

Gamma2Patterns: Deep Cognitive Attention Region Identification and Gamma-Alpha Pattern Analysis

Gamma2Patterns: 深度认知注意力区域识别与伽马-阿尔法模式分析

Sobhana Jahan, Saydul Akbar Murad, Nick Rahimi, Noorbakhsh Amiri Golilarz

机构 * 1Department of Computer Science, The University of Alabama, Tuscaloosa, AL, USA ； 2School of Computing Sciences \& Computer Engineering, University of Southern Mississippi, Hattiesburg, MS, USA Email 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Gamma2Patterns通过多模式分析揭示深度注意力的神经区域和振荡特征，为人工智能系统中的注意力机制提供神经生理学基础。

Minimal Clips, Maximum Salience: Long Video Summarization via Key Moment Extraction

最短片段，最大显著性：通过关键时刻提取实现长视频摘要

Galann Pennec, Zhengyuan Liu, Nicholas Asher, Philippe Muller, Nancy F. Chen

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出了一种通过关键时刻提取实现长视频多模态摘要的方法，利用轻量级模型和大型语言模型实现高效摘要生成。

TA-Prompting: Enhancing Video Large Language Models for Dense Video Captioning via Temporal Anchors

TA-Prompting: 通过时间锚点增强视频大语言模型以实现密集视频描述

Wei-Yuan Cheng, Kai-Po Chang, Chi-Pin Huang, Fu-En Yang, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所） ； NVIDIA（NVIDIA公司） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 TA-Prompting通过引入时间锚点提升视频大语言模型的密集视频描述能力，有效解决时间边界识别问题，提升时间感知视频事件理解性能。

Comments 8 pages for main paper (exclude citation pages), 6 pages for appendix, totally 10 figures 7 tables and 2 algorithms. The paper is accepted by WACV 2026

Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

Seeing the Unseen: Zooming in the Dark with Event Cameras

看见不可见的：利用事件相机在黑暗中放大

Dachun Kai, Zeyu Xiao, Huyue Zhu, Jiaxiao Wang, Yueyi Zhang, Xiaoyan Sun

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 RetinexEVSR通过事件驱动和Retinex先验知识提升低光视频超分辨率性能，实现高对比度细节恢复与低光伪影抑制。

Comments Accepted to AAAI 2026

MotionPhysics: Learnable Motion Distillation for Text-Guided Simulation

MotionPhysics: 通过自然语言引导的模拟学习可学习的运动蒸馏

Miaowei Wang, Jakub Zadrożny, Oisin Mac Aodha, Amir Vaxman

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MotionPhysics通过自然语言引导模拟，利用可学习的运动蒸馏损失实现对3D物体物理参数的自动学习，提升动态模拟的逼真度和效率。

Comments AAAI2026 Accepted

CogStream: Context-guided Streaming Video Question Answering

CogStream: 基于上下文的流视频问答

Zicheng Zhao, Kangyu Wang, Shijie Li, Rui Qian, Weiyao Lin, Huabin Liu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CogStream任务，通过视觉流压缩和历史对话检索，解决流视频中关键信息识别与问答问题。

Comments Project page: https://github.com/LiamZhao326/CogStream

VideoZoomer: Reinforcement-Learned Temporal Focusing for Long Video Reasoning

VideoZoomer: 用于长视频推理的强化学习时序聚焦

Yang Ding, Yizhen Zhang, Xin Lai, Ruihang Chu, Yujiu Yang

机构 * Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VideoZoomer通过强化学习实现动态时序聚焦，提升长视频推理性能和效率。

LongFly: Long-Horizon UAV Vision-and-Language Navigation with Spatiotemporal Context Integration

LongFly: 长航程无人机视觉与语言导航中的时空上下文整合

Wen Jiang, Li Wang, Kangyao Huang, Wei Fan, Jinyuan Liu, Shaoyu Liu, Hongwei Duan, Bin Xu, Xiangyang Ji

机构 * School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院） ； Chongqing Innovation Center, Beijing Institute of Technology（北京理工大学重庆创新中心） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Department of Automation, Tsinghua University（清华大学自动化系） ； School of Software, Dalian University of Technology（大连理工大学软件学院） ； School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LongFly通过整合时空上下文提升无人机长航程视觉与语言导航的准确性和稳定性。

UrbanVideo-Bench: Benchmarking Vision-Language Models on Embodied Intelligence with Video Data in Urban Spaces

UrbanVideo-Bench: 基于城市空间视频数据评估视觉-语言模型的具身智能

Baining Zhao, Jianjie Fang, Zichao Dai, Ziyou Wang, Jirong Zha, Weichen Zhang, Chen Gao, Yue Wang, Jinqiang Cui, Xinlei Chen, Yong Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 UrbanVideo-Bench通过城市空间视频数据评估视频大语言模型的具身智能，揭示其在城市环境中感知、推理和导航能力的局限性，并验证了Sim-to-Real迁移的潜力。

Comments 22 pages

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 32400-32423, 2025

KFS-Bench: Comprehensive Evaluation of Key Frame Sampling in Long Video Understanding

KFS-Bench: 长视频理解中关键帧采样的全面评估

Zongyao Li, Kengo Ishida, Satoshi Yamazaki, Xiaotong Ji, Jianquan Liu

机构 * Visual Intelligence Research Laboratories, NEC Corporation（NEC公司视觉智能研究实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 KFS-Bench通过多场景标注评估关键帧采样策略，提出新度量标准和方法提升问答性能。

Comments WACV2026

StreamingAssistant: Efficient Visual Token Pruning for Accelerating Online Video Understanding

StreamingAssistant: 为加速在线视频理解的高效视觉标记修剪

Xinqi Jin, Hanxun Yu, Bohan Yu, Kebin Liu, Jian Liu, Keda Tao, Yixuan Pei, Huan Wang, Fan Dang, Jiangchuan Liu, Weiqiang Wang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Westlake University（西湖大学） ； Beijing Jiaotong University（北京交通大学） ； Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 StreamingAssistant通过高效视觉标记修剪技术，提升在线视频理解的准确性和效率，减少GPU内存使用和计算延迟。

MusicInfuser: Making Video Diffusion Listen and Dance

MusicInfuser: 使视频扩散模型听音乐并跳舞

Susung Hong, Ira Kemelmacher-Shlizerman, Brian Curless, Steven M. Seitz

机构 * University of Washington（华盛顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MusicInfuser通过调整预训练视频扩散模型，使视频能与指定音乐同步生成舞蹈，无需运动数据，训练高效且泛化能力强。

Comments Project page: https://susunghong.github.io/MusicInfuser

Towards Efficient Real-Time Video Motion Transfer via Generative Time Series Modeling

通过生成时间序列建模实现高效的实时视频运动迁移

Tasmiah Haque, Md. Asif Bin Syed, Byungheon Jeong, Xue Bai, Sumit Mohan, Somdyuti Paul, Imtiaz Ahmed, Srinjoy Das

机构 * Coupa Software（Coupa软件） ； Intel Corporation（英特尔公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出基于生成时间序列模型的实时视频运动迁移框架，通过关键点预测和光流模块实现高效低帧率视频传输，提升带宽效率与视频生成的可控性。