多模态大模型

A Pattern Language for Resilient Visual Agents

面向鲁棒视觉代理的模式语言

Habtom Kahsay Gidey, Alexander Lenz, Alois Knoll

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 本文提出一种模式语言，用于在企业生态系统中整合多模态基础模型，平衡视觉语言动作模型的延迟与非确定性与企业控制循环的严格确定性和实时性要求。

Comments Accepted to the 23rd International Conference on Software Architecture (ICSA 2026), New and Emerging Ideas Track. 5 pages, 1 figure

DenseStep2M: A Scalable, Training-Free Pipeline for Dense Instructional Video Annotation

DenseStep2M: 一种可扩展且无需训练的密集指令视频标注流水线

Mingji Ge, Qirui Chen, Zeqian Li, Weidi Xie

机构 * SAI, Shanghai Jiao Tong University（上海交通大学人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出无需训练的DenseStep2M流水线，通过分割视频、过滤对齐不佳内容并利用先进多模态模型生成高质量步骤注释，构建了包含10万视频和200万步骤的大型数据集，支持长期视频理解。

OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding

OmniVTG：一种大规模数据集和开放世界视频时间定位的训练范式

Minghang Zheng, Zihao Yin, Yi Yang, Yuxin Peng, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Central Media Technology Institute, Huawei Technologies Ltd.（华为技术有限公司中央媒体技术研究所） ； PKU-WUHAN Institute for Artificial Intelligence, Peking University（北京大学武汉人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出OmniVTG数据集和Self-Correction Chain-of-Thought训练范式，通过语义覆盖迭代扩展管道构建大规模数据集，并利用多模态大语言模型的密集描述能力提升视频时间定位性能。

Comments CVPR 2026

OASIS: On-Demand Hierarchical Event Memory for Streaming Video Reasoning

OASIS：按需分层事件记忆用于流媒体视频推理

Zhijia Liang, Jiaming Li, Weikai Chen, Yanhao Zhang, Haonan Lu, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； OPPO AI Center（OPPO人工智能中心） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 OASIS通过结构化按需检索解决流媒体视频推理中记忆检索的挑战，提升长周期准确性和组合推理能力。

Comments Accepted by CVPR 2026

Video-STAR: Reinforcing Open-Vocabulary Action Recognition with Tools

Video-STAR: 通过工具强化开放词汇动作识别

Zhenlong Yuan, Xiangyan Qu, Chengxuan Qian, Rui Chen, Jing Tang, Lei Sun, Xiangxiang Chu, Dapeng Zhang, Yiwei Wang, Yujun Cai, Shuo Li

机构 * AMAP, Alibaba Group（阿里集团AMAP） ； University of California at Merced（加州大学默塞德分校） ； University of Queensland（昆士兰大学） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Video-STAR通过结合上下文子动作分解与工具增强强化学习，提升开放词汇动作识别的细粒度匹配与跨模态推理能力，有效减少跨模态幻觉。

LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding

LongVideo-R1: 低成本长视频理解的智能导航

Jihao Qiu, Lingxi Xie, Xinyue Huo, Qi Tian, Qixiang Ye

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Huawei Consumer Business Group（华为消费者业务集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出LongVideo-R1，一种基于多模态大语言模型的智能导航系统，通过高效视频上下文导航减少冗余搜索，提升长视频理解的效率与准确性。

Comments 17 pages, 9 figures, 8 tables, accepted to CVPR 2026

rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training

rPPG-VQA：一种用于无监督rPPG训练的视频质量评估框架

Tianyang Dai, Ming Chang, Yan Chen, Yang Hu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出rPPG-VQA框架，通过信号级和场景级分析评估视频对rPPG模型训练的适用性，结合双分支架构和两阶段自适应采样策略提升模型性能。

Comments Accepted by CVPR 2026

4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation

4D-RGPT：通过感知蒸馏实现区域级4D理解

Chiao-An Yang, Ryo Hachiuma, Sifei Liu, Subhashree Radhakrishnan, Raymond A. Yeh, Yu-Chiang Frank Wang, Min-Hung Chen

机构 * NVIDIA（英伟达） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出4D-RGPT和P4D框架，解决3D/4D视频问答中4D感知和时间理解不足的问题，并构建了区域级提示的R4D-Bench基准。

Comments CVPR 2026 (Highlight). Project page: https://www.ca-joe-yang.com/resource/projects/4D_RGPT/. GitHub: https://github.com/NVlabs/4D-RGPT. Dataset: https://huggingface.co/datasets/nvidia/R4D-Bench

UniversalVTG: A Universal and Lightweight Foundation Model for Video Temporal Grounding

UniversalVTG: 一种通用且轻量的视频时间定位基础模型

Joungbin An, Agrim Jain, Kristen Grauman

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出UniversalVTG，一种通用轻量视频时间定位模型，通过大规模跨数据集预训练实现高效长视频定位，优于专用模型且比大语言模型更轻量。

Comments Project Page: https://vision.cs.utexas.edu/projects/universalvtg

ATSS: Detecting AI-Generated Videos via Anomalous Temporal Self-Similarity

ATSS：通过异常时间自相似性检测AI生成视频

Hang Wang, Chao Shen, Lei Zhang, Zhi-Qi Cheng

机构 * Xi’an Jiaotong University（西安交通大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Washington（华盛顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ATSS方法，通过三重相似性表示和跨注意融合机制，检测AI生成视频的异常时间自相似性，优于现有方法，在多个基准上表现更优。

Comments 16 pages, 4 figures

RANGER: A Monocular Zero-Shot Semantic Navigation Framework through Visual Contextual Adaptation

RANGER：通过视觉上下文适应的单目零样本语义导航框架

Ming-Ming Yu, Yi Chen, Börje F. Karlsson, Wenjun Wu

机构 * Beihang University（北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 RANGER通过视觉上下文学习实现零样本语义导航，无需依赖深度和姿态信息，利用3D基础模型和视觉语言模型提升任务效率与环境适应性。

Comments Accepted at ICRA 2026

When Thinking Hurts: Mitigating Visual Forgetting in Video Reasoning via Frame Repetition

当思考带来痛苦：通过帧重复缓解视频推理中的视觉遗忘

Xiaokun Sun, Yubo Wang, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出FrameRepeat框架，通过轻量级重复评分模块和Add-One-In策略，有效增强视频推理中的视觉线索，提升模型性能和泛化能力。

Clue Matters: Leveraging Latent Visual Clues to Empower Video Reasoning

线索至关重要：利用潜在视觉线索增强视频推理

Kaixin zhang, Xiaohe Li, Jiahao Li, Haohua Wu, Xinyu Zhao, Zide Fan, Lei Wang

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航天信息研究所） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出ClueNet框架，通过两阶段监督微调方法，解决视频推理中视觉线索提取、过滤与推理对齐问题，提升视频问答的准确性和可解释性。

Comments 18 pages, 7 figures

HyperTokens: Controlling Token Dynamics for Continual Video-Language Understanding

HyperTokens: 通过控制令牌动态实现连续视频-语言理解

Toan Nguyen, Yang Liu, Celso De Melo, Flora D. Salim

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HyperTokens，通过按需生成微调令牌，控制提示更新并保持内存固定，通过元启发式正则化抑制遗忘，提升连续视频问答任务的准确率与保留率。

Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

先关注再注意：通过自回归注视实现高效的可扩展视频理解

Baifeng Shi, Stephanie Fu, Long Lian, Hanrong Ye, David Eigen, Aaron Reite, Boyi Li, Jan Kautz, Song Han, David M. Chan, Pavlo Molchanov, Trevor Darrell, Hongxu Yin

机构 * UC Berkeley（伯克利大学） ； MIT（麻省理工学院） ； Clarifai（Clarifai公司） ； NVIDIA（英伟达公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 AutoGaze通过自回归选择视频中的关键块，减少冗余并提升处理效率，使大语言模型能处理长视频并取得更优表现。

Comments CVPR 2026. Project page: https://autogaze.github.io/

OnlineSI: Taming Large Language Model for Online 3D Understanding and Grounding

OnlineSI: 通过大规模语言模型实现在线3D理解和定位

Zixian Liu, Zhaoxi Chen, Liang Pan, Ziwei Liu

机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 OnlineSI通过整合3D点云与语义信息，提升大规模语言模型在动态环境中的空间理解和物体识别能力。

Comments Project Page: https://onlinesi.github.io/

FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering

FocusGraph: 用于具身长视频问答的图结构帧选择

Tatiana Zemskova, Solomon Andryushenko, Ilya Obrubov, Viktoriia Khoruzhaia, Ekaterina Eroshenko, Ekaterina Derevyanka, Dmitry Yudin

机构 * AXXX ； MIRAI ； Yandex ； FusionBrain Lab（FusionBrain实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 FocusGraph通过图结构帧选择和轻量级模型实现高效长视频问答，提升性能并减少推理时间。

On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding

在判别与生成分类器之间：重新思考MLLMs用于动作理解

Zhanzhong Pang, Dibyadip Chatterjee, Fadime Sener, Angela Yao

机构 * National University of Singapore（国立新加坡大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出GAD分类器，通过生成辅助判别方法提升封闭集动作理解的准确性和效率，达到SOTA效果。

Comments 22 pages, 9 figures, 16 tables. Accepted by ICLR2026

Unifying Language-Action Understanding and Generation for Autonomous Driving

统一语言-动作理解与生成以实现自动驾驶

Xinyang Wang, Qian Liu, Wenjie Ding, Zhao Yang, Wei Li, Chang Liu, Bailin Li, Kun Zhan, Xianpeng Lang, Wei Chen

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） ； Li Auto 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 LinkVLA通过统一语言和动作令牌及两步生成方法，提升自动驾驶中语言-动作一致性和效率

Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding

通过草稿思考：用于高效长视频理解的推测性时间推理

Pengfei Hu, Meng Cao, Yingyao Wang, Yi Wang, Jiahua Dong, Jun Song, Yu Cheng, Bo Zheng, Xiaodan Liang

机构 * MBZUAI（马克斯·普朗克智能研究院） ； Alibaba Group Holding Limited（阿里巴巴集团控股有限公司） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SpecTemp通过协作双模型设计，实现高效长视频理解，平衡效率与准确性，提升推理速度。

Comments Accepted by CVPR 26

ASPEN: Spectral-Temporal Fusion for Cross-Subject Brain Decoding

ASPEN：跨受试者脑解码的频谱-时间融合

Megan Lee, Seung Ha Hwang, Inhyeok Choi, Shreyas Darade, Mengchun Zhang, Kateryna Shapovalenko

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Kyung Hee University（Kyung Hee大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 ASPEN通过频谱-时间融合实现跨受试者脑解码，利用乘法融合提升跨模态一致性，有效提升未见受试者准确率。

Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition

Demo-ICL: 用于过程视频知识获取的上下文学习

Yuhao Dong, Shulin Tian, Shuai Liu, Shuangrui Ding, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Jiaqi Wang, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Shanghai AI Lab（上海人工智能实验室） ； CUHK-MMLab（香港大学多媒体实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 Demo-ICL通过两阶段训练策略提升模型从上下文示例中学习的能力，针对视频理解中的新挑战提出Demo-ICL-Bench基准测试。

EgoLife: Towards Egocentric Life Assistant

EgoLife：迈向以自身为中心的生活助手

Jingkang Yang, Shuai Liu, Hongming Guo, Yuhao Dong, Xiamengwei Zhang, Sicheng Zhang, Pengyun Wang, Zitang Zhou, Binzhu Xie, Ziyue Wang, Bei Ouyang, Zhengyu Lin, Marco Cominelli, Zhongang Cai, Yuanhan Zhang, Peiyuan Zhang, Fangzhou Hong, Joerg Widmer, Francesco Gringoli, Lei Yang, Bo Li, Ziwei Liu

机构 * S-Lab, Nanyang Technological University, Singapore（南洋理工大学新加坡分校） ； LMMs-Lab（LMMs实验室） ； IMDEA Networks, Spain（西班牙IMDEA网络） ； University of Brescia, Italy（意大利布雷西亚大学） ； Politecnico di Milano, Italy（意大利米兰理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；omni-modal(abstract)；分类 cs.CV

AI总结 EgoLife旨在通过AI赋能的可穿戴设备开发以自身为中心的生活助手，通过多模态数据集和EgoButler系统提升日常效率与个性化服务。

Comments This version corrects the author affiliation to reflect the accurate institutional information at the time of publication. No technical content of the paper has been changed

EventFlash: Towards Efficient MLLMs for Event-Based Vision

EventFlash: 向基于事件的视觉高效MLLMs迈进

Shaoyu Liu, Jianing Li, Guanghui Zhao, Yunjian Zhang, Wen Jiang, Ming Li, Xiangyang Ji

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Beijing Institute of Technology（北京理工大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy(SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 EventFlash通过时空令牌稀疏化技术，实现高效事件视觉处理，提升吞吐量并支持更长的事件流处理。

CoT-RVS: Zero-Shot Chain-of-Thought Reasoning Segmentation for Videos

CoT-RVS：零样本链式推理视频对象分割

Shiu-hong Kao, Yu-Wing Tai, Chi-Keung Tang

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 CoT-RVS通过零样本链式推理能力，实现了对视频对象的高效分割，无需训练即可处理复杂查询和在线视频流。

Comments Accepted to ICLR 2026. Project page: https://danielshkao.github.io/cot-rvs.html. Code: https://github.com/DanielSHKao/CoT-RVS

Boosting Point-supervised Temporal Action Localization via Text Refinement and Alignment

通过文本细化与对齐提升点监督时间动作定位

Yunchuan Ma, Laiyun Qing, Guorong Li, Yuqing Liu, Yuankai Qi, Qingming Huang

机构 * University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学，北京） ； Macquarie University（麦考瑞大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出TRA框架，通过文本细化与对齐提升点监督时间动作定位的精度和性能。

SRVAU-R1: Enhancing Video Anomaly Understanding via Reflection-Aware Learning

SRVAU-R1: 通过反射感知学习增强视频异常理解

Zihao Zhao, Shengting Cao, Muchao Ye

机构 * The University of Iowa（艾奥瓦大学） ； Knox College（克诺克斯学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SRVAU-R1通过引入反射感知学习框架，提升视频异常理解的推理能力和准确性。

ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

ToS: 一种针对视频中立体声音事件定位与检测的专家团队集成框架，包含距离估计

Davide Berghi, Philip J. B. Jackson

机构 * Centre for Vision, Speech ； Signal Processing (CVSSP) University of Surrey, Guildford, U.K. 纠错

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 ToS框架通过整合三个互补子网络，有效解决视频中立体声音事件定位与检测的多维度推理问题，优于现有方法。

GTPred: Benchmarking MLLMs for Interpretable Geo-localization and Time-of-capture Prediction

GTPred：评估多模态大语言模型在可解释地理定位和拍摄时间预测中的基准测试

Jinnao Li, Zijian Chen, Tingzhu Chen, Changbo Wang

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Institute of Image Communication and Information Processing, Shanghai Jiao Tong University（上海交通大学图像通信与信息处理研究院） ； School of Humanities, Shanghai Jiao Tong University（上海交通大学人文学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 GTPred是一个新的地理-时间预测基准测试，通过评估多模态大语言模型在可解释地理定位和拍摄时间预测中的表现，揭示了当前模型在世界知识和时空推理方面的局限性。

Combining Facial Videos and Biosignals for Stress Estimation During Driving

结合面部视频和生物信号用于驾驶过程中的压力估计

Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

机构 * Computer Science Department, University of Crete（塞萨洛尼基大学计算机科学系） ； Institute of Computer Science (ICS), Foundation for Research & Technology – Hellas (FORTH)（希腊基础研究与技术机构计算机科学研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出结合面部视频和生物信号的多模态压力估计框架，通过跨模态注意力融合显著提升性能，适用于驾驶场景的压力监测。

Comments Under submission to ICPR 2026