多模态大模型

Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning

荷马：通过分层记忆和智能推理理解长视频

Yixin Ji, Fanghua Ye, Juntao Li, Bo Zhao, Zexuan Qiu, Zhaopeng Tu, Liefeng Bo, Min Zhang

机构 * Soochow University（苏州大学） ； Tencent Hunyuan Multimodal Department（腾讯混元多模态部） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究长视频理解问题，提出荷马分层在线记忆探索与推理框架，其记忆反映视频多尺度结构，智能推理器按人类方式探索记忆，通过多轮检索组合答案，性能优于此前最佳方法。

Comments under review

SpikeVLA: Vision-Language-Action Models with Spiking Neural Networks

SpikeVLA：基于脉冲神经网络的视觉-语言-动作模型

Ruiqi Song, Dujun Nie, Siyu Teng, Baiyong Ding, Xiaotong Zhang, Dong Li, Chenming Zhang, Yuchen Li, Hangbin Wu, Long Chen

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)

AI总结 提出SpikeVLA，一种脉冲VLA架构，通过事件驱动稀疏计算降低能耗，在导航和机器人控制任务中保持竞争力，适用于低功耗实时具身智能。

Comments Accepted by ICML 2026. 16 pages, 9 figures

Journal ref Proceedings of the 43rd International Conference on Machine Learning, 2026

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism

MemDreamer: 通过分层图记忆和智能体检索机制解耦感知与推理以实现长视频理解

Cong Chen, Guo Gan, Kaixiang Ji, ZhaoYang Zhang, Zhen Yang, Guangming Yao, Hao Chen, Jingdong Chen, Yi Yuan, Chunhua Shen

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Central South University（中南大学） ； HKUST(GZ)（香港科技大学(广州)） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出MemDreamer框架，通过分层图记忆和智能体检索机制解耦感知与推理，将长视频理解转化为智能体探索过程，在四个基准上达到SOTA，推理上下文窗口仅占全量2%且准确率提升12.5点。

When No Answer Is Correct: Diagnosing Absent Answer Detection for MLLMs in Video Understanding

当没有正确答案时：诊断视频理解中多模态大语言模型的缺失答案检测

Yiheng Wang, Yueqian Lin, Lichen Zhu, Yudong Liu, Hai "Helen" Li, Yiran Chen

机构 * Duke University（杜克大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究多模态大语言模型在视频理解中检测缺失答案的能力，发现模型倾向于选择干扰项而非识别无正确答案，时间推理任务中问题更严重，链式思维提示虽提升检测率但仍不理想。

Comments Under review

TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs

TTSD-FAR：用于大视频语言模型中缺失模态情感识别的带Fisher锚定恢复的测试时自蒸馏

Muhammad Haseeb Aslam, Alessandro Koerich, Marco Pedersoli, Ali Etemad, Eric Granger

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对大视频语言模型测试时的模态缺失问题，提出带Fisher锚定恢复的测试时自蒸馏框架，在多数据集模态缺失场景下性能优于基线方法且保持稳定。

VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

VideoGAIA：面向通用人工智能助手的智能体视频理解基准

Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Tongji University（同济大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 VideoGAIA是面向通用AI助手的智能体视频理解基准，构建多轮工具增强交互任务，现有MLLMs在其上准确率不足60%，可评估下一代模型并推动相关转型。

EgoMonth: A Month-Level Egocentric Video Benchmark for Long-Term Spatiotemporal Memory

EgoMonth：面向长期时空记忆的月级自我中心视频基准

Weitao Chen, Hu Jiaxin, Xie Tianyidan, Yang Li, Yuyi Qian, Banghao Xu, Ziheng Tang, Shenyi Wang, Mingyue Yu, Duo Li, Jiacheng Shi, Gao Wang, Zhan Xu, Zhicheng Qiu, Xuanfu Li, Jian Yang, Lanjun Wang, Zili Yi

机构 * Nanjing University（南京大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； Tianjin University（天津大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究人员推出首个月级自我中心视频基准EgoMonth，评估发现当前主流MLLMs的长期时空记忆能力远逊于人类，仅为有损总结器而非忠实记忆器。

Comments 21 pages, 4 figures, 6 tables, including appendices

Glance, Scrutinize, and Think: Advancing Video Anomaly Detection from Training-Free to Agentic Reasoning

扫视、审视与思考：将视频异常检测从无训练推进到智能体推理

Shibo Gao, Peipei Yang, Xu-Yao Zhang, Linlin Huang

机构 * Beijing Jiaotong University（北京交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视频异常检测的“何时-何事”脱节问题，提出无训练框架GtS及工具增强型智能体方法，扩展基准并引入联合评估指标，实现了更高的异常检测准确性与推理速度。

Comments 34 pages, 8 figures, 8 tables. Journal extension of our AAAI 2026 paper (arXiv:2507.21507)

StreamFlow: Dynamic Memory Flows for Streaming Video Understanding

StreamFlow：用于流视频理解的动态内存流

Muxin Fu, Yifan Zhang, Wentao Zhang, Fangming Guo, Qian Chen, Guibin Zhang, Shuicheng Yan, Bo An

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 StreamFlow是一种动态视觉内存框架，通过中期内存过滤冗余、长期内存整合潜变量及注意力检索，在流视频理解任务中实现最优性能，同时提升视觉依据性并降低延迟与内存。

Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation

基于几何知识蒸馏的时序锚定组合式相机运动理解

Dazhao Du, Shiyan Du, Jian Liu, Yongjian Yu, Bohai Gu, Tao Han, Hualuo Liu, Eric Liu, Yujia Zhang, Xi Chen, Song Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tencent（腾讯） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出CamDistill方法，通过几何知识蒸馏实现时序锚定的组合式相机运动理解，推出含4229个片段的CamChoreo基准，提升了相机运动识别的细粒度与效率。

Order Matters: LVLMs as Judges for Temporal Reasoning in Image Sequences

顺序很重要：LVLMs作为图像序列时间推理的评判者

Martina Ianaro, Guilherme Fernandes, Maurizio Gabbrielli, Joao Magalhaes

机构 * University of Bologna（博洛尼亚大学） ； NOVA School of Science and Technology（NOVA科技学院） ； NOVA Laboratory for Computer Science and Informatics（NOVA计算机科学与信息实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本研究发现大视觉语言模型（LVLMs）作为多模态评判者存在时间顺序判别缺陷，受首因、近因等结构性偏差影响，呼吁构建时间感知的视觉序列评估范式。

Comments 34 pages, camera-ready

REVEAL: A Rubric-Guided Agent for Explicit Evidence Sufficiency Verificationin Long-Video Question Answering

REVEAL：用于长视频问答的基于 rubric（评分标准）的显式证据充分性验证智能体

Caijun Yan, Yang Zhou, Meixing Shi, Haoran Sun, Yichen Li, Yuxiang Cai, Yankai Jiang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对长视频问答中现有方法割裂事件、忽略证据充分性的问题，提出REVEAL框架，通过自适应分块的结构化记忆与rubric引导的证据验证，实现更可靠的推理且性能优于现有SOTA方法。

Your VLM Already Knows When: Training-Free Temporal Grounding by Asking Yes or No

你的视觉语言模型（VLM）已经知道时间：通过提问“是/否”实现无需训练的时间定位

Ji Huang, Barry Devereux, Hui Wang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 针对VLM时间定位任务的自信错误问题，提出无需训练的FV-Action方法，通过从粗到细的二元问题扫描替代时间戳回归，在多个基准数据集上大幅提升了时间定位性能。

TransSLR: A Lightweight Transformer for Sign Language Recognition

TransSLR：用于手语识别的轻量级Transformer

Lucia Yen Wanchi, Samuel Johnny, Victor Tolulope Olufemi, Emmanuel Aaron, Moise Busogi

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对CASL手语识别的低准确率问题，提出轻量级Transformer模型TransSLR，在CASL-W60基准上取得80.39%的最新准确率，且计算开销低，适用于资源受限环境。

Comments This paper has been accepted for oral presentation at Deep Learning Indaba 2026 which will be hosted on the IJCAI hosting platform. paper link: https://chairingtool.com/conferences/dli2026/main-track/submissions/356

UniVVT: A Unified End-to-End Framework for High-Fidelity Video Virtual Try-on

UniVVT：用于高保真视频虚拟试穿的统一端到端框架

Yushe Cao, Shikun Feng, Fei Shen, Haikuo Peng, Jianqiang Xia, Yiheng Zhu, Dianxi Shi, Chun Yu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 UniVVT是一种统一端到端视频虚拟试穿框架，以多模态大语言模型为核心，采用三阶段渐进训练策略，在多基准上实现了优于主流方法的高保真试穿效果。

Comments 17 pages,21 figures

The First EgoCross Challenge at EgoVis 2026: Cross-Domain Egocentric Video Question Answering

2026年EgoVis首届EgoCross挑战赛：跨域自我中心视频问答

Yuqian Fu, Tianwen Qian, Yanjun Li, Yu Li, Kunyu Peng, Xu Zheng, Yongqin Xian, Alessio Tonioni, Yanwei Fu, Xiaoling Wang, Danda Paudel, Federico Tombari, Luc Van Gool, Leyi Wu, Yifan Zhao, Jinjie Zhang, Yinchuan Li, Yingcong Chen, Zixu Li, Zhiwei Chen, Zhiheng Fu, Wenbo Wang, Yupeng Hu, Weili Guan, Liqiang Nie, Takuya Murakawa, Toru Tamaki, Yi Wen, Zhenglin Du, Zhengyang Li, Lingling Li, Licheng Jiao, Wenping Ma

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文介绍2026年EgoVis研讨会举办的首届EgoCross跨域自我中心视频问答挑战赛，含两个赛道，共获1500余份提交，公布结果与获胜方案，资源公开以推进相关研究。

Comments 1st EgoCross challenge @ EgoVis workshop, CVPR26

Predict, Then Retrieve: Cross-Instance Future-State Retrieval from Video Prefixes

预测再检索：从视频前缀中进行跨实例未来状态检索

Quynh Vo, Thong Nguyen, Vinh-Hien Do, Cong-Duy Nguyen, Anh-Tuan Luu

机构 * Centre for AI Research, VinUniversity（VinUniversity人工智能研究中心） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究提出PSR任务，构建含多数据集的基准，提出LFTR模型，发现预测而非感知是核心挑战，LFTR缩小差距且成本低，相关资源已公开。

Comments Work in progress

Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering

推理前的感知：面向视频理解与问答的动态隐式推理

Haotian Xia, Zilin Xiao, Junbo Zou, Vicente Ordonez, Hanjie Chen

机构 * Rice University（莱斯大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视频问答现有方法依赖长文本思维链的问题，提出DyLaR模型，通过动态调整感知与推理隐式变量的使用，在9个视频基准上提升准确率且缩短响应长度。

AdaThinkV: Adaptive Thinking for Token-Efficient Video Reasoning

AdaThinkV：面向令牌高效视频推理的自适应思维

Jingqi Tian, Haoji Zhang, Lin Chen, Hongbo Jin, Haonan Xu, Tianrui Zhu, Xingming Shui, Shilin Ma, Wenjing Yang, Yansong Tang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出AdaThinkV自适应视频推理框架，通过ThinkGain与VRPO解决CoT推理的令牌浪费问题，在视频推理任务中以更少令牌实现优于最强自适应基线的准确率。

Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights

神经网络中的隐状态：从模型权重中恢复漂移数据的时间结构

Kevin Guan

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过对连续时间窗口分类器的对齐权重轨迹拟合HMM，从模型权重中恢复离散状态，在Fakeddit和Yelp数据集上验证了状态内迁移优势，且该优势与数据分布外的迁移结构相关。

Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding

利用记忆进行推理：一种用于免训练长视频理解的时间粒度自适应框架

Linghao Meng, Qiankun Li, Junyuan Mao, Pujin Liao, Zhicheng He, Enbo Zhang, Kun Wang, Yang Liu, Huazhu Fu, Yueming Jin

机构 * National University of Singapore（新加坡国立大学） ； Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科学、技术与研究机构（A*STAR）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Jilin University（吉林大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态大语言模型长视频理解受限问题，提出ReMem框架，通过双级记忆增强自适应，在查询和视频级别分别处理，能适应不同时间粒度，经实验验证在多个基准测试中实现高效零样本性能，提升模型长视频推理能力。

Comments Accepted by ECCV 2026

The Visual Bottleneck: Sparse-Frame Adaptation of MLLMs for Joint Spatial-Temporal Video Grounding

视觉瓶颈：用于联合时空视频定位的多模态大语言模型的稀疏帧适配

Jiameng Zhang, Srikanth Madikeri

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态大语言模型在视频定位中训练与部署条件不匹配问题，通过实验表明视觉特征提取是稀疏帧输入瓶颈，提出适配特定层及边界感知采样策略，证明训练策略对稀疏帧视频定位比模型规模更关键。

Comments 15 pages, 5 figures

MarineEVT: Advancing Event-Centric Marine Video Understanding via Visual Tool Reasoning

MarineEVT：通过视觉工具推理推进以事件为中心的海洋视频理解

Tuan-An To, Yuk-Kwan Wong, Tuan-Anh Vu, Ziqiang Zheng, Sai-Kit Yeung

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 视频多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对海洋视频理解面临的挑战，构建MarineEVT数据集，将其理解分解为EVT-R1过程，利用视觉工具驱动模型。实验显示EVT-R1优于多个SOTA VLMs，为海洋相关发展奠定基础并推动VLMs进步。

Comments Accepted to The 19th European Conference on Computer Vision (ECCV) 2026

ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video

ReViV：从单目自我中心视频中重建4D中的观看者和视图

Xiaozhong Lyu, Gen Li, Zhiyin Qian, Xucong Zhang, Marc Pollefeys, Siyu Tang

机构 * ETH Zurich（苏黎世联邦理工学院） ； Delft University of Technology（代尔夫特理工大学） ； Microsoft（微软） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究旨在从单目自我中心视频重建4D中的观看者和视图，提出ReViV框架，将任务建模为学习多模态信号联合概率分布，由掩码生成自我中心变压器驱动，在多基准测试中展现出高精度和效率，还保持了竞争力强的自我中心深度估计，且代码模型开源。

Comments Accepted to ECCV 2026. The first two authors contributed equally, and their author order is interchangeable

GeoChrono: Benchmarking and Rethinking Long-Term Temporal Understanding in Remote Sensing

GeoChrono：遥感中长期时间理解的基准测试与重新思考

Yujie Li, Jiancheng Pan, Zhiwei Wei, Jiuniu Wang, Mugen Peng, Wenjia Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Hunan Normal University（湖南师范大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对遥感中长期时间理解缺乏系统评估的问题，引入ChronoBench基准。基于评估结果提出GeoChrono模型，设计相关编码器和压缩器并构建训练数据集，该模型在基准测试中性能领先，压缩器有效减少视觉令牌。

Comments Accepted to ACM MM 2026

ScanFocus: A Coarse-to-Fine Framework for Spatio-Temporal Video Grounding

ScanFocus：一种用于时空视频定位的从粗到细框架

Kai Chen, Ming Dai, Wenxuan Cheng, Wankou Yang

机构 * Southeast University（东南大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究时空视频定位问题，提出ScanFocus从粗到细框架，利用统一融合编码器和轻量级模块生成粗略提议，再用语义引导时间聚合器恢复细节，实验表明该方法性能优于以往方法。

Comments this paper has already been accepted by ECCV 2026

HSEmotion Team at the 11th ABAW Challenge: Multi-Task Learning and Ambivalence/Hesitancy Video Recognition

第11届ABAW挑战赛中的HSEmotion团队：多任务学习与矛盾/犹豫视频识别

Aleksei Bakin, Andrey V. Savchenko

机构 * Central University（中央大学） ； Sber AI Lab（Sber人工智能实验室） ； HSE University（俄罗斯高等经济研究大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 在第11届ABAW挑战赛中，团队用冻结轻量级面部提取器等方法进行多任务学习，在s - Aff - Wild2数据集上超ConvNeXt基线；扩展视听管道用于矛盾/犹豫视频识别，在BAH数据集上提升性能，无需微调重型骨干，展示了轻量级融合的优势。

Comments to be submitted to ABAW-11 workshop of ECCV 2026

Action Map Policy: Learning 3D Closed-loop Manipulation via Pixel Classification

动作映射策略：通过像素分类学习3D闭环操作

Haojie Huang, Zhang Ye, Linfeng Zhao, Boce Hu, Mingxi Jia, Yu Qi, Ahmed Agha, Dian Wang, Robert Platt, Robin Walters

机构 * Northeastern University（东北大学） ； Stanford University（斯坦福大学） ； Brown University（布朗大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对机器人学习中动作空间的挑战，提出动作映射策略（AMP），将3D闭环操作策略学习转为图像空间分类问题，通过投影动作到图像平面，以像素为类别控制维度，实现高精度、快速推理，实验证明其优于基线。

Comments Project Website: https://haojhuang.github.io/amp_page/

EvoCUA-1.5: Online Reinforcement Learning for Multi-turn Computer-Use Agents

EvoCUA-1.5：用于多轮计算机使用智能体的在线强化学习

Mianqiu Huang, Taofeng Xue, Chong Peng, Jinrui Ding, Sicheng Fan, Jiale Hong, Yufei Gao, Xiaocheng Zhang, Linsen Guo, Xin Yang, Dengchang Zhao, Yuchen Xie, Peng Pei, Xunliang Xie, Xipeng Qiu

机构 * Meituan（美团） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究多轮计算机使用智能体的在线强化学习问题，提出EvoCUA-1.5，通过STEPO、DTAC等方法应对多轮交互挑战，经实验验证其提高了训练稳定性和下游性能，为在线强化学习提供实用框架。

Pose-to-Biomechanics: Bridging 3D Human Pose Estimation and Biomechanical Attribute Prediction

姿态到生物力学：连接3D人体姿态估计与生物力学属性预测

Ayda Eghbalian, Kevin Desai

机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究旨在连接3D人体姿态估计与生物力学属性预测。提出BioModule轻量级插件式时间变压器，连接在3D姿态估计器下游预测生物力学属性，无需修改上游模型。构建数据集训练评估，在七个先进姿态估计器上基准测试，成为两者间紧凑模块化桥梁。

Comments 23 pages, 2 figures