多模态大模型

EgoCoT-Bench: Benchmarking Grounded and Verifiable Operation-Centric Chain of Thought Reasoning for MLLMs

EgoCoT-Bench: 用于MLLMs的 grounded 和可验证的 operation-centric 思维链推理基准测试

Yang Dai, Dian Jiao, Tianwei Lin, Wenqiao Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EgoCoT-Bench，一个用于评估MLLMs在第一人称视角下细粒度操作中心推理能力的基准测试，包含3172个可验证的问答对，涵盖感知、预见和高层次推理等任务，旨在解决现有基准测试在细粒度推理和证据验证方面的不足。

MARS: Technical Report for the CASTLE Challenge at EgoVis 2026

MARS：EgoVis 2026 CASTLE挑战的技术报告

Haoyu Zhang, Qiaohui Chu, Yisen Feng, Meng Liu, Weili Guan, Yaowei Wang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MARS系统，用于EgoVis 2026的CASTLE挑战，通过多模态代理推理解决需要多源信息的复杂问题，核心方法是多模态证据选择，主要贡献是实现了在多源数据上的有效推理。

Comments The Runner-up Solution for CASTLE Challenge @ EgoVis 2026

UAM: A Dual-Stream Perspective on Forgetting in VLA Training

UAM：VL A训练中遗忘的双流视角

Jianke Zhang, Yuanfei Luo, Yucheng Hu, Xiaoyu Chen, Yanjiang Guo, Ziyang Liu, Hongbin Xu, Tian Lan, Jianyu Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UAM模型，通过双流架构解决VL A训练中因单一编码器导致的多模态能力下降问题，展示了通过架构分离而非冻结权重或辅助数据可实现语义保留，并在多种任务中取得高成功率。

Agentic Pipeline for Self-Synchronized Multiview Joint Angle Monitoring in Uncalibrated Environments

基于代理的自同步多视角关节角度监控管道：在无标定环境中

Juncheng Yu, Lusi A, Haoxuan Xie, Weiming Wang

机构 * National Engineering Research Center of Neuromodulation, School of Aerospace Engineering, Tsinghua University（神经调制国家工程研究中心，航空航天工程学院，清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于代理的自同步多视角关节角度监控方法，利用两台摄像头在无标定环境下实现自动视频同步和自验证，通过多模态大语言模型和先进单目2D姿态估计模型提取候选姿态，并通过代理选择机制自动识别和跟踪目标个体，以在多人和遮挡情况下产生一致的2D姿态，从而估计关节角度。

Comments Accepted by EMBC 2026. 7 pages, 3 figures

Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs

宽视角闭合：多模态大语言模型中的表征-行动鸿沟

Trung Nguyen Quang, Yiming Gao, Fanyi Pu, Kaichen Zhang, Shuo Sun, Ziwei Liu

机构 * Nanyang Technological University（南洋理工大学） ； LMMs-Lab Team（多模态大模型实验室团队） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现多模态大语言模型在感知与行动之间存在鸿沟，通过IMAVB基准测试揭示模型在处理冲突信息时的不足，提出PGLA方法提升拒绝行为。

STAR: Semantic-Temporal Adaptive Representation Learning for Few-Shot Action Recognition

STAR：语义-时间自适应表示学习用于少样本动作识别

Hongli Liu, Yu Wang, Shengjie Zhao

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Engineering Research Center of Key Software Technologies for Smart City Perception and Planning, Ministry of Education（教育部智能城市感知与规划关键软件技术工程研究中心） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 STAR通过语义对齐和时间感知模块，解决少样本动作识别中的语义-时间对齐和多尺度时间动态建模问题，提升模型在有限样本下的泛化能力。

Comments Accepted for publication in IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)

Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

利用大语言模型从临床病例报告中重建脓毒症轨迹：脓毒症的文本时间序列语料库

Shahriar Noroozizadeh, Jeremy C. Weiss

机构 * Machine Learning Department and Heinz College Carnegie Mellon University（卡内基梅隆大学机器学习系和海恩兹学院） ； National Library of Medicine National Institutes of Health（美国国家医学图书馆） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用大语言模型构建脓毒症文本时间序列语料库，通过提取病例报告中的时间局部发现，验证了LLM在时间局部化方面的有效性，并指出多模态整合的改进方向。

Comments Conference on Health, Inference, and Learning (CHIL 2026)

HY-Himmel Technical Report: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding

HY-Himmel技术报告：分层交错多流运动编码用于长视频理解

Haopeng Jin, Hongzhu Yi, Wenlong Zhao, Jinwen Luo, Shani Ye, Zhenyu Guan, Shiquan Dong, Tiankun Yang, Tao Yu

机构 * Tencent（腾讯） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Forestry University（北京林业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 HY-Himmel通过分层视频语言框架解决长视频理解中多模态语言模型的三个瓶颈问题，采用轻量级压缩域三流适配器编码密集帧，提升运动感知能力，实验证明其在Video-MME上性能优于32帧基准。

Comments 59 pages, 42 figures. Technical report

EmambaIR: Efficient Visual State Space Model for Event-guided Image Reconstruction

EmambaIR：用于事件引导图像重建的高效视觉状态空间模型

Wei Yu, Yunhang Qian

机构 * Harbin Institute of Technology（哈尔滨理工大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EmambaIR，一种高效的视觉状态空间模型，通过跨模态Top-k稀疏注意力模块和门控状态空间模块，提升事件流图像重建的效率与性能，实现更高效的全局上下文捕捉。

Video Understanding Reward Modeling: A Robust Benchmark and Performant Reward Models

视频理解奖励建模：一个稳健的基准和高效的奖励模型

Yuancheng Wei, Linli Yao, Lei Li, Haojie Zhang, Hao Zhou, Fandong Meng, Xu Sun

机构 * South China University of Technology（华南理工大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） ； Tencent（腾讯） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Video Understanding Reward Bench基准和VideoDRM/VideoGRM模型，通过大规模高质量数据提升视频理解奖励建模性能。

VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding

VideoRouter: 为高效长视频理解的查询适应双路由

Kuanwei Lin, Wenhao Zhang, Ge Li

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VideoRouter通过双路由框架实现高效长视频理解，通过语义路由和图像路由动态分配证据，减少冗余token，提升压缩效率。

EgoPro-Bench: Benchmarking Personalized Proactive Interaction in Egocentric Video Streams

EgoPro-Bench：基于眼动视频流的个性化主动交互基准测试

Dongchuan Ran, Linyu Ou, Xueheng Li, Wenwen Tong, Chenxu Guo, Hewei Guo, Kaibing Wang, Lewei Lu

机构 * Beijing Institute of Technology（北京理工大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EgoPro-Bench，通过模拟用户画像生成多样化意图，构建高保真人机交互数据，评估主动交互能力，提升多模态大语言模型的意图理解与交互时机识别能力。

Comments 8 pages

A$^2$RD: Agentic Autoregressive Diffusion for Long Video Consistency

A$^2$RD：基于代理的自回归扩散用于长视频一致性

Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

机构 * Google Cloud AI Research（谷歌云人工智能研究） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 A$^2$RD通过Retrieve-Synthesize-Refine-Update循环实现长视频一致性合成，提升视频生成的连贯性和叙事一致性。

Comments Project page: http://dxlong2000.github.io/AARD

Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval

重新审视不确定性：关于部分相关视频检索的证据学习

Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Holmes框架，通过多粒度跨模态证据聚合量化和建模不确定性，解决视频检索中因查询简短与视频内容丰富带来的语义模糊问题。

Comments Accepted by ICML 2026. 16 pages, 6 figures, 3 tables

NAKUL-Med: Spectral-Graph State Space Models with Dynamics Kernels for Medical Signals

NAKUL-Med: 带动态核的谱-图状态空间模型用于医学信号

Badri N. Patro, Vijay S. Agneeswaran

机构 * Microsoft（微软） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 NAKUL-Med通过动态核生成、谱上下文建模和图引导的空间注意力，提升多通道生理信号分析的性能，实现高准确率和高效推理。

Comments Accepted CVPR Finding Track

Understanding the Performance Plateau in Text-to-Video Retrieval: A Comprehensive Empirical and Linguistic Analysis

理解文本到视频检索中的性能平台：全面的实证和语言分析

Maria-Eirini Pegia, Dimitrios Stefanopoulos, Björn Þór Jónsson, Anastasia Moumtzidou, Ilias Gialampoukidis, Stefanos Vrochidis, Ioannis Kompatsiaris

机构 * Information Technologies Institute（信息科技研究所） ； CERTH-ITI ； School of Computer Science（计算机科学学院） ； Reykjavík University（雷克雅未克大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文通过实证和语言分析，探讨文本到视频检索中模型性能瓶颈，揭示caption特性与模型表现的关系，指出简单清晰的caption提升召回率，而复杂事件仍具挑战性。

Comments Survey, 50 pages, 15 figures, 13 tables, 154 citations

Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning

Odysseus：通过强化学习扩展VLMs以实现游戏中的100+回合决策

Chengshuai Shi, Wenzhe Li, Xinran Liang, Yizhou Lu, Wenjia Yang, Ruirong Feng, Seth Karten, Ziran Yang, Zihan Ding, Gabriel Sarch, Danqi Chen, Karthik Narasimhan, Chi Jin

机构 * Princeton Language and Intelligence（普林斯顿语言与智能实验室） ； Princeton University（普林斯顿大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了通过强化学习训练VLMs进行长回合决策，提出轻量级回合级批评机改进训练稳定性，利用预训练VLMs提升样本效率，引入Odysseus框架在多个游戏层级取得显著进展。

ClipTBP: Clip-Pair based Temporal Boundary Prediction with Boundary-Aware Learning for Moment Retrieval

ClipTBP：基于剪辑对的时序边界预测：面向时刻检索的边界感知学习

Ji-Hyeon Kim, Ho-Joong Kim, Seong-Whan Lee

机构 * Dept. of Artificial Intelligence, Korea University, Seoul（人工智能系，韩国大学，首尔） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ClipTBP框架，通过边界感知学习解决视频时刻检索中多段答案与查询的语义关系建模问题，提升时序边界预测的鲁棒性。

Comments 15 pages

FCMBench-Video: Benchmarking Document Video Intelligence

FCMBench-Video：文档视频智能基准测试

Runze Cui, Fangxin Shang, Yehui Yang, Qing Yang, Yanwu Xu, Tao Chen

机构 * AI Lab, Qifu Technology（启赋科技AI实验室） ； College of Future Information Technology, Fudan University（复旦大学未来信息学院） ； School of Future Technology, South China University of Technology（华南理工大学未来技术学院） ； Pazhou Lab（琶洲实验室） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出FCMBench-Video基准测试，用于评估文档视频理解中的文档感知、时间定位和证据推理能力，通过真实场景数据验证系统性能，揭示不同任务的敏感性和能力差异。

Co-Director: Agentic Generative Video Storytelling

Co-Director: 基于代理的生成视频叙事

Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy, Tomas Pfister

机构 * Google（谷歌） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出Co-Director框架，通过分层多代理方法解决视频生成的语义一致性问题，引入分层参数化和多模态自优化循环，实现叙事策略探索与有效配置的平衡，通过GenAD-Bench验证其在个性化广告中的优越性。

Comments Project Page: https://co-director-agent.github.io/

DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA

DIAL: 通过潜在世界建模解耦意图与动作以实现端到端VLA

Yi Chen, Yuying Ge, Hui Zhou, Mingyu Ding, Yixiao Ge, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； XPENG Robotics（小鹏机器人） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DIAL通过潜在意图瓶颈解耦意图与动作，利用VLM进行潜在世界建模并结合轻量策略实现端到端VLA，实验表明其在RoboCasa GR1任务中优于现有方法，且在真实世界部署中表现稳健。

Comments Project page: https://xpeng-robotics.github.io/dial

IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

IntentVLM: 通过视频语言模型的前-后向建模实现开放词汇意图识别

Hamed Rahimi, Clemence Grislain, Adrien Jacquet Cretides, Olivier Sigaud, Mohamed Chetouani

机构 * Institute of Intelligent Systems and Robotics (ISIR)（智能系统与机器人研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出IntentVLM框架，通过前-后向建模提升多模态环境下的人意图识别效果，实验表明其在IntentQA和Inst-IT Bench数据集上达到80%准确率，超越基线30%，接近人类水平。

Emotion-Conditioned Short-Horizon Human Pose Forecasting with a Lightweight Predictive World Model

基于轻量预测世界模型的情感条件短周期人体姿态预测

Jingni Huang, Peter Bloodsworth

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了情感嵌入对短周期姿态预测的辅助作用，提出轻量级自回归预测世界模型，结合姿态关键点与情感嵌入，提升情感驱动动作序列的预测性能。

EAD-Net: Emotion-Aware Talking Head Generation with Spatial Refinement and Temporal Coherence

EAD-Net：具有空间细化和时间一致性的情感感知说话头生成

Yahui Li, Yinfeng Yu, Liejun Wang, Shengjie Shen

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 EAD-Net通过引入同步网络监督和时空方向注意力机制，提升情感感知说话头生成的唇同步精度和时间一致性，同时利用大语言模型增强情感语义控制。

Comments Main paper (10 pages). Accepted for publication by ICMR(International Conference on Multimedia Retrieval) 2026

UpstreamQA: A Modular Framework for Explicit Reasoning on Video Question Answering Tasks

UpstreamQA：一个用于视频问答任务显式推理的模块化框架

Jason Nguyen, Ameet Rao, Alexander Chang, Ishaan Kumar, Erin Tan

机构 * Lincoln North Star High School（林肯北星高中） ； The Charter School of Wilmington（威尔明顿 charter 学校） ； Greenwich High School（格林威治高中） ； Santa Susana High School（圣塔苏娜高中） ； UC Berkeley（伯克利大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UpstreamQA框架，通过显式推理模块分离和评估视频推理核心组件，提升视频问答任务的性能和可解释性，但可能在基线性能高时导致性能下降。

From Skeletons to Pixels: Few-Shot Precise Event Spotting via Representation and Prediction Distillation

从骨骼到像素：通过表示和预测蒸馏实现少样本精确事件定位

Zhong Han Ervin Yeoh, Jiang Kan

机构 * Department of Business Analytics（商业分析系） ； School of Computing（计算学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出两种互补的蒸馏策略，通过多模态蒸馏提升少样本精确事件定位的泛化能力，实验表明在网球和花样滑冰数据集中均优于单一模态基线。

Comments 39 pages, 4 figures, ISACE 2026

IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory

IMPACT-CYCLE：一种基于合同的多智能体系统，用于长视频语义记忆的层次级监督修正

Weitong Kong, Di Wen, Kunyu Peng, David Schneider, Zeyun Zhong, Alexander Jaus, Zdravko Marinov, Jiale Wei, Ruiping Liu, Junwei Zheng, Yufan Chen, Lei Qi, Rainer Stiefelhagen

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； INSAIT ； ETH Zurich（苏黎世联邦理工学院） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IMPACT-CYCLE，通过多智能体系统实现长视频语义记忆的层次级监督修正，提升下游推理性能并降低人工仲裁成本。

Comments 7 pages, 2 figures, code are available at https://github.com/MKong17/IMPACT_CYCLE

LLaVA-Octopus: Unlocking Instruction-Driven Adaptive Projector Fusion for Video Understanding

LLaVA-Octopus：解锁指令驱动的自适应投影器融合用于视频理解

Boyuan Sun, Jiaxing Zhao, Xiang Chen, Xihan Wei, Qibin Hou

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； Tongyi Group, Alibaba（阿里巴巴通义集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LLaVA-Octopus通过根据用户指令动态调整不同视觉投影器的特征权重，提升视频理解任务的性能，实验表明其在多个基准测试中表现优异。

Comments 18 pages, 10 figures

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

MUSEG：通过时间感知多段定位增强视频时间理解

Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

机构 * THUNLP-MT 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 MUSEG通过引入时间感知多段定位，提升多模态大语言模型对视频时间信息的理解能力，通过定制化强化学习训练方案实现更全面的时间推理。

RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees

RefereeBench: 视频多模态大语言模型是否准备好成为多项目裁判

Yichen Xu, Yuanhang Liu, Chuhan Wang, Zihan Zhao, jinghan luo, Jianzhe Ma, Wenxuan Wang, Qin Jin

机构 * Renmin University of China（中国人民大学） ； Sichuan University（四川大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出RefereeBench，首个评估多模态大语言模型作为自动体育裁判的基准，通过11项运动925个视频和6475对问答，评估犯规存在、分类、推理、实体感知和时间定位能力，发现当前模型在规则应用和时间定位上表现不足。

Comments Work in Progress