多模态大模型

Learning to See What You Need: Gaze Attention for Multimodal Large Language Models

学习你需要看到的东西：多模态大语言模型的注视注意力

Junha Song, Byeongho Heo, Geonmo Gu, Jaegul Choo, Dongyoon Han, Sangdoo Yun

机构 * NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出Gaze Attention机制，使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域，减少冗余计算并提升聚焦效果，实验表明其在图像和视频理解任务中性能优于密集注意力基线。

Exploring Multimodal LMMs for Online Episodic Memory Question Answering on the Edge

探索多模态大语言模型用于边缘端在线事件记忆问答

Giuseppe Lando, Rosario Forte, Antonino Furnari

机构 * Department of Mathematics and Computer Science, University of Catania, Italy（数学与计算机科学系，卡塔尼亚大学，意大利） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文研究多模态大语言模型在边缘端实时在线事件记忆问答中的可行性，通过双线程架构实现视频转文本记忆与问答推理，实验显示边缘端方案在隐私保护方面具有竞争力。

M$^4$-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection

M$^4$-SAM：基于内存增强的SAM多模态混合专家用于RGB-D视频显著目标检测

Jiyuan Liu, Jia Lin, Xiaofei Zhou, Runmin Cong, Deyang Liu, Zhi Liu

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Shandong University（山东大学） ； Anqing Normal University（安庆师范学院） ； Shanghai University（上海大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 M$^4$-SAM通过引入模态感知MoE-LORA、分层特征融合和伪引导初始化，提升SAM2在RGB-D视频显著目标检测中的性能，实现零样本检测。

Comments 10 pages, 3 figures

SKG-VLA: Scene Knowledge Graph Priors for Structured Scene Semantics and Multimodal Reasoning for Decision Making

SKG-VLA：用于结构化场景语义和决策制定多模态推理的场景知识图谱先验

Zeyu Li, Lei Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SKG-VLA通过构建场景知识图谱，提升多模态投诉决策的推理能力与准确性，采用三阶段训练策略注入结构化场景先验。

VEBench:Benchmarking Large Multimodal Models for Real-World Video Editing

VEBench: 多模态大模型在真实世界视频编辑中的基准测试

Andong Deng, Dawei Du, Zhenfang Chen, Wen Zhong, Fan Chen, Guang Chen, Chia-Wen Kuo, Longyin Wen, Chen Chen, Sijie Zhu

机构 * ByteDance Intelligent Creation（字节跳动智能创作） ； CRCV, University of Central Florida（中央佛罗里达大学CRCV） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 VEBench通过高质量视频和人工验证问题对多模态大模型在视频编辑中的知识理解和操作推理能力进行评估，揭示当前模型与人类水平间的显著差距。

Comments CVPR Findings 2026

123D: Unifying Multi-Modal Autonomous Driving Data at Scale

123D：规模化统一多模态自动驾驶数据

Daniel Dauner, Valentin Charraut, Bastian Berle, Tianyu Li, Long Nguyen, Jiabao Wang, Changhui Jing, Maximilian Igl, Holger Caesar, Boris Ivanovic, Yiyi Liao, Andreas Geiger, Kashyap Chitta

机构 * KE:SAI ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； NVIDIA Research（NVIDIA研究） ； Valeo Brain（法雷奥大脑） ； OpenDriveLab at Shanghai Innovation Institute（上海创新研究院自动驾驶实验室） ； Zhejiang University（浙江大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 123D通过单一API统一多模态自动驾驶数据，解决数据碎片化、同步难题，并提供分析工具，支持跨数据集3D目标检测和强化学习规划应用。

Towards multi-modal forgery representation learning for AI-generated video detection and localization

迈向多模态伪造表示学习的AI生成视频检测与定位

Dat Le, Khoa Nguyen, Xin Wang, Shu Hu

机构 * Purdue University（普渡大学） ； University at Albany, SUNY（纽约州立大学阿尔巴尼分校） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出多模态融合框架，结合语义、时空视觉与多尺度音频分支，实现AI生成视频的检测与细粒度时间定位，优于现有方法。

Boosting Reasoning in Large Multimodal Models via Activation Replay

通过激活回放提升大多模态模型的推理能力

Yun Xing, Xiaobin Hu, Qingdong He, Jiangning Zhang, Shuicheng Yan, Shijian Lu, Yu-Gang Jiang

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） ； Tencent Youtu Lab（腾讯云图实验室） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文通过激活回放方法提升大模型的多模态推理能力，通过操控低熵激活来增强推理性能，验证了该方法在数学、视觉代理和视频推理等场景中的有效性。

Comments CVPR 2026

Ablation Study of Multimodal Perception, Language Grounding, and Control for Human-Robot Interaction in an Object Detection and Grasping Task

多模态感知、语言接地与控制在物体检测与抓取任务中的人机交互消融研究

Zi Tian, Guanting Shen

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文通过消融研究探讨多模态感知、语言接地和控制模块对端到端性能的影响，评估最佳组合以优化执行时间和成功率。

Comments 10 pages

Structural Prognostic Event Modeling for Multimodal Cancer Survival Analysis

多模态癌症生存分析中的结构预后事件建模

Yilan Zhang, Li Nanbo, Changchun Yang, Jürgen Schmidhuber, Xin Gao

机构 * King Abdullah University of Science and Technology（国王 Abdullah 科学与技术大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出SlotSPE框架，通过槽注意力机制压缩多模态数据为结构化槽，有效建模癌症生存分析中的复杂交互，提升预后相关性与可解释性。

Comments 37 pages, 14 Figures

Journal ref The Fourteenth International Conference on Learning Representations (ICLR2026)

Hypergraph and Latent ODE Learning for Multimodal Root Cause Localization in Microservices

超图与潜在ODE学习用于微服务多模态根本原因定位

Xin Liu, Yuhang He, Sichen Zhao, Kejian Tong, Xingyu Zhang

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出HyperODE RCA框架，结合超图注意力学习、潜在ODE和多模态交叉注意力融合，用于微服务系统中精细的根本原因分析，通过可微超边构建学习高阶服务交互，利用ODE RNN编码捕捉异常演变，采用上下文感知模态路由融合多种数据，提升鲁棒性。

A Multimodal Pre-trained Network for Integrated EEG-Video Seizure Detection

一种用于整合EEG-视频癫痫发作检测的多模态预训练网络

Tong Lu, Ke Xu, Zimo Zhang, Zitong Zhao, Danwei Weng, Ruiyu Wang, Miao Liu, Zizuo Zhang, Jingyi Yao, Yixuan Zhao, Wenchao Zhang, Min Wang, Guoming Luan, Minmin Luo, Zhifeng Yue

机构 * organization= Beijing Institute for Brain Research, Chinese Academy of Medical Sciences \& Peking Union Medical College , city= Beijing , postcode= 102206 , country= China ； organization= Chinese Institute for Brain Research, Beijing , city= Beijing , postcode= 102206 , country= China ； organization= Department of Neurosurgery, SanBo Brain Hospital, Capital Medical University , city= Beijing , postcode= 100018 , country= China ； organization= GenAns Biotechnology Co., Ltd , city= Beijing , postcode= 102206 , country= China ； organization= Laboratory for Clinical Medicine, Capital Medical University , city= Beijing , postcode= 100069 , country= China ； organization= Center of Epilepsy, Beijing Institute for Brain Disorders, Sanbo Brain Hospital, Capital Medical University , city= Beijing , postcode= 100018 , country= China ； organization= Beijing Key Laboratory of Brain Science 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出EEGVFusion框架，结合自监督EEG学习、时空视频编码、最优传输对齐和双向交叉注意力，整合神经和行为证据，实现高准确率的癫痫发作检测，同时降低误报率。

TimeMM: Time-as-Operator Spectral Filtering for Dynamic Multimodal Recommendation

TimeMM: 时域作为算子的动态多模态推荐谱过滤

Wei Yang, Rui Zhong, Zihan Lin, Xiaodan Wang, Cheng Chen, Huan Ren, Yao Hu

机构 * Xiaohongshu Inc.（小红书公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 TimeMM通过时域算子谱过滤框架，解决动态多模态推荐中用户兴趣非平稳性问题，引入自适应谱过滤和模态感知路由，提升推荐性能与可扩展性。

M2R2: MultiModal Robotic Representation for Temporal Action Segmentation

M2R2：多模态机器人表示用于时序动作分割

Daniel Sliwowski, Dongheui Lee

机构 * Autonomous Systems Lab, Technische Universität Wien (TU Wien)（自主系统实验室，维也纳技术大学） ； Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（机器人与机电研究所，德国航空航天中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出M2R2多模态特征提取器，结合本体感知和体外感知信息，解决时序动作分割中多模态特征复用难题，并在三个机器人数据集上取得新突破。

Comments 8 pages, 6 figures, 2 tables

DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

DualFact+: 一种用于过程视频理解的多模态事实验证框架

Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； Saarland Informatics Campus（萨尔兰信息学校区） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 DualFact+通过双层多模事实验证框架，针对过程视频描述中的概念事实和上下文事实进行评估，揭示了多模态事实 grounding 的挑战。

Comments ACL 2026 Findings

One Identity, Many Roles: Multimodal Entity Coreference for Enhanced Video Situation Recognition

一个身份，多种角色：多模态实体指代用于增强视频情境识别

Balaji Darur, Amanmeet Garg, Makarand Tapaswi

机构 * CVIT, IIIT Hyderabad, India（IIIT海得拉尔学院计算机视觉研究所，印度） ； Amazon Prime Video, Seattle（亚马逊Prime视频，西雅图） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出多模态实体指代（MEC）方法，通过结合文本和视频信息提升视频情境识别的准确性和一致性，实验结果显示在描述和视觉定位方面均取得显著提升。

Comments Accepted to CVPR 2026 Findings. Project Page: https://katha-ai.github.io/projects/cinemec/

EMCompress: Video-LLMs with Endomorphic Multimodal Compression

EMCompress: 具有端态多模态压缩的视频大语言模型

Zheyu Fan, Jiateng Liu, Yuji Zhang, Zihan Wang, Yi R. Fung, Manling Li, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Northwestern University（西北大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出端态多模态压缩（EMC）作为视频问答的结构约束充分统计问题，通过端态变换保持答案不变性，提升视频语言理解的训练和推理性能。

Learning Dynamic Representations and Policies from Multimodal Clinical Time-Series with Informative Missingness

从具有信息性缺失的多模态临床时间序列中学习动态表示和策略

Zihan Liang, Ziwen Pan, Ruoxuan Xiong

机构 * Emory University（埃默里大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出了一种多模态临床时间序列患者表示学习框架，利用信息性缺失来提升治疗策略学习和患者预后预测性能。

Comments Findings of ACL 2026 (30 pages)

Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

多模态全身控制学习用于现实世界的人形机器人

Pranay Dugar, Aayam Shrestha, Fangzhou Yu, Bart van Marum, Alan Fern

机构 * Collaborative Robotics and Intelligent Systems Institute (CoRIS)（协同机器人与智能系统研究所） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本文提出了一种多模态全身控制器，通过统一接口实现多样化的人形机器人行为控制，展示了在仿真和真实世界中的有效性。

Comments Website: https://masked-humanoid.github.io/mhc/

Talk, Walk, and Market Response: Multimodal Measurement of AI Washing and Its Capital Market Consequences in China

讲话、行走与市场反应：多模态测量AI洗绿及其资本市场后果在中国

Wen Zhanjie, Guo Jingqiao

机构 * School of Economics and Trade, Guangdong University of Finance（广东金融学院经济贸易学院） ； Department of Computer Science, Faculty of Science, Hong Kong Baptist University（香港 Baptist 大学科学学院计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文通过多模态方法测量中国AI洗绿现象，发现其对资本市场的负面影响，揭示了AI投资与实际创新之间的关系及市场反应机制。

Comments 18 pages, 3 figures, 7 tables, academic research paper

MCSC-Bench: Multimodal Context-to-Script Creation for Realistic Video Production

MCSC-Bench：多模态情境到脚本创建用于真实视频制作

Huanran Hu, Zihui Ren, Dingyi Yang, Liangyu Chen, Qixiang Gao, Tiezheng Ge, Qin Jin

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文提出MCSC任务，通过多模态输入和用户指令生成结构化视频脚本，并引入首个大规模MCSC数据集MCSC-Bench，包含11K+标注视频，支持全面评估材料选择、叙事规划和条件脚本生成。

Bidirectional Cross-Modal Prompting for Event-Frame Asymmetric Stereo

双向跨模态提示用于事件-帧不对称立体

Ninghui Xu, Fabio Tosi, Lihui Wang, Jiawei Han, Luca Bartolomei, Zhiting Yao, Matteo Poggi, Stefano Mattoccia

机构 * School of Instrument Science and Engineering, Southeast University, State Key Lab of Comprehensive PNT Network and Equipment Technology, Key Lab of Micro-Inertial Instrument and Advanced Navigation Technology, MOE（仪器科学与工程学院，东南大学，综合PNT网络与设备技术国家重点实验室，微惯性仪器与先进导航技术重点实验室，教育部） ； Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学） ； College of Computer Science and Software Engineering, Hohai University（计算机科学与软件工程学院，河海大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出Bi-CMPStereo框架，通过双向跨模态提示利用语义和结构特征实现稳健匹配，提升高速运动和复杂光照下的3D感知性能。

Comments CVPR 2026. Code URL: https://github.com/xnh97/Bi-CMPStereo

Temporal Cross-Modal Knowledge-Distillation-Based Transfer-Learning for Gas Turbine Vibration Fault Detection

基于时间跨模态知识蒸馏的转移学习用于燃气轮机振动故障检测

Ali Bagheri Nejad, Mahdi Aliyari-Shoorehdeli, Abolfazl Hasanzadeh

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.AI

AI总结 本文提出基于时间跨模态知识蒸馏的转移学习框架，解决燃气轮机振动故障检测中时间上下文不足和数据稀缺问题，提升特征分离度和诊断准确性。

TennisTV: Do Multimodal Large Language Models Understand Tennis Rallies?

TennisTV: 多模态大语言模型能否理解网球发球？

Zhongyuan Bao, Lejun Zhang

机构 * New York University（纽约大学） ； Tandon School of Engineering（坦顿工程学院） ； Shanghai, China（上海，中国） ； New York, USA（纽约，美国） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 TennisTV是首个全面评估网球视频理解的基准，通过模拟发球过程中的连续击球事件，评估17种大语言模型在网球视频理解中的表现，发现帧采样密度需平衡且需提升时间定位能力。

All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding

一站式：一个多模态视频理解统一合成数据管道

Tanzila Rahman, Renjie Liao, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（向量人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出统一合成数据管道，用于生成多模态视频数据，支持多种任务格式，提升模型推理能力，并在视频物体计数、视觉问答和分割任务中验证了其有效性。

Comments 8 Pages, 4 Tables, 4 Figures

Multimodal Anomaly Detection for Human-Robot Interaction

多模态异常检测用于人机交互

Guilherme Ribeiro, Iordanis Antypas, Leonardo Bizzaro, João Bimbo, Nuno Cruz Garcia

机构 * LASIGE Faculty of Sciences U. Lisboa, Portugal ； Dep. of Information Engineering University of Padova Padova, Italy 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出MADRI框架，通过将视频流转换为语义特征向量进行基于重建的异常检测，并结合机器人内部传感器数据和场景图，提升人机协作中多模态异常检测的鲁棒性。

Exploring Temporal Representation in Neural Processes for Multimodal Action Prediction

探索神经过程在多模态动作预测中的时间表示

Marco Gabriele Fedozzi, Yukie Nagai, Francesco Rea, Alessandra Sciutti

机构 * DIBRIS Department, University of Genoa（热那亚大学DIBRIS系） ； CONTACT Unit, Italian Institute of Technology（意大利理工学院CONTACT单元） ； International Research Center for Neurointelligence, The University of Tokyo（东京大学国际神经智能研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文研究了条件神经过程在机器人自监督多模态动作预测中的应用，提出改进的DMBN-PTE模型以提升时间信息表示的鲁棒性。

Comments Submitted to the AIC 2023 (9th International Workshop on Artificial Intelligence and Cognition)

From Gaze to Guidance: Interpreting and Adapting to Users' Cognitive Needs with Multimodal Gaze-Aware AI Assistants

从注视到引导：通过多模态注视感知AI助手解读和适应用户认知需求

Valdemar Danry, Javier Hernandez, Andrew Wilson, Pattie Maes, Judith Amores

机构 * Microsoft Research（微软研究院） ； MIT Media Lab（麻省理工学院媒体实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于注视的多模态LLM助手，通过眼动追踪提升用户阅读行为评估的准确性与个性化，实验表明其能有效提升信息回忆能力并提高交互效率。

A Clinical Point Cloud Paradigm for In-Hospital Mortality Prediction from Multi-Level Incomplete Multimodal EHRs

一种用于院内死亡预测的临床点云范式：从多级不完整多模态电子健康记录

Bohao Li, Tao Zou, Junchen Ye, Yan Gong, Bowen Du

机构 * Beihang University（北京航空航天大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出HealthPoint范式，通过统一的4D空间表示多级不完整多模态EHRs，引入低秩关系注意力机制和分层交互策略，实现灵活的事件级交互与细粒度自监督，提升模态恢复和未标记数据利用效率，实验表明其在风险预测中性能优异。

Comments 20 pages

SVAgent: Storyline-Guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration

SVAgent：通过跨模态多智能体协作实现故事线引导的长视频理解

Zhongyu Yang, Zuhao Yang, Shuo Zhan, Tan Yue, Wei Pang, Yingfang Yuan

机构 * BCML, Heriot-Watt University（赫瑞瓦特大学BCML） ； Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 SVAgent通过跨模态多智能体协作，利用故事线引导实现视频问答的高效理解，提升推理鲁棒性和答案一致性。

Comments Published in CVPR2026