多模态大模型

HAS: Highlight-guided Attention Steering for Multimodal LLM Video Summarization

HAS：用于多模态大语言模型视频摘要的高亮引导注意力转向

Rui Chu, Yingjie Lao

机构 * Tufts University（塔夫茨大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频摘要，提出HAS方法，通过全局找连续帧级高亮分布并作为注意力转向向量，让多模态大语言模型在推理时更关注高亮帧，避免丢失信息，在多种基准测试中性能出色。

Native Active Perception as Reasoning for Omni-Modal Understanding

原生主动感知作为全模态理解的推理

Zhenghao Xing, Ruiyang Xu, Yuxuan Wang, Jinzheng He, Ziyang Ma, Qize Yang, Yunfei Chu, Jin Xu, Junyang Lin, Chi-Wing Fu, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL

AI总结 提出OmniAgent，一种基于POMDP迭代观察-思考-行动循环的原生全模态智能体，通过主动感知将推理复杂度与视频时长解耦，在多个基准上达到开源模型最优性能。

Comments Accepted at ICML 2026. Code and models: https://github.com/harryhsing/omniagent

On the Geometry of Learned Representations in Event-Based Multi-Modal Egomotion Estimation

基于事件的多模态自我运动估计中学习表征的几何结构研究

Stefano Silvestrini, Michele Ceresoli

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究基于事件的多模态自我运动估计中多模态网络的几何结构，通过跨模态注意力架构融合多模态信号并训练，分析潜在空间几何和注意力动态，揭示相关特性，架起分析估计理论与数据驱动融合的桥梁。

Comments 5 pages, 3 figures, to be published in SPAICE 2026

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。

DeepIPCv3: Event-Aware Multi-Modal Sensor Fusion for Sudden Pedestrian Crossing Avoidance

DeepIPCv3: 面向突发行人穿越避让的事件感知多模态传感器融合

Oskar Natan, Andi Dharmawan, Aufaclav Zatu Kusuma Frisky, Jazi Eko Istiyanto, Jun Miura

机构 * Department of Computer Science and Electronics, Universitas Gadjah Mada（计算机科学与电子系，加雅马达大学） ； Department of Computer Science and Engineering, Toyohashi University of Technology（计算机科学与工程系，东福士大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出DeepIPCv3框架，通过Transformer交叉模态注意力融合LiDAR点云与DVS事件流，实现突发行人穿越场景下的高反应性避让，在自定义多模态数据集上达到最优轨迹与控制精度。

Reasoning-Aware Multimodal Fusion for Hateful Video Detection

面向仇恨视频检测的推理感知多模态融合

Shuonan Yang, Tailin Chen, Jiangbei Yue, Guangliang Cheng, Jianbo Jiao, Zeyu Fu

机构 * Multimodal Intelligence Lab（多模态智能实验室） ； Department of Computer Science（计算机科学系） ； University of Exeter（埃克塞特大学） ； School of Computer Science（计算机科学学院） ； University of Leeds（利兹大学） ； School of Computer Science and Informatics（计算机科学与信息学学院） ； University of Liverpool（利物浦大学） ； University of Birmingham（伯明翰大学） ； Machine Intelligence + x Group（机器智能+X小组） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出推理感知多模态融合框架，通过局部-全局上下文融合和语义交叉注意力实现多模态交互，并引入对抗推理生成互补语义视角，在仇恨视频检测中提升Macro-F1和召回率3%和7%。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

CmIVTP: Cross-modal Interaction-based Vessel Trajectory Prediction for Maritime Intelligence

CmIVTP：面向海事智能的基于跨模态交互的船舶轨迹预测

Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

机构 * Department of Logistics and Maritime Studies, the Hong Kong Polytechnic University（物流及海运研究系，香港理工大学） ； Research Centre for ESG Advancement (RCESGA), the Hong Kong Polytechnic University（ESG进步研究中心（RCESGA），香港理工大学） ； School of Navigation, Wuhan University of Technology（航海学院，武汉理工大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对单一数据源局限导致船舶轨迹预测不准的问题，提出跨模态交互框架CmIVTP，融合AIS和CCTV数据，利用目标感知场景编码器和跨模态交互Transformer实现高精度预测。

$M^3-Verse$: A "Spot the Difference" Challenge for Large Multimodal Models

$M^3-Verse$: 大型多模态模型的“找不同”挑战

Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

机构 * Zhejiang University, China（浙江大学） ； Shanghai AI Lab, China（上海人工智能实验室） ； Hangzhou Normal University, China（杭州师范大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出 $M^3-Verse$ 基准，通过多视角视频对评估 LMM 在一致空间中对物体动态变化的理解能力，并验证了现有模型的局限性。

CAM-VFD: Cross-Attention Multimodal Video Forgery Detection

CAM-VFD: 跨注意力多模态视频伪造检测

Hoda Osama Elkhodary, Sherin Mostafa Youssef, Marwa Elshenawy, Dalia Sobhy

机构 * Computer Engineering Department, College of Engineering and Technology, Arab Academy for Science, Technology and Maritime Transport（计算机工程系，工程与技术学院，阿拉伯科学、技术与海运交通学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对深度伪造技术和视频编辑工具快速发展带来的挑战，本文提出CAM-VFD框架，通过跨模态矛盾建模实现多模态视频伪造检测，实验表明其在两个生成视频基准测试中表现出色，具有良好的鲁棒性。

Geospatial-Temporal Sensemaking of Remote Sensing Activity Detections with Multimodal Large Language Model

基于多模态大语言模型的遥感活动检测的时空感知

David F. Ramirez, Tim Overman, Kristen Jaskie, Andreas Spanias

机构 * SenSIP Center, School of ECEE, Arizona State University（SenSIP中心，电子与计算机工程学院，亚利桑那州立大学） ； Prime Solutions Group Inc（Prime Solutions Group公司） ； Intelligence Advanced Research Projects Activity（智能高级研究计划局） 纠错

专题命中 视频多模态 ：multimodal(title)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出SMART-HC-VQA数据集，用于人类活动的时空分析，通过多模态大语言模型训练框架实现遥感活动的检测与推理。

Comments Accepted to 2026 SPIE Defense + Security, Automatic Target Recognition XXXVI

MMEdge: Accelerating On-device Multimodal Inference via Pipelined Sensing and Encoding

MMEdge: 通过流水线传感和编码加速设备端多模态推理

Runxi Huang, Mingxuan Yu, Mingyu Tsoi, Xiaomin Ouyang

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 MMEdge提出一种基于流水线传感和编码的设备端多模态推理框架，通过细粒度传感和编码单元实现增量计算，结合轻量级时间聚合模块和自适应配置优化器，降低延迟并保持高精度。

Comments Code available at: https://github.com/HKUST-MINSys-Lab/MMEdge. Accepted by SenSys 2026

Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection

基于段落式MLLM框架的细致情绪识别：利用Qwen3-Omni进行AH检测

Liang Tang, Hongda Li, Jiayu Zhang, Long Chen, Shuxian Li, Siqi Pei, Tiaonan Duan, Yuhao Cheng

机构 * Qwen3-Omni 纠错

专题命中 视频多模态 ：MLLM(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于段落式MLLM框架的细致情绪识别方法，利用Qwen3-Omni模型在AH检测中实现85.1%的准确率，验证了多模态大语言模型在捕捉复杂情绪冲突中的优势。

Comments 5 pages, 1 figures

No Need For Real Anomaly: MLLM Empowered Zero-Shot Video Anomaly Detection

无需真实异常：MLLM赋能的零样本视频异常检测

Zunkai Dai, Ke Li, Jiajia Liu, Jie Yang, Yuanyuan Qiao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LAVIDA框架，利用多模态大语言模型和异常暴露采样器，解决视频异常检测中数据稀少和语义理解不足的问题，实现零样本下的帧级和像素级异常检测最优性能。

Comments Accepted by CVPR 2026

Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling

通过双向交叉注意力和时间建模的多模态情感识别

Junhyeong Byeon, Jeongyeol Kim, Sejoon Lim

机构 * Kookmin University（韩国釜山大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出多模态情感识别框架，结合时间建模、音频学习和跨模态融合，提升野外视频中情绪识别的鲁棒性。

Comments 7 pages

DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning

DeepSport: 一种基于代理强化学习的多模态大语言模型，用于通过主动推理实现综合体育视频理解

Junbo Zou, Haotian Xia, Zhen Ye, Shengjie Zhang, Christopher Lai, Vicente Ordonez, Weining Shen, Hanjie Chen

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Rice University（Rice大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California, Irvine（加州大学 Irvine分校） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 DeepSport通过代理强化学习实现多运动视频理解，首次端到端训练多任务模型，显著提升性能与泛化能力。

Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events

直击核心：一种无需训练的多模态摘要方法 via 事件链

Xiaoxing You, Qiang Huang, Lingyu Li, Xiaojun Chang, Jun Yu

机构 * School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机科学学院） ； School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院） ； School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 无需训练的多模态摘要方法CoE通过事件链和层次事件图实现跨模态整合与时间推理，提升摘要质量与领域适应性。

Comments Accepted to CVPR 2026

Vid-LLM: A Compact Video-based 3D Multimodal LLM with Reconstruction-Reasoning Synergy

Vid-LLM：一种基于视频的紧凑型3D多模态大语言模型，具有重建-推理协同效应

Haijier Chen, Bo Xu, Shoujian Zhang, Haoze Liu, Jiaxuan Lin, Jingrong Wang

机构 * School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； Hubei Luojia Laboratory（湖北珞珈实验室） ； School of Architecture and Urban Planning, Shenzhen University（深圳大学建筑与城市规划学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 Vid-LLM通过基于视频的紧凑型3D多模态大语言模型，实现了重建与推理的协同效应，提升了三维场景理解的性能和泛化能力。

Artic: AI-oriented Real-time Communication for MLLM Video Assistant

Artic: 面向AI的实时通信用于多模态大语言模型视频助手

Jiangkai Wu, Zhiyuan Ren, Junquan Zhong, Liming Liu, Xinggong Zhang

机构 * Peking University（北京大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 Artic提出了一种面向AI的实时通信框架，通过自适应比特率、上下文感知流式传输和退化视频理解基准提升多模态大语言模型视频助手的准确性和降低延迟。

MTBench: A Multimodal Time Series Benchmark for Temporal Reasoning and Question Answering

MTBench: 一种多模态时间序列基准，用于时间推理和问答

Jialin Chen, Aosong Feng, Ziyu Zhao, Juan Garza, Gaukhar Nurbek, Cheng Qin, Ali Maatouk, Leandros Tassiulas, Yifeng Gao, Rex Ying

机构 * Yale University, New Haven, CT, USA（耶鲁大学） ； McGill University, Montreal, QC, Canada（麦吉尔大学） ； University of Texas Rio Grande Valley, TX, USA（德克萨斯大学里奥格兰德谷分校） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 MTBench是一种多模态时间序列基准，用于评估大型语言模型在金融和天气领域的时间推理和问答能力。

Comments 18 pages

LEMON: How Well Do MLLMs Perform Temporal Multimodal Understanding on Instructional Videos?

LEMON：大型语言模型在教学视频中的时间多模态理解表现如何？

Zhuang Yu, Lei Shen, Jing Zhao, Shiliang Sun

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 LEMON是一个针对教学视频的多模态理解评估基准，旨在评估大型语言模型在时间推理和跨模态整合方面的表现，揭示其在复杂教育内容中的性能差距。

CrashChat: A Multimodal Large Language Model for Multitask Traffic Crash Video Analysis

CrashChat: 一种多模态大语言模型用于多任务交通事故视频分析

Kaidi Liang, Ke Li, Xianbiao Hu, Ruwen Qin

机构 * Stony Brook University（石溪大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 CrashChat是一种多模态大语言模型，用于多任务交通事故视频分析，通过任务解耦和分组策略提升事故识别、定位等任务的性能。

EDVD-LLaMA: Explainable Deepfake Video Detection via Multimodal Large Language Model Reasoning

EDVD-LLaMA: 通过多模态大语言模型推理进行可解释的深度伪造视频检测

Haoran Sun, Chen Cai, Huiping Zhuang, Kong Aik Lee, Lap-Pui Chau, Yi Wang

机构 * Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（电子与电气工程系，香港理工大学） ； School of Electrical and Electronic Engineering, Nanyang Technological University（电子与电气工程学院，南洋理工大学） ； Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（智能工程学院，华南理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 EDVD-LLaMA通过多模态大语言模型推理实现深度伪造视频检测的可解释性，结合时空特征提取和细粒度推理机制，提升检测准确性与解释可靠性。

TEn-CATG:Text-Enriched Audio-Visual Video Parsing with Multi-Scale Category-Aware Temporal Graph

Yaru Chen, Faegheh Sardari, Peiliang Zhang, Ruohao Guo, Yang Xiang, Zhenbo Li, Wenwu Wang

机构 * Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（视觉、语音和信号处理中心（CVSSP），萨里大学） ； School of Computer Science and Artificial Intelligence, Wuhan University of Technology（计算机科学与人工智能学院，武汉理工大学） ； National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，北京大学智能科学与技术学院） ； College of Information and Electrical Engineering, China Agricultural University（信息与电子工程学院，中国农业大学） 纠错

专题命中 视频多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

LongInsightBench: A Comprehensive Benchmark for Evaluating Omni-Modal Models on Human-Centric Long-Video Understanding

ZhaoYang Han, Qihan Lin, Hao Liang, Bowen Chen, Zhou Liu, Wentao Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.MM

Comments Submitted to ARR Rolling Review

Enrich and Detect: Video Temporal Grounding with Multimodal LLMs

Shraman Pramanick, Effrosyni Mavroudi, Yale Song, Rama Chellappa, Lorenzo Torresani, Triantafyllos Afouras

机构 * FAIR, Meta（FAIR、Meta） ； Johns Hopkins University（约翰霍普金斯大学） ； Northeastern University（东北大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.MM

Comments ICCV 2025 (Highlights)

V2Xum-LLM: Cross-Modal Video Summarization with Temporal Prompt Instruction Tuning

Hang Hua, Yolo Yunlong Tang, Chenliang Xu, Jiebo Luo

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

Comments Accepted to AAAI 2025

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

机构 * Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025, Project page: https://boyangdeng.com/visual-chronicles , second and third listed authors have equal contributions

EventVL: Understand Event Streams via Multimodal Large Language Model

Pengteng Li, Yunfan Lu, Pinghao Song, Wuyang Li, Huizai Yao, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； KU Leuven（根特大学） ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Carleton University（卡尔顿大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

See&Trek: Training-Free Spatial Prompting for Multimodal Large Language Model

Pengteng Li, Pinhao Song, Wuyang Li, Weiyu Guo, Huizai Yao, Yijie Xu, Dugang Liu, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（广州）） ； KU Leuven（比利时鲁文大学） ； EPFL（苏黎世联邦理工学院） ； SZU（深圳大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted by NeurIPS 2025

E-CaTCH: Event-Centric Cross-Modal Attention with Temporal Consistency and Class-Imbalance Handling for Misinformation Detection

Ahmad Mousavi, Yeganeh Abdollahinejad, Roberto Corizzo, Nathalie Japkowicz, Zois Boukouvalas

机构 * Department of Mathematics and Statistics, American University, Washington, DC, USA（数学与统计学系，美国大学，华盛顿特区，美国） ； Department of Computer Science and Mathematics, Pennsylvania State University, Harrisburg, PA, USA（计算机科学与数学系，宾夕法尼亚州立大学，哈里斯堡，宾夕法尼亚州，美国） ； Department of Computer Science, American University, Washington, DC, USA（计算机科学系，美国大学，华盛顿特区，美国） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CL、cs.AI