多模态大模型

Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection

利用多模态大语言模型对活动的描述进行可解释的半监督视频异常检测

Furkan Mumcu, Michael J. Jones, Anoop Cherian, Yasin Yilmaz

机构 * Department of Electrical Engineering University of South Florida（电气工程系 佛罗里达州立大学） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL）） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出利用多模态大语言模型描述活动，以实现可解释的半监督视频异常检测，有效检测复杂交互异常并提升模型可解释性。

MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding

MSJoE：联合进化多模态大语言模型与采样器以实现高效的长视频理解

Wenhui Tan, Xiaoyi Yu, Jiaze Li, Yijing Chen, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Tongji University（同济大学） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 MSJoE通过联合进化多模态大语言模型与轻量级采样器，提升长视频理解效率，实验表明其在多个基准测试中表现优异。

Comments Accepted by CVPR2026

TPRU: Advancing Temporal and Procedural Understanding in Large Multimodal Models

TPRU: 推动大型多模态模型中的时序与过程理解

Zhenkun Gao, Xuhong Wang, Xin Tan, Yuan Xie

机构 * East China Normal University（东华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 TPRU通过引入大规模多模态数据集和强化学习微调方法，显著提升大型模型在时序和过程理解上的表现，达到当前最先进的准确率。

Comments Accepted to ICLR 2026. 17 pages. Code, data, and models are available at: https://github.com/Stephen-gzk/TPRU

ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding

ReMoRa：基于精细运动表示的多模态大语言模型用于长视频理解

Daichi Yashima, Shuhei Kurita, Yusuke Oda, Komei Sugiura

机构 * Keio University（庆应大学） ； NII（日本信息处理学会） ； NII LLMC（日本信息处理学会语言模型中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 ReMoRa通过精细运动表示实现长视频理解，有效压缩视频数据并提升多模态大语言模型性能。

Comments Accepted to CVPR 2026

Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models

学习紧凑的视频表示以在大规模多模态模型中实现高效的长视频理解

Yuxiao Chen, Jue Wang, Zhikang Zhang, Jingru Yi, Xu Zhang, Yang Zou, Zhaowei Cai, Jianbo Yuan, Xinyu Li, Hao Yang, Davide Modolo

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出了一种端到端的长视频理解框架，结合自适应视频采样器和空间时间视频压缩器，以高效处理长视频的冗余问题。

Credit Where It is Due: Cross-Modality Connectivity Drives Precise Reinforcement Learning for MLLM Reasoning

应得之 credit：跨模态连接驱动精确强化学习用于 MLLM 推理

Zhengbo Jiao, Shaobo Wang, Zifan Zhang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang

机构 * AI DATA, Alibaba Group Holding Limited（阿里数据，阿里巴巴集团控股有限公司） ； EPIC Lab, SJTU（EPIC实验室，上海交通大学） 纠错

专题命中 视频多模态 ：MLLM(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 通过跨模态连接驱动精确强化学习，提升多模态大语言模型的推理能力，仅引入1.2%开销即超越基线模型。

Comments 20pages

UNeMo: Collaborative Visual-Language Reasoning and Navigation via a Multimodal World Model

UNeMo：通过多模态世界模型实现协作的视觉-语言推理与导航

Changxin Huang, Lv Tang, Zhaohuan Zhan, Lisha Yu, Runhao Zeng, Zun Liu, Zhengjie Wang, Jianqiang Li

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 UNeMo通过多模态世界模型实现视觉-语言推理与导航的协作优化，提升导航准确率。

UniDriveDreamer: A Single-Stage Multimodal World Model for Autonomous Driving

UniDriveDreamer: 一种用于自动驾驶的单阶段多模态世界模型

Guosheng Zhao, Yaozeng Wang, Xiaofeng Wang, Zheng Zhu, Tingdong Yu, Guan Huang, Yongchen Zai, Ji Jiao, Changliang Xue, Xiaole Wang, Zhen Yang, Futang Zhu, Xingang Wang

机构 * GigaAI ； CASIA ； BYD 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 UniDriveDreamer是一种用于自动驾驶的单阶段多模态世界模型，通过统一的多模态生成方法提升视频和激光雷达数据合成的性能。

Comments 16 pages, 7 figures

RGBX-R1: Visual Modality Chain-of-Thought Guided Reinforcement Learning for Multimodal Grounding

RGBX-R1: 多视觉模态链式推理引导的多模态接地强化学习

Jiahe Wu, Bing Cao, Qilong Wang, Qinghua Hu, Dongdong Li, Pengfei Zhu

机构 * School of Artificial Intelligence, Tianjin University（天津大学人工智能学院） ； Low-Altitude Intelligence Lab, Xiong’an National Innovation Center（雄安国家创新中心低空智能实验室） ； Xiong’an Guochuang Lantian Technology Co., Ltd.（雄安国创莲田科技有限公司） ； College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 RGBX-R1通过视觉模态链式推理引导的强化学习提升多模态接地能力，首次构建RGBX-接地基准并在多个任务中取得显著优势。

MultiHateLoc: Towards Temporal Localisation of Multimodal Hate Content in Online Videos

MultiHateLoc：迈向在线视频中多模态仇恨内容的时间定位

Qiyue Sun, Tailin Chen, Yinghui Zhang, Yuchen Zhang, Jiangbei Yue, Jianbo Jiao, Zeyu Fu

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） ； Institute for Analytics and Data Science, University of Essex（埃塞克斯大学分析与数据科学研究所） ； School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MultiHateLoc提出了一种弱监督多模态仇恨内容时间定位框架，通过动态跨模态融合和模态感知MIL目标实现细粒度帧级预测。

Comments In Proceedings of the ACM Web Conference 2026 (WWW 2026)

TS-Debate: Multimodal Collaborative Debate for Zero-Shot Time Series Reasoning

TS-Debate：多模态协作辩论用于零样本时间序列推理

Patara Trirat, Jin Myung Kwak, Jay Heo, Heejun Lee, Sung Ju Hwang

机构 * KAIST Seoul（韩国科学技术院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 TS-Debate通过多模态协作辩论框架，在零样本时间序列推理中实现显著性能提升，通过专门代理和结构化协议提升模态保真度和数值精度。

Comments Code will be available at https://github.com/DeepAuto-AI/TS-Debate

LLaVAction: evaluating and training multi-modal large language models for action understanding

LLaVAction：评估和训练多模态大语言模型进行动作理解

Haozhe Qi, Shaokai Ye, Alexander Mathis, Mackenzie W. Mathis

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 LLaVAction通过引入动作标记和两阶段流程提升多模态大语言模型的动作理解能力，显著提升基准测试性能。

Comments https://github.com/AdaptiveMotorControlLab/LLaVAction

Journal ref International Conference on Learning Representations (ICLR) 2026

UBATrack: Spatio-Temporal State Space Model for General Multi-Modal Tracking

UBATrack: 一种用于通用多模态跟踪的时空状态空间模型

Qihua Liang, Liang Chen, Yaozong Zheng, Jian Nong, Zhiyi Mo, Bineng Zhong

机构 * Key Laboratory of Education Blockchain and Intelligent Technology, Ministry of Education, Guangxi Normal University（教育区块链与智能技术重点实验室，教育部，广西师范大学） ； Guangxi Key Laboratory of Multi-Source Information Mining and Security, Guangxi Normal University（广西多源信息挖掘与安全重点实验室，广西师范大学） ； University Engineering Research Center of Educational Intelligent Technology, Guangxi Normal University（教育智能技术大学工程研究中心，广西师范大学） ； Guangxi Key Laboratory of Machine Vision and Intelligent Control, Wuzhou University（广西机器视觉与智能控制重点实验室，梧州大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 UBATrack提出基于mamba状态空间模型的多模态跟踪框架，通过时空Mamba适配器和动态多模态特征混合器提升跟踪鲁棒性，有效捕捉时空线索并提高训练效率。

Transferability of Adversarial Attacks in Video-based MLLMs: A Cross-modal Image-to-Video Approach

视频基于多模态大语言模型中的对抗攻击可迁移性：一种跨模态图像到视频的方法

Linhao Huang, Xue Jiang, Zhiqiang Wang, Wentao Mo, Xi Xiao, Yong-Jie Yin, Bo Han, Feng Zheng

专题命中 视频多模态 ：cross-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出了一种跨模态图像到视频的对抗攻击方法，用于研究视频多模态大语言模型的可迁移性，实验表明该方法在多个视频-文本多模态任务中表现出强对抗转移性。

Multi-Modal AI for Remote Patient Monitoring in Cancer Care

多模态AI在癌症护理中的远程患者监测

Yansong Liu, Ronnie Stafford, Pramit Khetrapal, Huriye Kocadag, Graça Carvalho, Patricia de Winter, Maryam Imran, Amelia Snook, Adamos Hadjivasiliou, D. Vijay Anand, Weining Lin, John Kelly, Yukun Zhou, Ivana Drobnjak

机构 * University College London（伦敦大学学院） ； Ethera Health LTD（Ethera健康有限公司） ； Centro Algoritmi, Universidade do Minho（阿尔戈里米中心，明霍大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本研究提出多模态AI框架用于癌症护理中的远程患者监测，通过整合多源数据预测不良事件风险，准确率达83.9%。

Emotion-Coherent Reasoning for Multimodal LLMs via Emotional Rationale Verifier

通过情感推理验证器实现多模态大语言模型的情感一致性推理

Hyeongseop Rha, Jeong Hun Yeo, Yeonju Kim, Yong Man Ro

机构 * Corresponding author（通讯作者） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出情感推理验证器和解释奖励，通过引导模型生成与目标情绪一致的推理，提升多模态大语言模型在情绪识别中的解释准确性与一致性。

Comments 15 pages, 11 figures

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

JavisGPT：一种用于声音-视频理解和生成的统一多模态大语言模型

Kai Liu, Jungang Li, Yuchong Sun, Shengqiong Wu, Jianzhang Gao, Daoan Zhang, Wei Zhang, Sheng Jin, Sicheng Yu, Geng Zhan, Jiayi Ji, Fan Zhou, Liang Zheng, Shuicheng Yan, Hao Fei, Tat-Seng Chua

机构 * ZJU（浙江大学） ； NUS（国立新加坡大学） ； HKUST(GZ)（香港科技大学（广州）） ； RUC（中国人民大学） ； HZCU（杭州电子科技大学） ； NTU（国立台湾大学） ； SMU（新加坡国立大学） ； USYD（澳大利亚悉尼大学） ； ANU（澳大利亚国立大学） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 JavisGPT是一种统一多模态大语言模型，通过三阶段训练流程在声音-视频理解和生成任务中表现出色，尤其在复杂和时间同步场景中表现更优。

Comments Accepted by NeurIPS as a Spotlight paper. Code: https://github.com/JavisVerse/JavisGPT

Multi-Track Multimodal Learning on iMiGUE: Micro-Gesture and Emotion Recognition

多轨多模态学习于iMiGUE：微手势与情绪识别

Arman Martirosyan, Shahane Tigranyan, Maria Razzhivina, Artak Aslanyan, Nazgul Salikhova, Ilya Makarov, Andrey Savchenko, Aram Avetisyan

机构 * Russian - Armenian University（俄罗斯-亚美尼亚大学） ； Sber AI Lab（Sber AI实验室） ； HSE University（俄罗斯高等经济大学） ； Innopolis University（Innopolis大学） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院可信人工智能研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出多模态框架，利用视频和骨骼姿态数据实现微手势识别和基于行为的情绪预测，通过交叉模态融合模块提升鲁棒性和准确性。

Text-Routed Sparse Mixture-of-Experts Model with Explanation and Temporal Alignment for Multi-Modal Sentiment Analysis

基于解释和时序对齐的文本引导稀疏专家混合模型用于多模态情感分析

Dongning Rao, Yunbiao Zeng, Zhihua Jiang, Jujian Lv

专题命中 视频多模态 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CL

AI总结 本文提出基于解释和时序对齐的文本引导稀疏专家混合模型，用于提升多模态情感分析的性能。

Comments 9 pages, 9 figures, accepted by AAAI 2026

View-aware Cross-modal Distillation for Multi-view Action Recognition

视点感知的多模态知识蒸馏用于多视图动作识别

Trung Thanh Nguyen, Yasutomo Kawanishi, Vijay John, Takahiro Komamizu, Ichiro Ide

机构 * Nagoya University（名古屋大学） ； Guardian Robot Project, R-IH, RIKEN（守护机器人项目，RIIH，理化学研究所） ； Lawrence Technological University（劳伦斯技术大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 ViCoKD通过视点感知的多模态知识蒸馏方法，在多视图动作识别中提升模型性能，有效解决视点不一致问题。

Comments IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

HeadHunt-VAD: Hunting Robust Anomaly-Sensitive Heads in MLLM for Tuning-Free Video Anomaly Detection

HeadHunt-VAD: 在MLLM中寻找鲁棒的异常敏感头部以实现无调优视频异常检测

Zhaolin Cai, Fan Li, Ziwei Zheng, Haixia Bi, Lijun He

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 HeadHunt-VAD通过直接在冻结的MLLM中寻找鲁棒的异常敏感头部，实现高效的无调优视频异常检测。

Comments AAAI 2026 Oral

Multi-Modal Soccer Scene Analysis with Masked Pre-Training

多模态足球场景分析与掩码预训练

Marc Peral, Guillem Capellera, Luis Ferraz, Antonio Rubio, Antonio Agudo

机构 * Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与信息技术研究所，CSIC-UPC） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种多模态架构，通过结合结构和视觉线索，有效推断足球场景中的球轨迹、状态和控制者，采用CropDrop策略提升模型鲁棒性。

Comments 10 pages, 2 figures. WACV 2026

Super Encoding Network: Recursive Association of Multi-Modal Encoders for Video Understanding

超级编码网络：多模态编码器的递归关联用于视频理解

Boyu Chen, Siran Chen, Kunchang Li, Qinglin Xu, Yu Qiao, Yali Wang

机构 * Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； the School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本文提出超级编码网络，通过递归关联多模态编码器提升视频理解性能，显著提升跟踪、识别、聊天和编辑等任务效果。

Exo2Ego: Exocentric Knowledge Guided MLLM for Egocentric Video Understanding

Exo2Ego：基于外部知识引导的多模态大语言模型用于第一人称视频理解

Haoyu Zhang, Qiaohui Chu, Meng Liu, Haoxiang Shi, Yaowei Wang, Liqiang Nie

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 Exo2Ego通过迁移学习提升内向视频理解能力，利用外向知识增强模型性能。

Comments This paper is accepted by AAAI 2026

Moment and Highlight Detection via MLLM Frame Segmentation

通过MLLM帧分割进行时刻和亮点检测

I Putu Andika Bagas Jiwanta, Ayu Purwarianti

机构 * School of Electrical Engineering and Informatics（电气工程与信息学院） ； Institut Teknologi Bandung（万隆技术大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出通过MLLM帧分割实现视频时刻和亮点检测，利用分割损失与因果LM损失结合，提升检测精度与效率。

Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding

对多模态大语言模型在视频理解中的可信度进行基准测试

Youze Wang, Zijun Chen, Ruoyu Chen, Shishen Gu, Wenbo Hu, Jiayang Liu, Yinpeng Dong, Hang Su, Jun Zhu, Meng Wang, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本研究提出Trust-videoLLMs基准，评估23种视频LLMs在真实性、鲁棒性、安全性和隐私等方面的表现，揭示其在动态场景理解及现实风险缓解中的局限性。

ACIT: Attention-Guided Cross-Modal Interaction Transformer for Pedestrian Crossing Intention Prediction

ACIT：基于注意力的跨模态交互Transformer用于行人过街意图预测

Yuanzhe Li, Steffen Müller

专题命中 视频多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 ACIT通过跨模态交互和注意力机制提升行人过街意图预测的准确性，实验显示在两个数据集上均优于现有方法。

Personality-guided Public-Private Domain Disentangled Hypergraph-Former Network for Multimodal Depression Detection

Changzeng Fu, Shiwen Zhao, Yunze Zhang, Zhongquan Jian, Shiqi Zhao, Chaoran Liu

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

Comments AAAI 2026 accepted

The One Where They Brain-Tune for Social Cognition: Multi-Modal Brain-Tuning on Friends

Nico Policzer, Cameron Braunstein, Mariya Toneva

机构 * Saarland University（萨尔兰大学） ； MPI for Software Systems（软件系统Max Planck研究所） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

Comments 20 pages, 7 figures. Appearing at the NeurIPS 2025 Workshop on Interpreting Cognition in Deep Learning Models

H3M-SSMoEs: Hypergraph-based Multimodal Learning with LLM Reasoning and Style-Structured Mixture of Experts

Peilin Tan, Liang Xie, Churan Zhi, Dian Tu, Chuanqi Shi

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Wuhan University of Technology（武汉科技大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI