多模态大模型

Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models

Insight-V++: 向多模态大语言模型实现高级长链视觉推理迈进

Yuhao Dong, Zuyan Liu, Shulin Tian, Yongming Rao, Ziwei Liu

机构 * S-Lab（S实验室） ； Nanyang Technological University（南洋理工大学） ； Tencent Hunyuan（腾讯文言） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Insight-V++框架，通过多代理视觉推理系统提升多模态大语言模型的长链视觉推理能力，采用ST-GRPO和J-GRPO算法增强空间时间推理和评估鲁棒性，实验显示在图像和视频推理任务中性能显著提升。

Comments arXiv admin note: text overlap with arXiv:2411.14432

VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding

VideoITG: 多模态视频理解中的指导性时间定位

Shihao Wang, Guo Chen, De-an Huang, Zhiqi Li, Minghan Li, Guilin Liu, Jose M. Alvarez, Lei Zhang, Zhiding Yu

机构 * The Hong Kong Polytechnic Univ（香港理工大学） ； Nanjing Univ（南京大学） ； NVIDIA（NVIDIA公司） ； Harvard Univ（哈佛大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 VideoITG通过设计VidThinker流水线，自动生成指令条件化描述，检索相关视频片段并选择关键帧，提升多模态视频理解任务的性能。

Comments Accepted by CVPR

Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach

团队LEYA在第10届ABAW竞赛中的多模态矛盾/犹豫识别方法

Elena Ryumina, Alexandr Axyonov, Dmitry Sysoev, Timur Abdulkadirov, Kirill Almetov, Yulia Morozova, Dmitry Ryumin

机构 * St. Petersburg Federal Research Center of the Russian Academy of Sciences（俄罗斯科学院圣彼得堡联邦科研中心） ； HSE University（俄罗斯高等经济学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种多模态方法用于视频级矛盾/犹豫识别，结合场景、面部、音频和文本四种模态，通过融合模型提升识别性能，实验显示多模态融合优于单一模态方法。

Comments 8 pages, 2 figures

EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Question Answering

EgoCross：多模态大语言模型跨领域眼动视频问答基准测试

Yanjun Li, Yuqian Fu, Tianwen Qian, Qi'ao Xu, Silong Dai, Danda Pani Paudel, Luc Van Gool, Xiaoling Wang

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 EgoCross提出一个跨领域眼动视频问答基准，评估多模态大语言模型在不同领域中的泛化能力，揭示现有模型在非日常领域任务中的局限性。

Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis

多模态喉镜视频分析用于辅助声带麻痹诊断

Yucong Zhang, Xin Zou, Jinshan Yang, Wenjun Chen, Juan Liu, Faya Liang, Ming Li

机构 * School of Computer Science（计算机科学学院） ； Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems（多模态智能系统苏州市重点实验室） ； Sun Yat-sen Memorial Hospital of Sun Yat-sen University（中山大学孙逸仙纪念医院） ； School of Artificial Intelligent（人工智能学院） ； Department of Otorhinolaryngology（耳鼻喉科部门） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 本文提出多模态喉镜视频分析系统，结合音频和视频数据自动提取关键片段，用于辅助诊断声带麻痹。

Comments Accepted by Computer Speech and Language

Real-Time Generation of Game Video Commentary with Multimodal LLMs: Pause-Aware Decoding Approaches

基于多模态大语言模型的实时游戏视频解说生成：暂停感知解码方法

Anum Afzal, Yuki Saito, Hiroya Takamura, Katsuhito Sudoh, Shinnosuke Takamichi, Graham Neubig, Florian Matthes, Tatsuya Ishigaki

机构 * School of CIT, Technical University of Munich（慕尼黑技术大学计算机信息学院） ； National Institute of Advanced Industrial Science（国家工业科学与技术研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出两种基于提示的解码方法，利用多模态大语言模型实现实时游戏视频解说生成，通过动态间隔调整提升时间相关性与内容准确性。

Comments Accepted at LREC2026

C^2ROPE: Causal Continuous Rotary Positional Encoding for 3D Large Multimodal-Models Reasoning

C^2ROPE: 3D 大多模态模型推理中的因果连续旋转位置编码

Guanting Ye, Qiyan Zhao, Wenhao Yu, Xiaofeng Zhang, Jianmin Ji, Yanyong Zhang, Ka-Veng Yuen

机构 * State Key Laboratory of Internet of Things for Smart City, University of Macau（物联网智能城市国家重点实验室，澳门大学） ； Department of Automation, Shanghai Jiaotong University（上海交通大学自动化系） ； Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院） ； School of Computer Science and Technology, USTC（中国科学技术大学计算机科学与技术学院） ； School of Artificial Intelligence and Data Science, USTC（中国科学技术大学人工智能与数据科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 C^2ROPE通过引入空间-时间连续位置编码和切比雪夫因果掩码，解决3D多模态模型中视觉特征连续性和因果关系建模问题。

Comments Accepted in ICRA 2026

Simulating the Real World: A Unified Survey of Multimodal Generative Models

模拟现实世界：多模态生成模型的统一综述

Yuqi Hu, Longguang Wang, Xian Liu, Ling-Hao Chen, Yuwei Guo, Yukai Shi, Ce Liu, Anyi Rao, Zeyu Wang, Hui Xiong

机构 * Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（人工智能前沿技术研究所，香港科学与技术大学（广州）） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology Hong Kong SAR（计算机科学与工程系，香港科学与技术大学香港特别行政区） ； MMLab, The Hong Kong University of Science and Technology（多模态实验室，香港科学与技术大学） ； School of Electronics and Communication Engineering, Shenzhen Campus of Sun Yat-sen University（电子与通信工程学院，中山大学深圳校区） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学，香港，中国） ； Tsinghua University, Guangdong, China（清华大学，广东，中国） ； Bosch (China) Investment Co., Ltd., Shanghai, China（博世（中国）投资有限公司，上海，中国） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文首次系统性地统一研究了2D、视频、3D和4D生成，为多模态生成模型和现实世界模拟提供了统一框架的综述。

Comments Repository for the related papers at https://github.com/ALEEEHU/World-Simulator

MATEO: A Multimodal Benchmark for Temporal Reasoning and Planning in LVLMs

MATEO：一种多模态基准，用于LVLMs中的时间推理和规划

Gabriel Roccabruna, Olha Khomyn, Giuseppe Riccardi

机构 * Signals and Interactive Systems Lab, University of Trento, Italy（特伦托大学信号与交互系统实验室） ； University of Trento（特伦托大学） ； Amazon（亚马逊） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MATEO是一个多模态基准，用于评估和提升大型视觉语言模型在时间推理和规划方面的能力。

Enhancing Weakly Supervised Multimodal Video Anomaly Detection through Text Guidance

通过文本引导增强弱监督多模态视频异常检测

Shengyang Sun, Jiashen Hua, Junyi Feng, Xiaojin Gong

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； Alibaba Cloud（阿里云） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出文本引导框架，通过多阶段文本增强和多尺度瓶颈Transformer融合模块，提升弱监督多模态视频异常检测的性能。

Comments Accepted by IEEE Transactions on Multimedia

TAMMs: Change Understanding and Forecasting in Satellite Image Time Series with Temporal-Aware Multimodal Models

TAMMs: 卫星图像时间序列中基于时序感知的多模态模型用于变化理解和预测

Zhongbin Guo, Yuhao Wang, Ping Jian, Chengzhi Li, Xinyue Chen, Zhen Yang, Ertai E

机构 * School of Computer Science & Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） ； School of Computing, National University of Singapore（计算学院，新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(title)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 TAMMs通过时序感知多模态模型统一执行卫星图像时间序列中的变化理解和未来预测，提升长程时间动态建模能力。

Comments Published as a conference paper at The Fourteenth International Conference on Learning Representations (ICLR 2026)

Weak to Strong: VLM-Based Pseudo-Labeling as a Weakly Supervised Training Strategy in Multimodal Video-based Hidden Emotion Understanding Tasks

弱到强：基于VLM的伪标签作为多模态视频隐藏情绪理解任务中的弱监督训练策略

Yufei Wang, Haixu Liu, Tianxiang Xu, Chuancheng Shi, Hongsheng Xing

机构 * The University of New South Wales, Sydney, New South Wales, Australia（新南威尔士大学） ； The University of Sydney, Sydney, New South Wales, Australia（悉尼大学） ； School of Software and Microelectronics, Peking University, Zibo, Shandong, China（北京大学软件与微电子学院） ； Shandong University of Technology, Beijing, China（山东理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于VLM的伪标签弱监督方法，用于多模态视频隐藏情绪识别，提升准确率至0.69并建立新基准。

Learning to Decode Against Compositional Hallucination in Video Multimodal Large Language Models

在视频多模态大语言模型中学习对抗组合性幻觉

Wenbin Xing, Quanxing Zha, Lizheng Zu, Mengran Li, Ming Li, Junchi Yan

机构 * Sun Yat-sen University（中山大学） ； Huaqiao University（华侨大学） ； Shenzhen University（深圳大学） ； Guangming Laboratory（光明实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对视频多模态大语言模型中的组合性幻觉问题，提出TriCD框架，通过对比解码和三路径校准机制提升模型在对抗幻觉时的准确率。

MindCine: Multimodal EEG-to-Video Reconstruction with Large-Scale Pretrained Models

MindCine: 基于大规模预训练模型的多模态EEG到视频重建

Tian-Yi Zhou, Xuan-Hao Liu, Bao-Liang Lu, Wei-Long Zheng

机构 * School of Computer Science, Shanghai Jiao Tong University, 800 Dongchuan Road, Shanghai, China（计算机科学学院，上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 MindCine通过多模态联合学习和预训练大型EEG模型，实现有限数据下的高保真EEG到视频重建。

MLVTG: Mamba-Based Feature Alignment and LLM-Driven Purification for Multi-Modal Video Temporal Grounding

MLVTG: 基于Mamba的特征对齐与LLM驱动的多模态视频时间定位

Zhiyi Zhu, Xiaoyu Wu, Zihao Liu, Linlin Yang

机构 * State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MLVTG通过结合MambaAligner和LLMRefiner，实现了多模态视频时间定位的高精度定位与语义净化。

Autiverse: Eliciting Autistic Adolescents' Daily Narratives through AI-guided Multimodal Journaling

Autiverse: 通过AI引导的多模态日记记录 eliciting 自闭症青少年的日常叙述

Migyeong Yang, Kyungah Lee, Jinyoung Han, SoHyun Park, Young-Ho Kim

机构 * NAVER AI Lab（NAVER AI实验室） ； Dodakim Child Development Center（Dodakim儿童发展中心） ； Sungkyunkwan University（松均大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 Autiverse通过AI引导的多模态日记记录帮助自闭症青少年组织日常经历，提升叙述能力并增强自主感。

Comments 19 pages excluding reference. Conditionally accepted to ACM CHI 2026

Journal ref In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26), April 13-17, 2026, Barcelona, Spain. ACM, New York, NY, USA, 26 pages

Arabic Sign Language Recognition using Multimodal Approach

阿拉伯手语识别的多模态方法

Ghadeer Alanazi, Abir Benabid

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出结合Leap Motion和RGB摄像头的多模态方法，用于提高阿拉伯手语识别的准确率，实验结果显示78%的识别准确率。

SkeFi: Cross-Modal Knowledge Transfer for Wireless Skeleton-Based Action Recognition

SkeFi: 无线传感器跨模态知识转移用于基于骨骼的动作识别

Shunyu Huang, Yunjiao Zhou, Jianfei Yang

机构 * School of Electrical and Electronics Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 SkeFi通过跨模态知识转移方法，利用无线传感器提升基于骨骼的动作识别性能，实现毫米波和LiDAR上的先进表现。

Comments Published in IEEE Internet of Things Journal

Optimizing Multimodal LLMs for Egocentric Video Understanding: A Solution for the HD-EPIC VQA Challenge

优化多模态大语言模型以实现视角视频理解：HD-EPIC VQA挑战的解决方案

Sicheng Yang, Yukai Huang, Shitong Sun, Weitong Cai, Jiankang Deng, Jifei Song, Zhensong Zhang

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出一种优化多模态大语言模型的方法，通过预处理、微调和时间链式思考提示，在HD-EPIC VQA挑战中实现了41.6%的准确率。

Comments 4 pages, 1 figure, CVPR 2025 EgoVis Workshop, 2nd Place in HD-EPIC Challenge

QMAVIS: Long Video-Audio Understanding using Fusion of Large Multimodal Models

QMAVIS：利用大多模态模型融合实现长视频音频理解

Zixing Lin, Jiale Wang, Gee Wah Ng, Lee Onn Mak, Chan Zhi Yang Jeriel, Jun Yang Lee, Yaohao Li

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 QMAVIS通过融合大型多模态模型、大型语言模型和语音识别模型，实现了长视频音频理解，展示了在VideoMME数据集上38.75%的性能提升，并在其他数据集上表现出竞争力。

Speak While Watching: Unleashing TRUE Real-Time Video Understanding Capability of Multimodal Large Language Models

边看边说：解锁多模态大语言模型的实时视频理解能力

Junyan Lin, Junlong Tong, Hao Wu, Jialiang Zhang, Jinming Liu, Xin Jin, Xiaoyu Shen

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT（宁波空间智能与数字衍生关键实验室，数字孪生研究院，EIT） ； Shanghai Jiao Tong University（上海交通大学） ； Ocean University of China（中国海洋大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出并行流式框架，通过三种设计解决多模态大语言模型在实时视频理解中的位置连续性约束问题，实现边看边说的实时交互。

MMViR: A Multi-Modal and Multi-Granularity Representation for Long-range Video Understanding

MMViR：一种多模态和多粒度表示用于长视频理解

Zizhong Li, Haopeng Zhang, Jiawei Zhang

机构 * IFM Lab, University of California, Davis（加州大学戴维斯分校信息融合实验室） ； ALOHA Lab, University of Hawaii at Mānoa（夏威夷大学马诺阿分校ALOHA实验室） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 MMViR通过多模态和多粒度表示提升长视频理解，实现更高效的检索和更优的性能表现。

Comments 13 pages, 11 figures

TrackTeller: Temporal Multimodal 3D Grounding for Behavior-Dependent Object References

TrackTeller: 基于时间的多模态3D定位用于行为依赖的对象引用

Jiahong Yu, Ziqi Wang, Hailiang Zhao, Wei Zhai, Xueqiang Yan, Shuiguang Deng

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 TrackTeller通过融合LiDAR图像、语言条件解码和时间推理，提升动态3D场景中基于语言的物体定位与跟踪性能。

Real-time prediction of workplane illuminance distribution for daylight-linked controls using non-intrusive multimodal deep learning

基于非侵入式多模态深度学习的实时工作平面照度分布预测用于日光联动控制

Zulin Zhuang, Yu Bian

机构 * School of Architecture（建筑学院） ； State Key Laboratory of Subtropical Building（亚热带建筑科学国家重点实验室） ； South China University of Technology（华南理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出了一种基于非侵入式多模态深度学习的实时工作平面照度分布预测方法，用于提高日光联动控制的能效

GMFVAD: Using Grained Multi-modal Feature to Improve Video Anomaly Detection

GMFVAD：利用细粒度多模态特征提升视频异常检测

Guangyu Dai, Dong Chen, Siliang Tang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 GMFVAD通过细粒度多模态特征减少冗余信息，提升视频异常检测性能。

Comments Accepted for publication in the Proceedings of the ICONIP 2025

Multi-Modal Zero-Shot Prediction of Color Trajectories in Food Drying

多模态零样本预测食品干燥中的颜色轨迹

Shichen Li, Ahmadreza Eslaminia, Chenhui Shao

机构 * Department of Mechanical Science and Engineering, University of Illinois at Urbana-Champaign, Urbana, IL, USA（机械科学与工程系，伊利诺伊大学厄巴纳-香槟分校） ； Department of Mechanical Engineering, University of Michigan, Ann Arbor, MI, USA（机械工程系，密歇根大学安娜堡分校） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种多模态零样本方法，通过整合高维时间颜色信息和干燥参数，实现对食品干燥中颜色轨迹的高效预测，显著提升预测精度和泛化能力。

SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models

SAT：多模态语言模型的动态空间能力训练

Arijit Ray, Jiafei Duan, Ellis Brown, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko

机构 * Boston University（波士顿大学） ； University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究院） ； Microsoft Research（微软研究院） ； New York University（纽约大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SAT通过模拟数据提升多模态语言模型在动态空间推理中的能力，实验表明其在多个基准测试中优于现有方法。

Comments Accepted to COLM 2025. Project webpage: https://arijitray.com/SAT/

Deep Learning-Based Computer Vision Models for Early Cancer Detection Using Multimodal Medical Imaging and Radiogenomic Integration Frameworks

基于深度学习的计算机视觉模型用于多模态医学影像和放射基因组整合框架中的早期癌症检测

Emmanuella Avwerosuoghene Oghenekaro

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于深度学习的计算机视觉模型，结合多模态医学影像和放射基因组学，用于早期癌症检测，提升肿瘤基因型预测和治疗抗性分析能力。

Journal ref International Journal of Computer Applications Technology and Research, vol. 14, no. 11, pp. 1-14, 2025

CrossVid: A Comprehensive Benchmark for Evaluating Cross-Video Reasoning in Multimodal Large Language Models

CrossVid: 一个用于评估多模态大语言模型在跨视频推理中的综合基准

Jingyao Li, Jingyun Wang, Molin Tan, Haochen Wang, Cilin Yan, Likun Shi, Jiayin Cai, Xiaolong Jiang, Yao Hu

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 CrossVid是首个用于评估多模态大语言模型跨视频推理能力的综合基准，通过多样化的任务和数据集验证了模型在复杂视频推理任务中的表现。

Comments Accepted to AAAI 2026 (main track). For code and data, see https://github.com/chuntianli666/CrossVid

MeteorPred: A Meteorological Multimodal Large Model and Dataset for Severe Weather Event Prediction

MeteorPred：一种用于恶劣天气事件预测的气象多模态大模型和数据集

Shuo Tang, Jian Xu, Jiadong Zhang, Yi Chen, Qizhao Jin, Lingdong Shen, Chenglin Liu, Shiming Xiang

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhongguancun Academy, Beijing（中关村学院） ； China Meteorological Administration（中国气象局） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MeteorPred提出一种多模态大模型和数据集，用于提升恶劣天气事件预测的准确性和自动化水平。