多模态大模型

Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal Frames

艺术图像中引发的社会概念的自动建模作为多模态框架

Delfina Sol Martinez Pandiani, Valentina Presutti

机构 * Department of Computer Science and Engineering (DISI), University of Bologna, Italy（博洛尼亚大学计算机科学与工程系（DISI）） ； Department of Modern Languages, Literatures and Cultures (LILEC), University of Bologna, Italy（博洛尼亚大学现代语言、文学与文化系（LILEC）） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出将社会概念表示为多模态框架的方法，通过整合多感官数据提取和分析视觉艺术材料的多模态特征，以解决社会概念自动检测中的语义鸿沟问题。

Comments First International Workshop on Multisensory Data and Knowledge at the 3rd Conference on Language, Data and Knowledge (2021)

GIST: Multimodal Knowledge Extraction and Spatial Grounding via Intelligent Semantic Topology

GIST：通过智能语义拓扑进行多模态知识提取与空间定位

Shivendra Agrawal, Bradley Hayes

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 GIST通过智能语义拓扑提取多模态知识，构建语义标注的导航拓扑，实现复杂环境中的空间定位与人类-AI交互任务。

MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining

MixAtlas: 多模态大语言模型中训练过程中的数据混合优化方法

Bingbing Wen, Sirajul Salekin, Feiyang Kang, Bill Howe, Lucy Lu Wang, Javier Movellan, Manjot Bilkhu

机构 * Apple（苹果公司） ； University of Washington（华盛顿大学） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MixAtlas通过双轴分解训练语料，结合小代理模型与高斯过程代理，优化多模态大语言模型的训练混合策略，提升性能和泛化能力。

Seeing is Believing: Robust Vision-Guided Cross-Modal Prompt Learning under Label Noise

见仁见智：在标签噪声下鲁棒的视觉引导跨模态提示学习

Zibin Geng, Xuefeng Jiang, Jia Li, Zheng Li, Tian Wen, Lvhua Wu, Sheng Sun, Yuwei Wang, Min Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； PCALab, VCIP, College of Computer Science, Nankai University（南开大学计算机学院PCALab, VCIP） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisPrompt框架，通过跨模态注意力机制将视觉语义注入提示表示，提升在标签噪声下的鲁棒性，实验表明其在多个数据集上表现优于现有基线。

Mosaic: Multimodal Jailbreak against Closed-Source VLMs via Multi-View Ensemble Optimization

Mosaic: 通过多视图集成优化实现对闭源视觉语言模型的多模态劫持

Yuqin Lan, Gen Li, Yuanze Hu, Weihao Shen, Zhaoxin Fan, Faguo Wu, Xiao Zhang, Laurence T. Yang, Zhiming Zheng

机构 * Beihang University（北京航空航天大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Mosaic框架，通过多视图集成优化减少对单一代理模型的依赖，提升对闭源VLMs的多模态劫持效果，实验显示其在安全基准上的攻击成功率和毒性均达到最优。

Comments 14pages, 9 figures

Cross-modal Proxy Evolving for OOD Detection with Vision-Language Models

跨模态代理演化用于领域外检测与视觉-语言模型

Hao Tang, Yu Liu, Shuanglin Yan, Fei Shen, Shengfeng He, Jing Qin

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出CoEvo框架，通过双向样本条件适应文本和视觉代理，动态挖掘上下文文本负样本并迭代优化视觉代理，提升跨模态对齐和领域外检测鲁棒性。

Comments Accepted by AAAI 2026

Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection

双向多模态提示学习与尺度感知训练用于少样本多类异常检测

Yujin Lee, Sewon Kim, Daeun Moon, Seoyoon Jang, Hyunsoo Yoon

机构 * Yonsei University（延世大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AnoPLe框架，通过双向交互文本与视觉提示，实现高效多类异常检测，在MVTec-AD等数据集上超越现有方法，且具备良好的泛化能力。

Comments accepted to CVPR 2026

DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

DiG：通过差异 grounding 提升多模态大语言模型的细粒度感知

Zhou Tao, Shida Wang, Yongxiang Hua, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiG框架，通过学习相似图像对的差异识别提升多模态大语言模型的细粒度感知能力，实验表明其在多个视觉感知基准上表现优异。

Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought

增强推理的多模态链式推理

Shin'ya Yamaguchi, Kosuke Nishida, Daiki Chijiwa

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RED方法，通过KL约束奖励最大化提升多模态链式推理的准确性和忠实度，实验表明其在多个基准和模型上显著优于传统方法。

Comments Accepted to CVPR 2026 (Main); Code is available at https://github.com/yshinya6/red/

K-MaT: Knowledge-Anchored Manifold Transport for Cross-Modal Prompt Learning in Medical Imaging

K-MaT: 基于知识的流形传输用于医学影像中的跨模态提示学习

Jiajun Zeng, Shadi Albarqouni

机构 * University of Bonn（波恩大学） ； University Hospital Bonn（波恩大学医院） ； Clinic for Diagnostic and Interventional Radiology（诊断与介入放射科） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 K-MaT通过基于知识的流形传输实现跨模态提示学习，提升医学影像模型在不同模态间的泛化能力。

VisionPangu: A Compact and Fine-Grained Multimodal Assistant with 1.7B Parameters

VisionPangu：一个紧凑且细粒度的多模态助手，参数为17亿

Jiaxin Fan, Wenpo Song

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 VisionPangu通过高效多模态对齐和高质量监督，实现17亿参数紧凑多模态模型，在无需激进扩展的情况下提升图像描述的结构和细节。

Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

动态多模态激活引导用于大型视觉-语言模型中的幻觉缓解

Jianghao Yin, Qin Chen, Kedi Chen, Jie Zhou, Xingjiao Wu, Liang He

机构 * East China Normal University（华东师范大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态多模态激活引导方法，通过构建语义真实性引导向量数据库，实现幻觉缓解，提升模型性能。

Comments Accepted by ICLR 2026

Causal Decoding for Hallucination-Resistant Multimodal Large Language Models

因果解码用于抗幻觉的多模态大语言模型

Shiwei Tan, Hengyi Wang, Weiyi Qin, Qi Xu, Zhigang Hua, Hao Wang

机构 * Rutgers University（新泽西罗格斯大学） ； Meta Ranking AI（Meta 排名人工智能） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出因果解码框架，通过针对性干预减少多模态大语言模型中的物体幻觉，提升响应的准确性和忠实度。

Comments Published in Transactions on Machine Learning Research (TMLR), 2026

EarthSpatialBench: Benchmarking Spatial Reasoning Capabilities of Multimodal LLMs on Earth Imagery

EarthSpatialBench: 多模态大语言模型在地球影像上空间推理能力的基准测试

Zelin Xu, Yupu Zhang, Saugat Adhikari, Saiful Islam, Tingsong Xiao, Zibo Liu, Shigang Chen, Da Yan, Zhe Jiang

机构 * University of Florida（佛罗里达大学） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 EarthSpatialBench是一个用于评估多模态大语言模型在地球影像上空间推理能力的综合基准测试，涵盖空间距离、方向、拓扑关系及复杂几何查询。

Hierarchical Refinement of Universal Multimodal Attacks on Vision-Language Models

面向视觉语言模型的层次化通用多模态攻击

Peng-Fei Zhang, Zi Huang

机构 * School of Electrical Engineering and Computer Science, the University of Queensland（电气工程与计算机科学学院，昆士兰大学） ； Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出HRA框架，通过层次化优化路径和文本重要性建模，实现对视觉语言模型的通用多模态攻击，验证了其在多种任务和数据集上的优越迁移性能。

Comments 10 pages, 7 figures

ScalSelect: Scalable Training-Free Multimodal Data Selection for Efficient Visual Instruction Tuning

ScalSelect: 可扩展的无训练多模态数据选择用于高效的视觉指令微调

Changti Wu, Jiahuai Mao, Yuzhuo Miao, Shijie Lian, Bin Yu, Xiaopeng Lin, Cong Huang, Lei Zhang, Kai Chen

机构 * East China Normal University（华东师范大学） ； Zhongguancun Academy（中关村学院） ； The Hong Kong Polytechnic University（香港理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Huazhong University of Science and Technology（华中科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 ScalSelect提出一种无训练、可扩展的多模态数据选择方法，通过线性时间复杂度实现高效视觉指令微调，实验显示其性能接近甚至超越全数据训练。

Comments The code is available at \href{https://github.com/ChangtiWu/ScalSelect}{ScalSelect}

XAI-CLIP: ROI-Guided Perturbation Framework for Explainable Medical Image Segmentation in Multimodal Vision-Language Models

XAI-CLIP: 通过区域感兴趣引导扰动框架实现多模态视觉-语言模型中可解释的医学图像分割

Thuraya Alzubaidi, Sana Ammar, Maryam Alsharqi, Islem Rekik, Muzammil Behzad

机构 * King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Imperial College London（伦敦帝国学院） ； KFUPM-SDAIA Joint Research Centre for Artificial Intelligence（KFUPM-SDAIA联合人工智能研究中心） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 XAI-CLIP通过多模态视觉-语言模型嵌入实现医学图像分割的可解释性和效率提升，减少计算开销并提高分割精度。

SIRR-LMM: Single-image Reflection Removal via Large Multimodal Model

SIRR-LMM：通过大多模态模型实现单图像反射去除

Yu Guo, Zhiqiang Lao, Xiyun Song, Yubin Zhou, Heather Yu

机构 * Futurewei Technologies（未来科技公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SIRR-LMM方法，通过大模型和合成数据集生成技术，提升单图像反射去除的性能。

Comments 12 pages, 14 figures, accepted in WACVW 2026

VOILA: Value-of-Information Guided Fidelity Selection for Cost-Aware Multimodal Question Answering

VOILA：基于信息价值的保真度选择框架用于成本感知的多模态问答

Rahul Atul Bhope, K. R. Jayaram, Vinod Muthusamy, Ritesh Kumar, Vatche Isahagian, Nalini Venkatasubramanian

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 VOILA通过基于信息价值的自适应保真度选择，在多模态问答中实现成本优化与高精度的平衡。

Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval

超越视觉：基于多模态检索的上下文丰富图像描述

Nguyen Lam Phu Quy, Pham Phu Hoa, Tran Chi Nguyen, Dao Sy Duy Minh, Nguyen Hoang Minh Ngoc, Huynh Trung Kiet

机构 * University of Science - VNUHCM（越南胡志明市大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种多模态检索方法，通过整合外部文本知识生成更丰富的上下文图像描述，提升视觉-文本理解能力。

Comments 7 pages, 5 figures. System description for the EVENTA Grand Challenge (Track 1) at ACM MM'25

HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

HOI-R1: 探索多模态大语言模型在人类-物体交互检测中的潜力

Junwen Chen, Peilin Xiong, Keiji Yanai

机构 * Department of Informatics, The University of Electro-Communications（信息学系，东京电通大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 HOI-R1利用多模态大语言模型的推理能力，无需额外模块实现人类-物体交互检测任务的提升。

ViSIL: Unified Evaluation of Information Loss in Multimodal Video Captioning

ViSIL：多模态视频描述信息损失的统一评估

Po-han Li, Shenghui Chen, Ufuk Topcu, Sandeep Chinchali

机构 * The University of Texas at Austin, Texas, USA（德克萨斯大学奥斯汀分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 ViSIL通过信息论框架量化多模态视频摘要的信息损失，实现跨格式的统一评估，并在VQA任务中提升准确率7%。

GeoVLMath: Enhancing Geometry Reasoning in Vision-Language Models via Cross-Modal Reward for Auxiliary Line Creation

GeoVLMath: 通过跨模态奖励增强视觉-语言模型中的几何推理以辅助线创建

Shasha Guo, Liang Pang, Xi Wang, Yanling Wang, Huawei Shen, Jing Zhang

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Renmin University of China（中国人民大学） ； Zhipu AI（智谱AI） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 GeoVLMath通过跨模态奖励模型提升视觉-语言模型在复杂立体几何问题中的几何推理能力。

Comments 19 pages

M3Kang: Evaluating Multilingual Multimodal Mathematical Reasoning in Vision-Language Models

M3Kang: 评估视觉-语言模型在多语言多模态数学推理中的表现

Aleix Torres-Camps, Nathaniel Mitrani Hadida, Víctor Conchello Vendrell, Àlex Batlle Casellas, Arnau Padrés Masdemont, Jordi Ros-Giralt

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 M3Kang是一个大规模多语言多模态数学推理数据集，用于评估视觉-语言模型在多语言数学推理中的表现，通过基准测试揭示模型在基础数学和图表推理上的不足，并展示多语言技术在多模态设置中的有效性。

Comments 10 pages, 8 figures

V-Zero: Self-Improving Multimodal Reasoning with Zero Annotation

V-Zero：基于零标注的自改进多模态推理

Han Wang, Yi Yang, Jingyuan Hu, Minfeng Zhu, Wei Chen

机构 * State Key Laboratory of CAD&CG（计算机辅助设计与图形学国家重点实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 V-Zero通过自改进机制在无需人工标注的情况下提升多模态模型的视觉数学推理和通用视觉能力。

Head Pursuit: Probing Attention Specialization in Multimodal Transformers

头部追踪：探究多模态转换器中的注意力专业化

Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

机构 * Area Science Park（面积科学公园） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； Institute of Science and Technology（科学与技术研究所） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本研究通过分析多模态转换器中注意力头的专业化，揭示了模型内部可控的结构，并展示了通过编辑少量头部以增强或抑制特定概念的可行性。

Comments Accepted at NeurIPS 2025 (spotlight)

LP-LLM: End-to-End Real-World Degraded License Plate Text Recognition via Large Multimodal Models

LP-LLM：基于大多模态模型的端到端真实世界退化车牌文本识别

Haoyan Gong, Hongbin Liu

机构 * Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 LP-LLM通过端到端结构感知多模态推理框架，结合字符感知模块和LoRA微调策略，提升真实世界退化车牌文本识别性能。

Latent Reconstruction from Generated Data for Multimodal Misinformation Detection

从生成数据中进行潜在重建用于多模态虚假信息检测

Stefanos-Iordanis Papadopoulos, Christos Koutlis, Symeon Papadopoulos, Panagiotis C. Petrantonakis

机构 * Information Technology Institute, Centre for Research & Technology, Hellas（信息科技研究所，研究中心，希腊） ； Department of Electrical & Computer Engineering, Aristotle University of Thessaloniki（电气与计算机工程系，亚里士多德大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本研究提出MisCaption This!框架和LAMAR网络，通过生成高保真度的误标数据和潜在重建技术，提升多模态虚假信息检测的性能。

PathFound: An Agentic Multimodal Model Activating Evidence-seeking Pathological Diagnosis

PathFound: 一种促进证据寻求病理诊断的代理多模态模型

Shengyi Hua, Jianfeng Wu, Tianle Shen, Kangzhe Hu, Zhongzhen Huang, Shujuan Ni, Zhihong Zhang, Yuan Li, Zhe Wang, Xiaofan Zhang

机构 * Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学庆元研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Department of Pathology, The First Affiliated Hospital of USTC, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学生命科学与医学学院病理科） ； Intelligent Pathology Institute, Division of Life Sciences and Medicine（生命科学与医学学院智能病理研究所） ； Department of Pathology, Fudan University Shanghai Cancer Center（复旦大学上海癌症中心病理科） ； Department of Oncology, Shanghai Medical College, Fudan University（复旦大学上海医学院肿瘤科） ； Institute of Pathology, Fudan University（复旦大学病理研究所） ； Department of Pathology, The First Affiliated Hospital with Nanjing Medical University（南京医科大学第一附属医院病理科） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 PathFound是一种通过主动信息获取和诊断完善来提升病理诊断准确性的代理多模态模型，其在多种临床场景中表现出卓越的诊断性能。

Make LVLMs Focus: Context-Aware Attention Modulation for Better Multimodal In-Context Learning

让LVLMs聚焦：基于上下文的注意力调节以提升多模态上下文学习

Yanshu Li, Jianjiang Yang, Ziteng Yang, Bozheng Li, Ligong Han, Hongyang He, Zhengtao Yao, Yingjie Victor Chen, Songlin Fei, Dongfang Liu, Ruixiang Tang

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出CAMA，一种无需训练的注意力调节方法，通过动态调整注意力logits提升多模态上下文学习性能。

Comments 14 pages, 8 figures, 5 tables