多模态大模型

SAM-R1: Leveraging SAM for Reward Feedback in Multimodal Segmentation via Reinforcement Learning

SAM-R1：通过强化学习利用SAM进行多模态分割的奖励反馈

Jiaqi Huang, Zunnan Xu, Jun Zhou, Ting Liu, Yicheng Xiao, Mingwen Ou, Bowen Ji, Xiu Li, Kehong Yuan

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出SAM-R1框架，通过整合任务特定的细粒度奖励与定制优化目标，提升多模态模型在图像理解任务中的细粒度推理与分割对齐能力，仅用3k训练样本即在多个基准上取得优异表现。

Comments Accepted to NeurIPS 2025

GraphVLM: Benchmarking Vision Language Models for Multimodal Graph Learning

GraphVLM：多模态图学习的视觉语言模型基准测试

Jiajin Liu, Dongzhe Fan, Chuanhao Ji, Daochen Zha, Qiaoyu Tan

机构 * NYU Shanghai（纽约大学上海分校） ； New York University（纽约大学） ； Rice University（休斯顿大学） ； East China Normal University（华东师范大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 GraphVLM通过三种范式评估视觉语言模型在多模态图学习中的能力，发现VLM-as-Predictor在性能上表现最佳，展示了其在多模态图学习中的潜力。

Comments CVPR 2026

Towards Faithful Multimodal Concept Bottleneck Models

迈向可信的多模态概念瓶颈模型

Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

机构 * Ekimetrics ； Sorbonne Université, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6实验室） ； Télécom Paris（巴黎电信学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出f-CBM框架，通过可微泄漏损失和Kolmogorov-Arnold网络预测头，解决多模态场景下的概念检测与泄漏问题，实现任务准确度、概念检测和泄漏减少的最佳平衡。

Fuel Gauge: Estimating Chain-of-Thought Length Ahead of Time in Large Multimodal Models

Fuel Gauge: 在大型多模态模型中提前估计链式推理长度

Yuedong Yang, Xiwen Wei, Mustafa Munir, Radu Marculescu

机构 * Chandra Family Department of Electrical and Computer Engineering（查德拉家族电气与计算机工程系） 纠错

专题命中 图文多模态 ：multimodal(title)；image-text(abstract)；分类 cs.CV

AI总结 Fuel Gauge通过提取隐藏信号提前预测链式推理长度，有效解决LMMs中的内存碎片化和推理效率问题。

AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models

AutoTraces：通过多模态大语言模型实现自回归轨迹预测

Teng Wang, Yanting Lu, Ruize Wang

机构 * Southeast University（东南大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 AutoTraces通过多模态大语言模型实现自回归轨迹预测，采用创新的轨迹标记方案和自动链式推理机制，提升长周期预测精度与跨场景泛化能力。

See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs

看见它，说出它，排序：一种无需训练的迭代框架用于LVLMs中的视觉引导多模态推理

Yongchang Zhang, Oliver Ma, Tianyi Liu, Guangquan Zhou, Yang Chen

机构 * Southeast University（东南大学） ； University of Oxford（牛津大学） ； AIIA, Ministry of Education, China（教育部人工智能研究院，中国） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出无需训练的迭代框架，通过视觉证据监督推理步骤，减少多模态推理中的幻觉问题，提升推理准确性。

Comments CVPR2026 Accepted

Differentially Private Multimodal In-Context Learning

差分隐私多模态上下文学习

Ivoline C. Ngong, Zarreen Reza, Joseph P. Near

机构 * University of Vermont, Burlington, VT, USA（佛罗里达大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 DP-MTV是首个实现多样本多模态上下文学习的差分隐私框架，通过激活空间中的任务向量聚合，在保持隐私的前提下提升模型性能。

Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation

基于结构观测的图像-文本对比学习用于CT报告生成

Hong Liu, Dong Wei, Qiong Peng, Yawen Huang, Xian Wu, Yefeng Zheng, Liansheng Wang

机构 * School of Informatics, Xiamen University, Xiamen, China（厦门大学信息学院） ； National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康医学数据科学研究院） ； Jarvis Research Center, Tencent YouTu Lab, Shenzhen, China（腾讯YouTu实验室 Jarvis研究部） ； Medical Artificial Intelligence Laboratory, Westlake University, Hangzhou, China（西湖大学医学人工智能实验室） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；分类 cs.CV

AI总结 本文提出基于结构观测的图像-文本对比学习框架，用于提升CT报告生成的临床效率和准确性。

Comments Accept to IPMI 2025

LiteVLA-Edge: Quantized On-Device Multimodal Control for Embedded Robotics

LiteVLA-Edge: 量化在设备上多模态控制用于嵌入式机器人

Justin Williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar

机构 * Clark Atlanta University（克拉克阿特兰大学） ； Siemens Corporation（西门子公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 LiteVLA-Edge通过量化和GPU加速，在嵌入式机器人中实现低延迟的多模态控制，提供模块化本地执行方案。

VLMFusionOcc3D: VLM Assisted Multi-Modal 3D Semantic Occupancy Prediction

VLMFusionOcc3D: 基于VLM的多模态3D语义占位预测

A. Enes Doruk, Hasan F. Ates

机构 * Department of Artificial Intelligence and Data Engineering, Ozyegin University（人工智能与数据工程系，奥克辛大学） 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 VLMFusionOcc3D通过融合视觉语言模型的语义先验，提升多模态3D语义占位预测的鲁棒性和适应性。

Voices, Faces, and Feelings: Multi-modal Emotion-Cognition Captioning for Mental Health Understanding

声音、面孔与情感：多模态情绪-认知描述用于心理健康理解

Zhiyuan Zhou, Yanrong Guo, Shijie Hao

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.MM

AI总结 ECMC通过多模态数据生成情绪-认知描述，提升心理健康评估的准确性和可解释性。

Comments Accepted at AAAI 2026

MMCOMET: A Large-Scale Multimodal Commonsense Knowledge Graph for Contextual Reasoning

MMCOMET：一种大规模多模态常识知识图谱用于上下文推理

Eileen Wang, Hiba Arnaout, Dhita Pratama, Shuo Yang, Dangyang Liu, Jie Yang, Josiah Poon, Jeff Pan, Caren Han

机构 * University of Sydney（悉尼大学） ； University of Melbourne（墨尔本大学） ； University of Edinburgh（爱丁堡大学） ； The University of Sydney（悉尼大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 MMCOMET是一种大规模多模态常识知识图谱，通过整合视觉、物理和社会知识，提升了复杂推理任务如图像描述和叙事生成的性能。

Wild-Drive: Off-Road Scene Captioning and Path Planning via Robust Multi-modal Routing and Efficient Large Language Model

Wild-Drive: 通过鲁棒多模态路由和高效大语言模型实现越野场景描述与路径规划

Zihang Wang, Xu Li, Benwu Wang, Wenkai Zhu, Xieyuanli Chen, Dong Kong, Kailin Lyu, Yinan Du, Yiming Peng, Haoyang Che

机构 * School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院） ； Southeast University Nanjing Jiangbei New Area Innovation Research Institute（东南大学南京江滨新区创新研究院） ； National Key Laboratory of Equipment State Sensing and Smart Support, National University of Defense Technology（国防科技大学装备状态感知与智能支撑国家重点实验室） ； School of Transportation, Shandong University of Science and Technology（山东科技大学交通学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 Wild-Drive通过鲁棒多模态路由和高效大语言模型实现越野场景描述与路径规划，提升复杂环境下的可解释性和稳定性。

Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning

超越DAGs：一种用于多模态学习的潜在部分因果模型

Yuhang Liu, Zhen Zhang, Dong Gong, Erdun Gao, Biwei Huang, Mingming Gong, Anton van den Hengel, Kun Zhang, Javen Qinfeng Shi

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种用于多模态学习的潜在部分因果模型，通过解耦表示提升模型在少量样本学习和领域泛化中的性能。

Large Multimodal Models as General In-Context Classifiers

大多模态模型作为通用上下文分类器

Marco Garosi, Matteo Farina, Alessandro Conti, Massimiliano Mancini, Elisa Ricci

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出CIRCLE方法，通过伪标签迭代优化，使LMM在开放世界分类中超越VLM，展示LMM作为统一分类器的潜力。

Comments CVPR Findings 2026. Project website at https://circle-lmm.github.io/

Asymmetric Idiosyncrasies in Multimodal Models

多模态模型中的非对称个性化特征

Muzi Tao, Chufan Shi, Huijuan Wang, Shengbang Tong, Xuezhe Ma

机构 * University of Southern California（南加州大学） ； New York University（纽约大学） 纠错

专题命中 图文多模态 ：multimodal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 本文研究了多模态模型中描述模型的个性化特征及其对文本到图像模型的影响，发现生成图像丢失了描述中的关键变化，提出了一种新的量化方法。

Comments Project page: https://muzi-tao.github.io/asymmetric-idiosyncrasies/

Plug, Play, and Fortify: A Low-Cost Module for Robust Multimodal Image Understanding Models

插件、即插即用并加固：一种低成本模块用于鲁棒多模态图像理解模型

Siqi Lu, Wanying Xu, Yongbin Zheng, Wenting Luan, Peng Sun, Jianhang Yao

机构 * National University of Defense Technology（国防科技大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种低成本模块，通过频域分析解决多模态模型中缺失模态导致的性能问题，提升模型鲁棒性和整体学习效果。

The Automatic Verification of Image-Text Claims (AVerImaTeC) Shared Task

图像-文本主张的自动验证（AVerImaTeC）共享任务

Rui Cao, Zhenyun Deng, Yulong Chen, Michael Schlichtkrull, Andreas Vlachos

专题命中 图文多模态 ：image-text(title,abstract)；分类 cs.CL

AI总结 本文提出图像-文本主张自动验证共享任务，通过检索证据和验证真实主张，评估系统性能并展示最佳结果。

Comments Shared Task Overview and Summary for the Ninth FEVER Workshop, Co-located at EACL 2026

Learning Multi-Modal Prototypes for Cross-Domain Few-Shot Object Detection

跨域少样本目标检测中的多模态原型学习

Wanqi Wang, Jingcai Guo, Yuxiang Cai, Zhi Chen

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang University（浙江大学） ； The University of Southern Queensland（昆士兰大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出LMP方法，通过结合文本和视觉信息，提升跨域少样本目标检测的精度和性能。

Comments Accepted to CVPR 2026 Findings

Universal Anti-forensics Attack against Image Forgery Detection via Multi-modal Guidance

面向图像伪造检测的通用反取证攻击框架 via 多模态指导

Haipeng Li, Rongxuan Peng, Anwei Luo, Shunquan Tan, Changsheng Chen, Anastasia Antsiferova

机构 * Shenzhen University, China（深圳大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； Shenzhen MSU-BIT University, China（深圳MSU-BIT大学） ； Lomonosov Moscow State University's Institute for Artificial Intelligence, Russia（罗蒙诺索夫莫斯科国立大学人工智能研究所） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出ForgeryEraser框架，通过多模态指导损失实现对图像伪造检测器的通用反取证攻击，揭示了VLMs依赖性带来的对抗性漏洞，并展示了对先进AIGC检测器的性能影响。

Comments 17 pages, 11 figures

Detecting Deepfakes with Multivariate Soft Blending and CLIP-based Image-Text Alignment

利用多变量软融合和基于CLIP的图像-文本对齐检测深度伪造

Jingwei Li, Jiaxin Tong, Pengfei Wu

机构 * Zhejiang Gongshang University（浙江工商大学） 纠错

专题命中 图文多模态 ：image-text(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出MSBA-CLIP框架，通过多变量软融合和CLIP引导的伪造强度估计，提升深度伪造检测的准确性和泛化能力。

cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

cadrille: 多模态CAD重建与强化学习

Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

机构 * Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） ； AXXX ； ETH Zurich（苏黎世联邦理工学院） ； Innopolis University（因诺波利斯大学） ； Institute of Mechanics, Armenia（亚美尼亚力学研究所） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 cadrille通过强化学习实现多模态CAD重建，首次在CAD任务中应用RL微调，提升重建性能并设定新基准。

Comments ICLR 2026 (Oral)

AIC CTU@AVerImaTeC: dual-retriever RAG for image-text fact checking

AIC CTU@AVerImaTeC：双检索器RAG用于图像-文本事实核查

Herbert Ullrich, Jan Drchal

专题命中 图文多模态 ：image-text(title)；multimodal(abstract)；分类 cs.CL

AI总结 AIC CTU@AVerImaTeC提出双检索器RAG方法，通过结合文本和图像检索模块，实现高效的图像-文本事实核查，具有低运行成本和易复现性。

Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition

基于多模态大语言模型的零样本人-物交互检测

Shiyu Xuan, Dongkai Wang, Zechao Li, Jinhui Tang

机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics（西南财经大学计算机与人工智能学院） ； Nanjing Forestry University（南京林业大学） 纠错

专题命中 图文多模态 ：MLLM(title)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出基于多模态大语言模型的零样本人-物交互检测框架，通过解耦检测与识别任务，结合确定性生成方法和空间感知模块，实现高效准确的零样本交互识别。

Comments ICLR 2026

Web-Scale Multimodal Summarization using CLIP-Based Semantic Alignment

基于CLIP的语义对齐的网络级多模态摘要

Mounvik K, N Harshit

机构 * School of Computer Science Engineering（计算机科学与工程学院） ； VIT-AP University（VIT-AP大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出基于CLIP的语义对齐网络级多模态摘要框架，通过结合网络文本和图像数据生成摘要，实现高准确率的多模态对齐。

Cross-Modal Mapping: Mitigating the Modality Gap for Few-Shot Image Classification

跨模态映射：缓解模态差距以实现少样本图像分类

Xi Yang, Pai Peng, Wulin Xie, Xiaohuan Lu, Jie Wen

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出跨模态映射方法，通过全局对齐和三元组损失优化，缓解模态差距，提升少样本图像分类性能。

Comments The authors request withdrawal of this article. This version was submitted in error. Compared to the intended final version, it contains inaccuracies and fails to accurately reflect the authors' work and conclusions

Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models

循环回溯以前进：递归变换器用于高效灵活的大型多模态模型

Ruihan Xu, Yuting Gao, Lan Wang, Jianing Li, Weihao Chen, Qingpei Guo, Ming Yang, Shiliang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； AntGroup（蚂蚁集团） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 RecursiveVLM通过递归细化机制提升多模态模型效率，实现参数复用和性能提升。

Comments This is a primary contribution in the Recursive Vision-Language Models

Cross-Modal Redundancy and the Geometry of Vision-Language Embeddings

跨模态冗余与视觉-语言嵌入的几何学

Grégoire Dhimoïla, Thomas Fel, Victor Boutin, Agustin Picard

机构 * Brown University（布朗大学） ； ENS Paris Saclay（巴黎萨克雷大学） ； IRT Saint Exupéry（IRT圣埃克苏佩里） ； Kempner Institute, Harvard University（哈佛大学凯姆纳研究所） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文通过等能假设和对齐稀疏自编码器，揭示了视觉-语言模型中跨模态对齐的几何结构，发现稀疏双模态原子承载了跨模态对齐信号，单模态原子解释了模态差距，去除单模态原子可消除差距而不影响性能。

Comments Published as a conference paper at ICLR 2026

Hierarchical Adaptive Eviction for KV Cache Management in Multimodal Language Models

分层自适应淘汰用于多模态语言模型的KV缓存管理

Xindian Ma, Yidi Lu, Peng Zhang, Jing Zhang

机构 * College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出HAE框架，通过双注意力修剪和动态解码淘汰策略优化多模态语言模型的KV缓存管理，减少内存使用并提升推理效率。

Comments 10 oages, 3 figures

DR$^2$Seg: Decomposed Two-Stage Rollouts for Efficient Reasoning Segmentation in Multimodal Large Language Models

DR$^2$Seg: 分解式两阶段 rollout 用于多模态大语言模型中的高效推理分割

Yulin He, Wei Chen, Zhikang Jian, Tianhang Guo, Wenjuan Zhou, Minglong Li, Shaowu Yang, Wenjing Yang

机构 * School of Computer, National University of Defense Technology, Changsha, China（计算机学院，国防科技大学，中国长沙） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 DR$^2$Seg通过分解式两阶段rollout策略提升多模态大语言模型中的推理效率和分割准确性。