多模态大模型

Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

弥合模态差距：基于多模态原型和图像偏差估计的少样本分布外检测

Yimu Wang, Evelien Riddell, Adrian Chow, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 图文多模态 ：multi-modal(title)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出SUPREME框架，通过引入多模态原型和图像偏差估计，有效缓解图像与文本之间的模态差距，提升少样本分布外检测性能。

Comments WACV 2026

Labels or Input? Rethinking Augmentation in Multimodal Hate Detection

标签还是输入？重新思考多模态仇恨检测中的增强

Sahajpreet Singh, Kokil Jaidka, Subhayan Mukerjee

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出通过提示优化、微调和自动化数据增强改进小型模型，开发多模态增强框架以提升隐含仇恨检测性能。

Comments 14 pages

Making medical vision-language models think causally across modalities with retrieval-augmented cross-modal reasoning

通过检索增强的跨模态推理使医疗视觉-语言模型在多模态中实现因果推理

Weiqin Yang, Haowen Xue, Qingyi Peng, Hexuan Hu, Qian Huang, Tingbo Zhang

机构 * University of Adelaide（阿德莱德大学） ； Hohai University（河海大学） ； Amap 纠错

专题命中 图文多模态 ：cross-modal(title)；multimodal(abstract)；image-text(abstract)

AI总结 本文提出多模态因果检索增强生成框架，通过整合因果推理原理与多模态检索，提升医疗VLMs在诊断预测和视觉问答中的事实准确性与鲁棒性。

GeoVLMath: Enhancing Geometry Reasoning in Vision-Language Models via Cross-Modal Reward for Auxiliary Line Creation

GeoVLMath: 通过跨模态奖励增强视觉-语言模型中的几何推理以辅助线创建

Shasha Guo, Liang Pang, Xi Wang, Yanling Wang, Huawei Shen, Jing Zhang

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Renmin University of China（中国人民大学） ； Zhipu AI（智谱AI） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 GeoVLMath通过跨模态奖励模型提升视觉-语言模型在复杂立体几何问题中的几何推理能力。

Comments 19 pages

Multi-Perspective Subimage CLIP with Keyword Guidance for Remote Sensing Image-Text Retrieval

多视角子图像CLIP与关键词引导的遥感图像-文本检索

Yifan Li, Shiying Wang, Jianqiang Huang

机构 * School of Computer Technology and Applications（计算机技术与应用学院） ； Qinghai University（青海大学） ； Qinghai Provincial Laboratory for Intelligent Computing and Application（青海省智能计算与应用实验室） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；分类 cs.CV

AI总结 MPS-CLIP通过关键词引导的多视角细粒度对齐提升遥感图像-文本检索性能，实现35.18%和48.40%的mR成绩。

Comments 7 pages, 3 figures. Code: https://github.com/Lcrucial1f/MPS-CLIP

Reasoning Beyond Literal: Cross-style Multimodal Reasoning for Figurative Language Understanding

超越字面：跨风格多模态推理用于隐喻语言理解

Seyyed Saeid Cheshmi, Hahnemann Ortiz, James Mooney, Dongyeop Kang

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出一种三步框架，通过跨风格多模态推理提升隐喻语言理解能力，实验显示推理轨迹和跨风格训练能显著提升模型性能。

SenseNova-MARS: Empowering Multimodal Agentic Reasoning and Search via Reinforcement Learning

SenseNova-MARS: 通过强化学习赋能多模态代理推理与搜索

Yong Xien Chng, Tao Hu, Wenwen Tong, Xueheng Li, Jiandong Chen, Haojia Yu, Jiefan Lu, Hewei Guo, Hanming Deng, Chengjun Xie, Gao Huang, Dahua Lin, Lewei Lu

机构 * SenseTime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 SenseNova-MARS通过强化学习赋能多模态代理推理与搜索，提升视觉-语言模型在复杂视觉任务中的表现。

Do VLMs Have a Moral Backbone? A Study on the Fragile Morality of Vision-Language Models

视觉-语言模型是否具有道德基础？对视觉语言模型脆弱道德的研究

Zhining Liu, Tianyi Wang, Xiao Lin, Penghao Ouyang, Gaotang Li, Ze Yang, Hui Liu, Sumit Keswani, Vishwa Pardeshi, Huijun Zhao, Wei Fan, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） ； Fidelity Investments（富达投资） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究发现视觉语言模型在面对文本和视觉扰动时道德判断易变，需通过轻量干预提升道德鲁棒性以确保负责任的部署。

The Art of Saying "Maybe": A Conformal Lens for Uncertainty Benchmarking in VLMs

也许的艺术：一种用于VLMs不确定性基准测试的共形透镜

Asif Azad, Mohammad Sadat Hossain, MD Sadik Hossain Shanto, M Saifur Rahman, Md Rizwan Parvez

机构 * Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； Qatar Computing Research Institute（卡塔尔计算研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种用于VLMs不确定性基准测试的共形透镜，评估了18种最先进的VLMs在6个多元数据集上的表现，发现更大模型在不确定性量化方面表现更佳，而数学和推理任务则表现出较差的不确定性性能。

A Computational Approach to Visual Metonymy

一种视觉隐喻的计算方法

Saptarshi Ghosh, Linfeng Liu, Tianyu Jiang

机构 * University of Cincinnati（辛辛那提大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出了一种基于符号学理论的计算方法，通过构建ViMET数据集评估多模态语言模型在理解视觉隐喻方面的认知推理能力，并揭示了机器在处理间接视觉参考上的局限性。

Comments EACL 2026

Closing the Modality Gap Aligns Group-Wise Semantics

弥合模态差距以对齐群体语义

Eleonora Grassucci, Giordano Cicchetti, Emanuele Frasca, Aurelio Uncini, Danilo Comminiello

机构 * Department of Information Engineering, Electronics, and Telecommunications（信息工程、电子与电信系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种方法，证明模态差距在群体级任务中显著影响性能，而非实例级任务。

Comments ICLR 2026

ELIP: Efficient Discriminative Language-Image Pre-training with Fewer Vision Tokens

ELIP: 一种更高效的语言-图像预训练方法，使用更少的视觉标记

Yangyang Guo, Haoyu Zhang, Yongkang Wong, Liqiang Nie, Mohan Kankanhalli

机构 * National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 ELIP通过高效修剪视觉标记，减少计算资源消耗，同时保持模型性能，适用于多种下游任务。

BigTokDetect: A Clinically-Informed Vision-Language Modeling Framework for Detecting Pro-Bigorexia Videos on TikTok

BigTokDetect: 一种临床指导的视觉-语言建模框架，用于检测TikTok上促进大肌肉畸形行为的视频

Minh Duc Chu, Kshitij Pawar, Zihao He, Roxanna Sharifi, Ross Sonnenblick, Magdalayna Curry, Laura D'Adamo, Lindsay Young, Stuart B Murray, Kristina Lerman

机构 * USC Information Sciences Institute（USC信息科学研究所） ； Keck School of Medicine, USC（USC凯克医学院） ； Department of Clinical Psychology, Drexel University（德雷塞尔大学临床心理学系） ； Department of Psychiatry and Biobehavioral Sciences, UCLA（UCLA精神病学与生物行为科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 BigTokDetect通过临床指导的视觉-语言模型，检测TikTok上促进大肌肉畸形行为的视频，建立了可扩展的有害内容缓解框架。

Safe Learning for Contact-Rich Robot Tasks: A Survey from Classical Learning-Based Methods to Safe Foundation Models

接触丰富机器人任务的安全学习：从经典学习方法到安全基础模型的综述

Heng Zhang, Rui Dai, Gokhan Solak, Pokuang Zhou, Yu She, Arash Ajoudani

机构 * Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia, Genova, Italy（人类-机器人接口与交互实验室，意大利技术研究院，热那亚，意大利） ； Ph.D. program of national interest in Robotics and Intelligent Machines (DRIM) and Università di Genova, Genoa, Italy（机器人与智能机器国家利益博士项目（DRIM）和热那亚大学，热那亚，意大利） ； Edwardson School of Industrial Engineering, Purdue University, West Lafayette, IN, USA（工业工程埃德华森学校，普渡大学，西拉法伊斯，美国） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文综述了接触丰富机器人任务的安全学习方法，探讨了从经典学习方法到安全基础模型的发展，分析了安全探索与执行的关键技术及未来方向。

Comments version 2