多模态大模型

Vision Also You Need: Navigating Out-of-Distribution Detection with Multimodal Large Language Model

视觉也需要：利用多模态大语言模型进行分布外检测导航

Haoran Xu, Yanlin Liu, Zizhao Tong, Jiaze Li, Kexue Fu, Yuyang Zhang, Longxiang Gao, Shuaiguang Li, Xingyu Li, Yanran Xu, Changwei Wang

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences)（教育部计算电力网络与信息安全重点实验室，山东计算机科学中心（国家超算中心济南中心），齐鲁工业大学（山东科学院）） ； Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science（山东省计算电力互联网与服务计算重点实验室，山东省计算机科学基础研究中心） ； University of Electronic Science and Technology of China（电子科技大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出MM-OOD方法，利用多模态大语言模型的推理能力，通过多轮对话增强分布外检测，提升近远OOD任务性能。

A Semantic Decoupling-Based Two-Stage Rainy-Day Attack for Revealing Weather Robustness Deficiencies in Vision-Language Models

基于语义解耦的两阶段雨天攻击：揭示视觉-语言模型在天气鲁棒性方面的缺陷

Chengyin Hu, Xiang Chen, Zhe Jia, Weiwen Shi, Fengyu Zhang, Jiujiang Guo, Yiwei Wei

机构 * Chengyin Hu（独立研究者） ； Xiang Chen（独立研究者） ； Zhe Jia（独立研究者） ； Weiwen Shi（独立研究者） ； Fengyu Zhang（独立研究者） ； Jiujiang Guo（独立研究者） ； Yiwei Wei（独立研究者） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于语义解耦的两阶段雨天攻击框架，揭示了视觉-语言模型在天气鲁棒性方面的缺陷。

HyperWalker: Dynamic Hypergraph-Based Deep Diagnosis for Multi-Hop Clinical Modeling across EHR and X-Ray in Medical VLMs

HyperWalker: 基于动态超图的多跳临床建模深度诊断方法，跨EHR和X光在医学视觉语言模型中

Yuezhe Yang, Hao Wang, Yige Peng, Jinman Kim, Lei Bi

机构 * Institute of Translational Medicine, Shanghai Jiao Tong University（翻译医学研究院，上海交通大学） ； School of Computer Science, University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 HyperWalker通过动态超图和测试时训练，实现跨EHR和X光的多跳临床建模深度诊断，提升医疗视觉语言模型的诊断性能。

Comments Under Review

Docs2Synth: A Synthetic Data Trained Retriever Framework for Scanned Visually Rich Documents Understanding

Docs2Synth: 一种用于扫描视觉丰富文档理解的合成数据训练检索框架

Yihao Ding, Qiang Sun, Puzhen Wu, Sirui Li, Siwen Luo, Wei Liu

机构 * University of Western Australia（西澳大学） ； The University of Hong Kong（香港大学） ； Murdoch University（默多克大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 Docs2Synth通过合成监督框架实现私有和低资源领域文档理解，利用检索引导推理提升接地能力和领域泛化，无需人工标注。

Comments Accepted at WWW 2026 Demo Track

Adversarial Defense in Vision-Language Models: An Overview

视觉-语言模型中的对抗防御：概述

Xiaowei Fu, Lei Zhang

机构 * School of Microelectronics and Communication Engineering（微电子与通信工程学院） ； Chongqing University（重庆大学） ； Chongqing, China（中国重庆） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了视觉-语言模型对抗防御的最新进展，探讨了三种主要防御范式及其优缺点，旨在提升模型的鲁棒性。

A Two-Stage Globally-Diverse Adversarial Attack for Vision-Language Pre-training Models

面向视觉-语言预训练模型的双阶段全局多样化对抗攻击

Wutao Chen, Huaqin Zou, Chen Wan, Lifeng Huang

机构 * Department of Computer Science and Technology, Shantou University（汕头大学计算机科学与技术系） ； College of Mathematics and Informatics, South China Agricultural University（华南农业大学数学与信息学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出2S-GDA，一种双阶段全局多样化攻击框架，通过文本和图像扰动增强对抗攻击效果，提升黑盒场景下的攻击成功率。

Comments Accepted to ICASSP 2026

SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection

SSVP：协同语义-视觉提示用于工业零样本异常检测

Chenhao Fu, Han Fang, Xiuzheng Zheng, Wenbo Wei, Yonghua Li, Hao Sun, Xuelong Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SSVP通过协同语义-视觉提示机制，提升工业零样本异常检测的细粒度感知能力，实现93.0%的图像AUROC和92.2%的像素AUROC。

Predicting When to Trust Vision-Language Models for Spatial Reasoning

预测何时信任视觉-语言模型进行空间推理

Muhammad Imran, Yugyung Lee

机构 * University of Missouri Kansas City（密苏里大学堪萨斯城分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出一种基于视觉的置信度估计框架，通过几何验证提升VLM空间推理的可靠性，实验显示其在BLIP-2和CLIP上的AUROC显著优于文本方法基线。

Comments 9 pages, 5 figures, 6 tables

Reasoning or Pattern Matching? Probing Large Vision-Language Models with Visual Puzzles

推理还是模式匹配？通过视觉谜题探测大型视觉-语言模型

Maria Lymperaiou, Vasileios Karampinis, Giorgos Filandrianos, Angelos Vlachos, Chrysoula Zerva, Athanasios Voulodimos

机构 * National Technical University of Athens（国家技术大学雅典） ； Instituto de Telecomunicações（电信研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文通过视觉谜题探测大型视觉-语言模型的推理能力，揭示其在泛化、感知与推理整合及执行一致性方面的局限，并提出未来基准和系统的发展方向。

Disc3D: Automatic Curation of High-Quality 3D Dialog Data via Discriminative Object Referring

Disc3D：通过判别性对象指称自动校准高质量3D对话数据

Siyuan Wei, Chunjie Wang, Xiao Liu, Xiaosheng Yan, Zhishan Zhou, Rui Huang

机构 * PICO, ByteDance, Beijing（字节跳动北京研究院） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 Disc3D通过自动化流程生成高质量3D对话数据，解决视角和对象指称模糊性问题，提升多模态大语言模型性能。

Comments 8 pages

Proxy Robustness in Vision Language Models is Effortlessly Transferable

视觉语言模型中的代理鲁棒性可以轻易转移

Xiaowei Fu, Fuxiang Huang, Lei Zhang

机构 * Chongqing Key Laboratory of Bio-perception（重庆生物感知实验室） ； Multimodal Intelligent Information Processing, Chongqing University, Chongqing 401331, China（多模态智能信息处理，重庆大学，重庆401331，中国） ； School of Microelectronics（微电子学院） ； Communication Engineering, Chongqing University, Chongqing 401331, China（通信工程，重庆大学，重庆401331，中国） ； School of Data Science, Lingnan University, Hong Kong（数据科学学院，岭南大学，香港） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出HPT-GPD框架，通过异构代理转移提升视觉语言模型的对抗鲁棒性，同时缓解过拟合问题，增强零样本自然泛化能力。

REF-VLM: Triplet-Based Referring Paradigm for Unified Visual Decoding

基于三元组的引用范式用于统一视觉解码

Yan Tai, Luhao Zhu, Yunan Ding, Yiying Dong, Guangtao Zhai, Xiaohong Liu, Guodong Guo

机构 * School of Computer Science, Shanghai Jiao Tong University, Shanghai, 200240, China（上海交通大学计算机科学学院） ； Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo, China（宁波数字孪生研究院） ； School of Information Science and Electronic Engineering, Shanghai Jiao Tong University, Shanghai, 200240, China（上海交通大学信息科学与电子工程学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 REF-VLM通过引入基于三元组的引用范式，提升多任务视觉解码的性能和适应性。