多模态大模型

Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

超越视觉编码器：识别和缓解大视觉-语言模型中的空间偏差

Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Yongshuai Hou, Weili Guan, Jun Yu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出AGCI机制，通过动态注入全局视觉上下文缓解大视觉-语言模型中的空间偏差问题，提升模型的空间鲁棒性和下游任务表现。

Decipher-MR: A Vision-Language Foundation Model for 3D MRI Representations

Decipher-MR：一种用于3D MRI表示的视觉-语言基础模型

Zhijian Yang, Noel DSouza, Istvan Megyeri, Xiaojian Xu, Amin Honarmandi Shandiz, Farzin Haddadpour, Krisztian Koos, Laszlo Rusko, Emanuele Valeriano, Bharadwaj Swaninathan, Lei Wu, Parminder Bhatia, Taha Kass-Hout, Erhan Bas

机构 * GE Healthcare（通用电气医疗） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 Decipher-MR是一种专门针对3D MRI的视觉-语言基础模型，通过自监督学习和报告引导的文本监督，实现对多种医学任务的高效支持。

Toward Universal and Transferable Jailbreak Attacks on Vision-Language Models

迈向通用且可迁移的视觉-语言模型劫持攻击

Kaiyuan Cui, Yige Li, Yutao Wu, Xingjun Ma, Sarah Erfani, Christopher Leckie, Hanxun Huang

机构 * School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算机与信息系） ； School of Computing and Information Systems, Singapore Management University, Singapore（新加坡管理大学计算机与信息系） ； School of Information Technology, Deakin University, Australia（德肯大学信息科技系） ； Institute of Trustworthy Embodied AI, Fudan University, China（复旦大学可信具身人工智能研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UltraBreak，一种通用且可迁移的视觉-语言模型劫持攻击框架，通过视觉正则化和语义引导的文本监督，有效提升攻击的泛化能力和转移性能。

Comments ICLR 2026

NAP-Tuning: Neural Augmented Prompt Tuning for Adversarially Robust Vision-Language Models

NAP-Tuning: 用于对抗鲁棒视觉-语言模型的神经增强提示微调

Jiaming Zhang, Xin Wang, Xingjun Ma, Lingyu Qiu, Yu-Gang Jiang, Jitao Sang

机构 * School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（复旦大学计算机学院智能信息处理重点实验室） ； Department of Mathematics and Applications, University of Naples Federico II（那不勒斯费德里克二世大学应用数学系） ； State Key Laboratory of Advanced Rail Autonomous Operation, Beijing Jiaotong University（北京交通大学先进轨道交通自主运行国家重点实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 NAP-Tuning通过神经增强框架提升视觉-语言模型的对抗鲁棒性，实现多模态提示微调和特征净化，显著提升模型在对抗攻击下的性能。

HueManity: Probing Fine-Grained Visual Perception in MLLMs

HueManity: 探索 MLLMs 中的细粒度视觉感知

Rynaa Grover, Jayant Sravan Tamarapalli, Sahiti Yerramilli, Nilay Pande

机构 * Google（谷歌） ； Waymo 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 HueManity 通过细粒度视觉感知基准测试揭示 MLLMs 在捕捉细粒度视觉细节方面的显著缺陷。

Journal ref ICML 2025 Workshop on Assessing World Models

Text is All You Need for Vision-Language Model Jailbreaking

文本就是视觉-语言模型劫持所需

Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Text-DJ通过将文本转换为图像并诱导干扰，成功绕过视觉-语言模型的安全防护，揭示了OCR能力在面对分散多模态输入时的脆弱性。

Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset

巴西葡萄牙语图像描述生成：跨原生翻译数据集研究

Gabriel Bromonschenkel, Alessandro L. Koerich, Thiago M. Paixão, Hilário Tomaz Alves de Oliveira

机构 * Instituto Federal do Espírito Santo (IFES)（巴西联邦大学埃斯皮里图圣安东尼奥理工学院） ； École de Technologie Supérieure (ÉTS)（加拿大超技术学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本研究通过跨原生翻译数据集评估Transformer模型在巴西葡萄牙语图像描述生成中的表现，发现Swin-DistilBERTimbau表现优异，GPT-4在CLIP-Score上表现最佳，同时揭示了模型中的系统性偏见。

Comments Accepted to JBCS. 18 pages, 11 figures

Bridging the Semantic Chasm: Synergistic Conceptual Anchoring for Generalized Few-Shot and Zero-Shot OOD Perception

弥合语义鸿沟：协同概念锚定用于通用少样本和零样本OOD感知

Alexandros Christoforos, Sarah Jenkins, Michael Brown, Tuan Pham, David Chen

机构 * Boston University（波士顿大学） ； Suffolk University（苏富比大学） ； Kyung Hee University, South Korea（韩国庆熙大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SynerNet通过协同神经代理网络框架，解决视觉语言模型在分布外概念感知中的跨模态对齐退化问题，提升少样本和零样本场景下的精度。

VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models

VScan：重新思考视觉标记减少以提高高效的大视觉-语言模型

Ce Zhang, Kaixin Ma, Tianqing Fang, Wenhao Yu, Hongming Zhang, Zhisong Zhang, Haitao Mi, Dong Yu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 VScan通过两阶段视觉标记减少框架提升大视觉-语言模型的推理效率，实现2.91倍预填充加速和10倍FLOPs减少，性能损失仅0.6%

Comments Accepted at TMLR 2026. Project page: https://zhangce01.github.io/VScan/

Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

通过利用人类方法诊断视觉语言模型的感知能力：针对色觉缺陷的色觉研究

Kazuki Hayashi, Shintaro Ozaki, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技术研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本研究通过Ishihara测试评估视觉语言模型对色觉差异的感知能力，发现模型无法再现色觉缺陷个体的感知结果，揭示了多模态AI在包容性部署中的不足。

Comments Accepted to appear in the main conference of EACL 2026

SCoPE VLM: Selective Context Processing for Efficient Document Navigation in Vision-Language Models

SCoPE VLM：面向视觉语言模型高效文档导航的 selective context processing

Gyubeum Lim, Yemo Koo, Vijay Krishna Madisetti

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Konkuk University（韩国康克伦大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 SCoPE VLM通过引入滚动链机制和定制强化学习方法，实现高效文档导航，提升视觉语言模型在多页文档问答中的代理阅读能力。

Learning to Detect Unseen Jailbreak Attacks in Large Vision-Language Models

学习检测未见过的大型视觉-语言模型中的对抗攻击

Shuang Liang, Zhihao Xu, Jiaqi Weng, Jialing Tao, Hui Xue, Xiting Wang

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 LoD通过学习模型内部激活生成安全表示，实现对未见过的对抗攻击的高效检测，提升检测性能和效率。

Comments 12 pages; Previously this version appeared as arXiv:2510.15430 which was submitted as a new work by accident

The Art of Saying "Maybe": A Conformal Lens for Uncertainty Benchmarking in VLMs

也许的艺术：一种用于VLMs不确定性基准测试的共形透镜

Asif Azad, Mohammad Sadat Hossain, MD Sadik Hossain Shanto, M Saifur Rahman, Md Rizwan Parvez

机构 * Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； Qatar Computing Research Institute（卡塔尔计算研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种用于VLMs不确定性基准测试的共形透镜，评估了18种最先进的VLMs在6个多元数据集上的表现，发现更大模型在不确定性量化方面表现更佳，而数学和推理任务则表现出较差的不确定性性能。

A Computational Approach to Visual Metonymy

一种视觉隐喻的计算方法

Saptarshi Ghosh, Linfeng Liu, Tianyu Jiang

机构 * University of Cincinnati（辛辛那提大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出了一种基于符号学理论的计算方法，通过构建ViMET数据集评估多模态语言模型在理解视觉隐喻方面的认知推理能力，并揭示了机器在处理间接视觉参考上的局限性。

Comments EACL 2026

Evaluating Large Vision-language Models for Surgical Tool Detection

评估大型视觉-语言模型用于手术工具检测

Nakul Poudel, Richard Simon, Cristian A. Linte

机构 * Rochester Institute of Technology（罗切斯特理工大学） ； Center for Imaging Science（成像科学中心） ； Center for Imaging Science and Biomedical Engineering（成像科学与生物医学工程中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究评估了三种大型视觉-语言模型在手术工具检测任务中的性能，发现Qwen2.5在检测和泛化能力上表现最佳。

Crafting Adversarial Inputs for Large Vision-Language Models Using Black-Box Optimization

为大型视觉-语言模型设计对抗输入使用黑盒优化

Jiwei Guan, Haibo Jin, Haohan Wang

机构 * School of Computing, Macquarie University（麦考瑞大学计算机学院） ； School of Information Sciences, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校信息科学学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于零阶优化的黑盒劫持攻击方法，针对大型视觉-语言模型实现高成功率的对抗性攻击，揭示了当前模型安全机制的不足。

Comments EACL

Adversarial Defense in Vision-Language Models: An Overview

视觉-语言模型中的对抗防御：概述

Xiaowei Fu, Lei Zhang

机构 * School of Microelectronics and Communication Engineering（微电子与通信工程学院） ； Chongqing University（重庆大学） ； Chongqing, China（中国重庆） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了视觉-语言模型对抗防御的最新进展，探讨了三种主要防御范式及其优缺点，旨在提升模型的鲁棒性。

A Two-Stage Globally-Diverse Adversarial Attack for Vision-Language Pre-training Models

面向视觉-语言预训练模型的双阶段全局多样化对抗攻击

Wutao Chen, Huaqin Zou, Chen Wan, Lifeng Huang

机构 * Department of Computer Science and Technology, Shantou University（汕头大学计算机科学与技术系） ； College of Mathematics and Informatics, South China Agricultural University（华南农业大学数学与信息学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出2S-GDA，一种双阶段全局多样化攻击框架，通过文本和图像扰动增强对抗攻击效果，提升黑盒场景下的攻击成功率。

Comments Accepted to ICASSP 2026

SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection

SSVP：协同语义-视觉提示用于工业零样本异常检测

Chenhao Fu, Han Fang, Xiuzheng Zheng, Wenbo Wei, Yonghua Li, Hao Sun, Xuelong Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SSVP通过协同语义-视觉提示机制，提升工业零样本异常检测的细粒度感知能力，实现93.0%的图像AUROC和92.2%的像素AUROC。

Predicting When to Trust Vision-Language Models for Spatial Reasoning

预测何时信任视觉-语言模型进行空间推理

Muhammad Imran, Yugyung Lee

机构 * University of Missouri Kansas City（密苏里大学堪萨斯城分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出一种基于视觉的置信度估计框架，通过几何验证提升VLM空间推理的可靠性，实验显示其在BLIP-2和CLIP上的AUROC显著优于文本方法基线。

Comments 9 pages, 5 figures, 6 tables

Can Vision-Language Models Understand Construction Workers? An Exploratory Study

视觉-语言模型能理解建筑工人吗？一项探索性研究

Hieu Bui, Nathaniel E. Chodosh, Arash Tavakoli

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Villanova University（维拉诺瓦大学） ； Department of Computing Sciences（计算科学系） ； Department of Civil and Environmental Engineering（土木与环境工程系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究评估了三种视觉-语言模型在识别建筑工人行为和情绪方面的性能，发现GPT-4o表现最佳，但需进一步改进以提高实际应用可靠性。

Uncovering Intrinsic Capabilities: A Paradigm for Data Curation in Vision-Language Models

揭示内在能力：一种用于视觉-语言模型数据整理的范式

Junjie Li, Ziao Wang, Jianghong Ma, Xiaofeng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Hong Kong Baptist University, China（香港 Baptist大学） ； City University of Hong Kong, China（香港城市大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CADC通过揭示视觉-语言模型的内在能力，提供了一种基于能力分析的数据整理范式，以提升指令微调的效果。

Semantic visually-guided acoustic highlighting with large vision-language models

语义视觉引导的音频突出与大型视觉-语言模型

Junhua Huang, Chao Huang, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 本文提出利用大型视觉-语言模型提取视觉-语义特征，以提升音频混音质量，发现摄像机焦点、语气和场景背景对感知混音质量提升最显著。

Bias Detection and Rotation-Robustness Mitigation in Vision-Language Models and Generative Image Models

视觉-语言模型和生成图像模型中的偏见检测与旋转鲁棒性缓解

Tarannum Mithila

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出旋转鲁棒缓解策略，通过数据增强、表征对齐和模型正则化，提升视觉-语言和生成图像模型在旋转和分布偏移下的鲁棒性和公平性。

Comments Preprint. This work is derived from the author's Master's research. Code and supplementary materials will be released separately

Subspace Alignment for Vision-Language Model Test-time Adaptation

子空间对齐用于视觉-语言模型测试时适应

Zhichen Zeng, Wenxuan Bao, Xiao Lin, Ruizhong Qiu, Tianxin Wei, Xuying Ning, Yuchen Yan, Chen Luo, Monica Xiao Cheng, Jingrui He, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SubTTA通过子空间对齐提升视觉-语言模型测试时适应性能，有效解决模态差距和视觉噪声问题。

Comments 17 pages, 10 figures

Seeing Right but Saying Wrong: Inter- and Intra-Layer Refinement in MLLMs without Training

看到正确却说错：在MLLMs中无需训练的跨层和内层细化

Shezheng Song, Shasha Li, Jie Yu

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DualPD通过双视角解码细化策略，无需额外训练提升多模态大语言模型的视觉理解准确性。

A Visual Semantic Adaptive Watermark grounded by Prefix-Tuning for Large Vision-Language Model

基于前缀微调的视觉语义自适应水印

Qi Zheng, Shuliang Liu, Yu Huang, Sihang Jia, Jungang Li, Lyuhao Chen, Junhao Chen, Hanqian Li, Aiwei Liu, Yibo Yan, Xuming Hu

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VISA-Mark，一种基于前缀微调的视觉语义自适应水印方法，通过动态视觉证据权重提升视觉与语义保真度，实现高效且可靠的多模态水印技术。

MedGround: Bridging the Evidence Gap in Medical Vision-Language Models with Verified Grounding Data

MedGround: 通过验证的 grounding 数据弥合医学视觉-语言模型中的证据差距

Mengmeng Zhang, Xiaoping Wu, Hao Luo, Fan Wang, Yisheng Lv

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； DAMO Academy, Alibaba Group（阿里巴巴集团 DAMO 院） ； Hupan Lab, Zhejiang Province（浙江省 Hupan 实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MedGround通过生成高质量的医学指称 grounding 数据，提升视觉-语言模型在临床场景中的定位和泛化能力。

Comments 18 pages, 10 figures

VVTRec: Radio Interferometric Reconstruction through Visual and Textual Modality Enrichment

VVTRec: 通过视觉和文本模态增强进行无线电干涉图重建

Kai Cheng, Ruoqi Wang, Qiong Luo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VVTRec通过融合视觉和文本模态增强，提升无线电干涉图重建的图像质量和准确性。

SAPL: Semantic-Agnostic Prompt Learning in CLIP for Weakly Supervised Image Manipulation Localization

SAPL: CLIP中基于语义无关的提示学习用于弱监督图像篡改定位

Xinghao Wang, Changtao Miao, Dianmo Sheng, Tao Gong, Qi Chu, Nenghai Yu, Quanchen Zou, Deyue Zhang, Xiangzheng Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SAPL通过语义无关的提示学习和边缘信息利用，提升CLIP在弱监督图像篡改定位中的性能。