视觉大模型 / VLM

Jailbreaks on Vision Language Model via Multimodal Reasoning

通过多模态推理实现对视觉语言模型的逃逸攻击

Aarush Noheria, Yuguang Yao

机构 * Novi High School, MI, USA（诺维高中） ； Michigan State University, MI, USA（密歇根州立大学） 纠错

专题命中 视觉问答 ：vision language model(title)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于多模态推理的逃逸攻击框架，通过训练后链式推理和自适应噪声机制提高对视觉语言模型的安全过滤器的绕过能力。

Head-Aware Visual Cropping: Enhancing Fine-Grained VQA with Attention-Guided Subimage

头感知视觉裁剪：通过注意力引导的子图像增强细粒度VQA

Junfei Xie, Peng Pan, Xulong Zhang

机构 * Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 通过注意力引导的子图像增强细粒度VQA，提出无需训练的HAVC方法，利用优化的注意力头提升视觉定位精度。

Comments Accepted to 2026 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2026)

Leveraging Data to Say No: Memory Augmented Plug-and-Play Selective Prediction

利用数据说不：基于记忆的插拔式选择预测

Aditya Sarkar, Yi Li, Jiacheng Cheng, Shlok Mishra, Nuno Vasconcelos

机构 * University of Maryland, College Park（马里兰大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Qualcomm AI（高通人工智能） ； Yale University（耶鲁大学） ； Meta AI 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出基于记忆的插拔式选择预测方法，通过增强视觉语言嵌入来减少方差并改进分数校准，提升图像描述、匹配和细粒度分类性能。

Comments ICLR 2026

What Lies Beneath: A Call for Distribution-based Visual Question & Answer Datasets

表下之物：对基于分布的视觉问答数据集的呼吁

Jill P. Naiman, Daniel J. Evans, JooYoung Seo

机构 * Information Science（信息科学） ； University of Illinois（伊利诺伊大学） ； Urbana-Champaign（厄巴纳-香槟） ； Illinois, USA（伊利诺伊斯州，美国） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 本文呼吁建立专门针对科学图表的VQA基准，通过生成合成图表并要求模型基于底层数据回答问题，以解决现有数据集未能捕捉的图表与数据间关系的推理挑战。

Comments Accepted to ACM/IEEE Joint Conference on Digital Libraries JCDL 2025, 4 pages, 2 figures