视觉大模型 / VLM

Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification

通过证据不确定性量化检测大视觉-语言模型的误行

Tao Huang, Rui Wang, Xiaofei Liu, Yi Qin, Li Duan, Liping Jing

机构 * State Key Laboratory of Advanced Rail Autonomous Operation（先进轨道交通自主运行国家重点实验室） ； Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通数据挖掘与具身智能重点实验室） ； School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； School of Automation and Intelligence, Beijing Jiaotong University（北京交通大学自动化与智能学院） ； Beijing Key Laboratory of Security and Privacy in Intelligent Transportation（北京智能交通安全与隐私重点实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.LG

AI总结 通过证据不确定性量化检测大视觉-语言模型的误行，识别内部冲突和无知以提高模型可靠性。

Comments Accepted to ICLR 2026. Code is available at https://github.com/HT86159/EUQ

Dyslexify: A Mechanistic Defense Against Typographic Attacks in CLIP

Dyslexify: 一种针对CLIP中印刷攻击的机制性防御

Lorenz Hufe, Constantin Venhoff, Erblina Purelku, Maximilian Dreyer, Sebastian Lapuschkin, Wojciech Samek

机构 * Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所） ； University of Oxford（牛津大学） ； Technological University Dublin（都柏林技术大学） ； Technische Universität Berlin（柏林技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Dyslexify通过消融CLIP中的印刷电路，有效防御印刷攻击，提升性能并保持应用安全性。

Self-adaptive Dataset Construction for Real-World Multimodal Safety Scenarios

自适应数据集构建用于现实世界多模态安全场景

Jingen Qu, Lijun Li, Bo Zhang, Yichen Yan, Jing Shao

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出了一种图像导向的自适应数据集构建方法，用于构建现实世界多模态安全场景的数据集，通过生成35,000个图像-文本对及其指导响应，提升了安全评估的有效性。

Comments Accepted at EMNLP 2025 Findings