视觉大模型 / VLM

Consistent but Dangerous: Per-Sample Safety Classification Reveals False Reliability in Medical Vision-Language Models

一致却危险：每样本安全分类揭示医疗视觉-语言模型中的虚假可靠性

Binesh Sadanandan, Vahid Behzadan

机构 * SAIL Lab, University of New Haven（SAIL实验室，新罕布什尔大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 研究揭示医疗VLMs中一致性指标的缺陷，通过四象限分类发现危险样本高准确率且低熵，建议部署评估需结合文本基线以识别虚假可靠性。

Comments CVPR 2026 Workshop on Medical Reasoning with Vision Language Foundation Models

Adversarial attacks against Modern Vision-Language Models

对抗现代视觉-语言模型的攻击

Alejandro Paredes La Torre

机构 * Duke University（杜克大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.AI

AI总结 研究开放源码视觉-语言模型在模拟真实预部署环境中的对抗鲁棒性，评估两种模型在三种梯度攻击下的表现，发现其存在显著的安全差异。

Contextual Safety Reasoning and Grounding for Open-World Robots

面向开放世界机器人的上下文安全推理与 grounding

Zachary Ravichandran, David Snyder, Alexander Robey, Hamed Hassani, Vijay Kumar, George J. Pappas

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 CORE框架通过视觉语言模型实现在线上下文推理与空间grounding，提供概率安全保证，在开放世界中有效执行上下文适应的安全行为。

A-TPT: Angular Diversity Calibration Properties for Test-Time Prompt Tuning of Vision-Language Models

A-TPT：面向视觉语言模型测试时提示微调的角多样性校准特性

Shihab Aaqil Ahamed, Udaya S. K. P. Miriya Thanthrige, Ranga Rodrigo, Muhammad Haris Khan

机构 * Dept. of Electronic and Telecommunication Engineering, University of Moratuwa（摩图瓦大学电子与电信工程系） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 A-TPT通过引入角度多样性提升视觉语言模型测试时提示微调的校准性能，有效减少校准误差并提升适应能力。

Comments Accepted at ICLR 2026

Are Vision Language Models Cross-Cultural Theory of Mind Reasoners?

视觉语言模型是否是跨文化理论思维推理者？

Zabir Al Nazi, GM Shahariar, Md. Abrar Hossain, Wei Peng

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；MLLM(abstract)

AI总结 本文提出CulturalToM-VQA基准测试集，评估视觉语言模型在跨文化理论思维推理中的表现，发现前沿模型在准确性上显著提升，但存在假信念推理和区域差异等局限，揭示模型的社会可取性偏差问题。

SafeEraser: Enhancing Safety in Multimodal Large Language Models through Multimodal Machine Unlearning

Junkai Chen, Zhijie Deng, Kening Zheng, Yibo Yan, Shuliang Liu, PeiJun Wu, Peijie Jiang, Jia Liu, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Southeast University（东南大学） ； Ant Group, Alibaba（蚂蚁集团） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；LLaVA(abstract)；MLLM(abstract)；分类 cs.CV

Benchmarking and Mitigating MCQA Selection Bias of Large Vision-Language Models

Md. Atabuzzaman, Ali Asgarov, Chris Thomas

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted to EMNLP 2025 (Main Conference)

Evaluating Robustness of Vision-Language Models Under Noisy Conditions

Purushoth, Alireza

机构 * University of Nevada Reno（内华达大学拉斯维加斯分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

MVTamperBench: Evaluating Robustness of Vision-Language Models

Amit Agarwal, Srikant Panda, Angeline Charles, Bhargava Kumar, Hitesh Patel, Priyaranjan Pattnayak, Taki Hasan Rafi, Tejaswini Kumar, Hansa Meghwani, Karan Gupta, Dong-Kyu Chae

机构 * Liverpool John Moores University（利物浦约翰·穆里斯大学） ； Birla Institute of Technology（比拉理工学院） ； Christ University（基督大学） ； Columbia University（哥伦比亚大学） ； New York University（纽约大学） ； University of Washington（华盛顿大学） ； Hanyang University（翰阳大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Double Visual Defense: Adversarial Pre-training and Instruction Tuning for Improving Vision-Language Model Robustness

Zeyu Wang, Cihang Xie, Brian Bartoldson, Bhavya Kailkhura

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

Hallucination of Multimodal Large Language Models: A Survey

Zechen Bai, Pichao Wang, Tianjun Xiao, Tong He, Zongbo Han, Zheng Zhang, Mike Zheng Shou

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；vision-language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments 228 references

Retention Score: Quantifying Jailbreak Risks for Vision Language Models

Zaitang Li, Pin-Yu Chen, Tsung-Yi Ho

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)

Comments 14 pages, 8 figures, AAAI 2025

Journal ref AAAI 2025

Behavioral Bias of Vision-Language Models: A Behavioral Finance View

Yuhang Xiao, Yudi Lin, Ming-Chang Chiu

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.AI

Comments ICML 2024 Workshop on Large Language Models and Cognition

CLIP-DPO: Vision-Language Models as a Source of Preference for Fixing Hallucinations in LVLMs

Yassine Ouali, Adrian Bulat, Brais Martinez, Georgios Tzimiropoulos

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；LLaVA(abstract)；grounding(abstract)

Comments Accepted at ECCV 2024

Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies

危险还是异常？评估用于理解危险和差异的视觉语言模型

Murali Indukuri, Mohammad Eskandari, Sree Nitya Kollu, Stephanie Lukin, Cynthia Matuszek

机构 * Interactive Robotics and Language Lab, University of Maryland Baltimore County（马里兰大学巴尔的摩县分校交互式机器人与语言实验室） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对现代安全关键系统中VLM的评估问题，通过明确区分危险和异常，在两个数据集及多种提示策略下评估多个先进VLM，发现其常误判，明确区分能提供更具信息性评估并揭示失败模式。

Comments 8 pages, accepted to RO-MAN 2026

The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs

计数存在但未对齐：理解和纠正视觉语言模型中的计数失败

Ahmed Oumar El-Shangiti, Abzal Nurgazy, Hilal AlQuabeh, Nikolai Rozanov, Kentaro Inui

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 研究视觉语言模型计数失败问题，通过对VLM激活进行探测训练及分析，发现其虽常编码正确计数但输出错误，提出探测器引导的自校正方法，在不更新参数时提高计数准确率，揭示内部知识与模型输出差距并提供改进工具。

Surprise-Guided MergeSort: Budget-Efficient Human-in-the-Loop Ranking via Adaptive Comparison Scheduling

惊喜引导的归并排序：通过自适应比较调度实现预算高效的人机协同排名

Yujin Park, Haejun Chung, Ikbeom Jang

机构 * Hanyang University（汉阳大学） ； Hankuk University of Foreign Studies（韩国外国语大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出惊喜引导的归并排序（SGS）框架，利用视觉语言模型（VLM）作为问题优先级排序器，通过自适应预算分配将高模糊度比较路由给人类，在六个基准上以相同预算实现Kendall's τ×100提升6-12点。

Comments After submission, we discovered significant issues in the reference and citation information used in the manuscript. Because these issues affect the integrity of the scholarly record and require substantial revision and verification, we request withdrawal of the current submission. A corrected version may be submitted in the future after a comprehensive review

GhostPrompt: Cross-Image Adversarial Prompt for Vision-Language Models

GhostPrompt：视觉语言模型的跨图像对抗性提示

Li Zeng, Zeyu Ye, Meng Xie, Hangtao Zhang, Xianlong Wang, Yanchun Li, Zhetao Li

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 研究视觉语言模型对抗攻击问题，提出GhostPrompt方法，通过联合优化提炼图像不变对抗特征，跨图像引导模型输出，相比现有基线攻击成功率显著提高且计算时间大幅减少。

Comments Accepted to ACM MM 2026. Code: this https://github.com/Ye-ze-yu/GhostPrompt

Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices

镜头中的恶魔：分析并防御可穿戴设备上针对视觉语言模型的物理提示注入

Yaxin Li, Hao Wang, Yanda Shao, Shuhao Zhang, Yan Long

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 研究针对可穿戴设备上视觉语言模型的物理提示注入攻击，利用真实环境照片分析出6种威胁向量及对12个模型的影响，攻击成功率高，还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。

Event-Adaptive Motion Planning with Distilled Vision-Language Model in Safety-Critical Situations

安全关键场景下基于蒸馏视觉语言模型的事件自适应运动规划

Zhenwei Huang, Changsheng You, Shuai Wang, Chao Zhou, Wei Xu, Yi Gong

机构 * Southern University of Science and Technology（南方科技大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Manifold Tech Limited（曼孚科技股份有限公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 提出事件自适应运动规划（EAMP）框架，通过可配置语义事件触发器、蒸馏视觉语言模型和语义模型预测控制，在安全关键场景中实现高层推理与底层控制的协同，提升动态安全裕度并保持实时性。

Comments 8 pages, 8 figures, 4 tables. Accepted by IROS 2026

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models

MirrorCheck: 视觉-语言模型的高效对抗防御

Samar Fares, Klea Ziu, Toluwani Aremu, Nikita Durasov, Martin Takáč, Pascal Fua, Ivan Laptev, Karthik Nandakumar

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能大学） ； NVIDIA ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Michigan State University（密歇根州立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出MirrorCheck框架，利用文本到图像模型和随机化策略检测并防御针对视觉-语言模型的自适应对抗攻击。

Seeing is Believing? Evaluating Vision-Language Model Susceptibility in Agent-to-Agent Multimodal Persuasion

见多识广？评估面向Agent-to-Agent多模态说服的视觉语言模型易受性

Haoyi Qiu, Yilun Zhou, Pranav Narayanan Venkit, Kung-Hsiang Huang, Jiaxin Zhang, Nanyun Peng, Chien-Sheng Wu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Salesforce AI Research（Salesforce AI研究） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 本文研究了在多智能体多模态说服场景中，视觉语言模型对多模态内容的易受性，提出了MMPersuade框架和数据集，通过实验揭示了多模态输入在说服中的优势，以及说服对象的领域和格式依赖性，以及心理策略在不同上下文和模型架构下的效果差异。

VISOR: A Vision-Language Model-based Test Oracle for Testing Robots

VISOR：基于视觉-语言模型的机器人测试 oracle

Prasun Saurabh, Pablo Valle, Aitor Arrieta, Shaukat Ali, Paolo Arcaini

机构 * Simula Research Laboratory（Simula研究实验室） ； Oslo Metropolitan University（奥斯陆理工大学） ； Mondragon University（蒙dragon大学） ； National Institute of Informatics（国立信息研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 VISOR 提出基于视觉-语言模型的自动化测试 oracle 方法，解决机器人测试中任务正确性评估难题，通过两个模型在多个任务上验证，展现高召回率和高精确度，但不确定性与正确性相关性低。

System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

系统介导的注意力失衡使视觉-语言模型倾向于说‘是’

Tsan Tsai Chan, Varsha Suresh, Anisha Saha, Michael Hahn, Vera Demberg

机构 * Saarland Informatics Campus, Saarland University, Germany（萨尔兰州信息学校区，萨尔兰州大学，德国） ； Max Planck Institute for Informatics, Germany（马克斯·普朗克信息研究所，德国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 本文研究了视觉-语言模型中系统介导的注意力失衡对‘是’偏见的影响，提出通过重新分配注意力以减少这种偏见，从而提升模型可靠性。

Comments Accepted to ACL Findings 2026

Assessing VLM-Driven Semantic-Affordance Inference for Non-Humanoid Robot Morphologies

评估基于视觉语言模型的非人形机器人语义可及性推理

Jess Jones, Raul Santos-Rodriguez, Sabine Hauert

机构 * Bristol Robotics Laboratory, University of Bristol（布里斯托尔机器人实验室，布里斯托尔大学） ； University of Bristol（布里斯托尔大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 本文研究了视觉语言模型在非人形机器人上的语义可及性推理能力，通过混合数据集分析发现模型在不同物体和机器人形态上表现不一，存在保守预测倾向，需结合其他方法以提高性能。

Comments AAMAS 2026 (main track), 9 pages, 4 figures

VLMaterial: Vision-Language Model-Based Camera-Radar Fusion for Physics-Grounded Material Identification

VLMaterial: 基于视觉-语言模型的相机-雷达融合用于物理基础的材料识别

Jiangyou Zhu, He Chen

机构 * Department of Inforation Engineering（信息工程系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 本文提出VLMaterial框架，通过融合视觉语言模型与雷达知识实现物理基础的材料识别，采用双管道架构和上下文增强生成策略，提升跨模态融合性能，实验表明其在120余次真实实验中达到96.08%的识别准确率。

Make VLM Recognize Visual Hallucination on Cartoon Character Image with Pose Information

使VLM在卡通角色图像上通过姿态信息识别视觉幻觉

Bumsoo Kim, Wonseop Shin, Kyuchul Lee, Yonghoon Jung, Sanghyun Seo

机构 * Chung-Ang University（Chung-Ang 大学） ； Coupang（韩国Coupang） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出基于姿态信息的VLM幻觉检测方法，通过上下文学习提升识别准确率，实验表明在卡通角色图像中幻觉检测效果提升50%-80%。

Comments Accepted at WACV 2025, Project page: https://gh-bumsookim.github.io/Cartoon-Hallucinations-Detection/. (Fixed typos)

Uncertainty Quantification for Multimodal Large Language Models with Incoherence-adjusted Semantic Volume

多模态大语言模型的不确定性量化：基于不一致性调整的语义体积

Gregory Kang Ruey Lau, Hieu Dao, Nicole Kan Hui Lin, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 UMPIRE是一种无需训练的多模态大语言模型不确定性量化框架，通过内部特征有效捕捉语义多样性和响应不一致性，提升错误检测和不确定性校准性能。

Comments Earlier versions presented at ICLR 2025 QUESTION workshop and ICML 2025 R2-FM workshop

Crafting Adversarial Inputs for Large Vision-Language Models Using Black-Box Optimization

为大型视觉-语言模型设计对抗输入使用黑盒优化

Jiwei Guan, Haibo Jin, Haohan Wang

机构 * School of Computing, Macquarie University（麦考瑞大学计算机学院） ； School of Information Sciences, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校信息科学学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出了一种基于零阶优化的黑盒劫持攻击方法，针对大型视觉-语言模型实现高成功率的对抗性攻击，揭示了当前模型安全机制的不足。

Comments EACL

Evaluating the Robustness of Open-Source Vision-Language Models to Domain Shift in Object Captioning

Federico Tavella, Amber Drinkwater, Angelo Cangelosi

机构 * Centre for Robotic Autonomy in Demanding and Long-lasting Environments（机器人自主性在恶劣和持久环境中的研究中心） ； Centre for Robotics and AI（机器人与人工智能中心） ； University of Manchester（曼彻斯特大学） ； Amentum Clean Energy Ltd（Amentum清洁能源有限公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG