视觉大模型 / VLM

PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models

感知基准：评估多模态大语言模型中的原子视觉感知

Zichao Lin, Yifeng Xie, Bowen Qu, Haiming Wang, Jia Li, Haoning Wu, Yuhao Dong, Zuhao Yang, Jinguo Zhu, Haoyu Lu, Zijia Zhao, Tongtian Yue, Zhangyang Qi, Junwei Yang, Mengfan Dong, Peizhou Cao, Chenzhuang Du, Zaida Zhou, Haotian Yao, Hao Yang, Hongcheng Gao, Lin Sui, Weihong Li, Xinxing Zu, Jia Chen, Yao Wang, Xiaoxue Wu, Yalin Wang, Y. Charles, Yiping Bao, Yangyang Liu, Zhiqi Huang, Xinyu Zhou

机构 * Moonshot AI（登月人工智能） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV

AI总结 介绍用于评估多模态大语言模型原子视觉感知能力的PerceptionBench基准，通过自下而上方法构建错误分类法及相关问题，测试16个前沿模型，发现原子感知待解决，该基准为衡量MLLM视觉感知边界提供标准。

SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving

SafeGen：基于视觉语言模型的自动驾驶安全关键场景的目标条件视频扩散

Jiangfan Liu, Zexuan Cui, Tianyuan Zhang, Zonglei Jing, Zonghao Ying, Yaoyuan Zhang, Jiakai Wang, Xiaoqi Jiang, Aishan Liu, Xianglong Liu

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Laboratory（中关村实验室） ； Chery Automobile Co., Ltd.（奇瑞汽车股份有限公司） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,summary_cn)；分类 cs.CV

AI总结 研究针对VLM在自动驾驶系统中的应用，提出SafeGen框架，将场景生成设为目标条件扩散过程，引入上下文接地最终状态推理和最终状态条件下的视频演化，实验表明该框架能提升评判得分，微调后可提高真实驾驶场景性能。

Revealing Physical-World Semantic Vulnerabilities: Universal Adversarial Patch for Infrared Vision-Language Models

揭示物理世界语义漏洞：用于红外视觉语言模型的通用对抗性补丁

Chengyin Hu, Yuxian Dong, Yikun Guo, Xiang Chen, Qike Zhang, Junqi Wu, Jiahuan Long, Jiujiang Guo, Yiwei Wei, Tingsong Jiang, Wen Yao

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出通用曲网格补丁框架UCGP，用于揭示红外视觉语言模型的语义鲁棒性漏洞，通过扰动视觉表征空间以削弱跨模态语义对齐，验证了其在多种架构和数据集上的有效性。

Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

诊断视觉语言模型中由损坏引起的可靠性故障

Xiangjie Sui, Songyang Li, Hanwei Zhu, Baoliang Chen, Yuming Fang, Xin Sun

机构 * City University of Macau（澳门城市大学） ； Nanyang Technological University（南洋理工大学） ； Jiangxi University of Finance and Economics（江西财经大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title)；分类 cs.CV

AI总结 研究视觉损坏对视觉语言模型行为的影响，引入Bench-C测试平台及稳健对齐分数（RAS），通过对13个VLM实验发现轻度损坏会提高top-1准确率却降低预测结构，支持超越最终答案的稳健性评估。

Comments 14 pages

RiverONE: Generating Knowledge-Intensive VLM by Simulated Quantum Machines

RiverONE: 通过模拟量子机器生成知识密集型视觉语言模型

Xindian Ma, Xinyu Long, Yefei Zhang, Yanchen Liu, Xianghao Li, Yufu Wen, Yike Hu, Yuedong Zhu, Zeyang Ma, Wen Qin, Yikun Wang, Peng Yang, Monan Wang, Teng Yu

机构 * Thewake RiverYtz Lab（Thewake RiverYtz实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；InternVL(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出RiverONE，利用模拟量子计算生成结构化参数，构建轻量级视觉语言模型，用于量子校准图理解，以1.9B参数达到NVIDIA Ising Calibration 1的95%性能。

Comments 20

Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

捕捉注视转移以引导：跨模态融合增强用于VLM幻觉缓解

Zheng Qi, Chao Shang, Evangelia Spiliopoulou, Nikolaos Pappas

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.CV

AI总结 提出GIFT方法，通过预计算视觉显著性图并跟踪注视转移，在解码时增强对显著视觉信息和用户查询的注意力，以缓解视觉语言模型中的幻觉问题。

Comments ICML 2026

Does Marginal Coverage Guarantee Class-Conditional Safety for Zero-Shot VLMs Under Shift?

在分布偏移下，边际覆盖率能否保证零样本视觉语言模型（VLM）的类条件安全性？

Jai Kumar Sharma, Amartya Dutta

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对CLIP等零样本VLM，发现边际共形覆盖率无法保证类条件安全性，源域校准无法迁移，目标域类别校准可改善尾部但需类别标签，指出其仅为平均可靠性统计量。

Comments Accepted at the ECCV 2026 Workshop on Uncertainty Quantification for Computer Vision (UNCV). 34 pages (16 main + 18 supplementary), 10 figures

Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs

平衡效率与效能：面向多模态大语言模型（MLLM）的无训练注意力引导式显式与隐式思维切换

Haoqian Kang, Liupeng Li, Kuofeng Gao, Jinpeng Wang, Zhenyu Lu, Bin Chen, Ke Chen, Yaowei Wang

专题命中 幻觉与鲁棒性 ：MLLM(title_cn,summary_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对MLLM推理中感知与逻辑混淆的问题，提出无训练的注意力引导式切换框架，通过视觉-文本注意力比率自适应切换显式与隐式推理，实现性能与效率的双重提升。

Comments Accepted by ACM MM 2026. 10 pages, 6 figures, 5 tables

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

TRAPSBench：视觉-语言模型可编码认知约束却无法表达

Fnu Pramono, John Cai, Sourabh Kulkarni

机构 * Meta Superintelligence Labs（元超级智能实验室） ； Reflection AI（反射人工智能公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究针对视觉-语言模型的认知约束表达问题，构建TRAPSBench基准并提出PECS指标，发现模型可感知不确定性却难表达，瓶颈在表达，需输出阶段干预。

Comments 10 Pages excluding Reference and Appendix, Published at COLM 2026

Grounded Post-Training with Hard Examples for Reducing Hallucination in Multimodal Large Language Models

通过分布偏移下的分阶段偏好优化减少视觉-语言模型中的幻觉

Qinwu Xu

机构 * Meta AI 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title)；grounding(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出分阶段偏好优化框架，通过构建针对幻觉问题的数据集，提升视觉-语言模型的 grounded reasoning，减少幻觉并提高响应信息量。

MMAligner: Safeguarding Multimodal Large Language Models through Representation Calibration

MMAligner：通过表示校准保护多模态大语言模型

Shenyi Zhang, Keyan Guo, Zihao Wang, Xuebin Li, Lingchen Zhao, Hongxin Hu, Chao Shen, Qian Wang

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 MMAligner通过校准多模态大语言模型的表示，将不安全多模态输入的拒绝率提升至99%，仅造成不足2%的效用下降，显著优化了安全与效用的权衡。

Comments To Appear in the Proceedings of The ACM Conference on Computer and Communications Security (CCS), 2026

Martingale Doppelgänger-Eval: An Identification Framework for Auditing Candlestick Understanding in Vision-Language Models

鞅双生评估：审计视觉语言模型对K线图理解的识别框架

Ziyao Wang

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(summary_cn,abstract_cn)

AI总结 提出Martingale Doppelgänger-Eval基准，通过受控实验识别VLM是否基于K线证据而非趋势外推进行判断，发现模型忽略或反向利用K线语义。

R1-SyntheticVL: Is Synthetic Data from Generative Models Ready for Multimodal Large Language Model?

R1-SyntheticVL：生成模型的合成数据是否已为多模态大语言模型做好准备？

Jingyi Zhang, Tianyi Lin, Huanjin Yao, Xiang Lan, Shunyu Liu, Jiaxing Huang

机构 * Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(summary_cn,abstract_cn)；multimodal large language model(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出集体对抗数据合成（CADS）方法，通过集体智能和对抗学习自动生成高质量、多样且具有挑战性的多模态数据，用于增强多模态大语言模型（MLLM）在复杂现实任务中的性能。

Comments ICML 2026 Camera Ready

Rethinking Visual Neglect: Steering via Context-Preference for MLLM Hallucination Mitigation

重新思考视觉忽视：通过上下文偏好引导缓解MLLM幻觉

Jingwen Wu, Xijun Zhang, Ge Song

机构 * School of Computer and Electronic Information, Nanjing Normal University（计算机与电子信息学院，南京师范大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,title_cn)；multimodal large language model(abstract)

AI总结 针对多模态大语言模型的物体幻觉问题，提出无需训练的上下文偏好激活引导框架（CAS），通过提取上下文偏好向量并在中间早期MLP层注入符号残差来控制信息依赖，有效缓解幻觉且不增加解码延迟。

Comments 15 pages, 5 figures

VLM-Based Advanced Rider Assistance System for Motorcycle Safety

基于VLM的摩托车安全高级骑手辅助系统

Mohamed Elnoor, Francesca Baldini, Ananya Trivedi, Faizan M. Tariq, Jovin D'sa, David Isele, Sangjae Bae, Dinesh Manocha, Yosuke Sakamoto

机构 * HRI ； Honda Research Institute（本田研究院） ； University of Maryland（马里兰大学） ； Northeastern University（东北大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 提出一种利用视觉语言模型进行语义感知和风险感知规划的摩托车高级骑手辅助系统，通过构建密集风险地图并采用基于采样的规划器，在CARLA模拟器中实现更高的成功率和更低的风险暴露。

Comments Accepted to IEEE IV 2026

Unveiling Uncertainty: A Deep Dive into Calibration and Performance of Multimodal Large Language Models

Zijun Chen, Wenbo Hu, Guande He, Zhijie Deng, Zheng Zhang, Richang Hong

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；visual question answering(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to COLING 2025

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

从运动到安全：多模态大语言模型（MLLM）主动风险推理基准测试

Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title_cn,summary_cn)；分类 cs.CV

AI总结 该研究构建了运动主动风险推理基准SPRINT，评估发现当前MLLM危险感知率高但原因识别率低，仅具备表层主动安全能力，缺乏稳定的基于原因的早期预警。

Comments Preprints

Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs

无训练不确定性引导的复杂视觉任务多模态大语言模型

Sanghwan Kim, Rui Xiao, Stephan Alaniz, Yongqin Xian, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Helmholtz Munich（海德堡-慕尼黑亥姆霍兹研究中心） ； Google（谷歌） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工大学 LTCI 实验室） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(summary_cn,abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出无需训练的框架，利用MLLM内在不确定性主动引导，通过响应不确定性评分候选视觉输入，使模型自主聚焦关键信息，在视觉搜索、长视频理解等任务中达到与微调系统相当的性能。

Wiener Representation Filtering for VLM Hallucination Suppression

用于抑制视觉语言模型幻觉的维纳表示滤波

Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 该研究提出一种无需训练的事后维纳表示滤波技术，通过离线校准校正视觉语言模型深层前馈输出投影，可在保持运行速度的同时降低其对象幻觉，在多类模型及基准上均验证了有效性与通用性。

Mitigating Class-Tail Undercoverage in Medical Vision-Language Models under Clinical Shift

缓解临床分布偏移下医学视觉-语言模型的类别尾部覆盖不足问题

Mushir Akhtar, M. Tanveer

机构 * Indian Institute of Technology Indore（印度理工学院印多雷分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文针对临床分布偏移下医学VLMs的类别尾部覆盖不足问题，提出CALCoDe方法，在多个偏移场景和骨干网络上实现了所有设置下边际和最差类别覆盖度均达0.95的最优表现。

Comments 26 pages; supplementary material included

Localized Conformal Prediction for Image Classification with Vision-Language Models

基于视觉语言模型的图像分类局部化共形预测

Clément Fuchs, Tim Bary, Benoît Macq

机构 * CÉCI ； F.R.S.-FNRS（比利时国家科学研究基金会） ； Walloon Region（瓦隆大区） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 针对图像分类中局部化共形预测未充分探索的问题，提出一种简单的余弦相似度非线性变换，在保持边际覆盖保证的同时显著降低平均集大小。

Comments 7 pages, 2 figures, 3 tables, code availables, accepted to EUVIP 2025

Journal ref 2025 13th European Workshop on Visual Information Processing (EUVIP)

High-Entropy Tokens as Multimodal Failure Points in Vision-Language Models

高熵标记作为视觉-语言模型中的多模态失败点

Mengqi He, Xinyu Tian, Xin Shen, Jinhong Ni, Shu Zou, Zhaoyuan Yang, Jing Zhang

机构 * The Australia National University（澳大利亚国立大学） ； The University of Queensland（昆士兰大学） ； GE research（GE研究） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本研究揭示视觉-语言模型中约20%的高熵标记集中了不成比例的对抗性影响，并提出基于熵引导的稀疏攻击方法（EGA），实现高攻击成功率与有害率。

Comments 19 Pages,11 figures,8 tables

Semantic Robustness Certification for Vision-Language Models

视觉语言模型的语义鲁棒性认证

Peiyu Yang, Paul Montague, Feng Liu, Andrew C. Cullen, Amardeep Kaur, Christopher Leckie, Sarah M. Erfani

机构 * School of Computing \& Information Systems, University of Melbourne, Australia 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出首个无需额外数据即可认证视觉语言模型在语义层面（如形状、大小、风格）鲁棒性的框架，通过文本提示作为语义代理并量化决策边界，确保预测类别在语义变换下不变。

Comments Accepted to ICML

Mitigating Manifold Departure: Uncertainty-Aware Subspace Rectification for Trustworthy MLLM Decoding

缓解流形偏离：面向可信MLLM解码的不确定性感知子空间校正

Yingxuan Zhuang, Jingxiao Yang, Miao Pan, Cheng Tan, Yuxiang Cai, Siwei Tan, Chen Zhi, Xuhong Zhang, Jianwei Yin, Jintao Chen

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出MGAP方法，通过SVD构建语言先验子空间并自适应衰减投影分量，在抑制幻觉的同时保持语义结构，优于现有解码基线。

Comments ICML 2026 regular

Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning

视觉噪声引导的上下文蒸馏用于多模态大语言模型遗忘

Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, UCAS（北京大学交叉学科研究院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出视觉噪声引导的上下文蒸馏（VGID）框架，通过双模态干预构建教师分布进行蒸馏，实现多模态大语言模型参数级遗忘，平衡遗忘效果与模型效用。

Enhancing Multimodal Large Language Models for Safety-Critical Driving Video Analysis

增强多模态大语言模型以用于安全关键驾驶视频分析

Tomaso Trinci, Henrique Piñeiro Monteagudo, Leonardo Taccari

机构 * Verizon Connect 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本研究通过融合降采样视频帧与同步高频 telemetry 数据及专用计算机视觉模型的语义信息，提升多模态大语言模型在安全关键驾驶场景中的感知与推理能力，从而更准确地识别和描述现实驾驶中的安全关键事件。

Comments Accepted at the 2026 IEEE International Conference on Intelligent Transportation Systems (ITSC 2026)

Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models

自适应残差更新引导用于大型视觉语言模型中低开销幻觉抑制

Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

机构 * Aalto University, Espoo, Finland（艾尔沃大学，芬兰 Espoo） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China（深圳先进技术研究院，中国科学院，深圳） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RUDDER框架，通过创建持久视觉锚点来对抗视觉稀释，利用模型的prefill残差更新提取鲁棒证据方向，并通过自适应门控机制注入解码过程，有效抑制幻觉并保持高吞吐量。

Comments Accepted by ICML 2026; Code available at: https://github.com/Akko000/RUDDER-Residual-Update-Directed-DEcoding-Regulation-

Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models

弥合缺失模态的差距：改进纯文本校准的视觉语言模型

Mingyeong Kim, Jungwon Choi, Chaeyun Jang, Juho Lee

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Latent Imagination Module，通过预测文本输入的潜在嵌入来提升纯文本环境下视觉语言模型的准确性和校准性能。

Comments 9 pages, 16 figures. Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI: Interpretability, Robustness, and Safety across Modalities

Understanding Adversarial Transferability in Vision-Language Models for Autonomous Driving: A Cross-Architecture Analysis

理解视觉语言模型在自动驾驶中的对抗转移性：跨架构分析

David Fernandez, Pedram MohajerAnsari, Amir Salarpour, Mert D. Pese

机构 * School of Computing, Clemson University, USA（克莱姆森大学计算机学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文通过跨架构研究探讨视觉语言模型在自动驾驶中的对抗转移性，评估了三种架构在不同场景下的对抗效果，发现高跨架构有效性。

Comments 9 pages, 2 figures. Accepted at SAE WCX 2026

Journal ref SAE Technical Paper 2026-01-0170, SAE WCX 2026

Discovering Failure Modes in Vision-Language Models using RL

通过强化学习发现视觉-语言模型的失败模式

Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Michigan State University（密歇根州立大学） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出基于强化学习的框架，自动发现视觉-语言模型在特定数据分布上的失败模式，通过生成问题来识别模型在细粒度视觉细节和技能组合上的不足。