视觉大模型 / VLM

Measuring the Measurers: Quality Evaluation of Hallucination Benchmarks for Large Vision-Language Models

测量测量者：大型视觉-语言模型幻觉基准的品质评估

Bei Yan, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, and also with University of Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院，以及中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HQM框架评估幻觉基准质量，发现现有基准存在可靠性与有效性不足问题，并提出HQQ基准以提升评估效果，揭示LVLMs在幻觉问题上的严重缺陷。

Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

动态多模态激活引导用于大型视觉-语言模型中的幻觉缓解

Jianghao Yin, Qin Chen, Kedi Chen, Jie Zhou, Xingjiao Wu, Liang He

机构 * East China Normal University（华东师范大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态多模态激活引导方法，通过构建语义真实性引导向量数据库，实现幻觉缓解，提升模型性能。

Comments Accepted by ICLR 2026

Replication Study: Federated Text-Driven Prompt Generation for Vision-Language Models

复制研究：用于视觉-语言模型的联邦文本驱动提示生成

Suraj Prasad, Anubha Pant

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究通过复制FedTPG方法，验证了文本驱动提示生成在联邦学习中提升泛化能力的效果，并展示了在不同视觉领域中的高性能表现。

Comments 6 pages, 2 figues

Language-Guided Invariance Probing of Vision-Language Models

语言引导的视觉-语言模型不变性探测

Jae Joong Lee

机构 * Department of Computer Science, Purdue University（普渡大学计算机科学系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LGIP基准，用于评估视觉-语言模型对语言扰动的鲁棒性，发现EVA02-CLIP和OpenCLIP表现优异，而SigLIP存在显著缺陷。

Comments Pattern Recognition Letters 2026

CARE Drive A Framework for Evaluating Reason-Responsiveness of Vision Language Models in Automated Driving

CARE Drive：一种用于评估视觉语言模型在自动驾驶中推理响应性的框架

Lucas Elbert Suryana, Farah Bierenga, Sanne van Buuren, Pepijn Kooij, Elsefien Tulleners, Federico Scari, Simeon Calvert, Bart van Arem, Arkady Zgonnikov

机构 * organization= Department of Transport \& Planning, Faculty of Civil Engineering ； Geosciences, Delft University of Technology ； organization= Department of Cognitive Robotics, Faculty of Mechanical Engineering, Delft University of Technology ； organization= Centre for Meaningful Human Control, Delft University of Technology ； organization= Faculty of Mechanical Engineering, Delft University of Technology , city= Delft , country= The Netherlands 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 CARE Drive提出了一种评估视觉语言模型在自动驾驶中推理响应性的框架，通过受控上下文变化比较基线和增强模型决策，验证人类原因对决策的影响。

Comments 21 pages, on submission to Transportation Research Part C

Post-hoc Probabilistic Vision-Language Models

事后概率视觉-语言模型

Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种无需额外训练的VLMs事后不确定性估计方法，通过贝叶斯后验近似和余弦相似度不确定性量化，提升主动学习效率和预测可靠性。

Comments Published at ICLR 2026. Project page: https://aaltoml.github.io/BayesVLM/

IndicFairFace: Balanced Indian Face Dataset for Auditing and Mitigating Geographical Bias in Vision-Language Models

IndicFairFace: 用于审计和缓解视觉-语言模型中地理偏见的平衡印度面部数据集

Aarish Shah Mohsin, Mohammed Tayyab Ilyas Khan, Mohammad Nadeem, Shahab Saquib Sohail, Erik Cambria, Jiechao Gao

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 IndicFairFace是一个平衡的印度面部数据集，用于审计和缓解视觉-语言模型中的地理偏见，通过去偏方法减少偏见并保持检索准确性。

Unveiling the "Fairness Seesaw": Discovering and Mitigating Gender and Race Bias in Vision-Language Models

揭示'公平性之锯'：在视觉-语言模型中发现并缓解性别和种族偏见

Jian Lan, Udo Schlegel, Tanveer Hannan, Gengyuan Zhang, Haokun Chen, Thomas Seidl

机构 * LMU Munich（慕尼黑莱布尼茨大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RES-FAIR框架，通过调整隐藏状态缓解视觉-语言模型中的性别和种族偏见，提升响应公平性和置信度校准。

TruthPrInt: Mitigating Large Vision-Language Models Object Hallucination Via Latent Truthful-Guided Pre-Intervention

TruthPrInt: 通过潜在真实引导预干预缓解大视觉-语言模型对象幻觉

Jinhao Duan, Fei Kong, Hao Cheng, James Diffenderfer, Bhavya Kailkhura, Lichao Sun, Xiaofeng Zhu, Xiaoshuang Shi, Kaidi Xu

机构 * Drexel University（德雷塞尔大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； LLNL（劳伦斯利弗莫尔国家实验室） ； Lehigh University（莱斯大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 TruthPrInt通过学习真相方向并引导解码过程，有效缓解大视觉-语言模型中的对象幻觉问题。

Comments 15 pages, 9 figures, the first two authors contributed equally, Accepted by ICCV 2025

Fair Context Learning for Evidence-Balanced Test-Time Adaptation in Vision-Language Models

公平上下文学习用于证据平衡的测试时间适应在视觉-语言模型中

Sanggeon Yun, Ryozo Masukawa, SungHeon Jeong, Wenjun Huang, Hanning Chen, Mohsen Imani

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出公平上下文学习方法，通过解决共享证据偏差来提升视觉-语言模型在测试时间适应中的鲁棒性，有效校准文本嵌入并提高适应性能。

VEQ: Modality-Adaptive Quantization for MoE Vision-Language Models

VEQ: 适用于MoE视觉-语言模型的模态自适应量化

Guangshuo Qin, Zhiteng Li, Zheng Chen, Weihang Zhang, Linghe Kong, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 VEQ通过模态自适应量化方法提升MoE视觉-语言模型的压缩性能，实现更高的准确率和鲁棒性。

Learning to Decode Against Compositional Hallucination in Video Multimodal Large Language Models

在视频多模态大语言模型中学习对抗组合性幻觉

Wenbin Xing, Quanxing Zha, Lizheng Zu, Mengran Li, Ming Li, Junchi Yan

机构 * Sun Yat-sen University（中山大学） ； Huaqiao University（华侨大学） ； Shenzhen University（深圳大学） ； Guangming Laboratory（光明实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对视频多模态大语言模型中的组合性幻觉问题，提出TriCD框架，通过对比解码和三路径校准机制提升模型在对抗幻觉时的准确率。

Robust MLLM Unlearning via Visual Knowledge Distillation

通过视觉知识蒸馏实现鲁棒的多模态大语言模型去学习

Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Haichang Gao, Gang Hua

机构 * Xidian University, China（西安电子科技大学） ； XJTU University, China（西安交通大学） ； Amazon.com, USA（亚马逊公司） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过视觉知识蒸馏实现多模态大语言模型的鲁棒去学习，有效保留文本知识并提升效率。

NAP-Tuning: Neural Augmented Prompt Tuning for Adversarially Robust Vision-Language Models

NAP-Tuning: 用于对抗鲁棒视觉-语言模型的神经增强提示微调

Jiaming Zhang, Xin Wang, Xingjun Ma, Lingyu Qiu, Yu-Gang Jiang, Jitao Sang

机构 * School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（复旦大学计算机学院智能信息处理重点实验室） ； Department of Mathematics and Applications, University of Naples Federico II（那不勒斯费德里克二世大学应用数学系） ； State Key Laboratory of Advanced Rail Autonomous Operation, Beijing Jiaotong University（北京交通大学先进轨道交通自主运行国家重点实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 NAP-Tuning通过神经增强框架提升视觉-语言模型的对抗鲁棒性，实现多模态提示微调和特征净化，显著提升模型在对抗攻击下的性能。

Text is All You Need for Vision-Language Model Jailbreaking

文本就是视觉-语言模型劫持所需

Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 Text-DJ通过将文本转换为图像并诱导干扰，成功绕过视觉-语言模型的安全防护，揭示了OCR能力在面对分散多模态输入时的脆弱性。

CAPA: Contribution-Aware Pruning and FFN Approximation for Efficient Large Vision-Language Models

CAPA：面向高效大视觉-语言模型的贡献感知剪枝与FFN近似

Samyak Jha, Junho Kim

机构 * Indian Institute of Technology (ISM) Dhanbad, India（印度理工学院（ISM）达翰巴德分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 CAPA通过贡献感知剪枝和FFN近似，提升大视觉-语言模型的效率与鲁棒性。

NLPrompt: Noise-Label Prompt Learning for Vision-Language Models

NLPrompt: 噪声标签提示学习用于视觉-语言模型

Bikang Pan, Qun Li, Xiaoying Tang, Wei Huang, Zhen Fang, Feng Liu, Jingya Wang, Jingyi Yu, Ye Shi

机构 * ShanghaiTech University（上海科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； RIKEN Center for Advanced Intelligence Project（日本RIKEN高级智能项目中心） ； University of Technology Sydney（悉尼科技大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 NLPrompt通过结合PromptMAE和PromptOT，提升视觉-语言模型在噪声标签下的提示学习鲁棒性与精度。

Beyond Visual Safety: Jailbreaking Multimodal Large Language Models for Harmful Image Generation via Semantic-Agnostic Inputs

超越视觉安全：通过语义无关输入对多模态大语言模型进行有害图像生成的劫持

Mingyu Yu, Lana Liu, Zhehao Zhao, Wei Wang, Sujuan Qin

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（网络与交换技术国家重点实验室，北京邮电大学） ； School of Cyberspace Security, Beijing University of Posts and Telecommunications（网络安全学院，北京邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出BVS框架，通过语义无关输入对多模态大语言模型进行有害图像生成的劫持，揭示其视觉安全边界的脆弱性。

A Semantic Decoupling-Based Two-Stage Rainy-Day Attack for Revealing Weather Robustness Deficiencies in Vision-Language Models

基于语义解耦的两阶段雨天攻击：揭示视觉-语言模型在天气鲁棒性方面的缺陷

Chengyin Hu, Xiang Chen, Zhe Jia, Weiwen Shi, Fengyu Zhang, Jiujiang Guo, Yiwei Wei

机构 * Chengyin Hu（独立研究者） ； Xiang Chen（独立研究者） ； Zhe Jia（独立研究者） ； Weiwen Shi（独立研究者） ； Fengyu Zhang（独立研究者） ； Jiujiang Guo（独立研究者） ； Yiwei Wei（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于语义解耦的两阶段雨天攻击框架，揭示了视觉-语言模型在天气鲁棒性方面的缺陷。

Adversarial Defense in Vision-Language Models: An Overview

视觉-语言模型中的对抗防御：概述

Xiaowei Fu, Lei Zhang

机构 * School of Microelectronics and Communication Engineering（微电子与通信工程学院） ； Chongqing University（重庆大学） ； Chongqing, China（中国重庆） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了视觉-语言模型对抗防御的最新进展，探讨了三种主要防御范式及其优缺点，旨在提升模型的鲁棒性。

Bias Detection and Rotation-Robustness Mitigation in Vision-Language Models and Generative Image Models

视觉-语言模型和生成图像模型中的偏见检测与旋转鲁棒性缓解

Tarannum Mithila

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出旋转鲁棒缓解策略，通过数据增强、表征对齐和模型正则化，提升视觉-语言和生成图像模型在旋转和分布偏移下的鲁棒性和公平性。

Comments Preprint. This work is derived from the author's Master's research. Code and supplementary materials will be released separately

Safe Vision-Language Models via Unsafe Weights Manipulation

通过不安全权重操作实现安全的视觉-语言模型

Moreno D'Incà, Elia Peruzzo, Xingqian Xu, Humphrey Shi, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） ； NVIDIA（NVIDIA公司） ； Georgia Tech（佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UWM方法，通过不训练的方式提升视觉-语言模型在不安全查询上的安全性，同时在安全输入上表现更优。

Comments WACV 2026

SDCD: Structure-Disrupted Contrastive Decoding for Mitigating Hallucinations in Large Vision-Language Models

SDCD: 结构破坏对比解码用于缓解大视觉-语言模型中的幻觉

Yuxuan Xia, Siheng Wang, Peng Li

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 SDCD通过结构破坏对比解码缓解大视觉-语言模型中的幻觉问题，有效抑制纹理驱动偏见，提升多模态能力。

E$^2$AT: Multimodal Jailbreak Defense via Dynamic Joint Optimization for Multimodal Large Language Models

E$^2$AT: 通过动态联合优化实现多模态对抗防御

Liming Lu, Xiang Gu, Shuchao Pang, Siyuan Liang, Haotian Zhu, Xiyu Zeng, Xu Zheng, Yongbin Zhou

机构 * School of Cyber Science and Engineering, Nanjing University of Science and Technology, China（南京理工大学信息科学与工程学院） ； HKUST(GZ) and INSAIT, Sofia University St. Kliment Ohridski（香港科技大学（广州）及INSAIT，索菲亚大学圣克莱门特·奥赫里迪斯学院） ； College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 E$^2$AT通过动态联合优化提升多模态大语言模型对对抗攻击的鲁棒性，实验显示其在文本和图像模态上性能优于现有方法34%。

Empowering Source-Free Domain Adaptation via MLLM-Guided Reliability-Based Curriculum Learning

通过MLLM引导的可靠性基于课程学习增强源无关领域适应

Dongjie Chen, Kartik Patwari, Zhengfeng Lai, Xiaoguang Zhu, Sen-ching Cheung, Chen-Nee Chuah

机构 * University of California, Davis（加州大学戴维斯分校） ； University of Kentucky（肯塔基大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 通过MLLM引导的可靠性基于课程学习增强源无关领域适应，提出一种新的框架，利用多个冻结的MLLMs的稳健监督蒸馏到目标模型，实现稳定且噪声感知的训练。

AmPLe: Supporting Vision-Language Models via Adaptive-Debiased Ensemble Multi-Prompt Learning

AmPLe: 通过自适应去偏集成多提示学习支持视觉-语言模型

Fei Song, Yi Li, Jiangmeng Li, Rui Wang, Changwen Zheng, Fanjiang Xu, Hui Xiong

机构 * National Key Laboratory of Space Integrated Information System, Institute of Software, Chinese Academy of Sciences（中国科学院空间信息集成系统国家重点实验室，软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 AmPLe通过自适应去偏集成多提示学习方法，解决模型-提示匹配偏差和样本-提示匹配偏差，提升视觉-语言模型在下游任务中的性能。

Comments Accepted by IJCV2025

LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models

LatentExplainer: 通过多模态大语言模型解释深度生成模型中的潜在表示

Mengdan Zhu, Raasikh Kanjiani, Jiahui Lu, Andrew Choi, Qirui Ye, Liang Zhao

机构 * Emory University（埃默里大学） ； University College London（伦敦大学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释，提升模型可解释性。

Comments Accepted to CIKM 2025 Full Research Track

Few-Shot VLM-Based G-Code and HMI Verification in CNC Machining

少样本基于视觉语言模型的CNC加工G代码和人机界面验证

Yasaman Hashem Pour, Nazanin Mahjourian, Vinh Nguyen

机构 * Department of Mechanical and Aerospace Engineering, Michigan Technological University（机械与航空航天工程系，密歇根技术大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于视觉语言模型的少样本方法，用于验证CNC加工中G代码与人机界面的错误和安全状态。

GeoShield: Safeguarding Geolocation Privacy from Vision-Language Models via Adversarial Perturbations

GeoShield: 通过对抗扰动保护视觉语言模型中的地理隐私

Xinwei Liu, Xiaojun Jia, Yuan Xun, Simeng Qin, Xiaochun Cao

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 GeoShield通过对抗扰动有效保护视觉语言模型中的地理隐私，提出三个核心模块实现稳健的隐私防护。

Comments AAAI2026 Poster

OpenLVLM-MIA: A Controlled Benchmark Revealing the Limits of Membership Inference Attacks on Large Vision-Language Models

OpenLVLM-MIA：一个揭示大型视觉-语言模型上成员推断攻击局限性的受控基准

Ryoto Miyamoto, Xin Fan, Fuyuko Kido, Tsuneo Matsumoto, Hayato Yamana

机构 * Waseda University（早稻田大学） ； Hitotsubashi University（立命馆大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 OpenLVLM-MIA通过受控基准揭示大型视觉-语言模型上成员推断攻击的局限性，表明现有方法性能接近随机水平，为隐私保护技术发展提供基础。

Comments WACV2026 Accepted