视觉大模型 / VLM

SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models

Peter Carragher, Nikitha Rao, Abhinand Jha, R Raghav, Kathleen M. Carley

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Journal ref MisD 2025: 1st Workshop on Misinformation Detection in the Era of LLMs

The Safety Reminder: A Soft Prompt to Reactivate Delayed Safety Awareness in Vision-Language Models

Peiyuan Tang, Haojie Xin, Xiaodong Zhang, Jun Sun, Qin Xia, Zijiang Yang

机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） ； School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算与信息系统学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 23 pages, 10 figures

Coordinated Robustness Evaluation Framework for Vision-Language Models

Ashwin Ramesh Babu, Sajad Mousavi, Vineet Gundecha, Sahand Ghorbanpour, Avisek Naug, Antonio Guillen, Ricardo Luna Gutierrez, Soumyendu Sarkar

机构 * Hewlett Packard Enterprise (Hewlett Packard Labs)（惠普企业公司（惠普实验室）） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted: IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) 2025

Failures to Find Transferable Image Jailbreaks Between Vision-Language Models

Rylan Schaeffer, Dan Valentine, Luke Bailey, James Chua, Cristóbal Eyzaguirre, Zane Durante, Joe Benton, Brando Miranda, Henry Sleight, John Hughes, Rajashree Agrawal, Mrinank Sharma, Scott Emmons, Sanmi Koyejo, Ethan Perez

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments NeurIPS 2024 Workshops: RBFM (Best Paper), Frontiers in AdvML (Oral), Red Teaming GenAI (Oral), SoLaR (Spotlight), SATA

Automatically Generating Visual Hallucination Test Cases for Multimodal Large Language Models

Zhongye Liu, Hongbin Liu, Yuepeng Hu, Zedian Shao, Neil Zhenqiang Gong

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Seeing is Believing: Mitigating Hallucination in Large Vision-Language Models via CLIP-Guided Decoding

Ailin Deng, Zhirui Chen, Bryan Hooi

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Code URL: https://github.com/d-ailin/CLIP-Guided-Decoding

Bigger or Cheaper? Scale and Quantization Effects on Uncertainty Signals in Vision-Language Models Under Image Degradation

更大还是更便宜？图像退化下视觉语言模型中尺度和量化对不确定性信号的影响

M M Asif Ferdous

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn,comments)；分类 cs.CV、cs.LG

AI总结 研究在图像退化下视觉语言模型中尺度和量化对不确定性信号的影响，通过对Qwen2-VL系列模型的实验发现，尺度提升内部不确定性信号，4位量化对准确性影响小但对置信信号影响大，建议固定内存预算下选更大量化模型，如7B-4bit。

Comments 12 pages, 4 figures. Code and data: https://github.com/Asif-Ferdous/vlm-scale-quant

The Illusion of Progress? A Critical Look at Test-Time Adaptation for Vision-Language Models

Lijun Sheng, Jian Liang, Ran He, Zilei Wang, Tieniu Tan

机构 * University of Science and Technology of China（中国科学技术大学） ； NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,comments)；分类 cs.CV、cs.LG

Comments NeurIPS 2025 Datasets and Benchmarks Track. Github link: https://github.com/TomSheng21/tta-vlm

Explore, Map, Remember, Decide: Are Embodied VLMs Ready for Safety-Critical Scenarios?

探索、建图、记忆、决策：具身视觉语言模型是否已准备好应对安全关键场景？

Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi

专题命中 幻觉与鲁棒性 ：vision-language model(abstract,abstract_cn)；VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 本文扩展ToS框架为EMRD流程，评估VLMs在安全关键场景下的空间理解与决策能力，发现其决策依赖文本先验、空间推理受低光照影响，且记忆与人类认知存在根本差异，存在对齐风险。

COSMO: Consensus-Driven Shift Modulation for Source-Free Domain Adaptation

COSMO：面向无源域自适应的共识驱动偏移调制

Bo Li, Junjie Peng, Xiaohua Xie, Jianhuang Lai

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对无源域自适应的源衍生证据遗忘问题，提出COSMO方法，通过锚定共享共识的协同适配实现样本级可靠性分配，在四个基准上达到最优性能，平衡了源证据保留与VLM互补证据吸收。

Comments 30 pages, 7 figures

GeoFlowVLM: Geometry-Aware Joint Uncertainty for Frozen Vision-Language Embedding

GeoFlowVLM: 基于几何的联合不确定性用于冻结视觉-语言嵌入

Mayank Nautiyal, Li Ju, Andreas Hellander, Ekta Vats, Prashant Singh

机构 * Department of Information Technology, Uppsala University（乌普萨拉大学信息科技系） ； SciLifeLab, Uppsala University（乌普萨拉大学SciLifeLab） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.LG

AI总结 GeoFlowVLM通过流匹配学习双编码VLM嵌入的联合分布，解决视觉-语言模型中缺乏联合不确定性的问题，提出条件检索熵和边际典型性得分以量化不确定性。

DOPD: Dual On-policy Distillation

DOPD：双重在线策略蒸馏

Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai Dong, Kaiwen Tuo, Xiangyu Zeng, Kaituo Feng, Qunzhong Wang, Yang Shi, Xiaobin Hu, Xiangyu Yue, Jiaqi Wang, Shuicheng Yan

机构 * NUS（新加坡国立大学） ； MMLab, CUHK（香港中文大学多媒体实验室） ； PKU（北京大学） ； Explore Academy, JD（京东探索研究院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 提出DOPD方法，通过优势感知的双重蒸馏范式动态分配令牌级监督，缓解特权幻觉，在LLM和VLM上优于传统在线策略蒸馏。

RadAgent: A tool-using AI agent for stepwise interpretation of chest computed tomography

RadAgent：一种用于胸部CT逐步解读的工具型AI智能体

Mélanie Roschewitz, Kenneth Styppa, Yitian Tao, Jiwoong Sohn, Jean-Benoit Delbrouck, Benjamin Gundersen, Nicolas Deperrois, Christian Bluethgen, Julia E. Vogt, Bjoern Menze, Farhad Nooralahzadeh, Michael Krauthammer, Michael Moor

机构 * Department of Biosystems Science and Engineering, ETH Zurich（生物系统科学与工程系，苏黎世联邦理工学院） ； ETH AI Center, Zurich（ETH人工智能中心，苏黎世） ； Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院） ； Faculty of Computer Science and Mathematics, Heidelberg University（计算机科学与数学学院，海德堡大学） ； Stanford Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学人工智能在医学和影像中的中心） ； Department of Radiology, Stanford University（放射科，斯坦福大学） ； Department of Quantitative Biomedicine, University of Zurich（定量生物医学系，苏黎世大学） ； Institute of Computer Science, Zurich University of Applied Sciences（应用科学大学计算机科学研究所） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 提出RadAgent，一种通过逐步、可解释过程生成CT报告的工具型AI智能体，在临床准确性、鲁棒性和忠实度上优于3D VLM方法。

White-Balance First, Adjust Later: Cross-Camera Color Constancy via Vision-Language Evaluation

先白平衡，后调整：通过视觉-语言评估实现跨相机颜色恒常性

Shuwei Li, Lei Tan, Robby T. Tan

机构 * National University of Singapore（国立新加坡大学） ； ASUS Intelligent Cloud Services（ASUS智能云服务） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VLM-CC框架，通过视觉-语言模型评估实现跨相机颜色恒常性的迭代反馈优化，利用感知反馈替代直接RGB回归，提升鲁棒性。

Comments In CVPR 2026

Towards Automated Air Traffic Safety Assessment Around Non-Towered Airports Using Large Language Models

基于大语言模型的非塔台机场飞行安全评估自动化方法研究

Torsten Darrell, Mahyar Ghazanfari, Jordan Kam, Alexandre Bayen, Amin Tabrizian, Peng Wei

机构 * Research Intern, Department of Mechanical and Aerospace Engineering, George Washington University（乔治华盛顿大学机械与航空航天工程系研究实习生） ； Ph.D. Student, Department of Mechanical and Aerospace Engineering, George Washington University（乔治华盛顿大学机械与航空航天工程系博士生） ； Undergraduate Student, Aerospace Program, University of California, Berkeley（加州大学伯克利分校航空航天项目本科生） ； Full Professor, Department of Electrical Engineering and Computer Science, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系教授） ； Ph.D. Student, Department of Computer Science, George Washington University（乔治华盛顿大学计算机科学系博士生） ； Associate Professor, Department of Mechanical and Aerospace Engineering, George Washington University（乔治华盛顿大学机械与航空航天工程系副教授） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 本文提出利用视觉语言模型分析非塔台机场CTAF通讯、气象数据和飞行轨迹，通过实证研究和合成数据验证，展示框架在识别飞行冲突中的有效性，表明VLM在非塔台机场安全评估中的潜力。

Comments 25 pages, 17 figures, 5 tables, Accepted to AIAA 2026

Adversarial Attacks Against MLLMs via Progressive Resolution Processing and Adaptive Feature Alignment

通过渐进分辨率处理和自适应特征对齐对多模态大语言模型进行对抗攻击

Haobo Wang, Xiaorong Ma, Weiqi Luo, Xiaojun Jia, Jiwu Huang

机构 * Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出PRAF-Attack框架，通过多尺度语义指导和中间层局部对齐提升多模态大语言模型的对抗攻击转移性，实验表明其在多种黑盒MLLM上表现更优。

Test-Time Distillation for Continual Model Adaptation

测试时蒸馏用于持续模型适应

Xiao Chen, Jiazhen Huang, Zhiming Liu, Qinting Jiang, Fanding Huang, Jingyan Jiang, Zhi Wang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Shenzhen Technology University（深圳技术大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出CoDiRe框架，通过动态融合VLM和目标模型预测构建鲁棒教师，利用MSP缓解熵偏见，通过最优传输对齐预测，实现稳定持续适应，优于现有方法。

Comments Accepted by CVPR 2026 Findings

On the Robustness of Vision-Language Models in Zero-shot Privacy Classification

零样本隐私分类中视觉语言模型的鲁棒性研究

Alina Elena Baia, Alessio Xompero, Andrea Cavallaro

机构 * Idiap Research Institute（Idiap研究机构） ； Queen Mary University of London（伦敦女王学院） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究分析零样本设置下视觉语言模型（VLMs）用于图像隐私分类的可靠性，对比三类开源VLMs与专用模型的性能，发现VLMs鲁棒但精度低、速度慢，凸显专用隐私分类模型的优势。

Comments 15 pages, 6 figures, 3 tables. Paper accepted at the TrustDOC Workshop at ICPR 2026

Visual Persuasion: What Influences Decisions of Vision-Language Models?

视觉说服：什么影响了视觉语言模型的决策？

Manuel Cherep, Pranav M R, Pattie Maes, Nikhil Singh

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT Media Lab（MIT媒体实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出一个框架，通过控制图像选择任务并系统性地扰动输入，利用视觉提示优化方法推断视觉语言模型的潜在视觉效用，揭示影响模型决策的视觉偏好。

Comments Accepted to ICML 2026

Unveiling the Fragility of Vision-Language Models: Multi-Modal Adversarial Synergy via Texture-Constrained Perturbations and Cross-Modal Optimization

揭示视觉-语言模型的脆弱性：通过纹理约束扰动和跨模态优化的多模态对抗协同

Xiang Fang, Wanlong Fang, Changshuo Wang

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 提出多模态对抗协同框架，通过纹理约束的通用对抗扰动和可学习的文本提示扰动，在黑盒设置下联合优化，揭示视觉-语言模型在多模态攻击下的脆弱性。

Comments Publish in AAAI 2026

DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models

DO-Bench: 一种用于诊断视觉语言模型中物体幻觉的可归因基准

JiYang Wang, Jiawei Chen, Mengqi Xiao, Yu Cheng, Yangfu Li, Zhaoxia Yin

机构 * Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University（多维信息处理上海市重点实验室，东华大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DO-Bench，通过结构化多模态干预隔离错误来源，评估模型对文本先验和感知能力的鲁棒性，揭示物体幻觉的异质性失败模式。

PSF-Med: Measuring and Explaining Paraphrase Sensitivity in Medical Vision Language Models

PSF-Med: 医学视觉语言模型中反语敏感性的测量与解释

Binesh Sadanandan, Vahid Behzadan

机构 * SAIL Lab, University of New Haven（纽黑文大学SAIL实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出PSF-Med基准，通过26850个胸部X光问题及92856个意义保持的改写句，评估九种VLMs在临床问题改写下的稳定性与视觉依赖性，发现模型在反语下的翻转率差异显著，且通过特征分析揭示了模型决策机制。

Through the Magnifying Glass: Adaptive Perception Magnification for Hallucination-Free VLM Decoding

通过放大镜：用于无幻觉VLM解码的自适应感知放大

Shunqi Mao, Chaoyi Zhang, Weidong Cai

机构 * School of Computer Science, The University of Sydney, Australia（澳大利亚悉尼大学计算机科学学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出感知放大器PM，通过迭代隔离相关视觉标记并放大相应区域，提升VLM对视觉细节的 scrutiny，从而减少幻觉并增强语言生成与推理能力。

Comments ACL 2026 Main Conference

KITE: Keyframe-Indexed Tokenized Evidence for VLM-Based Robot Failure Analysis

KITE：基于关键帧的令牌化证据用于基于视觉语言模型的机器人故障分析

Mehdi Hosseinzadeh, King Hang Wong, Feras Dayoub

机构 * Australian Institute for Machine Learning (AIML), Adelaide University（澳大利亚机器学习研究所（AIML），阿德莱德大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 KITE通过将长机器人执行视频转化为紧凑可解释的令牌化证据，提升基于VLM的机器人故障检测与分析能力，尤其在模拟故障检测中表现优异。

Comments ICRA 2026; Project page: https://m80hz.github.io/kite/

Edge Reliability Gap in Vision-Language Models: Quantifying Failure Modes of Compressed VLMs Under Visual Corruption

视觉-语言模型边缘可靠性差距：压缩VLM在视觉损坏下的失败模式量化

Mehmet Kaan Erol

机构 * Marmara University, Institute of Pure and Applied Sciences（马尔马拉大学纯科学与应用科学研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文比较了压缩的视觉-语言模型在视觉损坏下的失败模式，发现紧凑模型在COCO上表现出更高的语义漂移和对象盲区，且置信度校准存在显著差异。

Comments 16 pages, 5 figures

INSIGHT: Enhancing Autonomous Driving Safety through Vision-Language Models on Context-Aware Hazard Detection and Edge Case Evaluation

洞察：通过基于视觉-语言模型的上下文感知危险检测与边缘案例评估提升自动驾驶安全性

Dianwei Chen, Zifan Zhang, Lei Cheng, Yuchen Liu, Xianfeng Terry Yang

机构 * University of Maryland（马里兰大学） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出INSIGHT框架，通过多模态数据融合提升自动驾驶中危险检测和边缘案例评估的准确性和泛化能力，实验表明在BDD100K数据集上显著提高了危险预测的准确性和鲁棒性。

Revealing Multi-View Hallucination in Large Vision-Language Models

揭示大型视觉-语言模型中的多视角幻觉

Wooje Park, Insu Lee, Soohyun Kim, Jaeyun Jang, Minyoung Noh, Kyuhong Shim, Byonghyo Shim

机构 * Seoul National University（首尔国立大学） ； Sungkyunkwan University（全州大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文针对大型视觉-语言模型在多视角输入中出现的视觉信息混淆问题，提出Reference Shift Contrastive Decoding方法，通过生成负logits抑制视觉干扰，提升模型在多视角幻觉检测任务中的性能。

Understanding and Defending VLM Jailbreaks via Jailbreak-Related Representation Shift

通过与劫持相关的表示转移理解并防御VLM劫持

Zhihua Wei, Qiang Li, Jian Ruan, Zhenxin Qin, Leilei Wen, Dongrui Liu, Wen Shen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究VLM在视觉模态整合后安全对齐减弱的问题，发现劫持样本在表示空间中形成独特状态，提出通过移除劫持相关转移提升安全性。

PathGLS: Evaluating Pathology Vision-Language Models without Ground Truth through Multi-Dimensional Consistency

PathGLS: 通过多维一致性评估病理视觉-语言模型无需真实数据

Minbing Chen, Zhu Meng, Fei Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PathGLS，一种无需真实数据的病理VLM评估框架，从 grounding、logic 和 stability 三个维度评估模型性能，通过实验验证其在多个数据集上的优越性，显著优于其他方法。

FuzzingRL: Reinforcement Fuzz-Testing for Revealing VLM Failures

FuzzingRL: 用于揭示视觉语言模型故障的强化模糊测试

Jiajun Xu, Jiageng Mao, Ang Qi, Weiduo Yuan, Alexander Romanus, Helen Xia, Vitor Campagnolo Guizilini, Yue Wang

机构 * University of Southern California（南加州大学） ； Toyota Research Institute（丰田研究机构） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.AI、cs.LG

AI总结 FuzzingRL通过强化模糊测试生成挑战性问题，揭示视觉语言模型的故障点并降低其准确性。

Comments 18 pages, 4 figures. † These authors jointly supervised this work: Jiageng Mao and Yue Wang