视觉大模型 / VLM

Hallucination Mitigation for Large Vision-Language Models via Implicit Feature Stabilization

基于隐式特征稳定化的大视觉语言模型幻觉缓解方法

Aditi Sarker, Rafi Ibn Sultan, Hui Zhu, Dongxiao Zhu, Prashant Khanduri

机构 * Wayne State University（韦恩州立大学） ； Institute for AI and Data Science (AIDaS), Wayne State University（韦恩州立大学人工智能与数据科学研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 该研究针对大视觉语言模型的幻觉问题，提出隐式特征稳定化框架INFUSE，通过微调内置扰动不变性，在多基准模型上大幅降低幻觉率且无推理开销。

Comments 28 Pages, 12 Figures

Robustness of Vision Language Models Against Split-Image Harmful Input Attacks

视觉语言模型对分裂图像有害输入攻击的鲁棒性

Md Rafi Ur Rashid, MD Sadik Hossain Shanto, Vishnu Asutosh Dasu, Shagufta Mehnaz

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出分裂图像视觉陷阱攻击（SIVA），揭示视觉语言模型在面对分裂图像攻击时的安全漏洞，并通过对抗性知识蒸馏算法提升跨模型攻击效果。

Comments Accepted in ACM CCS 2026. 26 Pages, long conference paper

Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models

标准条件上下文学习：评估视觉语言模型中的标准转移适应性

Kaiyun Yang, Ruilin Yang, Zhimin Yao, Jikai Wang, Wei Ge

机构 * Megvii Technology Inc., Beijing, China（美科科技有限公司，北京，中国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究提出标准条件上下文学习（CC-ICL）新设置，模型需从上下文推断潜在标准并据此调整预测。为此提出两个评估指标，构建CC-Bench基准。实验发现多数模型有边界偏差，简单多标准训练可改善。

Comments Accepted by ICML 2026. Code is available at https://github.com/MegviiAlgo-Team/CC-ICL

Frontier vision-language models have overtaken young adults at detecting AI-generated portraits -- but not their calibration

前沿视觉语言模型在检测AI生成肖像方面已超过年轻人，但在校准能力上并未超越

Sunwhi Kim, Sunyul Kim, Meounggun Jo, Jini Tae

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究测试19个视觉语言模型检测AI生成肖像的能力，发现2026年7月发布的模型检测准确率已超年轻人，但在校准能力上仍不及人类。

Comments 35 pages, 8 figures, 5 supplementary figures. Human reference data reused (not newly collected) from arXiv:2603.24048. Data and code: https://doi.org/10.5281/zenodo.22148304

Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models

强安全护栏下大型视觉语言模型的护栏无关社会偏见评估

Yusuke Hirota, Michael Ross Boone, Arun George Zachariah, Jibin Rajan Varghese, Yu-Chiang Frank Wang, Boyi Li, Ryo Hachiuma

机构 * NVIDIA（英伟达） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究针对强护栏LVLMs的偏见评估难题，提出解耦人物属性推断的评估方法，发现20款LVLMs均存在不当使用用户人口统计信息的偏见，且专有模型偏见低于开源模型。

Comments Accepted at ECCV 2026

MVC-Bench: Benchmarking Calibration of Medical Vision-Language Models

MVC-Bench：医学视觉-语言模型的校准基准测试

Ashshak Sharifdeen, Shihab Aaqil Ahamed, Ufaq Khan, Muhammad Akhtar Munir, Sujair Ibrahim, Mohamed Rafeek Mareer Ahamed, Yutong Xie, Imran Razzak, Muhammad Haris Khan

机构 * Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学） ； Sabaragamuwa University of Sri Lanka（斯里兰卡萨巴拉加穆瓦大学） ； Digital Platform Development, SLT PLC（SLT公共有限公司数字平台开发部） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 该研究针对医学视觉-语言模型校准不足的问题，提出以校准为核心的基准MVC-Bench，通过多维度评估并提出MCM正则化方法，为医疗工作流提供校准改进指导。

Comments Accepted in EMNLP 2026 Findings

SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification

SGM: 通过神经层面的净化为多模态大语言模型提供安全眼镜

Hongbo Wang, AprilPyone MaungMaung, Isao Echizen

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 SGM通过神经层面的净化技术，有效降低多模态大语言模型的毒性，同时保持生成流畅性和推理能力。

Comments Accepted to the EMNLP 2026 Main Conference

Multimodal Large Language Models Predict Urban Safety Perception but Encode Non-Neutral Demographic Priors

多模态大语言模型可预测城市安全感知，但编码非中立的人口统计先验

Ciro Beneduce, Bruno Lepri, Massimiliano Luca

机构 * Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会） ； University of Trento（特伦托大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 该研究验证多模态大语言模型可规模化预测城市安全感知，但发现其存在非中立人口统计先验，不同性别、种族角色下的安全判断存在系统偏差。

Do VLMs Share Safety Neurons Across Modalities?

视觉语言模型（VLMs）是否在不同模态间共享安全神经元？

Jiaxuan Li, Jiahao Zhang, Duc Minh Vo, Huy H. Nguyen, Pride Kavumba, Koki Wataoka

机构 * SB Intuitions Corp.（SB Intuitions公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.LG

AI总结 该研究针对10个视觉语言模型，通过因果神经元层面分析，提出两阶段迭代消融检测流程与两个模态隔离基准，发现文本安全神经元集中、视觉安全高维弥散的差距，解释了当前对齐未缩小视觉安全差距的原因。

Comments Accepted to EMNLP 2026 (Main Conference)

HalluPrism: When Multimodal Uncertainty Should Diagnose, Not Decide

HalluPrism：多模态不确定性应用于诊断而非决策

Aman Prakash, Sourish Dasgupta, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi（德里印度理工学院） ； Dhirubhai Ambani University（德鲁巴伊·安巴尼大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.LG

AI总结 该研究提出HalluPrism，通过视觉扰动敏感性等三维特征诊断多模态大语言模型的失败类别，提升了失败检测的AUROC，明确多模态不确定性应先诊断再决策。

Comments Accepted to Findings of EMNLP 2026. 52 pages, 1 figure, 46 tables

Fine-Grained Multi Image Object Hallucination Benchmark

细粒度多图像物体幻觉基准测试

Joonki Min, Chaeyun Kim, Hyungwook Choi, Yejin Kim, Kihyun Kim, Yohan Jo, Joonseok Lee

机构 * Seoul National University（首尔大学） ； AIM Intelligence（AIM智能公司） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究针对多模态大语言模型的物体幻觉问题，推出细粒度多图像物体幻觉基准测试MIOH，评估29个模型后发现顶尖模型仍存在明显失败模式，为开发可靠多模态AI提供关键评估工具。

Comments Accepted at CVPR 2026

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 18295-18305

BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs

BiG-SURE - 用于大语言模型语义不确定性与可靠性估计的二分图

Debarpan Bhattacharya, Malay Phadke, Sriram Ganapathy

机构 * Indian Institute of Science（印度科学学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 BiG-SURE是一种基于跨温度语义一致性的二分图方法，用于黑盒LLMs/VLMs的语义不确定性与可靠性估计，在多类问答任务上提升了弃权AUROC性能。

Comments 22 pages, 9 figures

Journal ref EMNLP 2026 Main Conference

MUSE: A Run-Centric Platform for Multimodal Unified Safety Evaluation of Large Language Models

MUSE：一种面向多模态统一安全评估的运行导向平台

Zhongxi Wang, Yueqian Lin, Jingyang Zhang, Zinuo Cheng, Hai Helen Li, Yiran Chen

机构 * Duke University（杜克大学） ； Virtue AI 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 MUSE提出一种多模态统一安全评估平台，通过多轮攻击和跨轮模态切换技术，评估大型语言模型在不同模态下的安全性能。

Comments Accepted to EMNLP 2026 (System Demonstrations)

MedAgent-R1: Faithfulness-Aware Reinforcement Learning for Evidence-Grounded Medical Reasoning

MedAgent-R1：面向证据 grounded 医疗推理的忠实性感知强化学习

Jiangwang Chen, Chenghao Zhang, Hengxing Cai

机构 * Tsinghua University（清华大学） ； DP Technology（第四范式） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 MedAgent-R1 针对医疗推理智能体的自信幻觉问题，采用忠实性门控奖励设计，大幅降低引用编造率、提升证据完整性，在 HealthBench Safety 上表现优于 GPT-4o，实现了证据 grounded 的医疗推理优化。

LiST: Local-Simplex Test-Time LoRA Fusion

LiST：局部单纯形测试时LoRA融合

Yihua Shao, Jia Li, Siyu Chen, Xinyu Luo, Yang Liu, Kecheng Chen, Xinwei Long, Lingyu Zhu, Fanhu Zeng, Maolin Wang, Ziyang Yan, Jingcai Guo, Hao Tang, Nicu Sebe, Zhenyi Wang

机构 * SUSTech（南方科技大学） ； PolyU（香港理工大学） ； CASIA（中国科学院自动化研究所） ； GDUT（广东工业大学） ； CityU（香港城市大学） ； BigAI（北京智源人工智能研究院） ； THU（清华大学） ； TAU（特拉维夫大学） ； PKU（北京大学） ； UniTrento（特伦托大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 LiST是一种无标签测试时LoRA融合框架，通过构建局部单纯形搜索样本特定融合权重，在多模态与语言基准上优于静态LoRA合并及传统测试时自适应方法，提升了未见过任务的鲁棒性。

Comments Accepted by EMNLP 2026 Finding

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents

QUACK: 多模态社交推理智能体中的沟通知识质疑、理解与审计

Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； University of Cambridge（剑桥大学） ； MBZUAI - Mohamed bin Zayed University of Artificial Intelligence（MBZUAI - 摩苏尔·本·扎耶德人工智能大学） ； University of Toronto（多伦多大学） ； Salesforce 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 提出QUACK框架，通过游戏结果、行为轨迹和话语一致性三级评估，自动审计多模态社交推理智能体语言与感知行为的一致性，发现最强智能体仍有15.1%的空间幻觉和过半无据指控。

Comments Accepted by EMNLP 2026 Main Conference

LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models

LIBERO-Para：一种用于视觉语言动作模型中同义词鲁棒性诊断的基准和指标

Chanyoung Kim, Minwoo Kim, Minseok Kang, Hyunwoo Kim, Dahuin Jung

机构 * Soongsil University（崇实大学） ； Chung-Ang University（中央大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出LIBERO-Para基准，通过独立变化动作表达和物体参考，分析语言泛化能力。研究发现，不同规模的VLA模型在同义词替换下性能下降22-52个百分点，主要由物体层面的词汇变化导致。提出PRIDE指标量化同义词难度，揭示模型对任务识别的依赖。

Comments Accepted to EMNLP 2026 (Main Conference). Code and benchmark: https://github.com/cau-hai-lab/LIBERO-Para

Likelihood-Constrained Acoustic Reranking for Training-Free Hallucination Mitigation in LLM-Based ASR

用于基于大语言模型的自动语音识别幻觉缓解的似然约束声学重排序（无需训练）

Jiasheng Kuang, Linru Zheng, Hongjin Song, Zhaoqi Cui, Song Li

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 本研究针对基于LLM的ASR系统的幻觉问题，提出无需训练的LCAR方法，通过似然约束与声学重排序缓解幻觉，在δ=0.60时消除38.8%-57.1%的幻觉，同时维持词/字符错误率。

Comments 5 pages, 4 figures