HaloProbe: Bayesian Detection and Mitigation of Object Hallucinations in Vision-Language Models
HaloProbe: 基于贝叶斯的方法检测和缓解视觉-语言模型中的物体幻觉
机构 * Multimodal AI Lab, Technical University of Darmstadt(达姆施塔特工业大学多模态人工智能实验室) ; Department of Computer Engineering, Sharif University of Technology(谢里夫理工大学计算机工程系)
专题命中 知识编辑与模型理解 :language model(title,abstract);分类 cs.LG
AI总结 本文提出HaloProbe框架,通过结合外部描述统计和内部解码信号,有效检测和缓解视觉-语言模型中的物体幻觉,实验表明其比现有干预方法更有效且保持了模型的实用性。