检索视觉对比解码以缓解大型视觉语言模型中的对象幻觉
Retrieval Visual Contrastive Decoding to Mitigate Object Hallucinations in Large Vision-Language Models
AI总结：
针对大型视觉语言模型的对象幻觉问题，提出RVCD方法，在logit级别利用正负向AI生成图像进行检索视觉对比解码，无需额外训练即可显著优于现有解码方法。
摘要：
尽管大型视觉语言模型取得了显著进展，但对象幻觉（OH）仍是一个持续的挑战。基于先前在不需额外模型训练的情况下解决此问题的对比解码研究，我们提出了RVCD（Retrieval Visual Contrastive Decoding），这是一种抑制OH的先进方法。RVCD在logit级别同时利用负向和正向图像，明确参考了旨在表示单一概念的AI生成图像。我们的方法展示出对现有基于解码方法的实质性改进。
英文摘要：
Despite significant advancements in Large Vision-Language Models, Object Hallucination (OH) remains a persistent challenge. Building upon prior studies on contrastive decoding that address this issue without requiring additional model training, we introduce RVCD (Retrieval Visual Contrastive Decoding), an advanced method to suppress OH. RVCD leverages both negative and positive images at the logit level, explicitly referencing AI-generated images designed to represent a single concept. Our approach demonstrates substantial improvements over existing decoding-based methods.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
