关注关键要素：通过对象对齐的视觉对比解码缓解多模态大语言模型中的对象幻觉
Mask What Matters: Mitigating Object Hallucinations in Multimodal Large Language Models with Object-Aligned Visual Contrastive Decoding
AI总结：
本文提出了一种通过对象对齐的视觉对比解码缓解多模态大语言模型中对象幻觉的方法，具有计算开销低且兼容性强的特点。
摘要：
我们研究了多模态大语言模型（MLLMs）中的对象幻觉，并通过构建对象对齐的辅助视图来改进视觉对比解码（VCD）。我们利用基于对象的注意力机制在自监督视觉变换器中进行。具体来说，我们移除最显著的视觉证据，以构建一个破坏不支持的标记并产生更强对比信号的辅助视图。我们的方法是提示无关、模型无关的，并且可以无缝地插入到现有的VCD流程中，计算开销很小，即一次可缓存的前向传递。实证表明，我们的方法在两个流行的对象幻觉基准测试中，对两个MLLMs都显示出一致的提升。
英文摘要：
We study object hallucination in Multimodal Large Language Models (MLLMs) and improve visual contrastive decoding (VCD) by constructing an object-aligned auxiliary view. We leverage object-centric attention in self-supervised Vision Transformers. In particular, we remove the most salient visual evidence to construct an auxiliary view that disrupts unsupported tokens and produces a stronger contrast signal. Our method is prompt-agnostic, model-agnostic, and can be seamlessly plugged into the existing VCD pipeline with little computation overhead, i.e., a single cacheable forward pass. Empirically, our method demonstrates consistent gains on two popular object hallucination benchmarks across two MLLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
