ALOHa：一种衡量描述模型幻觉的新指标
ALOHa: A New Measure for Hallucination in Captioning Models
AI总结：
针对 CHAIR 受限于固定物体词表的问题，本文提出开放词汇指标 ALOHa，利用 LLM 提取物体、计算语义相似度并通过匈牙利匹配评分，在 HAT 和 nocaps 上显著提升幻觉识别率。
摘要：
尽管用于视觉描述的多模态预训练近期取得了进展，但最先进的模型仍会生成包含错误的描述，例如幻觉出场景中并不存在的物体。现有的主要物体幻觉指标 CHAIR 仅限于 MS COCO 中固定的一组物体及其同义词。在本工作中，我们提出了一种现代化的开放词汇指标 ALOHa，它利用大型语言模型（LLM）来衡量物体幻觉。具体而言，我们使用 LLM 从候选描述中提取可定位物体，衡量这些物体与来自描述和物体检测的参考物体之间的语义相似性，并使用匈牙利匹配生成最终的幻觉分数。我们表明，在 HAT（一个新的、针对幻觉进行标注的 MS COCO Captions 黄金标准子集）上，ALOHa 比 CHAIR 多正确识别 13.6% 的幻觉物体；在物体范围超出 MS COCO 类别的 nocaps 上，则多识别 30.8%。我们的代码可在 https://davidmchan.github.io/aloha/ 获取。
英文摘要：
Despite recent advances in multimodal pre-training for visual description, state-of-the-art models still produce captions containing errors, such as hallucinating objects not present in a scene. The existing prominent metric for object hallucination, CHAIR, is limited to a fixed set of MS COCO objects and synonyms. In this work, we propose a modernized open-vocabulary metric, ALOHa, which leverages large language models (LLMs) to measure object hallucinations. Specifically, we use an LLM to extract groundable objects from a candidate caption, measure their semantic similarity to reference objects from captions and object detections, and use Hungarian matching to produce a final hallucination score. We show that ALOHa correctly identifies 13.6% more hallucinated objects than CHAIR on HAT, a new gold-standard subset of MS COCO Captions annotated for hallucinations, and 30.8% more on nocaps, where objects extend beyond MS COCO categories. Our code is available at https://davidmchan.github.io/aloha/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
