OVFact：衡量并提升长描述模型的开放词汇事实性
OVFact: Measuring and Improving Open-Vocabulary Factuality for Long Caption Models
AI总结：
本文提出无需参考标注的 OV-Fact 指标，用开放词汇视觉定位与工具验证评估长描述事实性，并据此过滤预训练数据，在缩小 2.5–5 倍数据的同时提升事实精确率且不损失描述丰富性。
摘要：
大型视觉-语言模型（VLM）往往难以生成既长又符合事实的图像描述。然而，传统的幻觉与事实性度量并不适合评估更长、更多样的描述，也不适合没有人工标注真值描述的场景。我们提出 OV-Fact，这是一种衡量长描述事实性的新方法，利用开放词汇视觉定位和基于工具的验证，且不依赖人工标注。我们的方法提高了与人类判断的一致性，并在同一指标中同时捕捉描述的丰富性（召回率）和事实精确率。此外，与以往指标不同，我们这种无参考方法的设计支持基于事实性的数据过滤等新应用。我们观察到，在大规模、含噪（由 VLM 生成的）预训练数据集中，使用经 OVFact 过滤、规模缩小 2.5–5 倍的子集训练出的模型，在一系列下游长描述基准上显著提升了事实精确率，同时没有牺牲描述丰富性。
英文摘要：
Large vision-language models (VLMs) often struggle to generate long and factual captions. However, traditional measures for hallucination and factuality are not well suited for evaluating longer, more diverse captions and in settings where ground-truth human-annotated captions are unavailable. We introduce OV-Fact, a novel method for measuring caption factuality of long captions that leverages open-vocabulary visual grounding and tool-based verification without depending on human annotations. Our method improves agreement with human judgments and captures both caption descriptiveness (recall) and factual precision in the same metric. Furthermore, unlike previous metrics, our reference-free method design enables new applications towards factuality-based data filtering. We observe models trained on an OVFact-filtered (2.5-5x less) subset of a large-scale, noisy (VLM-generated) pretraining set meaningfully improve factuality precision without sacrificing caption descriptiveness across a range of downstream long caption benchmarks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
