VELA：一种用于评估长图像描述的 LLM-Hybrid-as-a-Judge 方法
VELA: An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions
AI总结：
针对 MLLM 长图像描述缺乏适用自动指标的问题，本文提出 LLM-Hybrid-as-a-Judge 指标 VELA，并构建含 7,805 张图像和 32,246 条人工判断的 LongCap-Arena 基准，验证其性能超越现有指标及人类水平。
摘要：
在本研究中，我们关注由多模态大语言模型（MLLM）生成的长且详细的图像描述的自动评估。大多数现有的图像描述自动评估指标主要为短描述设计，并不适合评估长描述。此外，近期的 LLM-as-a-Judge 方法由于依赖自回归推理以及视觉信息的早期融合，存在推理缓慢的问题。为解决这些局限，我们提出了 VELA，这是一种在新颖的 LLM-Hybrid-as-a-Judge 框架内开发的长描述自动评估指标。此外，我们提出了 LongCap-Arena，这是一个专门用于评估长描述指标的基准。该基准包含 7,805 张图像、相应的人工提供的长参考描述和长候选描述，以及来自描述性、相关性和流畅性三个不同视角的 32,246 条人工判断。我们证明了 VELA 优于现有指标，并在 LongCap-Arena 上取得了超越人类的表现。
英文摘要：
In this study, we focus on the automatic evaluation of long and detailed image captions generated by multimodal Large Language Models (MLLMs). Most existing automatic evaluation metrics for image captioning are primarily designed for short captions and are not suitable for evaluating long captions. Moreover, recent LLM-as-a-Judge approaches suffer from slow inference due to their reliance on autoregressive inference and early fusion of visual information. To address these limitations, we propose VELA, an automatic evaluation metric for long captions developed within a novel LLM-Hybrid-as-a-Judge framework. Furthermore, we propose LongCap-Arena, a benchmark specifically designed for evaluating metrics for long captions. This benchmark comprises 7,805 images, the corresponding human-provided long reference captions and long candidate captions, and 32,246 human judgments from three distinct perspectives: Descriptiveness, Relevance, and Fluency. We demonstrated that VELA outperformed existing metrics and achieved superhuman performance on LongCap-Arena.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
