LOTUS: 一种用于从质量到社会偏见和用户偏好的详细图像描述的排行榜
LOTUS: A Leaderboard for Detailed Image Captioning from Quality to Societal Bias and User Preferences
AI总结：
LOTUS是一种用于评估详细图像描述质量、偏见和社会偏见的排行榜，通过定制标准满足不同用户偏好，揭示了模型在不同评估标准上的表现差异。
摘要：
大型视觉-语言模型（LVLMs）已改变了图像描述生成，从简洁的描述转向详细的描述。我们引入了LOTUS，一种用于评估详细描述的排行榜，解决现有评估中的三个主要缺口：缺乏标准化标准、偏见意识评估以及用户偏好考虑。LOTUS全面评估了各种方面，包括描述质量（例如，对齐、描述性）、风险（例如，幻觉）和社会偏见（例如，性别偏见），同时通过定制标准来满足不同用户偏好的偏好导向评估。我们对最近的LVLMs的分析显示，没有单一模型在所有标准上都表现出色，同时描述细节与偏见风险之间出现了相关性。偏好导向的评估表明，最佳模型的选择取决于用户优先事项。
英文摘要：
Large Vision-Language Models (LVLMs) have transformed image captioning, shifting from concise captions to detailed descriptions. We introduce LOTUS, a leaderboard for evaluating detailed captions, addressing three main gaps in existing evaluations: lack of standardized criteria, bias-aware assessments, and user preference considerations. LOTUS comprehensively evaluates various aspects, including caption quality (e.g., alignment, descriptiveness), risks (\eg, hallucination), and societal biases (e.g., gender bias) while enabling preference-oriented evaluations by tailoring criteria to diverse user preferences. Our analysis of recent LVLMs reveals no single model excels across all criteria, while correlations emerge between caption detail and bias risks. Preference-oriented evaluations demonstrate that optimal model selection depends on user priorities.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
