WildVision：在真实场景中基于人类偏好评估视觉语言模型
WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences
AI总结：
本文提出 WV-Arena 与 WV-Bench，通过真实人类偏好和 GPT-4 裁判评估 VLM，并揭示顶尖模型的能力短板与安全风险。
摘要：
视觉语言模型（VLM）的最新突破凸显了在真实世界多模态交互中对人类偏好进行基准测试的必要性。为弥补这一空白，我们推出了 WildVision-Arena（WV-Arena），这是一个收集人类偏好以评估 VLM 的在线平台。我们从 WV-Arena 的 8,000 份用户提交中选取 500 个高质量样本，构建了 WV-Bench。WV-Bench 使用 GPT-4 作为评判者，将每个 VLM 与 Claude-3-Sonnet 进行比较，并且与 WV-Arena Elo 的 Spearman 相关系数达到 0.94。这显著优于 MMVet、MMMU 和 MMStar 等其他基准。我们对 2 万次真实世界交互的综合分析揭示了表现最佳的 VLM 在失败案例方面的重要洞见。例如，我们发现，尽管 GPT-4V 在简单视觉识别和推理任务上超过 Reka-Flash、Opus 和 Yi-VL-Plus 等许多其他模型，但它在细微上下文线索、空间推理、视觉想象和专家领域知识方面仍面临挑战。此外，当前 VLM 在被故意诱导时会表现出幻觉和安全问题。我们将发布聊天与反馈数据，以进一步推动 VLM 领域的研究。
英文摘要：
Recent breakthroughs in vision-language models (VLMs) emphasize the necessity of benchmarking human preferences in real-world multimodal interactions. To address this gap, we launched WildVision-Arena (WV-Arena), an online platform that collects human preferences to evaluate VLMs. We curated WV-Bench by selecting 500 high-quality samples from 8,000 user submissions in WV-Arena. WV-Bench uses GPT-4 as the judge to compare each VLM with Claude-3-Sonnet, achieving a Spearman correlation of 0.94 with the WV-Arena Elo. This significantly outperforms other benchmarks like MMVet, MMMU, and MMStar. Our comprehensive analysis of 20K real-world interactions reveals important insights into the failure cases of top-performing VLMs. For example, we find that although GPT-4V surpasses many other models like Reka-Flash, Opus, and Yi-VL-Plus in simple visual recognition and reasoning tasks, it still faces challenges with subtle contextual cues, spatial reasoning, visual imagination, and expert domain knowledge. Additionally, current VLMs exhibit issues with hallucinations and safety when intentionally provoked. We are releasing our chat and feedback data to further advance research in the field of VLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
