用多模态大语言模型评估图形感知
Evaluating Graphical Perception with Multimodal LLMs
AI总结：
本文通过复现 Cleveland 和 McGill 1984 年的图形感知实验，系统评估多模态大语言模型在图表数值回归任务中的表现，并与人类结果对比，揭示其成功与失败场景。
摘要：
多模态大语言模型（MLLMs）在分析和理解图像方面取得了显著进展。尽管有这些进步，但在图表中准确回归数值仍然是 MLLMs 尚未充分探索的领域。对于可视化而言，当 MLLMs 应用于图形感知任务时，其表现如何？本文通过复现 Cleveland 和 McGill 1984 年的开创性实验，并将其与人类任务表现进行比较来研究这一问题。我们的研究主要评估微调模型、预训练模型以及零样本提示，以确定它们是否与人类图形感知表现接近。我们的发现表明，MLLMs 在某些情况下优于人类任务表现，但在其他情况下并非如此。我们重点展示所有实验的结果，以促进对 MLLMs 在应用于数据可视化时成功与失败之处的理解。
英文摘要：
Multimodal Large Language Models (MLLMs) have remarkably progressed in analyzing and understanding images. Despite these advancements, accurately regressing values in charts remains an underexplored area for MLLMs. For visualization, how do MLLMs perform when applied to graphical perception tasks? Our paper investigates this question by reproducing Cleveland and McGill's seminal 1984 experiment and comparing it against human task performance. Our study primarily evaluates fine-tuned and pretrained models and zero-shot prompting to determine if they closely match human graphical perception. Our findings highlight that MLLMs outperform human task performance in some cases but not in others. We highlight the results of all experiments to foster an understanding of where MLLMs succeed and fail when applied to data visualization.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
