arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2603.04670cs.AIcs.CLcs.CV
收藏

利用视觉与语言模型预测项目难度

Using Vision + Language Models to Predict Item Difficulty

Stanford Graduate School of Education(斯坦福大学教育研究生院)

Samin Khan

AI总结:

利用视觉与语言模型结合预测数据可视化测试项目难度,通过多模态方法实现更低的误差率,展示了LLMs在心理测量中的应用潜力。

摘要:

本项目研究了大型语言模型(LLMs)确定数据可视化素养测试项目难度的能力。我们探讨了是否可以通过项目文本(问题和答案选项)、可视化图像或两者的结合来预测美国成年人的项目难度(正确回答比例)。我们使用GPT-4.1-nano分析项目并基于这些不同的特征集生成预测。多模态方法,使用视觉和文本特征,产生了最低的平均绝对误差(MAE)(0.224),优于单模态的视觉-only(0.282)和文本-only(0.338)方法。表现最佳的多模态模型被应用于保留测试集进行外部评估,实现了均方误差为0.10805,展示了LLMs在心理测量分析和自动化项目开发中的潜力。

英文摘要:

This project investigates the capabilities of large language models (LLMs) to determine the difficulty of data visualization literacy test items. We explore whether features derived from item text (question and answer options), the visualization image, or a combination of both can predict item difficulty (proportion of correct responses) for U.S. adults. We use GPT-4.1-nano to analyze items and generate predictions based on these distinct feature sets. The multimodal approach, using both visual and text features, yields the lowest mean absolute error (MAE) (0.224), outperforming the unimodal vision-only (0.282) and text-only (0.338) approaches. The best-performing multimodal model was applied to a held-out test set for external evaluation and achieved a mean squared error of 0.10805, demonstrating the potential of LLMs for psychometric analysis and automated item development.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑