Not Truly Multilingual: Script Consistency as a Missing Dimension in VLM Evaluation
并非真正的多语言:脚本一致性作为VLM评估中缺失的维度
机构 * RediMinds Inc.(RediMinds公司) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Independent Researcher(独立研究员)
专题命中 视觉推理 :VLM(title,title_cn);vision-language model(abstract);visual reasoning(abstract);分类 cs.CV
AI总结 提出PuMVR基准,评估10个VLM在旁遮普语三种文字上的表现,发现显著的脚本差距,并提出脚本一致性率(SCR)作为必要评估指标。