Not Truly Multilingual: Script Consistency as a Missing Dimension in VLM Evaluation
并非真正的多语言:脚本一致性作为VLM评估中缺失的维度
机构 * RediMinds Inc.(RediMinds公司) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Independent Researcher(独立研究员)
专题命中 多模态评测 :multimodal(abstract);image-text(abstract);分类 cs.CV、cs.CL
AI总结 提出PuMVR基准,评估10个VLM在旁遮普语三种文字上的表现,发现显著的脚本差距,并提出脚本一致性率(SCR)作为必要评估指标。