RCI：一种用于评估多模态基准测试中全局与局部推理的分数
RCI: A Score for Evaluating Global and Local Reasoning in Multimodal Benchmarks
AI总结：
本文提出RCI分数，通过比较模型在图像块与完整图像上的表现，量化多模态基准对全局或局部视觉信息的依赖，并发现13个常用基准多偏向局部推理且存在空间偏差。
摘要：
多模态大语言模型（MLLM）在视觉-语言基准测试中取得了令人瞩目的成果，但目前仍不清楚这些基准测试评估的是真正的全局推理，还是允许模型借助局部视觉线索获得成功。现有评估方法并未明确衡量这一区别，从而阻碍了有效的数据集策划和面向现实世界的模型开发。我们提出了区域理解指数（Region Comprehension Index，RCI），这是首个基于模型的分数，用于直接量化数据集对全局视觉信息与局部视觉信息的依赖程度。RCI系统性地比较参考模型在图像块与完整图像上的表现，揭示任务是需要整体图像理解，还是可以利用部分或局部视觉线索来解决。将RCI应用于13个广泛使用的多模态基准测试时，我们观察到其中大多数偏向局部推理，并表现出显著的空间偏差，这表明其在现实世界应用中存在潜在风险。RCI为研究人员和从业者提供了一个可操作的工具，用于诊断和缓解这些偏差，从而支持构建数据集和基准测试，以推动稳健、可用于企业的多模态系统的发展。
英文摘要：
Multimodal Large Language Models (MLLMs) have achieved impressive results on vision-language benchmarks, yet it remains unclear whether these benchmarks assess genuine global reasoning or allow success via localized visual cues. Existing evaluation methods do not explicitly measure this distinction, hindering effective dataset curation and real-world focused model development. We introduce Region Comprehension Index (RCI), the first model-based score to directly quantify a dataset's reliance on global versus local visual information. RCI systematically compares reference-model performance on image patches versus full images, revealing if tasks require holistic image understanding or can be solved with partial or localized visual cues. When applying RCI to 13 widely used multimodal benchmarks, we observed that most of them favor localized reasoning and exhibit significant spatial biases, indicating potential risks in real-world applications. RCI equips researchers & practitioners with an actionable tool for diagnosing & mitigating these biases, enabling the construction of datasets and benchmarks to foster the development of robust, enterprise-ready multimodal systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
