高效全面评估大型视觉语言模型的重采样基准
Resampling Benchmark for Efficient Comprehensive Evaluation of Large Vision-Language Models
AI总结：
针对大型视觉语言模型（VLMs）全面评估计算成本高的问题，提出基于最远点采样（FPS）的子集构建方法，用约1%数据实现与完整评估>0.96的强相关性，还能减少数据集偏差。
摘要：
我们提出了一种针对大型视觉语言模型（VLMs）的高效评估协议。鉴于VLMs广泛的知识和推理能力，全面评估需要多个基准，导致评估计算成本高昂。为提高效率，我们构建了一个子集，其结果与完整基准评估相当。我们的基准分类实验表明，没有单一基准能完全覆盖所有挑战。随后我们引入了一种使用最远点采样（FPS）的子集构建方法。实验显示，基于FPS的基准与完整评估保持强相关性（>0.96），同时仅使用约1%的数据。此外，将FPS应用于现有基准可提高与整体评估结果的相关性，表明其有潜力减少意外的数据集偏差。
英文摘要：
We propose an efficient evaluation protocol for large vision-language models (VLMs). Given their broad knowledge and reasoning capabilities, multiple benchmarks are needed for comprehensive assessment, making evaluation computationally expensive. To improve efficiency, we construct a subset that yields results comparable to full benchmark evaluations. Our benchmark classification experiments reveal that no single benchmark fully covers all challenges. We then introduce a subset construction method using farthest point sampling (FPS). Our experiments show that FPS-based benchmarks maintain a strong correlation (> 0.96) with full evaluations while using only ~1\% of the data. Additionally, applying FPS to an existing benchmark improves correlation with overall evaluation results, suggesting its potential to reduce unintended dataset biases.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
