arXiv 2508.189892026-01-26cs.CV

再次提问：GRAS用于测量视觉语言模型在性别、种族、年龄和肤色上的偏见

Ask Me Again Differently: GRAS for Measuring Bias in Vision Language Models on Gender, Race, Age, and Skin Tone

Guru Gobind Singh Indraprastha University（古鲁·戈宾德·辛格印度教普拉斯塔大学）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indian Institute of Technology Patna, India（印度理工学院帕纳布分校）

Shaivi Malik, Hasnat Md Abdullah, Sriparna Saha, Amit Sheth

备注：: Accepted to the Findings of EACL 2026

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

GRAS用于评估视觉语言模型在性别、种族、年龄和肤色上的偏见，通过基准测试揭示了模型的偏见水平，并提出了可解释的偏见评分方法。

摘要：

随着视觉语言模型（VLMs）成为现实应用中的关键组成部分，理解其人口偏见变得至关重要。我们介绍了GRAS，一个用于揭示VLMs在性别、种族、年龄和肤色上的偏见的基准，提供了迄今为止最广泛的覆盖范围。我们进一步提出了GRAS偏见分数，一个可解释的度量标准，用于量化偏见。我们基准测试了五种最先进的VLMs，并揭示了令人担忧的偏见水平，最不偏见的模型仅获得2分（满分100分）。我们的发现还揭示了一个方法论上的见解：在使用视觉问答（VQA）评估VLMs的偏见时，需要考虑问题的多种表述形式。我们的代码、数据和评估结果已公开可用。

英文摘要：

As Vision Language Models (VLMs) become integral to real-world applications, understanding their demographic biases is critical. We introduce GRAS, a benchmark for uncovering demographic biases in VLMs across gender, race, age, and skin tone, offering the most diverse coverage to date. We further propose the GRAS Bias Score, an interpretable metric for quantifying bias. We benchmark five state-of-the-art VLMs and reveal concerning bias levels, with the least biased model attaining a GRAS Bias Score of only 2 out of 100. Our findings also reveal a methodological insight: evaluating bias in VLMs with visual question answering (VQA) requires considering multiple formulations of a question. Our code, data, and evaluation results are publicly available.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。