生成式社会偏见基准：生成式评估与基于QA的评估之比较
Social Bias Benchmark for Generation: A Comparison of Generation and QA-Based Evaluations
AI总结：
针对现有偏见评估方法难以衡量大语言模型长文本生成偏见的问题，研究提出适配BBQ的生成式偏见基准BBG，通过故事续写评估偏见，构建英韩双语版本并测试10个大模型，发现其与选择题式BBQ评估结果不一致。
摘要：
衡量大语言模型（LLM）中的社会偏见至关重要，但现有偏见评估方法难以评估长文本生成中的偏见。我们提出Bias Benchmark for Generation（BBG，生成式偏见基准），它是Bias Benchmark for QA（BBQ，问答偏见基准）的适配版本，旨在通过让大语言模型续写故事提示来评估长文本生成中的社会偏见。我们构建了英语和韩语版本的基准，在10个大语言模型上测量了中立生成和偏见生成的概率。我们还将长文本故事生成评估结果与选择题式BBQ评估进行了比较，结果表明两种方法得出的结果并不一致。
英文摘要：
Measuring social bias in large language models (LLMs) is crucial, but existing bias evaluation methods struggle to assess bias in long-form generation. We propose a Bias Benchmark for Generation (BBG), an adaptation of the Bias Benchmark for QA (BBQ), designed to evaluate social bias in long-form generation by having LLMs generate continuations of story prompts. Building our benchmark in English and Korean, we measure the probability of neutral and biased generations across ten LLMs. We also compare our long-form story generation evaluation results with multiple-choice BBQ evaluation, showing that the two approaches produce inconsistent results.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
