arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2512.08404cs.CLcs.AI
收藏

生成式AI文本注释是否存在系统性偏见?

Are generative AI text annotations systematically biased?

Utrecht University(乌特雷赫大学);Utrecht School of Governance (USBO)(乌特雷赫治理学院);University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)

Sjoerd B. Stolwijk, Mark Boukes, Damian Trilling

AI总结:

本文研究生成式AI在文本注释中是否存在系统性偏见,发现其在F1得分上表现良好,但与手动注释存在显著差异并显示系统性偏见。

摘要:

本文通过概念性复制Boukes(2024)的手动注释,研究生成式大语言模型(GLLMs)注释中的偏见。使用多种GLLMs(Llama3.1:8b,Llama3.3:70b,GPT4o,Qwen2.5:72b)结合五个不同提示词(政治内容、互动性、理性、不礼貌和意识形态)进行注释。我们发现GLLMs在F1得分上表现良好,但在普遍性、产出结果上与手动注释存在显著差异,并显示出系统性偏见,即它们彼此之间重叠更多,而非与手动注释重叠。F1得分差异无法解释偏见的程度。

英文摘要:

This paper investigates bias in GLLM annotations by conceptually replicating manual annotations of Boukes (2024). Using various GLLMs (Llama3.1:8b, Llama3.3:70b, GPT4o, Qwen2.5:72b) in combination with five different prompts for five concepts (political content, interactivity, rationality, incivility, and ideology). We find GLLMs perform adequate in terms of F1 scores, but differ from manual annotations in terms of prevalence, yield substantively different downstream results, and display systematic bias in that they overlap more with each other than with manual annotations. Differences in F1 scores fail to account for the degree of bias.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑