被拒绝的方言：奖励模型中针对非裔美国人语言的偏见
Rejected Dialects: Biases Against African American Language in Reward Models
AI总结：
本文提出奖励模型方言偏见评估框架，并通过 WME 与机器翻译及人工 AAL 语料的对比实验，揭示奖励模型存在系统性反 AAL 偏好。
摘要：
通过奖励模型进行偏好对齐有助于构建安全、有用且可靠的大型语言模型（LLM）。然而，偏好判断中的主观性以及偏好数据收集中缺乏代表性抽样可能会引入新的偏见，从而妨碍奖励模型的公平性与公正性。在本研究中，我们提出了一个用于评估奖励模型中方言偏见的框架，并通过若干实验开展案例研究，分析针对非裔美国人语言（AAL）的偏见；这些实验比较了奖励模型在成对的白人主流英语（WME）以及机器翻译和人工撰写的 AAL 语料上的偏好与行为。我们表明，与处理 WME 文本相比，奖励模型在处理 AAL 文本时与人类偏好的一致性更低（准确率平均低 4%），并且相较于 WME 对齐文本，经常不偏好 AAL 对齐文本，还会将对话引向 WME，即使用 AAL 文本进行提示也是如此。我们的研究结果针对 LLM 开发中一个研究相对不足的阶段，对反 AAL 偏见进行了有针对性的分析，凸显了表征性伤害，以及关于 LLM 在 AAL 方面应有行为的伦理问题。
英文摘要：
Preference alignment via reward models helps build safe, helpful, and reliable large language models (LLMs). However, subjectivity in preference judgments and the lack of representative sampling in preference data collection can introduce new biases, hindering reward models' fairness and equity. In this work, we introduce a framework for evaluating dialect biases in reward models and conduct a case study on biases against African American Language (AAL) through several experiments comparing reward model preferences and behavior on paired White Mainstream English (WME) and both machine-translated and human-written AAL corpora. We show that reward models are less aligned with human preferences when processing AAL texts vs. WME ones (-4\% accuracy on average), frequently disprefer AAL-aligned texts vs. WME-aligned ones, and steer conversations toward WME, even when prompted with AAL texts. Our findings provide a targeted analysis of anti-AAL biases at a relatively understudied stage in LLM development, highlighting representational harms and ethical questions about the desired behavior of LLMs concerning AAL.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
