评估大型语言模型中非裔美国人俚语英语的使用情况
Evaluating the Usage of African-American Vernacular English in Large Language Models
AI总结：
本研究评估了大型语言模型对非裔美国人俚语英语的表示准确性，发现模型在语法使用上存在偏差，并复制了刻板印象，需改进训练数据和公平性方法。
摘要：
在人工智能领域，大多数自然语言理解任务的评估都是在标准化方言如标准美式英语（SAE）中进行的。在本工作中，我们研究了大型语言模型（LLMs）对非裔美国人俚语英语（AAVE）的表示准确性。我们分析了三个LLMs，比较它们对AAVE的使用与那些母语为AAVE的人的使用情况。我们首先分析了区域非裔美国人语言语料库和TwitterAAE中的访谈，以确定人们使用AAVE语法特征（如ain't）的典型情境。然后我们提示LLMs生成AAVE文本，并将模型生成的文本与人类使用模式进行比较。我们发现，在许多情况下，LLMs对AAVE的使用与人类存在显著差异：LLMs通常低估并误用AAVE的语法特征。此外，通过情感分析和人工检查，我们发现模型复制了关于非裔美国人的刻板印象。这些结果强调了在训练数据中增加多样性以及纳入公平性方法以缓解刻板印象的持续传播的必要性。
英文摘要：
In AI, most evaluations of natural language understanding tasks are conducted in standardized dialects such as Standard American English (SAE). In this work, we investigate how accurately large language models (LLMs) represent African American Vernacular English (AAVE). We analyze three LLMs to compare their usage of AAVE to the usage of humans who natively speak AAVE. We first analyzed interviews from the Corpus of Regional African American Language and TwitterAAE to identify the typical contexts where people use AAVE grammatical features such as ain't. We then prompted the LLMs to produce text in AAVE and compared the model-generated text to human usage patterns. We find that, in many cases, there are substantial differences between AAVE usage in LLMs and humans: LLMs usually underuse and misuse grammatical features characteristic of AAVE. Furthermore, through sentiment analysis and manual inspection, we found that the models replicated stereotypes about African Americans. These results highlight the need for more diversity in training data and the incorporation of fairness methods to mitigate the perpetuation of stereotypes.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
