Crowdsourcing has been the prevalent paradigm for creating natural language understanding datasets in recent years. A common crowdsourcing practice is to recruit a small number of high-quality workers, and have them massively generate examples. Having only a few workers generate the majority of examples raises concerns about data diversity, especially when workers freely generate sentences. In this paper, we perform a series of experiments showing these concerns are evident in three recent NLP datasets. We show that model performance improves when training with annotator identifiers as features, and that models are able to recognize the most productive annotators. Moreover, we show that often models do not generalize well to examples from annotators that did not contribute to the training set. Our findings suggest that annotator bias should be monitored during dataset creation, and that test set annotators should be disjoint from training set annotators.
Corpus Considerations for Annotator Modeling and Scaling
University of Marburg（马尔堡大学）；Bonn-Aachen International Center for Information Technology (b-it), University of Bonn（波恩-亚琛信息技术国际中心（b-it），波恩大学）；University of Mannheim（曼海姆大学）
Identifying Chinese Opinion Expressions with Extremely-Noisy Crowdsourcing Annotations
Tianjin University（天津大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
目前的观点表达识别（OEI）工作严重依赖于人工构建的训练语料库的质量和规模，这可能是非常难以满足的。众包是解决这一问题的一个可行方案，旨在创建大规模但质量无保证的语料库。在这项工作中，我们调查了中国的OEI与非常嘈杂的众包注释，以非常低的成本构建数据集。根据Zhang et al.（2021），我们通过将所有注释视为人群注释器方面的金标准来训练注释器-适配器模型，并通过使用合成专家（所有注释器的混合物）来测试模型。由于这种用于测试的注释器混合物在训练阶段从未明确建模，因此我们建议通过相关的混合策略生成合成训练样本，以使训练和测试高度一致。在我们构建的数据集上的模拟实验表明，众包是非常有前途的OEI，我们提出的注释者混合可以进一步提高众包建模。
Are you sure? Measuring models bias in content moderation through uncertainty
Laboratory for the Modeling of Biological and Socio-technical Systems, Northeastern University（生物与社会技术系统建模实验室，东北大学）；Heriot-Watt University（赫瑞-瓦特大学）；aequa-tech（aequa-tech公司）；Università del Piemonte Orientale（皮埃蒙特东方大学）；Università degli Studi di Torino（托里尼大学）
The Subjectivity of Respect in Police Traffic Stops: Modeling Community Perspectives in Body-Worn Camera Footage
Department of Computer Science, University of Southern California（计算机科学系，南加州大学）；Department of Psychology, University of Southern California（心理学系，南加州大学）；Department of Political Science, University of California Riverside（政治学系，加州河滨大学）；Department of Anthropology, University of California Los Angeles（人类学系，加州大学洛杉矶分校）；Department of Political Science and International Relations, University of Southern California（政治学与国际关系系，南加州大学）；Harvard Law School, Harvard University（哈佛法学院，哈佛大学）；Department of Sociology, The University of Texas at Austin（社会学系，德克萨斯大学奥斯汀分校）
Gender Bias in Masked Language Models for Multiple Languages
Tokyo Institute of Technology（东京工业大学）；CogSmart Co., Ltd.（CogSmart有限公司）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
通过预测大型语料库上的掩蔽标记来预训练的掩蔽语言模型（Masked Language Models，MLMs）已经成功地用于各种语言的自然语言处理任务。不幸的是，据报告，多层膜也学习有关性别和种族等属性的歧视性偏见。由于大多数研究都集中在英语中的多语言标记语，很少有人研究其他语言中的多语言标记语的偏见。由于费用和征聘注释员的困难，英文以外其他语文的评价数据的人工注释一直具有挑战性。此外，现有的偏见评估方法需要由相同的上下文与属性词（例如，他/她是一名护士）组成的刻板句子对。我们提出了多语言偏差评估（MBE）分数，以评估偏见，在各种语言中使用只有英语属性词表和平行语料库之间的目标语言和英语，而不需要手动注释的数据。我们使用MBE评估了八种语言的MLMs，并确认所有这些语言的MLMs中都编码了与性别相关的偏见。我们手动创建了日语和俄语的性别偏见数据集，以评估MBE的有效性。结果表明，MBE报告的偏见分数显着相关，从上述手动创建的数据集和现有的英语数据集的性别偏见计算。
Beyond Majority Voting: Agreement-Based Clustering to Model Annotator Perspectives in Subjective NLP Tasks
Instituto Politécnico Nacional（智利国家理工学院）；University of Wisconsin–Stevens Point（威斯康星州立大学斯蒂文斯点分校）；University of Pretoria（培特里亚大学）；Bahir Dar University（巴希尔达大学）；Imperial College London（伦敦帝国理工学院）；University of Hamburg（汉堡大学）
Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；School of Communication Research, University of Amsterdam（阿姆斯特丹大学传播研究学院）；Computer Science Department, University of Turin（都灵大学计算机科学系）
Diverging Preferences: When do Annotators Disagree and do Models Know?
New York University（纽约大学）；Allen Institute for Artificial Intelligence（人工智能研究院）；NVIDIA（NVIDIA公司）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
Investigating Annotator Bias in Large Language Models for Hate Speech Detection
University of North Alabama（北阿拉巴马大学）；Murray State University（默里州立大学）；Wichita State University（威奇托州立大学）；California State Polytechnic University Pomona（加州州立理工大学波莫纳分校）；Auburn University at Montgomery（奥本大学蒙哥马利分校）；Auburn University（奥本大学）；Gustavus Adolphus College（古斯塔夫斯·阿道弗斯学院）；Stanford University（斯坦福大学）；Amazon GenAI（亚马逊生成式人工智能部门）
"You are an expert annotator": Automatic Best-Worst-Scaling Annotations for Emotion Intensity Modeling
Merck Data & AI Organization, Merck Group（默克集团默克数据与人工智能部门）；Institut für Maschinelle Sprachverarbeitung, University of Stuttgart（斯图加特大学机器语言处理研究所）；Fundamentals of Natural Language Processing, University of Bamberg（班贝格大学自然语言处理基础研究所）；Merck IT Centre, Merck Group（默克集团默克IT中心）
Assessing the Reliability of LLMs Annotations in the Context of Demographic Bias and Model Explanation
Department of Methodology and Statistics, Utrecht University, The Netherlands（方法论与统计学系，乌特列支大学，荷兰）；Department of Information and Computing Sciences, Utrecht University, The Netherlands（信息与计算科学系，乌特列支大学，荷兰）；Queen Mary University of London, London, United Kingdom（伦敦女王玛丽大学，伦敦，英国）
越来越多的证据表明，用于构建自然语言推理数据集的原始注释中普遍存在的分歧使得将这些注释聚合到单个标签的常见做法存在问题。我们提出了一种通用的方法，允许人们跳过聚合步骤，直接在原始注释上进行训练，而不会使模型受到注释者响应偏差引起的不必要的噪声。我们证明，这种方法，它概括了\textit{mixed effects model}的概念，将\textit{annotator random effects}到任何现有的神经模型，提高了性能的模型，不包括这样的效果。
