Annotation Imputation to Individualize Predictions: Initial Studies on Distribution Dynamics and Model Predictions
University of Minnesota（明尼苏达大学）；University of Notre Dame（圣母大学）
针对众包标注主观NLP数据集稀疏、易遗漏标注员观点的问题，提出用插补方法生成全标注员全样本观点的数据集，实验发现插补方法选择显著影响软标签分布，且能提升低响应率标注员的提示少样本效果。
2023-10-05 cs.CL
Efficient Annotator Reliability Assessment with EffiARA
School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）
本文提出EffiARA标注框架及配套Python包和网络工具，首次覆盖从资源评估到可靠性分析的完整标注流程，并通过软标签聚合与不可靠标注者替换提升标注质量。
2025-06-03 cs.CL cs.LG
Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation
GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）；Heinrich-Heine University Düsseldorf（杜伊斯堡-艾希斯海姆海因里希-海涅大学）
本文通过分析四个有害语言检测数据集，探讨标注者特征与语言属性的交互作用，揭示交叉影响及词汇线索的作用，指出不同数据集的效果差异需谨慎推广。
2026-05-07 cs.CL cs.CY
On Releasing Annotator-Level Labels and Information in Datasets
Google Research（谷歌研究院）；University of Southern California（南加州大学）
构建NLP数据集的一种常见做法，特别是使用众包注释，涉及获得对相同数据实例的多个注释者判断，然后通过多数投票，平均或裁定，将其展平以产生单个“地面真相”标签或分数。虽然这些方法在某些注释任务中可能是合适的，但这种聚合忽略了人类感知的社会构建性质，而相对更主观的任务的注释旨在捕获人类感知。特别是，注释者之间由于其社会文化背景和/或生活经历而产生的系统性分歧往往通过这种聚合而被混淆。在本文中，我们实证表明，标签聚合可能会引入个人和群体的观点的代表性偏见。基于这一发现，我们提出了一系列建议，以提高下游用例数据集的实用性和透明度。
2021-10-12 cs.CL cs.CY
GPT is Not an Annotator: The Necessity of Human Annotation in Fairness Benchmark Construction
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；California State University, Northridge（加州州立大学北岭分校）
本文研究GPT-3.5-Turbo能否辅助构建偏见基准数据集，发现其在敏感标注任务上表现不佳，不能替代人工标注，并削弱社区来源基准的优势。
2024-05-24 cs.CL cs.CY
Unveiling the Multi-Annotation Process: Examining the Influence of Annotation Quantity and Instance Difficulty on Model Performance
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
本文研究数据集从单标注扩展到多标注时模型性能的变化，提出多标注者模拟过程生成不同标注预算的数据集，发现相同预算下性能提升存在差异，挑战了多标注训练必优的传统观点。
2023-10-23 cs.AI cs.CL
Modeling sequential annotations for sequence labeling with crowds
City University of Hong Kong（香港城市大学）
群体顺序注释可以是构建用于序列标记的大型数据集的有效且具有成本效益的方式。与标记独立实例不同，对于群体顺序注释，标签序列的质量依赖于注释者在捕获序列中每个标记的内部依赖性方面的专业知识水平。在本文中，我们提出了建模序列标注与人群（SA-SLC）。首先，开发了一个条件概率模型来联合建模顺序数据和注释者的专业知识，其中分类分布被引入到估计的可靠性，每个注释器捕获本地和非本地标签依赖顺序注释。为了加快边缘化的模型，有效的标签序列推理（VLSE）的方法，提出了从人群顺序标注获得有效的地面实况标签序列。VLSE从令牌级导出可能的地面实况标签，并在标签序列解码的前向推理中进一步修剪子路径。VLSE减少了候选标签序列的数量，并提高了可能的地面实况标签序列的质量。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
Don't Blame the Annotator: Bias Already Starts in the Annotation Instructions
Arizona State University（亚利桑那州立大学）；Google Research（谷歌研究院）；Allen Institute for AI（艾伦人工智能研究所）
研究14个NLU基准测试中的指令偏差，发现标注指令中的模式会被传播到收集的数据中，导致模型性能被高估且难以泛化，并为未来基准创建提出建议。
2024-03-20 cs.AI cs.CL cs.CV
SafeWebUH at SemEval-2023 Task 11: Learning Annotator Disagreement in Derogatory Text: Comparison of Direct Training vs Aggregation
University of Houston（休斯顿大学）
针对贬损文本标注中的意见分歧问题，本研究基于SemEval-2023 Task 11的四个数据集微调BERT模型，对比直接训练与聚合方法，验证了个体标注者建模、聚合及标注者元数据对降低交叉熵得分的作用。
2023-05-01 cs.CL cs.LG cs.SI
Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；School of Communication Research, University of Amsterdam（阿姆斯特丹大学传播研究学院）；Computer Science Department, University of Turin（都灵大学计算机科学系）
针对主观任务标签聚合有偏、多标注者模型对少样本标注者欠定的问题，提出文本标注者感知表示AART方法，通过学习标注者表示捕捉个体视角，提升了相关性能并保障了边缘化标注者的公平性。
2024-05-16 cs.CL
Annotator-Centric Active Learning for Subjective NLP Tasks
Idiap Research Institute（伊迪亚普研究所）；Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高级计算机科学学院）；Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）；Interactive Intelligence, TU Delft（代尔夫特理工大学交互智能研究所）
本文提出以标注者为中心的主动学习（ACAL），在数据采样后引入标注者选择策略，以高效近似人类判断多样性，并在七个主观NLP任务上验证其提升数据效率和标注者中心评估性能的效果。
2024-10-23 cs.CL
Beyond Majority Voting: Agreement-Based Clustering to Model Annotator Perspectives in Subjective NLP Tasks
Instituto Politécnico Nacional（智利国家理工学院）；University of Wisconsin–Stevens Point（威斯康星州立大学斯蒂文斯点分校）；University of Pretoria（培特里亚大学）；Bahir Dar University（巴希尔达大学）；Imperial College London（伦敦帝国理工学院）；University of Hamburg（汉堡大学）
本文提出基于一致性的聚类技术，用于建模标注者之间的分歧，通过在18种语言的40个数据集上实验，发现该方法在主观NLP任务中显著提升了分类性能。
2026-05-11 cs.CL
Crowd-Calibrator: Can Annotator Disagreement Inform Calibration in Subjective Tasks?
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Southern California（南加利福尼亚大学）
针对NLP主观任务中多数投票掩盖标注者分歧的问题，提出Crowd-Calibrator方法，通过建模众包工作者与模型标签分布的距离来校准模型并决定是否弃权（不执行），在仇恨言论检测和自然语言推理任务上表现优异。
2024-08-26 cs.CL
Annotation Curricula to Implicitly Train Non-Expert Annotators
UKP Lab / TU Darmstadt（达姆施塔特工业大学 UKP 实验室）
注释研究通常要求注释者熟悉任务、其注释方案和数据域。这在开始时可能会压倒一切，精神负担沉重，并在最终的注释中引入错误;特别是在不需要领域专业知识并且只提供注释指南的公民科学或众包场景中。为了缓解这些问题，我们提出了注释课程，一种新的方法来隐式训练注释。我们的目标是通过根据学习课程对注释的实例进行排序，逐步将注释器引入到任务中。为此，我们首先形式化句子和段落级别注释任务的注释课程，定义排序策略，并在三个现有英语数据集上识别性能良好的启发式算法和交互式训练模型。然后，我们对40名自愿参与者进行了一项用户研究，要求他们找出有关Covid-19大流行的英语推文的最合适的误解。我们的研究结果表明，使用一个简单的启发式排序实例已经可以显着减少总的注释时间，同时保持高的注释质量。因此，注释课程可以提供一种改进数据汇集的新方法。为了方便未来的研究，我们进一步分享了由2,400个注释组成的代码和数据。
2021-12-22 cs.CL
When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks
UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
针对主观任务中标注者分歧，提出模型结合个体评分预测与目标群体识别，提升评分预测22%及方差预测33%，并支持隐私友好的非侵入式调查。
2024-03-17 cs.AI cs.CL
LLMs as Span Annotators: A Comparative Study of LLMs and Humans
Charles University（查理大学）；ETH Zurich（苏黎世联邦理工学院）；Edinburgh Napier University（爱丁堡纳皮尔大学）；trivago N.V.（trivago公司）；TU Darmstadt, Germany（德累斯顿理工大学）
本文比较了大语言模型与人类在跨度标注任务中的表现，发现LLMs在成本和准确性上具有竞争力，且提供了大规模标注数据集。
2026-02-02 cs.CL
Cascading Biases: Investigating the Effect of Heuristic Annotation Strategies on Data and Models
University of Pennsylvania（宾夕法尼亚大学）
认知心理学家已经证明，人类使用认知捷径，或心理捷径，在花费更少精力的同时做出快速决策。当在众包平台上执行注释工作时，我们假设注释者之间的这种启发式使用级联到数据质量和模型鲁棒性上。在这项工作中，我们研究了认知启发式使用的背景下，注释多项选择阅读理解数据集。我们提出跟踪注释者启发式痕迹，在那里我们有形地测量低努力的注释策略，可以表明使用各种认知技巧。我们发现的证据表明，注释者可能会使用多种这样的语言，基于与一组心理测试的相关性。重要的是，注释者之间的启发式使用在几个维度上决定了数据质量：（1）已知的有偏见的模型，如部分输入模型，更容易解决由在启发式使用方面得分很高的注释者编写的示例，（2）在启发式使用方面得分很高的注释者上训练的模型也不会泛化，以及（3）寻求启发式的注释者倾向于创建定性上不那么具有挑战性的示例。我们的研究结果表明，跟踪注释者之间的启发式使用可能有助于收集具有挑战性的数据集和诊断模型偏差。
2023-01-23 cs.CL
A framework for (under)specifying dependency syntax without overloading annotators
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个轻量级的依赖语法注释框架。我们的形式主义建立在典型的表示无标签的依赖关系，允许一个简单的符号和注释工作流。此外，形式主义鼓励注释者少指定语法的一部分，如果这样做可以简化注释过程的话。我们证明了这三种语言的注释的有效性，并开发算法来评估和比较未指定的注释。
2013-06-15 cs.CL
Counting on Consensus: Selecting the Right Inter-annotator Agreement Metric for NLP Annotation and Evaluation
Department of Computer Science, The University of Sheffield（谢菲尔德大学计算机科学系）
本文探讨了NLP注释和评估中选择合适跨注释者一致性度量的重要性，分析了不同任务类型下的度量方法及其影响因素，旨在提升注释的一致性和可重复性。
2026-04-01 cs.CL
Efficient Online Scalar Annotation with Bounded Support
Johns Hopkins University（约翰斯·霍普金斯大学）
我们描述了一种新的方法，有效地引出标量注释数据集的建设和系统质量估计由人的判断。我们对比直接评估（注释者直接将分数分配给项目），在线成对排名聚合（分数来自注释者对项目的比较），以及这里提出的混合方法（EASL：标量标签的高效注释）。我们的建议导致与地面真相的相关性增加，注释器效率更高，表明这种策略是数据集创建和手动系统评估的改进机制。
2018-06-04 cs.CL
Single versus Multiple Annotation for Named Entity Recognition of Mutations
IBM Research（IBM研究院）
本文的重点是解决知识获取的瓶颈命名实体识别（NER）的突变，通过分析不同的方法来建立手动标注的数据。我们首先讨论使用单个注释器与使用两个注释器的影响，以衡量是否需要多个注释器。一旦我们评估了使用单个注释器时的性能损失，我们就应用不同的方法对训练数据进行采样以进行第二次注释，旨在提高数据集的质量，而不需要完整的通过。我们使用双注释数据来构建两种不同类型排名的场景：基于相似性和基于置信度。我们评估了这两种方法：（i）它们识别错误训练实例的能力（讨论后单注释器标签与双注释不同的情况），以及（ii）在不同阈值下集成修复后，最先进分类器的Mutation NER性能。
2021-01-19 cs.CL
FinnSentiment -- A Finnish Social Media Corpus for Sentiment Polarity Annotation
University of Helsinki（赫尔辛基大学）
情感分析和意见挖掘是一项重要的任务，在社交媒体中具有明显的应用领域，例如在指示仇恨言论和假新闻时。在我们对以前工作的调查中，我们注意到没有大规模的社交媒体数据集带有芬兰语的情感极性注释。该出版物旨在通过引入由三个本地注释者独立地用情感极性注释的27，000个句子数据集来弥补这一缺点。对于整个数据集，我们有相同的三个注释器，这为进一步研究注释器随时间的行为提供了独特的机会。我们分析了他们的注释者之间的协议，并提供了两个基线来验证数据集的有用性。
2020-12-04 cs.CL
Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations
University of Southern California（南加州大学）；Google Research（谷歌研究院）
多数投票和平均是解决注释者分歧和从多个注释中获得单一真实标签的常用方法。然而，注释者可能会系统地彼此不同意，这通常反映了他们的个人偏见和价值观，特别是在主观任务的情况下，如检测情感，攻击和仇恨言论。注释者的分歧可能会捕捉到这些任务中的重要细微差别，这些细微差别在将注释聚合到单个基础事实时经常被忽略。为了解决这个问题，我们研究了多注释器模型的有效性。特别是，我们的基于多任务的方法将预测每个注释者的判断视为单独的子任务，同时共享任务的共同学习表示。我们表明，这种方法产生相同或更好的性能比在七个不同的二进制分类任务的训练之前聚合数据中的标签。我们的方法还提供了一种方法来估计预测中的不确定性，我们证明了它比传统方法更好地与注释分歧相关。能够对不确定性进行建模在部署场景中特别有用，因为知道何时不进行预测非常重要。
2021-10-12 cs.CL cs.CY
The Ecological Fallacy in Annotation: Modelling Human Label Variation goes beyond Sociodemographics
Bielefeld University（比勒费尔德大学）；University of Oxford（牛津大学）；Bocconi University（博科尼大学）
针对NLP注释中的生态谬误，提出在多注释者模型中加入群体特定层以显式建模社会人口统计学，但实验表明此举未能显著提升有毒内容检测性能，说明个体注释行为受更复杂因素影响。
2023-06-20 cs.CL
SeedBERT: Recovering Annotator Rating Distributions from an Aggregated Label
Carnegie Mellon University（卡内基梅隆大学）
许多机器学习任务--特别是情感计算中的任务--本质上是主观的。当被要求对面部表情进行分类或对个人的吸引力进行评级时，人们可能会彼此不同意，并且没有一个答案是客观正确的。然而，机器学习数据集通常对每个样本只有一个“地面实况”标签，因此在这些标签上训练的模型可能在本质上主观的任务上表现不佳。虽然允许模型从各个注释者的评级中学习可能会有所帮助，但大多数数据集并没有为每个样本提供特定于注释者的标签。为了解决这个问题，我们提出了SeedBERT，这是一种通过诱导预训练模型来处理输入的不同部分，从单个标签中恢复注释者评级分布的方法。我们的人类评估表明，SeedBERT的注意力机制与注释者分歧的人类来源一致。此外，在我们使用大语言模型的经验评估中，与标准深度学习模型和其他明确考虑注释者分歧的当前模型相比，SeedBERT在下游主观任务上的性能有了很大的提高。
2022-11-23 cs.CL cs.LG
It HAS to be Subjective: Human Annotator Simulation via Zero-shot Density Estimation
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tsinghua University（清华大学）
本研究针对人类标注者模拟需体现人类主观变异性的问题，提出将HAS视作零样本密度估计的元学习框架及两类对应不同标注类型的流模型，在真实任务上表现更优。
2023-09-30 cs.CL cs.HC cs.LG
Model-based annotation of coreference
University of Copenhagen（哥本哈根大学）
人类不会对文本进行推理，而是对文本内容的模型进行推理。因此，当注释者被要求注释文本的相关范围时，这是一个有点不自然的任务。本文提出了一种替代方案，我们预处理文档，链接实体的知识库，并把共指注释任务-在我们的情况下，仅限于代词-到一个注释任务，注释者被要求分配代词的实体。基于模型的注释，导致更快的注释和更高的注释者之间的协议，我们认为，它也开辟了另一种方法，共指消解。我们提出了两个新的共指基准数据集，英语维基百科和英语师生对话，并评估他们的最先进的共指解析器。
2020-03-01 cs.CL
ReasonScaffold: A Scaffolded Reasoning-based Annotation Protocol for Human-AI Co-Annotation
University of Minnesota, Twin Cities（明尼苏达大学，双城分校）
本文提出ReasonScaffold协议，通过暴露LLM生成的推理过程来提升标注一致性，发现推理能增加标注者一致性和最小化修订，为人类与AI协同标注提供实用机制。
2026-04-15 cs.CL
Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
Data Science Institute（数据科学研究所）；University of Galway（Galway大学）
本文探索使用大语言模型作为自动标注者进行细粒度意见分析，提出声明式标注流水线和LLM裁决方法，实验表明LLM在跨度级别可靠但难以再现关系结构，更适合作为标注助手而非完全替代人类。
2026-08-04 cs.CL
Bias in, Bias out: Annotation Bias in Multilingual Large Language Models
Manchester Metropolitan University（曼彻斯特 Metropolitan 大学）；Hubei University（湖北大学）
该研究针对多语言大语言模型开发中的标注偏差问题，提出分类框架，梳理检测方法与新兴技术，给出缓解策略，还贡献了偏差类型学、检测指标综述、适配多语言的集成缓解方法及伦理分析，助力构建公平且贴合文化的标注流程。
2025-11-18 cs.CL
Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization
MaiNLP；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Vienna（维也纳大学）；LTL；University of Cambridge（剑桥大学）
研究大语言模型能否学习并复现标注者特定的标签-解释行为，提出跨标注者偏好优化（CAPO）方法，通过对比目标标注者与其他有效但非目标标注者的响应来提升模仿和归因能力。
2026-08-31 cs.CL
HUMAN: Hierarchical Universal Modular ANnotator
Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨）；DFKI GmbH（德国人工智能研究中心有限公司）；Saarland University（萨尔兰大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用数学实验室）
许多现实世界的现象是复杂的，无法通过单个任务注释捕获。这就需要随后的注释，用相互依赖的问题和答案来描述手头的主题的性质。即使在一个现象很容易被单个任务捕获的情况下，大多数注释工具的高度专业化也可能导致在任务稍微改变的情况下不得不切换到另一个工具。我们介绍了人类，一种新的基于Web的注释工具，它通过以下方式解决了上述问题：a）覆盖文本和图像数据上的各种注释任务，b）使用内部确定性状态机，允许研究人员以相互依赖的方式链接不同的注释任务。此外，该工具的模块化性质使得定义新的注释任务和集成机器学习算法（例如，进行主动学习。HUMAN具有易于使用的图形用户界面，可简化注释任务和管理。
2020-10-02 cs.CL
Subjective Crowd Disagreements for Subjective Data: Uncovering Meaningful CrowdOpinion with Population-level Learning
Rochester Institute of Technology（罗切斯特理工学院）；Orange Silicon Valley（Orange硅谷）
针对标注者分歧普遍且有意义、少数派观点易被忽视的问题，提出无监督学习方法CrowdOpinion，通过聚类聚合相似条目以挖掘人群观点，在多平台数据集上验证了其标签预测性能。
2023-07-07 cs.CL cs.IR cs.SI
MADARi: A Web Interface for Joint Arabic Morphological Annotation and Spelling Correction
New York University Abu Dhabi（纽约大学阿布扎比分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
在本文中，我们介绍了MADARi，一个联合形态注释和拼写校正系统的文本在标准和方言阿拉伯语。MADARi框架为注释文本和管理大量大型文档的注释过程提供了直观的界面。词法注释包括在上下文中为一个词指出它的基词、词性、词目、注释和方言识别。MADARi有一套实用工具来帮助注释者提高生产力。例如，注释者可以使用预先计算的分析来帮助他们完成任务，并减少完成任务所需的工作量。MADARi还允许注释者查询形态分析器，以获得多种方言的可能分析列表或查找以前提交的分析。MADARi管理界面使主要注释者能够轻松地远程和并发地管理和组织整个注释过程。我们描述了这个接口的动机，设计和实现，我们提出了详细的用户研究与此系统。
2018-08-25 cs.CL
Can Third-parties Read Our Emotions?
Pennsylvania State University（宾夕法尼亚州立大学）
本研究通过实验对比第一方与第三方情绪标签，发现第三方标注（人类或LLMs）在反映作者私有状态时存在局限，但LLMs表现更优，并提出评估框架与改进建议。
2025-04-25 cs.CL
QUORUM: QUality-Optimized Routing Using Multiple annotators
Amazon（亚马逊）；Sapienza University of Rome（罗马萨皮恩扎大学）；Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（信息、信号与智能系统实验室）
本研究提出预算感知路由框架QUORUM，通过特征信号估计实例难度、结合多标注者结果，在固定预算下动态分配任务，提升标注质量并降低成本。
2026-08-31 cs.CL
"You are an expert annotator": Automatic Best-Worst-Scaling Annotations for Emotion Intensity Modeling
Merck Data & AI Organization, Merck Group（默克集团默克数据与人工智能部门）；Institut für Maschinelle Sprachverarbeitung, University of Stuttgart（斯图加特大学机器语言处理研究所）；Fundamentals of Natural Language Processing, University of Bamberg（班贝格大学自然语言处理基础研究所）；Merck IT Centre, Merck Group（默克集团默克IT中心）
本研究自动化情感强度标注，比较三种方法发现最佳-最差标度可靠性最高，微调模型性能接近人工标注训练模型。
2026-09-17 cs.CL
The Impact of Annotator Personas on LLM Behavior Across the Perspectivism Spectrum
University of Marburg（马尔堡大学）；McMaster University（麦马斯特大学）；University of Mannheim（曼海姆大学）
本研究探索LLM在不同数据视角主义光谱下基于预定义角色标注仇恨言论的能力，发现LLM会选择性使用角色属性，且不依赖标注者信息的技术在弱视角下表现更优，强视角下接近人类标注水平。
2025-08-23 cs.CL
Two Contrasting Data Annotation Paradigms for Subjective NLP Tasks
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Bocconi University（博科尼大学）
标记数据是大多数自然语言处理任务的基础。然而，标记数据是困难的，并且对于正确的数据标签应该是什么，通常存在不同的有效信念。到目前为止，数据集创建者已经承认了注释者的主观性，但很少在注释过程中积极管理它。这导致了部分主观的数据集无法为明确的下游用途服务。为了解决这个问题，我们提出了两个对比的数据注释范例。描述性范式鼓励注释者的主观性，而规定性范式则不鼓励这种主观性。描述性注释允许对不同的信念进行调查和建模，而规定性注释则允许训练始终应用一种信念的模型。我们讨论了实现这两种范式的好处和挑战，并认为数据集创建者应该明确针对其中一个或另一个，以促进其数据集的预期用途。最后，我们使用仇恨言论数据进行注释实验，说明两种范式之间的对比。
2022-04-29 cs.CL
Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
当注释者标记数据时，质量保证的一个关键指标是注释者间一致性（IAA）：注释者在标签上达成一致的程度。虽然许多IAA措施存在简单的分类和顺序标签任务，相对较少的工作考虑了更复杂的标签任务，如结构化，多对象，和自由文本注释。Krippendorff的alpha以用于简单的标记任务而闻名，确实有一个基于距离的公式，具有更广泛的适用性，但很少有工作研究其在复杂注释任务中的有效性和一致性。我们调查的IAA措施的设计和评估复杂的注释任务，评估跨越七个不同的任务：图像边界框，图像关键点，文本序列标记，排名列表，自由文本翻译，数字向量和语法树。我们发现可解释性的困难和选择距离函数的复杂性是在这些任务中普遍应用克里彭多夫阿尔法的关键障碍。我们提出了两个新的，更可解释的措施，表明他们产生更一致的IAA措施跨任务和注释距离函数。
2022-12-15 cs.CL cs.LG
Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks
Johns Hopkins University（约翰霍普金斯大学）；University of Washington（华盛顿大学）
本文提出多视角注释方法，通过集中人力标注于LLM注释最不准确的群体，提升主观任务分析效果，同时保持覆盖范围。
2026-10-02 cs.CL
Large Language Models Are Effective Human Annotation Assistants, But Not Good Independent Annotators
Department of Computer Science, University of Maryland（大学计算机科学系）；National Consortium for the Study of Terrorism and Responses to Terrorism（反恐与反恐响应国家研究中心）
本文研究了大语言模型在事件标注中的有效性，发现其在辅助专家标注时表现优于传统方法，但独立标注仍不理想。
2026-04-28 cs.AI cs.CL
How Annotation Trains Annotators: Competence Development in Social Influence Recognition
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；University of Silesia in Katowice（卡托维兹西里西亚大学）；SWPS University（SWPS大学）
研究探讨了标注过程中标注者能力的变化，通过分析25名标注者对1021条对话的标注，发现标注者自我感知能力提升，专家组效果更显著，影响了基于其标注数据训练的LLM性能。
2026-07-14 cs.AI cs.CL
Is GPT-3 a Good Data Annotator?
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
该研究针对GPT-3能否胜任NLP数据标注的问题，通过对比传统标注方法、分析多任务输出评估其标注性能，旨在揭示其作为通用NLP数据标注工具的潜力。
2023-06-14 cs.CL
Beyond Demographics: Fine-tuning Large Language Models to Predict Individuals' Subjective Text Perceptions
Bielefeld University（比勒费尔德大学）；Stanford University（斯坦福大学）；Bocconi University（博科尼大学）；University of Michigan（密歇根大学）
本研究探究微调大型语言模型能否准确预测个体主观文本感知，发现性能提升主要源于学习标注者特定行为，而非社会人口统计学模式，质疑了LLMs模拟社会人口统计学变异的有效性。
2025-02-28 cs.CL
Sparse Probability of Agreement
IT University of Denmark（丹麦信息技术大学）
测量注释者之间的一致性对于注释任务很重要，但是许多度量标准需要一个完全注释的数据集，其中所有注释者都注释所有样本。我们定义了稀疏一致性概率SPA，它估计当并非所有注释者项对都可用时的一致性概率。我们表明，在一定条件下，SPA是一个无偏估计，我们提供了多种加权方案处理数据与不同程度的注释。
2023-02-24 cs.CL
Everyone's Voice Matters: Quantifying Annotation Disagreement Using Demographic Information
University of Notre Dame（圣母大学）；KAIST（韩国科学技术院）；University of Minnesota（明尼苏达大学）
在NLP注释中，通常有多个注释者标记文本，然后根据主要注释者的协议获得地面真值标签。但是，注释者是具有不同背景的个体，未成年人的意见不应被简单忽视。随着注释任务变得主观，并且在现代NLP任务中主题是有争议的，我们需要能够代表人们对主观问题的不同声音并预测多样性水平的NLP系统。本文考察了任务文本和注释者的人口统计学背景信息是否可以用来估计注释者之间的分歧程度。特别地，我们从注释者在五个主观数据集中的投票历史中提取不同意标签，然后微调语言模型来预测注释者的不同意。我们的研究结果表明，了解注释者的人口统计信息，如性别，种族和教育水平，有助于预测分歧。为了区分来自文本内容的固有争议和注释者不同观点的分歧，我们用注释者的人工人口统计数据的不同组合来模拟每个人的声音，并检查其微调的分歧预测器的方差。我们的论文旨在通过一种新的分歧预测机制来改进注释过程，以提高NLP系统的效率和包容性。我们的代码和数据集是公开的。
2023-01-12 cs.AI cs.CL cs.CY
NUTMEG: Separating Signal From Noise in Annotator Disagreement
University of Arkansas（亚拉巴马大学）；University of Michigan（密歇根大学）
本文提出贝叶斯模型NUTMEG，利用标注者背景识别人工标注中的噪声并保留系统性分歧，实验表明其在真值恢复和下游任务上均优于传统聚合方法。
2025-07-25 cs.CL
Assessing Semantic Annotation Activities with Formal Concept Analysis
本文提出基于形式概念分析评估语义标注活动的方法，通过概念格可视化本体使用情况，帮助专家指导标注者并优化本体，已在@note中实现并验证。
2025-01-19 cs.CL
Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change
University of Stuttgart（斯图加特大学）；LMU Munich（慕尼黑大学）
我们提出了一个框架，扩展共时多义注释词汇意义的历时变化，以抵消缺乏资源的评估词汇语义变化的计算模型。我们的框架利用了一个直观的概念，语义相关性，并区分创新和还原的意义变化与高注释者之间的协议。由此产生的德语测试集包括来自5个注释者的评分，用于22个目标词的1，320个使用对的相关性。
2018-04-18 cs.CL
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
Apple（苹果公司）
本文评估LLMs在MQM和ESA两种MT质量标注方案上与人类标注者的一致性，发现二者在多数场景下不可靠，明确了人类与LLM各自的标注挑战，提出可通过人类-LLM协作标注流程提升可靠性。
2026-10-09 cs.CL
Evaluating Large Language Models as Expert Annotators
National Taiwan University（台湾大学）；Virginia Tech（弗吉尼亚理工大学）；University of Virginia（弗吉尼亚大学）；AIST, Japan（日本产业技术综合研究所）；AINTU, Taiwan（台湾人工智能技术研究所）
本文评估了LLMs在金融、生物医学和法律领域作为专家标注者的表现，提出多智能体讨论框架并引入推理模型，发现推理技术收益有限且多智能体环境下存在模型固执己见等行为。
2025-08-11 cs.CL
Quality and Efficiency of Manual Annotation: Pre-annotation Bias
本文针对依存句法标注任务，分析自动预标注及规则检查、参考标注对人工标注质量与效率的影响，证实预标注可在不降低质量的前提下提升标注速度与结果一致性。
2023-06-15 cs.CL
Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；National Library of Medicine（美国国家医学图书馆）；Joint Support-Center for Data Science Research（数据科学联合支持中心）；Japanese-French Laboratory of Informatics, CNRS（日法信息学联合实验室（法国国家科学研究中心））；Nantes University（南特大学）
本研究提出一种以审核为导向的方法，将现有标注指南转化为LLM可执行的指令，并在NCBI疾病语料库上验证其有效性，展示了支持可扩展、低成本自动化标注的潜力。
2025-10-13 cs.AI cs.CL
