A framework for (under)specifying dependency syntax without overloading annotators
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个轻量级的依赖语法注释框架。我们的形式主义建立在典型的表示无标签的依赖关系，允许一个简单的符号和注释工作流。此外，形式主义鼓励注释者少指定语法的一部分，如果这样做可以简化注释过程的话。我们证明了这三种语言的注释的有效性，并开发算法来评估和比较未指定的注释。
2013-06-15 cs.CL
Counting on Consensus: Selecting the Right Inter-annotator Agreement Metric for NLP Annotation and Evaluation
Department of Computer Science, The University of Sheffield（谢菲尔德大学计算机科学系）
本文探讨了NLP注释和评估中选择合适跨注释者一致性度量的重要性，分析了不同任务类型下的度量方法及其影响因素，旨在提升注释的一致性和可重复性。
2026-04-01 cs.CL
Learning Ambiguity from Crowd Sequential Annotations
City University of Hong Kong（香港城市大学）
大多数众包学习方法将注释者之间的分歧视为嘈杂的标签，而专家之间的分歧通常是自然语言中固有的模糊性和不确定性的良好指标。在本文中，我们提出了一个框架，称为学习模糊性从人群顺序注释（LA-SCA），探讨可靠的注释者之间的相互分歧，并有效地保持混乱的标签信息。首先，一个层次贝叶斯模型的开发来推断地面真相从人群和组注释相似的可靠性在一起。通过对每个序列中注释者所参与的组的大小、注释者的可靠性和元素的无歧义性之间的关系进行建模，计算可靠注释者之间对歧义元素的不一致性，以获得标签混淆信息，该信息被并入成本敏感的序列标签。在POS标签和NER任务上的实验结果表明，我们提出的框架在从人群中推断地面真相和预测未知序列方面具有竞争力的性能，并且解释层次聚类结果有助于发现具有相似可靠性的注释者的标记模式。
2023-01-04 cs.AI cs.CL cs.HC
Large Language Models Are Effective Human Annotation Assistants, But Not Good Independent Annotators
Department of Computer Science, University of Maryland（大学计算机科学系）；National Consortium for the Study of Terrorism and Responses to Terrorism（反恐与反恐响应国家研究中心）
本文研究了大语言模型在事件标注中的有效性，发现其在辅助专家标注时表现优于传统方法，但独立标注仍不理想。
2026-04-28 cs.AI cs.CL
How Annotation Trains Annotators: Competence Development in Social Influence Recognition
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；University of Silesia in Katowice（卡托维兹西里西亚大学）；SWPS University（SWPS大学）
研究探讨了标注过程中标注者能力的变化，通过分析25名标注者对1021条对话的标注，发现标注者自我感知能力提升，专家组效果更显著，影响了基于其标注数据训练的LLM性能。
2026-07-14 cs.AI cs.CL
Efficient Online Scalar Annotation with Bounded Support
Johns Hopkins University（约翰斯·霍普金斯大学）
我们描述了一种新的方法，有效地引出标量注释数据集的建设和系统质量估计由人的判断。我们对比直接评估（注释者直接将分数分配给项目），在线成对排名聚合（分数来自注释者对项目的比较），以及这里提出的混合方法（EASL：标量标签的高效注释）。我们的建议导致与地面真相的相关性增加，注释器效率更高，表明这种策略是数据集创建和手动系统评估的改进机制。
2018-06-04 cs.CL
Modeling sequential annotations for sequence labeling with crowds
City University of Hong Kong（香港城市大学）
群体顺序注释可以是构建用于序列标记的大型数据集的有效且具有成本效益的方式。与标记独立实例不同，对于群体顺序注释，标签序列的质量依赖于注释者在捕获序列中每个标记的内部依赖性方面的专业知识水平。在本文中，我们提出了建模序列标注与人群（SA-SLC）。首先，开发了一个条件概率模型来联合建模顺序数据和注释者的专业知识，其中分类分布被引入到估计的可靠性，每个注释器捕获本地和非本地标签依赖顺序注释。为了加快边缘化的模型，有效的标签序列推理（VLSE）的方法，提出了从人群顺序标注获得有效的地面实况标签序列。VLSE从令牌级导出可能的地面实况标签，并在标签序列解码的前向推理中进一步修剪子路径。VLSE减少了候选标签序列的数量，并提高了可能的地面实况标签序列的质量。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
Single versus Multiple Annotation for Named Entity Recognition of Mutations
IBM Research（IBM研究院）
本文的重点是解决知识获取的瓶颈命名实体识别（NER）的突变，通过分析不同的方法来建立手动标注的数据。我们首先讨论使用单个注释器与使用两个注释器的影响，以衡量是否需要多个注释器。一旦我们评估了使用单个注释器时的性能损失，我们就应用不同的方法对训练数据进行采样以进行第二次注释，旨在提高数据集的质量，而不需要完整的通过。我们使用双注释数据来构建两种不同类型排名的场景：基于相似性和基于置信度。我们评估了这两种方法：（i）它们识别错误训练实例的能力（讨论后单注释器标签与双注释不同的情况），以及（ii）在不同阈值下集成修复后，最先进分类器的Mutation NER性能。
2021-01-19 cs.CL
MBIC -- A Media Bias Annotation Dataset Including Annotator Characteristics
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；University of Passau（帕绍大学）；University of Zurich（苏黎世大学）
许多人认为新闻文章是了解时事的可靠来源。然而，由于影响新闻机构的各种因素，这种报道可能并不总是公正的。媒体的偏见，或有倾向性的新闻报道，可以对公众对事件的看法产生重大影响，因此，可能会改变公众的信念和观点。当前媒体偏见检测研究的主要数据缺口是一个强大的，有代表性的，多样化的数据集，包含有偏见的单词和句子的注释。特别是，现有的数据集不控制注释者的个人背景，这可能会影响他们的评估，因此，代表了将他们的注释置于上下文的关键信息。在这张海报中，我们提出了一种基于矩阵的方法，使用自主开发的注释平台来众包这些数据。我们还提出了MBIC（媒体偏见包括特征）-第一个样本的1,700个陈述代表各种媒体偏见的情况。这些陈述由10名注释者审查，每个注释者都包含在单词和句子层面上识别媒体偏见的标签。MBIC是第一个关于媒体偏见的数据集，报告了注释者特征及其个人背景的详细信息。目前的数据集已经大大扩展了这一领域的现有数据，为偏见的感知提供了独特和更可靠的见解。在未来，我们将进一步扩展它的文章和每篇文章的注释者的数量。
2021-05-20 cs.CL
ACTOR: Active Learning with Annotator-specific Classification Heads to Embrace Human Label Variation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出ACTOR框架，通过引入标注者特定分类头的多头模型进行主动学习，有效解决标注分歧问题，在保持预测与不确定性估计性能的同时节省高达70%的标注预算。
2023-10-23 cs.AI cs.CL cs.LG
Everyone's Voice Matters: Quantifying Annotation Disagreement Using Demographic Information
University of Notre Dame（圣母大学）；KAIST（韩国科学技术院）；University of Minnesota（明尼苏达大学）
在NLP注释中，通常有多个注释者标记文本，然后根据主要注释者的协议获得地面真值标签。但是，注释者是具有不同背景的个体，未成年人的意见不应被简单忽视。随着注释任务变得主观，并且在现代NLP任务中主题是有争议的，我们需要能够代表人们对主观问题的不同声音并预测多样性水平的NLP系统。本文考察了任务文本和注释者的人口统计学背景信息是否可以用来估计注释者之间的分歧程度。特别地，我们从注释者在五个主观数据集中的投票历史中提取不同意标签，然后微调语言模型来预测注释者的不同意。我们的研究结果表明，了解注释者的人口统计信息，如性别，种族和教育水平，有助于预测分歧。为了区分来自文本内容的固有争议和注释者不同观点的分歧，我们用注释者的人工人口统计数据的不同组合来模拟每个人的声音，并检查其微调的分歧预测器的方差。我们的论文旨在通过一种新的分歧预测机制来改进注释过程，以提高NLP系统的效率和包容性。我们的代码和数据集是公开的。
2023-01-12 cs.AI cs.CL cs.CY
FinnSentiment -- A Finnish Social Media Corpus for Sentiment Polarity Annotation
University of Helsinki（赫尔辛基大学）
情感分析和意见挖掘是一项重要的任务，在社交媒体中具有明显的应用领域，例如在指示仇恨言论和假新闻时。在我们对以前工作的调查中，我们注意到没有大规模的社交媒体数据集带有芬兰语的情感极性注释。该出版物旨在通过引入由三个本地注释者独立地用情感极性注释的27，000个句子数据集来弥补这一缺点。对于整个数据集，我们有相同的三个注释器，这为进一步研究注释器随时间的行为提供了独特的机会。我们分析了他们的注释者之间的协议，并提供了两个基线来验证数据集的有用性。
2020-12-04 cs.CL
It HAS to be Subjective: Human Annotator Simulation via Zero-shot Density Estimation
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tsinghua University（清华大学）
本研究针对人类标注者模拟需体现人类主观变异性的问题，提出将HAS视作零样本密度估计的元学习框架及两类对应不同标注类型的流模型，在真实任务上表现更优。
2023-09-30 cs.CL cs.HC cs.LG
The Ecological Fallacy in Annotation: Modelling Human Label Variation goes beyond Sociodemographics
Bielefeld University（比勒费尔德大学）；University of Oxford（牛津大学）；Bocconi University（博科尼大学）
针对NLP注释中的生态谬误，提出在多注释者模型中加入群体特定层以显式建模社会人口统计学，但实验表明此举未能显著提升有毒内容检测性能，说明个体注释行为受更复杂因素影响。
2023-06-20 cs.CL
Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）；National Library of Medicine（美国国家医学图书馆）；Joint Support-Center for Data Science Research（数据科学联合支持中心）；Japanese-French Laboratory of Informatics, CNRS（日法信息学联合实验室（法国国家科学研究中心））；Nantes University（南特大学）
本研究提出一种以审核为导向的方法，将现有标注指南转化为LLM可执行的指令，并在NCBI疾病语料库上验证其有效性，展示了支持可扩展、低成本自动化标注的潜力。
2025-10-13 cs.AI cs.CL
When Do Annotator Demographics Matter? Measuring the Influence of Annotator Demographics with the POPQUORN Dataset
University of Michigan（密歇根大学）
本研究提出包含1484名标注者4.5万条标注的POPQUORN数据集，验证标注者人口统计及教育等背景对标注判断的显著影响，指出采用人口均衡标注池可降低数据集偏差。
2023-08-28 cs.AI cs.CL cs.CY
Activating the Annotator: Operationalising Lived Experience in Data Annotation
University of Toronto（多伦多大学）
本研究针对视角主义NLP缺乏将标注者立场落地方法的问题，提出AXLE预标注阶段，经2×2被试间研究证实其可凸显多元性，提升身份共鸣与伤害敏感性。
2026-10-12 cs.CL cs.CY cs.HC
Identifying Chinese Opinion Expressions with Extremely-Noisy Crowdsourcing Annotations
Tianjin University（天津大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
目前的观点表达识别（OEI）工作严重依赖于人工构建的训练语料库的质量和规模，这可能是非常难以满足的。众包是解决这一问题的一个可行方案，旨在创建大规模但质量无保证的语料库。在这项工作中，我们调查了中国的OEI与非常嘈杂的众包注释，以非常低的成本构建数据集。根据Zhang et al.（2021），我们通过将所有注释视为人群注释器方面的金标准来训练注释器-适配器模型，并通过使用合成专家（所有注释器的混合物）来测试模型。由于这种用于测试的注释器混合物在训练阶段从未明确建模，因此我们建议通过相关的混合策略生成合成训练样本，以使训练和测试高度一致。在我们构建的数据集上的模拟实验表明，众包是非常有前途的OEI，我们提出的注释者混合可以进一步提高众包建模。
2022-04-22 cs.CL
Model-based annotation of coreference
University of Copenhagen（哥本哈根大学）
人类不会对文本进行推理，而是对文本内容的模型进行推理。因此，当注释者被要求注释文本的相关范围时，这是一个有点不自然的任务。本文提出了一种替代方案，我们预处理文档，链接实体的知识库，并把共指注释任务-在我们的情况下，仅限于代词-到一个注释任务，注释者被要求分配代词的实体。基于模型的注释，导致更快的注释和更高的注释者之间的协议，我们认为，它也开辟了另一种方法，共指消解。我们提出了两个新的共指基准数据集，英语维基百科和英语师生对话，并评估他们的最先进的共指解析器。
2020-03-01 cs.CL
ReasonScaffold: A Scaffolded Reasoning-based Annotation Protocol for Human-AI Co-Annotation
University of Minnesota, Twin Cities（明尼苏达大学，双城分校）
本文提出ReasonScaffold协议，通过暴露LLM生成的推理过程来提升标注一致性，发现推理能增加标注者一致性和最小化修订，为人类与AI协同标注提供实用机制。
2026-04-15 cs.CL
Model-in-the-Loop (MILO): Accelerating Multimodal AI Data Annotation with LLMs
Meta
提出 Model-in-the-Loop (MILO) 框架，将 LLMs 整合进多模态数据标注流程作为预标注、实时助手和评判者，有效减少了标注时间并提升了数据质量与标注员体验。
2024-09-24 cs.AI cs.CL cs.HC
Tracing How Annotators Think: Augmenting Preference Judgments with Reading Processes
Department of Computer Science and Engineering（计算机科学与工程系）；University of Minnesota（明尼苏达大学）
通过分析标注者的阅读行为，研究发现重读与标注一致性相关，揭示了标注过程中的认知机制。
2025-11-26 cs.CL
Global Contentious Politics Database (GLOCON) Annotation Manuals
数据库的创建利用了自动化的文本处理工具，这些工具检测新闻文章是否包含抗议事件，在文章中定位抗议信息，并提取关于检测到的抗议事件的信息片段。培训和测试自动化工具的基础是GLOCON Gold Standard Corpus（GSC），其中包含来自每个重点国家的多个来源的新闻文章。GSC中的文章由熟练的注释者在分类和提取任务中手动编码，具有自动化工具开发所需的最高准确性和一致性。为了确保这些，本文档中的注释手册列出了注释者对新闻文章进行编码的规则。注释者在所有注释任务中始终参考手册，并应用其中包含的规则。注释手册的内容建立在其他著名注释手册（如ACE，CAMEO和TimeML）中规定的语言注释的一般原则和标准之上。然而，这些原则已被改编或修改，以适应社会科学的概念和变量中使用的EMW项目。该手册是在长期的试错过程中形成的，伴随着GSC的注释。它现在的形状在很大程度上归功于高度专业化的注释者团队的细致工作和宝贵的反馈，他们的勤奋和专业知识大大提高了语料库的质量。
2022-05-17 cs.CL cs.CY cs.LG
Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
Data Science Institute（数据科学研究所）；University of Galway（Galway大学）
本文探索使用大语言模型作为自动标注者进行细粒度意见分析，提出声明式标注流水线和LLM裁决方法，实验表明LLM在跨度级别可靠但难以再现关系结构，更适合作为标注助手而非完全替代人类。
2026-08-04 cs.CL
Bias in, Bias out: Annotation Bias in Multilingual Large Language Models
Manchester Metropolitan University（曼彻斯特 Metropolitan 大学）；Hubei University（湖北大学）
该研究针对多语言大语言模型开发中的标注偏差问题，提出分类框架，梳理检测方法与新兴技术，给出缓解策略，还贡献了偏差类型学、检测指标综述、适配多语言的集成缓解方法及伦理分析，助力构建公平且贴合文化的标注流程。
2025-11-18 cs.CL
Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization
MaiNLP；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Vienna（维也纳大学）；LTL；University of Cambridge（剑桥大学）
研究大语言模型能否学习并复现标注者特定的标签-解释行为，提出跨标注者偏好优化（CAPO）方法，通过对比目标标注者与其他有效但非目标标注者的响应来提升模仿和归因能力。
2026-08-31 cs.CL
Task Decomposition for Efficient Annotation
Carnegie Mellon University（卡内基梅隆大学）
提出将结构化标注任务分解为子任务以减少推理负担，基于中心理论建模推理负荷，并给出分配策略以在固定预算下最大化质量。
2026-06-24 cs.AI cs.CL cs.HC
HUMAN: Hierarchical Universal Modular ANnotator
Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨）；DFKI GmbH（德国人工智能研究中心有限公司）；Saarland University（萨尔兰大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用数学实验室）
许多现实世界的现象是复杂的，无法通过单个任务注释捕获。这就需要随后的注释，用相互依赖的问题和答案来描述手头的主题的性质。即使在一个现象很容易被单个任务捕获的情况下，大多数注释工具的高度专业化也可能导致在任务稍微改变的情况下不得不切换到另一个工具。我们介绍了人类，一种新的基于Web的注释工具，它通过以下方式解决了上述问题：a）覆盖文本和图像数据上的各种注释任务，b）使用内部确定性状态机，允许研究人员以相互依赖的方式链接不同的注释任务。此外，该工具的模块化性质使得定义新的注释任务和集成机器学习算法（例如，进行主动学习。HUMAN具有易于使用的图形用户界面，可简化注释任务和管理。
2020-10-02 cs.CL
Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations
University of Southern California（南加州大学）；Google Research（谷歌研究院）
多数投票和平均是解决注释者分歧和从多个注释中获得单一真实标签的常用方法。然而，注释者可能会系统地彼此不同意，这通常反映了他们的个人偏见和价值观，特别是在主观任务的情况下，如检测情感，攻击和仇恨言论。注释者的分歧可能会捕捉到这些任务中的重要细微差别，这些细微差别在将注释聚合到单个基础事实时经常被忽略。为了解决这个问题，我们研究了多注释器模型的有效性。特别是，我们的基于多任务的方法将预测每个注释者的判断视为单独的子任务，同时共享任务的共同学习表示。我们表明，这种方法产生相同或更好的性能比在七个不同的二进制分类任务的训练之前聚合数据中的标签。我们的方法还提供了一种方法来估计预测中的不确定性，我们证明了它比传统方法更好地与注释分歧相关。能够对不确定性进行建模在部署场景中特别有用，因为知道何时不进行预测非常重要。
2021-10-12 cs.CL cs.CY
Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation
GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）；Heinrich-Heine University Düsseldorf（杜伊斯堡-艾希斯海姆海因里希-海涅大学）
本文通过分析四个有害语言检测数据集，探讨标注者特征与语言属性的交互作用，揭示交叉影响及词汇线索的作用，指出不同数据集的效果差异需谨慎推广。
2026-05-07 cs.CL cs.CY
Don't Blame the Annotator: Bias Already Starts in the Annotation Instructions
Arizona State University（亚利桑那州立大学）；Google Research（谷歌研究院）；Allen Institute for AI（艾伦人工智能研究所）
研究14个NLU基准测试中的指令偏差，发现标注指令中的模式会被传播到收集的数据中，导致模型性能被高估且难以泛化，并为未来基准创建提出建议。
2024-03-20 cs.AI cs.CL cs.CV
MADARi: A Web Interface for Joint Arabic Morphological Annotation and Spelling Correction
New York University Abu Dhabi（纽约大学阿布扎比分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
在本文中，我们介绍了MADARi，一个联合形态注释和拼写校正系统的文本在标准和方言阿拉伯语。MADARi框架为注释文本和管理大量大型文档的注释过程提供了直观的界面。词法注释包括在上下文中为一个词指出它的基词、词性、词目、注释和方言识别。MADARi有一套实用工具来帮助注释者提高生产力。例如，注释者可以使用预先计算的分析来帮助他们完成任务，并减少完成任务所需的工作量。MADARi还允许注释者查询形态分析器，以获得多种方言的可能分析列表或查找以前提交的分析。MADARi管理界面使主要注释者能够轻松地远程和并发地管理和组织整个注释过程。我们描述了这个接口的动机，设计和实现，我们提出了详细的用户研究与此系统。
2018-08-25 cs.CL
You Are What You Annotate: Towards Better Models through Annotator Representations
University of Michigan – Ann Arbor（密歇根大学安娜堡分校）；University of Hawai‘i at Hilo（夏威夷大学希洛分校）
针对NLP中普遍的标注者分歧，本文提出通过标注者嵌入和标注嵌入直接建模其多元视角，并构建TID-8基准，证明该方法能以不到1%的参数增量显著提升模型从分歧中学习的能力。
2023-10-22 cs.CL
Can Third-parties Read Our Emotions?
Pennsylvania State University（宾夕法尼亚州立大学）
本研究通过实验对比第一方与第三方情绪标签，发现第三方标注（人类或LLMs）在反映作者私有状态时存在局限，但LLMs表现更优，并提出评估框架与改进建议。
2025-04-25 cs.CL
SafeWebUH at SemEval-2023 Task 11: Learning Annotator Disagreement in Derogatory Text: Comparison of Direct Training vs Aggregation
University of Houston（休斯顿大学）
针对贬损文本标注中的意见分歧问题，本研究基于SemEval-2023 Task 11的四个数据集微调BERT模型，对比直接训练与聚合方法，验证了个体标注者建模、聚合及标注者元数据对降低交叉熵得分的作用。
2023-05-01 cs.CL cs.LG cs.SI
Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；School of Communication Research, University of Amsterdam（阿姆斯特丹大学传播研究学院）；Computer Science Department, University of Turin（都灵大学计算机科学系）
针对主观任务标签聚合有偏、多标注者模型对少样本标注者欠定的问题，提出文本标注者感知表示AART方法，通过学习标注者表示捕捉个体视角，提升了相关性能并保障了边缘化标注者的公平性。
2024-05-16 cs.CL
QUORUM: QUality-Optimized Routing Using Multiple annotators
Amazon（亚马逊）；Sapienza University of Rome（罗马萨皮恩扎大学）；Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（信息、信号与智能系统实验室）
本研究提出预算感知路由框架QUORUM，通过特征信号估计实例难度、结合多标注者结果，在固定预算下动态分配任务，提升标注质量并降低成本。
2026-08-31 cs.CL
RuCoCo: a new Russian corpus with coreference annotation
ABBYY（ABBYY公司）；MIPT（莫斯科物理技术学院）；RSUH（俄罗斯国立人文大学）
我们提出了一个新的语料库与共指标注，俄语共指语料库（RuCoCo）。RuCoCo的目标是获得大量的注释文本，同时保持较高的注释者之间的一致性。RuCoCo包含俄语的新闻文本，其中一部分是从头开始注释的，其余的机器生成的注释是由人类注释者改进的。我们的语料库的大小是100万字，大约150，000次提及。我们将语料库公开。
2022-06-10 cs.CL
SHADE: Semantic Hypernym Annotator for Domain-specific Entities -- DnD Domain Use Case
University of Moratuwa（莫拉图瓦大学）
本文提出SHADE标注软件，针对龙与地下城等高度奇幻文学领域，通过预定义标签和约束机制解决实体标注成本高、一致性差及人为错误多的问题。
2024-06-29 cs.CE cs.CL
"You are an expert annotator": Automatic Best-Worst-Scaling Annotations for Emotion Intensity Modeling
Merck Data & AI Organization, Merck Group（默克集团默克数据与人工智能部门）；Institut für Maschinelle Sprachverarbeitung, University of Stuttgart（斯图加特大学机器语言处理研究所）；Fundamentals of Natural Language Processing, University of Bamberg（班贝格大学自然语言处理基础研究所）；Merck IT Centre, Merck Group（默克集团默克IT中心）
本研究自动化情感强度标注，比较三种方法发现最佳-最差标度可靠性最高，微调模型性能接近人工标注训练模型。
2026-09-17 cs.CL
Annotation Sensitivity: Training Data Collection Methods Affect Model Performance
LMU Munich（慕尼黑大学）；University of Maryland, College Park（马里兰大学帕克分校）；RTI International（RTI国际）
本文提出“标注敏感性”概念，通过五种标注工具条件收集仇恨言论标注并训练 BERT，证明数据收集设计会显著影响标注分布、模型性能、预测与学习曲线。
2024-01-22 cs.CL cs.LG stat.ME
The Impact of Annotator Personas on LLM Behavior Across the Perspectivism Spectrum
University of Marburg（马尔堡大学）；McMaster University（麦马斯特大学）；University of Mannheim（曼海姆大学）
本研究探索LLM在不同数据视角主义光谱下基于预定义角色标注仇恨言论的能力，发现LLM会选择性使用角色属性，且不依赖标注者信息的技术在弱视角下表现更优，强视角下接近人类标注水平。
2025-08-23 cs.CL
Reducing annotator bias by belief elicitation
University of Copenhagen（哥本哈根大学）；Copenhagen University Hospital（哥本哈根大学医院）；University of Vienna（维也纳大学）
本文提出通过询问标注者对其他标注者判断的信念来替代直接判断，从而在无需大量标注者或实例的情况下减少标注者偏差，并通过涉及民主党人和共和党人的实验验证了该方法能持续降低系统性偏差。
2024-10-21 cs.AI cs.CL econ.GN
Manual Annotation of Translational Equivalence: The Blinker Project
双语注释者被雇佣来将现代法语和现代英语的在线圣经版本之间的大约16000个对应单词联系起来。这些注释可从http://www.cis.upenn.edu/~melamed免费提供给研究社区。注释可用于多种目的。首先，它们可以用作开发和测试翻译词典和统计翻译模型的标准数据集。其次，词汇语义学的研究者将能够挖掘注释，以了解跨语言词汇化模式。第三，注释可以用于研究最近提出的单语词义消歧方法。本文介绍了注释文本，专门设计的注释工具，以及所采用的策略，以提高注释的一致性。注释过程由不同的注释者重复了五次。注释者之间的一致率表明，注释是合理可靠的，该方法是很容易复制。
1998-05-11 cmp-lg cs.CL
On Releasing Annotator-Level Labels and Information in Datasets
Google Research（谷歌研究院）；University of Southern California（南加州大学）
构建NLP数据集的一种常见做法，特别是使用众包注释，涉及获得对相同数据实例的多个注释者判断，然后通过多数投票，平均或裁定，将其展平以产生单个“地面真相”标签或分数。虽然这些方法在某些注释任务中可能是合适的，但这种聚合忽略了人类感知的社会构建性质，而相对更主观的任务的注释旨在捕获人类感知。特别是，注释者之间由于其社会文化背景和/或生活经历而产生的系统性分歧往往通过这种聚合而被混淆。在本文中，我们实证表明，标签聚合可能会引入个人和群体的观点的代表性偏见。基于这一发现，我们提出了一系列建议，以提高下游用例数据集的实用性和透明度。
2021-10-12 cs.CL cs.CY
Is GPT-3 a Good Data Annotator?
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
该研究针对GPT-3能否胜任NLP数据标注的问题，通过对比传统标注方法、分析多任务输出评估其标注性能，旨在揭示其作为通用NLP数据标注工具的潜力。
2023-06-14 cs.CL
Pre-trained Language Models as Re-Annotators
University of Edinburgh（爱丁堡大学）
注释噪声在数据集中普遍存在，但手动修改有缺陷的语料库是耗时且容易出错的。因此，给定预先训练的语言模型中的先验知识和所有注释之间的预期一致性，我们尝试通过两个任务自动减少语料库中的注释噪声：（1）注释不一致性检测，指示注释的可信度，以及（2）注释错误校正，纠正异常注释。我们研究了如何从预训练的语言模型中获取语义敏感的注释表示，期望即使没有微调，也能将具有相同注释的示例嵌入到相互相邻的位置。我们提出了一种新的可信度分数，以揭示基于相邻一致性的注释不一致的可能性。然后，我们微调预训练的语言模型为基础的分类器与交叉验证的注释校正。注释校正器进一步阐述了两种方法：（1）核密度估计的软标记和（2）一种新的远距离对等体对比损失。我们研究了关系抽取中的重标注，并创建了一个新的手动修改的数据集，Re-DocRED，用于评估文档级重标注。建议的可信度分数显示出与人类修订的一致性，在检测TACRED和DocRED上的不一致性时，二进制F1分别为93.4和72.5。此外，基于距离对等对比学习和不确定标签的邻域感知分类器在校正TACRED和DocRED上的注释时分别实现了高达66.2和57.8的Macro F1。这些改进不仅仅是理论上的：相反，自动去噪的训练集证明了最先进的关系抽取模型的性能提高高达3.6%。
2022-05-11 cs.AI cs.CL cs.HC
Sparse Probability of Agreement
IT University of Denmark（丹麦信息技术大学）
测量注释者之间的一致性对于注释任务很重要，但是许多度量标准需要一个完全注释的数据集，其中所有注释者都注释所有样本。我们定义了稀疏一致性概率SPA，它估计当并非所有注释者项对都可用时的一致性概率。我们表明，在一定条件下，SPA是一个无偏估计，我们提供了多种加权方案处理数据与不同程度的注释。
2023-02-24 cs.CL
Don't Waste a Single Annotation: Improving Single-Label Classifiers Through Soft Labels
The University of Sheffield（谢菲尔德大学）
针对单标签分类任务传统标注训练方法浪费标注分歧等信息的问题，提出利用标注者置信度、次选标签及分歧生成软标签的方法，可提升分类器在硬标签测试集上的性能与校准效果。
2023-11-09 cs.AI cs.CL cs.LG
NUTMEG: Separating Signal From Noise in Annotator Disagreement
University of Arkansas（亚拉巴马大学）；University of Michigan（密歇根大学）
本文提出贝叶斯模型NUTMEG，利用标注者背景识别人工标注中的噪声并保留系统性分歧，实验表明其在真值恢复和下游任务上均优于传统聚合方法。
2025-07-25 cs.CL
A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement
Effi Levi Department of Computer Science, The Hebrew University of Jerusalem（Effi Levi 计算机科学系，耶路撒冷希伯来大学）；Shaul R. Shenhav Department of Political Science, The Hebrew University of Jerusalem（Shaul R. Shenhav 政治学系，耶路撒冷希伯来大学）
本文提出将标注按层级概念分解的标注者间分歧分析方法，包含理论驱动与探索驱动两种策略，并在叙事分析数据集上验证其揭示分歧来源及潜在结构的能力。
2026-10-14 cs.CL
Assessing Semantic Annotation Activities with Formal Concept Analysis
本文提出基于形式概念分析评估语义标注活动的方法，通过概念格可视化本体使用情况，帮助专家指导标注者并优化本体，已在@note中实现并验证。
2025-01-19 cs.CL
SANTLR: Speech Annotation Toolkit for Low Resource Languages
Carnegie Mellon University（卡内基梅隆大学）
虽然低资源语音识别已经吸引了语音社区的大量关注，但是有一些工具可用于促进低资源语音收集。在这项工作中，我们提出了SANTLR：语音注释工具包低资源语言。它是一个基于网络的工具包，允许研究人员轻松地收集和注释低资源语言的语音语料库。注释者可以将此工具包用于两个目的：转录或记录。在转录中，注释者将转录研究人员提供的音频文件;在记录中，注释者将通过阅读提供的文本来记录他们的声音。我们强调这个工具包的两个属性。首先，SANTLR具有非常用户友好的用户界面（UI）。研究人员和注释者都可以使用这个简单的Web界面进行交互。注释者不需要具备音频或文本处理方面的专业知识。该工具包将处理所有预处理和后处理步骤。其次，我们采用了多步排名机制，促进注释过程。特别地，工具包将给予更高优先级的话语更容易注释并且更有利于实现注释的目标，例如快速训练声学模型。
2019-08-02 cs.CL cs.SD eess.AS
Annotation Imputation to Individualize Predictions: Initial Studies on Distribution Dynamics and Model Predictions
University of Minnesota（明尼苏达大学）；University of Notre Dame（圣母大学）
针对众包标注主观NLP数据集稀疏、易遗漏标注员观点的问题，提出用插补方法生成全标注员全样本观点的数据集，实验发现插补方法选择显著影响软标签分布，且能提升低响应率标注员的提示少样本效果。
2023-10-05 cs.CL
