Don't Waste a Single Annotation: Improving Single-Label Classifiers Through Soft Labels
The University of Sheffield(谢菲尔德大学)
针对单标签分类任务传统标注训练方法浪费标注分歧等信息的问题,提出利用标注者置信度、次选标签及分歧生成软标签的方法,可提升分类器在硬标签测试集上的性能与校准效果。
2023-11-09 cs.AI cs.CL cs.LG
Validating Label Consistency in NER Data Annotation
University of Notre Dame(圣母大学);Harbin Institute of Technology(哈尔滨工业大学)
数据注释在确保您的命名实体识别(NER)项目使用正确的信息进行训练方面起着至关重要的作用。由于注释的复杂性,生成最准确的标签是一项挑战。数据注释的多个子集之间的标签不一致(例如,训练集和测试集,或多个训练子集)是标记错误的指示符。在这项工作中,我们提出了一个实证的方法来探讨标签(不)一致性和NER模型性能之间的关系。它可用于验证多个NER数据标注集的标签一致性(或捕获不一致性)。在实验中,我们的方法识别了SCIERC和CoNLL 03数据集中的测试数据的标签不一致性(标签错误率分别为26.7%和5.4%)。它验证了两个数据集的校正版本的一致性。
2021-09-23 cs.AI cs.CL
LEAN-LIFE: A Label-Efficient Annotation Framework Towards Learning from Explanation
University of Southern California(南加州大学);Information Science Institute, University of Southern California(南加州大学信息科学研究所);Snap Inc.(Snap公司)
成功训练深度神经网络需要大量的标记数据。然而,每个标签只提供有限的信息来学习,并且收集必要数量的标签需要大量的人力。在这项工作中,我们介绍了LEAN-LIFE,一个基于Web的,标签高效的序列标签和分类任务的注释框架,具有易于使用的UI,不仅允许注释器为任务提供所需的标签,而且还可以为每个标签决策提供学习。这样的解释使我们能够从未标记的实例中生成有用的附加标记数据,从而支持可用的训练数据池。在三个流行的NLP任务(命名实体识别,关系抽取,情感分析)中,我们发现使用这种增强的监督可以使我们的模型超过竞争基准F1分数超过5-10个百分点,同时使用2倍更少的标记实例。我们的框架是第一个利用这种增强的监督技术,并这样做了三个重要的任务-从而为用户提供改进的注释建议,并能够构建(数据,标签,解释)三元组而不是常规(数据,标签)对的数据集。
2020-04-16 cs.AI cs.CL cs.LG
Modeling sequential annotations for sequence labeling with crowds
City University of Hong Kong(香港城市大学)
群体顺序注释可以是构建用于序列标记的大型数据集的有效且具有成本效益的方式。与标记独立实例不同,对于群体顺序注释,标签序列的质量依赖于注释者在捕获序列中每个标记的内部依赖性方面的专业知识水平。在本文中,我们提出了建模序列标注与人群(SA-SLC)。首先,开发了一个条件概率模型来联合建模顺序数据和注释者的专业知识,其中分类分布被引入到估计的可靠性,每个注释器捕获本地和非本地标签依赖顺序注释。为了加快边缘化的模型,有效的标签序列推理(VLSE)的方法,提出了从人群顺序标注获得有效的地面实况标签序列。VLSE从令牌级导出可能的地面实况标签,并在标签序列解码的前向推理中进一步修剪子路径。VLSE减少了候选标签序列的数量,并提高了可能的地面实况标签序列的质量。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
Enriched Annotations for Tumor Attribute Classification from Pathology Reports with Limited Labeled Data
University of California Berkeley(加州大学伯克利分校);University of California San Francisco(加州大学旧金山分校)
精准医疗有可能彻底改变医疗保健,但患者的大部分数据都被锁定在非结构化的自由文本中,限制了有效的个性化治疗的研究和交付。由于高质量注释所需的高水平专业知识,从临床笔记中生成用于信息抽取的大型注释数据集通常具有挑战性且昂贵。为了使小数据集的自然语言处理,我们开发了一种新的丰富的层次注释方案和算法,监督行注意力(SLA),并应用该算法预测分类肿瘤属性从肾脏和结肠癌病理报告加州大学旧金山分校(UCSF)。虽然以前的工作只注释文档级别的标签,我们还要求注释者丰富传统的标签,要求他们也突出显示相关的行或潜在的行的最终标签,这导致每个文档所需的注释时间增加了20%。通过丰富的注释,我们开发了一种简单且可解释的机器学习算法,该算法首先预测文档中的相关行,然后预测肿瘤属性。我们的研究结果表明,在每个癌症32,64,128和186个标记文档的小数据集大小中,SLA只需要一半的标记文档数量作为最先进的方法,就可以在我们进行的绝大多数比较中获得类似或更好的微观f1和宏观f1分数。考虑到增加的注释时间,这导致总注释时间比现有技术减少40%。
2020-12-15 cs.CL cs.LG
Learning to Contextually Aggregate Multi-Source Supervision for Sequence Labeling
University of Southern California(南加州大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
序列标记是解决各种自然语言处理问题的基本框架。它的性能在很大程度上受到监督学习场景中标注质量和数量的影响,并且获得地面真值标签通常是昂贵的。在许多情况下,地面真值标签并不存在,但是可以访问噪声注释或来自不同域的注释。在本文中,我们提出了一个新的框架共识网络(ConNet),可以在来自多个来源的注释上进行训练(例如,群组注释、跨域数据.)。它学习每个源的个体表示,并通过上下文感知注意模块动态地聚合特定于源的知识。最后,它导致一个模型,反映了多个来源之间的协议(共识)。我们在两个实际的多源学习环境中评估了所提出的框架:人群注释学习和无监督跨领域模型自适应。大量的实验结果表明,我们的模型在这两种设置中实现了显着的改进,比现有的方法。我们还表明,该方法可以适用于各种任务,并应付不同的编码器。
2020-04-16 cs.CL cs.LG
Knowledge Distillation in Automated Annotation: Supervised Text Classification with LLM-Generated Training Labels
University of Pennsylvania(宾夕法尼亚大学)
本文评估了用生成式LLM生成的标签替代人工标注数据来微调监督文本分类器的潜力,提出推荐工作流并在14个任务上复现实验,发现基于LLM标签微调的模型表现与人工标注相当,是一种快速高效且低成本的构建方法。
2024-06-25 cs.CL cs.LG
SciAnnotate: A Tool for Integrating Weak Labeling Sources for Sequence Labeling
Georgia Institute of Technology(佐治亚理工学院)
本文提出Web标注工具SciAnnotate,支持手动标注与多源弱标签创建,并集成语言模型评估,通过弱标签去噪在材料合成NER任务上减少53.7%标注时间并提升1.6%召回率。
2022-08-07 cs.CL
Different Tastes of Entities: Investigating Human Label Variation in Named Entity Annotations
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文研究英语、丹麦语和巴伐利亚语专家标注命名实体数据中的标注分歧,发现文本歧义和指南变更是主因,并通过学生标注调查证实多标注的可行性与必要性。
2024-02-02 cs.CL
Improving Training on Noisy Stuctured Labels
Stanford University(斯坦福大学)
细粒度的注释--例如密集的图像标签、图像分割和文本标记--在许多机器学习应用中很有用,但它们的生成是劳动密集型的。此外,在这些细粒度的注释中经常存在系统的、结构化的错误。例如,一辆汽车可能在图像中完全没有注释,或者汽车和街道之间的边界可能只被粗略地注释。对具有此类结构化错误的数据进行标准ML训练,会产生具有偏差和性能较差的模型。在这项工作中,我们提出了一个新的框架的纠错网络(ECN),以解决学习的挑战,在细粒度的注释结构化错误的存在。给定一个具有常见结构化错误的大型噪声数据集,以及一个具有更准确注释的小得多的数据集,与用于在噪声数据上训练的标准方法相比,ECN能够大幅提高细粒度注释的预测。它通过学习利用注释和噪声标签中的结构来做到这一点。在图像分割和文本标注上的系统实验表明,ECN在改进噪声结构化标签的训练方面具有很强的性能。
2020-03-08 cs.CL cs.LG stat.ML
EvoPool: Evolutionary Programmatic Annotation for Label-Efficient Specialized Supervision
Oregon State University(俄勒冈州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出进化多智能体框架EvoPool,通过程序化标注器迭代进化与投票聚合,在低标注成本下显著提升专业领域监督性能。
2026-06-01 cs.AI cs.CL
Constructing Artificial Data for Fine-tuning for Low-Resource Biomedical Text Tagging with Applications in PICO Annotation
University College London(伦敦大学学院);AIG(美国国际集团)
生物医学文本标记系统受到标记训练数据缺乏的困扰。最近已经尝试使用预先训练的编码器来处理这个问题。预训练的编码器提供输入文本的表示,然后将其馈送到特定于任务的层进行分类。整个网络根据来自目标任务的标记数据进行微调。不幸的是,一个低资源的生物医学任务往往有太少的标记的例子,令人满意的微调。此外,如果标签空间很大,则对于大多数标签,它包含很少或不包含带标签的实例。大多数生物医学标记系统将标签视为索引,忽略了这些标签通常是以自然语言表达的概念的事实,例如"脑成像上病变的外观"。为了解决这些问题,我们建议使用标签文本(即标签的名称)作为相应的标签索引(即标签的索引)的输入来构建额外的标签实例。事实上,我们提出了一些策略,从一个标签制造多个人工标记的实例。然后,网络在真实和这些新构建的人工标记实例的组合上进行微调。我们评估了一个重要的低资源生物医学任务称为\textit{PICO annotation},这需要标记原始文本描述临床试验与标签对应的不同方面的试验,即PICO(人群,干预/对照,结果)的试验特征。我们的实证结果表明,所提出的方法实现了一个新的国家的最先进的性能PICO注释与竞争对手的基线非常显着的改善。
2020-01-14 cs.CL cs.LG stat.ML
Dual Supervision Framework for Relation Extraction with Distant Supervision and Human Annotation
Seoul National University(首尔国立大学)
由于关系抽取在知识库构建和问答等实际应用中的重要性,关系抽取得到了广泛的研究。大多数现有的工作训练模型的远程监督数据或人类注释的数据。为了利用人工注释的高准确性和远程监督的廉价成本,我们提出了双重监督框架,有效地利用这两种类型的数据。然而,简单地结合两种类型的数据来训练RE模型可能会降低预测精度,因为远程监督具有标记偏差。我们使用两个独立的预测网络HA-Net和DS-Net分别通过人工注释和远程监督来预测标签,以防止由于远程监督的不正确标签而导致的准确性下降。此外,我们还提出了一个额外的损失项,称为不一致惩罚,使HA-Net能够从远程监督标签中学习。此外,我们利用额外的网络,通过考虑上下文信息自适应地评估标签偏差。我们对文件级和文档级RE的性能研究证实了双重监督框架的有效性。
2020-11-24 cs.AI cs.CL
PAWLS: PDF Annotation With Labels and Structure
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
Adobe的可移植文档格式(PDF)是一种流行的方式,用于分发具有丰富视觉标记的仅限查看的文档。这对希望使用PDF文档中包含的信息进行训练模型或数据分析的NLP从业者提出了挑战,因为注释这些文档很困难。在本文中,我们提出了PDF注释与标签和结构(PAWLS),一个新的注释工具,专为PDF文档格式。PAWLS特别适用于混合模式注释和注释者需要扩展上下文来准确注释的场景。PAWLS支持基于跨度的文本注释、N元关系和自由形式的非文本边界框,所有这些都可以以方便的格式导出,用于训练多模态机器学习模型。只读PAWLS服务器可在https://pawls.apps.allenai.org/上获得,源代码可在https://github.com/allenai/pawls上获得。
2021-01-25 cs.CL
Aggregating Soft Labels from Crowd Annotations Improves Uncertainty Estimation Under Distribution Shift
University of Copenhagen, Department of Computer Science(哥本哈根大学计算机科学系)
本文首次大规模研究域外设置下众包软标签学习,提出简单平均聚合软标签,在多数任务中提升不确定性估计且保持性能,代码已开源。
2025-04-22 cs.CL
Annotation Guidelines for the Turku Paraphrase Corpus
University of Turku(图尔库大学)
本文档描述了用于构建图尔库释义语料库的注释指南。这些指南是与语料库注释一起制定的,并在注释工作中定期修订和扩展。我们的释义注释方案使用基本尺度1-4,其中标签1和2用于否定候选(不是释义),而标签3和4至少在给定的上下文中是释义,如果不是到处都是。除了基本标签之外,该方案还丰富了额外的子类别(标志),用于对两个正标签内的不同类型的释义进行分类,使得注释方案适合于更细粒度的释义分类。注释方案用于注释超过100,000芬兰语释义对。
2021-08-19 cs.CL
Do We Still Need Humans in the Loop? Human vs. LLM Annotation in Active Learning for TikTok Hate Speech Detection
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);Munich Center for Machine Learning(慕尼黑机器学习中心)
研究比较了LLM与人类在主动学习中的标注效果,发现LLM标注成本更低且性能更优,但主动学习在LLM标注下无优势。
2026-09-01 cs.AI cs.CL
A Fully Automated Pipeline for Conversational Discourse Annotation: Tree Scheme Generation and Labeling with Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出利用大语言模型自动生成树状标注方案并完成对话语篇标注的全自动流程,在SFs和SWBD-DAMSL上验证其可超越人工设计树方案并达到或超过人类标注水平。
2025-06-03 cs.CL
Scaling Public Health Text Annotation: Zero-Shot Learning vs. Crowdsourcing for Improved Efficiency and Labeling Accuracy
University of Toronto(多伦多大学);Dalla Lana School of Public Health(达拉·拉纳公共卫生学院);Institute of Health Policy, Management, and Evaluation (IHPME)(卫生政策、管理与评价研究所);Faculty of Information(信息学院);Schwartz Reisman Institute(施瓦茨·赖斯曼研究所)
本研究针对公共卫生社交媒体数据标注耗时昂贵的问题,对比零样本LLM标注与传统众包标注的表现,发现LLM在简单分类任务中可媲美人类且大幅提速,但复杂任务准确性下降,为公共卫生研究标注提供高效方案。
2025-02-10 cs.CL
T-Projection: High Quality Annotation Projection for Sequence Labeling Tasks
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学HiTZ中心-Ixa)
本文提出T-Projection,利用多语言T5模型和机器翻译技术,将标注投影分解为候选生成与选择两步,在多语种实验中显著优于现有方法,有效缓解序列标注任务缺乏高质量训练数据的问题。
2023-10-24 cs.CL
Data-efficient Active Learning for Structured Prediction with Partial Annotation and Self-Training
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种结合部分标注与自训练的主动学习方法,利用误差估计器自适应决定部分选择比例,在四个结构化预测任务中有效降低了标注成本。
2023-10-19 cs.CL
Multi-label and Multi-target Sampling of Machine Annotation for Computational Stance Detection
DSO National Laboratories(国防科技局国家实验室);Institute for Infocomm Research (IR), A*STAR(资讯通信研究院(科技研究局))
针对人工标注难以扩展的问题,该研究提出多标签多目标采样策略优化大语言模型的立场检测自动标注质量,在基准语料上显著提升了性能与学习效率。
2023-11-08 cs.CL
HERALD: An Annotation Efficient Method to Detect User Disengagement in Social Conversations
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
开放域对话系统有一个以用户为中心的目标:为人类提供一个引人入胜的对话体验。用户参与度是评估开放域对话系统的最重要指标之一,也可以用作实时反馈,以利于对话策略学习。现有的检测用户脱离的工作通常需要手工标记许多对话框样本。我们提出了HERALD,一个有效的注释框架,重新定义的训练数据注释过程作为一个去噪问题。具体来说,我们首先使用一组标记算法来自动标记训练样本,而不是手动标记训练样本。然后,我们使用Shapley算法对弱标记数据进行去噪。最后,我们使用去噪的数据来训练用户参与检测器。实验结果表明,HERALD显著提高了标注效率,在两个对话语料库中达到了86%的用户脱离检测准确率。
2021-06-02 cs.CL
A Comparative Study on Annotation Quality of Crowdsourcing and LLM via Label Aggregation
University of Yamanashi(山梨大学)
本文构建众包数据集基准,比较个体众包与 LLM 标签及聚合标签质量,并提出 Crowd-LLM 混合聚合方法,证明加入优质 LLM 标签可提升众包聚合标签质量。
2024-01-18 cs.CL cs.HC
Humans Hallucinate Too: Language Models Identify and Correct Subjective Annotation Errors With Label-in-a-Haystack Prompts
University of Southern California(南加州大学)
针对自然语言处理中主观任务的人类标注差异问题,提出“草垛中的标签”纠正框架LiaHR,利用大型语言模型识别并纠正主观标注错误,提升标注信噪比,经实验验证有效。
2025-09-12 cs.CL
MEGAnno+: A Human-LLM Collaborative Annotation System
Megagon Labs(美嘉贡实验室)
针对LLM在复杂语境下可能标注错误的问题,本文提出MEGAnno+人机协作标注系统,通过智能体管理、稳健标注与人类探索性验证提升标签质量。
2024-02-28 cs.CL cs.HC
The Ecological Fallacy in Annotation: Modelling Human Label Variation goes beyond Sociodemographics
Bielefeld University(比勒费尔德大学);University of Oxford(牛津大学);Bocconi University(博科尼大学)
针对NLP注释中的生态谬误,提出在多注释者模型中加入群体特定层以显式建模社会人口统计学,但实验表明此举未能显著提升有毒内容检测性能,说明个体注释行为受更复杂因素影响。
2023-06-20 cs.CL
BERT-Assisted Semantic Annotation Correction for Emotion-Related Questions
University of St. Thomas(圣托马斯大学)
注释数据传统上用于提供用于训练监督机器学习(ML)模型的输入。然而,当前用于自然语言处理(NLP)的预训练ML模型包含可用于通知注释过程的嵌入式语言信息。我们使用BERT神经语言模型将信息反馈到注释任务中,该任务涉及在一个名为情感二十问题(EMO20 Q)的提问游戏中对对话行为进行语义标记。首先,我们描述了BERT的背景,EMO20 Q数据,和辅助注释任务。然后我们描述了微调BERT以检查注释标签的方法。为此,我们使用释义任务作为一种检查具有相同注释标签的所有话语都被归类为彼此的释义的方法。我们表明,这种方法是一种有效的方式来评估和修改文本用户数据的注释与复杂的,话语级的语义标签。
2022-04-02 cs.CL
Retrieval-Based Multi-Label Legal Annotation: Extensible, Data-Efficient and Hallucination-Free
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种基于检索的多标签法律标注方法,该方法通过嵌入文档和标签描述,利用冻结的检索模型进行k近邻搜索,实现了高效的数据标注,同时避免了生成模型的幻觉问题,展示了在高基数和快速变化的法律标签空间中的实用性。
2026-05-16 cs.CL
Cost-aware LLM-based Online Dataset Annotation
Dept. of Electrical and Computer Engineering(电气与计算机工程系);Carnegie Mellon University(卡内基梅隆大学);Dept. of Electrical Engineering(电气工程系);Bilkent University(比尔肯特大学)
本文提出CaMVo框架,通过自适应选择LLM子集降低标注成本,实现高效准确的数据集标注。
2025-12-15 cs.CL cs.IT cs.LG
DART: A Lightweight Quality-Suggestive Data-to-Text Annotation Tool
Saarland University(萨尔兰大学);Microsoft Corporation(微软公司)
我们提出了一个轻量级的注释工具,数据AnnotatoR工具(DART),用于标记结构化数据与文本描述的一般任务。该工具被实现为交互式应用,其减少了在注释大量结构化数据(例如,以表格或树结构的格式)时的人工努力。通过使用后端序列到序列模型,我们的系统迭代地分析注释的标签,以便更好地对未标记的数据进行采样。在对大量结构化数据进行注释的模拟实验中,DART已被证明可以减少主动学习和自动建议相关标签所需的注释总数。
2020-12-01 cs.CL
Keeping Humans in the Loop: Human-Centered Automated Annotation with Generative AI
University of Pennsylvania(宾夕法尼亚大学)
本文提出以人为中心的框架评估自动化标注,使用GPT-4在11个数据集上复制27项任务,发现LLM表现存在显著差异,强调人工验证标签对负责任评估至关重要。
2024-09-21 cs.CL
Clean or Annotate: How to Spend a Limited Data Collection Budget
ASAPP(ASAPP公司);Columbia University(哥伦比亚大学);New York University(纽约大学)
众包平台通常用于收集数据集以训练机器学习模型,尽管与专家标记相比,标记的不准确程度更高。有两种常见的策略来管理这种噪音的影响。第一种方法涉及聚合冗余注释,但代价是标记的示例数量大大减少。其次,之前的工作也考虑使用整个注释预算来标记尽可能多的示例,然后应用去噪算法来隐式地清理数据集。我们找到了一个中间立场,并提出了一种方法,保留一小部分的注释明确清理高度可能的错误样本,以优化注释过程。特别是,我们分配了很大一部分标记预算来形成用于训练模型的初始数据集。然后,该模型用于识别最有可能不正确的特定示例,我们将花费剩余的预算重新标记。在三个模型变化和四个自然语言处理任务的实验表明,我们的方法优于或匹配标签聚合和高级去噪方法,旨在处理嘈杂的标签时,分配相同的有限注释预算。
2022-06-12 cs.CL
ReasonScaffold: A Scaffolded Reasoning-based Annotation Protocol for Human-AI Co-Annotation
University of Minnesota, Twin Cities(明尼苏达大学,双城分校)
本文提出ReasonScaffold协议,通过暴露LLM生成的推理过程来提升标注一致性,发现推理能增加标注者一致性和最小化修订,为人类与AI协同标注提供实用机制。
2026-04-15 cs.CL
Hybrid Annotation for Propaganda Detection: Integrating LLM Pre-Annotations with Human Intelligence
Quality and Usability Lab, Technische Universität Berlin, Germany(柏林技术大学质量与可用性实验室);German Research Center for Artificial Intelligence (DFKI), Berlin, Germany(德国人工智能研究中心(DFKI))
提出融合 LLM 预标注与人工验证的宣传检测混合标注框架,通过层级分类、LLM 数据蒸馏训练 SLM,显著提升标注一致性与效率。
2025-07-24 cs.CL
Transcript-Prompted Whisper with Dictionary-Enhanced Decoding for Japanese Speech Annotation
Baidu Inc.(百度公司)
本文面向日语 TTS 数据集构建,提出以真实转写为条件微调 Whisper,并结合词典增强解码同步生成字素与音位、韵律标签,显著提升标注质量且合成语音自然度媲美人工标注。
2025-06-09 cs.CL cs.SD eess.AS