arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.14099cs.CL
收藏

让指南指引你:一种以指南为中心的规定性数据标注方法

Let Guidelines Guide You: A Prescriptive Guideline-Centered Data Annotation Methodology

University of Bologna(博洛尼亚大学);DISI, University of Bologna(博洛尼亚大学DISI学院);DIT, University of Bologna(博洛尼亚大学DIT学院)

Federico Ruggeri, Eleonora Misino, Arianna Muti, Katerina Korre, Paolo Torroni, Alberto Barrón-Cedeño

AI总结:

本文提出GCAM标注方法,通过记录每条样本对应的标注指南来减少信息损失、保证指南遵循并促进跨任务数据复用,人工研究与模型实验均表明其可改善标注质量与错误分析。

摘要:

我们提出了以指南为中心的标注方法(Guideline-Centered Annotation Methodology,GCAM),这是一种新颖的数据标注方法,旨在报告与每个数据样本相关联的标注指南。我们的方法通过减少标注过程中的信息损失并确保遵循指南,解决了标准规定性标注方法的三个关键局限。此外,GCAM支持在多个任务之间高效复用已标注数据。我们通过两种方式评估GCAM:(i)一项人工标注研究,以及(ii)使用若干机器学习模型进行的实验评估。我们的结果从多个角度凸显了GCAM的优势,证明了其在提升标注质量和错误分析方面的潜力。

英文摘要:

We introduce the Guideline-Centered Annotation Methodology (GCAM), a novel data annotation methodology designed to report the annotation guidelines associated with each data sample. Our approach addresses three key limitations of the standard prescriptive annotation methodology by reducing the information loss during annotation and ensuring adherence to guidelines. Furthermore, GCAM enables the efficient reuse of annotated data across multiple tasks. We evaluate GCAM in two ways: (i) through a human annotation study and (ii) an experimental evaluation with several machine learning models. Our results highlight the advantages of GCAM from multiple perspectives, demonstrating its potential to improve annotation quality and error analysis.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑