The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction
Laboratory for the Modeling of Biological and Socio-technical Systems, Northeastern University(生物与社会技术系统建模实验室,东北大学);Heriot-Watt University(赫瑞-沃顿大学);aequa-tech;Università del Piemonte Orientale(皮埃蒙特东方大学);Università degli Studi di Torino(托斯卡纳大学)
提出结合共形预测与协同过滤式标注者表征的框架,通过幽灵预测度量和幽灵标注者表征量化模型预测与所有人类标注的分歧,并发现模型在标注者分歧时不确定性增加,但大型模型对无人类对齐文本更自信,且存在结构性人口统计偏差。
2026-07-16 cs.CL
Diverging Preferences: When do Annotators Disagree and do Models Know?
New York University(纽约大学);Allen Institute for Artificial Intelligence(人工智能研究院);NVIDIA(NVIDIA公司);University of Washington(华盛顿大学);University of Southern California(南加州大学)
本文研究了标注者分歧的来源,发现任务不明确等因素导致大多数分歧,并提出方法以减轻其在LLM评估和训练中的影响。
2026-03-03 cs.CL
SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators
AIRI;Skoltech(斯克里普挑战学院);Sber AI;ISP RAS Research Center for Trusted AI(俄罗斯科学院可信人工智能研究中心)
本文提出SynthDetoxM多语言并行去毒化数据集,利用九个开源大语言模型在少样本设置下生成16,000个高质量句子对,实验证明其训练效果优于人工标注数据集和所有被评估的大语言模型。
2025-02-10 cs.CL
Fine-Tuning LLMs with Fine-Grained Human Feedback on Text Spans
Columbia University(哥伦比亚大学);Microsoft(微软公司);Johns Hopkins University(约翰霍普金斯大学)
本文提出基于文本片段的细粒度人类反馈方法,通过反馈驱动的改进链提升语言模型微调效果。
2025-12-29 cs.CL
AI on AI: Exploring the Utility of GPT as an Expert Annotator of AI Publications
Georgetown University(乔治城大学)
本研究利用 GPT 聊天机器人通过提示工程对 AI 出版物进行专家级标注,以 94% 的准确率接近 SPECTER 的 96%,且基于 GPT 标注数据训练的分类器性能提升 9%,展示了聊天机器人在专业标注中的可靠性。
2024-03-14 cs.CL
Language Model as an Annotator: Unsupervised Context-aware Quality Phrase Generation
College of Economics and Management, Beijing University of Technology(北京工业大学经济与管理学院);School of Economics and Management, Beihang University(北京航空航天大学经济与管理学院);Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系)
提出LMPhrase框架,利用预训练语言模型BERT作为标注器生成银标签,并用BART作为生成器进行序列生成,合并两者结果实现无监督上下文感知的质量短语挖掘,在两个粒度任务上超越现有方法。
2023-12-28 cs.CL
Annotation alignment: Comparing LLM and human annotations of conversational safety
Cornell Tech(康奈尔科技学院);University of Washington(华盛顿大学)
本研究通过标注一致性探究LLM与人类对对话安全判断的契合度,基于DICES数据集实验发现GPT-4与人类平均标注相关度高于普通标注者中位数,同时指出群体差异及个体异质性对标注一致性的影响,以及GPT-4在群体安全感知差异预测上的局限。
2024-10-07 cs.CL
A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements
College of Computer Science and Engineering, Taibah University(塔伊巴大学计算机科学与工程学院);School of Computer Science and Informatics, University of Liverpool(利物浦大学计算机科学与信息学院)
本文比较了三种竞争力问题生成方法:人工编制、模式实例化和LLM生成,发现不同方法有不同特点,LLM生成的问题需进一步优化才能用于需求建模。
2026-04-01 cs.CL
Are Chatbots Reliable Text Annotators? Sometimes
Center for Humanities Computing, Aarhus University(奥胡斯大学人文计算中心);Department of Political Science, Aarhus University(奥胡斯大学政治学系)
本研究比较了ChatGPT与开源大语言模型及监督分类器在二元文本标注任务上的性能,发现监督分类器(DistilBERT)通常更优,建议谨慎使用ChatGPT进行文本标注。
2025-02-25 cs.AI cs.CL
Investigating Annotator Bias in Large Language Models for Hate Speech Detection
University of North Alabama(北阿拉巴马大学);Murray State University(默里州立大学);Wichita State University(威奇托州立大学);California State Polytechnic University Pomona(加州州立理工大学波莫纳分校);Auburn University at Montgomery(奥本大学蒙哥马利分校);Auburn University(奥本大学);Gustavus Adolphus College(古斯塔夫斯·阿道弗斯学院);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本文研究了GPT-3.5、GPT-4o、Llama-3.1和Gemma-2四个LLMs在仇恨言论数据标注中于性别、种族、宗教和残疾四类偏见,引入HateBiasNet数据集并在ETHOS上验证,为利用LLMs进行数据标注提供指导。
2024-11-16 cs.AI cs.CL cs.LG
AFaCTA: Assisting the Annotation of Factual Claim Detection with Reliable LLM Annotators
ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学);Swiss Finance Institute (SFI)(瑞士金融学院)
针对事实性声明检测中定义不一致和标注成本高的问题,提出AFaCTA框架,利用LLM沿三条推理路径校准置信度以辅助标注,并构建了PoliClaim数据集。
2024-06-02 cs.AI cs.CL
Evaluating Large Language Models on the Spanish Medical Intern Resident (MIR) Examination 2024/2025:A Comparative Analysis of Clinical Reasoning and Knowledge Application
Universidad de Alcalá(阿尔卡拉大学);Binpar(宾帕尔(Binpar))
本文评估22个LLM在2024/2025年西班牙MIR医学考试中的临床推理、专业知识与多模态能力,发现领域微调模型准确率更优。
2025-03-16 cs.AI cs.CL
Scalable and Culturally Specific Stereotype Dataset Construction via Human-LLM Collaboration
Dartmouth(达特茅斯学院)
针对大语言模型刻板印象研究多集中于英语语境的问题,引入人机协作标注框架构建西班牙语刻板印象数据集EspanStereo,验证框架有效性,揭示各国刻板行为差异,该框架可扩展用于多语言,拓宽了刻板印象分析范围并奠定跨文化偏见评估基础。
2026-07-10 cs.CL
Beyond Human Judgment: A Bayesian Evaluation of LLMs' Moral Values Understanding
University of Luxembourg(卢森堡大学);Kozminski University(科兹明斯基大学);SWPS University(SWPS大学)
本文通过贝叶斯方法评估了LLMs在道德价值观理解上的表现,发现AI模型在准确率和敏感性方面优于人类标注者。
2025-11-20 cs.CL cs.HC
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation
Yale University(耶鲁大学);Salesforce AI(Salesforce人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出ACU细粒度人类评估协议并构建含22,000条标注的RoSE基准,系统比较评估协议与50种自动指标,揭示LLM可能过拟合非稳健人类评估。
2023-06-06 cs.CL
QuanReview: Offline, Auditable Reconciliation of Human and LLM Span Annotations
Universidad de San Andrés(圣安德烈斯大学);ISI Foundation(ISI基金会);CONICET(国家科学与技术研究委员会);UNICEF(联合国儿童基金会)
QuanReview是一个开源系统,用于离线审计和纠正人类与LLM的跨度标注,通过对齐、策略决策和人工裁决,自动合并8%文档并集中处理冲突,确保标注质量与可信度。
2026-09-29 cs.CL
The Model's Language Matters: A Comparative Privacy Analysis of LLMs
Inria(法国国家信息与自动化研究所);INSA Lyon(里昂国立应用科学学院);CITI(信息与技术研究所)
本研究首次定量证明语言结构影响大语言模型的隐私泄露,意大利语泄露最强,法语和西班牙语更稳健,需语言感知的隐私保护机制。
2025-10-09 cs.CL cs.CR
COGNAC at SemEval-2026 Task 5: LLM Ensembles for Human-Level Word Sense Plausibility Rating in Challenging Narratives
Florida International University Knight Foundation School of Computing and Information Sciences(佛罗里达国际大学骑士基金会计算与信息科学学院)
本文提出使用多个闭源商业LLM的集成方法,通过三种提示策略提升短篇故事中多义词词义可信度评估的准确性,最终在比赛中获得第四名。
2026-03-16 cs.AI cs.CL
Span Modeling for Idiomaticity and Figurative Language Detection with Span Contrastive Loss
Japan Advanced Institute of Science and Technology(日本科学技术先进研究院)
本文提出结合槽损失和跨度对比损失的BERT和RoBERTa模型,提升隐喻性检测性能,在现有数据集上取得最佳序列准确率。通过消融研究验证了SCL的有效性及泛化能力,并提出几何均值F1和序列准确率的综合评估方法。
2026-03-24 cs.CL
Explaining Interactions Between Text Spans
University of Copenhagen(哥本哈根大学);University of Michigan(密歇根大学)
针对自然语言理解任务中文本跨度交互解释的缺失,研究引入 SpanEx 多标注者数据集,对比微调大模型与人类的决策过程,并提出基于社区检测的无监督方法提取交互解释。
2023-10-20 cs.AI cs.CL
EvoPool: Evolutionary Programmatic Annotation for Label-Efficient Specialized Supervision
Oregon State University(俄勒冈州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出进化多智能体框架EvoPool,通过程序化标注器迭代进化与投票聚合,在低标注成本下显著提升专业领域监督性能。
2026-06-01 cs.AI cs.CL
Identifying Imaging Follow-Up in Radiology Reports: A Comparative Analysis of Traditional ML and LLM Approaches
Department of Information Sciences and Technology, George Mason University, Fairfax, VA, USA(信息科学与技术系,乔治·玛莎大学,弗吉尼亚州, Fairfax);Department of Linguistics, University of Washington, Seattle, WA, USA(语言学系,华盛顿大学,西雅图,华盛顿州,美国);Department of Radiology, School of Medicine, University of Washington, Seattle, WA, USA(放射学系,医学院,华盛顿大学,西雅图,华盛顿州,美国)
本研究构建放射学报告随访标注语料库,对比传统机器学习与大语言模型的随访状态识别性能,发现提示优化的大语言模型表现最优,轻量传统模型仍具基线价值。
2025-11-14 cs.CL
Enhancing Human Evaluation in Machine Translation with Comparative Judgment
Manning College of Information and Computer Sciences, UMass Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院);Google(谷歌公司)
本研究将比较判断引入机器翻译人工评估,对比MQM、SxS MQM和SxS RR三种标注设置,发现SxS设置提高标注一致性并突出细微错误,且SxS RR更高效,同时发布三重标注数据集以促进研究。
2025-02-25 cs.CL
AI-Assisted Human Evaluation of Machine Translation
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软公司)
本研究提出利用面向召回率的自动质量估计预填错误标注,辅助人工评估机器翻译质量,在保持标注质量的同时将每个错误跨度的标注时间减半,并通过过滤AI认为正确的示例进一步减少近25%的标注预算。
2025-01-29 cs.CL
AraHopeCorpus: Annotation Guidelines and Dataset for Hope Speech in Arabic Social Media Crisis Discourse
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Northwestern University in Qatar(卡塔尔西北大学)
本文介绍首个阿拉伯语希望言语数据集AraHopeCorpus,基于2023-2024年加沙战争相关YouTube评论,通过详细标注框架分类为希望言语、无希望言语和中性/模糊话语,发现希望言语占主导(64%以上),并分析了标注挑战与大型语言模型的局限性。
2026-05-22 cs.CL
Conversational Feedback in Scripted versus Spontaneous Dialogues: A Comparative Analysis
Norwegian Computing Center(挪威计算中心);CEFC, CNRS, MEAE(CEFC、法国国家科学研究中心、法国欧洲与海外领地部);Aix Marseille Université & CNRS(艾克斯-马赛大学、法国国家科学研究中心);Faculty of Linguistics and Literary Studies, Bielefeld University(比勒费尔德大学语言与文学学院)
本文通过八种语言对话数据比较脚本字幕与自发对话中的交际反馈,发现字幕反馈更少且负面反馈更多,并指出大语言模型生成的对话在反馈特征上更接近脚本对话。
2024-10-03 cs.CL
Something Just Like TRuST : Toxicity Recognition of Span and Target
Penn State University(宾夕法尼亚州立大学)
TRuST是一个大规模数据集,用于评估和减轻大型语言模型的毒性,通过精心设计的定义和标注方案,提升毒性检测、目标识别和有毒词汇识别的性能。
2026-01-05 cs.AI cs.CL
Order from Chaos: Comparative Study of Ten Leading LLMs on Unstructured Data Categorization
RingCentral(RingCentral公司);UC Davis(加州大学戴维斯分校)
本研究比较十种大语言模型在非结构化文本分类中的表现,发现经典指标中等且存在过度生成,提出集成方法显著提升准确性并消除幻觉。
2025-10-14 cs.AI cs.CL
Optimal word order for non-causal text generation with Large Language Models: the Spanish case
University of Vigo(维戈大学)
本文针对单向因果LLM可能不适应自由词序语言的问题,提出基于Viterbi算法的最大似然词序估计方法,并通过西班牙语实验比较非因果与因果生成顺序。
2025-02-20 cs.CL
Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base
Westlake University(西湖大学);Zhejiang University(浙江大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);CUHK(香港中文大学);Peking University(北京大学)
本文通过定义知识承载与知识无关标记,分析预训练语言模型在知识检索中的内部行为,提出两种自监督方法增强模型从非结构化文本中获取知识,并在知识密集型任务上验证有效性。
2023-10-11 cs.AI cs.CL
YEDDA: A Lightweight Collaborative Text Span Annotation Tool
Singapore University of Technology and Design(新加坡科技设计大学)
在本文中,我们介绍了\textsc{Yedda},一个轻量级的,但有效的和全面的开源工具的文本跨度注释。\textsc{Yedda}为文本跨度标注提供了一个系统化的解决方案,范围从协作用户标注到管理员评估和分析。它克服了传统文本注释工具的低效率,通过注释实体通过命令行和快捷键,这是可配置的自定义标签。\textsc{Yedda}还通过学习最新的注释文本提供智能建议。开发了一个管理员客户端来评估多个注释器的注释质量,并为每个注释器对生成详细的比较报告。实验表明,该系统可以减少一半的注释时间相比,现有的注释工具。通过智能推荐,标注时间可进一步压缩16.47%。
2018-05-25 cs.CL
Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study
Nantes Université(南特大学);CHU Nantes(南特大学医院中心);INSERM(法国国家健康与医学研究院);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本文比较了三种基于Longformer的法语生物医学长文档适配策略,发现用英语临床模型继续预训练法语生物医学文本效果最佳,长序列模型在多数下游任务上优于BERT,但BERT在命名实体识别上仍最高效。
2024-02-26 cs.AI cs.CL
A Study on Agreement in PICO Span Annotations
Nanyang Technological University(南洋理工大学)
本文研究专家与非专家在PICO文本跨度标注中的一致性,发现边界差异大但大致区域共识高,主张联合使用标准与宽松一致性指标。
2019-04-21 cs.CL cs.IR
Who Watches the Watchmen? Humans Disagree With Translation Metrics on Unseen Domains
University of Göttingen(哥廷根大学)
本文通过跨领域误差跨度标注数据集分析,发现自动度量在领域转移下表现稳健,但需考虑人类标注变异,建议比较度量与人类一致性和标注者间一致性。
2026-04-21 cs.CL
Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study
University of Birmingham(伯明翰大学);Guangdong University of Foreign Studies(广东外语外贸大学)
本文通过LLM辅助生成可解释的规则脚本,对中文隐喻识别进行跨协议比较,发现协议选择是影响识别结果的主要因素。
2026-03-11 cs.CL cs.IR
Strategic Prompting for Conversational Tasks: A Comparative Analysis of Large Language Models Across Diverse Conversational Tasks
IIT Patna(印度理工学院巴特那分校);Accenture(埃森哲)
针对对话任务中LLM的性能评估需求,本文对Llama、OPT等五种主流模型在预订、共情生成等多任务中进行自动与人工评估,发现无通用最优模型,性能因任务而异,强调需依据任务特性选模型。
2024-11-28 cs.AI cs.CL
UTNLP at SemEval-2021 Task 5: A Comparative Analysis of Toxic Span Detection using Attention-based, Named Entity Recognition, and Ensemble Models
University of Tehran(德黑兰大学)
检测句子的哪些部分导致了句子的毒性,而不是提供一个令人讨厌的判决,这将增加模型的可解释性,并允许人类主持人更好地理解系统的输出。本文介绍了我们团队的UTNLP方法和SemEval-2021共享任务5中关于有毒跨度检测的结果。我们测试了多个模型和上下文嵌入,并报告了最好的设置。实验从基于关键字的模型开始,然后是基于注意力的,基于命名实体的,基于变换器的和集成模型。我们最好的方法,合奏模型,在比赛的评估阶段达到了0.684的F1。
2021-04-10 cs.CL
Codebook-Injected Dialogue Segmentation for Multi-Utterance Constructs Annotation: LLM-Assisted and Gold-Label-Free Evaluation
Cornell University(康奈尔大学);LMU Muinich(慕尼黑大学)
本文提出一种基于LLM的对话分割方法,通过代码表注入提升分割一致性,并在无黄金标签情况下评估不同分割器的性能,发现需根据下游任务优化分割策略。
2026-01-22 cs.AI cs.CL
Vroom-Vroom at SHROOM-Visions: A Multi-Judge Committee for Detecting Hallucinated Spans in Vision-Language Outputs
VTT Technical Research Centre of Finland(芬兰国家技术研究中心)
本文提出多评委委员会方法,通过微调视觉语言模型投票检测幻觉片段,在SHROOM-Visions任务中三种语言排名第一,并发现模型分歧与人类分歧相关。
2026-09-17 cs.AI cs.CL
Model-based annotation of coreference
University of Copenhagen(哥本哈根大学)
人类不会对文本进行推理,而是对文本内容的模型进行推理。因此,当注释者被要求注释文本的相关范围时,这是一个有点不自然的任务。本文提出了一种替代方案,我们预处理文档,链接实体的知识库,并把共指注释任务-在我们的情况下,仅限于代词-到一个注释任务,注释者被要求分配代词的实体。基于模型的注释,导致更快的注释和更高的注释者之间的协议,我们认为,它也开辟了另一种方法,共指消解。我们提出了两个新的共指基准数据集,英语维基百科和英语师生对话,并评估他们的最先进的共指解析器。
2020-03-01 cs.CL
Understanding and Analyzing Inappropriately Targeting Language in Online Discourse: A Comparative Annotation Study
本文通过整合众包、专家与ChatGPT标注,比较分析在线对话中的不当针对性语言,揭示语境关键作用并发现新类别,为改进内容审核提供见解。
2025-05-22 cs.CL
LinguistAgent Technical Report: A Reflective Multi-Model Platform for Automated Linguistic Annotation
University of Birmingham(伯明翰大学)
LinguistAgent通过反思多模型架构实现自动化语言标注,采用双代理工作流程模拟同行评审,支持多种标注范式并提供实时评估。
2026-07-22 cs.AI cs.CL cs.MA
Unsupervised Word-level Quality Estimation for Machine Translation Through the Lens of Annotators (Dis)agreement
CLCG, University of Groningen(格罗宁根大学认知语言学与认知科学研究中心);ETH Zurich(苏黎世联邦理工学院)
针对机器翻译词级质量估计(WQE)现有技术成本高的问题,本研究提出利用语言模型可解释性与不确定性量化的无监督替代方案,经多标签评估发现其未开发潜力,同时揭示了监督方法在标签不确定性下的不足及单一标注者评估的脆弱性。
2025-05-29 cs.AI cs.CL cs.HC
Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks
University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学)
当注释者标记数据时,质量保证的一个关键指标是注释者间一致性(IAA):注释者在标签上达成一致的程度。虽然许多IAA措施存在简单的分类和顺序标签任务,相对较少的工作考虑了更复杂的标签任务,如结构化,多对象,和自由文本注释。Krippendorff的alpha以用于简单的标记任务而闻名,确实有一个基于距离的公式,具有更广泛的适用性,但很少有工作研究其在复杂注释任务中的有效性和一致性。我们调查的IAA措施的设计和评估复杂的注释任务,评估跨越七个不同的任务:图像边界框,图像关键点,文本序列标记,排名列表,自由文本翻译,数字向量和语法树。我们发现可解释性的困难和选择距离函数的复杂性是在这些任务中普遍应用克里彭多夫阿尔法的关键障碍。我们提出了两个新的,更可解释的措施,表明他们产生更一致的IAA措施跨任务和注释距离函数。
2022-12-15 cs.CL cs.LG
Activating the Annotator: Operationalising Lived Experience in Data Annotation
University of Toronto(多伦多大学)
本研究针对视角主义NLP缺乏将标注者立场落地方法的问题,提出AXLE预标注阶段,经2×2被试间研究证实其可凸显多元性,提升身份共鸣与伤害敏感性。
2026-10-12 cs.CL cs.CY cs.HC
Contrastive ESA: Human Evaluation of Multiple Translations at Once
该研究提出对比式错误跨度标注(cESA)协议,通过展示同一源输入的多个翻译结果进行人工评估,可减少标注时间与噪声,无需事后修正即可实现可解释的非参数模型排序。
2026-07-30 cs.CL cs.HC
ezCoref: Towards Unifying Annotation Guidelines for Coreference Resolution
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Brown University(布朗大学);Google(谷歌)
大规模、高质量的语料库是推进共指消解研究的关键。然而,现有的数据集在共指的定义上各不相同,并且是通过为语言专家策划的复杂而冗长的指南收集的。这些问题引发了研究人员越来越多的兴趣,以策划一套统一的准则,适合不同背景的注释者。在这项工作中,我们开发了一个众包友好的共指注释方法,ezCoref,由一个注释工具和一个互动教程。我们使用ezCoref从七个现有的英语共指数据集(涵盖小说,新闻和多个其他领域)中重新注释240个段落,同时只教授注释者在这些数据集中处理相似的案例。令人惊讶的是,我们发现即使没有广泛的培训,合理的质量注释也已经可以实现(人群和专家注释之间的一致性>90%)。在仔细分析剩余的分歧时,我们确定了我们的注释者一致同意但缺乏统一处理的语言案例的存在(例如,类属代词、同位词)。我们建议研究界在策划未来的统一注释指南时应该重新审视这些现象。
2022-10-13 cs.CL
CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations
KDDI Research, Inc.(KDDI研究所)
提出CORTEX方法,通过比较有无检索文档时LLM的内部表示,实现RAG中令牌级幻觉检测,并利用前序令牌传播和连续性平滑提升性能。
2026-07-01 cs.CL
ACAT: A Collaborative Platform for Efficient Aspect-Based Sentiment Dataset Annotation
National University of Science and Technology POLITEHNICA Bucharest(波兰那尔大学科学与技术学院)
提出ACAT平台,通过自动化ETL流程和原生支持四种ABSA工作流,解决多标注者数据整合与一致性计算问题,实现高效标注并直接导出训练就绪数据集。
2026-06-02 cs.CL
A multimodal movie review corpus for fine-grained opinion mining
Télécom Paris, Université Paris-Saclay(巴黎高等电信学校,巴黎-萨克雷大学)
在本文中,我们为由1000个视频组成的POM电影评论数据集引入了一组观点注释。注释活动的动机是发展一个分层的意见预测框架,允许人们预测意见的不同组成部分(例如极性和方面),并确定相应的文本跨度。由此产生的注释已经收集在两个粒度级别:一个粗糙的(固执己见的跨度)和一个更精细的(意见组件的跨度)。我们引入特定的类别,以使电影评论的意见更容易注释。例如,某些类别允许在电影评论中发现用户推荐和偏好。我们提供了一个定量分析的注释和报告的注释者之间的协议下的不同级别的粒度。因此,我们提供了第一组地面实况注释,可用于细粒度多模态意见预测的任务。我们提供了一个分析的数据收集,通过一个inter-annotator的研究,并表明,一个线性结构化的预测学习有意义的功能,即使是对稀缺的标签的预测。注释和基线系统都是公开的。https://github.com/eusip/POM/
2021-04-29 cs.CL cs.MM
Temporal Simultaneity Predicts Annotation Quality in Sentiment Corpora
Data Science for Social Impact, University of Pretoria(社会影响力数据科学,南非普里特里亚大学);Instituto Politécnico Nacional(技术学院国家);Department of African Languages, University of Pretoria(非洲语言系,南非普里特里亚大学);Imperial College London(伦敦帝国理工学院)
通过分析Setswana情感数据集,发现标注者间一致性随时间下降的主要原因是时间同步性,即同时标注的样本一致性高,而间隔较长的标注一致性低。
2026-05-26 cs.CL
A Bayesian Approach for Sequence Tagging with Crowds
Technische Universität Darmstadt(达姆施塔特工业大学)
目前的序列标记方法是NLP的核心任务,是数据饥饿的,这促使使用众包作为获得标记数据的廉价方式。然而,注释器通常是不可靠的,并且当前的聚合方法不能捕获常见类型的span注释错误。为了解决这个问题,我们提出了一个贝叶斯方法聚合序列标签,减少错误的建模顺序之间的依赖关系的注释以及地面实况标签。通过采用贝叶斯方法,我们考虑到模型中的不确定性,这是由于注释者的错误和缺少完成少量任务的建模注释者的数据。我们评估了我们的模型对众包数据的命名实体识别,信息抽取和参数挖掘,表明我们的顺序模型优于以前的最先进的状态。我们还发现,我们的方法可以通过更有效的主动学习降低众包成本,因为它更好地捕捉序列标签的不确定性时,有很少的注释。
2019-09-06 cs.CL cs.LG
TIMELINE: Exhaustive Annotation of Temporal Relations Supporting the Automatic Ordering of Events in News Articles
University of Manchester(曼彻斯特大学)
本文针对新闻时序关系标注中指南模糊、长距离关系缺失及非动词事件被排除的问题,提出新的标注方案并构建TIMELINE语料库,提升了标注一致性并验证了基线模型性能。
2023-10-26 cs.CL
Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation
Institute of Science Tokyo(东京科学研究所);National Institute of Information and Communications Technology(信息与通信技术国家研究所)
提出一种基于最小贝叶斯风险解码的迭代MBR蒸馏自演化框架,利用现成大语言模型生成伪标签,无需人工标注即可在错误跨度检测任务上超越监督基线。
2026-09-02 cs.AI cs.CL