Cross-lingual Abstract Meaning Representation Parsing
University of Edinburgh(爱丁堡大学)
摘要意义表示(AMR)注释工作主要集中在英语上。为了训练其他语言的语法分析器,我们提出了一种基于注释投影的方法,该方法涉及利用源语言中的注释以及源语言和目标语言的并行语料库。使用英语作为源语言,我们显示了意大利语,西班牙语,德语和中文作为目标语言的可喜成果。除了在非黄金数据集上评估目标解析器之外,我们还提出了一种评估方法,该方法利用英语黄金注释,并且不需要访问目标语言的黄金注释。这是通过颠倒投影过程来实现的:从目标语言解析器学习新的英语解析器,并根据现有的英语黄金标准进行评估。
2018-02-24 cs.CL
Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
Institute of Science Tokyo(东京科学研究所);National Institute of Information and Communications Technology(信息与通信技术国家研究所);Nara Institute of Science and Technology(奈良科学技術研究所)
本文提出使用最小贝叶斯风险解码改进无参考自动机器翻译评估中的错误跨度检测,通过减少计算成本并提升性能。
2026-07-24 cs.AI cs.CL cs.LG
SiniticMTError: A Machine Translation Dataset with Error Annotations for Sinitic Languages
University of Toronto(多伦多大学);Georgetown University(乔治城大学);Ontario Tech University(安大略技术大学);National Central University, Taiwan(台湾国立中央大学)
本文介绍了一个新的细粒度数据集,用于在英语到普通话、粤语和吴语的机器翻译示例中提供错误跨度、错误类型和错误严重性标注,并提供一个基于非平行源的普通话-闽南语组件,支持低资源语言评估和翻译质量估计研究。
2026-03-17 cs.CL
A Balanced Data Approach for Evaluating Cross-Lingual Transfer: Mapping the Linguistic Blood Bank
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Charles University in Prague(布拉格查理大学)
我们表明,预训练语言的选择影响下游跨语言迁移的BERT模型。我们在平衡数据条件下检查zero-shot性能以减轻数据大小混淆,将提高下游性能的预训练语言分类为捐助者,并将zero-shot性能提高的语言分类为接受者。我们开发了一种在语言数量上具有二次时间复杂度的方法来估计这些关系,而不是对所有可能的组合进行指数穷举计算。我们发现,我们的方法是有效的一组不同的语言跨越不同的语言特征和两个下游任务。我们的研究结果可以为大规模多语言语言模型的开发人员提供更好的预训练配置。
2022-05-09 cs.AI cs.CL
Cross-Lingual Clinical Annotation Projection as Constrained Text Generation: A Six-Language Study
Universidad de Málaga(马拉加大学);Research Institute of Multilingual Language Technologies, Universidad de Málaga(马拉加大学多语言语言技术研究所);IBIMA Plataforma BIONAND, Instituto de Investigación Biomédica de Málaga(IBIMA BIONAND平台,马拉加生物医学研究所)
本研究提出将跨语言临床标注投影作为约束文本生成任务,开发直接LLM投影工作流,在六语言评估中显著提升严格F1分数,有效减少专家标注成本。
2026-09-11 cs.AI cs.CL
AMALGUM -- A Free, Balanced, Multilayer English Web Corpus
Georgetown University(乔治城大学)
我们提出了一个免费提供的,体裁平衡的英语网络语料库,总计4 M的令牌和具有大量的高质量的自动标注层,包括依存关系树,非命名实体注释,共指消解,和话语树的修辞结构理论。通过利用开放的在线数据源,语料库旨在为较小的手动创建的注释数据集提供更大的替代方案,同时避免陷阱,如不平衡或未知的组成,许可问题和低质量的自然语言处理。我们利用来自多个注释层的知识,以实现“比NLP更好”的基准,并评估结果资源的准确性。
2020-06-18 cs.CL
YEDDA: A Lightweight Collaborative Text Span Annotation Tool
Singapore University of Technology and Design(新加坡科技设计大学)
在本文中,我们介绍了\textsc{Yedda},一个轻量级的,但有效的和全面的开源工具的文本跨度注释。\textsc{Yedda}为文本跨度标注提供了一个系统化的解决方案,范围从协作用户标注到管理员评估和分析。它克服了传统文本注释工具的低效率,通过注释实体通过命令行和快捷键,这是可配置的自定义标签。\textsc{Yedda}还通过学习最新的注释文本提供智能建议。开发了一个管理员客户端来评估多个注释器的注释质量,并为每个注释器对生成详细的比较报告。实验表明,该系统可以减少一半的注释时间相比,现有的注释工具。通过智能推荐,标注时间可进一步压缩16.47%。
2018-05-25 cs.CL
Sent2Span: Span Detection for PICO Extraction in the Biomedical Text without Span Annotations
The University of Sydney(悉尼大学);Northeastern University(东北大学);IHPC, A*STAR(新加坡科技研究局高性能计算研究所);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Harvard Medical School(哈佛医学院)
发表的临床试验的快速增长使得很难保持最新的系统评价,这需要找到所有相关的试验。这导致政策和实践决策的基础上过时的,不完整的,有偏见的子集可用的临床证据。从临床试验文章中提取并标准化人群、干预、对照和结局(PICO)信息可能是自动将试验分配给系统性综述并避免检索和筛选(两个最耗时的系统性综述过程)的有效方法。我们提出并测试了一种新的PICO跨度检测方法。我们提出的方法和以前的方法之间的主要区别来自于检测跨度,而不需要注释的跨度数据,只使用众包的文件级注释。在两个数据集上的实验表明,与完全监督的方法相比,PICO跨度检测结果在召回方面取得了更高的结果,PICO句子检测至少与人类注释一样好。通过消除对专家注释进行跨度检测的依赖,这项工作可以用于人机管道,将低质量的众包和高级PICO注释转换为结构化信息,可用于快速将试验分配给相关的系统评价。
2021-09-06 cs.CL
IMPACTeen: Intentions, Manipulation, Persuasion, Annotations, and Consequences in Teen Communication Dataset
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
构建IMPACTeen数据集,包含1021个青少年社交影响场景文本,从五个视角标注,支持社交影响检测、标注者分歧及跨语言建模研究。
2026-06-16 cs.AI cs.CL
LLMs as Span Annotators: A Comparative Study of LLMs and Humans
Charles University(查理大学);ETH Zurich(苏黎世联邦理工学院);Edinburgh Napier University(爱丁堡纳皮尔大学);trivago N.V.(trivago公司);TU Darmstadt, Germany(德累斯顿理工大学)
本文比较了大语言模型与人类在跨度标注任务中的表现,发现LLMs在成本和准确性上具有竞争力,且提供了大规模标注数据集。
2026-02-02 cs.CL
To Aggregate or Not to Aggregate. That is the Question: A Case Study on Annotation Subjectivity in Span Prediction
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对法律领域标签的支持跨度预测任务,本文利用律师标注的外行法律问题语料库研究标注主观性,并发现多数投票聚合跨度的训练效果优于非聚合跨度。
2024-08-05 cs.CL
QuanReview: Offline, Auditable Reconciliation of Human and LLM Span Annotations
Universidad de San Andrés(圣安德烈斯大学);ISI Foundation(ISI基金会);CONICET(国家科学与技术研究委员会);UNICEF(联合国儿童基金会)
QuanReview是一个开源系统,用于离线审计和纠正人类与LLM的跨度标注,通过对齐、策略决策和人工裁决,自动合并8%文档并集中处理冲突,确保标注质量与可信度。
2026-09-29 cs.CL
Large Language Models for Propaganda Span Annotation
Qatar Computing Research Institute(卡塔尔计算研究所)
本研究探究大语言模型在宣传文本片段提取中的效果,验证其作为低成本标注来源及训练小模型标签的作用,发现在提示中增加上下文可提升性能,作为整合者时训练的模型在阿拉伯语测试集达SOTA,首次证明用LLM结合低专业度人工标注构建该任务数据集的潜力。
2024-10-06 cs.CL
factgenie: A Framework for Span-based Evaluation of Generated Texts
Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
本文提出了factgenie框架,通过Web界面支持人类众包工人和大语言模型对生成文本中的词跨度进行标注与可视化,以捕捉语义不准确等现象,并提供可扩展的代码库。
2024-07-25 cs.CL
A Study on Agreement in PICO Span Annotations
Nanyang Technological University(南洋理工大学)
本文研究专家与非专家在PICO文本跨度标注中的一致性,发现边界差异大但大致区域共识高,主张联合使用标准与宽松一致性指标。
2019-04-21 cs.CL cs.IR
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
Apple(苹果公司)
本文评估LLMs在MQM和ESA两种MT质量标注方案上与人类标注者的一致性,发现二者在多数场景下不可靠,明确了人类与LLM各自的标注挑战,提出可通过人类-LLM协作标注流程提升可靠性。
2026-10-09 cs.CL
Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification
McGill University(麦吉尔大学)
本文针对多标签文本分类中标注稀缺问题,提出利用自然语言推理、标签依赖图和集体损失函数进行平衡更新的方法,在低监督下以极小开销将F1分数提升70%。
2023-09-24 cs.CL cs.LG
OSLAT: Open Set Label Attention Transformer for Medical Entity Retrieval and Span Extraction
University of British Columbia(不列颠哥伦比亚大学);Curai(Curai公司);Vatic Investments(Vatic投资公司)
医疗实体跨度提取和链接是许多医疗NLP任务的关键步骤。大多数现有的实体提取方法要么具有固定的医学实体词汇表,要么需要跨度注释。在本文中,我们提出了一种方法,用于连接一组开放的实体,不需要任何跨度注释。我们的方法,开放集标签注意力Transformer(OSLAT),使用标签-注意力机制来学习候选实体上下文文本表示。我们发现,OSLAT不仅可以链接实体,但也能够隐式地学习与实体相关联的跨度。我们在两个任务上评估OSLAT:(1)在没有显式跨度注释的情况下训练跨度提取,以及(2)在没有跨度级别注释的情况下训练实体链接。我们通过在两个具有低实体重叠的数据集上训练两个独立的模型并比较跨数据集性能来测试我们方法的通用性。
2022-11-20 cs.AI cs.CL cs.LG
A Corpus with Multi-Level Annotations of Patients, Interventions and Outcomes to Support Language Processing for Medical Literature
Northeastern University(东北大学);UT Austin(得克萨斯大学奥斯汀分校);Rutgers University(罗格斯大学);King’s College London(伦敦国王学院);UPenn(宾夕法尼亚大学)
我们提供了一个包含5,000篇描述临床随机对照试验的医学文章摘要的语料库。注释包括描述入组患者人群、研究的干预措施及其比较内容以及测量的结局(“PICO”元素)的文本范围的分界。这些跨度在更细粒度的级别上被进一步注释,例如,其中的各个干预被标记并映射到结构化的医学词汇表上。我们从具有不同专业水平和成本的各种工人那里获得了注释。我们详细描述了我们的数据汇集过程和语料库本身。然后,我们概述了一系列具有挑战性的NLP任务,这些任务将有助于医学文献的搜索和循证医学的实践。
2018-06-11 cs.CL
Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
Data Science Institute(数据科学研究所);University of Galway(Galway大学)
本文探索使用大语言模型作为自动标注者进行细粒度意见分析,提出声明式标注流水线和LLM裁决方法,实验表明LLM在跨度级别可靠但难以再现关系结构,更适合作为标注助手而非完全替代人类。
2026-08-04 cs.CL
STARC: Structured Annotations for Reading Comprehension
MIT(麻省理工学院)
我们提出了STARC(阅读理解结构化注释),一个新的注释框架,用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构,答案的选择,并将它们绑定到文本跨度注释。该框架在OneStopQA中实现,OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用:通过跨度消融实验进行自动注释质量探测。我们进一步表明,它可以深入分析和比较机器和人类的阅读理解行为,包括错误分布和猜测能力。我们的实验还表明,NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到,而不需要访问文章,18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集,它弥补了这些缺点,并具有更高的人类上限性能。
2020-04-30 cs.CL
Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda Spans in News Articles
Qatar Computing Research Institute(卡塔尔计算研究所)
本文构建含 8K 段落、23 类宣传技巧的片段级阿拉伯语数据集 ArPro,并评估 GPT-4 的细粒度及跨语言宣传检测能力,发现其明显落后于微调模型。
2024-02-27 cs.CL
HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification
本文提出HalluTruthQA-4K,这一含4000个阿拉伯语问答实例的细粒度语料库,用于阿拉伯语幻觉检测等任务,为HalluScoring 2026共享任务提供官方数据集。
2026-08-17 cs.CL
MockConf: A Student Interpretation Dataset: Analysis, Word- and Span-level Alignment and Baselines
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);Sorbonne Université, CNRS, ISIR(索邦大学、CNRS、ISIR)
本文提出学生口译数据集 MockConf 及标注工具 InterAlign,覆盖 5 种语言 7 小时录音,提供词级与片段级对齐,并给出自动对齐评估指标与基线。
2025-06-05 cs.CL
Evaluating Webcam-based Gaze Data as an Alternative for Human Rationale Annotations
University of Copenhagen(哥本哈根大学);Technische Universität Berlin(柏林工业大学);IT University of Copenhagen(哥本哈根信息技术大学);University of Zurich(苏黎世大学)
本文研究网络摄像头眼动数据能否替代人工原理标注,通过WebQAmGaze数据集比较多语言Transformer模型的重要性分数,发现注视数据可揭示语言信息并给出相近的方法排序。
2024-02-29 cs.CL
A multimodal movie review corpus for fine-grained opinion mining
Télécom Paris, Université Paris-Saclay(巴黎高等电信学校,巴黎-萨克雷大学)
在本文中,我们为由1000个视频组成的POM电影评论数据集引入了一组观点注释。注释活动的动机是发展一个分层的意见预测框架,允许人们预测意见的不同组成部分(例如极性和方面),并确定相应的文本跨度。由此产生的注释已经收集在两个粒度级别:一个粗糙的(固执己见的跨度)和一个更精细的(意见组件的跨度)。我们引入特定的类别,以使电影评论的意见更容易注释。例如,某些类别允许在电影评论中发现用户推荐和偏好。我们提供了一个定量分析的注释和报告的注释者之间的协议下的不同级别的粒度。因此,我们提供了第一组地面实况注释,可用于细粒度多模态意见预测的任务。我们提供了一个分析的数据收集,通过一个inter-annotator的研究,并表明,一个线性结构化的预测学习有意义的功能,即使是对稀缺的标签的预测。注释和基线系统都是公开的。https://github.com/eusip/POM/
2021-04-29 cs.CL cs.MM
A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi(新纽约大学阿布扎赫实验室);Zai Arabic Language Research Centre, Zayed University(扎伊阿拉伯语言研究中心)
该研究构建了含69441句、19个可读性等级的大规模平衡阿拉伯语可读性评估语料库BAREC,人工标注一致性达81.8%,并完成多方法基准测试,公开资源以支持相关研究与教育。
2025-06-11 cs.CL
Guidelines for Fine-grained Sentence-level Arabic Readability Annotation
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi(纽约大学阿布扎克分校计算语言学建模实验室);Zai Arabic Language Research Centre, Zayed University(扎伊阿拉伯语言研究中心,扎耶德大学);Abu Dhabi Arabic Language Centre(阿布扎克阿拉伯语言中心)
本文介绍面向阿拉伯语细粒度句子级可读性评估的 BAREC 语料库及其标注指南,涵盖19级、69,441句,并验证标注一致性与自动模型基准。
2025-06-11 cs.CL
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题,构建了含片段级标签的忠实与不忠实摘要数据集,并评估了梯度上升、不可能性训练和任务向量否定三种技术,发现不可能性训练效果最佳。
2025-10-10 cs.CL
MedReadMe: A Systematic Study for Fine-grained Sentence Readability in Medical Domain
College of Computing(计算机学院);Georgia Institute of Technology(佐治亚理工学院)
本文构建含4520句细粒度标注的 MedReadMe 数据集,系统评估并改进医学文本句子可读性方法,发现术语片段数量特征可显著提升公式与人类判断的相关性。
2024-10-28 cs.CL
Something Just Like TRuST : Toxicity Recognition of Span and Target
Penn State University(宾夕法尼亚州立大学)
TRuST是一个大规模数据集,用于评估和减轻大型语言模型的毒性,通过精心设计的定义和标注方案,提升毒性检测、目标识别和有毒词汇识别的性能。
2026-01-05 cs.AI cs.CL
Cited Text Spans for Citation Text Generation
Department of Computer Science University of Texas at Dallas(计算机科学系 德克萨斯大学达拉斯分校)
针对现有引用生成模型仅依赖被引论文摘要易产生幻觉的问题,提出以被引文本片段(CTS)为输入,通过远程标注和人在环路的关键词检索方法,实现基于全文的可靠引用生成。
2024-02-20 cs.CL
iobes: A Library for Span-Level Processing
自然语言处理中的许多任务,如命名实体识别和槽填充,涉及识别和标记特定的文本跨度。为了利用通用模型,这些任务通常被重新设计为序列标记任务。每个标记都有一个标签,这些标签都带有特殊标记的前缀,如B-或I-。在模型为每个标记分配标签之后,这些前缀用于将标记分组到span中。正确解析这些注释对于生成公平和可比较的指标至关重要;然而,尽管它很重要,但没有一个易于使用的,标准化的,可编程集成的库来帮助使用span标签。为了解决这个问题,我们引入了我们的开源库iobes。IOBES用于解析、转换和处理表示为令牌级决策的跨度。
2020-10-09 cs.CL
Fine-grained Fallacy Detection with Human Label Variation
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Pavia(帕维亚大学);University of Stuttgart(斯图加特大学)
本文构建首个容纳自然标注分歧的意大利语细粒度谬误检测数据集 Faina,并提出兼顾多测试集、跨度重叠与错误严重程度的评估框架,验证了多任务、多标签 transformer 基线。
2025-02-19 cs.CL
Chinese-SkillSpan: A Span-Level Dataset for ESCO-Aligned Competency Extraction from Chinese Job Ads
City University of Hong Kong(香港城市大学);Renmin University of China(中国人民大学)
本文提出首个中文JobSkillNER数据集Chinese-SkillSpan,采用LLM赋能的宏微协作标注流程,涵盖知识、技能、横向能力及语言能力四个维度,支持有效模型训练与评估。
2026-04-24 cs.CL
Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出了TGEA,首个针对预训练语言模型生成文本的全面错误标注数据集,涵盖24种错误类型,并基于此构建了错误检测、分类等基准任务以促进自动错误诊断与纠正研究。
2025-03-06 cs.CL
Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future
Technical University of Darmstadt(达姆施塔特工业大学);University of Edinburgh(爱丁堡大学)
注释数据是自然语言处理中用于训练和评估机器学习模型的重要组成部分。因此,非常希望注释具有高质量。然而,最近的工作表明,几个流行的数据集包含了惊人数量的注释错误或不一致。为了缓解这个问题,多年来已经设计了许多用于注释错误检测的方法。虽然研究人员表明,他们的方法在新引入的数据集上运行良好,但他们很少将他们的方法与以前的工作或相同的数据集进行比较。这引起了人们对各种方法的总体绩效的强烈关切,并使人们难以评估它们的优缺点。因此,我们重新实现了18种方法来检测潜在的注释错误,并在9个英文数据集上进行文本分类以及标记和跨度标记。此外,我们定义了一个统一的评估设置,包括一个新的形式化的注释错误检测任务,评估协议和一般的最佳实践。为了促进未来的研究和可重复性,我们在一个易于使用的开源软件包中发布了我们的数据集和实现。
2022-09-25 cs.CL
ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations
Hasso Plattner Institute / University of Potsdam, Germany(霍普夫纳研究所 / 潘托姆大学,德国)
针对大语言模型易虚构科学事实的问题,提出带错误位置与类型标注的ReFACT基准以支持多阶段细粒度评估,测试发现9个主流大模型准确率仅约50%,凸显构建人工验证细粒度基准的必要性。
2025-10-01 cs.CL
Mitigating Spurious Correlations in NLI via LLM-Synthesized Counterfactuals and Dynamic Balanced Sampling
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种自动化流程,通过LLM合成反事实和动态平衡采样缓解NLI中的虚假相关性,提升了模型性能和领域内准确性。
2025-12-20 cs.AI cs.CL cs.LG
Annotation alignment: Comparing LLM and human annotations of conversational safety
Cornell Tech(康奈尔科技学院);University of Washington(华盛顿大学)
本研究通过标注一致性探究LLM与人类对对话安全判断的契合度,基于DICES数据集实验发现GPT-4与人类平均标注相关度高于普通标注者中位数,同时指出群体差异及个体异质性对标注一致性的影响,以及GPT-4在群体安全感知差异预测上的局限。
2024-10-07 cs.CL
ViHOS: Hate Speech Spans Detection for Vietnamese
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
针对其他用户的仇恨和攻击性语言的增加是社交网络平台使用增加的不利副作用之一。这可能会使人类版主难以审查分类系统过滤的标记评论。为了帮助解决这个问题,我们提出了ViHOS(Vietnamese Hate and Offensive Spans)数据集,这是第一个人类注释的语料库,包含11 k条评论上的26 k个跨度。我们还提供了越南语评论中的仇恨和攻击性跨度的定义以及详细的注释指南。此外,我们使用各种最先进的模型进行实验。具体而言,XLM-R $_{Large}$在单跨度检测和所有跨度检测中获得最佳F1分数,而PhoBERT $_{Large}$在多跨度检测中获得最高分数。最后,我们的误差分析表明,在我们的数据中检测特定类型的跨度的困难,为今后的研究。免责声明:本文包含可能被认为是亵渎,冒犯或辱骂的真实评论。
2023-01-26 cs.CL
ezCoref: Towards Unifying Annotation Guidelines for Coreference Resolution
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Brown University(布朗大学);Google(谷歌)
大规模、高质量的语料库是推进共指消解研究的关键。然而,现有的数据集在共指的定义上各不相同,并且是通过为语言专家策划的复杂而冗长的指南收集的。这些问题引发了研究人员越来越多的兴趣,以策划一套统一的准则,适合不同背景的注释者。在这项工作中,我们开发了一个众包友好的共指注释方法,ezCoref,由一个注释工具和一个互动教程。我们使用ezCoref从七个现有的英语共指数据集(涵盖小说,新闻和多个其他领域)中重新注释240个段落,同时只教授注释者在这些数据集中处理相似的案例。令人惊讶的是,我们发现即使没有广泛的培训,合理的质量注释也已经可以实现(人群和专家注释之间的一致性>90%)。在仔细分析剩余的分歧时,我们确定了我们的注释者一致同意但缺乏统一处理的语言案例的存在(例如,类属代词、同位词)。我们建议研究界在策划未来的统一注释指南时应该重新审视这些现象。
2022-10-13 cs.CL
KOLD: Korean Offensive Language Dataset
KAIST(韩国科学技术院);SoftlyAI(SoftlyAI公司)
攻击性语言检测的最新方向是分层建模,识别攻击性语言的类型和目标,以及具有攻击性跨度注释和预测的可解释性。这些改进集中在英语上,由于文化和语言差异,不能很好地转移到其他语言。在本文中,我们提出了韩国进攻性语言数据集(KOLD),包括40,429条评论,这是注释层次的类型和攻击性语言的目标,伴随着相应的文本跨度的注释。我们从NAVER新闻和YouTube平台收集评论,并提供文章和视频的标题作为注释过程的上下文信息。我们使用这些注释的意见作为韩国BERT和RoBERTa模型的训练数据,并发现它们是有效的攻击性检测,目标分类,目标跨度检测,而目标群分类和攻击跨度检测有改进的空间。我们发现目标群体分布与现有的英语数据集有很大的不同,并观察到提供上下文信息提高了攻击性检测(+0.3),目标分类(+1.5)和目标群体分类(+13.1)的模型性能。我们公开发布数据集和基线模型。
2022-11-05 cs.AI cs.CL
BrainStorm @ iREL at #SMM4H 2024: Leveraging Translation and Topical Embeddings for Annotation Detection in Tweets
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校)
针对LLM注释可靠性问题,本文利用推文主题信息提出新方法,区分LLM与人类专家在COVID-19症状检测中的注释,以增强数据可信度。
2024-07-21 cs.CL cs.SI
Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
本研究提出 Semantic Overlays 技术,通过在冻结语言模型残差流上应用小型学习适配器构建带外注释通道,有效缓解提示注入攻击,在多个基准测试中大幅降低攻击成功率且保持模型效用。
2026-11-13 cs.AI cs.CL cs.CR
Responsible AI in NLP: GUS-Net Span-Level Bias Detection Dataset and Benchmark for Generalizations, Unfairness, and Stereotypes
针对句子级偏见检测掩盖具体词汇和类型的问题,提出GUS-Net框架,包含3,739个片段、超69,000词元级标注的GUS数据集和多标签词元级检测器,采用多智能体流水线辅助人工标注,基准测试表明编码器模型在细粒度片段识别上优于解码器LLM,支持可解释的偏见审计与缓解。
2025-09-15 cs.AI cs.CL
BERTVision -- A Parameter-Efficient Approach for Question Answering
Microsoft(微软);Yale University(耶鲁大学)
我们提出了一个高参数效率的方法,大大减少了需要扩展BERT微调的问题排序。我们的方法使用来自每个BERT变换器层的隐藏状态激活的信息,该信息在典型的BERT推理期间被丢弃。我们的最佳模型以一小部分训练时间和GPU或TPU开销实现了最大的BERT性能。通过将我们的模型与BERT预测相结合,进一步提高了性能。此外,我们发现,近最佳性能可以实现QA跨度标注使用更少的训练数据。我们的实验表明,这种方法不仅适用于跨度标注,而且适用于分类,这表明它可以扩展到更广泛的任务。
2022-02-24 cs.CL cs.LG
Extensive Error Analysis and a Learning-Based Evaluation of Medical Entity Recognition Systems to Approximate User Experience
National Research Council Canada(加拿大国家研究委员会)
当在测试集上将由医学实体识别系统提取的实体与金标准注释进行比较时,可能发生两种类型的不匹配,标签不匹配或跨度不匹配。在这里,我们专注于跨度不匹配,并表明其严重性可以从一个严重的错误,一个完全可以接受的实体提取由于跨度注释的主观性。对于特定领域的基于BERT的NER系统,我们发现25%的错误具有与金标准实体相同的标签和重叠跨度。我们收集了专家的判断,显示超过90%的这些不匹配被用户接受或部分接受。使用NER系统的训练集,我们建立了一个快速和轻量级的实体分类器,通过接受或拒绝它们来近似这种不匹配的用户体验。该分类器所做的决定被用来计算基于学习的F分数,这被证明是一个更好的近似宽容的用户的体验比放松的F分数。我们展示了将所提出的评估指标应用于使用两个数据集训练的各种深度学习医学实体识别模型的结果。
2020-06-09 cs.CL cs.LG
TagRuler: Interactive Tool for Span-Level Data Programming by Demonstration
Megagon Labs(Megagon实验室);Sigma Computing(Sigma计算公司)
尽管机器学习研究领域发展迅速,但为监督学习收集高质量标签仍然是许多应用的瓶颈。由于NLP任务的最新模型变得越来越深入和复杂,甚至为了进行微调,通常需要增加训练数据的数量,这一困难就更加严重了。包括数据编程在内的弱监管方法解决了这个问题,并通过使用嘈杂的标签源进行监管来降低标签收集的成本。然而,直到最近,数据编程还只能由知道如何编程的用户访问。为了弥补这一差距,提出了基于演示的数据编程框架,以促进基于领域专家标记的几个示例的标记函数的自动创建。该框架已被证明是成功的,为文档分类生成高精度的标签模型。在这项工作中,我们将DPBD框架扩展到跨度级别的注释任务,可以说是最耗时的NLP标记任务之一。我们构建了一个新颖的工具,TagRuler,它使注释者可以轻松地构建跨度级别的标签函数,而无需编程,并鼓励他们探索不同标签模型和主动学习策略之间的权衡。我们的经验表明,注释器可以实现更高的F1分数使用所提出的工具相比,手动标记不同的跨度级注释任务。
2021-06-24 cs.CL cs.DB cs.HC
ActiveAED: A Human in the Loop Improves Annotation Error Detection
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出人在回路的标注错误检测方法ActiveAED,通过反复向人类查询错误更正来提升检测精度,在八个数据集中的七个上超越现有最优方法,平均精度最高提升六个百分点。
2023-05-31 cs.CL cs.LG
Muted: Multilingual Targeted Offensive Speech Identification and Visualization
IBM Research AI(IBM研究院人工智能部门)
针对网络多语言攻击性言论识别需求,提出Muted系统,可直接利用预训练HAP分类模型及注意力机制识别毒性片段与目标,结合spaCy定位具体对象,支持多语言可视化展示。
2023-12-18 cs.AI cs.CL cs.HC