RuNNE-2022 Shared Task: Recognizing Nested Named Entities
HSE University(高等经济大学);Huawei Noah’s Ark lab(华为诺亚方舟实验室);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Novosibirsk State University(新西伯利亚国立大学);Innopolis University(Innopolis大学);Kazan Federal University(喀山联邦大学);Sber AI(俄罗斯联邦储蓄银行人工智能实验室)
本文介绍 RuNNE-2022 嵌套俄语命名实体识别共享任务,基于含29类、六层嵌套的 NEREL 数据集评估通用与少样本设置,并总结九支队伍的系统表现。
2022-05-23 cs.CL
WASSA-2017 Shared Task on Emotion Intensity
Information Communications Technologies National Research Council Canada(加拿大国家研究委员会信息通信技术研究所);The University of Waikato(怀卡托大学)
我们提出了第一个共同的任务,检测的强度的情绪感受到的扬声器的鸣叫。我们使用一种称为最佳-最差缩放(BWS)的技术创建了第一批注释了愤怒,恐惧,喜悦和悲伤强度的推文数据集。我们表明,注释导致可靠的细粒度强度分数(强度的推文排名)。数据被划分为训练集、开发集和测试集。22个团队参与了共同的任务,最好的系统获得了0.747的皮尔逊相关性与黄金强度得分。我们总结了参与团队使用的机器学习设置、资源和工具,重点是对任务特别有用的技术和资源。情绪强度数据集和共享任务有助于提高我们对如何通过语言传达或多或少强烈情绪的理解。
2017-08-11 cs.CL
Overview of the NLPCC 2025 Shared Task: Gender Bias Mitigation Challenge
Multimodal Art Projection Research Community University of Manchester Independent Researcher
针对中文语境下性别偏见计算语言学资源匮乏的问题,本研究构建了含3.29万条标注句子的CORGI-PM语料库,设置三项NLPCC 2025共享任务挑战以推动文本性别偏见自动化检测、分类与消减,并呈现参赛结果分析。
2025-06-14 cs.CL
FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心)
本文提出FineWeb-CLaR,一个基于FineWeb的大规模文化-语言-地区标注数据集,用于审计预训练语料与文化基准的对齐,支持文化现象覆盖范围的直接比较。
2026-09-23 cs.CL
ArabicNLU 2024: The First Arabic Natural Language Understanding Shared Task
Birzeit University(比尔宰特大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学);Google(谷歌公司)
本文介绍了首届ArabicNLU 2024共享任务,涵盖WSD和LMD两个子任务,提供了SALMA和IDRISI-DA等新数据集,并报告了最终评估结果以推动阿拉伯语NLU技术发展。
2024-07-30 cs.CL
Language Resources in Spanish for Automatic Text Simplification across Domains
Universidad Autónoma de Madrid(马德里自治大学);Consejo Superior de Investigaciones Científicas(西班牙高等科学研究理事会);Universidad Nacional de Educación a Distancia(国立远程教育大学)
本文介绍了面向金融、医学和历史三个领域的西班牙语自动简化语言资源与模型,涵盖语料库、指南、词典、数据集和工具,并全部公开共享。
2024-09-30 cs.CL
The ADAPT Enhanced Dependency Parser at the IWPT 2020 Shared Task
ADAPT Centre(ADAPT中心);School of Computing, Dublin City University(都柏林城市大学计算学院)
我们描述了用于2020 IWPT共享任务的ADAPT系统,该任务以17种语言解析增强的通用语法。我们使用UDPipe和UDPipe-future实现了一个管道方法来提供初始级别的注释。增强的依赖图或者由基于图的语义依赖解析器产生,或者使用一小组语法从基本树构建。我们的研究结果表明,对于大多数语言,语义依赖分析器可以成功地应用于分析增强的依赖关系的任务。不幸的是,我们没有确保连接图作为我们管道方法的一部分,我们的竞争提交依赖于最后一刻的修复来通过验证脚本,这严重损害了我们的官方评估分数。我们的提交在官方评估中排名第八,宏观平均粗糙ELAS F1为67.23,树库平均值为67.49。我们后来实现了自己的图形连接修复,结果得分为79.53(语言平均)或79.76(树库平均),这将在竞争评估中排名第四。
2020-09-03 cs.CL
The 2022 n2c2/UW Shared Task on Extracting Social Determinants of Health
George Mason University(乔治梅森大学);University of Washington(华盛顿大学)
目的:n2 c2/UW SDOH挑战赛探索从临床记录中提取健康社会决定因素(SDOH)信息。目标包括更广泛地用于SDOH和临床信息的自然语言处理(NLP)信息抽取技术的进步。本文介绍了共享的任务,数据,参与团队,性能结果,以及对未来工作的考虑。材料与方法:该任务使用的社会历史注释语料库(SHAC),其中包括临床文本与详细的基于事件的注释SDOH事件,如酒精,药物,烟草,就业和生活状况。每个SDOH事件都通过与状态、程度和时间性相关的属性来表征。该任务包括与信息抽取(子任务A)、概括性(子任务B)和学习迁移(子任务C)相关的三个子任务。在完成这项任务时,参与者使用了一系列技术,包括规则、知识库、n-gram、词嵌入和预训练的语言模型(LM)。结果:共有15个团队参与,最好的团队使用了预先训练的深度学习LM。所有子任务的最佳团队使用序列到序列方法,子任务A的F1为0.901,子任务B的F1为0.774,子任务C的F1为0.889。结论:与许多NLP任务和领域类似,预先训练的LM产生了最好的性能,包括概括性和学习迁移。错误分析表明,提取性能因SDOH而异,在增加健康风险(风险因素)的条件下,如物质使用和无家可归,性能较低,而在减少健康风险(保护因素)的条件下,如物质戒断和与家人生活在一起,性能较高。
2023-02-13 cs.CL
Detecting Sexism in German Online Newspaper Comments with Open-Source Text Embeddings (Team GDA, GermEval2024 Shared Task 1: GerMS-Detect, Subtasks 1 and 2, Closed Track)
FH Aachen University of Applied Sciences(亚琛应用技术大学);ORDIX AG(ORDIX股份公司);Utrecht University(乌得勒支大学)
本文评估单语与多语开源文本嵌入,用于检测德语报纸评论中的性别歧视,并在GermEval 2024 GerMS-Detect两个子任务中取得第4和第2名。
2024-10-02 cs.CL
MIMICause: Representation and automatic extraction of causal relation types from clinical notes
Accenture Labs(埃森哲实验室);Indian Institute of Science(印度科学学院);Arizona State University(亚利桑那州立大学);Duke University(杜克大学)
理解临床笔记中传达的因果叙述可以帮助向个性化医疗保健迈进。从临床记录中提取的因果信息可以与结构化的EHR数据相结合,例如患者的人口统计学,诊断和药物。这将提高医疗保健提供者识别临床记录中传达的患者故事的各个方面的能力,并帮助做出更明智的决策。在这项工作中,我们提出了注释指南,开发一个注释语料库,并提供基线分数,以确定类型和方向之间的因果关系的一对生物医学概念的临床笔记;传达隐含或明确,确定在一个单一的句子或跨多个句子。我们注释了从2018年n2 c2共享任务数据集中采样的总共2714个去识别示例,并训练了四种不同的基于语言模型的架构。基于我们的指南的注释实现了较高的注释者间一致性,即Fleiss kappa($κ$)评分为0.72,我们的因果关系识别模型在测试数据上实现了0.56的宏观F1评分。临床文本的高注释者间一致性显示了我们注释指南的质量,而提供的基线F1评分为未来研究理解临床文本中的叙述设定了方向。
2022-03-14 cs.CL
Overcoming Copyright Barriers in Corpus Distribution Through Non-Reversible Hashing
Institute of Information Science, Academia Sinica(学术院信息研究所);Laboratoire Informatique d’Avignon, Avignon Université(阿维尼翁信息实验室,阿维尼翁大学);Aiway
本文提出非可逆哈希方法,允许合法共享受版权保护文学文本的标注,通过哈希版本匹配确保数据一致性,实验显示在用户版本接近时可正确对齐98.7%-99.79%的词元。
2026-04-25 cs.CL
Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration
Northeastern University(东北大学);University of Notre Dame(Notre Dame 大学);University of Waterloo(滑铁卢大学);Carnegie Mellon University(卡内基梅隆大学);Adobe(Adobe公司);Microsoft Research Asia(微软亚洲研究院)
为解决当前LLM智能体缺乏协作中心智模型能力的问题,构建了基于Map Task的ALMANAC数据集,包含2987个协作动作及其心智模型标注,并评估了六种LLM在预测人类行为和心智模型上的表现。
2026-11-03 cs.AI cs.CL
GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Shanghai Jiao Tong University(上海交通大学);King Abdullah University of Science and Technology (KAUST)(卡尔斯鲁厄大学);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
提出GateMem基准,评估多主体共享内存代理在效用、访问控制和遗忘三方面的治理能力,发现现有方法无法同时满足三者。
2026-06-18 cs.CL cs.LG
Sina at FigNews 2024: Multilingual Datasets Annotated with Bias and Propaganda
Birzeit University(比尔宰特大学);Palestine Technical University-Khadoorie(巴勒斯坦技术大学-哈杜里);amleh Center(7amleh中心);ÖREBRO University(厄勒布鲁大学)
本研究构建了含12000条多语言Facebook帖子的偏见与宣传标注语料库,作为FigNews 2024共享任务的一部分,标注质量达标,团队在相关子任务中表现优异,语料库已开源。
2024-07-12 cs.AI cs.CL
Automatic Error Type Annotation for Arabic
Computational Approaches to Modeling Language (CAMeL) Lab(计算语言建模实验室);New York University Abu Dhabi(纽约大学阿布扎比分校)
我们提出了ARETA,现代标准阿拉伯语的自动错误类型注释系统。我们设计的ARETA,以解决阿拉伯语的形态丰富性和正字法的歧义。我们基于我们的错误分类的阿拉伯语学习者语料库(ALC)的错误标记集进行了一些修改。ARETA在ALC的手动注释盲测部分中实现了85.8%的性能(微平均F1得分)。我们还展示了ARETA的可用性,通过将其应用于QALB 2014年阿拉伯语语法错误纠正共享任务的一些提交。由此产生的分析提供了关于不同提交的优点和缺点的有用见解,这比共享任务中使用的不透明的M2评分指标更有用。ARETA使用了一个大型的阿拉伯语形态分析器,但在其他方面完全没有监督。我们让ARETA公开可用。
2021-09-16 cs.CL
CCNU at SemEval-2025 Task 3: Leveraging Internal and External Knowledge of Large Language Models for Multilingual Hallucination Annotation
Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning(湖北省人工智能与智能学习重点实验室);National Language Resources Monitoring and Research Center for Network Media(网络媒体语言资源监测与研究中心);School of Computer Science, Central China Normal University(中央财经大学计算机学院)
本文提出面向 Mu-SHROOM 多语言幻觉标注任务的系统,通过并行调用专长不同的 LLM 并融合内外部知识模拟众包标注,DeepSeek-V3 在印地语排名第一、七种语言进入前五。
2025-05-17 cs.CL
Complex Word Identification: Challenges in Data Annotation and System Performance
University of Wolverhampton(伍尔弗汉普顿大学);Harvard Medical School(哈佛医学院);University of Sheffield(谢菲尔德大学)
本文重新审视的问题,复杂的词识别(CWI)后续SemEval CWI共享任务。我们使用集成分类器来研究计算方法如何区分复杂和非复杂的单词。此外,我们分析了分类性能,以了解是什么使词汇复杂性具有挑战性。我们的研究结果表明,大多数系统在SemEval CWI数据集上表现不佳,其中一个原因是人类注释的执行方式。
2017-10-13 cs.CL
JuniperLiu at CoMeDi Shared Task: Models as Annotators in Lexical Semantics Disagreements
School of Humanities, Tsinghua University(清华大学人文学院);College of Engineering, Beijing Forestry University(北京林业大学工学院)
本文提出将多个预训练语言模型作为虚拟标注者,结合 MLP 与阈值方法及各向异性去除技术,在 CoMeDi 任务中同时预测多数投票和标注者分歧,并发现连续相关性分数的标准差能更有效地捕捉人类分歧。
2024-12-30 cs.CL
Conversational Grounding: Annotation and Analysis of Grounding Acts and Grounding Units
Inria(法国国家信息与自动化研究所);University of Stuttgart(斯图加特大学);Carnegie Mellon University(卡内基梅隆大学)
针对对话系统基础行为能力不足的问题,采用基础行为、基础单元及基础程度标注两个对话语料库,构建基线模型测试大语言模型分类性能,为提升人机对话理解与可靠性提供资源支撑。
2024-03-25 cs.CL
BrainStorm @ iREL at #SMM4H 2024: Leveraging Translation and Topical Embeddings for Annotation Detection in Tweets
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校)
针对LLM注释可靠性问题,本文利用推文主题信息提出新方法,区分LLM与人类专家在COVID-19症状检测中的注释,以增强数据可信度。
2024-07-21 cs.CL cs.SI
Loanword or Switch? The Annotation Boundary, Not the Model, Drives Kazakh-Russian Code-Switching Identification
该研究针对哈萨克语-俄语语码转换识别中借词易被误判的问题,构建了规范标注的黄金LID数据集,发现性能瓶颈源于标注边界而非模型,为相关识别任务提供了关键依据。
2026-08-04 cs.AI cs.CL
FedNER: Privacy-preserving Medical Named Entity Recognition with Federated Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
医学命名实体识别在智能医疗领域有着广泛的应用。充足的标记数据是训练准确的医学NER模型的关键。然而,单个医疗平台中的标记数据通常是有限的。尽管标记数据集可能存在于许多不同的医疗平台中,但由于医疗数据是高度隐私敏感的,因此它们不能直接共享。本文提出了一种基于联邦学习的隐私保护医学NER方法,该方法可以利用不同平台上的标记数据来加速医学NER模型的训练,并且不需要在不同平台之间交换原始数据。由于不同平台上的标注数据在实体类型和标注标准上通常存在一定差异,因此,我们将每个平台上的医学NER模型分解为共享模块和私有模块,而不是限制不同平台共享同一模型。私有模块用于捕获每个平台中本地数据的特征,并使用本地标记数据进行更新。共享模块在不同的医疗平台上学习,以获取共享的NER知识。将其来自不同平台的局部梯度聚合以更新全局共享模块,该全局共享模块进一步被递送到每个平台以更新其局部共享模块。在三个公开数据集上的实验验证了该方法的有效性。
2020-03-25 cs.CL
The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints
DSFSI & AfriDSAI, University of Pretoria(DSFSI与AfriDSAI, Pretoria大学)
本文探讨了低资源NLP评估中由于标注资源不足导致的矛盾,分析了过去十年中评估方法的发展阶段,并提出了新的解决方案以提升评估的公平性和有效性。
2026-07-01 cs.CL
Evaluating the IWSLT2023 Speech Translation Tasks: Human Annotations, Automatic Metrics, and Segmentation
Apple(苹果公司);Charles U.(查尔斯大学);U. Edinburgh(爱丁堡大学);Meta;FBK(布鲁诺·凯斯勒基金会);KIT(卡尔斯鲁厄理工学院);JHU(约翰斯·霍普金斯大学);NAIST(奈良先端科学技术大学院大学);Zoom(祖姆公司)
本文针对语音翻译人工评估研究不足的问题,基于IWSLT 2023共享任务结果提出了一种结合自动重新切分与带上下文直接评估的策略,验证了其稳健性并比较了COMET与chrF等自动指标的表现。
2024-06-06 cs.CL
Named Entity Recognition -- Is there a glass ceiling?
University of Warsaw(华沙大学);Samsung R&D Institute Poland(三星波兰研发研究院);Warsaw University of Technology(华沙理工大学)
命名实体识别(NER)的最新发展导致了越来越好的模型。但是,是否存在玻璃天花板?我们知道哪些类型的错误仍然很难甚至不可能纠正吗?在本文中,我们提出了一个国家的最先进的机器学习(ML)方法的错误类型的详细分析。我们的研究揭示了斯坦福大学,CMU,FLAIR,ELMO和BERT模型的优缺点,以及他们共同的局限性。我们还介绍了用于改进注释、训练过程和检查模型质量和稳定性的新技术。所呈现的结果是基于CoNLL 2003年英语数据集。补充材料中附有该数据集和新诊断数据集的错误的新丰富语义注释。
2019-10-30 cs.CL
UmBERTo-MTSA @ AcCompl-It: Improving Complexity and Acceptability Prediction with Multi-task Learning on Self-Supervised Annotations
University of Trieste(的里雅斯特大学);International School for Advanced Studies (SISSA)(国际高等研究学院(SISSA))
本文描述了一种自监督的数据增强方法,用于在只有适量标记数据可用时提高学习模型的性能。原始模型的多个副本最初在下游任务上进行训练。然后,他们的预测用于注释大量未标记的示例。最后,对所得到的训练集的并行注释执行多任务训练,并通过对注释者特定的头部预测进行平均来获得最终分数。神经语言模型在Evalita 2020的AcCompl-it共享任务的背景下使用该程序进行微调,从而在预测质量方面获得了相当大的改进。
2020-11-10 cs.CL cs.LG
Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation
Institute of Science Tokyo(东京科学研究所);National Institute of Information and Communications Technology(信息与通信技术国家研究所)
提出一种基于最小贝叶斯风险解码的迭代MBR蒸馏自演化框架,利用现成大语言模型生成伪标签,无需人工标注即可在错误跨度检测任务上超越监督基线。
2026-09-02 cs.AI cs.CL
How Many Labels Does a Language Need? Annotation Budgets and Cross-Lingual Pooling for African-Language Text Classification
University of Missouri(密苏里大学);Government Degree College(政府学位学院);Amar Bio Tech Pvt Ltd(Amar生物科技有限公司)
针对非洲语言文本分类,本文实证研究了标注预算与跨语言池化:约400个标签可达新闻分类90%性能,小预算下池化其他语言数据显著提升,零样本迁移效果有限,并发布代码与标注指南。
2026-09-30 cs.CL cs.LG
Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles
Columbia University(哥伦比亚大学)
研究主题情感对感知政治意识形态的因果效应,通过比较人类与LLM标注,发现微调GPT-4o-mini产生显著因果效应,归因于捷径学习。
2026-07-15 cs.AI cs.CL cs.LG
Rethinking Prompting Strategies for Multi-Label Recognition with Partial Annotations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对带部分标注的多标签识别,研究发现VLM提示学习中负向提示会降低性能,仅学正向提示结合学习型负向嵌入的PositiveCoOp优于双提示方法,且低缺失标签比例下纯视觉基线性能可比双提示法,计算和参数成本更低。
2024-09-12 cs.AI cs.CL cs.CV
Incorporating Worker Perspectives into MTurk Annotation Practices for NLP
UC Berkeley(加州大学伯克利分校)
本研究通过文献综述和工人调查,揭示MTurk工人偏好与NLP研究者认知的差异,并提出改进标注实践以尊重工人权利和提升数据质量的建议。
2023-11-16 cs.AI cs.CL
Nostra Domina at EvaLatin 2024: Improving Latin Polarity Detection through Data Augmentation
University of Notre Dame(圣母大学)
针对拉丁语低资源及修辞体裁情感复杂的问题,Nostra Domina团队在EvaLatin 2024极性检测任务中,基于k-means算法做数据增强并结合多种拉丁语LLMs,取得测试集宏平均Macro-F1第二的成绩。
2024-04-11 cs.CL cs.LG
Mapping Between fMRI Responses to Movies and their Natural Language Annotations
Princeton University(普林斯顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Toronto(多伦多大学)
几个研究小组已经展示了如何将功能磁共振成像反应与所呈现的刺激的含义相关联。本文提出了新的方法,这样做时,只有一个自然语言的注释是可用的刺激的描述。我们研究了从观看BBC Sherlock的受试者中收集的fMRI数据[1],并学习了fMRI反应和自然语言表征之间的双向映射。我们展示了如何利用来自多个受试者观看同一部电影的数据来提高映射的准确性,使我们能够成功地在场景分类任务中获得72%的准确性(随机猜测将获得4%),并在场景排名任务中获得平均排名前4%(随机猜测将获得50%)。关键成分是(a)使用共享响应模型(SRM)及其变体SRM-ICA [2,3]来聚合来自多个受试者的fMRI数据,这两种模型在本文中产生任务的低维表示方面都优于标准PCA;(b)一种从自然语言处理(NLP)文献[4]改编的句子嵌入技术,其产生注释的语义向量表示;(c)在所述预测器数据的特征化中使用先前时间步长信息。
2017-04-10 cs.CL cs.LG q-bio.NC
L3Cube-MahaEmotions: A Marathi Emotion Recognition Dataset with Synthetic Annotations using CoTR prompting and Large Language Models
Pune Institute of Computer Technology(普那计算机技术研究所);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Labs(L3Cube实验室)
本文构建含11类细粒度标签的马拉地语情感数据集 L3Cube-MahaEmotions,利用 CoTR 提示和 GPT-4 合成训练标注,并发现通用 LLM 相比微调 BERT 泛化更优。
2025-08-29 cs.CL cs.LG
DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning
Utrecht University(乌特雷赫大学)
DeMeVa 团队在 LeWiDi-2025 中探索了上下文学习与标签分布学习两种方法,前者通过聚合预测生成软标签,后者被认为有潜力,共同为视角建模提供有效方案。
2025-09-11 cs.CL cs.LG
HiTZ at VarDial 2025 NorSID: Overcoming Data Scarcity with Language Transfer and Automatic Data Annotation
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU)HiTZ中心 – Ixa)
本文提出 HiTZ 在 NorSID 共享任务中的方案,通过跨语言多任务微调、xSID 语言迁移和开发集微调缓解挪威方言数据稀缺,并验证了语言组合与领域专用性的作用。
2025-01-09 cs.AI cs.CL cs.LG