What Do Biomedical NER and Entity Linking Benchmarks Measure? A Corpus-Centric Diagnostic Framework
National Library of Medicine(国家医学图书馆)
本文提出一种以语料库为中心的诊断框架,用于分析生物医学NER和实体链接基准测试的相关属性,揭示语料库特性对评估信号、泛化需求和基准测试结论范围的影响。
2026-05-19 cs.CL
Korean Bio-Medical Corpus (KBMC) for Medical Named Entity Recognition
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对韩语缺乏开源医学NER数据集的问题,研究利用ChatGPT构建了KBMC数据集,使医学NER性能较通用数据集提升20%,验证了专业工具与数据集在医疗NLP中的重要性。
2024-03-24 cs.CL
Nested Named Entity Recognition as Holistic Structure Parsing
Shanghai Jiao Tong University(上海交通大学)
命名实体识别(NER)作为自然语言处理的基础任务和知识抽取的核心技术之一,被广泛用于从文本中抽取信息,为后续任务提供支持。嵌套NER是NER的一个分支,其中命名实体(NE)彼此嵌套。然而,大多数以前的研究嵌套的NER通常采用线性结构来模拟嵌套的NE实际上是容纳在一个层次结构。因此,为了解决这种不匹配,这项工作模型的完整嵌套的NE在一个句子作为一个整体结构,然后我们提出了一个整体结构解析算法,揭示整个NE一次为所有。此外,目前还没有将语料库层面的信息应用于名词性英语的研究。为了弥补这些信息的丢失,我们引入了逐点互信息(PMI)和其他频率特征,从语料库感知统计,甚至更好的性能,从语料库级别的整体建模。实验表明,该模型在广泛使用的基准测试中取得了令人满意的结果,接近甚至达到了最先进的水平。进一步的实证研究表明,我们提出的语料库感知特征可以显著提高NER领域自适应,这表明了我们提出的语料库级整体结构建模的惊人优势。
2022-04-17 cs.CL
GSAP-NER: A Novel Task, Corpus, and Baseline for Scholarly Entity Extraction Focused on Machine Learning Models and Datasets
GESIS – Leibniz Institute for the Social Sciences(GESIS 莱布尼茨社会科学研究所);Heinrich-Heine-University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文提出GSAP-NER,发布含100篇全文标注的语料库和首个基线模型,识别围绕机器学习模型和数据集的10种细粒度实体类型,并标注非正式提及,以推动学术实体抽取研究。
2023-11-16 cs.CL
WikiNER-fr-gold: A Gold-Standard NER Corpus
Univ. Bretagne Sud(南布列塔尼大学);CNRS(法国国家科学研究中心);IRISA(法国国家信息与自动化研究所雷恩分会(IRISA));OctopusMind(章鱼思维公司)
本文针对多语言命名实体识别语料库WikiNER缺乏人工验证的银标准问题,提出了法语部分的修订版WikiNER-fr-gold,通过抽样20%原始数据并制定标注指南进行人工修订,分析了原有语料库的错误与不一致性。
2025-04-28 cs.AI cs.CL cs.DB
En-ViMedNER: An English-Vietnamese Parallel Biomedical Corpus with UMLS Semantic Type Annotations
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Faculty of Engineering and IT, University of Technology Sydney(悉尼科技大学工程与信息技术学院);Center for AI Research, VinUniversity(VinUniversity人工智能研究中心);Monash University, Australia(莫纳什大学)
本文提出首个带UMLS语义类型标注的英越双语生物医学NER语料库En-ViMedNER,经多环节构建后在两类NER任务中取得F1值结果,相关资源公开发布以推动越南语生物医学NLP研究。
2026-09-01 cs.CL
Kannada named entity recognition and classification (nerc) based on multinomial naïve bayes (mnb) classifier
Jawaharlal Nehru National College of Engineering(贾瓦哈拉尔·尼赫鲁国家工程学院)
命名实体识别和分类(NERC)是识别文本中的专有名词并将这些名词分类为某些预定义的类别(如人名、位置、组织、日期和时间等)的过程。这项工作的目的是开发一种新的模型NERC,基于多项朴素贝叶斯(MNB)分类器。本文采用的方法是在对训练语料进行特征提取的基础上,利用词频、逆文档频率,并将它们拟合到一个tf-idf-vectorizer中。本文讨论了在发展拟议的模型的各种问题。讨论了系统的实现细节和性能评估。实验在95,170个标记的训练语料库和5,000个标记的测试语料库上进行。实验结果表明,该模型的准确率、召回率和F1测度分别为83%、79%和81%。
2015-09-12 cs.CL
Naamah: A Large Scale Synthetic Sanskrit NER Corpus via DBpedia Seeding and LLM Generation
Centre for Development of Advanced Computing (C-DAC)(发展高级计算中心)
本文提出Naamah,一个包含102942个句子的高质量梵语NER数据集,结合DBpedia实体提取与混合推理模型生成,用于评估XLM RoBERTa和IndicBERTv2模型。
2026-04-29 cs.AI cs.CL
Annotating the Tweebank Corpus on Named Entity Recognition and Building NLP Models for Social Media Analysis
Harvard Medical School(哈佛医学院)
社交媒体数据,如Twitter消息(“tweets”),由于其简短,嘈杂和口语化的性质,对NLP系统构成了特殊的挑战。诸如命名实体识别(NER)和句法分析之类的任务需要高度领域匹配的训练数据以获得良好的性能。到目前为止,还没有完整的训练语料库用于NER和句法分析(例如,词性标记、依存句法分析)。虽然有一些公开可用的tweet注释NLP数据集,但它们只针对个别任务而设计。在这项研究中,我们的目标是创建Tweebank-NER,一个英语NER语料库的基础上Tweebank V2(TB 2),训练国家的最先进的(SOTA)推文NLP模型,并发布一个NLP管道称为Twitter-Stanza。我们使用Amazon Mechanical Turk为TB 2中的命名实体添加注释,并衡量注释的质量。我们在TB 2上对Stanza管道进行训练,并与其他NLP框架进行比较(例如,FLAIR,spaCy)和基于transformer的模型。Stanza tokenizer和lemmatizer在TB 2上实现了SOTA性能,而Stanza NER tagger,词性(POS)tagger和依赖解析器实现了与非transformer模型竞争的性能。基于transformer的模型在Tweebank-NER中建立了一个强大的基线,并在TB 2上的POS标注和依存句法分析中实现了新的SOTA性能。我们发布了…
2022-05-10 cs.CL
TRIDIS: A Comprehensive Medieval and Early Modern Corpus for HTR and NER
University of Luxembourg(卢森堡大学)
本文介绍开源中世纪与近代早期手稿语料库TRIDIS,整合旧有馆藏与元数据,详述构成、转录规则、跨域测试集划分策略及基线实验,旨在推动HTR与NER联合研究。
2025-03-25 cs.AI cs.CL cs.CV
Syllable-based Neural Named Entity Recognition for Myanmar Language
University of Computer Studies, Yangon(仰光计算机研究大学)
缅甸语命名实体识别(NER)是缅甸语自然语言处理研究的重要内容。在这项工作中,缅甸语的NER被视为一个序列标记问题,深度神经网络对缅甸语的NER的有效性进行了研究。通过将深度神经网络架构应用于音节级缅甸语上下文来进行实验。第一个手动标注的缅甸语的NER语料库也被构建和提出。在开发我们内部的NER语料库时,也使用了来自在线新闻网站的句子和来自ALT平行语料库的句子。该ALT语料库是ASEAN IVO下的亚洲语言树库(ALT)项目的一部分。本文首次对缅甸语NER任务的神经网络模型进行了评估。实验结果表明,这些神经序列模型可以产生有前途的结果相比,基线CRF模型。在这些神经架构中,在上面添加CRF层的双向LSTM网络给出了最高的F得分值。本研究的目的也在于发现神经网络方法在缅甸语文本处理中的有效性,并促进对这一未被充分研究的语言的进一步研究。
2019-03-12 cs.CL
PEYMA: A Tagged Corpus for Persian Named Entities
NER任务的目标是将文本中的专有名词分类为人物,位置和组织等类别。这是许多NLP任务中重要的预处理步骤,例如问答和摘要。虽然在这方面已经用英语进行了许多研究,而且最先进的净入学率系统在F1测量方面的表现已经达到90%以上,但在波斯语中这项任务的研究很少。其中一个主要的重要原因可能是缺乏一个标准的波斯语NER数据集训练和测试NER系统。在这项研究中,我们创建了一个标准的,足够大的标记波斯语NER数据集,将免费分发用于研究目的。为了构建这样一个标准的数据集,我们研究了标准的NER数据集,为英语研究,并发现,几乎所有这些数据集是由新闻文本。所以我们从十个新闻网站收集了文件。后来,为了给注释者提供一些标记这些文档的指导,在研究了用于构建CoNLL和MUC标准英语数据集的指导方针之后,我们考虑到波斯语规则设置了自己的指导方针。
2018-01-30 cs.CL
Enhancing Language Models for Financial Relation Extraction with Named Entities and Part-of-Speech
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出将 NER 与 POS 信息以多种组合方式融入预训练语言模型,以提升金融文本中实体关系抽取性能,实验验证了该策略的有效性。
2024-05-02 cs.CL cs.IR cs.LG
A Human Subject Study of Named Entity Recognition (NER) in Conversational Music Recommendation Queries
Deezer Research(Deezer研究院)
我们进行了一项人类主题的研究命名实体识别的嘈杂语料库的会话音乐推荐查询,许多不规则和新颖的命名实体。我们评估了人类NER语言行为在这些具有挑战性的条件下,并将其与当今最常见的NER系统进行了比较,微调Transformers。我们的目标是了解任务,以指导更好的评估方法和NER算法的设计。结果表明,在严格的评估模式下,NER对于人类和算法来说都是相当困难的;人类具有更高的精度,而模型的召回率更高,因为实体暴露,特别是在预训练期间;实体类型具有不同的错误模式(例如,艺术家频繁的打字错误)。发布的语料库超越了预定义的互动框架,可以支持未来的工作,在会话式音乐推荐。
2023-03-13 cs.CL
FiNER-ORD: Financial Named Entity Recognition Open Research Dataset
Georgia Institute of Technology(佐治亚理工学院)
本文构建首个高质量英文金融命名实体识别开放数据集 FiNER-ORD,并在其上评测多种 PLM 与 LLM,以支持金融领域 NER/NLP 研究。
2024-09-06 cs.CL cs.IR
Novel Benchmark for NER in the Wastewater and Stormwater Domain
CNR-ILC(意大利国家研究委员会-ILC);CNR-ISTI(意大利国家研究委员会-ISTI);HSM Univ. Montpellier(蒙彼利埃大学HSM);IRD(国际研究与发展机构);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化技术研究所)
本文构建了法语-意大利语废水和雨水管理领域NER基准语料库,评估包括LLM在内的先进NER方法,并通过标注投影探索多语言扩展。
2025-06-02 cs.CL
Towards Deep Learning in Hindi NER: An approach to tackle the Labelled Data Scarcity
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);National Institute of Technology, Tiruchirappalli(蒂鲁吉拉伯利国立理工学院);Dwarkadas J. Sanghvi College of Engineering(德瓦卡达斯·J·桑格维工程学院)
在本文中,我们描述了一个端到端的神经模型命名实体识别NER),它是基于双向RNN-LSTM。几乎所有的北印度语国家识别系统都使用语言特有的功能和手工制作的地名词典规则。我们的模型是独立于语言的,不使用特定于域的功能或任何手工规则。我们的模型依赖于语义信息的词向量的形式,这是学习的无监督学习算法在一个无注释的语料库。我们的模型在英语和印地语中都达到了最先进的水平,而没有使用任何形态分析或任何类型的地名词典。
2016-11-16 cs.CL cs.LG
Wojood: Nested Arabic Named Entity Corpus and Recognition using BERT
Birzeit University(比尔宰特大学)
本文介绍了Wojood,一个阿拉伯语嵌套命名实体识别(NER)语料库。当一个实体提及嵌入到另一个实体提及中时,出现嵌套实体。Wojood由大约550K现代标准阿拉伯语(MSA)和方言标记组成,这些标记手动注释了21种实体类型,包括人,组织,位置,事件和日期。更重要的是,语料库是用嵌套的实体来注释的,而不是更常见的平面注释。数据包含约75K个实体,其中22.5%是嵌套的。语料库的注释者间评价与Cohen Kappa值0.979和F1评分0.976非常一致。为了验证我们的数据,我们使用语料库来训练基于多任务学习和AraBERT(阿拉伯语BERT)的嵌套NER模型。该模型的总体微观F1评分为0.884。我们的语料库、注释指南、源代码和预训练模型都是公开的。
2022-05-23 cs.AI cs.CL cs.IR
CrossNER: Evaluating Cross-Domain Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
跨领域命名实体识别模型能够解决目标领域命名实体识别样本稀缺的问题。然而,大多数现有的NER基准缺乏领域专用的实体类型或不专注于某个领域,导致跨领域评估效率较低。为了解决这些障碍,我们引入了一个跨域NER数据集(CrossNER),这是一个完全标记的NER数据集合,跨越五个不同的领域,具有不同领域的专门实体类别。此外,我们还提供了一个领域相关的语料库,因为使用它来继续预训练语言模型(领域自适应预训练)是有效的领域自适应。然后,我们进行了全面的实验,以探讨利用不同层次的领域语料库和预训练策略,做跨领域任务的领域自适应预训练的有效性。实验结果表明,在领域自适应预训练中,聚焦于包含领域特定实体的分数语料库,并采用更具挑战性的预训练策略,有利于NER的领域自适应,并且该方法能够始终优于现有的跨领域NER基线。然而,实验也说明了这种跨域NER任务的挑战。我们希望我们的数据集和基线能够促进NER领域自适应领域的研究。代码和数据可在https://github.com/zliucr/CrossNER上获得。
2020-12-13 cs.AI cs.CL
SEC-QA: A Systematic Evaluation Corpus for Financial QA
Kensho Technologies(肯肖科技公司)
针对金融领域缺乏真实场景评估数据集、大模型训练数据污染导致评估有偏的问题,提出可持续生成多文档长上下文金融问答对的SEC-QA框架,并设计基于思维程序的问答系统提升复杂推理准确率。
2024-06-20 cs.CL
TurEngMix: A Text Corpus and Benchmark for Turkish-English Code-Mixed Language Identification and Named Entity Recognition
University of Maryland(马里兰大学)
针对土耳其语-英语代码混合文本,构建了TurEngMix语料库与基准,评估显示形态整合标记的错误率高,并发布资源以促进研究。
2026-09-09 cs.CL
Building a Massive Corpus for Named Entity Recognition using Free Open Data Sources
PUC-Rio(里约热内卢天主教大学);TTIC(丰田技术研究所芝加哥分校)
随着机器学习的最新进展,在深度学习等技术的推动下,一旦有足够大的数据集可用于训练,许多任务就可以成功解决。尽管如此,人工标注的数据集通常生产成本很高,特别是当标签是细粒度的时,例如命名实体识别(NER),这是一项在单词级别上使用标签的任务。在本文中,我们提出了一种方法来自动生成标记数据集NER从公共数据源,利用链接和结构化数据从DBpedia和维基百科。由于这些数据源的规模庞大,因此生成的数据集(SENSOR可在https://sesame-pt.github.io上获得)由数百万个标记的句子组成。我们详细介绍了生成数据集的方法,报告相关统计数据,并使用神经网络设计基线,表明我们的数据集有助于构建更好的NER预测器。
2019-08-13 cs.AI cs.CL
Annotation Errors and NER: A Study with OntoNotes 5.0
National Research Council Canada(加拿大国家研究委员会)
本文采用三种简单技术检测英语OntoNotes 5.0语料库中的标注错误,修正约10%的句子和8%的实体提及,使模型总体F分数平均提升1.23%,该方法具有语言无关性,可推广至其他数据集和序列标注任务。
2024-06-27 cs.CL
Incorporating Uncertain Segmentation Information into Chinese NER for Social Media Text
Tongji University(同济大学);Tencent(腾讯)
中文分词是中文命名实体识别(NER)系统提供词级信息的必要手段。然而,在处理社交媒体文本等口语数据时,分割错误传播是中文NER的一个挑战。在本文中,我们提出了一个模型(UIcwsNN),专门用于识别实体从中国的社交媒体文本,特别是利用模糊信息的分词。这种不确定信息包含了句子的所有潜在分割状态,为模型推断深层词级特征提供了通道。我们提出了一个三部曲(即,候选位置嵌入->位置选择性注意->自适应词卷积)来编码不确定的分词信息并获得适当的词级表示。在社交媒体语料库上的实验结果表明,该模型有效地消除了分割错误级联问题,与现有方法相比,性能提高了2%以上。
2020-06-15 cs.CL cs.LG
Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment
Microsoft(微软)
提出了一种基于并行语料库的跨语言命名实体识别(NER)zero-shot迁移方法。我们在XLM-RoBERTa基础上构建了一个实体对齐模型,将并行数据英文部分检测到的实体映射到目标语言句子中,其准确率超过了以往所有无监督模型。利用该对齐模型可以得到目标语言的伪标记NER数据集,用于训练特定任务模型。与使用翻译方法不同,这种方法受益于目标语原始语料的自然流畅性和细微差别。我们还提出了一种改进的损失函数,类似于焦点损失,但在相反的方向分配权重,以进一步提高模型训练噪声伪标记数据集。我们在基准数据集上对4种目标语言进行了评估,并与最新的SOTA模型相比获得了具有竞争力的F1分数。我们还额外讨论了并行语料库大小和域对最终传输性能的影响。
2021-01-26 cs.CL
Boosting Named Entity Recognition with Neural Character Embeddings
IBM Research(IBM研究院);Universidade Federal Fluminense(弗鲁米嫩塞联邦大学)
大多数最先进的命名实体识别(NER)系统依赖于手工制作的功能和其他NLP任务的输出,如词性(POS)标记和文本组块。在这项工作中,我们提出了一个独立于语言的NER系统,只使用自动学习功能。我们的方法基于CharWNN深度神经网络,它使用单词级和字符级表示(嵌入)来执行顺序分类。我们进行了大量的实验,使用两个注释语料库在两种不同的语言:HAREM我语料库,其中包含葡萄牙语的文本;和SPA CoNLL-2002语料库,其中包含西班牙语的文本。我们的实验结果阴影光的神经字符嵌入NER的贡献。此外,我们证明了相同的神经网络,已成功地应用于POS标签也可以实现最先进的结果语言无关NER,使用相同的超参数,没有任何手工制作的功能。对于HAREM I语料库,CharWNN在总场景(10个NE类)的F1得分中优于最先进的系统7.9分,在选择性场景(5个NE类)的F1得分中优于最先进的系统7.2分。
2015-05-25 cs.CL
Konooz: Multi-domain Multi-dialect Corpus for Named Entity Recognition
Birzeit University(比尔泽特大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Palestine Technical University-Kadoorie(巴勒斯坦技术大学-卡多里)
本研究推出覆盖10领域16种阿拉伯方言的多维度开源NER语料库Konooz,基准测试显示现有阿拉伯语NER模型跨域跨方言性能最高降38%,并分析了差异与资源稀缺的影响。
2025-06-14 cs.AI cs.CL
Information Extraction: An application to the domain of hyper-local financial data on developing countries
Stanford University(斯坦福大学)
针对发展中国家公司金融数据缺失问题,开发并评估了两种NLP信息抽取技术:基于T5模型的联合NER与关系抽取(准确率92.44%),以及基于SpaCy的顺序抽取方法,有效提取实体及其关系。
2024-03-14 cs.CL
Sequence Labeling: A Practical Approach
Technical University of Munich(慕尼黑工业大学)
我们采取一种实用的方法来解决序列标签问题,假设领域的专业知识和稀缺的信息和计算资源。为此,我们利用了一个通用的端到端的基于Bi-LSTM的神经序列标记模型,适用于各种NLP任务和语言。该模型结合了从数据中提取的形态、语义和结构线索,以得出明智的预测。该模型的性能在八个基准数据集上进行了评估(涵盖三个任务:POS标记,NER和组块,以及四种语言:英语,德语,荷兰语和西班牙语)。我们观察了其中四个的最先进的结果:CoNLL-2012(英语NER),CoNLL-2002(荷兰NER),GermEval 2014(德语NER),Tiger Corpus(德语POS标记),以及其余的竞争性表现。
2018-08-12 cs.CL cs.LG
AlbNER: A Corpus for Named Entity Recognition in Albanian
University of Vienna(维也纳大学)
本文构建了阿尔巴尼亚语命名实体识别语料库AlbNER,包含900个标注句子,并通过BERT和RoBERTa变体实验表明语言迁移比模型规模对性能影响更大,为后续研究提供基线。
2023-09-15 cs.AI cs.CL cs.LG
Comprehensive Named Entity Recognition on CORD-19 with Distant or Weak Supervision
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们在COVID-19开放研究数据集挑战(CORD-19)语料库上创建了这个具有全面命名实体识别(NER)的CORD-NER数据集(2020-03-13)。该CORD-NER数据集涵盖了75种细粒度实体类型:除了常见的生物医学实体类型(例如,基因、化学物质和疾病),它涵盖了许多与COVID-19研究明确相关的新实体类型(例如,冠状病毒,病毒蛋白,进化,材料,底物和免疫反应),这可能有利于COVID-19相关病毒,传播机制和潜在疫苗的研究。CORD-NER注释是使用不同NER方法的四个源的组合。CORD-NER注释的质量超过了SciSpacy(基于文档样本集的F1得分高出10%以上),这是一种完全监督的BioNER工具。此外,CORD-NER支持增量添加新文档,并在需要时通过添加数十个种子作为输入示例来添加新的实体类型。我们将根据CORD-19语料库的增量更新和我们系统的改进不断更新CORD-NER。
2020-04-15 cs.AI cs.CL cs.IR
Terminologies augmented recurrent neural network model for clinical named entity recognition
Paris University(巴黎大学);AP-HP(巴黎公共援助医院);LIMSI(法国计算机科学与自动化研究所);CNRS(法国国家科学研究中心);Univ. Paris-Sud(巴黎南大学);Université Paris-Saclay(巴黎萨克雷大学);Sorbonne Université(索邦大学);Inserm(法国国家健康与医学研究院);Univ Paris 13(巴黎第十三大学);LIMICS(医学信息学与电子健康知识工程实验室)
我们的目的是提高性能的监督模型的临床命名实体识别(NER)使用医学术语。为了评估我们的系统在法国,我们建立了一个语料库的5种类型的临床实体。我们使用了一个基于术语的系统作为基线,建立在UMLS和SNOMED。然后,我们评估了一个biGRU-CRF,和一个混合系统使用的预测的术语为基础的系统的biGRU-CRF的功能。在英语中,我们在i2 b2 -2009药物名称识别的药物挑战赛上评估了NER系统,其中包含268个文档的8,573个实体。在法语中,我们建立了APcNER,这是一个包含147个文档的语料库,注释了5个实体(药物名称,体征或症状,疾病或病症,诊断程序或实验室测试和治疗程序)。我们评估每个NER系统使用精确和部分匹配定义的F-测度的NER。APcNER包含4,837个实体,需要28小时进行注释,注释者间一致性对于精确匹配的药物名称是可接受的(85%),对于非精确匹配的其他实体类型是可接受的(>70%)。对于i2 b2 -2009和APcNER上的药物名称识别,biGRU-CRF比基于术语的系统表现更好,精确匹配F测量值分别为91.1%和73%,81.9%和75%。此外,混合系统优于biGRU-CRF,精确匹配F测量值为92.2% vs 91.1%(i2 b2 -2009)和88.4% vs 81.9%(APcNER)。在APcNER语料库上,混合系统对5个实体的微平均F-测…
2019-05-15 cs.CL
Biomedical Named Entity Recognition via Reference-Set Augmented Bootstrapping
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们提出了一种弱监督数据增强方法,以提高命名实体识别(NER)在一个具有挑战性的领域:提取生物医学实体(例如,蛋白质)从科学文献中。首先,我们训练一个神经NER(NNER)模型在一个小的种子完全标记的例子。其次,我们使用实体名称的引用集(例如,UniProt中的蛋白质)来在未标记的语料库上以高精度但低召回率识别实体提及。第三,我们使用NNER模型为语料库分配弱标签。最后,我们在增强的训练集上迭代地重新训练我们的NNER模型,包括种子,参考集示例和弱标记示例,这提高了模型性能。我们的经验表明,这种增强的引导过程显着提高NER性能,并讨论影响该方法的有效性的因素。
2019-06-01 cs.CL cs.LG stat.ML
KoCHET: a Korean Cultural Heritage corpus for Entity-related Tasks
Korea University(高丽大学)
随着数字化传统文化遗产文件的迅速增加,对保护和管理的需求日益增加,对实体的实际识别及其类别的类型化变得至关重要。为了实现这一点,我们提出了KoCHET -韩国文化遗产语料库的典型实体相关的任务,即,命名实体识别(NER)、关系抽取(RE)和实体分类(ET)。KoCHET由文化遗产专家根据政府附属机构的数据构建指南提供咨询,分别由NER,RE和ET任务的112,362,38,765和113,198个示例组成,涵盖了与韩国文化遗产相关的所有实体类型。此外,与现有的公共语料库不同,修改后的再分配可以允许国内外研究人员使用。我们的实验结果使得KoCHET的实际可用性在文化遗产方面更具价值。我们还提供了KoCHET在统计和语言分析方面的实用见解。我们的语料库可以在https://github.com/Gyeongmin47/KoCHET上免费获得。
2022-09-02 cs.AI cs.CL
Merge and Label: A novel neural network architecture for nested NER
University of Cambridge(剑桥大学)
命名实体识别是自然语言处理中研究得最多的任务之一。然而,大多数方法不能处理嵌套结构,这是常见的许多应用程序。在本文中,我们介绍了一种新的神经网络架构,首先合并令牌和/或实体到实体形成嵌套结构,然后标记他们每个人独立。与以前的工作不同,我们的合并和标签方法预测的是实值而不是离散的分割结构,这使得它能够在保持可微性的同时结合单词和嵌套实体嵌入。%,可将实体平滑地分组为跨多个级别的单个向量。我们使用ACE 2005语料库评估我们的方法,在那里它达到了最先进的F1 74.6,进一步提高与上下文嵌入(BERT)到82.4,接近8个F1点的整体改善比以前的方法在相同的数据上训练。此外,我们将其与BiLSTM-CRF进行比较,BiLSTM-CRF是平面NER结构的主要方法,表明其预测嵌套结构的能力在简单情况下不会影响性能。
2019-06-30 cs.CL cs.LG
Annotation Guidelines for Corpus Novelties: Part 1 -- Named Entity Recognition
Laboratoire Informatique d’Avignon – LIA UPR 4128(阿维尼翁计算机实验室(UPR 4128))
本文介绍了Novelties小说语料库中命名实体识别任务的标注指南,通过具体示例明确实体与非实体表达的标注标准。
2024-10-04 cs.CL
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University(查理大学)
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法,BERT和Flair,在四个捷克文本处理任务:词性(POS)标记,词形化,依赖分析和命名实体识别(NER)。前三个任务,词性标注,词形还原和依存句法分析,评估两个语料库:布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别(NER)。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology(河内科技大学);VCCorp(VCCorp公司)
本文提出了一种用于越南语序列标注任务的神经结构,包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型,该模型是双向长短期记忆和条件随机场的组合,它依赖于关于单词的两个信息源:从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明,该方法在两个任务上都达到了最佳的性能:词性标注的准确率为93.52%,NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
A Deep Learning approach for Hindi Named Entity Recognition
Indian Institute of Technology(印度理工学院);TCS Research and Innovation(塔塔咨询服务公司研究与创新中心)
命名实体识别是许多自然语言处理任务中最重要的文本处理需求之一。在本文中,我们使用一个深的架构来完成识别给定的印地语文本句子中的命名实体的任务。文献中已经将基于双向长短期记忆(BiLSTM)的技术用于NER任务。在本文中,我们首先调整BiLSTM低资源场景以适用于印地语NER,并提出两种增强,即(a)去噪自动编码器(DAE)LSTM和(b)调节LSTM,与BiLSTM方法相比,它们在NER任务中有所改进。我们使用预训练的词嵌入来表示语料库中的词,并且词的NER标签由所使用的注释语料库定义。已经进行了实验来分析不同词嵌入和批量大小的性能,这对于训练深度模型至关重要。
2019-11-05 cs.CL cs.LG
Exploiting Multiple Embeddings for Chinese Named Entity Recognition
Wuhan University(武汉大学);Tencent AI Lab(腾讯人工智能实验室)
识别文本中提到的命名实体将丰富下游层次的许多语义应用。然而,由于微博中口语化语言占主导地位,中文微博中的命名实体识别(NER)与在正式中文语料库中的NER相比,性能显著下降。在本文中,我们提出了一个简单而有效的神经框架,以获得在中文文本中的NER字符级嵌入,命名为ME-CNER。一个字符嵌入是由丰富的语义信息在多个粒度,从部首,字符到单词的水平。实验结果表明,该方法在微博数据集上取得了很大的性能提升,在MSRA新闻数据集上的性能与现有方法相当,且计算成本较低。
2019-08-28 cs.CL cs.LG
The Russian Drug Reaction Corpus and Neural Models for Drug Reactions and Effectiveness Detection in User Reviews
Kazan Federal University(喀山联邦大学);Steklov Institute of Mathematics at St. Petersburg(圣彼得堡斯捷克洛夫数学研究所)
本文构建了俄语药物反应部分标注语料库RuDReC,并提出基于RuDR-BERT的基线模型用于命名实体识别与多标签句子分类,在两项任务上均取得优于基线的F1分数,且已开源语料库与模型权重。
2020-04-07 cs.CL
Sebastian, Basti, Wastl?! Recognizing Named Entities in Bavarian Dialectal Data
MaiNLP, Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心MaiNLP项目);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出首个德语方言NER数据集BarNER,含161K标注令牌,通过多任务学习等方法在巴伐利亚语料上取得SOTA,证实低资源方言数据及多样性对模型性能提升的重要性。
2024-03-19 cs.CL
Zero-Resource Cross-Domain Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
现有的跨领域命名实体识别模型依赖于目标领域中大量的未标注语料或标注的命名实体识别训练数据。然而,为低资源目标域收集数据不仅昂贵而且耗时。因此,我们提出了一个跨域NER模型,不使用任何外部资源。我们首先介绍了一个多任务学习(MTL),通过添加一个新的目标函数来检测令牌是否命名实体或没有。然后,我们引入了一个框架称为实体专家混合(MoEE),以提高零资源领域自适应的鲁棒性。最后,实验结果表明,我们的模型优于强无监督跨域序列标记模型,我们的模型的性能接近利用广泛的资源的最先进的模型。
2020-05-19 cs.CL cs.LG
Text Segmentation using Named Entity Recognition and Co-reference Resolution in English and Greek Texts
在本文中,我们研究的好处执行命名实体识别(NER)和共指决议的英语和希腊语语料库用于文本分割。这里的目的是检查文本分割和信息抽取的组合是否有利于识别文档中出现的各种主题。NER手动进行英语语料库中,并与公开可用的注释工具产生的输出进行比较,而已经存在的工具用于希腊语语料库。从这两个语料库产生的注释进行手动更正和丰富,以涵盖四种类型的命名实体。共同参考分辨率,即,随后执行用相同的命名实体标识符替换相同实例的每个引用。评估,使用五个文本分割算法的英语语料库和四个希腊语语料库导致的结论是,收益高度依赖于段的主题,命名实体实例出现在它的数量,以及段的长度。
2016-10-28 cs.CL cs.IR
Extracting Information in a Low-resource Setting: Case Study on Bioinformatics Workflows
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会)
针对生物信息学工作流信息抽取标注语料稀缺的问题,研究将其定义为低资源抽取任务,测试四种策略并构建BioToFlow语料库,基于SciBERT的模型取得与标注者间一致性相当的70.4 F值,验证了该场景下高性能信息抽取的可行性。
2025-03-10 cs.CL
A Comparison of Named Entity Recognition Tools Applied to Biographical Texts
Galatasaray University(加拉塔萨雷大学)
命名实体识别(NER)是自然语言处理的一个热门领域。因此,存在许多工具来执行此任务。在其他方面,它们在依赖的处理方法,它们可以检测的实体类型,它们可以处理的文本的性质以及它们的输入/输出格式方面有所不同。这使得用户难以针对特定情况选择适当的NER工具。在这篇文章中,我们试图在传记文本的背景下回答这个问题。为此,我们首先通过注释维基百科文章来构建一个新的语料库。然后,我们选择公开可用的,众所周知的和免费的研究NER工具进行比较:斯坦福NER,伊利诺伊NET,OpenCalais NER WS和Alias-i LingPipe。我们将它们应用到我们的语料库中,评估它们的表现并进行比较。当考虑整体表现时,出现了一个清晰的层次:斯坦福大学的结果最好,其次是LingPipe,Illionois和OpenCalais。然而,相对于实体类型和文章类别进行的更详细的评估突出了它们的表现受这些因素影响的事实。这种互补性打开了一个有趣的角度来看,这些单独的工具相结合,以提高性能。
2013-08-03 cs.CL cs.IR
NER-BERT: A Pre-trained Model for Low-Resource Entity Tagging
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团)
当大型训练数据集对于低资源域不可用时,命名实体识别(NER)模型通常表现不佳。近年来,预训练大规模语言模型已成为应对数据稀缺问题的一个有前途的方向。然而,语言建模和NER任务之间的潜在差异可能会限制模型的性能,并且NER任务的预训练很少被研究,因为收集的NER数据集通常很小或很大,但质量很低。在本文中,我们构建了一个相对高质量的大规模NER语料库,并根据创建的数据集预训练NER-BERT模型。实验结果表明,我们的预训练模型可以显着优于BERT以及其他强大的基线在低资源的情况下,在九个不同的领域。此外,实体表示的可视化进一步表明了NER-BERT对各种实体进行分类的有效性。
2021-12-01 cs.AI cs.CL
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
Carnegie Mellon University(卡内基梅隆大学)
最先进的序列标记系统传统上需要大量的任务特定的知识,以手工制作的特征和数据预处理的形式。在本文中,我们介绍了一种新的神经网络架构,通过使用双向LSTM,CNN和CRF的组合,自动受益于单词和字符级别的表示。我们的系统是真正的端到端,不需要特征工程或数据预处理,因此使其适用于广泛的序列标记任务。我们评估我们的系统在两个数据集上的两个序列标记任务- Penn Treebank WSJ语料库的词性(POS)标记和CoNLL 2003语料库的命名实体识别(NER)。我们在这两个数据上都获得了最先进的性能-
2016-05-29 cs.CL cs.LG stat.ML
Comparative Analysis of Extrinsic Factors for NER in French
The University of British Columbia(不列颠哥伦比亚大学)
本文针对法语NER数据有限的问题,比较模型结构、标注方案和数据增强等外在因素,通过组合这些技术将F1从62.41提升至79.39,证明该方法在低资源场景下有效。
2024-10-17 cs.CL
Error Analysis for Vietnamese Named Entity Recognition on Deep Neural Network Models
University of Information Technology, Vietnam National University - Ho Chi Minh City(胡志明市越南国家大学信息技术大学)
近年来,越南语命名实体识别(NER)系统在使用深度神经网络方法时有了很大的突破。本文描述了越南语最新的名词性语言系统的主要错误。在越南NER数据集上对具有不同词嵌入的BLSTM-CNN-CRF和BLSTM-CRF模型进行实验后。该数据集由VLSP于2016年提供,用于评估大多数越南当前的NER系统。我们注意到BLSTM-CNN-CRF给出了更好的结果,因此,我们详细分析了该模型的误差。我们的错误分析结果为我们提供了深入的见解,以提高越南语的NER性能,并在未来的工作中提高语料库的质量。
2019-11-19 cs.CL cs.LG cs.NE
Extracting Impact Model Narratives from Social Services' Text
University of Toronto(多伦多大学)
命名实体识别(NER)是叙述抽取中的一项重要任务。叙事作为一个故事系统,提供了对故事中的事件和人物如何随着时间的推移而发展的见解。本文提出了一种基于社会目的组织语料库的命名实体架构。这是第一项专门针对社会服务实体的净入学率任务。我们展示了如何使用这种方法来排序的服务和受影响的客户端从非结构化文本中提取的信息。该方法概述了提取实体的本体表示,如需求和满足,并生成假设,以回答查询的社会目的组织定义的影响模型的步骤。我们评估模型的语料库的社会服务的描述与经验计算的分数。
2022-04-04 cs.AI cs.CL cs.IR
Named Entity Recognition with Partially Annotated Training Data
University of Pennsylvania(宾夕法尼亚大学);University of North Carolina(北卡罗来纳大学);Bloomberg LP(彭博有限合伙企业)
监督式机器学习假设完全标记数据的可用性,但在许多情况下,例如低资源语言,唯一可用的数据是部分注释的。我们研究的问题命名实体识别(NER)与部分注释的训练数据,其中一小部分的命名实体被标记,和所有其他令牌,实体或其他,被标记为非实体默认情况下。为了在这个嘈杂的数据集上进行训练,我们需要区分真阴性和假阴性。为此,我们引入了一种约束驱动的迭代算法,该算法学习在噪声集中检测假阴性并降低它们的权重,从而得到加权训练集。有了这个集合,我们训练一个加权NER模型。我们评估我们的算法与神经和非神经NER模型的加权变体的数据在8种语言从几种语言和脚本家庭,显示出强大的能力,从部分数据学习。最后,为了显示真实世界的功效,我们在由非说话者注释的孟加拉语NER语料库上进行评估,表现优于现有技术的5个点F1。
2019-09-20 cs.CL cs.LG
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);PricewaterhouseCoopers GmbH(普华永道有限责任公司)
我们提出了KPI-BERT,一个系统,它采用新的方法命名实体识别(NER)和关系抽取(RE)提取和链接的关键绩效指标(KPI),如“收入”或“利息支出”,公司从现实世界的德国金融文件。具体来说,我们引入了一种端到端的可训练架构,该架构基于来自Transformers的双向编码器表示(BERT),将递归神经网络(RNN)与条件标签掩蔽相结合,以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制,并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能,超过了几个强大的基线,包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
NERetrieve: Dataset for Next Generation Named Entity Recognition and Retrieval
Bar-Ilan University(巴伊兰大学);Allen Institute for AI(艾伦人工智能研究所)
本文认为LLM未终结NER研究,提出NERetrieve数据集支持三项进阶任务:细粒度交叉实体识别、零样本实体抽取及零样本实体检索,并提供400万段落、500类实体的大型语料库以推动研究。
2023-10-22 cs.AI cs.CL cs.IR