KazNERD: Kazakh Named Entity Recognition Dataset
Institute of Smart Systems
我们提出了哈萨克语命名实体识别的数据集的发展。建立该数据集是因为显然需要公开可用的哈萨克语注释语料库，以及包含简单但严格的规则和示例的注释指南。基于IOB2方案的数据集注释是在第一作者的监督下由两名哈萨克族母语人士对电视新闻文本进行的。结果数据集包含25个实体类的112，702个句子和136，333个注释。还建立了最先进的机器学习模型来自动化哈萨克语命名实体识别，其中性能最好的模型在测试集上实现了97.22%的精确匹配F1分数。用于训练模型的带注释的数据集、指南和代码可以在CC BY 4.0许可下从https://github.com/IS2AI/KazNERD免费下载。
2022-04-07 cs.CL cs.IR
Text Segmentation using Named Entity Recognition and Co-reference Resolution in English and Greek Texts
在本文中，我们研究的好处执行命名实体识别（NER）和共指决议的英语和希腊语语料库用于文本分割。这里的目的是检查文本分割和信息抽取的组合是否有利于识别文档中出现的各种主题。NER手动进行英语语料库中，并与公开可用的注释工具产生的输出进行比较，而已经存在的工具用于希腊语语料库。从这两个语料库产生的注释进行手动更正和丰富，以涵盖四种类型的命名实体。共同参考分辨率，即，随后执行用相同的命名实体标识符替换相同实例的每个引用。评估，使用五个文本分割算法的英语语料库和四个希腊语语料库导致的结论是，收益高度依赖于段的主题，命名实体实例出现在它的数量，以及段的长度。
2016-10-28 cs.CL cs.IR
SEPT: Improving Scientific Named Entity Recognition with Span Representation
我们引入了一个新的科学命名实体识别器，称为SEPT，它代表Span Extractor with Pre-trained Transformers。在最近的论文中，跨度提取器已被证明是一个强大的模型相比，序列标记模型。然而，我们发现，随着预训练的语言模型的发展，跨度提取器的性能似乎变得与序列标记模型相似。为了保持跨度表示的优点，我们对模型进行了欠采样，以平衡正负样本，减少搜索空间。此外，我们简化了原始网络结构，将跨度提取器与BERT结合起来。实验表明，即使是简化的体系结构也能达到相同的性能，SEPT在不涉及关系信息的情况下也能实现科学的命名实体识别，达到了一个新的技术水平。
2020-10-13 cs.CL cs.IR
Neural Named Entity Recognition for Kazakh
Institute of Information and Computational Technologies（信息与计算技术研究所）
我们提出了几个神经网络来解决形态复杂语言（MCL）的命名实体识别的任务。哈萨克语是一种形态复杂的语言，其中每个词根/词干可以产生数百或数千种不同的单词形式。语言的这种性质可能导致严重的数据稀疏问题，这可能会阻止深度学习模型针对资源不足的MCL进行良好的训练。为了有效地对多语言学习者的词汇进行建模，我们在神经网络中引入了词根和实体标签嵌入以及张量层。这对提高MCLs的NER模型性能具有重要意义。所提出的模型优于包括基于字符的方法在内的最先进的方法，并且可以潜在地应用于其他形态复杂的语言。
2021-10-04 cs.CL cs.IR
Neural Disease Named Entity Extraction with Character-based BiLSTM+CRF in Japanese Medical Text
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们提出了一个“端到端”的基于字符的递归神经网络，该网络从日本医学文本中提取疾病命名实体，并同时判断其模态为阳性或阴性;即，确认或否定所述疾病或症状。采用神经网络的动机是学习有效的词汇和结构表示功能的实体识别，也为积极/消极的分类从注释语料库，而不明确提供任何基于规则的或手动的功能集。我们证实了我们的方法优于以前的基于字符的CRF或SVM方法的结果。
2018-06-10 cs.CL cs.IR
On the Strength of Character Language Models for Multilingual Named Entity Recognition
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）
在英语命名实体识别系统中，文本级模式被广泛用作特征。然而，到目前为止，还没有直接调查文本中名称和非名称标记之间的内在差异，也没有这种属性是否适用于多种语言。本文分析了语料库不可知的命名者级语言模型（CLM）在区分名称标记和非名称标记的二元任务中的能力。我们证明，CLMs提供了一个简单而强大的模型来捕捉这些差异，识别命名实体令牌在一组不同的语言在接近完整的NER系统的性能。此外，通过添加非常简单的基于CLM的功能，我们可以显着提高一个现成的多语言NER系统的性能。
2018-09-20 cs.CL cs.IR
MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective
Fudan University（复旦大学）；Hikvision Research Institute（海康威视研究院）
NER模型在标准NER基准测试中取得了良好的性能。然而，最近的研究表明，以前的方法可能会过度依赖于实体提及信息，导致词汇表外（OOV）实体识别性能不佳。在这项工作中，我们提出了MINER，一个新的NER学习框架，从信息理论的角度来解决这个问题。所提出的方法包含两个基于互信息的训练目标：i）广义信息最大化，其通过对上下文和实体表面形式的深入理解来增强表示; ii）多余信息最小化，其不鼓励表示死记硬背实体名称或利用数据中的有偏见的线索。在不同的场景和数据集上的实验表明，该方法在预测OOV实体方面取得了更好的性能。
2022-05-03 cs.CL cs.IR
Fine-Grained Named Entity Recognition using ELMo and Wikidata
Constellation AI
细粒度命名实体识别是一个任务，我们检测和分类实体提到一个大的类型集。这些类型可以跨越不同的领域，如金融，医疗保健和政治。我们观察到，当类型集跨越几个域的实体检测的准确性成为监督学习模型的限制。主要原因是缺乏适当注释实体边界的数据集，同时覆盖大量实体类型。此外，许多命名实体系统在考虑细粒度实体类型的分类时会受到影响。我们的工作试图解决这些问题，部分是通过将最先进的深度学习模型（ELMo）与广泛的知识库（Wikidata）相结合。使用我们的框架，我们交叉验证我们的模型上的112个细粒度的实体类型的基础上的层次结构从维基（黄金）数据集。
2019-04-23 cs.AI cs.CL cs.IR
SU-NLP at SemEval-2022 Task 11: Complex Named Entity Recognition with Entity Linking
Sabancı University（萨班哲大学）
本文介绍了由萨班斯大学自然语言处理小组在SemEval-2022 MultiCoNER任务中提出的系统。我们开发了一个无监督的实体链接管道，它可以在维基百科的帮助下检测潜在的实体提及，并使用相应的维基百科上下文来帮助分类器找到该提及的命名实体类型。我们的结果表明，我们的管道显着提高了性能，特别是对于低上下文环境中的复杂实体。
2022-03-22 cs.CL
Modeling Named Entity Embedding Distribution into Hypersphere
Shanghai Jiao Tong University（上海交通大学）；Brown University（布朗大学）
本文从嵌入空间的拓扑结构可视化的角度对命名实体分布进行建模，从而假设一种语言的大多数（如果不是全部的话）命名实体（NE）倾向于聚集在一起，以容纳在嵌入空间中的特定超球体中。因此，我们提出了一个新的开放的定义NE，弥补了明显的缺点，在以前的封闭NE定义与有限的NE字典。然后，我们展示了两个应用与介绍所提出的命名实体超球模型。首先，使用生成对抗神经网络学习两个嵌入空间的转换矩阵，从而方便地确定目标语言中命名实体的分布，表明仅利用嵌入空间之间的同构关系就能快速发现命名实体的潜力。第二，命名实体超球体模型直接与句子上的各种命名实体识别模型集成，以实现最先进的结果。仅假设嵌入是可用的，我们展示了一个有效的命名实体分布描述的先验知识自由的方法。
2019-09-03 cs.CL
A Survey of Named Entity Recognition in Assamese and other Indian Languages
Assam Don Bosco University（阿萨姆唐博斯科大学）
命名实体识别在处理主要的自然语言处理任务，如信息抽取，问答，机器翻译，文档摘要等时总是很重要的，所以在本文中，我们提出了一个调查命名实体在印度语言，特别是阿萨姆语。有各种基于规则和机器学习的方法可用于命名实体识别。本文首先介绍了命名实体识别的现有方法，并对该领域的相关研究进行了综述。阿萨姆语像其他印度语言一样是黏着的，并且缺乏适当的资源，因为命名实体识别需要大量的数据集，地名词典列表，字典等，并且在阿萨姆语中找不到英语中发现的一些有用的功能，如大写。除此之外，我们还描述了在阿萨姆语中进行命名实体识别时所面临的一些问题。
2014-07-09 cs.CL
Integrating Boundary Assembling into a DNN Framework for Named Entity Recognition in Chinese Social Media Text
Harvard Business School（哈佛商学院）；AI Strike（AI Strike公司）
命名实体识别是自然语言处理中一项具有挑战性的任务，尤其是对于非正式和嘈杂的社交媒体文本。中文词边界也是实体边界，因此，中文文本的命名实体识别可以受益于由中文分词输出的词边界检测。然而，中文分词也有其自身的困难，因为它受到多种因素的影响，例如，分割标准、采用的算法等处理不当，可能会对后续的命名实体识别质量产生连锁故障。在本文中，我们将边界组装方法与最先进的深度神经网络模型相结合，并将更新后的单词边界信息纳入条件随机场模型，用于命名实体识别。我们的方法显示了2%的绝对改善比以前的国家的最先进的结果。
2020-02-27 cs.CL
Soft Gazetteers for Low-Resource Named Entity Recognition
Carnegie Mellon University（卡内基梅隆大学）
传统的命名实体识别模型使用地名录（实体列表）作为特征来提高性能。虽然现代神经网络模型不需要这样的手工制作的功能强大的性能，最近的工作已经证明了他们的效用命名实体识别的英文数据。然而，为低资源语文设计这种功能具有挑战性，因为这些语文没有详尽的实体地名录。为了解决这个问题，我们提出了一种方法“软地名词典”，将无处不在的信息从英语知识库，如维基百科，到神经命名实体识别模型，通过跨语言的实体链接。我们对四种低资源语言的实验显示，F1得分平均提高了4分。代码和数据可在https://github.com/neulab/soft-gazetteers上获得。
2020-05-04 cs.CL
A Tweet Dataset Annotated for Named Entity Recognition and Stance Detection
Bilkent University（比尔肯特大学）
不同领域的注释数据集对于许多基于监督学习的相关问题的解决方案以及对所提出的解决方案的评估至关重要。自然语言处理（NLP）中的主题同样需要使用带注释的数据集。在本文中，我们针对两个自然语言处理问题，命名实体识别和立场检测，并提出了土耳其语标注的命名实体和立场信息的推文数据集的细节。在当前研究的过程中，所包含的推文的命名实体和立场注释都是公开的，尽管以前数据集只与立场注释公开共享。我们相信，这个数据集将是有用的揭示命名实体识别和立场检测推文之间的可能关系。
2019-01-16 cs.CL
A Finnish News Corpus for Named Entity Recognition
我们提出了一个语料库的芬兰新闻文章与手动准备命名实体注释。该语料库由953篇文章（193，742个单词标记）组成，具有六个命名实体类（组织，位置，人员，产品，事件和日期）。这些文章摘自芬兰在线科技新闻来源Digitoday的档案。语料库可用于研究目的。我们提出了基线实验的语料库使用基于规则的和两个深度学习系统的两个，域内和域外，测试集。
2019-08-12 cs.CL
NNE: A Dataset for Nested Named Entity Recognition in English Newswire
University of Sydney（悉尼大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；Digital Health CRC（数字健康合作研究中心）
命名实体识别（NER）广泛用于自然语言处理应用和下游任务中。然而，大多数NER工具针对流行数据集的平面注释，避开嵌套实体提及中可用的语义信息。我们描述NNE-一个细粒度的，嵌套命名的实体数据集在整个华尔街日报部分的宾州树库（PTB）。我们的注释包括279，795个提到的114个实体类型，最多有6层嵌套。我们希望这个大型数据集的公开发布将鼓励嵌套NER的新技术的发展。
2019-06-04 cs.CL
Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition
我们描述了CoNLL-2003共享的任务：语言无关的命名实体识别。我们提供背景资料的数据集（英语和德语）和评估方法，提出了一个总体概述的系统，已经参加了任务，并讨论他们的表现。
2003-06-12 cs.CL
pioNER: Datasets and Baselines for Armenian Named Entity Recognition
Russian-Armenian University（俄罗斯-亚美尼亚大学）；Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所）
在这项工作中，我们解决了亚美尼亚命名实体识别的问题，提供了银标准和金标准数据集，并建立了流行模型的基线结果。我们提出了一个163000令牌命名实体语料库自动生成和注释的维基百科，和另一个53400令牌语料库的新闻句子与人工注释的人，组织和位置命名实体。语料库被用来训练和评估几个流行的命名实体识别模型。除了数据集，我们还发布了50维、100维、200维、300维的GloVe词嵌入，这些词嵌入是在维基百科、新闻、博客和百科全书的亚美尼亚语文本集合上训练的。
2018-10-19 cs.CL
Entity-Switched Datasets: An Approach to Auditing the In-Domain Robustness of Named Entity Recognition Models
University of Pennsylvania（宾夕法尼亚大学）；Google AI（谷歌人工智能）；Northeastern University（东北大学）
命名实体识别系统在包括英语新闻的标准数据集上表现良好。但由于数据的缺乏，很难得出关于系统在识别不同实体集方面的鲁棒性的结论。我们提出了一种审计系统的域内鲁棒性的方法，特别关注由于实体的国家起源而导致的性能差异。我们创建实体切换数据集，其中原始文本中的命名实体被替换为相同类型但不同国家起源的可信命名实体。我们发现，最先进的系统的性能差异很大，甚至在域中：在相同的上下文中，来自某些来源的实体比来自其他地方的实体更可靠地识别。系统在美国和印度实体上表现最好，在越南和印度尼西亚实体上表现最差。这种审计方法可以促进更强大的命名实体识别系统的开发，并将允许在这一领域的研究考虑在其他预测技术工作中受到高度关注的公平标准。
2021-01-13 cs.CL
Deformable Stacked Structure for Named Entity Recognition
Fudan University（复旦大学）
命名实体识别的神经网络结构在自然语言处理领域取得了巨大的成功。目前，主要的架构包括一个双向递归神经网络（RNN）作为编码器和一个条件随机场（CRF）作为解码器。本文提出了一种用于命名实体识别的可变形堆叠结构，其中两个相邻层之间的连接是动态建立的。我们评估的可变形堆叠结构，通过适应不同的层。我们的模型在OntoNotes数据集上实现了最先进的性能。
2018-09-28 cs.CL
Introducing RONEC -- the Romanian Named Entity Corpus
University Politehnica of Bucharest（布加勒斯特理工大学）
我们目前RONEC -命名实体语料库的罗马尼亚语。该语料库包含超过26000个实体在~5000注释的句子，属于16个不同的类。这些句子是从一份免费的报纸上摘录的，涵盖了几种风格。该语料库是罗马尼亚语言空间中专门针对命名实体识别的第一个举措。它有BRAT和CoNLL-U Plus格式，可以在github.com/dumitrescustefan/ronec上免费使用和扩展。
2020-04-27 cs.CL
Introduction to the CoNLL-2002 Shared Task: Language-Independent Named Entity Recognition
我们描述了CoNLL-2002共享的任务：语言无关的命名实体识别。我们提供的数据集和评估方法的背景信息，提出了一个总体概述的系统，已经参加了任务，并讨论他们的表现。
2002-09-05 cs.CL
SpeedRead: A Fast Named Entity Recognition Pipeline
Stony Brook University（石溪大学）
在线内容分析采用算法方法来识别非结构化文本中的实体。机器学习和知识库方法都是当代命名实体提取系统的基础。然而，在网络规模上部署这些方法的进展受到了NLP在大量文本语料库上的计算成本的阻碍。我们提出了SpeedRead（SR），一个命名实体识别管道，运行速度至少比斯坦福大学NLP管道快10倍。该管道包括一个高性能的Penn Treebank兼容的标记器，接近最先进的词性（POS）标记器和基于知识的命名实体识别器。
2013-01-14 cs.CL
Neural Reranking for Named Entity Recognition
Singapore University of Technology and Design（新加坡科技设计大学）
提出了一种用于命名实体识别的神经网络重排序系统。其基本思想是利用递归神经网络模型来学习涉及命名实体提及的事件级模式。特别地，给定由基线NER模型产生的输出句子，我们将所有实体提及（例如\textit{Barack Obama}）替换为它们的实体类型（例如\textit{PER}）。由此产生的句型包含直接输出的信息，但不太稀疏，没有具体的命名实体。例如，“PER出生于1999年”可以是这样的模式。LSTM和CNN结构用于学习这些句子的深度表示以进行重新排序。结果表明，我们的系统可以显着提高NER的准确性在两个不同的基线，给出了最好的报告结果的标准基准。
2017-07-17 cs.CL
Attentive Neural Network for Named Entity Recognition in Vietnamese
FPT Technology Research Institute（FPT技术研究院）；Hung Vuong University（雄王大学）；Nanjing University（南京大学）
我们提出了一个专注的神经网络的任务命名实体识别在越南。所提出的注意神经模型利用基于字符的语言模型和词嵌入将词编码为向量表示。一个神经网络架构的编码器，注意力，解码器层，然后利用输入句子的知识进行编码，并标记实体标签。实验结果表明，所提出的专注神经网络实现了最先进的结果基准命名实体识别数据集在越南相比，手工制作的功能为基础的模型和神经模型。
2019-06-09 cs.CL
Morphological Embeddings for Named Entity Recognition in Morphologically Rich Languages
Boğaziçi University（海峡大学）；Huawei R&D Center（华为研发中心）
在这项工作中，我们提出了土耳其和捷克命名实体识别的93.59，%和79.59，%的新的最先进的结果（Lample等人，2016）。我们的贡献，提出了几个方案表示一个词的形态分析的背景下，命名实体识别。我们表明，这种表示与单词和字符嵌入的串联提高了性能。这些表示方案上的标记性能的效果也进行了研究。
2017-06-01 cs.CL
A Boundary Offset Prediction Network for Named Entity Recognition
Institute of Information Engineering, CAS, China（中国科学院信息工程研究所）；School of Cyber Security, UCAS, China（中国科学院大学网络空间安全学院）；Meituan, China（美团）
本文提出边界偏移预测网络BOPN，通过预测候选跨度与最近实体跨度的边界偏移，将非实体跨度转化为实体检测的正样本，并融合类型与跨度表示生成类型感知偏移，在八个NER数据集上取得最优性能。
2023-10-23 cs.CL
A Few-Shot Learning Focused Survey on Recent Named Entity Recognition and Relation Classification Methods
School of Computing, University of Georgia（佐治亚大学计算学院）
本文综述了近期解决命名实体识别与关系分类的深度学习模型，重点关注少样本学习性能，以帮助研究者了解文本挖掘及结构化信息提取的最新技术。
2024-03-26 cs.CL
Named Entity Linking with Entity Representation by Multiple Embeddings
Primer Technologies Inc.（Primer科技公司）
我们提出了一个简单而实用的方法命名实体链接（NEL），基于实体表示的多个嵌入。为了探索这种方法，并审查其对参数的依赖性，我们测量了它在命名不明确的实体的高度挑战性的数据集上的性能。我们的观察表明，创建知识库（KB）实体所需的最小提及次数对NEL性能非常重要。嵌入的数量是不太重要的，可以保持小，在10或更少的范围内。我们表明，我们的KB实体的表示可以调整，只使用KB数据，调整可以提高NEL性能。我们还比较了NEL性能的嵌入从不同的新闻文本调整语言模型，而不是从公共数据集XSum，CNN /每日邮报更统一的文本调整。我们发现，调整不同的新闻提供了更好的嵌入。
2022-11-20 cs.CL
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University（卡内基梅隆大学）
命名实体（NE）通常在共享公共字母表的不同语言中没有拼写变化。我们表明，这可以被利用，以提高命名实体识别（NER），通过使用无监督的词集群从二级语言的功能，在国家的最先进的判别NER系统。我们观察到显着的性能增加，发现人和位置识别特别改善，和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
A Feature-Based Model for Nested Named-Entity Recognition at VLSP-2018 NER Evaluation Campaign
Alt Vietnam Co., Ltd（越南阿尔特有限公司）
在本报告中，我们描述了我们在VLSP 2018评估活动中参与的命名实体识别系统。我们正式的任务作为一个序列标记问题，使用BIO编码方案。我们应用了一个基于特征的模型，该模型结合了单词，单词形状特征，基于布朗聚类的特征和基于单词嵌入的特征。我们比较了几种方法来处理数据集中的嵌套实体。我们表明，结合各级实体的标签来训练序列标记模型（联合标签模型），提高了嵌套命名实体识别的准确性。
2018-03-22 cs.CL
CMNEROne at SemEval-2022 Task 11: Code-Mixed Named Entity Recognition by leveraging multilingual data
LTRC（语言技术研究中心）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
在自然语言处理领域中，命名实体的识别是一项既实用又具有挑战性的任务。混合文本的命名实体识别由于混合的性质导致的语言复杂性而具有更大的挑战性。本文介绍了CMNEROne团队提交SEMEVAL 2022共享任务11 MultiCoNER的情况。代码混合NER任务旨在识别代码混合数据集上的命名实体。我们的工作包括命名实体识别（NER）的代码混合数据集，利用多语言数据。我们实现了加权平均F1得分0.7044，即，比基线高6%。
2022-06-15 cs.CL
Experiments to Improve Named Entity Recognition on Turkish Tweets
European Commission, Joint Research Centre（欧盟委员会联合研究中心）
社交媒体文本对于包括趋势分析、事件监测和意见挖掘在内的若干应用领域是重要的信息源。不幸的是，用于诸如命名实体识别的任务的现有解决方案在正式文本上表现良好，但在应用于社交媒体文本时通常表现不佳。在本文中，我们报告的实验，有提高命名实体识别土耳其推文的目的，使用两个不同的注释数据集。在这些实验中，从基线命名实体识别系统，我们适应其识别规则和资源，以更好地适应Twitter的语言，放松其资本化约束，并通过变音符号为基础的扩展其词汇资源，我们采用了一个简单的规范化方案的推文，以观察这些对土耳其推文的整体命名实体识别性能的影响。这些不同的设置的系统的评价结果提供这些结果的讨论。
2014-10-31 cs.CL
Robust Named Entity Recognition in Idiosyncratic Domains
Beuth University of Applied Sciences（柏林应用技术大学）
命名实体识别在特殊领域中经常失败。这会导致相关任务出现问题，例如实体链接和关系抽取。我们提出了一个通用的和强大的高召回命名实体识别的方法。我们的方法很容易训练，并提供了强大的泛化在不同的领域特定的语言，如新闻文件（例如路透社）或生物医学文本（例如Medline）。我们的方法基于深度上下文序列学习，并利用堆叠的双向LSTM网络。我们的模型只使用几百个标记的句子进行训练，并且不依赖于进一步的外部知识。我们从我们的结果报告F1分数在84 - 94%的范围内的标准数据集。
2016-08-24 cs.CL
Joint Learning of Named Entity Recognition and Entity Linking
Instituto de Telecomunicações（电信研究所）；Priberam Labs（Priberam实验室）；Institute of Systems and Robotics（系统与机器人研究所）；Unbabel
命名实体识别（NER）和实体链接（EL）是两个基本相关的任务，因为为了执行EL，首先必须检测对实体的提及。然而，大多数实体链接方法忽略提及检测部分，假设先前已经检测到正确的提及。在本文中，我们执行NER和EL的联合学习，以利用它们的相关性，并获得一个更强大和可推广的系统。为此，我们引入了一个受Stack-LSTM方法启发的模型（Dyer et al.，2015年）。我们观察到，事实上，与使用单个目标训练的模型相比，对NER和EL进行多任务学习可以提高这两项任务的性能。此外，我们在NER和EL方面都取得了与最先进水平相竞争的结果。
2019-07-18 cs.CL
Combining neural and knowledge-based approaches to Named Entity Recognition in Polish
National Information Processing Institute（国家信息处理研究所）
命名实体识别（NER）是自然语言处理中的一项任务，它可以从外部知识源的使用中获益。我们提出了一个命名实体识别框架，该框架由基于知识的特征提取器和深度学习模型组成，该模型包括上下文词嵌入、长短期记忆（LSTM）层和条件随机场（CRF）推理层。我们使用一个实体链接模块来整合我们的系统与维基百科。有效的神经结构和外部资源的结合使我们能够获得最先进的结果识别波兰专有名词。我们根据PolEval 2018 NER挑战赛的数据评估了我们的模型，该模型优于其他方法，与获胜解决方案相比，出错率降低了22.4%。我们的工作表明，结合神经NER模型和实体链接模型与知识库是更有效地识别命名实体比单独使用NER模型。
2018-11-26 cs.CL
Named Entity Recognition for Novel Types by Transfer Learning
DATA61；The Australian National University（澳大利亚国立大学）；The University of Melbourne（墨尔本大学）
在命名实体识别中，我们往往没有一个大的领域内训练语料库或知识库足够的覆盖率直接训练一个模型。在本文中，我们提出了一种方法，在给定的训练数据在一个相关的领域具有相似的（但不相同）命名实体（NE）类型和少量的域内训练数据，我们使用迁移学习来学习特定于域的NE模型。也就是说，任务设置中的新颖之处在于，我们不仅假设域不匹配，而且假设标签不匹配。
2016-10-31 cs.CL
TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition
University of Southern California（南加州大学）；Amazon（亚马逊）
在新领域中训练用于命名实体识别（NER）的神经模型通常需要额外的人类注释（例如，成千上万的标记实例），通常是昂贵的和耗时的收集。因此，一个关键的研究问题是如何获得监督在一个具有成本效益的方式。在本文中，我们引入了“实体触发器”，一个有效的代理人的解释，促进标签效率的学习NER模型。实体触发器被定义为句子中的一组单词，有助于解释为什么人类会识别句子中的实体。我们为两个经过充分研究的NER数据集众包了14k实体触发器。我们提出的模型，触发匹配网络，联合学习触发表示和软匹配模块与自我注意，这样就可以推广到看不见的句子很容易标记。我们的框架比传统的神经NER框架更具成本效益。实验表明，使用只有20%的注释者注释的句子的结果在一个相当的性能，使用70%的传统注释的句子。
2020-07-07 cs.CL cs.IR cs.LG
A Byte-sized Approach to Named Entity Recognition
USC Information Sciences Institute（南加州大学信息科学研究所）
在生物医学文献中，实体边界与单词边界不对齐是很常见的。因此，实体跨度的有效识别需要能够考虑比单词小的标记的方法。我们介绍了一种新的，子字的方法命名实体识别（NER），使用字节对编码（BPE）结合卷积和递归神经网络产生字节级的标签的实体。我们提出了几个标准的生物医学数据集，即BioCreative VI Bio-ID，JNLPBA和GENETAG数据集的实验结果。我们展示了具有竞争力的性能，同时绕过了创建生物医学文本标记化规则所需的专业领域专业知识。
2018-09-22 cs.CL
Entity Candidate Network for Whole-Aware Named Entity Recognition
School of Software Engineering, South China University of Technology（华南理工大学软件学院）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
命名实体识别（NER）是自然语言处理（NLP）的一个重要的上游任务。传统的标签方案方法提供了一个单一的识别，不满足许多下游任务，如共指消解的需要。同时，Tag方案方法忽略了实体的连续性。受计算机视觉（CV）中单阶段目标检测模型的启发，提出了一种新的无标记检测方案--整体感知检测（Whole-Aware Detection），使NER成为一个目标检测任务。同时，本文提出了一种新的模型，实体候选网络（ECNet），和一个特定的卷积网络，自适应上下文卷积网络（ACCN），融合多尺度上下文和编码的实体信息在每个位置。ECNet根据实体损失在每个位置识别命名实体的整个跨度及其类型。此外，ECNet在最高精度和最高召回率之间是可调节的，而标记方案方法则不是。在CoNLL 2003英语数据集和WNUT 2017数据集上的实验结果表明，ECNet优于其他先前最先进的方法。
2020-04-29 cs.CL
Graph Convolutional Networks for Named Entity Recognition
Context Scout（Context Scout（上下文侦察））
在本文中，我们调查的作用，依赖树在命名实体识别器后，使用一组GCN。我们执行不同的NER架构之间的比较，并表明一个句子的语法积极影响的结果。在ontonotes数据集上的实验证明了一致的性能改进，而不需要大量的特征工程，也不需要额外的特定语言知识。
2018-02-14 cs.CL
Boundary identification of events in clinical named entity recognition
The University of Manchester（曼彻斯特大学）
医学/临床领域中的命名实体识别问题由于其在广泛的临床决策支持应用中的重要作用而受到越来越多的关注。完整和正确的术语跨度的识别对于进一步的知识综合是至关重要的（例如，编码/映射概念、辞典和分类标准）。本文研究了在临床命名实体识别（临床事件识别）问题中，基于序列标记表示模型和后处理技术的边界调整问题。使用当前最先进的序列标记算法（条件随机场），我们的实验表明，序列标记表示和后处理可以显着有助于严格的边界识别的临床事件。
2013-10-02 cs.CL
Improving Multilingual Named Entity Recognition with Wikipedia Entity Type Mapping
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
现有技术的命名实体识别（NER）系统是具有强泛化能力（即，可以基于词汇和上下文信息来识别未出现在训练数据中的不可见实体）。然而，如果模型的特征偏向于错误的实体类型，那么这样的模型仍然可能出错。在本文中，我们利用维基百科作为一个开放的知识库，以改善多语言NER系统。我们的方法的核心是高精度，高覆盖率的多语言维基百科实体类型映射的建设。这些映射是从弱注释的数据中构建的，可以扩展到新的语言，而不需要人工注释或语言相关的知识。基于这些映射，我们开发了几种方法来改善NER系统。我们评估的性能的方法，通过实验NER系统训练6种语言。实验结果表明，所提出的方法是有效的，在提高这样的系统上看不见的实体的准确性，特别是当一个系统被应用到一个新的领域或它是用很少的训练数据训练（高达18.3 F1分数改善）。
2017-07-08 cs.AI cs.CL cs.IR
ANEC: An Amharic Named Entity Corpus and Transformer Based Recognizer
Istanbul Technical University（伊斯坦布尔理工大学）
命名实体识别是一种信息抽取任务，它作为其他自然语言处理任务（如机器翻译、信息检索和问答）的预处理步骤。命名实体识别能够识别专有名称以及开放域文本中的时间和数值表达式。对于阿拉伯语、阿姆哈拉语和希伯来语等闪米特语言，由于这些语言的严重屈折结构，命名实体识别任务更具挑战性。本文提出了一种基于双向长短期记忆和条件随机场层的阿姆哈拉语命名实体识别系统。我们注释了一个新的阿姆哈拉语命名实体识别数据集（8，070个句子，其中有182，691个标记），并将合成少数过采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们的命名实体识别系统达到了93%的F_1分数，这是阿姆哈拉语命名实体识别的新的国家的最先进的结果。
2022-07-02 cs.AI cs.CL cs.LG
Vietnamese Named Entity Recognition using Token Regular Expressions and Bidirectional Inference
College of Science Vietnam National University, Hanoi, Vietnam Email
本文描述了一种有效的方法来提高越南语命名实体识别系统的准确性。该方法结合了正则表达式的令牌和双向推理方法中的序列标签模型。该方法在越南语言和语音处理（VLSP）社区于2016年底组织的评估活动的测试集上获得了89.66%的整体$F_1$分数。
2016-10-19 cs.CL
The Importance of Automatic Syntactic Features in Vietnamese Named Entity Recognition
Alt Inc（Alt 公司）
本文提出了一个国家的最先进的越南语命名实体识别（NER）系统。通过将自动句法特征与词嵌入结合起来作为双向长短期记忆（Bi-LSTM）的输入，我们的系统虽然比一些深度学习架构简单，但对越南语NER的效果要好得多。该方法在越南语言和语音处理（VLSP）社区于2016年底组织的评估活动的测试集上获得了92.05%的总体F1分数。我们的命名实体识别系统优于以前最好的系统，越南NER的大幅度。
2017-08-28 cs.CL
UNER: Universal Named-Entity RecognitionFramework
University of Zagreb（萨格勒布大学）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
我们介绍了通用命名实体识别（UNER）框架，一个4级分类层次结构，以及正在采用的方法来创建第一个多语言UNER语料库：SETimesparallel语料库命名实体注释。首先，英文SETimescorpus将使用现有的工具和知识库进行注释。在通过众包活动对所产生的注释进行评估后，它们将自动传播到SE-Times语料库中的其他语言。最后，作为外部评估，UNER多语言数据集将用于训练和测试可用的NER工具。作为未来研究方向的一部分，我们的目标是增加UNER语料库中的语言数量，并研究将UNER与现有知识图谱相结合以提高命名实体识别的可能方法。
2020-10-23 cs.CL
NaijaNER : Comprehensive Named Entity Recognition for 5 Nigerian Languages
Data Science Nigeria（尼日利亚数据科学）
命名实体识别（NER）的大多数常见应用是在英语和其他高度可用的语言上。在这项工作中，我们提出了我们的研究结果命名实体识别5尼日利亚语言（尼日利亚英语，尼日利亚洋泾浜英语，伊博语，约鲁巴语和豪萨语）。这些语言被认为是低资源的，并且在大多数语言中几乎没有公开的自然语言处理工作。在这项工作中，训练了各个NER模型，并记录了每种语言的度量。我们还开发了一个组合模型，可以处理五种语言中任何一种的命名实体识别（NER）。该组合模型适用于每种语言上的命名实体识别（NER），并且与专门针对特定语言的注释数据训练的单个NER模型相比具有更好的性能。这项工作的目的是分享我们的学习如何使用命名实体识别的信息抽取可以优化所列的尼日利亚语言的包容性，易于部署在生产和可重用的模型。该项目期间开发的模型可在GitHub https://git.io/JY0kk和交互式Web应用程序https://nigner.herokuapp.com/上获得。
2021-03-30 cs.CL
DiffusionNER: Boundary Diffusion for Named Entity Recognition
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出DiffusionNER，将命名实体识别建模为边界去噪扩散过程，通过前向加噪与反向去噪实现实体生成，在多个数据集上取得优于或可比的性能。
2023-05-22 cs.CL
Assessing Demographic Bias in Named Entity Recognition
Twitter, Inc.（推特公司）
命名实体识别（NER）通常是从原始文本自动生成知识库（KB）的第一步。在这项工作中，我们评估的偏见，在各种命名实体识别（NER）系统的英语在不同的人口群体与合成生成的语料库。我们的分析表明，模型在识别两个数据集的特定人口统计群体的名字方面表现更好。我们还发现，去偏嵌入无助于解决这个问题。最后，我们观察到，基于字符的上下文单词表示模型，如ELMo的结果在最小的偏差在人口统计。我们的工作可以揭示由于系统排除属于某些人口统计学的命名实体而导致的自动KB生成中的潜在偏见。
2020-08-08 cs.CL cs.CY cs.IR
Partially Supervised Named Entity Recognition via the Expected Entity Ratio Loss
Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）
我们研究了在缺少实体注释的情况下学习命名实体识别器。我们将这种设置作为潜在变量的标记，并提出了一种新的损失，期望实体比，以在系统缺失标签的情况下学习模型。我们表明，我们的方法是理论上的声音和经验有用的。在实验中，我们发现它在各种语言、注释场景和大量标记数据中达到或超过了强大的最先进的基线性能。特别是，我们发现它显著优于Mayhew et al.（2019）和Li et al.（2021）的先前最先进的方法，在具有挑战性的环境中，只有1，000个有偏见的注释，平均7个数据集，F1得分为+12.7和+2.3。我们还表明，当结合我们的方法，一种新的稀疏注释方案优于穷举注释适度的注释预算。
2021-08-16 cs.CL
NSURL-2019 Task 7: Named Entity Recognition (NER) in Farsi
University of Tehran（德黑兰大学）
NSURL-2019任务7重点关注波斯语中的命名实体识别（NER）。选择这项任务是为了比较不同的方法来找到指定波斯语文本中的命名实体的短语，并为未来在波斯语中进行这项任务的研究建立一个标准的测试平台。本文介绍了训练和测试数据的制作过程、参赛队伍（6支队伍）名单以及对他们的系统的评估结果。最优系统对人、组织、地点、日期、时间、金钱和百分比七类网元进行短语级评价，获得了85.4%的F1分数。
2020-03-19 cs.CL
Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes
National University of Defense Technology（国防科技大学）
Few-Shot命名实体识别（NER）使我们能够建立一个新的领域使用很少的标记的例子的NER系统。然而，现有的原型网络的这项任务遭受粗略估计的标签依赖性和紧密分布的原型，从而经常导致错误分类。为了解决上述问题，我们提出了EP-Net，一个由分散分布的原型增强的多层原型网络。EP-Net构建实体级原型，并将文本跨度视为候选实体，因此不再需要标签依赖。此外，EP-Net从头开始训练原型，使其分散分布，并使用空间投影将span与嵌入空间中的原型对齐。两个评估任务和Few-NERD设置的实验结果表明，EP-Net在整体性能方面始终优于以前的强模型。大量的分析进一步验证了EP-Net的有效性。
2022-08-17 cs.CL
Automatically Annotated Turkish Corpus for Named Entity Recognition and Text Categorization using Large-Scale Gazetteers
Huawei Turkey Research and Development Center（华为土耳其研发中心）
土耳其语维基百科命名实体识别和文本分类（TWNERTC）数据集是从维基百科获得的自动分类和注释句子的集合。我们构建了大规模的地名词典，使用图爬虫算法提取相关的实体和领域的信息，从语义知识库，Freebase。构建的地名录包含约30万个实体，在77个不同领域下有数千个细粒度实体类型。由于自动化过程容易产生歧义，我们还介绍了两种新的内容特定的降噪方法。此外，我们将细粒度的实体类型映射到等效的四个粗粒度类型：person，loc，org，misc。最后，我们构建了六个不同的数据集版本，并通过比较来自人类注释者的基本事实来评估注释的质量。我们公开这些数据集，以支持土耳其命名实体识别（NER）和文本分类（TC）的研究。
2017-02-09 cs.CL
