ESNERA: Empirical and semantic named entity alignment for named entity dataset merging
针对命名实体识别(NER)数据集合并方法缺乏可解释性和可扩展性的问题,提出一种结合经验与语义相似度的自动标签对齐方法,有效实现了多源数据集合并并提升了低资源金融领域的NER性能。
2025-08-09 cs.AI cs.CL
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University(巴纳斯塔利大学)
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中,名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验,它们是:专有名称,位置名称,组织名称和杂项。为了音节化的目的,已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
English-to-Chinese Transliteration with Phonetic Back-transliteration
音译是基于语音相似性将命名实体从一种语言翻译成另一种语言的任务。近年来,这项任务采用了深度学习方法,但大多数都忽略了所涉及语言的语音特征。在这项工作中,我们以两种方式将语音信息纳入神经网络:我们使用前向和反向翻译但以语音方式合成额外数据;并且在学习音译之前,我们对语音任务进行预训练模型。我们的实验包括三个语言对和六个方向,即英语和汉语,希伯来语和泰语。结果表明,我们提出的方法带来的好处,该模型,并实现更好或类似的性能相比,最先进的。
2022-01-21 cs.AI cs.CL
Recognition and translation Arabic-French of Named Entities: case of the Sport places
MIRACL, University of Sfax(斯法克斯大学MIRACL研究所);Marin Mersenne, University Paris1(巴黎第一大学马林·梅森研究所);Panthéon Sorbonne(先贤祠-索邦大学);LASELDI, University of Franche-Comte(弗朗什-孔泰大学LASELDI实验室)
阿拉伯语命名实体的识别是自然语言处理(NLP)领域中的一个重要问题。事实上,NE翻译允许访问多语言信息。这种翻译并不总是产生预期的结果,特别是当NE包含一个人名时。基于这个原因,为了改进翻译,我们可以音译NE的某些部分。在这种情况下,我们提出了一种方法,将翻译和音译在一起。我们使用了基于本地语法和转换器的语言学NooJ平台。在本文中,我们专注于体育领域。我们将首先建议在MUC会议上提出的类型模型的改进,我们将描述一个阿拉伯语音译模块到翻译系统的集成。最后,我们将详细介绍我们的方法,并给出评估结果。
2010-05-31 cs.CL
Urdu-English Machine Transliteration using Neural Networks
COMSATS University Islamabad, Lahore Campus(COMSATS大学伊斯兰堡分校拉合尔校区)
机器翻译近年来受到了广泛的关注。它是计算语言学的一个分支,专注于将文本从一种语言翻译成另一种语言。在各种翻译技术中,神经网络以其提供具有注意力机制、序列到序列和长短期建模的单个大型神经网络的能力,目前在该领域处于领先地位。尽管在机器翻译领域取得了显著的进步,但是对包括技术术语、命名实体、外来词的词汇表外词(out-of-vocabulary words,OOV)的翻译对于当前最先进的翻译系统仍然是一个挑战,并且当在低资源语言或具有不同结构的语言之间进行翻译时,这种情况变得更糟。由于语言形态的丰富性,一个词在不同的语境中可能有不同的脑膜。在这种情况下,单词的翻译不仅足以提供正确/高质量的翻译。音译是在翻译过程中考虑词/句的上下文的一种方法。对于像乌尔都语这样的低资源语言,很难拥有/找到足够大的并行语料库来进行音译,以训练系统。在这项工作中,我们提出了基于期望最大化(EM),这是无监督和语言无关的音译技术。系统从平行语料库中学习模式和词汇外(OOV)词,不需要在音译语料库上显式地进行训练。该方法在三种统计机器翻译模型(包括基于短语、基于层次短语和基于因子的模型)和两种神经机器翻译模型(包括LSTM和Transformer模型)上进行了测试。
2020-01-12 cs.CL
Sparse Named Entity Classification using Factorization Machines
Tokyo Metropolitan University(东京都立大学)
命名实体分类是将基于文本的元素分类为各种类别的任务,包括地点,名称,日期,时间和货币值。然而,命名实体分类中的瓶颈是数据稀疏问题,因为新的命名实体不断出现,使得维护命名实体分类的字典相当困难。因此,在本文中,我们解决的问题命名实体分类使用矩阵分解,以克服特征稀疏性的问题。实验结果表明,我们提出的模型,具有更少的功能和更小的尺寸,达到竞争力的准确性,以国家的最先进的模型。
2017-03-15 cs.CL
SU-NLP at SemEval-2022 Task 11: Complex Named Entity Recognition with Entity Linking
Sabancı University(萨班哲大学)
本文介绍了由萨班斯大学自然语言处理小组在SemEval-2022 MultiCoNER任务中提出的系统。我们开发了一个无监督的实体链接管道,它可以在维基百科的帮助下检测潜在的实体提及,并使用相应的维基百科上下文来帮助分类器找到该提及的命名实体类型。我们的结果表明,我们的管道显着提高了性能,特别是对于低上下文环境中的复杂实体。
2022-03-22 cs.CL
Towards a Broad Coverage Named Entity Resource: A Data-Efficient Approach for Many Diverse Languages
Apple(苹果公司)
并行语料库是提取多语言命名实体(MNE)资源的理想选择,即,翻译成多种语言的姓名数据集。先前从并行语料库中提取MNE数据集的工作需要资源,例如大型单语语料库或单词对齐器,这些资源对于资源不足的语言来说不可用或表现不佳。我们提出了CLC-BN,一种新的方法,用于创建MNE资源,并将其应用于并行圣经语料库,语料库的1000多种语言。CLC-BN从并行语料库统计中学习神经音译模型,而不需要任何其他双语资源,单词对齐器或种子数据。实验结果表明,CLC-BN明显优于以前的工作。我们发布了1340种语言的MNE资源,并在两个下游任务中证明了其有效性:知识图谱增强和双语词典归纳。
2022-04-29 cs.CL
Modeling Named Entity Embedding Distribution into Hypersphere
Shanghai Jiao Tong University(上海交通大学);Brown University(布朗大学)
本文从嵌入空间的拓扑结构可视化的角度对命名实体分布进行建模,从而假设一种语言的大多数(如果不是全部的话)命名实体(NE)倾向于聚集在一起,以容纳在嵌入空间中的特定超球体中。因此,我们提出了一个新的开放的定义NE,弥补了明显的缺点,在以前的封闭NE定义与有限的NE字典。然后,我们展示了两个应用与介绍所提出的命名实体超球模型。首先,使用生成对抗神经网络学习两个嵌入空间的转换矩阵,从而方便地确定目标语言中命名实体的分布,表明仅利用嵌入空间之间的同构关系就能快速发现命名实体的潜力。第二,命名实体超球体模型直接与句子上的各种命名实体识别模型集成,以实现最先进的结果。仅假设嵌入是可用的,我们展示了一个有效的命名实体分布描述的先验知识自由的方法。
2019-09-03 cs.CL
A Survey of Named Entity Recognition in Assamese and other Indian Languages
Assam Don Bosco University(阿萨姆唐博斯科大学)
命名实体识别在处理主要的自然语言处理任务,如信息抽取,问答,机器翻译,文档摘要等时总是很重要的,所以在本文中,我们提出了一个调查命名实体在印度语言,特别是阿萨姆语。有各种基于规则和机器学习的方法可用于命名实体识别。本文首先介绍了命名实体识别的现有方法,并对该领域的相关研究进行了综述。阿萨姆语像其他印度语言一样是黏着的,并且缺乏适当的资源,因为命名实体识别需要大量的数据集,地名词典列表,字典等,并且在阿萨姆语中找不到英语中发现的一些有用的功能,如大写。除此之外,我们还描述了在阿萨姆语中进行命名实体识别时所面临的一些问题。
2014-07-09 cs.CL
Integrating Boundary Assembling into a DNN Framework for Named Entity Recognition in Chinese Social Media Text
Harvard Business School(哈佛商学院);AI Strike(AI Strike公司)
命名实体识别是自然语言处理中一项具有挑战性的任务,尤其是对于非正式和嘈杂的社交媒体文本。中文词边界也是实体边界,因此,中文文本的命名实体识别可以受益于由中文分词输出的词边界检测。然而,中文分词也有其自身的困难,因为它受到多种因素的影响,例如,分割标准、采用的算法等处理不当,可能会对后续的命名实体识别质量产生连锁故障。在本文中,我们将边界组装方法与最先进的深度神经网络模型相结合,并将更新后的单词边界信息纳入条件随机场模型,用于命名实体识别。我们的方法显示了2%的绝对改善比以前的国家的最先进的结果。
2020-02-27 cs.CL
VTCC-NLP at NL4Opt competition subtask 1: An Ensemble Pre-trained language models for Named Entity Recognition
我们提出了一个组合的三个预先训练的语言模型(XLM-R,BART和DeBERTa-V3)作为上下文嵌入命名实体识别的授权。我们的模型在测试集上获得了92.9%的F1分数,并在NL 4 Opt竞赛子任务1的排行榜上排名第5。
2022-12-14 cs.CL
Soft Gazetteers for Low-Resource Named Entity Recognition
Carnegie Mellon University(卡内基梅隆大学)
传统的命名实体识别模型使用地名录(实体列表)作为特征来提高性能。虽然现代神经网络模型不需要这样的手工制作的功能强大的性能,最近的工作已经证明了他们的效用命名实体识别的英文数据。然而,为低资源语文设计这种功能具有挑战性,因为这些语文没有详尽的实体地名录。为了解决这个问题,我们提出了一种方法“软地名词典”,将无处不在的信息从英语知识库,如维基百科,到神经命名实体识别模型,通过跨语言的实体链接。我们对四种低资源语言的实验显示,F1得分平均提高了4分。代码和数据可在https://github.com/neulab/soft-gazetteers上获得。
2020-05-04 cs.CL
A Tweet Dataset Annotated for Named Entity Recognition and Stance Detection
Bilkent University(比尔肯特大学)
不同领域的注释数据集对于许多基于监督学习的相关问题的解决方案以及对所提出的解决方案的评估至关重要。自然语言处理(NLP)中的主题同样需要使用带注释的数据集。在本文中,我们针对两个自然语言处理问题,命名实体识别和立场检测,并提出了土耳其语标注的命名实体和立场信息的推文数据集的细节。在当前研究的过程中,所包含的推文的命名实体和立场注释都是公开的,尽管以前数据集只与立场注释公开共享。我们相信,这个数据集将是有用的揭示命名实体识别和立场检测推文之间的可能关系。
2019-01-16 cs.CL
A Finnish News Corpus for Named Entity Recognition
我们提出了一个语料库的芬兰新闻文章与手动准备命名实体注释。该语料库由953篇文章(193,742个单词标记)组成,具有六个命名实体类(组织,位置,人员,产品,事件和日期)。这些文章摘自芬兰在线科技新闻来源Digitoday的档案。语料库可用于研究目的。我们提出了基线实验的语料库使用基于规则的和两个深度学习系统的两个,域内和域外,测试集。
2019-08-12 cs.CL
NNE: A Dataset for Nested Named Entity Recognition in English Newswire
University of Sydney(悉尼大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Digital Health CRC(数字健康合作研究中心)
命名实体识别(NER)广泛用于自然语言处理应用和下游任务中。然而,大多数NER工具针对流行数据集的平面注释,避开嵌套实体提及中可用的语义信息。我们描述NNE-一个细粒度的,嵌套命名的实体数据集在整个华尔街日报部分的宾州树库(PTB)。我们的注释包括279,795个提到的114个实体类型,最多有6层嵌套。我们希望这个大型数据集的公开发布将鼓励嵌套NER的新技术的发展。
2019-06-04 cs.CL
Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition
我们描述了CoNLL-2003共享的任务:语言无关的命名实体识别。我们提供背景资料的数据集(英语和德语)和评估方法,提出了一个总体概述的系统,已经参加了任务,并讨论他们的表现。
2003-06-12 cs.CL
pioNER: Datasets and Baselines for Armenian Named Entity Recognition
Russian-Armenian University(俄罗斯-亚美尼亚大学);Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所)
在这项工作中,我们解决了亚美尼亚命名实体识别的问题,提供了银标准和金标准数据集,并建立了流行模型的基线结果。我们提出了一个163000令牌命名实体语料库自动生成和注释的维基百科,和另一个53400令牌语料库的新闻句子与人工注释的人,组织和位置命名实体。语料库被用来训练和评估几个流行的命名实体识别模型。除了数据集,我们还发布了50维、100维、200维、300维的GloVe词嵌入,这些词嵌入是在维基百科、新闻、博客和百科全书的亚美尼亚语文本集合上训练的。
2018-10-19 cs.CL
Entity-Switched Datasets: An Approach to Auditing the In-Domain Robustness of Named Entity Recognition Models
University of Pennsylvania(宾夕法尼亚大学);Google AI(谷歌人工智能);Northeastern University(东北大学)
命名实体识别系统在包括英语新闻的标准数据集上表现良好。但由于数据的缺乏,很难得出关于系统在识别不同实体集方面的鲁棒性的结论。我们提出了一种审计系统的域内鲁棒性的方法,特别关注由于实体的国家起源而导致的性能差异。我们创建实体切换数据集,其中原始文本中的命名实体被替换为相同类型但不同国家起源的可信命名实体。我们发现,最先进的系统的性能差异很大,甚至在域中:在相同的上下文中,来自某些来源的实体比来自其他地方的实体更可靠地识别。系统在美国和印度实体上表现最好,在越南和印度尼西亚实体上表现最差。这种审计方法可以促进更强大的命名实体识别系统的开发,并将允许在这一领域的研究考虑在其他预测技术工作中受到高度关注的公平标准。
2021-01-13 cs.CL
Deformable Stacked Structure for Named Entity Recognition
Fudan University(复旦大学)
命名实体识别的神经网络结构在自然语言处理领域取得了巨大的成功。目前,主要的架构包括一个双向递归神经网络(RNN)作为编码器和一个条件随机场(CRF)作为解码器。本文提出了一种用于命名实体识别的可变形堆叠结构,其中两个相邻层之间的连接是动态建立的。我们评估的可变形堆叠结构,通过适应不同的层。我们的模型在OntoNotes数据集上实现了最先进的性能。
2018-09-28 cs.CL
Introducing RONEC -- the Romanian Named Entity Corpus
University Politehnica of Bucharest(布加勒斯特理工大学)
我们目前RONEC -命名实体语料库的罗马尼亚语。该语料库包含超过26000个实体在~5000注释的句子,属于16个不同的类。这些句子是从一份免费的报纸上摘录的,涵盖了几种风格。该语料库是罗马尼亚语言空间中专门针对命名实体识别的第一个举措。它有BRAT和CoNLL-U Plus格式,可以在github.com/dumitrescustefan/ronec上免费使用和扩展。
2020-04-27 cs.CL
Introduction to the CoNLL-2002 Shared Task: Language-Independent Named Entity Recognition
我们描述了CoNLL-2002共享的任务:语言无关的命名实体识别。我们提供的数据集和评估方法的背景信息,提出了一个总体概述的系统,已经参加了任务,并讨论他们的表现。
2002-09-05 cs.CL
SpeedRead: A Fast Named Entity Recognition Pipeline
Stony Brook University(石溪大学)
在线内容分析采用算法方法来识别非结构化文本中的实体。机器学习和知识库方法都是当代命名实体提取系统的基础。然而,在网络规模上部署这些方法的进展受到了NLP在大量文本语料库上的计算成本的阻碍。我们提出了SpeedRead(SR),一个命名实体识别管道,运行速度至少比斯坦福大学NLP管道快10倍。该管道包括一个高性能的Penn Treebank兼容的标记器,接近最先进的词性(POS)标记器和基于知识的命名实体识别器。
2013-01-14 cs.CL
Neural Reranking for Named Entity Recognition
Singapore University of Technology and Design(新加坡科技设计大学)
提出了一种用于命名实体识别的神经网络重排序系统。其基本思想是利用递归神经网络模型来学习涉及命名实体提及的事件级模式。特别地,给定由基线NER模型产生的输出句子,我们将所有实体提及(例如\textit{Barack Obama})替换为它们的实体类型(例如\textit{PER})。由此产生的句型包含直接输出的信息,但不太稀疏,没有具体的命名实体。例如,“PER出生于1999年”可以是这样的模式。LSTM和CNN结构用于学习这些句子的深度表示以进行重新排序。结果表明,我们的系统可以显着提高NER的准确性在两个不同的基线,给出了最好的报告结果的标准基准。
2017-07-17 cs.CL
Attentive Neural Network for Named Entity Recognition in Vietnamese
FPT Technology Research Institute(FPT技术研究院);Hung Vuong University(雄王大学);Nanjing University(南京大学)
我们提出了一个专注的神经网络的任务命名实体识别在越南。所提出的注意神经模型利用基于字符的语言模型和词嵌入将词编码为向量表示。一个神经网络架构的编码器,注意力,解码器层,然后利用输入句子的知识进行编码,并标记实体标签。实验结果表明,所提出的专注神经网络实现了最先进的结果基准命名实体识别数据集在越南相比,手工制作的功能为基础的模型和神经模型。
2019-06-09 cs.CL
Morphological Embeddings for Named Entity Recognition in Morphologically Rich Languages
Boğaziçi University(海峡大学);Huawei R&D Center(华为研发中心)
在这项工作中,我们提出了土耳其和捷克命名实体识别的93.59,%和79.59,%的新的最先进的结果(Lample等人,2016)。我们的贡献,提出了几个方案表示一个词的形态分析的背景下,命名实体识别。我们表明,这种表示与单词和字符嵌入的串联提高了性能。这些表示方案上的标记性能的效果也进行了研究。
2017-06-01 cs.CL
A Boundary Offset Prediction Network for Named Entity Recognition
Institute of Information Engineering, CAS, China(中国科学院信息工程研究所);School of Cyber Security, UCAS, China(中国科学院大学网络空间安全学院);Meituan, China(美团)
本文提出边界偏移预测网络BOPN,通过预测候选跨度与最近实体跨度的边界偏移,将非实体跨度转化为实体检测的正样本,并融合类型与跨度表示生成类型感知偏移,在八个NER数据集上取得最优性能。
2023-10-23 cs.CL
A Few-Shot Learning Focused Survey on Recent Named Entity Recognition and Relation Classification Methods
School of Computing, University of Georgia(佐治亚大学计算学院)
本文综述了近期解决命名实体识别与关系分类的深度学习模型,重点关注少样本学习性能,以帮助研究者了解文本挖掘及结构化信息提取的最新技术。
2024-03-26 cs.CL
Named Entity Linking with Entity Representation by Multiple Embeddings
Primer Technologies Inc.(Primer科技公司)
我们提出了一个简单而实用的方法命名实体链接(NEL),基于实体表示的多个嵌入。为了探索这种方法,并审查其对参数的依赖性,我们测量了它在命名不明确的实体的高度挑战性的数据集上的性能。我们的观察表明,创建知识库(KB)实体所需的最小提及次数对NEL性能非常重要。嵌入的数量是不太重要的,可以保持小,在10或更少的范围内。我们表明,我们的KB实体的表示可以调整,只使用KB数据,调整可以提高NEL性能。我们还比较了NEL性能的嵌入从不同的新闻文本调整语言模型,而不是从公共数据集XSum,CNN /每日邮报更统一的文本调整。我们发现,调整不同的新闻提供了更好的嵌入。
2022-11-20 cs.CL
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University(卡内基梅隆大学)
命名实体(NE)通常在共享公共字母表的不同语言中没有拼写变化。我们表明,这可以被利用,以提高命名实体识别(NER),通过使用无监督的词集群从二级语言的功能,在国家的最先进的判别NER系统。我们观察到显着的性能增加,发现人和位置识别特别改善,和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
kpfriends at SemEval-2022 Task 2: NEAMER -- Named Entity Augmented Multi-word Expression Recognizer
Alexa AI(Alexa人工智能部门)
我们提出了NEAMER --命名实体增强的多词表达式识别器。该系统的灵感来自命名实体和惯用表达式之间共享的非组合性特征。我们利用迁移学习和局部特征来增强习语分类任务。该系统是我们为SemEval任务2提交的:多语言习语检测和句子嵌入子任务一个OneShot共享任务。在后评估阶段,我们实现了SOTA,F1为0.9395。我们还观察到训练稳定性的改善。最后,我们实验了非组合性知识转移,跨语言微调和局部特征,我们也介绍了本文。
2022-04-17 cs.CL
A Feature-Based Model for Nested Named-Entity Recognition at VLSP-2018 NER Evaluation Campaign
Alt Vietnam Co., Ltd(越南阿尔特有限公司)
在本报告中,我们描述了我们在VLSP 2018评估活动中参与的命名实体识别系统。我们正式的任务作为一个序列标记问题,使用BIO编码方案。我们应用了一个基于特征的模型,该模型结合了单词,单词形状特征,基于布朗聚类的特征和基于单词嵌入的特征。我们比较了几种方法来处理数据集中的嵌套实体。我们表明,结合各级实体的标签来训练序列标记模型(联合标签模型),提高了嵌套命名实体识别的准确性。
2018-03-22 cs.CL
CMNEROne at SemEval-2022 Task 11: Code-Mixed Named Entity Recognition by leveraging multilingual data
LTRC(语言技术研究中心);IIIT-Hyderabad(海得拉巴国际信息技术学院)
在自然语言处理领域中,命名实体的识别是一项既实用又具有挑战性的任务。混合文本的命名实体识别由于混合的性质导致的语言复杂性而具有更大的挑战性。本文介绍了CMNEROne团队提交SEMEVAL 2022共享任务11 MultiCoNER的情况。代码混合NER任务旨在识别代码混合数据集上的命名实体。我们的工作包括命名实体识别(NER)的代码混合数据集,利用多语言数据。我们实现了加权平均F1得分0.7044,即,比基线高6%。
2022-06-15 cs.CL
Experiments to Improve Named Entity Recognition on Turkish Tweets
European Commission, Joint Research Centre(欧盟委员会联合研究中心)
社交媒体文本对于包括趋势分析、事件监测和意见挖掘在内的若干应用领域是重要的信息源。不幸的是,用于诸如命名实体识别的任务的现有解决方案在正式文本上表现良好,但在应用于社交媒体文本时通常表现不佳。在本文中,我们报告的实验,有提高命名实体识别土耳其推文的目的,使用两个不同的注释数据集。在这些实验中,从基线命名实体识别系统,我们适应其识别规则和资源,以更好地适应Twitter的语言,放松其资本化约束,并通过变音符号为基础的扩展其词汇资源,我们采用了一个简单的规范化方案的推文,以观察这些对土耳其推文的整体命名实体识别性能的影响。这些不同的设置的系统的评价结果提供这些结果的讨论。
2014-10-31 cs.CL
Robust Named Entity Recognition in Idiosyncratic Domains
Beuth University of Applied Sciences(柏林应用技术大学)
命名实体识别在特殊领域中经常失败。这会导致相关任务出现问题,例如实体链接和关系抽取。我们提出了一个通用的和强大的高召回命名实体识别的方法。我们的方法很容易训练,并提供了强大的泛化在不同的领域特定的语言,如新闻文件(例如路透社)或生物医学文本(例如Medline)。我们的方法基于深度上下文序列学习,并利用堆叠的双向LSTM网络。我们的模型只使用几百个标记的句子进行训练,并且不依赖于进一步的外部知识。我们从我们的结果报告F1分数在84 - 94%的范围内的标准数据集。
2016-08-24 cs.CL
Joint Learning of Named Entity Recognition and Entity Linking
Instituto de Telecomunicações(电信研究所);Priberam Labs(Priberam实验室);Institute of Systems and Robotics(系统与机器人研究所);Unbabel
命名实体识别(NER)和实体链接(EL)是两个基本相关的任务,因为为了执行EL,首先必须检测对实体的提及。然而,大多数实体链接方法忽略提及检测部分,假设先前已经检测到正确的提及。在本文中,我们执行NER和EL的联合学习,以利用它们的相关性,并获得一个更强大和可推广的系统。为此,我们引入了一个受Stack-LSTM方法启发的模型(Dyer et al.,2015年)。我们观察到,事实上,与使用单个目标训练的模型相比,对NER和EL进行多任务学习可以提高这两项任务的性能。此外,我们在NER和EL方面都取得了与最先进水平相竞争的结果。
2019-07-18 cs.CL
Combining neural and knowledge-based approaches to Named Entity Recognition in Polish
National Information Processing Institute(国家信息处理研究所)
命名实体识别(NER)是自然语言处理中的一项任务,它可以从外部知识源的使用中获益。我们提出了一个命名实体识别框架,该框架由基于知识的特征提取器和深度学习模型组成,该模型包括上下文词嵌入、长短期记忆(LSTM)层和条件随机场(CRF)推理层。我们使用一个实体链接模块来整合我们的系统与维基百科。有效的神经结构和外部资源的结合使我们能够获得最先进的结果识别波兰专有名词。我们根据PolEval 2018 NER挑战赛的数据评估了我们的模型,该模型优于其他方法,与获胜解决方案相比,出错率降低了22.4%。我们的工作表明,结合神经NER模型和实体链接模型与知识库是更有效地识别命名实体比单独使用NER模型。
2018-11-26 cs.CL
Named Entity Recognition for Novel Types by Transfer Learning
DATA61;The Australian National University(澳大利亚国立大学);The University of Melbourne(墨尔本大学)
在命名实体识别中,我们往往没有一个大的领域内训练语料库或知识库足够的覆盖率直接训练一个模型。在本文中,我们提出了一种方法,在给定的训练数据在一个相关的领域具有相似的(但不相同)命名实体(NE)类型和少量的域内训练数据,我们使用迁移学习来学习特定于域的NE模型。也就是说,任务设置中的新颖之处在于,我们不仅假设域不匹配,而且假设标签不匹配。
2016-10-31 cs.CL
A Byte-sized Approach to Named Entity Recognition
USC Information Sciences Institute(南加州大学信息科学研究所)
在生物医学文献中,实体边界与单词边界不对齐是很常见的。因此,实体跨度的有效识别需要能够考虑比单词小的标记的方法。我们介绍了一种新的,子字的方法命名实体识别(NER),使用字节对编码(BPE)结合卷积和递归神经网络产生字节级的标签的实体。我们提出了几个标准的生物医学数据集,即BioCreative VI Bio-ID,JNLPBA和GENETAG数据集的实验结果。我们展示了具有竞争力的性能,同时绕过了创建生物医学文本标记化规则所需的专业领域专业知识。
2018-09-22 cs.CL
Evaluating the word-expert approach for Named-Entity Disambiguation
Stanford University(斯坦福大学);University of the Basque Country(巴斯克大学)
命名实体消歧(NED)是将命名实体提及链接到知识库(通常是维基百科)中的实例的任务。这个任务是密切相关的词义消歧(WSD),其中监督词专家的方法已经占了上风。在这项工作中,我们提出了NED的单词专家方法的结果,其中一个分类器是为每个目标实体提到字符串。构建系统所需的资源,一个字典和一组训练实例,都是从维基百科自动获得的。我们提供了经验证据的价值,这种方法,以及WSD和NED之间的差异,包括歧义和同义统计的研究。
2016-03-15 cs.CL
Entity Candidate Network for Whole-Aware Named Entity Recognition
School of Software Engineering, South China University of Technology(华南理工大学软件学院);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
命名实体识别(NER)是自然语言处理(NLP)的一个重要的上游任务。传统的标签方案方法提供了一个单一的识别,不满足许多下游任务,如共指消解的需要。同时,Tag方案方法忽略了实体的连续性。受计算机视觉(CV)中单阶段目标检测模型的启发,提出了一种新的无标记检测方案--整体感知检测(Whole-Aware Detection),使NER成为一个目标检测任务。同时,本文提出了一种新的模型,实体候选网络(ECNet),和一个特定的卷积网络,自适应上下文卷积网络(ACCN),融合多尺度上下文和编码的实体信息在每个位置。ECNet根据实体损失在每个位置识别命名实体的整个跨度及其类型。此外,ECNet在最高精度和最高召回率之间是可调节的,而标记方案方法则不是。在CoNLL 2003英语数据集和WNUT 2017数据集上的实验结果表明,ECNet优于其他先前最先进的方法。
2020-04-29 cs.CL
Graph Convolutional Networks for Named Entity Recognition
Context Scout(Context Scout(上下文侦察))
在本文中,我们调查的作用,依赖树在命名实体识别器后,使用一组GCN。我们执行不同的NER架构之间的比较,并表明一个句子的语法积极影响的结果。在ontonotes数据集上的实验证明了一致的性能改进,而不需要大量的特征工程,也不需要额外的特定语言知识。
2018-02-14 cs.CL
Boundary identification of events in clinical named entity recognition
The University of Manchester(曼彻斯特大学)
医学/临床领域中的命名实体识别问题由于其在广泛的临床决策支持应用中的重要作用而受到越来越多的关注。完整和正确的术语跨度的识别对于进一步的知识综合是至关重要的(例如,编码/映射概念、辞典和分类标准)。本文研究了在临床命名实体识别(临床事件识别)问题中,基于序列标记表示模型和后处理技术的边界调整问题。使用当前最先进的序列标记算法(条件随机场),我们的实验表明,序列标记表示和后处理可以显着有助于严格的边界识别的临床事件。
2013-10-02 cs.CL
Vietnamese Named Entity Recognition using Token Regular Expressions and Bidirectional Inference
College of Science Vietnam National University, Hanoi, Vietnam Email
本文描述了一种有效的方法来提高越南语命名实体识别系统的准确性。该方法结合了正则表达式的令牌和双向推理方法中的序列标签模型。该方法在越南语言和语音处理(VLSP)社区于2016年底组织的评估活动的测试集上获得了89.66%的整体$F_1$分数。
2016-10-19 cs.CL
The Importance of Automatic Syntactic Features in Vietnamese Named Entity Recognition
Alt Inc(Alt 公司)
本文提出了一个国家的最先进的越南语命名实体识别(NER)系统。通过将自动句法特征与词嵌入结合起来作为双向长短期记忆(Bi-LSTM)的输入,我们的系统虽然比一些深度学习架构简单,但对越南语NER的效果要好得多。该方法在越南语言和语音处理(VLSP)社区于2016年底组织的评估活动的测试集上获得了92.05%的总体F1分数。我们的命名实体识别系统优于以前最好的系统,越南NER的大幅度。
2017-08-28 cs.CL
DANCER: Entity Description Augmented Named Entity Corrector for Automatic Speech Recognition
National Taiwan Normal University(台湾师范大学);E.SUN Financial Holding Co., Ltd.(玉山金融控股股份有限公司)
针对ASR中命名实体音素混淆问题,提出融合实体描述的DANCER校正模型,结合EDA-MLM与稠密检索,在AISHELL-1和Homophone数据集上均显著降低命名实体字符错误率。
2024-04-11 cs.CL
UNER: Universal Named-Entity RecognitionFramework
University of Zagreb(萨格勒布大学);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
我们介绍了通用命名实体识别(UNER)框架,一个4级分类层次结构,以及正在采用的方法来创建第一个多语言UNER语料库:SETimesparallel语料库命名实体注释。首先,英文SETimescorpus将使用现有的工具和知识库进行注释。在通过众包活动对所产生的注释进行评估后,它们将自动传播到SE-Times语料库中的其他语言。最后,作为外部评估,UNER多语言数据集将用于训练和测试可用的NER工具。作为未来研究方向的一部分,我们的目标是增加UNER语料库中的语言数量,并研究将UNER与现有知识图谱相结合以提高命名实体识别的可能方法。
2020-10-23 cs.CL
NaijaNER : Comprehensive Named Entity Recognition for 5 Nigerian Languages
Data Science Nigeria(尼日利亚数据科学)
命名实体识别(NER)的大多数常见应用是在英语和其他高度可用的语言上。在这项工作中,我们提出了我们的研究结果命名实体识别5尼日利亚语言(尼日利亚英语,尼日利亚洋泾浜英语,伊博语,约鲁巴语和豪萨语)。这些语言被认为是低资源的,并且在大多数语言中几乎没有公开的自然语言处理工作。在这项工作中,训练了各个NER模型,并记录了每种语言的度量。我们还开发了一个组合模型,可以处理五种语言中任何一种的命名实体识别(NER)。该组合模型适用于每种语言上的命名实体识别(NER),并且与专门针对特定语言的注释数据训练的单个NER模型相比具有更好的性能。这项工作的目的是分享我们的学习如何使用命名实体识别的信息抽取可以优化所列的尼日利亚语言的包容性,易于部署在生产和可重用的模型。该项目期间开发的模型可在GitHub https://git.io/JY0kk和交互式Web应用程序https://nigner.herokuapp.com/上获得。
2021-03-30 cs.CL
DiffusionNER: Boundary Diffusion for Named Entity Recognition
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院)
本文提出DiffusionNER,将命名实体识别建模为边界去噪扩散过程,通过前向加噪与反向去噪实现实体生成,在多个数据集上取得优于或可比的性能。
2023-05-22 cs.CL
MZET: Memory Augmented Zero-Shot Fine-grained Named Entity Typing
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Google Research(谷歌研究院)
命名实体类型化(Named Entity Typing,NET)是一种在上下文中为实体指定特定语义类型的分类任务。然而,随着实体类型的规模和粒度的不断增大,以往的研究很少关注新出现的实体类型。在本文中,我们提出了MZET,一种新的内存增强的FNET(细粒度NET)模型,以处理不可见的类型在一个zero-shot的方式。MZET结合了字符级,单词级和上下文级信息来学习实体提及表示。此外,MZET将语义和层次结构纳入实体类型表示中。最后,通过记忆组件,该模型之间的关系实体提到和实体类型,MZET转移知识从看到的实体类型的zero-shot的。在三个公共数据集上进行的大量实验表明,MZET获得了出色的性能,超过了最先进的FNET神经网络模型,Micro-F1和Macro-F1得分提高了7%。
2020-11-02 cs.CL
Partially Supervised Named Entity Recognition via the Expected Entity Ratio Loss
Columbia University(哥伦比亚大学);Google Research(谷歌研究院)
我们研究了在缺少实体注释的情况下学习命名实体识别器。我们将这种设置作为潜在变量的标记,并提出了一种新的损失,期望实体比,以在系统缺失标签的情况下学习模型。我们表明,我们的方法是理论上的声音和经验有用的。在实验中,我们发现它在各种语言、注释场景和大量标记数据中达到或超过了强大的最先进的基线性能。特别是,我们发现它显著优于Mayhew et al.(2019)和Li et al.(2021)的先前最先进的方法,在具有挑战性的环境中,只有1,000个有偏见的注释,平均7个数据集,F1得分为+12.7和+2.3。我们还表明,当结合我们的方法,一种新的稀疏注释方案优于穷举注释适度的注释预算。
2021-08-16 cs.CL
NSURL-2019 Task 7: Named Entity Recognition (NER) in Farsi
University of Tehran(德黑兰大学)
NSURL-2019任务7重点关注波斯语中的命名实体识别(NER)。选择这项任务是为了比较不同的方法来找到指定波斯语文本中的命名实体的短语,并为未来在波斯语中进行这项任务的研究建立一个标准的测试平台。本文介绍了训练和测试数据的制作过程、参赛队伍(6支队伍)名单以及对他们的系统的评估结果。最优系统对人、组织、地点、日期、时间、金钱和百分比七类网元进行短语级评价,获得了85.4%的F1分数。
2020-03-19 cs.CL
Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes
National University of Defense Technology(国防科技大学)
Few-Shot命名实体识别(NER)使我们能够建立一个新的领域使用很少的标记的例子的NER系统。然而,现有的原型网络的这项任务遭受粗略估计的标签依赖性和紧密分布的原型,从而经常导致错误分类。为了解决上述问题,我们提出了EP-Net,一个由分散分布的原型增强的多层原型网络。EP-Net构建实体级原型,并将文本跨度视为候选实体,因此不再需要标签依赖。此外,EP-Net从头开始训练原型,使其分散分布,并使用空间投影将span与嵌入空间中的原型对齐。两个评估任务和Few-NERD设置的实验结果表明,EP-Net在整体性能方面始终优于以前的强模型。大量的分析进一步验证了EP-Net的有效性。
2022-08-17 cs.CL
Automatically Annotated Turkish Corpus for Named Entity Recognition and Text Categorization using Large-Scale Gazetteers
Huawei Turkey Research and Development Center(华为土耳其研发中心)
土耳其语维基百科命名实体识别和文本分类(TWNERTC)数据集是从维基百科获得的自动分类和注释句子的集合。我们构建了大规模的地名词典,使用图爬虫算法提取相关的实体和领域的信息,从语义知识库,Freebase。构建的地名录包含约30万个实体,在77个不同领域下有数千个细粒度实体类型。由于自动化过程容易产生歧义,我们还介绍了两种新的内容特定的降噪方法。此外,我们将细粒度的实体类型映射到等效的四个粗粒度类型:person,loc,org,misc。最后,我们构建了六个不同的数据集版本,并通过比较来自人类注释者的基本事实来评估注释的质量。我们公开这些数据集,以支持土耳其命名实体识别(NER)和文本分类(TC)的研究。
2017-02-09 cs.CL