Automatic Creation of Named Entity Recognition Datasets by Querying Phrase Representations
Korea University(高丽大学);Adobe Research(Adobe研究院);AIGEN Sciences(AIGEN科学公司)
针对弱监督 NER 依赖专家词典且自动伪词典覆盖不足的问题,提出 HighGEN,通过短语嵌入搜索和嵌入距离验证生成高覆盖低噪声数据集,并在五个基准上平均 F1 提升 4.7。
2023-06-01 cs.CL
Taxonomy Expansion for Named Entity Recognition
Duke University(杜克大学);AWS AI Labs(AWS人工智能实验室)
提出部分标签模型(PLM),利用部分标注数据集解决命名实体识别分类体系扩展问题,在6个数据集上表现优于多数方法,尤其在额外实体类型数据有限时优势显著。
2023-05-22 cs.AI cs.CL cs.LG
Named Entity Recognition Based Automatic Generation of Research Highlights
Jadavpur University(贾达布尔大学);Indian Association for the Cultivation of Science(印度科学培育协会);TCG CREST(TCG 克雷斯泰)
传统上,科学论文的前言是摘要,总结论文。最近,除了摘要之外,还出现了侧重于论文主要发现的研究亮点作为补充摘要。然而,亮点还不像摘要那样常见,并且在许多论文中都没有。在本文中,我们的目标是自动生成研究重点,使用不同的部分作为输入的研究论文。我们调查在输入上使用命名实体识别是否可以提高生成的亮点的质量。特别是,我们使用了两种基于深度学习的模型:第一种是指针生成器网络,第二种是用覆盖机制增强第一种模型。然后,我们用命名实体识别特征来增强上述每个模型。所提出的方法可以用来产生突出的文件与失踪的亮点。我们的实验表明,添加命名实体信息可以提高基于深度学习的摘要器在ROUGE、METEOR和BERTScore指标方面的性能。
2023-02-25 cs.AI cs.CL cs.LG
Clustering-based Automatic Construction of Legal Entity Knowledge Base from Contracts
Hyperlex;INRIA(法国国家信息与自动化研究所)
在合同分析和合同自动化中,法律实体的知识库(KB)是执行合同验证、合同生成和合同分析等任务的基础。然而,这样的知识库并不总是存在,也不能在短时间内产生。在本文中,我们提出了一个基于聚类的方法来自动生成一个可靠的法律实体的知识库,从给定的合同没有任何补充参考。所提出的方法是鲁棒的预处理,如光学字符识别(OCR)和命名实体识别(NER)所带来的不同类型的错误,以及编辑错误,如错别字。我们在一个数据集上评估了我们的方法,该数据集由来自15个客户的800份具有各种质量的真实合同组成。与收集的地面真实数据相比,我们的方法能够回忆84%的知识。
2020-12-07 cs.AI cs.CL cs.DS
Automatic bioinformatic software named entity recognition from literature
本研究提出混合命名实体识别框架SNAIL,结合词汇与语义建模策略,在基准数据集及真实文献上识别生物信息学软件/数据库,性能优于现有方法,可用于大规模文献的资源元分析。
2026-08-21 cs.AI cs.CL cs.IR
Approach for Semi-automatic Construction of Anti-infective Drug Ontology Based on Entity Linking
Peking University(北京大学);IER Business Development Center(IER业务发展中心)
本体可用于自然语言的解释。为了构建抗感染药物本体,需要设计和部署一个方法步骤来执行实体发现和链接。医学同义词资源是医学自然语言处理的重要组成部分。但也存在查准率低、查全率低等问题。在这项研究中,采用自然语言处理的方法来产生候选实体。对开放本体进行分析,提取语义关系。选择六词向量特征和词级特征进行实体链接。研究了单一特征和不同特征组合的同义词提取结果。实验表明,我们选择的特征已经达到了86.77%的准确率,89.03%的召回率和87.89%的F1得分。本文最后给出了所提出的本体的结构和相关的统计数据。
2018-12-05 cs.AI cs.CL
SetExpan: Corpus-Based Set Expansion via Context Feature Selection and Rank Ensemble
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于语料库的集合扩展(即,基于给定的语料库和极小的种子集合,找到属于相同语义类的实体的“完整”集合)是知识发现中的关键任务。它可以促进许多下游应用,例如信息抽取、分类归纳、问答和web搜索。为了在扩展集合中发现新的实体,以前的方法要么基于分布相似性进行一次性实体排名,要么采用基于迭代模式的自举。这些方法的核心挑战是如何处理来自自由文本语料库的噪声上下文特征,这可能会导致实体入侵和语义漂移。在这项研究中,我们提出了一个新的框架,SetExpan,它解决了这个问题,有两个技术:(1)上下文特征选择方法,选择干净的上下文功能计算实体实体分布相似性,和(2)基于排名的无监督集成方法扩展实体集的基础上去噪的上下文功能。在三个数据集上的实验表明,SetExpan是鲁棒的,在平均精度方面优于以前的最先进的方法。
2019-10-17 cs.CL
Distant Learning for Entity Linking with Automatic Noise Detection
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
已经为注释数据(即,链接到知识库的文本)。然而,对于不存在或存在非常有限量的标记数据的设置(例如,法律或科学领域)。在这项工作中,我们展示了如何在没有任何标记示例的情况下学习链接提及,只有一个知识库和来自相应领域的未注释文本的集合。为了实现这一目标,我们将任务定义为一个多实例学习问题,并依靠表面匹配来创建初始噪声标签。由于学习信号较弱并且我们的替代标签有噪音,我们在模型中引入了噪音检测组件:它让模型检测并忽略可能有噪音的示例。我们的方法,联合学习检测噪声和链接实体,大大优于表面匹配基线。对于实体类别的子集,它甚至接近监督学习的性能。
2019-06-04 cs.AI cs.CL cs.LG
Biomedical Entity Linking for Dutch: Fine-tuning a Self-alignment BERT Model on an Automatically Generated Wikipedia Corpus
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Erasmus University Medical Center(伊拉斯姆斯大学医学中心)
本文提出首个经评估的荷兰语生物医学实体链接模型,基于 MedRoBERTa.nl 进行本体自对齐预训练并用 Wikipedia 语料微调,在 Mantra GSC 上验证其性能与局限。
2024-05-20 cs.CL
ANEA: Distant Supervision for Low-Resource Named Entity Recognition
Saarland University(萨尔兰大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
远程监督允许获得标记的训练语料库的低资源设置,只有有限的手工注释的数据存在。然而,为了有效地使用,远程监督必须易于收集。在这项工作中,我们提出了ANEA,一个工具,自动标注命名实体的文本中的实体列表的基础上。它跨越了整个管道从获得的名单,分析的错误,远程监督。调优步骤允许用户使用他们的语言见解来改进自动注释,而无需手动标记或检查所有标记。在六个低资源的情况下,我们表明,F1分数可以通过ANEA获得的远程监督数据平均增加18分。
2021-04-15 cs.CL
A Dataset of German Legal Documents for Named Entity Recognition
DFKI GmbH(德国人工智能研究中心)
我们描述了一个数据集开发的命名实体识别在德国联邦法院的判决。它由近似。67,000个句子,超过200万个代币。该资源包含54,000个手动注释的实体,映射到19个细粒度的语义类:人,法官,律师,国家,城市,街道,景观,组织,公司,机构,法院,品牌,法律,条例,欧洲法律规范,法规,合同,法院判决和法律文献。此外,法律文件还自动标注了35,000多个基于TimeML的时间表达式。该数据集在CC-BY 4.0许可下以CoNNL-2002格式提供,旨在为欧盟项目Lynx中的德国法律文件培训NER服务。
2020-03-29 cs.CL cs.IR
Distant Supervision for Entity Linking
Tsinghua University(清华大学)
实体链接是信息抽取知识库填充过程中必不可少的操作。它研究了在知识库中将文本实体提及与其对应的消歧条目对齐。在本文中,我们提出了一个新的范例命名为远程监督实体链接(DSEL),在这个意义上,消除歧义的实体,属于一个巨大的知识库(Freebase)自动对齐到相应的描述性网页(维基页面)。通过这种方式,可以在没有手动注释的情况下生成大规模的弱标记数据,并将其馈送到分类器以链接更多新发现的实体。与传统的基于知识库的范式相比,DSEL通过充分利用Freebase和Wikipedia各自的优势而获益更多。具体而言,所提出的范例有利于弥合歧义标签(自由基)的实体和他们的文本描述(维基百科)的Web规模的实体。在140,000个项目和60,000个特征的数据集上进行的实验实现了0.517的基线F1度量。此外,我们分析了特征性能,并将F1-measure提高到0.545。
2015-08-05 cs.CL cs.IR
Fancy Man Lauches Zippo at WNUT 2020 Shared Task-1: A Bert Case Model for Wet Lab Entity Extraction
Xian Jiaotong University(西安交通大学);The University of Manchester(曼彻斯特大学);East China University of Science and Technology(华东理工大学);Zhejiang University(浙江大学)
自动或半自动地将指定执行实验室程序的步骤的协议转换为机器可读的格式对生物研究有很大好处。随着深度学习的发展,这些嘈杂的、密集的、特定于领域的实验室协议处理引起了越来越多的兴趣。本文介绍了我们在WNUT 2020共享任务1:湿实验室实体提取中的团队合作,我们在几个模型中进行了研究,包括BiLSTM CRF模型和BERT case模型,这些模型可以用于完成湿实验室实体提取。并着重讨论了\textbf{Bert case}在不同情况下的性能差异,如\emph{transformers}版本、大小写敏感等以前可能没有得到足够重视的问题。
2020-09-28 cs.CL cs.LG
Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency
Leibniz Information Centre for Science and Technology (TIB)(莱布尼茨科学技术信息中心(TIB));Leibniz Universität Hannover(莱布尼茨汉诺威大学);L3S Research Center, Leibniz Universität Hannover(莱布尼茨汉诺威大学L3S研究中心)
万维网已成为收集信息和新闻的流行来源。多模式信息,例如,用照片丰富文本通常用于更有效地传达新闻或吸引注意力。照片内容可以是装饰性的,描绘额外的重要信息,甚至可以包含误导性信息。因此,量化实体表示的跨模态一致性的自动方法可以支持人类评估员评估整体多模态消息,例如,关于偏见或情绪。在某些情况下,这些措施可以为发现假新闻提供线索,这是当今社会越来越重要的话题。在本文中,我们介绍了一个新的任务,跨模态一致性验证在现实世界的新闻,并提出了一个多模态的方法来量化图像和文本之间的实体一致性。命名实体链接用于从新闻文本中提取人物、地点和事件。建议几种措施来计算这些实体的跨模态相似性,使用最先进的方法。与以前的工作相比,我们的系统自动收集来自Web的示例数据,并适用于现实世界的新闻。两个新的数据集,涵盖不同的语言,主题和领域的结果证明了我们的方法的可行性。数据集和代码是公开的,以促进朝着这一新方向的研究。
2020-10-23 cs.CL cs.IR cs.MM
Partial Annotation Learning for Biomedical Entity Recognition
University of Chinese Academy of Sciences(中国科学院大学);National Science Library, Chinese Academy of Sciences(中国科学院国家科学图书馆);Institute for Logic, Language and Computation (ILLC), University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
针对生物医学实体识别中因标注缺失导致的性能下降问题,提出TS-PubMedBERT-Partial-CRF部分标注学习模型,在高缺失实体率下F1分数较PubMedBERT tagger提升38%。
2023-05-22 cs.CL cs.LG
NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition
Humboldt-Universität zu Berlin(柏林洪堡大学);Science of Intelligence(科学智能研究院)
本文提出NoiseBench基准,通过引入6种真实标签噪声评估NER任务,发现真实噪声比模拟噪声更具挑战性,且现有最先进噪声鲁棒模型远未达到理论上限。
2024-10-14 cs.AI cs.CL cs.LG
pioNER: Datasets and Baselines for Armenian Named Entity Recognition
Russian-Armenian University(俄罗斯-亚美尼亚大学);Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所)
在这项工作中,我们解决了亚美尼亚命名实体识别的问题,提供了银标准和金标准数据集,并建立了流行模型的基线结果。我们提出了一个163000令牌命名实体语料库自动生成和注释的维基百科,和另一个53400令牌语料库的新闻句子与人工注释的人,组织和位置命名实体。语料库被用来训练和评估几个流行的命名实体识别模型。除了数据集,我们还发布了50维、100维、200维、300维的GloVe词嵌入,这些词嵌入是在维基百科、新闻、博客和百科全书的亚美尼亚语文本集合上训练的。
2018-10-19 cs.CL
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University(萨尔兰大学);Heidelberg University(海德堡大学)
缺乏标记的训练数据限制了自然语言处理工具的开发,例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以(半)自动方式创建标记数据。此外,为了减轻自动注释中错误的一些负面影响,可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现,模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好,但我们想研究它们在低资源场景中的表现。在这项工作中,我们执行命名实体识别的豪萨语和Yorkebá,两种语言,广泛使用在几个发展中国家。我们评估了不同的嵌入方法,并表明远程监督可以成功地利用在一个现实的低资源的情况下,它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
Low-Resource Named Entity Recognition Based on Multi-hop Dependency Trigger
提出了一种简单有效的基于多跳依赖触发器的低资源命名实体识别方法。依赖触发器是指上下文语句的依赖图中相对于实体的显著节点。我们的主要观察结果是,句子中经常存在触发语,触发语对识别句子中实体的位置和类型起着重要的作用。以前的研究使用手动标记触发器。我们的主要贡献是提出使用一个句法分析器自动注释触发器。在两个英文数据集(CONLL 2003和BC5CDR)上的实验表明,该方法与以前的基于词典的NER模型具有可比性。
2022-08-13 cs.AI cs.CL
Building and Evaluating Universal Named-Entity Recognition English corpus
Faculty of Humanities and Social Sciences, University of Zagreb(萨格勒布大学人文与社会科学学院)
本文介绍了通用命名实体框架在自动标注语料库生成中的应用。通过使用提取维基百科数据和元数据以及DBpedia信息的工作流,我们生成了一个英文数据集,并对其进行了描述和评估。此外,我们进行了一组实验,以提高注释的精度,召回率和F1-措施。最终的数据集是可用的,建立的工作流程可以应用于任何语言与现有的维基百科和DBpedia。作为未来研究的一部分,我们打算继续改进注释过程,并将其扩展到其他语言。
2022-12-14 cs.CL
ENEIDE: A High Quality Silver Standard Dataset for Named Entity Recognition and Linking in Historical Italian
ENEIDE是首个公开的多领域历史意大利语NERL数据集,包含2111个文档和8000多个实体标注,通过半自动方法提取,用于评估命名实体识别与链接的挑战及模型性能差距。
2026-03-31 cs.CL
BERN2: an advanced neural biomedical named entity recognition and normalization tool
Korea University(高丽大学);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司);AIGEN Sciences(AIGEN科学公司)
在生物医学自然语言处理中,命名实体识别(NER)和命名实体规范化(NEN)是从不断增长的生物医学文献中自动提取生物医学实体(如疾病和药物)的关键任务。在这篇文章中,我们提出了BERN2(高级生物医学实体识别和规范化),一个工具,通过采用多任务NER模型和基于神经网络的NEN模型来实现更快,更准确的推理,改进了以前的基于神经网络的NER工具。我们希望我们的工具可以帮助注释大规模的生物医学文本的各种任务,如生物医学知识图谱建设。
2022-10-06 cs.CL
An Entity-based Claim Extraction Pipeline for Real-world Biomedical Fact-checking
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机器语言处理研究所)
本文提出面向医学推文的声明抽取流程,结合命名实体识别与实体链接,研究自动实体检测和术语规范化对真实世界生物医学事实核查的影响。
2023-04-11 cs.CL
UNER: Universal Named-Entity RecognitionFramework
University of Zagreb(萨格勒布大学);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
我们介绍了通用命名实体识别(UNER)框架,一个4级分类层次结构,以及正在采用的方法来创建第一个多语言UNER语料库:SETimesparallel语料库命名实体注释。首先,英文SETimescorpus将使用现有的工具和知识库进行注释。在通过众包活动对所产生的注释进行评估后,它们将自动传播到SE-Times语料库中的其他语言。最后,作为外部评估,UNER多语言数据集将用于训练和测试可用的NER工具。作为未来研究方向的一部分,我们的目标是增加UNER语料库中的语言数量,并研究将UNER与现有知识图谱相结合以提高命名实体识别的可能方法。
2020-10-23 cs.CL
KIND: an Italian Multi-Domain Dataset for Named Entity Recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
在本文中,我们提出了KIND,意大利数据集命名实体识别。它包含超过100万个标记,其注释涵盖三个类别:人员,位置和组织。该数据集(约60万个令牌)主要包含三个不同领域(新闻,文学和政治话语)的手动黄金注释和半自动注释部分。多领域功能是本工作的主要优势,提供了涵盖不同风格和语言使用的资源,以及最大的意大利NER数据集,带有手动黄金注释。它是意大利语NER系统培训的重要资源。文本和注释可以从Github仓库免费下载。
2022-06-14 cs.CL
Boosting Question Answering by Deep Entity Recognition
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文介绍了一个开放域的波兰语类事实问答系统RAFAEL。该系统不仅仅是找到一个回答句子;它还提取一个与所需实体相对应的字符串。在这里,重点放在不同的方法来实体识别,检索信息匹配问题的约束条件是必不可少的。除了传统的方法,包括命名实体识别(NER)的解决方案,一种新的技术,称为深度实体识别(DeepER)的介绍和实现。它允许基于先前组装的实体库,全面搜索与给定WordNet同义词集(例如印象派)匹配的所有形式的实体引用。它是通过分析百科全书条目的第一句话以及消除歧义和重定向页面创建的。DeepER还提供自动评估,这使得许多实验成为可能,包括在波兰维基百科上回答的电视问答节目中的一千多个问题。对单独问题集进行手动评估的最终结果表明,DeepER方法的优势在于它能够回答需要超出传统命名实体类别的答案的问题。
2016-05-27 cs.CL
An Effective, Performant Named Entity Recognition System for Noisy Business Telephone Conversation Transcripts
Dialpad Canada Inc.(Dialpad加拿大公司)
我们提出了一种简单而有效的方法来训练一个命名实体识别(NER)模型,该模型对包含噪声的商务电话会话记录进行操作,由于口语会话的性质和自动语音识别的工件。我们首先在有限数量的成绩单上微调LUKE,这是一种最先进的命名实体识别(NER)模型,然后将其用作教师模型,使用大量弱标记数据和少量人工注释数据来教授较小的基于DistilBERT的学生模型。该模型实现了高精度,同时也满足了商业电话产品的实际限制:部署在具有成本效益的CPU而不是GPU上时的实时性能。
2022-09-27 cs.CL
Establishing a New State-of-the-Art for French Named Entity Recognition
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
巴黎第七大学开发的法语树库是法语的形态句法和句法注释的主要来源。然而,它不包括与命名实体相关的显式信息,这些信息是若干自然语言处理任务和应用程序中最有用的信息。此外,没有大规模的法语语料库与命名实体注释包含参考信息,补充的类型和跨度的每一个提到的实体,它是指的指示。在自动预注释步骤之后,我们用这些信息手动注释了法语树库。我们概述了底层的注释指导原则,并提供了一些关于最终注释的图。
2020-05-27 cs.CL
Naamapadam: A Large-Scale Named Entity Annotated Data for Indic Languages
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);AI4Bharat;Microsoft India(微软印度);IBM Research India(IBM印度研究院)
本文提出面向 11 种印度语言的最大规模命名实体识别数据集 Naamapadam,通过英语实体投影自动构建训练数据并人工标注测试集,同时发布微调模型 IndicNER,在多数测试语言上 F1 超过 80。
2023-05-28 cs.CL
Document-level Entity-based Extraction as Template Generation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
文档级基于实体的抽取(EE)旨在抽取以实体为中心的信息,如实体角色和实体关系,是从不同领域的文本语料库中自动获取知识获取的关键。大多数文档级EE系统构建提取模型,这些模型难以在文档级对实体之间的长期依赖关系进行建模。为了解决这个问题,我们提出了两个文档级EE任务:角色填充实体提取(REE)和关系抽取(RE)的生成框架。我们首先将它们制定为模板生成问题,允许模型有效地捕获跨实体依赖关系,利用标签语义,并避免识别N元关系的指数计算复杂性。一种新的交叉注意引导复制机制,TopK复制,被纳入一个预先训练的序列到序列模型,以提高识别输入文档中的关键信息的能力。在MUC-4和SciREX数据集上进行的实验显示了F1评分中REE(+3.26%),二元RE(+4.8%)和4元RE(+2.7%)的最新结果。
2021-09-10 cs.CL
Evaluation of Embedding Models for Automatic Extraction and Classification of Acknowledged Entities in Scientific Documents
GESIS –- Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所)
科学论文中的致谢可以让我们深入了解科学界的各个方面,例如奖励制度、合作模式和隐藏的研究趋势。本文的目的是评估不同的嵌入模型的性能,自动提取和分类的任务,承认的实体,从科技论文中的确认文本。我们使用Flair NLP框架训练并实现了一个命名实体识别(NER)任务。训练使用三个默认的Flair NER模型和两个不同大小的语料库进行。在较大的训练语料库上训练的Flair Embeddings模型显示出最好的准确率,为0.77。我们的模型能够识别六种实体类型:资助机构,资助编号,个人,大学,公司和杂项。该模型对某些实体类型的工作比其他实体类型更精确,因此,个人和赠款数量显示出非常好的F1分数超过0.9。大多数以前的工作确认分析是有限的数据的人工评估,因此,处理的数据量。该模型可用于对回执文本的综合分析,对回执文本的自动分析具有重要的意义。
2022-06-22 cs.CL cs.DL
Zero- and Few-shot Named Entity Recognition and Text Expansion in Medication Prescriptions using ChatGPT
Chiang Mai University(清迈大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Universitätsklinikum Erlangen(埃尔朗根大学医院);Center of Data Analytics and Knowledge Synthesis for Health Care(医疗保健数据分析与知识综合中心);Medical University of Graz(格拉茨医科大学)
本研究使用ChatGPT 3.5在零样本和少样本设置下对药物处方进行命名实体识别和文本扩展,少样本方法有效防止了系统幻觉,在处理安全相关药物数据时取得了良好的性能。
2024-09-26 cs.AI cs.CL
Multimodal Entity Tagging with Multimodal Knowledge Base
Tsinghua University(清华大学);ByteDance(字节跳动)
为了加强对多模态知识库和多模态信息处理的研究,我们提出了一个新的任务称为多模态实体标注(MET)与多模态知识库(MKB)。我们还开发了一个数据集的问题,使用现有的MKB。在MKB中,存在实体及其关联的文本和图像。在MET中,给定文本-图像对,可以使用MKB中的信息自动识别文本-图像对中的相关实体。我们通过使用信息检索范式来解决这个任务,并使用NLP和CV中最先进的方法实现了几个基线。我们进行了大量的实验,并对实验结果进行了分析。结果表明,这项任务具有挑战性,但目前的技术可以实现相对较高的性能。我们将发布数据集,代码和模型,以供未来研究。
2022-07-28 cs.AI cs.CL cs.CV
DynClean: Training Dynamics-based Label Cleaning for Distantly-Supervised Named Entity Recognition
Temple University(天普大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出DynClean,一种基于训练动态的标签清洗方法,通过自动阈值估计定位并移除远程监督NER中的错误标注,在四个数据集上显著提升F1分数。
2025-04-06 cs.CL
Experiments to Improve Named Entity Recognition on Turkish Tweets
European Commission, Joint Research Centre(欧盟委员会联合研究中心)
社交媒体文本对于包括趋势分析、事件监测和意见挖掘在内的若干应用领域是重要的信息源。不幸的是,用于诸如命名实体识别的任务的现有解决方案在正式文本上表现良好,但在应用于社交媒体文本时通常表现不佳。在本文中,我们报告的实验,有提高命名实体识别土耳其推文的目的,使用两个不同的注释数据集。在这些实验中,从基线命名实体识别系统,我们适应其识别规则和资源,以更好地适应Twitter的语言,放松其资本化约束,并通过变音符号为基础的扩展其词汇资源,我们采用了一个简单的规范化方案的推文,以观察这些对土耳其推文的整体命名实体识别性能的影响。这些不同的设置的系统的评价结果提供这些结果的讨论。
2014-10-31 cs.CL
Information Extraction based on Named Entity for Tourism Corpus
Kasetsart University(泰国农业大学)
现在旅游信息到处都是。要搜索信息,通常要浏览搜索引擎的结果,选择和查看每个住宿的详细信息,这是非常耗时的。本文提出了一种从搜索引擎返回的全文中提取特定信息的方法,以方便用户。然后,用户可以具体地查看期望的相关信息。该方法可用于其他领域的相同任务。其主要步骤是:1)建立训练数据; 2)建立识别模型。首先,收集旅游数据并建立词汇表。原始语料库用于训练以创建词汇嵌入。此外,它还用于创建带注释的数据。给出了命名实体标注的创建过程。然后,可以建立给定实体类型的识别模型。实验表明,在给定酒店描述的情况下,该模型能够提取出所需的实体,即名称、位置、设施等。所提取的数据还可以被存储为结构化信息,以本体的形式,用于将来的查询和推理。基于机器学习的命名实体自动识别模型,识别误差在8%-25%之间。
2020-01-03 cs.AI cs.CL cs.IR
Named entity recognition using conditional random fields with non-local relational constraints
Università degli studi di Milano(米兰大学);University of Milano–Bicocca(米兰比可卡大学)
我们首先介绍了自然语言处理的计算机科学分支,然后将注意力集中在它的子分支信息抽取,特别是命名实体识别,简要讨论了它的主要方法。它遵循对线性链形式下的最先进的条件随机场的介绍。随后,约束推理的想法,作为一种方式来模拟文本中的长距离关系,提出了基于一个非线性规划表示的问题。添加这样的关系的问题,自动推断的逻辑公式,可转化为线性条件,我们建议解决由此产生的更复杂的问题的帮助下,拉格朗日松弛,其中一些技术细节的解释。最后,我们给出了一些实验结果。
2013-10-07 cs.CL
Find the Funding: Entity Linking with Incomplete Funding Knowledge Bases
Radboud University(拉德堡德大学);Elsevier(爱思唯尔)
从学术文章中自动提取资金信息为行业和研究社区增加了重要价值,例如跟踪资助组织的研究成果,根据收到的资金对研究人员和大学进行分析,以及支持开放获取政策。识别和链接资助实体的两个主要挑战是:(i)知识库(KB)的稀疏图结构,这使得常用的基于图的实体链接方法对于资助领域不是最佳的,(ii)知识库中的缺失实体,这(与最近的zero-shot方法不同)需要将没有知识库条目的实体提及标记为NIL。我们提出了一个实体链接模型,可以执行NIL预测,并以时间和数据有效的方式克服数据稀缺问题。我们的模型建立在一个基于transformer的提及检测和双编码器模型来执行实体链接。我们表明,我们的模型优于强大的现有基线。
2022-09-20 cs.CL cs.LG
Event and Entity Extraction from Generated Video Captions
Universität Ulm(乌尔姆大学);Newcastle University(纽卡斯尔大学)
提出从自动生成的视频字幕中提取实体、属性、关系及视频类别的框架,实验表明提取质量主要受事件定位和字幕生成性能影响。
2023-09-13 cs.CL cs.CV
Leveraging 2-hop Distant Supervision from Table Entity Pairs for Relation Extraction
The Ohio State University(俄亥俄州立大学)
远程监控(Distant Supervision,DS)已被广泛用于自动构造(噪声)标记数据以用于关系抽取(RE)。给定两个实体,远距离监督利用直接提到它们的句子来预测它们的语义关系。我们把这种策略称为1跳DS,不幸的是,它可能不适合于支持句子很少的长尾实体。在本文中,我们引入了一种新的策略,名为2跳DS,以提高远程监督RE,观察到存在大量的关系表在Web上包含共享共同关系的实体对。我们将这样的实体对称为彼此的锚,并收集所有提到给定目标实体对的锚实体对的句子,以帮助关系预测。我们在多示例学习范式中开发了一种新的神经RE方法REDS 2,该方法采用分层模型结构分别融合来自1跳DS和2跳DS的信息。在基准数据集上进行的大量实验结果表明,REDS2可以在不同的设置中始终优于各种基线。
2019-09-13 cs.CL
Learning Dictionaries for Named Entity Recognition using Minimal Supervision
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Columbia University(哥伦比亚大学)
本文描述了一种利用大量未标记数据和少量种子实例自动构造命名实体识别(NER)词典的方法。我们使用典型相关分析(CCA)来获得候选短语的低维嵌入(表示),并使用少量的标记示例对这些短语进行分类。我们的方法在疾病和病毒NER上分别实现了16.5%和11.3%的F-1分数提高。我们还表明,通过添加候选短语嵌入作为序列标记器中的功能,提供了更好的性能相比,使用词嵌入。
2015-04-24 cs.CL stat.ML
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory(Sber人工智能实验室)
医学实体抽取是医学文本处理的第一步。通常,医学EE是一个两步过程:命名实体识别(NER)和命名实体规范化(NEN)。我们提出了一种从电子健康记录(EHR)中进行医疗EE的新方法,作为一个单步多标签分类任务,通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标,以远程监督的方式进行端到端的训练。我们表明,我们的模型可以学习对足够频繁出现的实体进行泛化,从而为最频繁的实体实现人类级别的分类质量。我们的工作表明,医疗实体提取可以在没有人类监督的情况下进行端到端的提取,并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
ANEA: Automated (Named) Entity Annotation for German Domain-Specific Texts
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学)
命名实体识别(NER)是一项重要的任务,其目的是解决命名实体的通用类别,例如,人物、地点、组织和时间。尽管它在许多用例中的常见和可行的使用,但NER几乎不适用于一般类别次优的领域,如工程或医学。为了促进特定领域类型的NER,我们提出了ANEA,一个自动化(命名)实体注释器,以协助人类注释创建特定领域的NER语料库时,给定一组特定领域的文本德语文本集合。在我们的评估中,我们发现ANEA自动识别最能代表文本内容的术语,识别连贯术语组,并为这些组提取和分配描述性标签,即,将文本数据集注释到域(命名)实体中。
2021-12-13 cs.CL
NERdME: a Named Entity Recognition Dataset for Indexing Research Artifacts in Code Repositories
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);IRIT, UT, CNRS, Toulouse INP(IRIT、UT、CNRS、图卢兹INP)
NERdME是一个用于代码仓库中研究制品索引的命名实体识别数据集,通过标注README文件中的实体类型,提升学术信息提取的准确性与实用性。
2026-03-05 cs.CL
Few-shot Named Entity Recognition with Self-describing Networks
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
Few-Shot NER需要有效地从有限的实例中捕获信息,并从外部资源中传输有用的知识。在本文中,我们提出了一个自我描述机制,Few-Shot NER,它可以有效地利用说明性的实例,并精确地从外部资源的知识,通过描述实体类型和提及使用一个通用的概念集。具体来说,我们设计了自描述网络(SDNet),Seq2Seq生成模型,它可以通用地使用概念描述提及,自动将新的实体类型映射到概念,并按需自适应地识别实体。我们使用大规模语料库对SDNet进行预训练,并在来自不同领域的8个基准上进行实验。实验结果表明,SDNet在所有基准测试中都达到了竞争性的性能,并在6个基准测试中达到了新的最先进水平,这证明了其有效性和鲁棒性。
2022-03-23 cs.CL
A Feature-Rich Vietnamese Named-Entity Recognition Model
Alt Vietnam Co., Ltd(Alt Vietnam Co., Ltd(Alt越南有限公司))
在本文中,我们提出了一个基于特征的命名实体识别(NER)模型,达到了越南语的最先进的准确性。我们在条件随机场(CRF)模型中结合了单词,单词形状特征,PoS,组块,基于布朗聚类的特征和基于单词嵌入的特征。我们还探讨了分词,PoS标签,和许多流行的越南NLP工具包的准确性上提出的基于特征的NER模型的分块结果的影响。到目前为止,我们的工作是第一个工作,系统地进行外部评估的基本越南NLP工具包的下游NER任务。实验结果表明,虽然自动生成的分词是有用的,越南NLP工具生成的PoS和组块信息并没有显示出他们的好处,建议基于特征的NER模型。
2018-03-12 cs.CL
On the Robustness of Reading Comprehension Models to Entity Renaming
University of Southern California(南加州大学);Fudan University(复旦大学);IIT Kanpur(印度理工学院坎普尔分校)
我们研究了机器阅读理解(MRC)模型对实体重命名的鲁棒性--当对一个名称已被更改的实体提出同样的问题时,模型是否会做出更多错误的预测?这样的失败意味着模型过度依赖实体信息来回答问题,因此当世界的事实发生变化或问题被问及新的实体时,模型可能概括性很差。为了系统地审计这个问题,我们提出了一个管道来自动生成大规模的测试示例,通过将原始测试样本中的实体名称替换为各种来源的名称,从同一测试集中的名称,到生活中的常见名称,再到任意字符串。在五个数据集和三个预训练的模型架构中,MRC模型在实体重命名时表现一直较差,通过远程监督构建的数据集的准确性下降特别大。我们还发现模型之间存在很大的差异:SpanBERT,它是用跨度级掩蔽预训练的,比RoBERTa更健壮,尽管在未扰动的测试数据上具有相似的准确性。我们进一步实验了不同的掩蔽策略作为持续的预训练目标,发现基于实体的掩蔽可以提高MRC模型的鲁棒性。
2022-05-04 cs.CL
Revisiting Sparse Retrieval for Few-shot Entity Linking
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对少样本实体链接中标注数据不足导致密集检索性能下降的问题,提出基于ELECTRA的关键词提取器与远程监督方法,构建去噪查询表达式,在ZESHEL数据集上显著超越现有最优模型。
2023-10-19 cs.CL
HAMNER: Headword Amplified Multi-span Distantly Supervised Method for Domain Specific Named Entity Recognition
University of New South Wales(新南威尔士大学);Dongguan University of Technology(东莞理工学院);National University of Defence Technology(国防科技大学)
为了解决命名实体识别(NER)任务,监督方法需要获得足够的干净的注释数据,这是劳动和时间消耗。相反,远程监督方法使用字典自动获取注释数据,以减轻这一要求。不幸的是,词典阻碍了远距离监督方法的有效性,因为它的覆盖范围有限,特别是在特定的领域。在本文中,我们针对字典使用的局限性,并提到边界检测。我们推广了远程监督扩展字典与基于中心词的非精确匹配。我们应用一个函数来更好地加权匹配的实体提及。我们提出了一个跨度级别的模型,它分类所有可能的跨度,然后推断出所选择的跨度与建议的动态规划算法。在所有三个基准数据集上的实验表明,我们的方法优于以前最先进的远程监督方法。
2019-12-03 cs.CL
KnowNER: Incremental Multilingual Knowledge in Named Entity Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
KnowNER是一个多语言命名实体识别(NER)系统,它利用了不同程度的外部知识。一种新颖的模块化框架将知识分为四类,根据他们传达的知识的深度。每个类别由一组从不同信息源(如知识库、名称列表或特定于文档的语义注释)自动生成的特征组成,并用于训练条件随机场(CRF)。由于这些信息源通常是多语言的,KnowNER可以很容易地接受各种语言的培训。在本文中,我们证明了更深层次的知识的结合系统地提高了准确性,并将KnowNER与三种语言中最先进的NER方法进行了比较(即,英语、德语和西班牙语)在所有这些国家的最先进的系统中表演。
2017-09-11 cs.CL
DaMuEL: A Large Multilingual Dataset for Entity Linking
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本研究发布包含53种语言的大型多语言实体链接数据集DaMuEL,由语言无关知识库和分语言的维基百科链接文本、Wikidata文本组成,含2790万实体、123亿token,为多语言实体链接研究提供数据支撑。
2023-06-15 cs.CL
Learning from Miscellaneous Other-Class Words for Few-shot Named Entity Recognition
Tsinghua University(清华大学);JOYY Inc(欢聚集团);Nanyang Technological University(南洋理工大学)
Few-Shot命名实体识别(NER)仅利用少量注释来识别和分类命名实体提及。原型网络在Few-Shot NER上表现出优越的性能。然而,现有的原型方法无法区分丰富的语义在其他类的话,这将加剧过拟合在Few Shot的情况下。为了解决这个问题,我们提出了一种新的模型,挖掘未定义的类从类(MUCO),可以自动诱导不同的未定义的类从其他类,以提高Few-Shot NER。通过这些额外标记的未定义类,我们的方法将提高NER分类器的区分能力,并增强对具有备用语义知识的预定义类的理解。实验结果表明,我们的模型优于五个国家的最先进的模型在1杆和5杆设置四个NER基准。我们将在接受后发布代码。源代码发布在https://github.com/shuaiwa16/OtherClassNER.git上。
2021-06-29 cs.CL
TWIX: a Two-Stage Approach for End-To-End Named Entity Recognition and Relation Extraction
University of Padova(帕多瓦大学)
针对科学出版物增长带来的信息抽取需求,提出TWIX端到端IE流水线,采用两阶段框架解决GutBrainIE基准的所有子任务,在评测中大幅优于基线且排名第一,有效提升了精确率和召回率。
2026-09-02 cs.CL
Row-less Universal Schema
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
通用模式将知识库和文本模式结合起来,对实体和关系进行推理,以实现知识库的自动构建和信息抽取。在过去,实体对和关系被表示为具有由评分函数确定的兼容性的学习向量,从而将泛化限制到看不见的文本模式和实体。最近,通用模式的“无列”版本已经使用组合模式编码器来泛化到所有文本模式。在这项工作中,我们采取下一步,并提出了一个“无行”模型的通用模式,删除显式的实体对表示。我们不是学习训练集中每个实体对的向量表示,而是将实体对视为其关系类型的函数。在FB 15 k-237基准测试的实验结果中,我们证明了我们可以使用关系类型上的注意力模型来匹配具有显式实体对表示的可比模型的性能。我们进一步证明,该模型在训练期间从未见过的实体对上具有几乎相同的准确性。
2016-04-21 cs.CL