Visual Named Entity Linking: A New Dataset and A Baseline
University of Chinese Academy of Sciences(中国科学院大学)
视觉实体链接(Visual Entity Linking,VEL)是一种将图像区域与知识库(Knowledge Bases,KB)中的相应实体进行链接的任务,它对于图像检索、图像标题、视觉问答等计算机视觉任务都是非常有用的。而现有的VEL任务要么依赖于文本数据来补充多模态链接,要么仅将对象与一般实体链接,这无法对大量图像数据执行命名实体链接。在本文中,我们考虑一个纯粹的基于视觉的命名实体链接(VNEL)的任务,其中输入只包括一个图像。任务是识别感兴趣的对象(即,视觉实体提及),并将它们链接到KB中的相应命名实体。由于每个实体通常包含知识库中丰富的视觉和文本信息,因此我们提出了三个不同的子任务,即,视觉到视觉实体链接(V2 VEL)、视觉到文本实体链接(V2 TEL)和视觉到视觉-文本实体链接(V2 VTEL)。此外,我们提出了一个高质量的人类注释的视觉人链接数据集,命名为WIKIPerson。基于WIKIPerson,针对每个子任务的求解建立了一系列基线算法,并通过实验验证了所提数据集的质量和基线方法的有效性。我们设想这项工作是有帮助的征求更多的工作,在未来的VNEL。代码和数据集可在https://github.com/ict-bigdatalab/VNEL上公开获取。
2022-11-09 cs.AI cs.CV
Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking
Google Research(谷歌研究院)
在这项工作中,我们提出了一个实体链接模型,它结合了Transformer架构与大规模的预训练维基百科链接。我们的模型在两个常用的实体链接数据集上达到了最先进的水平:CoNLL上的96.7%和TAC-KBP上的94.9%。我们提出了详细的分析,以了解什么样的设计选择是重要的实体链接,包括选择负实体候选人,Transformer架构,和输入扰动。最后,我们提出了更有挑战性的设置,如端到端的实体链接和实体链接,没有域内训练数据有希望的结果。
2020-05-28 cs.CL cs.LG
OpenTapioca: Lightweight Entity Linking for Wikidata
University of Oxford(牛津大学)
我们提出了一个简单的命名实体链接系统,可以只从维基数据训练。这展示了此数据源在此任务中的优势和劣势,并提供了一个易于复制的基线来与其他系统进行比较。我们的模型是轻量级的训练,运行,并保持与维基数据在实时的同步。
2020-11-24 cs.CL cs.IR
Fine-Grained Entity Typing for Domain Independent Entity Linking
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经实体链接模型非常强大,但存在过度拟合其训练领域的风险。对于这个问题,一个域的特征不仅在于文本的类型,甚至还在于实体的特定分布等特定因素,因为神经模型往往会通过记忆数据集中频繁实体的属性来过拟合。我们解决的问题,建立强大的实体链接模型,有效地推广,不依赖于标记的实体链接数据与特定的实体分布。我们的方法不是直接预测实体,而是对细粒度的实体属性进行建模,这可以帮助消除甚至密切相关的实体之间的歧义。我们从Wikipedia分类中获得大量的类型(数万个),并使用Wikipedia中的超链接提及来远程标记数据并训练实体类型模型。在测试时,我们使用此类型模型对提及进行分类,并使用软类型预测将提及链接到最相似的候选实体。我们在CoNLL-YAGO数据集上评估我们的实体链接系统(Hoffart等人,2011),并表明我们的方法优于以前的域独立的实体链接系统。我们还在来自WikilinksNED数据集的更难的设置中测试了我们的方法(Eshel等人,2017),其中所有提及实体对在测试时间期间是不可见的。结果表明,我们的方法比数据集上最先进的神经模型更好地推广。
2020-01-08 cs.AI cs.CL cs.LG
Where on Earth Do Users Say They Are?: Geo-Entity Linking for Noisy Multilingual User Input
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对嘈杂多语言社交媒体数据的地理实体链接问题,提出利用已标注位置名称的平均嵌入表示现实位置,并通过可解释置信度分数实现选择性预测,有效提升了全球多语言数据集上的链接效果。
2024-04-29 cs.AI cs.CL
Multimodal Entity Linking for Tweets
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);CNRS(法国国家科学研究中心)
在许多信息抽取应用中,实体链接(EL)已经成为一项重要的任务,它允许从知识库中利用有关命名实体的信息。在本文中,我们解决的任务,多模态实体链接(MEL),一个新兴的研究领域,文本和视觉信息被用来映射一个模糊的提到一个实体在知识库(KB)。首先,我们提出了一种方法来构建一个完全注释的Twitter数据集MEL,其中实体定义在Twitter知识库。然后,我们提出了一个模型,共同学习的表示提到和实体从他们的文本和视觉环境。我们通过在建议的数据集上对其进行评估来证明所提出的模型的有效性,并强调了在可用时利用视觉信息的重要性。
2021-04-07 cs.CL cs.IR cs.MM
LELA: An End-to-end LLM-based Entity Linking Framework with Zero-shot Domain Adaptation
本文提出LELA,一种基于大语言模型的模块化、领域无关的实体消歧方法,并扩展为实用的Python库,集成零样本命名实体识别,实现端到端实体链接,实验验证其跨领域性能与鲁棒性。
2026-05-26 cs.AI cs.CL
Improving Broad-Coverage Medical Entity Linking with Semantic Type Prediction and Large-Scale Datasets
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
医学实体链接是识别和标准化非结构化文本中引用的医学概念的任务。大多数现有的方法采用三步方法:(1)检测提及,(2)生成候选概念列表,最后(3)从中挑选最佳概念。在本文中,我们探讨如何缓解候选概念的过度生成的问题,在候选生成模块,医学实体连接的研究最不足的组成部分。为此,我们提出MedType,一个完全模块化的系统,修剪出不相关的候选概念的基础上预测的语义类型的实体提及。我们将MedType整合到五个现成的工具包中,用于医疗实体链接,并证明它在多个基准数据集上持续提高实体链接性能。为了解决医学实体链接的注释训练数据的缺乏,我们提出了WikiMed和PubMedDS,两个大规模的医学实体链接数据集,并证明这些数据集上的预训练MedType进一步提高了实体链接性能。我们公开我们的源代码和数据集,用于医疗实体链接研究。
2021-08-22 cs.CL
SpEL: Structured Prediction for Entity Linking
School of Computing Science(计算科学学院);Simon Fraser University(西蒙弗雷泽大学)
SpEL系统通过改进的微调步骤、上下文敏感的预测聚合策略及缩减输出词汇表等方法,将结构化预测应用于实体链接任务,在AIDA基准上超越最先进水平且计算高效。
2023-10-23 cs.CL
Improving Fine-grained Entity Typing with Entity Linking
HKUST(香港科技大学);Tencent Technology (SZ) Co., Ltd.(腾讯科技(深圳)有限公司)
细粒度的实体类型是一个具有挑战性的问题,因为它通常涉及相对较大的标记集,并且可能需要理解实体提及的上下文。在本文中,我们使用实体链接来帮助细粒度的实体类型分类过程。我们提出了一个深度神经模型,它根据上下文和从实体链接结果中获得的信息进行预测。在两个常用数据集上的实验结果证明了该方法的有效性。在这两个数据集上,它实现了超过5%的绝对严格精度提高。
2019-09-26 cs.CL
SU-NLP at SemEval-2022 Task 11: Complex Named Entity Recognition with Entity Linking
Sabancı University(萨班哲大学)
本文介绍了由萨班斯大学自然语言处理小组在SemEval-2022 MultiCoNER任务中提出的系统。我们开发了一个无监督的实体链接管道,它可以在维基百科的帮助下检测潜在的实体提及,并使用相应的维基百科上下文来帮助分类器找到该提及的命名实体类型。我们的结果表明,我们的管道显着提高了性能,特别是对于低上下文环境中的复杂实体。
2022-03-22 cs.CL
BLINK with Elasticsearch for Efficient Entity Linking in Business Conversations
Dialpad Canada Inc.(Dialpad加拿大公司)
实体链接系统将文本中实体的文本提及与知识库中相应的条目对齐。然而,在生产环境中部署神经实体链接系统以进行有效的实时推理是一项具有挑战性的任务。在这项工作中,我们提出了一个神经实体链接系统,将商业对话中的产品和组织类型实体连接到相应的维基百科和维基数据条目。所提出的系统利用Elasticsearch来确保部署在资源有限的云机器中时的推理效率,并在推理速度和内存消耗方面获得显着改善,同时保持高准确性。
2022-05-09 cs.CL cs.IR cs.LG
Implicit Entity Linking in Tweets
Kno.e.sis Center, Wright State University(莱特州立大学Kno.e.sis中心);IBM Research(IBM研究院)
多年来,Twitter已成为最大的通信平台之一,为品牌监控、趋势检测等各种应用提供关键数据。实体链接是从推文理解自然语言的主要任务之一,它将文本中的实体提及与知识库中的对应条目相关联,以便提供明确的解释和附加上下文。最先进的技术集中在链接推文中明确提到的实体,并取得了一定的成功。然而,我们认为,除了明确提到,即电影重力比火星轨道飞行器任务实体(电影重力)更昂贵,也可以含蓄地提到,即这部新的太空电影是疯狂的。你一定要看!介绍了推文中的隐式实体链接问题。我们提出了一种方法,模型的实体,利用他们的事实和背景知识。我们演示了如何使用这些模型来执行隐式实体链接的地面实况数据集与397推文从两个域,即电影和书籍。具体而言,我们显示:1)链接隐式实体的重要性及其对标准实体链接任务的附加值,以及2)利用与实体相关联的上下文知识来链接它们的隐式提及的重要性。我们还公开了地面实况数据集,以促进这一新研究领域的研究。
2017-07-26 cs.AI cs.CL
Clustering-based Inference for Biomedical Entity Linking
College of Information and Computer Sciences University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Chan Zuckerberg Initiative(陈-扎克伯格倡议)
由于生物医学知识库中存在大量的实体,只有一小部分实体具有相应的标记训练数据。这就需要实体链接模型,这些模型能够使用学习到的实体表示来链接提到的不可见实体。以前的方法独立地链接每个提及,忽略了实体提及之间的文档内和跨文档的关系。这些关系对于生物医学文本中的链接提及非常有用,其中链接决定通常很困难,因为提及具有通用或高度专业化的形式。在本文中,我们介绍了一个模型,在该模型中,不仅可以通过链接到一个知识库实体,但也通过分组多个提到一起,通过聚类和共同作出链接预测的链接决策。在最大的公开生物医学数据集上的实验中,我们将实体链接的最佳独立预测提高了3.0个点的准确性,并且我们基于聚类的推理模型进一步提高了实体链接2.3个点。
2021-04-08 cs.CL
Improving Entity Linking by Modeling Latent Relations between Mentions
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
实体链接涉及将命名实体的文本提及与知识库中相应的条目对齐。实体链接系统经常利用文档中的文本提及之间的关系(例如,共同引用)以决定链接决定是否兼容。与以前的方法不同,这些方法依赖于监督系统或统计学来预测这些关系,我们将关系视为神经实体链接模型中的潜在变量。我们在没有任何监督的情况下诱导关系,同时以端到端的方式优化实体链接系统。我们的多关系模型在标准基准测试(AIDA-CoNLL)中获得了最好的报告分数,并且大大优于其关系不可知版本。它的训练也收敛得更快,这表明注入的结构偏差有助于解释训练数据中的错误。
2018-04-27 cs.CL
Improving Entity Linking through Semantic Reinforced Entity Embeddings
Zhejiang Gongshang University(浙江工商大学);Massey University(梅西大学);National University of Defense Technology(国防科技大学);Shanghai Research Center for Brain Science and Brain-Inspired Intelligence(上海脑科学与类脑研究中心);Zhangjiang Lab(张江实验室)
实体嵌入是神经实体链接模型的关键组成部分,它用单个向量(如词嵌入)表示每个实体的不同方面。现有的实体嵌入是从规范的维基百科文章和目标实体周围的本地上下文中学习的。这样的实体嵌入是有效的,但对于链接模型来说太独特了,无法学习上下文的共性。我们提出了一个简单而有效的方法,FGS2EE,注入细粒度的语义信息到实体嵌入,以减少独特性,促进学习的上下文共性。FGS2EE首先使用语义类型词的嵌入生成语义嵌入,然后通过线性聚合将其与现有的实体嵌入相结合。大量的实验表明了这种嵌入的有效性。基于我们的实体嵌入,我们在实体链接上实现了新的最先进的性能。
2021-06-16 cs.CL
Personal Entity, Concept, and Named Entity Linking in Conversations
Radboud University(拉德堡德大学)
针对对话中个人实体、概念和命名实体的链接需求,本文构建 1327 条话语标注数据集,并提出结合共指消解的 CREL 工具包,性能超过现有基线。
2023-09-27 cs.CL cs.IR
ReFinED: An Efficient Zero-shot-capable Approach to End-to-End Entity Linking
Amazon Alexa AI(亚马逊Alexa人工智能部门)
我们介绍了ReFinED,一个高效的端到端的实体链接模型,它使用细粒度的实体类型和实体描述来执行链接。该模型在一个单一的前向传递中为文档中的所有提及执行提及检测,细粒度实体类型和实体消歧,使其比现有的竞争方法快60倍以上。ReFinED在标准实体链接数据集上的性能平均超过3.7 F1。该模型能够推广到大规模的知识库,如维基数据(其中有15倍以上的实体比维基百科)和zero-shot实体链接。速度,准确性和规模的结合使ReFinED成为一个有效且具有成本效益的系统,用于从网络规模的数据集中提取实体,该模型已成功部署。我们的代码和预训练模型可在https://github.com/alexa/ReFinED上获得
2022-07-08 cs.CL
LATTE: Latent Type Modeling for Biomedical Entity Linking
Virginia Tech(弗吉尼亚理工学院);AWS AI(AWS人工智能)
实体链接是将自然语言文本中提到的命名实体链接到策展知识库中的实体的任务。这在生物医学领域中具有重要意义,在生物医学领域中,它可以用于语义注释大量的临床记录和生物医学文献,以在诸如统一医学语言系统(UMLS)的本体中描述的标准化概念。我们观察到,精确的类型信息,实体消歧成为一个简单的任务。然而,在生物医学领域,细粒度的类型信息通常是不可用的。因此,我们提出了LATTE,一个潜在的类型实体链接模型,通过对潜在的细粒度类型信息的提及和实体建模,提高了实体链接。与以前直接在提及和实体之间执行实体链接的方法不同,LATTE联合进行实体消歧和潜在的细粒度类型学习,而无需直接监督。我们在两个生物医学数据集上评估我们的模型:MedMentions,一个用UMLS概念注释的大规模公共数据集,以及一个用ICD概念注释的口述医生笔记的去识别语料库。广泛的实验评估表明,我们的模型实现了显着的性能改进,超过几个国家的最先进的技术。
2020-01-20 cs.CL cs.IR cs.LG
MERLIN: A Testbed for Multilingual Multimodal Entity Recognition and Linking
Carnegie Mellon University(卡内基梅隆大学);Defence Science and Technology Agency(国防科学与技术局)
本文提出MERLIN测试平台,构建五种语言的多模态数据集,验证视觉信息可提升实体链接准确性,尤其对多语言能力弱的模型。
2025-10-16 cs.AI cs.CL
Survey on English Entity Linking on Wikidata
Universität Hamburg(汉堡大学);University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);HITeC Hamburg e.V.(汉堡信息技术中心)
维基数据是一个经常更新的、社区驱动的、多语言的知识图谱。因此,维基数据是实体链接的一个有吸引力的基础,这一点从最近发表论文的增加中可以看出。本次调查主要关注四个主题:(1)存在哪些维基数据实体链接数据集,它们的使用范围有多广,以及它们是如何构建的?(2)维基数据的特征对实体链接数据集的设计是否重要?如果是,如何重要?(3)当前的实体链接方法如何利用维基数据的特定特征?(4)现有的实体链接方法没有利用维基数据的哪些特征?这项调查显示,当前维基数据特定的实体链接数据集在注释方案上与其他知识图谱(如DBpedia)的方案没有区别。因此,自然适合维基数据的多语言和时间相关数据集的潜力并没有被提升。此外,我们表明,大多数实体链接方法使用维基数据的方式与任何其他知识图谱错过了利用维基数据的特定特征,以提高质量的机会。几乎所有的方法都使用特定的属性,如标签,有时还使用描述,但忽略了超关系结构等特征。因此,仍然有改进的空间,例如,通过包括超关系图嵌入或类型信息。许多方法还包括来自维基百科的信息,这些信息很容易与维基数据结合,并提供维基数据所缺乏的有价值的文本信息。
2021-12-03 cs.AI cs.CL cs.LG
BeLink: Biomedical Entity Linking Meets Generative Re-Ranking
University of Milan(米兰大学);University of Chicago(芝加哥大学)
本文提出了一种基于生成模型的重新排序方法,通过指令微调提高生物医学实体链接的效率和准确性,在多个基准测试中实现了3%-24%的链接准确率提升,同时减少了推理时间。
2026-05-21 cs.AI cs.CL cs.IR
Conversational Entity Linking: Problem Definition and Datasets
Radboud University(拉德堡德大学);University of Stavanger(斯塔万格大学)
会话系统中的用户话语的机器理解对于实现与用户的有吸引力和有意义的会话至关重要。实体链接是文本理解的手段之一,在信息检索的各种下游任务中被证明是有效的。在本文中,我们研究会话系统的实体链接。为了更好地理解EL在对话环境中的含义,我们分析了现有对话数据集中的大量对话,并使用众包注释了对概念,命名实体和个人实体的引用。基于注释对话,我们确定了会话实体连接的主要特征。此外,我们报告了传统EL系统在我们的会话实体链接数据集ConEL上的性能,并对这些方法进行了扩展,以更好地适应会话设置。与本文一起发布的资源包括注释数据集,众包设置的详细描述,以及各种EL系统产生的注释。这些新资源允许调查实体在对话中的角色与文档或孤立的短文本语句(如查询和推文)中的角色有何不同,并补充现有的对话数据集。
2021-05-11 cs.CL cs.IR
ParsEL 1.0: Unsupervised Entity Linking in Persian Social Media Texts
Iran University of Science and Technology(伊朗科技大学)
近年来,社交媒体数据呈指数级增长,可以列举为世界上最大的数据存储库之一。这些社交媒体数据的很大一部分是自然语言文本。然而,自然语言是高度模糊的,由于暴露于频繁出现的实体,其中具有多义词或短语。实体链接是将文本中提到的实体链接到知识库中相应实体的任务。最近,波斯语知识图谱FarsBase被引入,包含近50万个实体。在本文中,我们提出了一个无监督的波斯语实体链接系统,第一个实体链接系统专门针对波斯语,它利用上下文相关和上下文无关的功能。为此,我们还发布了第一个实体链接波斯语语料库,其中包含67,595个单词,这些单词是从Telegram Messenger中一些流行频道的社交媒体文本中抓取的。所提出的方法的输出是86.94%的波斯语,这是与类似的国家的最先进的方法在英语语言的f-分数。
2020-04-22 cs.CL cs.IR cs.LG
Mixing Context Granularities for Improved Entity Linking on Question Answering Data across Entity Categories
Ubiquitous Knowledge Processing Lab (UKP)(普适知识处理实验室(UKP));Research Training Group AIPHES(AIPHES研究培训小组);Department of Computer Science, Technische Universität Darmstadt(达姆施塔特工业大学计算机科学系)
每个知识库问答方法的第一阶段是链接输入问题中的实体。我们调查的背景下,一个问答任务的实体链接,并提出了一个联合优化的神经架构,实体提及检测和实体消歧模型周围的背景下,不同级别的粒度。我们使用维基数据知识库和可用的问答数据集来创建问答数据上实体链接的基准。我们的方法在此数据上优于以前的最先进系统,最终得分平均提高8%。我们进一步证明了我们的模型在不同的实体类别中提供了强大的性能。
2018-04-23 cs.CL
Improving Entity Linking by Modeling Latent Entity Type Information
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Peng Cheng Laboratory(鹏城实验室)
现有技术的神经实体链接模型采用基于注意力的词袋上下文模型和从词嵌入引导的预训练实体嵌入来评估主题级上下文兼容性。然而,在提到的直接上下文中的潜在实体类型信息被忽略,这导致模型往往链接到不正确的实体与不正确的类型。为了解决这个问题,我们提出了基于预训练的BERT的实体嵌入注入潜在的实体类型信息。此外,我们将基于BERT的实体相似性得分集成到最先进模型的局部上下文模型中,以更好地捕获潜在的实体类型信息。我们的模型显着优于国家的最先进的实体链接模型的标准基准(AIDA-CoNLL)。详细的实验分析表明,我们的模型纠正了直接基线产生的大部分类型错误。
2020-01-06 cs.CL
Contextualized End-to-End Neural Entity Linking
BlackRock(贝莱德);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了另一种实体链接模型(YELM),它将单词链接到实体,而不是跨度。这克服了与选择好的候选提及跨度相关联的任何困难,并且使得提及检测(MD)和实体消歧(ED)的联合训练容易成为可能。我们的模型是基于BERT,并产生上下文化的词嵌入,这是对联合MD和ED目标的训练。我们在几个标准的实体链接(EL)数据集上实现了最先进的结果。
2020-11-07 cs.CL
Entity Linking in 100 Languages
Google Research(谷歌研究院)
我们提出了一个新的制定多语言实体链接,语言特定的提到解决语言不可知的知识库。我们在这个新的设置中训练了一个双编码器,建立在以前的工作基础上,改进了特征表示,否定挖掘和辅助实体配对任务,以获得一个覆盖100多种语言和2000万个实体的单一实体检索模型。该模型优于一个更有限的跨语言链接任务的最先进的结果。稀有实体和低资源语言在如此大规模的情况下构成了挑战,因此我们主张更加关注零镜头和少镜头评估(Few-Shot evaluation)。为此,我们提供了Mewsli-9,一个与我们的设置相匹配的大型新多语言数据集(http://goo.gle/mewsli-dataset),并展示了基于频率的分析如何为我们的模型和训练增强提供关键见解。
2020-11-05 cs.CL cs.IR
Learn to Not Link: Exploring NIL Prediction in Entity Linking
Tsinghua University(清华大学);Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能研究院);Peking University(北京大学)
本文针对实体链接中NIL预测问题,提出数据集NEL,将NIL提及分为缺失实体和非实体短语,并通过实验证明两类NIL训练数据对预测准确率有显著影响。
2023-05-25 cs.CL
Biomedical Entity Linking with Contrastive Context Matching
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Megagon Labs(Megagon实验室)
我们介绍BioCoM,一个对比学习框架的生物医学实体链接,只使用两个资源:一个小型的字典和大量的原始生物医学文章。具体来说,我们建立了训练实例从原始PubMed文章的字典匹配,并使用它们训练上下文感知的实体连接模型与对比学习。我们通过最近邻搜索在推理时预测归一化的生物医学实体。结果发现,BioCoM大大优于国家的最先进的模型,特别是在低资源的设置,通过有效地利用实体的上下文。
2021-06-15 cs.CL
Multilingual End to End Entity Linking
Meta AI
针对现有多语言实体链接缺乏高效端到端方案、需复杂模型栈的问题,研究团队发布开源了首个支持97种语言的端到端多语言实体链接模型BELA,并在四个高低资源语言数据集上验证了其性能。
2023-06-15 cs.CL
Distant Supervision for Entity Linking
Tsinghua University(清华大学)
实体链接是信息抽取知识库填充过程中必不可少的操作。它研究了在知识库中将文本实体提及与其对应的消歧条目对齐。在本文中,我们提出了一个新的范例命名为远程监督实体链接(DSEL),在这个意义上,消除歧义的实体,属于一个巨大的知识库(Freebase)自动对齐到相应的描述性网页(维基页面)。通过这种方式,可以在没有手动注释的情况下生成大规模的弱标记数据,并将其馈送到分类器以链接更多新发现的实体。与传统的基于知识库的范式相比,DSEL通过充分利用Freebase和Wikipedia各自的优势而获益更多。具体而言,所提出的范例有利于弥合歧义标签(自由基)的实体和他们的文本描述(维基百科)的Web规模的实体。在140,000个项目和60,000个特征的数据集上进行的实验实现了0.517的基线F1度量。此外,我们分析了特征性能,并将F1-measure提高到0.545。
2015-08-05 cs.CL cs.IR
A Knowledge Graph Based Solution for Entity Discovery and Linking in Open-Domain Questions
Peking University(北京大学);Harbin Institute of Technology(哈尔滨工业大学)
命名实体发现和链接是问答系统的基础和核心部分。在问句实体发现与链接(Question Entity Discovery and Linking,QEDL)问题中,由于短问句中的多个实体很难被完全发现,而短文本中的不完整信息又使得实体链接难以实现,从而对传统的方法提出了挑战。为了克服这些困难,我们提出了一个基于知识图谱的QEDL解决方案,并开发了一个系统,包括问题实体发现(QED)模块和实体链接(EL)模块。QED模块的方法是两种方法的折衷和集成。一种是基于知识图谱检索的方法,该方法能够提取更多的问题实体,保证召回率;另一种是基于条件随机场(CRF)的方法,该方法提高了查准率。将EL模块视为一个排序问题,利用学习排序(LTR)方法,结合语义相似度、文本相似度和实体流行度等特征,提取并充分利用短文本中的信息。在一个共享的QEDL评估任务的官方数据集上,我们的方法可以获得64.44%的QED和64.86%的EL的F1分数,排名第二,这表明它对QEDL问题的实际使用。
2018-12-05 cs.CL cs.IR
TweetNERD -- End to End Entity Linking Benchmark for Tweets
Twitter, Inc.(推特公司)
命名实体识别和消歧(NERD)系统是信息检索、问答、事件检测和其他自然语言处理(NLP)应用的基础。我们介绍了TweetNERD,一个2010-2021年的340 K+推文数据集,用于对推文上的NERD系统进行基准测试。这是NERD在Twitter上最大和最具时间多样性的开源数据集基准,可用于促进该领域的研究。我们描述了三个NERD任务的TweetNERD评估设置:命名实体识别(NER),实体链接与真实跨度(EL),端到端实体链接(End 2 End);并提供现有的公开方法对特定TweetNERD分裂的性能。TweetNERD可在:https://doi.org/10.5281/zenodo.6617192根据知识共享署名4.0国际(CC BY 4.0)许可证。请访问https://github.com/twitter-research/TweetNERD查看更多详细信息。
2022-10-14 cs.AI cs.CL cs.IR
Towards Consistent Document-level Entity Linking: Joint Models for Entity Linking and Coreference Resolution
Ghent University(根特大学);imec(比利时微电子研究中心)
我们考虑的任务,文档级的实体链接(EL),这是很重要的,以作出一致的决定,实体提到了整个文件联合。我们的目标是利用明确的“连接”之间的文件本身的提及:我们建议加入EL任务的共指消解(coref)。这是对利用(i)隐式文档信息(例如,实体提及之间的潜在关系或通用语言模型)或(ii)候选链接之间的连接(例如,从外部知识库推断)。具体来说,我们集群提到通过共指链接,并强制执行一个单一的EL所有集群提到在一起。后一种约束具有通过加入EL候选列表以用于因此聚类的提及而增加覆盖的附加益处。我们将coref+EL问题表示为有向树上的结构化预测任务,并使用全局规范化模型来解决它。在两个数据集上的实验结果显示,与单独的对应任务相比,coref和EL任务的F1得分都提高了+5%。对于困难情况的子集,在候选实体列表中缺少正确EL的个体提及,我们获得了+50%的准确性增加。
2022-07-02 cs.CL
Joint Learning of Named Entity Recognition and Entity Linking
Instituto de Telecomunicações(电信研究所);Priberam Labs(Priberam实验室);Institute of Systems and Robotics(系统与机器人研究所);Unbabel
命名实体识别(NER)和实体链接(EL)是两个基本相关的任务,因为为了执行EL,首先必须检测对实体的提及。然而,大多数实体链接方法忽略提及检测部分,假设先前已经检测到正确的提及。在本文中,我们执行NER和EL的联合学习,以利用它们的相关性,并获得一个更强大和可推广的系统。为此,我们引入了一个受Stack-LSTM方法启发的模型(Dyer et al.,2015年)。我们观察到,事实上,与使用单个目标训练的模型相比,对NER和EL进行多任务学习可以提高这两项任务的性能。此外,我们在NER和EL方面都取得了与最先进水平相竞争的结果。
2019-07-18 cs.CL
KGMEL: Knowledge Graph-Enhanced Multimodal Entity Linking
KAIST(韩国科学技术院);Hanyang University(翰林大学)
KGMEL利用知识图谱三元组增强多模态实体链接,通过生成、检索和重排序三阶段框架,在基准数据集上超越现有方法。
2025-04-21 cs.AI cs.CL cs.IR
Reddit Entity Linking Dataset
University of Notre Dame(圣母大学)
我们引入并公开了一个来自Reddit的实体链接数据集,该数据集包含17,316个链接实体,每个实体由三个人类注释者注释,然后分为Gold,Silver和Bronze以表示注释者之间的协议。我们分析了注释者所犯的不同错误和分歧,并对原始数据提出了三种类型的更正。最后,我们测试了现有的实体链接模型,这些模型是在非社交媒体数据集的文本上训练和调整的。我们发现,尽管这些现有的实体链接模型在其原始数据集上表现非常好,但在这个社交媒体数据集上表现不佳。我们还表明,大多数这些错误可以归因于性能不佳的提及检测子任务。这些结果表明,需要更好的实体链接模型,可以应用于大量的社交媒体文本。
2021-02-25 cs.CL
Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking
University of Mannheim(曼海姆大学)
端到端实体链接系统的典型架构包括三个步骤:提及检测、候选生成和实体消歧。在这项研究中,我们调查了以下问题:(a)所有这些步骤都可以与上下文文本表示模型,即BERT(Devlin等人,2019年)?(b)预训练的BERT中已经包含了多少实体知识?(c)额外的实体知识是否提高了BERT在下游任务中的性能?为此,我们提出了一种对实体链接设置的极端简化,效果非常好:只需将其转换为整个实体词汇表(在我们的情况下超过70万个类)上的每个标记分类。我们在一个实体链接基准上表明:(i)该模型改进了普通BERT的实体表示,(ii)它优于单独优化任务的实体链接架构,以及(iii)它仅次于当前最先进的技术,即联合提到检测和实体消歧。此外,我们调查的有用性的实体感知令牌表示的文本理解基准GLUE,以及问答基准SQUAD V2和SWAG和EN-DE WMT 14机器翻译基准。令我们惊讶的是,我们发现这些基准测试中的大多数并没有从额外的实体知识中受益,除了一个具有非常小的训练数据的任务,即GLUE中的RTE任务,它提高了2%。
2020-03-11 cs.CL cs.LG
Cross-Domain Neural Entity Linking
Universität des Saarlandes(萨尔大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
实体链接是将提及匹配到给定知识库(KB)中的实体的任务。它有助于注释Web上存在的大量文档,以利用有关其匹配实体的新事实。然而,现有的实体链接系统专注于开发模型,这些模型通常是依赖于域的,并且仅对它们已经训练的特定知识库是鲁棒的。在对来自不同领域的文件和知识库进行评估时,性能并不充分。基于预先训练的语言模型的方法,如Wu et al.(2020),试图使用zero-shot设置来解决这个问题,这说明了在通用域KB上进行评估时的一些潜力。然而,在特定于域的KB上进行评估时,性能并不等同。为了允许跨不同域的更准确的实体链接,我们提出了我们的框架:跨域神经实体链接(CDNEL)。我们的目标是有一个单一的系统,使同时链接到通用域知识库和域特定知识库。CDNEL通过学习来自不同领域的这些知识库的联合表示空间来工作。使用Logeswaran等人(2019)构建的外部实体链接数据集(Zeshel)和Botzer等人(2021)收集的Reddit数据集进行评估,以将我们提出的方法与最先进的结果进行比较。所提出的框架使用不同类型的数据集进行微调,从而产生不同的CDNEL模型变体。当在Zeshel数据集中包含的四个域上进行评估时,这些变体实现了9%的平均精度增益。
2022-09-28 cs.CL cs.IR cs.LG
Scalable Zero-shot Entity Linking with Dense Entity Retrieval
Facebook AI Research(Facebook人工智能研究(Facebook AI Research));University College London(伦敦大学学院);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
本文介绍了一种概念简单,可扩展,高效的基于BERT的实体链接模型,以及其准确性和速度的权衡进行了广泛的评估。我们提出了一个两阶段的zero-shot链接算法,其中每个实体只定义了一个简短的文字描述。第一阶段在由独立嵌入提及上下文和实体描述的双编码器定义的稠密空间中进行检索。然后,每个候选人都将使用交叉编码器重新排名,该交叉编码器将提及和实体文本连接起来。实验表明,这种方法是最新的zero-shot基准(6点绝对增益),也对更多建立的非零拍评估(例如TACKBP-2010),尽管其相对简单(例如,没有明确的实体嵌入或手动设计的提及表)的最先进的。我们还表明,双编码器的链接是非常快的最近邻搜索(例如,在2毫秒内链接590万候选人),并且可以通过知识蒸馏将更昂贵的交叉编码器的精度增益转移到双编码器。我们的代码和模型可以在https://github.com/facebookresearch/BLINK上找到。
2020-09-29 cs.CL
Entity Linking and Discovery via Arborescence-based Supervised Clustering
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
以前的工作已经显示出有希望的结果,在执行实体链接,不仅测量提到和实体之间的亲和力,但也提到。在本文中,我们提出了新的训练和推理程序,通过构建最小树状结构(即,有向生成树)在跨文档的提及和实体上,以便做出链接决定。我们还表明,这种方法优雅地扩展到实体发现,使集群的提及,没有一个相关的实体在知识库中。我们评估了我们的方法在Zero-Shot Entity Linking数据集和MedMentions(最大的公开生物医学数据集)上的结果,与相同参数化模型相比,实体链接和发现的性能都有显着提高。我们进一步显示了显着的效率提高,只有一个小的损失,在以前的工作,使用更昂贵的计算模型的准确性。
2022-05-10 cs.CL cs.LG
WikiGUM: Exhaustive Entity Linking for Wikification in 12 Genres
Georgetown University(乔治城大学)
实体链接以前的工作集中在针对非嵌套的正确命名实体提及的资源上,通常在维基百科的数据中,即维基化。在本文中,我们提出并评估WikiGUM,一个完全维基化的数据集,涵盖所有提及的命名实体,包括其非命名和代词提及,以及嵌套在其他提及。该数据集涵盖了广泛的12种书面和口语类型,其中大部分尚未纳入实体链接工作,导致我们评估中预训练的SOTA系统表现不佳。对于相同数据的各种其他注释的可用性也使得能够进一步研究上下文中的实体。
2021-09-15 cs.CL
Find the Funding: Entity Linking with Incomplete Funding Knowledge Bases
Radboud University(拉德堡德大学);Elsevier(爱思唯尔)
从学术文章中自动提取资金信息为行业和研究社区增加了重要价值,例如跟踪资助组织的研究成果,根据收到的资金对研究人员和大学进行分析,以及支持开放获取政策。识别和链接资助实体的两个主要挑战是:(i)知识库(KB)的稀疏图结构,这使得常用的基于图的实体链接方法对于资助领域不是最佳的,(ii)知识库中的缺失实体,这(与最近的zero-shot方法不同)需要将没有知识库条目的实体提及标记为NIL。我们提出了一个实体链接模型,可以执行NIL预测,并以时间和数据有效的方式克服数据稀缺问题。我们的模型建立在一个基于transformer的提及检测和双编码器模型来执行实体链接。我们表明,我们的模型优于强大的现有基线。
2022-09-20 cs.CL cs.LG
Fast and Effective Biomedical Entity Linking Using a Dual Encoder
Rutgers University–New Brunswick(罗格斯大学新伯朗士威校区);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
生物医学实体链接是识别文本文档中提到的生物医学概念并将其映射到目标词库中的规范实体的任务。使用基于BERT的模型的实体链接的最新进展遵循检索和重新排序范例,其中候选实体首先使用检索器模型进行选择,然后检索到的候选实体由重新排序器模型进行排序。虽然这种范例产生了最先进的结果,但它们在训练和测试时都很慢,因为它们一次只能处理一个提及。为了缓解这些问题,我们提出了一种基于BERT的双编码器模型,可以一次性解决文档中的多个提及。我们表明,我们提出的模型比现有的基于BERT的模型快数倍,同时在生物医学实体链接的准确性方面具有竞争力。此外,我们修改了我们的双编码器模型的端到端的生物医学实体链接,执行提及跨度检测和实体消歧,并优于最近提出的两个模型。
2021-03-08 cs.CL
An Entity Linking Agent for Question Answering
The Chinese University of Hong Kong(香港中文大学);McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克AI研究院);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出了一种基于大语言模型的实体链接代理,用于解决问答任务中短且模糊用户问题的实体链接问题,通过两个实验验证了其有效性。
2026-05-20 cs.CL
Neural Collective Entity Linking
Tsinghua University(清华大学)
实体链接旨在将文本中提到的实体链接到知识库,神经模型最近在这项任务中取得了成功。然而,大多数现有的方法依赖于本地上下文来独立地解决实体,这通常可能会失败,由于本地信息的数据稀疏性。为了解决这个问题,我们提出了一种新的集体实体链接的神经模型,命名为NCEL。NCEL采用图卷积网络来整合局部上下文特征和全局一致性信息,实现实体链接。为了提高计算效率,我们近似地在相邻实体提及的子图上而不是在整个文本中执行图卷积。我们进一步引入了一个注意力机制来提高NCEL对数据噪声的鲁棒性,并在维基百科超链接上训练模型以避免过拟合和域偏差。在实验中,我们评估NCEL五个公开可用的数据集,以验证连接性能以及泛化能力。我们还进行了广泛的分析,时间复杂度,关键模块的影响,和定性的结果,这表明我们提出的方法的有效性和效率。
2018-11-21 cs.CL
Joint Embedding in Named Entity Linking on Sentence Level
The Chinese University of Hong Kong(香港中文大学);Hong Kong Baptist University(香港浸会大学)
命名实体链接是指将文档中的模糊提及映射到知识库中的实体。命名实体链接具有挑战性,因为在文档中有多个候选实体可供提及。当提及在文档中出现多次时,很难链接提及,因为提及出现的上下文存在冲突。此外,这是困难的,因为给定的训练数据集很小,这是由于手动完成将提及链接到其映射实体的原因。在文献中,有许多报道的研究,其中最近的嵌入方法从文档级的训练数据集学习实体的向量。为了解决这些问题,我们专注于如何在句子级别上链接实体的提及,这减少了在文档中相同提及的不同外观所引入的噪声,代价是要使用的信息不足。我们提出了一种新的统一嵌入方法,通过最大化从知识图谱学习的关系。我们证实了我们的方法在我们的实验研究的有效性。
2020-02-12 cs.AI cs.CL
CADEL: A Corpus of Administrative Web Documents for Japanese Entity Linking
National Institute of Information and Communications Technology(国立信息通信技术研究所)
本文构建了一个覆盖日本特定实体的标注语料库,用于评估日本实体链接系统,通过标注一致性验证了其可靠性,并初步实验表明其包含大量非平凡案例。
2026-03-31 cs.CL
Capturing Semantic Similarity for Entity Linking with Convolutional Neural Networks
University of California, Berkeley(加州大学伯克利分校)
实体链接的一个关键挑战是有效利用上下文信息来消除在不同上下文中可能指不同实体的歧义。我们提出了一个模型,该模型使用卷积神经网络来捕获提及的上下文与提议的目标实体之间的语义对应关系。这些卷积网络在多个粒度上运行,以利用各种主题信息,它们丰富的参数化使它们能够学习哪些n-gram表征不同的主题。我们将这些网络与稀疏线性模型相结合,以在多实体链接数据集上实现最先进的性能,优于Durrett和Klein(2014)和Nguyen et al.(2014)的现有系统。
2016-04-04 cs.CL
Unified Examination of Entity Linking in Absence of Candidate Sets
School of Computing Science(计算科学学院);Simon Fraser University(西蒙菲莎大学)
该研究针对现有实体链接系统缺乏统一对比分析的问题,引入新黑盒基准全面评估SOTA方法,通过消融实验明确候选集对系统性能的影响与依赖程度,提出领域内全候选集替代方案并揭示相关权衡关系。
2024-04-17 cs.CL
NASTyLinker: NIL-Aware Scalable Transformer-based Entity Linker
University of Mannheim(曼海姆大学)
实体链接(EL)是检测文本中实体的提及并将其消歧到参考知识库的任务。最流行的EL方法假设参考知识库是完整的。然而,在实践中,有必要处理链接到知识库中不包含的实体(NIL实体)的情况。最近的工作表明,而不是只关注提及和实体之间的亲和力,考虑提及之间的亲和力可以用来表示NIL实体,通过产生集群的提及。同时,提及间关联可以帮助显著提高已知实体的链接性能。与NASTyLinker,我们引入了EL的方法,是知道的NIL实体,并产生相应的提到集群,同时保持高的链接性能为已知的实体。该方法基于来自Transformers的密集表示对提及和实体进行聚类,并通过计算传递提及-实体亲和度来解决冲突(如果多个实体被分配到聚类)。我们展示了NASTYLinker在NILK上的有效性和可扩展性,NILK是一个明确构建的数据集,用于评估EL相对于NIL实体。此外,我们将所提出的方法应用于实际EL任务,即通过链接维基百科列表中的实体来实现知识图谱人口,并对结果进行分析。
2023-03-13 cs.AI cs.CL cs.IR
DAMO-NLP at NLPCC-2022 Task 2: Knowledge Enhanced Robust NER for Speech Entity Linking
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学);University of Chinese Academy of Sciences(中国科学院大学)
语音实体链接旨在识别和消除口语中命名实体的歧义。传统的方法严重地受到不受约束的语音风格和由ASR系统生成的噪声转录的影响。在本文中,我们提出了一种新的方法,称为知识增强命名实体识别(KENER),它的重点是提高鲁棒性,通过无痛结合适当的知识,在实体识别阶段,从而提高实体链接的整体性能。KENER首先为一个没有提及的句子检索候选实体,然后利用实体描述作为额外的信息来帮助识别提及。由稠密检索模块检索的候选实体在输入较短或有噪声时特别有用。此外,我们研究了各种数据采样策略和设计有效的损失函数,以提高检索实体的质量在识别和消歧阶段。最后,一个带有过滤模块的链接被用作最终的保护措施,使其有可能过滤掉错误识别的提及。我们的系统在NLPCC-2022共享任务2的轨道1和轨道2中获得第一名。
2022-09-29 cs.AI cs.CL cs.LG
Dual-FOFE-net Neural Models for Entity Linking with PageRank
York University(约克大学)
提出了一种简单有效的实体连接方法,与递归神经网络(RNN)或卷积神经网络(CNN)相比,该方法利用前向神经网络(FFNN)和最近提出的双固定大小顺序遗忘编码(dual-FOFE)方法,将句子片段及其左右上下文完全编码为固定大小的表示。此外,在这项工作中,我们建议将基于PageRank的蒸馏在我们的候选生成模块。我们的神经链接模型包括三个部分:一个基于PageRank的候选生成模块,一个双FOFE网络神经排名模型和一个简单的NIL实体聚类系统。实验结果表明,我们提出的神经链接模型在基线系统上比TAC 2016任务数据集上的最先进模型实现了更高的EL准确性,而不需要任何内部数据或复杂的手工特征。此外,它在TAC 2017任务数据集上实现了具有竞争力的准确性。
2019-07-30 cs.CL cs.IR cs.LG