Improving Entity Linking by Modeling Latent Relations between Mentions
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
实体链接涉及将命名实体的文本提及与知识库中相应的条目对齐。实体链接系统经常利用文档中的文本提及之间的关系（例如，共同引用）以决定链接决定是否兼容。与以前的方法不同，这些方法依赖于监督系统或统计学来预测这些关系，我们将关系视为神经实体链接模型中的潜在变量。我们在没有任何监督的情况下诱导关系，同时以端到端的方式优化实体链接系统。我们的多关系模型在标准基准测试（AIDA-CoNLL）中获得了最好的报告分数，并且大大优于其关系不可知版本。它的训练也收敛得更快，这表明注入的结构偏差有助于解释训练数据中的错误。
2018-04-27 cs.CL
Improving Entity Linking through Semantic Reinforced Entity Embeddings
Zhejiang Gongshang University（浙江工商大学）；Massey University（梅西大学）；National University of Defense Technology（国防科技大学）；Shanghai Research Center for Brain Science and Brain-Inspired Intelligence（上海脑科学与类脑研究中心）；Zhangjiang Lab（张江实验室）
实体嵌入是神经实体链接模型的关键组成部分，它用单个向量（如词嵌入）表示每个实体的不同方面。现有的实体嵌入是从规范的维基百科文章和目标实体周围的本地上下文中学习的。这样的实体嵌入是有效的，但对于链接模型来说太独特了，无法学习上下文的共性。我们提出了一个简单而有效的方法，FGS2EE，注入细粒度的语义信息到实体嵌入，以减少独特性，促进学习的上下文共性。FGS2EE首先使用语义类型词的嵌入生成语义嵌入，然后通过线性聚合将其与现有的实体嵌入相结合。大量的实验表明了这种嵌入的有效性。基于我们的实体嵌入，我们在实体链接上实现了新的最先进的性能。
2021-06-16 cs.CL
Multilingual End to End Entity Linking
Meta AI
针对现有多语言实体链接缺乏高效端到端方案、需复杂模型栈的问题，研究团队发布开源了首个支持97种语言的端到端多语言实体链接模型BELA，并在四个高低资源语言数据集上验证了其性能。
2023-06-15 cs.CL
ReFinED: An Efficient Zero-shot-capable Approach to End-to-End Entity Linking
Amazon Alexa AI（亚马逊Alexa人工智能部门）
我们介绍了ReFinED，一个高效的端到端的实体链接模型，它使用细粒度的实体类型和实体描述来执行链接。该模型在一个单一的前向传递中为文档中的所有提及执行提及检测，细粒度实体类型和实体消歧，使其比现有的竞争方法快60倍以上。ReFinED在标准实体链接数据集上的性能平均超过3.7 F1。该模型能够推广到大规模的知识库，如维基数据（其中有15倍以上的实体比维基百科）和zero-shot实体链接。速度，准确性和规模的结合使ReFinED成为一个有效且具有成本效益的系统，用于从网络规模的数据集中提取实体，该模型已成功部署。我们的代码和预训练模型可在https://github.com/alexa/ReFinED上获得
2022-07-08 cs.CL
Mixing Context Granularities for Improved Entity Linking on Question Answering Data across Entity Categories
Ubiquitous Knowledge Processing Lab (UKP)（普适知识处理实验室（UKP））；Research Training Group AIPHES（AIPHES研究培训小组）；Department of Computer Science, Technische Universität Darmstadt（达姆施塔特工业大学计算机科学系）
每个知识库问答方法的第一阶段是链接输入问题中的实体。我们调查的背景下，一个问答任务的实体链接，并提出了一个联合优化的神经架构，实体提及检测和实体消歧模型周围的背景下，不同级别的粒度。我们使用维基数据知识库和可用的问答数据集来创建问答数据上实体链接的基准。我们的方法在此数据上优于以前的最先进系统，最终得分平均提高8%。我们进一步证明了我们的模型在不同的实体类别中提供了强大的性能。
2018-04-23 cs.CL
Improving Entity Linking by Modeling Latent Entity Type Information
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Peng Cheng Laboratory（鹏城实验室）
现有技术的神经实体链接模型采用基于注意力的词袋上下文模型和从词嵌入引导的预训练实体嵌入来评估主题级上下文兼容性。然而，在提到的直接上下文中的潜在实体类型信息被忽略，这导致模型往往链接到不正确的实体与不正确的类型。为了解决这个问题，我们提出了基于预训练的BERT的实体嵌入注入潜在的实体类型信息。此外，我们将基于BERT的实体相似性得分集成到最先进模型的局部上下文模型中，以更好地捕获潜在的实体类型信息。我们的模型显着优于国家的最先进的实体链接模型的标准基准（AIDA-CoNLL）。详细的实验分析表明，我们的模型纠正了直接基线产生的大部分类型错误。
2020-01-06 cs.CL
Contextualized End-to-End Neural Entity Linking
BlackRock（贝莱德）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了另一种实体链接模型（YELM），它将单词链接到实体，而不是跨度。这克服了与选择好的候选提及跨度相关联的任何困难，并且使得提及检测（MD）和实体消歧（ED）的联合训练容易成为可能。我们的模型是基于BERT，并产生上下文化的词嵌入，这是对联合MD和ED目标的训练。我们在几个标准的实体链接（EL）数据集上实现了最先进的结果。
2020-11-07 cs.CL
Learn to Not Link: Exploring NIL Prediction in Entity Linking
Tsinghua University（清华大学）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Peking University（北京大学）
本文针对实体链接中NIL预测问题，提出数据集NEL，将NIL提及分为缺失实体和非实体短语，并通过实验证明两类NIL训练数据对预测准确率有显著影响。
2023-05-25 cs.CL
Biomedical Entity Linking with Contrastive Context Matching
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Megagon Labs（Megagon实验室）
我们介绍BioCoM，一个对比学习框架的生物医学实体链接，只使用两个资源：一个小型的字典和大量的原始生物医学文章。具体来说，我们建立了训练实例从原始PubMed文章的字典匹配，并使用它们训练上下文感知的实体连接模型与对比学习。我们通过最近邻搜索在推理时预测归一化的生物医学实体。结果发现，BioCoM大大优于国家的最先进的模型，特别是在低资源的设置，通过有效地利用实体的上下文。
2021-06-15 cs.CL
UM6P-CS at SemEval-2022 Task 11: Enhancing Multilingual and Code-Mixed Complex Named Entity Recognition via Pseudo Labels using Multilingual Transformer
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
构建现实世界中复杂的命名实体识别（NER）系统是一项具有挑战性的任务。这是由于出现在各种上下文中的命名实体的复杂性和模糊性，例如短输入句子，新兴实体和复杂实体。此外，现实世界的查询大多是畸形的，因为它们可能是代码混合或多语言的，以及其他情况。在本文中，我们介绍了我们提交的系统多语言复杂命名实体识别（MultiCoNER）共享任务。我们的方法复杂的NER多语言和代码混合查询，依赖于多语言Transformer XLM-RoBERTA提供的上下文表示。除了基于CRF的令牌分类层之外，我们还引入了跨度分类损失来识别命名实体跨度。此外，我们使用自训练机制从大型未标记数据集生成弱注释数据。我们提出的系统分别在多语言和代码混合MultiCoNER的曲目中排名第6和第8。
2022-04-28 cs.CL
Towards Consistent Document-level Entity Linking: Joint Models for Entity Linking and Coreference Resolution
Ghent University（根特大学）；imec（比利时微电子研究中心）
我们考虑的任务，文档级的实体链接（EL），这是很重要的，以作出一致的决定，实体提到了整个文件联合。我们的目标是利用明确的“连接”之间的文件本身的提及：我们建议加入EL任务的共指消解（coref）。这是对利用（i）隐式文档信息（例如，实体提及之间的潜在关系或通用语言模型）或（ii）候选链接之间的连接（例如，从外部知识库推断）。具体来说，我们集群提到通过共指链接，并强制执行一个单一的EL所有集群提到在一起。后一种约束具有通过加入EL候选列表以用于因此聚类的提及而增加覆盖的附加益处。我们将coref+EL问题表示为有向树上的结构化预测任务，并使用全局规范化模型来解决它。在两个数据集上的实验结果显示，与单独的对应任务相比，coref和EL任务的F1得分都提高了+5%。对于困难情况的子集，在候选实体列表中缺少正确EL的个体提及，我们获得了+50%的准确性增加。
2022-07-02 cs.CL
Joint Learning of Named Entity Recognition and Entity Linking
Instituto de Telecomunicações（电信研究所）；Priberam Labs（Priberam实验室）；Institute of Systems and Robotics（系统与机器人研究所）；Unbabel
命名实体识别（NER）和实体链接（EL）是两个基本相关的任务，因为为了执行EL，首先必须检测对实体的提及。然而，大多数实体链接方法忽略提及检测部分，假设先前已经检测到正确的提及。在本文中，我们执行NER和EL的联合学习，以利用它们的相关性，并获得一个更强大和可推广的系统。为此，我们引入了一个受Stack-LSTM方法启发的模型（Dyer et al.，2015年）。我们观察到，事实上，与使用单个目标训练的模型相比，对NER和EL进行多任务学习可以提高这两项任务的性能。此外，我们在NER和EL方面都取得了与最先进水平相竞争的结果。
2019-07-18 cs.CL
Reddit Entity Linking Dataset
University of Notre Dame（圣母大学）
我们引入并公开了一个来自Reddit的实体链接数据集，该数据集包含17，316个链接实体，每个实体由三个人类注释者注释，然后分为Gold，Silver和Bronze以表示注释者之间的协议。我们分析了注释者所犯的不同错误和分歧，并对原始数据提出了三种类型的更正。最后，我们测试了现有的实体链接模型，这些模型是在非社交媒体数据集的文本上训练和调整的。我们发现，尽管这些现有的实体链接模型在其原始数据集上表现非常好，但在这个社交媒体数据集上表现不佳。我们还表明，大多数这些错误可以归因于性能不佳的提及检测子任务。这些结果表明，需要更好的实体链接模型，可以应用于大量的社交媒体文本。
2021-02-25 cs.CL
Scalable Zero-shot Entity Linking with Dense Entity Retrieval
Facebook AI Research（Facebook人工智能研究（Facebook AI Research））；University College London（伦敦大学学院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
本文介绍了一种概念简单，可扩展，高效的基于BERT的实体链接模型，以及其准确性和速度的权衡进行了广泛的评估。我们提出了一个两阶段的zero-shot链接算法，其中每个实体只定义了一个简短的文字描述。第一阶段在由独立嵌入提及上下文和实体描述的双编码器定义的稠密空间中进行检索。然后，每个候选人都将使用交叉编码器重新排名，该交叉编码器将提及和实体文本连接起来。实验表明，这种方法是最新的zero-shot基准（6点绝对增益），也对更多建立的非零拍评估（例如TACKBP-2010），尽管其相对简单（例如，没有明确的实体嵌入或手动设计的提及表）的最先进的。我们还表明，双编码器的链接是非常快的最近邻搜索（例如，在2毫秒内链接590万候选人），并且可以通过知识蒸馏将更昂贵的交叉编码器的精度增益转移到双编码器。我们的代码和模型可以在https://github.com/facebookresearch/BLINK上找到。
2020-09-29 cs.CL
WikiGUM: Exhaustive Entity Linking for Wikification in 12 Genres
Georgetown University（乔治城大学）
实体链接以前的工作集中在针对非嵌套的正确命名实体提及的资源上，通常在维基百科的数据中，即维基化。在本文中，我们提出并评估WikiGUM，一个完全维基化的数据集，涵盖所有提及的命名实体，包括其非命名和代词提及，以及嵌套在其他提及。该数据集涵盖了广泛的12种书面和口语类型，其中大部分尚未纳入实体链接工作，导致我们评估中预训练的SOTA系统表现不佳。对于相同数据的各种其他注释的可用性也使得能够进一步研究上下文中的实体。
2021-09-15 cs.CL
Fast and Effective Biomedical Entity Linking Using a Dual Encoder
Rutgers University–New Brunswick（罗格斯大学新伯朗士威校区）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
生物医学实体链接是识别文本文档中提到的生物医学概念并将其映射到目标词库中的规范实体的任务。使用基于BERT的模型的实体链接的最新进展遵循检索和重新排序范例，其中候选实体首先使用检索器模型进行选择，然后检索到的候选实体由重新排序器模型进行排序。虽然这种范例产生了最先进的结果，但它们在训练和测试时都很慢，因为它们一次只能处理一个提及。为了缓解这些问题，我们提出了一种基于BERT的双编码器模型，可以一次性解决文档中的多个提及。我们表明，我们提出的模型比现有的基于BERT的模型快数倍，同时在生物医学实体链接的准确性方面具有竞争力。此外，我们修改了我们的双编码器模型的端到端的生物医学实体链接，执行提及跨度检测和实体消歧，并优于最近提出的两个模型。
2021-03-08 cs.CL
MELO: An Evaluation Benchmark for Multilingual Entity Linking of Occupations
Avature（Avature公司）
本文提出了MELO基准，包含48个数据集用于评估21种语言实体提及到ESCO职业分类体系的链接，并使用词汇模型和句子编码器在零样本设置下建立基线。
2024-10-10 cs.CL
An Entity Linking Agent for Question Answering
The Chinese University of Hong Kong（香港中文大学）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克AI研究院）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出了一种基于大语言模型的实体链接代理，用于解决问答任务中短且模糊用户问题的实体链接问题，通过两个实验验证了其有效性。
2026-05-20 cs.CL
Neural Collective Entity Linking
Tsinghua University（清华大学）
实体链接旨在将文本中提到的实体链接到知识库，神经模型最近在这项任务中取得了成功。然而，大多数现有的方法依赖于本地上下文来独立地解决实体，这通常可能会失败，由于本地信息的数据稀疏性。为了解决这个问题，我们提出了一种新的集体实体链接的神经模型，命名为NCEL。NCEL采用图卷积网络来整合局部上下文特征和全局一致性信息，实现实体链接。为了提高计算效率，我们近似地在相邻实体提及的子图上而不是在整个文本中执行图卷积。我们进一步引入了一个注意力机制来提高NCEL对数据噪声的鲁棒性，并在维基百科超链接上训练模型以避免过拟合和域偏差。在实验中，我们评估NCEL五个公开可用的数据集，以验证连接性能以及泛化能力。我们还进行了广泛的分析，时间复杂度，关键模块的影响，和定性的结果，这表明我们提出的方法的有效性和效率。
2018-11-21 cs.CL
CADEL: A Corpus of Administrative Web Documents for Japanese Entity Linking
National Institute of Information and Communications Technology（国立信息通信技术研究所）
本文构建了一个覆盖日本特定实体的标注语料库，用于评估日本实体链接系统，通过标注一致性验证了其可靠性，并初步实验表明其包含大量非平凡案例。
2026-03-31 cs.CL
Capturing Semantic Similarity for Entity Linking with Convolutional Neural Networks
University of California, Berkeley（加州大学伯克利分校）
实体链接的一个关键挑战是有效利用上下文信息来消除在不同上下文中可能指不同实体的歧义。我们提出了一个模型，该模型使用卷积神经网络来捕获提及的上下文与提议的目标实体之间的语义对应关系。这些卷积网络在多个粒度上运行，以利用各种主题信息，它们丰富的参数化使它们能够学习哪些n-gram表征不同的主题。我们将这些网络与稀疏线性模型相结合，以在多实体链接数据集上实现最先进的性能，优于Durrett和Klein（2014）和Nguyen et al.（2014）的现有系统。
2016-04-04 cs.CL
Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF
MIPT（莫斯科物理技术学院）；Sberbank（俄罗斯联邦储蓄银行）
提出一种结合多语言 BERT 嵌入、双向循环网络、注意力机制与 NCRF 的多语言命名实体识别模型，并在 BSNLP 四语种数据集上进行测试。
2019-06-21 cs.CL
Unified Examination of Entity Linking in Absence of Candidate Sets
School of Computing Science（计算科学学院）；Simon Fraser University（西蒙菲莎大学）
该研究针对现有实体链接系统缺乏统一对比分析的问题，引入新黑盒基准全面评估SOTA方法，通过消融实验明确候选集对系统性能的影响与依赖程度，提出领域内全候选集替代方案并揭示相关权衡关系。
2024-04-17 cs.CL
End-to-End Entity Linking and Disambiguation leveraging Word and Knowledge Graph Embeddings
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）；Ruhr University Bochum（波鸿鲁尔大学）
实体链接-将自然语言话语中的实体提及连接到知识图谱（KG）实体是KG上的问答的关键步骤。它通常基于测量实体标签与问题中提到的实体之间的字符串相似性。问题中提到的关系有助于消除具有相同标签的实体之间的歧义。如果在关系链接步骤中已经识别出不正确的关系，则这可能是误导性的。然而，不正确的关系可能仍然在语义上类似于正确实体在KG内形成三元组的关系;这可以通过它们的KG嵌入的相似性来捕获。基于这一思想，我们提出了第一个端到端的神经网络方法，采用KG以及词嵌入来执行简单问题的联合关系和实体分类，同时隐式地执行实体消歧与一种新的门控机制的帮助。实证评估表明，所提出的方法实现了性能相当于国家的最先进的实体链接，同时需要较少的后处理。
2020-02-25 cs.CL
AMELI: Enhancing Multimodal Entity Linking with Fine-Grained Attributes
Virginia Tech（弗吉尼亚理工学院）
该研究提出属性感知多模态实体链接任务，构建了含大规模数据的AMELI基准与知识库，提出融入实体属性的消歧新方法，验证了属性对该任务的关键作用，且首次将属性引入该任务并公开相关资源。
2025-06-10 cs.CL
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University（卡内基梅隆大学）
命名实体（NE）通常在共享公共字母表的不同语言中没有拼写变化。我们表明，这可以被利用，以提高命名实体识别（NER），通过使用无监督的词集群从二级语言的功能，在国家的最先进的判别NER系统。我们观察到显着的性能增加，发现人和位置识别特别改善，和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
Knowledge-Rich Self-Supervision for Biomedical Entity Linking
Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
实体链接面临着巨大的挑战，如多产的变化和普遍的歧义，特别是在高价值的领域与无数的实体。标准的分类方法受到注释瓶颈的影响，不能有效地处理不可见的实体。Zero-shot实体链接已经成为推广到新实体的一个有前途的方向，但它仍然需要在训练期间提到的示例黄金实体和对所有实体的规范描述，这两者在维基百科之外很少可用。在本文中，我们探讨知识里奇自我监督（$\tt KRISS$）的生物医学实体链接，利用现成的领域知识。在训练中，它使用领域本体在未标记文本上生成自监督提及示例，并使用对比学习训练上下文编码器。对于推理，它将自监督提及作为每个实体的原型进行采样，并通过将测试提及映射到最相似的原型来进行链接。我们的方法可以很容易地将实体描述和黄金提到标签，如果可用的话。我们对涵盖生物医学文献和临床笔记的七个标准数据集进行了广泛的实验。在不使用任何标记信息的情况下，我们的方法产生$\tt KRISSBERT$，这是一个通用的实体链接器，用于400万个UMLS实体，达到了最新的技术水平，在准确性上超过了之前的自监督方法20个绝对点。
2022-05-23 cs.CL
Encoding Knowledge Graph Entity Aliases in Attentive Neural Network for Wikidata Entity Linking
Fraunhofer IAIS, University of Bonn, Germany（德国波恩大学弗劳恩霍夫研究所人工智能研究所（Fraunhofer IAIS））；Cerence GmbH, and Zerotha Research, Germany（德国Cerence GmbH公司，以及Zerotha Research）；TIB, Hannover, Germany（德国汉诺威技术信息中心（TIB））；University of Dayton, USA（美国代顿大学）
协作知识图谱（如Wikidata）过度依赖人群来创作信息。由于群体不受用于分配实体标题的标准协议的约束，因此知识图谱由非标准的、嘈杂的、长的或甚至有时笨拙的标题填充。长的、隐式的、非标准的实体表示是实体链接（EL）方法获得高精确度和召回率的一个挑战。一般来说，基础KG是EL方法的目标实体的来源，然而，它通常包含其他相关信息，例如实体的别名（例如，奥巴马和巴拉克·侯赛因·奥巴马是实体巴拉克·奥巴马的别名。EL模型通常会忽略这些现成的实体属性。在本文中，我们研究的作用，知识图谱上下文上的一个细心的神经网络方法的实体链接维基数据。我们的方法有助于利用足够的背景下，从KG作为背景知识的来源，然后送入神经网络。这种方法证明了解决与实体标题（多字、长、隐式、区分大小写）相关的挑战的优点。我们的实验研究表明，与基线方法相比，改进了约8%，并且显著优于维基数据实体链接的端到端方法。
2020-09-26 cs.CL
USFD at KBP 2011: Entity Linking, Slot Filling and Temporal Bounding
University of Sheffield（谢菲尔德大学）
本文介绍了谢菲尔德大学在2011年TAC KBP实体链接和插槽填充任务的条目。我们选择参与单语实体连接任务、单语槽填充任务和时间槽填充任务。我们着手建立一个框架，用于知识库人口的实验。这个框架被创建，并应用于多个KBP任务。我们证明，我们提出的框架是有效的，适合协作开发的努力，以及在教学环境中的有用。最后，我们提出的结果，虽然非常温和，提供的改进的数量级大于我们2010年的尝试。
2012-03-22 cs.CL
CMNEROne at SemEval-2022 Task 11: Code-Mixed Named Entity Recognition by leveraging multilingual data
LTRC（语言技术研究中心）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
在自然语言处理领域中，命名实体的识别是一项既实用又具有挑战性的任务。混合文本的命名实体识别由于混合的性质导致的语言复杂性而具有更大的挑战性。本文介绍了CMNEROne团队提交SEMEVAL 2022共享任务11 MultiCoNER的情况。代码混合NER任务旨在识别代码混合数据集上的命名实体。我们的工作包括命名实体识别（NER）的代码混合数据集，利用多语言数据。我们实现了加权平均F1得分0.7044，即，比基线高6%。
2022-06-15 cs.CL
Named Entity Linking with Entity Representation by Multiple Embeddings
Primer Technologies Inc.（Primer科技公司）
我们提出了一个简单而实用的方法命名实体链接（NEL），基于实体表示的多个嵌入。为了探索这种方法，并审查其对参数的依赖性，我们测量了它在命名不明确的实体的高度挑战性的数据集上的性能。我们的观察表明，创建知识库（KB）实体所需的最小提及次数对NEL性能非常重要。嵌入的数量是不太重要的，可以保持小，在10或更少的范围内。我们表明，我们的KB实体的表示可以调整，只使用KB数据，调整可以提高NEL性能。我们还比较了NEL性能的嵌入从不同的新闻文本调整语言模型，而不是从公共数据集XSum，CNN /每日邮报更统一的文本调整。我们发现，调整不同的新闻提供了更好的嵌入。
2022-11-20 cs.CL
LELA: an LLM-based Entity Linking Approach with Zero-Shot Domain Adaptation
Télécom Paris Institut Polytechnique de Paris（巴黎电信理工学院）
LELA是一种基于大语言模型的实体链接方法，通过零样本领域适应实现高效准确的实体链接，优于传统微调方法。
2026-08-07 cs.CL
Neural Entity Linking: A Survey of Models Based on Deep Learning
Universität Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；AIRI（AIRI（人工智能研究所））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Université Sorbonne Paris Nord（巴黎索邦北大学）；Vrije University of Amsterdam（阿姆斯特丹自由大学）；The Open University（开放大学）；University of Cagliari（卡利亚里大学）
本调查全面描述了自2015年以来由于自然语言处理中的“深度学习革命”而开发的最新神经实体链接（EL）系统。它的目标是系统化神经实体链接系统的设计特征，并将其性能与常见基准测试中的经典方法进行比较。这项工作提炼了一个神经EL系统的通用架构，并讨论了它的组成部分，如候选人生成，提及上下文编码，和实体排名，总结突出的方法，为他们每个人。这个通用架构的各种各样的修改分为几个共同的主题：联合实体提及检测和消歧，模型的全球链接，域独立的技术，包括zero-shot和远程监督方法，和跨语言的方法。由于许多神经模型利用实体和提及/上下文嵌入来表示它们的含义，因此本文还概述了突出的实体嵌入技术。最后，调查涉及实体链接的应用，重点关注最近出现的基于Transformer架构增强深度预训练掩蔽语言模型的用例。
2022-04-07 cs.CL
A Lightweight Neural Model for Biomedical Entity Linking
Institut Polytechnique de Paris（巴黎综合理工学院）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
生物医学实体链接旨在将生物医学提及（如疾病和药物）映射到给定知识库中的标准实体。在这种情况下，具体的挑战是，同一个生物医学实体可以有各种各样的名称，包括同义词，形态变化，以及不同的单词顺序的名称。最近，基于BERT的方法通过允许丰富的词序列表示来推进了最先进的技术。然而，它们往往有数以亿计的参数，需要大量的计算资源，这限制了它们在资源有限的场景中的应用。在这里，我们提出了一个轻量级的生物医学实体连接的神经方法，它只需要一个BERT模型的一小部分参数和更少的计算资源。我们的方法使用一个简单的对齐层与注意力机制，以捕捉提及和实体名称之间的变化。然而，我们表明，我们的模型是有竞争力的标准评估基准与以前的工作。
2021-05-21 cs.CL
CLIMATELI: Evaluating Entity Linking on Climate Change Data
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出首个气候变化实体链接数据集CLIMATELI，包含3087个链接到维基百科的实体片段，并评估现有实体链接系统在该数据上的表现，发现模型性能明显落后于人类，同时提出CC实体自动过滤方法。
2024-06-27 cs.CL
A Read-and-Select Framework for Zero-shot Entity Linking
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出读取-选择（ReS）框架，通过提及-实体匹配和跨实体比较改进零样本实体链接的候选排序，在ZESHEL数据集上以2.55%的准确率提升达到最先进性能，且无需繁重预训练。
2023-10-29 cs.CL
Building an Icelandic Entity Linking Corpus
University of Iceland（冰岛大学）；Reykjavík University（雷克雅未克大学）；Quick Lookup（快速查询公司）
在本文中，我们提出了第一个实体链接语料库冰岛。我们描述了我们的方法，使用多语言实体链接模型（mGENRE）结合维基百科API搜索（WAPIS）来标记我们的数据，并将其与仅使用WAPIS的方法进行比较。我们发现，我们的组合方法达到53.9%的覆盖率在我们的语料库，相比之下，30.9%，仅使用WAPIS。我们分析了我们的结果，并解释了使用冰岛语时使用多语言系统的价值。此外，我们分析了未标记的数据，识别模式并讨论了为什么它们可能更难以注释。
2022-06-10 cs.CL
Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
实体链接（EL）是将文档中提到的实体链接到知识库（KB）中的引用实体的任务。许多以前的研究集中在维基百科衍生的知识库。关于维基数据的EL的工作很少，尽管它是最广泛的众包KB。维基数据的规模可以开辟许多新的现实世界的应用程序，但其庞大的实体数量也使EL具有挑战性。为了有效地缩小搜索空间，我们提出了一种新的候选检索模式的基础上实体分析。维基数据实体及其文本字段首先被索引到文本搜索引擎中（例如，Elasticsearch）。在推理过程中，给定提及及其上下文，我们使用序列到序列（seq 2seq）模型来生成目标实体的配置文件，其中包括其标题和描述。我们使用配置文件来查询索引的搜索引擎以检索候选实体。我们的方法补充了使用维基百科锚文本字典的传统方法，使我们能够进一步设计一个高效的混合方法进行候选人检索。结合一个简单的交叉注意力重新排序器，我们完整的EL框架在三个基于维基数据的数据集上实现了最先进的结果，并在TACKBP-2010上实现了强大的性能。
2022-03-14 cs.CL
MobIE: A German Dataset for Named Entity Recognition, Entity Linking and Relation Extraction in the Mobility Domain
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
我们提出了MobIE，德语数据集，这是人类注释的20个粗粒度和细粒度的实体类型和实体链接信息的地理上不确定的实体。该数据集由3，232个社交媒体文本和91K令牌的交通报告组成，并包含20.5K注释实体，其中13.1K链接到知识库。数据集的一个子集是人类注释的七个移动性相关的，n元关系类型，而其余的文件是使用弱监督标记方法与Snorkel框架实现注释。据我们所知，这是第一个结合了NER，EL和RE注释的德语数据集，因此可以用于这些基本信息抽取任务的联合和多任务学习。我们在https://github.com/dfki-nlp/mobie上公开了Mobie。
2022-03-28 cs.CL
What do Entity-Centric Models Learn? Insights from Entity Linking in Multi-Party Dialogue
Universitat Pompeu Fabra（庞培法布拉大学）
人类使用语言来指代外部世界中的实体。受此启发，近年来，已经提出了几种模型，其中包括对学习实体表示的偏见。这种以实体为中心的模型已经显示出经验上的成功，但我们仍然对原因知之甚少。在本文中，我们分析了两个最近提出的以实体为中心的模型在参考任务中的行为，多方对话中的实体链接（SemEval 2018任务4）。我们表明，这些模型在这项任务上优于最先进的技术，并且它们在较低频率的实体上比具有相同模型大小的非实体中心的对应模型做得更好。我们认为，以实体为中心的模型自然会促进良好的架构决策。然而，我们也表明，这些模型并没有真正建立实体表示，他们利用语言环境差。这些负面的结果强调了模型分析的必要性，以测试特定架构的动机是否在模型部署时的行为中得到证实。
2019-05-16 cs.CL
Learning to Select the Next Reasonable Mention for Entity Linking
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；Beijing Fanyu Technology Co., Ltd（北京梵语科技有限公司）
实体链接的目的是在文档中提到的实体与知识图谱中对应的实体之间建立链接。以往的工作表明，实体联系的全球一致性是有效的。然而，大多数现有的基于顺序决策的全局链接方法都集中在如何利用先前链接的实体来增强后续决策。在这些方法中，提到的顺序是固定的，使得模型无法根据先前链接的结果来调整后续的链接目标，这将导致先前的信息被不合理地利用。为了解决这个问题，我们提出了一种新的模型，称为DyMen，通过强化学习，根据先前链接的实体动态调整后续的链接目标，使模型能够选择一个链接目标，可以充分利用先前链接的信息。我们通过滑动窗口对提及进行采样，以减少强化学习的动作采样空间，并保持提及的语义一致性。在多个基准数据集上的实验表明了该模型的有效性。
2021-12-08 cs.CL
Entity Linking in 40 Languages using MAG
University of Leipzig（莱比锡大学）；Paderborn University（帕德博恩大学）
最近开发了大量的实体链接（EL）方法。虽然许多人声称是多语言的，但MAG（多语言AGDISTIS）方法最近已被证明在7种语言的多语言EL中表现优于最先进的技术。通过这个演示，我们扩展了MAG以支持40种不同语言的EL，包括特别低资源的语言，如乌克兰语，希腊语，匈牙利语，克罗地亚语，葡萄牙语，日语和韩语。我们的演示依赖于在线Web服务，允许轻松访问我们的实体链接方法，并可以消除对DBpedia和Wikidata的歧义。在演示过程中，我们将展示如何通过POST请求以及使用其用户友好的Web界面来使用MAG。演示中使用的所有数据均可在https://hobbitdata.informatik.uni-leipzig.de/agdistis/上获得
2018-05-29 cs.CL
ELEVANT: A Fully Automatic Fine-Grained Entity Linking Evaluation and Analysis Tool
University of Freiburg（弗莱堡大学）
我们提出了Elevant，一个工具，用于在一组基准上对一组实体链接器进行全自动细粒度评估。Elevant通过各种错误类别和实体类型提供性能的自动细分。Elevant还提供了一个丰富而紧凑的，但非常直观和自我解释的可视化结果的链接器在一个基准与地面真相相比。https://elevant.cs.uni-freiburg.de提供了一个现场演示、GitHub上完整代码库的链接和演示视频的链接。
2022-08-15 cs.CL
WikiDiverse: A Multimodal Entity Linking Dataset with Diversified Contextual Topics and Entity Types
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Shopee（虾皮）；Vipshop (China) Co., Ltd.（唯品会（中国）有限公司）；Fudan-Aishu Cognitive Intelligence Joint Research Center（复旦-爱数认知智能联合研究中心）
多模态实体链接（MEL），其旨在将具有多模态上下文的提及链接到来自知识库的所指实体（例如，Wikipedia）是许多多模态应用程序的基本任务。尽管MEL受到了广泛的关注，但现有MEL数据集的不足之处，如上下文主题和实体类型有限、提及歧义简化、可用性受限等，给MEL的研究和应用带来了很大的障碍。在本文中，我们提出了WikiDiverse，一个高质量的人类注释MEL数据集与多样化的上下文主题和实体类型从Wikinews，它使用维基百科作为相应的知识库。一个精心定制的注释程序，以确保数据集的质量。基于WikiDiverse，实现了一系列具有模态内和模态间关注的MEL模型，这些模型比现有的MEL模型更充分地利用了图像的视觉信息。通过大量的实验分析，探讨了不同模态对最大似然估计的贡献，为今后的研究提供了参考。数据集和基线模型可在https://github.com/wangxw5/wikiDiverse上获得。
2022-04-13 cs.CL
Efficient Biomedical Entity Linking: Clinical Text Standardization with Low-Resource Techniques
GE HealthCare（GE医疗）
本文提出一种低资源生物医学实体链接方法，利用同义词对学习，结合上下文与无上下文的重新排序技术，在Medmentions数据集上达到与最先进方法相当的性能，并引入文章级分析以补充评估。
2024-05-27 cs.CL
On the Temporality of Priors in Entity Linking
L3S Research Center（L3S研究中心）
实体连接是自然语言处理中处理文本中词汇歧义的一项基本任务。实体链接方法中的一个重要组成部分是提及实体的先验概率。尽管有大量的工作在实体链接，现有的方法没有明确考虑的时间方面，特别是一个实体的先验概率的时间性。我们认为，这种先验概率是时间的性质，并影响实体链接系统的性能。在本文中，我们系统地研究了先验对文本和知识库的时间有效性的实体连接性能的影响。
2021-01-14 cs.CL cs.LG
KnowNER: Incremental Multilingual Knowledge in Named Entity Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
KnowNER是一个多语言命名实体识别（NER）系统，它利用了不同程度的外部知识。一种新颖的模块化框架将知识分为四类，根据他们传达的知识的深度。每个类别由一组从不同信息源（如知识库、名称列表或特定于文档的语义注释）自动生成的特征组成，并用于训练条件随机场（CRF）。由于这些信息源通常是多语言的，KnowNER可以很容易地接受各种语言的培训。在本文中，我们证明了更深层次的知识的结合系统地提高了准确性，并将KnowNER与三种语言中最先进的NER方法进行了比较（即，英语、德语和西班牙语）在所有这些国家的最先进的系统中表演。
2017-09-11 cs.CL
Improving Zero-Shot Multi-Lingual Entity Linking
Johns Hopkins University（约翰霍普金斯大学）
实体链接--在自由文本中识别相关知识库表示的引用的任务--通常集中在单一语言上。我们考虑多语言实体链接，其中单个模型被训练为将引用链接到几种语言的相同语言知识库。我们提出了一个神经排名架构，它利用多语言Transformer表示的文本可以很容易地应用到多语言设置。然后，我们探索了用一种语言（例如英语）训练的神经排名器如何转移到一种看不见的语言（例如中文），并发现虽然性能有一致但不是很大的下降。如何缓解这种性能下降？我们探索添加一个对抗性目标来迫使我们的模型学习语言不变的表示。我们发现，使用这种方法可以提高几个数据集的召回率，通常与语言性能相匹配，从而减轻了zero-shot迁移带来的一些性能损失。
2021-04-16 cs.CL
Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking
Google Research（谷歌研究院）
在这项工作中，我们提出了一个实体链接模型，它结合了Transformer架构与大规模的预训练维基百科链接。我们的模型在两个常用的实体链接数据集上达到了最先进的水平：CoNLL上的96.7%和TAC-KBP上的94.9%。我们提出了详细的分析，以了解什么样的设计选择是重要的实体链接，包括选择负实体候选人，Transformer架构，和输入扰动。最后，我们提出了更有挑战性的设置，如端到端的实体链接和实体链接，没有域内训练数据有希望的结果。
2020-05-28 cs.CL cs.LG
Multilingual Entity and Relation Extraction from Unified to Language-specific Training
Beihang University（北京航空航天大学）；National Computer Network Emergency Response Technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）
实体和关系抽取是信息抽取中的一个关键任务，其输出可用于下游的自然语言处理任务。现有的实体和关系抽取任务的方法主要集中在英语语料库，而忽略了其他语言。因此，在多语言环境中提高性能至关重要。同时，多语言培训通常用于通过从语言中转移知识来提高跨语言性能（例如，高资源）到其它（例如，低资源）语言。然而，语言干扰通常存在于多语言任务中，因为模型参数在所有语言之间共享。在本文中，我们提出了一个两阶段的多语言训练方法和一个联合模型称为多语言实体和关系抽取框架（mERE），以减轻跨语言的语言干扰。具体来说，我们随机连接不同语言的句子训练一个嵌入通用聚合器（LA），通过获得统一的语言表示缩小嵌入表示的距离。然后，我们通过调整特定于语言的Switcher（LS），其中包括几个独立的子模块来细化特定于语言的特征表示，分离参数，以减轻干扰。在此基础上，为了增强关系三元组的抽取，将句子表示与关系特征相连接，用于识别实体。大量的实验结果表明，我们的方法优于单语言和多语言的基线方法。此外，通过详细的分析表明，mERE是轻量级的，但在关系三元组抽取上是有效的，mERE{}易于移植到多领域任务的其他骨干模型中，进一步证明了该方法的有效性。
2023-01-11 cs.CL
End-to-End Neural Entity Linking
ETH Zürich（苏黎世联邦理工学院）
实体链接是语义文本理解和信息抽取的一项重要任务。流行的方法分别解决EL的提及检测（MD）和实体消歧（ED）阶段，而不利用它们的相互依赖性。我们在这里提出了第一个神经端到端EL系统，共同发现和链接文本文档中的实体。其主要思想是将所有可能的跨度视为潜在的提及，并在其实体候选项上学习上下文相似性分数，这对MD和ED决策都很有用。关键组件是上下文感知提及嵌入，实体嵌入和概率提及-实体映射，而不需要其他工程特性。经验上，我们表明，我们的端到端的方法显着优于流行的系统在沙鼠平台上有足够的训练数据。相反，如果测试数据集与训练集相比遵循不同的注释约定（例如查询/推文与新闻文档），则我们的ED模型与传统的NER系统相结合，可以提供最佳或第二佳的EL准确性。
2018-08-29 cs.CL
Effective Few-Shot Named Entity Linking by Meta-Learning
Tsinghua University（清华大学）；East China Normal University（华东师范大学）；Shandong University（山东大学）
实体链接的目的是将模糊提及链接到知识库中的相应实体，这对于各种下游应用来说是重要的和基本的，例如，知识库完成、问答和信息抽取。虽然人们在这方面付出了巨大的努力，但大多数研究都假设大规模的标记数据是可用的。然而，当标记的数据是不够的特定领域，由于劳动密集型的注释工作，现有的算法的性能将遭受无法忍受的下降。在本文中，我们致力于解决的问题，Few-Shot实体连接，它只需要最小量的域内标记数据，在实际情况中更实用。具体来说，我们首先提出了一种新的弱监督策略，以产生非平凡的合成实体提及对的基础上提到重写。由于合成数据的质量对有效的模型训练有着至关重要的影响，我们进一步设计了一个元学习机制来自动为每个合成实体-提及对分配不同的权重。通过这种方式，我们可以深入挖掘丰富而宝贵的语义信息，在Few-Shot的设置下得到一个训练有素的实体连接模型。在真实数据集上的实验结果表明，该方法能够有效地改进现有的Few-Shot实体链接模型，并在只有少量标记数据的情况下获得令人瞩目的性能.此外，我们还证明了该模型的可移植性的突出能力。
2022-07-19 cs.CL
Entity Linking via Dual and Cross-Attention Encoders
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
实体链接有两个主要的开放研究领域：1）生成候选实体而不使用别名表，2）为提及和实体生成更多的上下文表示。最近，对于前者已经提出了作为双编码器实体检索系统的解决方案（Gillick等人，2019），它学习同一空间中的提及和实体表示，并通过选择与该空间中的提及最近的实体来执行链接。在这项工作中，我们只使用这个检索系统生成候选实体。然后，我们通过使用交叉注意编码器对目标提及和每个候选实体进行重新排序。而双编码器方法强制所有信息包含在用于表示提及和实体的小的、固定的向量维度集合中，交叉注意模型允许使用来自每个<提及，上下文，候选实体>元组的全部的详细信息（读：特征）。我们实验的reranker中使用的功能，包括不同的方式，将文档级的上下文。我们在TACKBP-2010数据集上获得了最先进的结果，准确率为92.05%。此外，我们还展示了在更大的CoNLL-2003数据集上训练并在TACKBP-2010上评估时，重新评分模型如何很好地泛化。
2020-04-07 cs.CL
Detection, Disambiguation, Re-ranking: Autoregressive Entity Linking as a Multi-Task Problem
University of California, San Diego（加州大学圣地亚哥分校）；Meta AI
我们提出了一个自回归实体链接模型，该模型使用两个辅助任务进行训练，并学会在推理时对生成的样本进行重新排序。我们提出的新颖性解决了文献中的两个弱点。首先，最近的方法提出学习提及检测，然后实体候选选择，但依赖于预定义的候选集。我们使用编码器-解码器自回归实体链接，以绕过这一需要，并提出了训练提及检测作为一个辅助任务。其次，以前的工作表明，重新排序可以帮助纠正预测错误。我们添加了一个新的辅助任务，匹配预测，以学习重新排名。在不使用知识库或候选集的情况下，我们的模型在实体链接的两个基准数据集中设置了一个新的最新技术水平：生物医学领域的COMETA和新闻领域的AIDA-CoNLL。我们通过消融研究表明，两个辅助任务中的每一个都可以提高性能，并且重新排名是提高性能的重要因素。最后，我们的低资源实验结果表明，主要任务的性能受益于辅助任务所学到的知识，而不仅仅是额外的训练数据。
2022-04-12 cs.CL
