ISA-bEL: Intelligent Search Algorithm based on Entity Linking
Vodafone（沃达丰）
如今，人们与计算机交互的方式已经发生了变化。基于文本或语音的界面在不同行业中得到广泛应用。处理用户输入的最常用的方法是基于意图或检索算法的方法。在这些解决方案中，用户的重要信息可能在该过程中丢失。对于所提出的自然语言处理流水线，在实体是用户的目的所在的假设下，实体将扮演主要角色。提供了上下文的实体将被投射到由知识图谱支持的特定领域，从而产生被称为链接实体的实体。然后，这些链接的实体用作在我们的知识图谱内搜索顶级聚合概念的关键字。
2022-05-09 cs.CL
Linking Entities to Unseen Knowledge Bases with Arbitrary Schemas
Amazon AI（亚马逊人工智能（Amazon AI））
在实体链接中，原始文本中提到的命名实体将根据知识库（KB）进行消歧。这项工作的重点是链接到看不见的知识库，没有训练数据，其模式是未知的训练期间。我们的方法依赖于将具有多个属性值对的任意KB中的实体灵活转换为平面字符串的方法，我们将其与最先进的模型结合使用以进行零次（zero-shot）链接。为了提高我们的模型的泛化能力，我们使用了两种正则化方案，基于实体属性的洗牌和看不见的属性的处理。在英语数据集上进行的实验表明，我们的模型在CoNLL数据集上进行训练，并在TAC-KBP 2010数据集上进行测试，结果表明，我们的模型比基线模型的准确度高出12个点以上。与之前的工作不同，我们的方法还允许无缝组合多个训练数据集。我们通过添加一个完全不同的数据集（Wikia）以及增加TAC-KBP 2010训练集的训练数据来测试这种能力。我们的模型在各方面都表现良好。
2020-10-21 cs.CL
Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
实体和关系的联合抽取是信息抽取中的一项重要任务。为了解决这个问题，我们首先提出了一种新的标记方案，可以将联合提取任务转换为标记问题。然后，基于我们的标记方案，我们研究了不同的端到端模型，直接提取实体和它们的关系，而不需要单独识别实体和关系。我们在远程监督方法产生的公共数据集上进行了实验，实验结果表明，基于标记的方法优于大多数现有的流水线和联合学习方法。此外，本文提出的端到端模型在公共数据集上取得了最佳效果。
2017-06-07 cs.AI cs.CL cs.LG
Relation extraction between the clinical entities based on the shortest dependency path based LSTM
Indian Institute of Technology Patna（印度理工学院巴特那分校）；ezDI, INC（ezDI公司）
随着电子病历数量的迅速增长，电子病历领域的信息抽取成为近年来的一个重要研究领域。医学问题、治疗、检验等医学概念之间的关系抽取也是该领域的重要任务之一。在本文中，我们提出了一个有效的关系抽取系统的基础上产生的最短依赖路径（SDP）的依赖分析树的句子。我们的系统不依赖于许多手工制作的特征和句子中存在的整个令牌序列，而是仅依赖于目标实体之间的SDP。对于每一对实体，系统只将SDP中的单词、它们的依赖标签、词性信息和实体的类型作为输入。我们开发了一个依赖分析器，用于提取依赖信息。我们在基准i2b2数据集上进行实验，用于临床关系抽取挑战2010。实验结果表明，我们的系统优于现有的系统。
2019-03-24 cs.CL cs.LG
IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences
Intelligent Systems, Afeka Academic College of Engineering（阿法卡学术工程学院智能系统）；School of Computer Science, Faculty of Sciences, Holon Institute of Technology（霍隆理工学院计算机科学学院）
本文提出IRC-Bench基准，用于评估回忆文本中隐式实体识别任务，通过对比本地提及与分散叙述证据，探讨非局部性挑战，测试多种模型配置。
2026-07-07 cs.AI cs.CL
Reading Comprehension using Entity-based Memory Network
Kyoto University（京都大学）
本文提出基于实体的记忆网络，通过维护实体状态记忆池来处理细粒度信息和复杂关系，并在多个问答任务上取得满意效果。
2017-02-01 cs.AI cs.CL
Joint Extraction of Events and Entities within a Document Context
Carnegie Mellon University（卡内基梅隆大学）
事件和实体密切相关;实体通常是事件的参与者或参与者，没有实体的事件是罕见的。对事件和实体的解释高度依赖于上下文。信息抽取中的现有工作通常将事件与实体分开建模，并在句子级别执行推理，忽略文档的其余部分。在本文中，我们提出了一种新的方法，模型之间的依赖关系的事件，实体和它们的关系的变量，并执行跨文档的这些变量的联合推理。目标是允许访问文档级上下文信息，并促进上下文感知预测。我们证明，我们的方法大大优于国家的最先进的事件提取方法，以及实体提取的强大基线。
2016-09-12 cs.AI cs.CL
NASTyLinker: NIL-Aware Scalable Transformer-based Entity Linker
University of Mannheim（曼海姆大学）
实体链接（EL）是检测文本中实体的提及并将其消歧到参考知识库的任务。最流行的EL方法假设参考知识库是完整的。然而，在实践中，有必要处理链接到知识库中不包含的实体（NIL实体）的情况。最近的工作表明，而不是只关注提及和实体之间的亲和力，考虑提及之间的亲和力可以用来表示NIL实体，通过产生集群的提及。同时，提及间关联可以帮助显著提高已知实体的链接性能。与NASTyLinker，我们引入了EL的方法，是知道的NIL实体，并产生相应的提到集群，同时保持高的链接性能为已知的实体。该方法基于来自Transformers的密集表示对提及和实体进行聚类，并通过计算传递提及-实体亲和度来解决冲突（如果多个实体被分配到聚类）。我们展示了NASTYLinker在NILK上的有效性和可扩展性，NILK是一个明确构建的数据集，用于评估EL相对于NIL实体。此外，我们将所提出的方法应用于实际EL任务，即通过链接维基百科列表中的实体来实现知识图谱人口，并对结果进行分析。
2023-03-13 cs.AI cs.CL cs.IR
To Schedule or not to Schedule: Extracting Task Specific Temporal Entities and Associated Negation Constraints
Microsoft（微软）
从文本中提取日期-时间实体的最新研究是任务不可知的。因此，虽然在文献中提出的方法表现良好的通用日期-时间提取文本，他们不票价以及任务特定的日期-时间实体提取，只有一个子集的日期-时间实体中存在的文本是有关解决任务。此外，一些任务需要识别与日期-时间实体相关联的否定约束，以随着时间正确地推理。我们展示了一种新的模型，用于提取特定于任务的日期-时间实体及其否定约束。我们展示了我们的方法在基于电子邮件的数字AI调度助理的会议调度方面对日期-时间理解任务的有效性。与基线方法相比，我们的方法在检测与安排会议相关的日期-时间实体方面获得了19个f-得分点的绝对增益，在检测日期-时间实体上的否定约束方面比基线方法提高了4%。
2020-11-15 cs.CL cs.IR cs.LG
Transformer-based Methods for Recognizing Ultra Fine-grained Entities (RUFES)
University of La Rochelle（拉罗谢尔大学）
本文总结了拉罗谢尔大学信息、图像与交互实验室（L3i实验室）在文本分析会议（TAC）系列评估研讨会中识别超细粒度实体（RUFES）的参与情况。我们的参与依赖于两个基于神经元的模型，一个基于预训练和微调的语言模型，其中包含一堆用于细粒度实体提取的Transformer层，另一个是用于文档内实体共指的开箱即用模型。我们观察到，我们的方法在提高细粒度实体识别的性能方面具有很大的潜力。因此，未来的工作设想是在额外的实验和对结果进行更深入的分析之后提高模型的能力。
2021-04-13 cs.CL cs.IR
LexNLP: Natural language processing and information extraction for legal and regulatory texts
LexPredict, LLC（莱克斯预测有限责任公司）
LexNLP是一个开源Python包，专注于法律和法规文本的自然语言处理和机器学习。该软件包包括以下功能：（i）分割文档，（ii）识别关键文本，如标题和章节标题，（iii）提取超过18种类型的结构化信息，如距离和日期，（iv）提取命名实体，如公司和地缘政治实体，（v）将文本转换为模型训练的特征，以及（vi）构建无监督和监督模型，如词嵌入或标记模型。LexNLP包括基于数千个单元测试的预训练模型，这些测试来自SEC EDGAR数据库中的真实文档以及各种司法和监管程序。LexNLP被设计用于学术研究和工业应用，并在https://github.com/LexPredict/lexpredict-lexnlp上发布。
2018-06-10 cs.CL cs.IR stat.ML
Recognizing Nested Entities from Flat Supervision: A New NER Subtask, Feasibility and Challenges
HwaMei Hospital, University of Chinese Academy of Sciences（中国科学院大学华美医院）；Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences（中国科学院大学宁波生命与健康产业研究院）
近年来，许多命名实体识别（NER）的研究批评了平面NER的非重叠假设，并转向研究嵌套NER。然而，现有的嵌套NER模型严重依赖于用嵌套实体注释的训练数据，而标记这样的数据是昂贵的。这项研究提出了一个新的子任务，嵌套从平面NER，这对应于一个现实的应用场景：给定的数据注释与平面实体，人们可能仍然希望训练的模型能够识别嵌套实体。为了解决这个任务，我们训练基于跨度的模型，并故意忽略嵌套在标记实体内的跨度，因为这些跨度可能是未标记的实体。当从训练数据中删除嵌套实体后，我们的模型在ACE 2004、ACE 2005和GENIA上的实体内的跨度子集上分别获得了54.8%、54.2%和41.1%的F1分数。这表明我们的方法的有效性和任务的可行性。此外，该模型在平面实体上的性能完全不受影响。我们进一步手动注释的嵌套实体在测试集的CoNLL 2003，创建一个嵌套从平面NER基准。分析结果表明，主要的挑战来自于平面和嵌套实体之间的数据和注释不一致。
2022-11-01 cs.CL cs.LG
DynamicER: Resolving Emerging Mentions to Dynamic Entities for RAG
Seoul National University（首尔大学）
针对RAG中新兴语言表达阻碍检索并导致幻觉的问题，提出DynamicER基准及具有持续适应能力的时间分段聚类方法，有效解析动态实体提及并提升RAG模型的QA性能。
2024-10-15 cs.AI cs.CL
An Operator for Entity Extraction in MapReduce
Carnegie Mellon University（卡内基梅隆大学）
基于词典的实体提取涉及查找文本中的词典实体的提及。提到的文本通常是嘈杂的，包含虚假或缺失的单词。用于检测近似实体提及的有效算法遵循两种一般技术之一。第一种方法是在实体上构建索引并执行文档子字符串的索引查找。第二种方法认识到，从文档生成的子串的数量可能会爆炸到很大的数字，为了解决这个问题，他们使用过滤器来修剪许多不匹配任何字典实体的子串，然后通过文本连接只验证剩余的子串，如果它们是字典实体的实体提及。在基于索引的方法和基于过滤和验证的方法之间的选择是一个逐例的决定，因为最佳方法取决于输入实体字典的特性，例如实体提及的频率。为设置选择正确的方法可以在执行时间上产生很大的差异。然而，做出这种选择是不平凡的，因为在每种方法中存在使可能的方法的空间非常大的参数。在本文中，我们提出了一个基于成本的运营商，使实体提取的执行计划之间的选择。由于我们需要处理大型字典甚至更大的大型数据集，我们的操作符是为MapReduce分布式算法的实现而开发的。
2015-12-15 cs.CL cs.DB
Joint Embeddings of Hierarchical Categories and Entities
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化知识应用于学习类别的分布式表示，现有的工作不能将类别层次结构纳入实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。与以前的最先进的状态相比，我们的框架可以处理单词的概念和多词的概念具有优越的性能，在概念分类和语义相关性。
2016-05-13 cs.CL
Representation Learning of Entities and Documents from Knowledge Base Descriptions
Studio Ousia；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）
在本文中，我们描述了TextEnt，一个神经网络模型，直接从知识库（KB）学习实体和文档的分布式表示。给定由单词和实体注释组成的KB中的文档，我们训练我们的模型来预测文档描述的实体，并将文档及其目标实体映射到连续向量空间中彼此接近。我们的模型使用从维基百科提取的大量文档进行训练。使用两个任务，即细粒度的实体类型和多类文本分类的性能进行评估的模型。结果表明，我们的模型在这两项任务上都达到了最先进的性能。该代码和经过训练的表示可在网上获得，以供进一步的学术研究。
2018-06-08 cs.CL cs.NE
Distributed Representations of Entities in Open-World Knowledge Graphs
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室）；Donghai Laboratory（东海实验室）；Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）；Ant Group（蚂蚁集团）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）
针对开放世界知识图谱中新实体不断涌现的问题，提出去中心化注意力网络DAN，通过邻居上下文分布式表示实体语义，并结合自蒸馏训练，在实体对齐、预测及开放世界任务中表现优异。
2024-04-04 cs.AI cs.CL cs.LG
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化的知识应用于学习的分布式表示的类别，现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念，在概念分类上具有优越的性能，并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
Distributed Entity Disambiguation with Per-Mention Learning
Bell Labs, Nokia（诺基亚贝尔实验室）；University College Dublin（都柏林大学学院）
实体消歧或将短语映射到其在知识库中的规范表示是许多自然语言处理应用中的基本步骤。现有的基于全局排名模型的技术无法捕捉单词的个体特性，因此，要么难以满足许多现实世界应用的准确性要求，要么过于复杂，无法满足应用的实时约束。在本文中，我们提出了一个新的消歧系统，学习专门的功能和模型，消除英语中的每个歧义短语。为了训练和验证数十万个学习模型，我们使用了一个维基百科超链接数据集，其中包含超过1.7亿个带标签的注释。我们提供了一个广泛的实验评估表明，我们的方法的准确性比较有利的许多国家的最先进的消歧系统。我们的方法所需的训练可以很容易地分布在一个集群中。此外，为新实体更新我们的系统或为特殊实体校准它是一个计算快速的过程，这不会影响其他实体的消歧。
2016-04-20 cs.CL cs.IR
Representation Learning Models for Entity Search
我们专注于学习分布式表示实体搜索查询，命名实体，和他们的简短描述的问题。利用我们的表示学习模型，实体搜索查询、命名实体和描述可以表示为低维向量。我们的目标是开发一个简单而有效的模型，可以使查询相关实体的分布式表示类似于向量空间中的查询。因此，我们提出了三种学习策略，它们之间的区别主要在于如何处理实体与其描述之间的关系。我们分析了每种学习策略的优点和缺点，并在包含四种命名实体的公共数据集上验证了我们的方法，即，电影、电视节目、餐馆和名人。实验结果表明，我们提出的方法可以适应不同类型的实体搜索查询，并优于目前最先进的方法基于关键字匹配和香草word2vec模型。此外，所提出的方法可以快速训练，并很容易扩展到其他类似的任务。
2017-01-15 cs.CL
Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们的目标是将符号逻辑推理丰富的多步推理与神经网络的泛化能力结合起来。我们对文本和大规模知识库（KBs）中的实体和关系的复杂推理特别感兴趣。Neelakantan et al.（2015）使用RNN来构建KB中多跳路径的分布式语义;然而，由于多种原因，该方法缺乏准确性和实用性。本文提出了三个重要的建模进展：（1）我们学会了联合推理关系，实体和实体类型;（2）我们使用神经注意力建模来整合多个路径;（3）我们学会了在一个单一的RNN中共享力量，该RNN代表所有关系的逻辑组成。在一个大规模的Freebase+ Cocktail Web预测任务，我们实现了25%的错误减少，和53%的错误减少稀疏的关系，由于共享的力量。在WordNet中的推理链上，我们将平均分位数的错误减少了84%，与以前的最先进技术相比。代码和数据可在https://rajarshd.github.io/ChainsofReasoning上获得
2017-05-01 cs.CL
Automated Generation of Multilingual Clusters for the Evaluation of Distributed Representations
Basis Technology（基础技术公司）
我们提出了一种语言无关的方式，自动生成一组语义相似的集群的实体与集的“离群”元素，然后可以用来执行一个内在的评价词嵌入中的离群检测任务。我们使用我们的方法创建了一个黄金标准数据集，我们称之为WikiSem500，并评估了多个最先进的嵌入。结果显示了该数据集上的性能与情感分析上的性能之间的相关性。
2017-04-05 cs.CL cs.LG
A Factorization Machine Framework for Testing Bigram Embeddings in Knowledgebase Completion
University College London（伦敦大学学院）
到目前为止，基于嵌入的知识库补全模型大多结合了单个实体或关系的分布式表示来计算缺失链接的真值分数。然而，事实也可以使用成对嵌入来表示，即实体和关系对的嵌入。在本文中，我们探索这样的二元模型嵌入与灵活的分解机模型和几个消融从它。我们调查的相关性的各种二元模型类型的fb15k237数据集，并找到相对的改进相比，组合模型。
2016-04-20 cs.AI cs.CL cs.NE
Representation Learning for Words and Entities
The Johns Hopkins University（约翰斯·霍普金斯大学）
本论文提出了新的无监督学习的分布式表示的文字和实体的文本和知识库的方法。本文提出的第一个算法是一个多视图算法，用于学习单词的表示，称为多视图潜在语义分析（MVLSA）。通过将多达46种不同类型的共现统计相同的词汇的英语单词，我表明MVLSA优于其他国家的最先进的词嵌入模型。接下来，我重点研究了用于搜索和推荐的实体表示，并提出了本文的第二种方法，神经变分集合扩展（NVSE）。NVSE也是一种无监督学习方法，但它基于变分自编码器框架。与人类注释者的评估表明，NVSE可以促进更好的搜索和推荐从嘈杂的非结构化自然语言语料库的自动注释中收集的信息。最后，我将从非结构化数据转向结构化知识图谱。我提出了新的方法来学习嵌入的顶点和边的知识图谱，服从逻辑约束。
2019-06-12 cs.AI cs.CL cs.LG
Towards Better Text Understanding and Retrieval through Kernel Entity Salience Modeling
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
本文提出了一个核心实体显着性模型（KESM），提高文本理解和检索更好地估计实体显着性（重要性）的文件。KESM通过知识丰富的分布式表示来表示实体，通过核来建模实体和词之间的交互，并结合核得分来估计实体显著性。整个模型使用实体显著性标签进行端到端学习。显着性模型还提高了ad hoc搜索的准确性，通过对候选文档中查询实体的显着性进行建模来提供有效的排名功能。我们在两个实体显著性语料库和两个TREC ad hoc搜索数据集上的实验证明了KESM在基于频率和基于特征的方法上的有效性。我们还提供了一些例子，展示了KESM如何将其从实体显着性学习到的文本理解能力传达给搜索。
2018-05-03 cs.CL cs.IR
Early Discovery of Emerging Entities in Microblogs
The University of Tokyo（东京大学）；Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
对于社会趋势分析和市场研究等各种应用来说，及时了解每天出现的新兴实体是必不可少的。之前的研究试图检测未在特定知识库中注册为新兴实体的看不见的实体，从而发现非新兴实体，因为知识库中实体的缺失并不能保证它们的出现。因此，我们引入了一个新的任务，发现真正的新兴实体时，他们刚刚被介绍给公众通过微博，并提出了一种有效的方法，基于时间敏感的远程监督，利用独特的早期阶段的背景下出现的实体。大规模Twitter存档的实验结果表明，所提出的方法达到了83.2%的准确率的前500名发现的新兴实体，这优于基线的基础上看不见的实体识别与突发检测。除了显著的新兴实体，我们的方法可以发现大量的长尾和单应新兴实体。相对召回率的评估表明，该方法检测到80.4%的新注册的维基百科的新兴实体，其中92.4%的发现早于他们在维基百科的注册，平均提前时间超过一年（571天）。
2019-07-08 cs.CL
ActiveEA: Active Learning for Neural Entity Alignment
The University of Queensland（昆士兰大学）；Neusoft Research of Intelligent Healthcare Technology, Co. Ltd.（东软智能医疗科技研究有限公司）
实体对齐是知识图谱融合的重要步骤，其目的是在不同的知识图谱中匹配等价的实体。目前的主流方法--神经EA模型--依赖于种子对齐的训练，即，一组预对齐的实体对，其注释成本非常高。在本文中，我们设计了一个新的主动学习（AL）框架的神经EA，旨在创建高度信息种子对齐，以获得更有效的EA模型，以更少的注释成本。我们的框架解决了将AL应用于EA时遇到的两个主要挑战：（1）如何利用AL策略中实体之间的依赖关系。大多数AL策略假设要采样的数据实例是独立且同分布的。然而，幼儿园中的实体是相关的。为了解决这一挑战，我们提出了一个结构感知的不确定性抽样策略，可以衡量每个实体的不确定性，以及它对KG中相邻实体的影响。(2)如何识别出现在一个KG中但未出现在另一个KG中的实体（即，单身汉）。识别单身汉可能会节省注释预算。为了解决这个问题，我们设计了一个单身汉识别器，注意减轻采样偏差的影响。实验结果表明，我们提出的AL策略可以显着提高采样质量，具有良好的通用性，在不同的数据集，EA模型和单身汉的数量。
2021-10-13 cs.AI cs.CL
Knowledge Transfer for Out-of-Knowledge-Base Entities: A Graph Neural Network Approach
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Recruit Institute of Technology（Recruit技术研究所）
知识库补全（KBC）的目的是预测知识库中的缺失信息，本文研究了知识库补全中的知识库外（OOKB）实体问题：如何回答关于训练时未观察到的测试实体的查询。现有的基于嵌入的KBC模型假设所有测试实体在训练时都可用，因此不清楚如何在不进行昂贵的再训练的情况下获得新实体的嵌入。为了解决OOKB实体问题而无需再训练，我们使用图神经网络（Graph-NN）来计算OOKB实体的嵌入，利用测试时提供的有限辅助知识.实验结果表明，我们提出的模型在OOKB环境下是有效的.此外，在标准KBC环境下，OOKB实体不参与，我们的模型在WordNet数据集上达到了最先进的性能.代码和数据集可在https://github.com/takuo-h/GNN-for-OOKB上获得
2017-06-20 cs.CL
Can Language Models Capture Graph Semantics? From Graphs to Language Model and Vice-Versa
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；University of South Carolina（南卡罗来纳大学）
知识图谱是一种很好的资源，可以用来捕获实体和实体之间关系方面的语义知识。然而，当前的深度学习模型将分布式表示或向量作为输入。因此，图被压缩在矢量化表示中。我们进行了一项研究，以检查深度学习模型是否可以压缩一个图，然后输出相同的图，其中大部分语义都完好无损。我们的实验表明，Transformer模型不能表达输入知识图谱的全部语义。我们发现，这是由于知识图谱中包含的有向、关系和基于类型的信息与Transformer注意矩阵的完全连接的令牌-令牌无向图形解释之间的差异。
2022-06-18 cs.CL
Knowledge Base Completion for Long-Tail Entities
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI 实验室）
针对知识库中长尾实体覆盖不足的问题，提出一种基于语言模型的两阶段（候选检索与验证消歧）知识库补全方法，并构建了源于Wikidata的MALT数据集，实验证明该方法在F1和召回率上显著优于基线。
2023-06-30 cs.CL
Explainable Link Prediction for Emerging Entities in Knowledge Graphs
Rutgers University–New Brunswick（罗格斯大学新不伦瑞克分校）；Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）
尽管跨领域知识图谱的覆盖范围很大，但它们总是存在固有的不完整性和稀疏性。链接预测可以通过在给定源实体和查询关系的情况下推断目标实体来减轻这种情况。最近的嵌入为基础的方法操作在一个不可解释的潜在语义向量空间的实体和关系，而基于路径的方法操作在符号空间，使推理过程可解释。然而，这些方法通常考虑知识图谱的静态快照，严重限制了它们对于具有新出现的实体的演化知识图谱的适用性。为了克服这个问题，我们提出了一个归纳表示学习框架，能够学习以前看不见的实体的表示。我们的方法发现源和目标实体之间的推理路径，从而使链接预测看不见的实体可解释的，并提供支持证据的推断链接。
2020-09-25 cs.CL
Combining Spans into Entities: A Neural Two-Stage Approach for Recognizing Discontiguous Entities
University of Edinburgh（爱丁堡大学）；Singapore University of Technology and Design（新加坡科技设计大学）
在医学文档中，感兴趣的实体可能不仅包含不连续的单词序列，而且还与另一实体重叠。由于可能的实体组合的大空间，这种结构的实体本质上难以识别。在这项工作中，我们提出了一种神经两阶段方法，通过将这个问题分解为两个子任务来识别不连续和重叠的实体：1）它首先基于分段超图的表示来检测所有重叠的跨度，这些跨度要么自己形成实体，要么作为不连续实体的分段来呈现，2）接下来它学习用分类器将这些分段组合成不连续实体，其过滤掉其他不正确的段组合。两个神经元组件分别为这些子任务设计，并使用共享的文本编码器共同学习。我们的模型在标准数据集中实现了最先进的性能，即使在没有以前方法使用的外部特征的情况下。
2019-09-03 cs.CL
Instantiation
Stuttgart University（斯图加特大学）；Universitat Pompeu Fabra（庞培法布拉大学）
在计算语言学中，大量的工作存在于词汇关系的分布式建模上，主要集中在词汇关系上，例如在两个类别之间保持的上位关系（科学家-人），如普通名词所表达的。相比之下，计算语言学很少关注由专有名词表示的实体（Marie Curie，Mumbai，...）。知识表示和语义网社区已经详细调查了这些问题，但通常没有考虑到它们的语言特性。我们的论文通过调查和建模实例化的词汇关系来缩小这一差距，这在实体表示和类别表示表达式之间成立（玛丽居里-科学家或孟买-城市）。我们提出了一个新的，原则性的数据集的任务，实例化检测以及实验和分析这个数据集。我们得到了以下结果：（a）属于一个范畴的实体在分布空间中形成一个区域，但范畴词的嵌入通常位于这个子空间之外;（b）从分布证据中区分实体和范畴是容易的，但由于（a），当使用普通名词作为范畴的表示时，正确的实例化要难得多;（c）这个问题可以通过使用基于实体而不是基于类别词嵌入的类别表示来缓解。
2018-08-05 cs.CL
Neural Attentive Bag-of-Entities Model for Text Classification
Studio Ousia；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN AIP（理化学研究所AIP）
本研究提出了一个神经注意袋的实体模型，这是一个神经网络模型，使用知识库中的实体进行文本分类。实体提供了明确的和相关的语义信号，有利于捕捉文本中的语义。我们结合简单的高召回实体检测的基础上的字典，检测实体的文件，与一种新的神经注意力机制，使模型能够专注于少量的明确和相关的实体。我们使用两个标准文本分类数据集（即，20个新闻组和R8数据集）和基于琐事问答游戏的流行的事实问答数据集。因此，我们的模型在所有数据集上都取得了最先进的结果。所提出的模型的源代码可在https://github.com/wikipedia2vec/wikipedia2vec上在线获得。
2019-09-10 cs.CL cs.LG
Matching Entities Across Different Knowledge Graphs with Graph Embeddings
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本文探讨了跨不同知识图谱的实体匹配问题。给定一个知识图谱中的查询实体，我们希望在另一个知识图谱中找到对应的真实世界实体。我们正式这个问题，并提出了两个大规模的数据集，这个任务的基础上现有的跨本体DBpedia和维基数据之间的链接，专注于几十万个模糊的实体。使用基于分类的方法，我们发现，一个简单的多层感知器的基础上，从RDF2Vec图嵌入的实体在每个知识图谱的表示是足以实现高精度，只有少量的训练数据。我们工作的贡献是研究这一问题的数据集和未来工作可以基于的强基线。
2019-03-15 cs.CL cs.DB
InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；iFLYTEK AI Research (Hebei)（讯飞人工智能研究院（河北））
知识图谱嵌入（KGE）模型学习知识图谱中实体和关系的表示。基于距离的方法在链接预测任务中表现出良好的性能，该任务通过两个实体表示之间的距离来预测结果。然而，这些方法大多数表示头实体和尾实体分开，这限制了模型的容量。我们提出了两个新的基于距离的方法命名为InterHT和InterHT+，使头部和尾部实体更好地相互作用，并得到更好的实体表示。实验结果表明，该方法在ogbl-wikikikg 2数据集上取得了较好的效果.
2022-12-23 cs.CL
Joint Representation Learning of Cross-lingual Words and Entities via Attentive Distant Supervision
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University of Bonn（波恩大学）
词和实体的联合表示学习有益于许多NLP任务，但在跨语言环境中尚未得到很好的探索。在本文中，我们提出了一种新的跨语言的单词和实体的联合表示学习的方法。它捕获相互补充的知识，并使跨语言的知识库和文本之间的推理。我们的方法不需要平行语料库，并自动生成可比数据，通过远程监督使用多语言的知识库。我们利用两种类型的正则化器来对齐跨语言的单词和实体，并设计知识注意和跨语言注意，以进一步减少噪音。我们进行了一系列的实验三个任务：词的翻译，实体相关性，跨语言实体连接。定性和定量的结果都证明了我们方法的重要性。
2018-11-27 cs.CL
UltraWiki: Ultra-fine-grained Entity Set Expansion with Negative Seed Entities
Pengcheng Laboratory（鹏城实验室）；Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））
本文针对超细粒度实体集扩展任务，提出引入负种子实体以消除语义歧义并表达“不想要的”语义，构建了首个大规模数据集UltraWiki，并提出RetExpan与GenExpan基线框架以及对比学习和思维链推理策略。
2025-06-03 cs.CL
Multi-level Representations for Fine-Grained Typing of Knowledge Base Entities
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
实体是自然语言的基本元素。在本文中，我们提出了在三个互补层次上学习实体的多级表示的方法：字符（提取的实体名称中的字符模式，例如，通过神经网络）、词（实体名称中的词嵌入）和实体（实体嵌入）。我们调查了每个级别的最先进的学习方法，发现了很大的差异，例如，对于深度学习模型，传统的ngram特征和快速文本的子字模型（Bojanowski等人，2016）;对于word 2 vec（Mikolov等人，2013）;以及对于次序感知模型wang 2 vec（Ling et al.，2015年，在实体层面。我们证实实验，每个级别的表示贡献的互补信息和联合表示的所有三个级别提高了现有的嵌入基础上的基线细粒度实体打字的大幅度。此外，我们表明，从实体描述中添加信息，进一步提高了实体的多层次表示。
2017-01-16 cs.AI cs.CL
Inductive Knowledge Graph Reasoning for Multi-batch Emerging Entities
Nanjing University（南京大学）；Tencent Inc（腾讯公司）
多年来，知识图谱（KGs）的推理主要集中在静态KGs上，其目的是从已知事实中推断新的结论。现实生活中知识的不断增长提出了在知识库扩展中实现归纳推理能力的必要性。现有的归纳工作假设新实体都是一批出现一次，这过于简化了新实体不断出现的真实场景。这项研究深入到一个更现实和具有挑战性的设置，新的实体出现在多个批次。我们提出了一个基于步行的归纳推理模型，以解决新的设置。具体而言，设计了一种具有自适应关系聚合的图卷积网络，利用实体的相邻关系对实体进行编码和更新。为了捕捉不同的邻居的重要性，我们采用了查询感知的反馈注意力机制在聚合。此外，为了缓解新实体的稀疏链接问题，我们提出了一个链接增强策略，以增加可信的事实到KG。我们构建了三个新的数据集来模拟这种多批次出现的情况。实验结果表明，我们提出的模型优于国家的最先进的嵌入式为基础的，基于行走和基于规则的模型归纳KG推理。
2022-09-14 cs.AI cs.CL
Unsupervised Context Retrieval for Long-tail Entities
University of Stavanger（斯塔万格大学）；Signal（Signal公司）
监视媒体流中的实体通常依赖于丰富的实体表示，如知识库（KB）中可用的结构化信息。对于长尾实体，由于其在参考知识库中的代表性有限（如果不是完全缺失的话），这种监测是非常具有挑战性的。在本文中，我们解决的问题，检索文本上下文监测长尾实体。我们提出了一种无监督的方法来克服长尾实体的有限表示，利用已建立的实体和它们的上下文作为支持信息。一个专门建立的测试集合上的评估显示了我们的方法的适用性和它的鲁棒性的KB实体。
2019-08-05 cs.AI cs.CL cs.IR
Jointly Embedding Entities and Text with Distant Supervision
The Ohio State University（俄亥俄州立大学）；National Institutes of Health（美国国立卫生研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）
知识库实体和概念的学习表示对于NLP应用变得越来越重要。然而，最近的实体嵌入方法依赖于为新域和语料库创建昂贵的结构化资源。我们提出了一种远程监督的方法，用于联合学习嵌入的实体和文本从unnanotated语料库，只使用实体和表面形式之间的映射列表。我们从开放领域和生物医学语料库中学习嵌入，并与依赖于人类注释文本或大型知识图谱结构的先前方法进行比较。我们的嵌入比以前的工作更好地捕捉实体相似性和相关性，无论是在现有的生物医学数据集还是我们发布给社区的新的基于维基百科的数据集。类比完成和实体意义消歧的结果表明，实体和词捕捉互补的信息，可以有效地结合下游使用。
2018-07-09 cs.AI cs.CL
Generating Categories for Sets of Entities
Bloomberg（彭博）；University of Stavanger（斯塔万格大学）；Carnegie Mellon University（卡内基梅隆大学）
范畴系统是知识库的核心组成部分，因为它们提供了语义相关概念和实体的层次分组。它们是一种独特而宝贵的资源，可用于广泛的信息访问任务。为了帮助知识编辑者手动扩展类别系统，本文提出了一种为实体集生成类别的方法。首先，我们采用神经抽象摘要模型来生成候选类别。接下来，为每个候选者标识层次结构内的位置。最后，使用基于结构、内容和层次的特征对候选人进行排名，以确定最有希望的候选人（根据特异性、层次和重要性进行测量）。我们开发了一个基于维基百科类别的测试集合，并证明了所提出的方法的有效性。
2020-08-19 cs.CL cs.IR
Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs
University of Cambridge（剑桥大学）
本文讨论了自然语言文本到知识库实体的映射问题。该映射过程被视为从知识图谱中获得的多维实体空间中的点中的短语或句子的组合。组合模型是一个LSTM，在输入词嵌入上配备了动态消歧机制（Multi-Sense LSTM），解决了多义问题。此外，知识库空间是通过收集随机游走与文本特征，作为一组文本和知识库实体之间的语义桥梁增强图准备。这项工作的想法是证明了大规模的文本到实体的映射和实体分类任务，与国家的最先进的结果。
2018-08-23 cs.AI cs.CL cs.LG
