Early Discovery of Emerging Entities in Microblogs
The University of Tokyo(东京大学);Institute of Industrial Science, the University of Tokyo(东京大学生产技术研究所)
对于社会趋势分析和市场研究等各种应用来说,及时了解每天出现的新兴实体是必不可少的。之前的研究试图检测未在特定知识库中注册为新兴实体的看不见的实体,从而发现非新兴实体,因为知识库中实体的缺失并不能保证它们的出现。因此,我们引入了一个新的任务,发现真正的新兴实体时,他们刚刚被介绍给公众通过微博,并提出了一种有效的方法,基于时间敏感的远程监督,利用独特的早期阶段的背景下出现的实体。大规模Twitter存档的实验结果表明,所提出的方法达到了83.2%的准确率的前500名发现的新兴实体,这优于基线的基础上看不见的实体识别与突发检测。除了显著的新兴实体,我们的方法可以发现大量的长尾和单应新兴实体。相对召回率的评估表明,该方法检测到80.4%的新注册的维基百科的新兴实体,其中92.4%的发现早于他们在维基百科的注册,平均提前时间超过一年(571天)。
2019-07-08 cs.CL
AgREE: Agentic Reasoning for Knowledge Graph Completion on Emerging Entities
针对新兴实体知识图谱补全难题,提出基于智能体的AgREE框架,结合迭代检索与多步推理,无需训练即显著提升三元组构建性能,最高提升13.7%,并引入新评估方法与基准。
2025-08-06 cs.AI cs.CL
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University(卡内基梅隆大学)
由于缺乏结构化的知识应用于学习的分布式表示的类别,现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架,嵌入实体和类别到一个语义空间,通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念,在概念分类上具有优越的性能,并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
Knowledge Transfer for Out-of-Knowledge-Base Entities: A Graph Neural Network Approach
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Recruit Institute of Technology(Recruit技术研究所)
知识库补全(KBC)的目的是预测知识库中的缺失信息,本文研究了知识库补全中的知识库外(OOKB)实体问题:如何回答关于训练时未观察到的测试实体的查询。现有的基于嵌入的KBC模型假设所有测试实体在训练时都可用,因此不清楚如何在不进行昂贵的再训练的情况下获得新实体的嵌入。为了解决OOKB实体问题而无需再训练,我们使用图神经网络(Graph-NN)来计算OOKB实体的嵌入,利用测试时提供的有限辅助知识.实验结果表明,我们提出的模型在OOKB环境下是有效的.此外,在标准KBC环境下,OOKB实体不参与,我们的模型在WordNet数据集上达到了最先进的性能.代码和数据集可在https://github.com/takuo-h/GNN-for-OOKB上获得
2017-06-20 cs.CL
NASTyLinker: NIL-Aware Scalable Transformer-based Entity Linker
University of Mannheim(曼海姆大学)
实体链接(EL)是检测文本中实体的提及并将其消歧到参考知识库的任务。最流行的EL方法假设参考知识库是完整的。然而,在实践中,有必要处理链接到知识库中不包含的实体(NIL实体)的情况。最近的工作表明,而不是只关注提及和实体之间的亲和力,考虑提及之间的亲和力可以用来表示NIL实体,通过产生集群的提及。同时,提及间关联可以帮助显著提高已知实体的链接性能。与NASTyLinker,我们引入了EL的方法,是知道的NIL实体,并产生相应的提到集群,同时保持高的链接性能为已知的实体。该方法基于来自Transformers的密集表示对提及和实体进行聚类,并通过计算传递提及-实体亲和度来解决冲突(如果多个实体被分配到聚类)。我们展示了NASTYLinker在NILK上的有效性和可扩展性,NILK是一个明确构建的数据集,用于评估EL相对于NIL实体。此外,我们将所提出的方法应用于实际EL任务,即通过链接维基百科列表中的实体来实现知识图谱人口,并对结果进行分析。
2023-03-13 cs.AI cs.CL cs.IR
Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs
University of Cambridge(剑桥大学)
本文讨论了自然语言文本到知识库实体的映射问题。该映射过程被视为从知识图谱中获得的多维实体空间中的点中的短语或句子的组合。组合模型是一个LSTM,在输入词嵌入上配备了动态消歧机制(Multi-Sense LSTM),解决了多义问题。此外,知识库空间是通过收集随机游走与文本特征,作为一组文本和知识库实体之间的语义桥梁增强图准备。这项工作的想法是证明了大规模的文本到实体的映射和实体分类任务,与国家的最先进的结果。
2018-08-23 cs.AI cs.CL cs.LG
Knowledge Base Completion for Long-Tail Entities
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI 实验室)
针对知识库中长尾实体覆盖不足的问题,提出一种基于语言模型的两阶段(候选检索与验证消歧)知识库补全方法,并构建了源于Wikidata的MALT数据集,实验证明该方法在F1和召回率上显著优于基线。
2023-06-30 cs.CL
Explainable Link Prediction for Emerging Entities in Knowledge Graphs
Rutgers University–New Brunswick(罗格斯大学新不伦瑞克分校);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
尽管跨领域知识图谱的覆盖范围很大,但它们总是存在固有的不完整性和稀疏性。链接预测可以通过在给定源实体和查询关系的情况下推断目标实体来减轻这种情况。最近的嵌入为基础的方法操作在一个不可解释的潜在语义向量空间的实体和关系,而基于路径的方法操作在符号空间,使推理过程可解释。然而,这些方法通常考虑知识图谱的静态快照,严重限制了它们对于具有新出现的实体的演化知识图谱的适用性。为了克服这个问题,我们提出了一个归纳表示学习框架,能够学习以前看不见的实体的表示。我们的方法发现源和目标实体之间的推理路径,从而使链接预测看不见的实体可解释的,并提供支持证据的推断链接。
2020-09-25 cs.CL
AspectMMKG: A Multi-modal Knowledge Graph with Aspect-aware Entities
Fudan University(复旦大学);Soochow University(苏州大学)
本文构建了首个具有方面感知图像的多模态知识图谱AspectMMKG,并提出AIR模型用于方面相关图像检索,在实体方面链接任务上取得新最优性能。
2023-09-18 cs.AI cs.CL
SPOT: Knowledge-Enhanced Language Representations for Information Extraction
University of California, San Diego(加州大学圣地亚哥分校);IBM Research(IBM研究院)
用于语言表示的知识增强的预训练模型已被证明在知识库构建任务中更有效(即,关系抽取)而不是语言模型,例如BERT。这些知识增强的语言模型将知识合并到预训练中以生成实体或关系的表示。然而,现有的方法通常用单独的嵌入来表示每个实体。因此,这些方法在其底层标记模型(即,~)之上难以表示词汇表外的实体和大量参数。Transformer),并且由于存储器的限制,实际上可以处理的实体的数量是有限的。此外,现有的模型仍然难以同时表示实体和关系。为了解决这些问题,我们提出了一种新的预训练模型,该模型分别从文本中的标记跨度和跨度对中学习实体和关系的表示。通过使用span模块对span进行有效编码,我们的模型可以表示实体及其关系,但需要的参数比现有模型少。我们使用从维基百科中提取的知识图谱对模型进行了预训练,并在广泛的监督和无监督信息抽取任务上对其进行了测试。结果表明,我们的模型学习更好的表示实体和关系比基线,而在监督设置,微调我们的模型优于RoBERTa一致,并取得竞争力的结果信息抽取任务。
2022-10-24 cs.AI cs.CL
NeuType: A Simple and Effective Neural Network Approach for Predicting Missing Entity Type Information in Knowledge Bases
University of Stavanger(斯塔万格大学)
知识库存储关于实体的语义类型的信息,这些信息可以在一系列信息访问任务中使用。然而,由于每天都有新的实体出现,这些信息往往不完整。我们解决的任务,自动分配类型的实体在知识库中的类型分类法。具体来说,我们提出了两个神经网络架构,它采取简短的实体描述,并可选地,有关实体的信息作为输入。使用DBpedia知识库进行实验评估,我们证明了这些简单的架构产生显着的改进,目前的最先进的。
2019-07-05 cs.AI cs.CL cs.IR
Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs
Department of Computer Science(计算机科学系)
本文提出RALP方法,通过学习基于字符串的链式思维提示作为评分函数,提升知识图谱链接预测的性能,实验表明其在多个基准测试中均取得显著提升。
2026-04-14 cs.AI cs.CL
Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室);Wuhan University(武汉大学)
知识图谱嵌入的目的是用低维向量对实体和关系进行建模。大多数以前的方法要求在训练期间应该看到所有实体,这对于每天都有新实体出现的真实世界知识图谱是不切实际的。最近在这个问题上的努力建议结合传统的实体和关系嵌入来训练邻域聚合器,这可以帮助通过它们现有的邻居来归纳地嵌入新的实体。然而,他们的邻居聚集器忽略了一个实体的邻居的无序和不平等的性质。为此,我们总结了所需的属性,可能导致有效的邻域聚合器。我们还介绍了一种新的聚合器,即逻辑注意力网络(LAN),它通过聚合邻居与规则和基于网络的注意力权重来解决这些属性。通过与传统聚合器在两个知识图谱完成任务上的比较,我们实验验证了LAN在所需属性方面的优越性。
2020-10-04 cs.AI cs.CL
Open Knowledge Enrichment for Long-tail Entities
Nanjing University(南京大学);National Institute of Healthcare Data Science(国家健康医疗大数据研究院)
知识库(KBs)已逐渐成为许多AI应用程序的宝贵资产。虽然许多当前的知识库相当大,但它们被广泛认为是不完整的,特别是缺乏长尾实体的事实,例如,不太出名的人。现有的知识库扩充方法主要是对缺失的链接或缺失的值进行补齐。然而,它们只处理浓缩问题的一部分,缺乏对长尾实体的具体考虑。在本文中,我们提出了一个成熟的方法来丰富知识,预测丢失的属性和推断真实的事实,长尾实体从开放的Web。利用来自流行实体的先前知识来改进每个丰富步骤。在人工数据集和真实数据集上的实验以及与相关工作的比较表明了该方法的可行性和优越性。
2020-02-19 cs.AI cs.CL cs.IR
Matching Entities Across Different Knowledge Graphs with Graph Embeddings
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
本文探讨了跨不同知识图谱的实体匹配问题。给定一个知识图谱中的查询实体,我们希望在另一个知识图谱中找到对应的真实世界实体。我们正式这个问题,并提出了两个大规模的数据集,这个任务的基础上现有的跨本体DBpedia和维基数据之间的链接,专注于几十万个模糊的实体。使用基于分类的方法,我们发现,一个简单的多层感知器的基础上,从RDF2Vec图嵌入的实体在每个知识图谱的表示是足以实现高精度,只有少量的训练数据。我们工作的贡献是研究这一问题的数据集和未来工作可以基于的强基线。
2019-03-15 cs.CL cs.DB
ISA-bEL: Intelligent Search Algorithm based on Entity Linking
Vodafone(沃达丰)
如今,人们与计算机交互的方式已经发生了变化。基于文本或语音的界面在不同行业中得到广泛应用。处理用户输入的最常用的方法是基于意图或检索算法的方法。在这些解决方案中,用户的重要信息可能在该过程中丢失。对于所提出的自然语言处理流水线,在实体是用户的目的所在的假设下,实体将扮演主要角色。提供了上下文的实体将被投射到由知识图谱支持的特定领域,从而产生被称为链接实体的实体。然后,这些链接的实体用作在我们的知识图谱内搜索顶级聚合概念的关键字。
2022-05-09 cs.CL
InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院);iFLYTEK AI Research (Hebei)(讯飞人工智能研究院(河北))
知识图谱嵌入(KGE)模型学习知识图谱中实体和关系的表示。基于距离的方法在链接预测任务中表现出良好的性能,该任务通过两个实体表示之间的距离来预测结果。然而,这些方法大多数表示头实体和尾实体分开,这限制了模型的容量。我们提出了两个新的基于距离的方法命名为InterHT和InterHT+,使头部和尾部实体更好地相互作用,并得到更好的实体表示。实验结果表明,该方法在ogbl-wikikikg 2数据集上取得了较好的效果.
2022-12-23 cs.CL
Linking Entities to Unseen Knowledge Bases with Arbitrary Schemas
Amazon AI(亚马逊人工智能(Amazon AI))
在实体链接中,原始文本中提到的命名实体将根据知识库(KB)进行消歧。这项工作的重点是链接到看不见的知识库,没有训练数据,其模式是未知的训练期间。我们的方法依赖于将具有多个属性值对的任意KB中的实体灵活转换为平面字符串的方法,我们将其与最先进的模型结合使用以进行零次(zero-shot)链接。为了提高我们的模型的泛化能力,我们使用了两种正则化方案,基于实体属性的洗牌和看不见的属性的处理。在英语数据集上进行的实验表明,我们的模型在CoNLL数据集上进行训练,并在TAC-KBP 2010数据集上进行测试,结果表明,我们的模型比基线模型的准确度高出12个点以上。与之前的工作不同,我们的方法还允许无缝组合多个训练数据集。我们通过添加一个完全不同的数据集(Wikia)以及增加TAC-KBP 2010训练集的训练数据来测试这种能力。我们的模型在各方面都表现良好。
2020-10-21 cs.CL
Joint Representation Learning of Cross-lingual Words and Entities via Attentive Distant Supervision
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);University of Bonn(波恩大学)
词和实体的联合表示学习有益于许多NLP任务,但在跨语言环境中尚未得到很好的探索。在本文中,我们提出了一种新的跨语言的单词和实体的联合表示学习的方法。它捕获相互补充的知识,并使跨语言的知识库和文本之间的推理。我们的方法不需要平行语料库,并自动生成可比数据,通过远程监督使用多语言的知识库。我们利用两种类型的正则化器来对齐跨语言的单词和实体,并设计知识注意和跨语言注意,以进一步减少噪音。我们进行了一系列的实验三个任务:词的翻译,实体相关性,跨语言实体连接。定性和定量的结果都证明了我们方法的重要性。
2018-11-27 cs.CL
Joint Embeddings of Hierarchical Categories and Entities
Carnegie Mellon University(卡内基梅隆大学)
由于缺乏结构化知识应用于学习类别的分布式表示,现有的工作不能将类别层次结构纳入实体信息。我们提出了一个框架,嵌入实体和类别到一个语义空间,通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。与以前的最先进的状态相比,我们的框架可以处理单词的概念和多词的概念具有优越的性能,在概念分类和语义相关性。
2016-05-13 cs.CL
Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation
Studio Ousia(Ousia工作室);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);National Institute of Informatics(国立信息学研究所);Keio University(庆应义塾大学)
命名实体消歧(NED)是指将文档中的多个命名实体提及解析为它们在知识库(KB)中的正确引用的任务(例如,Wikipedia).在本文中,我们提出了一种新的嵌入方法,专门为NED设计。所提出的方法联合映射到同一个连续的向量空间的单词和实体。我们通过使用两个模型扩展了skip-gram模型。KB图模型使用KB的链接结构来学习实体的相关性,而锚上下文模型旨在通过利用KB锚及其上下文单词来对齐向量,使得相似的单词和实体在向量空间中彼此靠近地出现。通过将基于所提出的嵌入的上下文与标准NED特征相结合,我们在标准CoNLL数据集上实现了93.1%的最新准确率,在TAC 2010数据集上实现了85.2%的准确率。
2016-06-10 cs.CL
TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities
University of Turin(都灵大学);Universidad Politécnica de Madrid(马德里理工大学)
本文提出TailNLG基准,评估大型语言模型在长尾实体上的表现,揭示其存在偏见,强调需更可靠的评估框架。
2026-03-29 cs.CL
Learning Distributed Representations of Texts and Entities from Knowledge Base
Studio Ousia;Nara Institute of Science and Technology(奈良先端科学技术大学院大学);National Institute of Informatics(国立情报学研究所);Keio University(庆应义塾大学)
我们描述了一个神经网络模型,共同学习分布式表示的文本和知识库(KB)的实体。给定知识库中的文本,我们训练我们提出的模型来预测与文本相关的实体。我们的模型被设计为通用的,能够轻松地解决各种NLP任务。我们训练模型使用一个大型语料库的文本和他们的实体注释提取自维基百科。我们在三个重要的NLP任务(即,句子文本相似性、实体链接和仿真问答),涉及无监督和监督设置。因此,我们在这三项任务上都取得了最先进的成果。我们的代码和训练模型可供进一步的学术研究公开使用。
2017-11-07 cs.CL cs.NE
Recognizing and Extracting Cybersecurtity-relevant Entities from Text
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
网络威胁情报(CTI)是描述威胁向量、漏洞和攻击的信息,通常用作基于AI的网络防御系统(如网络安全知识图谱(CKG))的训练数据。迫切需要开发社区可访问的数据集,以训练现有的基于人工智能的网络安全管道,从而从CTI中高效准确地提取有意义的见解。我们已经创建了一个初始的非结构化CTI语料库,我们正在使用各种开放源代码来训练和测试网络安全实体模型,使用spaCy框架和探索自学习方法来自动识别网络安全实体。我们还描述了将网络安全领域实体与维基数据中现有的世界知识相链接的方法。我们未来的工作将调查和测试spaCy NLP工具,并创建从文本中提取的新信息的持续集成方法。
2022-08-02 cs.AI cs.CL cs.CR
Embedding Entities and Relations for Learning and Inference in Knowledge Bases
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们考虑使用神经嵌入方法学习知识库中实体和关系的表示。我们表明,大多数现有的模型,包括NTN(Socher等人,2013)和TransE(Bordes等人,2013 b),可以在统一的学习框架下推广,其中实体是从神经网络学习的低维向量,并且关系是双线性和/或线性映射函数。在这个框架下,我们比较了各种嵌入模型的链接预测任务。我们表明,一个简单的双线性公式实现了新的国家的最先进的结果的任务(实现了前10名的准确性为73.2%与54.7%的TransE的Freebase)。此外,我们引入了一种新的方法,利用学习的关系嵌入挖掘逻辑规则,如“BornInCity(a,b)和CityInCountry(b,c)=> Nationality(a,c)"。我们发现,嵌入学习的双线性目标是特别好的捕捉关系语义和组合关系的特点是矩阵乘法。更有趣的是,我们证明了我们的基于嵌入的规则提取方法成功地优于一个国家的最先进的基于信任的规则挖掘方法在挖掘霍恩规则,涉及组合推理。
2015-08-29 cs.CL
Learning to Recognize Discontiguous Entities
Singapore University of Technology and Design(新加坡科技设计大学)
本文主要研究不连续实体的识别问题。受以前工作的启发,我们建议使用一种新的超图表示来联合编码无限长度的不连续实体,这些实体可以彼此重叠。为了与现有的方法相比,我们首先正式引入模型模糊性的概念,它定义了解释模型输出的难度水平,然后正式分析我们的模型比以前现有的基于线性链CRF的方法的理论优势。我们的实证结果还表明,我们的模型是能够实现显着更好的结果时,评估标准数据与许多不连续的实体。
2020-05-27 cs.CL
What Makes Entities Similar? A Similarity Flooding Perspective for Multi-sourced Knowledge Graph Embeddings
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
本文从相似性洪泛的不动点视角解释多源知识图谱中基于翻译与聚合的实体对齐模型,并提出两种受不动点计算启发的有效方法。
2023-06-05 cs.AI cs.CL cs.LG
Flexible End-to-End Dialogue System for Knowledge Grounded Conversation
Hong Kong University of Science and Technology(香港科技大学)
在以知识为基础的会话中,领域知识在音乐这样的特殊领域中起着重要的作用。基于知识的会话的应答可能包含多个应答实体或根本不包含应答实体。虽然现有的生成式问答(QA)系统可以应用于基于知识的会话,他们要么在响应中最多有一个实体,要么不能处理词汇表外的实体。我们提出了一个完全数据驱动的生成式对话系统GenDS,它能够根据输入消息和相关知识库(KB)生成响应。为了生成任意数量的答案实体,即使这些实体从来没有出现在训练集中,我们设计了一个动态的知识查询器,选择不同的答案实体在不同的位置在一个单一的响应,根据不同的本地上下文。它不依赖于实体的表示,使我们的模型能够处理词汇表外的实体。我们收集了一个人与人的对话数据(ConversMusic)与知识注释。在CoversMusic和一个公共问答数据集上对所提出的方法进行了评估。我们提出的GenDS系统在BLEU,实体准确性,实体召回和人类评估方面明显优于基线方法。此外,实验还表明,即使在小数据集上,GenDS也能更好地工作。
2017-09-13 cs.CL
Generating Categories for Sets of Entities
Bloomberg(彭博);University of Stavanger(斯塔万格大学);Carnegie Mellon University(卡内基梅隆大学)
范畴系统是知识库的核心组成部分,因为它们提供了语义相关概念和实体的层次分组。它们是一种独特而宝贵的资源,可用于广泛的信息访问任务。为了帮助知识编辑者手动扩展类别系统,本文提出了一种为实体集生成类别的方法。首先,我们采用神经抽象摘要模型来生成候选类别。接下来,为每个候选者标识层次结构内的位置。最后,使用基于结构、内容和层次的特征对候选人进行排名,以确定最有希望的候选人(根据特异性、层次和重要性进行测量)。我们开发了一个基于维基百科类别的测试集合,并证明了所提出的方法的有效性。
2020-08-19 cs.CL cs.IR
Building chatbots from large scale domain-specific knowledge bases: challenges and opportunities
Hitachi America Ltd.(日立美国有限公司)
流行的对话代理框架,如Alexa Skills Kit(ASK)和Google Actions(gActions),为促进各种垂直领域中支持语音的AI解决方案的开发和部署提供了前所未有的机会。然而,理解用户的话语与高精度仍然是一个具有挑战性的任务与这些框架。特别是在构建具有大量特定领域实体的聊天机器人时。在本文中,我们描述的挑战和经验教训,从建立一个大规模的虚拟助理,了解和应对设备相关的投诉。在这个过程中,我们描述了一个替代的可扩展的框架:1)提取知识的设备组件及其相关的问题实体从短文本,和2)学习,以确定这样的实体在用户的话语。我们通过对一个真实数据集的评估表明,与现成的流行框架相比,所提出的框架可以更好地扩展,大量实体的准确率高达30%,并且在理解特定领域实体的用户话语方面更有效。
2019-12-31 cs.CL
Inductive Relation Prediction from Relational Paths and Context with Hierarchical Transformers
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出REPORT框架,利用分层Transformer同时聚合关系路径和上下文,仅依赖关系语义实现完全归纳式关系预测,并在两个数据集上一致优于基线且具备可解释性。
2023-07-10 cs.AI cs.CL cs.LG
Scalable knowledge base completion with superposition memories
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research AI(微软研究院人工智能)
我们提出了谐波记忆网络(HMem),一个神经架构的知识库完成,模型实体的邻居和相应的关系之间的成对绑定的加权和。由于实体被建模为聚合的邻域,因此可以动态地生成看不见的实体的表示。我们用两个新的数据集来证明这一点:WNGen和FBGen。实验表明,该模型是SOTA的基准测试,并足够灵活的演变没有重新训练的知识图谱的增长。
2021-10-24 cs.CL
Representation Learning of Entities and Documents from Knowledge Base Descriptions
Studio Ousia;Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进智能项目中心);Keio University(庆应义塾大学)
在本文中,我们描述了TextEnt,一个神经网络模型,直接从知识库(KB)学习实体和文档的分布式表示。给定由单词和实体注释组成的KB中的文档,我们训练我们的模型来预测文档描述的实体,并将文档及其目标实体映射到连续向量空间中彼此接近。我们的模型使用从维基百科提取的大量文档进行训练。使用两个任务,即细粒度的实体类型和多类文本分类的性能进行评估的模型。结果表明,我们的模型在这两项任务上都达到了最先进的性能。该代码和经过训练的表示可在网上获得,以供进一步的学术研究。
2018-06-08 cs.CL cs.NE
Towards Better Graph-based Cross-document Relation Extraction via Non-bridge Entity Enhancement and Prediction Debiasing
School of Informatics, Xiamen University(厦门大学信息学院);Xiamen Key Laboratory of Intelligent Storage and Computing, School of Informatics, Xiamen University(厦门大学信息学院厦门市智能存储与计算重点实验室)
针对跨文档关系抽取中非桥接实体被忽略及数据集NA实例导致预测偏差的问题,提出融合非桥接实体增强与预测去偏的图基模型,在CodRED数据集两种设置下取得SOTA性能并登顶官方排行榜。
2024-06-24 cs.CL
Probing Omissions and Distortions in Transformer-based RDF-to-Text Models
CNRS(法国国家科学研究中心);LORIA(洛里亚实验室);Université de Lorraine(洛林大学);Utrecht University(乌得勒支大学)
针对NLG中信息遗漏问题,本文提出两种探测方法分析BART和T5编码器输出,发现编码器对遗漏和失真实体信号较弱导致信息丢失,证明探测法可检测模型输出错误。
2024-09-25 cs.CL
Vector Embedding of Wikipedia Concepts and Entities
Dalhousie University(达尔豪斯大学)
将深度学习用于不同的机器学习任务,例如图像分类和词嵌入,最近受到了很多关注。与其他方法相比,其在特定自然语言处理(NLP)任务中报告的吸引人的性能是其受欢迎的原因。词嵌入是将词或短语映射到低维数值向量的任务。在本文中,我们使用深度学习来嵌入维基百科的概念和实体。维基百科的英文版包含超过500万页,这表明它有能力涵盖许多英语实体,短语和概念。维基百科的每一页都被视为一个概念。有些概念对应于实体,如人名、组织或地点。与词嵌入相反,维基百科概念嵌入并不模糊,因此对于表面形式相似但提及不同的概念有不同的向量。我们提出了几种方法,并评估其性能的基础上概念类比和概念相似性任务。结果表明,所提出的方法具有相当的性能,在某些情况下,甚至高于国家的最先进的方法。
2017-02-12 cs.CL
Toward Socially-Infused Information Extraction: Embedding Authors, Mentions, and Entities
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
实体链接是识别文本中提到的实体,并将它们链接到知识库中的条目的任务。这一任务在微博中尤其困难,因为几乎没有额外的文本来提供消除歧义的上下文;相反,作者依赖于与读者共享知识的隐含共同点。在本文中,我们试图通过利用微博中的社会网络结构来捕捉一些这种隐含的背景。我们建立在同质性理论的基础上,这意味着有社会联系的个人分享利益,因此可能会提到相同种类的实体。我们通过在一个连续的向量空间中对作者、提及和实体进行编码来实现这一想法,该向量空间被构造成使得社交联系的作者具有相似的向量表示。这些向量被合并到神经结构化预测模型中,该模型捕获实体链接任务中固有的结构约束。总之,与之前的最新技术相比,这些设计决策在基准数据集上产生了1%-5%的F1改进。
2016-09-26 cs.CL
A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse
Preferred Networks, Inc.(Preferred Networks 公司);Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);RIKEN(理化学研究所)
本研究针对神经语言模型中使用的词嵌入方法来识别语篇中未知词或实体的意义。我们提出了一种通过跟踪上下文在神经模型的输入和输出层中动态构建和利用词嵌入的方法。这扩展了Kobayashi et al.(2016)中使用的动态实体表示,并结合了Gu et al.(2016)和Gulcehre et al.(2016)独立提出的复制机制。此外,我们还构建了一个新的任务和数据集,称为Ancesturized Language Modeling,用于评估阅读时捕捉词义的能力。使用我们的新数据集进行的实验表明,所提出的RNN语言模型变体优于基线模型。此外,实验还表明,输出层的动态更新有助于模型预测再现实体,而输入层的动态更新则可有效预测再现实体后面的单词。
2017-10-17 cs.CL
Improving Clinical Outcome Predictions Using Convolution over Medical Entities with Multimodal Learning
TOBB University of Economics and Technology(TOBB经济与技术大学)
早期预测患者的死亡率和住院时间对于挽救患者的生命和管理医院资源至关重要。电子健康记录(EHR)的可用性对医疗保健领域产生了巨大的影响,并且已经看到了一些预测临床问题的工作。然而,由于稀疏和高维性质,许多研究没有从临床记录中受益。在这项工作中,我们从临床笔记中提取医疗实体,并将其作为除了时间序列特征之外的附加特征来改进我们的预测。我们提出了一个基于卷积的多模态架构,它不仅可以有效地学习结合医疗实体和患者的时间序列ICU信号,而且还可以让我们比较不同的嵌入技术,如Word2vec,FastText对医疗实体的影响。在实验中,我们提出的方法鲁棒性优于所有其他基线模型,包括不同的多模态架构的所有临床任务。所提出的方法的代码可在https://github.com/tanlab/ConvolutionMedicalNer上获得。
2020-11-26 cs.CL cs.IR cs.LG
Wikipedia2Vec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words and Entities from Wikipedia
Studio Ousia;RIKEN AIP(理化学研究所先进智能项目中心);University of Washington(华盛顿大学);The University of Tokyo(东京大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);National Institute of Informatics(国立情报学研究所);Keio University(庆应义塾大学)
将实体嵌入到大型知识库中(例如,Wikipedia)对于解决涉及真实世界知识的各种自然语言任务是非常有益的。在本文中,我们介绍了Wikipedia2Vec,一个基于Python的开源工具,用于学习维基百科中的单词和实体的嵌入。建议的工具,使用户能够有效地学习嵌入发出一个单一的命令与维基百科转储文件作为参数。我们还介绍了我们的工具,允许用户可视化和探索学习嵌入基于Web的演示。在我们的实验中,我们的工具在KORE实体相关性数据集上取得了最先进的结果,并在各种标准基准数据集上取得了有竞争力的结果。此外,我们的工具已被用作最近各种研究的关键组成部分。我们在https://wikipedia2vec.github.io上公布了12种语言的源代码、演示和预训练嵌入。
2020-09-26 cs.CL cs.LG
CoType: Joint Extraction of Typed Entities and Relations with Knowledge Bases
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Army Research Laboratory(陆军研究实验室);Rensselaer Polytechnic Institute(伦斯勒理工学院)
从文本中提取感兴趣类型的实体和关系对于理解海量文本语料库非常重要。传统上,实体关系抽取系统依赖于人工标注的语料库进行训练,并采用增量管道。这样的系统需要额外的人类专业知识来移植到一个新的领域,并且容易受到错误级联的影响。在本文中,我们研究了联合提取类型化实体和关系与标记数据从知识库(即,远程监控)。由于我们通过远程监督进行类型标记的算法是上下文不可知的,因此嘈杂的训练数据对任务构成了独特的挑战。我们提出了一种新的领域独立的框架,称为CoType,它运行一个数据驱动的文本分割算法来提取实体提及,并联合嵌入实体提及,关系提及,文本特征和类型标签到两个低维空间(分别为实体和关系提及),在每个空间中,类型接近的对象也将具有相似的表示。CoType然后使用这些学习到的嵌入来估计测试(unreceived)提及的类型。我们制定了一个联合优化问题,学习嵌入文本语料库和知识库,采用一种新的部分标签损失函数的噪声标记的数据,并引入一个对象的“翻译”功能,以捕捉交叉约束的实体和关系。在三个公共数据集上的实验证明了CoType在不同领域(例如,新闻,生物医学),与下一个最佳方法相比,F1评分平均提高25%。
2017-06-02 cs.CL cs.LG
MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities
Fraunhofer Institute for Mechanics of Materials IWM(弗劳恩霍夫材料力学研究所);IBM Research(IBM研究中心)
本文提出 MaterioMiner 数据集及关联材料力学本体,通过细粒度实体标注支持神经符号材料信息抽取、NER 训练与知识图谱构建。
2024-08-05 cond-mat.mtrl-sci cs.CL
COVID-19Base: A knowledgebase to explore biomedical entities related to COVID-19
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
我们正在介绍COVID-19 Base,这是一个基于文献挖掘的知识库,突出了与COVID-19疾病相关的生物医学实体。为开发COVID-19数据库,我们从公开的科学文献和相关公共资源中挖掘信息。我们考虑了七个特定主题的字典,包括人类基因,人类miRNA,人类lncRNA,疾病,蛋白质数据库,药物和药物副作用,整合以挖掘与COVID-19相关的所有科学证据。我们采用了一种自动化的文献挖掘和标记系统,通过一种新的方法来衡量基于自然语言处理、情感分析和深度学习的药物对疾病的有效性。据我们所知,这是第一个专门针对COVID-19的知识库,通过文献挖掘整合了如此大量的相关生物医学实体。对开采的生物医学实体以及COVID-19 Base中报告的已识别的相互作用进行适当调查,将有助于研究界发现COVID-19治疗的可能方法。
2020-05-12 cs.CL cs.DL cs.IR
CNN-based Dual-Chain Models for Knowledge Graph Learning
The Ohio State University(俄亥俄州立大学);NEC Laboratories America, Inc(NEC美国研究院)
知识图谱学习在实际应用中部署机器学习和数据采掘模型时,在集成特定领域的知识库方面起着至关重要的作用。现有的知识图谱学习方法主要集中在将实体间的关系建模为实体间的转换,当新的实体出现时,这些方法中的许多方法都不能处理zero-shot问题。本文提出了一种新的基于卷积神经网络(CNN)的双链模型。与基于翻译的方法不同,在我们的模型中,通过CNN直接捕获关系和实体之间的交互。此外,还同时进行二级学习链,以纳入更多信息,提高业绩。我们还提出了这个模型的扩展,它结合了实体的描述,并从描述中学习第二组实体嵌入。结果表明,扩展模型能够有效地处理zero-shot问题。我们进行了全面的实验,比较我们的方法与15个方法在8个基准数据集。大量的实验结果表明,我们提出的方法达到或优于国家的最先进的知识图谱学习的结果,并优于其他方法的zero-shot问题。此外,我们的方法应用于现实世界的生物医学数据能够产生符合专家领域知识的结果。
2019-11-26 cs.CL cs.IR cs.LG